KR101071352B1

KR101071352B1 - Apparatus and method for tracking object based on PTZ camera using coordinate map

Info

Publication number: KR101071352B1
Application number: KR1020090081382A
Authority: KR
Inventors: 한영인; 서용덕; 송영기; 백원인
Original assignee: 주식회사 이미지넥스트
Priority date: 2009-08-31
Filing date: 2009-08-31
Publication date: 2011-10-07
Also published as: KR20110023472A

Abstract

좌표맵을 이용한 팬틸트줌 카메라 기반의 객체 추적 장치 및 방법이 개시된다. 영역 설정부는 회전 가능한 팬틸트줌 카메라의 회전각도 및 주밍비율로 표현되는 좌표공간을 생성하고, 사용자에 의해 좌표공간에 설정되는 복수의 촬영지점을 서로 연결한 다각형 형상의 촬영영역 및 촬영영역 내부에서 사용자에 의해 설정된 감시영역을 나타내는 좌표정보를 저장한다. 객체 추출부는 팬틸트줌 카메라에 의해 생성된 일련의 영상 프레임 중에서 현재 영상 프레임과 현재 영상 프레임에 시간적으로 앞서는 이전 영상 프레임 사이의 차분을 기초로 현재 영상 프레임 상에서 감시영역에 위치하는 객체에 대응하는 영역인 객체영역을 추출한다. 카메라 제어부는 현재 영상 프레임의 중심으로부터 객체영역으로 향하는 움직임 벡터의 방향에 따라 팬틸트줌 카메라를 회전시킨다. 본 발명에 따르면, 팬틸트줌 카메라의 회전각도 및 주밍비율을 나타내는 좌표공간을 생성하고 촬영영역 및 감시영역을 사전에 설정함으로써, 좌표공간에서의 좌표정보만을 기초로 팬틸트줌 카메라를 회전시키게 되므로 팬틸트줌 카메라의 이동량 및 이동속도를 모두 설정하는 기존의 방법에 비해 오차를 줄일 수 있다.Disclosed are an apparatus and method for tracking an object based on a pan tilt zoom camera using a coordinate map. The area setting unit generates a coordinate space represented by the rotation angle and zooming ratio of the rotatable pan tilt zoom camera, and is configured to capture a plurality of shooting points set in the coordinate space by the user. Coordinate information indicating a surveillance area set by a user is stored. The object extracting unit is an area corresponding to an object located in the surveillance region on the current image frame based on the difference between the current image frame and the previous image frame temporally preceding the current image frame among a series of image frames generated by the pan tilt zoom camera. Extract the object area. The camera controller rotates the pan tilt zoom camera according to the direction of the motion vector toward the object region from the center of the current image frame. According to the present invention, by generating a coordinate space indicating the rotation angle and zooming ratio of the pan tilt zoom camera and setting the photographing area and the surveillance area in advance, the pan tilt zoom camera is rotated based only on the coordinate information in the coordinate space. Compared with the conventional method of setting both the pan tilt zoom camera movement amount and the moving speed, the error can be reduced.

팬틸트줌 카메라, 좌표맵, 객체 추적 Pan tilt zoom camera, coordinate map, object tracking

Description

Apparatus and method for tracking object based on PTZ camera using coordinate map}

본 발명은 좌표맵을 이용한 팬틸트줌 카메라 기반의 객체 추적 장치 및 방법에 관한 것으로, 보다 상세하게는, 회전 가능한 카메라의 촬영영역 내에서 이동하는 객체를 검출하고 추적하는 장치 및 방법에 관한 것이다.The present invention relates to an apparatus and method for tracking an object based on a pan tilt zoom camera using a coordinate map, and more particularly, to an apparatus and method for detecting and tracking an object moving within a photographing area of a rotatable camera.

최근 감시 시스템 분야에서 비디오 해석 및 추적 기술로 감시 대상을 자동으로 인식하고 추적할 수 있는 제품 또는 시스템의 개발에 대한 중요성이 증대되고 있다. 비디오 해석 및 추적 기술은 연산 처리 기술(영상 개선, 영상 모델, 컬러 영상 처리, 움직임 해석, 비디오 영상 합성), 센서 제어 기술(CCD, PTZ, IR, 스테레오, 광각카메라 등의 조합과 출력 변환) 및 인터페이스 기술(센서와 컴퓨터 간의 통신 및 제어, 그래픽스)을 기반으로 한다.Recently, in the field of surveillance systems, the importance of developing products or systems capable of automatically recognizing and tracking surveillance targets through video analysis and tracking technology is increasing. Video interpretation and tracking techniques include computational processing techniques (image enhancement, image model, color image processing, motion analysis, video image synthesis), sensor control techniques (combination and output conversion of CCD, PTZ, IR, stereo, wide angle camera, etc.) and It is based on interface technology (communication and control between sensor and computer, graphics).

연산 처리 기술은 일반적으로 감시 대상을 목적으로 하여 수행된다. 즉, 연속된 영상 프레임에서 감시 대상의 객체 형태, 모양, 움직임 및 색상 정보 등을 기초로 객체를 정의, 추출, 모델화 및 추적한다. 감시 대상 구성요소 중에서 능동 형태 모델이나 능동 윤곽 모델은 객체의 형태, 모양 및 행동 분석으로 감시 대상을 추적하고 감시 대상의 움직임을 예측하여 추적하는 광류 기반 추적 및 영상 프레임을 복수의 블록으로 나누고 연속된 영상 프레임 내에서 블록간의 작은 오차를 찾는 블록 매칭 기반 추적에서 사용된다.Operational processing techniques are generally performed for the purpose of monitoring. That is, objects are defined, extracted, modeled, and tracked based on object type, shape, motion, and color information of the object to be monitored in successive video frames. Among the components to be monitored, the active shape model or the active contour model divides the optical flow based tracking and image frames into a plurality of blocks and tracks the monitored object by analyzing the shape, shape, and behavior of the object. It is used in block matching based tracking to find small error between blocks in an image frame.

센서 제어 기술에는 한 대의 카메라를 이용하는 방법 및 카메라의 시각적 범위의 한계를 극복하기 위해 다수의 카메라를 이용하는 방법이 있다. 이때 단일 카메라의 시각적 범위 한계를 해결하기 위해 팬틸트줌(pan-tilt-zoom : PTZ) 카메라를 사용하는 방법이 있다. PTZ 카메라를 사용하면 360도 전 방향에 대해 효과적이고 넓은 시각을 확보할 수 있으나 카메라의 움직임 특성으로 인해 영상 내의 배경과 객체를 구별하기 어렵다. 또한 인접한 영상을 이용하면 배경과 객체의 분리가 가능하지만 정지한 객체에 대해서는 검출 및 추적이 불가능하다. 이를 해결하기 위해 미리 배경을 정의하고 배경 차분 방법을 사용하거나 인접한 영상 사이에 배경을 안정화하여 객체를 분리하는 방법을 사용하기도 한다.Sensor control techniques include using one camera and using multiple cameras to overcome the limitations of the camera's visual range. In this case, there is a method using a pan-tilt-zoom (PTZ) camera to solve the visual range limitation of a single camera. When using a PTZ camera, it is possible to secure an effective and wide angle of view in all directions of 360 degrees, but due to the movement characteristics of the camera, it is difficult to distinguish an object from a background in an image. In addition, it is possible to separate objects from the background by using adjacent images, but it is impossible to detect and track still objects. To solve this problem, the background is defined in advance, and the background difference method is used, or the object is separated by stabilizing the background between adjacent images.

대부분의 PTZ 카메라 기반 객체 추적 시스템에서는 감시 대상이 영상 내에 존재하거나 영상의 관심 영역 내로 객체가 진입하는 경우에 따라 추적 방법이 달라진다. 즉, 카메라가 이동하고 있다는 가정 하에 영상에서 카메라의 움직임을 추정하여 배경을 안정화한 후 감시 대상을 추적하는 방법과 카메라가 정지하고 있을 때 진입한 객체를 추적하고 카메라를 이동시키는 방법으로 구분된다. 이때 첫 번째 방법에서는 카메라의 이동 속도에 따라 영상에 열화(blur) 현상이 발생하는 경우가 있으므로 열화 현상이 발생하지 않도록 하는 속도로 객체를 추적하게 된다. 또한 두 번째 방법에서는 카메라가 정지하고 있을 때 진입한 객체가 검출되면 카메라를 이동시켜 영상의 중심에 객체가 위치하도록 하며, 카메라가 이동하는 동안에는 객체를 추적하지 않는다.In most PTZ camera-based object tracking systems, the tracking method differs depending on whether the monitored object exists in the image or the object enters the region of interest of the image. That is, assuming that the camera is moving, it is divided into a method of estimating the movement of the camera in the image to stabilize the background and tracking a monitoring target, and a method of tracking an object and moving the camera when the camera is stopped. In the first method, since a blur may occur in an image according to the moving speed of the camera, the object is tracked at a speed that prevents the degradation. In the second method, when an object is detected while the camera is stopped, the camera is moved to position the object in the center of the image, and the object is not tracked while the camera is moving.

이러한 PTZ 카메라를 이용한 객체 추적 시스템에서 열화 현상이 발생하지 않도록 배경을 생성하고, 객체의 이동에 따라 정확하게 카메라를 이동시켜 객체가 관심영역 내에 위치하는 동안에만 안정적으로 객체를 추적할 수 있는 방법이 필요하다.In this object tracking system using PTZ camera, there is a need to create a background to prevent degradation, and to accurately track the object only while the object is located in the region of interest by moving the camera accurately according to the movement of the object. Do.

본 발명이 이루고자 하는 기술적 과제는, 팬틸트줌 카메라의 구동 제어에서 나타나는 오차를 최소화시키고 객체를 정확하게 추출하여 추적할 수 있는 좌표맵을 이용한 팬틸트줌 카메라 기반의 객체 추적 장치 및 방법을 제공하는 데 있다.SUMMARY OF THE INVENTION The present invention has been made in an effort to provide an apparatus and method for tracking an object based on a pan tilt zoom camera using a coordinate map capable of minimizing errors in driving control of a pan tilt zoom camera and accurately extracting and tracking an object. have.

본 발명이 이루고자 하는 다른 기술적 과제는, 팬틸트줌 카메라의 구동 제어에서 나타나는 오차를 최소화시키고 객체를 정확하게 추출하여 추적할 수 있는 좌표맵을 이용한 팬틸트줌 카메라 기반의 객체 추적 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는 데 있다.Another technical problem to be solved by the present invention is to minimize the error in the driving control of the pan tilt zoom camera and to execute the object tracking method based on the pan tilt zoom camera using a coordinate map that can accurately extract and track the object on the computer. The present invention provides a computer-readable recording medium having recorded thereon a program.

상기의 기술적 과제를 달성하기 위한 본 발명에 따른 좌표맵을 이용한 팬틸트줌 카메라 기반의 객체 추적 장치는, 회전 가능한 팬틸트줌 카메라의 회전각도 및 주밍비율로 표현되는 좌표공간을 생성하고, 사용자에 의해 상기 좌표공간에 설정되는 복수의 촬영지점을 서로 연결한 다각형 형상의 촬영영역 및 상기 촬영영역 내부에서 상기 사용자에 의해 설정된 감시영역을 나타내는 좌표정보를 저장하는 영역 설정부; 상기 팬틸트줌 카메라에 의해 생성된 일련의 영상 프레임 중에서 현재 영상 프레임과 상기 현재 영상 프레임에 시간적으로 앞서는 이전 영상 프레임 사이의 차분을 기초로 상기 현재 영상 프레임 상에서 상기 감시영역에 위치하는 객체에 대응하는 영역인 객체영역을 추출하는 객체 추출부; 및 상기 현재 영상 프레임의 중심으로부터 상기 객체영역으로 향하는 움직임 벡터의 방향에 따라 상기 팬틸트줌 카메라를 회전시키는 카메라 제어부;를 구비한다.An object tracking apparatus based on a pan tilt zoom camera using a coordinate map according to the present invention for achieving the above technical problem, generates a coordinate space represented by the rotation angle and zooming ratio of the rotatable pan tilt zoom camera, A region setting unit for storing a polygonal photographing region in which a plurality of photographing points set in the coordinate space are connected to each other and coordinate information indicating a surveillance region set by the user in the photographing region; Based on the difference between the current image frame and the previous image frame temporally preceding the current image frame among the series of image frames generated by the pan tilt zoom camera, the object corresponding to the object located in the surveillance area on the current image frame. An object extracting unit which extracts an object area which is an area; And a camera controller configured to rotate the pan tilt zoom camera according to a direction of a motion vector from the center of the current image frame to the object region.

상기의 다른 기술적 과제를 달성하기 위한 본 발명에 따른 좌표맵을 이용한 팬틸트줌 카메라 기반의 객체 추적 방법은, 회전 가능한 팬틸트줌 카메라의 회전각도 및 주밍비율로 표현되는 좌표공간을 생성하고, 사용자에 의해 상기 좌표공간에 설정되는 복수의 촬영지점을 서로 연결한 다각형 형상의 촬영영역 및 상기 촬영영역 내부에서 상기 사용자에 의해 설정된 감시영역을 나타내는 좌표정보를 저장하는 영역 설정단계; 상기 팬틸트줌 카메라에 의해 생성된 일련의 영상 프레임 중에서 현재 영상 프레임과 상기 현재 영상 프레임에 시간적으로 앞서는 이전 영상 프레임 사이의 차분을 기초로 상기 현재 영상 프레임 상에서 상기 감시영역에 위치하는 객체에 대응하는 영역인 객체영역을 추출하는 객체 추출단계; 및 상기 현재 영상 프레임의 중심으로부터 상기 객체영역으로 향하는 움직임 벡터의 방향에 따라 상기 팬틸트줌 카메라를 회전시키는 카메라 제어단계;를 가진다.Object tracking method based on a pan tilt zoom camera using a coordinate map according to the present invention for achieving the above another technical problem, generates a coordinate space represented by the rotation angle and zooming ratio of the rotatable pan tilt zoom camera, An area setting step of storing a polygonal photographing area connecting the plurality of photographing points set in the coordinate space by each other and coordinate information indicating a surveillance area set by the user in the photographing area; Based on the difference between the current image frame and the previous image frame temporally preceding the current image frame among the series of image frames generated by the pan tilt zoom camera, the object corresponding to the object located in the surveillance area on the current image frame. An object extraction step of extracting an object area which is an area; And a camera control step of rotating the pan tilt zoom camera according to the direction of the motion vector from the center of the current image frame to the object region.

본 발명에 따른 좌표맵을 이용한 팬틸트줌 카메라 기반의 객체 추적 장치 및 방법에 의하면, 팬틸트줌 카메라의 회전각도 및 주밍비율을 나타내는 좌표공간을 생성하고 촬영영역 및 감시영역을 사전에 설정함으로써, 좌표공간에서의 좌표정보만을 기초로 팬틸트줌 카메라를 회전시키게 되므로 팬틸트줌 카메라의 이동량 및 이동속도를 모두 설정하는 기존의 방법에 비해 오차를 줄일 수 있다. 또한 객체영역을 추출할 때 복수의 이전 영상 프레임을 사용하여 복수의 후보영역으로부터 객체영역을 결정함으로써 객체영역을 명확하게 추출할 수 있다. 나아가 팬틸트줌 카 메라에 의해 생성된 영상 프레임에 대해 움직임 보정을 수행함으로써 팬틸트줌 카메라의 흔들림에 의해 발생하는 움직임을 제거하고 감시 대상인 객체영역만을 추출할 수 있다.According to an apparatus and method for tracking an object based on a pan tilt zoom camera using a coordinate map according to the present invention, by generating a coordinate space representing a rotation angle and zooming ratio of a pan tilt zoom camera, and setting a photographing area and a surveillance area in advance, Since the pan tilt zoom camera is rotated based only on the coordinate information in the coordinate space, the error can be reduced compared to the conventional method of setting both the movement amount and the speed of the pan tilt zoom camera. In addition, when the object region is extracted, the object region may be clearly extracted by determining the object region from the plurality of candidate regions using a plurality of previous image frames. Furthermore, by performing motion compensation on the image frame generated by the pan tilt zoom camera, the motion generated by the shake of the pan tilt zoom camera can be removed, and only the object region to be monitored can be extracted.

이하에서 첨부된 도면들을 참조하여 본 발명에 따른 좌표맵을 이용한 팬틸트줌 카메라 기반의 객체 추적 장치 및 방법의 바람직한 실시예에 대해 상세하게 설명한다.Hereinafter, exemplary embodiments of an object tracking apparatus and method based on a pan tilt zoom camera using a coordinate map according to the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명에 따른 좌표맵을 이용한 팬틸트줌 카메라 기반의 객체 추적 장치에 대한 바람직한 실시예의 구성을 도시한 블록도이다.1 is a block diagram showing the configuration of a preferred embodiment of an object tracking device based on a pan tilt zoom camera using a coordinate map according to the present invention.

도 1을 참조하면, 본 발명에 따른 객체 추적 장치(100)는 영역 설정부(110), 객체 추출부(120), 카메라 제어부(130), 지역 움직임 벡터 추정부(140), 프레임 움직임 벡터 결정부(150) 및 영상 안정화부(160)를 구비한다.Referring to FIG. 1, the object tracking apparatus 100 according to the present invention may determine a region setter 110, an object extractor 120, a camera controller 130, a local motion vector estimator 140, and a frame motion vector. The unit 150 and the image stabilization unit 160 are provided.

영역 설정부(110)는 회전 가능한 팬틸트줌 카메라(200)의 회전각도 및 주밍비율로 표현되는 좌표공간을 생성하고, 사용자에 의해 좌표공간 상에 설정되는 복수의 촬영지점을 서로 연결한 다각형 형상의 촬영영역 및 촬영영역 내부에서 사용자에 의해 설정된 감시영역을 나타내는 좌표정보를 저장한다.The area setting unit 110 generates a coordinate space represented by the rotation angle and zooming ratio of the rotatable pan tilt zoom camera 200, and connects a plurality of shooting points set on the coordinate space by the user to each other. Stores coordinate information representing the surveillance region set by the user in the photographing region and the photographing region of the apparatus.

팬틸트줌 카메라(200)는 방향과 속도가 설정된 모터에 의해 구동되며 360°의 전 방향을 촬영할 수 있으므로 고정된 CCD 카메라에 비해 넓은 영역에서 객체를 추적할 수 있다. 종래에는 팬틸트줌 카메라(200)의 이동방향 및 이동량을 계산하여 모터를 제어함으로써 팬틸트줌 카메라(200)가 정해진 위치에 도달하도록 회전시키 는 방법을 사용하였다. 이와 같이 정해진 지점으로 팬틸트줌 카메라(200)를 이동시키는 방법은 모터 구동의 정확성에 영향을 받게 되며 정확하게 원하는 지점으로 이동시키기 어렵다.The pan tilt zoom camera 200 is driven by a motor in which a direction and a speed are set, and can shoot an entire direction of 360 ° so that an object can be tracked in a wider area than a fixed CCD camera. Conventionally, a method of rotating the pan tilt zoom camera 200 to reach a predetermined position by controlling a motor by calculating a moving direction and a moving amount of the pan tilt zoom camera 200 has been used. As such, the method of moving the pan tilt zoom camera 200 to a predetermined point is affected by the accuracy of the motor driving and it is difficult to accurately move to the desired point.

따라서 본 발명에서는 움직임 벡터의 산출을 통해 방향성의 설정만으로 팬틸트줌 카메라(200)를 회전시키는 방법을 사용한다. 이를 위해서는 팬틸트줌 카메라(200)가 촬영 가능한 영역 전체에 대하여 적용될 수 있는 절대좌표를 생성할 필요성이 있다.Therefore, the present invention uses a method of rotating the pan tilt zoom camera 200 only by setting the directionality by calculating the motion vector. To this end, it is necessary to generate absolute coordinates that can be applied to the entire pant zoom camera 200 in the photographable area.

도 2는 영역 설정부(110)에 의해 생성된 좌표공간의 일 예를 도시한 도면이다. 도 2를 참조하면, 영역 설정부(110)는 좌표공간을 생성하여 이를 사용자가 확인할 수 있도록 별도로 구비된 사용자 인터페이스를 통해 화면에 표시할 수 있다. 우측에 도시된 2차원 좌표맵(210)이 영역 설정부(110)에 의해 생성된 좌표공간으로, 팬틸트줌 카메라(200)가 좌우 방향으로 각각 180°, 상하 방향으로 각각 90°의 회전각도를 가짐을 나타낸다. 팬틸트줌 카메라(200)의 주밍비율까지 나타내기 위해서는 좌표공간을 3차원 좌표맵으로 표현하면 된다. 또한 좌측에는 팬틸트줌 카메라(200)의 각종 특성을 나타내는 수치들이 표시되어 있다. 이 중에서 'coordination'으로 표시된 부분(220)이 팬틸트줌 카메라(200)의 회전각도 및 주밍비율을 나타낸 것이며, 팬, 틸트, 줌이 모두 0이므로 팬틸트줌 카메라(200)는 현재 우측의 좌표맵(210)에서 원점(230)에 위치하고 있다는 것을 알 수 있다.2 is a diagram illustrating an example of a coordinate space generated by the area setting unit 110. Referring to FIG. 2, the area setting unit 110 may generate a coordinate space and display it on a screen through a user interface provided separately so that a user can check it. The two-dimensional coordinate map 210 shown on the right is a coordinate space generated by the area setting unit 110, and the pan tilt zoom camera 200 rotates 180 ° in left and right directions and 90 ° in up and down directions, respectively. Indicates that In order to represent the zooming ratio of the pan tilt zoom camera 200, the coordinate space may be represented by a three-dimensional coordinate map. In addition, numerical values representing various characteristics of the pan tilt zoom camera 200 are displayed on the left side. Of these, the portion 220 denoted as 'coordination' represents the rotation angle and zooming ratio of the pan tilt zoom camera 200. Since the pan, tilt and zoom are all 0, the pan tilt zoom camera 200 currently coordinates to the right. It can be seen that the map 210 is located at the origin 230.

한편, 좌표맵(210) 내부에 표시된 다각형 형상(240)은 사용자에 의해 결정되는 팬틸트줌 카메라(200)의 촬영영역을 나타낸다. 도 2의 좌표맵(210)에 따른 팬틸 트줌 카메라(200)는 좌우 방향으로는 360°, 상하 방향으로는 180°의 회전각도를 가지지만 실질적으로 객체가 존재할 것이라고 생각되지 않는 영역까지 촬영할 필요는 없다. 따라서 촬영영역(240)은 팬틸트줌 카메라(200)가 실질적으로 촬영하는 영역을 지정하기 위해 결정되는 것이다. 이하에서는 팬틸트줌 카메라(200)의 촬영영역(240)이 결정되는 과정에 관하여 설명한다.Meanwhile, the polygonal shape 240 displayed inside the coordinate map 210 indicates a photographing area of the pan tilt zoom camera 200 determined by the user. Although the pantilt zoom camera 200 according to the coordinate map 210 of FIG. 2 has a rotation angle of 360 ° in left and right directions and 180 ° in up and down directions, it is not necessary to photograph an area where an object does not actually exist. none. Therefore, the photographing area 240 is determined to designate the area where the pan tilt zoom camera 200 actually photographs. Hereinafter, a process of determining the photographing area 240 of the pan tilt zoom camera 200 will be described.

도 3은 팬틸트줌 카메라(200)의 촬영영역을 결정하는 방법을 설명하기 위한 도면이다.3 is a diagram for describing a method of determining a photographing area of the pan tilt zoom camera 200.

도 3을 참조하면, 팬틸트줌 카메라(200)에 의해 촬영된 영상 프레임(310)이 팬틸트줌 카메라(200)의 움직임에 따라 실시간으로 화면에 표시된다. 사용자는 촬영된 영상 프레임(310)을 참고하여 촬영영역(240)을 결정할 수 있다. 사용자에게 제공되는 화면에는 모터제어버튼(320)도 함께 표시된다. 따라서 사용자는 모터제어버튼(320)을 클릭하여 팬틸트줌 카메라(200)를 상,하,좌,우로 회전시키거나 주밍 정도를 조절할 수 있다. Referring to FIG. 3, the image frame 310 captured by the pan tilt zoom camera 200 is displayed on the screen in real time according to the movement of the pan tilt zoom camera 200. The user may determine the photographing area 240 by referring to the photographed image frame 310. The motor control button 320 is also displayed on the screen provided to the user. Therefore, the user can click the motor control button 320 to rotate the pan tilt zoom camera 200 up, down, left, right or adjust the zooming degree.

사용자의 제어에 의해 팬틸트줌 카메라(200)가 이동하면 현재 팬틸트줌 카메라(200)의 위치에서 촬영된 영상 프레임(310)이 실시간으로 화면에 표시되며, 현재 팬틸트줌 카메라(200)의 위치도 함께 표시된다(220). 사용자가 현재 팬틸트줌 카메라(200)의 위치를 촬영지점으로 결정하고자 하는 경우에는 이를 지시하는 버튼(330)을 클릭하면 해당 촬영지점의 좌표가 영역 설정부(110)에 저장됨과 동시에 화면에 표시되어(340) 사용자가 확인할 수 있도록 한다. 사용자가 모터제어버튼(320)에 의해 팬틸트줌 카메라(200)를 이동시켜 복수의 촬영지점을 지정하면, 영 역 설정부(110)는 복수의 촬영지점을 서로 연결하여 좌표공간(210) 상에 다각형 형상의 촬영영역(240)을 생성한다. 도 4는 사용자에 의해 설정된 다섯 개의 촬영지점으로부터 생성된 촬영영역(240)을 도시한 도면이다. 영역설정부(110)는 이와 같이 생성된 촬영영역(240)의 좌표정보, 즉 복수의 촬영지점의 좌표정보를 저장하여 팬틸트줌 카메라(200)가 설정된 촬영영역(240)만을 촬영하도록 한다.When the pan tilt zoom camera 200 is moved by the user's control, the image frame 310 photographed at the position of the current pan tilt zoom camera 200 is displayed on the screen in real time, and the current pan tilt zoom camera 200 The location is also indicated 220. If the user wants to determine the location of the current pan tilt zoom camera 200 as a shooting point, clicking the button 330 indicating the position of the current pan tilt zoom camera is stored in the area setting unit 110 and displayed on the screen at the same time. 340 allows the user to check. When the user moves the pan tilt zoom camera 200 by the motor control button 320 to designate a plurality of shooting points, the region setting unit 110 connects the plurality of shooting points to each other in the coordinate space 210. Creates a polygonal shape photographing area 240. 4 is a diagram illustrating a photographing area 240 generated from five photographing points set by a user. The area setting unit 110 stores the coordinate information of the photographing area 240 generated in this way, that is, the coordinate information of the plurality of photographing points, so as to photograph only the photographing area 240 in which the pan tilt zoom camera 200 is set.

또한 사용자는 팬틸트줌 카메라(200)의 촬영영역(240) 내에서 일정한 영역을 설정하여 객체 추적의 기준이 되는 감시영역을 설정할 수 있다. 팬틸트줌 카메라(200)는 일반적으로 사람이나 자동차 등의 움직이는 객체를 추적하기 위해 사용되는 것이다. 따라서 이러한 객체가 나타날 가능성이 적은 영역까지 객체 추적 대상으로 할 필요는 없다. 감시영역은 이와 같이 사용자가 객체가 존재할 가능성이 높은 영역만을 지정함으로써 설정된다.In addition, the user may set a certain area within the capture area 240 of the pan tilt zoom camera 200 to set a surveillance area that is a reference for tracking an object. The pan tilt zoom camera 200 is generally used to track a moving object such as a person or a car. Therefore, it is not necessary to target the object to the area where such an object is unlikely to appear. The surveillance area is set by specifying only the area where the user is likely to exist.

도 5는 사용자에 의해 감시영역이 설정되는 일 예를 나타낸 도면이다. 도 5를 참조하면, 팬틸트줌 카메라(200)에 의해 촬영된 영상 프레임과 해당 시점에서 팬틸트줌 카메라(200)의 좌표정보(410)가 표시된다. 사용자는 마우스 컨트롤에 의해 영상 프레임 상에 직사각형 형태의 감시영역(400)을 설정할 수 있다. 도 5에서는 자동차가 주로 이동하는 영역이 감시영역(400)으로 설정되었음을 확인할 수 있다.5 is a diagram illustrating an example in which a surveillance region is set by a user. Referring to FIG. 5, an image frame photographed by the pan tilt zoom camera 200 and coordinate information 410 of the pan tilt zoom camera 200 are displayed at a corresponding time point. The user may set the rectangular surveillance area 400 on the image frame by using the mouse control. In FIG. 5, it can be seen that the area where the vehicle mainly moves is set as the monitoring area 400.

한편, 감시영역(400)은 사용자에 의해 설정된 복수의 감시지점을 꼭지점으로 하는 복수의 삼각형으로 구성된 폴리곤 형태의 영역으로 설정될 수도 있다. 도 5를 참조하면, 직사각형의 감시영역(400)을 설정함으로써 자동차가 나타날 가능성이 없 는 화단 부분까지 불필요하게 감시영역(400)에 포함되어 객체 추적의 정확성이 저하될 수 있다. 따라서 이러한 문제점을 보완하기 위해 감시영역(400)을 폴리곤 형태로 설정하면 사용자가 원하는 영역만 감시영역(400)에 포함되도록 할 수 있다.Meanwhile, the monitoring area 400 may be set to a polygonal area composed of a plurality of triangles having a plurality of monitoring points set by the user as vertices. Referring to FIG. 5, by setting the rectangular surveillance region 400, even a portion of a flower bed where a car is unlikely to appear may be unnecessarily included in the surveillance region 400, thereby reducing the accuracy of object tracking. Therefore, in order to compensate for this problem, setting the surveillance region 400 in the form of a polygon may allow only the region desired by the user to be included in the surveillance region 400.

도 6a 내지 도 6c는 폴리곤 형태의 감시영역(400)을 도시한 도면이다. 도 6a를 참조하면, 8개의 꼭지점을 가지는 폴리곤 형태의 영역이 감시영역(400)이 된다. 이러한 폴리곤 형태는 도 6b에 도시된 바와 같이 복수의 삼각형을 포함하고 있다. 폴리곤의 내부에 포함된 삼각형들은 폴리곤과 꼭지점을 공유하도록 배치된다. 이러한 각각의 삼각형은 감시영역(400) 내에 존재하는 객체를 검출하기 위한 최소 단위가 된다.6A to 6C are diagrams illustrating a surveillance area 400 in the form of a polygon. Referring to FIG. 6A, an area having a polygonal shape having eight vertices becomes the surveillance area 400. This polygonal shape includes a plurality of triangles as shown in Figure 6b. Triangles contained within the polygon are arranged to share vertices with the polygon. Each of these triangles is a minimum unit for detecting an object existing in the surveillance area 400.

세 꼭지점 {p₁,p₂,p₃}에 의해 정의되는 삼각형에 대한 평면 법선 N₀는 다음 수학식 1과 같이 표현된다.The plane normal N ₀ for a triangle defined by three vertices {p ₁ , p ₂ , p ₃ } is expressed by Equation 1 below.

다음으로 삼각형 내부의 한 점 P₀에 대한 평면 법선 N_i는 다음의 수학식 2와 같이 표현된다.Next, the plane normal N _i for a point P ₀ inside the triangle is expressed by Equation 2 below.

수학식 2에서 ε은 한 점 p₀가 폴리곤 내부에 존재하는지 여부를 나타내는 판별 기준이 된다. 폴리곤의 경계선을 중심으로 내부에서 ε은 양의 값을 가지며, 외부에서는 음의 값을 가진다. 본 발명에서는 ε의 값을 0.001로 설정하였다.In Equation 2, ε is a criterion for determining whether a point p ₀ exists inside a polygon. Ε has a positive value inside the polygon and a negative value outside. In the present invention, the value of epsilon is set to 0.001.

도 6c는 위와 같은 수학식을 적용하여 얻어진 벡터를 도시한 도면이다. 이를 기준으로 하여 사용자가 감시지점을 설정할 때마다 삼각형을 연결하여 감시영역(400)을 설정할 수 있다.6C is a diagram illustrating a vector obtained by applying the above equation. Based on this, whenever a user sets a monitoring point, the monitoring area 400 may be set by connecting a triangle.

도 7a 내지 도 7c는 사용자에 의해 실제로 폴리곤 형태의 감시영역(400)이 생성되는 일 예를 나타낸 도면이다.7A to 7C are diagrams illustrating an example in which the surveillance area 400 having a polygon shape is actually generated by a user.

도 7a를 참조하면, 폴리곤의 최소 단위인 하나의 삼각형을 형성하기 위해서 사용자로부터 세 개의 감시지점을 입력받아야 한다. 사용자가 팬틸트줌 카메라(200)가 촬영한 영상 프레임 상에 세 개의 감시지점을 지정하면 영역 설정부(110)는 이들을 연결하여 삼각형의 감시영역(400)을 생성한다. 이후 사용자가 감시지점을 설정할 때마다 삼각형의 개수가 증가하면서 폴리곤 형태의 감시영역(400)이 생성된다.Referring to FIG. 7A, three monitoring points should be input from a user in order to form one triangle, which is a minimum unit of a polygon. When a user designates three monitoring points on an image frame captured by the pan tilt zoom camera 200, the area setting unit 110 connects them to generate a triangular monitoring area 400. Thereafter, whenever the user sets the monitoring point, the polygon-type monitoring area 400 is generated while the number of triangles increases.

도 7b를 참조하면, 사용자가 도 7a에서 설정하였던 세 개의 감시지점 외에 하나의 감시지점을 추가로 설정하였다. 영역 설정부(110)는 도 7a에서 생성한 삼각형의 두 꼭지점과 추가적으로 설정된 하나의 감시지점을 서로 연결하면 삼각형이 되므로 두 개의 삼각형을 포함하는 폴리곤 형태의 감시영역(400)을 생성할 수 있다. 이러한 과정을 반복하면 도 7c와 같이 내부에 복수의 삼각형을 포함하는 폴리 곤 형태의 감시영역(400)이 완성된다. 영역 설정부(110)는 설정된 감시영역(400)에 관한 좌표정보를 저장하고, 이후 팬틸트줌 카메라(400)에 의해 감시영역(400) 내 존재하는 객체 추적 과정이 수행되도록 한다.Referring to FIG. 7B, a user additionally sets one monitoring point in addition to the three monitoring points set in FIG. 7A. Since the area setting unit 110 connects two vertices of the triangle generated in FIG. 7A and one additionally set monitoring point to each other to form a triangle, the area setting unit 110 may generate a polygonal monitoring area 400 including two triangles. Repeating the above process, as shown in FIG. 7C, a polygonal monitoring area 400 including a plurality of triangles is completed. The area setting unit 110 stores coordinate information about the set surveillance area 400, and then performs the object tracking process existing in the surveillance area 400 by the pan tilt zoom camera 400.

도 8은 촬영영역(240) 내에서 복수의 감시영역(400)이 설정된 일 예를 도시한 도면이다. 도 8을 참조하면, 음영으로 표시된 다각형의 영역이 촬영영역(240)을 나타내며, 십자 형태로 표시된 두 개의 지점(810, 820)은 각각 감시영역1과 감시영역2를 설정할 때 팬틸트줌 카메라(200)의 좌표정보를 나타낸다. 팬틸트줌 카메라(200)가 810으로 표시된 지점에 위치할 때 촬영된 영상 프레임(830)으로부터 감시영역1이 설정되며, 팬틸트줌 카메라(200)가 820으로 표시된 지점에 위치할 때 촬영된 영상 프레임(840)으로부터 감시영역2가 설정된다. 이와 같이 복수의 감시영역(400)이 설정되면 넓은 촬영 범위를 가지는 팬틸트줌 카메라(200)의 특성을 충분히 활용하여 객체가 존재할 가능성이 높은 모든 영역에 대해 객체 추적을 수행할 수 있다.8 is a diagram illustrating an example in which a plurality of surveillance regions 400 are set in the photographing region 240. Referring to FIG. 8, the shaded polygonal area represents the photographing area 240, and the two points 810 and 820 represented by the cross shape are pan tilt zoom cameras when setting the surveillance area 1 and the surveillance area 2, respectively. 200 indicates coordinate information. Surveillance area 1 is set from the image frame 830 captured when the pan tilt zoom camera 200 is positioned at 810, and image captured when the pan tilt zoom camera 200 is positioned at 820. The surveillance area 2 is set from the frame 840. As such, when the plurality of surveillance areas 400 are set, object tracking may be performed for all areas where objects are likely to exist by fully utilizing the characteristics of the pan tilt zoom camera 200 having a wide shooting range.

객체 추출부(120)는 팬틸트줌 카메라(200)에 의해 생성된 일련의 영상 프레임 중에서 현재 영상 프레임과 현재 영상 프레임에 시간적으로 앞서는 복수의 이전 영상 프레임 사이의 차분을 기초로 현재 영상 프레임 상에서 감시영역(400)에 위치하는 객체에 대응하는 영역인 객체영역을 추출한다.The object extractor 120 monitors the current image frame based on the difference between the current image frame and a plurality of previous image frames temporally preceding the current image frame among a series of image frames generated by the pan tilt zoom camera 200. An object area, which is an area corresponding to an object located in the area 400, is extracted.

팬틸트줌 카메라(200)는 설정된 촬영영역(240) 내에서 지속적으로 촬영을 수행하며, 그 결과 시간적으로 연속하는 복수의 영상 프레임이 생성된다. 이때 시간적으로 서로 인접한 두 개의 영상 프레임을 비교하면 움직이는 객체를 검출할 수 있다. 다만 회전 가능한 팬틸트줌 카메라(200)의 특성상 진동이 발생할 수 있고, 서로 인접한 영상 프레임의 동일한 위치의 화소값이 달라져 객체 검출에 있어서 오차가 발생할 수 있다. 따라서 팬틸트줌 카메라(200)에 의해 복수의 영상 프레임이 생성되면 영상 프레임에 포함된 팬틸트줌 카메라(200)의 흔들림을 보정하는 과정이 필요하다.The pan tilt zoom camera 200 continuously photographs in the set photographing area 240, and as a result, a plurality of image frames that are continuous in time are generated. At this time, by comparing two image frames adjacent to each other in time, a moving object can be detected. However, vibration may occur due to the characteristics of the rotatable pan tilt zoom camera 200, and an error may occur in object detection because the pixel values of the same positions of adjacent image frames are different. Therefore, when a plurality of image frames are generated by the pan tilt zoom camera 200, a process of correcting the shaking of the pan tilt zoom camera 200 included in the image frames is required.

지역 움직임 벡터 추정부(140)는 현재 영상 프레임에 설정된 제1하위영역에 속하는 화소 중에서 현재 영상 프레임에 시간적으로 앞서는 이전 영상 프레임의 제1하위영역과 동일한 위치에 설정된 제2하위영역에서 선택된 제2화소와의 화소값의 차가 최소인 제1화소를 검출하고, 제1화소로부터 제2화소로 향하는 움직임 벡터인 지역 움직임 벡터를 추정한다.The local motion vector estimator 140 selects a second subregion selected from a second subregion set at the same position as the first subregion of the previous image frame temporally preceding the current image frame among pixels belonging to the first subregion set in the current image frame. The first pixel having the smallest difference in pixel value from the pixel is detected, and the local motion vector, which is a motion vector directed from the first pixel to the second pixel, is estimated.

영상에 존재하는 흔들림을 보정하기 위해 일반적으로 사용되는 2차원 평면의 어파인 변환(affine transformation)에서는 연속하는 두 개의 영상 프레임에서 서로 다른 세 개 이상의 대응점을 필요로 한다. 그러나 이러한 대응점들은 영상 프레임에서 균일성을 유지하기 어렵고, 대응점이 잘못 지정될 경우에는 오히려 오차가 증폭될 수 있다. 따라서 본 발명에서는 영상 프레임 상에 복수의 부분 영역을 지정하고, 각각의 영역에 대해 추정된 움직임 벡터들을 기초로 프레임 전체의 움직임 벡터를 결정함으로써 흔들림을 보정하는 방법을 사용한다.Affine transformation of a two-dimensional plane, which is generally used to compensate for shaking in an image, requires three or more different corresponding points in two consecutive image frames. However, these correspondence points are difficult to maintain uniformity in the image frame, and the error may be amplified when the correspondence points are incorrectly specified. Accordingly, the present invention uses a method of correcting shake by designating a plurality of partial regions on an image frame and determining a motion vector of the entire frame based on motion vectors estimated for each region.

도 9는 현재 영상 프레임 상에서 지역 움직임 벡터의 추정을 위해 설정된 복수의 제1하위영역의 예를 나타낸 도면이다. 도 9를 참조하면, 현재 영상 프레임 상에 모두 5개의 제1하위영역이 설정되며, 각각의 제1하위영역은 이전 영상 프레임 상에서 제1하위영역과 동일한 위치에 설정된 복수의 제2하위영역과의 지역 움직임 벡터를 추정하기 위해 사용된다. 즉, 지역 움직임 벡터 추정부(140)는 제1하위영역을 구성하는 복수의 화소 중에서 선택된 제1화소와의 화소값의 차가 최소인 제2화소를 제2하위영역으로부터 검출하고, 제1화소로부터 제2화소로 향하는 지역 움직임 벡터를 추정한다. 도 9에 나타난 각각의 제1하위영역에는 지역 움직임 벡터가 표시되어 있다.9 is a diagram illustrating an example of a plurality of first subregions set for estimation of a local motion vector on a current image frame. Referring to FIG. 9, five first subregions are all set on the current image frame, and each first subregion corresponds to a plurality of second subregions set at the same position as the first subregion on the previous image frame. Used to estimate local motion vectors. That is, the local motion vector estimator 140 detects, from the second subregion, a second pixel having a minimum difference in pixel value from the first pixel selected from the plurality of pixels constituting the first subregion from the second subregion. Estimate local motion vectors directed to the second pixel. In each first subregion shown in FIG. 9, a local motion vector is displayed.

다음으로 프레임 움직임 벡터 결정부(150)는 현재 영상 프레임에 설정된 복수의 제1하위영역에 대하여 각각 추정된 복수의 지역 움직임 벡터를 기초로 현재 영상 프레임에 대한 프레임 움직임 벡터를 결정한다. 프레임 움직임 벡터를 결정하는 방법으로는 여러 가지가 존재할 수 있다. 예를 들면, 복수의 지역 움직임 벡터의 평균을 프레임 움직임 벡터로 결정할 수도 있고, 사전에 설정되어 있는 복수의 견본 움직임 벡터 중에서 지역 움직임 벡터와의 유클리드 거리가 최소인 견본 움직임 벡터를 프레임 움직임 벡터로 결정할 수도 있다.Next, the frame motion vector determiner 150 determines a frame motion vector for the current video frame based on the plurality of local motion vectors estimated for the plurality of first subregions set in the current video frame. There may be various ways to determine the frame motion vector. For example, an average of a plurality of local motion vectors may be determined as a frame motion vector, and a sample motion vector having a minimum Euclidean distance with a local motion vector is determined as a frame motion vector among a plurality of preset sample motion vectors. It may be.

영상 안정화부(160)는 현재 영상 프레임을 구성하는 복수의 화소 각각에 대해 프레임 움직임 벡터를 적용하여 현재 영상 프레임에 포함된 팬틸트줌 카메라(200)의 흔들림을 보정한다. 현재 영상 프레임을 구성하는 모든 화소는 프레임 움직임 벡터에 의해 동일한 방향으로 동일한 거리만큼 이동하며, 이러한 과정에 의해 현재 영상 프레임과 이전 영상 프레임 사이에서 팬틸트줌 카메라(200)의 흔들림에 의해 발생한 움직임이 보정되어 객체를 정확히 추출할 수 있게 된다.The image stabilizer 160 corrects the shaking of the pan tilt zoom camera 200 included in the current image frame by applying a frame motion vector to each of the plurality of pixels constituting the current image frame. All pixels constituting the current image frame are moved by the same distance in the same direction by the frame motion vector. As a result, the movement generated by the pan tilt zoom camera 200 between the current image frame and the previous image frame is lost. It is calibrated so that objects can be extracted accurately.

객체 추출부(120)는 위와 같은 과정에 의해 움직임이 보정된 현재 영상 프레 임으로부터 관심영역(400)에 위치하는 객체에 대응하는 영역인 객체영역을 추출한다.The object extractor 120 extracts an object region corresponding to an object located in the region of interest 400 from the current image frame whose motion is corrected by the above process.

감시영역(400) 내의 객체가 느린 속도로 움직이는 경우에는 인접한 두 개의 영상 프레임 사이에서 객체의 움직임이 거의 나타나지 않을 가능성이 있다. 따라서 객체 추출의 정확성을 향상시키기 위해 객체 추출부(120)는 현재 영상 프레임에 시간적으로 앞서는 복수의 이전 영상 프레임을 이용하여 현재 영상 프레임으로부터 객체영역을 추출한다. 즉 복수의 이전 영상 프레임 각각에 대하여 현재 영상 프레임을 구성하는 복수의 화소의 화소값과 이전 영상 프레임을 구성하는 복수의 화소의 화소값의 차분값으로 이루어진 복수의 후보영역 및 각각의 후보영역에 대한 차분값의 평균을 결정하고, 차분값의 평균이 최대인 후보영역을 객체영역으로 결정한다.When the object in the surveillance area 400 moves at a slow speed, there is a possibility that the movement of the object hardly appears between two adjacent image frames. Therefore, in order to improve the accuracy of object extraction, the object extractor 120 extracts an object region from the current image frame by using a plurality of previous image frames that temporally precede the current image frame. That is, for each of the plurality of previous image frames, a plurality of candidate regions and respective candidate regions including pixel values of the plurality of pixels constituting the current image frame and pixel values of the plurality of pixels constituting the previous image frame. The average of the difference values is determined, and the candidate area having the maximum difference value is determined as the object area.

예를 들면, 현재 영상 프레임으로부터 객체영역을 추출하기 위해 현재 영상 프레임에 시간적으로 앞서는 n개의 이전 영상 프레임을 이용한다고 가정한다. 객체 추출부(120)는 현재 영상 프레임과 n개의 이전 영상 프레임 각각에 대해 화소값의 차분값으로 이루어지는 n개의 차분 영상 프레임을 생성하며, 각각의 차분 영상 프레임으로부터 추출되는 n개의 후보영역이 얻어진다. 이 중에서 후보영역을 구성하는 차분값의 평균이 최대인 후보영역이 객체 추출부(120)에 의해 객체영역으로 결정된다. 이와 같이 복수의 이전 영상 프레임을 사용하면 객체의 움직임이 느린 경우에도 객체영역을 명확하게 추출할 수 있다. 감시영역(400)에 위치하는 객체가 복수 개인 경우에는 하나의 객체에 대한 영역만 객체영역으로 결정되며, 나머지 객체 에 대한 영역은 후보영역이 된다.For example, it is assumed that n previous image frames temporally preceding the current image frame are used to extract the object region from the current image frame. The object extractor 120 generates n difference image frames including difference values of pixel values for each of the current image frame and n previous image frames, and n candidate regions extracted from each difference image frame are obtained. . Of these, the candidate region having the largest average of the difference values constituting the candidate region is determined by the object extractor 120 as the object region. As such, when the plurality of previous image frames are used, the object region can be clearly extracted even when the movement of the object is slow. When there are a plurality of objects located in the surveillance area 400, only an area for one object is determined as an object area, and an area for the remaining objects becomes a candidate area.

도 10은 현재 영상 프레임으로부터 추출된 객체영역을 나타낸 도면이다. 도 10에서 우측의 영상 프레임은 현재 영상 프레임과 이전 영상 프레임 사이의 차분을 나타내는 영상 프레임으로, 직사각형 형태의 감시영역(400)이 표시되어 있다. 좌측의 영상 프레임에 나타난 두 개의 객체 중에서 하나의 객체만 감시영역(400) 내에 위치하므로 감시영역(400)에 위치하는 객체에 대응하는 객체영역(500)이 추출된다.10 is a diagram illustrating an object region extracted from a current image frame. In FIG. 10, an image frame on the right is an image frame indicating a difference between a current image frame and a previous image frame, and a surveillance area 400 having a rectangular shape is displayed. Since only one object of the two objects shown in the image frame on the left side is located in the surveillance area 400, the object area 500 corresponding to the object located in the surveillance area 400 is extracted.

카메라 제어부(130)는 현재 영상 프레임의 중심으로부터 객체영역(500)으로 향하는 움직임 벡터의 방향에 따라 팬틸트줌 카메라(200)를 회전시킨다.The camera controller 130 rotates the pan tilt zoom camera 200 according to the direction of the motion vector toward the object region 500 from the center of the current image frame.

팬틸트줌 카메라(200)가 움직이는 객체를 놓치지 않고 계속 추적하기 위해서는 객체가 팬틸트줌 카메라(200)에 의해 촬영된 영상 프레임의 중심에 위치하도록 할 필요성이 있다. 따라서 카메라 제어부(130)는 현재 영상 프레임에서 객체영역이 추출되면 객체영역이 영상 프레임의 중심에 위치하도록 팬틸트줌 카메라(200)를 회전시키기 위한 움직임 벡터를 산출한다.In order for the pan tilt zoom camera 200 to keep track of the moving object without missing it, it is necessary to position the object at the center of the image frame photographed by the pan tilt zoom camera 200. Therefore, when the object region is extracted from the current image frame, the camera controller 130 calculates a motion vector for rotating the pan tilt zoom camera 200 such that the object region is located at the center of the image frame.

도 11은 팬틸트줌 카메라(200)의 이동 방향을 도시한 도면이다. 도 11을 참조하면, 팬틸트줌 카메라(200)는 상,하,좌,우 및 대각선 방향을 포함하는 8개의 방향으로 회전할 수 있다. 따라서 카메라 제어부(130)는 현재 영상 프레임의 중심으로부터 객체영역(500)으로 향하는 움직임 벡터를 산출하여 도 11에 도시된 8개의 방향 중에서 움직임 벡터의 방향과 가장 근접한 방향으로 팬틸트줌 카메라(200)를 회전시킬 수 있다. 도 11의 좌측 도면은 객체영역이 팬틸트줌 카메라(200)의 중심에 위치하는 예를 도시한 것으로서, 객체영역의 좌측 변의 중점과 현재 영상 프레 임의 중심이 일치하도록 한 것이다. 그러나 현재 영상 프레임의 중심으로부터 객체영역의 중심으로 향하는 움직임 벡터를 산출하여 팬틸트줌 카메라(200)를 회전시킬 수도 있다.11 is a diagram illustrating a moving direction of the pan tilt zoom camera 200. Referring to FIG. 11, the pan tilt zoom camera 200 may rotate in eight directions including up, down, left, right and diagonal directions. Accordingly, the camera controller 130 calculates a motion vector toward the object region 500 from the center of the current image frame and moves the pan tilt zoom camera 200 in the direction closest to the direction of the motion vector among the eight directions shown in FIG. 11. Can be rotated. 11 illustrates an example in which the object region is located at the center of the pan tilt zoom camera 200, in which the midpoint of the left side of the object region and the center of the current image frame coincide with each other. However, the pan tilt zoom camera 200 may be rotated by calculating a motion vector from the center of the current image frame toward the center of the object region.

도 12는 카메라 제어부(130)에 의해 팬틸트줌 카메라(200)를 회전시켜 감시영역(400) 내의 객체를 추적하는 예를 도시한 도면이다.12 is a diagram illustrating an example of tracking an object in the surveillance area 400 by rotating the pan tilt zoom camera 200 by the camera controller 130.

도 12에 도시된 한 쌍의 영상 중에서 위쪽의 영상은 팬틸트줌 카메라(200)의 촬영영역(240) 및 현재 팬틸트줌 카메라(200)의 위치를 나타낸 것이고, 아래쪽의 영상은 위쪽의 영상에 표시된 팬틸트줌 카메라(200)의 위치에서 촬영된 영상 프레임을 나타낸 것이다. 도 12의 좌측으로부터 순차적으로 살펴보면, 감시대상이 감시영역(400) 내부에 위치하지 않으므로 객체영역이 검출되지 않고, 감시대상이 이동하여 감시영역(400) 내부로 진입하면 객체 추출부(120)에 의해 객체영역이 추출되어 객체 추적 과정이 수행된다. 이때 카메라 제어부(130)는 객체영역이 현재 영상 프레임의 중심에 위치하도록 팬틸트줌 카메라(200)를 회전시키고, 객체 추출부(120)는 팬틸트줌 카메라(200)가 회전한 후 생성되는 영상 프레임으로부터 다시 객체영역을 추출한다.The upper image of the pair of images shown in FIG. 12 shows the positions of the capturing area 240 of the pan tilt zoom camera 200 and the current pan tilt zoom camera 200, and the lower image is displayed on the upper image. It shows an image frame photographed at the position of the displayed pan tilt zoom camera 200. Looking sequentially from the left side of FIG. 12, since the monitoring target is not located inside the monitoring region 400, the object region is not detected, and when the monitoring target moves and enters the monitoring region 400, the object extracting unit 120 enters the monitoring unit 400. The object area is extracted and the object tracking process is performed. At this time, the camera controller 130 rotates the pan tilt zoom camera 200 so that the object region is located at the center of the current image frame, and the object extractor 120 is an image generated after the pan tilt zoom camera 200 rotates. Extract the object area from the frame again.

도 12에서 A로 표시된 경로는 감시영역(400) 내부에 위치하던 객체가 현재 영상 프레임으로부터 사라진 경우를 나타낸 것이다. 이러한 경우에는 더 이상 객체영역을 추출할 수 없게 된다. 또한 B로 표시된 경로는 객체가 이동하여 팬틸트줌 카메라(200)의 촬영영역(240) 밖으로 벗어난 경우를 나타낸 것이다. 이때 현재 영상 프레임 상에서 객체영역은 추출되지만 팬틸트줌 카메라(200)를 회전시키면 촬영 영역(240)을 벗어나게 되므로 더 이상 객체 추적을 할 수 없다.A path indicated by A in FIG. 12 represents a case where an object located inside the surveillance area 400 disappears from the current image frame. In this case, the object area can no longer be extracted. In addition, the path indicated by B represents a case where the object moves out of the photographing area 240 of the pan tilt zoom camera 200. At this time, the object area is extracted on the current image frame, but when the pan tilt zoom camera 200 is rotated, the object area is moved out of the shooting area 240, and object tracking is no longer possible.

앞에서 설명한 A와 B의 경우 모두 객체 추적 과정이 종료되는 경우를 나타낸다. 이러한 경우에 카메라 제어부(130)는 팬틸트줌 카메라(200)를 좌표공간에서 사전에 설정된 초기지점의 좌표정보에 따라 회전시킨다. 초기지점은 사용자가 촬영영역(240)을 설정할 때 입력받은 최초 영상 프레임을 촬영하였을 때의 팬틸트줌 카메라(200)의 위치로 할 수 있다.In the case of A and B described above, the object tracking process is terminated. In this case, the camera controller 130 rotates the pan tilt zoom camera 200 according to the coordinate information of the preset initial point in the coordinate space. The initial point may be a position of the pan tilt zoom camera 200 when the user photographs the first image frame input when the user sets the photographing area 240.

도 13은 본 발명을 팬틸트줌 카메라(200)에 적용하여 얻어진 객체 추적 결과를 나타낸 도면이다. 도 13의 (a)를 참조하면, 팬틸트줌 카메라(200)의 초기 위치로부터 영역 설정부(110)에 의해 좌표공간이 생성되고, 촬영영역 및 감시영역이 설정된다. 다음으로 도 13의 (b) 및 (c)는 감시영역 내에 객체가 존재하는 경우를 나타낸다. 도 13의 (b)에서는 감시영역 내에 두 개의 객체가 존재하며, 이 중에서 차분값의 평균이 큰 영역이 객체영역으로, 차분값의 평균이 작은 영역이 후보영역이다. 따라서 본 발명을 이용하면 감시영역 내의 복수의 객체가 서로 다른 방향으로 이동하는 경우에도 카메라 제어부(130)가 후보영역을 배제하고 객체영역을 기준으로 팬틸트줌 카메라(200)를 회전시키므로 객체 추적의 성능을 향상시킬 수 있다. 도 13의 (c)는 두 개의 객체 중에서 하나만 감시영역 내에 남아있는 경우를 나타낸 것으로, 이 경우에는 하나의 객체영역만 추출된다. 마지막으로 도 13의 (d)는 객체가 감시영역으로부터 벗어난 경우를 나타낸 것이다. 더 이상 객체영역이 추출되지 않으므로 카메라 제어부(130)는 팬틸트줌 카메라(200)를 초기지점으로 회전시킨다.13 is a diagram illustrating an object tracking result obtained by applying the present invention to the pan tilt zoom camera 200. Referring to FIG. 13A, a coordinate space is generated by the area setting unit 110 from an initial position of the pan tilt zoom camera 200, and a photographing area and a surveillance area are set. Next, FIGS. 13B and 13C illustrate a case in which an object exists in the surveillance region. In FIG. 13B, two objects exist in the surveillance region, and a region having a large average difference value is an object area, and a region having a small average difference value is a candidate area. Therefore, according to the present invention, even when a plurality of objects in the surveillance region move in different directions, the camera controller 130 excludes the candidate region and rotates the pan tilt zoom camera 200 based on the object region. It can improve performance. FIG. 13C illustrates a case in which only one of two objects remains in the surveillance area. In this case, only one object area is extracted. Finally, FIG. 13 (d) shows a case in which the object deviates from the surveillance area. Since the object region is no longer extracted, the camera controller 130 rotates the pan tilt zoom camera 200 to an initial point.

도 14는 본 발명에 따른 좌표맵을 이용한 팬틸트줌 카메라 기반의 객체 추적 방법에 대한 바람직한 실시예의 수행과정을 도시한 흐름도이다.14 is a flowchart illustrating a preferred embodiment of a method for tracking an object based on a pan tilt zoom camera using a coordinate map according to the present invention.

도 14를 참조하면, 영역 설정부(110)는 회전 가능한 팬틸트줌 카메라(200)의 회전각도 및 주밍비율로 표현되는 좌표공간을 생성하고, 사용자에 의해 좌표공간에 설정되는 복수의 촬영지점을 서로 연결한 다각형 형상의 촬영영역(240) 및 촬영영역 내부에서 사용자에 의해 설정된 감시영역(400)을 나타내는 좌표정보를 저장한다(S1410). 다음으로 객체 추출부(120)는 팬틸트줌 카메라(200)에 의해 생성된 일련의 영상 프레임 중에서 현재 영상 프레임과 현재 영상 프레임에 시간적으로 앞서는 이전 영상 프레임 사이의 차분을 기초로 현재 영상 프레임 상에서 감시영역에 위치하는 객체에 대응하는 영역인 객체영역을 추출한다(S1420).Referring to FIG. 14, the area setting unit 110 generates a coordinate space represented by a rotation angle and zooming ratio of the rotatable pan tilt zoom camera 200, and displays a plurality of shooting points set in the coordinate space by the user. In operation S1410, coordinate information indicating the capture area 240 having a polygonal shape and the surveillance area 400 set by the user in the capture area connected to each other is stored. Next, the object extractor 120 monitors the current image frame based on the difference between the current image frame and the previous image frame temporally preceding the current image frame among the series of image frames generated by the pan tilt zoom camera 200. The object region corresponding to the object located in the region is extracted (S1420).

앞에서 설명한 바와 같이 팬틸트줌 카메라(200)에 의해 생성된 영상 프레임이 객체 추출부(120)로 입력되기 전에 지역 움직임 벡터 추정부(140), 프레임 움직임 벡터 결정부(150) 및 영상 안정화부(160)에 의해 현재 영상 프레임에 포함된 팬틸트줌 카메라(200)의 흔들림을 보정할 수 있다. 또한 객체 추출부(120)가 객체영역을 추출할 때 복수의 이전 영상 프레임을 사용하여 객체영역을 더 명확하게 추출할 수 있다.As described above, before the image frame generated by the pan tilt zoom camera 200 is input to the object extractor 120, the local motion vector estimator 140, the frame motion vector determiner 150, and the image stabilizer ( The shaking of the pan tilt zoom camera 200 included in the current image frame may be corrected by the 160. In addition, when the object extractor 120 extracts the object region, the object region may be more clearly extracted using a plurality of previous image frames.

카메라 제어부(130)는 현재 영상 프레임의 중심으로부터 객체영역으로 향하는 움직임 벡터의 방향에 따라 팬틸트줌 카메라(200)를 회전시킨다(S1430). 따라서 팬틸트줌 카메라(200)가 방향성만을 가지고 움직이게 되어 객체 추적 시스템의 구성이 간단해지고 객체 추적이 용이하게 된다. 카메라 제어부(130)에 의해 팬틸트줌 카메라(200)가 회전된 후 생성된 영상 프레임으로부터 객체영역이 추출되 면(S1440), 카메라 제어부(130)는 해당 영상 프레임으로부터 추출된 객체영역을 기초로 다시 팬틸트줌 카메라(200)를 회전시키는 과정을 반복한다.The camera controller 130 rotates the pan tilt zoom camera 200 according to the direction of the motion vector toward the object region from the center of the current image frame (S1430). Therefore, the pan tilt zoom camera 200 moves with only directionality, so that the configuration of the object tracking system is simplified and the object tracking is easy. When the object region is extracted from the image frame generated after the pan tilt zoom camera 200 is rotated by the camera controller 130 (S1440), the camera controller 130 based on the object region extracted from the corresponding image frame. The process of rotating the pan tilt zoom camera 200 again is repeated.

이후의 영상 프레임에서 객체영역이 추출되지 않으면(S1440) 카메라 제어부(130)는 팬틸트줌 카메라(200)를 좌표공간에서 사전에 설정된 초기지점의 좌표정보에 따라 회전시킨다(S1450).If the object region is not extracted from the subsequent image frame (S1440), the camera controller 130 rotates the pan tilt zoom camera 200 according to the coordinate information of a preset initial point in the coordinate space (S1450).

본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.The present invention can also be embodied as computer-readable codes on a computer-readable recording medium. The computer-readable recording medium includes all kinds of recording devices in which data that can be read by a computer system is stored. Examples of the computer-readable recording medium include a ROM, a RAM, a CD-ROM, a magnetic tape, a floppy disk, an optical data storage device, and the like, and may be implemented in the form of a carrier wave (for example, transmission via the Internet) . The computer readable recording medium can also be distributed over network coupled computer systems so that the computer readable code is stored and executed in a distributed fashion.

이상에서 본 발명의 바람직한 실시예에 대해 도시하고 설명하였으나, 본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.Although the preferred embodiments of the present invention have been shown and described above, the present invention is not limited to the specific preferred embodiments described above, and the present invention belongs to the present invention without departing from the gist of the present invention as claimed in the claims. Various modifications can be made by those skilled in the art, and such changes are within the scope of the claims.

도 1은 본 발명에 따른 좌표맵을 이용한 팬틸트줌 카메라 기반의 객체 추적 장치에 대한 바람직한 실시예의 구성을 도시한 블록도,1 is a block diagram showing the configuration of a preferred embodiment for a pan tilt zoom camera-based object tracking apparatus using a coordinate map according to the present invention;

도 2는 영역 설정부에 의해 생성된 좌표공간의 일 예를 도시한 도면,2 is a diagram illustrating an example of a coordinate space generated by an area setting unit;

도 3은 팬틸트줌 카메라의 촬영영역을 결정하는 방법을 설명하기 위한 도면,3 is a view for explaining a method of determining a photographing area of a pan tilt zoom camera;

도 4는 사용자에 의해 설정된 다섯 개의 촬영지점으로부터 생성된 촬영영역을 도시한 도면,4 is a view showing a photographing area generated from five photographing points set by a user;

도 5는 사용자에 의해 감시영역이 설정되는 일 예를 나타낸 도면,5 is a diagram illustrating an example in which a surveillance region is set by a user;

도 6a 내지 도 6c는 폴리곤 형태의 감시영역을 도시한 도면,6A to 6C illustrate a polygonal surveillance region;

도 7a 내지 도 7c는 사용자에 의해 실제로 폴리곤 형태의 감시영역이 생성되는 일 예를 나타낸 도면,7A to 7C are diagrams illustrating an example in which a surveillance area having a polygon shape is actually generated by a user;

도 8은 촬영영역 내에서 복수의 감시영역이 설정된 일 예를 도시한 도면,8 is a diagram illustrating an example in which a plurality of surveillance regions are set in a photographing region;

도 9는 현재 영상 프레임 상에서 지역 움직임 벡터의 추정을 위해 설정된 복수의 제1하위영역의 예를 나타낸 도면,9 illustrates an example of a plurality of first subregions configured for estimation of a local motion vector on a current image frame;

도 10은 현재 영상 프레임으로부터 추출된 객체영역을 나타낸 도면,10 is a view showing an object region extracted from a current image frame;

도 11은 팬틸트줌 카메라의 이동 방향을 도시한 도면,11 is a diagram illustrating a moving direction of a pan tilt zoom camera;

도 12는 카메라 제어부에 의해 팬틸트줌 카메라를 회전시켜 감시영역 내의 객체를 추적하는 예를 도시한 도면,12 illustrates an example of tracking an object in a surveillance area by rotating a pan tilt zoom camera by a camera controller;

도 13은 본 발명을 팬틸트줌 카메라에 적용하여 얻어진 객체 추적 결과를 나타낸 도면, 그리고,13 is a view showing an object tracking result obtained by applying the present invention to a pan tilt zoom camera, and

Claims

Create a coordinate space represented by the rotation angle and zooming ratio of the rotatable pan tilt zoom camera, and the polygonal shape of the photographing area connected to the plurality of shooting points set in the coordinate space by the user and the inside of the photographing area An area setting unit for storing coordinate information indicating a monitoring area including a plurality of partial polygons having a plurality of monitoring points set by a user as vertices;

Based on the difference between the current image frame and the previous image frame temporally preceding the current image frame among the series of image frames generated by the pan tilt zoom camera, the object corresponding to the object located in the surveillance area on the current image frame. An object extracting unit which extracts an object area which is an area; And

And a camera controller which rotates the pan tilt zoom camera within a range of the photographing area according to a direction of a motion vector from the center of the current image frame to the object area.

The method of claim 1,

And the camera controller rotates the pan tilt zoom camera according to coordinate information of a preset initial point in the coordinate space when there is no object region.

The method according to claim 1 or 2,

The surveillance area is an object tracking device, characterized in that the polygonal area consisting of a plurality of triangles having a plurality of monitoring points set by the user as a vertex.

The method according to claim 1 or 2,

The object extracting unit is a difference value between a pixel value of a plurality of pixels constituting the current image frame and a pixel value of a plurality of pixels constituting the previous image frame with respect to each of the plurality of previous image frames temporally preceding the current image frame. Calculating an average of the plurality of candidate regions and the difference values for each candidate region, and determining the candidate region having the maximum average of the difference values as the object region.

The method according to claim 1 or 2,

The pixel value of the pixel with the second pixel selected in the second subregion set at the same position as the first subregion of the previous image frame temporally preceding the current image frame among the pixels belonging to the first subregion set in the current image frame. A local motion vector estimator for detecting a first pixel having a minimum difference and estimating a local motion vector that is a motion vector directed from the first pixel to the second pixel;

A frame motion vector determiner configured to determine a frame motion vector for the current video frame based on the plurality of local motion vectors estimated for the plurality of first subregions set in the current video frame; And

And an image stabilization unit configured to correct shake of the pan tilt zoom camera included in the current image frame by applying the frame motion vector to each of the plurality of pixels constituting the current image frame. Tracking device.

Create a coordinate space represented by the rotation angle and zooming ratio of the rotatable pan tilt zoom camera, and the polygonal shape of the photographing area connected to the plurality of shooting points set in the coordinate space by the user and the inside of the photographing area An area setting step of storing coordinate information indicating a surveillance area consisting of a plurality of partial polygons having a plurality of surveillance points set by a user as vertices;

Based on the difference between the current image frame and the previous image frame temporally preceding the current image frame among the series of image frames generated by the pan tilt zoom camera, the object corresponding to the object located in the surveillance area on the current image frame. An object extraction step of extracting an object area which is an area; And

And a camera control step of rotating the pan tilt zoom camera within the range of the photographing area according to the direction of the motion vector from the center of the current image frame to the object area.

The method of claim 6,

In the camera control step, if the object area does not exist, the pan tilt zoom camera is rotated according to the coordinate information of the preset initial point in the coordinate space.

The method according to claim 6 or 7,

The surveillance region is an object tracking method, characterized in that the polygon-shaped region consisting of a plurality of triangles as a vertex of the plurality of surveillance points set by the user.

The method according to claim 6 or 7,

In the object extraction step, a difference between pixel values of a plurality of pixels constituting the current image frame and pixel values of a plurality of pixels constituting the previous image frame with respect to each of the plurality of previous image frames that temporally precede the current image frame. Calculating a mean of a plurality of candidate areas and difference values for each candidate area, and determining a candidate area having a maximum average of the difference values as the object area.

The method according to claim 6 or 7,

The pixel value of the pixel with the second pixel selected in the second subregion set at the same position as the first subregion of the previous image frame temporally preceding the current image frame among the pixels belonging to the first subregion set in the current image frame. A local motion vector estimating step of detecting a first pixel having a minimum difference and estimating a local motion vector that is a motion vector directed from the first pixel to the second pixel;

A frame motion vector determining step of determining a frame motion vector for the current video frame based on a plurality of local motion vectors estimated for a plurality of first sub-regions set in the current video frame; And

And an image stabilizing step of correcting a shake of the pan tilt zoom camera included in the current image frame by applying the frame motion vector to each of the plurality of pixels constituting the current image frame. Tracking method.

A computer-readable recording medium having recorded thereon a program for executing the object tracking method according to claim 6 or 7.