KR102030736B1 - Apparatus for analyzing Multi-Distributed Video Data - Google Patents

Apparatus for analyzing Multi-Distributed Video Data Download PDF

Info

Publication number
KR102030736B1
KR102030736B1 KR1020170158079A KR20170158079A KR102030736B1 KR 102030736 B1 KR102030736 B1 KR 102030736B1 KR 1020170158079 A KR1020170158079 A KR 1020170158079A KR 20170158079 A KR20170158079 A KR 20170158079A KR 102030736 B1 KR102030736 B1 KR 102030736B1
Authority
KR
South Korea
Prior art keywords
image
information
analysis
data
map data
Prior art date
Application number
KR1020170158079A
Other languages
Korean (ko)
Other versions
KR20190060161A (en
Inventor
김학철
정성훈
한혁
진성일
Original Assignee
주식회사 리얼타임테크
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 리얼타임테크 filed Critical 주식회사 리얼타임테크
Priority to KR1020170158079A priority Critical patent/KR102030736B1/en
Priority to PCT/KR2017/013586 priority patent/WO2019103208A1/en
Publication of KR20190060161A publication Critical patent/KR20190060161A/en
Application granted granted Critical
Publication of KR102030736B1 publication Critical patent/KR102030736B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 서로 다른 위치에 분산 설치된 다수의 영상 획득 장치로부터 제공되는 서로 다른 영상에서 동일 객체를 하나의 객체로 인식하여 관리하고, 맵 데이터와 연동하여 영상 획득 장치가 없는 공간에 대해서도 객체에 대한 연속적인 이동 위치를 예측함으로써, 객체에 대한 궤적정보를 용이하게 획득함은 물론, 일정 형태의 객체 모델을 이용하여 보다 신속하게 객체에 대한 상태를 분석할 수 있도록 해 주는 기술에 관한 것이다.
본 발명에 따른 다중 분산 영상 데이터 분석 장치는, 서로 다른 위치에 설치되어 서로 다른 촬영 영역에 대한 영상 데이터를 제공하는 다수의 영상획득장치와, 다수의 영상획득장치로부터 제공되는 서로 다른 영역에 대한 원본 영상을 정보 입출력부로 제공함과 더불어, 데이터 저장소에 저장하고, 서로 다른 영상획득장치로부터 제공되는 각 원본 영상에 존재하는 동일 객체에 대하여 하나의 객체 식별자를 부여하며, 객체 식별자에 대해 해당 객체 표현을 위한 객체 모델 및, 영상획득장치별 이동 경로에 대한 궤적정보를 포함하는 다중 영상 객체정보를 생성하여 데이터 저장소에 저장하는 다중 영상 처리부, 맵 데이터와, 상기 다중 영상 처리부에서 생성되는 다중 영상 객체정보 및, 상기 영상획득장치로부터 제공되는 원본 영상을 포함하는 다중 영상 분석을 위한 정보가 저장되는 데이터 저장소, 영상 데이터에서 객체에 대한 객체 모델을 이용하여 기 설정된 분석 조건에 대응되는 분석처리를 수행하고, 분석 결과를 정보 입출력부로 제공하는 다중 영상 분석부 및, 사용자에 의한 분석 조건 설정 및 특정 프레임 영상 선택을 위한 입력환경을 제공하고, 원본 영상을 맵데이터의 해당 촬영 영역에 합성하여 표시출력함과 더불어, 사용자에 의해 선택된 프레임 영상을 표시 출력하는 정보 입출력부를 포함하여 구성되는 것을 특징으로 한다.The present invention recognizes and manages the same object as one object in different images provided from a plurality of image acquisition apparatuses distributed in different locations, and continuously links the object to a space without an image acquisition device in association with map data. The present invention relates to a technique for easily acquiring trajectory information of an object by predicting a moving position of the object and analyzing the state of the object more quickly by using a certain type of object model.
The multi-distributed image data analyzing apparatus according to the present invention includes a plurality of image acquisition apparatuses installed at different positions to provide image data for different photographing regions, and originals for different regions provided from the plurality of image acquisition apparatuses. In addition to providing the image to the information input / output unit, storing it in a data storage, and assigning one object identifier to the same object existing in each original image provided from different image capturing devices, A multi-image processing unit for generating multi-image object information including an object model and trajectory information on a moving path for each image capturing device and storing the multi-image object information in a data storage, map data, multi-image object information generated by the multi-image processing unit, Multiple zeros including original image provided from said image acquisition device Data storage for storing information for analysis, multi-image analysis unit for performing the analysis process corresponding to the preset analysis conditions using the object model of the object in the image data, and provides the analysis results to the information input / output unit, and to the user It provides an input environment for setting analysis conditions and selecting a specific frame image, and displays and outputs the synthesized original image to the corresponding shooting area of the map data, and displays and outputs the frame image selected by the user. It is characterized in that the configuration.

Figure R1020170158079
Figure R1020170158079

Description

다중 분산 영상 데이터 분석 장치{Apparatus for analyzing Multi-Distributed Video Data}Apparatus for analyzing Multi-Distributed Video Data

본 발명은 서로 다른 위치에 분산 설치된 다수의 영상 획득 장치로부터 제공되는 서로 다른 영상에서 동일 객체를 하나의 객체로 인식하여 관리하고, 맵 데이터와 연동하여 영상 획득 장치가 없는 공간에 대해서도 객체에 대한 연속적인 이동 위치를 예측함으로써, 객체에 대한 궤적정보를 용이하게 획득함은 물론, 일정 형태의 객체 모델을 이용하여 보다 신속하게 객체에 대한 상태를 분석할 수 있도록 해 주는 기술에 관한 것이다. The present invention recognizes and manages the same object as one object in different images provided from a plurality of image acquisition apparatuses distributed in different locations, and continuously links the object to a space without an image acquisition device in association with map data. The present invention relates to a technique for easily acquiring trajectory information of an object by predicting a moving position of the object and analyzing the state of the object more quickly by using a certain type of object model.

최근에는 교통 상황의 실시간 감시나 교통 정보의 제공, 또는 각종 보안의 목적으로 다양한 형태의 CCTV 카메라가 도로나 인도, 주택가, 골목 등 곳곳에 설치되고 있다.Recently, various types of CCTV cameras have been installed in roads, sidewalks, residential areas, and alleys for the purpose of real-time monitoring of traffic conditions, providing traffic information, or various security purposes.

이러한 CCTV 카메라들은 그 용도에 따라 GPS 칩이 내장되거나, 와이파이(wi-fi)/블루투스/지그비 등의 수단에 의해 관리 서버 등의 네트워크에 연결될 수 있다. These CCTV cameras can be connected to a network such as a management server by means of a built-in GPS chip, Wi-Fi / Bluetooth / Zigbee, etc. depending on the purpose.

상기한 CCTV 카메라들은 산업용, 교육용, 교통 관제용 및 방제용 등과 같이 다양한 용도로 사용되고 있으며, CCTV 카메라의 보급이 급증함에 따라 CCTV 카메라가 촬영한 영상을 저장하는데 그치지 않고, 입력된 대용량의 영상을 분석하여 비정상적인 행동을 탐지하는 지능형 감시 서비스에 대한 요구가 급증하고 있다.The CCTV cameras are used for various purposes, such as industrial, educational, traffic control, and control, and as the spread of CCTV cameras increases, it does not stop at storing images captured by CCTV cameras. The demand for intelligent surveillance services to detect abnormal behavior is increasing rapidly.

지능형 영상감시 시스템은 기본적으로 동영상에서 객체들의 행동을 모니터링하고, 객체 탐지 및 추적 기능을 수행하며, 최종적으로는 객체들의 비정상적인 행동 패턴을 탐지하는 등의 기능을 수행한다.Intelligent video surveillance system basically monitors the behavior of objects in video, performs object detection and tracking, and finally detects abnormal behavior patterns of objects.

이때, 객체의 이동궤적 정보는 객체 행동을 모니터링하거나 비정정상적인 행동 패턴을 탐지하는데 가장 많이 이용된다.At this time, the movement trajectory information of the object is most used to monitor the object behavior or detect abnormal behavior patterns.

한편, 상기한 객체에 대한 궤적 데이터는 일반적으로 (t,x,y)의 점 객체 자료구조로 저장된다. 즉, 영상 내에서 이동하는 객체의 궤적정보는 연속된 점 형태로 표현된다. On the other hand, the trajectory data for the object is generally stored as a point object data structure of (t, x, y). That is, the trajectory information of the object moving in the image is expressed in the form of a continuous point.

반면, 일반적으로 CCTV 카메라 등의 영상획득장치에서 추출하는 객체에 대한 정보는 객체가 나타난 이미지 프레임 번호와 객체 모델정보를 포함하는데, 객체 모델은 통상 해당 객체를 포함하는 사각형 등의 MBR(Minimum Bounding Rectangle)형태로 표현된다. On the other hand, in general, information about an object extracted from an image acquisition device such as a CCTV camera includes an image frame number in which an object appears and object model information. An object model typically includes a MBR (Minimum Bounding Rectangle) such as a rectangle including the object. It is expressed as

이에 따라 점 객체 형태로 저장되는 시공간 데이터 저장 기술은 영상 데이터에서 추출한 객체정보와 자료구조가 상이하기 때문에 이를 통해 객체정보를 관리하기에는 무리가 있게 된다.Accordingly, since the spatiotemporal data storage technology stored in the form of point objects is different from the object information extracted from the image data and the data structure, it is difficult to manage the object information through this.

또한, CCTV카메라나, 차량 블랙박스 등과 같은 영상획득장치는 일정 영역에 대한 영상데이터만을 제공한다. In addition, an image acquisition device such as a CCTV camera or a vehicle black box provides only image data for a certain area.

따라서, 일정 영역 이상의 시공간에서 이동하는 객체에 대한 궤적데이터를 연속적으로 분석하기 위해서는 해당 영역내에 위치하는 서로 다른 위치에 분산 설치된 다수의 영상획득장치들로부터 제공되는 영상데이터를 통합적으로 분석해야 할 필요가 있다. Therefore, in order to continuously analyze the trajectory data of the object moving in a space-time or more than a certain area, it is necessary to analyze the image data provided from a plurality of image acquisition devices distributed in different positions located in the corresponding area. have.

또한, 이동성을 갖는 객체에 대한 연속적인 궤적데이터를 확보하기 위해서는 영상획득장치가 설치되지 않는 구간에 대해서도 객체의 이동 위치를 예측할 필요가 있다. In addition, in order to secure continuous trajectory data for an object having mobility, it is necessary to predict the moving position of the object even in a section in which the image acquisition device is not installed.

1. 한국등록특허 제10-1547255호 (명칭 : 지능형 감시 시스템의 객체기반 검색방법)1. Korean Registered Patent No. 10-1547255 (Name: Object-based Search Method for Intelligent Surveillance System) 2. 한국공개특허 제10-2015-0071781호 (명칭 : 궤적변환 기반 이동궤적 모델링 장치 및 방법)2. Korean Patent Publication No. 10-2015-0071781 (Name: Trajectory transformation-based movement trajectory modeling device and method)

이에, 본 발명은 상기한 사정을 감안하여 창출된 것으로, 다수의 영상획득장치로부터 제공되는 서로 다른 영역에 대한 영상을 맵 데이터와 연동하여 관리함으로써, 영상획득장치가 없는 구간에 대해서도 객체의 위치를 용이하고 신뢰성있게 예측할 수 있도록 해 주는 다중 영상 데이터 분석장치를 제공함에 그 기술적 목적이 있다.Accordingly, the present invention was created in view of the above circumstances, and manages images of different regions provided from a plurality of image capturing apparatuses in association with map data, thereby maintaining the position of an object even in a section without an image capturing apparatus. The technical object of the present invention is to provide a multi-image data analysis device that enables easy and reliable prediction.

또한, 서로 다른 영상획득장치의 영상에서 나타나는 동일 객체를 하나의 객체로 인식하여 관리함과 더불어, 객체에 대응되는 일정 형태의 객체 모델을 이용하여 객체 상태를 분석함으로써, 시공간상에서 객체에 대한 상태를 보다 신속하게 분석할 수 있도록 해 주는 다중 분산 영상 데이터 분석 장치를 제공함에 또 다른 기술적 목적이 있다. In addition, by recognizing and managing the same object appearing in the images of different image acquisition devices as a single object, by analyzing the object state using a certain type of object model corresponding to the object, the state of the object in time and space It is another technical object to provide a multi-distributed image data analysis device that can be analyzed quickly.

상기 목적을 달성하기 위한 본 발명의 일측면에 따르면, 서서로 다른 위치에 설치되어 서로 다른 촬영 영역에 대한 영상 데이터를 제공하는 다수의 영상획득장치와, 다수의 영상획득장치로부터 제공되는 서로 다른 영역에 대한 원본 영상을 데이터 저장소에 저장함과 더불어, 정보 입출력부로 제공하고, 서로 다른 영상획득장치로부터 제공되는 각 원본 영상에 존재하는 동일 객체에 대하여 하나의 다중 영상 객체 식별자를 부여하며, 다중 영상 객체 식별자에 대해 해당 객체 표현을 위한 객체 모델 및, 영상획득장치별 이동 경로에 대한 궤적정보를 포함하는 다중 영상 객체정보를 생성하여 데이터 저장소에 저장하는 다중 영상 처리부, 맵 데이터와, 상기 다중 영상 처리부에서 생성되는 다중 영상 객체정보 및, 상기 영상획득장치로부터 제공되는 원본 영상을 포함하는 다중 영상 분석을 위한 정보가 저장되는 데이터 저장소, 기 설정된 분석 조건에 대응하는 영상 데이터에서 다중 영상 객체정보를 이용하여 분석 조건에 대응되는 객체에 대한 분석처리를 수행하고, 그 분석 결과를 정보 입출력부로 제공하는 다중 영상 분석부 및, 사용자에 의한 분석 조건 설정 및 특정 프레임 영상 선택을 위한 입력환경을 제공하고, 원본 영상을 맵데이터의 해당 촬영 영역에 합성하여 표시출력함과 더불어, 사용자에 의해 선택된 프레임 영상 또는 분석 조건에 대응되는 분석 결과를 표시 출력하는 정보 입출력부를 포함하여 구성되고, 상기 다중 영상 처리부는 서로 다른 영상획득장치별로 해당 원본 영상에 나타나는 각 객체에 대해 프레임 번호와 객체 모델정보, 객체 종류 및 객체 상세정보를 포함하는 객체 기본정보를 생성하고, 서로 다른 영상획득장치에 대한 객체별 객체 기본 정보를 시간 순서에 따라 맵 데이터에 연동시킴으로써, 서로 다른 다수의 영상획득장치에서 나타나는 동일 객체를 판단하며, 상기 다중 영상 분석부는 분석 대상 객체에 대한 인접 시간 프레임에서의 해당 객체 모델의 가로와 세로의 형태 변화 비율을 근거로 객체의 움직임 정도를 판단하고, 동일 프레임에 존재하는 서로 다른 객체에 대한 객체 모델들의 중첩 면적의 정도를 근거로 객체들간의 충돌 여부를 판단하며, 인접 프레임에서의 서로 다른 객체가 형성하는 전체 외곽 면적의 변화 비율을 근거로 객체간의 거리 변화를 판단하도록 구성되는 것을 특징으로 하는 다중 분산 영상 데이터 분석 장치가 제공된다.According to an aspect of the present invention for achieving the above object, a plurality of image acquisition devices that are installed at different positions to provide image data for different imaging areas, and different areas provided from a plurality of image acquisition devices In addition to storing the original image for the data storage, it is provided to the information input / output unit, and one multi-image object identifier is assigned to the same object existing in each original image provided from different image acquisition devices. The multi-image processing unit for generating a multi-image object information including the object model for the representation of the object and the trajectory information on the movement path for each image acquisition device, and storing the multi-image processing unit, map data and the multi-image processing unit Multiple image object information, and an original provided from the image acquisition apparatus A data storage for storing information for multi-image analysis including an image, performing analysis processing on an object corresponding to the analysis condition by using the multi-image object information in the image data corresponding to the preset analysis condition, and analyzing the result It provides a multi-image analysis unit for providing the information input and output unit, an input environment for setting the analysis conditions and selection of a specific frame image by the user, synthesizes the original image to the corresponding shooting area of the map data, and outputs And an information input / output unit which displays and outputs an analysis result corresponding to the frame image selected by the controller or the analysis condition. The multi-image processing unit includes a frame number and an object model for each object appearing in the original image for each of different image capturing devices. Object base, including information, object type, and object details By generating a beam and linking object-based object information of different image capturing devices to map data in a time sequence, the same object appears in a plurality of different image capturing devices, and the multi-image analyzing unit determines the object to be analyzed. The degree of movement of the object is determined based on the ratio of the horizontal and vertical shape change of the object model in the adjacent time frame with respect to the object, and the object is based on the degree of overlapping area of the object models for different objects in the same frame. There is provided a multi-distributed image data analyzing apparatus, configured to determine whether a collision between the two is determined, and to determine a change in distance between objects based on a change ratio of an entire outer area formed by different objects in adjacent frames.

또한, 상기 데이터 저장소에는 영상획득장치 위치 및 촬영 영역을 포함하는 영상 획득장치정보가 저장되고, 상기 다중 영상 처리부는 원본 영상에 대한 프레임 번호별 객체 모델을 포함하는 객체 기본정보와 영상획득장치의 위치 및 영상 촬영영역에 기초하여 원본 영상을 맵 데이터에 연동시켜 시간 경과에 따른 임의 객체에 대한 이동 경로를 예측하고, 예측된 이동 경로에 대응하여 타 영상획득장치의 원본 영상을 추가적으로 맵데이터에 연동함으로써, 임의 객체에 대하여 다수 영상획득장치에 대한 원본 영상에 존재하는 객체들간의 동일성을 판단하도록 구성되는 것을 특징으로 하는 다중 분산 영상 데이터 분석 장치가 제공된다.In addition, the data storage stores image acquisition device information including an image acquisition device location and a shooting area, and the multi-image processing unit includes object basic information including an object model for each frame number of the original image and the location of the image acquisition device. And linking the original image with the map data based on the image capturing area to predict a moving path for an arbitrary object over time, and additionally interlocking the original image of another image capturing device with the map data in response to the predicted moving path. In addition, there is provided a multi-distributed image data analysis apparatus, configured to determine the sameness between objects existing in an original image for a plurality of image acquisition apparatuses with respect to an arbitrary object.

또한, 상기 다중 영상 처리부는 다수의 영상획득장치의 영상에 존재하는 동일 객체에 대해 하나의 객체 식별자를 부여하고, 객체 식별자별 객체종류와, 객체 상세정보, 영상 시작시간, 영상 종료시간, 전체 궤적개수 및, 객체궤적정보를 포함하는 다중 영상 객체정보를 생성하되, 상기 전체 궤적 개수는 객체 모델이 나타난 프레임 개수로서, 각 객체 궤적정보는 영상획득장치 식별자별 영상 시작시간과 영상 종료시간, 객체 모델 개수 및, 시간과 객체 모델로 이루어지는 객체 추출정보를 포함하여 구성되며, 상기 객체 추출정보는 객체 모델 개수에 대응하여 가변되는 구조로 구성되는 것을 특징으로 하는 다중 분산 영상 데이터 분석 장치가 제공된다.In addition, the multi-image processing unit assigns one object identifier to the same object existing in the images of the plurality of image capturing apparatuses, the object type for each object identifier, the object detail information, the image start time, the image end time, and the entire trajectory. Generate multi-image object information including the number and object trajectory information, wherein the total trajectory number is the number of frames in which the object model is shown, and each object trajectory information includes an image start time, an image end time, and an object model for each image acquisition device identifier. And a number and object extraction information comprising time and object model, wherein the object extraction information is configured to have a variable structure corresponding to the number of object models.

또한, 상기 다중 영상 분석부는 맵 데이터와 연동하여 영상획득장치가 설치되지 않은 구간에 대한 객체의 위치를 예측하는 네트워크 분석모듈을 포함하여 구성되고, 상기 네트워크 분석모듈은 기 저장된 인접 프레임 사이의 시간 간격이 기준 프레임 단위 시간 이상인 경우, 맵 데이터에 해당 프레임들을 배치시킨 상태에서 객체의 이동 방향 및 이동로를 근거로 영상획득장치가 존재하지 않는 영역에 대한 객체 위치를 예측하도록 구성되는 것을 특징으로 하는 다중 분산 영상 데이터 분석 장치가 제공된다.In addition, the multi-image analysis unit is configured to include a network analysis module for predicting the position of the object for the section in which the image acquisition device is not installed in conjunction with the map data, the network analysis module is a time interval between the pre-stored adjacent frames In the case of more than the reference frame unit time, multiple frames, characterized in that configured to predict the position of the object in the region where the image acquisition device does not exist on the basis of the movement direction and the movement path of the object in the state that arranged the frame in the map data A distributed image data analyzing apparatus is provided.

삭제delete

삭제delete

삭제delete

또한, 상기 다중 영상 분석부는 일정 공간 영역에 해당하는 원본 영상에서 분석 조건을 만족하는 프레임을 분석하고, 그 분석 결과에 해당하는 프레임 번호들이 시간에 대응되게 배치되어 구성되는 분석 인덱스 정보를 생성하여 상기 정보 입출력부로 제공하며, 정보 입출력부는 기 설정된 시간에 대하여 일정 공간 영역에 대한 원본 영상을 맵 데이터와 연동하여 표시출력함과 더불어, 상기 다중 영상 분석부를 통해 제공되는 해당 출력 원본 영상에 대응되는 분석 인덱스 정보를 일측에 추가로 표시출력하고, 사용자에 의해 선택되는 인덱스 정보 위치에 대응되는 프레임 번호를 근거로 데이터 저장소에서 해당 프레임 번호의 원본 영상을 호출하여 표시출력하되, 프레임 영상에서 기 설정된 분석 조건에 대응되는 분석 결과 구간에 대해서는 기 설정된 형태로 식별 표현되도록 표시출력하는 것을 특징으로 하는 다중 분산 영상 데이터 분석 장치가 제공된다.The multi-image analysis unit analyzes a frame satisfying an analysis condition in an original image corresponding to a predetermined spatial region, and generates analysis index information configured by arranging frame numbers corresponding to the analysis result corresponding to time. Provided to the information input / output unit, the information input / output unit displays and outputs the original image of the predetermined spatial area in association with the map data for a preset time, and an analysis index corresponding to the corresponding output source image provided through the multi-image analysis unit. Display and output the information on one side and call and display the original image of the frame number in the data storage based on the frame number corresponding to the index information position selected by the user. The preset analysis result section Provided is a multi-distributed image data analysis device characterized in that the display output to be identified and expressed in the form.

또한, 상기 정보 입출력부는 원본 영상을 맵 데이터에 중첩하여 표시출력하되, 원본 영상에서 기 설정된 관심 영역만을 맵 데이터에 중첩하거나, 원본 영상에서 객체 정보만을 맵 데이터에 중첩하여 표시출력하도록 구성되는 것을 특징으로 하는 다중 분산 영상 데이터 분석 장치가 제공된다.The information input / output unit may be configured to display and output the original image by superimposing the map data on the map data, or to overlay only the preset ROI on the map data or to display and output only the object information on the map data. A multi-distributed image data analyzing apparatus is provided.

본 발명에 의하면 서로 다른 위치에 설치되는 영상획득장치로부터 제공되는 다중 분산 영상에 포함된 동일 객체에 대해서 그 궤적 정보를 통합적으로 저장 관리하는 것이 가능함은 물론, 맵 데이터를 이용하여 영상획득장치가 설치되지 않은 영역에 대해서도 해당 객체의 이동 경로를 신뢰성 있게 예측함으로써, 객체에 대한 연속적인 궤적정보를 확보할 수 있다.According to the present invention, the trajectory information can be integratedly stored and managed for the same object included in the multi-distributed images provided from the image acquisition apparatuses installed at different positions, and the image acquisition apparatus is installed using map data. By reliably predicting the movement path of the object, even in the unoccupied area, continuous trajectory information about the object can be secured.

또한, 일정 형태의 객체 모델을 이용하여 다수의 분산된 영상 획득 장치의 영상에 포함된 객체들에 대한 객체 상태 및 객체들간의 관계를 보다 신속하게 분석할 수 있다. In addition, by using an object model of a certain type, it is possible to more quickly analyze the object state and the relationship between the objects of the objects included in the image of the plurality of distributed image acquisition apparatus.

도1은 본 발명에 따른 다중 분산 영상 데이터 분석 장치의 구성을 설명하기 위한 개념도.
도2는 도1에 도시된 다중 영상 분석장치(200)의 내부구성을 기능적으로 분리하여 나타낸 블록구성도.
도3은 도2에 도시된 다중 영상 처리부(230)에서 생성되는 다중 영상 객체정보의 데이터 구조를 나타낸 도면.
도4는 도2에 도시된 다중 영상 분석부(250)에서 처리되는 분산처리 기능을 모듈화하여 나타낸 도면.
도5는 도2에 도시된 다중 영상 처리부(230)에서 수행되는 객체정보 생성방법을 설명하기 위한 도면.
도6 내지 도8은 도2에 도시된 다중 영상 분석부(250)에서 수행되는 객체상태 분석방법을 설명하기 위한 도면.
도9a와 도9b는 도2에 도시된 정보 입출력부(260)에서 영상분석정보를 입출력하기 위한 화면 구성을 예시한 도면.
도10은 도2에 도시된 다중 영상 분석 장치(200)의 동작을 설명하기 위한 흐름도.
도11은 도10에서 정보 입출력부(260)를 통해 표시출력되는 다중 영상 출력화면을 예시한 도면.1 is a conceptual diagram for explaining the configuration of a multi-distributed image data analysis apparatus according to the present invention.
FIG. 2 is a block diagram showing functional separation of the internal configuration of the multiple image analysis apparatus 200 shown in FIG. 1.
FIG. 3 is a diagram illustrating a data structure of multi-image object information generated by the multi-image processing unit 230 shown in FIG. 2.
FIG. 4 is a diagram illustrating a modularized distributed processing function processed by the multiple image analyzer 250 illustrated in FIG. 2.
FIG. 5 is a diagram for describing a method of generating object information performed by the multi-image processing unit 230 shown in FIG. 2.
6 to 8 are diagrams for explaining the object state analysis method performed by the multi-image analysis unit 250 shown in FIG.
9A and 9B illustrate a screen configuration for inputting / outputting image analysis information by the information input / output unit 260 shown in FIG.
FIG. 10 is a flowchart for explaining an operation of the multi-image analyzing apparatus 200 shown in FIG. 2.
FIG. 11 is a diagram illustrating a multiple image output screen displayed and output through the information input / output unit 260 in FIG. 10.

이하에서는 첨부된 도면을 참조하여 본 발명을 보다 상세하게 설명한다. 도면들 중 동일한 구성요소들은 가능한 한 어느 곳에서든지 동일한 부호로 나타내고 있음을 유의해야 한다. 한편, 이에 앞서 본 명세서 및 특허청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.Hereinafter, with reference to the accompanying drawings will be described in detail the present invention. It should be noted that the same elements in the figures are denoted by the same reference signs wherever possible. On the other hand, the terms or words used in the present specification and claims are not to be construed as limiting the ordinary or dictionary meanings, the inventors should use the concept of the term in order to explain the invention in the best way. It should be interpreted as meanings and concepts corresponding to the technical idea of the present invention based on the principle that it can be properly defined. Therefore, the embodiments described in the present specification and the configuration shown in the drawings are only the most preferred embodiments of the present invention, and do not represent all of the technical ideas of the present invention, and various alternatives may be substituted at the time of the present application. It should be understood that there may be equivalents and variations.

도1은 본 발명에 따른 다중 분산 영상 데이터 분석 장치의 구성을 설명하기 위한 개념도로서, 다수의 영상획득장치(100)가 다중 영상 분석 장치(200)와 결합되어 구성된다. 1 is a conceptual diagram illustrating a configuration of a multi-distributed image data analyzing apparatus according to the present invention, in which a plurality of image acquisition apparatuses 100 are combined with a multi-image analyzing apparatus 200.

영상획득장치(100)는 서로 다른 위치에 설치되어 서로 다른 영역을 촬영하는 다수의 CCTV 카메라 또는 차량의 블랙박스 등과 같이 일정 영역에 대한 영상을 촬영하는 각종 형태의 장치가 될 수 있다. The image acquisition apparatus 100 may be various types of apparatuses for capturing an image of a predetermined region, such as a plurality of CCTV cameras or a black box of a vehicle installed at different positions to photograph different regions.

그리고, 다중 영상 분석 장치(200)는 영상획득장치(100)의 촬영 방향, 촬영 각도 등을 포함하는 촬영 환경을 변경 설정할 수 있다. 이에, 영상획득장치(100)는 촬영된 영상데이터와 함께 자신의 촬영 영역을 포함하는 영상 인덱스정보를 다중 영상 분석 장치(200)로 제공할 수 있다. 영상 인덱스정보는 영상획득장치 식별자별 영상 촬영 시작시간과 종료시간 및 촬영 영역정보를 포함한다. The multi-image analyzing apparatus 200 may change and set a photographing environment including a photographing direction, a photographing angle, and the like of the image obtaining apparatus 100. Thus, the image capturing apparatus 100 may provide the image index information including its photographing area to the multi-image analyzing apparatus 200 together with the captured image data. The image index information includes image capturing start time and end time and capturing area information for each image acquisition device identifier.

다중 영상 분석 장치(200)는 다수의 영상획득장치(100)로부터 제공되는 다중 분산 영상들을 맵 데이터와 연동하여 실시간 표시 출력함과 더불어, 영상획득장치(100)가 설치되지 않는 영역에 대해서도 객체에 대한 이동 위치를 예측하여 연속적인 객체 위치를 획득한다. The multi-image analyzing apparatus 200 displays and outputs the multi-distributed images provided from the plurality of image capturing apparatuses 100 in real time in conjunction with map data, and also applies the object to an object in which the image capturing apparatus 100 is not installed. A continuous object position is obtained by predicting a moving position of the object.

또한, 다중 영상 분석 장치(200)는 서로 다른 영상획득장치(100)로부터 제공되는 분산 영상에서 나타난 동일 객체에 대해 하나의 객체 식별자를 부여하여 객체 정보를 통합적으로 관리한다. 그리고, 다중 영상 분석 장치(200)는 객체의 형상을 간략화된 형태의 객체 모델로 관리하며, 이러한 객체 모델을 이용하여 단일 객체에 대한 분석 및 서로 다른 객체간의 관계 분석처리를 수행한다.In addition, the multi-image analysis apparatus 200 may collectively manage object information by assigning one object identifier to the same object represented in the distributed images provided from different image acquisition apparatuses 100. In addition, the multi-image analyzing apparatus 200 manages the shape of the object as a simplified object model, and analyzes a single object and analyzes a relationship between different objects using the object model.

또한, 다중 영상 분석 장치(200)는 사용자에 의해 설정된 분석 조건에 대응하여 영상을 맵 데이터에 연동하여 표시출력함과 더불어, 사용자에 의해 요구되는 특정 영상 프레임에 대해서는 분석 결과에 대응되는 부분을 시각적으로 강조되도록 표현하여 가시화한다. In addition, the multi-image analyzing apparatus 200 displays and outputs the image in association with the map data in response to the analysis condition set by the user, and visually displays a portion corresponding to the analysis result with respect to a specific image frame required by the user. Make it visible by highlighting it.

도2는 도1에 도시된 다중 영상 분석 장치(200)의 내부구성을 기능적으로 분리하여 나타낸 블록구성도이다. FIG. 2 is a block diagram illustrating a functional separation of an internal configuration of the multiple image analysis apparatus 200 illustrated in FIG. 1.

도2에 도시된 바와 같이, 다중 영상 분석 장치(200)는 영상 수집부(210)와, 객체정보 추출부(220), 다중 영상 처리부(230), 데이터 저장소(240), 다중 영상 분석부(250) 및, 정보 입출력부(260)를 포함하여 구성된다.As shown in FIG. 2, the multi-image analyzing apparatus 200 includes an image collecting unit 210, an object information extracting unit 220, a multi-image processing unit 230, a data storage 240, and a multi-image analyzing unit ( 250 and an information input / output unit 260.

영상 수집부(210)는 다수의 영상획득장치(100)로부터 해당 촬영영역에 대한 CCTV 영상 등 다양한 형태의 동영상 데이터를 실시간으로 수집한다. The image collecting unit 210 collects various types of video data in real time, such as CCTV images for the corresponding shooting area from the plurality of image acquisition apparatus 100.

객체정보 추출부(220)는 상기 영상 수집부(210)로부터 제공되는 각 영상 데이터에서 프레임 단위로 객체 기본 정보를 추출한다. 객체 기본정보는 객체 식별자별 프레임 번호와 객체 모델 정보, 객체종류 및 객체 상세정보를 포함한다. 이때, 객체정보 추출부(220)는 데이터 저장소(240)의 객체 온톨로지 저장부(243)를 참조하여 객체 종류 및 객체 상세정보를 설정한다. 또한, 객체 모델정보는 객체 형태에 기반하여 다각형 형태로 간략화되어 객체를 대신하는 것으로, 최소경계사각형(MBR : Minimum Bounding Rectangle)로 나타낼 수 있다. 이러한 객체 기본 정보는 상기 영상 획득장치(100)로부터 제공되어질 수도 있고, 객체정보 추출부(220)에서 새롭게 생성하는 것도 가능하다.The object information extracting unit 220 extracts object basic information on a frame basis from each image data provided from the image collecting unit 210. The basic object information includes frame number for each object identifier, object model information, object type, and object detail information. In this case, the object information extracting unit 220 sets the object type and the object detail information with reference to the object ontology storage unit 243 of the data store 240. In addition, the object model information is simplified in a polygonal form based on the object type to replace the object, and may be represented as a minimum bounding rectangle (MBR). The basic object information may be provided from the image acquisition apparatus 100 or may be newly generated by the object information extracting unit 220.

다중 영상 처리부(230)는 상기 영상 수집부(210)로부터 인가되는 원본 영상데이터를 영상획득장치별 프레임번호 단위로 데이터 저장소(400)에 저장한다. 그리고, 영상 수집부(210)로부터 인가되는 원본 영상을 정보 입출력부(260)로 제공하여 실시간 표시출력하도록 한다. The multi-image processing unit 230 stores the original image data applied from the image collecting unit 210 in the data storage 400 in the frame number unit of each image acquisition device. Then, the original image applied from the image collector 210 is provided to the information input / output unit 260 to display and output in real time.

또한, 다중 영상 처리부(230)는 객체정보 추출부(200)로부터 제공되는 객체 기본정보에 포함된 프레임 번호와 데이터 저장소(400)에 저장된 원본 영상의 시간정보를 이용하여 해당 객체에 대한 시간 정보를 생성함과 더불어, 이를 기초로 다수의 영상 즉, 다중 영상에서 동일 객체를 추출한다. In addition, the multi-image processing unit 230 uses the frame number included in the basic object information provided from the object information extracting unit 200 and the time information of the original image stored in the data storage 400 to obtain time information of the corresponding object. In addition, the same object is extracted from a plurality of images, that is, multiple images.

그리고, 다중 영상 처리부(230)는 동일 객체에 대해 하나의 객체 식별자를 부여함과 더불어, 다중 영상에서 시간 순서에 따른 객체의 궤적정보를 추출한다. 즉, 다중 영상 처리부(230)는 객체 식별자별 다중 영상에 대한 궤적정보를 포함하는 다중 영상 객체정보를 생성하고, 이를 데이터 저장소(240)에 저장한다. 이때, 궤적 정보는 객체 모델이 나타난 프레임 수에 대응하여 가변되는 구조로 구성된다. 다중 영상 객체정보는 도3에 도시된 바와 같이 객체 식별자별 객체종류와, 객체 상세정보, 시작시간, 종료시간, 전체 궤적개수, 객체궤적정보를 포함하여 구성된다. 여기서, 전체 궤적 개수는 객체 모델이 나타난 프레임 개수를 나타내고, 객체 궤적정보는 영상획득장치 식별자별 시작시간과 종료시간, 객체 MBR개수(n), 시간과 MBR 순번으로 이루어지는 n 개의 객체 추출정보를 포함하여 구성된다. In addition, the multi-image processing unit 230 assigns one object identifier to the same object and extracts the trajectory information of the object according to the time sequence in the multi-image. That is, the multi-image processing unit 230 generates multi-image object information including trajectory information on the multi-image for each object identifier, and stores it in the data storage 240. In this case, the trajectory information is configured in a structure that varies in accordance with the number of frames in which the object model is displayed. As shown in FIG. 3, the multi-image object information includes an object type for each object identifier, object detail information, start time, end time, total trajectory number, and object trajectory information. Here, the total number of trajectories indicates the number of frames in which the object model is shown, and the object trajectory information includes n object extraction information consisting of start time and end time for each image acquisition device identifier, the number of objects MBR (n), and the time and MBR order. It is configured by.

데이터 저장소(240)는 본 발명에 따른 다중 영상 분석을 위한 각종 정보가 저장되는 장치로서, 별도의 데이터 베이스 등의 저장소 형태로 구현될 수 있다.Data storage 240 is a device that stores a variety of information for multi-image analysis according to the present invention, may be implemented in the form of a storage, such as a separate database.

데이터 저장소(240)는 영상획득장치 정보저장부(241)와, 맵 데이터 저장부(242), 객체 온톨로지 저장부(243), 원본 영상데이터 저장부(244) 및, 객체정보 저장부(245)를 포함하여 구성된다. 이때, 상기 원본 영상데이터 저장부(244)는 별도의 저장소로 구현될 수 있다. The data storage 240 includes an image acquisition device information storage unit 241, a map data storage unit 242, an object ontology storage unit 243, an original image data storage unit 244, and an object information storage unit 245. It is configured to include. In this case, the original image data storage unit 244 may be implemented as a separate storage.

영상획득장치 정보 저장부(241)는 장치 식별자별 설치 위치와, 초당 프레임 수를 포함하는 장치 기본정보 테이블과, 장치 식별자별 촬영 시작시간과 촬영 종료시간 및 촬영 영역정보를 포함하는 장치 영상정보 테이블을 포함한다. 상기 맵 데이터 저장부(242)에는 공간에 대한 시설물 등을 포함하는 지리정보 즉, 맵 데이터가 저장된다. 상기 객체 온톨리지 저장부(243)는 객체 관련 정보를 정의하기 위한 관계정보가 저장된다. 예컨대 버스, 택시, 승용차에 대해서는 객체 종류를 "차량"으로 설정하도록 관계가 정의 된다. 상기 원본 영상데이터 저장부(244)에는 장치식별자별 영상 프레임번호에 대한 영상 원본 데이터가 저장된다. 상기 객체정보 저장부(245)에는 상기 다중 영상 처리부(230)에서 생성된 다중 영상 객체정보가 저장된다.The image acquisition device information storage unit 241 may include a device basic information table including an installation location for each device identifier, a frame count per second, and a device image information table including recording start time, shooting end time, and shooting area information for each device identifier. It includes. The map data storage unit 242 stores geographic information, that is, map data including facilities for space. The object ontology storage unit 243 stores relationship information for defining object related information. For example, the relationship is defined to set the object type to "vehicle" for buses, taxis and cars. The original image data storage unit 244 stores image source data of an image frame number for each device identifier. The object information storage unit 245 stores the multiple image object information generated by the multiple image processor 230.

다중 영상 분석부(250)는 분석 조건에 대응되는 분석 결과정보를 생성하여 상기 정보 입출력부(700)로 제공한다. 이때, 다중 영상 분석부(250)는 다중 영상 처리부(230)로 제공되는 실시간 원본 영상에 대해 기 설정된 분석 조건에 대응되는 분석 결과를 생성하거나 또는 데이터 저장소(240)에 기 저장된 정보를 근거로 분석 조건에 대응되는 분석 결과를 생성한다. 또한, 정보 입출력부(260)로부터 분석요청되는 프레임 번호에 대응되는 영상에 대한 분석처리를 수행하고, 그 분석결과정보를 정보 입출력부(260)로 제공한다. The multiple image analyzer 250 generates analysis result information corresponding to the analysis condition and provides the analysis result information to the information input / output unit 700. In this case, the multi-image analysis unit 250 generates an analysis result corresponding to a preset analysis condition for the real-time original image provided to the multi-image processing unit 230 or analyzes the data based on information previously stored in the data storage 240. Generate an analysis result corresponding to the condition. In addition, an analysis process is performed on an image corresponding to a frame number requested for analysis from the information input / output unit 260, and the analysis result information is provided to the information input / output unit 260.

또한, 다중 영상 분석부(250)는 도4에 도시된 바와 같이 네트워크 분석모듈(251)과, 단일 객체 분석모듈(252) 및, 객체 관계 분석모듈(253)을 포함하여 구성된다. 네트워크 분석모듈(251)은 맵 데이터와 연동하여 영상획득장치(100)가 설치되지 않은 구간에 대한 객체의 위치를 예측한다. 단일 객체 분석모듈(252)은 인접 프레임에서의 객체에 대한 움직임 변화를 분석한다. 객체 관계 분석모듈(253)은 동일 프레임에 존재하는 서로 다른 객체간의 상태 변화를 분석한다.In addition, the multi-image analyzer 250 includes a network analysis module 251, a single object analysis module 252, and an object relationship analysis module 253 as shown in FIG. 4. The network analysis module 251 predicts the position of the object for the section in which the image acquisition device 100 is not installed in association with the map data. The single object analysis module 252 analyzes the change of movement of the object in the adjacent frame. The object relationship analysis module 253 analyzes a state change between different objects existing in the same frame.

정보 입출력부(260)는 사용자와의 인터페이스를 수행하기 위한 것으로, 사용자에 의해 입력되는 영상획득장치 정보 및 맵 데이터와 객체 온톨로지정보를 데이터 저장소(400)에 미리 등록 저장함과 더불어, 사용자에 의해 입력되는 분석 조건을 설정한다. 그리고, 정보 입출력부(260)는 다중 영상 처리부(230)로부터 제공되는 실시간 영상을 맵 데이터와 연동하여 실시간 표시출력함과 더불어, 사용자에 의한 분석요청에 대응되는 프레임 번호를 다중 영상 분석부(250)로 제공하고, 이에 대해 다중 영상 분석부(250)로부터 제공되는 프레임 영상에 분석 결과가 식별되도록 표현하여 표시출력한다. The information input / output unit 260 is for performing an interface with a user. The information input / output unit 260 pre-registers and stores image acquisition device information, map data, and object ontology information input by the user in the data storage 400, and is input by the user. Set the analysis conditions. In addition, the information input / output unit 260 displays and outputs a real-time image provided from the multi-image processing unit 230 in conjunction with map data in real time, and displays a frame number corresponding to an analysis request by the user. In this regard, the analysis result is expressed and displayed on the frame image provided from the multi-image analysis unit 250 so as to be identified.

이어, 도2에 도시된 다중 영상 처리부(230)와, 다중 영상 분석부(250) 및 정보 입출력(260)의 구성을 도5 내지 도9를 참조하여 보다 상세히 설명한다.Next, the configuration of the multiple image processor 230, the multiple image analyzer 250, and the information input / output 260 illustrated in FIG. 2 will be described in more detail with reference to FIGS. 5 to 9.

도5는 도2에 도시된 다중 영상 처리부(230)에서 수행되는 객체정보 생성방법을 설명하기 위한 도면이다.FIG. 5 is a diagram for describing a method of generating object information performed by the multiple image processor 230 shown in FIG. 2.

"객체 A" 가 Ti -> Tj -> Tk -> Tm 시간에 도5에 도시된 바와 같은 경로로 이동하는 경우, 제1 영상획득장치와 제2 영상 획득장치의 촬영영역에서 촬영된 서로 다른 영상에는 동일 객체 A가 존재하게 된다. When the "object A" moves along the path as shown in FIG. 5 at the time Ti-> Tj-> Tk-> Tm, different images photographed in the photographing area of the first image acquisition device and the second image acquisition device The same object A exists.

상기한 상황에 대해 객체정보 추출부(220)는 제1 및 제2 영상획득장치에 대해 서로 다른 객체 식별자를 부여하고, 해당 영상에 대한 프레임 번호와 객체 모델정보, 객체 종류 및, 객체 상세정보를 포함하는 객체 기본 데이터를 생성하여 다중 영상 처리부(230)로 제공한다. 즉, 제1 영상획득장치와 제2 영상획득장치별로 동일 객체 A에 대해 서로 다른 객체 식별자를 갖는 제1 및 제2 객체 기본데이터가 다중 영상 처리부(230)로 각각 제공된다.In response to the above situation, the object information extracting unit 220 assigns different object identifiers to the first and second image acquisition apparatuses, and provides frame number, object model information, object type, and object detail information about the corresponding image. Generates the object basic data to be provided to the multi-image processing unit 230. That is, first and second object basic data having different object identifiers for the same object A are provided to the multi-image processing unit 230 for each of the first and second image acquisition apparatuses.

다중 영상 처리부(230)는 제1 및 제2 객체 기본 데이터를 근거로 데이터 저장소(240)의 영상획득장치 정보저장부(241)에서 해당 영상획득장치에 대한 정보를 호출하고, 객체 기본 데이터와 영상획득장치 정보를 맵데이터와 연동하여 분석함으로써, 제1 및 제2 영상에서의 객체가 동일 객체A 임을 판단한다. 즉, 다중 영상 처리부(230)는 해당 공간 영역을 포함하는 맵 데이터에서 객체 이동 방향 및 이동로(예컨대, 도로)을 근거로 해당 위치의 영상처리획득장치 영상을 순차적으로 호출함으로써, 제1 및 제2 영상획득장치의 서로 다른 촬영 영역에서의 객체 A에 대한 동일성 및 이동 경로(도5의 TL)에 대응되는 궤적 정보를 생성할 수 있다. The multi-image processing unit 230 calls the information on the image acquisition device from the image acquisition device information storage unit 241 of the data storage 240 based on the first and second object basic data, and the object basic data and the image. By analyzing the acquisition device information in conjunction with the map data, it is determined that the objects in the first and second images are the same object A. That is, the multi-image processing unit 230 sequentially calls the image processing acquisition apparatus images of the corresponding positions based on the object moving direction and the moving path (for example, the road) in the map data including the corresponding spatial area, thereby providing the first and the first images. Trajectory information corresponding to the sameness and movement path (TL of FIG. 5) of the object A in different image capturing regions of the two image capturing apparatuses may be generated.

그리고, 다중 영상 처리부(230)는 데이터 저장소(240)의 객체정보 저장부(245)에 객체 A에 대한 객체 레코드가 존재하는지를 확인하여 객체 A에 대한 객체 레코드가 존재하는 경우에는 해당 객체 레코드에 궤적 정보를 추가한다. 반면, 객체 A에 대한 객체 레코드가 존재하지 않는 경우에는 도4에 도시된 바와 같은 신규 객체 레코드를 추가로 생성하여 데이터 저장소(240)의 객체정보 저장부(245)에 저장한다.In addition, the multi-image processing unit 230 checks whether an object record for the object A exists in the object information storage unit 245 of the data storage 240, and if the object record for the object A exists, the trajectory is traced to the corresponding object record. Add information On the other hand, if there is no object record for object A, a new object record as shown in FIG. 4 is additionally generated and stored in the object information storage unit 245 of the data store 240.

도6 내지 도8은 도2에 도시된 다중 영상 분석부(250)에서 수행되는 객체상태 분석방법을 설명하기 위한 도면이다. 여기서, 도6은 네트워크 분석모듈(251)에서의 궤적 추적 방법을 설명하기 위한 도면이고, 도7a와 도7b는 단일 객체 분석모듈(252)에서의 단일 객체에 대한 분석예를 나타낸 도면이며, 도8a 내지 도8c는 객체 관계 분석모듈(253)에서의 객체간 관계에 대한 분석예를 나타낸 도면이다.6 to 8 are diagrams for describing an object state analysis method performed by the multiple image analyzer 250 illustrated in FIG. 2. 6 is a diagram illustrating a trajectory tracking method in the network analysis module 251, and FIGS. 7A and 7B are diagrams illustrating an example of analyzing a single object in the single object analysis module 252. 8A to 8C are diagrams showing an example of analysis on the relationship between objects in the object relationship analysis module 253.

네트워크 분석모듈(251)은 계산하고자 하는 시간의 전 후 객체 모델(MBR)정보를 이용하여 분석 대상 객체에 대해 객체 정보 저장부(245)에 저장되어 있지 않은 시간에 대한 위치를 예측한다. 먼저, 네트워크 분석모듈(251)은 인접 시간에 대한 객체 정보간의 시간 간격을 판단하고, 시간 간격이 기준 프레임 단위시간 보다 큰 경우, 해당 공간의 맵 데이터와 전 후 시간의 객체 모델을 이용하여 그 사이에 해당하는 시간에서의 분석 대상 객체에 대한 위치를 결정한다.The network analysis module 251 predicts the position of the time which is not stored in the object information storage unit 245 for the object to be analyzed by using the object model (MBR) information before and after the time to be calculated. First, the network analysis module 251 determines the time interval between the object information for the adjacent time, and if the time interval is larger than the reference frame unit time, using the map data of the corresponding space and the object model of the before and after time therebetween Determine the position of the object to be analyzed at the time corresponding to.

예컨대, 초당 30 프레임 단위의 동영상에 대해 1/30초 간격의 객체 정보가 저장되는 시스템에서, 객체 종류가 자동차이고, 객체정보 저장부(245)에 Ti 시간 에서의 객체 모델(MBRi)과, Tk 시간에서의 객체 모델(MBRk)에 대한 객체 정보만이 존재하는 경우, 네트워크 분석모듈(251)은 도5에 도시된 바와 같이 해당 공간의 맵 데이터에 해당 객체 모델(MBRi,MBRk)을 매핑시키고, 맵 데이터의 도로 데이터와 객체의 이동 방향을 근거로 Ti 와 Tk 사이의 Tj 시간에서의 해당 객체의 위치를 산출할 수 있다. 이때, 네트워크 분석모듈(251)은 객체의 이동속도를 근거로 Tj 시간에서의 해당 객체의 위치를 보다 정확하게 예측할 수 있다. For example, in a system in which object information is stored at 1/30 second intervals for a video of 30 frames per second, the object type is an automobile, and the object model (MBRi) at time Ti in the object information storage unit 245, and Tk. If there is only object information for the object model MBRk in time, the network analysis module 251 maps the object models MBRi and MBRk to map data of the corresponding space as shown in FIG. Based on the road data of the map data and the moving direction of the object, the position of the corresponding object in the Tj time between Ti and Tk may be calculated. At this time, the network analysis module 251 may more accurately predict the position of the object in the Tj time based on the moving speed of the object.

상기 단일 객체 분석모듈(252)은 객체 모델(MBR)을 이용하여 인접한 프레임에서의 해당 객체의 상태 변화를 분석한다. 이에 따라 객체에 대한 점 데이터 비교를 통해 객체 변화를 판단하는 방법에 비해 보다 신속하게 객체의 상태 변화 즉, 움직임을 판단하는 것이 가능하다. The single object analysis module 252 analyzes a state change of a corresponding object in an adjacent frame using an object model (MBR). Accordingly, it is possible to determine the change of the state of the object, that is, the movement, more quickly than the method of determining the change of the object by comparing the point data of the objects.

단일 객체 분석모듈(252)은 도7a에 도시된 바와 같이 분석 대상 객체에 대한 인접 시간 프레임에서의 객체 모델(MBR) 중심점의 각도를 연산하여 객체 움직임을 분석한다. 단일 객체 분석모듈(252)은 인접 시간에 대한 적어도 세 개 이상의 프레임에서의 동일 객체 모델(MBRi, MBRj, MBRk)의 각 중심점(Ci,Cj, Ck)이 이루는 각도(θ)가 일정 크기 이상인 경우, 분석 대상 객체가 급격하게 움직인 것으로 판단한다.As shown in FIG. 7A, the single object analysis module 252 analyzes the object motion by calculating the angle of the center point of the object model (MBR) in the adjacent time frame with respect to the object to be analyzed. When the single object analysis module 252 has an angle θ formed by each center point Ci, Cj, and Ck of the same object model MBRi, MBRj, and MBRk in at least three frames with respect to adjacent time, is greater than or equal to a predetermined size. In addition, it is determined that the object to be analyzed moves abruptly.

또한, 단일 객체 분석모듈(252)는 도7b에 도시된 바와 같이 인접 시간 프레임에서의 객체 모델(MBRi, MBRj)의 형태 변화 비율을 연산하여 객체 움직임을 분석할 수 있다. 단일 객체 분석모듈(252)은 이전 프레임에서의 객체 모델(MBRi) 의 가로(Wi)와 세로(Hi) 크기와 현재 프레임에서의 객체 모델(MBRj)의 가로(Wi)와 세로(Hj) 크기를 각각 비교하여 가로와 세로에 대한 비율 변화가 일정 크기 이상인 경우 분석 대상 객체의 움직임이 급격한 것으로 판단한다.Also, as illustrated in FIG. 7B, the single object analysis module 252 may analyze the object motion by calculating the rate of change of the shape of the object models MBRi and MBRj in the adjacent time frame. The single object analysis module 252 measures the width (Wi) and height (Hi) of the object model (MBRi) in the previous frame and the width (Wi) and height (Hj) size of the object model (MBRj) in the current frame. Compared to each other, if the ratio change of the horizontal and vertical is more than a certain size, it is determined that the movement of the object to be analyzed is abrupt.

객체 관계 분석부(253)는 도8a에 도시된 바와 같이 동일 프레임에 존재하는 서로 다른 이동 객체 모델들(MBR1, MBR2)의 중첩되는 면적(MBRx)을 연산함으로써, 객체 관계를 분석한다. 이때, 도8a에 나타난 바와 같이, 객체 모델들(MBR1, MBR2) 사이에는 겹치는 면적(MBRx)이 존재하나, 실제 객체(MBR1 의 트럭, MBR2의 승용차) 들은 겹쳐지 않는 경우가 발생될 수 있다. 이를 고려하여, 객체 관계 분석부(253)는 중첩되는 면적(MBRx)이 일정 크기 이상인 경우에 객체들이 겹치는 것 즉, 객체들간의 충돌이 발생한 것으로 판단할 수 있다.As shown in FIG. 8A, the object relationship analyzer 253 analyzes an object relationship by calculating overlapping areas MBRx of different moving object models MBR1 and MBR2 existing in the same frame. In this case, as shown in FIG. 8A, an overlapping area MBRx exists between the object models MBR1 and MBR2, but a real object (a truck of MBR1 and a passenger car of MBR2) may not overlap. In consideration of this, the object relation analysis unit 253 may determine that objects overlap when the overlapping area MBRx is greater than or equal to a predetermined size, that is, collisions between objects occur.

또한, 객체 관계 분석부(253)는 도8b에 도시된 바와 같이 동일 프레임에 존재하는 서로 다른 이동 객체 모델들(MBR1, MBR2)의 중심점 거리 연산을 통해 객체 관계를 분석할 수 있다. 도 8b에서 (a)는 제1 객체 모델(MBR1)과 제2 객체 모델(MER2)이 최소로 겹치는 경우로서 기준 중심점 거리(L0)를 갖는다. 그리고 도 8b에서 (b)와 (c)는 제1 객체 모델(MBR1)과 제2 객체 모델(MER2)의 일부가 겹치는 경우로서, 이들은 기준 중심점 거리(L0)보다 짧은 거리값을 갖는 제1 중심점 거리(L1)와 제2 중심점 거리(L2)를 갖는다. 즉, 객체 관계 분석부(253)는 제1 객체 모델(MBR1)과 제2 객체 모델(MBR2)이 만나는 경우의 기준 중심점 거리(L0, (a)) 보다 일정 크기 이상 작은 중심점 거리를 갖는 경우 제1 객체와 제2 객체가 충돌하는 것으로 판단한다. Also, as shown in FIG. 8B, the object relationship analyzer 253 may analyze the object relationship by calculating center point distances of different moving object models MBR1 and MBR2 existing in the same frame. In FIG. 8B, (a) is a case where the first object model MBR1 and the second object model MER2 overlap with each other and have a reference center point distance L0. In addition, (b) and (c) in FIG. 8B are cases where a part of the first object model MBR1 and the second object model MER2 overlap, and these are the first center points having a distance value shorter than the reference center point distance L0. Has a distance L1 and a second center point distance L2. That is, the object relationship analysis unit 253 may have a center point distance that is smaller than a predetermined center point distance (L0, (a)) when the first object model MBR1 and the second object model MBR2 meet. It is determined that the first object and the second object collide.

또한, 객체 관계 분석부(253)는 서로 다른 두 객체가 서로 다가가는 상태를 분석할 수 있다. 두 객체가 다가간다는 것은 인접한 시간에서 두 객체의 거리가 가까워지는 것을 의미한다. 즉, 객체 관계 분석부(253)는 도8c에서 이전 프레임에서 제1 객체 모델(MBR1)과 제2 객체 모델(MER2)의 외곽을 포함하는 외곽 모델(MBR3-1)의 면적과, 현재 프레임에서의 제1 객체 모델(MBR1)과 제2 객체 모델(MER2)의 외곽을 포함하는 외곽 모델(MBR3-2)의 면적을 비교하여, 이전 프레임에서의 외곽 모델(MBR3-1)의 면적보다 현재 프레임에서의 외곽 모델(MBR3-1)의 면적이 작아지는 경우, 제1 객체와 제2 객체가 서로 다가가는 상태로 분석한다. 이때, 객체 관계 분석부(253)는 제1 객체 모델(MBR1)과 제2 객체 모델(MBR2)간의 중심점 거리가 기준 중심점 거리 보다는 큰 상태이면서, 시간 경과에 따라 중심점 거리가 점점 짧아지는의 여부를 추가적으로 판단할 수 있다. 그리고, 객체 관계 분석부(253)는 두 객체 모델(MBR1, MBR2)의 외곽을 포함하는 외곽 모델(MBR3)의 면적이 점점 작아지면서, 두 객체 모델(MBR1, MBR2)간의 중심점 거리가 점점 짧아지는 경우, 제1 객체와 제2 객체가 서로 다가가는 상태로 판단할 수 있다.In addition, the object relationship analyzer 253 may analyze a state in which two different objects approach each other. When two objects are approaching, it means that the distance between two objects is closer together in the adjacent time. That is, in FIG. 8C, the object relationship analyzer 253 may determine the area of the outline model MBR3-1 including the outline of the first object model MBR1 and the second object model MER2 in the previous frame, and the current frame. Compares the area of the outer model MBR3-2 including the first object model MBR1 and the second object model MER2 with respect to the current frame, and compares the area of the current frame with the area of the outer model MBR3-1. When the area of the outer model MBR3-1 in Es becomes smaller, the first object and the second object are analyzed to approach each other. At this time, the object relation analysis unit 253 determines whether the center point distance between the first object model MBR1 and the second object model MBR2 is greater than the reference center point distance and the center point distance gradually decreases with time. Additional judgment can be made. In addition, the object relationship analysis unit 253 may gradually decrease the area of the outer model MBR3 including the outer sides of the two object models MBR1 and MBR2, and the center point distance between the two object models MBR1 and MBR2 may be shortened. In this case, it may be determined that the first object and the second object approach each other.

도9a 와 도9b는 정보 입출력부(260)의 화면 구성을 설명하기 위한 도면으로, 영상분석정보를 입출력하기 위한 화면을 예시한 것이다.9A and 9B are diagrams for explaining a screen configuration of the information input / output unit 260 and illustrate screens for inputting / outputting image analysis information.

도9a를 참조하면, 정보 입출력부(260)는 분석조건 입력항목(261)과 프레임 선택 항목(262), 분석결과 인덱스창(263) 및, 영상 표시창(264)을 포함한다.Referring to FIG. 9A, the information input / output unit 260 includes an analysis condition input item 261, a frame selection item 262, an analysis result index window 263, and an image display window 264.

분석조건 입력항목(261)은 분석조건과 영상 표시창(264)을 통해 출력할 영상의 시작시간 및 종료시간 설정을 위한 메뉴로 이루어진다. 이러한 분석조건 입력항목(261)에 의해 설정된 정보는 영상정보 분석부(250)로 제공된다. 그리고, 영상정보 분석부(250)는 영상 시작시간과 종료시간에 대응되는 원본 영상을 데이터 저장소(240)에서 호출하여 영상 표시창(264)을 통해 표시출력함과 더불어, 해당 범위의 원본 영상에서 분석 조건을 만족하는 프레임을 분석하고, 그 분석 결과에 해당하는 프레임번호들로 이루어지는 분석 인덱스 정보를 생성하여 분석결과 인덱스창(263)을 통해 표시출력한다. The analysis condition input item 261 includes a menu for setting a start time and an end time of an image to be output through the analysis condition and the image display window 264. The information set by the analysis condition input item 261 is provided to the image information analyzer 250. In addition, the image information analyzer 250 calls the original image corresponding to the image start time and the end time from the data storage 240 to display the image through the image display window 264, and analyzes the original image in the corresponding range. Frames satisfying the condition are analyzed, and analysis index information including frame numbers corresponding to the analysis result is generated and displayed through the analysis result index window 263.

프레임 선택항목(262)은 수평방향으로 슬라이드 이동되는 설정 바를 이동 후 정지시킴으로써, 설정 바 위치에 대응되는 시간의 프레임 영상을 선택할 수 있다. 이때, 정보 입출력부(260)는 설정 바 위치에 대응되는 프레임 번호를 영상정보 분석부(250)로 제공한다.The frame selection item 262 may select a frame image having a time corresponding to the position of the setting bar by moving the setting bar slid in the horizontal direction and then stopping. In this case, the information input / output unit 260 provides the frame number corresponding to the setting bar position to the image information analyzer 250.

분석결과 인덱스창(263)은 프레임 선택 항목(262)의 위치에 대응하여 의미 있는 분석결과가 존재하는 구간을 표시한다.The analysis result index window 263 displays a section in which a meaningful analysis result exists corresponding to the position of the frame selection item 262.

영상 표시창(264)은 원본 영상을 맵 데이터와 연동하여 표시출력함과 더불어, 상기 프레임 선택항목(262)에 의해 설정된 시간의 영상 프레임을 표시출력한다. 이때, 영상 프레임 표시출력함에 있어서, 사용자에 의해 설정된 분석 조건을 만족하는 객체에 대해서는 도9b에 도시된 바와 같이 유색(P1) 또는 사각형의 외곽선(P2) 형태로 색인화하여 표시출력한다. 이때, 객체가 서로 다가가는 결과와 충돌결과에 대해서는 서로 다른 형태로 식별 표현될 수 있다.The image display window 264 displays and outputs the original image in association with the map data, and displays and outputs the image frame of the time set by the frame selection item 262. At this time, in the image frame display output, objects satisfying the analysis conditions set by the user are indexed and displayed in the form of colored P1 or rectangular outline P2 as shown in FIG. 9B. In this case, the result of the object approaching each other and the collision result may be identified and expressed in different forms.

이어, 도10에 도시된 흐름도를 참조하여 도1에 도시된 다중 분산 영상 데이터 분석 장치의 동작을 설명한다.Next, an operation of the multi-distributed image data analyzing apparatus illustrated in FIG. 1 will be described with reference to the flowchart illustrated in FIG. 10.

먼저, 사용자는 정보 입출력부(260)를 통해 영상획득장치(100)에 대한 설치 위치 및 초당 프레임수를 포함하는 기본정보 및 맵 데이터를 데이터 저장소(240)에 저정하는 일련의 정보 등록절차를 수행한다(ST10). 이때, 상기한 영상획득장치에 대한 장치 기본정보는 영상획득장치와 연결된 상태에서 직접 제공받을 수 있고, 맵 데이터 역시 맵 데이터를 제공하는 공간정보제공서버와 연결되어 직접 제공받을 수 있다. First, the user performs a series of information registration procedures for storing basic information and map data including the installation position of the image acquisition apparatus 100 and the number of frames per second in the data storage 240 through the information input / output unit 260. (ST10) In this case, the basic device information for the image acquisition device may be directly provided in a state connected with the image acquisition device, and the map data may also be directly provided in connection with a spatial information providing server that provides map data.

상술한 바와 같이 서로 다른 위치에 설치된 다수의 영상획득장치(100)에 대한 등록이 수행됨과 더불어, 등록된 영상획득장치(100)와 통신 연결된 상태에서, 영상 수집부(210)는 다수의 영상획득장치(100)로부터 제공되는 다수의 영상 즉, 다중 영상을 실시간 수집하고, 이를 데이터 저장소(240)에 저장한다. As described above, registration of a plurality of image acquisition apparatuses 100 installed at different locations is performed, and in a state in which communication with the registered image acquisition apparatus 100 is performed, the image acquisition unit 210 acquires a plurality of images. A plurality of images provided from the device 100, that is, multiple images, are collected in real time and stored in the data storage 240.

또한, 영상 수집부(210)는 영상획득장치(100)로부터 실시간 제공되는 원본 영상을 다중 영상 처리부(230)로 제공하고, 다중 영상 처리부(230)는 실시간 다중 원본 영상을 정보 입출력부(260)로 제공하여 맵데이터상에 가시화하여 표시출력한다(ST20). 도11은 정보 입출력부(260)를 통해 표시출력되는 다중 영상 출력화면을 예시한 도면이다. 도11에 도시된 바와 같이 다중 영상은 맵 데이터상에 영상획득장치(100)의 각 촬영 영역에 해당하는 영상(X)을 합성하여 표시출력한다. 이때, 다중 영역은 촬영 영역에 해당하는 영상(X) 중 기 설정된 관심 영역, 예컨대 도로(Y)영역만이 맵 데이터상에 중첩되는 형태로 표시출력될 수 있다. 또한, 다중 영역은 촬영 영역에 해당하는 영상(X) 중 객체(Z), 예컨대 자동차만을 맵 데이터상에 중첩되는 형태로 표시출력될 수 있으며, 객체(Z)는 MBR 형태의 객체 모델 또는 객체 실제 형상으로 표현될 수 있다. In addition, the image acquisition unit 210 provides an original image provided from the image acquisition apparatus 100 in real time to the multi-image processing unit 230, and the multi-image processing unit 230 provides a real-time multiple source image to the information input / output unit 260. And visualize on the map data for display and output (ST20). FIG. 11 is a diagram illustrating a multiple image output screen displayed and output through the information input / output unit 260. As shown in FIG. 11, the multiple image is displayed on map data by synthesizing and outputting an image X corresponding to each photographing area of the image acquisition apparatus 100. In this case, the multi-region may be displayed and output in a form in which only a predetermined ROI, for example, a road Y region, of the image X corresponding to the photographing region is superimposed on the map data. In addition, the multi-region may be displayed and output in the form of superimposing only the object Z, for example, a vehicle, on the map data among the images X corresponding to the photographing area, and the object Z may be an MBR-type object model or an object actual. It can be expressed in shape.

한편, 영상 수집부(210)는 원본 영상 데이터를 객체정보 추출부(220)로 제공하고, 객체정보 추출부(220)는 각 프레임에서 의미 있는 객체 정보를 추출함과 더불어, 이에 대한 객체 기본정보를 생성한다(ST30). 객체정보 추출부(220)는 추출된 객체에 대해 객체 식별자를 부여하고, 객체 식별자에 대해 프레임번호와 객체 모델(MBR)정보, 객체 종류, 및 객체 상세 정보를 포함하는 객체 기본 정보를 생성한다. 객체 기본정보는 영상획득장치(100)별로 각각 생성된다.Meanwhile, the image collecting unit 210 provides the original image data to the object information extracting unit 220, and the object information extracting unit 220 extracts meaningful object information in each frame and also provides basic object information. To generate (ST30). The object information extracting unit 220 assigns an object identifier to the extracted object and generates object basic information including frame number, object model (MBR) information, object type, and object detail information. Basic object information is generated for each image acquisition apparatus 100.

객체정보 추출부(220)는 영상획득장치별로 생성된 각 객체 기본 정보를 다중 영상 처리부(250)로 제공하고, 다중 영상 처리부(250)는 객체정보 추출부(220)로부터 제공되는 다수의 객체 기본정보를 근거로 다중 영상 객체정보를 생성함과 더불어, 이를 데이터 저장소(240)에 저장한다(ST40).The object information extracting unit 220 provides each object basic information generated for each image obtaining apparatus to the multi image processing unit 250, and the multi image processing unit 250 provides a plurality of object basics provided from the object information extracting unit 220. The multi-image object information is generated based on the information and stored in the data storage 240 (ST40).

이때, 다중 영상 처리부(250)는 객체 기본정보를 맵 데이터에 연동시킴으로써, 서로 다른 영상획득장치(100)의 객체 기본정보에서 동일 객체를 판단하고, 동일 객체에 대해 하나의 객체 식별자를 부여함과 더불어, 객체 기본정보들을 근거로 객체 궤적정보를 포함하는 다중 영상 객체정보를 생성한다. 이때, 객체 궤적정보는 객체의 이동 범위에 대응하여 해당 이동 범위 내에 위치하는 영상획득장치(100)의 영상정보를 모두 포함한다.In this case, the multi-image processing unit 250 determines the same object from the object basic information of the different image capturing apparatus 100 by linking the object basic information to the map data, and assigns one object identifier to the same object. In addition, multi-image object information including object trajectory information is generated based on object basic information. In this case, the object trajectory information includes all the image information of the image acquisition apparatus 100 positioned in the corresponding movement range corresponding to the movement range of the object.

한편, 다중 영상 분석부(250)는 데이터 저장소(240)에 저장된 다중 영상 객체정보를 이용하여 기 설정된 분석 조건에 대응되는 다중 영상 객체를 분석한다(ST50). 다중 영상 분석부(250)는 객체 모델을 이용하여 단일 객체에 대한 상태 변화에 따른 분석처리를 수행하거나, 동일 프레임에서 서로 다른 객체간 거리 또는 면적에 대한 객체간 관계 분석처리를 수행한다. 이때, 분석 조건은 사용자에 의해 기 설정될 수 있으며, 예컨대, 객체의 움직임 크기가 일정 이상이거나, 서로 다른 객체가 일정 범위로 가까워 지거나 또는 서로 다른 객체가 충돌하는 경우 등으로 설정될 수 있다. Meanwhile, the multi-image analyzer 250 analyzes the multi-image object corresponding to the preset analysis condition using the multi-image object information stored in the data storage 240 (ST50). The multi-image analysis unit 250 performs an analysis process according to a change of state of a single object using an object model, or performs inter-object relationship analysis on distances or areas between different objects in the same frame. In this case, the analysis condition may be preset by the user. For example, the analysis condition may be set when the movement size of the object is greater than or equal to a certain level, when different objects approach a certain range, or when different objects collide with each other.

다중 영상 분석부(250)는 분석 조건에 대응되는 다중 영상 객체가 존재하는 프레임번호를 시간축상에 배치함으로써, 분석 인덱스 정보를 생성하고, 이를 정보 입출력부(260)의 분석결과 인덱스창(263)을 통해 표시출력한다(ST60).The multi-image analysis unit 250 generates analysis index information by arranging a frame number in which the multi-image object corresponding to the analysis condition exists on the time axis, and generates the analysis index information, and the analysis result index window 263 of the information input / output unit 260. Display output via (ST60).

그리고, 사용자에 의해 선택된 분석 인덱스에 대응되는 프레임 번호에 해당하는 분석영상을 영상 표시창(264)을 통해 표시출력한다(ST70). 이때, 분석 영상은 해당 프레임 영상에서 분석 결과에 해당하는 영역이 시각적으로 용이하게 인식되도록 식별 표현되어 출력된다. The analysis image corresponding to the frame number corresponding to the analysis index selected by the user is displayed and output through the image display window 264 (ST70). In this case, the analysis image is identified and output so that the region corresponding to the analysis result is easily visually recognized in the frame image.

상기한 상태에서, 사용자가 정보 입출력화면의 분석조건 설정항목(261)을 이용하여 분석요구정보가 입력되면(ST80), 분석조건에 대응되는 영역 및 시간에 해당하는 다중 영상 데이터를 데이터 저장소(240)에서 호출함과 더불어, 해당 영역의 맵데이터를 데이터 저장소(240)에서 호출하여 도5와 같은 형태로 가시화하여 표시출력한다(ST90). In the above state, when the user inputs the analysis request information using the analysis condition setting item 261 of the information input / output screen (ST80), the multi image data corresponding to the region and time corresponding to the analysis condition is stored in the data storage 240. In addition to the call, the map data of the corresponding area is called from the data storage 240 to be visualized and displayed in the form as shown in FIG. 5 (ST90).

이때, 다중 영상 분석장치(200)는 상기 ST80 단계에서 설정된 분석 조건에 대응되는 다중 영상을 데이터 저장소(240)에서 호출하고, 호출된 다중 영상에서 분석 조건을 만족하는 분석 결과를 근거로 분석 인덱스 정보를 생성하여 표시출력함과 더불어, 사용자에 의해 선택된 분석 인덱스 위치에 대응되는 프레임 번호의 분석 영상을 표시출력하는 일련의 동작을 수행한다.In this case, the multi-image analyzing apparatus 200 calls the multi-image corresponding to the analysis condition set in the ST80 from the data storage 240 and analyzes the index information based on the analysis result satisfying the analysis condition in the called multi-image. In addition to generating and displaying the image, a series of operations of displaying and outputting the analysis image of the frame number corresponding to the analysis index position selected by the user is performed.

100 : 영상획득장치, 200 : 다중 영상 분석 장치,
210 : 영상 수집부, 220 : 객체정보 추출부,
230 : 다중 영상 처리부, 240 : 데이터 저장소,
250 : 다중 영상 분석부, 260 : 정보 입출력부.100: image acquisition device, 200: multiple image analysis device,
210: image collecting unit, 220: object information extracting unit,
230: the multi-image processing unit, 240: data storage,
250: multiple image analyzer, 260: information input / output unit.

Claims (9)

서로 다른 위치에 설치되어 서로 다른 촬영 영역에 대한 영상 데이터를 제공하는 다수의 영상획득장치와,
다수의 영상획득장치로부터 제공되는 서로 다른 영역에 대한 원본 영상을 데이터 저장소에 저장함과 더불어, 정보 입출력부로 제공하고, 서로 다른 영상획득장치로부터 제공되는 각 원본 영상에 존재하는 동일 객체에 대하여 하나의 다중 영상 객체 식별자를 부여하며, 다중 영상 객체 식별자에 대해 해당 객체 표현을 위한 객체 모델 및, 영상획득장치별 이동 경로에 대한 궤적정보를 포함하는 다중 영상 객체정보를 생성하여 데이터 저장소에 저장하는 다중 영상 처리부,
맵 데이터와, 상기 다중 영상 처리부에서 생성되는 다중 영상 객체정보 및, 상기 영상획득장치로부터 제공되는 원본 영상을 포함하는 다중 영상 분석을 위한 정보가 저장되는 데이터 저장소,
기 설정된 분석 조건에 대응하는 영상 데이터에서 다중 영상 객체정보를 이용하여 분석 조건에 대응되는 객체에 대한 분석처리를 수행하고, 그 분석 결과를 정보 입출력부로 제공하는 다중 영상 분석부 및,
사용자에 의한 분석 조건 설정 및 특정 프레임 영상 선택을 위한 입력환경을 제공하고, 원본 영상을 맵데이터의 해당 촬영 영역에 합성하여 표시출력함과 더불어, 사용자에 의해 선택된 프레임 영상 또는 분석 조건에 대응되는 분석 결과를 표시 출력하는 정보 입출력부를 포함하여 구성되고,
상기 다중 영상 처리부는 서로 다른 영상획득장치별로 해당 원본 영상에 나타나는 각 객체에 대해 프레임 번호와 객체 모델정보, 객체 종류 및 객체 상세정보를 포함하는 객체 기본정보를 생성하고, 서로 다른 영상획득장치에 대한 객체별 객체 기본 정보를 시간 순서에 따라 맵 데이터에 연동시킴으로써, 서로 다른 다수의 영상획득장치에서 나타나는 동일 객체를 판단하며,
상기 다중 영상 분석부는 분석 대상 객체에 대한 인접 시간 프레임에서의 해당 객체 모델의 가로와 세로의 형태 변화 비율을 근거로 객체의 움직임 정도를 판단하고, 동일 프레임에 존재하는 서로 다른 객체에 대한 객체 모델들의 중첩 면적의 정도를 근거로 객체들간의 충돌 여부를 판단하며, 인접 프레임에서의 서로 다른 객체가 형성하는 전체 외곽 면적의 변화 비율을 근거로 객체간의 거리 변화를 판단하도록 구성되는 것을 특징으로 하는 다중 분산 영상 데이터 분석 장치.
A plurality of image acquisition devices installed at different locations and providing image data for different photographing areas;
In addition to storing original images of different areas provided from multiple image acquisition devices in a data storage, providing them to the information input / output unit, and multiple multiple images of the same object present in each original image provided from different image acquisition devices. A multi-image processing unit for assigning an image object identifier and generating and storing the multi-image object information including the object model for representing the corresponding object and the trajectory information on the movement path for each image acquisition device with respect to the multi-image object identifier. ,
A data storage storing map data, multi-image object information generated by the multi-image processing unit, and information for multi-image analysis including an original image provided from the image acquisition device;
A multi-image analysis unit which performs an analysis process on an object corresponding to the analysis condition using the multi-image object information from the image data corresponding to the preset analysis condition, and provides the analysis result to the information input / output unit;
It provides an input environment for setting analysis conditions and selecting a specific frame image by the user, and displays and synthesizes the original image in the corresponding shooting area of the map data and analyzes corresponding to the frame image or analysis condition selected by the user. And an information input / output unit for displaying and outputting a result,
The multi-image processor generates object basic information including frame number, object model information, object type, and object detail information for each object appearing in the corresponding original image for each different image capturing device. By linking the basic object information of each object to the map data in chronological order, to determine the same object appearing in a plurality of different image acquisition device,
The multi-image analysis unit determines the degree of movement of the object based on the horizontal and vertical shape change ratio of the corresponding object model in the adjacent time frame with respect to the object to be analyzed, and of the object models for different objects in the same frame Multidistribution characterized in that it is determined whether or not collision between objects based on the degree of overlapping area, the distance change between objects based on the rate of change of the total outer area formed by different objects in adjacent frames. Video data analysis device.
제1항에 있어서,
상기 데이터 저장소에는 영상획득장치 위치 및 촬영 영역을 포함하는 영상 획득장치정보가 저장되고,
상기 다중 영상 처리부는 원본 영상에 대한 프레임 번호별 객체 모델을 포함하는 객체 기본정보와 영상획득장치의 위치 및 영상 촬영영역에 기초하여 원본 영상을 맵 데이터에 연동시켜 시간 경과에 따른 임의 객체에 대한 이동 경로를 예측하고, 예측된 이동 경로에 대응하여 타 영상획득장치의 원본 영상을 추가적으로 맵데이터에 연동함으로써, 임의 객체에 대하여 다수 영상획득장치에 대한 원본 영상에 존재하는 객체들간의 동일성을 판단하도록 구성되는 것을 특징으로 하는 다중 분산 영상 데이터 분석 장치.
The method of claim 1,
The data storage stores image acquisition device information including an image acquisition device location and a photographing area.
The multi-image processor moves an arbitrary object over time by linking the original image with map data based on the object basic information including the object model for each frame number of the original image, the position of the image acquisition device, and the image capturing region. By predicting the path and additionally linking the original image of another image acquisition apparatus to map data in response to the predicted movement path, it is configured to determine the sameness between the objects existing in the original image for the plurality of image acquisition apparatuses. Multiple distributed image data analysis device, characterized in that.
제1항 또는 제2항에 있어서,
상기 다중 영상 처리부는 다수의 영상획득장치의 영상에 존재하는 동일 객체에 대해 하나의 객체 식별자를 부여하고, 객체 식별자별 객체종류와, 객체 상세정보, 영상 시작시간, 영상 종료시간, 전체 궤적개수 및, 객체궤적정보를 포함하는 다중 영상 객체정보를 생성하되,
상기 전체 궤적 개수는 객체 모델이 나타난 프레임 개수로서, 각 객체 궤적정보는 영상획득장치 식별자별 영상 시작시간과 영상 종료시간, 객체 모델 개수 및, 시간과 객체 모델로 이루어지는 객체 추출정보를 포함하여 구성되며,
상기 객체 추출정보는 객체 모델 개수에 대응하여 가변되는 구조로 구성되는 것을 특징으로 하는 다중 분산 영상 데이터 분석 장치.
The method according to claim 1 or 2,
The multi-image processing unit assigns one object identifier to the same object existing in the images of the plurality of image capturing apparatuses, the object type for each object identifier, the object detail information, the image start time, the image end time, the total number of trajectories, Generate multi-image object information including object trajectory information,
The total number of trajectories is the number of frames in which the object model is shown, and each object trajectory information includes image start time and end time of each image acquisition device identifier, object number of objects, and object extraction information consisting of time and object model. ,
The apparatus for extracting multi-distributed image data, wherein the object extraction information is configured to vary in accordance with the number of object models.
제1항에 있어서,
상기 다중 영상 분석부는 맵 데이터와 연동하여 영상획득장치가 설치되지 않은 구간에 대한 객체의 위치를 예측하는 네트워크 분석모듈을 포함하여 구성되고,
상기 네트워크 분석모듈은 기 저장된 인접 프레임 사이의 시간 간격이 기준 프레임 단위 시간 이상인 경우, 맵 데이터에 해당 프레임들을 배치시킨 상태에서 객체의 이동 방향 및 이동로를 근거로 영상획득장치가 존재하지 않는 영역에 대한 객체 위치를 예측하도록 구성되는 것을 특징으로 하는 다중 분산 영상 데이터 분석 장치.
The method of claim 1,
The multi-image analysis unit is configured to include a network analysis module for predicting the position of the object for the section in which the image acquisition device is not installed in conjunction with the map data,
When the time interval between previously stored adjacent frames is equal to or greater than a reference frame unit time, the network analysis module is located in an area where the image acquisition device does not exist based on the movement direction and the movement path of the object with the frames arranged in the map data. Multiple distributed image data analysis device, characterized in that configured to predict the object position for.
삭제delete 삭제delete 삭제delete 제1항에 있어서,
상기 다중 영상 분석부는 일정 공간 영역에 해당하는 원본 영상에서 분석 조건을 만족하는 프레임을 분석하고, 그 분석 결과에 해당하는 프레임 번호들이 시간에 대응되게 배치되어 구성되는 분석 인덱스 정보를 생성하여 상기 정보 입출력부로 제공하며,
정보 입출력부는 기 설정된 시간에 대하여 일정 공간 영역에 대한 원본 영상을 맵 데이터와 연동하여 표시출력함과 더불어, 상기 다중 영상 분석부를 통해 제공되는 해당 출력 원본 영상에 대응되는 분석 인덱스 정보를 일측에 추가로 표시출력하고, 사용자에 의해 선택되는 인덱스 정보 위치에 대응되는 프레임 번호를 근거로 데이터 저장소에서 해당 프레임 번호의 원본 영상을 호출하여 표시출력하되, 프레임 영상에서 기 설정된 분석 조건에 대응되는 분석 결과 구간에 대해서는 기 설정된 형태로 식별 표현되도록 표시출력하는 것을 특징으로 하는 다중 분산 영상 데이터 분석 장치.
The method of claim 1,
The multi-image analysis unit analyzes a frame satisfying an analysis condition in an original image corresponding to a predetermined spatial region, and generates analysis index information including frame numbers corresponding to the analysis result corresponding to a time, thereby generating the information input / output information. Provided by wealth,
The information input / output unit displays and outputs an original image of a predetermined spatial area in association with map data for a preset time, and additionally adds analysis index information corresponding to the corresponding output source image provided through the multi-image analyzer to one side. Display and output the original image of the corresponding frame number from the data storage on the basis of the frame number corresponding to the index information position selected by the user. Multi-distributed image data analysis apparatus, characterized in that the display output to be identified and expressed in a predetermined form.
제1항 또는 제8항에 있어서,
상기 정보 입출력부는 원본 영상을 맵 데이터에 중첩하여 표시출력하되, 원본 영상에서 기 설정된 관심 영역만을 맵 데이터에 중첩하거나, 원본 영상에서 객체 정보만을 맵 데이터에 중첩하여 표시출력하도록 구성되는 것을 특징으로 하는 다중 분산 영상 데이터 분석 장치.The method according to claim 1 or 8,
The information input / output unit may be configured to display and output the original image by superimposing the map data on the map data, or to overlay only the preset ROI on the map data, or to display and output only the object information on the map data on the map data. Multiple distributed image data analysis device.
KR1020170158079A 2017-11-24 2017-11-24 Apparatus for analyzing Multi-Distributed Video Data KR102030736B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020170158079A KR102030736B1 (en) 2017-11-24 2017-11-24 Apparatus for analyzing Multi-Distributed Video Data
PCT/KR2017/013586 WO2019103208A1 (en) 2017-11-24 2017-11-27 Device for analyzing multiple distributed image data

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170158079A KR102030736B1 (en) 2017-11-24 2017-11-24 Apparatus for analyzing Multi-Distributed Video Data

Publications (2)

Publication Number Publication Date
KR20190060161A KR20190060161A (en) 2019-06-03
KR102030736B1 true KR102030736B1 (en) 2019-10-10

Family

ID=66631600

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170158079A KR102030736B1 (en) 2017-11-24 2017-11-24 Apparatus for analyzing Multi-Distributed Video Data

Country Status (2)

Country Link
KR (1) KR102030736B1 (en)
WO (1) WO2019103208A1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112417273B (en) * 2020-11-17 2022-04-19 平安科技（深圳）有限公司 Region portrait image generation method, region portrait image generation device, computer equipment and storage medium
KR102648111B1 (en) * 2021-12-24 2024-03-18 주식회사 대산시스템 Area of interest intensive monitoring system and monitoring method

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101064946B1 (en) * 2009-08-19 2011-09-15 한국전자통신연구원 Object abstraction apparatus based multi image analysis and its method
KR101256107B1 (en) * 2012-04-24 2013-05-02 주식회사 아이티엑스시큐리티 Vison monitoring method of dvr
KR102126868B1 (en) * 2013-11-15 2020-06-25 한화테크윈 주식회사 Appratus and method for processing image
KR20150071781A (en) 2013-12-18 2015-06-29 한국전자통신연구원 Apparatus and method for modeling trajectory pattern based on trajectory transform
KR101612490B1 (en) * 2014-06-05 2016-04-18 주식회사 다이나맥스 Apparatus for video monitoring using space overlap
KR101547255B1 (en) 2015-05-21 2015-08-25 주식회사 넥스파시스템 Object-based Searching Method for Intelligent Surveillance System
KR101729906B1 (en) * 2015-06-26 2017-05-04 서울과학기술대학교 산학협력단 Statistical analysis apparatus and method using pattern analysis in omni-directional camera images
KR102491638B1 (en) * 2015-12-23 2023-01-26 한화테크윈 주식회사 Apparatus and method for image processing
WO2017150899A1 (en) * 2016-02-29 2017-09-08 광주과학기술원 Object reidentification method for global multi-object tracking

Also Published As

Publication number Publication date
KR20190060161A (en) 2019-06-03
WO2019103208A1 (en) 2019-05-31

Similar Documents

Publication Publication Date Title
EP1030188B1 (en) Situation awareness system
JP7036493B2 (en) Monitoring method and equipment
KR102122859B1 (en) Method for tracking multi target in traffic image-monitoring-system
JP6013923B2 (en) System and method for browsing and searching for video episodes
KR101964683B1 (en) Apparatus for Processing Image Smartly and Driving Method Thereof
KR100968433B1 (en) Store system for the license plate images of vehicle and, search system for images of vehicle using that store system
KR101933153B1 (en) Control Image Relocation Method and Apparatus according to the direction of movement of the Object of Interest
KR102181355B1 (en) Vehicle search system based artificial intelligence
KR20190041704A (en) A cctv divided management system and method it
KR102030736B1 (en) Apparatus for analyzing Multi-Distributed Video Data
RU120270U1 (en) PEDESTRIAN CROSSING CONTROL COMPLEX
JP2023064093A (en) Traffic mark detection method and method of training traffic mark detection model
CN106339445B (en) Vehicle retrieval method and device based on big data
KR20210140766A (en) Digital reconstruction methods, devices and systems for traffic roads
US11727580B2 (en) Method and system for gathering information of an object moving in an area of interest
KR20160093253A (en) Video based abnormal flow detection method and system
KR101719799B1 (en) CCTV monitoring system
KR101736431B1 (en) System and Method for Smart Traffic Monitoring Using Multiple Image
KR20140040342A (en) Method and system for analyzing surveillance image
KR102484789B1 (en) Intelligent crossroad integration management system with unmanned control and traffic information collection function
KR101686851B1 (en) Integrated control system using cctv camera
JP7146416B2 (en) Information processing device, information processing system, information processing method, and program
KR20170019108A (en) Method and apparatus for retrieving camera based on recognition ability
KR102030352B1 (en) Real time tracking system of vehicle base a cognition vehicles number
JP7274298B2 (en) IMAGING DEVICE, IMAGING METHOD AND IMAGING PROGRAM

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant