KR20220072477A - Multithreaded-based imaging analysis system that improves real-time performance by separating the general situation event monitoring module from the specific situation event processing module - Google Patents

Multithreaded-based imaging analysis system that improves real-time performance by separating the general situation event monitoring module from the specific situation event processing module Download PDF

Info

Publication number
KR20220072477A
KR20220072477A KR1020200160124A KR20200160124A KR20220072477A KR 20220072477 A KR20220072477 A KR 20220072477A KR 1020200160124 A KR1020200160124 A KR 1020200160124A KR 20200160124 A KR20200160124 A KR 20200160124A KR 20220072477 A KR20220072477 A KR 20220072477A
Authority
KR
South Korea
Prior art keywords
situation event
processing module
monitoring module
image
basic information
Prior art date
Application number
KR1020200160124A
Other languages
Korean (ko)
Other versions
KR102551647B1 (en
Inventor
박영기
임상일
이국진
박성실
조익현
유태환
Original Assignee
주식회사 싸인텔레콤
한국서부발전 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 싸인텔레콤, 한국서부발전 주식회사 filed Critical 주식회사 싸인텔레콤
Priority to KR1020200160124A priority Critical patent/KR102551647B1/en
Publication of KR20220072477A publication Critical patent/KR20220072477A/en
Application granted granted Critical
Publication of KR102551647B1 publication Critical patent/KR102551647B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4524—Management of client data or end-user data involving the geographical location of the client
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Abstract

본 발명은 현재까지 개발되어 있는 다양한 딥러닝 알고리즘들이 영상분석 분야에서 상황에 맞게 적용되고 있기는 하나, 하나의 영상에 여러가지 분석 알고리즘을 동시에 적용되어야 하기 때문에 높은 연산량으로 인한 실시간성이 떨어지는 문제를 해결하기 위하여 제시되는 것으로서,
검출/추적 및 룰 기반의 일반상황 이벤트 감시하는 일반상황 이벤트 감시모듈과, 번호판 인식, 행동 인식 등의 특정상황 이벤트를 분석하여 처리하는 특정상황 이벤트 처리모듈을 분리하고, 상기 복수의 일반상황 이벤트 감시모듈은 카메라 각각에 대한 딥러닝 기반의 객체 검출 및 추적 작업을 수행하고, 상기 수행된 객체 검출 및 추적 작업과 관심 영역과 상대적인 위치의 해당 기본 정보를 바탕으로 검지할 수 있는 차량 교통량, 보행자 통행량, 위험지역 침입, 추돌사고 발생 및 배회 이벤트 검지 등의 이벤트를 처리하며, 상기 특정상황 이벤트 처리모듈은 상기 일반상황 이벤트 감시모듈을 구성하는 각각의 채널마다 적용되는 것이 아니라, 각각의 카메라 채널로부터 요청이 있을때마다 영상분석을 수행하고, 분석된 결과값을 반환하는 역할을 수행하도록 함으로써, 영상분석에 있어 실시간성을 향상시킬 수 있는 멀티쓰레드 기반의 영상분석시스템에 관한 것이다.The present invention solves the problem of poor real-time performance due to high computational amount because various analysis algorithms must be simultaneously applied to one image, although various deep learning algorithms that have been developed so far are applied according to the situation in the field of image analysis. As proposed to do,
A general situation event monitoring module that monitors detection/tracking and rule-based general situation events, and a specific situation event processing module that analyzes and processes specific situation events such as license plate recognition and behavior recognition, are separated, and the plurality of general situation events are monitored The module performs deep learning-based object detection and tracking for each camera, and vehicle traffic, pedestrian traffic, It processes events such as dangerous area intrusion, collision accident occurrence, and wandering event detection, and the specific situation event processing module is not applied to each channel constituting the general situation event monitoring module, but requests from each camera channel It relates to a multi-thread-based image analysis system that can improve real-time performance in image analysis by performing image analysis whenever there is an image and returning the analyzed result value.

Description

일반상황 이벤트 감시모듈과 특정상황 이벤트 처리모듈을 분리하여 실시간성을 향상시킨 멀티쓰레드 기반의 영상분석시스템{Multithreaded-based imaging analysis system that improves real-time performance by separating the general situation event monitoring module from the specific situation event processing module}Multithreaded-based imaging analysis system that improves real-time performance by separating the general situation event monitoring module from the specific situation event processing module}

본 발명은 현재까지 개발되어 있는 다양한 딥러닝 알고리즘들이 영상분석 분야에서 상황에 맞게 적용되고 있기는 하나, 하나의 영상에 여러가지 분석 알고리즘을 동시에 적용되어야 하기 때문에 높은 연산량으로 인한 실시간성이 떨어지는 문제를 해결하기 위하여 제시되는 것으로서,The present invention solves the problem of poor real-time performance due to a high amount of computation because various analysis algorithms must be simultaneously applied to a single image, although various deep learning algorithms that have been developed so far are applied according to the situation in the field of image analysis. As presented to do,

검출/추적 및 룰 기반의 일반상황 이벤트 감시하는 일반상황 이벤트 감시모듈과,A general situation event monitoring module for detecting/tracking and rule-based general situation event monitoring;

번호판 인식, 행동 인식 등의 특정상황 이벤트를 분석하여 처리하는 특정상황 이벤트 처리모듈을 분리하고,Separating a specific situation event processing module that analyzes and processes specific situation events such as license plate recognition and behavior recognition,

상기 복수의 일반상황 이벤트 감시모듈은 카메라 각각에 대한 딥러닝 기반의 객체 검출 및 추적 작업을 수행하고, 상기 수행된 객체 검출 및 추적 작업과 관심 영역과 상대적인 위치의 해당 기본 정보를 바탕으로 검지할 수 있는 차량 교통량, 보행자 통행량, 위험지역 침입, 추돌사고 발생 및 배회 이벤트 검지 등의 이벤트를 처리하며,The plurality of general situation event monitoring modules perform a deep learning-based object detection and tracking operation for each camera, and detect based on the performed object detection and tracking operation and corresponding basic information of the region of interest and relative position. It handles events such as vehicle traffic volume, pedestrian traffic volume, intrusion into dangerous areas, collision accident occurrence and wandering event detection,

상기 특정상황 이벤트 처리모듈은 상기 일반상황 이벤트 감시모듈을 구성하는 각각의 채널마다 적용되는 것이 아니라, 각각의 카메라 채널로부터 요청이 있을때마다 영상분석을 수행하고, 분석된 결과값을 반환하는 역할을 수행하도록 함으로써, 영상분석에 있어 실시간성을 향상시킬 수 있는 멀티쓰레드 기반의 영상분석시스템에 관한 것이다.The specific situation event processing module does not apply to each channel constituting the general situation event monitoring module, but performs image analysis whenever there is a request from each camera channel and returns the analyzed result value. By doing so, it relates to a multi-thread-based image analysis system that can improve real-time performance in image analysis.

지능형영상감시시스템은 CCTV(Closed Circuit Television)에서 입력된 영상을 실시간으로 분석하여 움직임이 있는 객체(사람, 자동차 등)을 인식하고, 객체 간에 발생하는 범죄와 같은 이벤트(배회, 침투, 유기 등)를 실시간으로 인식하여 감시자에게 자동으로 알려주어 즉각적인 상황대처를 가능하도록 도와주는 첨단 영상 감시 시스템이다.The intelligent video surveillance system analyzes the video input from CCTV (Closed Circuit Television) in real time to recognize moving objects (people, cars, etc.) It is a state-of-the-art video surveillance system that recognizes in real-time and automatically informs the supervisor to take immediate action.

이기종의 CCTV 장비에서 획득된 각종 영상을 온라인 상태에서 실시간으로 영상을 분석하여 객체를 사람과 차량을 구분한 후 이 정보를 필요한 데이터로 분석하여 수요자가 원하는 맞춤형 검색 시스템을 구축하며 그 결과 데이터를 범죄 및 위험 상황의 예방 및 사후 해결에 사용할 수 있도록 한다.It analyzes various images acquired from heterogeneous CCTV equipment in real time online to classify objects from people and vehicles. and for the prevention and follow-up of hazardous situations.

복수개의 서로 다른 종류의 CCTV에서 획득된 영상을 분석하여 추출/추적/분류/보정/저장하는 영상처리 기능을 보유하여야 한다.It should have an image processing function to extract/track/classify/correct/save by analyzing the images acquired from a plurality of different types of CCTV.

이와 같은 지능형영상감시시스템과 관련하여 최근 영상을 분석하고 상황을 인지할 수 있는 다양한 딥러닝 알고리즘들이 개발되고 있다. 상기 딥러닝 알고리즘은 크게 객체의 검출, 배경의 구분, 물체의 인식으로 나누고, 그 외에 다양한 영상처리 알고리즘이 상황에 맞게 적용되고 있다.In relation to such an intelligent video surveillance system, various deep learning algorithms that can analyze images and recognize situations are being developed. The deep learning algorithm is largely divided into object detection, background classification, and object recognition, and various image processing algorithms are applied according to the situation.

그러나 종래 방식은 하나의 영상에 여러가지 분석 알고리즘을 동시에 적용하고 있어 높은 연산량을 필요로 하고 있으며 이로 인한 실시간성이 떨어지는 문제가 있었다.However, since the conventional method applies various analysis algorithms to one image at the same time, a high amount of calculation is required, and there is a problem in that real-time performance is deteriorated due to this.

이에 본 발명에서는 이와 같은 종래 기술의 문제를 해결함으로써, 실시간성을 향상시킨 멀티쓰레드 기반의 영상분석시스템을 제공하고자 한다.Accordingly, the present invention intends to provide a multi-thread-based image analysis system with improved real-time performance by solving the problems of the prior art.

대한민국 등록특허 10-2104088(등록일자 2020.04.17)Republic of Korea Patent Registration 10-2104088 (Registration Date 2020.04.17) 대한민국 등록특허 10-1062225(등록일자 2011.08.30)Republic of Korea Patent Registration 10-1062225 (Registration Date 2011.08.30) 대한민국 등록특허 10-1963308(등록일자 2019.03.22)Republic of Korea Patent Registration 10-1963308 (Registration Date 2019.03.22)

본 발명은 종래 기술의 문제를 해결하기 위하여 제시되는 것으로서,The present invention is proposed to solve the problems of the prior art,

검출/추적 및 룰 기반의 일반상황 이벤트 감시하는 일반상황 이벤트 감시모듈과,A general situation event monitoring module for detecting/tracking and rule-based general situation event monitoring;

번호판 인식, 행동 인식 등의 특정상황 이벤트를 분석하여 처리하는 특정상황 이벤트 처리모듈을 분리하고,Separating a specific situation event processing module that analyzes and processes specific situation events such as license plate recognition and behavior recognition,

상기 복수의 일반상황 이벤트 감시모듈은 카메라 각각에 대한 딥러닝 기반의 객체 검출 및 추적 작업을 수행하고, 상기 수행된 객체 검출 및 추적 작업과 관심 영역과 상대적인 위치의 해당 기본 정보를 바탕으로 검지할 수 있는 차량 교통량, 보행자 통행량, 위험지역 침입, 추돌사고 발생 및 배회 이벤트 검지 등의 이벤트를 처리하며,The plurality of general situation event monitoring modules perform a deep learning-based object detection and tracking operation for each camera, and detect based on the performed object detection and tracking operation and corresponding basic information of the region of interest and relative position. It handles events such as vehicle traffic volume, pedestrian traffic volume, intrusion into dangerous areas, collision accident occurrence and wandering event detection,

상기 특정상황 이벤트 처리모듈은 상기 일반상황 이벤트 감시모듈을 구성하는 각각의 채널마다 적용되는 것이 아니라, 각각의 카메라 채널로부터 요청이 있을때마다 영상분석을 수행하고, 분석된 결과값을 반환하는 역할을 수행하도록 함으로써, 영상분석에 있어 실시간성을 향상시킬 수 있는 멀티쓰레드 기반의 영상분석시스템을 제공하고자 하는 것을 발명의 목적으로 한다.The specific situation event processing module does not apply to each channel constituting the general situation event monitoring module, but performs image analysis whenever there is a request from each camera channel and returns the analyzed result value. It is an object of the invention to provide a multi-thread-based image analysis system that can improve real-time performance in image analysis.

상기 목적을 달성하기 위하여,In order to achieve the above object,

본 발명은 특정영역에 설치되는 CCTV모듈로부터 전송된 영상데이터를 수신하고, 수신한 영상데이터를 기초정보산출부로 전달하는 영상수신부와,The present invention includes an image receiving unit that receives image data transmitted from a CCTV module installed in a specific area and transmits the received image data to a basic information calculating unit;

상기 영상데이터를 기반으로 객체 검출, 객체 이동 및 관심 영역에 대한 객체의 상대적인 위치에 대한 기초정보를 산출하고, 산출된 기초정보를 기초상황인지부로 전달하는 기초정보산출부와,a basic information calculation unit for calculating basic information on object detection, object movement, and relative position of an object with respect to the region of interest based on the image data, and transmitting the calculated basic information to a basic situation recognition unit;

상기 기초정보산출부로부터 전달받은 기초정보를 기반으로 하여 차량 교통량, 보행자 통행량, 위험지역 침입, 추돌사고 발생 및 배회 이벤트를 검지한 후 이를 처리하는 기초상황인지부를 포함하는 단위 채널을 다수로 포함하는 일반상황 이벤트 감시모듈;Based on the basic information received from the basic information calculation unit, it detects vehicle traffic, pedestrian traffic, dangerous area intrusion, collision accident, and wandering event and then processes it after detecting a unit channel including a plurality of unit channels including a basic situation recognition unit general event monitoring module;

상기 일반상황 이벤트 감시모듈을 구성하는 다수의 단위 채널 중 분석 요청이 있는 채널에 대해서만 영상분석을 수행하여 분석 결과를 표출, 저장 및 전송하는 특정상황 이벤트 처리모듈;을 포함하는 것을 특징으로 하는 일반상황 이벤트 감시모듈과 특정상황 이벤트 처리모듈을 분리하여 실시간성을 향상시킨 멀티쓰레드 기반의 영상분석시스템을 제공한다.General situation comprising; a specific situation event processing module for displaying, storing, and transmitting the analysis result by performing image analysis only on a channel for which an analysis request is made among a plurality of unit channels constituting the general situation event monitoring module It provides a multi-thread-based video analysis system with improved real-time performance by separating the event monitoring module and the specific event processing module.

본 발명에 따른 일반상황 이벤트 감시모듈과 특정상황 이벤트 처리모듈을 분리하여 실시간성을 향상시킨 멀티쓰레드 기반의 영상분석시스템은 검출, 추적 및 룰 기반의 일반상황 이벤트 감시모듈과 번호판 인식, 행동 인식 등의 특정상황을 감지하고 분석할 수 있는 특정상황 이벤트 처리모듈을 구분하여 처리함으로써 종래 방식과 비교하여 영상을 분석처리하는데 있어 연산량을 대폭 줄여줄 수 있으며, 이로 인해 영상분석에 대한 실시간성을 향상시킬 수 있다는 장점을 갖는다.According to the present invention, a multi-thread-based video analysis system that improves real-time by separating a general situation event monitoring module and a specific situation event processing module includes a detection, tracking, and rule-based general situation event monitoring module, license plate recognition, behavior recognition, etc. By classifying and processing a specific situation event processing module that can detect and analyze a specific situation of has the advantage of being able to

도 1은 본 발명에 따른 멀티쓰레드 기반의 영상분석시스템의 전체 구성도.
도 2는 본 발명에 따른 멀티쓰레드 기반의 영상분석시스템을 구성하는 기초정보 산출부의 전체 구성도.
도 3은 본 발명에 따른 멀티쓰레드 기반의 영상분석시스템을 구성하는 기초상황인지부를 통해 산출되는 정보를 예시적으로 제시하고 있는 도면.
도 4는 본 발명에 따른 멀티쓰레드 기반의 영상분석시스템을 구성하는 특정상황 이벤트 처리모듈을 통해 분석되는 정보를 예시적으로 제시하고 있는 도면.1 is an overall configuration diagram of a multi-thread-based image analysis system according to the present invention.
2 is an overall configuration diagram of a basic information calculating unit constituting a multi-thread-based image analysis system according to the present invention.
3 is a diagram exemplarily presenting information calculated through a basic situation recognition unit constituting a multi-thread-based image analysis system according to the present invention.
4 is a view exemplarily showing information analyzed through a specific situation event processing module constituting a multi-thread-based image analysis system according to the present invention.

이하, 본 발명에 따른 일반상황 이벤트 감시모듈과 특정상황 이벤트 처리모듈을 분리하여 실시간성을 향상시킨 멀티쓰레드 기반의 영상분석시스템에 대한 구체적인 기술 내용을 도면과 함께 살펴보도록 한다.Hereinafter, the detailed description of the multi-thread-based image analysis system in which real-time performance is improved by separating the general situation event monitoring module and the specific situation event processing module according to the present invention will be described with drawings.

도 1에 도시된 바와 같이,As shown in Figure 1,

본 발명에 따른 멀티쓰레드 기반의 영상분석시스템(1)은 일반상황 이벤트 감시모듈(10)에 포함되어 있는 다수의 단위 채널 중 분석 요청이 있는 채널에 대해서만 특정상황 이벤트 처리모듈(20)에서 영상 분석을 수행하고, 그 결과를 표출, 저장 및 전송함으로써, 종래 방식과 비교하여 영상을 분석처리하는데 있어 연산량을 대폭 줄여줄 수 있으며, 이로 인해 영상분석에 대한 실시간성을 향상시키는 것에 기술적 특징이 있다.The multi-thread-based video analysis system 1 according to the present invention analyzes the video in the specific situation event processing module 20 only for a channel for which an analysis request is made among a plurality of unit channels included in the general situation event monitoring module 10 , and displaying, storing, and transmitting the results, it is possible to significantly reduce the amount of computation in analyzing and processing an image compared to the conventional method, thereby improving the real-time performance of image analysis.

상기 멀티쓰레드 기반의 영상분석시스템(1)은The multi-thread-based image analysis system (1) is

도 1에 도시된 바와 같이,As shown in Figure 1,

특정영역에 설치되는 CCTV모듈로부터 전송된 영상데이터를 수신하고, 수신한 영상데이터를 기초정보산출부로 전달하는 영상수신부(11)와,An image receiving unit 11 that receives the image data transmitted from the CCTV module installed in a specific area and transmits the received image data to the basic information calculating unit;

상기 영상데이터를 기반으로 객체 검출, 객체 이동 및 관심 영역에 대한 객체의 상대적인 위치에 대한 기초정보를 산출하고, 산출된 정보를 기초상황인지부로 전달하는 기초정보산출부(12)와,A basic information calculation unit 12 for calculating basic information on object detection, object movement, and relative position of an object with respect to a region of interest based on the image data, and transmitting the calculated information to a basic situation recognition unit;

상기 기초정보산출부(12)로부터 전달받은 기초정보를 기반으로 하여 차량 교통량, 보행자 통행량, 위험지역 침입, 추돌사고 발생 및 배회 이벤트를 검지한 후 이를 처리하는 기초상황인지부(13)를 포함하는 단위 채널을 다수로 포함하는 일반상황 이벤트 감시모듈(10);On the basis of the basic information received from the basic information calculation unit 12, it detects vehicle traffic, pedestrian traffic, intrusion into dangerous areas, collision accidents, and wandering events, and then processes them. a general situation event monitoring module 10 including a plurality of unit channels;

상기 일반상황 이벤트 감시모듈(10)을 구성하는 다수의 단위 채널 중 분석 요청이 있는 채널에 대해서만 영상분석을 수행하여 분석 결과를 표출, 저장 및 전송하는 특정상황 이벤트 처리모듈(20);를 포함한다.It includes; a specific situation event processing module 20 for displaying, storing and transmitting the analysis result by performing image analysis only on a channel for which an analysis request is made among a plurality of unit channels constituting the general situation event monitoring module 10; .

상기한 바와 같이, 상기 멀티쓰레드 기반의 영상분석시스템(1)의 기술적 특징은 일반적인 이벤트를 처리하는 일반상황 이벤트 감시모듈(10)과 특정상황을 처리하는 특정상황 이벤트 처리모듈(20)을 분리하여, 상기 일반상황 이벤트 감시모듈(10)에 포함되어 있는 다수의 채널 중 분석 요청이 있는 이벤트에 대해서만 분석을 처리함으로써 실시간성을 향상시킨다는 것에 있다.As described above, the technical characteristics of the multi-thread-based image analysis system 1 is to separate the general situation event monitoring module 10 for processing general events and the specific situation event processing module 20 for processing specific situations, , to improve real-time performance by processing analysis only for events for which analysis is requested among a plurality of channels included in the general situation event monitoring module 10 .

즉, 도 1에 도시된 바와 같이, 일례로서 제시하고 있는 채널 1(Ch1)에서부터 채널 21(Ch21)까지의 모든 채널에 대한 영상분석을 수행하는 것이 아니라, 상기 여러 단위 채널 중에서 분석 요청이 있는 채널, 예를 들어 ch 1에 대해서만 특수상황 이벤트 처리모듈(20)을 통해 영상분석을 수행한다.That is, as shown in FIG. 1 , instead of performing image analysis on all channels from channel 1 (Ch1) to channel 21 (Ch21), which is presented as an example, a channel for which analysis is requested among the multiple unit channels , for example, image analysis is performed through the special situation event processing module 20 only for ch 1.

이하, 일반상황 이벤트 감시모듈(10)을 구성하는 영상수신부(11), 기초정보산출부(12), 기초상황인지부(13)에 대한 기술 내용과,Hereinafter, the description of the image receiving unit 11, the basic information calculating unit 12, and the basic situation recognition unit 13 constituting the general situation event monitoring module 10,

특정상황 이벤트 처리모듈(20)에 대한 기술 내용을 순차적으로 살펴보도록 한다.Let's take a look at the description of the specific situation event processing module 20 sequentially.

상기 일반상황 이벤트 감시모듈(10)은 도 1에 도시된 바와 같이, 다수의 단위 채널을 포함하며, 상기 각 단위 채널들은 특정영역 마다 설치되는 것으로서, 영상수신부(11), 기초정보산출부(12), 기초상황인지부(13)를 포함한다.As shown in FIG. 1, the general situation event monitoring module 10 includes a plurality of unit channels, and each unit channel is installed for each specific area, and an image receiving unit 11, basic information calculating unit 12 ), including a basic situation recognition unit (13).

상기 영상수신부(11)는 특정영역에 설치되는 CCTV모듈로부터 전송된 영상데이터를 수신하고, 수신한 영상데이터를 기초정보산출부(12)로 전달하는 역할을 한다.The image receiving unit 11 receives the image data transmitted from the CCTV module installed in a specific area, and serves to transmit the received image data to the basic information calculation unit (12).

상기 기초정보산출부(12)는 상기 영상수신부(11)를 통해 제공받은 영상데이터를 기반으로 객체 검출, 객체 이동 및 관심 영역에 대한 객체의 상대적인 위치에 대한 기초정보를 산출하고, 산출된 정보를 기초상황인지부로 전달하는 역할을 하는 것으로서,The basic information calculating unit 12 calculates basic information on object detection, object movement, and the relative position of the object with respect to the region of interest based on the image data provided through the image receiving unit 11, and uses the calculated information. As the role of transmitting to the basic situation awareness department,

도 2에 도시된 바와 같이, 속도, 실제 거리를 포함하는 정보를 분석하기 위해 3차원 세계와 2차원 이미지 좌표계의 변환 관계를 산출하는 카메라 캘리브레이션부(121)와, 엔드투엔드(End-to-End) 신경망을 이용한 입력 영상 전체에 대한 객체의 검출 및 분류하는 객체 검출 및 분류부(122)와, 검출 객체의 개별 이동 경로를 산출하는 이동 객체 개별 추적부(123)를 포함한다.As shown in FIG. 2 , a camera calibration unit 121 that calculates a transformation relationship between the three-dimensional world and the two-dimensional image coordinate system in order to analyze information including speed and actual distance, and an end-to-end End) It includes an object detection and classification unit 122 that detects and classifies the entire input image using a neural network, and an individual moving object tracker 123 that calculates an individual movement path of the detected object.

상기 카메라 캘리브레이션부(121)는 차량의 속도, 실제 거리 등의 정보를 분석하기 위해, 3차원 세계와 2차원 이미지 좌표계의 변환 관계를 산출한다.The camera calibrator 121 calculates a transformation relationship between the 3D world and the 2D image coordinate system in order to analyze information such as vehicle speed and actual distance.

카메라를 이용하여 촬영을 하게 되면 3차원의 공간 정보가 이미지화 되어 2차원의 정보로 변하게 된다. 이때, 3차원 공간상에서의 피사체들이 이미지 상에서 어디에 맺히는지는 촬영을 할 당시의 카메라의 공간에서의 위치와 방향에 의해 결정된다.When shooting is performed using a camera, three-dimensional spatial information is imaged and converted into two-dimensional information. In this case, where the subjects in the three-dimensional space are formed on the image is determined by the position and direction of the camera in space at the time of photographing.

실제 촬영된 이미지는 카메라에 설치된 렌즈, 렌즈와 카메라 센서와의 거리, 각도 등 카메라 내부 요인들에 크게 영향을 받는다.The actual captured image is greatly affected by factors inside the camera, such as the lens installed in the camera, the distance between the lens and the camera sensor, and the angle.

따라서 3차원의 공간 정보와 이미지 상에서의 2차원 정보를 변화하기 위해서는 이러한 요인들을 계산할 수 있어야 한다. 이러한 카메라의 내부, 외부 파라메터를 구하는 과정을 카메라 캘리브레이션이라 한다. Therefore, in order to change the three-dimensional spatial information and the two-dimensional information on the image, it is necessary to be able to calculate these factors. The process of obtaining the internal and external parameters of the camera is called camera calibration.

상기 카메라 캘리브레이션은 3차원의 공간좌표와 2차원의 이미지 좌표의 변환관계를 구하는 과정이라 할 수 있다.The camera calibration may be referred to as a process of finding a transformation relationship between three-dimensional spatial coordinates and two-dimensional image coordinates.

카메라 캘리브레이션은 3차원의 월드 좌표와 2차원 영상 좌표의 변환관계를 구하는 과정으로, 아래의 수식 (1)에서 카메라의 내부 파라메터 행렬과 외부 파라메터 행렬을 이용하여 3차원 점(X,Y,Z)가 2차원 점(x,y)로 변환되는 것을 확인할 수 있다.Camera calibration is a process of finding the transformation relationship between three-dimensional world coordinates and two-dimensional image coordinates. In Equation (1) below, the three-dimensional point (X, Y, Z) It can be seen that is transformed into a two-dimensional point (x,y).

Figure pat00001
Figure pat00001

상기 기초상황인지부(13)는 상기 기초정보산출부(12)를 통해 제공되는 기초정보를 바탕으로 통행량 산출, 이동 객체 속도 산출, 배회/침입 검지, 돌발 상황 검지 또는 불법주정차 금지 중 선택되는 어느 1종 또는 2종 이상의 정보를 산출한다.The basic situation recognition unit 13 is provided through the basic information calculation unit 12 Based on the basic information, any one or two or more types of information selected from traffic volume calculation, moving object speed calculation, wandering/intrusion detection, unexpected situation detection, or illegal parking prohibition are calculated.

도 3에는 상기 기초상황인지부(13)를 통해 산출 가능한 정보들을 예시적으로 제시하고 있다.3 exemplarily shows information that can be calculated through the basic situation recognition unit 13 .

이와 같이, 영상수신부(11), 기초정보산출부(12) 및 기초상황인지부(13)는 단위 채널을 구성하고, 이와 같은 단위 채널의 다수를 이룸으로써 일반상황 이벤트 감시모듈(10)을 구성하게 된다.In this way, the image receiving unit 11, the basic information calculating unit 12, and the basic situation recognition unit 13 constitute a unit channel, and by forming a plurality of such unit channels, the general situation event monitoring module 10 is configured. will do

앞서 살펴본 바와 같이,As we saw earlier,

본 발명은 이와 같은 일반상황 이벤트 감시모듈(10)의 각 단위 채널 중에서 분석이 필요한 부분을 모듈화하여 특정상황 이벤트 처리모듈(20)로 요청이 있을 때마다, 상기 특정상황 이벤트 처리모듈(20)에서는 번호인식, 행동인식, 색상 크기 등의 특징분석 및 기타 객체 추가 검출에 대한 결과값을 실행하고 반환하게 된다.The present invention modularizes the part that needs analysis among the respective unit channels of the general situation event monitoring module 10, and whenever there is a request to the specific situation event processing module 20, the The specific situation event processing module 20 executes and returns a result value for feature analysis such as number recognition, behavior recognition, color size, and other object addition detection.

이와 같이, 본 발명에서는 일반상황 이벤트 감시모듈(10)에서 분석이 필요한 부분만을 모듈화하여 특정상황 이벤트 처리모듈(20)을 통한 분석을 요청함으로써, 종래 하나의 영상에 여러가지 분석 알고리즘을 동시에 적용하고 있어 높은 연산량을 필요로 함으로써 실시간성이 떨어지는 문제를 해결하였다.As described above, in the present invention, by modularizing only the parts that need analysis in the general situation event monitoring module 10 and requesting analysis through the specific situation event processing module 20, various analysis algorithms are simultaneously applied to a single image. The problem of poor real-time performance was solved by requiring a high amount of computation.

본 발명에 따른 멀티쓰레드 기반 영상 분석 알고리즘은 검출/추적 및 룰 기반의 영상 감시 모듈과 번호판 인식, 행동 인식 등의 특정 상황을 감지할 수 있는 이벤트 분석 모듈을 구분하도록 하고,The multi-thread-based video analysis algorithm according to the present invention distinguishes a detection/tracking and rule-based video monitoring module from an event analysis module capable of detecting specific situations such as license plate recognition and behavior recognition,

복수의 감시 모듈은 카메라 각각에 대한 딥러닝 기반의 객체 검출 및 추적 작업을 수행하며 객체의 검출 및 추적, 관심 영역과 상대적인 위치의 해당 기본 정보를 바탕으로 검지할 수 있는 차량 교통량, 보행자 통행량, 위험지역 침입, 추돌사고 발생 및 배회 이벤트 검지 등의 이벤트를 처리하며,A plurality of monitoring modules perform deep learning-based object detection and tracking for each camera, and vehicle traffic, pedestrian traffic, and risk that can be detected based on the basic information of object detection and tracking, area of interest and relative location It handles events such as local intrusion, collision accident, and wandering event detection,

특수 상황 인지를 위한 모듈은 각각의 채널마다 적용되는 것이 아니라, 각각의 카메라 채널로부터 요청이 있을때마다 분석을 수행, 결과를 반환하는 역할을 수행할 수 있어 산업상 이용가능성이 크다.The module for special situation recognition is not applied to each channel, but it can perform analysis whenever there is a request from each camera channel and return the result, so it has great industrial applicability.

Claims (4)

특정영역에 설치되는 CCTV모듈로부터 전송된 영상데이터를 수신하고, 수신한 영상데이터를 기초정보산출부로 전달하는 영상수신부(11)와,
상기 영상데이터를 기반으로 객체 검출, 객체 이동 및 관심 영역에 대한 객체의 상대적인 위치에 대한 기초정보를 산출하고, 산출된 정보를 기초상황인지부로 전달하는 기초정보산출부(12)와,
상기 기초정보산출부(12)로부터 전달받은 기초정보를 기반으로 하여 차량 교통량, 보행자 통행량, 위험지역 침입, 추돌사고 발생 및 배회 이벤트를 검지한 후 이를 처리하는 기초상황인지부(13)를 포함하는 단위 채널을 다수로 포함하는 일반상황 이벤트 감시모듈(10);

상기 일반상황 이벤트 감시모듈(10)을 구성하는 다수의 단위 채널 중 분석 요청이 있는 채널에 대해서만 영상분석을 수행하여 분석 결과를 표출, 저장 및 전송하는 특정상황 이벤트 처리모듈(20);을 포함하는 것을 특징으로 하는 일반상황 이벤트 감시모듈과 특정상황 이벤트 처리모듈을 분리하여 실시간성을 향상시킨 멀티쓰레드 기반의 영상분석시스템.
An image receiving unit 11 that receives image data transmitted from a CCTV module installed in a specific area and transmits the received image data to a basic information calculation unit;
A basic information calculation unit 12 for calculating basic information on object detection, object movement, and relative position of an object with respect to a region of interest based on the image data, and transmitting the calculated information to a basic situation recognition unit;
On the basis of the basic information received from the basic information calculation unit 12, it detects vehicle traffic, pedestrian traffic, intrusion into dangerous areas, collision accidents, and wandering events, and then processes them. a general situation event monitoring module 10 including a plurality of unit channels;

Containing; A multi-thread-based video analysis system with improved real-time performance by separating the general situation event monitoring module and the specific situation event processing module, characterized in that.
 청구항 1에 있어서,
기초정보산출부(12)는 속도, 실제 거리를 포함하는 정보를 분석하기 위해 3차원 세계와 2차원 이미지 좌표계의 변환 관계를 산출하는 카메라 캘리브레이션(121)과,
엔드투엔드(End-to-End) 신경망을 이용한 입력 영상 전체에 대한 객체의 검출 및 분류하는 객체 검출 및 분류부(122)와,
검출 객체의 개별 이동 경로를 산출하는 이동 객체 개별 추적부(123)를 포함하는 것을 특징으로 하는 일반상황 이벤트 감시모듈과 특정상황 이벤트 처리모듈을 분리하여 실시간성을 향상시킨 멀티쓰레드 기반의 영상분석시스템.
The method according to claim 1,
The basic information calculation unit 12 includes a camera calibration 121 that calculates a transformation relationship between the three-dimensional world and the two-dimensional image coordinate system in order to analyze information including speed and actual distance;
An object detection and classification unit 122 for detecting and classifying an object for the entire input image using an end-to-end neural network;
A multi-thread-based image analysis system that improves real-time by separating a general situation event monitoring module and a specific situation event processing module, characterized in that it includes a moving object individual tracking unit 123 that calculates an individual movement path of a detected object .
 청구항 1에 있어서,
기초상황인지부(13)는 기초정보를 바탕으로 통행량 산출, 이동 객체 속도 산출, 배회/침입 검지, 돌발 상황 검지 또는 불법주정차 금지 중 선택되는 어느 1종 또는 2종 이상의 정보를 산출하는 것을 특징으로 하는 일반상황 이벤트 감시모듈과 특정상황 이벤트 처리모듈을 분리하여 실시간성을 향상시킨 멀티쓰레드 기반의 영상분석시스템.
The method according to claim 1,
The basic situation recognition unit 13 calculates any one or two or more types of information selected from traffic volume calculation, moving object speed calculation, wandering/intrusion detection, sudden situation detection, or illegal parking prohibition based on the basic information. A multi-thread-based video analysis system that improves real-time performance by separating the general situation event monitoring module and the specific situation event processing module.
 청구항 1에 있어서,
특정상황 이벤트 처리모듈(20)은 기초 정보 이외에 추가적으로 분석이 필요한 부분을 모듈화하여 요청이 있을 때마다 결과값을 실행하고 반환하는 것으로서,
번호인식, 행동인식, 특징분석 또는 기타 객체 추가 검출 중 어느 1종 또는 2종 이상의 정보를 산출하는 것을 특징으로 하는 일반상황 이벤트 감시모듈과 특정상황 이벤트 처리모듈을 분리하여 실시간성을 향상시킨 멀티쓰레드 기반의 영상분석시스템.
The method according to claim 1,
The specific situation event processing module 20 modularizes the part that requires additional analysis in addition to the basic information to execute and return the result whenever there is a request,
Multi-thread with improved real-time performance by separating the general situation event monitoring module and the specific situation event processing module, which is characterized by calculating any one or more types of information among number recognition, behavior recognition, feature analysis, or additional object detection based image analysis system.
KR1020200160124A 2020-11-25 2020-11-25 Multithreaded-based imaging analysis system that improves real-time performance by separating the general situation event monitoring module from the specific situation event processing module KR102551647B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200160124A KR102551647B1 (en) 2020-11-25 2020-11-25 Multithreaded-based imaging analysis system that improves real-time performance by separating the general situation event monitoring module from the specific situation event processing module

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200160124A KR102551647B1 (en) 2020-11-25 2020-11-25 Multithreaded-based imaging analysis system that improves real-time performance by separating the general situation event monitoring module from the specific situation event processing module

Publications (2)

Publication Number Publication Date
KR20220072477A true KR20220072477A (en) 2022-06-02
KR102551647B1 KR102551647B1 (en) 2023-07-05

Family

ID=81985271

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200160124A KR102551647B1 (en) 2020-11-25 2020-11-25 Multithreaded-based imaging analysis system that improves real-time performance by separating the general situation event monitoring module from the specific situation event processing module

Country Status (1)

Country Link
KR (1) KR102551647B1 (en)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101062225B1 (en) 2009-09-30 2011-09-06 아주대학교산학협력단 Intelligent video retrieval method and system using surveillance camera
KR101423873B1 (en) * 2013-03-26 2014-08-06 가천대학교 산학협력단 Integrated management system with image monitoring system and method for detecting viloent events using the smae
KR20180076441A (en) * 2016-12-28 2018-07-06 (주)에이다스원 Method and apparatus for detecting object using adaptive roi and classifier
KR101963308B1 (en) 2018-11-08 2019-03-28 한국건설기술연구원 System for monitoring moving object and incident in image using deep learning under adverse environments and method thereof
KR102011402B1 (en) * 2018-08-21 2019-08-16 한밭대학교 산학협력단 Intelligent Face Recognition and Tracking System and Method to Distribute GPU Resource using CUDA
KR102077632B1 (en) * 2018-10-10 2020-04-07 (주)비바 Hybrid intellgent monitoring system suing local image analysis and cloud service
KR102104088B1 (en) 2019-11-25 2020-04-23 주식회사 시큐인포 Uwb-based location tracking and ai combined intelligent object tracking video monitoring system
KR20200058260A (en) * 2019-01-18 2020-05-27 주식회사 인텔리빅스 Apparatus for CCTV Video Analytics Based on Object-Image Recognition DCNN and Driving Method Thereof
KR102150703B1 (en) * 2014-08-14 2020-09-01 한화테크윈 주식회사 Intelligent video analysing system and video analysing method therein

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101062225B1 (en) 2009-09-30 2011-09-06 아주대학교산학협력단 Intelligent video retrieval method and system using surveillance camera
KR101423873B1 (en) * 2013-03-26 2014-08-06 가천대학교 산학협력단 Integrated management system with image monitoring system and method for detecting viloent events using the smae
KR102150703B1 (en) * 2014-08-14 2020-09-01 한화테크윈 주식회사 Intelligent video analysing system and video analysing method therein
KR20180076441A (en) * 2016-12-28 2018-07-06 (주)에이다스원 Method and apparatus for detecting object using adaptive roi and classifier
KR102011402B1 (en) * 2018-08-21 2019-08-16 한밭대학교 산학협력단 Intelligent Face Recognition and Tracking System and Method to Distribute GPU Resource using CUDA
KR102077632B1 (en) * 2018-10-10 2020-04-07 (주)비바 Hybrid intellgent monitoring system suing local image analysis and cloud service
KR101963308B1 (en) 2018-11-08 2019-03-28 한국건설기술연구원 System for monitoring moving object and incident in image using deep learning under adverse environments and method thereof
KR20200058260A (en) * 2019-01-18 2020-05-27 주식회사 인텔리빅스 Apparatus for CCTV Video Analytics Based on Object-Image Recognition DCNN and Driving Method Thereof
KR102104088B1 (en) 2019-11-25 2020-04-23 주식회사 시큐인포 Uwb-based location tracking and ai combined intelligent object tracking video monitoring system

Also Published As

Publication number Publication date
KR102551647B1 (en) 2023-07-05

Similar Documents

Publication Publication Date Title
KR101647370B1 (en) road traffic information management system for g using camera and radar
JP5297078B2 (en) Method for detecting moving object in blind spot of vehicle, and blind spot detection device
Bila et al. Vehicles of the future: A survey of research on safety issues
EP3416134B1 (en) Surrounding environment recognition device for moving body
US20180150704A1 (en) Method of detecting pedestrian and vehicle based on convolutional neural network by using stereo camera
EP0567059B1 (en) Object recognition system using image processing
Gandhi et al. Pedestrian protection systems: Issues, survey, and challenges
CN102792314B (en) Cross traffic collision alert system
JP6453490B2 (en) Method and apparatus for recognizing and evaluating road surface reflections
KR101935399B1 (en) Wide Area Multi-Object Monitoring System Based on Deep Neural Network Algorithm
KR101999993B1 (en) Automatic traffic enforcement system using radar and camera
KR102031503B1 (en) Method and system for detecting multi-object
JP2003067752A (en) Vehicle periphery monitoring device
JP2018516799A5 (en)
KR101492473B1 (en) Context-aware cctv intergrated managment system with user-based
WO2009101660A1 (en) Vehicle periphery monitoring device, vehicle, and vehicle periphery monitoring program
Rajendar et al. Prediction of stopping distance for autonomous emergency braking using stereo camera pedestrian detection
KR20180047149A (en) Apparatus and method for risk alarming of collision
US7885430B2 (en) Automotive environment monitoring device, vehicle with the automotive environment monitoring device, and automotive environment monitoring program
JP3562278B2 (en) Environment recognition device
Shirpour et al. A probabilistic model for visual driver gaze approximation from head pose estimation
US9041778B2 (en) Image processing device and method of processing image
KR20220072477A (en) Multithreaded-based imaging analysis system that improves real-time performance by separating the general situation event monitoring module from the specific situation event processing module
CN110781730A (en) Intelligent driving sensing method and sensing device
KR101669885B1 (en) method of detecting pedestrian collision and IoT apparatus thereof

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)