KR102367584B1 - Automatic video surveillance system using skeleton video analysis technique - Google Patents

Automatic video surveillance system using skeleton video analysis technique Download PDF

Info

Publication number
KR102367584B1
KR102367584B1 KR1020210150942A KR20210150942A KR102367584B1 KR 102367584 B1 KR102367584 B1 KR 102367584B1 KR 1020210150942 A KR1020210150942 A KR 1020210150942A KR 20210150942 A KR20210150942 A KR 20210150942A KR 102367584 B1 KR102367584 B1 KR 102367584B1
Authority
KR
South Korea
Prior art keywords
skeleton
frame information
situation
data
information
Prior art date
Application number
KR1020210150942A
Other languages
Korean (ko)
Inventor
이석원
전원영
Original Assignee
주식회사 티지
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 티지 filed Critical 주식회사 티지
Priority to KR1020210150942A priority Critical patent/KR102367584B1/en
Application granted granted Critical
Publication of KR102367584B1 publication Critical patent/KR102367584B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T5/002—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B7/00—Signalling systems according to more than one of groups G08B3/00 - G08B6/00; Personal calling systems according to more than one of groups G08B3/00 - G08B6/00
    • G08B7/06—Signalling systems according to more than one of groups G08B3/00 - G08B6/00; Personal calling systems according to more than one of groups G08B3/00 - G08B6/00 using electric transmission, e.g. involving audible and visible signalling through the use of sound and light sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G06T2207/20044—Skeletonization; Medial axis transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Alarm Systems (AREA)

Abstract

The present invention relates to an automatic video surveillance system using a skeleton video analysis technique, which comprises: a video information provision unit (100) connected to a monitoring surveillance system via a network, collecting video information being filmed, and generating a skeleton frame information based on the collected video information by the skeleton video analysis technique; a situation determination server (200) connected to the video information provision unit (100) via a network, receiving the skeleton frame information and removing noise from the same to generate normal frame information with noise removed, and comparing the normal frame information with data for each crisis situation, and determining whether the relevant normal frame information is a crisis situation or not; and a data management server storing the data of each non-crisis situation and the data for each crisis situation, and updating the stored data for each situation or newly generating data. The automatic video surveillance system using a skeleton video analysis technique is capable of providing reliability on the determination of crisis situations.

Description

스켈레톤 영상 분석 기법을 이용한 자동 영상 감시 시스템{Automatic video surveillance system using skeleton video analysis technique}Automatic video surveillance system using skeleton video analysis technique

본 발명은 스켈레톤 영상 분석 기법을 이용한 자동 영상 감시 시스템에 관한 것으로, 더욱 상세하게는 스켈레톤 영상 분석 기법을 통해 수집된 CCTV 영상 정보를 분석하여 스켈레톤 프레임 정보를 생성하고, 생성된 스켈레톤 프레임 정보들 중 정상 영상정보만을 추출하여 해당 정상 영상정보에 대한 위기 상황 여부를 자동으로 분석 및 판단함으로써, 스켈레톤 프레임 정보에 대한 정확도를 향상시켜 위기 상황 판단에 대한 신뢰성을 제공할 수 있는 스켈레톤 영상 분석 기법을 이용한 자동 영상 감시 시스템에 관한 것이다.The present invention relates to an automatic video surveillance system using a skeleton image analysis technique, and more particularly, to analyze CCTV image information collected through a skeleton image analysis technique to generate skeleton frame information, and to generate skeleton frame information from among the generated skeleton frame information. Automatic image using skeleton image analysis technique that can provide reliability for crisis judgment by improving the accuracy of skeleton frame information by extracting only image information and automatically analyzing and judging whether there is a crisis situation for the corresponding normal image information It is about the surveillance system.

각종 범죄와 도난 사고 등의 발생으로 인해 CCTV(Closed-Circuit Television) 시스템의 설치가 늘고 있지만 이러한 기존 CCTV 시스템은 범죄나 도난, 침입이 발생하면 주로 사후적인 수단으로 활용되고 있을 뿐이다.Although CCTV (Closed-Circuit Television) systems are increasingly installed due to the occurrence of various crimes and theft accidents, these existing CCTV systems are mainly used as a post-mortem measure when a crime, theft, or intrusion occurs.

즉, 도난/칩입 등이 발생한 순간에는 CCTV 시스템만으로 이에 즉각 대처하는 것이 미흡한 실정이다.That is, it is insufficient to immediately respond to the theft/intrusion with the CCTV system alone at the moment of occurrence.

물론, 24시간 모니터 요원이 주요 보안 시설 등에 대해 감시를 할 수 있으나, 수많은 CCTV 카메라를 모두 모니터링한다는 것은 불가능에 가깝고, CCTV 카메라를 통해 수집된 이미지 중 칼, 총과 같은 이미지의 존재 여부에 의해서만 위험 상황을 판단하기 때문에 그 정확성이 떨어질 뿐만 아니라, 실시간 모니터링에 대한 보장을 확답하기 어려운 문제점이 있다.Of course, 24-hour monitor agents can monitor major security facilities, etc., but monitoring all the numerous CCTV cameras is near impossible, and among the images collected through CCTV cameras, there is only a risk due to the presence of images such as knives and guns. Since the situation is judged, the accuracy is not only lowered, but there is a problem in that it is difficult to confirm the guarantee for real-time monitoring.

이에, 대한민국 등록특허 제10-2083385호에는, 정해진 영역에 대한 영상 데이터를 획득하는 단계; 영상 데이터를 분해하여 입력시키는 단계; 분해된 영상 데이터로부터 인지 대상물을 인지하고, 인지 대상물의 동작 상태를 확인하는 단계; 인지 대상물에 대한 스켈레톤 인지를 통하여 동작 상태를 인지하는 단계; 특정 대상물 및 동작 상태에 대한 정확도를 산출하는 단계; 및 산출된 정확도에 따른 위험 상황을 판단하는 단계를 포함하고 인지 대상물은 사람이 되고, 인지 대상물의 인지는 신체 부위별로 분할되어 인지되며, 정해진 영역에 대한 영상 데이터를 획득하는 단계는 경계 영역을 설정하면서 설정된 경계 영역과 인지 대상물의 상관성을 설정하는 단계를 포함하는 것을 특징으로 하는 영상 추출 데이터의 동작 인식에 기초하는 위험 상황 판단 방법이 게재된 바 있다. Accordingly, Korean Patent Registration No. 10-2083385 discloses the steps of: acquiring image data for a predetermined area; decomposing and inputting image data; Recognizing a recognition object from the decomposed image data, and confirming an operation state of the recognition object; Recognizing the operation state through the skeleton recognition of the recognition object; calculating accuracy for a specific object and operating state; and determining a dangerous situation according to the calculated accuracy, wherein the recognition object becomes a person, the recognition of the recognition object is divided and recognized for each body part, and the step of acquiring image data for a predetermined area sets a boundary area A method for judging a dangerous situation based on motion recognition of extracted image data, characterized in that it includes the step of setting a correlation between a set boundary region and a recognition target while doing so, has been published.

그러나, 전술한 선행기술에 의하면, 추출된 영상 데이터에 인공지능 기술을 적용하여 대상물의 상태를 인지하여 필요한 조치가 취해질 수 있도록 구성되는 것이나, 실시간 전달되는 영상 데이터가 폭주하기 때문에 이를 관리하고, 분석하기 위한 서버 등의 장치가 비대해질 수밖에 없고, 이로 인한 유지 관리에 대한 비용이 막대하게 발생할 수밖에 없는 문제점이 있다. However, according to the prior art described above, it is configured to recognize the state of an object by applying artificial intelligence technology to the extracted image data and take necessary measures, but manages and analyzes the image data transmitted in real time because it is runaway There is a problem in that devices such as servers are inevitably enlarged for this purpose, and the cost for maintenance thereof is inevitably increased.

또한, 정해진 영역에 대해서만 인지가 이루어지기 때문에 제한된 범위의 해석으로 인해 정확도가 떨어질 수밖에 없고, 위험 상황을 판단하기 위해 사람 뿐만 아니라, 주변 상황을 파악할 수 있는 경계 영역에 대한 정보들로 인해 인지 대상물의 사생활 침해에 대한 보안 문제가 발생하는 등의 다양한 문제점들이 발생하였다.In addition, since recognition is made only for a certain area, the accuracy is inevitably lowered due to the limited range of interpretation. Various problems have occurred, such as the occurrence of security problems against invasion of privacy.

여기서 전술한 배경기술 또는 종래기술은 본 발명의 기술적 의의를 이해하는데 도움이 되기 위한 것일 뿐, 본 발명의 출원 전에 이 발명이 속하는 기술분야에서 널리 알려진 기술을 의미하는 것은 아니다.Here, the above-mentioned background or prior art is only for helping to understand the technical meaning of the present invention, and does not mean a technique widely known in the technical field to which the present invention belongs before the filing of the present invention.

대한민국 등록특허 제10-2083385호Republic of Korea Patent Registration No. 10-2083385

이와 같은 문제점을 해결하기 위하여 본 발명은 전술한 배경기술에 의해서 안출된 것으로, 스켈레톤 영상 분석 기법을 통해 수집된 CCTV 영상 정보를 분석하여 스켈레톤 프레임 정보를 생성하고, 생성된 스켈레톤 프레임 정보들 중 정상 영상정보만을 추출하여 해당 정상 영상정보에 대한 위기 상황 여부를 자동으로 분석 및 판단함으로써, 스켈레톤 프레임 정보에 대한 정확도를 향상시켜 위기 상황 판단에 대한 신뢰성을 제공할 수 있는 스켈레톤 영상 분석 기법을 이용한 자동 영상 감시 시스템을 제공하는데 그 목적이 있다.In order to solve this problem, the present invention has been devised by the above-described background technology, and generates skeleton frame information by analyzing CCTV image information collected through a skeleton image analysis technique, and a normal image among the generated skeleton frame information. By extracting only information and automatically analyzing and judging whether the normal image information is in a crisis situation, the accuracy of the skeleton frame information is improved, and automatic video monitoring using a skeleton image analysis technique that can provide reliability for the judgment of a crisis situation The purpose is to provide a system.

또한, 본 발명은 위기 상황으로 활용된 스켈레톤 프레임 정보를 기준 프레임 정보와 함께 업데이트가 이루어지도록 함으로써, 다양한 위기 상황에 대한 판별 능력을 극대화시킬 수 있는 스켈레톤 영상 분석 기법을 이용한 자동 영상 감시 시스템을 제공하는데 그 목적이 있다.In addition, the present invention provides an automatic video monitoring system using a skeleton image analysis technique that can maximize the ability to determine various crisis situations by updating the skeleton frame information used in the crisis situation together with the reference frame information. There is a purpose.

또한, 본 발명은 스켈레톤 영상 분석 기법을 활용하여 현재 상황에 대한 상태를 자동으로 실시간 파악이 가능함에 따라 수집되는 CCTV의 영상정보의 인식자(사람)의 사생활에 대한 유출이 발생하는 것을 방지할 수 있음은 물론, 최소한의 데이터 량으로도 현재 상황에 대한 신속간 감시가 가능한 스켈레톤 영상 분석 기법을 이용한 자동 영상 감시 시스템을 제공하는데 그 목적이 있다.In addition, the present invention can prevent the leakage of the personal life of the recognizer (person) of the CCTV image information that is collected as it is possible to automatically grasp the status of the current situation in real time by using the skeleton image analysis technique. Of course, the purpose is to provide an automatic video surveillance system using a skeleton image analysis technique that can quickly monitor the current situation even with a minimum amount of data.

또한, 본 발명은 노이즈가 제거된 정상 영상 정보를 통해 절도나 폭행과 같은 범죄 상황, 인식자의 신체 이상 등의 응급 상황 뿐만 아니라, 아동학대 현장이나 산업 현장에서의 위기 상황 등 다양한 상황들에 대한 딥 러닝 학습이 이루어지도록 함으로써, 보다 다양한 위기 상황에 대한 신속하고 정확한 감시가 이루어질 수 있도록 하는 스켈레톤 영상 분석 기법을 이용한 자동 영상 감시 시스템을 제공하는데 그 목적이 있다.In addition, the present invention provides a deep dive for various situations such as a crime situation such as theft or assault, an emergency situation such as a body abnormality of the recognizer, as well as a crisis situation at a child abuse site or an industrial site through normal image information from which noise has been removed An object of the present invention is to provide an automatic video surveillance system using a skeleton image analysis technique that enables quick and accurate monitoring of more diverse crisis situations by allowing learning to be performed.

또한, 본 발명은 스켈레톤 영상 분석 기법을 통해 수집된 CCTV 영상 정보를 분석하여 스켈레톤 프레임 정보의 생성시 발생하는 영상 정보를 이루는 영상 프레임들 중 일부의 손실이나, 누락, 또는 일부 프레임의 위치 반전 등의 노이즈로 인하여 위기 상황에 대한 판별 정확도가 저하되는 것을 개선할 수 있는 스켈레톤 영상 분석 기법을 이용한 자동 영상 감시 시스템을 제공하는데 그 목적이 있다.In addition, the present invention analyzes the CCTV image information collected through the skeleton image analysis technique to analyze the loss or omission of some of the image frames constituting the image information generated when the skeleton frame information is generated, or to reverse the position of some frames, etc. An object of the present invention is to provide an automatic video surveillance system using a skeleton image analysis technique that can improve the deterioration of the identification accuracy for a crisis situation due to noise.

다만, 본 발명의 목적은 이에만 제한되는 것은 아니며, 명시적으로 언급하지 않더라도 과제의 해결수단이나 실시 형태로부터 파악될 수 있는 목적이나 효과도 이에 포함됨은 물론이다. However, the object of the present invention is not limited thereto, and even if not explicitly mentioned, the object or effect that can be grasped from the solution or embodiment of the problem is also included therein.

이와 같은 과제를 달성하기 위한 본 발명의 일 실시예에 따르면, 모니터링 감시 시스템과 네트워크로 연결되어 촬영중인 영상 정보를 수집하고, 수집한 영상 정보를 스켈레톤 영상 분석 기법에 의해 스켈레톤 프레임 정보를 생성하는 영상 정보 제공부(100); 상기 영상 정보 제공부(100)와 네트워크로 연결되며, 상기 스켈레톤 프레임 정보를 수신받아 노이즈를 제거하고, 노이즈가 제거된 정상 프레임 정보를 생성하며, 상기 정상 프레임 정보와 위기 상황별 데이터를 비교하여 해당 정상 프레임 정보가 위기 상황인지 여부를 판별하는 상황 판단 서버(200); 및 비위기 상황별 데이터와 위기 상황별 데이터가 저장되고, 저장된 상황별 데이터들의 업데이트 및 신규 생성이 이루어지도록 구성되는 데이터 관리 서버;를 포함하는 것을 특징으로 한다.According to an embodiment of the present invention for achieving the above object, an image is connected to a monitoring and surveillance system through a network to collect image information being photographed, and to generate skeleton frame information using the collected image information by a skeleton image analysis technique information providing unit 100; It is connected to the image information providing unit 100 through a network, receives the skeleton frame information, removes noise, generates noise-removed normal frame information, and compares the normal frame information with data for each crisis situation a situation determination server 200 for determining whether the normal frame information is in a crisis situation; and a data management server configured to store data for each non-crisis situation and data for each crisis situation, and to update and newly create the stored data for each situation.

본 발명의 일 실시예에 따르면, 상기 상황 판단 서버(200)는 상기 스켈레톤 프레임 정보를 Intersection Over Union (IOU) 딥러닝 방식을 이용하여 노이즈 프레임의 존재 여부를 분석하고, 해당 스켈레톤 프레임 정보에 노이즈 프레임이 존재하는 경우, 해당 노이즈 프레임이 제거된 정상 프레임 정보를 생성하여 상황 판별부(220)로 전송하는 노이즈 판별부(210); 및 상기 정상 프레임 정보를 제공받으며, 상기 정상 프레임과 상기 위기 상황별 프레임 정보를 비교하여 현재 상황이 위기 상황인지 여부를 판단하고, 판단결과, 상기 정상 프레임 정보가 위기 상황이라 판단되는 경우, 경보음의 송출이 이루어지도록 구성되고, 상기 영상 정보 제공부(100)로 해당 정상 프레임 정보를 전송하여 상기 모니터링 감시 시스템을 통해 출력이 이루어지도록 구성되는 상황 판별부(220)를 포함하는 것을 특징으로 한다.According to an embodiment of the present invention, the situation determination server 200 analyzes the existence of a noise frame using the Intersection Over Union (IOU) deep learning method for the skeleton frame information, and adds a noise frame to the skeleton frame information. a noise determining unit 210 that generates normal frame information from which the corresponding noise frame is removed and transmits the generated normal frame information to the situation determination unit 220; and receiving the normal frame information, comparing the normal frame with the frame information for each crisis situation to determine whether the current situation is a crisis situation, and as a result of the determination, when it is determined that the normal frame information is a crisis situation, an alarm sound It is characterized in that it comprises a situation determination unit 220 configured to transmit the image information, and to transmit the normal frame information to the image information providing unit 100 and output through the monitoring and monitoring system.

본 발명의 일 실시예에 따르면, 상기 노이즈 판별부(210)는 상기 스켈레톤 프레임 정보로부터 기준 스켈레톤 프레임과 다수개의 유효 스켈레톤 프레임을 구분하여 분류하고, 상기 기준 스켈레톤 프레임과 다수개의 유효 스켈레톤 프레임에 각각 인식자를 모두 포함하는 가상의 제1 및 제2사각 프레임을 형성하여, 상기 제1 및 제2사각 프레임의 겹침도에 대한 값을 산출하는 것을 특징으로 한다. According to an embodiment of the present invention, the noise determining unit 210 distinguishes and classifies a reference skeleton frame and a plurality of valid skeleton frames from the skeleton frame information, and recognizes the reference skeleton frame and the plurality of valid skeleton frames, respectively. It is characterized in that by forming virtual first and second rectangular frames including all of the rulers, a value for the degree of overlap of the first and second rectangular frames is calculated.

본 발명의 일 실시예에 따르면, 상기 겹침값이 상기 제1사각 프레임의 전체 면적에 대하여 75% 이상으로 이루어지고, IOU 값이 0.80을 초과하여 형성되는 경우, 해당 유효 스켈레톤 프레임을 정상 프레임 정보로 판단하고, 상기 겹침값이 75% 이하로 이루어지고, IOU 값이 0.80 보다 미만으로 형성되는 경우에는 노이즈 프레임으로 판단하는 것을 특징으로 한다.According to an embodiment of the present invention, when the overlap value is 75% or more with respect to the total area of the first rectangular frame and the IOU value is formed to exceed 0.80, the effective skeleton frame is used as normal frame information. is determined, and when the overlapping value is 75% or less and the IOU value is formed to be less than 0.80, it is characterized in that it is determined as a noise frame.

본 발명의 일 실시예에 따르면, 상기 노이즈 판별부(210)는 상기 스켈레톤 프레임 정보에 상기 노이즈 프레임이 존재하는 경우, 해당 노이즈 프레임은 일반 영상 프레임 정보로 변환하여 영상 정보 제공부(100)로 전송하고, 상기 스켈레톤 프레임 정보에서 상기 노이즈 프레임을 삭제하는 것을 특징으로 한다.According to an embodiment of the present invention, when the noise frame is present in the skeleton frame information, the noise determining unit 210 converts the noise frame into general image frame information and transmits it to the image information providing unit 100 . and deleting the noise frame from the skeleton frame information.

본 발명의 일 실시예에 따르면, 상기 데이터 관리 서버(300)는 상기 비위기 상황별 데이터로, 걷기, 서기, 착석 및 픽업 클래스를 가지는 정상 카테고리를 형성하는 것을 특징으로 한다. According to an embodiment of the present invention, the data management server 300 forms a normal category having walking, standing, sitting and pickup classes as the data for each non-crisis situation.

본 발명의 일 실시예에 따르면, 상기 위기 상황별 데이터로, 동결 및 공격 당하기 클래스를 가지는 방어 카테고리, 손을 흔들기, 기절 클래스를 가지는 응급상황 카테고리, 가방에 물건을 넣기, 주머니에 물건을 넣기 클래스를 가지는 절도 카테고리, 총격, 휘두르기, 찌르기, 질식, 발차기, 펀칭 클래스를 가지는 폭행 카테고리를 포함하는 상황별 카테고리를 형성하며, 각각의 카테고리 및 클래스에 대응하는 스켈레톤 프레임 정보가 저장되도록 구성되는 것을 특징으로 한다.According to an embodiment of the present invention, as the data for each crisis situation, a defense category having a freezing and being attacked class, an emergency category having a hand wave and a stunned class, putting an object in a bag, putting an object in a pocket class Forms a category by situation including an assault category having a theft category, shooting, swinging, stabbing, suffocation, kicking, and punching classes, and is configured to store skeleton frame information corresponding to each category and class do it with

본 발명의 일 실시예에 따르면, 상기 데이터 관리 서버(300)는 상기 정상 프레임 정보를 저장하고, 상기 정상 프레임 정보와 기 저장된 위기 상황별 데이터 및 비위기 상황별 데이터를 비교하여 상기 정상 프레임 정보와 가장 동일한 상태의 데이터를 업데이트하는 것을 특징으로 한다.According to an embodiment of the present invention, the data management server 300 stores the normal frame information, compares the normal frame information with pre-stored data for each crisis situation and data for each non-crisis situation, and compares the normal frame information with the normal frame information. It is characterized in that the data of the most identical state is updated.

이와 같은 본 발명의 실시예에 의하면, 스켈레톤 영상 분석 기법을 통해 수집된 CCTV 영상 정보를 분석하여 스켈레톤 프레임 정보를 생성하고, 생성된 스켈레톤 프레임 정보들 중 정상 영상정보만을 추출하여 해당 정상 영상정보에 대한 위기 상황 여부를 자동으로 분석 및 판단함으로써, 스켈레톤 프레임 정보에 대한 정확도를 향상시켜 위기 상황 판단에 대한 신뢰성을 제공할 수 있는 효과가 있다.According to this embodiment of the present invention, by analyzing CCTV image information collected through the skeleton image analysis technique, skeleton frame information is generated, and only normal image information is extracted from the generated skeleton frame information, and the corresponding normal image information is analyzed. By automatically analyzing and determining whether a crisis situation exists, there is an effect of improving the accuracy of the skeleton frame information to provide reliability for the crisis situation determination.

또한, 본 발명의 실시예에 의하면, 위기 상황으로 활용된 스켈레톤 프레임 정보를 기준 프레임 정보와 함께 업데이트가 이루어지도록 함으로써, 다양한 위기 상황에 대한 판별 능력을 극대화시킬 수 있는 효과가 있다.In addition, according to the embodiment of the present invention, the skeleton frame information used as a crisis situation is updated together with the reference frame information, thereby maximizing the ability to determine various crisis situations.

또한, 본 발명의 실시예에 의하면, 스켈레톤 영상 분석 기법을 활용하여 현재 상황에 대한 상태를 자동으로 실시간 파악이 가능함에 따라 수집되는 CCTV의 영상정보의 인식자(사람)의 사생활에 대한 유출이 발생하는 것을 방지할 수 있음은 물론, 최소한의 데이터 량으로도 현재 상황에 대한 신속간 감시가 가능한 효과가 있다.In addition, according to the embodiment of the present invention, as the state of the current situation can be automatically identified in real time by using the skeleton image analysis technique, leakage of the personal life of the recognizer (person) of the CCTV image information collected occurs Not only can it be prevented, but it also has the effect of enabling quick monitoring of the current situation even with a minimum amount of data.

또한, 본 발명의 실시예에 의하면, 노이즈가 제거된 정상 영상 정보를 통해 절도나 폭행과 같은 범죄 상황, 인식자의 신체 이상 등의 응급 상황 뿐만 아니라, 아동학대 현장이나 산업 현장에서의 위기 상황 등 다양한 상황들에 대한 딥 러닝 학습이 이루어지도록 함으로써, 보다 다양한 위기 상황에 대한 신속하고 정확한 감시가 이루어질 수 있는 효과가 있다.In addition, according to an embodiment of the present invention, through the normal image information from which noise has been removed, not only emergency situations such as criminal situations such as theft or assault, physical abnormalities of the recognizer, but also various situations such as crisis situations at child abuse sites or industrial sites, etc. By allowing deep learning to learn about situations, there is an effect that quick and accurate monitoring of more diverse crisis situations can be made.

또한, 본 발명의 실시예에 의하면, 스켈레톤 영상 분석 기법을 통해 수집된 CCTV 영상 정보를 분석하여 스켈레톤 프레임 정보의 생성시 발생하는 영상 정보를 이루는 영상 프레임들 중 일부의 손실이나, 누락, 또는 일부 프레임의 위치 반전 등의 노이즈로 인하여 위기 상황에 대한 판별 정확도가 저하되는 것을 개선할 수 있는 효과가 있다.In addition, according to an embodiment of the present invention, some of the image frames constituting the image information generated when the skeleton frame information is generated by analyzing the CCTV image information collected through the skeleton image analysis technique is lost, missing, or some frames There is an effect that can improve the decrease in the identification accuracy for a crisis situation due to noise such as position reversal of

더불어, 본 발명의 다양하면서도 유익한 장점과 효과는 상술한 내용에 한정되지 않으며, 본 발명의 구체적인 실시 형태를 설명하는 과정에서 보다 쉽게 이해될 수 있을 것이다. In addition, various and beneficial advantages and effects of the present invention are not limited to the above, and will be more easily understood in the course of describing specific embodiments of the present invention.

도 1은 본 발명의 일 실시예에 따른 스켈레톤 영상 분석 기법을 이용한 자동 영상 감시 시스템을 개략적으로 나타낸 구성 블록도,
도 2는 본 발명의 일 실시예에 따른 스켈레톤 영상 분석 기법을 이용한 자동 영상 감시 시스템의 스켈레톤 프레임 정보 획득 과정을 개략적으로 나타낸 예시도,
도 3 내지 도 5는 본 발명의 일 실시예에 따른 스켈레톤 영상 분석 기법을 이용한 자동 영상 감시 시스템의 노이즈 프레임 제거 과정을 개략적으로 나타낸 예시도,
도 6은 본 발명의 일 실시예에 따른 스켈레톤 영상 분석 기법을 이용한 자동 영상 감시 시스템의 노이즈 프레임 제거 결과 정보를 나타낸 예시도이다.1 is a block diagram schematically showing an automatic video surveillance system using a skeleton image analysis technique according to an embodiment of the present invention;
2 is an exemplary diagram schematically illustrating a process of obtaining skeleton frame information of an automatic video surveillance system using a skeleton image analysis technique according to an embodiment of the present invention;
3 to 5 are exemplary views schematically illustrating a noise frame removal process of an automatic video surveillance system using a skeleton image analysis technique according to an embodiment of the present invention;
6 is an exemplary diagram illustrating noise frame removal result information of an automatic image monitoring system using a skeleton image analysis technique according to an embodiment of the present invention.

이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조 부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. First of all, it should be noted that in adding reference numerals to the components of each drawing, the same components are to have the same reference numerals as possible even though they are indicated on different drawings. In addition, in describing the present invention, if it is determined that a detailed description of a related known configuration or function may obscure the gist of the present invention, the detailed description thereof will be omitted.

또한, 이하에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재될 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 하며, 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속" 된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.In addition, terms such as "comprises", "comprises" or "have" described below mean that the corresponding component may be embedded unless otherwise stated, so excluding other components It should be construed as being able to include other components rather than have the same meaning as understood. In addition, in describing the components of the present invention, terms such as first, second, A, B, (a), (b), etc. may be used. These terms are only for distinguishing the component from other components, and the essence, order, or order of the component is not limited by the term. When it is described that a component is “connected”, “coupled” or “connected” to another component, the component may be directly connected or connected to the other component, but another component is between each component. It should be understood that elements may also be “connected,” “coupled,” or “connected.”

또한, 본 발명에 있어서 단말, 장치 또는 디바이스가 수행하는 것으로 기술된 동작이나 기능 중 일부는 해당 단말, 장치 또는 디바이스와 연결된 서버에서 대신 수행될 수 있다. 마찬가지로, 서버가 수행하는 것으로 기술된 동작이나 기능 중 일부도 해당 서버와 연결된 단말, 장치 또는 디바이스에서 수행될 수도 있다.In addition, in the present invention, some of the operations or functions described as being performed by the terminal, apparatus, or device may be performed instead of in a server connected to the terminal, apparatus, or device. Similarly, some of the operations or functions described as being performed by the server may also be performed in a terminal, apparatus or device connected to the server.

또한, 본 발명의 각 실시예에 기재된 각각의 서버는, 단말, 장치 또는 디바이스와 네트워크를 통해 통신하여 명령, 코드, 파일, 콘텐츠, 서비스 등을 제공하는 컴퓨터 장치 또는 복수의 컴퓨터 장치들로 구현되는 시스템일 수 있으며, 메모리, 프로세서, 통신 인터페이스, 입출력 인터페이스 및 데이터베이스를 포함할 수 있다.In addition, each server described in each embodiment of the present invention is implemented as a computer apparatus or a plurality of computer apparatuses that communicate with a terminal, apparatus or device through a network to provide commands, codes, files, contents, services, etc. It may be a system, and may include a memory, a processor, a communication interface, an input/output interface, and a database.

특히, 본 발명의 각 실시예에 따른 시스템을 실행시키기 위한 수단으로는 어플리케이션(Application), 또는 웹 서버일 수 있으며, 이 어플리케이션, 또는 웹 서버를 기록한 기록매체를 읽을 수 있는 수단인 단말로는, 일반적인 데스크 탑이나 노트북 등의 일반 PC 뿐만 아니라, 스마트 폰, 태블릿 PC, 등의 모바일 단말기를 포함할 수 있다.In particular, the means for executing the system according to each embodiment of the present invention may be an application or a web server, and as a terminal that is a means for reading a recording medium recording this application or web server, It may include not only a general PC such as a general desktop or laptop computer, but also a mobile terminal such as a smart phone, a tablet PC, and the like.

이하, 첨부된 도면을 참고하여 본 발명의 실시예들을 상세히 설명하도록 한다. Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도시된 바와 같이, 본 발명의 스켈레톤 영상 분석 기법을 이용한 자동 영상 감시 시스템은 CCTV 등과 같은 촬영장치를 통해 상기 CCTV로부터 전송되는 영상 정보를 실시간 모니터링하는 모니터링 감시 시스템과 네트워크로 연결되어 촬영중인 영상 정보를 수집하고, 수집한 영상 정보를 스켈레톤 영상 분석 기법에 의해 스켈레톤 프레임 정보를 생성하는 영상 정보 제공부(100)와, 영상 정보 제공부(100)와 네트워크로 연결되며, 상기 스켈레톤 프레임 정보를 수신받아 노이즈를 제거하고, 노이즈가 제거된 스켈레톤 프레임 정보(이하, 정상 프레임 정보라고 함.)를 생성하며, 정상 프레임 정보와 기준 프레임 정보를 비교하여 해당 정상 프레임 정보가 위기 상황인지 여부를 판별하는 상황 판단 서버(200)와, 비위기 상황별 데이터와 위기 상황별 데이터가 저장되고, 저장된 상황별 데이터들의 업데이트 및 신규 생성이 이루어지도록 구성되는 데이터 관리 서버(300)를 포함하여 구성된다. As shown, the automatic video monitoring system using the skeleton image analysis technique of the present invention is connected to the monitoring and monitoring system for real-time monitoring of the video information transmitted from the CCTV through a recording device such as CCTV, and is connected to the video information being photographed. The image information providing unit 100 that collects the collected image information and generates the skeleton frame information by a skeleton image analysis technique, and the image information providing unit 100 are connected to the network, and receive the skeleton frame information and receive the noise A situation determination server that removes the noise, generates the skeleton frame information from which the noise has been removed (hereinafter referred to as normal frame information), and compares the normal frame information with the reference frame information to determine whether the corresponding normal frame information is in a crisis situation. It is configured to include 200 and a data management server 300 configured to store data for each non-crisis situation and data for each crisis situation, and to update and newly create the stored data for each situation.

영상 정보 제공부(100)는 도로 주변이나, 주택가 등에 설치되어 있는 CCTV 등과 같은 촬영장치로부터 실시간 영상 정보를 수신받으며, 수신받은 실시간 영상 정보를 스켈레톤 영상 분석 기법을 활용하여 분석하여 스켈레톤 프레임 정보를 생성하는 것으로, 생성한 스켈레톤 프레임 정보를 상황 판단 서버(200)의 노이즈 판별부(210)로 전송하도록 구성된다. The image information providing unit 100 receives real-time image information from a photographing device, such as a CCTV installed around a road or a residential area, and analyzes the received real-time image information using a skeleton image analysis technique to generate skeleton frame information. It is configured to transmit the generated skeleton frame information to the noise determination unit 210 of the situation determination server 200 .

이때, 영상 정보 제공부(100)는 도 2에 도시된 바와 같이, 상기 실시간 영상 정보의 분석시 사람(인식자)에 해당하는 객체와, 이 인식자가 물체로 판단되는 객체를 들고 있는 경우, 해당 물체에 대한 객체를 인식자 객체로부터 분리하여 인식자의 자세 및 관절 위치만 표시되는 스켈레톤 프레임 정보를 생성한다. At this time, as shown in FIG. 2 , when the image information providing unit 100 is holding an object corresponding to a person (recognizer) when analyzing the real-time image information, and the recognizer is holding an object determined to be an object, the corresponding By separating the object of the object from the recognizer object, the skeleton frame information in which only the posture and joint position of the recognizer are displayed is generated.

여기서, 스켈레톤 프레임 정보는 하나의 영상 정보에 포함되는 다수개의 프레임들을 포함하는 것으로, 본 발명에서는 하나의 영상 정보에 48개의 프레임이 포함되는 것을 기준으로 스켈레톤 프레임 정보의 생성이 이루어지도록 구성된다. 하지만, 이에 한정하는 것은 아니며, 영상 정보의 데이터 량에 따라 포함되는 프레임의 개수는 48개 보다 적거나, 또는 더 많이 포함될 수 있을 것이다. Here, the skeleton frame information includes a plurality of frames included in one image information, and in the present invention, the skeleton frame information is generated on the basis that 48 frames are included in one image information. However, the present invention is not limited thereto, and the number of frames included according to the data amount of image information may be less than or greater than 48.

상황 판단 서버(200)는 영상 정보 제공부(100)로부터 전송되는 스켈레톤 프레임 정보를 분석하여 해당 스켈레톤 프레임 정보에 노이즈가 포함되어 있는지 여부를 판별하여 해당 스켈레톤 프레임 정보의 노이즈 프레임을 제거하여 스켈레톤 프레임 정보의 품질을 향상시키는 노이즈 판별부(210)와, 노이즈가 제거된 정상 스켈레톤 프레임 정보(이하, 정상 프레임 정보라고 함.)을 제공받으며, 이 정상 프레임과 데이터 관리서버(300)에 저장된 위기 상황별 프레임 정보를 비교하여 현재 상황이 위기 상황인지 여부를 판별하는 상황 판별부(220)를 포함하여 구성된다.The situation determination server 200 analyzes the skeleton frame information transmitted from the image information providing unit 100, determines whether the corresponding skeleton frame information contains noise, removes the noise frame of the corresponding skeleton frame information, and removes the skeleton frame information The noise determination unit 210 that improves the quality of the frame and the noise-removed normal skeleton frame information (hereinafter referred to as normal frame information.) are provided, and the normal frame and the crisis situation stored in the data management server 300 are provided. and a situation determination unit 220 that compares frame information to determine whether the current situation is a crisis situation.

노이즈 판별부(210)는 영상 정보 제공부(100)로부터 제공되는 스켈레톤 프레임 정보를 Intersection Over Union (IOU) 딥러닝 방식을 이용하여 노이즈 프레임의 존재 여부를 분석하고, 해당 스켈레톤 프레임 정보에 노이즈 프레임이 존재하는 경우, 해당 노이즈 프레임을 제거하여 정상 프레임 정보를 생성하여 상황 판별부(220)로 전송하도록 구성된다. The noise determining unit 210 analyzes the existence of a noise frame using the Intersection Over Union (IOU) deep learning method for the skeleton frame information provided from the image information providing unit 100, and the noise frame is included in the corresponding skeleton frame information. If present, the noise frame is removed to generate normal frame information and transmitted to the situation determination unit 220 .

노이즈 판별부(210)는 도 4 및 도 5에 도시된 바와 같이, 스켈레톤 프레임 정보의 노이즈 존재 여부에 대한 분석시 스켈레톤 프레임 정보로부터 기준 스켈레톤 프레임과 다수개의 유효 스켈레톤 프레임을 구분하여 분류하고, 분류한 각각의 프레임들을 IOU 딥러닝 방식으로 비교하여 상기 다수개의 유효 스켈레톤 프레임에 노이즈 프레임이 존재하는지 여부를 판별한다.As shown in FIGS. 4 and 5, the noise determining unit 210 classifies and classifies a reference skeleton frame and a plurality of valid skeleton frames from the skeleton frame information when analyzing the existence of noise in the skeleton frame information. Each frame is compared in the IOU deep learning method to determine whether a noise frame exists in the plurality of valid skeleton frames.

이때, 기준 스켈레톤 프레임은 스켈레톤 프레임을 이루는 영상 이미지 정보일 수 있으며, 다수개의 유효 스켈레톤 프레임은 해당 영상 이미지 정보의 프레임으로 구성될 수 있다. In this case, the reference skeleton frame may be image information constituting the skeleton frame, and a plurality of valid skeleton frames may be composed of frames of the corresponding image image information.

즉, 노이즈 판별부(210)는 영상 정보 제공부(100)로부터 상기 스켈레톤 프레임 정보를 이루는 영상 이미지 정보를 함께 수신받아 스켈레톤 프레임 정보로부터 노이즈 프레임의 존재 여부에 대한 분석이 이루어지도록 구성되는 것이다.That is, the noise determining unit 210 is configured to receive the image information constituting the skeleton frame information from the image information providing unit 100 together, and to analyze whether a noise frame exists from the skeleton frame information.

이와 같은 노이즈 판별부(210)는 노이즈 프레임이 존재하는지 여부에 대한 판별 작업을 수행할 때, 상기 기준 스켈레톤 프레임에 구성되는 인식자를 모두 포함하는 가상의 제1사각 프레임을 형성하고, 상기 다수개의 유효 스켈레톤 프레임 역시 기준 스켈레톤 프레임과 마찬가지로 인식자를 모두 포함하는 가상의 제2사각 프레임을 형성한 후, 기준 스켈레폰 프레임의 제1사각 프레임과 다수개의 유효 스켈레톤 프레임의 제2사각 프레임을 비교하여 제1 및 제2사각 프레임의 겹침도에 대한 값을 산출한다. Such a noise determining unit 210 forms a virtual first rectangular frame including all recognizers included in the reference skeleton frame when determining whether a noise frame exists, and the plurality of valid Similarly to the reference skeleton frame, after forming a second virtual rectangular frame including all recognizers, the first rectangular frame of the reference skeleton frame and the second rectangular frame of the plurality of valid skeleton frames are compared with the first and second frames of the skeleton frame. A value for the degree of overlap of the second rectangular frame is calculated.

여기서, 노이즈 판별부(210)는 산출된 겹침값을 분석하여 제1 및 제2사각 프레임의 겹침값이 제1사각 프레임의 전체 면적에 대하여 75% 이상으로 이루어지고, IOU 값이 0.80을 초과하여 형성되는 경우, 해당 유효 스켈레톤 프레임을 정상 프레임 정보로 판단하고, 상기 겹침값이 75% 이하로 이루어지고, IOU 값이 0.80 보다 미만으로 형성되는 경우에는 비정상 프레임 정보, 다시말해 노이즈 프레임으로 판단이 이루어지도록 구성된다. Here, the noise determining unit 210 analyzes the calculated overlap value so that the overlap value of the first and second rectangular frames is 75% or more with respect to the total area of the first rectangular frame, and the IOU value exceeds 0.80. When formed, the valid skeleton frame is determined as normal frame information, and when the overlap value is 75% or less and the IOU value is less than 0.80, it is determined as abnormal frame information, that is, a noise frame. is configured to

이와 같은 노이즈 판별부(210)는 도 3에 도시된 바와 같이, 스켈레톤 프레임 정보에 노이즈 프레임이 존재하는 경우, 해당 노이즈 프레임은 스켈레톤 프레임 이전 상태, 즉 일반 영상 프레임 정보로 변환하여 영상 정보 제공부(100)로 전송하거나, 또는 스켈레톤 프레임 정보에서 상기 노이즈 프레임을 삭제하여 상황 판별부(220)로 전송할 스켈레톤 프레임 정보가 정상 프레임 정보로만 이루어지도록 한다. As shown in FIG. 3, when a noise frame exists in the skeleton frame information, the noise determining unit 210 converts the noise frame into a state before the skeleton frame, that is, into general image frame information, and provides an image information providing unit ( 100) or by deleting the noise frame from the skeleton frame information so that the skeleton frame information to be transmitted to the situation determination unit 220 consists only of normal frame information.

한편, 본 발명의 노이즈 판별부(210)는 정상 프레임 정보 및 노이즈 프레임의 구분이 이루어지된 경우, 도 6에 도시된 바와 같이, 기준 스켈레톤 프레임과 다수개의 유효 스켈레톤 프레임의 비교 결과를 제공할 수 있으며, 비교 결과 다수개의 유효 스켈레톤 프레임 중, 정상 프레임 정보에 해당하는 경우, 제1 및 제2사각 프레임의 색상을 각각 다르게 적용하여 제공하도록 구성된다. On the other hand, the noise determining unit 210 of the present invention can provide a comparison result of a reference skeleton frame and a plurality of valid skeleton frames, as shown in FIG. 6, when the normal frame information and the noise frame are not distinguished. And, as a result of the comparison, among a plurality of valid skeleton frames, when it corresponds to normal frame information, the colors of the first and second rectangular frames are applied differently and provided.

이때, 본 발명에서는 정상 프레임 정보인 경우, 제2사각 프레임이 녹색으로 표시되도록 구성되고, 노이즈 프레임인 경우에는 상기 제2사각 프레임이 붉은색으로 표시되도록 구성될 수 있으나, 이에 한정하는 것은 아니다.At this time, in the present invention, in the case of normal frame information, the second rectangular frame may be configured to be displayed in green, and in the case of a noise frame, the second rectangular frame may be configured to be displayed in red, but the present invention is not limited thereto.

아울러, 본 발명의 노이즈 판별부(210)는 정상 프레임 정보와 이 정상 프레임 정보에 대한 영상 이미지 정보를 데이터 관리 서버(300)로 전송하여 저장이 이루어지도록 구성된다. In addition, the noise determining unit 210 of the present invention is configured to transmit and store the normal frame information and the video image information for the normal frame information to the data management server 300 .

상황 판별부(220)는 노이즈 판별부(210)에 의해 판별이 완료된 정상 프레임 정보 만을 수신받으며, 정상 프레임 정보의 현재 상황을 판별하기 위해 데이터 관리 서버(300)로부터 위기 상황별 데이터를 수신받아 정상 프레임 정보와 위기 상황별 데이터를 비교하여 상기 정상 프레임 정보가 위기 상황인지 여부를 파악하고, 위기 상황인 경우, 위기 상황의 종류에 대한 정보를 생성하도록 구성된다. The situation determination unit 220 receives only the normal frame information that has been determined by the noise determination unit 210, and receives data for each crisis situation from the data management server 300 to determine the current situation of the normal frame information. It is configured to compare the frame information with the data for each crisis situation to determine whether the normal frame information is a crisis situation, and to generate information on the type of crisis situation if the frame information is a crisis situation.

이러한 상황 판별부(220)는 상기 정상 프레임 정보에 포함되어 있는 스켈레톤 프레임 정보와 유사, 또는 동일성을 가지는 위기 상황별 데이터의 스켈레톤 프레임 정보를 비교하여 상기 정상 프레임 정보가 현재 위기 상황인지 여부를 판단한다. The situation determination unit 220 determines whether the normal frame information is a current crisis situation by comparing the skeleton frame information of the crisis situation-specific data having the same or similarity to the skeleton frame information included in the normal frame information. .

이때, 상황 판별부(220)는 노이즈 판별부(210)와 마찬가지로 정상 프레임 정보와 위기 상황별 데이터의 스켈레톤 프레임 정보를 IOU 딥러닝 방식으로 비교하여 상기 정상 프레임 정보의 위기 상황 여부에 대한 판단이 이루어지도록 구성될 수 있다. At this time, the situation determination unit 220, like the noise determination unit 210, compares the normal frame information and the skeleton frame information of the data for each crisis situation in the IOU deep learning method to determine whether the normal frame information is in a crisis situation. It can be configured to

또한, 상황 판별부(220)는 정상 프레임 정보가 위기 상황이라 판단되는 경우, 경보음 등의 송출이 이루어지도록 구성되고, 이와 동시에 영상 정보 제공부(100)로 해당 정상 프레임 정보를 전송하여 상기 모니터링 감시 시스템을 통해 출력이 이루어지도록 구성될 수 있다. In addition, the situation determination unit 220 is configured to transmit an alarm sound when it is determined that the normal frame information is a crisis situation, and at the same time transmits the normal frame information to the image information providing unit 100 to monitor the The output may be configured to be made through a monitoring system.

데이터 관리 서버(300)는 위기 상황별 스켈레톤 프레임 정보로 이루어지는 위기 상황별 데이터와 일반적인 비위기 상황에 대한 스켈레톤 프레임 정보로 이루어지는 비위기 상황별 데이터가 저장되며, 상황 판별부(220)의 요청시 위기 상황별 데이터 및 비위기 상황별 데이터를 전송하여 현재 감시중인 영상의 위기 상황 여부에 대한 판별이 이루어질 수 있도록 구성된다.The data management server 300 stores data for each crisis situation consisting of skeleton frame information for each crisis situation and data for each non-crisis situation consisting of skeleton frame information for a general non-crisis situation, and at the request of the situation determination unit 220 , the crisis It is configured to transmit data for each situation and data for each non-crisis situation so that it can be determined whether the video currently being monitored is in a crisis situation.

위기 상황별 데이터는 절도나 폭행과 같은 범죄 상황, 인식자의 신체 이상 등의 응급 상황 뿐만 아니라, 아동학대 현장이나 산업 현장에서의 위기 상황 등 상기 각각의 위기 상황별 스켈레톤 프레임 정보를 포함하며, 상기 각각의 위기 상황별 스켈레톤 프레임 정보를 분류하여 종류별 위기 상황 카테고리를 형성한다.The data for each crisis situation includes not only emergency situations such as criminal situations such as theft or assault, physical abnormalities of the recognizer, but also skeleton frame information for each crisis situation, such as a crisis situation at a child abuse site or an industrial site, By classifying the skeleton frame information for each crisis situation, it forms a crisis situation category by type.

즉, 본 발명의 데이터 관리 서버(300)는 비위기 상황별 데이터로, 걷기, 서기, 착석 및 픽업 등의 클래스를 가지는 정상 카테고리를 형성하고, 위기 상황별 데이터로, 동결 및 공격 당하기 등의 클래스를 가지는 방어 카테고리, 손을 흔들기, 기절 등의 클래스를 가지는 응급상황 카테고리, 가방에 물건을 넣기, 주머니에 물건을 넣기 등의 클래스를 가지는 절도 카테고리, 총격, 휘두르기, 찌르기, 질식, 발차기, 펀칭 등이 클래스를 가지는 폭행 카테고리 등 5개의 상황별 카테고리를 형성하며, 총 16개의 클래스를 형성하여 각각의 카테고리 및 클래스에 대응하는 스켈레톤 프레임 정보가 저장되도록 구성되는 것이다. That is, the data management server 300 of the present invention forms a normal category having classes such as walking, standing, sitting and pickup as data for each non-crisis situation, and with data for each crisis situation, classes such as freezing and being attacked A Defense category with classes such as Wave, Stun, etc., a Theft category with classes such as Bags, Bags, and Pockets, Shooting, Swing, Stabbing, Choking, Kicking, Punching. It is configured to form five categories for each situation, such as an assault category having such a class, and to form a total of 16 classes to store skeleton frame information corresponding to each category and class.

이와 같은 데이터 관리 서버(300)는 노이즈 판별부(210)로부터 전송되는 정상 프레임 정보를 저장하고, 이 정상 프레임 정보와 기 저장된 위기 상황별 데이터 및 비위기 상황별 데이터를 비교하여 상기 정상 프레임 정보와 가장 동일한 상태의 데이터의 업데이트가 이루어지도록 한다. The data management server 300 stores the normal frame information transmitted from the noise determination unit 210, and compares the normal frame information with pre-stored data for each crisis situation and data for each non-crisis situation, and compares the normal frame information with the normal frame information. Update the data in the most identical state.

하지만, 상기 정상 프레임 정보와 상기 기 저장된 위기 상황별 데이터 및 비위기 상황별 데이터 간의 유사, 또는 동일성이 떨어지는 경우, 상기 정상 프레임 정보를 새로운 카테고리의 위기 상황별 데이터, 또는 비위기 상황별 데이터로 저장할 수 있다.However, when the similarity or identity between the normal frame information and the pre-stored data for each crisis situation and data for each non-crisis situation is low, the normal frame information is stored as data for each crisis situation of a new category or data for each non-crisis situation. can

한편, 본 발명에 기재된 네트워크는 복수의 단말 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 이러한 네트워크의 일 예에는 RF, 3GPP(3rd Generation Partnership Project) 네트워크, LTE(Long Term Evolution) 네트워크, 5GPP(5rd Generation Partnership Project) 네트워크, WIMAX(World Interoperability for Microwave Access) 네트워크, 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), 블루투스(Bluetooth) 네트워크, NFC 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 포함되나 이에 한정되지는 않는다.On the other hand, the network described in the present invention means a connection structure in which information exchange is possible between each node, such as a plurality of terminals and servers. Examples of such networks include RF, 3rd Generation Partnership Project (3GPP) network, LTE (Long Term Evolution) network, 5rd Generation Partnership Project (5GPP) network, WIMAX (World Interoperability for Microwave Access) network, Internet, LAN (Local Area Network), Wireless LAN (Wireless Local Area Network), WAN (Wide) Area Network), PAN (Personal Area Network), Bluetooth (Bluetooth) network, NFC network, satellite broadcasting network, analog broadcasting network, DMB (Digital Multimedia Broadcasting) network, and the like are included, but are not limited thereto.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The above description is merely illustrative of the technical spirit of the present invention, and various modifications and variations will be possible without departing from the essential characteristics of the present invention by those skilled in the art to which the present invention pertains. Accordingly, the embodiments disclosed in the present invention are not intended to limit the technical spirit of the present invention, but to explain, and the scope of the technical spirit of the present invention is not limited by these embodiments. The protection scope of the present invention should be construed by the following claims, and all technical ideas within the scope equivalent thereto should be construed as being included in the scope of the present invention.

100: 영상 정보 제공부
200: 상황 판단 서버
210: 노이즈 판별부
220: 상황 판별부
300: 데이터 관리 서버100: video information providing unit
200: situation determination server
210: noise discrimination unit
220: situation determination unit
300: data management server

Claims (6)

모니터링 감시 시스템과 네트워크로 연결되어 촬영중인 영상 정보를 수집하고, 수집한 영상 정보를 스켈레톤 영상 분석 기법에 의해 스켈레톤 프레임 정보를 생성하는 영상 정보 제공부(100);
상기 영상 정보 제공부(100)와 네트워크로 연결되며, 상기 스켈레톤 프레임 정보를 수신받아 노이즈를 제거하고, 노이즈가 제거된 정상 프레임 정보를 생성하며, 상기 정상 프레임 정보와 위기 상황별 데이터를 비교하여 해당 정상 프레임 정보가 위기 상황인지 여부를 판별하는 상황 판단 서버(200); 및
비위기 상황별 데이터와 위기 상황별 데이터가 저장되고, 저장된 상황별 데이터들의 업데이트 및 신규 생성이 이루어지도록 구성되는 데이터 관리 서버;를 포함하고,
상기 상황 판단 서버(200)는
상기 스켈레톤 프레임 정보를 Intersection Over Union (IOU) 딥러닝 방식을 이용하여 노이즈 프레임의 존재 여부를 분석하고, 해당 스켈레톤 프레임 정보에 노이즈 프레임이 존재하는 경우, 해당 노이즈 프레임이 제거된 정상 프레임 정보를 생성하여 상황 판별부(220)로 전송하는 노이즈 판별부(210); 및
상기 정상 프레임 정보를 제공받으며, 상기 정상 프레임과 상기 위기 상황별 프레임 정보를 비교하여 현재 상황이 위기 상황인지 여부를 판단하고, 판단결과, 상기 정상 프레임 정보가 위기 상황이라 판단되는 경우, 경보음의 송출이 이루어지도록 구성되고, 상기 영상 정보 제공부(100)로 해당 정상 프레임 정보를 전송하여 상기 모니터링 감시 시스템을 통해 출력이 이루어지도록 구성되는 상황 판별부(220)
를 포함하는 것을 특징으로 하는 스켈레톤 영상 분석 기법을 이용한 자동 영상 감시 시스템.
an image information providing unit 100 that is connected to a monitoring system and a network, collects image information being photographed, and generates skeleton frame information using the collected image information by a skeleton image analysis technique;
It is connected to the image information providing unit 100 through a network, receives the skeleton frame information, removes noise, generates noise-removed normal frame information, and compares the normal frame information with data for each crisis situation, a situation determination server 200 for determining whether the normal frame information is in a crisis situation; and
A data management server configured to store data for each non-crisis situation and data for each crisis situation, and to update and newly create the stored situation-specific data; includes,
The situation determination server 200
The skeleton frame information is analyzed for the existence of a noise frame using the Intersection Over Union (IOU) deep learning method. a noise determining unit 210 for transmitting to the situation determining unit 220; and
When the normal frame information is provided, the normal frame and the frame information for each crisis situation are compared to determine whether the current situation is a crisis situation, and as a result of the determination, when it is determined that the normal frame information is a crisis situation, an alarm sound is generated. Situation determination unit 220 configured to be transmitted and configured to transmit the corresponding normal frame information to the image information providing unit 100 and output through the monitoring and monitoring system
Automatic video surveillance system using a skeleton image analysis technique, characterized in that it comprises a.
 삭제delete 제1항에 있어서,
상기 노이즈 판별부(210)는
상기 스켈레톤 프레임 정보로부터 기준 스켈레톤 프레임과 다수개의 유효 스켈레톤 프레임을 구분하여 분류하고,
상기 기준 스켈레톤 프레임과 다수개의 유효 스켈레톤 프레임에 각각 인식자를 모두 포함하는 가상의 제1 및 제2사각 프레임을 형성하여, 상기 제1 및 제2사각 프레임의 겹침도에 대한 값을 산출하며,
상기 겹침값이 상기 제1사각 프레임의 전체 면적에 대하여 75% 이상으로 이루어지고, IOU 값이 0.80을 초과하여 형성되는 경우, 해당 유효 스켈레톤 프레임을 정상 프레임 정보로 판단하고, 상기 겹침값이 75% 이하로 이루어지고, IOU 값이 0.80 보다 미만으로 형성되는 경우에는 노이즈 프레임으로 판단하는 것을 특징으로 하는 스켈레톤 영상 분석 기법을 이용한 자동 영상 감시 시스템.
According to claim 1,
The noise determination unit 210 is
Classifying and classifying a reference skeleton frame and a plurality of valid skeleton frames from the skeleton frame information,
By forming virtual first and second rectangular frames each including all recognizers in the reference skeleton frame and the plurality of valid skeleton frames, a value for the degree of overlap between the first and second rectangular frames is calculated,
If the overlap value is 75% or more of the total area of the first rectangular frame and the IOU value exceeds 0.80, the effective skeleton frame is determined as normal frame information, and the overlap value is 75% An automatic video monitoring system using a skeleton image analysis technique, characterized in that it is determined as a noise frame if it is made below, and the IOU value is formed to be less than 0.80.
 제3항에 있어서,
상기 노이즈 판별부(210)는
상기 스켈레톤 프레임 정보에 상기 노이즈 프레임이 존재하는 경우, 해당 노이즈 프레임은 일반 영상 프레임 정보로 변환하여 영상 정보 제공부(100)로 전송하고, 상기 스켈레톤 프레임 정보에서 상기 노이즈 프레임을 삭제하는 것을 특징으로 하는 스켈레톤 영상 분석 기법을 이용한 자동 영상 감시 시스템.
4. The method of claim 3,
The noise determining unit 210 is
When the noise frame is present in the skeleton frame information, the noise frame is converted into general image frame information and transmitted to the image information providing unit 100, and the noise frame is deleted from the skeleton frame information Automatic video surveillance system using skeleton video analysis technique.
 제1항에 있어서,
상기 데이터 관리 서버(300)는
상기 비위기 상황별 데이터로, 걷기, 서기, 착석 및 픽업 클래스를 가지는 정상 카테고리를 형성하고,
상기 위기 상황별 데이터로, 동결 및 공격 당하기 클래스를 가지는 방어 카테고리, 손을 흔들기, 기절 클래스를 가지는 응급상황 카테고리, 가방에 물건을 넣기, 주머니에 물건을 넣기 클래스를 가지는 절도 카테고리, 총격, 휘두르기, 찌르기, 질식, 발차기, 펀칭 클래스를 가지는 폭행 카테고리를 포함하는 상황별 카테고리를 형성하며, 각각의 카테고리 및 클래스에 대응하는 스켈레톤 프레임 정보가 저장되도록 구성되는 것을 특징으로 하는 스켈레톤 영상 분석 기법을 이용한 자동 영상 감시 시스템.
The method of claim 1,
The data management server 300 is
With the data for each non-crisis situation, a normal category having walking, standing, sitting and pickup classes is formed,
As the data for each crisis situation, a defense category having a freeze and being attacked class, an emergency category having a waving hand and a stunned class, a theft category having an item in a bag and a put item in a pocket class, shooting, swinging, Automatic using a skeleton image analysis technique, characterized in that it forms a category for each situation including an assault category having a stabbing, suffocation, kick, and punching class, and is configured to store skeleton frame information corresponding to each category and class video surveillance system.
 제1항에 있어서,
상기 데이터 관리 서버(300)는
상기 정상 프레임 정보를 저장하고, 상기 정상 프레임 정보와 기 저장된 위기 상황별 데이터 및 비위기 상황별 데이터를 비교하여 상기 정상 프레임 정보와 가장 동일한 상태의 데이터를 업데이트하는 것을 특징으로 하는 스켈레톤 영상 분석 기법을 이용한 자동 영상 감시 시스템.
The method of claim 1,
The data management server 300 is
Storing the normal frame information, comparing the normal frame information with pre-stored data for each crisis situation and data for each non-crisis situation to update the data in the same state as the normal frame information. Automatic video surveillance system using.
KR1020210150942A 2021-11-04 2021-11-04 Automatic video surveillance system using skeleton video analysis technique KR102367584B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210150942A KR102367584B1 (en) 2021-11-04 2021-11-04 Automatic video surveillance system using skeleton video analysis technique

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210150942A KR102367584B1 (en) 2021-11-04 2021-11-04 Automatic video surveillance system using skeleton video analysis technique

Publications (1)

Publication Number Publication Date
KR102367584B1 true KR102367584B1 (en) 2022-02-25

Family

ID=80490438

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210150942A KR102367584B1 (en) 2021-11-04 2021-11-04 Automatic video surveillance system using skeleton video analysis technique

Country Status (1)

Country Link
KR (1) KR102367584B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102471192B1 (en) * 2022-09-14 2022-11-28 주식회사 에이아이태권도 Method and apparatus for evaluating taekwondo competition using artificial intelligence

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200011425A (en) * 2017-12-13 2020-02-03 구글 엘엘씨 Hand skeleton learning, lifting, and noise removal from 2D images
KR102083385B1 (en) 2018-08-28 2020-03-02 여의(주) A Method for Determining a Dangerous Situation Based on a Motion Perception of a Image Extracting Data
JP2020052867A (en) * 2018-09-28 2020-04-02 株式会社Ａｘｉｖｅ Posture analysis device, posture analysis method and program
KR20210020723A (en) * 2019-08-14 2021-02-24 건국대학교 산학협력단 Cctv camera device having assault detection function and method for detecting assault based on cctv image performed
KR20210082412A (en) * 2019-10-04 2021-07-05 에스케이텔레콤 주식회사 Method and Apparatus for Detecting Anomaly from Security Video
JP2021149313A (en) * 2020-03-17 2021-09-27 日本信号株式会社 Abnormality detection system

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200011425A (en) * 2017-12-13 2020-02-03 구글 엘엘씨 Hand skeleton learning, lifting, and noise removal from 2D images
KR102083385B1 (en) 2018-08-28 2020-03-02 여의(주) A Method for Determining a Dangerous Situation Based on a Motion Perception of a Image Extracting Data
JP2020052867A (en) * 2018-09-28 2020-04-02 株式会社Ａｘｉｖｅ Posture analysis device, posture analysis method and program
KR20210020723A (en) * 2019-08-14 2021-02-24 건국대학교 산학협력단 Cctv camera device having assault detection function and method for detecting assault based on cctv image performed
KR20210082412A (en) * 2019-10-04 2021-07-05 에스케이텔레콤 주식회사 Method and Apparatus for Detecting Anomaly from Security Video
JP2021149313A (en) * 2020-03-17 2021-09-27 日本信号株式会社 Abnormality detection system

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102471192B1 (en) * 2022-09-14 2022-11-28 주식회사 에이아이태권도 Method and apparatus for evaluating taekwondo competition using artificial intelligence
KR102486337B1 (en) 2022-09-14 2023-01-09 주식회사 에이아이태권도 Method and apparatus for determination of hitting values in taekwondo competition using artificial intelligence

Similar Documents

Publication Publication Date Title
US10510234B2 (en) Method for generating alerts in a video surveillance system
CN110569720B (en) Audio and video intelligent identification processing method based on audio and video processing system
US20130188031A1 (en) Risk recognition method for use in video surveillance system based on human identification
CN111680535B (en) Method and system for real-time prediction of one or more potential threats in video surveillance
CN210691345U (en) Cloud intelligence safety inspection auxiliary system based on degree of depth learning
CN110852148B (en) Visitor destination verification method and system based on target tracking
CN102917207A (en) Motion sequence based abnormal motion vision monitoring system
KR20210020723A (en) Cctv camera device having assault detection function and method for detecting assault based on cctv image performed
KR20200052418A (en) Automated Violence Detecting System based on Deep Learning
KR20210062256A (en) Method, program and system to judge abnormal behavior based on behavior sequence
KR102367584B1 (en) Automatic video surveillance system using skeleton video analysis technique
US10419318B2 (en) Determining attributes using captured network probe data in a wireless communications system
KR102142315B1 (en) ATM security system based on image analyses and the method thereof
US20150287306A1 (en) Proactive Loss Prevention System
CN116993265A (en) Intelligent warehouse safety management system based on Internet of things
CN109120896B (en) Security video monitoring guard system
CN113645439B (en) Event detection method and system, storage medium and electronic device
CN116597501A (en) Video analysis algorithm and edge device
KR102647139B1 (en) Apparatus and method for detecting abnormal behavior through deep learning-based image analysis
CN116740874A (en) Intrusion detection method and related device
CN113297976A (en) Base station intrusion detection method and system based on deep learning
KR20220072316A (en) Image Analysis Apparatus for Detecting Multi-object Events and Driving Method Thereof
US20220130174A1 (en) Image processing apparatus, control method, and non-transitory storage medium
EP3444750A1 (en) Cloud based systems and methods for locating a peace breaker
Martínez-Mascorro et al. Detecting Suspicious Behavior on Surveillance Videos: Dealing with Visual Behavior Similarity between Bystanders and Offenders

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant