KR20210059411A - System and method for abnormal behavior detection - Google Patents
System and method for abnormal behavior detection Download PDFInfo
- Publication number
- KR20210059411A KR20210059411A KR1020190146821A KR20190146821A KR20210059411A KR 20210059411 A KR20210059411 A KR 20210059411A KR 1020190146821 A KR1020190146821 A KR 1020190146821A KR 20190146821 A KR20190146821 A KR 20190146821A KR 20210059411 A KR20210059411 A KR 20210059411A
- Authority
- KR
- South Korea
- Prior art keywords
- behavior
- recognition
- abnormal behavior
- hybrid
- image data
- Prior art date
Links
- 206010000117 Abnormal behaviour Diseases 0.000 title claims abstract description 47
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000001514 detection method Methods 0.000 title description 8
- 230000006399 behavior Effects 0.000 claims abstract description 27
- 238000013135 deep learning Methods 0.000 claims abstract description 22
- 230000002547 anomalous effect Effects 0.000 claims 3
- 238000005516 engineering process Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 4
- 238000010191 image analysis Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000013136 deep learning model Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G06K9/00335—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Signal Processing (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Human Computer Interaction (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Image Analysis (AREA)
Abstract
Description
본 발명은 하이브리드 기반 이상 행위 인지 시스템 및 그 방법에 관한 것이다. The present invention relates to a hybrid-based abnormal behavior recognition system and method thereof.
딥러닝 기술은 영상 분석에 활용되어, 객체 검출, 객체 추적, 이상 상황 탐지 등 다양한 보안 영역에서 좋은 성능을 보인다. Deep learning technology is used for image analysis and shows good performance in various security areas such as object detection, object tracking, and abnormal situation detection.
이에 따라, 영상 보안 영역에서 객체 검출 등의 영상 분석 기술은 대부분 딥러닝 기반으로 개발되어 운영되고 있다. Accordingly, image analysis technologies such as object detection in the image security area are mostly developed and operated based on deep learning.
그런데, 딥러닝만을 활용한 기술은 다양한 환경에서 다양한 형태의 이상 행위를 인지해야 하는 경우, 오히려 이상 행위 인지의 성능 저하가 발생하는 문제점이 있다.However, the technology using only deep learning has a problem in that when it is necessary to recognize various types of abnormal behavior in various environments, the performance of the abnormal behavior recognition is rather deteriorated.
본 발명은 전술한 문제점을 해결하기 위하여 제안된 것으로, CCTV 카메라로부터 입력 받은 영상에서 이상 행위를 인지함에 있어서, 다양한 환경적인 요소를 극복하고, 기존 영상 보안 시스템에서 사용되는 영상 분석 기술보다 이상 행위 인지의 정확도를 향상시켜 개인 신변 안전을 보장하고 범죄를 예방하는 것이 가능한 이상 행위 인지 시스템 및 방법을 제공하는데 그 목적이 있다. The present invention has been proposed to solve the above-described problem, in recognizing an abnormal behavior in an image received from a CCTV camera, overcoming various environmental factors, and recognizing an abnormal behavior than the image analysis technology used in the existing video security system. Its purpose is to provide a system and method for recognizing abnormal behaviors that are possible to ensure personal safety and prevent crimes by improving the accuracy of the system.
본 발명에 따른 하이브리드 기반 이상 행위 인지 시스템은 영상 데이터를 수신하는 입력부와, 영상 데이터를 이용하여 이상 행위를 인지하는 프로그램이 저장된 메모리 및 프로그램을 실행시키는 프로세서를 포함하고, 프로세서는 딥러닝 및 규칙 기반의 인지 방식을 혼합하여 행위 인지 결과를 비교하여, 이상 행위를 인지하는 것을 특징으로 한다. The hybrid-based abnormal behavior recognition system according to the present invention includes an input unit for receiving image data, a memory storing a program for recognizing abnormal behavior using the image data, and a processor for executing the program, and the processor is deep learning and rule-based It is characterized by recognizing abnormal behavior by comparing the result of behavior recognition by mixing the cognitive methods of.
본 발명에 따른 하이브리드 기반 이상 행위 인지 방법은 영상 데이터를 수신하는 단계와, 영상 데이터를 이용하여 딥러닝 기반으로 위험 행위를 인지하는 단계와, 영상 데이터를 이용하여 규칙 기반으로 위험 행위를 인지하는 단계 및 인지 결과를 비교하여 최종 행위를 출력하는 단계를 포함하는 것을 특징으로 한다. The hybrid-based abnormal behavior recognition method according to the present invention includes receiving image data, recognizing dangerous behavior based on deep learning using image data, and recognizing dangerous behavior based on rules using image data. And comparing the recognition results and outputting a final action.
본 발명에 따르면, 이상 행위를 인지함으로써 위험 상황을 예측하는 영상 보안 서비스 영역에 활용되어, 개인 신변 안전 및 범죄 예방 효과를 극대화하는 효과가 있다. According to the present invention, by recognizing an abnormal behavior, it is used in a video security service area that predicts a dangerous situation, thereby maximizing personal safety and crime prevention effects.
본 발명에 따르면, 딥러닝 방법와 규칙 방법을 혼합함으로써, 다양한 환경 변화에서도 신뢰성 높은 이상 행위 추론이 가능한 효과가 있다. According to the present invention, by mixing the deep learning method and the rule method, it is possible to infer highly reliable abnormal behavior even in various environmental changes.
본 발명의 효과는 이상에서 언급한 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The effects of the present invention are not limited to those mentioned above, and other effects not mentioned will be clearly understood by those skilled in the art from the following description.
도 1은 본 발명의 실시예에 따른 이상 행위 인지 시스템을 도시한다.
도 2는 본 발명의 실시예에 따른 이상 행위 검출을 도시한다.
도 3은 본 발명의 실시예에 따른 이상 행위 인지 방법을 나타내는 순서도이다. 1 illustrates an abnormal behavior recognition system according to an embodiment of the present invention.
2 shows an abnormal behavior detection according to an embodiment of the present invention.
3 is a flowchart illustrating a method of recognizing an abnormal behavior according to an embodiment of the present invention.
본 발명의 전술한 목적 및 그 이외의 목적과 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. The above-described and other objects, advantages, and features of the present invention, and methods of achieving them will become apparent with reference to the embodiments described below in detail together with the accompanying drawings.
그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 이하의 실시예들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 목적, 구성 및 효과를 용이하게 알려주기 위해 제공되는 것일 뿐으로서, 본 발명의 권리범위는 청구항의 기재에 의해 정의된다. However, the present invention is not limited to the embodiments disclosed below, but may be implemented in various different forms, and only the following embodiments are the object of the invention to those of ordinary skill in the art to which the present invention pertains. It is only provided to easily inform the composition and effect, and the scope of the present invention is defined by the description of the claims.
한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성소자, 단계, 동작 및/또는 소자가 하나 이상의 다른 구성소자, 단계, 동작 및/또는 소자의 존재 또는 추가됨을 배제하지 않는다.Meanwhile, terms used in the present specification are for explaining embodiments and are not intended to limit the present invention. In this specification, the singular form also includes the plural form unless specifically stated in the phrase. As used in the specification, "comprises" and/or "comprising" refers to the presence of one or more other components, steps, operations and/or elements in which the referenced component, step, operation and/or element is Or does not preclude additions.
종래 기술에 따른 영상 보안 시스템은 CCTV 영상 분석 시, 딥러닝 기술만을 활용하여 객체 검출, 객체 추적, 위험 상황 인지 등과 같은 영상 분석을 하는 반면, 본 발명의 실시예에 따르면, 다양한 환경 및 사람의 상태 변화에 적응적으로 대응하기 위해 규칙 기반 기술을 딥러닝 방법과 혼합하여 이상 행위를 인지한다. While the video security system according to the prior art performs image analysis such as object detection, object tracking, danger situation recognition, etc. using only deep learning technology when analyzing CCTV video, according to an embodiment of the present invention, various environments and human conditions In order to adaptively respond to changes, it recognizes abnormal behavior by mixing rule-based technology with deep learning methods.
도 1은 본 발명의 실시예에 따른 이상 행위 인지 시스템을 도시한다. 1 illustrates an abnormal behavior recognition system according to an embodiment of the present invention.
본 발명의 실시예에 따른 이상 행위 인지 시스템(100)은 영상 데이터를 수신하는 입력부(110)와, 영상 데이터를 이용하여 이상 행위를 인지하는 프로그램이 저장된 메모리(120) 및 프로그램을 실행시키는 프로세서(130)를 포함하고, 프로세서(130)는 딥러닝 및 규칙 기반의 인지 방식을 혼합하여 행위 인지 결과를 비교하여, 이상 행위를 인지한다. The abnormal
프로세서(130)는 영상 데이터를 분류하고, 슬라이딩 윈도우를 이용하여 딥러닝 기반으로 이상 행위를 인지할 범위를 설정하며, 3D 컨볼루션을 통해 프레임 내에 객체 존재 여부 및 움직임 존재 여부를 검출한다. The
프로세서(130)는 탐지된 객체의 위치 정보를 이용하여 규칙 기반으로 이상 행위를 인지한다. The
프로세서(130)는 딥러닝 기반의 인지 방식을 이용한 인지 결과와, 규칙 기반의 인지 방식을 이용한 인지 결과를 비교하여, 최종 행위를 인지하고 출력한다. The
도 3은 본 발명의 실시예에 따른 이상 행위 인지 방법을 나타내는 순서도이다. 3 is a flowchart illustrating a method of recognizing an abnormal behavior according to an embodiment of the present invention.
본 발명의 실시예에 따른 이상 행위 인지 방법은 (a) 영상 데이터를 수신하는 단계와, (b) 영상 데이터를 이용하여 딥러닝 기반으로 위험 행위를 인지하는 단계와, (c) 영상 데이터를 이용하여 규칙 기반으로 위험 행위를 인지하는 단계 및 (d) 인지 결과를 비교하여 최종 행위를 출력하는 단계를 포함한다. An abnormal behavior recognition method according to an embodiment of the present invention includes (a) receiving image data, (b) recognizing dangerous behavior based on deep learning using image data, and (c) using image data. And (d) comparing the recognition results and outputting the final action.
(b) 단계는 슬라이딩 윈도우를 이용하여 이상 행위 인지 범위를 설정하고, 해당 프레임 내에 객체 및 움직임 존재 여부를 검출한다. In step (b), an abnormal behavior recognition range is set using a sliding window, and the presence of an object and motion in the frame is detected.
(c) 단계는 객체의 위치 정보를 이용하여 이상 행위를 인지한다. In step (c), the abnormal behavior is recognized using the location information of the object.
(d) 단계는 (b) 단계를 통해 획득된 행위 별 인지 확률 및 (c) 단계를 통해 획득된 행위 인지 결과를 비교한다. In step (d), the recognition probability of each action acquired through step (b) and the recognition result of action acquired through step (c) are compared.
S310 단계는 CCTV로부터 영상 데이터를 취득한다. Step S310 acquires image data from CCTV.
S320 단계는 딥러닝 모델 및 규칙 기반 기술에 활용하기 위해, 영상 데이터를 분류한다. In step S320, the image data is classified in order to be used in a deep learning model and a rule-based technology.
S330 단계는 슬라이딩 윈도우 기술을 이용하여 딥러닝 기반으로 이상 행위를 인지할 범위를 설정한다. In step S330, a range for recognizing an abnormal behavior is set based on deep learning using a sliding window technology.
이 때, CCTV로 입력되는 영상의 기설정 범위(예: 3.2s)에 해당하는 시계열 데이터를 이용하여 행위 분석을 수행한다. At this time, behavior analysis is performed using time series data corresponding to a preset range (eg, 3.2s) of the video input to the CCTV.
S340 단계는 딥러닝 기반으로 위험 행위 검출 모델을 통해 해당 영상 내에 이상 행위가 있는지 검출한다. In step S340, it is detected whether there is an abnormal behavior in the corresponding image through a dangerous behavior detection model based on deep learning.
이 때, 3D 컨볼루션을 통해 해당 프레임 내에 사람이 존재하고, 움직임이 있는지 여부를 검출한다. At this time, it is detected whether a person exists in the frame and there is movement through 3D convolution.
S350 단계는 영상 데이터가 분류되면, 해당 영상 프레임 내에 객체가 존재하는지 검출한다. In step S350, when the image data is classified, it is detected whether an object exists in the corresponding image frame.
이 때, 객체 인지 딥러닝 모델을 이용하여 해당 영상 프레임 내 객체가 존재하는지 검출한다. At this time, it is detected whether an object exists in a corresponding image frame using an object recognition deep learning model.
객체가 검출되면, S360 단계는 규칙기반으로 이상 행위를 인지한다. When an object is detected, step S360 recognizes an abnormal behavior based on a rule.
이 때, S350 단계에서 탐지된 객체의 위치 정보 (x, y)를 이용하여 사람의 이상 행위를 인지한다. At this time, the abnormal behavior of a person is recognized using the location information (x, y) of the object detected in step S350.
예컨대, 사람이 특정 범위를 서성거리면 '배회' 이벤트로 탐지한다. For example, when a person wanders through a specific range, it is detected as a'roaming' event.
S370 단계는 S340 단계에서의 딥러닝 기반 위험 행위 검출 결과와, S360 단계에서의 규칙 기반 위험 행위 인지 결과를 비교한다. In step S370, the result of detecting the dangerous behavior based on deep learning in step S340 and the result of recognizing the risk behavior based on rule in step S360 are compared.
본 발명의 실시예에 따르면, 딥러닝 방법과 규칙 기반 방법을 혼합하여 행위 인지 결과를 비교하며, 딥러닝 기반 위험 행위 검출 과정을 통해 획득된 행위별 인지 확률과, 규칙기반으로 나온 행위 인지 결과를 비교하여, 최종 행위를 인지한다. According to an embodiment of the present invention, the behavior recognition results are compared by mixing the deep learning method and the rule-based method, and the behavior recognition probability for each behavior acquired through the deep learning-based dangerous behavior detection process and the behavior recognition result based on the rule are compared. By comparison, recognize the final action.
S380 단계는 S370 단계의 인지 결과 비교에 따라, 이상 행위를 최종적으로 검출하며, 도 2에 도시한 바와 같이 최종적으로 결정된 행위명을 표출한다(Action Event, "펀치"). In step S380, the abnormal behavior is finally detected according to the comparison of the recognition results in step S370, and the finally determined action name is expressed as shown in FIG. 2 (Action Event, "punch").
한편, 본 발명의 실시예에 따른 이상 행위 인지 방법은 컴퓨터 시스템에서 구현되거나, 또는 기록매체에 기록될 수 있다. 컴퓨터 시스템은 적어도 하나 이상의 프로세서와, 메모리와, 사용자 입력 장치와, 데이터 통신 버스와, 사용자 출력 장치와, 저장소를 포함할 수 있다. 전술한 각각의 구성 요소는 데이터 통신 버스를 통해 데이터 통신을 한다.Meanwhile, the abnormal behavior recognition method according to an embodiment of the present invention may be implemented in a computer system or recorded on a recording medium. The computer system may include at least one processor, memory, user input device, data communication bus, user output device, and storage. Each of the above-described components performs data communication through a data communication bus.
컴퓨터 시스템은 네트워크에 커플링된 네트워크 인터페이스를 더 포함할 수 있다. 프로세서는 중앙처리 장치(central processing unit (CPU))이거나, 혹은 메모리 및/또는 저장소에 저장된 명령어를 처리하는 반도체 장치일 수 있다. The computer system may further include a network interface coupled to the network. The processor may be a central processing unit (CPU) or a semiconductor device that processes instructions stored in a memory and/or storage.
메모리 및 저장소는 다양한 형태의 휘발성 혹은 비휘발성 저장매체를 포함할 수 있다. 예컨대, 메모리는 ROM 및 RAM을 포함할 수 있다.The memory and storage may include various types of volatile or nonvolatile storage media. For example, the memory may include ROM and RAM.
따라서, 본 발명의 실시예에 따른 이상 행위 인지 방법은 컴퓨터에서 실행 가능한 방법으로 구현될 수 있다. 본 발명의 실시예에 따른 이상 행위 인지 방법이 컴퓨터 장치에서 수행될 때, 컴퓨터로 판독 가능한 명령어들이 본 발명에 따른 인지 방법을 수행할 수 있다.Therefore, the abnormal behavior recognition method according to an embodiment of the present invention may be implemented in a computer-executable method. When the abnormal behavior recognition method according to an embodiment of the present invention is performed in a computer device, computer-readable instructions may perform the recognition method according to the present invention.
한편, 상술한 본 발명에 따른 이상 행위 인지 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체로는 컴퓨터 시스템에 의하여 해독될 수 있는 데이터가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래시 메모리, 광 데이터 저장장치 등이 있을 수 있다. 또한, 컴퓨터로 판독 가능한 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다.Meanwhile, the method for recognizing abnormal behavior according to the present invention may be implemented as a computer-readable code on a computer-readable recording medium. The computer-readable recording medium includes all types of recording media in which data that can be decoded by a computer system is stored. For example, there may be read only memory (ROM), random access memory (RAM), magnetic tape, magnetic disk, flash memory, optical data storage device, and the like. In addition, the computer-readable recording medium can be distributed in a computer system connected through a computer communication network, and stored and executed as codes that can be read in a distributed manner.
이제까지 본 발명의 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다. So far, we have looked at the center of the embodiments of the present invention. Those of ordinary skill in the art to which the present invention pertains will be able to understand that the present invention may be implemented in a modified form without departing from the essential characteristics of the present invention. Therefore, the disclosed embodiments should be considered from an illustrative point of view rather than a limiting point of view. The scope of the present invention is shown in the claims rather than the above description, and all differences within the scope equivalent thereto should be construed as being included in the present invention.
Claims (8)
상기 영상 데이터를 이용하여 이상 행위를 인지하는 프로그램이 저장된 메모리; 및
상기 프로그램을 실행시키는 프로세서를 포함하되,
상기 프로세서는 딥러닝 및 규칙 기반의 인지 방식을 혼합하여 행위 인지 결과를 비교하여, 상기 이상 행위를 인지하는 것
인 하이브리드 기반 이상 행위 인지 시스템.
An input unit for receiving image data;
A memory in which a program for recognizing an abnormal behavior using the image data is stored; And
Including a processor for executing the program,
The processor recognizes the abnormal behavior by comparing behavior recognition results by mixing deep learning and rule-based recognition methods.
In-hybrid-based ideal behavior recognition system.
상기 프로세서는 상기 영상 데이터를 분류하고, 슬라이딩 윈도우를 이용하여 딥러닝 기반으로 이상 행위를 인지할 범위를 설정하며, 3D 컨볼루션을 통해 프레임 내에 객체 존재 여부 및 움직임 존재 여부를 검출하는 것
인 하이브리드 기반 이상 행위 인지 시스템.
The method of claim 1,
The processor classifies the image data, sets a range for recognizing an abnormal behavior based on deep learning using a sliding window, and detects the presence of an object and movement in the frame through 3D convolution.
In-hybrid-based ideal behavior recognition system.
상기 프로세서는 탐지된 객체의 위치 정보를 이용하여 규칙 기반으로 이상 행위를 인지하는 것
인 하이브리드 기반 이상 행위 인지 시스템.
The method of claim 1,
The processor recognizes an abnormal behavior based on a rule using the location information of the detected object.
In-hybrid-based ideal behavior recognition system.
상기 프로세서는 딥러닝 기반의 인지 방식을 이용한 인지 결과와, 규칙 기반의 인지 방식을 이용한 인지 결과를 비교하여, 최종 행위를 인지하고 출력하는 것
인 하이브리드 기반 이상 행위 인지 시스템.
The method of claim 1,
The processor recognizes and outputs the final action by comparing the recognition result using the deep learning-based recognition method and the recognition result using the rule-based recognition method.
In-hybrid-based ideal behavior recognition system.
(b) 상기 영상 데이터를 이용하여 딥러닝 기반으로 위험 행위를 인지하는 단계;
(c) 상기 영상 데이터를 이용하여 규칙 기반으로 위험 행위를 인지하는 단계; 및
(d) 상기 (b) 단계 및 (c) 단계에서의 인지 결과를 비교하여, 최종 행위를 출력하는 단계
를 포함하는 하이브리드 기반 이상 행위 인지 방법.
(a) receiving image data;
(b) recognizing dangerous behavior based on deep learning using the image data;
(c) recognizing a dangerous behavior based on a rule using the image data; And
(d) comparing the recognition results in steps (b) and (c), and outputting the final action
Hybrid-based abnormal behavior recognition method comprising a.
상기 (b) 단계는 슬라이딩 윈도우를 이용하여 이상 행위 인지 범위를 설정하고, 해당 프레임 내에 객체 및 움직임 존재 여부를 검출하는 것
인 하이브리드 기반 이상 행위 인지 방법.
The method of claim 5,
The step (b) is to set an abnormal behavior recognition range using a sliding window, and to detect whether an object or motion exists in the frame.
Hybrid-based anomalous behavior recognition method.
상기 (c) 단계는 객체의 위치 정보를 이용하여 이상 행위를 인지하는 것
인 하이브리드 기반 이상 행위 인지 방법.
The method of claim 5,
Step (c) is to recognize the abnormal behavior using the location information of the object.
Hybrid-based anomalous behavior recognition method.
상기 (d) 단계는 상기 (b) 단계를 통해 획득된 행위별 인지 확률 및 상기 (c) 단계를 통해 획득된 행위 인지 결과를 비교하는 것
인 하이브리드 기반 이상 행위 인지 방법. The method of claim 5,
The step (d) is to compare the recognition probability for each behavior acquired through the step (b) and the behavior recognition result acquired through the step (c).
Hybrid-based anomalous behavior recognition method.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190146821A KR20210059411A (en) | 2019-11-15 | 2019-11-15 | System and method for abnormal behavior detection |
| PCT/KR2019/015977 WO2021095962A1 (en) | 2019-11-15 | 2019-11-20 | Hybrid-based recognition system for abnormal behavior and method therefor |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190146821A KR20210059411A (en) | 2019-11-15 | 2019-11-15 | System and method for abnormal behavior detection |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20210059411A true KR20210059411A (en) | 2021-05-25 |
Family
ID=75913021
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190146821A KR20210059411A (en) | 2019-11-15 | 2019-11-15 | System and method for abnormal behavior detection |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR20210059411A (en) |
| WO (1) | WO2021095962A1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11907771B2 (en) | 2021-09-16 | 2024-02-20 | Hyundai Motor Company | Action recognition device and action recognition method |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113793441B (en) * | 2021-11-17 | 2022-01-07 | 兰和科技（深圳）有限公司 | Campus visitor safety analysis system based on thing networking |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102015207415A1 (en) * | 2015-04-23 | 2016-10-27 | Adidas Ag | Method and apparatus for associating images in a video of a person's activity with an event |
| US10629048B2 (en) * | 2017-09-29 | 2020-04-21 | Apple Inc. | Detecting falls using a mobile device |
| KR101900237B1 (en) * | 2017-10-20 | 2018-09-19 | 주식회사 삼진엘앤디 | On-site judgment method using situation judgment data on acquired images |
| KR20190063729A (en) * | 2017-11-30 | 2019-06-10 | 주식회사 넥토마이닝 | Life protection system for social disaster using convergence technology like camera, sensor network, and directional speaker system |
| JP7087397B2 (en) * | 2018-01-17 | 2022-06-21 | 東京エレクトロン株式会社 | Substrate defect inspection equipment, substrate defect inspection method and storage medium |
-
2019
- 2019-11-15 KR KR1020190146821A patent/KR20210059411A/en unknown
- 2019-11-20 WO PCT/KR2019/015977 patent/WO2021095962A1/en active Application Filing
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11907771B2 (en) | 2021-09-16 | 2024-02-20 | Hyundai Motor Company | Action recognition device and action recognition method |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2021095962A1 (en) | 2021-05-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10949650B2 (en) | Face image de-identification apparatus and method | |
| DK2377044T3 (en) | DETECTING ANORMAL EVENTS USING A LONG TIME MEMORY IN A VIDEO ANALYSIS SYSTEM | |
| US20180089497A1 (en) | Image processing | |
| US20140023248A1 (en) | Apparatus and method for protecting privacy information based on face recognition | |
| CN104966053A (en) | Face recognition method and recognition system | |
| KR101458136B1 (en) | Video processing method, video processing server performing the same, monitoring server performing the same, system performing the same and storage medium storing the same | |
| US20150262068A1 (en) | Event detection apparatus and event detection method | |
| US10891493B2 (en) | Crowd type classification system, crowd type classification method and storage medium for storing crowd type classification program | |
| KR20210059411A (en) | System and method for abnormal behavior detection | |
| CN108734684B (en) | Image background subtraction for dynamic illumination scene | |
| KR102073406B1 (en) | Method and system for detect electric arc occurrence position | |
| EP3812937A1 (en) | System and method for protection and detection of adversarial attacks against a classifier | |
| CN110675582A (en) | Automatic alarm method and device | |
| US20180300568A1 (en) | Detecting device and method of detecting target object in vehicle | |
| KR101979375B1 (en) | Method of predicting object behavior of surveillance video | |
| KR20220078893A (en) | Apparatus and method for recognizing behavior of human in video | |
| KR101689863B1 (en) | Part-based flame detection device and method | |
| US20230118532A1 (en) | Method and system for detecting a spoofing attempt | |
| KR101650757B1 (en) | Contents protection method and computer program thereof | |
| US20240046647A1 (en) | Method and device for detecting obstacles, and computer storage medium | |
| CN115294649B (en) | Method, apparatus, storage medium and processor for identifying behavior using mobile device | |
| US20230017325A1 (en) | Masking of objects in a video stream | |
| KR102592718B1 (en) | Method and apparatus for discriminating between original image and forgery image based on adding noise | |
| KR20210059412A (en) | System and method for real time abnormal behavior detection model | |
| JP2011076638A (en) | Abnormal behavior detection device |