KR101925907B1 - Apparatus and method for studying pattern of moving objects using adversarial deep generative model - Google Patents

Apparatus and method for studying pattern of moving objects using adversarial deep generative model Download PDF

Info

Publication number
KR101925907B1
KR101925907B1 KR1020160069343A KR20160069343A KR101925907B1 KR 101925907 B1 KR101925907 B1 KR 101925907B1 KR 1020160069343 A KR1020160069343 A KR 1020160069343A KR 20160069343 A KR20160069343 A KR 20160069343A KR 101925907 B1 KR101925907 B1 KR 101925907B1
Authority
KR
South Korea
Prior art keywords
image
learning
motion pattern
movement pattern
motion
Prior art date
Application number
KR1020160069343A
Other languages
Korean (ko)
Other versions
KR20170137350A (en
Inventor
이춘원
Original Assignee
(주)싸이언테크
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)싸이언테크 filed Critical (주)싸이언테크
Priority to KR1020160069343A priority Critical patent/KR101925907B1/en
Publication of KR20170137350A publication Critical patent/KR20170137350A/en
Application granted granted Critical
Publication of KR101925907B1 publication Critical patent/KR101925907B1/en

Links

Images

Classifications

    • G06K9/627—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06K9/66—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/192—Recognition using electronic means using simultaneous comparisons or correlations of the image signals with a plurality of references
    • G06V30/194—References adjustable by an adaptive method, e.g. learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 입력영상에서 움직이는 객체의 특징점을 추적하고 각 움직임 패턴을 학습하여 토픽별로 분류하는 움직임 패턴 획득부 및 상기 움직임 패턴 획득부에 저장된 토픽별 움직임 패턴정보정보를 이용하여 입력된 이미지에 따른 움직임 패턴을 학습하는 이미지별 움직임 패턴 학습부를 포함하는 신경망 생성 모델을 이용한 객체 움직임 패턴 학습장치를 제공한다.
본 발명에 따르면, 감시지역에 대한 하루정도 분량의 CCTV 카메라 영상을 학습영상으로 입력받아 DBN 및 GAN을 이용하여 학습한 이후 해당 감시지역의 영상을 입력받아 어떠한 움직임 패턴이 나타나고 있는지를 즉각적으로 확인할 수 있다.The present invention relates to a motion pattern acquisition unit for tracing minutiae points of moving objects in an input image and classifying them according to topics by learning each motion pattern, An object movement pattern learning apparatus using a neural network generation model including an image motion pattern learning unit for learning a pattern is provided.
According to the present invention, after a one-minute CCTV camera image of a monitoring area is input as a learning image, and the image is learned by using a DBN and a GAN, an image of the corresponding monitoring area is input and immediately, have.

Description

신경망 생성 모델을 이용한 객체 움직임 패턴 학습장치 및 그 방법{APPARATUS AND METHOD FOR STUDYING PATTERN OF MOVING OBJECTS USING ADVERSARIAL DEEP GENERATIVE MODEL}[0001] APPARATUS AND METHOD FOR STUDYING PATTERN OF MOVING OBJECTS [0002] USING ADVERSEAL DEEP GENERATIVE MODEL [0003]

본 발명은 객체 움직임 패턴 학습장치 및 그 방법에 관한 것으로써, 더욱 상세하게는 신경망 생성 모델을 이용, 교통 감지 상황에서 직진, 좌회전, 우회전 등의 주요한 객체의 움직임 패턴을 자동으로 학습할 수 있는 신경망 생성 모델을 이용한 객체 움직임 패턴 학습장치 및 그 방법에 관한 것이다.
The present invention relates to an apparatus and method for learning an object movement pattern, and more particularly, to a neural network model learning apparatus and method for learning a movement pattern of a principal object such as a straight line, a left turn, An object movement pattern learning apparatus using the generation model, and a method thereof.

대규모 CCTV 시스템의 경우에 수십 개에서 수백 개에 이르는 영상들을 관리요원들이 모니터링하여야 하므로 대단히 많은 인원이 소요되면서도 감시 요원의 집중력 저하나 피로, 부주의, 임의적인 판단에 따라 중요한 상황을 놓치는 경우가 종종 있을 뿐 아니라, 엄청난 시간의 영상을 저장하는 문제에서도 곤란한 점이 많다.
In the case of a large-scale CCTV system, the monitoring personnel need to monitor dozens to hundreds of images, so it takes a considerable number of people and often misses important situations due to concentration of the monitoring personnel, fatigue, carelessness, and arbitrary judgment In addition, there are many difficulties in storing images of a huge amount of time.

따라서 공공 장소를 감시하기 위해 CCTV 카메라로 공공 장소를 촬영하고 자동으로 영상을 분석하여 불특정 다수의 물체들을 추출하고 움직임을 분석하여, 비정상적인 움직임이 감지될 경우에 자동으로 관리자에게 경고하거나 그 밖의 연계된 자동화 시스템에 정보를 전달하는 지능형 영상 감시 시스템에 대한 요구가 점점 커지고 있다.
Therefore, in order to monitor a public place, a public place is photographed with a CCTV camera, and an image is automatically analyzed to extract an unspecified number of objects and analyze the motion. When an abnormal motion is detected, There is a growing demand for intelligent video surveillance systems that transmit information to automation systems.

본 발명과 관련된 선행기술로 대한민국공개특허공보 제2014-0106362호의 '비정상 움직임 탐지 장치 및 방법'은 입력영상 내에서 움직이는 물체의 특징점을 추출한 후, 상기 추출된 특징점들의 시간에 따른 위치변화를 추적하여 상기 추출된 특징점들의 궤적을 파악하는 특징점 추적부, 상기 입력영상을 상기 궤적의 묶음인 문서단위로 분류하고, 확률적 토픽 모델인 온라인 학습방법을 적용하여 분류된 문서를 구성하는 토픽들의 확률분포 상태를 파악하는 토픽 온라인 학습부 및 상기 파악된 토픽별로 영역, 속도 및 방향을 학습하고, 파악된 토픽 간의 시공간적 연관관계를 추론하여 움직임 패턴을 학습하는 움직임 패턴 온라인 학습부를 포함하고 있다.
In the prior art related to the present invention, Korean Patent Laid-Open Publication No. 2014-0106362, 'Unsteady Motion Detection Apparatus and Method', extracts feature points of moving objects in the input image and tracks the positional changes of the extracted feature points over time A feature point tracing unit for recognizing a trajectory of the extracted minutiae points; a classification unit for classifying the input image into a document unit that is a bundle of the trajectory, and a probability distribution state of topics constituting the classified document by applying an online learning method, And a movement pattern on-line learning unit that learns an area, a speed, and a direction for each of the identified topics, and learns a movement pattern by inferring a spatio-temporal association between the identified topics.

그러나 상기 선행기술은 카메라로부터 획득된 이미지 정보를 활용하지 못하고 단지 이미지로부터 추출된 객체의 궤적정보만을 활용하여 객체의 움직임 패턴을 분석하고 있을 뿐이다.
However, the prior art does not utilize the image information obtained from the camera, but merely analyzes the motion pattern of the object by utilizing only the trajectory information of the object extracted from the image.

따라서 복잡한 패턴을 가진 궤적들을 분석하여 각 움직임에 따른 토픽별로 분류하여 움직임 패턴을 생성함과 동시에 카메라로부터 입력된 이미지 정보만을 이용하여 입력된 이미지에 해당하는 움직임 패턴을 예측할 수 있는 새로운 객체 움직임 패턴 학습방법이 요구된다 할 것이다.
Therefore, it is possible to generate a motion pattern by classifying the trajectories having complicated patterns and classify them according to each motion topic, and simultaneously generate a new object motion pattern learning A method is required.

대한민국 공개특허공보 제10-2014-0106362호(2014.09.03)Korean Patent Publication No. 10-2014-0106362 (Apr.

본 발명은 상술한 문제점을 해결하기 위해 안출된 것으로서, 본 발명의 목적은 복잡한 패턴을 가진 궤적들을 분석하여 각 움직임에 따른 토픽별로 분류하여 움직임 패턴을 생성함과 동시에 카메라로부터 입력된 이미지 정보만을 이용하여 입력된 이미지에 해당하는 움직임 패턴을 분석, 예측할 수 있는 신경망 생성 모델을 이용한 객체 움직임 패턴 학습장치 및 그 방법을 제공하기 위한 것이다.
SUMMARY OF THE INVENTION The present invention has been made to solve the above-mentioned problems, and it is an object of the present invention to provide a method and apparatus for analyzing trajectories having complicated patterns and classifying the trajectories according to topics according to each movement to generate a movement pattern, An object movement pattern learning apparatus using the neural network generation model capable of analyzing and predicting a movement pattern corresponding to an input image, and a method therefor.

상기 과제를 해결하기 위해, 본 발명의 일실시예인 입력영상에서 움직이는 객체의 특징점을 추적하고 각 움직임 패턴을 학습하여 토픽별로 분류하는 움직임 패턴 획득부 및 상기 움직임 패턴 획득부에 저장된 토픽별 움직임 패턴정보정보를 이용하여 입력된 이미지에 따른 움직임 패턴을 학습하는 이미지별 움직임 패턴 학습부를 포함할 수 있다. According to an embodiment of the present invention, there is provided a motion pattern obtaining unit for tracking feature points of an object moving in an input image, And an image-based motion pattern learning unit for learning a motion pattern according to the input image using the information.

본 발명의 일실시예의 일태양에 의하면, 상기 움직임 패턴 획득부는 카메라로부터 소정의 영상을 획득하는 영상획득부, 상기 영상획득부에서 출력되는 입력 영상의 매 이미지를 소정의 규격으로 구획된 격자로 나눈 후, 상기 특징점이 통과하는 각 격자의 집합을 움직임 패턴 분류부의 입력 관측값으로 생성하는 특징점 추적부 및 상기 입력 관측값을 입력받아 Deep Belief Network(DBN)를 통하여 움직임 패턴을 학습하고 각 움직임 패턴을 토픽별로 분류하는 움직임 패턴 분류부를 포함할 수 있다.
According to an embodiment of the present invention, the movement pattern obtaining unit may include an image obtaining unit that obtains a predetermined image from a camera, an image obtaining unit that divides each image of the input image output from the image obtaining unit by a grid partitioned by a predetermined standard A minutiae tracking unit for generating a set of each grid through which the minutia passes, as an input observation value of a movement pattern classification unit, and a movement pattern through a Deep Belief Network (DBN) And a motion pattern classifying unit for classifying the motion patterns into topics.

본 발명의 일실시예의 일태양에 의하면, 상기 이미지별 움직임 패턴 학습부는 입력된 이미지에 따른 움직임 패턴 정보를 출력하는 제너레이터, 상기 제너레이터에서 출력되는 움직임 패턴 정보(G(z))와 입력된 이미지와 동기화된 상기 움직임 패턴 획득부에 저장된 움직임 패턴정보(x)를 구분하는 디스크리미네이터 및 상기 제너레이터에서 출력되는 움직임 패턴(G(z))와 상기 디스크리미네이터에서 출력되는 움직임 패턴(x)간 차이가 최대화 되도록 상기 디스크리미네이터를 업데이트한 후, 상기 차이가 최소화 되도록 제너레이터를 업데이트하는 업데이트부를 포함할 수 있다. According to an embodiment of the present invention, the per-image motion pattern learning unit includes a generator for outputting motion pattern information according to an input image, a motion pattern information generator for generating motion pattern information (G (z)) output from the generator, A difference between a motion pattern (G (z)) output from the generator and a motion pattern (x) output from the discrepancer, the discrepiner identifying the motion pattern information (x) And an updater for updating the generator so that the difference is minimized after updating the disc remover to maximize the difference.

본 발명의 또 다른 일실시예인 신경망 생성 모델을 이용한 객체 움직임 패턴 학습방법은 입력된 영상으로부터 움직이는 객체의 특징점이 소정의 규격으로 구획된 격자를 통과하는 각 격자의 집합을 입력 관측값으로 생성하는 단계, 상기 입력 관측값을 입력받아 Deep Belief Network(DBN)를 통하여 움직임 패턴을 학습하고 각 움직임 패턴을 토픽별로 분류, 저장하는 단계, 소정의 입력 이미지에 따른 움직임 패턴(G(z))을 생성하는 단계 및 상기 움직임 패턴(G(z))과 DBN으로 부터 전달받은 움직임 패턴(x), 소정의 입력 이미지와 동기화됨)과의 상관관계를 학습하는 단계를 포함할 수 있다. The object motion pattern learning method using a neural network generation model according to another embodiment of the present invention includes generating a set of lattices through which a minutiae of a moving object passes through a lattice partitioned by a predetermined standard from an input image into an input observation value , Learning the movement pattern through the Deep Belief Network (DBN) by receiving the input observation value, classifying and storing each movement pattern by topic, generating a movement pattern G (z) according to a predetermined input image, And a movement pattern (x) received from the DBN, which are synchronized with a predetermined input image) in accordance with the movement pattern (G (z)).

본 발명의 또 다른 일실시예의 일태양에 의하면, 상기 생성된 움직임 패턴과 저장된 움직임 패턴(소정의 입력 이미지와 매칭됨)과의 상관관계를 학습하는 단계는 움직임 패턴(G(z))과 움직임 패턴(x) 차이에 따라 GAN의 디스크리미네이터는 두 움직임 패턴을 더욱 잘 구분하기 위하여 상기 차이를 극대화하는 방향으로 업데이트를 진행하며, GAN의 제너레이터는 두 움직임 패턴간의 차이를 최소화 하는 방향으로 업데이트를 진행하는 것을 특징으로 한다.According to another aspect of the present invention, the step of learning the correlation between the generated movement pattern and the stored movement pattern (matched with a predetermined input image) Depending on the pattern (x) difference, the GAN discrimeter will update to maximize the difference to better distinguish between the two movement patterns, and the GAN generator will update to minimize the difference between the two movement patterns. .

상기와 같은 본 발명에 따르면, 감시지역에 대한 하루정도 분량의 CCTV 카메라 영상을 학습영상으로 입력받아 DBN 및 GAN을 이용하여 학습한 이후 해당 감시지역의 영상을 입력받아 어떠한 움직임 패턴이 나타나고 있는지를 즉각적으로 확인할 수 있다.
According to the present invention as described above, the CCTV camera image of about one day about the monitoring area is input as the learning image and the image of the monitoring area is inputted after learning using the DBN and GAN, .

따라서 판단된 움직임 패턴정보를 이용하여 현재 패턴과 크게 어긋나는 움직임을 비정상 움직임으로 판단할 수 있으며, 교통현황을 파악하는 경우, 각 움직임 패턴별 교통량 측정 등 교통 통계분석에 활용할 수 있다.
Accordingly, it is possible to determine the motion that is largely deviated from the current pattern by using the determined motion pattern information as an abnormal motion. When the traffic situation is grasped, it can be utilized for the traffic statistic analysis such as traffic volume measurement for each motion pattern.

도 1은 본 발명의 일 실시예에 따른 신경망 생성 모델을 이용한 객체 움직임 패턴 학습장치의 블록구성도이다.
도 2는 본 발명의 일 실시예에 따른 움직임 패턴을 생성하여 저장하는 움직임 패턴 분류부 및 이미지별 움직임 패턴 학습부를 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 영상내 객체의 특징점을 추적하는 과정을 설명하기 위한 사진이다.
도 4는 본 발명의 일 실시예에 따른 영상내 객체의 움직임 패턴을 각 토픽별로 분류된 화면을 보여주는 사진이다.
도 5는 본 발명의 일 실시예에 따른 신경망 생성 모델을 이용한 입력된 이미지에 따른 움직임 패턴 학습방법을 설명하기 위한 순서도이다. 1 is a block diagram of an apparatus for learning an object movement pattern using a neural network generation model according to an embodiment of the present invention.
FIG. 2 is a diagram for explaining a motion pattern classifying unit and an image-based motion pattern learning unit for generating and storing a motion pattern according to an embodiment of the present invention.
3 is a photograph for explaining a process of tracking feature points of an object in an image according to an embodiment of the present invention.
FIG. 4 is a photograph showing a screen in which movement patterns of objects in an image are classified according to each topic according to an embodiment of the present invention.
5 is a flowchart for explaining a motion pattern learning method according to an input image using a neural network generation model according to an embodiment of the present invention.

이하의 상세한 설명은 예시에 지나지 않으며, 본 발명의 실시 예를 도시한 것에 불과하다. 또한 본 발명의 원리와 개념은 가장 유용하고, 쉽게 설명할 목적으로 제공된다.The following detailed description is merely an example, and is merely an example of the present invention. Further, the principles and concepts of the present invention are provided for the purpose of being most useful and readily explaining.

따라서, 본 발명의 기본 이해를 위한 필요 이상의 자세한 구조를 제공하고자 하지 않았음은 물론 통상의 지식을 가진 자가 본 발명의 실체에서 실시될 수 있는 여러 가지의 형태들을 도면을 통해 예시한다.
Accordingly, it is not intended to provide a more detailed structure than is necessary for a basic understanding of the present invention, but it should be understood by those skilled in the art that various forms that can be practiced in the present invention are illustrated in the drawings.

이하 첨부한 도면을 참조하여 본 발명의 바람직한 실시예에 대한 구성 및 작용을 상세히 설명하면 다음과 같다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시예에 따른 신경망 생성 모델을 이용한 객체 움직임 패턴 학습장치의 블록구성도이고, 도 2는 본 발명의 일 실시예에 따른 움직임 패턴을 생성하여 저장하는 움직임 패턴 분류부 및 이미지별 움직임 패턴 학습부를 설명하기 위한 도면이다. FIG. 1 is a block diagram of an object motion pattern learning apparatus using a neural network generation model according to an embodiment of the present invention. FIG. 2 is a block diagram of a motion pattern classifier for generating and storing a motion pattern according to an embodiment of the present invention. Image motion pattern learning unit.

도 1에서 보는 바와 같이, 움직임 패턴 학습장치(1000)는 카메라로부터 소정의 영상을 획득하는 영상획득부(110)로부터 입력되는 영상에서 움직이는 객체의 특징점을 추적하고 각 움직임 패턴을 학습하여 토픽별로 분류하는 움직임 패턴 획득부(100) 및 상기 움직임 패턴 획득부에 저장된 토픽별 움직임 패턴정보정보를 이용하여 입력된 이미지에 따른 움직임 패턴을 학습하는 이미지별 움직임 패턴 학습부(200)를 포함할 수 있다.As shown in FIG. 1, the motion pattern learning apparatus 1000 tracks feature points of moving objects in an image input from an image acquisition unit 110 that acquires a predetermined image from a camera, learns each motion pattern, And an image-based motion pattern learning unit 200 for learning a motion pattern corresponding to the input image using the motion pattern information by topic stored in the motion pattern obtaining unit.

도 2를 참조하면, 움직임 패턴 학습장치(1000)에서 상기 움직임 패턴 획득부(100)는 Deep Belief Network(이하 'DBN'이라 한다)를 이용하며, 이미지별 움직임 패턴 학습부(200)는 Generative Adversarial Network(이하 'GAN'이라 한다, 200)를 이용하여 구현될 수 있다. 2, the motion pattern acquisition unit 100 uses a Deep Belief Network (hereinafter, referred to as 'DBN') in the motion pattern learning apparatus 1000, and the per-image motion pattern learning unit 200 generates Generative Adversarial Network (hereinafter, referred to as 'GAN', 200).

상기 DBN은 Restricted Boltzmann Machine(이하 'RBM'이라 한다)이 여러층으로 쌓여져 있는 형태로 구성되어 소정의 학습 훈련을 하기 위한 관측값이 입력되는 입력 레이어(131)와 입력 레이어의 각각의 노드들과 연결되는 각각의 노드들로 구성되는 상위 레이어(132)와 상위 레이와 연결되는 제1 은닉 레이어(133) 및 제1 은닉 레이어와 연결되는 제2 은닉 레이어(134)로 구성될 수 있다. 기본적으로 RBM은 볼 수 있는 층(Visible layer)와 숨겨진 층(Hidden layer)의 두층으로 이루어지며 하나의 층을 구성하는 노드들과 다른 층을 구성하는 노드들은 각각의 가중치(W)에 의하여 연결관계가 결정되고 소정의 학습규칙에 따라 원래의 입력 데이터가 확률적으로 복구될 때까지 각각의 히든 노드값 및 각각의 가중치를 업데이트함으로써 학습을 하게 된다. DBN의 입력 레이어(131)의 각 노드에 입력되는 입력 관측값(Xi1, Xi2, ~ Xin)은 특징점 추적부(120)에서 입력 영상의 매 이미지를 소정의 규격으로 구획된 격자로 나눈 후(예를 들어 매 이미지를 10*10 격자로 나눔), 상기 특징점이 통과하는 각 격자의 집합으로 표현될 수 있다. The DBN includes an input layer 131 in which a restricting boltzmann machine (hereinafter, referred to as 'RBM') is stacked in layers and in which observation values for predetermined learning and training are input, A first hidden layer 133 connected to the upper layer and a second hidden layer 134 connected to the first hidden layer. Basically, the RBM consists of two layers, a visible layer and a hidden layer. The nodes constituting one layer and the nodes constituting the other layer are connected to each other by a weight (W) Learning is performed by updating each hidden node value and each weight until the original input data is probabilistically restored according to a predetermined learning rule. The input observation values (Xi1, Xi2, ..., Xin) input to each node of the input layer 131 of the DBN are obtained by dividing each image of the input image by the feature point tracking unit 120 into a grid partitioned by a predetermined standard And dividing the image by a 10 * 10 grid), and can be represented by a set of gratings through which the feature points pass.

특징점 추적부(120)는 KLT(Kande-Lukas-Tomasi) 추적 알고리즘에 의하여 구현될 수 있으며, 다른 객체 추적 알고리즘에 비하여 혼잡한 상황에서 객체의 움직임 정보를 제공할 수 있다(도 3 참조). 입력되는 영상의 매 이미지별 특징점이 통과하는 궤적 정보는 움직임 패턴을 분석하기 위하여 이산화된 값으로 변환되어 입력 관측값으로 생성될 수 있다. 상기 입력 관측값(Xi1, Xi2, ~ Xin)은 DBN(130)의 입력 레이어의 각각의 노드값으로 입력되며, RBM의 소정의 학습규칙에 따라 각각의 가중치(W)가 결정될 수 있다. 여기서 상기 입력 관측값(특징점 궤적정보)은 문서(document)형태로 제공될 수 있다. The feature point tracking unit 120 may be implemented by a KLT (Kande-Lukas-Tomasi) tracking algorithm, and may provide motion information of an object in a congested state as compared with other object tracking algorithms (see FIG. The trajectory information through which the minutiae of each image of the inputted image passes can be converted to the discretized value to generate the input observation value for analyzing the movement pattern. The input observation values Xi1, Xi2, ..., Xin are input as respective node values of the input layer of the DBN 130, and the weights W may be determined according to a predetermined learning rule of the RBM. Herein, the input observation value (feature point sign information) may be provided in the form of a document.

움직임 패턴 분류부(130)는 DBN을 통하여 결정된 상위 레이어(132)를 구성하는 노드(t1,t2 ~ tk)의 개수(여기서는 K개)에 따라 토픽으로 분류될 수 있다. 상기 토픽(Topic)은 각 움직임 패턴을 학습한 결과 나타나는 예를 들어 영상에서 객체의 움직임 학습결과 직진, 좌회전, 우회전, U턴 등으로 분류될 수 있으며, 상위 레이어(132)의 노드 개수를 조정함으로써 학습된 움직임 패턴에 의하여 분류할 수 있는 토픽 개수를 조정할 수 있다. 여기서 각각의 움직임 패턴정보는 상위 레이어(132) 각각의 노드들에서 입력 레이어(131) 각각의 노드 방향으로 정의되는 가중치 행렬 W의 각 열 벡터(Column Vector)로 정의될 수 있다. 도 4는 본 발명의 일 실시예에 따른 영상내 객체의 움직임 패턴을 각 토픽별로 분류된 화면을 보여주는 사진으로 도 4에서 보는 바와 같이, 움직임 패턴 획득부(100)는 사거리에 대한 교통영상을 입력받아 영상에서 움직이는 객체의 움직임 패턴을 DBN을 통하여 학습하고 각 학습된 움직임 패턴을 직진, 좌회전, 우회전 등의 토픽으로 분류하여 화면에 표시할 수 있다. The movement pattern classifying unit 130 can be classified into topics according to the number of nodes t1, t2 to tk (K in this case) constituting the upper layer 132 determined through the DBN. For example, the topic topic may be classified into a straight line, a left turn, a right turn, a U turn, or the like, which is a result of learning each motion pattern. By adjusting the number of nodes of the upper layer 132 The number of topics that can be classified by the learned movement pattern can be adjusted. Here, each motion pattern information may be defined as a column vector of a weighting matrix W defined in the node direction of each of the input layers 131 in each of the upper layer 132 nodes. FIG. 4 is a photograph showing a screen in which a movement pattern of an object in an image is classified according to each topic according to an embodiment of the present invention. As shown in FIG. 4, the movement pattern obtaining unit 100 inputs a traffic image for a range It learns the movement pattern of moving objects in the received image through DBN, and classifies the learned movement patterns into topics such as straight forward, leftward, and rightward, and displays them on the screen.

다시 도 2를 참조하면, 이미지별 움직임 패턴 학습부(200)는 GAN를 이용하여 구현할 수 있으며, 제너레이터(220), 디스크리미네이터(210) 및 업데이트부(미도시)를 포함할 수 있다. Referring again to FIG. 2, the per-image motion pattern learning unit 200 may be implemented using a GAN, and may include a generator 220, a disc remover 210, and an update unit (not shown).

이미지별 움직임 패턴 학습부(200)는 DBN을 이용하는 움직임 패턴 획득부(100)와 연동하여 입력되는 이미지별로 어떠한 움직임 패턴이 나타나는지를 학습할 수 있다. 이미지별 움직임 패턴 학습부(200)는 입력되는 이미지별 해당하는 움직임 패턴을 학습하기 위하여 영상의 이미지별로 DBN의 입력 레이어로 입력되는 입력 관측값(특징점의 궤적정보)과 GAN의 제너레이터(220)에 입력되는 이미지의 싱크(sync)가 동일해야 한다. 즉 DBN은 입력되는 영상 중 소정의 t시간에 입력되는 이미지(현재 프레임)에서의 입력 관측값(궤적정보)에 따라 어떤 움직임 패턴이 나타나는지에 대한 학습이 이미 이루어져 있음으로 소정의 t 시간에 입력되는 이미지에 대한 움직임 패턴정보를 이미지별 움직임 패턴 학습부(200)의 상위 레이어(222)에 알려줄 수 있다. 따라서 제너레이터(220)는 소정의 t 시간에 입력되는 이미지정보(221)와 DBN으로부터 전달받은 움직임 패턴과 비교하여 상호 상관관계에 대하여 학습할 수 있다.The per-image motion pattern learning unit 200 can learn how a motion pattern appears for each input image in cooperation with the motion pattern obtaining unit 100 using the DBN. The per-image motion pattern learning unit 200 generates an input observation value (locus information of the feature point) input to the input layer of the DBN for each image of the image to learn a corresponding motion pattern for each input image, The input image must have the same sync. That is, since the DBN has already learned how the movement pattern appears according to the input observation value (the trajectory information) in the image (current frame) input at the predetermined time t of the input image, the DBN is inputted at the predetermined time t The motion pattern information for the image can be informed to the upper layer 222 of the motion pattern learning unit 200 for each image. Accordingly, the generator 220 can learn the correlation between the image information 221 input at a predetermined time t and the movement pattern received from the DBN.

제너레이터(220)는 소정의 t시간에 DBN으로부터 전달받은 궤적에 따른 움직임 패턴정보(확률)를 기준으로 입력된 이미지정보(221)로부터 상기 전달받은 궤적에 따른 움직임 패턴정보(G(Z))를 출력할 수 있도록 학습할 수 있다.Generator 220 generates motion pattern information G (Z) according to the received trajectory from the input image information 221 on the basis of the motion pattern information (probability) according to the trajectory transmitted from the DBN at a predetermined time t So that it can be output.

디스크리미네이터(210)는 상기 제너레이터(220)에서 출력되는 움직임 패턴정보(G(Z))와 DBN으로부터 전달받은 움직임 패턴정보(x)와의 차이를 구분하는 기능을 수행할 수 있다. 즉 GAN은 mini-max게임(수식 1 참조)을 통하여 디스크리미네이터의 성능을 최대한 끌어올리도록 계속적으로 학습함으로써 이미지별 움직임 패턴 학습부(200)는 소정의 t시간에 입력되는 이미지정보만을 가지고 해당 이미지정보에 따른 움직임 패턴을 화면상에 표시할 수 있다.The disc re-heater 210 may perform a function of distinguishing the difference between the movement pattern information G (Z) output from the generator 220 and the movement pattern information x received from the DBN. In other words, the GAN continuously learns to maximize the performance of the disc remover through the mini-max game (see Equation 1), so that the per-image motion pattern learning unit 200 acquires only the image information input at the predetermined time t A motion pattern according to the image information can be displayed on the screen.

[수식1]

Figure 112019500497616-pat00001

여기서 x 는 소정의 t시간에 DBN으로부터 전달받은 움직임 패턴정보이며, G(z)는 소정의 t시간에 이미지정보(221)를 입력받은 제너레이터(220)에서 출력되는 움직임 패턴 정보이다.
여기서 DBN으로부터 전달받은 움직임 패턴 정보(x)는 도 2의 토픽 레이어(132)에 생성되는 t1, t2, t3.... tk 를 의미하며, 여기서 이미지 정보(z)는 도 2의 이미지정보(221)인 αd1, αd2, ....αd3을 의미한다.
여기서,
Figure 112019500497616-pat00007
는 DBN으로부터 전달받은 움직임 패턴 정보(x)와 제너레이터(220)에서 출력되는 움직임 패턴 정보(G(z))를 분간하기 위한 식이다.
여기서 Ex~pdata(x)[logD(x)]는 DBN으로부터 전달받은 움직임 패턴정보(x)의 분포에서 샘플링한 x에 대한 디스크리미네이터 D(x)의 로그 평균값을 의미한다.
여기서 D(G(z))는 제너레이터에 입력되는 이미지 정보(z)의 분포에서 샘플링한 z에 대하여 제너레이터에서 출력되는 움직임 패턴정보(G(z))에 대한 디스크리미네이터 값이다.여기서 Ez~pz(z)[log(1-D(G(z)))]는 제너레이터에 입력되는 이미지 정보(z)의 분포에서 샘플링한 z에 대하여 제너레이터에서 출력되는 움직임 패턴정보(G(z))에 대한 디스크리미네이터 1-D(G(z))의 로그 평균값을 의미한다.[Equation 1]
Figure 112019500497616-pat00001

Here, x is motion pattern information received from the DBN at a predetermined time t, and G (z) is motion pattern information output from the generator 220 receiving the image information 221 at a predetermined time t.
Here, the motion pattern information (x) received from the DBN means t 1 , t 2 , t 3 .... t k generated in the topic layer 132 of FIG. 2, where the image information (z) Alpha d1 , alpha d2 , ..., alpha d3 , which are image information 221 of the image data.
here,
Figure 112019500497616-pat00007
Is an expression for discriminating the movement pattern information (x) received from the DBN and the movement pattern information G (z) output from the generator 220.
Here, E x ~pdata (x) [log D (x)] is log mean value of the discrepinator D (x) with respect to x sampled in the distribution of the motion pattern information (x)
Here, D (G (z)) is a discretizer value for motion pattern information G (z) output from the generator with respect to z sampled in the distribution of image information z input to the generator, where E z (z (z)) output from the generator with respect to z sampled in the distribution of the image information (z) input to the generator, D (G (z)) of the disc 1 with respect to the disc 1.

상기 수식 1의 minmax게임에 의하여 이미지별 움직임 패턴 학습부(200)의 업데이트부는 G(z)를 고정시킨 상태에서 디스크리미네이터 D()에 DBN으로부터 전달받은 움직임 패턴정보(x)가 입력되는 경우, D(x) 값은 1에 가깝게 출력되도록 함과 동시에 D(G(z)) 값은 0에 가깝게 출력되도록 함으로써 디스크리미네이터의 파라미터를 조정한다(디스크리미네이터(D)에 대한 max게임). 계속적으로 이미지별 움직임 패턴 학습부(200)의 업데이트부는 D(x)를 고정시킨 상태에서 디스크리미네이터 D()에 제너레이터에서 출력되는 움직임 패턴정보(G(z))가 입력되는 경우, D(G(z))값은 1에 가깝게 출력되도록 제너레이터의 파라미터를 조정한다(제너레이터(G)에 대한 min게임).The update unit of the per-motion-pattern learning unit 200 according to the minmax game of Equation 1 may be configured such that when the motion pattern information x received from the DBN is input to the disc re-dispenser D , The D (x) value is outputted close to 1, and the D (G (z)) value is outputted close to 0, thereby adjusting the parameters of the disc re-heater (max game for the discrepriner (D) . If the motion pattern information G (z) output from the generator is inputted to the discrepancer D () in a state where D (x) is fixed, the updating unit of the per- G (z)) value is adjusted to be close to 1 (min game for generator (G)).

업데이트부는 이미지별 움직임 패턴 학습부(200)의 최종목표인 소정의 t시간에 제너레이터(220)에 입력되는 이미지정보에 따라 출력되는 움직임 패턴정보와 DBN에서 소정의 t시간에 입력된 궤적정보에 따라 분류된 움직임 패턴정보가 일치하여 양자를 구분할 수 없도록 제너레이터(220)와 디스크리미네이터(210)를 업데이트하는 기능을 수행한다. 업데이트부는 소정의 t시간에 이미지정보를 입력받은 제너레이터(220)에서 출력되는 움직임 패턴 정보(G(z))와 상기 DBN으로부터 전달받은 움직임 패턴정보(x)간 차이가 최대화 되도록 상기 디스크리미네이터(210)를 업데이트한 후, 상기 차이가 최소화 되도록 제너레이터(220)를 업데이트할 수 있다. 이러한 업데이트에 의하여 이미지별 움직임 패턴 학습부(200)의 디스크리미네이터(210)는 G(z)와 (x)간 차이를 더욱 잘 구분하도록 학습되며, 동시에 제너레이터(220)는 디스크리미네이터(210)로도 구분할 수 없는 G(z)를 출력할 수 있도록 학습될 수 있다. 따라서 이미지별 움직임 패턴 학습부(200)가 충분한 학습을 거쳐 최종적으로 제너레이터(220)에서 디스크리미네이터(210)로도 구분할 수 없는 G(z)를 출력하고 있다고 판단되면 학습이 종료되며, 최종적으로 움직임 패턴 학습장치(1000)는 움직임 패턴 획득부(100)가 필요없이 독립적으로 입력되는 영상의 매 이미지별(프레임별)로 정확한 움직임 패턴 정보를 화면에 즉각적으로 표시할 수 있다. The update unit may include motion pattern information output according to image information input to the generator 220 at a predetermined time t, which is the final target of the per-image motion pattern learning unit 200, according to the locus information input at a predetermined time t in the DBN And performs a function of updating the generator 220 and the disc remover 210 so that the classified movement pattern information is consistent and can not be distinguished from each other. The update unit updates the discrepancer (x) so that the difference between the motion pattern information G (z) output from the generator 220 receiving the image information at a predetermined time t and the motion pattern information x received from the DBN is maximized 210, and may update the generator 220 so that the difference is minimized. The disculator 210 of the per-image motion pattern learning unit 200 learns to better distinguish the difference between G (z) and (x) Can be learned so as to output G (z) which can not be distinguished from the G (z). Accordingly, if it is determined that the per-image motion pattern learning unit 200 outputs G (z) that can not be identified by the disc re-generator 210 in the final generator 220 after the learning has been completed, the learning ends, The pattern learning apparatus 1000 can display the accurate movement pattern information on a screen on a screen-by-image basis for each image independently input without requiring the movement pattern obtaining unit 100. [

이러한 움직임 패턴 학습장치(1000)는 감시지역에 대한 하루정도 분량의 CCTV 카메라 영상을 학습영상으로 입력받아 DBN 및 GAN을 이용하여 학습한 이후 해당 감시지역의 영상을 입력받아 어떠한 움직임 패턴이 나타나고 있는지를 즉각적으로 확인할 수 있다. 또한 이러한 영상의 움직임 패턴정보를 이용하여 현재까지 학습한 패턴과 크게 어긋나는 움직임 패턴이 감지(예를 들면, 역주행 또는 무단횡단 등) 되었을 경우 자동으로 비정상 움직임으로 판단하고 이를 외부에 알릴 수 있다.
The motion pattern learning apparatus 1000 receives the CCTV camera image of about one day's worth of the monitoring area as a learning image and learns using the DBN and the GAN, Can be confirmed immediately. In addition, when a movement pattern largely deviating from the pattern that has been learned so far is detected (for example, backward running or endless crossing) by using the motion pattern information of the image, it can be automatically determined as an abnormal motion and informed to the outside.

도 5는 본 발명의 일 실시예에 따른 신경망 생성 모델을 이용한 입력된 이미지에 따른 움직임 패턴 학습방법을 설명하기 위한 순서도이다. 5 is a flowchart for explaining a motion pattern learning method according to an input image using a neural network generation model according to an embodiment of the present invention.

도 5에서 보는 바와 같이, 움직임 패턴 학습방법은 카메라로부터 획득된 감시영상을 입력받아(S51), 상기 감시영상으로부터 움직이는 객체의 특징점을 추출하여 매 이미지별 특징점이 통과하는 미리 구획된 소정의 격자들의 집합을 DBN의 입력 관측값으로 생성한다(S52). 다음으로 상기 생성된 입력 관측값에 따른 DBN학습을 통하여 상위 레이어의 각 노드들에서 입력 레이어 각각의 노드 방향으로 정의되는 가중치 행렬를 계속적으로 업데이트함으로써 감시영상에서 추출되는 주요 움직임 패턴을 학습하고 분류한다(S53). 상기 학습된 움직임 패턴은 각 토픽(예를 들어, 직진, 좌회전, 우회전, U턴 등)별로 분류되어 저장된다(S54). 이로써 감시영상으로부터 움직임 패턴을 패턴을 학습하는 과정이 종료되며, 계속적으로 DBN에 의하여 학습되어 저장된 감시영상에서의 움직임 패턴정보들을 이용하여 순차적으로 입력되는 이미지프레임(F)별 어떠한 주요 움직임 패턴이 나타나게 되는지에 대한 상관관계를 학습할 수 있다. 먼저 감시영상으로부터 GAN으로 이미지 프레임(F)이 입력되면 상기 입력된 이미지 프레임(F)에 대한 움직임 패턴(G(z))이 출력된다(S55). 동시에 DBN에서는 상기 이미지 프레임(F)과 동기화되어 있는 궤적정보에 따른 움직임 패턴(x)이 GAN으로 전달되어 상기 움직임 패턴(G(z))과 움직임 패턴(x)이 일치하는지 판단한다(S57). 일치하지 않는 경우 움직임 패턴(G(z))과 움직임 패턴(x) 차이에 따라 GAN의 제너레이터와 디스크리미네이터를 업데이트를 실행한다. 여기서 상기 디스크리미네이터는 두 움직임 패턴을 더욱 잘 구분하기 위하여 상기 차이를 극대화하는 방향으로 업데이트를 진행하며, 상기 제너레이터는 두 움직임 패턴간의 차이를 최소화 하는 방향으로 업데이트를 진행한다(S58). 계속적인 업데이트 수행 후(움직임 패턴 학습 후) 움직임 패턴(G(z))과 움직임 패턴(x)이 일치한다고 판단(확률적으로)하는 경우, 입력된 이미지에 따른 움직임 패턴을 표시할 수 있다(S59). 따라서 상술한 움직임 패턴 학습에 따라 순차적으로 영상이 들어올 경우 학습된 움직임 패턴 학습장치는 영상에 어떠한 주요 움직임 패턴이 나타나는 지를 학습할 수 있다. 5, the motion pattern learning method receives a surveillance image obtained from a camera (S51), extracts the feature points of the moving object from the surveillance image, and extracts predetermined grids The set is generated as an input observation value of the DBN (S52). Next, DBN learning according to the generated input observation value continuously learns and updates the weight matrix defined in each node of the input layer in each node of the upper layer, thereby learning and classifying the main motion pattern extracted from the monitored image S53). The learned motion pattern is classified and stored in each topic (for example, straight ahead, left turn, right turn, U-turn, etc.) (S54). Thus, the process of learning the pattern of the movement pattern from the surveillance image is ended, and any major motion pattern is sequentially displayed for each image frame F sequentially input by using the movement pattern information of the supervised image that is learned by the DBN Can be learned. First, when an image frame F is input from the supervised image to the GAN, a movement pattern G (z) for the input image frame F is output (S55). At the same time, in the DBN, a movement pattern x according to the locus information synchronized with the image frame F is transmitted to the GAN to determine whether the movement pattern G (z) matches the movement pattern x (S57) . If there is no match, the GAN generator and the disc remover are updated according to the difference between the movement pattern (G (z)) and the movement pattern (x). Here, in order to better distinguish the two motion patterns, the disc remover updates in a direction maximizing the difference, and the generator proceeds to update the direction in which the difference between the two motion patterns is minimized (S58). It is possible to display a movement pattern according to the input image when it is judged (stochastically) that the movement pattern G (z) and the movement pattern x coincide after continuous updating (after learning the movement pattern) S59). Therefore, when the motion picture pattern is sequentially learned according to the motion pattern learning described above, the learned motion pattern learning device can learn what major motion patterns appear in the image.

본 발명의 움직임 패턴 학습장치는 Wake-up sleep Algorithm[1]과 Stochastic Gradient Descent를 통하여 DBN의 fine tuning하는 과정을 더 포함할 수 있으며, 학습이 종료되는 경우, 움직임 패턴 학습장치는 GAN에 이미지 시퀀스(sequence)가 입력되는 경우, 각 이미지에 해당하는 움직임 패턴을 화면에 표시함으로써 관리자는 현재 감시영상에서 객체의 움직임을 예측가능하다 할 것이다. 또한 GAN의 입력으로 이미지를 입력하고 있으나 이에 한정되지 않고 다양한 응용분야에서 획득된 다양한 형식을 갖는 입력에 따른 학습을 수행할 수 있다.
The motion pattern learning apparatus of the present invention may further include a fine tuning process of the DBN through a wake-up sleep algorithm [1] and a stochastic gradient descent. When the learning is terminated, When a sequence is input, a motion pattern corresponding to each image is displayed on the screen so that the manager can predict the motion of the object in the current monitoring image. Also, although the image is inputted as the input of the GAN, it is possible to perform learning according to various types of input obtained in various application fields.

이상에서는 대표적인 실시 예를 통하여 본 발명에 대하여 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 상술한 실시 예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, I will understand.

그러므로 본 발명의 권리범위는 설명된 실시 예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.Therefore, the scope of the present invention should not be limited to the above-described embodiments, but should be determined by equivalents to the appended claims, as well as the appended claims.

100:움직임 패턴 획득부 110:영상 획득부
120:특징점 추적부 130:움직임 패턴 분류부
131:입력 레이어 132:토픽 레이어
133:제1 은닉 레이어 134:제2 은닉 레이어
200:움직임 패턴 학습부
210:디스크리미네이터 211:움직임 패턴(x)
212:움직임 패턴(G(z)) 220:제너레이터
221:이미지정보 222:상위 레이어
1000:움직임 패턴 학습장치100: motion pattern acquisition unit 110:
120: Feature point tracking unit 130: Motion pattern classification unit
131: input layer 132: topic layer
133: first hiding layer 134: second hiding layer
200: movement pattern learning unit
210: Discriminator 211: Motion pattern (x)
212: movement pattern (G (z)) 220: generator
221: image information 222: upper layer
1000: movement pattern learning device

Claims (5)

입력영상에서 움직이는 객체의 특징점을 추적하고 각 움직임 패턴을 학습하여 토픽별로 분류하는 움직임 패턴 획득부 및
상기 움직임 패턴 획득부에 저장된 토픽별 움직임 패턴정보를 이용하여 입력된 이미지에 따른 움직임 패턴을 학습하는 이미지별 움직임 패턴 학습부를 포함하며,
상기 움직임 패턴 획득부는
카메라로부터 소정의 영상을 획득하는 영상획득부,
상기 영상획득부에서 출력되는 입력 영상의 매 이미지를 소정의 규격으로 구획된 격자로 나눈 후, 상기 특징점이 통과하는 각 격자의 집합을 움직임 패턴 분류부의 입력 관측값으로 생성하는 특징점 추적부 및
상기 입력 관측값을 입력받아 Deep Belief Network(DBN)를 통하여 움직임 패턴을 학습하고 각 움직임 패턴을 토픽별로 분류하는 움직임 패턴 분류부를 포함하고,
상기 이미지별 움직임 패턴 학습부는
입력된 이미지에 따른 움직임 패턴 정보를 출력하는 제너레이터,
상기 제너레이터에서 출력되는 움직임 패턴 정보(G(z))와 상기 입력된 이미지와 동기화되고, 상기 Deep Belief Network(DBN)으로부터 전달받은 움직임 패턴 정보(x)를 구분하는 디스크리미네이터 및
상기 제너레이터에서 출력되는 움직임 패턴 정보(G(z))와 상기 Deep Belief Network(DBN)으로부터 전달받은 움직임 패턴 정보(x)간 차이가 최대화 되도록 상기 디스크리미네이터를 업데이트한 후, 상기 차이가 최소화 되도록 제너레이터를 업데이트하는 업데이트부를 포함하는 신경망 생성 모델을 이용한 객체 움직임 패턴 학습장치.
A movement pattern acquisition unit for tracking feature points of moving objects in an input image and classifying the motions according to topics by learning each movement pattern;
And a per-image motion pattern learning unit that learns a motion pattern corresponding to the input image using the per-topic motion pattern information stored in the motion pattern obtaining unit,
The motion pattern obtaining unit
An image obtaining unit for obtaining a predetermined image from the camera,
A feature point tracing unit that divides each image of the input image output from the image acquiring unit by a grid partitioned by a predetermined standard and generates a set of each grid through which the feature points pass as input observation values of the movement pattern classifying unit;
And a movement pattern classifier for receiving the input observation values and learning a movement pattern through a Deep Belief Network (DBN) and classifying each movement pattern by topic,
The per-image motion pattern learning unit
A generator for outputting motion pattern information according to an input image,
A disc remover which is synchronized with the input image and distinguishes the movement pattern information x received from the Deep Belief Network DBN,
After the discrepiler is updated so that the difference between the movement pattern information G (z) output from the generator and the movement pattern information x received from the Deep Belief Network (DBN) is maximized, An apparatus for learning an object movement pattern using a neural network generation model including an update unit for updating a generator.
삭제delete 삭제delete 입력된 영상으로부터 움직이는 객체의 특징점이 소정의 규격으로 구획된 격자를 통과하는 각 격자의 집합을 입력 관측값으로 생성하는 단계;
상기 입력 관측값을 입력받아 Deep Belief Network(DBN)를 통하여 움직임 패턴을 학습하고 각 움직임 패턴을 토픽별로 분류, 저장하는 단계;
입력된 이미지에 따른 움직임 패턴정보(G(z))를 생성하는 단계 및
상기 움직임 패턴정보(G(z))와 상기 입력된 이미지와 동기화되고, 상기 Deep Belief Network(DBN)으로부터 전달받은 움직임 패턴 정보(x)와의 상관관계를 학습하는 단계를 포함하며,
상기 움직임 패턴정보(G(z))와 상기 입력된 이미지와 동기화되고 상기 Deep Belief Network(DBN)으로부터 전달받은 움직임 패턴 정보(x)와의 상관관계를 학습하는 단계는
움직임 패턴정보(G(z))와 움직임 패턴정보(x)와의 차이에 따라 이미지별 움직임 패턴 학습부의 디스크리미네이터는 두 움직임 패턴을 더욱 잘 구분하기 위하여 상기 차이를 극대화하는 방향으로 업데이트를 진행하며, 이미지별 움직임 패턴 학습부의 제너레이터는 두 움직임 패턴간의 차이를 최소화 하는 방향으로 업데이트를 진행하는 것을 특징으로 하는 신경망 생성 모델을 이용한 객체 움직임 패턴 학습방법. Generating a set of each grid through which a feature point of an object moving from an input image passes through a grid partitioned by a predetermined standard, as an input observation value;
Learning the movement pattern through the Deep Belief Network (DBN) by receiving the input observation value, and classifying and storing each movement pattern by topic;
Generating movement pattern information (G (z)) according to the input image; and
And learning the correlation between the motion pattern information G (z) and the motion pattern information (x) received from the Deep Belief Network (DBN) in synchronization with the input image,
The step of learning the correlation between the motion pattern information G (z) and the motion pattern information (x) received from the Deep Belief Network (DBN) in synchronization with the input image
According to the difference between the movement pattern information G (z) and the movement pattern information x, the disc reminer of the per-image motion pattern learning unit performs updating in a direction maximizing the difference to better distinguish the two movement patterns And the generator of the per-image motion pattern learning unit proceeds to update the direction in which the difference between the two motion patterns is minimized. 삭제delete
KR1020160069343A 2016-06-03 2016-06-03 Apparatus and method for studying pattern of moving objects using adversarial deep generative model KR101925907B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160069343A KR101925907B1 (en) 2016-06-03 2016-06-03 Apparatus and method for studying pattern of moving objects using adversarial deep generative model

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160069343A KR101925907B1 (en) 2016-06-03 2016-06-03 Apparatus and method for studying pattern of moving objects using adversarial deep generative model

Publications (2)

Publication Number Publication Date
KR20170137350A KR20170137350A (en) 2017-12-13
KR101925907B1 true KR101925907B1 (en) 2019-02-26

Family

ID=60944507

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160069343A KR101925907B1 (en) 2016-06-03 2016-06-03 Apparatus and method for studying pattern of moving objects using adversarial deep generative model

Country Status (1)

Country Link
KR (1) KR101925907B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3705367A1 (en) * 2019-03-05 2020-09-09 Bayerische Motoren Werke Aktiengesellschaft Training a generator unit and a discriminator unit for collision-aware trajectory prediction

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102028930B1 (en) * 2017-12-26 2019-10-07 이노뎁 주식회사 method of providing categorized video processing for moving objects based on AI learning using moving information of objects
KR102471754B1 (en) * 2017-12-28 2022-11-28 주식회사 엔씨소프트 System and method for generating image
KR102094944B1 (en) * 2018-02-28 2020-03-30 주식회사 비주얼캠프 Method for eye-tracking and terminal for executing the same
EP3759649B1 (en) 2018-04-06 2022-04-20 Siemens Aktiengesellschaft Object recognition from images using cad models as prior
CN109165664B (en) * 2018-07-04 2020-09-22 华南理工大学 Attribute-missing data set completion and prediction method based on generation of countermeasure network
CN110163048B (en) 2018-07-10 2023-06-02 腾讯科技（深圳）有限公司 Hand key point recognition model training method, hand key point recognition method and hand key point recognition equipment
CN109064423B (en) * 2018-07-23 2022-04-08 福建帝视信息科技有限公司 Intelligent image repairing method for generating antagonistic loss based on asymmetric circulation
KR101954719B1 (en) 2018-08-09 2019-03-06 주식회사 인텔리빅스 Apparatus for Detecting Event and Driving Method Thereof
KR20200023686A (en) 2018-08-17 2020-03-06 한양대학교 산학협력단 Method and apparatus for item recommendation using deep learning
KR102103643B1 (en) * 2018-08-28 2020-04-22 두산메카텍 주식회사 Logistics equipment management system using sensors and method thereof
KR101954717B1 (en) 2018-10-22 2019-03-06 주식회사 인텔리빅스 Apparatus for Processing Image by High Speed Analysis and Driving Method Thereof
KR20200055836A (en) 2018-11-12 2020-05-22 삼성전자주식회사 Method and apparatus for classifying data, method and apparatus for training classifier
KR102280201B1 (en) * 2018-11-23 2021-07-21 주식회사 스칼라웍스 Method and apparatus for inferring invisible image using machine learning
CN109740682B (en) * 2019-01-08 2020-07-28 南京大学 Image identification method based on domain transformation and generation model
KR102198920B1 (en) * 2019-02-28 2021-01-06 네이버 주식회사 Method and system for object tracking using online learning
CN109934282B (en) * 2019-03-08 2022-05-31 哈尔滨工程大学 SAGAN sample expansion and auxiliary information-based SAR target classification method
CN110135365B (en) * 2019-05-20 2021-04-06 厦门大学 Robust target tracking method based on illusion countermeasure network
KR102254037B1 (en) 2020-11-13 2021-05-20 주식회사 인텔리빅스 Apparatus for Image Analysis and Driving Method Thereof
KR20220076048A (en) * 2020-11-30 2022-06-08 삼성전자주식회사 Electronic device and controlling method of electronic device

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5361615B2 (en) 2009-08-31 2013-12-04 日本電信電話株式会社 Behavior control learning method, behavior control learning device, behavior control learning program
KR101513180B1 (en) 2013-09-10 2015-04-17 주식회사 제론헬스케어 System for a real-time cashing event summarization in surveillance images and the method thereof
KR101523740B1 (en) * 2014-01-03 2015-05-28 (주)유디피 Apparatus and method for tracking object using space mapping
KR101542206B1 (en) 2014-04-24 2015-08-12 (주)디브이알씨앤씨 Method and system for tracking with extraction object using coarse to fine techniques

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101328466B1 (en) * 2011-10-18 2013-11-13 한국과학기술원 Method for providing input of Markov Model in computer-implemented Hierarchical Temporal Memory network to predict motion of object, and motion prediction method using the same
KR101851836B1 (en) * 2012-12-03 2018-04-24 나비센스, 인크. Systems and methods for estimating the motion of an object
KR20140103046A (en) * 2013-02-15 2014-08-25 삼성전자주식회사 Object Tracing Method and Electronic Device supporting the same
KR102035184B1 (en) 2013-02-25 2019-11-08 한화테크윈 주식회사 Method and Apparatus for detecting abnormal behavior
KR101472674B1 (en) * 2013-05-07 2014-12-15 성균관대학교산학협력단 Method and apparatus for video surveillance based on detecting abnormal behavior using extraction of trajectories from crowd in images
KR102217253B1 (en) * 2014-02-24 2021-02-17 주식회사 케이티 Apparatus and method for analyzing behavior pattern

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5361615B2 (en) 2009-08-31 2013-12-04 日本電信電話株式会社 Behavior control learning method, behavior control learning device, behavior control learning program
KR101513180B1 (en) 2013-09-10 2015-04-17 주식회사 제론헬스케어 System for a real-time cashing event summarization in surveillance images and the method thereof
KR101523740B1 (en) * 2014-01-03 2015-05-28 (주)유디피 Apparatus and method for tracking object using space mapping
KR101542206B1 (en) 2014-04-24 2015-08-12 (주)디브이알씨앤씨 Method and system for tracking with extraction object using coarse to fine techniques

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3705367A1 (en) * 2019-03-05 2020-09-09 Bayerische Motoren Werke Aktiengesellschaft Training a generator unit and a discriminator unit for collision-aware trajectory prediction
US11364934B2 (en) 2019-03-05 2022-06-21 Bayerische Motoren Werke Aktiengesellschaft Training a generator unit and a discriminator unit for collision-aware trajectory prediction

Also Published As

Publication number Publication date
KR20170137350A (en) 2017-12-13

Similar Documents

Publication Publication Date Title
KR101925907B1 (en) Apparatus and method for studying pattern of moving objects using adversarial deep generative model
CN108921051B (en) Pedestrian attribute identification network and technology based on cyclic neural network attention model
US11301690B2 (en) Multi-temporal scale analytics
JP5224401B2 (en) Monitoring system and method
CN105426820B (en) More people's anomaly detection methods based on safety monitoring video data
KR102517513B1 (en) Artificial intelligence based tree data management system and tree data management method
Piciarelli et al. Surveillance-oriented event detection in video streams
KR101720781B1 (en) Apparatus and method for prediction of abnormal behavior of object
CN112926522B (en) Behavior recognition method based on skeleton gesture and space-time diagram convolution network
KR20190088087A (en) method of providing categorized video processing for moving objects based on AI learning using moving information of objects
KR102391853B1 (en) System and Method for Processing Image Informaion
JP2020119154A (en) Information processing device, information processing method, and program
CN114359976A (en) Intelligent security method and device based on person identification
Suthar et al. Human activity recognition using deep learning: a survey
KR101675692B1 (en) Method and apparatus for crowd behavior recognition based on structure learning
CN108280408B (en) Crowd abnormal event detection method based on hybrid tracking and generalized linear model
Pouyanfar et al. Deep spatio-temporal representation learning for multi-class imbalanced data classification
Nikpour et al. Deep reinforcement learning in human activity recognition: A survey
Rashidan et al. Detection of different classes moving object in public surveillance using artificial neural network (ann)
Arshad et al. Anomalous Situations Recognition in Surveillance Images Using Deep Learning
CN109670470B (en) Pedestrian relationship identification method, device and system and electronic equipment
KR20220030548A (en) Device and method for recognizing work motion based on image analysis
Bilski et al. Decision Trees Implementation in Monitoring of Elderly Persons Based on the Depth Sensors Data
Chebi et al. Strategy of detecting abnormal behaviors by fuzzy logic
Lee A smart camera network with SVM classifiers for crowd event recognition

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right