CN110532857A - 基于多摄像头下的行为识别影像分析系统 - Google Patents

基于多摄像头下的行为识别影像分析系统 Download PDF

Info

Publication number
CN110532857A
CN110532857A CN201910641467.7A CN201910641467A CN110532857A CN 110532857 A CN110532857 A CN 110532857A CN 201910641467 A CN201910641467 A CN 201910641467A CN 110532857 A CN110532857 A CN 110532857A
Authority
CN
China
Prior art keywords
scene
image
feature
cam
analysis system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910641467.7A
Other languages
English (en)
Inventor
余厉阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN201910641467.7A priority Critical patent/CN110532857A/zh
Publication of CN110532857A publication Critical patent/CN110532857A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects

Abstract

本发明公开了一种基于多摄像头下的行为识别影像分析系统。本发明针对多个场景，每个场景为一个独立的空间场地，在此空间场地布设的所有摄像头多角度拍摄同一物体和人的多个侧面，每个场景对应一个路由器；其中的图像预处理、场景对比、特征提取和数据融合在各个场景的路由器中完成，而数据合并和事件判断在服务器端完成。本发明获得了含场景全景特征的数据，避免由于拍摄角度问题、遮挡问题导致的判断失误。同时本发明在最终异常事件判断中，采用多个场景数据合并判断，以在更高的层面把握不同分场景下的事件发生的关联度，为后续异常行为的及时发现，以及事后分析异常行为发生的原因和产生的影响提供依据。

Description

基于多摄像头下的行为识别影像分析系统
技术领域
本发明涉及一种新型的影像分析系统，特别涉及多摄像头下的异常行为识别影像分析系统。
背景技术
随着人工智能技术的发展，利用图像处理、计算机视觉、机器学习等技术来实现对于视频数据的筛选分析，突破传统视频监控系统的局限性，实现对视频影像的智能分析和异常事件的主动检测、实时预警，对于开拓新的应用和商业领域有重要的应用价值。
常见的异常事件检测方法主要有：基于分类的异常事件检测模型、基于最近邻的异常事件检测模型、基于聚类的异常事件检测模型、基于统计的异常事件检测模型、基于信息理论的异常事件检测模型等。这些分类方法本质上都是利用人工智能的方法对视频中的行为特征进行抓取。常规的视频影像异常事件检测过程常分为四个基本步骤：图像预处理、行为特征抓取和异常事件判断。其中行为特征抓取主要通过多层卷积神经网络，将图像视频特征层层抽象，最后组合，获得不同分类对象的特征特点。
不同于静态图片特征抓取，一个视频流中的行为特征抓取，需要空间特征和时间流特征两个方面共同入手。空间方面，识别人物和基本姿势，时间流方面，抓住姿态的变化过程特征，判断视频连续帧之间的运动相关性。
目前市面上常用的异常行为分析方法，多是针对单个摄像头的视频，分别提取运动、尺寸以及纹理三个不同的特征，并运用不同的方法分别对三个特征进行建模。
上述算法在检测异常事件上表现良好，但是仍存在着以下问题：
1.算法只针对单一的视频流来进行运动特征的抓取，容易失去整个场景全方位的信息，同时无法判断是摄像头在移动还是物体在移动，容易造成误判，运动过程中出现遮挡时，误判率更加大大增加；
2.该算法没有考虑多个摄像头在不同位置采集到的数据的空间相关性和时间上的关联度，导致模型精度下降。
发明内容
针对上述问题，本发明公开了一种基于多摄像头的监控视频异常事件检测系统。
本发明采用多摄像头多角度抓取人和物，并将数据汇集到路由器，通过路由器端的数据处理模块，进行特征抓取，有效避免由于遮挡等因素导致的行为识别误判率。同时不同路由器将数据汇集到后端服务器，利用服务器的强大数据处理能力，对数据进行合并和分类判断。由于服务器汇集了不同场景的数据集，实际上是在更高层面的行为判定，可以实现类似基于常识的语义逻辑来判断行为，进一步降低行为判断的错误率。
本发明解决其技术问题采用的技术方案步骤如下：
基于多摄像头的异常行为识别影像分析系统是一套基于异常行为识别的分布式系统，其由分布式路由器端和服务器端完成影像分析系统。
在其中的分布式路由器端执行以下程序：
图像预处理。读取监控视频流作为输入，进行降噪、灰度化等特征提取前的预处理工作。
场景对比。对同一时间，来至于不同摄像头的视频图像进行对比，利用差分算法，强化图像中特征不一致的地方。
特征提取。对场景中的不同摄像头在同一时间的视频图像进行统一的特征提取，得到每一帧图像的特征。
数据融合。将得到每一帧图像的特征，融合起来形成，形成含多角度，多距离的图像。这样的图像特征带有摄像头拍摄位置不同、距离不同带来的特征差异信息。
在服务器端执行以下程序：
数据合并。在服务器端，将同一个时间，每个场景的数据进行合并处理，为后续整体数据分析判断做准备。
事件判断。在服务器端，进行整体的行为和事态判断。
本发明的有益效果：
1.本发明在对输入的视频流进行最终行为异常的判断之前，首先对同一场景下的多个摄像头的视频流进行了比对分析，同时提取特征，并利用数据融合等方式，获得含场景全景特征的数据，避免由于拍摄角度问题、遮挡问题导致的判断失误。
2.本发明在最终异常事件判断中，采用多个场景数据合并判断，以在更高的层面把握不同分场景下的事件发生的关联度，为后续异常行为的及时发现，以及事后分析异常行为发生的原因和产生的影响提供依据。
附图说明
图1为多摄像头系统架构；
图2为行为识别检测流程图；
图3为多摄像头视频流数据融合流程图。
具体实施方式
下面结合附图，对本发明的具体实施方案作进一步详细描述。
参见图1、图2和图3，本发明包括多个场景，分别是场景1，场景2，一直到场景n。每个场景就是一个独立的空间场地，在此空间场地所有的摄像头可以在多角度拍摄同一物体和人的多个侧面，做到平面360度无死角。如图1所示，整个多摄像头的异常行为算法是个分布式系统，其场景对比、数据融合、特征提取等步骤在各个分场景的路由器中完成，而最后的数据合并和事件判断在服务器端完成。
步骤S101：图像预处理。
对输入的视频流，进行灰度化，并进行图像压缩，将图像整理成固定的几何尺寸。整个过程在路由器中进行。
步骤S102：场景对比。
针对输入的视频流，通过图像旋转，平移等方式进行比较。利用差分方法，扣除相同重叠的部分，保留剩下的独特影像。
步骤S103：特征提取。
通过步骤S102可以将同一场景中的不同摄像头的经过去除相同画面的视频流成分，通过深度神经网络，进行特征提取。针对每个视频流进行特征提取的神经网络都利用adaboost的方式生成，使得网络提取的特征互补。
步骤S104：数据融合。
经过步骤S103，从每个视频流中获得所需的特征，通过ensemble的方式对数据进行融合，形成统一的特征输出网络。从S102到S104的详细过程见图3。
步骤S105：数据合并。
在服务器中对各个场景的输出特征进行进一步的数据合并，挖掘各个不同场景中的行为特点，同时分析各个不同场景的行为特征，在更高的层次获取不同场景下的行为逻辑关系。
步骤S106：事件判断。
经过步骤S105，得到了整个监控区域的不同人和物体间的逻辑关系，通过逻辑关系的分析判断，自动可以归类出整个监控区域内，每个人正在处理什么事情，同时进行分类；和注册库里已经注册过的异常行为进行比对，比对通过后，对异常行为，比如人身伤害或者违法操作规定等进行报警处理。

Claims (7)

1.基于多摄像头下的行为识别影像分析系统，其特征在于：该系统针对多个场景，每个场景为一个独立的空间场地，在此空间场地布设的所有摄像头多角度拍摄同一物体和人的多个侧面，每个场景对应一个路由器；
其中的图像预处理、场景对比、特征提取和数据融合在各个场景的路由器中完成，而数据合并和事件判断在服务器端完成；其中各个场景的路由器具体执行以下程序：
图像预处理，读取场景中各个监控视频流，作为输入，进行特征提取前的预处理工作；
场景对比，对同一时间，来至于不同监控视频流的视频图像进行对比，利用差分算法，强化图像中特征不一致的地方；
特征提取，对场景中的不同监控视频流在同一时间的视频图像进行统一的特征提取，得到每一帧图像的特征；
数据融合，将得到每一帧图像的特征，融合起来形成含多角度，多距离的图像，该图像特征带有摄像头拍摄位置不同、距离不同带来的特征差异信息；
其中服务器端具体执行以下程序：
数据合并，将同一个时间，每个场景的数据进行合并处理，为后续整体数据分析判断做准备；
事件判断，在服务器端，进行整体的行为和事件判断。
2.根据权利要求1所述的基于多摄像头下的行为识别影像分析系统，其特征在于：所述的预处理工作包括对视频流降噪、灰度化并进行图像压缩，将图像整理成固定的几何尺寸。
3.根据权利要求1所述的基于多摄像头下的行为识别影像分析系统，其特征在于：在视频图像进行对比过程中采用了图像旋转和平移的方式。
4.根据权利要求1所述的基于多摄像头下的行为识别影像分析系统，其特征在于：针对每个视频流进行特征提取的神经网络都利用adaboost的方式生成，使得网络提取的特征互补。
5.根据权利要求1所述的基于多摄像头下的行为识别影像分析系统，其特征在于：数据融合过程采用了ensemble的方式，形成统一的特征输出网络。
6.根据权利要求1所述的基于多摄像头下的行为识别影像分析系统，其特征在于：在数据合并过程中，挖掘各个不同场景中的行为特点，同时分析各个不同场景的行为特征，从而在更高的层次获取不同场景下的行为逻辑关系。
7.根据权利要求6所述的基于多摄像头下的行为识别影像分析系统，其特征在于：通过行为逻辑关系的分析判断，自动归类出整个监控区域内，每个人的行为，同时进行分类；
分类后与注册库里已经注册过的异常行为进行比对，比对通过后，对异常行为进行报警处理。
CN201910641467.7A 2019-07-16 2019-07-16 基于多摄像头下的行为识别影像分析系统 Pending CN110532857A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910641467.7A CN110532857A (zh) 2019-07-16 2019-07-16 基于多摄像头下的行为识别影像分析系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910641467.7A CN110532857A (zh) 2019-07-16 2019-07-16 基于多摄像头下的行为识别影像分析系统

Publications (1)

Publication Number Publication Date
CN110532857A true CN110532857A (zh) 2019-12-03

Family

ID=68660375

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910641467.7A Pending CN110532857A (zh) 2019-07-16 2019-07-16 基于多摄像头下的行为识别影像分析系统

Country Status (1)

Country Link
CN (1) CN110532857A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111597970A (zh) * 2020-05-14 2020-08-28 中国银行股份有限公司 异常行为的识别方法及装置
CN112560621A (zh) * 2020-12-08 2021-03-26 北京大学 基于动物图像的识别方法、装置、终端及介质
CN112637568A (zh) * 2020-12-24 2021-04-09 中标慧安信息技术股份有限公司 基于多节点边缘计算设备的分布式安全监控方法和系统
CN113469142A (zh) * 2021-03-12 2021-10-01 山西长河科技股份有限公司 一种监控视频时空信息融合的分类方法、装置及终端
CN114565970A (zh) * 2022-01-27 2022-05-31 内蒙古工业大学 一种基于深度学习的高精度多角度行为识别方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105426820A (zh) * 2015-11-03 2016-03-23 中原智慧城市设计研究院有限公司 基于安防监控视频数据的多人异常行为检测方法
US20160353064A1 (en) * 2014-06-06 2016-12-01 Mitsubishi Electric Corporation Video monitoring system and video monitoring method
CN206195933U (zh) * 2016-11-15 2017-05-24 广州市奕星研科数码有限公司 一种视频行为识别系统
CN108924507A (zh) * 2018-08-02 2018-11-30 高新兴科技集团股份有限公司 一种基于多摄像头场景的人员轨迹生成系统及方法
CN109040701A (zh) * 2018-09-10 2018-12-18 合肥巨清信息科技有限公司 一种基于大场景多gpu模式的视频拼接方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160353064A1 (en) * 2014-06-06 2016-12-01 Mitsubishi Electric Corporation Video monitoring system and video monitoring method
CN105426820A (zh) * 2015-11-03 2016-03-23 中原智慧城市设计研究院有限公司 基于安防监控视频数据的多人异常行为检测方法
CN206195933U (zh) * 2016-11-15 2017-05-24 广州市奕星研科数码有限公司 一种视频行为识别系统
CN108924507A (zh) * 2018-08-02 2018-11-30 高新兴科技集团股份有限公司 一种基于多摄像头场景的人员轨迹生成系统及方法
CN109040701A (zh) * 2018-09-10 2018-12-18 合肥巨清信息科技有限公司 一种基于大场景多gpu模式的视频拼接方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
MIRZA M.BAIGA,MIAN.M.AWAISA,EL-SAYED,M.EL-ALFY: "AdaBoost-based artificial neural network learning", 《NEUROCOMPUTING》 *
王朝新: "基于视频的行人异常行为检测技术的应用研究", 《中国优秀硕士学位论文》 *
陆蓉蓉: "基于深度学习的智能视频监控中的关键技术研究", 《中国优秀硕士学位论文》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111597970A (zh) * 2020-05-14 2020-08-28 中国银行股份有限公司 异常行为的识别方法及装置
CN111597970B (zh) * 2020-05-14 2023-05-02 中国银行股份有限公司 异常行为的识别方法及装置
CN112560621A (zh) * 2020-12-08 2021-03-26 北京大学 基于动物图像的识别方法、装置、终端及介质
CN112637568A (zh) * 2020-12-24 2021-04-09 中标慧安信息技术股份有限公司 基于多节点边缘计算设备的分布式安全监控方法和系统
CN113469142A (zh) * 2021-03-12 2021-10-01 山西长河科技股份有限公司 一种监控视频时空信息融合的分类方法、装置及终端
CN113469142B (zh) * 2021-03-12 2022-01-14 山西长河科技股份有限公司 一种监控视频时空信息融合的分类方法、装置及终端
CN114565970A (zh) * 2022-01-27 2022-05-31 内蒙古工业大学 一种基于深度学习的高精度多角度行为识别方法

Similar Documents

Publication Publication Date Title
CN110532857A (zh) 基于多摄像头下的行为识别影像分析系统
CN110428522B (zh) 一种智慧新城的智能安防系统
EP3340104B1 (en) A method for generating alerts in a video surveillance system
CN110321780B (zh) 基于时空运动特性的异常摔倒行为检测方法
CN108564052A (zh) 基于mtcnn的多摄像头动态人脸识别系统与方法
CN109711318B (zh) 一种基于视频流的多人脸检测与跟踪方法
CN106355154B (zh) 一种监控视频中检测频繁过人的方法
CN102170563A (zh) 智能人员卡口系统及人员监控管理方法
CN107657232A (zh) 一种行人智能识别方法及其系统
CN112115775A (zh) 一种基于计算机视觉的监控场景下的吸烟行为检测方法
CN107277470A (zh) 一种网络联动管理方法及数字化警务联动管理方法
CN110163135A (zh) 一种基于动态算法的一人一档人脸聚类的方法及系统
US20220122360A1 (en) Identification of suspicious individuals during night in public areas using a video brightening network system
CN111723773A (zh) 遗留物检测方法、装置、电子设备及可读存储介质
CN113537107A (zh) 一种基于深度学习的人脸识别及追踪方法、装置及设备
CN117197713A (zh) 一种基于数字视频监控系统的提取方法
Moorthy et al. CNN based smart surveillance system: a smart IoT application post covid-19 era
CN111064928A (zh) 一种具有人脸识别功能的视频监控系统
CN115953650B (zh) 特征融合模型的训练方法和装置
WO2023093241A1 (zh) 行人重识别方法及装置、存储介质
CN114724378B (zh) 一种基于深度学习的车辆追踪统计系统及方法
CN113259630B (zh) 一种多摄像头行人轨迹聚合系统和方法
Shuoyan et al. Abnormal behavior detection based on the motion-changed rules
KR102423934B1 (ko) 안면인식 및 유사한 옷 색상의 다수 객체 추적기술을 통한 스마트 휴먼검색 통합 솔루션
CN114818882A (zh) 人像图像聚类方法、装置、系统、电子装置和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20191203

WD01 Invention patent application deemed withdrawn after publication