CN113052878A - 一种安防系统中边缘设备的多路高空抛物检测方法及系统 - Google Patents
一种安防系统中边缘设备的多路高空抛物检测方法及系统 Download PDFInfo
- Publication number
- CN113052878A CN113052878A CN202110340564.XA CN202110340564A CN113052878A CN 113052878 A CN113052878 A CN 113052878A CN 202110340564 A CN202110340564 A CN 202110340564A CN 113052878 A CN113052878 A CN 113052878A
- Authority
- CN
- China
- Prior art keywords
- image
- video
- parabolic
- frame
- noise
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 75
- 238000000034 method Methods 0.000 claims abstract description 59
- 238000004458 analytical method Methods 0.000 claims abstract description 40
- 230000008569 process Effects 0.000 claims abstract description 34
- 238000012545 processing Methods 0.000 claims abstract description 10
- 238000001914 filtration Methods 0.000 claims description 21
- 238000004364 calculation method Methods 0.000 claims description 17
- 238000007781 pre-processing Methods 0.000 claims description 17
- 238000002372 labelling Methods 0.000 claims description 14
- 230000008859 change Effects 0.000 claims description 12
- 230000002146 bilateral effect Effects 0.000 claims description 8
- 238000005516 engineering process Methods 0.000 claims description 6
- 230000000873 masking effect Effects 0.000 claims description 6
- 238000012935 Averaging Methods 0.000 claims description 5
- 230000008030 elimination Effects 0.000 claims description 4
- 238000003379 elimination reaction Methods 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000004321 preservation Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 210000000988 bone and bone Anatomy 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/292—Multi-camera tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20028—Bilateral filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种安防系统中边缘设备的多路高空抛物检测方法及系统，其中检测方法包括：步骤1：边缘设备获取多路高清网络摄像机所拍摄的视频，将视频缓存解码后对视频帧进行第一次抛物检测分析，并输出仅包含检测到抛物事件的视频序列；及步骤2：数据中心将接收到抛物事件视频序列进行抛物过程的二次分析，确定抛物点，并向相关人员发出预警信息。通过边缘设备与数据中心的二次检测、分析与溯源追踪，提高检测精度和效率，并通过预警通知单元及时告知相关人员现场处理，提高抛物溯源的准确性和及时性。
Description
技术领域
本发明涉及图像检测领域，具体而言涉及高空抛物的运动物体检测，更具体地涉及一种安防系统中边缘设备的多路高空抛物检测方法及系统。
背景技术
数据表明，一个30克的蛋从4楼抛下来就会让人起肿包，从8楼抛下来就可以让人头皮破损，从18楼抛下来就可以砸破行人的头骨，从25楼的高度抛下即可使人当场死亡，可见，高空坠落的物体对人身安全的危害极大。近年来，高空抛物、坠物事件不断发生，严重危害公共安全，侵害人民群众合法权益，影响社会和谐稳定。
高空抛物是一种特殊的侵权责任，包括从建筑物中抛掷物品，和从建筑物上坠落物品两种行为，一般情况下很难确定坠落物品由何处抛出或坠落。目前的小区防控方法还比较老旧，在事发后往往需要在十几个小时的监控录像中查找仅几秒内的抛物视频，不但很大浪费人力物力，而且实时性较差，无法准确的通知物业管理人员，给抛物溯源工作也带来了很大的困难。
现有技术中提供了很多高空抛物检测的相关方法，大都设置在数据中心端，但云端进行抛物检测的方式实时性较差，且云端数据中心对多路视频检测的效率较低，同时现有技术也没有溯源单元以及物业管理提醒单元，无法及时的提醒物业管理人员去现场处理相关事件。
发明内容
本发明提供的在安防系统中基于边缘设备的多路高空抛物检测方法及系统，通过在边缘设备及时对多路摄像机拍摄的视频画面进行基于边缘计算节点的抛物检测，再将初步筛选的检测结果上传至数据中心进行二次分析与溯源追踪，提高检测精度和效率，并通过预警通知单元及时告知相关人员现场处理，提高抛物溯源的准确性和及时性。
为达到上述目的，本发明提供了一种安防系统中边缘设备的多路高空抛物检测方法，其包括以下步骤：
步骤1：边缘设备获取多路高清网络摄像机所拍摄的视频，将视频缓存解码后对视频帧进行第一次抛物检测分析，并输出仅包含检测到抛物事件的视频序列；
步骤2：数据中心将接收到抛物事件视频序列进行抛物过程的二次分析，确定抛物点，并向相关人员发出预警信息；
其中，步骤1的具体执行过程为：
步骤11：利用开放式网络视频接口论坛与实时流传输协议获取高清网络摄像机所拍摄的视频；
步骤12：利用队列编码技术将获取的视频进行内存缓存，其中缓存视频的时长为15秒，以用于保存发生抛物事件的视频；
步骤13：利用解码器对缓存的视频码流进行解码处理，得到视频帧的原始图像序列；
步骤14：将原始图像序列中的每一帧图像进行滤波、压缩、灰度图转换的预处理；
步骤15:对经过预处理每一帧视频图像进行运动目标检测，计算运动目标中心点坐标与区域大小，并进行标记；
步骤16：计算当前帧的噪声情况，并生成当前帧的噪声掩膜图IG以用于下一帧的噪声消除；
步骤17：将各帧检测到的运动目标进行匹配并标注；
步骤18：将检测到的包含运动目标的视频序列上传到数据中心。
在本发明一实施例中，其中步骤14中进行预处理的具体过程为：
步骤1401：采用双边滤波的方式对原始图像进行滤波处理，以抑制图像中的噪声；
步骤1402：压缩图像并读取彩色图像中的RGB分量；
步骤1403：计算当前视频帧图像IA中每个像素点的灰度值，其中，计算每个像素点灰度值的方法可以采用平均值法、最大值法或加权平均值法；
步骤1404：对当前视频帧图像IA中每个像素点的颜色分量重新赋予步骤1403中计算出的灰度值，得到灰度图像IB。
在本发明一实施例中，其中步骤15中进行运动目标检测的具体步骤为：
步骤1501：构建当前帧的近似背景图，具体为：
为经过预处理的图像序列建立一个容量为5的灰度图队列，其中，队列中的图片的选择为从当前帧向前每5帧跳帧选择一帧进行存储；
当队列满时，对队列内的5帧灰度图片进行相加处理，然后进行像素平均，得到一张近似背景图IC；
完成当前帧近似背景图IC的计算后，释放当前队列的第一张图片，将当前帧+5帧的灰度图片添加至队列末尾，并重复对队列内的5帧灰度图片进行相加及像素平均处理，得到下一张近似背景图；
步骤1502：获取当前帧的前景图IE，具体为：
将灰度图像IB与近似背景图IC进行相减操作，生成一张当前帧的变化图ID；
对变化图ID每个像素点的像素值进行阈值化操作，将低于第一阈值的像素点置为0，将高于第一阈值的像素点置为255，得到当前帧的前景图IE，其中，第一阈值设置为30；
步骤1503：对前景图进行消除噪声处理，具体为：
利用预置的第一掩膜图IF与前景图IE进行第一次屏蔽处理，其中，预置的第一掩膜图IF为事先预置到系统中的经过人工标注的掩膜图，其已将背景中干扰物的像素值置为0，仅保留固定背景，例如实时画面中静止不动的树木；
再利用上一帧图像经过计算获得的噪声掩膜图IG’进行第二次屏蔽处理，得到消除噪声后的前景图IH；
步骤1504：标记抛物区域块，并记录其中心点坐标与区域大小，具体为：
在消除噪声后的前景图IH中查找像素点为255的区域块，并计算每一区域块中像素点的数量；
当计算的任一区域块中像素点数量大于10时，记录此区域块的中心点坐标与区域大小。
在本发明一实施例中，其中步骤16中计算当前帧的噪声情况，并生成当前帧的噪声掩膜图IG的具体过程为：
步骤1601：将步骤1502中得到的变化图ID和预置的第一掩膜图IF进行与操作得到图像IM，查找图像IM中像素点为255的区域块；
步骤1602：计算每一区域块中像素点的数量，当任一区域块中像素点数量大于10时，标记此区域为变化物体；
步骤1603：计算图像IM中变化物体的数量，若变化物体的数量大于6时即认定当前帧存在噪声，否则认定当前帧不存在噪声；
步骤1604：计算从当前帧开始前数20帧图像中存在噪声的帧数，当存在噪声的帧数小于4时，认为当前系统无噪声，并将噪声掩膜图IG’清空，否则进入下一步；
步骤1605：将当前帧的前景图IE与上一帧的前景图IE’进行与操作，得到当前帧的噪声图IK，并将当前帧的噪声图IK与上一帧的噪声图IK’进行或操作，生成当前帧的噪声掩膜图IG。
在本发明一实施例中，其中步骤17中将各帧检测到的运动目标进行匹配并标注的具体过程为：
设上一帧检测到的运动目标为A，当前帧检测到的运动目标为B，运动目标A的大小为A.area，运动目标B的大小为B.area，运动目标A的中心点坐标为(A.x，A.y)，运动目标B的中心点坐标为(B.x，B.y)，计算运动目标A与运动目标B的相关度Z，当Z大于第二阈值时，认定运动目标A与运动目标B为同一物体，否则认定运动目标A与运动目标B为不同物体，其中，第二阈值设置为108，相关度Z的计算公式为：
其中，max为两者中取较大值，min为两者中取较小值，0.00001为用于调节大小比例与距离比例的常量。
在本发明一实施例中，其中，步骤2的具体执行过程为：
步骤21：接收包含运动目标的视频序列；
步骤22:将标注的运动目标中心点进行连线，得到抛物轨迹及抛物起始点；
步骤23：利用预置的第二掩膜图IM对抛物起始点所在的图像帧进行掩膜处理，标记出抛物起始点坐标、抛出楼层和房间，其中，第二掩膜图IM为事先预置到系统中的一张手工标注包括楼层和房间信息的掩膜图；
步骤24：向系统使用人员发出预警通知，并发送发生抛物事件的地址信息与事件详情。
本发明还提供了一种安防系统中边缘设备的多路高空抛物检测系统，用于实现前述高空抛物检测方法，其包括：
IPC摄像机模块，为4路800W高清网络摄像机；
边缘计算节点模块，架设于边缘设备中并与IPC摄像机模块数据连接，用于对获取到的摄像机拍摄视频进行第一次抛物检测分析；以及
数据中心模块，架设于云平台并与边缘计算节点模块数据连接，用于对第一次抛物检测分析结果进行二次分析，并对分析出的抛物结果发出预警通知；
其中，边缘计算节点模块包括：
视频图像接入单元，用于获取高清网络摄像机所拍摄的视频；
视频图像缓存单元，用于利用队列编码技术将视频图像接入单元获取的视频进行缓存处理；
视频图像解码单元，包括解码器，用于对视频图像缓存单元缓存的视频码流进行解码，以得到视频图像序列；
视频图像预处理单元，用于对视频图像解码单元解码后的视频图像序列的每一帧图像进行滤波、压缩、灰度图转换的预处理；
视频图像运动物体检测单元，用于对经过视频图像预处理单元预处理的视频图像序列进行运动目标检测；
视频图像噪声检测单元，用于动态对视频图像运动物体检测单元检测的视频帧进行噪声计算，并将计算结果用于下一帧的噪声消除；
运动目标匹配单元，用于将视频图像运动物体检测单元在各视频帧检测到的运动目标进行匹配并标注；
视频结果上传单元，用于将运动目标匹配单元匹配并标注好的运动目标视频序列上传到数据中心模块做进一步分析与证据采集；
其中，数据中心模块包括：
视频结果接收单元，用于接收视频结果上传单元上传的视频序列；
抛物过程分析单元，用于将视频结果接收单元接收到的视频序列进行抛物过程分析及抛出点的计算；
抛物预警通知单元，用于接收抛物过程分析单元的分析结果并向系统使用人员发送包括发生抛物的地址与事件详情的预警通知。
本发明提供的在安防系统中基于边缘设备的多路高空抛物检测系统及方法，通过在边缘设备及时对多路摄像机拍摄的视频画面进行基于边缘计算节点的抛物检测，再将初步筛选的检测结果上传至数据中心进行二次分析与溯源追踪，并通过预警通知单元及时告知相关人员现场处理。相比于现有技术，本发明至少具有以下优点：
(1)将抛物检测装置部署在边缘设备端，不需要将视频码流全量传输到数据中心，减轻了网络部署的压力与传输负载情况，提高了传输效率。
(2)增加数据中心的分析单元，通过两次分析判断，提高检测精度和抛物溯源的准确性。
(3)增加数据中心的报警单元，通过与检测和分析单元的全流程连通可以进行抛物溯源、证据保存、现场预警、物业提醒等多项功能，提高抛物溯源的准确性和及时性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
图1为本发明高空抛物检测方法的流程图；
图2为本发明高空抛物检测系统示意图。
附图标记说明：S1、S2、S11～S18、S21～S23-步骤；10-IPC摄像机模块；20-边缘计算节点模块；21-视频图像接入单元；22-视频图像缓存单元；23-视频图像解码单元；24-视频图像预处理单元；25-视频图像运动物体检测单元；26-视频图像噪声检测单元；17-运动目标匹配单元；28-视频结果上传单元；30-数据中心模块；31-视频结果接收单元；32-抛物过程分析单元；33-抛物预警通知单元。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
图1为本发明抛物检测方法的流程图，如图1所示，本发明提供了一种安防系统中边缘设备的多路高空抛物检测方法，其包括以下步骤：
步骤1：边缘设备获取多路高清网络摄像机所拍摄的视频，将视频缓存解码后对视频帧进行第一次抛物检测分析，并输出仅包含检测到抛物事件的视频序列；
步骤2：数据中心将接收到抛物事件视频序列进行抛物过程的二次分析，确定抛物点，并向相关人员发出预警信息；
其中，所述步骤1的具体执行过程为：
步骤11：利用开放式网络视频接口论坛(onvif)与实时流传输协议(rtsp)获取高清网络摄像机所拍摄的视频；
步骤12：利用队列编码技术将获取的视频进行内存缓存，其中缓存视频的时长为15秒，以用于保存发生抛物事件的视频，通过内存缓存的方式可以减少存储介质的损耗同时节省存储空间；
步骤13：利用解码器对缓存的视频码流进行解码处理，得到视频帧的原始图像序列；
步骤14：将原始图像序列中的每一帧图像进行滤波、压缩、灰度图转换的预处理，以保证尽量保存图像细节的情况下提高后续数据运算速度与精度。其中，预处理的输出结果是灰度化的图像，所述灰度化就是把含有亮度和色彩的彩色图像变化为灰度图像的过程；
其中，进行预处理的具体过程为：
步骤1401：采用双边滤波的方式对原始图像进行滤波处理，以抑制图像中的噪声；
其中，双边滤波(Bilateralfilter)是一种非线性的滤波方法，是结合图像的空间邻近度和像素值相似度的一种折中处理，能够兼顾同时考虑空域信息和灰度相似性，达到保边去噪的目的，具有简单、非迭代、局部的特点。本发明实施例采用双边滤波的好处是可以做边缘保存(edgepreserving)，一般常用的维纳滤波或者高斯滤波去降噪，都会较明显地模糊边缘，对于高频细节的保护效果并不明显。双边滤波顾名思义比高斯滤波多了一个高斯方差sigma-d，它是基于空间分布的高斯滤波函数，因此在边缘附近，离的较远的像素不会太多影响到边缘上的像素值，这样就保证了边缘附近像素值的保存，具体算法在此不做赘述。
步骤1402：压缩图像并读取彩色图像中的RGB分量，其中，RGB是指RGB色彩模式，其是工业界的一种颜色标准，是通过对红(R，Red)、绿(G，Green)、蓝(B，Blue)三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色的；
步骤1403：计算当前视频帧图像IA中每个像素点的灰度值，其中，计算每个像素点灰度值的方法可以采用平均值法、最大值法或加权平均值法，此处不再详述；
步骤1404：对当前视频帧图像IA中每个像素点的颜色分量重新赋予步骤1403中计算出的灰度值，得到灰度图像IB，其中，灰度图像是指只含有亮度信息、不含色彩信息的图像。
步骤15:对经过预处理每一帧视频图像进行运动目标检测，计算运动目标中心点坐标与区域大小，并进行标记；
其中，进行运动目标检测的具体步骤为：
步骤1501：构建当前帧的近似背景图，具体为：
为经过预处理的图像序列建立一个容量为5的灰度图队列，其中，灰度图队列中的灰度图片的选择为从当前帧向前每5帧跳帧选择一帧进行存储；
当队列满时，对队列内的5帧灰度图片进行相加处理，然后进行像素平均，得到一张近似背景图IC，其中，从当前帧开始包括当前帧的5帧使用相同的近似背景图IC；
完成当前帧近似背景图IC的计算后，释放当前队列的第一张图片，将当前帧+5帧的灰度图片添加至队列末尾，并重复对队列内的5帧灰度图片进行相加及像素平均处理，得到下一张近似背景图。
在本发明一实施例中，若当前帧为第25帧，则向前跳帧选择第5帧、第10帧、第15帧、第20帧与第25帧组成灰度图队列；将第5帧、第10帧、第15帧、第20帧与第25帧灰度图相加后，进行像素平均得到第25帧图像的近似背景图IC25，第26帧～第29帧使用第25帧的近似背景图IC25；计算完第25帧近似背景图IC25后，灰度图队列释放第5帧，将第30帧灰度图片添加到队列末尾，再次将第10帧、第15帧、第20帧、第25帧与第30帧灰度图相加后进行像素平均得到第30帧图像的近似背景图IC30，第31帧～第34帧使用第30帧的近似背景图IC30。
步骤1502：获取当前帧的前景图IE，具体为：
将灰度图像IB与近似背景图IC进行相减操作，生成一张当前帧的变化图ID；
对变化图ID每个像素点的像素值进行阈值化操作，将低于第一阈值的像素点置为0，将高于第一阈值的像素点置为255，得到当前帧的前景图IE，其中，第一阈值设置为30。
步骤1503：对前景图进行消除噪声处理，具体为：
利用预置的第一掩膜图IF与前景图IE进行第一次屏蔽处理，其中，预置的第一掩膜图IF为事先预置到系统中的经过人工标注的掩膜图，其已将背景中干扰物的像素值置为0，仅保留固定背景，例如实时画面中静止不动的树木；
再利用上一帧图像经过计算获得的噪声掩膜图IG’进行第二次屏蔽处理，得到消除噪声后的前景图IH。
步骤1504：标记抛物区域块，并记录其中心点坐标与区域大小，具体为：
在消除噪声后的前景图IH中查找像素点为255的区域块，并计算每一区域块中像素点的数量；
当计算的任一区域块中像素点数量大于10时，记录此区域块的中心点坐标与区域大小。
步骤16：计算当前帧的噪声情况，并生成当前帧的噪声掩膜图IG以用于下一帧的噪声消除；
其中，计算当前帧的噪声情况，并生成当前帧的噪声掩膜图IG的具体过程为：
步骤1601：将步骤1502中得到的变化图ID和预置的第一掩膜图IF进行与操作得到图像IM，查找图像IM中像素点为255的区域块；
步骤1602：计算每一区域块中像素点的数量，当任一区域块中像素点数量大于10时，标记此区域为变化物体；
步骤1603：计算图像IM中变化物体的数量，若变化物体的数量大于6时即认定当前帧存在噪声，否则认定当前帧不存在噪声；
步骤1604：计算从当前帧开始前数20帧图像中存在噪声的帧数，当存在噪声的帧数小于4时，认为当前系统无噪声，并将噪声掩膜图IG’清空，否则进入下一步；
步骤1605：将当前帧的前景图IE与上一帧的前景图IE’进行与操作，得到当前帧的噪声图IK，并将当前帧的噪声图IK与上一帧的噪声图IK’进行或操作，生成当前帧的噪声掩膜图IG。
在本发明一实施例中，设当前帧为第25帧，将变化图ID25和预置的第一掩膜图IF进行与操作得到图像IM25，查找图像IM25中像素点为255的区域块并计算每一区域块中像素点的数量，当任一区域块中像素点数量大于10时，标记此区域为变化物体；计算图像IM25中变化物体的数量，若变化物体的数量大于6时认定第25帧存在噪声，否则认定第25帧不存在噪声；计算第16帧～第25帧这20帧图像中存在噪声的帧数，若存在噪声的帧数小于4时，认为当前系统无噪声，并将系统缓存的噪声掩膜图IG’清空，否则将第25帧的前景图IE25与第24帧的前景图IE24进行与操作，得到第25帧的噪声图IK25，同理，第24帧的噪声图IK24由第24帧的前景图IE24与第23帧的前景图IE23进行与操作得到；将第25帧的噪声图IK25与第24帧的噪声图IK24进行或操作，生成第25帧的噪声掩膜图IG25。
步骤17：将各帧检测到的运动目标进行匹配并标注，具体为：
设上一帧检测到的运动目标为A，当前帧检测到的运动目标为B，运动目标A的大小为A.area，运动目标B的大小为B.area，运动目标A的中心点坐标为(A.x，A.y)，运动目标B的中心点坐标为(B.x，B.y)，计算运动目标A与运动目标B的相关度Z，当Z大于第二阈值时，认定运动目标A与运动目标B为同一物体，否则认定运动目标A与运动目标B为不同物体，其中，第二阈值设置为108，相关度Z的计算公式为：
其中，max为两者中取较大值，min为两者中取较小值，0.00001为用于调节大小比例与距离比例的常量。
步骤18：将检测到的包含运动目标的视频序列上传到数据中心。
其中，所述步骤2的具体执行过程为：
步骤21：接收包含运动目标的视频序列；
步骤22:将标注的运动目标中心点进行连线，得到抛物轨迹及抛物起始点；
步骤23：利用预置的第二掩膜图IM对抛物起始点所在的图像帧进行掩膜处理，标记出抛物起始点坐标、抛出楼层和房间，其中，第二掩膜图IM为事先预置到系统中的一张手工标注包括楼层和房间信息的掩膜图；
步骤24：向系统使用人员发出预警通知，并发送发生抛物事件的地址信息与事件详情。
图2为本发明的高空抛物检测系统示意图，如图2所示，本发明还提供了一种安防系统中边缘设备的多路高空抛物检测系统，用于实现前述高空抛物检测方法，其包括：
IPC摄像机模块(10)，为4路800W高清网络摄像机，其中，IPC(IP camera)为网络摄像机；
边缘计算节点模块(20)，架设于边缘设备中并与IPC摄像机模块(10)数据连接，用于对获取到的摄像机拍摄视频进行第一次抛物检测分析；以及
数据中心模块(30)，架设于云平台并与边缘计算节点模块(20)数据连接，用于对第一次抛物检测分析结果进行二次分析，并对分析出的抛物结果发出预警通知；
其中，边缘计算节点模块(20)包括：
视频图像接入单元(21)，用于获取高清网络摄像机所拍摄的视频；
视频图像缓存单元(22)，用于利用队列编码技术将视频图像接入单元(21)获取的视频进行缓存处理；
视频图像解码单元(23)，包括解码器，用于对视频图像缓存单元(22)缓存的视频码流进行解码，以得到视频图像序列；
视频图像预处理单元(24)，用于对视频图像解码单元(23)解码后的视频图像序列的每一帧图像进行滤波、压缩、灰度图转换的预处理；
视频图像运动物体检测单元(25)，用于对经过视频图像预处理单元(24)预处理的视频图像序列进行运动目标检测；
视频图像噪声检测单元(26)，用于动态对视频图像运动物体检测单元(25)检测的视频帧进行噪声计算，并将计算结果用于下一帧的噪声消除；
运动目标匹配单元(27)，用于将视频图像运动物体检测单元(25)在各视频帧检测到的运动目标进行匹配并标注；
视频结果上传单元(28)，用于将运动目标匹配单元(27)匹配并标注好的运动目标视频序列上传到数据中心模块(30)做进一步分析与证据采集；
其中，数据中心模块(30)包括：
视频结果接收单元(31)，用于接收视频结果上传单元(28)上传的视频序列；
抛物过程分析单元(32)，用于将视频结果接收单元(31)接收到的视频序列进行抛物过程分析及抛出点的计算；
抛物预警通知单元(33)，用于接收抛物过程分析单元(32)的分析结果并向系统使用人员发送包括发生抛物的地址与事件详情的预警通知。
在本发明一实施例中，所述高清网络摄像机所拍摄的视频以H.264或H.265码流格式传输。
本发明提供的在安防系统中基于边缘设备的多路高空抛物检测系统及方法，通过在边缘设备及时对多路摄像机拍摄的视频画面进行基于边缘计算节点的抛物检测，再将初步筛选的检测结果上传至数据中心进行二次检测分析与溯源追踪，并通过预警通知单元及时告知相关人员现场处理，提高检测精度和效率，也提高了抛物溯源的准确性和及时性。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。
Claims (9)
1.一种安防系统中边缘设备的多路高空抛物检测方法，其特征在于，包括以下步骤：
步骤1：边缘设备获取多路高清网络摄像机所拍摄的视频，将视频缓存解码后对视频帧进行第一次抛物检测分析，并输出仅包含检测到抛物事件的视频序列；
步骤2：数据中心将接收到抛物事件视频序列进行抛物过程的二次分析，确定抛物点，并向相关人员发出预警信息；
其中，步骤1的具体执行过程为：
步骤11：利用开放式网络视频接口论坛与实时流传输协议获取高清网络摄像机所拍摄的视频；
步骤12：利用队列编码技术将获取的视频进行内存缓存，其中缓存视频的时长为15秒，以用于保存发生抛物事件的视频；
步骤13：利用解码器对缓存的视频码流进行解码处理，得到视频帧的原始图像序列；
步骤14：将原始图像序列中的每一帧图像进行滤波、压缩、灰度图转换的预处理；
步骤15:对经过预处理每一帧视频图像进行运动目标检测，计算运动目标中心点坐标与区域大小，并进行标记；
步骤16：计算当前帧的噪声情况，并生成当前帧的噪声掩膜图IG以用于下一帧的噪声消除；
步骤17：将各帧检测到的运动目标进行匹配并标注；
步骤18：将检测到的包含运动目标的视频序列上传到数据中心。
2.根据权利要求1所述的高空抛物检测方法，其特征在于，步骤14中进行预处理的具体过程为：
步骤1401：采用双边滤波的方式对原始图像进行滤波处理，以抑制图像中的噪声；
步骤1402：压缩图像并读取彩色图像中的RGB分量；
步骤1403：计算当前视频帧图像IA中每个像素点的灰度值，其中，计算每个像素点灰度值的方法可以采用平均值法、最大值法或加权平均值法；
步骤1404：对当前视频帧图像IA中每个像素点的颜色分量重新赋予步骤1403中计算出的灰度值，得到灰度图像IB。
3.根据权利要求2所述的高空抛物检测方法，其特征在于，步骤15中进行运动目标检测的具体步骤为：
步骤1501：构建当前帧的近似背景图，具体为：
为经过预处理的图像序列建立一个容量为5的灰度图队列，其中，队列中的图片的选择为从当前帧向前每5帧跳帧选择一帧进行存储；
当队列满时，对队列内的5帧灰度图片进行相加处理，然后进行像素平均，得到一张近似背景图IC；
完成当前帧近似背景图IC的计算后，释放当前队列的第一张图片，将当前帧+5帧的灰度图片添加至队列末尾，并重复对队列内的5帧灰度图片进行相加及像素平均处理，得到下一张近似背景图；
步骤1502：获取当前帧的前景图IE，具体为：
将灰度图像IB与近似背景图IC进行相减操作，生成一张当前帧的变化图ID；
对变化图ID每个像素点的像素值进行阈值化操作，将低于第一阈值的像素点置为0，将高于第一阈值的像素点置为255，得到当前帧的前景图IE，其中，第一阈值设置为30；
步骤1503：对前景图进行消除噪声处理，具体为：
利用预置的第一掩膜图IF与前景图IE进行第一次屏蔽处理，其中，预置的第一掩膜图IF为事先预置到系统中的经过人工标注的掩膜图，其已将背景中干扰物的像素值置为0，仅保留固定背景；
再利用上一帧图像经过计算获得的噪声掩膜图IG’进行第二次屏蔽处理，得到消除噪声后的前景图IH；
步骤1504：标记抛物区域块，并记录其中心点坐标与区域大小，具体为：
在消除噪声后的前景图IH中查找像素点为255的区域块，并计算每一区域块中像素点的数量；
当计算的任一区域块中像素点数量大于10时，记录此区域块的中心点坐标与区域大小。
4.根据权利要求3所述的高空抛物检测方法，其特征在于，步骤16中计算当前帧的噪声情况，并生成当前帧的噪声掩膜图IG的具体过程为：
步骤1601：将步骤1502中得到的变化图ID和预置的第一掩膜图IF进行与操作得到图像IM，查找图像IM中像素点为255的区域块；
步骤1602：计算每一区域块中像素点的数量，当任一区域块中像素点数量大于10时，标记此区域为变化物体；
步骤1603：计算图像IM中变化物体的数量，若变化物体的数量大于6时即认定当前帧存在噪声，否则认定当前帧不存在噪声；
步骤1604：计算从当前帧开始前数20帧图像中存在噪声的帧数，当存在噪声的帧数小于4时，认为当前系统无噪声，并将噪声掩膜图IG’清空，否则进入下一步；
步骤1605：将当前帧的前景图IE与上一帧的前景图IE’进行与操作，得到当前帧的噪声图IK，并将当前帧的噪声图IK与上一帧的噪声图IK’进行或操作，生成当前帧的噪声掩膜图IG。
5.根据权利要求1所述的高空抛物检测方法，其特征在于，步骤17中将各帧检测到的运动目标进行匹配并标注的具体过程为：
设上一帧检测到的运动目标为A，当前帧检测到的运动目标为B，运动目标A的大小为A.area，运动目标B的大小为B.area，运动目标A的中心点坐标为(A.x，A.y)，运动目标B的中心点坐标为(B.x，B.y)，计算运动目标A 与运动目标B的相关度Z，当Z大于第二阈值时，认定运动目标A与运动目标B为同一物体，否则认定运动目标A与运动目标B为不同物体，其中，第二阈值设置为108，相关度Z的计算公式为：
其中，max为两者中取较大值，min为两者中取较小值，0.00001为用于调节大小比例与距离比例的常量。
6.根据权利要求5所述的高空抛物检测方法，其特征在于，步骤2的具体执行过程为：
步骤21：接收包含运动目标的视频序列；
步骤22:将标注的运动目标中心点进行连线，得到抛物轨迹及抛物起始点；
步骤23：利用预置的第二掩膜图IM对抛物起始点所在的图像帧进行掩膜处理，标记出抛物起始点坐标、抛出楼层和房间，其中，第二掩膜图IM为事先预置到系统中的一张手工标注包括楼层和房间信息的掩膜图；
步骤24：向系统使用人员发出预警通知，并发送发生抛物事件的地址信息与事件详情。
7.一种安防系统中边缘设备的多路高空抛物检测系统，用于执行权利要求1～6任一项所述的高空抛物检测方法，其特征在于，包括：
IPC摄像机模块，为4路800W高清网络摄像机；
边缘计算节点模块，架设于边缘设备中并与所述IPC摄像机模块数据连接，用于对获取到的摄像机拍摄视频进行第一次抛物检测分析；以及
数据中心模块，架设于云平台并与所述边缘计算节点模块数据连接，用于对第一次抛物检测分析结果进行二次分析，并对分析出的抛物结果发出预警通知。
8.根据权利要求7所述的高空抛物检测系统，其特征在于，所述边缘计算节点模块包括：
视频图像接入单元，用于获取高清网络摄像机所拍摄的视频；
视频图像缓存单元，用于利用队列编码技术将所述视频图像接入单元获取的视频进行缓存处理；
视频图像解码单元，包括解码器，用于对所述视频图像缓存单元缓存的视频码流进行解码，以得到视频图像序列；
视频图像预处理单元，用于对所述视频图像解码单元解码后的视频图像序列的每一帧图像进行滤波、压缩、灰度图转换的预处理；
视频图像运动物体检测单元，用于对经过所述视频图像预处理单元预处理的视频图像序列进行运动目标检测；
视频图像噪声检测单元，用于动态对所述视频图像运动物体检测单元检测的视频帧进行噪声计算，并将计算结果用于下一帧的噪声消除；
运动目标匹配单元，用于将所述视频图像运动物体检测单元在各视频帧检测到的运动目标进行匹配并标注；
视频结果上传单元，用于将所述运动目标匹配单元匹配并标注的运动目标视频序列上传到数据中心模块做进一步分析与证据采集。
9.根据权利要求8所述的高空抛物检测系统，其特征在于，所述数据中心模块包括：
视频结果接收单元，用于所述接收视频结果上传单元上传的视频序列；
抛物过程分析单元，用于将所述视频结果接收单元接收到的视频序列进行抛物过程分析及抛出点的计算；
抛物预警通知单元，用于接收所述抛物过程分析单元的分析结果并向系统使用人员发送包括发生抛物的地址与事件详情的预警通知。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110340564.XA CN113052878B (zh) | 2021-03-30 | 2021-03-30 | 一种安防系统中边缘设备的多路高空抛物检测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110340564.XA CN113052878B (zh) | 2021-03-30 | 2021-03-30 | 一种安防系统中边缘设备的多路高空抛物检测方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113052878A true CN113052878A (zh) | 2021-06-29 |
| CN113052878B CN113052878B (zh) | 2024-01-02 |
Family
ID=76516522
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110340564.XA Active CN113052878B (zh) | 2021-03-30 | 2021-03-30 | 一种安防系统中边缘设备的多路高空抛物检测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113052878B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113542842A (zh) * | 2021-07-14 | 2021-10-22 | 国网信息通信产业集团有限公司 | 一种适用于边缘计算的视频同步处理方法及系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018095082A1 (zh) * | 2016-11-28 | 2018-05-31 | 江苏东大金智信息系统有限公司 | 一种视频监测中运动目标的快速检测方法 |
| CN109309811A (zh) * | 2018-08-31 | 2019-02-05 | 中建三局智能技术有限公司 | 一种基于计算机视觉的高空抛物检测系统与方法 |
| CN109872341A (zh) * | 2019-01-14 | 2019-06-11 | 中建三局智能技术有限公司 | 一种基于计算机视觉的高空抛物检测方法与系统 |
| CN111898511A (zh) * | 2020-07-23 | 2020-11-06 | 北京以萨技术股份有限公司 | 基于深度学习的高空抛物检测方法、装置及介质 |
| CN112016414A (zh) * | 2020-08-14 | 2020-12-01 | 熵康(深圳)科技有限公司 | 一种检测高空抛物事件的方法、装置及楼面智能监控系统 |
| CN112257557A (zh) * | 2020-10-20 | 2021-01-22 | 中国电子科技集团公司第五十八研究所 | 一种基于机器视觉的高空抛物检测识别方法及系统 |
-
2021
- 2021-03-30 CN CN202110340564.XA patent/CN113052878B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018095082A1 (zh) * | 2016-11-28 | 2018-05-31 | 江苏东大金智信息系统有限公司 | 一种视频监测中运动目标的快速检测方法 |
| CN109309811A (zh) * | 2018-08-31 | 2019-02-05 | 中建三局智能技术有限公司 | 一种基于计算机视觉的高空抛物检测系统与方法 |
| CN109872341A (zh) * | 2019-01-14 | 2019-06-11 | 中建三局智能技术有限公司 | 一种基于计算机视觉的高空抛物检测方法与系统 |
| CN111898511A (zh) * | 2020-07-23 | 2020-11-06 | 北京以萨技术股份有限公司 | 基于深度学习的高空抛物检测方法、装置及介质 |
| CN112016414A (zh) * | 2020-08-14 | 2020-12-01 | 熵康(深圳)科技有限公司 | 一种检测高空抛物事件的方法、装置及楼面智能监控系统 |
| CN112257557A (zh) * | 2020-10-20 | 2021-01-22 | 中国电子科技集团公司第五十八研究所 | 一种基于机器视觉的高空抛物检测识别方法及系统 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113542842A (zh) * | 2021-07-14 | 2021-10-22 | 国网信息通信产业集团有限公司 | 一种适用于边缘计算的视频同步处理方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113052878B (zh) | 2024-01-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7764736B2 (en) | Real-time video object generation for smart cameras | |
| CN106600888B (zh) | 一种森林火灾自动检测方法及系统 | |
| CN105323497B (zh) | 恒定包围的高动态范围(cHDR)操作 | |
| CN109299703B (zh) | 对鼠情进行统计的方法、装置以及图像采集设备 | |
| KR100721543B1 (ko) | 통계적 정보를 이용하여 노이즈를 제거하는 영상 처리 방법및 시스템 | |
| US20120154581A1 (en) | Cascadable camera tampering detection transceiver module | |
| KR102139582B1 (ko) | 다중 roi 및 객체 검출 dcnn 기반의 cctv 영상분석장치 및 그 장치의 구동방법 | |
| CN108376246A (zh) | 一种多人脸识别及跟踪系统及方法 | |
| JP2007264860A (ja) | 顔領域抽出装置 | |
| CN104881643B (zh) | 一种快速的遗留物检测方法及系统 | |
| EP2549759A1 (en) | Method and system for facilitating color balance synchronization between a plurality of video cameras as well as method and system for obtaining object tracking between two or more video cameras | |
| CN108230607B (zh) | 一种基于区域特征分析的图像火灾探测方法 | |
| WO2022237591A1 (zh) | 运动对象的识别方法、装置、电子设备及可读存储介质 | |
| CN110348343A (zh) | 一种暴力行为监测方法、装置、存储介质及终端设备 | |
| CN109905670A (zh) | 一种多级平台监控系统 | |
| CN111274896B (zh) | 一种烟火识别算法 | |
| CN115761571A (zh) | 基于视频的目标检索方法、装置、设备以及存储介质 | |
| CN113052878B (zh) | 一种安防系统中边缘设备的多路高空抛物检测方法及系统 | |
| CN110659627A (zh) | 一种基于视频分割的智能视频监控方法 | |
| CN112422909A (zh) | 一种基于人工智能的视频行为分析管理系统 | |
| US10911644B2 (en) | Device and method for improving image quality | |
| CN101753854A (zh) | 图像通讯方法及使用其的电子装置 | |
| CN106921846A (zh) | 视频移动终端遗留物检测装置 | |
| Beghdadi et al. | A perceptual quality-driven video surveillance system | |
| CN114699702A (zh) | 消防设备检测方法及相关装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: Room 711c, 7 / F, block a, building 1, yard 19, Ronghua Middle Road, Beijing Economic and Technological Development Zone, Daxing District, Beijing 102600 Applicant after: Beijing Zhongke Flux Technology Co.,Ltd. Address before: Room 711c, 7 / F, block a, building 1, yard 19, Ronghua Middle Road, Beijing Economic and Technological Development Zone, Daxing District, Beijing 102600 Applicant before: Beijing Ruixin high throughput technology Co.,Ltd. |
|
| CB02 | Change of applicant information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |