CN112396635B - 一种基于多设备的复杂环境下多目标检测方法 - Google Patents
一种基于多设备的复杂环境下多目标检测方法 Download PDFInfo
- Publication number
- CN112396635B CN112396635B CN202011378661.XA CN202011378661A CN112396635B CN 112396635 B CN112396635 B CN 112396635B CN 202011378661 A CN202011378661 A CN 202011378661A CN 112396635 B CN112396635 B CN 112396635B
- Authority
- CN
- China
- Prior art keywords
- image
- marking
- acquiring
- video
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 41
- 238000012549 training Methods 0.000 claims abstract description 39
- 238000000926 separation method Methods 0.000 claims abstract description 13
- 238000012545 processing Methods 0.000 claims abstract description 8
- 238000012544 monitoring process Methods 0.000 claims description 91
- 238000003062 neural network model Methods 0.000 claims description 66
- 238000013500 data storage Methods 0.000 claims description 15
- 238000007726 management method Methods 0.000 claims description 14
- 238000007781 pre-processing Methods 0.000 claims description 12
- 238000013441 quality evaluation Methods 0.000 claims description 12
- 238000013528 artificial neural network Methods 0.000 claims description 9
- 238000012216 screening Methods 0.000 claims description 7
- 238000004891 communication Methods 0.000 claims description 6
- 238000000034 method Methods 0.000 claims description 5
- 230000009467 reduction Effects 0.000 claims description 4
- 230000009471 action Effects 0.000 claims description 3
- 238000003709 image segmentation Methods 0.000 claims description 3
- 238000001303 quality assessment method Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 2
- 230000002349 favourable effect Effects 0.000 abstract description 2
- 238000007792 addition Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/292—Multi-camera tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于多设备的复杂环境下多目标检测方法,涉及多目标检测技术领域,解决了复杂环境下多目标检测精度和效率不高的技术问题;本发明中将图像处理与智能模型相结合,不仅能够在复杂环境的多目标检测中提高检测效率,而且能够利用智能模型的非线性拟合特定提高多目标检测的精度;本发明检测系统中设置了背景分离模块,该设置从灰度图像的像素点的像素值以及临近像素点的像素值来获取前景图像和背景图像,有助于提高多目标检测的精度;本发明检测系统中设置了智能模型训练模块,该设置通过输入数组和输出数组对模型进行训练,直至达到预设要求获取智能模型,然后利用智能模型实现多目标的检测,节省效率的同时降低了工作量。
Description
技术领域
本发明属于多目标检测技术领域,涉及多视角学习技术,具体是一种基于多设备的复杂环境下多目标检测方法。
背景技术
在单一设备上集成一个摄像头甚至是多个摄像头都已经不能满足人们的需求了,由多个摄像头进行不同功能的组合,可完成复杂任务的多摄像头联合系统,势必受到越来越多的应用;多摄像头联合系统是由多个摄像头相互配合,通过对不同摄像头获取的图像进行校准提高一致性。
公开号为CN108648210A的发明专利公开了一种静态复杂场景下快速多目标检测方法,涉及信息监控技术领域,该方法如下:采集输入视频中的图像,建立背景模型;将当前帧图像中的每个像素与背景模型相匹配,进行背景或前景标记;对包含候选目标的前景、背景二值图像进行处理,去除虚警。
上述方案通过在可编辑器件对经典码本模型进行精简优化,同时结合DPS模块中的对目标筛选、排序、编号的处理,解决了传统方法虚警高、检测率低、误捡高的缺点;但是,上述方案的适用范围有限,而且背景模型建立过程复杂,降低了工作效率;因此,上述方案仍需进一步改进。
发明内容
为了解决上述方案存在的问题,本发明提供了一种基于多设备的复杂环境下多目标检测方法。
本发明的目的可以通过以下技术方案实现:一种基于多设备的复杂环境下多目标检测方法,所述多目标方法包括以下步骤:
步骤一:将视频采集设备标记为i,i=1,2,……,n;并将视频采集设备i的地理位置发送至数据存储模块中存储;
步骤二:通过视频采集设备i获取第一监测视频和第二监测视频;
步骤三:将第一监测视频标记为初筛视频,通过初筛视频提取前景图像和背景图像;
步骤四:通过前景图像提取跟踪目标,提取跟踪目标的特征参数,并利用特征参数建立智能模型;
步骤五:通过智能模型识别第二监测视频中的跟踪目标,根据视频采集设备的位置生成跟踪目标运动曲线。
优选的,所述视频采集设备通过视频采集模块控制,所述视频采集模块是检测系统的组成部分,所述检测系统还包括处理器、多目标检测模块、后台管理模块、数据存储模块、视频采集模块、背景分离模块和智能模型训练模块;所述视频采集设备包括高清摄像头和动作云台;
所述处理器分别与多目标监测模块、后台管理模块、数据存储模块、视频采集模块、背景分离模块和智能模型训练模块通信连接;所述数据存储模块与后台管理模块通信连接。
优选的,所述背景分离模块用于获取前景图像和背景图像,包括:
将第一监测视频逐帧分解成灰度图像;
获取灰度图像的灰度平均值,并将灰度平均值标记为HPZ;获取灰度图像中像素点的像素灰度值,并将像素灰度值标记为XHZ;
当像素灰度值XHZ满足XHZ≥α3×HPZ时,则将该像素点标记为初选像素点,获取与初选像素点相邻的像素点并标记为临近像素点,将临近像素点的灰度值标记为LXHZ;其中α3为预设比例系数,且α3>1.5;
当临近像素点包括至少两个深色像素点和一个浅色像素点时,则将临近像素点包围的初选像素点标记为轮廓像素点;
通过轮廓像素点生成初选轮廓,获取初选轮廓内像素点的灰度平均值并标记为LHPZ;当LHPZ≥α4×HPZ时,则将初选轮廓标记为闭合轮廓;其中α4为预设比例系数,且1<α4≤1.5;
根据闭合轮廓对灰度图像进行二值化处理获取前景图像和背景图像。
优选的,所述特征参数提取的具体步骤包括:
将闭合轮廓包围的区域标记为跟踪目标,并将跟踪目标标记为k,k=1,2,……,b;
获取跟踪目标k的像素点总数并标记为GXZk;
获取跟踪目标k对应的灰度图像像素点总数并标记为HTXZk;
获取跟踪目标k对应的闭合轮廓像素带你总数并标记为BLXZk;
通过公式获取第一特征参数DYTCk;通过公式获取第二特征参数DETCk;通过公式DSTCk=β3×GXZk×HTXZk×BLXZk获取第三特征参数DSTCk;其中β1、β2和β3为预设比例系数,且β1、β2和β3均为大于0的实数。
优选的,所述智能模型训练模块用于获取智能模型,包括:
通过特征参数生成输入数组,其中输入数组为[(DYTC1,DETC1,DSTC1),(DYTC2,DETC2,DSTC2),……,(DYTCk,DETCk,DSTCk)];根据跟踪目标k生成输出数组,其中输出数组为[1,2,……,b];
建立神经网络模型,所述神经网络模型包括误差前向反馈神经网络、模糊神经网络和RBF神经网络;
构建神经网络模型基本结构,所述神经网络模型基本结构包括输入层、隐含层和输出层;当k≤L2时,则神经网络模型设置为单隐含层神经网络模型,当k>L2时,则神经网络模型设置为多隐含层神经网络模型;其中L2为预设比例系数,且L2为大于0的整数;
将输入数组作为神经网络模型的输入参数,将输出数组作为神经网络模型的输出参数对神经网络模型进行训练,当神经网络模型的训练精度和训练次数均满足预设训练精度和预设训练次数的要求时,则判定神经网络模型训练完成,将训练完成的神经网络模型标记为智能模型;
通过处理器将智能模型分别发送至多目标检测模块和数据存储模块。
优选的,所述多目标监测模块用于分析第二监测视频,包括:
获取第二监测视频的前景图像和背景图像,并将第二监测视频的前景图像标记为嫌疑图像;
将嫌疑图像对应的闭合轮廓区域标记为嫌疑区域;
根据嫌疑图像和嫌疑区域获取单一特征参数、第二特征参数和第三特征参数;
将第一特征参数、第二特征参数和第三特征参数输入作为智能模型的输入数据并获取输出结果,并将输出结果标记为h;
当输出结果h满足h-0.001≤k≤h+0.001时,则判定输出结果h满足精度要求,且嫌疑区域记为跟踪目标k;
当第二监测视频中检测出跟踪目标k时,获取第二监测视频对应的图像采集设备i的地理位置;根据第二监测视频采集的时间先后生成跟踪目标运动曲线,并将跟踪目标运动曲线通过处理器发送至后台管理模块。
优选的,所述第一监测视频的具体获取步骤包括:
通过视频采集设备i实时获取监控视频;
将监控视频进行逐帧分解成监控图像,将监控图像标记为j,j=1,2,……,m;对监控图像进行图像预处理,所述图像预处理包括图像分割、图像去噪和灰度变换;
获取经过图像预处理之后的监控图像的灰度平均值、灰度最小值和灰度最大值,并分别将灰度平均值、灰度最小值和灰度最大值标记为HPZj、HXZj和HDZj;
当HPZj-μ≤HDZj-HXZj≤HPZj+μ时,则判定监控图像质量优秀;当HPZj-2×μ≤HDZj-HXZj≤HPZj+2×μ时,则判定监控图像质量良好;否则,判定监控图像质量不合格;其中μ为预设比例系数,且μ为大于0的实数;
将质量优秀和质量良好的监控图像之和记为合格图像总数,并将合格图像总数标记为HTZ;
当质量评估系数ZPX满足L1≤ZPX时,则判定监控视频的质量合格,进行下一步;当质量评估系数ZPX满足0<ZPX<L1时,则监控视频的质量不合格;其中L1为预设质量评估系数阈值;
对质量合格的监控视频进行视频降噪获取预处理视频;
任选一个预处理视频将其标记为第一监测视频,同时将其余的预处理视频标记为第二监测视频。
与现有技术相比,本发明的有益效果是:
1、本发明中将图像处理与智能模型相结合,不仅能够在复杂环境的多目标检测中提高检测效率,而且能够利用智能模型的非线性拟合特定提高多目标检测的精度;
2、本发明检测系统中设置了背景分离模块,该设置用于获取前景图像和背景图像;将第一监测视频逐帧分解成灰度图像;获取灰度图像的灰度平均值HPZ;获取灰度图像中像素点的像素灰度值XHZ;当像素灰度值XHZ满足XHZ≥α3×HPZ时,则将该像素点标记为初选像素点,获取与初选像素点相邻的像素点并标记为临近像素点,将临近像素点的灰度值标记为LXHZ;当 且LXHZ≥HPZ时,则将该临近像素点标记为深色像素点;当且LXHZ<HPZ时,则将该临近像素点标记为浅色像素点;当临近像素点包括至少两个深色像素点和一个浅色像素点时,则将临近像素点包围的初选像素点标记为轮廓像素点;通过轮廓像素点生成初选轮廓,获取初选轮廓内像素点的灰度平均值并标记为LHPZ;当LHPZ≥α4×HPZ时,则将初选轮廓标记为闭合轮廓;根据闭合轮廓对灰度图像进行二值化处理获取前景图像和背景图像;背景分离模块从灰度图像的像素点的像素值以及临近像素点的像素值来获取前景图像和背景图像,有助于消除灰度图像中复杂环境的影响,提高多目标检测的精度;
3、本发明检测系统中设置了智能模型训练模块,该设置用于获取智能模型;通过特征参数生成输入数组,其中输入数组为[(DYTC1,DETC1,DSTC1),(DYTC2,DETC2,DSTC2),……,(DYTCk,DETCk,DSTCk)];根据跟踪目标k生成输出数组,其中输出数组为[1,2,……,b];建立神经网络模型,构建神经网络模型基本结构;当k≤L2时,则神经网络模型设置为单隐含层神经网络模型,当k>L2时,则神经网络模型设置为多隐含层神经网络模型;将输入数组作为神经网络模型的输入参数,将输出数组作为神经网络模型的输出参数对神经网络模型进行训练,当神经网络模型的训练精度和训练次数均满足预设训练精度和预设训练次数的要求时,则判定神经网络模型训练完成,将训练完成的神经网络模型标记为智能模型;智能模型训练模块通过输入数组和输出数组对模型进行训练,直至达到预设要求获取智能模型,然后利用智能模型实现多目标的检测,节省效率的同时降低了工作量。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明的步骤示意图;
图2为本发明检测系统的原理示意图。
具体实施方式
下面将结合实施例对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
请参阅图1-图2,一种基于多设备的复杂环境下多目标检测方法,多目标方法包括以下步骤:
步骤一:将视频采集设备标记为i,i=1,2,……,n;并将视频采集设备i的地理位置发送至数据存储模块中存储;
步骤二:通过视频采集设备i获取第一监测视频和第二监测视频;
步骤三:将第一监测视频标记为初筛视频,通过初筛视频提取前景图像和背景图像;
步骤四:通过前景图像提取跟踪目标,提取跟踪目标的特征参数,并利用特征参数建立智能模型;
步骤五:通过智能模型识别第二监测视频中的跟踪目标,根据视频采集设备的位置生成跟踪目标运动曲线。
进一步地,视频采集设备通过视频采集模块控制,视频采集模块是检测系统的组成部分,检测系统还包括处理器、多目标检测模块、后台管理模块、数据存储模块、视频采集模块、背景分离模块和智能模型训练模块;视频采集设备包括高清摄像头和动作云台;
处理器分别与多目标监测模块、后台管理模块、数据存储模块、视频采集模块、背景分离模块和智能模型训练模块通信连接;数据存储模块与后台管理模块通信连接。
进一步地,背景分离模块用于获取前景图像和背景图像,包括:
将第一监测视频逐帧分解成灰度图像;
获取灰度图像的灰度平均值,并将灰度平均值标记为HPZ;获取灰度图像中像素点的像素灰度值,并将像素灰度值标记为XHZ;
当像素灰度值XHZ满足XHZ≥α3×HPZ时,则将该像素点标记为初选像素点,获取与初选像素点相邻的像素点并标记为临近像素点,将临近像素点的灰度值标记为LXHZ;其中α3为预设比例系数,且α3>1.5;
当临近像素点包括至少两个深色像素点和一个浅色像素点时,则将临近像素点包围的初选像素点标记为轮廓像素点;
通过轮廓像素点生成初选轮廓,获取初选轮廓内像素点的灰度平均值并标记为LHPZ;当LHPZ≥α4×HPZ时,则将初选轮廓标记为闭合轮廓;其中α4为预设比例系数,且1<α4≤1.5;
根据闭合轮廓对灰度图像进行二值化处理获取前景图像和背景图像。
进一步地,特征参数提取的具体步骤包括:
将闭合轮廓包围的区域标记为跟踪目标,并将跟踪目标标记为k,k=1,2,……,b;所述跟踪目标也可通过后台管理模块人工标记;
获取跟踪目标k的像素点总数并标记为GXZk;
获取跟踪目标k对应的灰度图像像素点总数并标记为HTXZk;
获取跟踪目标k对应的闭合轮廓像素带你总数并标记为BLXZk;
通过公式获取第一特征参数DYTCk;通过公式获取第二特征参数DETCk;通过公式DSTCk=β3×GXZk×HTXZk×BLXZk获取第三特征参数DSTCk;其中β1、β2和β3为预设比例系数,且β1、β2和β3均为大于0的实数。
进一步地,智能模型训练模块用于获取智能模型,包括:
通过特征参数生成输入数组,其中输入数组为[(DYTC1,DETC1,DSTC1),(DYTC2,DETC2,DSTC2),……,(DYTCk,DETCk,DSTCk)];根据跟踪目标k生成输出数组,其中输出数组为[1,2,……,b];
建立神经网络模型,神经网络模型包括误差前向反馈神经网络、模糊神经网络和RBF神经网络;
构建神经网络模型基本结构,神经网络模型基本结构包括输入层、隐含层和输出层;当k≤L2时,则神经网络模型设置为单隐含层神经网络模型,当k>L2时,则神经网络模型设置为多隐含层神经网络模型;其中L2为预设比例系数,且L2为大于0的整数;
将输入数组作为神经网络模型的输入参数,将输出数组作为神经网络模型的输出参数对神经网络模型进行训练,当神经网络模型的训练精度和训练次数均满足预设训练精度和预设训练次数的要求时,则判定神经网络模型训练完成,将训练完成的神经网络模型标记为智能模型;
通过处理器将智能模型分别发送至多目标检测模块和数据存储模块。
进一步地,多目标监测模块用于分析第二监测视频,包括:
获取第二监测视频的前景图像和背景图像,并将第二监测视频的前景图像标记为嫌疑图像;
将嫌疑图像对应的闭合轮廓区域标记为嫌疑区域;
根据嫌疑图像和嫌疑区域获取单一特征参数、第二特征参数和第三特征参数;
将第一特征参数、第二特征参数和第三特征参数输入作为智能模型的输入数据并获取输出结果,并将输出结果标记为h;
当输出结果h满足h-0.001≤k≤h+0.001时,则判定输出结果h满足精度要求,且嫌疑区域记为跟踪目标k;
当第二监测视频中检测出跟踪目标k时,获取第二监测视频对应的图像采集设备i的地理位置;根据第二监测视频采集的时间先后生成跟踪目标运动曲线,并将跟踪目标运动曲线通过处理器发送至后台管理模块。
进一步地,第一监测视频的具体获取步骤包括:
通过视频采集设备i实时获取监控视频;
将监控视频进行逐帧分解成监控图像,将监控图像标记为j,j=1,2,……,m;对监控图像进行图像预处理,图像预处理包括图像分割、图像去噪和灰度变换;
获取经过图像预处理之后的监控图像的灰度平均值、灰度最小值和灰度最大值,并分别将灰度平均值、灰度最小值和灰度最大值标记为HPZj、HXZj和HDZj;
当HPZj-μ≤HDZj-HXZj≤HPZj+μ时,则判定监控图像质量优秀;当HPZj-2×μ≤HDZj-HXZj≤HPZj+2×μ时,则判定监控图像质量良好;否则,判定监控图像质量不合格;其中μ为预设比例系数,且μ为大于0的实数;
将质量优秀和质量良好的监控图像之和记为合格图像总数,并将合格图像总数标记为HTZ;
当质量评估系数ZPX满足L1≤ZPX时,则判定监控视频的质量合格,进行下一步;当质量评估系数ZPX满足0<ZPX<L1时,则监控视频的质量不合格;其中L1为预设质量评估系数阈值;
对质量合格的监控视频进行视频降噪获取预处理视频;
任选一个预处理视频将其标记为第一监测视频,同时将其余的预处理视频标记为第二监测视频。
上述公式均是去除量纲取其数值计算,公式是由采集大量数据进行软件模拟得到最接近真实情况的一个公式,公式中的预设参数由本领域的技术人员根据实际情况设定。
本发明的工作原理:
通过视频采集设备i实时获取监控视频;将监控视频进行逐帧分解成监控图像,将监控图像标记为j;获取经过图像预处理之后的监控图像的灰度平均值、灰度最小值和灰度最大值,并分别将灰度平均值、灰度最小值和灰度最大值标记为HPZj、HXZj和HDZj;当HPZj-μ≤HDZj-HXZj≤HPZj+μ时,则判定监控图像质量优秀;当HPZj-2×μ≤HDZj-HXZj≤HPZj+2×μ时,则判定监控图像质量良好;否则,判定监控图像质量不合格;将质量优秀和质量良好的监控图像之和记为合格图像总数,并将合格图像总数标记为HTZ;质量评估系数ZPX;当质量评估系数ZPX满足L1≤ZPX时,则判定监控视频的质量合格,进行下一步;当质量评估系数ZPX满足0<ZPX<L1时,则监控视频的质量不合格;对质量合格的监控视频进行视频降噪获取预处理视频;任选一个预处理视频将其标记为第一监测视频,同时将其余的预处理视频标记为第二监测视频;
将第一监测视频逐帧分解成灰度图像;获取灰度图像的灰度平均值HPZ;获取灰度图像中像素点的像素灰度值XHZ;当像素灰度值XHZ满足XHZ≥α3×HPZ时,则将该像素点标记为初选像素点,获取与初选像素点相邻的像素点并标记为临近像素点,将临近像素点的灰度值标记为LXHZ;当 且LXHZ≥HPZ时,则将该临近像素点标记为深色像素点;当且LXHZ<HPZ时,则将该临近像素点标记为浅色像素点;当临近像素点包括至少两个深色像素点和一个浅色像素点时,则将临近像素点包围的初选像素点标记为轮廓像素点;通过轮廓像素点生成初选轮廓,获取初选轮廓内像素点的灰度平均值并标记为LHPZ;当LHPZ≥α4×HPZ时,则将初选轮廓标记为闭合轮廓;根据闭合轮廓对灰度图像进行二值化处理获取前景图像和背景图像;
将闭合轮廓包围的区域标记为跟踪目标,并将跟踪目标标记为k;获取跟踪目标k的像素点总数并标记为GXZk;获取跟踪目标k对应的灰度图像像素点总数并标记为HTXZk;获取跟踪目标k对应的闭合轮廓像素带你总数并标记为BLXZk;获取第一特征参数DYTCk、第二特征参数DETCk和第三特征参数DSTCk;
通过特征参数生成输入数组,其中输入数组为[(DYTC1,DETC1,DSTC1),(DYTC2,DETC2,DSTC2),……,(DYTCk,DETCk,DSTCk)];根据跟踪目标k生成输出数组,其中输出数组为[1,2,……,b];建立神经网络模型,构建神经网络模型基本结构;当k≤L2时,则神经网络模型设置为单隐含层神经网络模型,当k>L2时,则神经网络模型设置为多隐含层神经网络模型;将输入数组作为神经网络模型的输入参数,将输出数组作为神经网络模型的输出参数对神经网络模型进行训练,当神经网络模型的训练精度和训练次数均满足预设训练精度和预设训练次数的要求时,则判定神经网络模型训练完成,将训练完成的神经网络模型标记为智能模型;
获取第二监测视频的前景图像和背景图像,并将第二监测视频的前景图像标记为嫌疑图像;将嫌疑图像对应的闭合轮廓区域标记为嫌疑区域;根据嫌疑图像和嫌疑区域获取单一特征参数、第二特征参数和第三特征参数;将第一特征参数、第二特征参数和第三特征参数输入作为智能模型的输入数据并获取输出结果h;当输出结果h满足h-0.001≤k≤h+0.001时,则判定输出结果h满足精度要求,且嫌疑区域记为跟踪目标k;当第二监测视频中检测出跟踪目标k时,获取第二监测视频对应的图像采集设备i的地理位置;根据第二监测视频采集的时间先后生成跟踪目标运动曲线,并将跟踪目标运动曲线通过处理器发送至后台管理模块。
在本说明书的描述中,参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上内容仅仅是对本发明结构所作的举例和说明,所属本技术领域的技术人员对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代,只要不偏离发明的结构或者超越本权利要求书所定义的范围,均应属于本发明的保护范围。
Claims (1)
1.一种基于多设备的复杂环境下多目标检测方法,其特征在于,所述多目标方法包括以下步骤:
步骤一:将视频采集设备标记为i,i=1,2,……,n;并将视频采集设备i的地理位置发送至数据存储模块中存储;
步骤二:通过视频采集设备i获取第一监测视频和第二监测视频;
步骤三:将第一监测视频标记为初筛视频,通过初筛视频提取前景图像和背景图像;
步骤四:通过前景图像提取跟踪目标,提取跟踪目标的特征参数,并利用特征参数建立智能模型;
步骤五:通过智能模型识别第二监测视频中的跟踪目标,根据视频采集设备的位置生成跟踪目标运动曲线;
所述视频采集设备通过视频采集模块控制,所述视频采集模块是检测系统的组成部分,所述检测系统还包括处理器、多目标检测模块、后台管理模块、数据存储模块、视频采集模块、背景分离模块和智能模型训练模块;所述视频采集设备包括高清摄像头和动作云台;
所述处理器分别与多目标监测模块、后台管理模块、数据存储模块、视频采集模块、背景分离模块和智能模型训练模块通信连接;所述数据存储模块与后台管理模块通信连接;
所述背景分离模块用于获取前景图像和背景图像,包括:
将第一监测视频逐帧分解成灰度图像;
获取灰度图像的灰度平均值,并将灰度平均值标记为HPZ;获取灰度图像中像素点的像素灰度值,并将像素灰度值标记为XHZ;
当像素灰度值XHZ满足XHZ≥α3×HPZ时,则将该像素点标记为初选像素点,获取与初选像素点相邻的像素点并标记为临近像素点,将临近像素点的灰度值标记为LXHZ;其中α3为预设比例系数,且α3>1.5;
当临近像素点包括至少两个深色像素点和一个浅色像素点时,则将临近像素点包围的初选像素点标记为轮廓像素点;
通过轮廓像素点生成初选轮廓,获取初选轮廓内像素点的灰度平均值并标记为LHPZ;当LHPZ≥α4×HPZ时,则将初选轮廓标记为闭合轮廓;其中α4为预设比例系数,且1<α4≤1.5;
根据闭合轮廓对灰度图像进行二值化处理获取前景图像和背景图像;
所述特征参数提取的具体步骤包括:
将闭合轮廓包围的区域标记为跟踪目标,并将跟踪目标标记为k,k=1,2,……,b;
获取跟踪目标k的像素点总数并标记为GXZk;
获取跟踪目标k对应的灰度图像像素点总数并标记为HTXZk;
获取跟踪目标k对应的闭合轮廓像素带你总数并标记为BLXZk;
通过公式获取第一特征参数DYTCk;通过公式获取第二特征参数DETCk;通过公式DSTCk=β3×GXZk×HTXZk×BLXZk获取第三特征参数DSTCk;其中β1、β2和β3为预设比例系数,且β1、β2和β3均为大于0的实数;
所述智能模型训练模块用于获取智能模型,包括:
通过特征参数生成输入数组,其中输入数组为[(DYTC1,DETC1,DSTC1),(DYTC2,DETC2,DSTC2),……,(DYTCk,DETCk,DSTCk)];根据跟踪目标k生成输出数组,其中输出数组为[1,2,……,b];
建立神经网络模型,所述神经网络模型包括误差前向反馈神经网络、模糊神经网络和RBF神经网络;
构建神经网络模型基本结构,所述神经网络模型基本结构包括输入层、隐含层和输出层;当k≤L2时,则神经网络模型设置为单隐含层神经网络模型,当k>L2时,则神经网络模型设置为多隐含层神经网络模型;其中L2为预设比例系数,且L2为大于0的整数;
将输入数组作为神经网络模型的输入参数,将输出数组作为神经网络模型的输出参数对神经网络模型进行训练,当神经网络模型的训练精度和训练次数均满足预设训练精度和预设训练次数的要求时,则判定神经网络模型训练完成,将训练完成的神经网络模型标记为智能模型;
通过处理器将智能模型分别发送至多目标检测模块和数据存储模块;
所述多目标监测模块用于分析第二监测视频,包括:
获取第二监测视频的前景图像和背景图像,并将第二监测视频的前景图像标记为嫌疑图像;
将嫌疑图像对应的闭合轮廓区域标记为嫌疑区域;
根据嫌疑图像和嫌疑区域获取第一特征参数、第二特征参数和第三特征参数;
将第一特征参数、第二特征参数和第三特征参数输入作为智能模型的输入数据并获取输出结果,并将输出结果标记为h;
当输出结果h满足h-0.001≤k≤h+0.001时,则判定输出结果h满足精度要求,且嫌疑区域记为跟踪目标k;
当第二监测视频中检测出跟踪目标k时,获取第二监测视频对应的图像采集设备i的地理位置;根据第二监测视频采集的时间先后生成跟踪目标运动曲线,并将跟踪目标运动曲线通过处理器发送至后台管理模块;
所述第一监测视频的具体获取步骤包括:
通过视频采集设备i实时获取监控视频;
将监控视频进行逐帧分解成监控图像,将监控图像标记为j,j=1,2,……,m;对监控图像进行图像预处理,所述图像预处理包括图像分割、图像去噪和灰度变换;
获取经过图像预处理之后的监控图像的灰度平均值、灰度最小值和灰度最大值,并分别将灰度平均值、灰度最小值和灰度最大值标记为HPZj、HXZj和HDZj;
当HPZj-μ≤HDZj-HXZj≤HPZj+μ时,则判定监控图像质量优秀;当HPZj-2×μ≤HDZj-HXZj≤HPZj+2×μ时,则判定监控图像质量良好;否则,判定监控图像质量不合格;其中μ为预设比例系数,且μ为大于0的实数;
将质量优秀和质量良好的监控图像之和记为合格图像总数,并将合格图像总数标记为HTZ;
当质量评估系数ZPX满足L1≤ZPX时,则判定监控视频的质量合格,进行下一步;当质量评估系数ZPX满足0<ZPX<L1时,则监控视频的质量不合格;其中L1为预设质量评估系数阈值;
对质量合格的监控视频进行视频降噪获取预处理视频;
任选一个预处理视频将其标记为第一监测视频,同时将其余的预处理视频标记为第二监测视频。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011378661.XA CN112396635B (zh) | 2020-11-30 | 2020-11-30 | 一种基于多设备的复杂环境下多目标检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011378661.XA CN112396635B (zh) | 2020-11-30 | 2020-11-30 | 一种基于多设备的复杂环境下多目标检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112396635A CN112396635A (zh) | 2021-02-23 |
CN112396635B true CN112396635B (zh) | 2021-07-06 |
Family
ID=74605643
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011378661.XA Active CN112396635B (zh) | 2020-11-30 | 2020-11-30 | 一种基于多设备的复杂环境下多目标检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112396635B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113435538B (zh) * | 2021-07-19 | 2022-11-15 | 马鞍山骏展科技有限公司 | 一种无线通信设备部署方法及装置 |
CN113674321B (zh) * | 2021-08-25 | 2024-05-17 | 燕山大学 | 一种基于云端的监控视频下多目标跟踪的方法 |
CN114820724B (zh) * | 2022-06-28 | 2022-09-20 | 浙江树人学院 | 一种跨场景跟踪的智能监控方法及系统 |
CN115546215B (zh) * | 2022-12-01 | 2023-03-14 | 全芯智造技术有限公司 | 用于晶体管线宽的测量结果的评估方法、设备和介质 |
CN116343100B (zh) * | 2023-05-27 | 2023-08-11 | 广东中科凯泽信息科技有限公司 | 一种基于自监督学习的目标识别方法及系统 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104902233A (zh) * | 2015-05-22 | 2015-09-09 | 辽宁玖鼎金盛计算机技术有限公司 | 综合安全监控系统 |
CN105046220A (zh) * | 2015-07-10 | 2015-11-11 | 华为技术有限公司 | 一种多目标跟踪方法、装置及设备 |
CN107169993A (zh) * | 2017-05-12 | 2017-09-15 | 甘肃政法学院 | 利用公安视频监控模糊图像对目标物进行检测识别方法 |
CN109949294A (zh) * | 2019-03-21 | 2019-06-28 | 哈尔滨理工大学 | 一种基于OpenCV的断口形貌图裂纹缺陷提取方法 |
CN111932901A (zh) * | 2019-05-13 | 2020-11-13 | 阿里巴巴集团控股有限公司 | 道路车辆跟踪检测设备、方法及存储介质 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101854516B (zh) * | 2009-04-02 | 2014-03-05 | 北京中星微电子有限公司 | 视频监控系统、视频监控服务器及视频监控方法 |
CN103295017A (zh) * | 2013-04-25 | 2013-09-11 | 哈尔滨工程大学 | 基于公路视频的车型识别方法 |
US11144761B2 (en) * | 2016-04-04 | 2021-10-12 | Xerox Corporation | Deep data association for online multi-class multi-object tracking |
CN106384360A (zh) * | 2016-09-22 | 2017-02-08 | 北京舜裔科技有限公司 | 一种交互式视频创建方法 |
CN107689052B (zh) * | 2017-07-11 | 2021-06-29 | 西安电子科技大学 | 基于多模型融合和结构化深度特征的视觉目标跟踪方法 |
CN107705323A (zh) * | 2017-10-13 | 2018-02-16 | 北京理工大学 | 一种基于卷积神经网络的水平集目标追踪方法 |
US11443165B2 (en) * | 2018-10-18 | 2022-09-13 | Deepnorth Inc. | Foreground attentive feature learning for person re-identification |
CN109559329B (zh) * | 2018-11-28 | 2023-04-07 | 陕西师范大学 | 一种基于深度去噪自动编码器的粒子滤波跟踪方法 |
-
2020
- 2020-11-30 CN CN202011378661.XA patent/CN112396635B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104902233A (zh) * | 2015-05-22 | 2015-09-09 | 辽宁玖鼎金盛计算机技术有限公司 | 综合安全监控系统 |
CN105046220A (zh) * | 2015-07-10 | 2015-11-11 | 华为技术有限公司 | 一种多目标跟踪方法、装置及设备 |
CN107169993A (zh) * | 2017-05-12 | 2017-09-15 | 甘肃政法学院 | 利用公安视频监控模糊图像对目标物进行检测识别方法 |
CN109949294A (zh) * | 2019-03-21 | 2019-06-28 | 哈尔滨理工大学 | 一种基于OpenCV的断口形貌图裂纹缺陷提取方法 |
CN111932901A (zh) * | 2019-05-13 | 2020-11-13 | 阿里巴巴集团控股有限公司 | 道路车辆跟踪检测设备、方法及存储介质 |
Non-Patent Citations (2)
Title |
---|
Neural Network optimization for multi-target multi-sensor passive tracking;V Vaidehi 等;《Proceedings of the IEEE》;19961031;第84卷(第10期);第1442-1457页 * |
神经网络在视觉多目标跟踪中的应用;冯灵芝 等;《电视技术》;20180531;第42卷(第5期);第94-99页 * |
Also Published As
Publication number | Publication date |
---|---|
CN112396635A (zh) | 2021-02-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112396635B (zh) | 一种基于多设备的复杂环境下多目标检测方法 | |
CN110059694B (zh) | 电力行业复杂场景下的文字数据的智能识别方法 | |
CN109559310B (zh) | 基于显著性检测的输变电巡检图像质量评价方法及系统 | |
CN111209810A (zh) | 向可见光与红外图像准确实时行人检测的边界框分割监督深度神经网络架构 | |
CN112733950A (zh) | 一种基于图像融合与目标检测结合的电力设备故障诊断方法 | |
CN111275696A (zh) | 一种医学图像处理的方法、图像处理的方法及装置 | |
CN113160150B (zh) | 线网异物入侵ai检测方法与装置 | |
CN113435407B (zh) | 一种输电系统的小目标识别方法及装置 | |
CN113887472A (zh) | 基于级联颜色及纹理特征注意力的遥感图像云检测方法 | |
CN114298948A (zh) | 基于PSPNet-RCNN的球机监控异常检测方法 | |
CN113139489A (zh) | 基于背景提取和多尺度融合网络的人群计数方法及系统 | |
CN111950457A (zh) | 油田安全生产图像识别方法及系统 | |
CN110659627A (zh) | 一种基于视频分割的智能视频监控方法 | |
CN112308087B (zh) | 基于动态视觉传感器的一体化成像识别方法 | |
CN114359167A (zh) | 一种复杂场景下基于轻量化YOLOv4的绝缘子缺陷检测方法 | |
CN115631402A (zh) | 一种适用于智慧养殖的ai算法服务平台构建方法 | |
CN111402223B (zh) | 一种利用变电站视频图像的变电站缺陷问题检测方法 | |
CN114519799A (zh) | 一种多特征座位状态实时检测方法及系统 | |
CN114943929A (zh) | 基于图像融合技术的鱼类异常行为实时检测方法 | |
Jones et al. | Using deep learning and satellite imagery to assess the damage to civil structures after natural disasters | |
CN113763471A (zh) | 一种基于视觉的弹孔检测方法及系统 | |
CN113781388A (zh) | 基于图像增强的输电线路通道隐患图像识别方法及装置 | |
Pooyoi et al. | Snow scene segmentation using cnn-based approach with transfer learning | |
CN112418112A (zh) | 一种果园病虫害监测预警方法及系统 | |
CN111582076A (zh) | 一种基于像素运动智能感知的画面冻结检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |