CN112396635A - 一种基于多设备的复杂环境下多目标检测方法 - Google Patents

一种基于多设备的复杂环境下多目标检测方法 Download PDF

Info

Publication number
CN112396635A
CN112396635A CN202011378661.XA CN202011378661A CN112396635A CN 112396635 A CN112396635 A CN 112396635A CN 202011378661 A CN202011378661 A CN 202011378661A CN 112396635 A CN112396635 A CN 112396635A
Authority
CN
China
Prior art keywords
image
marking
video
neural network
acquiring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011378661.XA
Other languages
English (en)
Other versions
CN112396635B (zh
Inventor
连国云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Polytechnic
Original Assignee
Shenzhen Polytechnic
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Polytechnic filed Critical Shenzhen Polytechnic
Priority to CN202011378661.XA priority Critical patent/CN112396635B/zh
Publication of CN112396635A publication Critical patent/CN112396635A/zh
Application granted granted Critical
Publication of CN112396635B publication Critical patent/CN112396635B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于多设备的复杂环境下多目标检测方法，涉及多目标检测技术领域，解决了复杂环境下多目标检测精度和效率不高的技术问题；本发明中将图像处理与智能模型相结合，不仅能够在复杂环境的多目标检测中提高检测效率，而且能够利用智能模型的非线性拟合特定提高多目标检测的精度；本发明检测系统中设置了背景分离模块，该设置从灰度图像的像素点的像素值以及临近像素点的像素值来获取前景图像和背景图像，有助于提高多目标检测的精度；本发明检测系统中设置了智能模型训练模块，该设置通过输入数组和输出数组对模型进行训练，直至达到预设要求获取智能模型，然后利用智能模型实现多目标的检测，节省效率的同时降低了工作量。

Description

一种基于多设备的复杂环境下多目标检测方法
技术领域
本发明属于多目标检测技术领域，涉及多视角学习技术，具体是一种基于多设备的复杂环境下多目标检测方法。
背景技术
在单一设备上集成一个摄像头甚至是多个摄像头都已经不能满足人们的需求了，由多个摄像头进行不同功能的组合，可完成复杂任务的多摄像头联合系统，势必受到越来越多的应用；多摄像头联合系统是由多个摄像头相互配合，通过对不同摄像头获取的图像进行校准提高一致性。
公开号为CN108648210A的发明专利公开了一种静态复杂场景下快速多目标检测方法，涉及信息监控技术领域，该方法如下：采集输入视频中的图像，建立背景模型；将当前帧图像中的每个像素与背景模型相匹配，进行背景或前景标记；对包含候选目标的前景、背景二值图像进行处理，去除虚警。
上述方案通过在可编辑器件对经典码本模型进行精简优化，同时结合DPS模块中的对目标筛选、排序、编号的处理，解决了传统方法虚警高、检测率低、误捡高的缺点；但是，上述方案的适用范围有限，而且背景模型建立过程复杂，降低了工作效率；因此，上述方案仍需进一步改进。
发明内容
为了解决上述方案存在的问题，本发明提供了一种基于多设备的复杂环境下多目标检测方法。
本发明的目的可以通过以下技术方案实现：一种基于多设备的复杂环境下多目标检测方法，所述多目标方法包括以下步骤：
步骤一：将视频采集设备标记为i，i＝1，2，……，n；并将视频采集设备i的地理位置发送至数据存储模块中存储；
步骤二：通过视频采集设备i获取第一监测视频和第二监测视频；
步骤三：将第一监测视频标记为初筛视频，通过初筛视频提取前景图像和背景图像；
步骤四：通过前景图像提取跟踪目标，提取跟踪目标的特征参数，并利用特征参数建立智能模型；
步骤五：通过智能模型识别第二监测视频中的跟踪目标，根据视频采集设备的位置生成跟踪目标运动曲线。
优选的，所述视频采集设备通过视频采集模块控制，所述视频采集模块是检测系统的组成部分，所述检测系统还包括处理器、多目标检测模块、后台管理模块、数据存储模块、视频采集模块、背景分离模块和智能模型训练模块；所述视频采集设备包括高清摄像头和动作云台；
所述处理器分别与多目标监测模块、后台管理模块、数据存储模块、视频采集模块、背景分离模块和智能模型训练模块通信连接；所述数据存储模块与后台管理模块通信连接。
优选的，所述背景分离模块用于获取前景图像和背景图像，包括：
将第一监测视频逐帧分解成灰度图像；
获取灰度图像的灰度平均值，并将灰度平均值标记为HPZ；获取灰度图像中像素点的像素灰度值，并将像素灰度值标记为XHZ；
当像素灰度值XHZ满足XHZ≥α3×HPZ时，则将该像素点标记为初选像素点，获取与初选像素点相邻的像素点并标记为临近像素点，将临近像素点的灰度值标记为LXHZ；其中α3为预设比例系数，且α3＞1.5；
当
Figure BDA0002807886410000031
且LXHZ≥HPZ时，则将该临近像素点标记为深色像素点；当
Figure BDA0002807886410000032
且LXHZ＜HPZ时，则将该临近像素点标记为浅色像素点；其中
Figure BDA0002807886410000033
为预设比例系数，且
Figure BDA0002807886410000034
当临近像素点包括至少两个深色像素点和一个浅色像素点时，则将临近像素点包围的初选像素点标记为轮廓像素点；
通过轮廓像素点生成初选轮廓，获取初选轮廓内像素点的灰度平均值并标记为LHPZ；当LHPZ≥α4×HPZ时，则将初选轮廓标记为闭合轮廓；其中α4为预设比例系数，且1＜α4≤1.5；
根据闭合轮廓对灰度图像进行二值化处理获取前景图像和背景图像。
优选的，所述特征参数提取的具体步骤包括：
将闭合轮廓包围的区域标记为跟踪目标，并将跟踪目标标记为k，k＝1，2，……，b；
获取跟踪目标k的像素点总数并标记为GXZk；
获取跟踪目标k对应的灰度图像像素点总数并标记为HTXZk；
获取跟踪目标k对应的闭合轮廓像素带你总数并标记为BLXZk；
通过公式
Figure BDA0002807886410000035
获取第一特征参数DYTCk；通过公式
Figure BDA0002807886410000036
获取第二特征参数DETCk；通过公式DSTCk＝β3×GXZk×HTXZk×BLXZk获取第三特征参数DSTCk；其中β1、β2和β3为预设比例系数，且β1、β2和β3均为大于0的实数。
优选的，所述智能模型训练模块用于获取智能模型，包括：
通过特征参数生成输入数组，其中输入数组为[(DYTC1，DETC1，DSTC1)，(DYTC2，DETC2，DSTC2)，……，(DYTCk，DETCk，DSTCk)]；根据跟踪目标k生成输出数组，其中输出数组为[1，2，……，b]；
建立神经网络模型，所述神经网络模型包括误差前向反馈神经网络、模糊神经网络和RBF神经网络；
构建神经网络模型基本结构，所述神经网络模型基本结构包括输入层、隐含层和输出层；当k≤L2时，则神经网络模型设置为单隐含层神经网络模型，当k＞L2时，则神经网络模型设置为多隐含层神经网络模型；其中L2为预设比例系数，且L2为大于0的整数；
将输入数组作为神经网络模型的输入参数，将输出数组作为神经网络模型的输出参数对神经网络模型进行训练，当神经网络模型的训练精度和训练次数均满足预设训练精度和预设训练次数的要求时，则判定神经网络模型训练完成，将训练完成的神经网络模型标记为智能模型；
通过处理器将智能模型分别发送至多目标检测模块和数据存储模块。
优选的，所述多目标监测模块用于分析第二监测视频，包括：
获取第二监测视频的前景图像和背景图像，并将第二监测视频的前景图像标记为嫌疑图像；
将嫌疑图像对应的闭合轮廓区域标记为嫌疑区域；
根据嫌疑图像和嫌疑区域获取单一特征参数、第二特征参数和第三特征参数；
将第一特征参数、第二特征参数和第三特征参数输入作为智能模型的输入数据并获取输出结果，并将输出结果标记为h；
当输出结果h满足h-0.001≤k≤h+0.001时，则判定输出结果h满足精度要求，且嫌疑区域记为跟踪目标k；
当第二监测视频中检测出跟踪目标k时，获取第二监测视频对应的图像采集设备i的地理位置；根据第二监测视频采集的时间先后生成跟踪目标运动曲线，并将跟踪目标运动曲线通过处理器发送至后台管理模块。
优选的，所述第一监测视频的具体获取步骤包括：
通过视频采集设备i实时获取监控视频；
将监控视频进行逐帧分解成监控图像，将监控图像标记为j，j＝1，2，……，m；对监控图像进行图像预处理，所述图像预处理包括图像分割、图像去噪和灰度变换；
获取经过图像预处理之后的监控图像的灰度平均值、灰度最小值和灰度最大值，并分别将灰度平均值、灰度最小值和灰度最大值标记为HPZj、HXZj和HDZj；
当HPZj-μ≤HDZj-HXZj≤HPZj+μ时，则判定监控图像质量优秀；当HPZj-2×μ≤HDZj-HXZj≤HPZj+2×μ时，则判定监控图像质量良好；否则，判定监控图像质量不合格；其中μ为预设比例系数，且μ为大于0的实数；
将质量优秀和质量良好的监控图像之和记为合格图像总数，并将合格图像总数标记为HTZ；
通过公式
Figure BDA0002807886410000051
获取质量评估系数ZPX；其中α1和α2为预设比例系数，且α1和α2均为大于0的实数；
当质量评估系数ZPX满足L1≤ZPX时，则判定监控视频的质量合格，进行下一步；当质量评估系数ZPX满足0＜ZPX＜L1时，则监控视频的质量不合格；其中L1为预设质量评估系数阈值；
对质量合格的监控视频进行视频降噪获取预处理视频；
任选一个预处理视频将其标记为第一监测视频，同时将其余的预处理视频标记为第二监测视频。
与现有技术相比，本发明的有益效果是：
1、本发明中将图像处理与智能模型相结合，不仅能够在复杂环境的多目标检测中提高检测效率，而且能够利用智能模型的非线性拟合特定提高多目标检测的精度；
2、本发明检测系统中设置了背景分离模块，该设置用于获取前景图像和背景图像；将第一监测视频逐帧分解成灰度图像；获取灰度图像的灰度平均值HPZ；获取灰度图像中像素点的像素灰度值XHZ；当像素灰度值XHZ满足XHZ≥α3×HPZ时，则将该像素点标记为初选像素点，获取与初选像素点相邻的像素点并标记为临近像素点，将临近像素点的灰度值标记为LXHZ；当
Figure BDA0002807886410000061
Figure BDA0002807886410000062
且LXHZ≥HPZ时，则将该临近像素点标记为深色像素点；当
Figure BDA0002807886410000063
且LXHZ＜HPZ时，则将该临近像素点标记为浅色像素点；当临近像素点包括至少两个深色像素点和一个浅色像素点时，则将临近像素点包围的初选像素点标记为轮廓像素点；通过轮廓像素点生成初选轮廓，获取初选轮廓内像素点的灰度平均值并标记为LHPZ；当LHPZ≥α4×HPZ时，则将初选轮廓标记为闭合轮廓；根据闭合轮廓对灰度图像进行二值化处理获取前景图像和背景图像；背景分离模块从灰度图像的像素点的像素值以及临近像素点的像素值来获取前景图像和背景图像，有助于消除灰度图像中复杂环境的影响，提高多目标检测的精度；
3、本发明检测系统中设置了智能模型训练模块，该设置用于获取智能模型；通过特征参数生成输入数组，其中输入数组为[(DYTC1，DETC1，DSTC1)，(DYTC2，DETC2，DSTC2)，……，(DYTCk，DETCk，DSTCk)]；根据跟踪目标k生成输出数组，其中输出数组为[1，2，……，b]；建立神经网络模型，构建神经网络模型基本结构；当k≤L2时，则神经网络模型设置为单隐含层神经网络模型，当k＞L2时，则神经网络模型设置为多隐含层神经网络模型；将输入数组作为神经网络模型的输入参数，将输出数组作为神经网络模型的输出参数对神经网络模型进行训练，当神经网络模型的训练精度和训练次数均满足预设训练精度和预设训练次数的要求时，则判定神经网络模型训练完成，将训练完成的神经网络模型标记为智能模型；智能模型训练模块通过输入数组和输出数组对模型进行训练，直至达到预设要求获取智能模型，然后利用智能模型实现多目标的检测，节省效率的同时降低了工作量。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的步骤示意图；
图2为本发明检测系统的原理示意图。
具体实施方式
下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
请参阅图1-图2，一种基于多设备的复杂环境下多目标检测方法，多目标方法包括以下步骤：
步骤一：将视频采集设备标记为i，i＝1，2，……，n；并将视频采集设备i的地理位置发送至数据存储模块中存储；
步骤二：通过视频采集设备i获取第一监测视频和第二监测视频；
步骤三：将第一监测视频标记为初筛视频，通过初筛视频提取前景图像和背景图像；
步骤四：通过前景图像提取跟踪目标，提取跟踪目标的特征参数，并利用特征参数建立智能模型；
步骤五：通过智能模型识别第二监测视频中的跟踪目标，根据视频采集设备的位置生成跟踪目标运动曲线。
进一步地，视频采集设备通过视频采集模块控制，视频采集模块是检测系统的组成部分，检测系统还包括处理器、多目标检测模块、后台管理模块、数据存储模块、视频采集模块、背景分离模块和智能模型训练模块；视频采集设备包括高清摄像头和动作云台；
处理器分别与多目标监测模块、后台管理模块、数据存储模块、视频采集模块、背景分离模块和智能模型训练模块通信连接；数据存储模块与后台管理模块通信连接。
进一步地，背景分离模块用于获取前景图像和背景图像，包括：
将第一监测视频逐帧分解成灰度图像；
获取灰度图像的灰度平均值，并将灰度平均值标记为HPZ；获取灰度图像中像素点的像素灰度值，并将像素灰度值标记为XHZ；
当像素灰度值XHZ满足XHZ≥α3×HPZ时，则将该像素点标记为初选像素点，获取与初选像素点相邻的像素点并标记为临近像素点，将临近像素点的灰度值标记为LXHZ；其中α3为预设比例系数，且α3＞1.5；
当
Figure BDA0002807886410000091
且LXHZ≥HPZ时，则将该临近像素点标记为深色像素点；当
Figure BDA0002807886410000092
且LXHZ＜HPZ时，则将该临近像素点标记为浅色像素点；其中
Figure BDA0002807886410000093
为预设比例系数，且
Figure BDA0002807886410000094
当临近像素点包括至少两个深色像素点和一个浅色像素点时，则将临近像素点包围的初选像素点标记为轮廓像素点；
通过轮廓像素点生成初选轮廓，获取初选轮廓内像素点的灰度平均值并标记为LHPZ；当LHPZ≥α4×HPZ时，则将初选轮廓标记为闭合轮廓；其中α4为预设比例系数，且1＜α4≤1.5；
根据闭合轮廓对灰度图像进行二值化处理获取前景图像和背景图像。
进一步地，特征参数提取的具体步骤包括：
将闭合轮廓包围的区域标记为跟踪目标，并将跟踪目标标记为k，k＝1，2，……，b；所述跟踪目标也可通过后台管理模块人工标记；
获取跟踪目标k的像素点总数并标记为GXZk；
获取跟踪目标k对应的灰度图像像素点总数并标记为HTXZk；
获取跟踪目标k对应的闭合轮廓像素带你总数并标记为BLXZk；
通过公式
Figure BDA0002807886410000095
获取第一特征参数DYTCk；通过公式
Figure BDA0002807886410000101
获取第二特征参数DETCk；通过公式DSTCk＝β3×GXZk×HTXZk×BLXZk获取第三特征参数DSTCk；其中β1、β2和β3为预设比例系数，且β1、β2和β3均为大于0的实数。
进一步地，智能模型训练模块用于获取智能模型，包括：
通过特征参数生成输入数组，其中输入数组为[(DYTC1，DETC1，DSTC1)，(DYTC2，DETC2，DSTC2)，……，(DYTCk，DETCk，DSTCk)]；根据跟踪目标k生成输出数组，其中输出数组为[1，2，……，b]；
建立神经网络模型，神经网络模型包括误差前向反馈神经网络、模糊神经网络和RBF神经网络；
构建神经网络模型基本结构，神经网络模型基本结构包括输入层、隐含层和输出层；当k≤L2时，则神经网络模型设置为单隐含层神经网络模型，当k＞L2时，则神经网络模型设置为多隐含层神经网络模型；其中L2为预设比例系数，且L2为大于0的整数；
将输入数组作为神经网络模型的输入参数，将输出数组作为神经网络模型的输出参数对神经网络模型进行训练，当神经网络模型的训练精度和训练次数均满足预设训练精度和预设训练次数的要求时，则判定神经网络模型训练完成，将训练完成的神经网络模型标记为智能模型；
通过处理器将智能模型分别发送至多目标检测模块和数据存储模块。
进一步地，多目标监测模块用于分析第二监测视频，包括：
获取第二监测视频的前景图像和背景图像，并将第二监测视频的前景图像标记为嫌疑图像；
将嫌疑图像对应的闭合轮廓区域标记为嫌疑区域；
根据嫌疑图像和嫌疑区域获取单一特征参数、第二特征参数和第三特征参数；
将第一特征参数、第二特征参数和第三特征参数输入作为智能模型的输入数据并获取输出结果，并将输出结果标记为h；
当输出结果h满足h-0.001≤k≤h+0.001时，则判定输出结果h满足精度要求，且嫌疑区域记为跟踪目标k；
当第二监测视频中检测出跟踪目标k时，获取第二监测视频对应的图像采集设备i的地理位置；根据第二监测视频采集的时间先后生成跟踪目标运动曲线，并将跟踪目标运动曲线通过处理器发送至后台管理模块。
进一步地，第一监测视频的具体获取步骤包括：
通过视频采集设备i实时获取监控视频；
将监控视频进行逐帧分解成监控图像，将监控图像标记为j，j＝1，2，……，m；对监控图像进行图像预处理，图像预处理包括图像分割、图像去噪和灰度变换；
获取经过图像预处理之后的监控图像的灰度平均值、灰度最小值和灰度最大值，并分别将灰度平均值、灰度最小值和灰度最大值标记为HPZj、HXZj和HDZj；
当HPZj-μ≤HDZj-HXZj≤HPZj+μ时，则判定监控图像质量优秀；当HPZj-2×μ≤HDZj-HXZj≤HPZj+2×μ时，则判定监控图像质量良好；否则，判定监控图像质量不合格；其中μ为预设比例系数，且μ为大于0的实数；
将质量优秀和质量良好的监控图像之和记为合格图像总数，并将合格图像总数标记为HTZ；
通过公式
Figure BDA0002807886410000121
获取质量评估系数ZPX；其中α1和α2为预设比例系数，且α1和α2均为大于0的实数；
当质量评估系数ZPX满足L1≤ZPX时，则判定监控视频的质量合格，进行下一步；当质量评估系数ZPX满足0＜ZPX＜L1时，则监控视频的质量不合格；其中L1为预设质量评估系数阈值；
对质量合格的监控视频进行视频降噪获取预处理视频；
任选一个预处理视频将其标记为第一监测视频，同时将其余的预处理视频标记为第二监测视频。
上述公式均是去除量纲取其数值计算，公式是由采集大量数据进行软件模拟得到最接近真实情况的一个公式，公式中的预设参数由本领域的技术人员根据实际情况设定。
本发明的工作原理：
通过视频采集设备i实时获取监控视频；将监控视频进行逐帧分解成监控图像，将监控图像标记为j；获取经过图像预处理之后的监控图像的灰度平均值、灰度最小值和灰度最大值，并分别将灰度平均值、灰度最小值和灰度最大值标记为HPZj、HXZj和HDZj；当HPZj-μ≤HDZj-HXZj≤HPZj+μ时，则判定监控图像质量优秀；当HPZj-2×μ≤HDZj-HXZj≤HPZj+2×μ时，则判定监控图像质量良好；否则，判定监控图像质量不合格；将质量优秀和质量良好的监控图像之和记为合格图像总数，并将合格图像总数标记为HTZ；质量评估系数ZPX；当质量评估系数ZPX满足L1≤ZPX时，则判定监控视频的质量合格，进行下一步；当质量评估系数ZPX满足0＜ZPX＜L1时，则监控视频的质量不合格；对质量合格的监控视频进行视频降噪获取预处理视频；任选一个预处理视频将其标记为第一监测视频，同时将其余的预处理视频标记为第二监测视频；
将第一监测视频逐帧分解成灰度图像；获取灰度图像的灰度平均值HPZ；获取灰度图像中像素点的像素灰度值XHZ；当像素灰度值XHZ满足XHZ≥α3×HPZ时，则将该像素点标记为初选像素点，获取与初选像素点相邻的像素点并标记为临近像素点，将临近像素点的灰度值标记为LXHZ；当
Figure BDA0002807886410000131
Figure BDA0002807886410000132
且LXHZ≥HPZ时，则将该临近像素点标记为深色像素点；当
Figure BDA0002807886410000133
且LXHZ＜HPZ时，则将该临近像素点标记为浅色像素点；当临近像素点包括至少两个深色像素点和一个浅色像素点时，则将临近像素点包围的初选像素点标记为轮廓像素点；通过轮廓像素点生成初选轮廓，获取初选轮廓内像素点的灰度平均值并标记为LHPZ；当LHPZ≥α4×HPZ时，则将初选轮廓标记为闭合轮廓；根据闭合轮廓对灰度图像进行二值化处理获取前景图像和背景图像；
将闭合轮廓包围的区域标记为跟踪目标，并将跟踪目标标记为k；获取跟踪目标k的像素点总数并标记为GXZk；获取跟踪目标k对应的灰度图像像素点总数并标记为HTXZk；获取跟踪目标k对应的闭合轮廓像素带你总数并标记为BLXZk；获取第一特征参数DYTCk、第二特征参数DETCk和第三特征参数DSTCk；
通过特征参数生成输入数组，其中输入数组为[(DYTC1，DETC1，DSTC1)，(DYTC2，DETC2，DSTC2)，……，(DYTCk，DETCk，DSTCk)]；根据跟踪目标k生成输出数组，其中输出数组为[1，2，……，b]；建立神经网络模型，构建神经网络模型基本结构；当k≤L2时，则神经网络模型设置为单隐含层神经网络模型，当k＞L2时，则神经网络模型设置为多隐含层神经网络模型；将输入数组作为神经网络模型的输入参数，将输出数组作为神经网络模型的输出参数对神经网络模型进行训练，当神经网络模型的训练精度和训练次数均满足预设训练精度和预设训练次数的要求时，则判定神经网络模型训练完成，将训练完成的神经网络模型标记为智能模型；
获取第二监测视频的前景图像和背景图像，并将第二监测视频的前景图像标记为嫌疑图像；将嫌疑图像对应的闭合轮廓区域标记为嫌疑区域；根据嫌疑图像和嫌疑区域获取单一特征参数、第二特征参数和第三特征参数；将第一特征参数、第二特征参数和第三特征参数输入作为智能模型的输入数据并获取输出结果h；当输出结果h满足h-0.001≤k≤h+0.001时，则判定输出结果h满足精度要求，且嫌疑区域记为跟踪目标k；当第二监测视频中检测出跟踪目标k时，获取第二监测视频对应的图像采集设备i的地理位置；根据第二监测视频采集的时间先后生成跟踪目标运动曲线，并将跟踪目标运动曲线通过处理器发送至后台管理模块。
在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上内容仅仅是对本发明结构所作的举例和说明，所属本技术领域的技术人员对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，只要不偏离发明的结构或者超越本权利要求书所定义的范围，均应属于本发明的保护范围。

Claims (7)

1.一种基于多设备的复杂环境下多目标检测方法，其特征在于，所述多目标方法包括以下步骤：
步骤一：将视频采集设备标记为i，i＝1，2，……，n；并将视频采集设备i的地理位置发送至数据存储模块中存储；
步骤二：通过视频采集设备i获取第一监测视频和第二监测视频；
步骤三：将第一监测视频标记为初筛视频，通过初筛视频提取前景图像和背景图像；
步骤四：通过前景图像提取跟踪目标，提取跟踪目标的特征参数，并利用特征参数建立智能模型；
步骤五：通过智能模型识别第二监测视频中的跟踪目标，根据视频采集设备的位置生成跟踪目标运动曲线。
2.根据权利要求1所述的一种基于多设备的复杂环境下多目标检测方法，其特征在于，所述视频采集设备通过视频采集模块控制，所述视频采集模块是检测系统的组成部分，所述检测系统还包括处理器、多目标检测模块、后台管理模块、数据存储模块、视频采集模块、背景分离模块和智能模型训练模块；所述视频采集设备包括高清摄像头和动作云台；
所述处理器分别与多目标监测模块、后台管理模块、数据存储模块、视频采集模块、背景分离模块和智能模型训练模块通信连接；所述数据存储模块与后台管理模块通信连接。
3.根据权利要求2所述的一种基于多设备的复杂环境下多目标检测方法，其特征在于，所述背景分离模块用于获取前景图像和背景图像，包括：
将第一监测视频逐帧分解成灰度图像；
获取灰度图像的灰度平均值，并将灰度平均值标记为HPZ；获取灰度图像中像素点的像素灰度值，并将像素灰度值标记为XHZ；
当像素灰度值XHZ满足XHZ≥α3×HPZ时，则将该像素点标记为初选像素点，获取与初选像素点相邻的像素点并标记为临近像素点，将临近像素点的灰度值标记为LXHZ；其中α3为预设比例系数，且α3＞1.5；
当
Figure FDA0002807886400000021
且LXHZ≥HPZ时，则将该临近像素点标记为深色像素点；当
Figure FDA0002807886400000022
且LXHZ＜HPZ时，则将该临近像素点标记为浅色像素点；其中
Figure FDA0002807886400000023
为预设比例系数，且
Figure FDA0002807886400000024
当临近像素点包括至少两个深色像素点和一个浅色像素点时，则将临近像素点包围的初选像素点标记为轮廓像素点；
通过轮廓像素点生成初选轮廓，获取初选轮廓内像素点的灰度平均值并标记为LHPZ；当LHPZ≥α4×HPZ时，则将初选轮廓标记为闭合轮廓；其中α4为预设比例系数，且1＜α4≤1.5；
根据闭合轮廓对灰度图像进行二值化处理获取前景图像和背景图像。
4.根据权利要求2所述的一种基于多设备的复杂环境下多目标检测方法，其特征在于，所述特征参数提取的具体步骤包括：
将闭合轮廓包围的区域标记为跟踪目标，并将跟踪目标标记为k，k＝1，2，……，b；
获取跟踪目标k的像素点总数并标记为GXZk；
获取跟踪目标k对应的灰度图像像素点总数并标记为HTXZk；
获取跟踪目标k对应的闭合轮廓像素带你总数并标记为BLXZk；
通过公式
Figure FDA0002807886400000031
获取第一特征参数DYTCk；通过公式
Figure FDA0002807886400000032
获取第二特征参数DETCk；通过公式DSTCk＝β3×GXZk×HTXZk×BLXZk获取第三特征参数DSTCk；其中β1、β2和β3为预设比例系数，且β1、β2和β3均为大于0的实数。
5.根据权利要求4所述的一种基于多设备的复杂环境下多目标检测方法，其特征在于，所述智能模型训练模块用于获取智能模型，包括：
通过特征参数生成输入数组，其中输入数组为[(DYTC1，DETC1，DSTC1)，(DYTC2，DETC2，DSTC2)，……，(DYTCk，DETCk，DSTCk)]；根据跟踪目标k生成输出数组，其中输出数组为[1，2，……，b]；
建立神经网络模型，所述神经网络模型包括误差前向反馈神经网络、模糊神经网络和RBF神经网络；
构建神经网络模型基本结构，所述神经网络模型基本结构包括输入层、隐含层和输出层；当k≤L2时，则神经网络模型设置为单隐含层神经网络模型，当k＞L2时，则神经网络模型设置为多隐含层神经网络模型；其中L2为预设比例系数，且L2为大于0的整数；
将输入数组作为神经网络模型的输入参数，将输出数组作为神经网络模型的输出参数对神经网络模型进行训练，当神经网络模型的训练精度和训练次数均满足预设训练精度和预设训练次数的要求时，则判定神经网络模型训练完成，将训练完成的神经网络模型标记为智能模型；
通过处理器将智能模型分别发送至多目标检测模块和数据存储模块。
6.根据权利要求5所述的一种基于多设备的复杂环境下多目标检测方法，其特征在于，所述多目标监测模块用于分析第二监测视频，包括：
获取第二监测视频的前景图像和背景图像，并将第二监测视频的前景图像标记为嫌疑图像；
将嫌疑图像对应的闭合轮廓区域标记为嫌疑区域；
根据嫌疑图像和嫌疑区域获取单一特征参数、第二特征参数和第三特征参数；
将第一特征参数、第二特征参数和第三特征参数输入作为智能模型的输入数据并获取输出结果，并将输出结果标记为h；
当输出结果h满足h-0.001≤k≤h+0.001时，则判定输出结果h满足精度要求，且嫌疑区域记为跟踪目标k；
当第二监测视频中检测出跟踪目标k时，获取第二监测视频对应的图像采集设备i的地理位置；根据第二监测视频采集的时间先后生成跟踪目标运动曲线，并将跟踪目标运动曲线通过处理器发送至后台管理模块。
7.根据权利要求1所述的一种基于多设备的复杂环境下多目标检测方法，其特征在于，所述第一监测视频的具体获取步骤包括：
通过视频采集设备i实时获取监控视频；
将监控视频进行逐帧分解成监控图像，将监控图像标记为j，j＝1，2，……，m；对监控图像进行图像预处理，所述图像预处理包括图像分割、图像去噪和灰度变换；
获取经过图像预处理之后的监控图像的灰度平均值、灰度最小值和灰度最大值，并分别将灰度平均值、灰度最小值和灰度最大值标记为HPZj、HXZj和HDZj；
当HPZj-μ≤HDZj-HXZj≤HPZj+μ时，则判定监控图像质量优秀；当HPZj-2×μ≤HDZj-HXZj≤HPZj+2×μ时，则判定监控图像质量良好；否则，判定监控图像质量不合格；其中μ为预设比例系数，且μ为大于0的实数；
将质量优秀和质量良好的监控图像之和记为合格图像总数，并将合格图像总数标记为HTZ；
通过公式
Figure FDA0002807886400000051
获取质量评估系数ZPX；其中α1和α2为预设比例系数，且α1和α2均为大于0的实数；
当质量评估系数ZPX满足L1≤ZPX时，则判定监控视频的质量合格，进行下一步；当质量评估系数ZPX满足0＜ZPX＜L1时，则监控视频的质量不合格；其中L1为预设质量评估系数阈值；
对质量合格的监控视频进行视频降噪获取预处理视频；
任选一个预处理视频将其标记为第一监测视频，同时将其余的预处理视频标记为第二监测视频。
CN202011378661.XA 2020-11-30 2020-11-30 一种基于多设备的复杂环境下多目标检测方法 Active CN112396635B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011378661.XA CN112396635B (zh) 2020-11-30 2020-11-30 一种基于多设备的复杂环境下多目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011378661.XA CN112396635B (zh) 2020-11-30 2020-11-30 一种基于多设备的复杂环境下多目标检测方法

Publications (2)

Publication Number Publication Date
CN112396635A true CN112396635A (zh) 2021-02-23
CN112396635B CN112396635B (zh) 2021-07-06

Family

ID=74605643

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011378661.XA Active CN112396635B (zh) 2020-11-30 2020-11-30 一种基于多设备的复杂环境下多目标检测方法

Country Status (1)

Country Link
CN (1) CN112396635B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113435538A (zh) * 2021-07-19 2021-09-24 马鞍山骏展科技有限公司 一种无线通信设备部署方法及装置
CN113674321A (zh) * 2021-08-25 2021-11-19 燕山大学 一种基于云端的监控视频下多目标跟踪的方法
CN114820724A (zh) * 2022-06-28 2022-07-29 浙江树人学院 一种跨场景跟踪的智能监控方法及系统
CN115546215A (zh) * 2022-12-01 2022-12-30 全芯智造技术有限公司 用于评估测量结果的方法、设备和介质
CN116343100A (zh) * 2023-05-27 2023-06-27 广东中科凯泽信息科技有限公司 一种基于自监督学习的目标识别方法及系统
CN113674321B (zh) * 2021-08-25 2024-05-17 燕山大学 一种基于云端的监控视频下多目标跟踪的方法

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101854516A (zh) * 2009-04-02 2010-10-06 北京中星微电子有限公司 视频监控系统、视频监控服务器及视频监控方法
CN103295017A (zh) * 2013-04-25 2013-09-11 哈尔滨工程大学 基于公路视频的车型识别方法
CN104902233A (zh) * 2015-05-22 2015-09-09 辽宁玖鼎金盛计算机技术有限公司 综合安全监控系统
CN105046220A (zh) * 2015-07-10 2015-11-11 华为技术有限公司 一种多目标跟踪方法、装置及设备
CN106384360A (zh) * 2016-09-22 2017-02-08 北京舜裔科技有限公司 一种交互式视频创建方法
CN107169993A (zh) * 2017-05-12 2017-09-15 甘肃政法学院 利用公安视频监控模糊图像对目标物进行检测识别方法
US20170286774A1 (en) * 2016-04-04 2017-10-05 Xerox Corporation Deep data association for online multi-class multi-object tracking
CN107689052A (zh) * 2017-07-11 2018-02-13 西安电子科技大学 基于多模型融合和结构化深度特征的视觉目标跟踪方法
CN107705323A (zh) * 2017-10-13 2018-02-16 北京理工大学 一种基于卷积神经网络的水平集目标追踪方法
CN109559329A (zh) * 2018-11-28 2019-04-02 陕西师范大学 一种基于深度去噪自动编码器的粒子滤波跟踪方法
CN109949294A (zh) * 2019-03-21 2019-06-28 哈尔滨理工大学 一种基于OpenCV的断口形貌图裂纹缺陷提取方法
US20200125925A1 (en) * 2018-10-18 2020-04-23 Deepnorth Inc. Foreground Attentive Feature Learning for Person Re-Identification
CN111932901A (zh) * 2019-05-13 2020-11-13 阿里巴巴集团控股有限公司 道路车辆跟踪检测设备、方法及存储介质

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101854516A (zh) * 2009-04-02 2010-10-06 北京中星微电子有限公司 视频监控系统、视频监控服务器及视频监控方法
CN103295017A (zh) * 2013-04-25 2013-09-11 哈尔滨工程大学 基于公路视频的车型识别方法
CN104902233A (zh) * 2015-05-22 2015-09-09 辽宁玖鼎金盛计算机技术有限公司 综合安全监控系统
CN105046220A (zh) * 2015-07-10 2015-11-11 华为技术有限公司 一种多目标跟踪方法、装置及设备
US20170286774A1 (en) * 2016-04-04 2017-10-05 Xerox Corporation Deep data association for online multi-class multi-object tracking
CN106384360A (zh) * 2016-09-22 2017-02-08 北京舜裔科技有限公司 一种交互式视频创建方法
CN107169993A (zh) * 2017-05-12 2017-09-15 甘肃政法学院 利用公安视频监控模糊图像对目标物进行检测识别方法
CN107689052A (zh) * 2017-07-11 2018-02-13 西安电子科技大学 基于多模型融合和结构化深度特征的视觉目标跟踪方法
CN107705323A (zh) * 2017-10-13 2018-02-16 北京理工大学 一种基于卷积神经网络的水平集目标追踪方法
US20200125925A1 (en) * 2018-10-18 2020-04-23 Deepnorth Inc. Foreground Attentive Feature Learning for Person Re-Identification
CN109559329A (zh) * 2018-11-28 2019-04-02 陕西师范大学 一种基于深度去噪自动编码器的粒子滤波跟踪方法
CN109949294A (zh) * 2019-03-21 2019-06-28 哈尔滨理工大学 一种基于OpenCV的断口形貌图裂纹缺陷提取方法
CN111932901A (zh) * 2019-05-13 2020-11-13 阿里巴巴集团控股有限公司 道路车辆跟踪检测设备、方法及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
V VAIDEHI 等: "Neural Network optimization for multi-target multi-sensor passive tracking", 《PROCEEDINGS OF THE IEEE》 *
冯灵芝 等: "神经网络在视觉多目标跟踪中的应用", 《电视技术》 *
杨小鹏 等: "基于 GrabCut的免交互图像分割算法", 《科学技术与工程》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113435538A (zh) * 2021-07-19 2021-09-24 马鞍山骏展科技有限公司 一种无线通信设备部署方法及装置
CN113435538B (zh) * 2021-07-19 2022-11-15 马鞍山骏展科技有限公司 一种无线通信设备部署方法及装置
CN113674321A (zh) * 2021-08-25 2021-11-19 燕山大学 一种基于云端的监控视频下多目标跟踪的方法
CN113674321B (zh) * 2021-08-25 2024-05-17 燕山大学 一种基于云端的监控视频下多目标跟踪的方法
CN114820724A (zh) * 2022-06-28 2022-07-29 浙江树人学院 一种跨场景跟踪的智能监控方法及系统
CN115546215A (zh) * 2022-12-01 2022-12-30 全芯智造技术有限公司 用于评估测量结果的方法、设备和介质
CN115546215B (zh) * 2022-12-01 2023-03-14 全芯智造技术有限公司 用于晶体管线宽的测量结果的评估方法、设备和介质
CN116343100A (zh) * 2023-05-27 2023-06-27 广东中科凯泽信息科技有限公司 一种基于自监督学习的目标识别方法及系统
CN116343100B (zh) * 2023-05-27 2023-08-11 广东中科凯泽信息科技有限公司 一种基于自监督学习的目标识别方法及系统

Also Published As

Publication number Publication date
CN112396635B (zh) 2021-07-06

Similar Documents

Publication Publication Date Title
CN112396635B (zh) 一种基于多设备的复杂环境下多目标检测方法
CN110059694B (zh) 电力行业复杂场景下的文字数据的智能识别方法
CN109559310B (zh) 基于显著性检测的输变电巡检图像质量评价方法及系统
CN111209810A (zh) 向可见光与红外图像准确实时行人检测的边界框分割监督深度神经网络架构
CN113065558A (zh) 一种结合注意力机制的轻量级小目标检测方法
CN113160150B (zh) 线网异物入侵ai检测方法与装置
CN111275696A (zh) 一种医学图像处理的方法、图像处理的方法及装置
CN113435407B (zh) 一种输电系统的小目标识别方法及装置
CN114298948A (zh) 基于PSPNet-RCNN的球机监控异常检测方法
CN113139489A (zh) 基于背景提取和多尺度融合网络的人群计数方法及系统
CN114548208A (zh) 一种基于YOLOv5改进的植物种子实时分类检测方法
CN113255590A (zh) 一种缺陷检测模型训练方法、缺陷检测方法、装置及系统
CN111582074A (zh) 一种基于场景深度信息感知的监控视频树叶遮挡检测方法
CN111507119B (zh) 标识码识别方法、装置、电子设备及计算机可读存储介质
CN113887472A (zh) 基于级联颜色及纹理特征注意力的遥感图像云检测方法
CN112308087B (zh) 基于动态视觉传感器的一体化成像识别方法
CN110659627A (zh) 一种基于视频分割的智能视频监控方法
CN115830514B (zh) 一种适用于带弯曲河道的全河段表面流速计算方法及系统
CN115631402A (zh) 一种适用于智慧养殖的ai算法服务平台构建方法
CN111402223B (zh) 一种利用变电站视频图像的变电站缺陷问题检测方法
CN115311680A (zh) 人体图像质量检测方法、装置、电子设备及存储介质
CN114519799A (zh) 一种多特征座位状态实时检测方法及系统
CN114359167A (zh) 一种复杂场景下基于轻量化YOLOv4的绝缘子缺陷检测方法
CN113763471A (zh) 一种基于视觉的弹孔检测方法及系统
Jones et al. Using deep learning and satellite imagery to assess the damage to civil structures after natural disasters

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant