CN107590456A

CN107590456A - 一种高空视频监控中小微目标的检测方法

Info

Publication number: CN107590456A
Application number: CN201710797182.3A
Authority: CN
Inventors: 张栖瀚
Original assignee: Individual
Current assignee: Individual
Priority date: 2017-09-06
Filing date: 2017-09-06
Publication date: 2018-01-16
Anticipated expiration: 2037-09-06
Also published as: CN107590456B

Abstract

本发明公开了一种高空视频监控中小微目标的检测方法，包括如下步骤：(1)针对小微目标，调整和优化卷积神经网络训练时的合适的候选区生成参数，确定特定小微目标的图像长宽比参数；(2)确定特定小微目标的合理最小检测像素面积，通过摄像头定时、定位的360°自动巡检分析，实现机器智能监控值守功能。本发明为解决高空视频监控的特定需求和存在问题，调整算法训练时的目标物迭代逼近候选框的生成大小和生成比例，使得算法逼近候选区域大小更好地贴合实际目标物，提高卷积神经网络的训练结果和小微目标的检测准确性；在识别算法应用过程中，通过调度机制实现360度自动巡检分析，使得机器分析值守，代替人工视频监看最终成为现实可能。

Description

一种高空视频监控中小微目标的检测方法

技术领域

本发明涉及图像识别技术领域，尤其是一种高空视频监控中小微目标的检测方法。

背景技术

随着科技手段的迅猛发展，视频监控技术被各大行业所广泛使用。视频监控的发展经历了“看得到”(黑白监控)阶段，到“看得清”(高清监控)，下一步的监控目标应该是往“看得懂”(图像智能分析)阶段发展。

以往的视频监控系统多依赖于视频设备厂商自行构建，例如架设3—5米杆，部署视频服务器、解码器、网络设备及存储设备等来实现。近年来，随着云计算技术的兴起，各大运营商依托自有的云计算中心设备、带宽资源优势，借助基站铁塔的供电、避雷、网络传输和客户资源优势，纷纷切入政府视频监控行业市场(例如环保，国土，住建，农业，畜牧，海事等)。

不同于以往的低空监控，运营商的摄像头通常架设在30-50米的高空，一方面扩大了有效监控区域；另一方面，在远景视野中的目标物就会变得很小，给图像分析技术提出了更高的要求。

目标检测是计算机视觉中的一类典型任务，其核心要求是在图像中识别出目标类别的基础上，进一步定位出目标在图像中的位置。近年来，卷积神经网络技术迅猛崛起，较之于传统的经验特征的算法，卷积神经网络无论是在识别漏报率、误报率，还是在扩展性、应用性等方面，均取得了不错的理论和实践成果。通常，根据待检测目标占所处图像里的比例大小，可以将目标检测大致分为大目标检测、中等目标检测和小微目标检测。例如，拍摄的风景照里，近处摆姿势、正对镜头的游客属于大目标，而海平面远处的船则属于小微目标。卷积神经网络对于大、中目标检测的有效性较高；但是运用到小微目标检测时，效果往往会大打折扣。在小微目标检测任务中，某些目标物的并没有固定的形状、大小及比例关系，例如烟雾、火光等(与之对应的，例如行人、车辆等，在高空视频监控中的形状相对明显，且物体比例关系相对固定)。因此，如何提高、增强卷积神经网络在小微目标检测能力，尤其针对非固定形状，变尺度的小微目标识别成为当前亟待解决的问题。

发明内容

本发明所要解决的技术问题在于，提供一种高空视频监控中小微目标的检测方法，能够显著提高小微目标的检出率。

为解决上述技术问题，本发明提供一种高空视频监控中小微目标的检测方法，包括如下步骤：

(1)针对小微目标，调整和优化卷积神经网络训练时的合适的候选区生成参数，确定特定小微目标的图像长宽比参数；

(2)确定特定小微目标的合理最小检测像素面积，通过摄像头定时、定位的360°自动巡检分析，实现机器智能监控值守功能。

优选的，步骤(1)中，调整和优化卷积神经网络训练具体包括如下步骤：

(11)训练集建立；将实际使用过程中收集的场景图片进行分类，得到小目标数据图像集N张，其中N不包含随机预留的500张测试集数据；

(12)训练样本标注；对于以上数据集进行小微目标物标注；

(13)训练集中目标区域长宽比计算及保存；对步骤(2)中每一张标注图片n，分别计算目标物体的长宽比，记为r_n，得到长宽比数据序列，记为R＝{r₁，r₂,…,r_n,…r_N}；

(14)训练集中长宽比聚类分析；对步骤(3)中序列R，采用密度峰值的聚类算法，利用几何距离作为阈值标准，将序列R聚类为3个峰值，从大到小依次记为m₀，m₁，m₂；

(15)计算并确定训练模型长宽比参数；

(16)计算训练集中所有目标物区域的面积；对步骤(2)中每一张标注图片n，分别计算出目标区域的面积s_n，得到面积序列S＝{s₁，s₂,…,s_n,…s_N}；

(17)计算目标区域的近似正方形边长；对步骤(6)中序列集合S，逐个求解近似正方形边长集合L＝{l₁，l₂,…,l_n,…l_N}，其中

(18)最小检测区域参数换算；对步骤(7)中序列集合L，采用密度峰值的聚类算法，利用几何距离作为阈值标准，将序列L聚类为3个峰值，从大到小记为(x，y，z)；

(19)模型训练；将步骤(4)、步骤(8)中所得参数输入卷积神经网络进行训练，迭代至网络收敛，完成目标检测模型的训练。

优选的，步骤(15)中，计算并确定训练模型长宽比参数具体为：分别计算AspR₁＝m₂/m₁，AspR₂＝m₁/m₀，计算计算参数组(1.0/AspR,1,AspR)以供后续输入卷积神经网络训练用。

优选的，步骤(2)中，确定特定小微目标的合理最小检测像素面积，摄像头定时定位巡检分析具体包括如下步骤：

(21)设定摄像头转动周期T₀；

(22)调用摄像头接口，获取前端摄像头图片，记为I，同时启动定时器t；

(23)将I提交给训练后的识别模型进行小目标检测，识别模型计算后返回I中所有可能的待检测目标区域集合A，A中的每一个元素数据结构为[(x_L,y_L),(x_R,y_R),p]，其中(x_L,y_L)为疑似目标位置的左上角坐标，(x_R,y_R)为疑似目标的右下角坐标，p为该区域的算法分析置信度；

(24)如果步骤(23)中A为空集，图片I识别结束，跳转至步骤(27)；

(25)如果步骤(23)中A非空：依次分析A中所有元素，如果该元素对应区域的置信度p≥p_H，其中p_H为预先设定的置信度阈值，则在图片I上根据(x_L,y_L),(x_R,y_R)标注该区域；反之，则继续检测下一个元素，直至所有元素检查结束；

(26)步骤(25)中，如果有至少1个检出目标区域，则将标注后图片I’发送至用户界面告警，同时告警场景图片入库保存；否则图片I检测结束；

(27)步骤(22)中定时器t＝T₀时，自动触发摄像头旋转进程；

(28)调用摄像头控制接口，将该摄像头旋转一定角度，计时器t清零；

(29)重复步骤(22)～步骤(28)，实现该摄像头360度场景自动巡检分析预警。

优选的，步骤(21)中，T₀的设置大于步骤(22)中图片获取时间、步骤(23)中识别算法耗时的总和。

本发明的有益效果为：本发明为解决高空视频监控的特定需求和存在问题，结合了卷积神经网络的自适应、可扩展等优势，针对具体的待检测小微目标，提出了大数据集上的小目标检测普适性参数确定方法；调整算法训练时的目标物迭代逼近候选框的生成大小和生成比例，使得算法逼近候选区域大小更好地贴合实际目标物，从而有效缩小迭代训练过程中的Loss值，提高卷积神经网络的训练结果和小微目标的检测准确性，尤其是变尺度小微目标在实际应用中对小目标检测的性能获得了极大提升；在识别算法应用过程中，通过调度机制实现360度自动巡检分析，使得机器分析值守，代替人工视频监看最终成为现实可能。

附图说明

图1为本发明的小微目标检测中训练过程的流程示意图。

图2为本发明的小微目标样本标注示意图。

图3为本发明的小微目标样本长宽比原始分布散点图。

图4为本发明的小微目标样本长宽比原始分布柱状图。

图5为本发明的密度峰值聚类后的长宽比分布柱状图。

图6为本发明参数优化前后小微目标区域逼近能力示意图。

图7为本发明的参数优化后小微目标检测能力统计图。

图8为本发明的小微目标检测中目标识别过程的流程示意图。

图9为本发明目标识别后自动标注示意图。

图10为本发明的PC端用户告警界面示意图。

图11为本发明有预警摄像头全图场景示意图。

图12为本发明的摄像头在不同角度自动检测、分析预警图片示意图。

具体实施方式

本发明首先针对小微目标，调整、优化卷积神经网络的训练时的合适的候选区生成参数，使得候选区域框能够更有效的接近、贴合实际待检测目标区域大小，从而提高了卷积神经网络的训练结果和小微目标的检测准确性。在算法模型训练好后，通过定时、定位的360度自动巡检分析，最终实现高效的机器智能监控值守功能。

本发明针对高空视频监控的实际场景，克服现有技术不足，提出高效小微目标检测方法，从而显著提高小微目标的检出率。为针对性解决特定场景的目标检测问题，本发明针对小微目标的算法进行优化，提出了具体参数的普适性计算方法，避免随机参数尝试导致的训练有效性弱问题。经过对漏报小微样本的反向算法分析分析，目标不能检出的原因主要在于学习过程中的以下两个参数合理设定问题：(1)特定小微目标的图像长宽比参数。因为小微目标在远景情况下会发生像素损失情况，导致目标长宽比变形，从而不同于大中型目标物的长宽比；另外，在实际使用场景中，不同的摄像头图像分辨率，也会导致小微长宽比区别较明显情况，直观上可以这么理解，比如图像分辨率低，小微目标区域较之于高分辨率图像，绝对数值更小，比例计算时即使1像素偏差都会导致相对更大比例变化。(2)特定小微目标的合理最小检测像素面积(需要换算成已设计好的卷积神经网络的参数)。如果最小检测像素面积过大，在训练和识别过程中，目标区域内含有过多的背景图像特征，从而淹没小微目标的微弱有效特征；如果最小检测像素面积过小，除去计算效率问题，更会导致特征截断现象：极端情况下，最小检测区域为1平方像素，这样的区域不能学习到目标的有效特征，导致训练过程无法收敛；同样的，不同分辨率图像对于小微目标的像素面积也有区别。

为解决上述两个问题，本发明所采用的技术方案分为训练过程和识别过程两大部分来完成。

下面结合附图对本发明的技术方案进行详细说明。

本发明小微目标检测的优化参数确定及训练过程如图1所示，详细说明如下：

步骤1，训练集建立。从实际应用中收集大量小目标检测样本，本发明中实际使用样本集为5500张，从中随机选取500张作为测试数据集，因此实际训练集为5000张样本。如果训练样本集数量继续加大，识别效果会有进一步提升。

步骤2，训练样本标注。图2是2个典型的标注后的训练样本示意。需要注意的是：标注时框选区域尽量贴合目标物实际大小。如果样本图中有多个目标物，则标注多个区域。

步骤3，训练集中目标区域长宽比计算及保存。按照步骤2中的框选区域范围，逐样本计算长方形长度、宽度，再计算长宽比并保存。保存后的训练集样本长宽比散点图及柱状统计图如图3和图4所示。

步骤4，训练集中长宽比聚类分析。DBSCAN(Density-Based Spatial Clusteringof Application with Noise)是一种典型的基于密度的聚类算法，按照标准DBSCAN算法步骤(此处不再赘述)，将步骤3中所有散点聚类为3个簇，并由小到大记3个簇的峰值为m₀，m₁，m₂。聚类完成后的长宽比分布柱状图如图5所示。

步骤5，计算并确定训练模型长宽比参数。首先计算AspR₁＝m₂/m₁，AspR₂＝m₁/m₀，然后计算最后计算并确定训练参数组(1.0/AspR,1,AspR)。例如：某特定分辨率图片，某待检测目标物的AspR为1.38。

步骤6，计算训练集中所有目标物区域的面积。步骤2中，已经得到所有目标区域的长、宽，根据长宽计算所有目标区域的像素面积，得到面积序列S＝{s₁，s₂,…,s_n,…s_N}

步骤7，计算目标区域的近似正方形边长。对步骤6中序列集合S，逐个求解近似正方形边长集合L＝{l₁，l₂,…,l_n,…l_N}，其中

步骤8，最小检测区域参数换算。对步骤7中序列集合L，类似步骤4，采用DBSCAN标准聚类算法，将序列L聚类为3个峰值，从大到小记为(x，y，z)。例如：某特定分辨率图片，某待检测目标物的最小检测区域换算后参数组(16,40,100)。

步骤9，模型训练。将步骤4、步骤8中所得参数输入卷积神经网络进行训练，迭代至网络收敛，完成目标检测模型的训练。卷积神经网络的设计、训练及调试收敛过程更多是工程技巧，在此不再赘述。

经过上述步骤之后，卷积神经网络里生成的候选区域，能够较好地贴合实际目标物区域(如图6所示，图6中左侧为未优化参数候选区域示意，右侧为参数优化后候选区域示意，两张图中蓝色方框均表示目标区域实际大小。两图对比可以看出，参数未优化前，所有的目标候选区域均明显大于实际物体区域，从而导致训练过程中，物体实际特征会被淹没，最终识别时导致漏检。)，一方面提高了小微目标检测能力，另一方面，也会降低训练过程中残差目标值(Loss)，对提高训练收敛速度也有所帮助。

如图7所示，在应用本发明方法前，500张测试样本中，小微目标有效检出张数为232张，检出率约为46.4％；应用本发明方法后，同样的500张测试集，有效检出张数为439，检出率约为87，8％，检测率提高了40％多，效果非常明显。

本发明小微目标检测识别过程如图8所示，结合更多图例详细说明如下：

步骤1，设定摄像头转动周期T₀，T₀的设置应大于步骤2中图片获取时间、步骤3中识别算法耗时的总和。在实际使用过程中，基于图片方式的目标检测算法，摄像头转动周期T₀设置为30秒—300秒可调。

步骤2，调用摄像头接口，获取前端摄像头实时图片，记为I；同时启动定时器t。实际使用过程中，不同的摄像头厂商提供的摄像头访问接口函数各异，在系统层面统一封装以实现良好的摄像头支持能力和灵活的扩展能力。

步骤3，将I提交给训练后的识别模型进行小目标检测，识别模型计算后返回I中所有可能的待检测目标区域集合A，A中的每一个元素数据结构为[(x_L,y_L),(x_R,y_R),p]，其中(x_L,y_L)为疑似目标位置的左上角坐标，(x_R,y_R)为疑似目标的右下角坐标，p为该区域的算法分析置信度。一旦卷积神经网络参数确定后且训练完成，其识别过程为标准过程，已有很多文献描述，在此不再赘述。

步骤4，如果步骤3中A为空集，则表明该张检测图片中没有疑似待检测目标物，因此结束图片I识别，跳转至步骤7等待下一次图片识别请求

步骤5，如果步骤3中A非空：依次分析A中所有元素，如果该元素对应区域的置信度p≥p_H(其中p_H为预先设定的置信度阈值)，则在图片I上根据(x_L,y_L),(x_R,y_R)标注该区域；反之，则继续检测下一个元素，直至所有元素检查结束。图9为目标识别后自动标注示意图。

步骤6，步骤5中，如果有至少1个检出目标区域，则将标注后图片I’发送至用户界面(PC，手机App，微信等)告警，同时告警场景图片入库保存。否则图片I检测结束。图10为PC端用户告警界面示意图，其中有红色高亮显示区域的表示该摄像头发现待检测目标物，无高亮区域的表示该摄像头为发现待检测目标物。点击高亮预警的摄像头画面，可全图显示该摄像头实时预警场景照片，该摄像头地理位置信息等，如图11所示。

步骤7，步骤2中定时器t＝T₀时，自动触发摄像头旋转进程。

步骤8，调用摄像头控制接口，将该摄像头旋转一定角度(具体角度视实际使用需求确定)，并将计时器t清零。实际使用过程中，不同的摄像头厂商提供的摄像头访问接口函数各异，在系统层面统一封装以实现良好的摄像头支持能力和灵活的扩展能力。

步骤9，重复步骤2—步骤8，实现该摄像头360度场景自动巡检分析预警。图12为某一摄像头在不同角度位置获取的场景图片示意。

尽管本发明就优选实施方式进行了示意和描述，但本领域的技术人员应当理解，只要不超出本发明的权利要求所限定的范围，可以对本发明进行各种变化和修改。

Claims

1.一种高空视频监控中小微目标的检测方法，其特征在于，包括如下步骤：

2.如权利要求1所述的高空视频监控中小微目标的检测方法，其特征在于，步骤(1)中，调整和优化卷积神经网络训练具体包括如下步骤：

(12)训练样本标注；对于以上数据集进行小微目标物标注；

(15)计算并确定训练模型长宽比参数；

3.如权利要求2所述的高空视频监控中小微目标的检测方法，其特征在于，步骤(15)中，计算并确定训练模型长宽比参数具体为：分别计算AspR₁＝m₂/m₁，AspR₂＝m₁/m₀，计算计算参数组(1.0/AspR,1,AspR)以供后续输入卷积神经网络训练用。

4.如权利要求1所述的高空视频监控中小微目标的检测方法，其特征在于，步骤(2)中，确定特定小微目标的合理最小检测像素面积，摄像头定时定位巡检分析具体包括如下步骤：

(21)设定摄像头转动周期T₀；

(27)步骤(22)中定时器t＝T₀时，自动触发摄像头旋转进程；

5.如权利要求4所述的高空视频监控中小微目标的检测方法，其特征在于，步骤(21)中，T₀的设置大于步骤(22)中图片获取时间、步骤(23)中识别算法耗时的总和。