CN116030367B - 一种无人机视角动目标检测方法及装置 - Google Patents

Abstract

本发明公开了一种无人机视角动目标检测方法及装置，属于无人机图像处理领域，用于解决现有技术中由于光照变化、前后帧背景更替和风吹草木动等干扰因素导致误检的技术问题。获取视频中连续的前后两帧图像；对前一帧图像和当前帧图像分别灰度化处理；对灰度化处理后的前一帧图像和当前帧图像分别进行特征点提取；对提取到的特征点进行匹配，得到多个最佳匹配特征点；使用多个最佳匹配特征点计算前一帧图像到当前帧图像的映射矩阵；使用优化映射矩阵、基于统计预处理后的图像进行帧差，并结合多轨迹目标筛选的方法，能有效减少甚至消除由于光照变化、前后帧背景更替和风吹草木动等干扰因素引起的误检。

Description

一种无人机视角动目标检测方法及装置

技术领域

本发明属于无人机领域，涉及一种检测方法，具体是一种无人机视角动目标检测方法及装置。

背景技术

随着无人机的高速发展，基于无人机平台进行目标检测已逐渐成为计算机视觉的一大研究热点。实际上，在军事方面早已采用无人机进行区域巡检和侦查，如今在民用领域也有高空区域巡检的需求。巡检航拍视频的主要特点是目标比较小、图像分辨率较低、背景复杂、目标的运动相对于背景的运动比较小等，这些特点使得研究人员在对航拍视频中的目标进行检测时面临重重挑战。目前已有的算法中，对航拍视频检测多目标都没有一个比较稳妥的方法，常常受复杂的场景、环境因素、目标尺寸、成像质量等等因素限制和影响。

基于背景建模的动目标检测方法，在针对摄像头固定场景中，动目标检测效果较好，但是光照和风吹草木动，也会影响实际动目标的检出率；在无人机视角的场景中，背景建模动目标检测方法在受上面因素影响的同时，由于无人机一直处于飞行过程中，在摄像机视场范围内的目标也会不同，导致采集到的视频前后帧也会存在差异，这部分差异在背景建模的动目标检测方法中也会被检测出来，而它不是实际中真实的动目标，引起算法的误检。

深度学习的目标检测识别方法，在只能提供有限数据量的应用场景下，深度学习不能够对数据的规律进行无偏差估计。为提高精度，需要大量数据支撑。由于深度学习中模型的复杂化导致算法的时间复杂度急剧提升，为了保证算法的实时性，需要更高的并行编程技巧和更好的硬件支持。因此深度学习模型的普适性差强人意，深度学习模型要做到实时性对于一般中等配置显卡的电脑很难做到。

发明内容

针对现有技术存在的不足，本发明的目的在于，提供一种无人机视角动目标检测方法及装置，以解决现有技术中由于光照变化、前后帧背景更替和风吹草木动等干扰因素导致误检的技术问题。

为了解决上述技术问题，本发明采用如下技术方案予以实现：

一种无人机视角动目标检测方法，具体包括以下步骤：

步骤一，获取视频中连续的前后两帧图像；

步骤二，对前一帧图像和当前帧图像分别灰度化处理；

步骤三，对步骤二得到的灰度化处理后的前一帧图像和当前帧图像分别进行特征点提取；

步骤四，对步骤三提取到的特征点进行匹配，得到多个最佳匹配特征点；

步骤五，使用步骤四得到的多个最佳匹配特征点计算前一帧图像到当前帧图像的映射矩阵；

步骤六，对步骤五得到的映射矩阵进行优化，得到优化映射矩阵；

步骤七，使用优化映射矩阵得到前一帧图像的映射图像；

步骤八，将步骤七得到的前一帧图像的映射图像与当前帧图像作基于统计的图像进行帧差，得到帧差图像；

步骤九，对经过步骤八处理的得到的帧差图像进行阈值分割处理，得到二值图像；

步骤十，对步骤九得到的二值图像进行多轨迹目标筛选，得到当前二值图像的动目标位置信息；

步骤十一，将步骤十得到的当前动目标位置信息返算得到当前帧图像的目标位置信息；

步骤十二，重复执行步骤一至步骤十一，直到视频结束。

本发明还包括以下技术特征：

步骤六中，对步骤五得到的映射矩阵进行优化，得到优化映射矩阵的方法具体包括以下步骤：

步骤6.1，保存步骤五得到的映射矩阵；

步骤6.2，判断步骤五得到的映射矩阵的个数是否小于第一阈值，是则将步骤五得到的映射矩阵作为当前的优化映射矩阵，进入步骤七；否则保存步骤五得到的映射矩阵，同时基于先进先出的原则，删除保存的映射矩阵中第一个位置的映射矩阵，并进入步骤6.3；

步骤6.3，计算当前保存的每一个映射矩阵对应的运动信息，所述的运动信息为x偏移量、y偏移量和角度偏移量；并对所有的运动信息分别进行平滑操作，得到平均运动信息；

步骤6.4，根据平均运动信息得到每一个映射矩阵需要补偿的x偏移量、y偏移量和角度偏移量，并对其进行补偿，得到优化映射矩阵。

步骤八中，具体包以下步骤：

步骤8.1，对前后两帧图像的任一个相同的位置进行统计预处理操作，具体如下：

比较前一帧图像和当前帧图像的相同位置在预设邻域的像素值，统计两者的像素差值不大于第二阈值的个数；

若统计的个数大于预设邻域个数的一半，则认为当前位置像素值相同，并且赋予当前帧图像和前一帧图像在该位置的像素值为固定值；

若统计的个数小于预设邻域个数的一半，则认为当前位置像素值不同，该位置为目标位置点，不改变前后两帧图像在当前位置的像素值；

步骤8.2，重复步骤8.1，直到遍历前后两帧图像的每一个相同的位置，完成前一帧图像和当前帧图像的预处理；

步骤8.3，对预处理后的前一帧图像和当前帧图像进行帧差操作，得到帧差图像。

步骤8.1中，所述的第二阈值的确定方法：

获取当前帧指定位置的行或者列灰度值与前一帧指定位置的行或者列灰度值的差值的平均值，作为当前位置的第二阈值。

步骤十中，所述的多轨迹目标筛选的方法具体包括以下步骤：

步骤10.1，对步骤九得到的二值图像进行轮廓提取，获取当前二值图像的目标位置信息和当前轮廓图；

步骤10.2，判断当前的历史帧目标位置信息是否为空；是则将所得到的当前二值图像的目标位置信息保存到历史帧目标位置信息中；否则，使用筛选策略，根据已经保存的历史帧目标位置信息对得到的当前二值图像的目标位置信息进行筛选并保存；

步骤10.3，在步骤10.2中保存的历史帧的目标位置信息中，将目标位置间距小于第三阈值的像素的目标位置信息合并成一个目标位置信息，并进行保存；

步骤10.4，将步骤10.3合并得到的历史帧的目标位置信息中最后一个位置的目标位置信息作为当前帧的动目标位置信息。

步骤10.2中，所述的筛选策略具体包括以下内容：

S1，在历史帧目标位置信息中的最后一个位置的目标位置信息的预设邻域查找当前轮廓图是否有目标轮廓，若有则将该目标轮廓对应位置信息保存到该历史帧的目标信息位置中，同时在当前轮廓图像中清除该目标轮廓；若无，则认为该历史帧的目标信息在当前帧消失或者没有检测出来；

S2，使用S1的方法搜索所有的历史帧目标位置信息的对应的预设邻域，若所有预设邻域已经搜索完成，且当前轮廓图中轮廓的个数不等于0，则认为当前轮廓图中的目标轮廓为新增的目标位置，将该目标位置信息保存至历史帧目标位置信息；

S3，判断是否保存有第四阈值帧数的历史帧目标位置信息，若是进入S4，否则进入10.3；

S4，统计连续第四阈值帧数的历史帧目标位置信息中，每个目标的目标位置信息的个数，若个数大于第四阈值帧数的半数，则认为该目标的目标位置信息是实际要检测的动目标位置；反之，则认为该目标是干扰目标，删除该目标的目标位置信息。

在执行步骤10.3前，还包括：删除步骤10.2中保存的历史帧目标位置信息中靠近边界的第五阈值像素的目标位置信息。

对步骤一获取的前后两帧图像进行灰度化处理之前做光线矫正，具体如下：

以当前帧图像的亮度作为亮度基准，对前一帧图像进行光线矫正，使两帧图像的亮度保持在一个等级。

在步骤十一中，得到当前帧图像的目标位置信息后，在图像上画出动目标位置。

一种检测装置，所述的检测装置用于执行所述的无人机视角动目标检测方法。

本发明与现有技术相比，有益的技术效果是：

本发明中使用了优化映射矩阵、基于统计预处理后的图像进行帧差，并结合多轨迹目标筛选的方法，能有效减少甚至消除由于光照变化、前后帧背景更替和风吹草木动等干扰因素引起的误检，同时也有效规避了使用神经网络检测识别目标过程中，搜集大量样本并一一进行人工标注样本等大量消耗人力物力的工作，克服了训练模型硬件显卡要求高的缺点。

附图说明

图1为本发明的方法的流程图。

以下结合实施例对本发明的具体内容作进一步详细解释说明。

具体实施方式

需要说明的是，本申请中第一阈值、第二阈值、第三阈值、第四阈值、第五阈值和预设邻域并不限定具体数值，可根据实际需求进行调整，为满足实际计算条件或效率等因素而确定的具体的数值，均在本申请保护范围内。

需要说明的是，本发明中的所有零部件，在没有特殊说明的情况下，均采用本领域已知的零部件。

以下给出本发明的具体实施例，需要说明的是本发明并不局限于以下具体实施例，凡在本申请技术方案基础上做的等同变换均落入本发明的保护范围。

本发明给出了一种无人机视角动目标检测方法，具体包括以下步骤：

步骤一，获取视频中连续的前后两帧图像；

步骤二，对前一帧图像和当前帧图像分别灰度化处理；

步骤三，对步骤二得到的灰度化处理后的前一帧图像和当前帧图像分别进行特征点提取；

步骤四，对步骤三提取到的特征点进行匹配，得到多个最佳匹配特征点；

步骤五，使用步骤四得到的多个最佳匹配特征点计算前一帧图像到当前帧图像的映射矩阵；

步骤六，对步骤五得到的映射矩阵进行优化，得到优化映射矩阵；

步骤七，使用优化映射矩阵得到前一帧图像的映射图像；

步骤八，将步骤七得到的前一帧图像的映射图像与当前帧图像作基于统计的图像进行帧差，得到帧差图像；

步骤九，对经过步骤八处理的得到的帧差图像进行阈值分割处理，得到二值图像；

步骤十，对步骤九得到的二值图像进行多轨迹目标筛选，得到当前二值图像的动目标位置信息；

步骤十一，将步骤十得到的当前动目标位置信息返算得到当前帧图像的目标位置信息；

步骤十二，重复执行步骤一至步骤十一，直到视频结束。

在上述技术方案中，相机拍摄的动目标原图后，对前一帧图像和当前帧图像分别灰度化处理；前一帧图像和当前帧图像分别进行Fast特征点提取得到的Fast特征点，在这一步可以使用GPU加速，来减少算法耗时；然后通过作基于统计的图像进行帧差，消除了由于光照变化、前后帧背景更替、风吹草和树木动引起的干扰；此外，由于光照变化、前后帧背景更替、风吹草和树木动引起的干扰目标具有不连续的特性，表现在二值图像上就是前一帧存在目标，当前帧的该位置及邻域可能没有目标出现。而对于真实的目标在二值图像上的出现具有连续性，即前一帧二值图上存在的目标，在当前帧的该位置或者邻域附近就会有目标出现。基于以上目标连续性特征，也可以剔除一些干扰目标，提高真实目标的检测率。

步骤三中，特征点提取方法可以选择Fast特征点提取方法。

步骤四中，具体为通过进行特征点的暴力匹配，获得多组匹配特征点和各组匹配特征点间的距离，取距离在预设范围内的各组匹配特征点作为最佳匹配特征点，该预设范围可依据实际需求进行调整，这里并不做具体数值限定。

步骤五中，使用步骤四得到的多个最佳匹配特征点计算前一帧图像到当前帧图像的映射矩阵中使用的是最小均方误差的计算方法。

步骤七中，优化映射矩阵通过透视变换处理得到前一帧图像的映射图像；

步骤九中，阈值分割处理指的是指的是最大类间方差的分割处理。

步骤十一中，返算指的是直接赋值。

具体的，步骤六中，对步骤五得到的映射矩阵进行优化，得到优化映射矩阵的方法具体包括以下步骤：

步骤6.1，保存步骤五得到的映射矩阵，

步骤6.2，判断步骤五得到的映射矩阵的个数是否小于第一阈值，是则将步骤五得到的映射矩阵作为当前的优化映射矩阵，进入步骤七；否则保存步骤五得到的映射矩阵，同时基于先进先出的原则，删除保存的映射矩阵中第一个位置的映射矩阵，并进入步骤6.3；

步骤6.3，计算当前保存的每一个映射矩阵对应的运动信息，运动信息为x偏移量、y偏移量和角度偏移量；并对所有的运动信息分别进行平滑操作，得到平均运动信息；

步骤6.4，根据平均运动信息得到每一个映射矩阵需要补偿的x偏移量、y偏移量和角度偏移量，并对其进行补偿，得到优化映射矩阵。

在上述技术方案中，角度偏移量，就是指的是X方向和Y方向之间的夹角的偏移量；使用先进先出的原则更新映射矩阵队列，使用优化映射矩阵来减少由于前后帧背景更替引入的目标误检；比如第一阈值可以取5。

具体的，步骤八中，具体包以下步骤：

步骤8.1，对前后两帧图像的任一个相同的位置进行统计预处理操作，具体如下：

比较前一帧图像和当前帧图像的相同位置在预设邻域的像素值，统计两者的像素差值不大于第二阈值的个数；

若统计的个数大于预设邻域个数的一半，则认为当前位置像素值相同，并且赋予当前帧图像和前一帧图像在该位置的像素值为固定值；

若统计的个数小于预设邻域个数的一半，则认为当前位置像素值不同，该位置为目标位置点，不改变前后两帧图像在当前位置的像素值；

步骤8.2，重复步骤8.1，直到遍历前后两帧图像的每一个相同的位置，完成前一帧图像和当前帧图像的预处理；

步骤8.3，对预处理后的前一帧图像和当前帧图像进行帧差操作，得到帧差图像。

在上述技术方案中，预设邻域可以取8邻域或者16邻域；

步骤8.1中，第二阈值的确定方法：

获取当前帧指定位置的行或者列灰度值与前一帧指定位置的行或者列灰度值的差值的平均值，作为当前位置的第二阈值。

在上述技术方案中，使用这种方法确定的动态阈值相比单一固定阈值能根据当前范围灰度值计算不同的合适的阈值，不会产生由于单一阈值，阈值设置过大，导致有目标的位置被误认为背景，产生漏检；或者由于阈值设置过小，导致没有目标的位置被误认为有目标，产生误检，从而都影响算法整体的检测率。

具体的，步骤十中，多轨迹目标筛选的方法具体包括以下步骤：

步骤10.1，对步骤九得到的二值图像进行轮廓提取，获取当前二值图像的目标位置信息和当前轮廓图；

步骤10.2，判断当前的历史帧目标位置信息是否为空；是则将所得到的当前二值图像的目标位置信息保存到历史帧目标位置信息中；否则，使用筛选策略，根据已经保存的历史帧目标位置信息对得到的当前二值图像的目标位置信息进行筛选并保存；

步骤10.3，在步骤10.2中保存的历史帧的目标位置信息中，将目标位置间距小于第三阈值的像素的目标位置信息合并成一个目标位置信息，并进行保存；

步骤10.4，将步骤10.3合并得到的历史帧的目标位置信息中最后一个位置的目标位置信息作为当前帧的动目标位置信息。

比如，第三阈值可以取值为50。

具体的，步骤10.2中，筛选策略具体包括以下内容：

S1，在历史帧目标位置信息中的最后一个位置的目标位置信息的预设邻域查找当前轮廓图是否有目标轮廓，若有则将该目标轮廓对应位置信息保存到该历史帧的目标信息位置中，同时在当前轮廓图像中清除该目标轮廓；若无，则认为该历史帧的目标信息在当前帧消失或者没有检测出来；

S2，使用S1的方法搜索所有的历史帧目标位置信息的对应的预设邻域，若所有预设邻域已经搜索完成，且当前轮廓图中轮廓的个数不等于0，则认为当前轮廓图中的目标轮廓为新增的目标位置，将该目标位置信息保存至历史帧目标位置信息；

S3，判断是否保存有第四阈值帧数的历史帧目标位置信息，若是进入S4，否则进入10.3；

S4，统计连续第四阈值帧数的历史帧目标位置信息中，每个目标的目标位置信息的个数，若个数大于第四阈值帧数的半数，则认为该目标的目标位置信息是实际要检测的动目标位置；反之，则认为该目标是干扰目标，删除该目标的目标位置信息。比如，第四阈值帧数可以为10帧。

具体的，在执行步骤10.3前，还包括：删除步骤10.2中保存的历史帧目标位置信息中靠近边界的第五阈值像素的目标位置信息，用于去除干扰信息。比如，第五阈值的具体数值可以为20。

具体的，对步骤一获取的前后两帧图像进行灰度化处理之前做光线矫正，具体如下：

以当前帧图像的亮度作为亮度基准，对前一帧图像进行光线矫正，使两帧图像的亮度保持在一个等级。

在上述技术方案中，通过对前一帧图像进行光线矫正，减少了由于光照变化的差异引起的目标误检。

在步骤十一中，得到当前帧图像的目标位置信息后，在图像上画出动目标位置。

本发明还给出了一种检测装置，检测装置用于执行无人机视角动目标检测方法。

Claims (9)

1.一种无人机视角动目标检测方法，其特征在于，具体包括以下步骤：

步骤一，获取视频中连续的前后两帧图像；

步骤二，对前一帧图像和当前帧图像分别灰度化处理；

步骤三，对步骤二得到的灰度化处理后的前一帧图像和当前帧图像分别进行特征点提取；

步骤四，对步骤三提取到的特征点进行匹配，得到多个最佳匹配特征点；

步骤五，使用步骤四得到的多个最佳匹配特征点计算前一帧图像到当前帧图像的映射矩阵；

步骤六，对步骤五得到的映射矩阵进行优化，得到优化映射矩阵；

步骤七，使用优化映射矩阵得到前一帧图像的映射图像；

步骤八，将步骤七得到的前一帧图像的映射图像与当前帧图像作基于统计的图像进行帧差，得到帧差图像；

步骤九，对经过步骤八处理的得到的帧差图像进行阈值分割处理，得到二值图像；

步骤十，对步骤九得到的二值图像进行多轨迹目标筛选，得到当前二值图像的动目标位置信息；

所述的多轨迹目标筛选的方法具体包括以下步骤：

步骤10.1，对步骤九得到的二值图像进行轮廓提取，获取当前二值图像的目标位置信息和当前轮廓图；

步骤10.2，判断当前的历史帧目标位置信息是否为空；是则将所得到的当前二值图像的目标位置信息保存到历史帧目标位置信息中；否则，使用筛选策略，根据已经保存的历史帧目标位置信息对得到的当前二值图像的目标位置信息进行筛选并保存；

步骤10.3，在步骤10.2中保存的历史帧的目标位置信息中，将目标位置间距小于第三阈值的像素的目标位置信息合并成一个目标位置信息，并进行保存；

步骤10.4，将步骤10.3合并得到的历史帧的目标位置信息中最后一个位置的目标位置信息作为当前帧的动目标位置信息；

步骤十一，将步骤十得到的当前动目标位置信息返算得到当前帧图像的目标位置信息；

步骤十二，重复执行步骤一至步骤十一，直到视频结束。

2.如权利要求1所述的无人机视角动目标检测方法，其特征在于，

步骤六中，对步骤五得到的映射矩阵进行优化，得到优化映射矩阵的方法具体包括以下步骤：

步骤6.1，保存步骤五得到的映射矩阵；

步骤6.2，判断步骤五得到的映射矩阵的个数是否小于第一阈值，是则将步骤五得到的映射矩阵作为当前的优化映射矩阵，进入步骤七；否则保存步骤五得到的映射矩阵，同时基于先进先出的原则，删除保存的映射矩阵中第一个位置的映射矩阵，并进入步骤6.3；

步骤6.3，计算当前保存的每一个映射矩阵对应的运动信息，所述的运动信息为x偏移量、y偏移量和角度偏移量；并对所有的运动信息分别进行平滑操作，得到平均运动信息；

步骤6.4，根据平均运动信息得到每一个映射矩阵需要补偿的x偏移量、y偏移量和角度偏移量，并对其进行补偿，得到优化映射矩阵。

3.如权利要求1所述的无人机视角动目标检测方法，其特征在于，

步骤八中，具体包以下步骤：

步骤8.1，对前后两帧图像的任一个相同的位置进行统计预处理操作，具体如下：

比较前一帧图像和当前帧图像的相同位置在预设邻域的像素值，统计两者的像素差值不大于第二阈值的个数；

若统计的个数大于预设邻域个数的一半，则认为当前位置像素值相同，并且赋予当前帧图像和前一帧图像在该位置的像素值为固定值；

若统计的个数小于预设邻域个数的一半，则认为当前位置像素值不同，该位置为目标位置点，不改变前后两帧图像在当前位置的像素值；

步骤8.2，重复步骤8.1，直到遍历前后两帧图像的每一个相同的位置，完成前一帧图像和当前帧图像的预处理；

步骤8.3，对预处理后的前一帧图像和当前帧图像进行帧差操作，得到帧差图像。

4.如权利要求3所述的无人机视角动目标检测方法，步骤8.1中，所述的第二阈值的确定方法：

获取当前帧指定位置的行或者列灰度值与前一帧指定位置的行或者列灰度值的差值的平均值，作为当前位置的第二阈值。

5.如权利要求1所述的无人机视角动目标检测方法，其特征在于，步骤10.2中，所述的筛选策略具体包括以下内容：

S1，在历史帧目标位置信息中的最后一个位置的目标位置信息的预设邻域查找当前轮廓图是否有目标轮廓，若有则将该目标轮廓对应位置信息保存到该历史帧的目标信息位置中，同时在当前轮廓图像中清除该目标轮廓；若无，则认为该历史帧的目标信息在当前帧消失或者没有检测出来；

S2，使用S1的方法搜索所有的历史帧目标位置信息的对应的预设邻域，若所有预设邻域已经搜索完成，且当前轮廓图中轮廓的个数不等于0，则认为当前轮廓图中的目标轮廓为新增的目标位置，将该目标位置信息保存至历史帧目标位置信息；

S3，判断是否保存有第四阈值帧数的历史帧目标位置信息，若是进入S4，否则进入10.3；

S4，统计连续第四阈值帧数的历史帧目标位置信息中，每个目标的目标位置信息的个数，若个数大于第四阈值帧数的半数，则认为该目标的目标位置信息是实际要检测的动目标位置；反之，则认为该目标是干扰目标，删除该目标的目标位置信息。

6.如权利要求1所述的无人机视角动目标检测方法，其特征在于，在执行步骤10.3前，还包括：删除步骤10.2中保存的历史帧目标位置信息中靠近边界的第五阈值像素的目标位置信息。

7.如权利要求1所述的无人机视角动目标检测方法，其特征在于，对步骤一获取的前后两帧图像进行灰度化处理之前做光线矫正，具体如下：

以当前帧图像的亮度作为亮度基准，对前一帧图像进行光线矫正，使两帧图像的亮度保持在一个等级。

8.如权利要求1所述的无人机视角动目标检测方法，其特征在于，在步骤十一中，得到当前帧图像的目标位置信息后，在图像上画出动目标位置。

9.一种检测装置，其特征在于，所述的检测装置用于执行权利要求1至权利要求8任一项所述的无人机视角动目标检测方法。

Images