CN105956559B - 基于无人机视频的特定目标检测方法 - Google Patents

Abstract

本发明提供一种在无人机航拍视频中使用嵌入式设备，在线实时检测特定目标位置的方法。本发明的方法不需要使用传统目标检测方法的滑动窗口法，而是基于如下流程：DSP将摄像头采集到的图像缩放为352*288大小以便于处理，根据像素的RGB值获得该像素的颜色类别、遍历每个像素点寻找与特定目标颜色分布符合的点(待定点)、对待定点进行分析以确定是否是目标上的点，如是，则在图像中在确定目标大小。利用本发明提出的方法，既可加快检测速度，还可以提高检测的准确率。

Description

基于无人机视频的特定目标检测方法

技术领域

本发明涉及计算机视觉和模式识别领域，具体而言涉及一种基于无人机视频的特定目标检测方法。

背景技术

目标检测识别是计算机视觉中的一个重要领域，其目的是能够快速准确地自动检测出人们感兴趣的目标的位置，以根据检测结果做进一步处理。随着无人机技术的日渐成熟，使用无人机获取视频信息，基于无人机拍摄的视频进行目标检测的研究正在日渐增多。相比于固定的摄像头，无人机可以自由地在大范围内移动，对一大片区域进行检测。同时，当无人机飞行较低时，可以获得高清晰度的图像。无人机可用于未知的乃至危险区域进行检测，不仅成本低，更保证了人的安全。

使用无人机在线检测目标也有必须克服的难点。运动中的无人机对检测方法的实时性要求较高，而由于硬件条件的限制，像HOG+SVM，HAAR+Adaboost这样的已经在普通计算机上取得很好检测效果的机器学习的方法，想直接在机载平台上运行，达不到实时检测的效果。

发明内容

本发明目的在于提供一种基于无人机视频的特定目标检测方法，以实现在嵌入式设备上进行快速准确检测特定目标位置。

本发明的上述目的通过独立权利要求的技术特征实现，从属权利要求以另选或有利的方式发展独立权利要求的技术特征。

为达成上述目的，本发明提出一种基于无人机视频的特定目标检测方法，包括以下步骤：

1)将DSP，连同摄像头固定在无人机上，摄像头镜头始终向下；

2)构建一个矩阵，用于计算一个像素点RGB值对应的颜色类别。

3)将输入图像缩放到352*288大小；

4)遍历每一个像素点，根据像素点的RGB值用公式计算每一个像素点对应的颜色类别；

5)得到图像中每个位置的颜色类别后，遍历每个点，寻找与目标颜色分布相符合的的待定点；

6)对找到的待定点进行分析，如果是目标上的点，在进一步确定目标大小，如果不是，则放弃，继续寻找下一个目标点，直至遍历完图像中的像素点；

应当理解，前述构思以及在下面更加详细地描述的额外构思的所有组合只要在这样的构思不相互矛盾的情况下都可以被视为本公开的发明主题的一部分。另外，所要求保护的主题的所有组合都被视为本公开的发明主题的一部分。

结合附图从下面的描述中可以更加全面地理解本发明教导的前述和其他方面、实施例和特征。本发明的其他附加方面例如示例性实施方式的特征和/或有益效果将在下面的描述中显见，或通过根据本发明教导的具体实施方式的实践中得知。

附图说明

附图不意在按比例绘制。在附图中，在各个图中示出的每个相同或近似相同的组成部分可以用相同的标号表示。为了清晰起见，在每个图中，并非每个组成部分均被标记。现在，将通过例子并参考附图来描述本发明的各个方面的实施例，其中：

图1是基于无人机视频的特定目标检测方法流程图。

具体实施方式

为了更了解本发明的技术内容，特举具体实施例并配合所附图式说明如下。

在本公开中参照附图来描述本发明的各方面，附图中示出了许多说明的实施例。本公开的实施例不必定意在包括本发明的所有方面。应当理解，上面介绍的多种构思和实施例，以及下面更加详细地描述的那些构思和实施方式可以以很多方式中任意一种来实施，这是因为本发明所公开的构思和实施例并不限于任何实施方式。另外，本发明公开的一些方面可以单独使用，或者与本发明公开的其他方面的任何适当组合来使用。

本发明所提出的基于无人机视频的特定目标检测方法，使用了图像中像素RGB值与视觉上颜色种类的对应解析，结合图像与特定目标的颜色分布信息来确定目标位置，避免了复杂的计算，使在实际应用中，可以用DSP这样的嵌入式设备进行目标检测。

下面结合附图，对本发明的一些示范性实施例加以说明。

根据本发明的实施例，提出一种基于无人机视频的特定目标检测方法，以克服现有目标检测方法难以在嵌入式设备上运行，或运行效率不高的缺点。结合图1所示，该方法的实现大致包括以下6个步骤：

1)将DSP，连同摄像头固定在无人机上，摄像头镜头始终向下；

2)构建一个矩阵，用于计算一个像素点RGB值对应的颜色类别；

3)将输入图像缩放到352*288大小；

4)遍历每一个像素点，根据像素点的RGB值用公式计算每一个像素点对应的颜色类别；

5)得到图像中每个位置的颜色类别后，遍历每个点，寻找与目标颜色分布相符合的的待定点；

6)对找到的待定点进行分析，如果是目标上的点，在进一步确定目标大小，如果不是，则放弃，继续寻找下一个目标点，直至遍历完图像中的像素点。

上述方法中，所述步骤2)具体为：

21)将现实世界中的颜色分为11个基本类别，分别是黑、蓝、褐、灰、绿、橘黄、粉红、紫、红、白、黄。按顺序用1～11给其编号；

22)构建一个矩阵用于计算像素点RGB值对应的颜色类别编号，矩阵的大小为32768*11。计算时会把像素点RGB值对应到矩阵的某一行。矩阵每一行的11个值，代表了该像素点是这11中颜色的概率。我们认为，概率最大的一个，便是该像素点的颜色类别。

我们所需的矩阵来源于：Van De Weijer,Joost,et al."Learning color namesfor real-world applications."Image Processing,IEEE Transactions on 18.7(2009):1512-1523.这篇论文的主要工作是现实世界图像中颜色名称的学习，即从现实世界的图片(如google搜素得到的图片)中学习像素点的RGB值与视觉上颜色类别的关系。我们把RGB与颜色的对应关系，应用到无人机视频上的特定目标检测中。

如图1的流程图所示，上述方法中，所述步骤4)具体为：

41)将采集到的图像存放在一个352*288*3的一维数组里。数组中每三个元素代表图像中对应的一个像素点的RGB值。352是图像的宽度，288是图像的高度，图像共有352*288个像素点，故需要352*288*3个元素存储图像数据

42)对每一个像素，使用如下公式计算索引值：

index＝1+floor(R/8)+32*floor(G/8)+32*32*floor(B/8)；

在实际的程序中，可使用左移右移运算来加快速度。

floor()表示向下取整逻辑运算，R表示某一像素点的R值对应的元素，G表示某一像素点的G值对应的元素，B表示某一像素点的B值对应的元素；

43)根据得到的index值，查阅第二步所得的矩阵的第index行，概率最大的就是该像素点所属的颜色类别。将所得结果存储在大小为352*288的一维数组里，数组中每个元素在1～11间，代表图像该位置的颜色类别。

上述方法中，若目标为单一颜色，则所述步骤5)具体为：

51)遍历图像中的点，使用公式计算像素点的颜色，把遇到的与目标颜色一致的点作为待定点；

52)每找到一个待定点，以之为中心选定5*5的邻域进行区域扩充。扩充方向依次为y轴负方向，x轴正方向，y轴正方向，x轴负方向。扩充的原则为：若扩充方向对应的边界上，中间五个像素点颜色都为目标颜色，则区域向此方向扩充一个单位，并继续计算，到不满足扩充条件为止。最终扩充后的区域大小与目标预期大小一致时，我们认为是有效区域，即目标。否则放弃该区域，寻找其他待定点，直至遍历完图像。

53)对找到的待定点，如已经属于一个确定的有效区域，则直接跳过。

上述方法中，若目标为多种颜色的，所述步骤5)具体包括：

51)遍历图像中的点，使用公式计算像素点的颜色。把邻域颜色种类，与目标上相邻颜色种类一致的点作为待定点。

52)每找到一个待定点，以之为中心选定5*5的邻域进行区域扩充。扩充方向依次为y轴负方向，x轴正方向，y轴正方向，x轴负方向。扩充的原则为：若扩充方向对应的边界上，中间五个像素点颜色都为目标上颜色，且分布情况与目标一致时，则区域向此方向扩充一个单位，并继续计算，到不满足扩充条件为止。最终扩充后的区域大小与目标预期大小一致时，我们认为是有效区域，即目标。否则放弃该区域，寻找其他待定点，直至遍历完图像。

53)对找到的待定点，如已经属于一个确定的有效区域，则直接跳过。

当目标为多种颜色组成时，用特定目标上颜色交界出的特征来选取待定点，可以有效减少背景的颜色对目标检测的影响。

综上所述，本发明提出了一种基于无人机视频的特定目标检测方法。该方法使用DSP这样的设备，从无人机航拍的视频中在线检测所需的目标位置，克服了现有目标检测方法难以在嵌入式设备上运行，或运行效率不高的缺点，具体步骤可划分为硬件平台的搭建、图像RGB值到颜色种类的对应、待定点的选取与目标区域大小的确定。

利用本发明提出的方法，可以基于无人机平台，在DSP这样运算能力不强的嵌入式设备上快速准确的检测目标位置。

虽然本发明已以较佳实施例揭露如上，然其并非用以限定本发明。本发明所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作各种的更动与润饰。因此，本发明的保护范围当视权利要求书所界定者为准。

Claims (4)

1.一种基于无人机视频的特定目标检测方法，其特征在于，包括以下步骤：

1)将DSP连同摄像头固定在无人机上，并且摄像头镜头始终向下，采集图像；

2)构建一个矩阵，用于计算一个像素点RGB值对应的颜色类别；

3)将采集输入的图像缩放到352*288大小；

4)遍历图像每一个像素点，根据像素点的RGB值确定每一个像素点对应的颜色类别；具体包括：

31)将采集到的图像存放在一个352*288*3的一维数组里，数组中每三个元素代表图像中对应的一个像素点的RGB值，352是图像的宽度，288是图像的高度，图像共有352*288个像素点，故需要352*288*3个元素存储图像数据；

32)对每一个像素，使用如下公式计算索引值：

index＝1+floor(R/8)+32*floor(G/8)+32*32*floor(B/8)；

其中，floor()表示向下取整逻辑运算，R表示某一像素点的R值对应的元素，G表示某一像素点的G值对应的元素，B表示某一像素点的B值对应的元素；

33)根据得到的索引值index，查阅步骤2)的矩阵的第index行，概率最大的就是该像素点所属的颜色类别；将所得结果存储在大小为352*288的一维数组里，数组中每个元素在1～11间，代表图像该像素点的颜色类别；

5)得到图像中每个像素点的颜色类别后，遍历每个点，寻找与目标颜色分布相符合的待定点；

6)对找到的待定点进行分析，如果是目标上的点，则进一步确定目标大小，如果不是，则放弃，继续寻找下一个目标点，直至遍历完图像中所有的像素点。

2.根据权利要求1所述的基于无人机视频的特定目标检测方法，其特征在于，所述步骤2)具体包括以下步骤：

21)将现实世界中的颜色分为11个基本类别，分别是黑、蓝、褐、灰、绿、橘黄、粉红、紫、红、白、黄，按顺序用1～11进行编号；

22)构建一个矩阵用于计算像素点RGB值对应的颜色类别编号，矩阵的大小为32768*11，计算时将像素点RGB值对应到矩阵的某一行，矩阵每一行的11个值，代表了该像素点是这11中颜色的概率，概率最大的一个，便是该像素点的颜色类别。

3.根据权利要求1所述的基于无人机视频的特定目标检测方法，其特征在于，若目标为单一颜色的，所述步骤5)具体包括：

41)遍历图像中的点，计算像素点的颜色，把遇到的与目标颜色一致的点作为待定点；

42)每找到一个待定点，以之为中心选定5*5的邻域进行区域扩充；扩充方向依次为y轴负方向，x轴正方向，y轴正方向，x轴负方向；扩充的原则为：若扩充方向对应的边界上，中间五个像素点颜色都为目标颜色，则区域向此方向扩充一个单位，并继续计算，到不满足扩充条件为止；最终扩充后的区域大小与目标预期大小一致时，则认为是有效区域，即目标；否则放弃该区域，寻找其他待定点，直至遍历完图像；

43)对找到的待定点，如已经属于一个确定的有效区域，则直接跳过。

4.根据权利要求3所述的基于无人机视频的特定目标检测方法，其特征在于，若目标为多种颜色的，所述步骤5)具体包括：

51)遍历图像中的点，计算像素点的颜色，并把邻域颜色种类，与目标上相邻颜色种类一致的点作为待定点；

52)每找到一个待定点，以之为中心选定5*5的邻域进行区域扩充；扩充方向依次为y轴负方向，x轴正方向，y轴正方向，x轴负方向；扩充的原则为：若扩充方向对应的边界上，中间五个像素点颜色都为目标上颜色，且分布情况与目标一致时，则区域向此方向扩充一个单位，并继续计算，到不满足扩充条件为止；最终扩充后的区域大小与目标预期大小一致时，则认为是有效区域，即目标；否则放弃该区域，寻找其他待定点，直至遍历完图像；

53)对找到的待定点，如已经属于一个确定的有效区域，则直接跳过。