CN108681718A - 一种无人机低空目标精准检测识别方法 - Google Patents

Abstract

本发明公开一种无人机低空目标精准检测识别方法，根据全卷积网络(Fully Convolutional Networks，FCN)，实现基于尺度估计模型的无人机低空目标精准检测识别；该方法依据低空目标车辆、摩托车、骑车的行人、行人存在明显尺度范围这一特点，通过模型计算出目标的像素尺度，同时计算出锚的参数，提高识别的精度。

Description

一种无人机低空目标精准检测识别方法

技术领域

本发明属于计算机视觉、人工智能领域。具体涉及一种无人机低空目标精准检测识别方法，用于提高低空目标检测识别精度及速度。

技术背景

目标检测需要定位出物体的位置并识别出物体的类别。目前通用目标检测以R-CNN、Faster-RCNN、R-FCN、R-FCN-3000框架为主。该系列框架核心思想在于在图像上选出候选框，并且通过CNN(卷积神经网络)进行学习。R-CNN框架在VOC2007数据集测试中取得了58.5％的平均精确度均值(mean Average Precision，mAP)，Faster-RCNN框架在VOC2007上mAP能达到73％，利用NVIDIA Tesla K40GPU速度可以达到5fps(画面每秒传输帧数，FramePer Second)，并成为目前目标检测识别算法主流。

但是在未经训练的真实数据上，面临精度、速度等问题。如R-FCN-3000利用NVIDIAP6000GPU在ImageNet数据集中速度可达30fps，但识别准确率仅有34.8％，同时会出现漏匹配和误匹配等问题。速度虽然比先前框架快，但对于复杂数据集的精度明显下降。本发明的特点在于，通过建立一套低空目标尺度估计模型，对视频目标像素尺度估算，计算出不同目标、不同拍摄参数下的锚框尺度，减少传统目标检测算法因不确定目标尺度带来的搜索范围较大、对不同尺度目标识别敏感度不同。主要解决有效提高目标搜索效率，增大目标检测识别精度，提高不同尺度目标的识别敏感度。

发明内容

本发明要解决的技术问题是，提供一种无人机低空目标精准检测识别方法，解决有效提高目标搜索效率，增大目标检测识别精度，提高不同尺度目标的识别敏感度

为实现上述目的，本发明采用如下的技术方案：

附图说明

图1本发明的相机成像坐标系示意图。

图2本发明的无人机拍摄示意图。

图3本发明的设计的整个网络架图。

具体实施方式

目前计算机视觉领域主流的R-FCN技术，速度虽然比先前Faster-RCNN框架快，但对于复杂数据集的精度明显下降。因其在锚(Anchor)、区域建议网络(Region ProposalNetwork，RPN)、感兴趣区域(Region of Interest，RoI)阶段是通过在卷积后得到的特征图(feature map)上，产生尺寸不同的锚实现的，并且根据锚给出目标可能存在的概率，RPN网络根据概率筛选出RoI，多次重复上述过程最终成功识别目标。经研究发现，对于车辆、摩托车、骑车的行人、行人等低空主要目标，存在实际尺度确定，在图像中的尺度有明显范围的特点。因此本发明旨在通过设计低空目标尺度估计模型，根据不同云台参数(如飞行高度、滚转、俯仰、偏航)、不同目标，计算出目标像素尺度，得到锚框(Anchor Box)尺度大小，减少传统目标检测算法因不确定目标尺度带来的搜索范围较大、对不同尺度目标识别敏感度不同。主要解决有效提高目标搜索效率，增大目标检测识别精度，提高不同尺度目标的识别敏感度。

为达到上述目的，本发明以全卷积网络(Fully Convolutional Networks，FCN)，为理论基础，设计基于尺度估计模型的无人机低空目标精准检测识别方法。该方法依据低空主要目标车辆、摩托车、骑车的行人、行人等存在明显尺度范围这一特点，通过模型计算出目标的像素尺度。进一步的计算出锚的参数，进一步提高识别的精度。

如图3所示，本发明提供一种无人机低空目标精准检测识别方法，包括以下步骤：

步骤(1)推到无人机像素坐标系-世界坐标系的转换关系。根据相机的成像原理，如图1所示，我们可以将相机抽象成由上述四个坐标系下的模型。四个坐标系中我们可以得到如下式的像素坐标系-世界坐标系的转换关系：

其中，μ、v为像素坐标系下的坐标点，U、V、W为世界坐标系下的点。M_int矩阵为相机的内参数矩阵，该矩阵参数取决于相机本身，因此我们可以通过棋盘格标定的方法得到内参矩阵。M_ext矩阵为云台相机的外参数矩阵，该矩阵取决于云台参数(如飞行高度、滚转、俯仰、偏航)，与相机和物体之间的距离、高度、拍摄的俯仰角等因素有关。因此我们可以通过下面这个模型求得云台相机外参矩阵：

如图2所示，O-xyz为世界坐标系，O’-xy’z’为相机坐标系。我们设两坐标系原点O-O’之间只相差一个z方向上的h(飞机高度)，而相机相当于扰x轴转动了α度(俯仰角)。因此根据上述模型及已知条件，我们可以求得外参矩阵为：

内参和外参我们都可通过上述模型求得，因此通过该模型我们可以得知无人机航拍图像像素坐标系和世界坐标系的关系。最终导出无人机像素坐标系-世界坐标系的转换关系：

μ为像素坐标系μ轴方向的坐标；

v为像素坐标系v轴方向的坐标；

a_ij为相机的内参参数；

f为相机的焦距；

h为无人机飞行高度；

α为无人机拍摄时的俯仰角；

U、V、W分别为世界坐标系下x、y、z三个方向的坐标。

步骤(2)，计算统计目标实际尺寸。根据实际情况，计算并统计低空主要目标(包括但不限于)车辆、摩托车、自行车、行人等的实际尺寸，如长、宽、高等。我们将目标的实际尺度记为L_w，其中L_w∈(L₀，L₁)。

步骤(3)，由于我们知道实际生活中的车辆、摩托车、骑车的行人、行人等的实际参数，所以我们可以通过步骤(1)中坐标转换关系，结合步骤(2)计算出的尺度的实际大小利用下面(4)式，共同建立低空目标检测的尺度估计模型。

根据前一步的计算的目标的实际尺度L_w在L₀～L₁之间。因此我们可以设目标的世界坐标为(X,d+L_w,1)和(X,d,1)。借此世界坐标我们可以利用(3)式计算出相应的像素坐标(μ₁,v₁)和(μ₂,v₂)，并将世界坐标中的L_w分别带入为L₀和L₁，带入4式，分别计算出坐标对应的像素尺度为L_i0和L_i1。我们将得到的像素尺度统称为L_i，其中L_i∈(L_i0，L_i1)。

进一步地，我们利用上述低空目标检测的尺度估计模型，分别计算目标的像素宽度尺度和像素长度尺度。

进一步地，我们利用得到的像素宽度尺度和像素长度尺度，计算出不同目标的锚尺度。即像素宽度尺度就是锚的宽，而像素的长度尺度就是锚的长。同时我们根据统计数据可以得到一个相对合理和锚的长宽比:行人(骑车的行人)、小型车辆(如小轿车、SUV等)、大型车辆(如卡车、公交车等)的长宽比分别为α:1、β:1、γ:1。

步骤(4)，我们利用步骤(3)中求得的目标的锚尺度，以像素点为中心建立不同的锚框。变换锚的长宽比，以一个像素为中心，我们可以加入9个不同尺度的锚，进而构成一个锚框。9个锚每三个为一组，每组内锚像素面积相等，但比例分别为α:1、β:1、γ:1，用于识别相应的行人、小汽车、公交车等目标。每一个锚框通过训练都可以回归出两组数据。一组数据是四维的锚框数据，另一组是带有锚的得分的数据。

传统的锚框求得的方法是利用通用区域建议网络(Region Proposal Network，RPN)，该方法的锚框是值相对固定，搜索的区域也相对固定。而我们的锚框是根据统计规律和尺度模型得出的，因此相对更加准确。

步骤(5)，不同的像素得到了不同锚框数据，我们将所有的锚框得分尽行比较排序，选出得分大于阈值的作为有效的锚框。并且将这些锚框合并到一起得到RPN网络。

步骤(6)，将步骤(5)得到的RPN送入卷积神经网络，如附图3。利用锚框的得分，从RPN求出感兴趣区域(Region of Interest，RoI)。然后进行一步的利用卷积神经网络通过进行分类。在我们得到RoI并进行卷积和池化操作，然后将其进行Softmax回归操作。由于Softmax的取值可能会不一样，所以我们需要将其归一化到0至1区间，或者到-1至1区间。然后我们进一步的对其进行Average操作，取其平均。最终得到物体在大类下的概率P_cls。

步骤(7)，将步骤(5)中得到的RPN根据长宽比分为两类，一类锚的长宽比小于1.5，将RoI映射到利用3*3的卷积模板进行卷积得到的K₁层特征图上，用于识别人、骑车的人以及某些角度下的车辆；另一类Anchor的长宽比大于1.5，将RoI映射到利用3*5的卷积模板进行卷积得到的K₂层特征图上，用于识别大型车，侧视角下的车辆等。然后同步骤(6)一样，进行Average和Softmax操作，分别得到概率为a_①和a_②。

步骤(8)，将步骤(6)中得到的P_cls和对应的a_①或a_②进行矩阵乘法。根据乘法后得到的值，即可给出相应的候选框以及框内物体的种类及概率。因此在此时得到一套完整的能够精准检测识别无人机低空目标的网络。

我们将无人机航拍的视频或图像信息输入网络，即可输出带有目标信息(目标类别及概率)的视频或图像。

Claims (2)

1.一种无人机低空目标精准检测识别方法，其特征在于，包括以下步骤：

步骤(1)、推到无人机像素坐标系-世界坐标系的转换关系；

步骤(2)、计算统计低空目标实际尺寸，所述低空目标低空目标包括：车辆、摩托车、自行车、行人，将目标的实际尺度记为L_w，L_w∈(L₀，L₁)；

步骤(3)，通过步骤(1)中坐标转换关系，结合步骤(2)计算出的尺度的实际尺寸，建立低空目标检测的尺度估计模型，

根据前一步的计算的目标的实际尺度L_w在L₀～L₁之间，设目标的世界坐标为(X，d+L_w，1)和(X，d，1)，根据世界坐标计算出相应的像素坐标(μ₁，v₁)和(μ₂，v₂)，并将世界坐标中的L_w分别带入为L₀和L₁，带入低空目标检测的尺度估计模型，分别计算出坐标对应的像素尺度为L_i0和L_i1。将得到的像素尺度统称为L_i，L_i∈(L_i0，L_i1)；

利用上述低空目标检测的尺度估计模型，分别计算目标的像素宽度尺度和像素长度尺度；

利用得到的像素宽度尺度和像素长度尺度，计算出不同目标的锚尺度，即像素宽度尺度为锚的宽，像素的长度尺度就是锚的长；

步骤(4)，利用步骤(3)中求得的目标的锚尺度，以像素点为中心建立不同的锚框，变换锚的长宽比，以一个像素为中心，加入9个不同尺度的锚，进而构成一个锚框，9个锚每三个为一组，每组内锚像素面积相等，用于识别相应的行人、小汽车、公交车目标；每一个锚框通过训练可以回归出两组数据，一组数据是四维的锚框数据，另一组是带有锚的得分的数据；

步骤(5)，将所有的锚框得分尽行比较排序，选出得分大于阈值的作为有效的锚框，并且将这些锚框合并到一起得到RPN网络。

步骤(6)，将步骤(5)得到的RPN送入卷积神经网络，利用锚框的得分，从RPN求出感兴趣区域(Region of Interest，Rol)；然后进行一步的利用卷积神经网络通过进行分类；在得到Rol并进行卷积和池化操作，然后将其进行Softmax回归操作；同时将其归一化到0至1区间，或者到-1至1区间；然后对其进行Average操作，取其平均，最终得到物体在大类下的概率P_cls。

步骤(7)，将步骤(5)中得到的RPN根据长宽比分为两类，一类锚的长宽比小于1.5，将Rol映射到利用3*3的卷积模板进行卷积得到的K₁层特征图上；另一类Anchor的长宽比大于1.5，将Rol映射到利用3*5的卷积模板进行卷积得到的K₂层特征图上；然后同步骤(6)一样，进行Average和Softmax操作，分别得到概率为a_①和a_②；

步骤(8)，将步骤(6)中得到的P_cls和对应的a_①或a_②进行矩阵乘法；根据乘法后得到的值，即可给出相应的候选框以及框内物体的种类及概率，在此时得到能够精准检测识别无人机低空目标的网络；将无人机航拍的视频或图像信息输入网络，即可输出带有目标信息的视频或图像。

2.如权利要求1所述的无人机低空目标精准检测识别方法，其特征在于，步骤(1)具体为：根据相机的成像原理，将相机抽象成由上述四个坐标系下的模型，四个坐标系中可以得到如下式的像素坐标系-世界坐标系的转换关系：

U、V、W为世界坐标系下的点，M_int矩阵为相机的内参数矩阵，M_ext矩阵为云台相机的外参数矩阵，可以通过下面这个模型求得云台相机外参矩阵：

设O-xyz为世界坐标系，O’-xy’z’为相机坐标系，两坐标系原点O-O’之间只相差一个z方向上的h，h为飞机高度，而相机相当于扰x轴转动了α度，根据上述模型及已知条件，可以求得外参矩阵为：

内参和外参可通过上述模型求得，通过该模型可以得知无人机航拍图像像素坐标系和世界坐标系的关系，最终导出无人机像素坐标系-世界坐标系的转换关系：

μ为像素坐标系μ轴方向的坐标；

v为像素坐标系v轴方向的坐标；

a_ij为相机的内参参数；

f为相机的焦距；

h为无人机飞行高度；

α为无人机拍摄时的俯仰角；

U、V、W分别为世界坐标系下x、y、z三个方向的坐标。