CN111563423A

CN111563423A - 基于深度去噪自动编码器的无人机图像目标检测方法及系统

Info

Publication number: CN111563423A
Application number: CN202010306431.6A
Authority: CN
Inventors: 刘贞报; 马博迪; 江飞鸿; 严月浩; 张超; 布树辉
Original assignee: Northwestern Polytechnical University
Current assignee: Northwestern Polytechnical University
Priority date: 2020-04-17
Filing date: 2020-04-17
Publication date: 2020-08-21

Abstract

本发明提供的基于深度去噪自动编码器的无人机图像目标检测方法及系统，首先提取无人机图像的径向梯度特征，将提取的梯度特征送入深度去噪自动编码器，编码器对提取到的径向梯度特征添加随机高斯白噪声，通过多层编码，生成具有强表征能力的无人机图像高层特征，使用反向传播算法最小化深度自动编码器重构误差，解算模型参数，使用softmax分类器对高层特征进行分类，得到高精度和高鲁棒性的目标检测结果。

Description

基于深度去噪自动编码器的无人机图像目标检测方法及系统

技术领域

本发明属于无人机图像目标检测领域，特别涉及一种基于深度去噪自动编码器的无人机图像目标检测方法及系统。

背景技术

无人机具有机动性强、效率高、成本低、可重复使用的特点，在工业、商业应用中的需求越来越强烈，无人机搭载高精度相机对地面场景区域开展航拍巡检作业，获取巡检所覆盖场景影像数据进行目标检测，从而得到探测区域精准、实时的影像分析信息，能够应用在交通流量分析，城市建筑规划，输电线路巡检，石油管线巡检，边防巡检等领域。

相比于传统图像目标检测分析，无人机影像中拍摄过程中由于受机体振动的影像往往会带有噪声干扰，此外地面背景往往比较复杂，受到光照和成像角度的影响，同类目标的外观也可能存在各种差异，这些不利因素都给目标检测造成了困难，使得高效鲁棒和高准确性的无人机影像目标检测依然是一个富有挑战性的问题。而无人机前后两次对同一区域成像时，两幅图像之间不仅可能存在较大的成像视角差异，而且由于天气和光照等成像条件的不同，图像之间可能存在较大的整体或局部的亮度差异。在这些不利因素的影响下，无人机图像中的变化检测不仅需要解决图像的高精度配准问题，还需要解决在配准后图像上排除干扰提取高精度高可靠性变化信息的问题，使得无人机图像中的变化检测依然是一个难点问题。

综上所述，为了提取无人机图像的深层语义特征，提高无人机图像目标检测的鲁棒性和准确性，需要发展一种更加精准的航拍图像目标检测方法。

发明内容

针对无人机影像具有噪声干扰，航拍影像背景复杂等特点，本发明提供了一种基于深度去噪自动编码器的无人机图像目标检测方法及系统，应用于无人机航拍影像数据目标检测，通过从原始无人机航拍图像数据中学习航拍图像的高层特征，提取目标的二维空间结构信息，消除噪声干扰，提高无人机航拍图像目标检测方法的鲁棒性和准确性，提供高精度和高鲁棒性的目标检测结果。

本发明是通过以下技术方案来实现：

一种基于深度去噪自动编码器的无人机图像目标检测方法，包括以下步骤：

步骤1、构建深度去噪自动编码器模型，以及根据无人机航拍图像构建训练数据集；

步骤2、获取训练数据集中旋转不变性的特征向量，并将旋转不变性的特征向量输入深度去噪自动编码器模型；

步骤3、根据输入的旋转不变性的特征向量对深度去噪自动编码器模型进行训练，对输入的特征向量添加高斯白噪声，得到带有噪声的特征向量，对带有噪声的特征向量进行多层编码，生成具有强表征能力的无人机图像高层特征，对高层特征进行重构，使用反向传播算法使得模型重构误差最小化，解算模型参数，完成深度去噪自动编码器模型的训练。

优选的，步骤1中所述深度去噪自动编码器模型结构如下：

所述深度去噪自动编码器模型共有六层，第一层为输入层，输入特征数据；最后一层为输出层，输出特征重构结果；输入层和输出层之间共有四个隐藏层，其中第三个隐藏层为瓶颈层，瓶颈层输出最具强表征能力的高层特征，作为分类器分类的判据。

优选的，步骤2中所述旋转不变特征的获取方法如下：

使用选择性搜索方法，提取训练数据集中感兴趣区域，然后计算感兴趣区域中图块径向梯度特征，得到旋转不变性的特征向量。

优选的，计算感兴趣区域中图块径向梯度特征的方法如下：

首先，计算感兴趣区域的单元像素格的径向梯度值，径向梯度值由切向方向向量和径向方向向量组成，所得该单元像素格的径向梯度值的表达式如下：

其中，(x,y)为像素格在感兴趣区域图块中的坐标，g_r为切向方向向量值，g_t为径向方向向量值。

然后，计算整个感兴趣区域的所有单元格像素径向梯度值，即得到旋转不变性的特征向量。

优选的，步骤3中所述带有噪声的特征向量进行多次编码，得到高层特征的方法如下：

将特征向量输入深度去噪自动编码器模型的输入层，对特征向量加上相应的高斯白噪声向量，作为第一隐藏层输出的特征向量X⁽¹⁾；

将获得特征向量X⁽¹⁾输入第二隐藏层进行编码，得到第二隐藏层的特征向量X⁽²⁾；

将特征向量X⁽²⁾输入至第三个隐藏层进行再次编码，得到高层特征X⁽³⁾。

优选的，所述的高斯白噪声向量的表达式如下：

noise＝{n₁,n₂,n₃,n₄...n_k}

其中，n_i～N(μ,σ²)。

优选的，所述的编码方式具体如下：

X⁽ⁱ⁺¹⁾＝Sigmoid(W_iX⁽ⁱ⁾+b_i)

Sigmoid(x)＝1/(1+e^-X)

其中，i表示对应特征向量X所在的层数，Sigmoid (*)函数为编码器常用的激活函数，W_i和b_i表示输入层特征向量和生成隐藏层特征向量X⁽ⁱ⁾之间的权重矩阵与偏置矩阵，e为常数。

优选的，所述高层特征进行两次重构得到重构向量，具体如下：

对所得高层特征X⁽³⁾进行重构，X⁽³⁾经过第一层重构层器，得到第一层的重构向量Y⁽¹⁾:

Y⁽¹⁾＝Sigmoid(W₃X⁽³⁾+b₃)

将Y⁽¹⁾输入第二层重构层，得到模型输出的重构向量Y⁽²⁾：

Y⁽²⁾＝Sigmoid(W₄Y⁽¹⁾+b₄)

优选的，根据重构向量计算重构误差，然后根据重构误差解算深度去噪自动编码器模型的参数；

所述重构误差的表达式如下：

根据重构误差并使用反向传播算法迭代解算得到参数集θ＝{W,b}，

其中，r为深度去噪自动编码器模型的学习率。

一种基于深度去噪自动编码器的无人机图像目标检测系统，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的方法。

与现有技术相比，本发明具有以下有益的技术效果：

本发明提供的基于深度去噪自动编码器的无人机图像目标检测方法，首先提取无人机图像的径向梯度特征，将提取的梯度特征送入深度去噪自动编码器，编码器对提取到的径向梯度特征添加随机高斯白噪声，通过多层编码，生成具有强表征能力的无人机图像高层特征，使用反向传播算法最小化深度自动编码器重构误差，解算模型参数，使用softmax分类器对高层特征进行分类，得到高精度和高鲁棒性的目标检测结果。

附图说明

图1是本发明方法的流程示意图；

图2是本发明所用深度去噪自动编码器模型示意图。

具体实施方式

下面结合附图对本发明做进一步的详细说明，所述是对本发明的解释而不是限定。

参照图1，一种基于深度去噪自动编码器的无人机图像目标检测方法，包括以下步骤：

步骤1、构建深度去噪自动编码器模型，该模型共有六层，第一层为输入层，输入特征数据；最后一层为输出层，输出特征重构结果；输入层输出层之间共有四个隐藏层其中第三个隐藏层为瓶颈层，瓶颈层输出最具强表征能力的高层特征，作为分类器分类的判据。

步骤2、根据无人机航拍图像构建训练数据集，使用选择性搜索方法，提取训练数据集中感兴趣区域，感兴趣区域图块大小为N*N像素。

使用选择性搜索的方式获取可能包含目标的感兴趣区域，所获取的感兴趣区域包括含有目标的图像区域，以及不含有目标的背景图像区域。

优选的，用于实施本发明方法的硬件环境是Inter Core i79700K CPU,3.6GHz,RTX2060,32GB内存，运行软件的环境是Python 3.6.5。

优选的，样本图块大小为40像素。

步骤3：提取感兴趣区域图块径向梯度特征，径向梯度特征具有旋转不变性，将提取到的旋转不变特征送入深度去噪自动编码器模型。

具体的，计算感兴趣区域的单元像素格的径向梯度值，径向梯度由切向方向向量和径向方向向量组成，计算公式为：

g_r(x,y)＝I(x,y)-I(x_r,y_r)

g_t(x,y)＝I(x,y)-I(x_t,y_t)

所得该像素格径向梯度：

其中(x,y)为像素格在感兴趣区域图块中的坐标，(x_r,y_r)为所测像素格径向方向像素格的坐标，(x_t,y_t)为所测像素格径向方向像素格的坐标，I(.)表示该像素格在颜色空间HSV下的值。

进一步的，计算整个感兴趣区域的所有单元格像素径向梯度值，记为f＝{f₁,f₂,f₃,f₄...f_k}，将所有单元格像素径向梯度值作为特征向量送入深度去噪自动编码器。

参阅图2，步骤4、根据所有单元格像素径向梯度值训练深度去噪自动编码器模型。

首先，将特征向量f输入深度去噪自动编码器模型的输入层，特征向量f加上相应的高斯白噪声向量noise，作为第一个隐藏层的输出，其中noise＝{n₁,n₂,n₃,n₄...n_k}，有n_i～N(μ,σ²)，白噪声服从均值为μ方差σ²的高斯正态分布。

优选的，其中μ＝0，σ²＝0.01。

第一个隐藏层输出的特征向量记为X⁽¹⁾＝(x₁,x₂,x₃,...,x_k),其中x＝f+noise，即x_i＝f_i+n_i

将第一个隐藏层输出的特征向量X⁽¹⁾送入第二个隐藏层进行编码，得到该层隐藏层特征表示X⁽²⁾，计算公式为：

X⁽²⁾＝Sigmoid(W₁X⁽¹⁾+b₁)

Sigmoid(x)＝1/(1+e^-X)

其中，Sigmoid(*)函数为编码器常用的激活函数，W₁和b₁表示输入层特征向量和生成隐藏层特征向量X⁽²⁾之间的权重矩阵与偏置矩阵。

将第二个隐藏层生成的特征向量X⁽²⁾输入第三个隐藏层，该层特征向量表示：

X⁽³⁾＝Sigmoid(W₂X⁽²⁾+b₂)

X⁽³⁾是编码器整个编码过程所获得的高层特征。

然后对所得高层特征X⁽³⁾特征向量第四隐藏层进行重构，X⁽³⁾经过第一层重构层器，得到第一层的重构向量Y⁽1⁾:

Y⁽¹⁾＝Sigmoid(W₃X⁽³⁾+b₃)

将Y⁽¹⁾输入第二层重构层，得到模型输出的重构向量Y⁽2⁾：

Y⁽2⁾＝Sigmoid(W₄Y⁽¹⁾+b₄)

使用反向传播算法解算模型参数，使得模型输入数据f与输出Y⁽²⁾尽可能一致，计算重构误差：

根据重构误差后使用反向传播算法迭代解算得到参数集θ＝{W,b}，过程如下：

其中，r为模型的学习率。

解算得到模型参数集θ＝{W,b}，完成模型训练。

步骤5、无人机航拍影像目标检测，无人机使用机载相机对地面场景进行拍摄，得到待检测无人机航拍影像，使用选择性搜索方法生成目标感兴趣区域，提取感兴趣区域的径向梯度特征，送入训练完成的深度去噪自动编码器。

步骤6、深度去噪自动编码器模型生成高层特征，将高层特征输入softmax分类器进行分类判断，得到目标图块属于各类别的概率向量k＝{k₁,k₂,...,k_k}，取概率向量的最大值argmax(k_i)所在的类别作为目标感兴趣区域的类别信息，完成目标检测过程。

本发明还提供了一种基于深度去噪自动编码器的无人机图像目标检测系统，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现深度去噪自动编码器的无人机图像目标检测方法。

处理器可能是中央处理单元(CentralProcessingUnit，CPU)，还可以是其他通用处理器、数字信号处理器(DigitalSignalProcessor，DSP)、专用集成电路(ApplicationSpecificIntegratedCircuit，ASIC)、现成可编程门阵列(Field-ProgrammableGateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。

以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。

Claims

1.一种基于深度去噪自动编码器的无人机图像目标检测方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于深度去噪自动编码器的无人机图像目标检测方法，其特征在于，步骤1中所述深度去噪自动编码器模型结构如下：

3.根据权利要求2所述的一种基于深度去噪自动编码器的无人机图像目标检测方法，其特征在于，步骤2中所述旋转不变特征的获取方法如下：

4.根据权利要求3所述的一种基于深度去噪自动编码器的无人机图像目标检测方法，其特征在于，计算感兴趣区域中图块径向梯度特征的方法如下：

其中，(x，y)为像素格在感兴趣区域图块中的坐标，g_r为切向方向向量值，g_t为径向方向向量值；

5.根据权利要求1或4任一项所述的一种基于深度去噪自动编码器的无人机图像目标检测方法，其特征在于，步骤3中所述带有噪声的特征向量进行多次编码，得到高层特征的方法如下：

6.根据权利要求5所述的一种基于深度去噪自动编码器的无人机图像目标检测方法，其特征在于，所述的高斯白噪声向量的表达式如下：

noise＝{n₁，n₂，n₃，n₄...n_k}

其中，n_i～N(μ，σ²)。

7.根据权利要求5所述的一种基于深度去噪自动编码器的无人机图像目标检测方法，其特征在于，所述的编码方式具体如下：

X⁽ⁱ⁺¹⁾＝Sigmoid(W_iX⁽ⁱ⁾+b_i)

Sigmoid(x)＝1/(1+e^-X)

其中，i表示对应特征向量X所在的层数，Sigmoid(*)函数为编码器常用的激活函数，W_i和b_i表示输入层特征向量和生成隐藏层特征向量X⁽ⁱ⁾之间的权重矩阵与偏置矩阵，e为常数。

8.根据权利要求7所述的一种基于深度去噪自动编码器的无人机图像目标检测方法，其特征在于，所述高层特征进行两次重构得到重构向量，具体如下：

对所得高层特征X⁽³⁾进行重构，X⁽³⁾经过第一层重构层器，得到第一层的重构向量Y⁽¹⁾：

Y⁽¹⁾＝Sigmoid(W₃X⁽³⁾+b₃)

Y⁽²⁾＝Sigmoid(W₄Y⁽¹⁾+b₄)。

9.根据权利要求8所述的一种基于深度去噪自动编码器的无人机图像目标检测方法，其特征在于，根据重构向量计算重构误差，然后根据重构误差解算深度去噪自动编码器模型的参数；

所述重构误差的表达式如下：

根据重构误差并使用反向传播算法迭代解算得到参数集θ＝{W，b}，

其中，r为深度去噪自动编码器模型的学习率。

10.一种基于深度去噪自动编码器的无人机图像目标检测系统，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至9任一项所述的方法。