CN114581831A - 基于图像和点云的无人机障碍物检测和避障方法及系统 - Google Patents

Abstract

本发明提出基于图像和点云的无人机障碍物检测和避障方法及系统，其中基于二维图像和三维点云的障碍物检测和避障方法，应用于无人机的自动避障，包括以下步骤：摄像头读取视频当前帧，将当前帧输入至二维目标检测模型内，获取当前帧内障碍物的种类、障碍物的中心坐标以及锚框的尺寸；将当前帧识别出障碍物的中心坐标以及锚框的尺寸输入至三维目标检测模型内，获取得到障碍物的预测边框；根据障碍物的种类选择对应的避障方法，通过预测边框的尺寸对避障方法进行姿态调整。减少了需要搜索处理的三维点云数据，加快了数据处理速度，实现无人机对障碍物的三维检测，从而实现无人机的自动避障。

Description

基于图像和点云的无人机障碍物检测和避障方法及系统

技术领域

本发明涉及无人机避障技术领域，特别是基于图像和点云的无人机障碍物检测和避障方法及系统。

背景技术

无人机的自动避障一直是无人机的重要研究方向，传统无人机避障的解决方案主要是基于红外传感器、超声波传感器或激光测距进行避障。红外传感器和超声波传感器都存在有效探测距离短的问题，并且超声波传感器容易收到声波的干扰，在大风的情况下，精度会大大降低。无论是红外、超声波还是激光测距，都是一维传感器，只能测得无人机与障碍物之间的距离，不能对三维世界进行感知。随着计算机视觉技术的进步，视觉技术逐渐用于无人机避障领域，对障碍物进行检测，例如Faster-RCNN算法，但通过视觉技术能够对障碍物进行识别，获取的仍是二维信息，对于距离仍无法进行测量。后来双目相机和激光雷达的出现以及对点云数据处理的技术的出现，使其能感知三维世界，获得其点云深度图像，但对与全局三维点云的处理需要的计算量大，搜索时间长，不适合嵌入在无人机平台上。

发明内容

针对上述缺陷，本发明的目的在于提出基于图像和点云的无人机障碍物检测和避障方法及系统，减少了需要搜索处理的三维点云数据，加快了数据处理速度，实现无人机对障碍物的三维检测。

为达此目的，本发明采用以下技术方案：基于图像和点云的无人机障碍物检测和避障方法，应用于无人机的自动避障，其中包括以下步骤：

摄像头读取视频当前帧，将当前帧输入至二维目标检测模型内，获取当前帧内障碍物的种类、障碍物的中心坐标以及锚框的尺寸；

将当前帧识别出障碍物的中心坐标以及锚框的尺寸输入至三维目标检测模型内，获取得到障碍物的预测边框；

根据障碍物的种类选择对应的避障方法，通过预测边框的尺寸对避障方法进行姿态调整。

优选的，所述二维目标检测模型的训练过程如下：

步骤A1：从目标模板内提取出目标图像，将目标图像输入至VGG16网络得到目标特征，其中VGG16网络包括13层卷积层，13层激活函数层，4层池化层；

步骤A2：将目标特征输入至通道剪枝函数内，进行网络权重以及缩放因子的训练，其中通道剪枝函数如下：

其中(x，y)为目标图，ω为网络的训练参数，

为网络的训练损失函数，λ为前后两项的平衡因子，γ为缩放因子；

步骤A3：通过注意力机制赋予目标特征的每个通道不同的权值；

步骤A4：对调整权值后的目标特征进行多尺度特征变换，输出不同尺度下的目标特征；

步骤A5：将多个不同尺度的所述目标特征进行融合，输入至RPN网络，在每个尺度对应的目标特征中生成9个不同比例不同尺度的锚框，通过RPN网络输出锚框位置偏差信息(x′,y′,w′,h′)，并对锚框所选目标进行前景与后景的分类；

对锚框位置以及前景、后景二分类进行损失函数训练，输出属于前景的锚框的概率和该锚框相对与目标框位置的偏移量；

步骤A6：对锚框进行数量筛选，生成候选区域，将候选区域映射至步骤A4所产生的目标特征，得到感兴趣区域后进行具体类别的预测和更加精细的边框回归，输出目标图像的类别以及概率值；

其中类别检测分类损失函数如下：

类别检测边框回归损失函数如下：

其中其中N_c、N_r为进行网络训练时所选地样本个数，P_i表示样本的状态标志值，当P_i＝1时，表示样本为正样本，当P_i＝0时，表示样本为负样本，C_i ^*表示类别的概率值，x′、y′值为目标框和锚框位置中心点坐标的偏差值，w′、h′分别表示目标框和锚框位置宽和高的偏差值，x^*、y^*表示网络预测的坐标偏差值，w^*、h^*分别表示网络预测的宽和高偏差值，i为样本的数量。

优选的，所述步骤A5对锚框位置以及前后景二分类进行损失函数训练，输出属于前景的锚框的概率和该锚框相对与目标框位置的偏移量的具体方法如下：

其中锚框进行的二分类的规则如下：

其中A为锚框的区域，B为目标框的区域，如果锚框与目标框的IOU>0.7，标记为正样本，P_i＝1，如果锚框与目标框的IOU<0.3，标记为负样本，P_i＝0；

损失函数训练包括RPN二分类损失函数和RPN边框回归损失函数，其中RPN二分类损失函数具体如下：

RPN边框回归损失函数具体如下：

其中N_c、N_r为进行网络训练时所选地样本个数，P_i表示样本的状态标志值，当P_i＝1时，表示样本为正样本，当P_i＝0时，表示样本为负样本，P_i ^*表示锚框属于前景的概率值，x′、y′值为目标框和锚框位置中心点坐标的偏差值，w′、h′分别表示目标框和锚框位置宽和高的偏差值，x^*、y^*表示网络预测的坐标偏差值，w^*、h^*分别表示网络预测的宽和高偏差值，i为样本的数量。

优选的，所述三维目标检测模型的训练过程如下：

步骤B1：获取步骤A6输出的目标图像，并在目标图像上加上对应的深度数据，形成点云数据；

步骤B2：对点云数据进行提取操作，获取得到点云特征；

步骤B3：对点云特征进分割，获取得到经过分割的点云特征，其中分割损失函数为：

其中m表示对每个点云进行分类的类别总数，sq表示这个样本属于第q类的概率，yq是一个m维向量；

步骤B4：通过经过分割的点云特征获取目标图像的点云真实中心点，以目标点真实云中心为原点，进行坐标变换，其中点云中心点坐标为每个点云三维坐标的平均值，其计算公式如下：

步骤B5：中点云中心点坐标执行B2步骤，获取得到分割特征点云，将分割特征点云输入三层全连接层进行边框回归，预测得到预测边框的尺寸；

其中边框回归损失函数如下：

其中

表示真实边框的中心坐标值，

分表表示真实边框的长、宽和高，

表示真实边框的在z轴的偏转角度，x，y，z表示预测边框的中心坐标值，l，w，h分表表示预测边框的长、宽和高，a表示预测边框的在z轴的偏转角度，β为模型的权重参数。

优选的，根据障碍物的种类选择对应的避障方法，通过预测边框的尺寸对避障方法进行姿态调整的具体方法如下：

若障碍物为动态障碍物，则调整无人机俯仰角，提高无人机飞行高度，避开障碍物，其中无人机飞行的高度为

若障碍物为静态障碍物，则调正无人机偏航角，绕障碍物中心进行圆周运动，避开障碍物，其中圆周运动的半径为

基于图像和点云的无人机障碍物检测和避障系统，上述基于图像和点云的无人机障碍物检测和避障方法，其特征在于，包括二维数据获取模块、三维数据获取模块以及避障模块；

所述二维数据获取模块用于通过摄像头读取视频当前帧，将当前帧输入至二维目标检测模型内，获取当前帧内障碍物的种类、障碍物的中心坐标以及锚框的尺寸；

所述三维数据获取模块用于将当前帧识别出障碍物的中心坐标以及锚框的尺寸输入至三维目标检测模型内，获取得到障碍物的预测边框；

所述避障模块用于根据障碍物的种类选择对应的避障方法，通过预测边框的尺寸对避障方法进行姿态调整。

优选的，还包括对所述二维数据获取模块进行训练的第一训练模块，其中第一训练模块包括：目标图像提取模块、通道剪枝模块、权重模块、多尺度特征变换模块、融合模块以及二维图像数据输出模块；

所述目标图像提取模块用于从目标模板内提取出目标图像，将目标图像输入至VGG16网络得到目标特征；

所述通道剪枝模块用于将目标特征输入至通道剪枝函数内，进行网络权重以及缩放因子的训练；

所述权重模块用于通过注意力机制赋予目标特征的每个通道不同的权值；

所述多尺度特征变换模块用于对调整权值后的目标特征进行多尺度特征变换，输出不同尺度下的目标特征；

所述融合模块用于将多个不同尺度的所述目标特征进行融合，输入至RPN网络，在每个尺度对应的目标特征中生成9个不同比例不同尺度的锚框，通过RPN网络输出锚框位置偏差信息(x′,y′,w′,h′)，并对锚框所选目标进行前景与后景的分类；

所述二维图像数据输出模块用于对锚框进行数量筛选，生成候选区域，将候选区域映射至步骤A4所产生的目标特征，得到感兴趣区域后进行具体类别的预测和更加精细的边框回归，输出目标图像的类别以及概率值。

优选的，还包括对所述三维数据获取模块进行训练的第二训练模块，所述第二训练模块包括点云数据获取模块、点云特征获取模块、点云特征进分割分割模块、点云真实中心点数据获取模块以及三维数据获取模块；

所述点云数据获取模块用于获取二维图像数据输出模块输出的目标图像，并在目标图像上加上对应的深度数据，形成点云数据；

所述点云特征获取模块用于对点云数据进行提取操作，获取得到点云特征；

所述点云特征进分割分割模块用于对点云特征进分割，获取得到经过分割的点云特征；

所述点云真实中心点数据获取模块用于通过经过分割的点云特征获取目标图像的点云真实中心点，以目标点真实云中心为原点，进行坐标变换；

所述三维数据获取模块用于获取得到分割特征点云，将分割特征点云输入三层全连接层进行边框回归，预测得到预测边框的尺寸。

优选的，避障模块包括判断模块，所述判断模块用于判断障碍物是否为动态障碍物，若障碍物为动态障碍物，则调整无人机俯仰角，提高无人机飞行高度，避开障碍物，其中无人机飞行的高度为

若障碍物为静态障碍物，则调正无人机偏航角，绕障碍物中心进行圆周运动，避开障碍物，其中圆周运动的半径为

上述技术方案中的一个技术方案具有如下优点或有益效果：本申请通过二维图像去驱动三维点云中的障碍物的检测，实现从二维到三维的逐维精准定位，相比二维图像检测，能够获取障碍物的三维数据，从而感知无人机和障碍物的相对位置，相比纯三维点云物体检测，大大减少了需要搜索处理的三维点云数据。在二维图像检测中，通过改进的Faster-RCNN算法提取二维的障碍物区域并对其进行分类，然后二维区域提升到三维，再经过点云网络对三维点云数据进行分类任务，从而实现对障碍物的三维检测。

附图说明

图1是本发明的一个实施例中方法的流程图；

图2是本发明的一个实施例中系统的结构示意图；

图3是本发明的一个实施例中系统的第一训练模块的结构示意图；

图4是本发明的一个实施例中系统的第二训练模块的结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

如图1～4所示，基于图像和点云的无人机障碍物检测和避障方法，应用于无人机的自动避障，其中包括以下步骤：

摄像头读取视频当前帧，将当前帧输入至二维目标检测模型内，获取当前帧内障碍物的种类、障碍物的中心坐标以及锚框的尺寸；

将当前帧识别出障碍物的中心坐标以及锚框的尺寸输入至三维目标检测模型内，获取得到障碍物的预测边框；

根据障碍物的种类选择对应的避障方法，通过预测边框的尺寸对避障方法进行姿态调整。

本申请通过二维图像去驱动三维点云中的障碍物的检测，实现从二维到三维的逐维精准定位，相比二维图像检测，能够获取障碍物的三维数据，从而感知无人机和障碍物的相对位置，相比纯三维点云物体检测，大大减少了需要搜索处理的三维点云数据。在二维图像检测中，通过改进的Faster-RCNN算法提取二维的障碍物区域并对其进行分类，然后二维区域提升到三维，再经过点云网络对三维点云数据进行分类任务，从而实现对障碍物的三维检测。

优选的，所述二维目标检测模型的训练过程如下：

步骤A1：从目标模板内提取出目标图像，将目标图像输入至VGG16网络得到目标特征，其中VGG16网络包括13层卷积层，13层激活函数层，4层池化层；

值得注意的是，将任意大小的目标图像输入VGG16网络之前先对其进行规整化处理，使训练的图像大小一致。其中卷积层和激活函数层均不改变图像大小，而每经过一次池化层，输出的图像是输入图像的1/2，所以一个M×N的图像经过特征提取模块后，图像大小变为(M/16)×(N/16)。

步骤A2：将目标特征输入至通道剪枝函数内，进行网络权重以及缩放因子的训练，其中通道剪枝函数如下：

其中(x，y)为目标图，ω为网络的训练参数，

为网络的训练损失函数，λ为前后两项的平衡因子，γ为缩放因子；

通过批归一化处理对各通道进行缩放因子的确定，设定各个通道的阈值，将小于阈值的γ所对应的通道删除，从而达到简化模型的效果。

步骤A3：通过注意力机制赋予目标特征的每个通道不同的权值；

目标特征分别经过全局池化模块和平均池化模块进行压缩空间维度的操作，将压缩后的特征图输入到一个多层神经网络，通过训练两组参数表示平均池化特征和最大池化特征的各通道的权重，将平均池化特征与最大池化特征的和进行非线性激活操作，得到的输出特征与输入特征进行对位元素相乘，得到经过通道注意力机制调整后的目标特征。

步骤A4：对调整权值后的目标特征进行多尺度特征变换，输出不同尺度下的目标特征；

多尺度特征变换主要基于特征金字塔，对经过权值调整后的目标特征进行三次上采样操作，经过上采样的高层特征图特征语义更加丰富，低层的特征图特征语义少，但位置信息多。对低一层特征经过1×1卷积改变通道数后和高一层的特征对应元素相加后，送入RPN网络。

步骤A5：将多个不同尺度的所述目标特征进行融合，输入至RPN网络，在每个尺度对应的目标特征中生成9个不同比例不同尺度的锚框，通过RPN网络输出锚框位置偏差信息(x′,y′,w′,h′)，并对锚框所选目标进行前景与后景的分类；

对锚框位置以及前景、后景二分类进行损失函数训练，输出属于前景的锚框的概率和该锚框相对与目标框位置的偏移量；

步骤A6：对锚框进行数量筛选，生成候选区域，将候选区域映射至步骤A4所产生的目标特征，得到感兴趣区域后进行具体类别的预测和更加精细的边框回归，输出目标图像的类别以及概率值；

其中类别检测分类损失函数如下：

类别检测边框回归损失函数如下：

其中其中N_c、N_r为进行网络训练时所选地样本个数，P_i表示样本的状态标志值，当P_i＝1时，表示样本为正样本，当P_i＝0时，表示样本为负样本，C_i ^*表示类别的概率值，x′、y′值为目标框和锚框位置中心点坐标的偏差值，w′、h′分别表示目标框和锚框位置宽和高的偏差值，x^*、y^*表示网络预测的坐标偏差值，w^*、h^*分别表示网络预测的宽和高偏差值，i为样本的数量。

通过重复步骤A2-A6训练模型参数，提高识别精度，实现对二维目标障碍物的分类与检测。

最终训练后的二维目标检测模型通过感兴趣区域分类后可以识别目标图像的类别，当使用在无人机时，可以预先设定障碍物的种类，通过二维目标检测模型对当前帧中的内容进行识别分类，判断当前帧内是否存在有障碍物。

优选的，所述步骤A5对锚框位置以及前后景二分类进行损失函数训练，输出属于前景的锚框的概率和该锚框相对与目标框位置的偏移量的具体方法如下：

其中锚框进行的二分类的规则如下：

其中A为锚框的区域，B为目标框的区域，如果锚框与目标框的IOU>0.7，标记为正样本，P_i＝1，如果锚框与目标框的IOU<0.3，标记为负样本，P_i＝0；

损失函数训练包括RPN二分类损失函数和RPN边框回归损失函数，其中RPN二分类损失函数具体如下：

RPN边框回归损失函数具体如下：

其中N_c、N_r为进行网络训练时所选地样本个数，P_i表示样本的状态标志值，当P_i＝1时，表示样本为正样本，当P_i＝0时，表示样本为负样本，P_i ^*表示锚框属于前景的概率值，x′、y′值为目标框和锚框位置中心点坐标的偏差值，w′、h′分别表示目标框和锚框位置宽和高的偏差值，x^*、y^*表示网络预测的坐标偏差值，w^*、h^*分别表示网络预测的宽和高偏差值，i为样本的数量。

优选的，所述三维目标检测模型的训练过程如下：

步骤B1：获取步骤A6输出的目标图像，并在目标图像上加上对应的深度数据，形成点云数据；

步骤B2：对点云数据进行提取操作，获取得到点云特征；

在本申请的一个实施例是通过两个空间变换网络获取点云特征，其中第一个是一个3×3的旋转矩阵，作用是对点云进行旋转变化，把物体点云转到正面。第二个是一个64×64的刚性变换矩阵，作用是将经过升维的局部特征进行对齐。并用两个多层的空间变换网络依次对经过旋转变换以及刚性变换的局部特征进行升维操作从而进一步提取输入点云的特征。最后通过对称函数Maxpooling获取点云数据的全局性质，输出得到点云特征。

步骤B3：对点云特征进分割，获取得到经过分割的点云特征，其中分割损失函数为：

其中m表示对每个点云进行分类的类别总数，sq表示这个样本属于第q类的概率，yq是一个m维向量；

步骤B4：通过经过分割的点云特征获取目标图像的点云真实中心点，以目标点真实云中心为原点，进行坐标变换，其中点云中心点坐标为每个点云三维坐标的平均值，其计算公式如下：

步骤B5：中点云中心点坐标执行B2步骤，获取得到分割特征点云，将分割特征点云输入三层全连接层进行边框回归，预测得到预测边框的尺寸；

其中边框回归损失函数如下：

其中

表示真实边框的中心坐标值，

分表表示真实边框的长、宽和高，

表示真实边框的在z轴的偏转角度，x，y，z表示预测边框的中心坐标值，l，w，h分表表示预测边框的长、宽和高，a表示预测边框的在z轴的偏转角度，β为模型的权重参数。

通过重复步骤B2-B5训练模型参数，最终实现对三维目标障碍物的分类与检测。

优选的，根据障碍物的种类选择对应的避障方法，通过预测边框的尺寸对避障方法进行姿态调整的具体方法如下：

若障碍物为动态障碍物，则调整无人机俯仰角，提高无人机飞行高度，避开障碍物，其中无人机飞行的高度为

若障碍物为静态障碍物，则调正无人机偏航角，绕障碍物中心进行圆周运动，避开障碍物，其中圆周运动的半径为

基于图像和点云的无人机障碍物检测和避障系统，上述基于图像和点云的无人机障碍物检测和避障方法，包括二维数据获取模块、三维数据获取模块以及避障模块；

所述二维数据获取模块用于通过摄像头读取视频当前帧，将当前帧输入至二维目标检测模型内，获取当前帧内障碍物的种类、障碍物的中心坐标以及锚框的尺寸；

所述三维数据获取模块用于将当前帧识别出障碍物的中心坐标以及锚框的尺寸输入至三维目标检测模型内，获取得到障碍物的预测边框；

所述避障模块用于根据障碍物的种类选择对应的避障方法，通过预测边框的尺寸对避障方法进行姿态调整。

优选的，还包括对所述二维数据获取模块进行训练的第一训练模块，其中第一训练模块包括：目标图像提取模块、通道剪枝模块、权重模块、多尺度特征变换模块、融合模块以及二维图像数据输出模块；

所述目标图像提取模块用于从目标模板内提取出目标图像，将目标图像输入至VGG16网络得到目标特征；

所述通道剪枝模块用于将目标特征输入至通道剪枝函数内，进行网络权重以及缩放因子的训练；

所述权重模块用于通过注意力机制赋予目标特征的每个通道不同的权值；

所述多尺度特征变换模块用于对调整权值后的目标特征进行多尺度特征变换，输出不同尺度下的目标特征；

所述融合模块用于将多个不同尺度的所述目标特征进行融合，输入至RPN网络，在每个尺度对应的目标特征中生成9个不同比例不同尺度的锚框，通过RPN网络输出锚框位置偏差信息(x′,y′,w′,h′)，并对锚框所选目标进行前景与后景的分类；

所述二维图像数据输出模块用于对锚框进行数量筛选，生成候选区域，将候选区域映射至步骤A4所产生的目标特征，得到感兴趣区域后进行具体类别的预测和更加精细的边框回归，输出目标图像的类别以及概率值。

优选的，还包括对所述三维数据获取模块进行训练的第二训练模块，所述第二训练模块包括点云数据获取模块、点云特征获取模块、点云特征进分割分割模块、点云真实中心点数据获取模块以及三维数据获取模块；

所述点云数据获取模块用于获取二维图像数据输出模块输出的目标图像，并在目标图像上加上对应的深度数据，形成点云数据；

所述点云特征获取模块用于对点云数据进行提取操作，获取得到点云特征；

所述点云特征进分割分割模块用于对点云特征进分割，获取得到经过分割的点云特征；

所述点云真实中心点数据获取模块用于通过经过分割的点云特征获取目标图像的点云真实中心点，

以目标点真实云中心为原点，进行坐标变换；

所述三维数据获取模块用于获取得到分割特征点云，将分割特征点云输入三层全连接层进行边框回归，预测得到预测边框的尺寸。

优选的，避障模块包括判断模块，所述判断模块用于判断障碍物是否为动态障碍物，若障碍物为动态障碍物，则调整无人机俯仰角，提高无人机飞行高度，避开障碍物，其中无人机飞行的高度为

若障碍物为静态障碍物，则调正无人机偏航角，绕障碍物中心进行圆周运动，避开障碍物，其中圆周运动的半径为

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (9)

1.基于图像和点云的无人机障碍物检测和避障方法，应用于无人机的自动避障，其特征在于，包括以下步骤：

摄像头读取视频当前帧，将当前帧图像输入至二维目标检测模型内，获取当前帧内障碍物的种类、障碍物的中心坐标以及锚框的尺寸；

将当前帧识别出障碍物的中心坐标以及锚框的尺寸输入至三维目标检测模型内，获取得到障碍物的预测边框；

根据障碍物的种类选择对应的避障方法，通过预测边框的尺寸对避障方法进行姿态调整。

2.根据权利要求1所述的基于图像和点云的无人机障碍物检测和避障方法，其特征在于，所述二维目标检测模型的训练过程如下：

步骤A1：从目标模板内提取出目标图像，将目标图像输入至VGG16网络得到目标特征，其中VGG16网络包括13层卷积层，13层激活函数层，4层池化层；

步骤A2：将目标特征输入至通道剪枝函数内，进行网络权重以及缩放因子的训练，其中通道剪枝函数如下：

其中(x，y)为目标图，ω为网络的训练参数，

为网络的训练损失函数，λ为前后两项的平衡因子，γ为缩放因子；

步骤A3：通过注意力机制赋予目标特征的每个通道不同的权值；

步骤A4：对调整权值后的目标特征进行多尺度特征变换，输出不同尺度下的目标特征；

步骤A5：将多个不同尺度的所述目标特征进行融合，输入至RPN网络，在每个尺度对应的目标特征中生成9个不同比例不同尺度的锚框，通过RPN网络输出锚框位置偏差信息(x′,y′,w′,h′)，并对锚框所选目标进行前景与后景的分类；

对锚框位置以及前景、后景二分类进行损失函数训练，输出属于前景的锚框的概率和该锚框相对与目标框位置的偏移量；

步骤A6：对锚框进行数量筛选，生成候选区域，将候选区域映射至步骤A4所产生的目标特征，得到感兴趣区域后，进行具体类别的预测和更加精细的边框回归，输出目标图像的类别以及概率值；

其中类别检测分类损失函数如下：

类别检测边框回归损失函数如下：

其中其中N_c、N_r为进行网络训练时所选地样本个数，P_i表示样本的状态标志值，当P_i＝1时，表示样本为正样本，当P_i＝0时，表示样本为负样本，C_i ^*表示类别的概率值，x′、y′值为目标框和锚框位置中心点坐标的偏差值，w′、h′分别表示目标框和锚框位置宽和高的偏差值，x^*、y^*表示网络预测的坐标偏差值，w^*、h^*分别表示网络预测的宽和高偏差值，i为样本的数量。

3.根据权利要求2所述的基于图像和点云的无人机障碍物检测和避障方法，其特征在于，所述步骤A5对锚框位置以及前后景二分类进行损失函数训练，输出属于前景的锚框的概率和该锚框相对与目标框位置的偏移量的具体方法如下：

其中锚框进行的二分类的规则如下：

其中A为锚框的区域，B为目标框的区域，如果锚框与目标框的IOU>0.7，标记为正样本，P_i＝1，如果锚框与目标框的IOU<0.3，标记为负样本，P_i＝0；

损失函数训练包括RPN二分类损失函数和RPN边框回归损失函数，其中RPN二分类损失函数具体如下：

RPN边框回归损失函数具体如下：

其中N_c、N_r为进行网络训练时所选地样本个数，P_i表示样本的状态标志值，当P_i＝1时，表示样本为正样本，当P_i＝0时，表示样本为负样本，P_i ^*表示锚框属于前景的概率值，x′、y′值为目标框和锚框位置中心点坐标的偏差值，w′、h′分别表示目标框和锚框位置宽和高的偏差值，x^*、y^*表示网络预测的坐标偏差值，w^*、h^*分别表示网络预测的宽和高偏差值，i为样本的数量。

4.根据权利要求3所述的基于图像和点云的无人机障碍物检测和避障方法，其特征在于，所述三维目标检测模型的训练过程如下：

步骤B1：获取步骤A6输出的目标图像，并在目标图像上加上对应的深度数据，形成点云数据；

步骤B2：对点云数据进行提取操作，获取得到点云特征；

步骤B3：对点云特征进分割，获取得到经过分割的点云特征，其中分割损失函数为：

其中m表示对每个点云进行分类的类别总数，sq表示这个样本属于第q类的概率，yq是一个m维向量；

步骤B4：通过经过分割的点云特征获取目标图像的点云真实中心点，以目标点真实云中心为原点，进行坐标变换，其中点云中心点坐标为每个点云三维坐标的平均值，其计算公式如下：

步骤B5：中点云中心点坐标执行B2步骤，获取得到分割特征点云，将分割特征点云输入三层全连接层进行边框回归，预测得到预测边框的尺寸；

其中边框回归损失函数如下：

其中

表示真实边框的中心坐标值，

分表表示真实边框的长、宽和高，

表示真实边框的在z轴的偏转角度，x，y，z表示预测边框的中心坐标值，l，w，h分表表示预测边框的长、宽和高，a表示预测边框的在z轴的偏转角度，β为模型的权重参数。

5.根据权利要求4所述的基于图像和点云的无人机障碍物检测和避障方法，其特征在于，根据障碍物的种类选择对应的避障方法，通过预测边框的尺寸对避障方法进行姿态调整的具体方法如下：

若障碍物为动态障碍物，则调整无人机俯仰角，提高无人机飞行高度，避开障碍物，其中无人机飞行的高度为

若障碍物为静态障碍物，则调正无人机偏航角，绕障碍物中心进行圆周运动，避开障碍物，其中圆周运动的半径为

6.基于图像和点云的无人机障碍物检测和避障系统，使用权利要求1～5任一项所述基于图像和点云的无人机障碍物检测和避障方法，其特征在于，包括二维数据获取模块、三维数据获取模块以及避障模块；

所述二维数据获取模块用于通过摄像头读取视频当前帧，将当前帧输入至二维目标检测模型内，获取当前帧内障碍物的种类、障碍物的中心坐标以及锚框的尺寸；

所述三维数据获取模块用于将当前帧识别出障碍物的中心坐标以及锚框的尺寸输入至三维目标检测模型内，获取得到障碍物的预测边框；

所述避障模块用于根据障碍物的种类选择对应的避障方法，通过预测边框的尺寸对避障方法进行姿态调整。

7.根据权利要求6所述基于图像和点云的无人机障碍物检测和避障系统，其特征在于，还包括对所述二维数据获取模块进行训练的第一训练模块，其中第一训练模块包括：目标图像提取模块、通道剪枝模块、权重模块、多尺度特征变换模块、融合模块以及二维图像数据输出模块；

所述目标图像提取模块用于从目标模板内提取出目标图像，将目标图像输入至VGG16网络得到目标特征；

所述通道剪枝模块用于将目标特征输入至通道剪枝函数内，进行网络权重以及缩放因子的训练；

所述权重模块用于通过注意力机制赋予目标特征的每个通道不同的权值；

所述多尺度特征变换模块用于对调整权值后的目标特征进行多尺度特征变换，输出不同尺度下的目标特征；

所述融合模块用于将多个不同尺度的所述目标特征进行融合，输入至RPN网络，在每个尺度对应的目标特征中生成9个不同比例不同尺度的锚框，通过RPN网络输出锚框位置偏差信息(x′,y′,w′,h′)，并对锚框所选目标进行前景与后景的分类；

所述二维图像数据输出模块用于对锚框进行数量筛选，生成候选区域，将候选区域映射至步骤A4所产生的目标特征，得到感兴趣区域后进行具体类别的预测和更加精细的边框回归，输出目标图像的类别以及概率值。

8.根据权利要求7所述基于图像和点云的无人机障碍物检测和避障系统，其特征在于，还包括对所述三维数据获取模块进行训练的第二训练模块，所述第二训练模块包括点云数据获取模块、点云特征获取模块、点云特征进分割分割模块、点云真实中心点数据获取模块以及三维数据获取模块；

所述点云数据获取模块用于获取二维图像数据输出模块输出的目标图像，并在目标图像上加上对应的深度数据，形成点云数据；

所述点云特征获取模块用于对点云数据进行提取操作，获取得到点云特征；

所述点云特征进分割分割模块用于对点云特征进分割，获取得到经过分割的点云特征；

所述点云真实中心点数据获取模块用于通过经过分割的点云特征获取目标图像的点云真实中心点，以目标点真实云中心为原点，进行坐标变换；

所述三维数据获取模块用于获取得到分割特征点云，将分割特征点云输入三层全连接层进行边框回归，预测得到预测边框的尺寸。

9.根据权利要求8所述基于图像和点云的无人机障碍物检测和避障系统，其特征在于，避障模块包括判断模块，所述判断模块用于判断障碍物是否为动态障碍物，若障碍物为动态障碍物，则调整无人机俯仰角，提高无人机飞行高度，避开障碍物，其中无人机飞行的高度为

若障碍物为静态障碍物，则调正无人机偏航角，绕障碍物中心进行圆周运动，避开障碍物，其中圆周运动的半径为

Images