CN113850126A - 一种基于无人机的目标检测和三维定位方法和系统 - Google Patents

Abstract

一种基于无人机的目标检测和实时三维定位方法，包括：通过无人机记录当前多幅图像，根据所获得图像进行目标物的提取，并对目标进行排序和分类根据获得的有效输出，计算出某一确定目标在图像中的中心位置以及类别；通过已知飞行高度，无人机云台位姿，借助三维世界的三维坐标系计算图像中心在世界坐标系的准确位置；根据图像对应的摄像头自身的缩放比例以及相机物理参数，获得目标在相机坐标系下的三维坐标，并对数据进行修正；通过无人机所在地理位置和无人机相对于摄像机的位姿，获得最终各个感兴趣目标在真实世界坐标系下的经纬度，达到高空无人机对目标的三维定位目的。解决了现有技术中，无法实现远距离的目标定位和无人机稳定控制的问题。

Description

一种基于无人机的目标检测和三维定位方法和系统

技术领域

本发明涉及的是图像处理领域，特别涉及一种基于无人机的目标检测和三维定位方法和系统。

背景技术

在计算机视觉中，目标检测和目标的深度估计均是基础性问题。目标检测从传统方法到基于神经网络的方法，已经取得了卓有成效的成果。目前，深度学习模型已广泛应用于计算机视觉的整个领域，包括通用目标检测和特定领域目标检测。大多数最先进的物体检测器利用深度学习网络作为其骨干和检测网络，分别从输入图像(或视频)中提取特征，进行分类和定位。目标检测作为场景理解的重要组成部分，广泛应用于现代生活的许多领域，如安全领域、军事领域、交通领域、医疗领域和生活领域。但对于小型无人机而言，系统资源的不足使得网络的运行速度较慢，完成实时快速有效的目标检测是对这一任务的考验。

针对目标深度估计任务。在传统方法中，基于立体视觉的深度估计通过在多张图片上、匹配手工提取的特征来解决。尽管进行了广泛的研究，这些传统方法仍然受复杂纹理区域、较大的难以区别的区域以及遮挡的影响。是一个长期存在的不适定问题，其在很多领域都有应用，比如机器人、自动驾驶、物体识别、场景理解、3D建模和动画、增强现实、工业控制以及医疗诊断。这个问题已经被广泛研究了数十年。其中立体匹配是传统上研究最多的一种，因为它与人类的双目有着紧密联系。由于使用深度学习解决基于立体视觉的深度估计问题的方法在解决各种2D和3D视觉问题上获得的成功，使用深度学习解决基于立体视觉的深度估计问题的方法受到了广泛的关注，在2014年-2019年之间，该领域发表了150多篇论文。但由于需要消耗巨大的资源，使用深度学习并不能有效在移动式设备中实现有效应用。传统双目定位算法中，受限于基线，无法实现远距离的目标定位。其次，无人机在运行过程中存在着稳定和控制的影响。因此，无人机的目标三维定位必须在受到无人机稳定性，资源等因素的干扰下正常工作，具有极大的技术挑战。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种基于无人机的目标检测和三维定位方法和系统。

为了解决上述技术问题，本申请实施例公开了如下技术方案：

.一种基于无人机的目标检测和实时三维定位方法，包括：

S100.预设无人机云台倾角，在确定经纬度位置和高度的条件下，通过无人机记录当前多幅图像，根据所获得图像进行目标物的提取，并对目标进行排序和分类；

S200.根据S100中的获得的有效输出，包括危险类别和目标的像素位置，计算出某一确定目标在图像中的中心位置以及类别；

S300.通过已知飞行高度，无人机云台位姿，借助三维世界的三维坐标系计算图像中心在世界坐标系的准确位置；

S400.根据图像对应的摄像头自身的缩放比例以及相机物理参数，获得S300中的目标在相机坐标系下的三维坐标，并利用多项式优化完成对数据的修正；

S500.通过无人机所在地理位置和无人机相对于摄像机的位姿，获得最终各个感兴趣目标在真实世界坐标系下的经纬度，达到高空无人机对目标的三维定位目的。

进一步地，S100中，无人机记录记录当前多幅图像，根据所获得图像进行目标物的提取，并对目标进行排序和分类的方法具体为：通过无人机摄像头的实时采集工作，将图像实时传回到后台运行的CNN网络中。

进一步地，S100中，进行图像的有效检测，采用多帧图像的稳定输出为判断标准，若无法获得稳定图像，则返回S100，将相机进行缩放，重新获取图像，在持续的多帧目标确定后，以多次的输出结果作为有效输出。

进一步地，S300中，计算图像中心在世界坐标系的准确位置方法为：利用世界坐标系与无人机坐标系的外参矩阵(R_pw,T_pw)，无人机坐标系和机载相机坐标系(R_cp,T_cp)进行相应转换，得到图像中心在世界坐标系的准确位置转换公式如下：

P_w＝R_pwP_p+T_pw

P_p＝R_cpP_c+T_cp

其中，P_w为世界坐标系，P_p为无人机坐标系，P_c为机载相机坐标系，R_pw为世界坐标系和无人机坐标系旋转矩阵，T_pw为世界坐标系和无人机坐标系平移矩阵，R_cp为机载相机坐标系和无人机坐标系旋转矩阵；T_cp为机载相机坐标系和无人机坐标系平移矩阵。

进一步地，世界坐标系和无人机坐标系平移矩阵T_pw＝(0,0,0)，世界坐标系和无人机坐标系旋转矩阵R_pw计算方法为：将图像按照Z-Y-X轴的顺序正向旋转，三轴旋转的角度分别为γ,β,α，并定义三轴旋转角对应的正弦余弦值分别为s_α,s_β,s_γ,c_α,c_β,c_γ，则世界坐标系和无人机坐标系旋转矩阵R_pw为：

进一步地，S300中，还需要获得图像像素中心与机载相机原点的距离，计算获得图像像素中心与机载相机原点的距离公式为：

其中，h_plane为无人机所处海拔高度，h_ground为地面海拔高度，s_β为第y轴旋转角余弦值。

进一步地，S400实现方法为：预设图像中心坐标为(u₀,v₀)，实际目标中心点坐标为(u,v)，对应于机载相机坐标系下的坐标为(x₀,y₀)和(x,y)，根据像元大小可计算目标像素与中心像素在成像平面上的实际位置，计算如下式：

dx＝pixel×(u-u₀)

dy＝pixel×(v-v₀)

其中dx,dy代表的是目标像素与中心像素之间的实际物理距离。

进一步地，计算实际位置之后可根据相机的内参矩阵获得目标像素在机载相机坐标系下的位置，包括：获得目标像素的方位角和俯仰角后，即可重新计算机载相机坐标系到无人机坐标系的旋转矩阵R'_cp，此旋转矩阵相当于相机拍摄时将目标定位到图像中心时的旋转矩阵，可获得目标像素相对于相机原点的实际距离，根据角度可获得坐标系坐标point_c。在获得有效坐标后利用旋转矩阵R'_cp和不变的平移矩阵T_cp＝(x₀,y₀,z₀)可获得目标像素在无人机坐标系下的实际坐标Tar，计算如下式：

Tar＝R'_cp*point_c+T_cp

其中，Tar为目标像素在无人机坐标系下的实际坐标，R'_cp为重新计算的机载相机坐标系到无人机坐标系的旋转矩阵，point_c为根据角度获得坐标系坐标，T_cp为平移矩阵。

进一步地，S500具体方法为：在S300中定义的世界坐标系中目标物体的世界坐标后，将世界坐标中的Z轴坐标进行去除，通过世界坐标系中x轴与y轴获取实际距离，通过距离与经纬度的转换可获得目标物体在现实世界中的定位。

本发明还公开了一种基于无人机的目标检测和实时三维定位系统，包括：目标提取模块、图像中心点坐标获取模块、世界坐标系坐标转换模块、相机坐标系转换模块、三维定位模块；其中：

目标提取模块，用于通过无人机记录当前多幅图像，根据所获得图像进行目标物的提取，并对目标进行排序和分类；

图像中心点坐标获取模块，用于根据目标提取模块获得的有效输出，包括危险类别和目标的像素位置，计算出某一确定目标在图像中的中心位置以及类别；

世界坐标系坐标转换模块，用于通过已知飞行高度，无人机云台位姿，借助三维世界的三维坐标系计算图像中心在世界坐标系的准确位置；

相机坐标系转换模块，用于根据图像对应的摄像头自身的缩放比例以及相机物理参数，获得目标在相机坐标系下的三维坐标，并利用多项式优化完成对数据的修正；

三维定位模块，用于通过无人机所在地理位置和无人机相对于摄像机的位姿，获得最终各个感兴趣目标在真实世界坐标系下的经纬度，达到高空无人机对目标的三维定位目的。

本发明实施例提供的上述技术方案的有益效果至少包括：

本发明公开了一种基于单目无人机图像的目标检测和三维世界的具体目标定位方法。在目标检测部分，利用快速高效的方式完成具体目标的检测，在避免图像的全局深度估计的情况下，本发明仅对具体目标进行深度估计，由于无人机在高空中飞行时，地面目标相对于无人机而言，其小部分的高度差并无较大影响。其次，正对地面拍摄视角与无人机云台偏移下的视角有较大差别，本发明通过无人机的姿态位置调整图像。并根据真实世界的三维几何解算来获得二维图像中的具体点在三维世界下的准确位置。解决了现有技术中，传统双目定位算法中，受限于基线，无法实现远距离的目标定位和无人机在运行过程中存在着稳定和控制的影响的问题。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为本发明实施例1中一种基于无人机的目标检测和三维定位方法的流程图；

图2为本发明实施例1中，生成预训练神经网络模型流程图；

图3为本发明实施例2中，无人机坐标和世界坐标转换示意图；

图4为本发明实施例2中，坐标系旋转顺序与角度示意图；

图5为本发明实施例2中，基于相机-世界旋转矩阵的目标距离判断示意图；

图6为本发明实施例2中，相机光心-中心像素方向x_c和相机光心-目标像素方向x'_c的几何关系示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

为了解决现有技术中存在的问题，本发明实施例提供一种基于无人机的目标检测和三维定位方法和系统。

实施例1

本实施例公开了一种基于无人机的目标检测和实时三维定位方法，如图1，包括：

S100.预设无人机云台倾角，在确定经纬度位置和高度的条件下，通过无人机记录当前多幅图像，根据所获得图像进行目标物的提取，并对目标进行排序和分类。在本实施例中，S100具体包括：通过无人机摄像头的实时采集工作，将图像实时传回到后台运行的CNN网络中。本实施例还会对图像进行有效检测，采用多帧图像的稳定输出为判断标准，若无法获得稳定图像，则返回S100，将相机进行缩放，重新获取图像，在持续的多帧目标确定后，以多次的输出结果作为有效输出。

具体的，在无人机正常飞行过程中，设置其飞行的速度v，云台三轴以固定角速度ωrad/s周期性运转，并同时启动目标检测神经网络，目标检测部分以one-stage方法中的yoloV4算法作为基准。利用CSPDarknet53作为骨干网络基准，SPP作为Neck的附加模块，PANet作为Neck的特征融合模块，速度极快。但由于无人机的飞行高度较高和目标物体较小的问题，在检测过程中可能出现断续，同时会受到光照的影响。这种情况下，目标检测任务需要寻求更高清晰度的输入，本发明通过在检测前期任务中出现的断续检测结果作为可疑目标ST_i进行精检测，在获取可疑目标ST_i图像位置后，根据可疑目标的像素位置中心点的差异进行旋转将可疑目标定位在图像中心，并将相机进行1.5x放大，并在此迭代进行可疑目标的确认，若在连续多帧中完成对目标Target的确定，即对目标物体的具体位置做进一步采集。由于yoloV4的速度较快，能够满足实时性要求，采用连续多帧图像平均的方式确认目标物体的准确像素位置和目标的危险类别，并参见图1跳转至下一步。若可疑目标并未进一步确认，则返回任务的上一步，相机重新缩放回1倍，云台继续正常运转，针对下一个可疑目标做进一步确定。在目标检测部分我们关注的是目标物检测中位置的准确性和精确性，需要使用迭代的方式进行多次稳定的有效检测。

S200.根据S100中的获得的有效输出，包括危险类别和目标的像素位置，计算出某一确定目标在图像中的中心位置以及类别；具体的，通过在S100获得的有效输出。包括危险类别和目标的像素位置(x,y,width,height)，其中，(x,y)为目标的左上角像素坐标，(width,height)为目标的长宽，计算出某一确定危险目标在图像中的中心位置以及类别，设置为label(x_center,y_center,k),其中k即为类别，为下一步计算做准备。

S300.通过已知飞行高度，无人机云台位姿，借助三维世界的三维坐标系计算图像中心在世界坐标系的准确位置。

具体的，在计算目标物体在世界坐标系下的位置，需要一些先验信息作为保证，我们定义以下已知信息：世界坐标系P_w，无人机坐标系P_p，机载相机坐标系P_c，无人机的航向角plane_yaw，俯仰角plane_pitch，横滚角plane_roll，机载云台的俯仰角Camera_pitch，航向角Camera_yaw，由于相机不会主动出现自旋，横滚角信息可以忽略，对于相机则需要知道畸变参数和内参信息。无人机所处海拔高度h_plane和地面海拔高度h_ground，由于在进行精确目标检测时需要保持稳定，此处忽略自然风影响，并默认无人机保持静止稳定状态。该步骤主要任务是完成图像中心点在世界坐标系下的实际位置，即利用到了三个不同坐标系下的有效转换，参见图2和图3，通过测算并利用机载相机自身信息，畸变参数和内参，包括相对于地平线的俯仰角、航向角和距地高度，计算出目标在相机坐标系下的位置，但在实际实践中，无法直接获得普通相机相对于世界坐标系下的位置，但在无人机系统上，可以有效获得无人机在世界坐标系下的具体位置，云台与无人机的相对位置固定，可进行有效转换，通过三种不同坐标系的转换可获得中心点的世界坐标系坐标。

在本实施例中，具体转换方式如下：利用世界坐标系与无人机坐标系的外参矩阵(R_pw,T_pw)，无人机坐标系和机载相机坐标系(R_cp,T_cp)进行相应转换，具体模型参见图1和图2，转换公式如下：

世界坐标系P_w应与世界经纬线划分相对应，世界坐标系设置参见图1，根据右手定则，其三轴正方向定义如下：沿经线方向朝北为x_w轴正方向，沿纬度方向朝东为y_w轴正方向，以垂直地平线朝上为z_w轴正方向。无人机三轴正方向定义如下：以无人机飞行过程中的前向为x_p轴的正方向，以与x_p轴垂直的右方向为y_p轴正方向，以与x_p轴垂直的下方向为z_p轴正方向。相机的三轴正方向定义参见图2，以相机拍摄方向为x_c轴的正方向，以与x_c轴垂直的右方向为y_c轴的正方向，以与x_c轴垂直向下为z_c轴的正方向，其中，将机载相机拍摄方向定义为经过相机光心点和图像中心像素点向外的矢量。

由于世界坐标系是人为定义的，本发明将世界坐标系与无人机坐标系原点重合，从而简化无人机坐标系与世界坐标系的转换，即平移矩阵T_pw＝(0,0,0)，旋转矩阵R_pw的计算参见图2，此外，由于原点重合，旋转为三轴，可分步进行区分，参照图4的旋转方式是Z-Y-X轴的顺序，三轴旋转的角度分别为γ,β,α，此处的旋转均为定义上的正向旋转，即角度均大于0，并定义三轴旋转角对应的正弦余弦值分别为s_α,s_β,s_γ,c_α,c_β，c_γ，可计算旋转矩阵如下式：

至此完成世界坐标系与无人机坐标系的有效转换，在讨论无人机在世界中的位置时，已经将经纬度对应关系添加到了位置计算中，且无人机相对于世界坐标系的三轴(x_w,y_w,z_w)的旋转角度α_w,β_w,γ_w分别代表无人机的航向(偏向)角、俯仰角和横滚角，三轴旋转矩阵连乘完成对转换矩阵R_pw的计算。在讨论机载相机相对无人机的位置时，无法忽略平移矩阵对坐标系的影响，但由于无人机与想的位置的相对固定，可手动测量相机坐标系原点与无人机坐标系原点的三轴平移矩阵，在此不做具体分析，仅设置平移矩阵为T_cp＝(x₀,y₀,z₀)。针对旋转矩阵的计算，同理可得绕无人机坐标系(x_p,y_p，z_p)旋转的角度α_p,β_p,γ_p分别表示机载相机拍摄方向的方位角，俯仰角和横滚角，在实际实践中，飞行过程中拍摄画面大多为地面目标，在保持无人机的稳定飞行过程中，机载相机并不需要横滚角来保证画面的清晰性和稳定性。因此，此处横滚角γ_p可设置为0°，保证y_c轴一定在y_p轴和x_p轴构成的平面内，这样设计可优化代码，减少计算。类比无人机到世界坐标系的转换，此处不再重复计算机载相机与无人机之间的旋转矩阵，默认已经计算后的结果为R_cp，在获得三个不同坐标系两两之间的外参矩阵后，我们可以通过式1来获得相机坐标系到世界坐标系的转换，转换公式如下：

P_w＝R_pwR_cpP_c＝R_cwP_c#(3)

其中R_cw为机载相机坐标系到世界坐标系的转换，由于无人机坐标系与世界坐标系的原点重合，则，记载相机到无人机坐标系的平移矩阵T_cp即为机载相机到世界坐标系的平移矩阵T_cw，本发明首先需要了解图像的像素中心与机载相机坐标系之间的实际物理关系。为简化模型，由于俯仰角和方位角分别是在水平方向和竖直方向上的倾斜，且相互独立，互不干扰，我们以其中一种倾斜方式，俯仰角来讲述这一模型的定义，则此处可定义为α_p＝0，由于飞行高度的关系，俯仰角一般为朝向下方，具体可参见图5，其中的distance即为所求图像中心点至相机坐标原点距离，容易看出，除机载相机本身的旋转外，距离仅与无人机相对地面的高度相关，从式2中可得当相机仅在垂直方向上旋转时，旋转矩阵中仅r₃₁＝-s_β有意义，即机载相机拍摄方向相对于地平线的俯仰角β的正弦值。可利用下式来获得图像像素中心与机载相机原点的距离。

由于距离不存在负值，需要对正弦值进行绝对值处理，而无人机自身记载的是相对于海平面高度，飞行相对地面的实际高度则需要通过提前记录地面相对于海平面高度。参见图5，我们可以知道此处距离即为相机坐标系中的x_c方向的实际坐标，这对于后续计算任意像素在相机坐标系下的坐标有着重要作用。

S400.根据图像对应的摄像头自身的缩放比例以及相机物理参数，获得S300中的目标在相机坐标系下的三维坐标，并利用多项式优化完成对数据的修正。

在实际实践中，目标不会恰好出现在正中心位置，此时则需要计算图像中任意位置在机载相机坐标系下的实际坐标，从而获得目标物的实际三维世界坐标，即经纬度值。为有效计算图像中位于任意位置像素的目标在相机坐标系下的位置，需要已知一些实际内容，本步骤中需要了解的信息包括相机未放大时的内参(f_x,f_y,c_x,c_y)，其中(f_x,f_y)为相机在两个方向的焦距，这与相机实际焦距f和图像分辨率相对应，此处统一使用实际焦距f，(c_x，c_y)为偏移量，在相机物理结构上较好，即不出现径向畸变的情况下，一般为像素长宽的一半，像元大小pixel，此为每个像素对应的物理实际距离，相机的放大倍率mag，在步骤1中为获得有效目标输出，相机进行了缩放操作，缩放操作会线性影响相机的f，这是相机本身结构所带来的变化。上述参数可帮助获得任意像素到机载相机坐标系的位置，从而获得到任意像素在世界坐标系下的位置，即经纬度。

参见图6，此处成像平面并非实际中的地面，而是以距离distance为准的前提下平行于实际成像平面的一个虚平面。此虚平面垂直于光心法线，与实际地面的角度恰好为俯仰角(90°-β)，需将地面做成像投影，从而获得成像平面中的像素与地面真正所代表的位置的对应关系。假定图像中心坐标为(u₀，v₀)，实际目标中心点坐标为(u,v)，对应于机载相机坐标系下的坐标为(x₀,y₀)和(x，y)，根据像元大小可计算目标像素与中心像素在成像平面上的实际位置，如下式：

其中dx，dy参见图6右侧中的内容，其所代表的是目标像素与中心像素之间的实际物理距离。计算之后可根据相机的内参矩阵获得目标像素在机载相机坐标系下。具体方式如下：

由于成像平面内图像中心像素相对于相机在三轴上均不存在旋转角度，但在任意位置可能出现的目标在成像平面上的位置相对于相机光心则有俯仰角和方位角的偏移，其中，我们定义目标像素相对于中心像素在无人机坐标系下的方位角为Δα_P，由于步骤3中为简化模型，我们设置方位角为0°，但并不影响存在方位角旋转时对像素方位角的偏移的计算，则总体方位角偏移计算如式6所示

α'_P＝α_P+Δα_P#(6)

其中Δα_P的计算如式7：

同理，相机光心-目标像素到无人机坐标系的新方位角β'_P如式8：

获得目标像素的方位角和俯仰角后，即可重新计算机载相机坐标系到无人机坐标系的旋转矩阵R'_cp，此旋转矩阵相当于相机拍摄时将目标定位到图像中心时的旋转矩阵，重新利用式4可获得目标像素相对于相机原点的实际距离，根据角度可获得更具体的坐标系坐标point_c。在获得有效坐标后利用旋转矩阵R'_cp和不变的平移矩阵T_cp＝(x₀，y₀，z₀)可获得目标像素在无人机坐标系下的实际坐标，计算如下式

Tar＝R'_cp*point_c+T_cp#(9)

在进行下一步骤转换前，本文需要对现有坐标做进一步优化，本文中所设定的世界坐标系中xoy平面与地面平行，即z轴上坐标为无人机的实际飞行高度，在进行上述有效转换后，通过无人机的飞行实际高度和计算结果进行多次比较后，根据差异性进行优化，在多次实验中，本文引入了多项式优化，有效提高了坐标值的精确。

S500.通过无人机所在地理位置和无人机相对于摄像机的位姿，获得最终各个感兴趣目标在真实世界坐标系下的经纬度，达到高空无人机对目标的三维定位目的。在获得步骤3中定义的世界坐标系中目标物体的世界坐标后，由于经纬度均仅在二维平面内表示实际位置，这里的z轴数据可忽略，仅代表无人机的飞行高度，由于世界坐标系中x轴与y轴相应与经纬度平行。坐标值即为实际中的距离，通过距离与经纬度的转换可获得目标物体在现实世界中的定位。至此，完成本发明的整体流程。

本实施例还公开了一种基于无人机的目标检测和实时三维定位系统，包括：目标提取模块、图像中心点坐标获取模块、世界坐标系坐标转换模块、相机坐标系转换模块、三维定位模块；其中：

目标提取模块，用于通过无人机记录当前多幅图像，根据所获得图像进行目标物的提取，并对目标进行排序和分类；

图像中心点坐标获取模块，用于根据目标提取模块获得的有效输出，包括危险类别和目标的像素位置，计算出某一确定目标在图像中的中心位置以及类别；

世界坐标系坐标转换模块，用于通过已知飞行高度，无人机云台位姿，借助三维世界的三维坐标系计算图像中心在世界坐标系的准确位置；

相机坐标系转换模块，用于根据图像对应的摄像头自身的缩放比例以及相机物理参数，获得目标在相机坐标系下的三维坐标，并利用多项式优化完成对数据的修正；

三维定位模块，用于通过无人机所在地理位置和无人机相对于摄像机的位姿，获得最终各个感兴趣目标在真实世界坐标系下的经纬度，达到高空无人机对目标的三维定位目的。

本实施例公开了一种基于无人机的目标检测和实时三维定位方法和系统。在目标检测部分，利用快速高效的方式完成具体目标的检测，在避免图像的全局深度估计的情况下，本发明仅对具体目标进行深度估计，由于无人机在高空中飞行时，地面目标相对于无人机而言，其小部分的高度差并无较大影响。其次，正对地面拍摄视角与无人机云台偏移下的视角有较大差别，本发明通过无人机的姿态位置调整图像。并根据真实世界的三维几何解算来获得二维图像中的具体点在三维世界下的准确位置。解决了现有技术中，传统双目定位算法中，受限于基线，无法实现远距离的目标定位和无人机在运行过程中存在着稳定和控制的影响的问题。

应该明白，公开的过程中的步骤的特定顺序或层次是示例性方法的实例。基于设计偏好，应该理解，过程中的步骤的特定顺序或层次可以在不脱离本公开的保护范围的情况下得到重新安排。所附的方法权利要求以示例性的顺序给出了各种步骤的要素，并且不是要限于所述的特定顺序或层次。

在上述的详细描述中，各种特征一起组合在单个的实施方案中，以简化本公开。不应该将这种公开方法解释为反映了这样的意图，即，所要求保护的主题的实施方案需要清楚地在每个权利要求中所陈述的特征更多的特征。相反，如所附的权利要求书所反映的那样，本发明处于比所公开的单个实施方案的全部特征少的状态。因此，所附的权利要求书特此清楚地被并入详细描述中，其中每项权利要求独自作为本发明单独的优选实施方案。

本领域技术人员还应当理解，结合本文的实施例描述的各种说明性的逻辑框、模块、电路和算法步骤均可以实现成电子硬件、计算机软件或其组合。为了清楚地说明硬件和软件之间的可交换性，上面对各种说明性的部件、框、模块、电路和步骤均围绕其功能进行了一般地描述。至于这种功能是实现成硬件还是实现成软件，取决于特定的应用和对整个系统所施加的设计约束条件。熟练的技术人员可以针对每个特定应用，以变通的方式实现所描述的功能，但是，这种实现决策不应解释为背离本公开的保护范围。

结合本文的实施例所描述的方法或者算法的步骤可直接体现为硬件、由处理器执行的软件模块或其组合。软件模块可以位于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、移动磁盘、CD-ROM或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质连接至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。该ASIC可以位于用户终端中。当然，处理器和存储介质也可以作为分立组件存在于用户终端中。

对于软件实现，本申请中描述的技术可用执行本申请所述功能的模块(例如，过程、函数等)来实现。这些软件代码可以存储在存储器单元并由处理器执行。存储器单元可以实现在处理器内，也可以实现在处理器外，在后一种情况下，它经由各种手段以通信方式耦合到处理器，这些都是本领域中所公知的。

上文的描述包括一个或多个实施例的举例。当然，为了描述上述实施例而描述部件或方法的所有可能的结合是不可能的，但是本领域普通技术人员应该认识到，各个实施例可以做进一步的组合和排列。因此，本文中描述的实施例旨在涵盖落入所附权利要求书的保护范围内的所有这样的改变、修改和变型。此外，就说明书或权利要求书中使用的术语“包含”，该词的涵盖方式类似于术语“包括”，就如同“包括，”在权利要求中用作衔接词所解释的那样。此外，使用在权利要求书的说明书中的任何一个术语“或者”是要表示“非排它性的或者”。

Claims (10)

1.一种基于无人机的目标检测和实时三维定位方法，其特征在于，包括：

S100.预设无人机云台倾角，在确定经纬度位置和高度的条件下，通过无人机记录当前多幅图像，根据所获得图像进行目标物的提取，并对目标进行排序和分类；

S200.根据S100中的获得的有效输出，包括危险类别和目标的像素位置，计算出某一确定目标在图像中的中心位置以及类别；

S300.通过已知飞行高度，无人机云台位姿，借助三维世界的三维坐标系计算图像中心在世界坐标系的准确位置；

S400.根据图像对应的摄像头自身的缩放比例以及相机物理参数，获得S300中的目标在相机坐标系下的三维坐标，并利用多项式优化完成对数据的修正；

S500.通过无人机所在地理位置和无人机相对于摄像机的位姿，获得最终各个感兴趣目标在真实世界坐标系下的经纬度，达到高空无人机对目标的三维定位目的。

2.如权利要求1所述的一种基于无人机的目标检测和实时三维定位方法，其特征在于，S100中，无人机记录记录当前多幅图像，根据所获得图像进行目标物的提取，并对目标进行排序和分类的方法具体为：通过无人机摄像头的实时采集工作，将图像实时传回到后台运行的CNN网络中。

3.如权利要求1所述的一种基于无人机的目标检测和实时三维定位方法，其特征在于，S100中，还会对图像进行有效检测，采用多帧图像的稳定输出为判断标准，若无法获得稳定图像，则返回S100，将相机进行缩放，重新获取图像，在持续的多帧目标确定后，以多次的输出结果作为有效输出。

4.如权利要求1所述的一种基于无人机的目标检测和实时三维定位方法，其特征在于，S300中，计算图像中心在世界坐标系的准确位置方法为：利用世界坐标系与无人机坐标系的外参矩阵(R_pw，T_pw)，无人机坐标系和机载相机坐标系(R_cp，T_cp)进行相应转换，得到图像中心在世界坐标系的准确位置转换公式如下：

P_w＝R_pwP_p+T_pw

P_p＝R_cpP_c+T_cp

其中，P_w为世界坐标系，P_p为无人机坐标系，P_c为机载相机坐标系，R_pw为世界坐标系和无人机坐标系旋转矩阵，T_pw为世界坐标系和无人机坐标系平移矩阵，R_cp为机载相机坐标系和无人机坐标系旋转矩阵；T_cp为机载相机坐标系和无人机坐标系平移矩阵。

5.如权利要求4所述的一种基于无人机的目标检测和实时三维定位方法，其特征在于，世界坐标系和无人机坐标系平移矩阵T_pw＝(0,0,0)，世界坐标系和无人机坐标系旋转矩阵R_pw计算方法为：将图像按照Z-Y-X轴的顺序正向旋转，三轴旋转的角度分别为γ,β,α，并定义三轴旋转角对应的正弦余弦值分别为s_α,s_β,s_γ,c_α，c_β,c_γ，则世界坐标系和无人机坐标系旋转矩阵R_pw为：

6.如权利要求5所述的一种基于无人机的目标检测和实时三维定位方法，其特征在于，S300中，还需要获得图像像素中心与机载相机原点的距离，计算获得图像像素中心与机载相机原点的距离公式为：

其中，h_plane为无人机所处海拔高度，h_ground为地面海拔高度，s_β为第y轴旋转角余弦值。

7.如权利要求1所述的一种基于无人机的目标检测和实时三维定位方法，其特征在于，S400实现方法为：预设图像中心坐标为(u₀,v₀)，实际目标中心点坐标为(u,v)，对应于机载相机坐标系下的坐标为(x₀,y₀)和(x,y)，根据像元大小可计算目标像素与中心像素在成像平面上的实际位置，计算如下式：

dx＝pixel×(u-u₀)

dy＝pixel×(v-v₀)

其中dx,dy代表的是目标像素与中心像素之间的实际物理距离。

8.如权利要求7所述的一种基于无人机的目标检测和实时三维定位方法，其特征在于，计算实际位置之后可根据相机的内参矩阵获得目标像素在机载相机坐标系下的位置，包括：获得目标像素的方位角和俯仰角后，即可重新计算机载相机坐标系到无人机坐标系的旋转矩阵R'_cp，此旋转矩阵相当于相机拍摄时将目标定位到图像中心时的旋转矩阵，可获得目标像素相对于相机原点的实际距离，根据角度可获得坐标系坐标point_c。在获得有效坐标后利用旋转矩阵R'_cp和不变的平移矩阵T_cp＝(x₀,y₀,z₀)可获得目标像素在无人机坐标系下的实际坐标Tar，计算如下式：

Tar＝R′_cp*point_c+T_cp

其中，Tar为目标像素在无人机坐标系下的实际坐标，R'_cp为重新计算的机载相机坐标系到无人机坐标系的旋转矩阵，point_c为根据角度获得坐标系坐标，T_cp为平移矩阵。

9.如权利要求1所述的一种基于无人机的目标检测和实时三维定位方法，其特征在于，S500具体方法为：在S300中定义的世界坐标系中目标物体的世界坐标后，将世界坐标中的Z轴坐标进行去除，通过世界坐标系中x轴与y轴获取实际距离，通过距离与经纬度的转换可获得目标物体在现实世界中的定位。

10.一种基于无人机的目标检测和实时三维定位系统，其特征在于，包括：目标提取模块、图像中心点坐标获取模块、世界坐标系坐标转换模块、相机坐标系转换模块、三维定位模块；其中：

目标提取模块，用于通过无人机记录当前多幅图像，根据所获得图像进行目标物的提取，并对目标进行排序和分类；

图像中心点坐标获取模块，用于根据目标提取模块获得的有效输出，包括危险类别和目标的像素位置，计算出某一确定目标在图像中的中心位置以及类别；

世界坐标系坐标转换模块，用于通过已知飞行高度，无人机云台位姿，借助三维世界的三维坐标系计算图像中心在世界坐标系的准确位置；

相机坐标系转换模块，用于根据图像对应的摄像头自身的缩放比例以及相机物理参数，获得目标在相机坐标系下的三维坐标，并利用多项式优化完成对数据的修正；

三维定位模块，用于通过无人机所在地理位置和无人机相对于摄像机的位姿，获得最终各个感兴趣目标在真实世界坐标系下的经纬度，达到高空无人机对目标的三维定位目的。

Images