CN114820793A - 基于无人机的目标检测及目标点定位方法及系统 - Google Patents

Abstract

本发明公开了基于无人机的目标检测及目标点定位方法及系统，属于视觉工程技术领域，要解决的技术问题为如何借助无人机实现感兴趣区域的目标探测。划定感兴趣区域；对于感兴趣区域，划定两个拍摄点，在每个拍摄点，通过携带有相机的无人机按照设定拍摄方式进行拍摄；对于每个拍摄点，拍摄一个图像作为基图，将目标标识点在基图中的坐标作为像素坐标；对于每个拍摄点，通过预训练后的目标物识别模型进行目标物检测，从视频流中选取首次出现目标物的图像作为目标图像；对于每个目标图像，将目标物在目标图像中的一个像素点映射至基图中，将所述像素点在基图中的坐标作为目标物像素坐标；基于相机成像原理计算目标物的三维坐标。

Description

基于无人机的目标检测及目标点定位方法及系统

技术领域

本发明涉及视觉工程技术领域，具体地说是基于无人机的目标检测及目标点定位方法及系统。

背景技术

近年来，无人机凭借其机动灵活、造价低等优势迅速在民用、军用领域崭露头角，已广泛应用于航拍、数据采集、管网巡线、测绘、电力、植保等民用领域以及侦察、靶机等军用领域。

目标检测主要用于人脸检测、车辆检测、医疗系统、自动驾驶、安全系统等。如何借助无人机实现感兴趣区域的目标探测，是需要解决的技术问题。

发明内容

本发明的技术任务是针对以上不足，提供基于无人机的目标检测及目标点定位方法及系统，来解决如何借助无人机实现感兴趣区域的目标探测的技术问题。

第一方面，本发明的一种基于无人机的目标检测及目标点定位方法，

通过相机成像数据计算感兴趣区域中目标物的地理坐标，所述方法包括如下步骤：

划定感兴趣区域，所述感兴趣区域中具有至少三个标识点；

对于感兴趣区域，划定两个拍摄点，所述两个拍摄点与感兴趣区域中心点之间的连线存在夹角，在每个拍摄点，通过携带有相机的无人机按照设定拍摄方式进行拍摄，两个拍摄点对应的两个图像中具有至少三个相同的标识点，所述相同的标识点作为目标标识点；

对于每个拍摄点，通过对应的无人机对感兴趣区域拍摄一个图像作为基图，并将目标标识点在基图中的坐标作为像素坐标；

对于每个拍摄点，通过对应的无人机对感兴趣区域进行视频拍摄，基于得到的视频流，通过预训练后的目标物识别模型进行目标物检测，从视频流中选取首次出现目标物的图像作为目标图像；

对于每个目标图像，通过对应相机的相机标定参数对所述目标图像进行矫正，并将矫正后的目标图像与对应的基图进行图像配准，并将目标物在目标图像中的一个像素点映射至基图中，将所述像素点在基图中的坐标作为目标物像素坐标；

将每个目标标识点的地理坐标、每个目标标识点对应的像素坐标、每个拍摄点的地理坐标以及每个拍摄点对应的目标物像素坐标作为已知条件，基于相机成像原理计算目标物的三维坐标。

作为优选，基于相机成像原理计算目标物的三维坐标，包括如下步骤：

依次从所述多个目标标识点中选取三个目标标识点组成多个三角形平面；

对于每个三角形平面，将每个拍摄点对应的目标物像素点映射至所述三角形平面中、得到对应的感兴趣点；

每个拍摄点和对应的感兴趣点之间形成射线，基于两个拍摄点对应的射线，选取两条射线之间最短距离的中点作为感兴趣点的三维坐标；

对于多个三角形平面对应的三维坐标，选取多个三维坐标的平均值作为目标物的三维坐标。

作为优选，所述感兴趣中心点为在感兴趣区域选定的基点，所述基点不限于感兴趣区域的中心点、可为感兴趣区域中任选的一个点。

作为优选，所述两个拍摄点与感兴趣区域中心点之间的连线为直角，所述连线与底面之间夹角大于45°。

作为优选，所述无人机携带有定位设备，且携带的相机为感光成像相机；

通过Matlab相机标定工具对无人机携带的相机进行标定，得到的相机标定参数包括内参和畸变参数，并对相机型号进行标定。

第二方面，本发明的一种基于无人机的目标检测及目标点定位系统，通过如第一方面任一项所述的基于无人机的目标检测及目标点定位方法进行目标物检测及定位，所述系统包括：

无人机，所述无人机共两个，每个无人机对应一个拍摄点并携带有相机；

采集点划定模块，所述采集点划定模块用于划定感兴趣区域，所述感兴趣区域中具有至少三个标识点；对于感兴趣区域，所述采集点划定模块用于划定两个拍摄点，所述两个拍摄点与感兴趣区域中心点之间的连线存在夹角；在每个拍摄点，通过携带有相机的无人机按照设定拍摄方式进行拍摄，所述采集点划定模块用于设定每个相机的拍摄方式，满足两个拍摄点对应的两个图像中具有至少三个相同的标识点，所述相同的标识点作为目标标识点；对于每个拍摄点，通过对应的无人机对感兴趣区域拍摄一个图像作为基图，所述采集点划定模块用于将目标标识点在基图中的坐标作为像素坐标；

目标检测模块，所述目标检测模块用于作用于每个无人机拍摄的视频流，用于通过预训练后的目标物识别模型进行目标物检测，用于从视频流中选取首次出现目标物的图像作为目标图像；对于每个目标图像，所述目标检测模块用于通过对应相机的相机标定参数对所述目标图像进行矫正，并将矫正后的目标图像与对应的基图进行图像配准，并将目标物在目标图像中的一个像素点映射至基图中，将所述像素点在基图中的坐标作为目标物像素坐标；

坐标计算模块，所述坐标计算模块用于将每个目标标识点的地理坐标、每个目标标识点对应的像素坐标、每个拍摄点的地理坐标以及每个拍摄点对应的目标物像素坐标作为已知条件，基于相机成像原理计算目标物的三维坐标。

作为优选，所述坐标计算模块用于通过如下步骤基于相机成像原理计算目标物的三维坐标：

依次从所述多个目标标识点中选取三个目标标识点组成多个三角形平面；

对于每个三角形平面，将每个拍摄点对应的目标物像素点映射至所述三角形平面中、得到对应的感兴趣点；

每个拍摄点和对应的感兴趣点之间形成射线，基于两个拍摄点对应的射线，选取两条射线之间最短距离的中点作为感兴趣点的三维坐标；

对于多个三角形平面对应的三维坐标，选取多个三维坐标的平均值作为目标物的三维坐标。

作为优选，所述感兴趣中心点为在感兴趣区域选定的基点，所述基点不限于感兴趣区域的中心点、可为感兴趣区域中任选的一个点。

作为优选，所述两个拍摄点与感兴趣区域中心点之间的连线为直角，所述连线与底面之间夹角大于45°。

作为优选，对于每个无人机携带的相机，所述相机为感光成像相机；

所述系统还包括相机标定模块，所述相机标定模块用于通过Matlab相机标定工具对无人机携带的相机进行标定，得到的相机标定参数包括内参和畸变参数，并对相机型号进行标定。

本发明的基于无人机的目标检测及目标点定位方法及系统具有以下优点：

1、通过携带相机的无人机对感兴趣区域采集图像，根据采集的图像进行目标物的识别和坐标计算，能够实现对人类或车辆无法轻易到达地方的目标物检测，增加了目标物检测的适用范围，并提高了检测精度；

2、通过普通的具有感光元件的相机即可实现，避免了其它测量设备的使用；

3、通过无人机进行检测，实现了对感兴趣区域的持续监控，无需过多干预，提供随时预警的功能，并可应用于多种不同的领域。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

下面结合附图对本发明进一步说明。

图1为实施例1一种基于无人机的目标检测及目标点定位方法的流程框图；

图2为实施例1一种基于无人机的目标检测方法及目标点定位中拍摄点位置实例图；

图3为实施例1一种基于无人机的目标检测方法及目标点定位中基于相机成像原理计算目标物的三维坐标的算法示例图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定，在不冲突的情况下，本发明实施例以及实施例中的技术特征可以相互结合。

本发明实施例提供基于无人机的目标检测及目标点定位方法及系统，用于解决如何借助无人机实现感兴趣区域的目标探测的技术问题。

实施例1：

本发明一种基于无人机的目标检测及目标点定位方法，通过无人机相机成像数据计算感兴趣区域中目标物的地理坐标，该方法包括如下步骤：

S100、划定感兴趣区域，所述感兴趣区域中具有至少三个标识点；

对于感兴趣区域，划定两个拍摄点，两个拍摄点与感兴趣区域中心点之间的连线存在夹角，在每个拍摄点，通过携带有相机的无人机按照设定拍摄方式进行拍摄，两个拍摄点对应的两个图像中具有至少三个相同的标识点，将相同的标识点作为目标标识点；

对于每个拍摄点，通过对应的无人机对感兴趣区域拍摄一个图像作为基图，并将目标标识点在基图中的坐标作为像素坐标；

S200、对于每个拍摄点，通过对应的无人机对感兴趣区域进行视频拍摄，基于得到的视频流，通过预训练后的目标物识别模型进行目标物检测，从视频流中选取首次出现目标物的图像作为目标图像；

对于每个目标图像，通过对应相机的相机标定参数对所述目标图像进行矫正，并将矫正后的目标图像与对应的基图进行图像配准，并将目标物在目标图像中的一个像素点映射至基图中，将所述像素点在基图中的坐标作为目标物像素坐标；

S300、将每个目标标识点的地理坐标、每个目标标识点对应的像素坐标、每个拍摄点的地理坐标以及每个拍摄点对应的目标物像素坐标作为已知条件，基于相机成像原理计算目标物的三维坐标。

本实施例利用两架无人机不同角度拍摄感兴趣区域视频，进行视频分析感知感兴趣点，并计算感兴趣点的地理坐标。该方法可用于多种应用场景，在军事领域，可用于实弹间瞄打靶，能够及时捕捉炮弹落着点；在民用领域，可用于测绘，能够测量待测区域任一点的地理坐标。

步骤S100为数据采集，该步骤中涉及感兴趣区域的划定、标识点的配置以及拍摄点的确定。

要划定的感兴趣区域，可以是一座建筑物、一个村庄、一座山等等。划定的感兴趣区域中需要有明显的标识点。标识点是指能够明显区分、固定且已知地理坐标(高斯坐标)的点或物。如果划定区域中少于三个标识点，则需要布设标识物，标识物可以是任务物体，满足特征点的性质、数量即可。

划定区域内不同的地形，需要规划不同的布设位置。用标识点形成的平面能够包括大部分划定区域为最佳，例如划定区域内有两个山坡，则需要每个山坡上都有至少三个标识点。

根据感兴趣区域地形，规划两个拍摄点(即无人机拍摄位置)。每个拍摄点和感兴趣区域的中心点之间存在一条连接线，两个拍摄点对应的两个连接线之间需要存在夹角。两条连线夹角为九十度时最佳，连接线与地面夹角大于四十五度时效果较好。如图2无人机拍摄位置示例所示。

本实施例使用无人机携带的相机对感兴趣区域进行拍摄，拍摄多幅棋盘格图像。在拍摄前需要使用MatLab相机标定工具箱对无人机携带的相机进行标定，得到标定参数，标定参数包括内参和畸变参数，后续坐标计算时使用。每台无人机携带的相机都需要进行标定，即使相机型号相同也需要分别标定。

无人机在拍摄点进行拍摄时，需要进行测试，调整相机俯仰角以及焦距，确保拍摄的图像中能够看到不少于三个标识点，且两个无人机拍摄的图像中至少具有三个相同的标识点。

在每个标识点，无人机拍摄一张图像作为基图。取基图中标识点的像素坐标，作为已知条件，暂存基图和标识点信息，后续坐标计算时会使用。此操作导致无人机携带的相机只能定向拍摄，无法自由调整拍摄区域。

无人机需搭载RTK高精差分定位设备，否则会影响计算精度。

步骤S200为目标物检测。在该步骤中设计目标物识别、目标物判断以及目标物像素坐标提取。

在每个拍摄点，通过相机拍摄了多个图像，对于拍摄的多个图像，通过预训练后的目标物识别模型进行预测分析，检测出现在感兴趣区域中目标物。在目标物检测判断过程中，为避免错误情况，可采用连续多次识别的方式，只选择连续出现多次的目标物作为真实目标物。

在每个拍摄点对应的具有目标物的图像中，选择首次出现目标物的图像作为目标图像，通过对应相机的相机标定参数对个对目标图像进行矫正，并通过该预训练后的目标识别模型与矫正后的目标图像进行重新识别，以提高准确性。

对于矫正后的目标图像，选取一个像素点，将矫正后目标图像与对应的基图进行图像配准，配准成功后，将该像素点坐标映射到基图中，得到像素点在基图中的坐标作为目标物像素点坐标。

经过步骤S100和步骤S200操作，现在已知的条件有①三个标识点的地理坐标、两份像素坐标，②两台无人机的地理坐标，③两份烟雾像素坐标。此时变成了一个数学问题。

作为步骤S200的一个具体实施，以起火产生的烟雾为例，对于两个摄像机采集的图像，通过预训练后的烟雾识别模型检测出感兴趣区域中的烟雾。

为了避免识别错误情况，考虑烟雾随时间的变化情况，采取了连续多次识别手段，只选择连续出现多次的烟雾为真实烟雾。

分别获取两个相机对应的视频流中最早出现烟雾的图像，此时烟雾尺寸最小。使用相机标定参数对烟雾图像进行矫正，重新识别矫正后的图像。

取烟雾底部中心点作为烟雾像素坐标。将烟雾图像与基图进行图像配准，配准成功后，将烟雾像素坐标映射到基图中，得到烟雾在基图内的像素坐标，记为烟雾像素坐标。

步骤S300中根据上述已知条件，基于相机成像原理计算目标物的三维坐标。包括如下步骤：

(1)依次从所述多个目标标识点中选取三个目标标识点组成多个三角形平面；

(2)对于每个三角形平面，将每个拍摄点对应的目标物像素点映射至所述三角形平面中、得到对应的感兴趣点；

(3)每个拍摄点和对应的感兴趣点之间形成射线，基于两个拍摄点对应的射线，选取两条射线之间最短距离的中点作为感兴趣点的三维坐标；

(4)对于多个三角形平面对应的三维坐标，选取多个三维坐标的平均值作为目标物的三维坐标。

对于步骤S300坐标计算的一个具体实施，参见图3。对于一张图像来说，它上面的每个点T都对应于实际拍摄时的相机所在位置与T的实际位置所成的一条射线。所以，如果已知了图像上三个标识点的实际坐标T1、T2、T3和相机所在位置的坐标，那么就可以分别得到相机与三个标识点实际位置相连的这三条射线。沿着相机拍摄方向看过去，如果取出一个以相机拍摄方向为法向量，且过点T1的平面H，那么平面H会和三条射线分别交于三个点T11，T12，T13，这三个点可以构成一个三角形。由于上述过程与相机接收光线射在底片上并形成图像的过程存在对应，因此T11、T12、T13形成的三角形应该与T1、T2、T3在图像中对应的三个点P1、P2、P3形成的三角形相似(由于像素或测量误差，这样的平面不一定存在，因此需要使用近似解)。由于P1、P2、P3为已知量，相机拍摄方向为未知量。因此如果想要得到平面H的方程，可以先将平面H的方程设为以相机拍摄方向为参数的表示，之后就可以得到平面与三条射线的交点以相机拍摄方向为参数的表示。之后再应用之前得到的三角形之间的成比例关系，就可以求解出相机的拍摄方向。由相机拍摄方向，就可以确定出平面H，进而确定三条射线与平面H上的交点T11、T12、T13。进而可以求出T11、T12之间的距离，将其与P1、P2进行对比，就可以得到平面H对应于图像的比例关系。对于图像上的要求点Pt，由图像可以得到它在图像上与P1、P2、P3之间的距离，再由先前确定下的平面H与图像的比例关系，就可以得到Pt在平面H上的对应点T1t与T11、T12、T13之间的距离。由于T11、T12、T13已经得到，就可以得出T1t的三维坐标。T1t的实际物理意义为图像上的要求点Pt对应的实际坐标Tt与相机所成的射线，与平面H的交点。因此，由T1t的坐标和相机点的坐标我们就可以得到Tt与相机所成的射线。

因此，对于两张图像来说，就可以分别获得两个相机与感兴趣点Tt所成的射线，进而由这两条射线的交点，就可以得到感兴趣点Tt。由于误差存在，空间中的这两条射线很可能求解出是不相交的，取两条射线距离最近位置的中点作为感兴趣点Tt的三维坐标。

最后输出该感兴趣点的三维坐标。

本实施例中，涉及的地理坐标通过高斯坐标表示。无人机携带的相机拍摄的视频流为1028*720，24FPS，使用两台配备NVIDIA GeForce RTX 2060显卡的笔记本电脑进行视频图像分析。

实施例2：

本发明一种基于无人机的目标检测及目标点定位系统，包括采集点划定模块、无人机、目标检测模块以及坐标计算模块。

采集点划定模块用于划定感兴趣区域，所述感兴趣区域中具有至少三个标识点；用于在感兴趣区域内划定两个拍摄点，所述两个拍摄点与感兴趣区域中心点之间的连线存在夹角，从所述两个拍摄点分别对感兴趣区域进行拍摄，得到的两个图像中具有至少三个相同的标识点。

要划定的感兴趣区域，可以是一座建筑物、一个村庄、一座山等等。划定的感兴趣区域中需要有明显的标识点。标识点是指能够明显区分、固定且已知地理坐标(高斯坐标)的点或物。如果划定区域中少于三个标识点，则需要布设标识物，标识物可以是任务物体，满足特征点的性质、数量即可。

划定区域内不同的地形，需要规划不同的布设位置。用标识点形成的平面能够包括大部分划定区域为最佳，例如划定区域内有两个山坡，则需要每个山坡上都有至少三个标识点。

根据感兴趣区域地形，规划两个拍摄点(即无人机拍摄位置)。每个拍摄点和感兴趣区域的中心点之间存在一条连接线，两个拍摄点对应的两个连接线之间需要存在夹角。两条连线夹角为九十度时最佳，连接线与地面夹角大于四十五度时效果较好。

无人机共两个，每个无人机对应一个拍摄点并携带有相机，无人机需搭载RTK高精差分定位设备，否则会影响计算精度。在每个拍摄点，通过对应的无人机对感兴趣区域进行拍摄，两个拍摄点对应的图像中相同的标识点作为目标标识点。

使用无人机携带的相机对感兴趣区域进行拍摄，拍摄多幅棋盘格图像。在拍摄前需要使用MatLab相机标定工具箱对无人机携带的相机进行标定，得到标定参数，标定参数包括内参和畸变参数，后续坐标计算时使用。每台无人机携带的相机都需要进行标定，即使相机型号相同也需要分别标定。

无人机在拍摄点进行拍摄时，需要进行测试，调整相机俯仰角以及焦距，确保拍摄的图像中能够看到不少于三个标识点，且两个无人机拍摄的图像中至少具有三个相同的标识点。

模板检测模块用于作用于每个无人机拍摄的多个图像，用于选取一个图像作为基图，将目标标识点在基图中的坐标作为像素坐标，并以所述多个图像为输入，通过预训练后的目标物识别模型进行目标物检测，选取首次出现目标物的图像作为目标图像；对于每个目标图像，所述目标检测模块用于通过对应相机的相机标定参数对所述目标图像进行矫正，并将矫正后的目标图像与对应的基图进行图像配准，并将目标物在目标图像中的一个像素点映射至基图中，将所述像素点在基图中的坐标作为目标物像素坐标。

在每个拍摄点，通过相机拍摄了多个图像，对于拍摄的多个图像，模板检测模块通过预训练后的目标物识别模型进行预测分析，检测出现在感兴趣区域中目标物。在目标物检测判断过程中，为避免错误情况，可采用连续多次识别的方式，只选择连续出现多次的目标物作为真实目标物。

在每个拍摄点对应的具有目标物的图像中，选择首次出现目标物的图像作为目标图像，通过对应相机的相机标定参数对个对目标图像进行矫正，并通过该预训练后的目标识别模型与矫正后的目标图像进行重新识别，以提高准确性。

对于矫正后的目标图像，选取一个像素点，将矫正后目标图像与对应的基图进行图像配准，配准成功后，将该像素点坐标映射到基图中，得到像素点在基图中的坐标作为目标物像素点坐标。

坐标计算模块用于将每个目标标识点的地理坐标、每个目标标识点对应的像素坐标、每个拍摄点的地理坐标以及每个拍摄点对应的目标物像素坐标作为已知条件，基于相机成像原理计算目标物的三维坐标。

该坐标计算模块用于通过如下步骤计算坐标：

(1)依次从所述多个目标标识点中选取三个目标标识点组成多个三角形平面；

(2)对于每个三角形平面，将每个拍摄点对应的目标物像素点映射至所述三角形平面中、得到对应的感兴趣点；

(3)每个拍摄点和对应的感兴趣点之间形成射线，基于两个拍摄点对应的射线，选取两条射线之间最短距离的中点作为感兴趣点的三维坐标；

(4)对于多个三角形平面对应的三维坐标，选取多个三维坐标的平均值作为目标物的三维坐标。

该实施例的系统可执行实施例1公开的方法，通过上述方法对感兴趣区域进行目标物检测以及坐标计算。

上文通过附图和优选实施例对本发明进行了详细展示和说明，然而本发明不限于这些已揭示的实施例，基与上述多个实施例本领域技术人员可以知晓，可以组合上述不同实施例中的代码审核手段得到本发明更多的实施例，这些实施例也在本发明的保护范围之内。

Claims (10)

1.一种基于无人机的目标检测及目标点定位方法，其特征在于通过相机成像数据计算感兴趣区域中目标物的地理坐标，所述方法包括如下步骤：

划定感兴趣区域，所述感兴趣区域中具有至少三个标识点；

对于感兴趣区域，划定两个拍摄点，所述两个拍摄点与感兴趣区域中心点之间的连线存在夹角，在每个拍摄点，通过携带有相机的无人机按照设定拍摄方式进行拍摄，两个拍摄点对应的两个图像中具有至少三个相同的标识点，所述相同的标识点作为目标标识点；

对于每个拍摄点，通过对应的无人机对感兴趣区域拍摄一个图像作为基图，并将目标标识点在基图中的坐标作为像素坐标；

对于每个拍摄点，通过对应的无人机对感兴趣区域进行视频拍摄，基于得到的视频流，通过预训练后的目标物识别模型进行目标物检测，从视频流中选取首次出现目标物的图像作为目标图像；

对于每个目标图像，通过对应相机的相机标定参数对所述目标图像进行矫正，并将矫正后的目标图像与对应的基图进行图像配准，并将目标物在目标图像中的一个像素点映射至基图中，将所述像素点在基图中的坐标作为目标物像素坐标；

将每个目标标识点的地理坐标、每个目标标识点对应的像素坐标、每个拍摄点的地理坐标以及每个拍摄点对应的目标物像素坐标作为已知条件，基于相机成像原理计算目标物的三维坐标。

2.根据权利要求1所述的基于无人机的目标检测及目标点定位方法，其特征在于基于相机成像原理计算目标物的三维坐标，包括如下步骤：

依次从所述多个目标标识点中选取三个目标标识点组成多个三角形平面；

对于每个三角形平面，将每个拍摄点对应的目标物像素点映射至所述三角形平面中、得到对应的感兴趣点；

每个拍摄点和对应的感兴趣点之间形成射线，基于两个拍摄点对应的射线，选取两条射线之间最短距离的中点作为感兴趣点的三维坐标；

对于多个三角形平面对应的三维坐标，选取多个三维坐标的平均值作为目标物的三维坐标。

3.根据权利要求1或2所述的基于无人机的目标检测及目标点定位方法，其特征在于所述感兴趣中心点为在感兴趣区域选定的基点，所述基点不限于感兴趣区域的中心点、可为感兴趣区域中任选的一个点。

4.根据权利要求1或2所述的基于无人机的目标检测及目标点定位方法，其特征在于所述两个拍摄点与感兴趣区域中心点之间的连线为直角，所述连线与底面之间夹角大于45°。

5.根据权利要求1或2所述的基于无人机的目标检测及目标点定位方法，其特征在于所述无人机携带有定位设备，且携带的相机为感光成像相机；

通过Matlab相机标定工具对无人机携带的相机进行标定，得到的相机标定参数包括内参和畸变参数，并对相机型号进行标定。

6.一种基于无人机的目标检测及目标点定位系统，其特征在于通过如权利要求1-5任一项所述的基于无人机的目标检测及目标点定位方法进行目标物检测以及定位，所述系统包括：

无人机，所述无人机共两个，每个无人机对应一个拍摄点并携带有相机；

采集点划定模块，所述采集点划定模块用于划定感兴趣区域，所述感兴趣区域中具有至少三个标识点；对于感兴趣区域，所述采集点划定模块用于划定两个拍摄点，所述两个拍摄点与感兴趣区域中心点之间的连线存在夹角；在每个拍摄点，通过携带有相机的无人机按照设定拍摄方式进行拍摄，所述采集点划定模块用于设定每个相机的拍摄方式，满足两个拍摄点对应的两个图像中具有至少三个相同的标识点，所述相同的标识点作为目标标识点；对于每个拍摄点，通过对应的无人机对感兴趣区域拍摄一个图像作为基图，所述采集点划定模块用于将目标标识点在基图中的坐标作为像素坐标；

目标检测模块，所述目标检测模块用于作用于每个无人机拍摄的视频流，用于通过预训练后的目标物识别模型进行目标物检测，用于从视频流中选取首次出现目标物的图像作为目标图像；对于每个目标图像，所述目标检测模块用于通过对应相机的相机标定参数对所述目标图像进行矫正，并将矫正后的目标图像与对应的基图进行图像配准，并将目标物在目标图像中的一个像素点映射至基图中，将所述像素点在基图中的坐标作为目标物像素坐标；

坐标计算模块，所述坐标计算模块用于将每个目标标识点的地理坐标、每个目标标识点对应的像素坐标、每个拍摄点的地理坐标以及每个拍摄点对应的目标物像素坐标作为已知条件，基于相机成像原理计算目标物的三维坐标。

7.根据权利要求6所述的基于无人机的目标检测及目标点定位系统，其特征在于所述坐标计算模块用于通过如下步骤基于相机成像原理计算目标物的三维坐标：

依次从所述多个目标标识点中选取三个目标标识点组成多个三角形平面；

对于每个三角形平面，将每个拍摄点对应的目标物像素点映射至所述三角形平面中、得到对应的感兴趣点；

每个拍摄点和对应的感兴趣点之间形成射线，基于两个拍摄点对应的射线，选取两条射线之间最短距离的中点作为感兴趣点的三维坐标；

对于多个三角形平面对应的三维坐标，选取多个三维坐标的平均值作为目标物的三维坐标。

8.根据权利要求6或7所述的基于无人机的目标检测及目标点定位系统，其特征在于所述感兴趣中心点为在感兴趣区域选定的基点，所述基点不限于感兴趣区域的中心点、可为感兴趣区域中任选的一个点。

9.根据权利要求6或7所述的基于无人机的目标检测及目标点定位系统，其特征在于所述两个拍摄点与感兴趣区域中心点之间的连线为直角，所述连线与底面之间夹角大于45°。

10.根据权利要求6或7所述的基于无人机的目标检测及目标点定位系统，其特征在于对于每个无人机携带的相机，所述相机为感光成像相机；

所述系统还包括相机标定模块，所述相机标定模块用于通过Matlab相机标定工具对无人机携带的相机进行标定，得到的相机标定参数包括内参和畸变参数，并对相机型号进行标定。

Images