CN115079229A - 一种基于单目相机的无人机对地目标定位方法 - Google Patents
一种基于单目相机的无人机对地目标定位方法 Download PDFInfo
- Publication number
- CN115079229A CN115079229A CN202210676514.3A CN202210676514A CN115079229A CN 115079229 A CN115079229 A CN 115079229A CN 202210676514 A CN202210676514 A CN 202210676514A CN 115079229 A CN115079229 A CN 115079229A
- Authority
- CN
- China
- Prior art keywords
- target
- unmanned aerial
- aerial vehicle
- image
- ground
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
- G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
- G01S19/40—Correcting position, velocity or attitude
- G01S19/41—Differential correction, e.g. DGPS [differential GPS]
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
- G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
- G01S19/42—Determining position
- G01S19/43—Determining position using carrier phase measurements, e.g. kinematic positioning; using long or short baseline interferometry
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
- G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
- G01S19/42—Determining position
- G01S19/45—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement
- G01S19/47—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement the supplementary measurement being an inertial measurement, e.g. tightly coupled inertial
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Evolutionary Computation (AREA)
- Theoretical Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于单目相机的无人机对地目标定位方法,包括:场景内的序列影像采集;序列像对几何关系解算;神经网络目标检测;多观测量方程最小二乘目标位置解算。该方法使用单目相机,结合高精度的定位信息、姿态信息及相机的辅助先验信息,采用神经网络检测模型进行目标检测,由多观测量多方程最小二乘解算目标位置。该方法使用的设备小巧,续航增长,目标检测快,精度高,计算量少,可实时计算。能够满足轻量化、无人化、智能化作战辅助,在进行侦查时对目标进行精确定位,具有较高的军事民用价值。
Description
技术领域
本发明涉及一种无人机对地目标定位方法,特别是一种基于单目相机的无人机对地目标定位方法。
背景技术
在军事领域,“无人化”、“智能化”、“便捷化”等新兴作战理念的驱动下,基于无人机的目标定位与打击方式迅猛发展,精准实时目标定位已成为“无人化”作战的核心技术,特别是在战略战术侦查,增强战场态势感知能力,提高武器打击效能等领域有着重要作用。在民用领域,基于无人机的目标定位可以辅助进行海面或陆地运输的监控,自然灾害的救援以及数字化地图测绘等。
利用无人机平台搭载摄像机对侦查区域成像,通过对序列图像的分析和处理实现自主导航与目标定位、实时获取战场的地形地貌对作战具有重要意义。
然而,传统的无人机图像定位是通过双目或者多目相机进行立体像对观测,结合一定数量的地面控制点或测区高精度数字高程模型DEM(Digital Elevation Model)完成,这种解算方式的计算精度高,得到的产品比较丰富。但是这种方式需要布设一定量的像控点,未知参数多,计算量大,解算耗时费力;另外,无人机搭载双目或者多目相机成本较高,功耗较大,不利于长续航,超视距目标跟踪与定位。
发明内容
发明目的:本发明所要解决的技术问题是针对现有技术的不足,提供一种基于单目相机的无人机对地目标定位方法。
为了解决上述技术问题,本发明公开了一种基于单目相机的无人机对地目标定位方法,包括以下步骤:
步骤1,利用搭载实时动态差分(Real-Time Kinematic,RTK)技术和高精度惯性导航(Inertial Measurement Unit,IMU)系统的无人机获取测区的序列影像;
步骤2,根据得到的序列影像的同名特征点及无人机位姿信息确定序列影像的几何关系,对序列影像中的立体像对进行绝对定向,得到序列像对几何关系;
步骤3,利用Yolo-v5神经网络进行目标检测,得到目标像点;
步骤4,根据序列像对几何关系,利用共线条件方程解算目标像点对应的地面点坐标,完成基于单目相机的无人机对地目标定位。
本发明步骤1中采用所述无人机获取测区的序列影像时,通过搭载的实时动态差分技术实时获取无人机成像过程中的位置信息。
本发明步骤1中采用所述无人机获取测区的序列影像时,通过搭载的高精度惯性导航系统实时获取无人机成像过程中的姿态信息。
本发明步骤1中,通过对无人机进行航线规划设计,使得所述获取得到的测区的序列影像为具有重叠度的序列影像。
本发明步骤2中计算得到序列像对几何关系的方法包括:
步骤2-1,将步骤1中获取的序列影像及成像过程中的位姿信息相结合,确定序列影像中的每张相片在成像过程中的位置和姿态信息。
步骤2-2,根据单张相片在成像过程中的位置和姿态信息,恢复序列影像之间的相对位置和姿态,结合位置的实时动态差分位置信息确定立体像对与地面点之间的关系。
本发明步骤3中所述得到目标像点的方法包括:
根据设定目标对Yolo-v5模型进行训练,采用训练好的模型对采集的图像进行实时目标检测,得到目标像点。
本发明步骤4中所述的共线条件方程为:
其中,XS,YS和ZS表示相片成像时投影中心S在地面选定的空间直角坐标系中的坐标值,相片成像时的姿态用ω和κ表示,ω和κ分别为相机主光轴绕Y、Z和X轴旋转的角度;上述六个参数为相片的外方位元素,旋转矩阵R表示与外方位元素的关系,用a1,b1,c1,a2,b2,c2,a3,b3,c3表示旋转矩阵计算结果矩阵各位置上的值,旋转矩阵表示为:
其中,f为摄影机主距,观测量(x,y)为目标在像平面直角坐标系中的坐标;未知量(X,Y,Z)为目标在地面点直角坐标系中的位置。
本发明步骤4中所述利用共线条件方程解算目标像点对应的地面点坐标的方法包括:
根据所述的共线条件方程,一张相片组成两组方程,一对相片组成的立体像对组成四组方程;同一个目标在连续不同的立体像对上同时出现,即可由多观测量组成多个方程,根据最小二乘解算目标精确位置(X,Y,Z),最终完成基于单目相机的无人机对地目标定位。
本发明步骤2中所述的立体像对为序列影像中在不同位置上拍摄,具有重叠度的两张相片,将相邻图像帧作为立体像对。
有益效果:
1.提出了一种使用单目相机的无人机进行对地目标定位方法,该方法能够结合使用RTK(Real-Time Kinematic)、IMU(Inertial Measurement Unit)辅助信息实时进行目标解算。使用单目相机载荷的无人机设备小巧,续航增长,目标检测快,精度高,计算量少,可实时计算,能够满足单目标多目标快速定位。在“无人化”、“智能化”、“便捷化”军民用辅助方面,可以发挥较高的使用价值。
2.引入Yolo-v5快速进行目标检测并进行定位。最新的Yolo-v5神经网络检测模型,图像检测速度可达到140帧,引入该方法能够实时进行目标的检测,结合序列像对几何关系可以实现实时解算目标位置。
附图说明
下面结合附图和具体实施方式对本发明做更进一步的具体说明,本发明的上述和/或其他方面的优点将会变得更加清楚。
图1为本发明的流程图。
图2为序列影像采集时重叠度示意图。
图3为单张影像在空间中位置与姿态示意图。
图4为序列影像中立体像对在空间中的位置与姿态及与地面点的关系示意图。
具体实施方式
为了便于理解本发明,下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的较佳实施方式。但是,本发明可以以许多不同的形式来实现,并不限于本文所描述的实施方式。相反地,提供这些实施方式的目的是使对本发明的公开内容理解的更加透彻全面。
一种基于单目相机的无人机对地目标定位方法,如图1所示,包括以下步骤:
步骤1,利用搭载实时动态差分RTK(Real-Time Kinematic)技术和高精度惯性导航IMU(Inertial Measurement Unit)系统的无人机获取测区的序列影像;
搭载了实时动态差分RTK(Real-Time Kinematic)技术的无人机,能够实时获取无人机成像过程中的位置信息;搭载了高精度惯性导航IMU(Inertial Measurement Unit)系统的无人机,能够实时获取无人机成像过程中的姿态信息。如图2所示,序列影像间重叠度对目标定位解算精度有一定的影响,为此需保证序列影像间重叠度80%左右。为了使序列影像成图的比例尺一致,无人机飞行过程中应保持航高一定。
根据测区实际情况进行合理的航线规划设计,保持一定航高,获取测区具有一定重叠度的序列影像。
步骤2,根据序列影像的同名特征点及无人机位姿信息确定序列影像的几何关系,完成立体像对的绝对定向;
确定像片摄影瞬间在地面直角坐标系中空间位置和姿态的参数,称为像片的外方位元素。一张像片有六个外方位元素,其中三个是描述摄影中心S空间位置的坐标值,称为直线元素(XS,YS,Zs)。另外三个是表述摄影光束空间姿态的三个角元素(ω,κ),空间表示如图3所示。
在图3中,O-XYZ为地面空间直角坐标系,即求解目标在该空间直角坐标系中的位置;S-XYZ为像空间辅助坐标系,S为摄影中心,(XS,YS,ZS)为摄影中心在地面空间直角坐标系中的位置,o-xy为像平面直角坐标系,(ω,κ)为像平面绕着S-XYZ坐标系各轴旋转的一定角度。
结合步骤1中获取的序列影像,包含了成像过程中的RTK(Real-Time Kinematic)获取的位置信息和IMU(Inertial Measurement Unit)获取的成像姿态,这样就得到了成像过程中的序列影像的位姿信息,其中根据RTK(Real-Time Kinematic)观测值可以计算得到摄影中心S的位置坐标,根据IMU(Inertial Measurement Unit)的结果可以得到摄影光束空间姿态的三个角元素,由此够确定每张相片在成像过程中精确的位置和姿态,如图3所示。
根据单张影像的位姿信息,就能够恢复影像对之间相对位置和姿态,也就能够确定立体像对与地面点之间的关系,如图4所示。
其中,O-XYZ为地面空间直角坐标系,A为地面点,相片P1、P2为无人机拍摄的覆盖该区域的影像,通过外方位元素恢复像对的空间位置和姿态关系如图4所示,S-xyz为像空间直角坐标系,S为摄影中心,o-xy为像平面直角坐标系,a1、a2分别为地面点A在相片P1、P2上的位置。
步骤3,利用Yolo-v5神经网络进行目标检测(参考:张宏群,班勇苗,郭玲玲,金云飞,陈檑.基于YOLOv5的遥感图像舰船的检测方法[J].电子测量技术,2021,44(08):87-92.DOI:10.19651/j.cnki.emt.2106199.以及参考:Yang F.A Real-Time Apple TargetsDetection Method for Picking Robot Based on Improved YOLOv5[J].RemoteSensing,2021,13.);
前期根据兴趣目标对Yolo-v5模型进行训练,运用训练好的模型对采集的图像进行实时目标检测。
步骤4,根据序列像对几何关系,利用共线条件方程解算目标像点对应的地面点坐标。
成像理论表明在理想状态下,像点、摄影中心、物点位于同一条直线上,以此建立起来的像点、摄影中心、物点的数学表达式关系称为共线方程。其中共线方程可以表示为:
其中,(XS,YS,ZS)表示相片成像时投影中心S在地面选定的空间直角坐标系中的坐标值,相片成像时的姿态用ω,κ表示,此六个参数为相片的外方位元素,在步骤2中得知外方位元素通过RTK(Real-Time Kinematic)和IMU(Inertial Measurement Unit)获得,外方位元素与上式中a1,b1,c1,a2,b2,c2,a3,b3,c3的转换关系如下所示:
f为摄影机主距,观测量(x,y)为目标在像平面直角坐标系中的坐标。
待定值(X,Y,Z)是目标点在地面直角坐标系中的位置。一张相片能够组成两组方程,一对序列像对就能够组成四组方程,同一个目标在连续不同的立体像对上同时出现,即可由多观测量组成多个方程,从而可以根据最小二乘解算出目标点待定值(X,Y,Z)的值。
具体实现中,本申请提供计算机存储介质以及对应的数据处理单元,其中,该计算机存储介质能够存储计算机程序,所述计算机程序通过数据处理单元执行时可运行本发明提供的一种基于单目相机的无人机对地目标定位方法的发明内容以及各实施例中的部分或全部步骤。所述的存储介质可为磁碟、光盘、只读存储记忆体(read-only memory,ROM)或随机存储记忆体(random access memory,RAM)等。
本领域的技术人员可以清楚地了解到本发明实施例中的技术方案可借助计算机程序以及其对应的通用硬件平台的方式来实现。基于这样的理解,本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机程序即软件产品的形式体现出来,该计算机程序软件产品可以存储在存储介质中,包括若干指令用以使得一台包含数据处理单元的设备(可以是个人计算机,服务器,单片机。MUU或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
本发明提供了一种基于单目相机的无人机对地目标定位方法的思路及方法,具体实现该技术方案的方法和途径很多,以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。
Claims (10)
1.一种基于单目相机的无人机对地目标定位方法,其特征在于,包括以下步骤:
步骤1,利用搭载实时动态差分技术和高精度惯性导航系统的无人机获取测区的序列影像;
步骤2,根据得到的序列影像的同名特征点及无人机位姿信息确定序列影像的几何关系,对序列影像中的立体像对进行绝对定向,得到序列像对几何关系;
步骤3,利用Yolo-v5神经网络进行目标检测,得到目标像点;
步骤4,根据序列像对几何关系,利用共线条件方程理论,由观测量组成方程,通过最小二乘解算目标像点对应的地面点坐标,完成基于单目相机的无人机对地目标定位。
2.根据权利要求1所述的一种基于单目相机的无人机对地目标定位方法,其特征在于,步骤1中采用所述无人机获取测区的序列影像时,通过搭载的实时动态差分技术实时获取无人机成像过程中的位置信息。
3.根据权利要求2所述的一种基于单目相机的无人机对地目标定位方法,其特征在于,步骤1中采用所述无人机获取测区的序列影像时,通过搭载的高精度惯性导航系统实时获取无人机成像过程中的姿态信息。
4.根据权利要求3所述的一种基于单目相机的无人机对地目标定位方法,其特征在于,步骤1中,通过对无人机进行航线规划设计,使得所述获取得到的测区的序列影像为具有重叠度的序列影像。
5.根据权利要求4所述的一种基于单目相机的无人机对地目标定位方法,其特征在于,步骤2中计算得到序列像对几何关系的方法包括:
步骤2-1,将步骤1中获取的序列影像及成像过程中的位姿信息相结合,确定序列影像中的每张相片在成像过程中的位置和姿态信息。
6.根据权利要求5所述的一种基于单目相机的无人机对地目标定位方法,其特征在于,步骤2中计算得到序列像对几何关系的方法包括:
步骤2-2,根据单张相片在成像过程中的位置和姿态信息,恢复序列影像之间的相对位置和姿态,结合位置的实时动态差分位置信息确定立体像对与地面点之间的关系。
7.根据权利要求6所述的一种基于单目相机的无人机对地目标定位方法,其特征在于,步骤3中所述得到目标像点的方法包括:
根据设定目标对Yolo-v5模型进行训练,采用训练好的模型对采集的图像进行实时目标检测,得到目标像点。
9.根据权利要求8所述的一种基于单目相机的无人机对地目标定位方法,其特征在于,步骤4中所述利用共线条件方程解算目标像点对应的地面点坐标的方法包括:
根据所述的共线条件方程,一张相片组成两组方程,一对相片组成的立体像对组成四组方程;同一个目标在连续不同的立体像对上同时出现,即可由多观测量组成多个方程,根据最小二乘解算目标精确位置(X,Y,Z),最终完成基于单目相机的无人机对地目标定位。
10.根据权利要求9所述的一种基于单目相机的无人机对地目标定位方法,其特征在于,步骤2中所述的立体像对为序列影像中在不同位置上拍摄,具有重叠度的两张相片,将相邻图像帧作为立体像对。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210676514.3A CN115079229A (zh) | 2022-06-15 | 2022-06-15 | 一种基于单目相机的无人机对地目标定位方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210676514.3A CN115079229A (zh) | 2022-06-15 | 2022-06-15 | 一种基于单目相机的无人机对地目标定位方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115079229A true CN115079229A (zh) | 2022-09-20 |
Family
ID=83253742
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210676514.3A Pending CN115079229A (zh) | 2022-06-15 | 2022-06-15 | 一种基于单目相机的无人机对地目标定位方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115079229A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117710436A (zh) * | 2024-02-06 | 2024-03-15 | 唐山百川智能机器股份有限公司 | 一种基于无人机载单目相机的闸瓦厚度检测方法 |
-
2022
- 2022-06-15 CN CN202210676514.3A patent/CN115079229A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117710436A (zh) * | 2024-02-06 | 2024-03-15 | 唐山百川智能机器股份有限公司 | 一种基于无人机载单目相机的闸瓦厚度检测方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106780699B (zh) | 一种基于sins/gps和里程计辅助的视觉slam方法 | |
CN109360240B (zh) | 一种基于双目视觉的小型无人机定位方法 | |
CN109631887B (zh) | 基于双目、加速度与陀螺仪的惯性导航高精度定位方法 | |
US11120560B2 (en) | System and method for real-time location tracking of a drone | |
CN111156998A (zh) | 一种基于rgb-d相机与imu信息融合的移动机器人定位方法 | |
CN109579825B (zh) | 基于双目视觉和卷积神经网络的机器人定位系统及方法 | |
CN107438752A (zh) | 定位方法、终端和服务器 | |
US20140376821A1 (en) | Method and system for determining position and/or orientation | |
CN110319772B (zh) | 基于无人机的视觉大跨度测距方法 | |
CN107560603B (zh) | 一种无人机倾斜摄影测量系统及测量方法 | |
CN109631876B (zh) | 一种基于单相机导航影像的巡视探测器定位方法 | |
CN109087355B (zh) | 基于迭代更新的单目相机位姿测量装置与方法 | |
CN112116651B (zh) | 一种基于无人机单目视觉的地面目标定位方法和系统 | |
CN107192376A (zh) | 基于帧间连续性的无人机多帧图像目标定位校正方法 | |
CN114216454A (zh) | 一种gps拒止环境下基于异源图像匹配的无人机自主导航定位方法 | |
CN107067437A (zh) | 一种基于多视几何和光束法平差的无人机定位系统及方法 | |
CN102519436A (zh) | 一种ce-1立体相机与激光高度计数据联合平差方法 | |
CN112136137A (zh) | 一种参数优化方法、装置及控制设备、飞行器 | |
CN108594255B (zh) | 一种激光测距辅助光学影像联合平差方法及系统 | |
CN110887486A (zh) | 一种基于激光线辅助的无人机视觉导航定位方法 | |
CN115079229A (zh) | 一种基于单目相机的无人机对地目标定位方法 | |
Xian et al. | Fusing stereo camera and low-cost inertial measurement unit for autonomous navigation in a tightly-coupled approach | |
CN113155126B (zh) | 一种基于视觉导航的多机协同目标高精度定位系统及方法 | |
US11037018B2 (en) | Navigation augmentation system and method | |
CN115578417A (zh) | 一种基于特征点深度的单目视觉惯性里程计方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |