CN115597592A - 一种应用于无人机巡检的综合定位方法 - Google Patents
一种应用于无人机巡检的综合定位方法 Download PDFInfo
- Publication number
- CN115597592A CN115597592A CN202211133710.2A CN202211133710A CN115597592A CN 115597592 A CN115597592 A CN 115597592A CN 202211133710 A CN202211133710 A CN 202211133710A CN 115597592 A CN115597592 A CN 115597592A
- Authority
- CN
- China
- Prior art keywords
- positioning
- unmanned aerial
- aerial vehicle
- image
- gps
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 83
- 238000007689 inspection Methods 0.000 title claims abstract description 19
- 238000012795 verification Methods 0.000 claims abstract description 31
- 230000008569 process Effects 0.000 claims description 15
- 238000010586 diagram Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 7
- 238000009434 installation Methods 0.000 claims description 3
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 238000012360 testing method Methods 0.000 abstract description 2
- 239000011159 matrix material Substances 0.000 description 19
- 230000009466 transformation Effects 0.000 description 19
- 230000006870 function Effects 0.000 description 13
- 238000004364 calculation method Methods 0.000 description 12
- 238000013507 mapping Methods 0.000 description 8
- 239000013598 vector Substances 0.000 description 8
- 239000000725 suspension Substances 0.000 description 6
- 238000000605 extraction Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000001914 filtration Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000010845 search algorithm Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
- G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
- G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
- G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
- G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
- G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
- G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
- G01C21/1656—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with passive imaging devices, e.g. cameras
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
- G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
- G01S19/42—Determining position
- G01S19/45—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
- G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
- G01S19/42—Determining position
- G01S19/45—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement
- G01S19/47—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement the supplementary measurement being an inertial measurement, e.g. tightly coupled inertial
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Computer Networks & Wireless Communication (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种应用于无人机巡检的综合定位方法，它包括如下步骤，第一步，在无人机中预置综合定位系统和安装照相系统，所述的定位系统包括：GPS定位模块、图像比对定位模块和惯性导航定位模块；其中图像比对定位模块内预存有无人机巡检区域前期飞行采集的图像信息；具体定位时采用多种定位方法对无人机进行定位操作，用高可信度的定位方式校验高准确度的定位方式。如果校验通过，采用高准确度的定位；如果检验不通过，采用高可信度的定位。本发明具有可以使无人机在GPS暂时不可用或是被干扰时，仍然可以结合图像比对定位模块和惯性导航定位模块实现精确定位的有益效果。
Description
技术领域
本发明涉及无人机的定位技术领域，具体是指一种应用于无人机巡检的综合定位方法。
背景技术
目前无人机的运用越来越广泛，但在某些使用场合或是某种使用状态下，由于传统传感器的通信和感知能力的限制，或者是受到了来自外界环境的信号干扰，使得无人机无法准确地知晓自己当前所处的位置并正常工作。特别是针对巡检的无人机，如在边境等受到管制地区巡检时，GPS受到干扰或暂时失灵时，如果没有其他定位方法，无人机很可能会丢失。
目前，针对无人机在GPS信号暂时失灵时的定位问题，现有技术中提出了包括惯性导航方法，惯导和GPS组合导航的方法，惯导和视觉组合导航的方法这三种主流方法，但本专利申请人通过实践发现，上述三种方法仍然无法完全满足无人机在GPS暂时失灵时的精确定位要求。尤其对于无人机巡检，具有定期重复采集巡检区域图像信息的特点，利用对巡检区域前期飞行采集的图像信息进行比对定位具有独特的优势。
以惯性导航方法为例：惯导能对目标的位姿进行估计，其中惯导能对其获得的线加速度和角速度进行二次积分，得到目标在三维空间中的位置和姿态估计。这种方法短时间内的精度很高，但存在很大的累积误差。因此单独采用惯导系统不能很好的保证无人机的长时间的高精度导航，需要其他传感器信息对其进行修正，且对硬件的精度要求高。
以惯导和GPS组合导航的方法为例：以惯导误差方程和GPS误差方程为基础建立系统方程和观测方程，并以惯导位置和GPS位置的差作为观测量。基于上述系统方程、观测方程和观测量进行卡尔曼滤波，从而实现惯导和GPS测量的数据融合。但是在使用时，GPS卫星信号如果暂时不可用，或是GPS卫星信号被欺骗和干扰时，加上普通的惯性测量元件存在精度低和严重漂移的问题，这种导航方法将不能满足无人机的更高的导航需求。
以视觉导航的方法为例：视觉传感器具有采集信息丰富、重量轻、价格低和易与其他传感器融合等优势，可以在没有GPS条件下，为位置、姿态提供修正。但是在拍摄纹理少的图像或由于传感器的快速移动而导致图像模糊时，会而导致无人机的定位精度降低，同时视觉信息所需要存储空间及处理器的运算能力都很高，会增加无人机本身的载荷和耗电。
综上所述，目前所采用的几种主流用于无人机的综合定位方法仍然存在当GPS暂时不可用或是被干扰时，无法精准的实现定位的不足之处。尤其对于无人机巡检，目前未有联合GPS定位、惯导定位和采用定期重复采集巡检区域的图像信息进行比对定位的综合定位方法。
发明内容
本发明要解决的技术问题是，提供一种当GPS暂时不可用或是被干扰时，仍然可以精准的实现定位的一种应用于无人机巡检的综合定位方法。
为解决上述技术问题，本发明提供的技术方案为：一种应用于无人机巡检的综合定位方法，它包括如下步骤。
第一步，在无人机中预置综合定位系统和安装照相系统，所述的定位系统包括：GPS定位模块、图像比对定位模块和惯性导航定位模块；其中图像比对定位模块内预存有无人机巡检区域前期飞行采集的图像信息。
第二步，当无人机启用定位系统时，先尝试使用GPS定位模块进行定位，如果可以正常获得当前GPS定位信息，则直接选用GPS定位模块；同时在无人机飞行过程中通过无人机上的照相系统同步获取无人机下方的图像；如果无法正常获得当前GPS定位信息，直接尝试图像比对定位法来定位位置；同时不论GPS定位信息是否正常，无人机始终同步运行惯性导航系统。
第三步，采用图像比对定位方法来校验GPS位置；如果通过校验，则确定当前位置为GPS定位位置；如果没有通过校验，则直接选用图像比对定位模块来定位位置。
第四步，如果上两步中选定是图像比对定位模块来定位位置，则在获取定位信息时，获取一直同步运行的惯性导航系统的定位信息，并用惯性导航系统的定位信息来校验图像比对定位，如果校验通过，则确定当前位置为图像比对定位位置，如果校验不通过，则确定当前位置为惯性导航系统的定位位置。
作为优选，所述的图像比对定位模块所采用的定位法包括如下步骤。
第一步，在GPS定位系统正常的情况下，通过无人机上自带的相机获取无人机所需要巡检的路线上的全部图像信息；或者通过卫星或是航拍飞机获取无人机所需要巡检的路线上的全部图像信息。
第二步，将所获取的图像信息拼接成一张总图，同时通过算法处理，将拼接后的图像上的像素单元与其对应的GPS位置信息建立数据库。
第三步，当无人机需要启用图像比对定位时，先由无人机拍下当前位置下方的实时照片，然后由处理系统从照片中选择一定的像素区域，再将像素区域与第二步中的总图进行比对，锁定像素区域在总图中的具体位置，然后通过总图中每个像素单元对应的GPS位置信息锁定无人机所获取的像素区域对应的GPS位置信息。
作为优选，在通过无人机上自带的相机获取无人机所需要巡检的路线上的全部图像信息时，引入多场景，即在白天日照清晰时获取一遍图像，然后分别在阴天，雨天，雪天，雾天，获取相应的场景图像，当采用图像定位时，先结合当时的天气信息进行场景识别，选定对应场景数据库，然后进行图像比对定位。
作为优选，所述的校验采用定时检验法，校验周期在1秒至10秒之间，校验采用如下公式进行：
其中，Δd为校验时两种定位方式间偏差，
和
分别为两种定位方式的平均定位误差，k为校验控制系数，取值区间为[1,3]。
作为优选，所述的校验控制系数k＝2。
采用上述结构后，本发明具有如下有益效果：创造性的采用多种定位方法对无人机进行定位操作。用高可信度的定位方式校验高准确度的定位方式。如果校验通过，采用高准确度的定位；如果检验不通过，采用高可信度的定位；从而使无人机在GPS暂时不可用或是被干扰时，仍然可以结合图像比对定位模块和惯性导航定位模块实现无人机的精确定位。
附图说明
图1是本发明中应用于无人机巡检的综合定位方法的流程示意图。
图2是本发明中图像比对定位模块所采用的定位法的流程示意图。
具体实施方式
下面结合附图对本发明做进一步的详细说明。
结合附图1，一种应用于无人机巡检的综合定位方法，它包括如下步骤。
第一步，在无人机中预置综合定位系统和安装照相系统，所述的定位系统包括：GPS定位模块、图像比对定位模块和惯性导航定位模块；其中图像比对定位模块内预存有无人机巡检区域前期飞行采集的图像信息。所述的惯性导航定位模块采用基于惯导参数和上一时刻位置计算当前位置的惯性导航定位法。
第二步，当无人机启用定位系统时，先尝试使用GPS定位模块进行定位，如果可以正常获得当前GPS定位信息，则直接选用GPS定位模块；同时在无人机飞行过程中通过无人机上的照相系统同步获取无人机下方的图像；如果无法正常获得当前GPS定位信息，直接尝试图像比对定位法来定位位置；同时不论GPS定位信息是否正常，无人机始终同步运行惯性导航系统。
第三步，采用图像比对定位方法来校验GPS位置；如果通过校验，则确定当前位置为GPS定位位置；如果没有通过校验，则直接选用图像比对定位模块来定位位置。
第四步，如果上两步中选定是图像比对定位模块来定位位置，则在获取定位信息时，获取一直同步运行的惯性导航系统的定位信息，并用惯性导航系统的定位信息来校验图像比对定位，如果校验通过，则确定当前位置为图像比对定位位置，如果校验不通过，则确定当前位置为惯性导航系统的定位位置。
作为优选，所述的图像比对定位模块所采用的定位法包括如下步骤。
第一步，在GPS定位系统正常的情况下，通过无人机上自带的相机获取无人机所需要巡检的路线上的全部图像信息；或者通过卫星或是航拍飞机获取无人机所需要巡检的路线上的全部图像信息。
第二步，将所获取的图像信息拼接成一张总图，同时通过算法处理，将拼接后的图像上的像素单元与其对应的GPS位置信息建立数据库。
第三步，当无人机需要启用图像比对定位时，先由无人机拍下当前位置下方的实时照片，然后由处理系统从照片中选择一定的像素区域，再将像素区域与第二步中的总图进行比对，锁定像素区域在总图中的具体位置，然后通过总图中每个像素单元对应的GPS位置信息锁定无人机所获取的像素区域对应的GPS位置信息。
作为优选，在通过无人机上自带的相机获取无人机所需要巡检的路线上的全部图像信息时，引入多场景，即在白天日照清晰时获取一遍图像，然后分别在阴天，雨天，雪天，雾天，获取相应的场景图像，当采用图像定位时，先结合当时的天气信息进行场景识别，选定对应场景数据库，然后进行图像比对定位。
上述方案在具体实施时，定位校验优先采用定时校验，原则上校验周期越短，定位效果越好。但图像比对定位处理时间需要考虑无人机上计算能力，综合考虑无人机的飞行速度，校验周期通常可设置为1秒至10秒范围。
不同定位方式间的校验采用如下公式进行：
其中，Δd为校验时两种定位方式间偏差，
和
分别为两种定位方式的平均定位误差，k为校验控制系数，通常取值区间为[1,3]，作为优选，设置k＝2。
通常需根据无人机上安装的定位设备配置其定位误差。目前，常用的民用GPS定位精度约为10米；惯导定位精度采用累积误差计算，常用惯导定位设备累积误差约为2km/h，其定位误差需根据设置的校验周期计算；图像比对定位需根据算法的计算误差和图像像素位置精度综合计算。
进一步结合附图2，本专利申请在具体实施时，所述的图像比对定位模块所采用的定位法可以参照如下实施例进行实施。
1.定位基准图像及其插值函数的获取，对于经常性进行例行巡线飞行的无人机，在同一路线或地域可能要反复多次飞行巡查，可利用正射影方式连续拍摄该地域的地貌特征。在获取正射影图像时，应尽可能确保任意相邻两张照片存在四分之一以上重叠区域，这样有利于进行巡线地域的正射影图像拼接。在得到整个巡线地域的正射影图像集后，利用现有的基于最佳缝合线的图像拼接算法进行图像拼接，得到巡线飞行地域的地貌特征正射影拼接图像，把此拼接图像作为定位基准图像。
为了建立定位基准图像的各像素点与实际地理经纬度的映射关系，需要无人机在巡线地域的某些地点进行悬停正摄影，并记录当前位置的GPS经纬度信息。这些悬停点应尽量选择均匀分布在巡线地域内，并且保证悬停点的密度合适，以保证后续构建线性插值函数模型的精确度。在进行悬停正射影时，认定正射影图像的中心像素点的地理坐标就是当时记录的GPS经纬度坐标gps(long,lat)。在图像拼接过程中，对于悬停点正射影图像除了通过投影变换进行图像拼接，其中心点的像素坐标也要点乘投影变换矩阵，得到拼接后所对应的像素点坐标位置，我们把这些像素点称为拼接图像的控制点(二维像素坐标p(x,y))。在拼接完成的定位基准图像中，均匀分布的每一个控制点都会映射一个地理经纬度，那么可以形成一个控制点与经纬度映射的集合。
采用双线性插值方法对控制点与经纬度的映射集合进行从经纬度坐标到定位基准图像上像素坐标的线性插值，其中双线性插值是对定位基准图像在x方向和y方向分别进行线性插值，就可以计算得到一个正向插值函数模型。同样，采用双线性插值方法对映射集合进行从定位基准图像上像素坐标到经纬度坐标的线性插值，计算得到一个反向插值函数模型。利用此正、反插值函数模型，在巡线地域内任意给定一个经纬度坐标，均可以在定位基准图像上插值得到一个对应的像素坐标点，反之亦可。由于无人机悬停时存在大气湍流，并不能完全保证各正射影图像中心点所对应的GPS位置正好是无人机悬停点的地理位置，即控制点经纬度与实际的经纬度会存在一定的偏差。此外，在获取控制点GPS位置信息时，GPS系统本身也可能存在一定的系统误差，利用线性插值方法能一定程度抑制插值过程中出现的误差。
2.无人机图像匹配定位基本方法，以无人机起飞点的GPS位置作为初始输入，利用正向插值函数在已完成拼接的定位基准图上插值计算得到无人机的粗略像素坐标。由于无人机一直处于移动飞行之中，在某一时间片内会有一定的航向和航速，这两个参数可以由惯导系统提供，也可以由无人机前一时间片内的位移及其历时来初步推断得到。根据无人机在基准图的像素坐标、无人机当前航向与航速、基准图像素与实际地理距离之间的换算比例，可以大致预测无人机当前位置所处于的图像区域。为了兼顾图像匹配过程的速度和精度，可以以无人机预测位置为中心在定位基准图像中切分出一块缩小范围的基准匹配图像，用于后续的图像匹配定位。该基准匹配图像的尺寸一般可选取为无人机航拍图像尺寸的1.5倍。
基于SURF或SIFT图像匹配算法，将无人机数当前的实时正射影图像与基准匹配图像进行图像特征点匹配，得出一组3×3投影变换矩阵。将当前正射影图像的中心点坐标与投影变换矩阵点乘，可计算得到在基准匹配图像上对应的像素位置，然后根据该缩小范围的基准匹配图像在原基准图像的参考位置，又可在原基准图像中确定无人机实时正射影图像中心点所映射的像素坐标，称其为基准图配准像素坐标。在基准图像素能支持的定位精度条件下，可将此像素坐标认为是无人机在基准图上的实时位置。相比于利用惯导系统给出的航向与航速来预测无人机实时位置，采用图像特征匹配算法可精确定位无人机位置，并可用于以修正初始给定位置偏差或惯导系统的累积误差。
在得到无人机实时正射影图像的基准图配准像素坐标后，再利用反插值函数，逆向插值得出当前无人机实时的经纬度位置信息。接下来，此经纬度位置又可作为下一轮匹配定位的初始位置，重复先前的图像匹配定位过程，不断周期性循环在定位基准图像上获取无人机的最新地理位置，从而无人机无需借助于GPS系统而仅利用图像匹配定位方式进行导航。
上述方法中所述的双线性插值方法即面向像素坐标与地理经纬度转换的双线性插值的方法如下：
先仅考虑从纬度lat向像素纵坐标py转换的正向线性插值过程，对于一系列按从小到大顺序排列的纬度集合{Lat0,Lat1,Lat2,…Latn-1,Latn}，存在映射的像素纵坐标集合{Py0,Py1,Py2,…Pyn-1,Pyn}。按照线性插值算法，对于落于(Lati-1,Lati)区间的某一纬度lat，有一个线性插值函数
来求取对应的像素纵坐标py：
这些线性插值函数可以构成一个从纬度lat向像素纵坐标py转换的正向插值函数集合
在进行插值计算时，只需先判当前断纬度位于哪个纬度区间，然后利用与该区间相关的插值函数来计算对应的像素纵坐标。对于从经度long向像素纵坐标px转换的正向线性插值过程,以及像素坐标向经纬度转换的反向线性插值过程均可采用此方式。
上述方法中，基于SIFT或SURF特征点提取的图像匹配算法的具体实施方案如下：图像匹配是将同一场景拍摄的不同图像进行对齐和配准的技术，即找到图像之间的点、边缘、轮廓等特征之间的映射关系，或者使某种感兴趣的图像特征之间建立起关联。在所有图像配准方法中，基于点特征的图像配准是可行性最高的一种方法。从人类视觉角度考虑，特征点能够表达曲线上足够的信息来描述图像中物体的轮廓特征，边缘点、角点、交叉点等均可作为特征点来进行图像配准。基于特征点的图像匹配方法可分为图像特征点的提取、特征点对的搜索与匹配、投影变换矩阵的计算、待配准图像向基准图像的投影变换四个基本流程。
(1)基于SIFT和SURF的图像特征点提取
在计算机视觉领域中，SIFT和SURF两个经典算法是目前用于待配准图像间特征点提取的比较行之有效的算法，被广泛应用于图像识别和配准领域。
尺度不变换特征变换(Scale invariant feature Transform,SIFT)是一种用来检测和描述图像中的局部性特征的算法，它由David Lowe在1999年提出并在2004年完善总结，算法专利拥有者为英属哥伦比亚大学。SIFT算法的实质是在不同的尺度空间上查找特征点，并计算提取出其位置、尺度、旋转不变量等信息。SIFT所查找到的目标特征点是一些十分突出，且不会因光照，旋转、缩放、视角改变和噪声干扰等因素而变化的点，如角点、边缘点、暗区的亮点及亮区的暗点等。SIFT算法可分解为如下四步：
①尺度空间极值检测：搜索所有尺度上的图像位置。通过Gaussian差分函数来识别潜在的对于尺度和旋转不变的特征点。
②特征点定位：在每个候选的位置上，通过一个拟合精细的模型来确定位置和尺度。特征点的选择依据于它们的稳定程度。
③方向确定：基于图像局部的梯度方向，分配给每个特征点位置一个或多个方向。所有后面的对图像数据的操作都相对于特征点的方向、尺度和位置进行变换，从而提供对于这些变换的不变性。
④特征点描述：在每个特征点周围的邻域内，在选定的尺度上测量图像局部的梯度。这些梯度被变换成一种表示，这种表示允许比较大的局部形状的变形和光照变化。
加速稳健特征(Speeded Up Robust Features,SURF)算法是对SIFT算法的一种改进，主要特点是使计算速度更快。相比于SIFT算法，SURF算法主要有以下几点不同处理：
①SIFT在构造Gaussian差分金字塔以及求Hessian差分函数的局部空间极值比较耗时，SURF的改进是使用Hessian矩阵变换图像，极值的检测只需计算Hessian矩阵行列式，作为进一步优化，使用一个简单的方程可以求出Hessian行列式近似值，使用盒状滤波求Gaussian模糊近似值。
②SUR不使用降采样，通过保持图像大小不变，但改变盒状滤波器的大小来构建尺度金字塔。
③在计算关键点主方向以及特征点周边像素方向的方法上，SURF不使用直方图统计，而是使用haar小波转换。SIFT的关键点描述符达到128维，导致计算比较耗时，SURF使用haar小波转换得到的方向，让SURF的关键点描述符降到64维，减少了一半，提高了匹配速度。
SIFT算法被认为是最有效的，也是最常用的特征点提取的算法，但如果不借助于硬件的加速和专用图像处理器的配合，SIFT算法以现有的计算机仍然很难达到实时的程度。对于需要实时运算的场合，如基于特征点匹配的实时目标跟踪系统，每秒要处理8-24帧的图像，需要在毫秒级内完成特征点的搜索、特征矢量生成、特征矢量匹配、目标锁定等工作，SIFT算法就比较难以适应这种需求。SURF借鉴了SIFT中简化近似的思想，把Hessian差分函数中的Gaussian二阶微分模板进行了简化，使得模板对图像的滤波只需要进行几个简单的加减法运算，并且这种运算与滤波器的尺度无关。
(2)相邻图像特征点的匹配搜索；在计算机视觉和机器学习中，对于大数据集和高维度特征，找到训练数据中的最近邻计算代价是昂贵的。快速最近邻搜索算法库(FastLibrary for Approximate Nearest Neighbors,FLANN)是一个对大数据集和高维度的特征集进行最近邻搜索的优化算法集合，在面对大数据集时它的效果要好于简单的暴力匹配算法。对于本课题所针对的无人机航拍图像，存在视场覆盖区域大、包含的目标物复杂、提取出的特征点数量庞大等特点，在FLANN算法库中最有效的方法是采用随机K-D树算法和优先搜索K-Means树算法来进行相邻图像的特征点匹配搜索过程。但对于需要高精度的匹配情形，优先搜索K-Means树算法比随机K-D树算法要更加有效。K-Means树能利用数据的固有结构信息，可根据数据的所有维度进行聚类，具体算法可分为以下两个过程：
过程1--建立优先搜索K-Means树：
①建立一个层次化的K-Means树；
②每个层次的聚类中心，作为树节点；
③当某个cluster内的点数小于K时，则这些数据节点将作为叶节点。
过程2--在优先搜索K-Means树中进行搜索：
①从根节点N开始检索；
②如果是N叶节点，则将同层次的叶节点都加入到搜索结果中，count＝count+|N|；
③如果N不是叶节点，则将它的子节点与查询节点Q进行比较，找出最近的节点Cq，同层次的其它节点加入到优先队列中；
④对Cq节点进行递归搜索；
⑤如果优先队列不为空且count<L，就从优先队列取第一个元素赋值给N，然后重复步骤①。
在采用优先搜索K-Means树算法确定出相邻两幅图像匹配好的特征点集后，还可进一步采用特征点向量的欧式距离作为匹配特征点对的相似性判定度量。取第一幅图像的某个特征点，通过遍历找到第二幅图像中的距离最近的那个特征点。但有些情况下，第二个距离最近的特征点与第一个距离最近的特征点可能靠得很近，这有可能是由于随机噪声等引起的。此时要计算最近距离与第二近距离的比值，如果比值大于0.7就忽略掉，这样可去除90％的错误匹配而只去除5％的正确匹配，在接下来的变换参数解算过程中可进一步提高配准的精准度且减少匹配搜索的运算量。
(3)单应矩阵的解算；经过图像配准后，在基准图像和待配准图像之间构建了一个匹配点对的集合，接下来就是通过点对集合来解算基准图像和待配准图像的几何映射关系，或者说是通过匹配点对的集合来计算单应矩阵。单应(Homography)又称为投影变换，是把一个投影平面上的点映射到另一个投影平面上，而将直线仍映射为直线，具有保直线性质。
单应是关于三维齐次矢量的一种线性变换，可用一个3×3的非奇异矩阵H表示。假设基准图像上的点p(x,y)和待配准图像上的点p(x′,y′)是一对已匹配的点对，其单应矩阵为H,那么存在以下投影变换关系：
其中，hij为单应矩阵H内待求解的变换参数。若将矩阵乘法展开，可得到：
将第一和第二个式子的左右两边同时乘以第三个式子的左右两边，并将式子的右边变为0，则有:
令向量h＝(h11,h12,h13,h21,h22,h23,h31,h32,1)T，因为单应矩阵H是一个齐次矩阵，可将h33归一化；再令向量ax＝(-x,-y,-1,0,0,0,x′x,x′y,x′)，向量ay＝(0,0,0,-x,-y,-1,y′x,y′y,y′)，则上面两式可改写为：
一对匹配的点对，可以得到上述等式，向量h有8个未知参数，那么至少要4对匹配的点对(任意3点必须不共线)，才能求出两幅图像的单应矩阵。通常来说，图像的匹配点对一般会远超过4对。另外，在真实的应用场景中，计算得到的点对中一般都会包含噪声，如果只用4个点对来计算单应矩阵，可能会出现很大的误差。因此，为了使计算更精确，一般都会使用远大于4个点对来计算单应矩阵，为此可以使用最小二乘法或者随机采样一致性(RANSAC)的方法估计得到最佳的单应矩阵H。
(4)待配准图像向基准图像的投影变换；在解算得到单应矩阵H后，就可将待配准图像上每一个像素点再次利用投影变换公式计算得到新的投影位置，对于非一一映射的像素点可采用双线性插值或最邻近插值方法进行平滑，最终可得到投影变换后的已配准图像。对于待配准的正射影图像，我们可认为图像中心点就是当前无人机所处的图像像素位置，无人机所在的实际地理经纬度就是中心点的经纬度。那么利用投影变换公式，将当前正射影图像的中心点坐标(xc,yc)扩充为列向量[xc,yc,1]T与单应矩阵H进行点乘，可计算得到在基准匹配图像上对应的像素位置(x′c,y′c)。
如若该像素坐标是在切片缩小范围的基准匹配图像上进行投影变换的，那么还需进行平移变换，得到在原基准图像上的中心点对应的像素位置。
以上对本发明及其实施方式进行了描述，该描述没有限制性，附图中所示的也只是本发明的实施方式之一，实际的结构并不局限于此。总而言之如果本领域的普通技术人员受其启示，在不脱离本发明创造宗旨的情况下，不经创造性的设计出与该技术方案相似的结构方式及实施例，均应属于本发明的保护范围。
Claims (5)
1.一种应用于无人机巡检的综合定位方法，其特征在于：它包括如下步骤，
第一步，在无人机中预置综合定位系统和安装照相系统，所述的定位系统包括：GPS定位模块、图像比对定位模块和惯性导航定位模块；其中图像比对定位模块内预存有无人机巡检区域前期飞行采集的图像信息；
第二步，当无人机启用定位系统时，先尝试使用GPS定位模块进行定位，如果可以正常获得当前GPS定位信息，则直接选用GPS定位模块；同时在无人机飞行过程中通过无人机上的照相系统同步获取无人机下方的图像；如果无法正常获得当前GPS定位信息，直接尝试图像比对定位法来定位位置；同时不论GPS定位信息是否正常，无人机始终同步运行惯性导航系统；
第三步，采用图像比对定位方法来校验GPS位置；如果通过校验，则确定当前位置为GPS定位位置；如果没有通过校验，则直接选用图像比对定位模块来定位位置；
第四步，如果上两步中选定是图像比对定位模块来定位位置，则在获取定位信息时，获取一直同步运行的惯性导航系统的定位信息，并用惯性导航系统的定位信息来校验图像比对定位，如果校验通过，则确定当前位置为图像比对定位位置，如果校验不通过，则确定当前位置为惯性导航系统的定位位置。
2.根据权利要求1所述的应用于无人机巡检的综合定位方法，其特征在于：所述的图像比对定位模块所采用的定位法包括如下步骤，
第一步，在GPS定位系统正常的情况下，通过无人机上自带的相机获取无人机所需要巡检的路线上的全部图像信息；或者通过卫星或是航拍飞机获取无人机所需要巡检的路线上的全部图像信息；
第二步，将所获取的图像信息拼接成一张总图，同时通过算法处理，将拼接后的图像上的像素单元与其对应的GPS位置信息建立数据库；
第三步，当无人机需要启用图像比对定位时，先由无人机拍下当前位置下方的实时照片，然后由处理系统从照片中选择一定的像素区域，再将像素区域与第二步中的总图进行比对，锁定像素区域在总图中的具体位置，然后通过总图中每个像素单元对应的GPS位置信息锁定无人机所获取的像素区域对应的GPS位置信息。
3.根据权利要求2所述的应用于无人机巡检的综合定位方法，其特征在于：在通过无人机上自带的相机获取无人机所需要巡检的路线上的全部图像信息时，引入多场景，即在白天日照清晰时获取一遍图像，然后分别在阴天，雨天，雪天，雾天，获取相应的场景图像，当采用图像定位时，先结合当时的天气信息进行场景识别，选定对应场景数据库，然后进行图像比对定位。
4.根据权利要求1所述的应用于无人机巡检的综合定位方法，其特征在于：所述的校验采用定时检验法，校验周期在1秒至10秒之间，校验采用如下公式进行：
其中，Δd为校验时两种定位方式间偏差，
和
分别为两种定位方式的平均定位误差，k为校验控制系数，取值区间为[1,3]。
5.根据权利要求4所述的应用于无人机巡检的综合定位方法，其特征在于：所述的校验控制系数k＝2。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211133710.2A CN115597592B (zh) | 2022-09-19 | 2022-09-19 | 一种应用于无人机巡检的综合定位方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211133710.2A CN115597592B (zh) | 2022-09-19 | 2022-09-19 | 一种应用于无人机巡检的综合定位方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115597592A true CN115597592A (zh) | 2023-01-13 |
| CN115597592B CN115597592B (zh) | 2024-04-02 |
Family
ID=84843832
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211133710.2A Active CN115597592B (zh) | 2022-09-19 | 2022-09-19 | 一种应用于无人机巡检的综合定位方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115597592B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140297068A1 (en) * | 2011-10-28 | 2014-10-02 | Bae Systems Plc | Identification and analysis of aircraft landing sites |
| KR20190051703A (ko) * | 2017-11-07 | 2019-05-15 | 공간정보기술 주식회사 | 스테레오 드론 및 이를 이용하는 무기준점 토공량 산출 방법과 시스템 |
| WO2019093532A1 (ko) * | 2017-11-07 | 2019-05-16 | 공간정보기술 주식회사 | 스트레오 카메라 드론을 활용한 무기준점 3차원 위치좌표 취득 방법 및 시스템 |
| CN113093254A (zh) * | 2021-04-12 | 2021-07-09 | 南京速度软件技术有限公司 | 基于多传感器融合的地图特征的高架桥中的车辆定位方法 |
| CN114509070A (zh) * | 2022-02-16 | 2022-05-17 | 中国电子科技集团公司第五十四研究所 | 一种无人机导航定位方法 |
-
2022
- 2022-09-19 CN CN202211133710.2A patent/CN115597592B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140297068A1 (en) * | 2011-10-28 | 2014-10-02 | Bae Systems Plc | Identification and analysis of aircraft landing sites |
| KR20190051703A (ko) * | 2017-11-07 | 2019-05-15 | 공간정보기술 주식회사 | 스테레오 드론 및 이를 이용하는 무기준점 토공량 산출 방법과 시스템 |
| WO2019093532A1 (ko) * | 2017-11-07 | 2019-05-16 | 공간정보기술 주식회사 | 스트레오 카메라 드론을 활용한 무기준점 3차원 위치좌표 취득 방법 및 시스템 |
| CN113093254A (zh) * | 2021-04-12 | 2021-07-09 | 南京速度软件技术有限公司 | 基于多传感器融合的地图特征的高架桥中的车辆定位方法 |
| CN114509070A (zh) * | 2022-02-16 | 2022-05-17 | 中国电子科技集团公司第五十四研究所 | 一种无人机导航定位方法 |
Non-Patent Citations (4)
| Title |
|---|
| 吴爱国 等: "无人机飞行过程中图像定位算法研究", 计算机应用与软件, vol. 32, no. 4, 30 April 2015 (2015-04-30) * |
| 张代兵;王勋;钟志伟;闫成平;向绍华;习业勋;: "融合地面多传感器信息引导无人机着陆", 国防科技大学学报, no. 01, 28 February 2018 (2018-02-28) * |
| 赵卫虎 等: "深度学习在军用光缆线路无人机巡检中的应用", 光通信研究, vol. 6, 31 December 2018 (2018-12-31) * |
| 邵永社;陈鹰;祝小平;: "无人驾驶飞机精确定位方法研究", 计算机工程与应用, no. 23, 11 August 2006 (2006-08-11) * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115597592B (zh) | 2024-04-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112419374B (zh) | 一种基于图像配准的无人机定位方法 | |
| Badino et al. | Visual topometric localization | |
| CN103218783B (zh) | 基于控制点影像数据库的卫星遥感图像快速几何纠正方法 | |
| CN108986037A (zh) | 基于半直接法的单目视觉里程计定位方法及定位系统 | |
| CN109579825B (zh) | 基于双目视觉和卷积神经网络的机器人定位系统及方法 | |
| CN109596121B (zh) | 一种机动站自动目标检测与空间定位方法 | |
| CN109615698A (zh) | 基于互回环检测的多无人机slam地图融合算法 | |
| CN109871739B (zh) | 基于yolo-sioctl的机动站自动目标检测与空间定位方法 | |
| CN105352509A (zh) | 地理信息时空约束下的无人机运动目标跟踪与定位方法 | |
| CN111862673A (zh) | 基于顶视图的停车场车辆自定位及地图构建方法 | |
| Dawood et al. | Harris, SIFT and SURF features comparison for vehicle localization based on virtual 3D model and camera | |
| GB2527997A (en) | Registration of SAR images by mutual information | |
| AliAkbarpour et al. | Parallax-tolerant aerial image georegistration and efficient camera pose refinement—without piecewise homographies | |
| CN114693754A (zh) | 一种基于单目视觉惯导融合的无人机自主定位方法与系统 | |
| Venable et al. | Large scale image aided navigation | |
| CN113838129B (zh) | 一种获得位姿信息的方法、装置以及系统 | |
| Zahedian et al. | Localization of autonomous vehicles: proof of concept for a computer vision approach | |
| Majdik et al. | Micro air vehicle localization and position tracking from textured 3d cadastral models | |
| CN117029870A (zh) | 一种基于路面点云的激光里程计 | |
| Kim | Aerial map-based navigation using semantic segmentation and pattern matching | |
| CN115187959B (zh) | 一种基于双目视觉的飞行汽车山地着陆方法及系统 | |
| Sheikh et al. | Geodetic alignment of aerial video frames | |
| Aggarwal | Machine vision based SelfPosition estimation of mobile robots | |
| CN115597592B (zh) | 一种应用于无人机巡检的综合定位方法 | |
| Venable | Improving real-world performance of vision aided navigation in a flight environment |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |