CN116105693A - 一种基于poi数据的地面及低空场景无人机自主定位方法 - Google Patents

一种基于poi数据的地面及低空场景无人机自主定位方法 Download PDF

Info

Publication number
CN116105693A
CN116105693A CN202310261345.1A CN202310261345A CN116105693A CN 116105693 A CN116105693 A CN 116105693A CN 202310261345 A CN202310261345 A CN 202310261345A CN 116105693 A CN116105693 A CN 116105693A
Authority
CN
China
Prior art keywords
image
unmanned aerial
aerial vehicle
signpost
poi data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310261345.1A
Other languages
English (en)
Other versions
CN116105693B (zh
Inventor
孙方德
耿虎军
王港
王弢
刘宇
武晓博
王敏
朱进
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CETC 54 Research Institute
Original Assignee
CETC 54 Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CETC 54 Research Institute filed Critical CETC 54 Research Institute
Priority to CN202310261345.1A priority Critical patent/CN116105693B/zh
Publication of CN116105693A publication Critical patent/CN116105693A/zh
Application granted granted Critical
Publication of CN116105693B publication Critical patent/CN116105693B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及无人机自主定位领域，提供一种基于POI数据的地面及低空场景无人机自主定位方法，包括：首先，使用开源的POI数据制备无偏定位基准数据；然后，在无人机实时航拍图像中检测标牌，识别出标牌中的文字信息；其次，将标牌的文字信息与POI数据中的地名字段进行检索，获取与标志牌匹配的POI数据中的经纬度信息；接着，利用标牌中心点经纬度量测标志牌四个角点的经纬度坐标，利用标志牌四个角点的图像深度信息和图像中心点的深度信息，根据成像几何关系，计算标志牌四个角点的高度；最后，根据成像几何关系，利用标牌四个角点的图像坐标和三维地理坐标，估计当前时刻无人机的位置。本发明定位误差不随无人机工作时间增加而累积。

Description

一种基于POI数据的地面及低空场景无人机自主定位方法
技术领域
本发明涉及无人机自主定位领域，具体涉及基于POI数据的地面及低空场景无人机自主定位方法。
背景技术
小型旋翼无人机因其机动性强、成本低等优势，可大量应用于城市作战场景，执行作战区域内侦察、监视以及打击任务。无人机执行任务的前提是具备稳定、可靠的定位信息，无人机飞控系统无法接收或接收不可靠的位置信息时，无人机会无法正常工作。目前，定位系统按照定位方式来划分，主要分为有源定位系统和无源定位系统。有源定位系统如全球导航卫星系统(Global Navigation Satellite System,GNSS)需要发射和接收电磁波信息且电磁波频段公开。城市的地面及低空场景中，大量高层建筑物的遮挡、敌方发射同频段的电磁波干扰信号等因素都会造成GNSS拒止环境，使得无人机搭载的GNSS系统失效。无源定位系统主要包括惯性导航系统(Inertial Navigation System,INS)、图像匹配导航定位系统、即时定位与构图系统(Simultaneous Localization and Mapping,SLAM)。其中INS为陀螺仪和加速度计，其工作原理为通过二次积分获取无人机当前时刻位置和姿态信息。INS本质为里程计，其定位误差会随着工作时间的增大而累积。用于地面和低空场景的无人机载重量较小，难以搭载高精度大体积的光纤/激光惯导系统。SLAM的定位原理为视觉里程计，通过相邻帧匹配寻找同名点估计当前时刻无人机位置和姿态信息，其定位误差和INS一样会工作时间的增大而累积。图像匹配定位系统可分为相邻帧匹配和航拍-基准图匹配两种工作模式，相邻帧匹配与视觉SLAM工作原理类似，其定位误差也会随着工作时间增加累积。航拍-基准图匹配在地面及低空场景下地面分辨率高，难以提前制备相近成像角度、对应场景的基准图像，当无人机实时航拍图像和基准图像的地面分辨率、成像角度差异过大时，其匹配精度无法满足无人机自主定位需求。上述无源自主定位方法在地面及低空的城市环境内难以满足稳定、可靠、可长时间工作的定位需求。
发明内容
本发明的目的是提供一种基于POI数据的地面及低空场景无人机自主定位方法，以解决现有无人机定位技术中无人机定位存在GNSS拒止环境和定位误差随工作时长增加而累积的问题。
为了解决上述技术问题，本发明采用的技术方案为：
一种基于POI数据的地面及低空场景无人机自主定位方法，包括如下步骤：
(1)使用开源POI数据制备无偏定位基准数据；其中无偏定位基准数据包含原始POI数据中经纬度信息、数据ID和地点名称；
(2)从无人机当前帧航拍图像中检测标志牌，获取标志牌四个角点的图像坐标以及识别出标志牌中的文字信息；
(3)将标志牌的文字信息与POI数据中的地点名称进行检索匹配，获取与标志牌匹配的POI数据中的经纬度信息，得到地理坐标；
(4)采用图像量测的方法，根据两个标志牌中心点的图像坐标和地理坐标推算标志牌四个角点的经纬度，利用标志牌四个角点的图像深度信息和图像中心点的深度信息，根据成像几何关系，计算标志牌四个角点的高度；
(5)利用获取的标志牌角点的图像坐标、地理坐标和高度以及相机内方位参数计算无人机当前时刻位置。
其中，步骤(4)具体为：
已知两个标志牌中心点的图像坐标(xc1,yc1)和(xc2,yc2)及对应的地理坐标(lat1,lon1)和(lat2,lon2)，构建经度lat关于图像坐标列号的直线方程l1:a1x+b1y+c1＝0，纬度lon关于图像坐标列号的直线方程l2:a2x+b2y+c2＝0；其中，a1＝lat2-lat1，b1＝|yc1-yc2|，c1＝|lat1*yc2-lat2*yc1|，a2＝lon2-lon1，b2＝|xc1-xc2|，c2＝|lon1*xc2-lon2*xc1|；每次将标志牌一个角点的图像坐标代入x，求解出y，得到标志牌对应角点的经纬度信息；
根据当前时刻无人机离地高度H、俯仰角θ以及当前帧航拍图像中心点像素到无人机的斜距r1，计算当前帧航拍图像中心点对应的离地高度H0＝H-r1cosθ，将标志牌各个角点与当前帧图像中心点投影至同一垂直面上，利用正弦定理计算得到标志牌各个角点的高度。
其中，步骤(2)中若检测标志牌个数小于2，则跳过该帧图像，继续利用下一帧图像进行无人机位置解算。
本发明相比于现有技术具有如下有益效果：
1.本发明针对现有技术的缺陷，仅使用无人机实时航拍图像当前帧提取标牌要素信息，将标牌要素与基准数据进行匹配获取控制点来解算无人机位置；每一帧位置解算工作相互独立，其定位误差不随无人机工作时间增加而累积。
2.本发明利用图像量测方法实现控制点加密，当前帧航拍图像识别的标牌个数不少于2个时，就可以根据POI数据推算标牌四角点的坐标，进行无人机的位置解算，降低无人机自主定位的场景要求。
3.本发明采用深度相机的图像深度信息获取控制点的高度信息，利用标志牌四个角点的图像深度信息和图像中心点的深度信息，根据成像几何关系，计算标志牌四个角点的高度，进而获取控制点的三维坐标，解决无人机位置解算时控制点高度假设为零的问题。
附图说明
图1是本发明实施例提供的基于POI数据的地面及低空场景无人机自主定位方法流程图。
图2是本发明实施例提供的根据标牌中心点地理坐标推算标志牌四角点地理坐标的原理图。
图3是本发明实施例提供的利用深度信息获取当前帧图像中心点高度信息的原理图。
图4是本发明实施例提供的利用深度信息获取控制点高度信息的原理图。
具体实施方式
以下将结合实施例对本发明的构思、技术方案优势及产生的技术效果进行清楚、完整地描述，以充分理解本发明的目的、特征和效果。需要说明的是，此处所描述的具体实施例仅用以解释本发明，并不限定本发明。
参阅图1，本发明实施例首先利用利用开源POI数据制备基准数据；然后，提取航拍图像当前帧的标牌区域和文字；其次，将提取到的文字信息在基准数据中进行检索，获取对应POI信息；接着，利用标牌中心点坐标推算标牌四角点的地理坐标，利用图像深度信息获取标牌四角点高度信息；最后，利用标志牌角点的图像坐标、地理坐标和高度以及相机内方位参数计算无人机当前时刻位置。
本实施例提供了一种基于POI数据的地面及低空场景无人机自主定位方法，该方法包括：
S1：利用高德开源POI数据，将处于同一建筑的POI数据对齐为同一方向，制备无偏定位基准数据；其中无偏定位基准数据包含原始POI数据中经纬度信息、数据ID和地点名称。
S2：利用PixelLink网络识别当前帧航拍图像的标志牌区域和文字信息，获取标志牌四个角点的图像坐标(x1,y1)、(x2,y2)、(x3,y3)、(x4,y4)，标牌的文字信息Ti。
S3：利用TF-IDF模型将上一步识别的标牌文字信息与无偏定位基准数据进行检索匹配，获取与标志牌匹配的POI数据中的经纬度信息，得到地理坐标。
S4：采用图像量测的方法，根据两个标志牌中心点的图像坐标和地理坐标推算标志牌四个角点的经纬度，利用标志牌四个角点的图像深度信息和图像中心点的深度信息，根据成像几何关系，计算标志牌四个角点的高度；
参阅图2，本发明采用图像量测的方法根据两个标牌中心点地理坐标推算标志牌四个角点的经纬度。
具体地，(1)根据下式获取标牌1中心点图像坐标(xc1,yc1)和标牌2中心点图像坐标(xc2,yc2)。
Figure BDA0004131322340000041
其中，(x1,y1)为标牌左上角点的图像坐标，(x2,y2)为标牌右上角点的图像坐标，(x3,y3)为标牌右下角点的图像坐标，(x4,y4)为标牌左下角点的图像坐标。
(2)已知标牌1和标牌2中心点的图像坐标(xc1,yc1)和(xc2,yc2)及其地理坐标(lat1,lon1)和(lat2,lon2)，按照下式构建经度lat关于图像坐标列号的直线方程l1:a1x+b1y+c1＝0，纬度lon关于图像坐标列号的直线方程l2:a2x+b2y+c2＝0。其中，a1＝lat2-lat1、b1＝|yc1-yc2|、c1＝|lat1*yc2-lat2*yc1|、a2＝lon2-lon1、b2＝|xc1-xc2|以及c2＝|lon1*xc2-lon2*xc1|。得到直线方程l1和l2，每次将标志牌一个角点的图像坐标代入x，求解出y，得到标志牌对应角点的经纬度信息。
(3)获取标牌四角点的高度信息：当前时刻高度计测量的无人机离地高度为H，俯仰角为θ，根据深度相机获取的数据可知该帧图像中心点像素到无人机的斜距为r1，参考图3，则当前帧图像中心点对应的离地高度H0＝H-r1cosθ。参考图4，将标牌角点B与当前帧航拍图像中心点投影至同一垂直面上得到点，此时，无人机的位置A、图像中心点O，标牌角点投影点B'构成三角形ΔAOB'，其中∠AOB'＝180°-θ，按照正弦定理可计算
Figure BDA0004131322340000051
那么∠OAB'＝180°-∠AB'O-∠AOB'，再根据正弦定理可计算出
Figure BDA0004131322340000052
最后标志牌角点的高度可得HB＝H0-OB'。
S5：采用透视几何方法解算无人机位置：利用获取的标志牌角点的图像坐标、地理坐标和高度以及相机内方位参数计算无人机当前时刻位置。至此，完成无人机自主定位工作。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (3)

1.一种基于POI数据的地面及低空场景无人机自主定位方法，其特征在于，包括如下步骤：
(1)使用开源POI数据制备无偏定位基准数据；其中无偏定位基准数据包含原始POI数据中经纬度信息、数据ID和地点名称；
(2)从无人机当前帧航拍图像中检测标志牌，获取标志牌四个角点的图像坐标以及识别出标志牌中的文字信息；
(3)将标志牌的文字信息与POI数据中的地点名称进行检索匹配，获取与标志牌匹配的POI数据中的经纬度信息，得到地理坐标；
(4)采用图像量测的方法，根据两个标志牌中心点的图像坐标和地理坐标推算标志牌四个角点的经纬度，利用标志牌四个角点的图像深度信息和图像中心点的深度信息，根据成像几何关系，计算标志牌四个角点的高度；
(5)利用获取的标志牌角点的图像坐标、地理坐标和高度以及相机内方位参数计算无人机当前时刻位置。
2.根据权利要求1所述的一种基于POI数据的地面及低空场景无人机自主定位方法，其特征在于，步骤(4)具体为：
已知两个标志牌中心点的图像坐标(xc1,yc1)和(xc2,yc2)及对应的地理坐标(lat1,lon1)和(lat2,lon2)，构建经度lat关于图像坐标列号的直线方程l1:a1x+b1y+c1＝0，纬度lon关于图像坐标列号的直线方程l2:a2x+b2y+c2＝0；其中，a1＝lat2-lat1，b1＝|yc1-yc2|，c1＝|lat1*yc2-lat2*yc1|，a2＝lon2-lon1，b2＝|xc1-xc2|，c2＝|lon1*xc2-lon2*xc1|；每次将标志牌一个角点的图像坐标代入x，求解出y，得到标志牌对应角点的经纬度信息；
根据当前时刻无人机离地高度H、俯仰角θ以及当前帧航拍图像中心点像素到无人机的斜距r1，计算当前帧航拍图像中心点对应的离地高度H0＝H-r1cosθ，将标志牌各个角点与当前帧航拍图像中心点投影至同一垂直面上，利用正弦定理计算得到标志牌各个角点的高度。
3.根据权利要求1所述的一种基于POI数据的地面及低空场景无人机自主定位方法，其特征在于，步骤(2)中若检测标志牌个数小于2，则跳过该帧图像，继续利用下一帧图像进行无人机位置解算。
CN202310261345.1A 2023-03-17 2023-03-17 一种基于poi数据的地面及低空场景无人机自主定位方法 Active CN116105693B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310261345.1A CN116105693B (zh) 2023-03-17 2023-03-17 一种基于poi数据的地面及低空场景无人机自主定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310261345.1A CN116105693B (zh) 2023-03-17 2023-03-17 一种基于poi数据的地面及低空场景无人机自主定位方法

Publications (2)

Publication Number Publication Date
CN116105693A true CN116105693A (zh) 2023-05-12
CN116105693B CN116105693B (zh) 2024-10-29

Family

ID=86254544

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310261345.1A Active CN116105693B (zh) 2023-03-17 2023-03-17 一种基于poi数据的地面及低空场景无人机自主定位方法

Country Status (1)

Country Link
CN (1) CN116105693B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160378109A1 (en) * 2015-06-25 2016-12-29 Intel Corporation Personal sensory drones
CN107749957A (zh) * 2017-11-07 2018-03-02 高域（北京）智能科技研究院有限公司 无人机航拍画面显示系统和方法
KR20180023258A (ko) * 2016-08-25 2018-03-07 주식회사 얼리버드테크 드론의 자율 비행 방법 및 시스템
CN113763561A (zh) * 2021-08-19 2021-12-07 北京三快在线科技有限公司 Poi数据生成方法、装置、存储介质及电子设备
CN115375766A (zh) * 2022-09-04 2022-11-22 中国电子科技集团公司第五十四研究所 一种基于语义地图的无人机城市内自主定位方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160378109A1 (en) * 2015-06-25 2016-12-29 Intel Corporation Personal sensory drones
KR20180023258A (ko) * 2016-08-25 2018-03-07 주식회사 얼리버드테크 드론의 자율 비행 방법 및 시스템
CN107749957A (zh) * 2017-11-07 2018-03-02 高域（北京）智能科技研究院有限公司 无人机航拍画面显示系统和方法
CN113763561A (zh) * 2021-08-19 2021-12-07 北京三快在线科技有限公司 Poi数据生成方法、装置、存储介质及电子设备
CN115375766A (zh) * 2022-09-04 2022-11-22 中国电子科技集团公司第五十四研究所 一种基于语义地图的无人机城市内自主定位方法

Also Published As

Publication number Publication date
CN116105693B (zh) 2024-10-29

Similar Documents

Publication Publication Date Title
US20210247193A1 (en) Creation and use of enhanced maps
JP5116555B2 (ja) 位置標定装置、位置標定システム、標定サーバ装置および位置標定方法
Tao Mobile mapping technology for road network data acquisition
US11237005B2 (en) Method and arrangement for sourcing of location information, generating and updating maps representing the location
JP4232167B1 (ja) 対象特定装置、対象特定方法および対象特定プログラム
WO2021026850A1 (zh) 一种基于二维码的导航定姿定位方法和系统
US8958980B2 (en) Method of generating a geodetic reference database product
US10970924B2 (en) Reconstruction of a scene from a moving camera
CN103175524B (zh) 一种无标识环境下基于视觉的飞行器位置与姿态确定方法
US20190072392A1 (en) System and method for self-geoposition unmanned aerial vehicle
US20090262974A1 (en) System and method for obtaining georeferenced mapping data
CN108810473B (zh) 一种在移动平台上实现gps映射摄像机画面坐标的方法及系统
US20110282580A1 (en) Method of image based navigation for precision guidance and landing
KR101444685B1 (ko) 영상기반 멀티센서 데이터를 이용한 차량의 위치자세 결정 방법 및 장치
JP4978615B2 (ja) 対象特定装置
JP6138326B1 (ja) 移動体、移動体の制御方法、移動体を制御するプログラム、制御システム、及び情報処理装置
CN103411587B (zh) 定位定姿方法及系统
CN111426320A (zh) 一种基于图像匹配/惯导/里程计的车辆自主导航方法
JP4986883B2 (ja) 標定装置、標定方法および標定プログラム
CN112614219A (zh) 一种用于地图导航定位的基于标识点的空间坐标转换方法
Liu et al. A new approach to fast mosaic UAV images
Andert et al. Optical-aided aircraft navigation using decoupled visual SLAM with range sensor augmentation
CN113296133A (zh) 一种基于双目视觉测量与高精度定位融合技术实现位置标定的装置及方法
JP2011112556A (ja) 捜索目標位置特定装置及び捜索目標位置特定方法並びにコンピュータプログラム
WO2010068185A1 (en) Method of generating a geodetic reference database product

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant