CN111505692B - 一种基于北斗/视觉的组合定位导航方法 - Google Patents
一种基于北斗/视觉的组合定位导航方法 Download PDFInfo
- Publication number
- CN111505692B CN111505692B CN202010360327.5A CN202010360327A CN111505692B CN 111505692 B CN111505692 B CN 111505692B CN 202010360327 A CN202010360327 A CN 202010360327A CN 111505692 B CN111505692 B CN 111505692B
- Authority
- CN
- China
- Prior art keywords
- information
- unmanned aerial
- aerial vehicle
- beidou
- vision
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 20
- 230000000007 visual effect Effects 0.000 claims abstract description 10
- 230000005358 geomagnetic field Effects 0.000 claims description 12
- 238000001914 filtration Methods 0.000 claims description 8
- 238000006073 displacement reaction Methods 0.000 claims description 5
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 230000002194 synthesizing effect Effects 0.000 claims 1
- 238000010276 construction Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- DMBHHRLKUKUOEG-UHFFFAOYSA-N diphenylamine Chemical compound C=1C=CC=CC=1NC1=CC=CC=C1 DMBHHRLKUKUOEG-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
- G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
- G01S19/42—Determining position
- G01S19/48—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Navigation (AREA)
Abstract
本发明涉及一种基于北斗/视觉的组合定位导航方法，利用北斗导航系统和双目视觉传感器组合对无人无人飞行平台进行定位以及对视场物体进行定位，利用视觉点云信息使用人工智能算法进行深度语义识别，并同时辅助导航，使小范围区域数字地图的快速构建成为可能，并可根据构建的数字地图中丰富的语义信息进行区域监管、区域反恐、区域勘探等特种作业。
Description
技术领域
本发明属于卫星定位技术领域，具体涉及一种基于北斗/视觉的组合定位导航方法，利用北斗导航卫星与双目视觉传感器组合对无人机进行定位并对视场环境进行语义数字地图构建。
背景技术
目前，未知环境的数字地图构建主要依靠卫星、专业航拍飞机获取的遥感数据，这就使得在对未知环境构建数字地图过程中存在成本费用高、限制条件多、无语义信息等问题。
发明内容
本发明提供一种基于北斗/视觉的组合定位导航方法，要解决的技术问题是：实现对无人机定位以及对视场物体进行定位；解决无人机在存在北斗卫星导航系统拒止环境中定位导航问题以及小范围区域数字地图的无法快速构建的问题。
为了解决以上技术问题，本发明提供了一种基于北斗/视觉的组合定位导航方法，其特征在于：采用了北斗卫星导航系统、双目视觉系统、电子磁罗盘和激光高度计；其中北斗卫星导航系统、激光高度计、电子磁罗盘组成无人机姿态传感器数据处理模块；
具体步骤如下：
第一步，由北斗卫星导航系统提供无人机在导航坐标系下的位置与速度信息，高度传感器为移动平台提供距离地面垂直高度信息，这两组信息通过组合无迹Kalman滤波算法滤波得到无人机较平滑的速度信息(Vx，Vy，Vz)以及经纬高信息(Lo，La，Hi)；
第二步，与此同时，电子磁罗盘敏感的地磁场分量通过两步拟合快速可重构Kalman算法得到无人机与地磁场矢量夹角；
第三步，结合第一步得到的经纬高信息通过全球地磁场模型得到当地的地磁偏角补偿角；
第四步，综合前三步得到的信息获取无人机的位置(Lo，La，Hi)、速度(Vx，Vy，Vz)以及姿态角(theta，gamma，phi)信息；
第五步，通过双目视觉系统中的左眼相机与右眼相机分别采集左、右眼像素信息；
第六步，一方面通过左眼像素与右眼像素同时对双目基线进行校正，通过双目视差几何模型解算视场中各个目标的深度(De)、图像帧间的位移差(dx，dy，dz)以及转角差(dtheta，dgamma，dphi)；
第七步，双目相机的左眼像素与右眼像素结合无人机位置、速度、姿态角以及上一步中获取的视场目标的位置信息进行图像关键点、线信息检测，并通过深度卷积神经网络算法对视场中目标进行语义信息的人工智能识别，得到视场中各目标的深度语义信息Sem。
有益效果：本发明能够利用北斗导航系统和双目视觉传感器组合对无人无人机进行定位以及对视场物体进行定位，利用视觉点云信息使用人工智能算法进行深度语义识别，并同时辅助导航，使小范围区域数字地图的快速构建成为可能，并可根据构建的数字地图中丰富的语义信息进行区域监管、区域反恐、区域勘探等特种作业。
附图说明
图1为本发明的工作流程图。
具体实施方式
为使本发明的目的、内容和优点更加清楚，下面对本发明的具体实施方式作进一步详细描述。
本发明提出的一种基于北斗/视觉的组合定位导航方法，用北斗导航系统和双目视觉系统来对无人机以及相机视场物体进行识别定位，并构建包含语义信息、空间位置信息的三维数字地图。
该方法采用了北斗卫星导航系统，双目视觉系统，电子磁罗盘，激光高度计；
北斗卫星导航系统、激光高度计、电子磁罗盘组成无人机姿态传感器数据处理模块，北斗卫星导航系统提供无人机在导航坐标系下的位置与速度信息，激光高度计提供无人机距地面的高度信息，与无人机捷联的电子磁罗盘提供无人机下地磁场的分量信息；
双目视觉系统包括与无人机捷联的双目视觉相机，双目视觉相机提供了无人机视角下的左眼点云图与右眼点云图。
具体步骤如下：
第一步，由北斗卫星导航系统为无人机提供位置以及速度信息，高度传感器为移动平台提供距离地面垂直高度信息，这两组信息通过组合无迹Kalman滤波算法滤波得到无人机较平滑的速度信息(Vx，Vy，Vz)以及经纬高信息(Lo，La，Hi)；
第二步，与此同时，电子磁罗盘敏感的地磁场分量通过两步拟合快速可重构Kalman算法得到无人机与地磁场矢量夹角；
该算法首先通过椭球拟合算法得到磁罗盘初步校正参数与初步飞行平台的姿态参数，之后通过无迹kalman算法滤波得到磁罗盘精准校正参数，最后重新构建Kalman状态量，得到磁罗盘的准确姿态参数；
第三步，结合第一步得到的经纬高信息通过全球地磁场模型得到当地的地磁偏角补偿角；全球地磁场模型为现有模型，可由经纬高参数直接获取；
第四步，综合前三步得到的信息获取无人机的位置(Lo，La，Hi)、速度(Vx，Vy，Vz)以及姿态角(theta，gamma，phi)信息。
第五步，通过双目视觉系统中的左眼相机与右眼相机分别采集左、右眼像素信息；
第六步，一方面通过左眼像素与右眼像素同时对双目基线进行校正，便可以通过双目视差几何模型解算视场中各个目标的深度(De)、图像帧间的位移差(dx，dy，dz)以及转角差(dtheta，dgamma，dphi)；
其中，位移差(dx，dy，dz)与转角差(dtheta，dgamma，dphi)可以辅助无人机姿态传感器数据处理模块在北斗导航卫星失锁状态下计算无人机的位置、速度以及姿态角。进一步，视场目标深度信息与无人机的位置信息组合计算，从而获取视场中目标的经度、纬度、高度信息(OLo，OLa，Ohi)；
第七步，双目相机的左眼像素与右眼像素结合无人机姿态传感器数据处理模块获取的无人机位置、速度、姿态角以及上一步中获取的视场目标的位置信息进行图像关键点、线信息检测，并通过深度卷积神经网络算法对视场中目标进行语义信息的人工智能识别，得到视场中各目标的深度语义信息Sem。
第八步，综合视场目标的经度、纬度、高度信息、语义信息，以及无人机的位置、速度、姿态角信息构建出包含语义信息、空间位置的八叉树数字地图SADMap。
本发明利用北斗导航系统和双目视觉传感器组合对无人无人飞行平台进行定位以及对视场物体进行定位，利用视觉点云信息使用人工智能算法进行深度语义识别，并同时辅助导航，使小范围区域数字地图的快速构建成为可能，并可根据构建的数字地图中丰富的语义信息进行区域监管、区域反恐、区域勘探等特种作业。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。
Claims (8)
1.一种基于北斗/视觉的组合定位导航方法，其特征在于：采用了北斗卫星导航系统、双目视觉系统、电子磁罗盘和激光高度计；其中北斗卫星导航系统、激光高度计、电子磁罗盘组成无人机姿态传感器数据处理模块；
具体步骤如下：
第一步，由北斗卫星导航系统提供无人机在导航坐标系下的位置与速度信息，高度传感器为移动平台提供距离地面垂直高度信息，这两组信息通过组合无迹Kalman滤波算法滤波得到无人机较平滑的速度信息(Vx，Vy，Vz)以及经纬高信息(Lo，La，Hi)；
第二步，与此同时，电子磁罗盘敏感的地磁场分量通过两步拟合快速可重构Kalman算法得到无人机与地磁场矢量夹角；
第三步，结合第一步得到的经纬高信息通过全球地磁场模型得到当地的地磁偏角补偿角；
第四步，综合前三步得到的信息获取无人机的经纬高信息(Lo，La，Hi)、速度(Vx，Vy，Vz)以及姿态角(theta，gamma，phi)信息；
第五步，通过双目视觉系统中的左眼相机与右眼相机分别采集左、右眼像素信息；
第六步，一方面通过左眼像素与右眼像素同时对双目基线进行校正，通过双目视差几何模型解算视场中各个目标的深度(De)、图像帧间的位移差(dx，dy，dz)以及转角差(dtheta，dgamma，dphi)；
第七步，双目相机的左眼像素与右眼像素结合无人机位置、速度、姿态角以及上一步中获取的视场目标的位置信息进行图像关键点、线信息检测，并通过深度卷积神经网络算法对视场中目标进行语义信息的人工智能识别，得到视场中各目标的深度语义信息Sem。
2.根据权利要求1所述的一种基于北斗/视觉的组合定位导航方法，其特征在于：第二步中，两步拟合快速可重构Kalman算法首先通过椭球拟合算法得到磁罗盘初步校正参数与初步飞行平台的姿态参数，之后通过无迹kalman算法滤波得到磁罗盘精准校正参数，最后重新构建Kalman状态量，得到磁罗盘的准确姿态参数。
3.根据权利要求1所述的一种基于北斗/视觉的组合定位导航方法，其特征在于：全球地磁场模型可由经纬高参数直接获取。
4.根据权利要求1所述的一种基于北斗/视觉的组合定位导航方法，其特征在于：双目视觉系统包括与无人机捷联的双目视觉相机，双目视觉相机提供了无人机视角下的左眼点云图与右眼点云图。
5.根据权利要求1所述的一种基于北斗/视觉的组合定位导航方法，其特征在于：电子磁罗盘与无人机捷联，用于提供无人机下地磁场的分量信息。
6.根据权利要求1所述的一种基于北斗/视觉的组合定位导航方法，其特征在于：第八步，综合视场目标的经度、纬度、高度信息、语义信息，以及无人机的位置、速度、姿态角信息构建出包含语义信息、空间位置的八叉树数字地图SADMap。
7.根据权利要求1所述的一种基于北斗/视觉的组合定位导航方法，其特征在于：第六步中，位移差(dx，dy，dz)与转角差(dtheta，dgamma，dphi)用于辅助无人机姿态传感器数据处理模块在北斗导航卫星失锁状态下计算无人机的位置、速度以及姿态角。
8.根据权利要求7所述的一种基于北斗/视觉的组合定位导航方法，其特征在于：第六步中，视场目标深度信息与无人机的位置信息组合计算，从而获取视场中目标的经度、纬度、高度信息(OLo，OLa，Ohi)。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010360327.5A CN111505692B (zh) | 2020-04-30 | 2020-04-30 | 一种基于北斗/视觉的组合定位导航方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010360327.5A CN111505692B (zh) | 2020-04-30 | 2020-04-30 | 一种基于北斗/视觉的组合定位导航方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111505692A CN111505692A (zh) | 2020-08-07 |
| CN111505692B true CN111505692B (zh) | 2021-03-12 |
Family
ID=71873651
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010360327.5A Active CN111505692B (zh) | 2020-04-30 | 2020-04-30 | 一种基于北斗/视觉的组合定位导航方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111505692B (zh) |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6329642B2 (ja) * | 2013-12-10 | 2018-05-23 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ | センサ融合 |
| US9411053B2 (en) * | 2014-06-19 | 2016-08-09 | Novatel Inc. | Method for using partially occluded images for navigation and positioning |
| CN108594851A (zh) * | 2015-10-22 | 2018-09-28 | 飞智控（天津）科技有限公司 | 一种基于双目视觉的无人机自主障碍物检测系统、方法及无人机 |
| EP3516422A1 (en) * | 2016-09-29 | 2019-07-31 | The Charles Stark Draper Laboratory, Inc. | Autonomous vehicle: vehicle localization |
| CN108572380B (zh) * | 2017-06-17 | 2022-02-08 | 苏州博田自动化技术有限公司 | 一种基于卫星导航和视觉导航的导航方法及其应用 |
| CN109115223A (zh) * | 2018-08-30 | 2019-01-01 | 江苏大学 | 一种面向智能农机的全地形全源组合导航系统 |
| CN109360240B (zh) * | 2018-09-18 | 2022-04-22 | 华南理工大学 | 一种基于双目视觉的小型无人机定位方法 |
-
2020
- 2020-04-30 CN CN202010360327.5A patent/CN111505692B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN111505692A (zh) | 2020-08-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110068335B (zh) | 一种gps拒止环境下无人机集群实时定位方法及系统 | |
| CN110926474B (zh) | 卫星/视觉/激光组合的城市峡谷环境uav定位导航方法 | |
| EP2503510B1 (en) | Wide baseline feature matching using collaborative navigation and digital terrain elevation data constraints | |
| CN111929718A (zh) | 一种自动驾驶对象探测和定位系统及方法 | |
| CN110319772B (zh) | 基于无人机的视觉大跨度测距方法 | |
| CN106384382A (zh) | 一种基于双目立体视觉的三维重建系统及其方法 | |
| CN113850126A (zh) | 一种基于无人机的目标检测和三维定位方法和系统 | |
| CN101598556A (zh) | 一种未知环境下无人机视觉/惯性组合导航方法 | |
| CN109596121B (zh) | 一种机动站自动目标检测与空间定位方法 | |
| US12061252B2 (en) | Environment model using cross-sensor feature point referencing | |
| KR102127679B1 (ko) | 정사영상에 기반한 센서 탑재 이동형 플랫폼의 기하 보정 시스템 | |
| Menozzi et al. | Development of vision-aided navigation for a wearable outdoor augmented reality system | |
| CN111426320A (zh) | 一种基于图像匹配/惯导/里程计的车辆自主导航方法 | |
| CN112556719A (zh) | 一种基于cnn-ekf的视觉惯性里程计实现方法 | |
| CN115574816A (zh) | 仿生视觉多源信息智能感知无人平台 | |
| US11460302B2 (en) | Terrestrial observation device having location determination functionality | |
| Andert et al. | On the safe navigation problem for unmanned aircraft: Visual odometry and alignment optimizations for UAV positioning | |
| CN111505692B (zh) | 一种基于北斗/视觉的组合定位导航方法 | |
| CN116027351A (zh) | 一种手持/背包式slam装置及定位方法 | |
| Wei | Multi-sources fusion based vehicle localization in urban environments under a loosely coupled probabilistic framework | |
| Brown et al. | Inertial navigation electro-optical aiding during gps dropouts | |
| US12000703B2 (en) | Method, software product, and system for determining a position and orientation in a 3D reconstruction of the earth's surface | |
| CN117611762B (zh) | 一种多层级地图构建方法、系统及电子设备 | |
| CN113705734B (zh) | 一种基于多传感器和地心的遥感图像特征点高程获取方法 | |
| Min | Binocular stereo vision control method for landing position of four rotor UAV |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20200807 Assignee: Shanxi Yuxiang Information Technology Co.,Ltd. Assignor: NORTH University OF CHINA Contract record no.: X2023140000023 Denomination of invention: A Combined Positioning and Navigation Method Based on Beidou/Vision Granted publication date: 20210312 License type: Common License Record date: 20231108 |
|
| EE01 | Entry into force of recordation of patent licensing contract |