CN112213753A - 一种北斗导航定位功能与增强现实技术相结合规划跳伞训练路径的方法 - Google Patents
一种北斗导航定位功能与增强现实技术相结合规划跳伞训练路径的方法 Download PDFInfo
- Publication number
- CN112213753A CN112213753A CN202010931559.1A CN202010931559A CN112213753A CN 112213753 A CN112213753 A CN 112213753A CN 202010931559 A CN202010931559 A CN 202010931559A CN 112213753 A CN112213753 A CN 112213753A
- Authority
- CN
- China
- Prior art keywords
- data
- parachutist
- augmented reality
- time
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 40
- 238000005516 engineering process Methods 0.000 title claims abstract description 27
- 238000012549 training Methods 0.000 title claims abstract description 16
- 238000012545 processing Methods 0.000 claims abstract description 45
- 230000000007 visual effect Effects 0.000 claims abstract description 29
- 230000006870 function Effects 0.000 claims abstract description 24
- 230000009191 jumping Effects 0.000 claims abstract description 17
- 239000013598 vector Substances 0.000 claims description 46
- 230000001133 acceleration Effects 0.000 claims description 38
- 238000005259 measurement Methods 0.000 claims description 24
- 239000011159 matrix material Substances 0.000 claims description 21
- 238000001914 filtration Methods 0.000 claims description 20
- 238000006243 chemical reaction Methods 0.000 claims description 16
- 238000004364 calculation method Methods 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 12
- 239000011521 glass Substances 0.000 claims description 9
- 230000033001 locomotion Effects 0.000 claims description 9
- 230000009466 transformation Effects 0.000 claims description 8
- 238000007405 data analysis Methods 0.000 claims description 4
- 238000003702 image correction Methods 0.000 claims description 4
- 238000004891 communication Methods 0.000 claims description 3
- 230000002596 correlated effect Effects 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 claims description 3
- 230000003321 amplification Effects 0.000 claims description 2
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 2
- 230000005484 gravity Effects 0.000 claims 1
- 230000007613 environmental effect Effects 0.000 abstract description 3
- 238000011161 development Methods 0.000 abstract description 2
- DMBHHRLKUKUOEG-UHFFFAOYSA-N diphenylamine Chemical compound C=1C=CC=CC=1NC1=CC=CC=C1 DMBHHRLKUKUOEG-UHFFFAOYSA-N 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 2
- 238000005265 energy consumption Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000001502 supplementing effect Effects 0.000 description 2
- 230000000875 corresponding effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
- G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
- G01S19/393—Trajectory determination or predictive tracking, e.g. Kalman filtering
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
- G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
- G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
- G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
- G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
- G01S19/42—Determining position
- G01S19/48—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
- G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
- G01S19/42—Determining position
- G01S19/48—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system
- G01S19/49—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system whereby the further system is an inertial position system, e.g. loosely-coupled
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/29—Geographical information databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
Landscapes
- Engineering & Computer Science (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Automation & Control Theory (AREA)
- Computer Hardware Design (AREA)
- Data Mining & Analysis (AREA)
- Computer Graphics (AREA)
- Human Computer Interaction (AREA)
- Navigation (AREA)
Abstract
本发明涉及一种北斗导航定位功能与增强现实技术相结合规划跳伞训练路径的方法，基于北斗导航系统，集成运动传感模块和北斗定位模块的增强现实技术降落伞路径规划视觉辅助系统可以满足上述要求。系统首先通过北斗导航系统获取位置信息数据，再将数据传递给GIS数据处理系统进行数字化处理，最后通过增强现实技术把处理后的虚拟空间信息数据与真实景象叠加显示在跳伞员视野中，为跳伞员提供实时目标落点的位置和环境参数，有效保障了跳伞员的人身安全。将北斗导航系统与增强现实技术相结合的视觉辅助系统开发前景十分广泛，可以在此基础上研发更多的创新拓展功能应用到更多领域去。
Description
技术领域
本发明属于北斗导航领域，特别涉及一种北斗导航定位功能与增强现实技术相结合规划跳伞训练路径的方法。
背景技术
近年来，跳伞广泛应用于军事方面，并在灾区救援、军事训练中发挥作用。跳伞具有运动复杂性高、危险性高、强度大、节奏快、联络难度大等特点，对跳伞员身体素质需求高，且受气候条件影响较大。在跳伞员离机后，气候因素会增加跳伞员判断落点方位的难度，导致偏离目标落点，而在夜间跳伞也会由于光线暗、视野小，跳伞难度骤升，如何降低气候、夜晚等环境因素对判断落点方位的影响对于提高跳伞质量，保障跳伞员的人身安全至关重要。
目前定点跳伞中，跳伞员主要通过所处环境的风向、风速并结合自己的经验主观判断目标落点的位置，因此跳伞员需要接受长期专业的训练才能进行定点跳伞。然而在无明显地面标识、无指挥引导的条件下，多变的环境会使跳伞员无法正确判断落点方位。因此，设计能够及时提供空间位置信息、周边地理环境，并规划出引导跳伞员准确降落路线的辅助系统是极为必要的。
发明内容
本发明所设计的系统是可以及时为跳伞员提供实时位置信息与目标落点方位的辅助系统。它利用来自北斗定位系统的高精度、高可靠性的位置数据，提取来自GIS系统的对应位置的空间地理信息，通过增强现实技术将提取到的信息与跳伞员视野内的场景进行匹配叠加，将目标落点的方位与相关数据显示在跳伞员视野中，为跳伞员提供可视化视觉辅助，从而有效提升跳伞的准确性、安全性，在为跳伞提供辅助功能的同时也表明增强现实技术与北斗导航系统数据的可视化结合具有广阔的前景。
为解决上述技术问题，本发明提供一种北斗导航定位功能与增强现实技术相结合规划跳伞训练路径的方法，按照功能主要分为北斗导航定位系统、GIS空间地理数据处理系统和增强显示系统三个部分。具体分为以下步骤：
步骤1：北斗导航定位系统获取跳伞员的实时位置；
首先对跳伞员进行定位，通过北斗卫星接收机接收北斗卫星信号，并对接收到的信息进行处理，从中提取出所需要的位置信息，并发送至处理系统对数据处理整合。
北斗卫星接收机主要包括以下几个部分：天线、射频模块、基带模块、数字处理模块、定位模块。其中，天线模块负责接收北斗卫星信号，并将信号进行低噪放处理与变频处理，降低信号的载波频率。基带模块负责从复杂信号中提取出北斗卫星信号、持续输出北斗卫星信号、解调出基带信号并翻译基带信号。经过译码的北斗卫星信号将发送到数据处理模块，经过整理后被送往定位解算模块以求出卫星在地心地固坐标系中的坐标。
得到卫星的坐标后我们可以通过最小二乘迭代法、卡尔曼滤波法、扩展卡尔曼滤波法与无迹卡尔曼滤波法等解算算法解算出位置信息、速度信息、时间信息。
卡尔曼滤波法是使用状态方程和量测方程来实现的，在此简要介绍卡尔曼滤波法的解算流程：
首先，我们假设系统状态方程和量测方程如下所示：
其中，Xk表示k时刻n×1维系统状态矢量；Xk-1则是k-1时刻的系统状态矢量；φk|k-1为k-1时刻的m×1维量测矢量；Wk-1为k-1时刻n×1维系统噪声矢量；Γk-1为系统噪声驱动矩阵；Zk为k时刻m×1维量测矢量；Hk为k时刻m×n维量测矩阵；Vk为k时刻m×1维量测噪声矢量；
系统噪声矢量Wk-1和量测噪声矢量Vk都是零均值白噪声序列，且两者互不相关，有如下关系：
其中，Qk表示系统的噪声序列的方差矩阵，Rk是量测噪声的方差序列的方差矩阵；这里，我们假定Qk是非负定矩阵，并且假定Rk为正定矩阵；另外，δki为Kroneker函数：
结合上面对于滤波方程的数学描述和相关的统计数据，根据一组卡尔曼滤波方程，我们可以利用实际的测量值Zk与测量值前一时刻求出的估计值
求得k时刻的时间最优估计值
卡尔曼滤波方程如下所示：
状态一步预测方程：
协方差误差预测方程：
滤波增益方程：
状态估计计算方程：
状态一步预测方程：
Pk＝[I-Kk Hk]Pk|k-1
在求解位置、速度、时间信息时，使用卡尔曼滤波算法的思路为：首先，选择一个合适的初始值，即第一个状态的值，只有这样才能够保证卡尔曼滤波算法迭代的收敛性；合理运用预测与更新这两个步骤，用前一状态估计当前状态会有一定的误差，而直接测量当前状态时也会有误差，也称为测量误差，充分利用预测和更新两个步骤可以获得一个更加接近最优状态的值；此外，我们可以把位置误差等也作为系统的状态变量，进一步减小误差带来的影响。
步骤2：GIS地图数据处理；
由于在空中进行实时的数据通信需要在地面建设多个基站，为了减少系统使用成本，提升系统适用性，本系统中采用从本地移动终端存储的数据中获取地理数据的方法，这种方法被称为C/S(客户端/服务器)结构的两层架构模式。在每次跳伞前，跳伞员将移动GIS系统连接至互联网更新存储器中的数据，以保证跳伞过程中实际情况与GIS空间地理信息的正确匹配。
在增强现实系统从GIS数据库访问数据前需要先在GIS数据库中创建数据源，即对存储器中的数据进行编辑。首先获取跳伞目标地点区域附近的遥感矢量图，对其进行投影变换、影像校正，接着利用GIS技术对其进行数字化处理，在数字化处理的过程中需要将每个地理要素的名称、经纬度坐标、海拔、高程等属性数据补充完整，得到矢量地图。
步骤3：增强现实技术实现跳伞训练路径的规划；
首先通过特制的护目AR眼镜上设置的摄像头实时获取跳伞员视野，将其作为显示虚拟路径的界面与其他处理系统交互的接口，此步骤交由视频处理模块完成；接着通过跳伞员随身携带的集成传感器组实时获得多项数据，其中包括来自北斗定位接收机中的芯片的跳伞员的实时位置和速度；借助运动状态监测系统中传感器组取得的跳伞员自身的加速度，此步骤通过传感器模块完成；接着将位置信息与存储内的地理数据库中的数据信息匹配，获得跳伞员当前时刻所处地理位置，计算出与目标落点的相对位置，再通过算法在视野内标识出预计落点。通过获得的方位、姿态等数据在视野场景中创建实时坐标系，将规划出的路径通过转换模块进行坐标转换并与现实场景进行结合，显示在AR眼镜中，这个部分称为数据分析与图像生成模块。随着跳伞员的视野转换，以上模块循环工作更新AR眼镜中显示的合成图像，直至跳伞完成，系统结束任务。
跳伞员头部姿态数据的计算过程包括头部朝向与俯仰角、倾斜角的计算。其中头部的朝向可以通过电子罗盘的读数判断。与传统指针式和平衡结构罗盘相比，电子罗盘具有能耗低、体积小、重量轻、精度高、小型化的优点，同时，电子罗盘可以输出数字化信号，便于利用数字电路系统进行处理。
俯仰角和倾斜角的计算主要利用加速度传感器获得的读数。加速度传感器是一种感应加速度并将其转换为数字信号输出的传感器。基本原理是加速度将引起介质的可测量变形，通过测量其形状变量并通过转换电路将其转换为电压变化，并最终通过数模转换输出数字信号。加速度传感器可根据介质分为压电式，压阻式，电容式和伺服式加速度计。
由加速度传感器获取的数据是由作用在传感器的三个坐标轴上的力产生的加速度值。当设备静止时，它获取的值仅是传感器XYZ的三轴方向上的重力加速度的投影矢量；当装置运动时，加速度传感器获取由作用在坐标轴上的力产生的加速度与沿轴向的重力加速度的投影矢量之间的差。可以根据装置的每个轴向上的加速度值来计算装置的空间姿态数据Pitch and Roll。
Pitch表示装置绕X轴相对于水平面的角度，即俯仰角，实际上是视觉坐标系的Y坐标与水平面之间的角度。其值范围为[-180，180]；Roll表示设备绕Y轴相对于水平面的旋转角度，即左右倾斜的角度，实际上是视觉坐标系的X坐标与水平面之间的角度。其大小范围为[-90，90]。
考虑到增强现实系统的主要功能是在真实场景中实时准确地叠加虚拟空间数据，并随着摄像机位置和姿态数据的变化，更改叠加的空间数据，也称为增强现实系统的图像配准。图像配准功能涉及以下五个坐标系的转换：
真实空间坐标系，也是基准坐标系，这意味着这里涉及到的所有坐标系都是参照真实空间坐标系定义的；
虚拟物体坐标系，也被称为局部坐标系，在创建虚拟物体时虚拟物体坐标系就已经被确定下来；
摄影机坐标系，是一个以摄影机为原点，以观察者的实际视线为坐标轴建立的坐标系；
投影面坐标系，是一个二维坐标系，用于定义物体在成像面上的所有点；
屏幕坐标系，是以显示器某一位置为原点建立的平面坐标系，以像素为单位。
系统要完成的功能决定了要添加的虚拟物体在真实坐标系中的方位，即虚拟物体坐标系与真实空间坐标系的关系是已知的，所以虚拟物体坐标系中三维虚拟物体的几何描述可以变换为绝对空间坐标系中的几何描述。经过注册计算后，增强现实系统的使用者头部在真实空间中的位置和方位角就已经确定了，观察者坐标系与真实空间坐标系之间的变换矩阵也就可以求出了，因此就可以将虚拟物体坐标系中三位虚拟物体的几何描述变换为观察者坐标系中的几何描述。下一步，再将观察者坐标系中的虚拟物体投影到屏幕坐标系中就可以实现增强现实系统中虚拟物体的绘制。
相对于现有技术，本发明的优点如下：本发明首先通过北斗导航系统获取位置信息数据，再将数据传递给GIS数据处理系统进行数字化处理，最后通过增强现实技术把处理后的虚拟空间信息数据与真实景象叠加显示在跳伞员视野中，为跳伞员提供实时目标落点的位置和环境参数，有效保障了跳伞员的人身安全。将北斗导航系统与增强现实技术相结合的视觉辅助系统开发前景十分广泛，可以在此基础上研发更多的创新拓展功能应用到更多领域去。
附图说明
图1为本发明的系统说明图；
图2为技术方案步骤3中在视野场景中创建的实时坐标系图；
图3为实现增强现实立体显示所需的五个坐标系统说明图；
图4为MPU6050数据采集电路；
图5为Nebulas UC260芯片。
具体实施方式
下面结合附图和具体实施方式，进一步阐明本发明。本发明描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的其他实施例，都属于本发明所保护的范围。
实施例1：一种北斗导航定位功能与增强现实技术相结合规划跳伞训练路径的方法，按照功能主要分为北斗导航定位系统、GIS空间地理数据处理系统和增强显示系统三个部分，具体分为以下步骤：
步骤1：北斗导航定位系统获取跳伞员的实时位置；
首先对跳伞员进行定位，通过北斗卫星接收机接收北斗卫星信号，并对接收到的信息进行处理，从中提取出所需要的位置信息，并发送至处理系统对数据处理整合；
北斗卫星接收机主要包括以下几个部分：天线、射频模块、基带模块、数字处理模块、定位模块，其中，天线模块负责接收北斗卫星信号，并将信号进行低噪放处理与变频处理，降低信号的载波频率。基带模块负责从复杂信号中提取出北斗卫星信号、持续输出北斗卫星信号、解调出基带信号并翻译基带信号。经过译码的北斗卫星信号将发送到数据处理模块，经过整理后被送往定位解算模块以求出卫星在地心地固坐标系中的坐标；
得到卫星的坐标后我们可以通过最小二乘迭代法、卡尔曼滤波法、扩展卡尔曼滤波法与无迹卡尔曼滤波法等解算算法解算出位置信息、速度信息、时间信息。
卡尔曼滤波法是使用状态方程和量测方程来实现的，在此简要介绍卡尔曼滤波法的解算流程：
首先，我们假设系统状态方程和量测方程如下所示：
其中，Xk表示k时刻n×1维系统状态矢量；Xk-1则是k-1时刻的系统状态矢量；φk|k-1为k-1时刻的m×1维量测矢量；Wk-1为k-1时刻n×1维系统噪声矢量；Γk-1为系统噪声驱动矩阵；Zk为k时刻m×1维量测矢量；Hk为k时刻m×n维量测矩阵；Vk为k时刻m×1维量测噪声矢量；
系统噪声矢量Wk-1和量测噪声矢量Vk都是零均值白噪声序列，且两者互不相关，有如下关系：
其中，Qk表示系统的噪声序列的方差矩阵，Rk是量测噪声的方差序列的方差矩阵；这里，我们假定Qk是非负定矩阵，并且假定Rk为正定矩阵；另外，δki为Kroneker函数：
结合上面对于滤波方程的数学描述和相关的统计数据，根据一组卡尔曼滤波方程，我们可以利用实际的测量值Zk与测量值前一时刻求出的估计值
求得k时刻的时间最优估计值
卡尔曼滤波方程如下所示：
状态一步预测方程：
协方差误差预测方程：
滤波增益方程：
状态估计计算方程：
状态一步预测方程：
Pk＝[I-Kk Hk]Pk|k-1
在求解位置、速度、时间信息时，使用卡尔曼滤波算法的思路为：首先，选择一个合适的初始值，即第一个状态的值，只有这样才能够保证卡尔曼滤波算法迭代的收敛性；合理运用预测与更新这两个步骤，用前一状态估计当前状态会有一定的误差，而直接测量当前状态时也会有误差，也称为测量误差，充分利用预测和更新两个步骤可以获得一个更加接近最优状态的值；此外，我们可以把位置误差等也作为系统的状态变量，进一步减小误差带来的影响。
步骤2：GIS地图数据处理；
由于在空中进行实时的数据通信需要在地面建设多个基站，为了减少系统使用成本，提升系统适用性，本系统中采用从本地移动终端存储的数据中获取地理数据的方法，这种方法被称为C/S(客户端/服务器)结构的两层架构模式。在每次跳伞前，跳伞员将移动GIS系统连接至互联网更新存储器中的数据，以保证跳伞过程中实际情况与GIS空间地理信息的正确匹配。
在增强现实系统从GIS数据库访问数据前需要先在GIS数据库中创建数据源，即对存储器中的数据进行编辑。首先获取跳伞目标地点区域附近的遥感矢量图，对其进行投影变换、影像校正，接着利用GIS技术对其进行数字化处理，在数字化处理的过程中需要将每个地理要素的名称、经纬度坐标、海拔、高程等属性数据补充完整，得到矢量地图。
步骤3：增强现实技术实现跳伞训练路径的规划；
首先通过特制的护目AR眼镜上设置的摄像头实时获取跳伞员视野，将其作为显示虚拟路径的界面与其他处理系统交互的接口，此步骤交由视频处理模块完成；接着通过跳伞员随身携带的集成传感器组实时获得多项数据，其中包括来自北斗定位接收机中的芯片的跳伞员的实时位置和速度；借助运动状态监测系统中传感器组取得的跳伞员自身的加速度，此步骤通过传感器模块完成；接着将位置信息与存储内的地理数据库中的数据信息匹配，获得跳伞员当前时刻所处地理位置，计算出与目标落点的相对位置，再通过算法在视野内标识出预计落点。通过获得的方位、姿态等数据在视野场景中创建实时坐标系，将规划出的路径通过转换模块进行坐标转换并与现实场景进行结合，显示在AR眼镜中，这个部分称为数据分析与图像生成模块。随着跳伞员的视野转换，以上模块循环工作更新AR眼镜中显示的合成图像，直至跳伞完成，系统结束任务。
跳伞员头部姿态数据的计算过程包括头部朝向与俯仰角、倾斜角的计算。其中头部的朝向可以通过电子罗盘的读数判断。与传统指针式和平衡结构罗盘相比，电子罗盘具有能耗低、体积小、重量轻、精度高、小型化的优点，同时，电子罗盘可以输出数字化信号，便于利用数字电路系统进行处理。
俯仰角和倾斜角的计算主要利用加速度传感器获得的读数。加速度传感器是一种感应加速度并将其转换为数字信号输出的传感器。基本原理是加速度将引起介质的可测量变形，通过测量其形状变量并通过转换电路将其转换为电压变化，并最终通过数模转换输出数字信号。加速度传感器可根据介质分为压电式，压阻式，电容式和伺服式加速度计。
由加速度传感器获取的数据是由作用在传感器的三个坐标轴上的力产生的加速度值。当设备静止时，它获取的值仅是传感器XYZ的三轴方向上的重力加速度的投影矢量；当装置运动时，加速度传感器获取由作用在坐标轴上的力产生的加速度与沿轴向的重力加速度的投影矢量之间的差。可以根据装置的每个轴向上的加速度值来计算装置的空间姿态数据Pitch and Roll。
Pitch表示装置绕X轴相对于水平面的角度，即俯仰角，实际上是视觉坐标系的Y坐标与水平面之间的角度。其值范围为[-180，180]；Roll表示设备绕Y轴相对于水平面的旋转角度，即左右倾斜的角度，实际上是视觉坐标系的X坐标与水平面之间的角度。其大小范围为[-90，90]。
考虑到增强现实系统的主要功能是在真实场景中实时准确地叠加虚拟空间数据，并随着摄像机位置和姿态数据的变化，更改叠加的空间数据，也称为增强现实系统的图像配准。图像配准功能涉及以下五个坐标系的转换：
真实空间坐标系(图3中XYZ)，也是基准坐标系，这意味着这里涉及到的所有坐标系都是参照真实空间坐标系定义的；
虚拟物体坐标系(图3中εηδ)，也被称为局部坐标系，在创建虚拟物体时虚拟物体坐标系就已经被确定下来；
摄影机坐标系(图3中xyz)，是一个以摄影机为原点，以观察者的实际视线为坐标轴建立的坐标系；
投影面坐标系(图3中u′v′)，是一个二维坐标系，用于定义物体在成像面上的所有点；
屏幕坐标系(图3中uv)，是以显示器某一位置为原点建立的平面坐标系，以像素为单位。
系统要完成的功能决定了要添加的虚拟物体在真实坐标系中的方位，即虚拟物体坐标系与真实空间坐标系的关系是已知的，所以虚拟物体坐标系中三维虚拟物体的几何描述可以变换为绝对空间坐标系中的几何描述。经过注册计算后，增强现实系统的使用者头部在真实空间中的位置和方位角就已经确定了，观察者坐标系与真实空间坐标系之间的变换矩阵也就可以求出了，因此就可以将虚拟物体坐标系中三位虚拟物体的几何描述变换为观察者坐标系中的几何描述。下一步，再将观察者坐标系中的虚拟物体投影到屏幕坐标系中就可以实现增强现实系统中虚拟物体的绘制。
应用实施例：如图1为系统的构成框架，分为北斗导航定位系统、GIS空间地理数据系统和增强现实系统。
首先采用我国北斗导航定位终端实时快速的提供跳伞员空间位置与运动数据，首先通过北斗卫星接收机解算出卫星在地心地固坐标系中的坐标，之后可以通过最小二乘迭代法、卡尔曼滤波法、扩展卡尔曼滤波法与无迹卡尔曼滤波法等解算算法解算出跳伞员的位置信息、速度信息以及时间信息。
之后利用移动GIS系统进行跳伞员空间位置数据与地理信息的综合处理与动态存取，采用从本地移动终端存储的数据中获取地理数据的方法。在每次跳伞前，跳伞员将移动GIS系统连接至互联网更新存储器中的数据，以保证跳伞过程中实际情况与GIS空间地理信息的正确匹配。获取跳伞目标地点区域附近的遥感矢量图，对其进行投影变换、影像矫正，接着利用GIS技术对其进行数字化处理，得到矢量地图。
最终由增强现实系统在移动GIS系统的空间地理数据库中调取相关地理信息，依靠增强现实技术实现数据的可视化。通过特质的护目AR镜上设置的摄像头实时获取跳伞员视野，通过跳伞员随身携带的集成传感器组实时获得多项所需数据，进行数据的处理。
为了提高跳伞员跳伞的准确度，将跳伞员的周边地理信息、自身运动数据与目标落点方位用增强现实技术显示在带有显示器护目镜上。让跳伞员可以实时获得目标落点方位及周边环境信息，在跳伞过程中及时调整自己的降落方向。
此实施例用到了两种芯片，分别是MPU-6050模块和和芯星通UC260，如图4和图5。
MPU-60X0是世界上首个集成6轴的运动处理组件。由于它消除了组合陀螺仪与加速器时间轴之间存在差异的问题，MPU-6000的封装尺寸仅为4x4x0.9mm。将MPU-60X0连接到三轴磁强计时，它将提供完整的9轴运动融合输出到其主I2C或SPI端口。该芯片能够对6轴或9轴的旋转矩阵、欧拉角格式、四元数等数据进行融合演算后，以数字形式输出。它的敏感度高达131LSBs/°/sec，并具有全格感测范围为±250、±500、±1000与±2000°/sec的3轴角速度感测器。它具有可编程控制功能，可编程控制范围为±2g、±4g、±8g和±16g的3轴加速器。它的数字运动处理(DMP)引擎可降低融合演算数据的负载、同步传感器并感应姿势。
和芯星通UC260芯片支持北斗卫星导航系统(BDS B1/B2/B3)及北斗系统的所有频率点。每颗芯片支持最多6路不同的北斗导航信号。该芯片利用嵌入的CPU高度集成了算法功能，仅使用一枚芯片就可实现自主定位。该芯片支持接收器的自主完整性检测，确保位置信息的安全性与可靠性。该芯片使用90nm工艺，低功耗，低发热。其内置200+MHz处理器支持单芯片接收器解决方案。系统外设接口支持UARTx4，SPIx3，I2C，GPIOs，SIM，USB，原始载波相位观测值为1mm RMS，芯片的数据更新频率为1Hz-20Hz，1PPS输出为20ns，芯片的工作温度范围在-40℃～85℃，符合跳伞环境要求。
需要说明的是上述实施例仅仅是本发明的较佳实施例，并没有用来限定本发明的保护范围，在上述技术方案的基础上做出的等同替换或者替代，均属于本发明的保护范围。
Claims (4)
1.一种北斗导航定位功能与增强现实技术相结合规划跳伞训练路径的方法，其特征在于，所述方法包括以下步骤：
步骤1：北斗导航定位系统获取跳伞员的实时位置；
步骤2：GIS地图数据处理；
步骤3：增强现实技术实现跳伞训练路径的规划。
2.根据权利要求1所述的一种北斗导航定位功能与增强现实技术相结合规划跳伞训练路径的方法，其特征在于，所述步骤1：北斗导航定位系统获取跳伞员的实时位置，具体如下：
首先对跳伞员进行定位，通过北斗卫星接收机接收北斗卫星信号，并对接收到的信息进行处理，从中提取出所需要的位置信息，并发送至处理系统对数据处理整合；
北斗卫星接收机主要包括以下几个部分：天线、射频模块、基带模块、数字处理模块、定位模块，其中，天线模块负责接收北斗卫星信号，并将信号进行低噪放处理与变频处理，降低信号的载波频率；基带模块负责从复杂信号中提取出北斗卫星信号、持续输出北斗卫星信号、解调出基带信号并翻译基带信号；经过译码的北斗卫星信号将发送到数据处理模块，经过整理后被送往定位解算模块以求出卫星在地心地固坐标系中的坐标；
得到卫星的坐标后通过最小二乘迭代法、卡尔曼滤波法、扩展卡尔曼滤波法与无迹卡尔曼滤波法等解算算法解算出位置信息、速度信息、时间信息；
卡尔曼滤波法是使用状态方程和量测方程来实现的，卡尔曼滤波法的解算流程如下：
首先，假设系统状态方程和量测方程如下所示：
其中，Xk表示k时刻n×1维系统状态矢量；Xk-1则是k-1时刻的系统状态矢量；φk|k-1为k-1时刻的m×1维量测矢量；Wk-1为k-1时刻n×1维系统噪声矢量；Γk-1为系统噪声驱动矩阵；Zk为k时刻m×1维量测矢量；Hk为k时刻m×n维量测矩阵；Vk为k时刻m×1维量测噪声矢量；
系统噪声矢量Wk-1和量测噪声矢量Vk都是零均值白噪声序列，且两者互不相关，有如下关系：
其中，Qk表示系统的噪声序列的方差矩阵，Rk是量测噪声的方差序列的方差矩阵；这里，我们假定Qk是非负定矩阵，并且假定Rk为正定矩阵；另外，δki为Kroneker函数：
结合上面对于滤波方程的数学描述和相关的统计数据，根据一组卡尔曼滤波方程，利用实际的测量值Zk与测量值前一时刻求出的估计值
求得k时刻的时间最优估计值
卡尔曼滤波方程如下所示：
状态一步预测方程：
协方差误差预测方程：
滤波增益方程：
状态估计计算方程：
状态一步预测方程：
Pk＝[I-KkHk]Pk|k-1
在求解位置、速度、时间信息时，使用卡尔曼滤波算法的思路为：首先，选择一个合适的初始值，即第一个状态的值，只有这样才能够保证卡尔曼滤波算法迭代的收敛性；合理运用预测与更新这两个步骤，用前一状态估计当前状态会有一定的误差，而直接测量当前状态时也会有误差，也称为测量误差，充分利用预测和更新两个步骤可以获得一个更加接近最优状态的值。
3.根据权利要求1所述的一种北斗导航定位功能与增强现实技术相结合规划跳伞训练路径的方法，其特征在于，所述步骤2中GIS地图数据处理，具体如下：
由于在空中进行实时的数据通信需要在地面建设多个基站，在每次跳伞前，跳伞员将移动GIS系统连接至互联网更新存储器中的数据，以保证跳伞过程中实际情况与GIS空间地理信息的正确匹配；在增强现实系统从GIS数据库访问数据前需要先在GIS数据库中创建数据源，即对存储器中的数据进行编辑，首先获取跳伞目标地点区域附近的遥感矢量图，对其进行投影变换、影像校正，接着利用GIS技术对其进行数字化处理，在数字化处理的过程中需要将每个地理要素的名称、经纬度坐标、海拔、高程等属性数据补充完整，得到矢量地图。
4.根据权利要求1所述的一种北斗导航定位功能与增强现实技术相结合规划跳伞训练路径的方法，其特征在于，所述步骤3增强现实技术实现跳伞训练路径的规划，具体如下：
首先通过特制的护目AR眼镜上设置的摄像头实时获取跳伞员视野，将其作为显示虚拟路径的界面与其他处理系统交互的接口，此步骤交由视频处理模块完成；接着通过跳伞员随身携带的集成传感器组实时获得多项数据，其中包括来自北斗定位接收机中的芯片的跳伞员的实时位置和速度；借助运动状态监测系统中传感器组取得的跳伞员自身的加速度，此步骤通过传感器模块完成；接着将位置信息与存储内的地理数据库中的数据信息匹配，获得跳伞员当前时刻所处地理位置，计算出与目标落点的相对位置，再通过算法在视野内标识出预计落点，通过获得的方位、姿态等数据在视野场景中创建实时坐标系，将规划出的路径通过转换模块进行坐标转换并与现实场景进行结合，显示在AR眼镜中，这个部分称为数据分析与图像生成模块，随着跳伞员的视野转换，以上模块循环工作更新AR眼镜中显示的合成图像，直至跳伞完成，系统结束任务；
跳伞员头部姿态数据的计算过程包括头部朝向与俯仰角、倾斜角的计算，其中头部的朝向可以通过电子罗盘的读数判断；
俯仰角和倾斜角的计算主要利用加速度传感器获得的读数，加速度传感器是一种感应加速度并将其转换为数字信号输出的传感器；
由加速度传感器获取的数据是由作用在传感器的三个坐标轴上的力产生的加速度值，当设备静止时，它获取的值仅是传感器XYZ的三轴方向上的重力加速度的投影矢量；当装置运动时，加速度传感器获取由作用在坐标轴上的力产生的加速度与沿轴向的重力加速度的投影矢量之间的差；根据装置的每个轴向上的加速度值来计算装置的空间姿态数据Pitchand Roll；
Pitch表示装置绕X轴相对于水平面的角度，即俯仰角，实际上是视觉坐标系的Y坐标与水平面之间的角度，其值范围为[-180，180]；Roll表示设备绕Y轴相对于水平面的旋转角度，即左右倾斜的角度，实际上是视觉坐标系的X坐标与水平面之间的角度，其大小范围为[-90，90]。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010931559.1A CN112213753B (zh) | 2020-09-07 | 2020-09-07 | 一种北斗导航定位功能与增强现实技术相结合规划跳伞训练路径的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010931559.1A CN112213753B (zh) | 2020-09-07 | 2020-09-07 | 一种北斗导航定位功能与增强现实技术相结合规划跳伞训练路径的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112213753A true CN112213753A (zh) | 2021-01-12 |
| CN112213753B CN112213753B (zh) | 2024-03-08 |
Family
ID=74049177
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010931559.1A Active CN112213753B (zh) | 2020-09-07 | 2020-09-07 | 一种北斗导航定位功能与增强现实技术相结合规划跳伞训练路径的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112213753B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114167985A (zh) * | 2021-11-29 | 2022-03-11 | 中国科学院计算机网络信息中心 | 一种基于5g的应急任务增强现实应用方法及系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106896375A (zh) * | 2015-12-19 | 2017-06-27 | 西安成远网络科技有限公司 | 一种野外救援系统 |
| CN106932804A (zh) * | 2017-03-17 | 2017-07-07 | 南京航空航天大学 | 天文辅助的惯性/北斗紧组合导航系统及其导航方法 |
| US20170370726A1 (en) * | 2016-06-27 | 2017-12-28 | Intel Corporation | Skydiving trajectory and coordination feedback system |
| CN207440621U (zh) * | 2017-10-23 | 2018-06-01 | 孙亚明 | 一种基于gis管控的飞行控制装置 |
| CN108939488A (zh) * | 2018-08-31 | 2018-12-07 | 东南大学 | 一种基于增强现实的帆船辅助训练装置和训练路径规划方法 |
| CN210895974U (zh) * | 2019-12-09 | 2020-06-30 | 西安奇维科技有限公司 | 一种跳伞训练辅助系统 |
-
2020
- 2020-09-07 CN CN202010931559.1A patent/CN112213753B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106896375A (zh) * | 2015-12-19 | 2017-06-27 | 西安成远网络科技有限公司 | 一种野外救援系统 |
| US20170370726A1 (en) * | 2016-06-27 | 2017-12-28 | Intel Corporation | Skydiving trajectory and coordination feedback system |
| CN106932804A (zh) * | 2017-03-17 | 2017-07-07 | 南京航空航天大学 | 天文辅助的惯性/北斗紧组合导航系统及其导航方法 |
| CN207440621U (zh) * | 2017-10-23 | 2018-06-01 | 孙亚明 | 一种基于gis管控的飞行控制装置 |
| CN108939488A (zh) * | 2018-08-31 | 2018-12-07 | 东南大学 | 一种基于增强现实的帆船辅助训练装置和训练路径规划方法 |
| CN210895974U (zh) * | 2019-12-09 | 2020-06-30 | 西安奇维科技有限公司 | 一种跳伞训练辅助系统 |
Non-Patent Citations (2)
| Title |
|---|
| 斯亮: "嵌入式 GPS/GIS 导航系统的研究与设计", 《中国优秀硕士学位论文全文数据库基础科学辑。, no. 2, pages 8 - 77 * |
| 赵龙: "北斗导航定位系统关键技术研究", 《中国优秀硕士学位论文全文数据库信息科技辑》, no. 11, pages 5 - 48 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114167985A (zh) * | 2021-11-29 | 2022-03-11 | 中国科学院计算机网络信息中心 | 一种基于5g的应急任务增强现实应用方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112213753B (zh) | 2024-03-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9875579B2 (en) | Techniques for enhanced accurate pose estimation | |
| CN109931926B (zh) | 一种基于站心坐标系的小型无人机无缝自主式导航方法 | |
| US9721347B2 (en) | 3D model updates using crowdsourced video | |
| AU2015265416B2 (en) | Method and system for image georegistration | |
| JP5980295B2 (ja) | カメラ姿勢決定方法、及び実環境物体認識方法 | |
| KR101285360B1 (ko) | 증강현실을 이용한 관심 지점 표시 장치 및 방법 | |
| CN105761242B (zh) | 一种基于计算机双目视觉与惯性测量的盲人行走定位方法 | |
| CN104750969B (zh) | 智能机全方位增强现实信息叠加方法 | |
| CN109708649B (zh) | 一种遥感卫星的姿态确定方法及系统 | |
| WO2011091552A1 (en) | Extracting and mapping three dimensional features from geo-referenced images | |
| US11238610B2 (en) | Placing large objects and objects separated by large distances in augmented reality | |
| CN106537409B (zh) | 确定影像的罗盘定位 | |
| CN112489032A (zh) | 一种复杂背景下无人机载小目标检测定位方法及系统 | |
| US20210217210A1 (en) | Augmented reality system and method of displaying an augmented reality image | |
| CN109341686A (zh) | 一种基于视觉-惯性紧耦合的飞行器着陆位姿估计方法 | |
| CN111083633A (zh) | 移动终端定位系统及其建立方法、移动终端的定位方法 | |
| Antigny et al. | Pedestrian track estimation with handheld monocular camera and inertial-magnetic sensor for urban augmented reality | |
| Stranner et al. | A high-precision localization device for outdoor augmented reality | |
| Wang et al. | Monocular vision and IMU based navigation for a small unmanned helicopter | |
| US20120026324A1 (en) | Image capturing terminal, data processing terminal, image capturing method, and data processing method | |
| CN112213753B (zh) | 一种北斗导航定位功能与增强现实技术相结合规划跳伞训练路径的方法 | |
| JP2022108823A (ja) | 捜索支援システムおよび救助支援プログラム | |
| US20210381836A1 (en) | Device navigation based on concurrent position estimates | |
| CN109341685B (zh) | 一种基于单应变换的固定翼飞机视觉辅助着陆导航方法 | |
| CN115790601A (zh) | 一种融合定位与感知方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |