CN115790601A - 一种融合定位与感知方法及系统 - Google Patents
一种融合定位与感知方法及系统 Download PDFInfo
- Publication number
- CN115790601A CN115790601A CN202211530743.0A CN202211530743A CN115790601A CN 115790601 A CN115790601 A CN 115790601A CN 202211530743 A CN202211530743 A CN 202211530743A CN 115790601 A CN115790601 A CN 115790601A
- Authority
- CN
- China
- Prior art keywords
- information
- target carrier
- target
- image
- acquiring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 68
- 230000004927 fusion Effects 0.000 title claims abstract description 13
- 230000033001 locomotion Effects 0.000 claims abstract description 38
- 238000000605 extraction Methods 0.000 claims abstract description 16
- 230000001133 acceleration Effects 0.000 claims description 30
- 238000001514 detection method Methods 0.000 claims description 24
- 238000012549 training Methods 0.000 claims description 23
- 230000005021 gait Effects 0.000 claims description 22
- 238000004364 calculation method Methods 0.000 claims description 19
- 230000003068 static effect Effects 0.000 claims description 19
- 238000005259 measurement Methods 0.000 claims description 17
- 238000013528 artificial neural network Methods 0.000 claims description 15
- 239000011159 matrix material Substances 0.000 claims description 15
- 230000009466 transformation Effects 0.000 claims description 14
- 230000004807 localization Effects 0.000 claims description 13
- 230000008859 change Effects 0.000 claims description 12
- 238000012937 correction Methods 0.000 claims description 7
- 238000012544 monitoring process Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 4
- 238000004422 calculation algorithm Methods 0.000 abstract description 40
- 238000013135 deep learning Methods 0.000 abstract description 9
- 230000000007 visual effect Effects 0.000 abstract description 6
- 230000008447 perception Effects 0.000 abstract description 3
- 238000013527 convolutional neural network Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 12
- 238000011176 pooling Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000001914 filtration Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 230000004913 activation Effects 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000012938 design process Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Landscapes
- Navigation (AREA)
Abstract
本申请公开了一种融合定位与感知方法及系统，该方法包括：先获取目标载体的目标导航信息，对其进行解算以获取目标载体在不同时刻的位置信息；再获取红外相机采集到的目标载体在不同位置信息下的周围环境的红外图像，并进行特征提取以获取目标载体的周围环境的深度图像；最后根据惯性导航信息对深度图像进行修正处理，获取二维平面图像，并根据目标载体在不同时刻的位置信息以及二维平面图像，获取叠加了目标载体的运动轨迹的二维平面地图。本申请基于深度学习方法，利用红外相机实现对周围环境的智能感知并建立二维平面地图，再结合PDR算法叠加载体运动轨迹，可应用于全场景、全天候的导航定位，能够为导航提供更直观的坐标参考。
Description
技术领域
本申请涉及实时定位技术领域，具体涉及一种融合定位与感知方法及系统。
背景技术
卫星定位技术(即全球导航卫星系统，GNSS)是目前最成熟，使用最为广泛的定位技术，但卫星信号在室内容易被建筑物阻隔，因此卫星定位只能在环境开阔、卫星信号强的室外环境中提供较高的精度的位置信息，如何实现高精度的室内定位仍然是一个热点问题。
目前，随着微机电系统(Micro-Electro-Mechanical System，MEMS)传感器的微型化发展，使得MEMS陀螺仪、MEMS加速度计等组成的惯性测量单元(Inertial MeasurementUnit，IMU)的体积进一步缩小。基于微惯性测量单元(Miniature Inertial MeasurementUnit，MIMU)的人员定位终端呈现出体积小、重量轻、低成本以及便于佩戴与安装等特点，因此利用MIMU实现步态检测、步长估计、航向估计得到当前时刻相对于上一时刻的相对位置的行人航迹推算(Pedestrian Dead Reckoning，PDR)方法得到广泛的应用。该方法的核心思想是通过上一时刻的位置信息、行人航向信息及步长信息来推测此刻的位置，因此它在定位过程中不受外部环境的影响，不需要建立任何的基站，可实现全天候条件下，在任意环境中进行连续的三维定向和定位，且在短距离内具有较高的定位精度。
但在上述方案中，PDR算法只能够得到载体相对位置的变化，不能为导航提供更直观的坐标参考，导致使用体验不佳。
发明内容
本申请提供了一种融合定位与感知方法及系统，可应用于全场景、全天候的导航定位，能够提供更好的导航定位服务，该技术方案如下。
一方面，提供了一种融合定位与感知方法，所述方法由一种融合定位与感知系统中的控制主板执行；所述系统还包括红外相机；
所述方法包括：
获取目标载体的目标导航信息，所述目标导航信息包括气压数据信息以及卫星定位信息、惯性导航信息中的至少一者；
对所述目标导航信息进行解算，以获取所述目标载体在不同时刻的位置信息；
获取所述红外相机采集到的，所述目标载体在不同位置信息下的周围环境的红外图像；
对所述红外图像进行特征提取，以获取所述目标载体的周围环境的深度图像；
根据所述惯性导航信息对所述深度图像进行修正处理，以获取二维平面图像；
根据所述目标载体在不同时刻的位置信息以及所述二维平面图像，获取叠加了所述目标载体的运动轨迹的二维平面地图。
又一方面，提供了一种融合定位与感知系统，所述系统包括：控制主板、红外相机、LCD显示屏；
所述控制主板，用于：
获取目标载体的目标导航信息，所述目标导航信息包括气压数据信息以及卫星定位信息、惯性导航信息中的至少一者；
对所述目标导航信息进行解算，以获取所述目标载体在不同时刻的位置信息；
获取所述红外相机采集到的，所述目标载体在不同位置信息下的周围环境的红外图像；
对所述红外图像进行特征提取，以获取所述目标载体的周围环境的深度图像；
根据所述惯性导航信息对所述深度图像进行修正处理，以获取二维平面图像；
根据所述目标载体在不同时刻的位置信息以及所述二维平面图像，获取叠加了所述目标载体的运动轨迹的二维平面地图；
所述LCD显示屏，用于对所述叠加了所述目标载体的运动轨迹的二维平面地图进行显示。
在一种可能的实施方式中，所述控制主板包括全可编程片上系统、双模定位模块、气压传感器、惯性测量单元；
其中，所述双模定位模块，用于接收卫星定位信号，以提供目标载体的经纬度信息和时间信息；
所述气压传感器，用于监测所述目标载体的周围环境的气压变化，以获取高度信息；
所述惯性测量单元，包括三轴加速度传感器、三轴陀螺仪以及三轴磁力计；
所述三轴加速度传感器，用于获取载体坐标系下，各轴上的加速度分量；
所述三轴陀螺仪，用于测量所述目标载体的角速度；
所述三轴磁力计，用于测量所述目标载体的磁场强度变化和方向变化。
再一方面，提供了一种融合定位与感知装置，所述装置应用于一种融合定位与感知系统中的控制主板中，所述装置包括：
目标导航信息获取模块，用于获取目标载体的目标导航信息，所述目标导航信息包括气压数据信息以及卫星定位信息、惯性导航信息中的至少一者；
位置信息获取模块，用于对所述目标导航信息进行解算，以获取所述目标载体在不同时刻的位置信息；
红外图像获取模块，用于获取所述红外相机采集到的，所述目标载体在不同位置信息下的周围环境的红外图像；
深度图像获取模块，用于对所述红外图像进行特征提取，以获取所述目标载体的周围环境的深度图像；
二维平面图像获取模块，用于根据所述惯性导航信息对所述深度图像进行修正处理，以获取二维平面图像；
运动轨迹叠加模块，用于根据所述目标载体在不同时刻的位置信息以及所述二维平面图像，获取叠加了所述目标载体的运动轨迹的二维平面地图。
在一种可能的实施方式中，所述位置信息获取模块，包括：
对所述卫星定位信息以及气压数据信息进行解算，以获取所述目标载体在不同时刻的位置信息。
在一种可能的实施方式中，所述位置信息获取模块，包括：
定位基准信息获取单元，用于当所述卫星定位信息丢失时，根据丢失前一刻的卫星定位信息以及气压数据信息，获取定位基准信息；
指定时间信息获取单元，用于对所述惯性导航信息中的步态检测信息、步长估计信息以及航向信息进行解算，以丢失所述卫星定位信息的前一刻为起始时间，获取所述目标载体在指定时间内的行走距离信息和方位信息；
位置信息获取单元，用于根据所述定位基准信息、所述在指定时间内的行走距离信息和方位信息，获取所述目标载体在不同时刻的位置信息。
在一种可能的实施方式中，所述指定时间信息获取单元，还用于：
获取静止状态下，所述目标载体的初始静态对准信息；所述初始静态对准信息包括初始横滚角、初始俯仰角以及初始航向角；
根据姿态矩阵，将所述目标载体对应的载体坐标系下的轨迹信息进行地理坐标系的转换；所述轨迹信息包括加速度、角速度、磁场强度以及方向；
根据所述目标载体在地理坐标系下的所述轨迹信息，获取所述目标载体的步态检测信息、步长估计信息以及航向信息；
根据所述目标载体的步态检测信息、步长估计信息、航向信息以及所述初始静态对准信息，进行姿态解算。
在一种可能的实施方式中，所述二维平面图像获取模块，还用于：
对所述深度图像进行坐标变换，以获取所述深度图像对应的平面栅格地图；
根据所述惯性导航信息对连续的所述深度图像进行图像匹配，并获取图像匹配结果；
基于所述图像匹配结果，对所述平面栅格地图进行拼接，以获取二维平面地图；
在一种可能的实施方式中，所述深度图像获取模块，还用于：
获取目标训练数据集；
对所述目标训练数据集进行训练，并提取神经网络的参数；
基于所述神经网络的参数构建训练模型；
以采集到的所述红外图像为输入，通过所述参数构建训练模型，获取所述目标载体的周围环境的深度图像。
又一方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现如上所述的一种融合定位与感知方法。
再一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现如上所述的一种融合定位与感知方法。
本申请提供的技术方案可以包括以下有益效果：
先获取目标载体的目标导航信息，并对目标导航信息进行解算，以获取目标载体在不同时刻的位置信息；再获取红外相机采集到的，目标载体在不同位置信息下的周围环境的红外图像，并对红外图像进行特征提取，以获取目标载体的周围环境的深度图像；最后根据该惯性导航信息对该深度图像进行修正处理，以获取二维平面图像，并根据该目标载体在不同时刻的位置信息以及该二维平面图像，获取叠加了该目标载体的运动轨迹的二维平面地图。上述方案基于深度学习方法，利用红外相机实现对周围环境的智能感知并建立二维平面地图，再结合PDR算法叠加载体运动轨迹，可应用于全场景、全天候的导航定位，能够为导航提供更直观的坐标参考。
附图说明
为了更清楚地说明本申请具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据一示例性实施例示出的一种融合定位与感知系统的结构示意图。
图2是根据一示例性实施例示出的一种融合定位与感知方法的方法流程图。
图3是根据一示例性实施例示出的一种融合定位与感知方法的方法流程图。
图4是根据一示例性实施例示出的室内融合定位算法流程图。
图5是根据一示例性实施例示出的PDR算法流程图。
图6是根据一示例性实施例示出的步态检测算法流程图。
图7是根据一示例性实施例示出的多尺度卷积神经网络结构图。
图8是根据一示例性实施例示出的神经网络硬件的结构示意图。
图9是根据一示例性实施例示出的一种图像数据处理装置的结构方框图。
图10示出了本申请一示例性实施例示出的计算机设备的结构框图。
具体实施方式
下面将结合附图对本申请的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
应理解，在本申请实施例的描述中，术语“对应”可表示两者之间具有直接对应或间接对应的关系，也可以表示两者之间具有关联关系，也可以是指示与被指示、配置与被配置等关系。
图1是根据一示例性实施例示出的一种融合定位与感知系统的结构示意图。该系统包括：控制主板、红外相机、LCD显示屏；
该控制主板，用于：
获取目标载体的目标导航信息，该目标导航信息包括气压数据信息以及卫星定位信息、惯性导航信息中的至少一者；
对该目标导航信息进行解算，以获取该目标载体在不同时刻的位置信息；
获取该红外相机采集到的，该目标载体在不同位置信息下的周围环境的红外图像；
对该红外图像进行特征提取，以获取该目标载体的周围环境的深度图像；
根据该惯性导航信息对该深度图像进行修正处理，以获取二维平面图像；
根据该目标载体在不同时刻的位置信息以及该二维平面图像，获取叠加了该目标载体的运动轨迹的二维平面地图；
该LCD显示屏，用于对该叠加了该目标载体的运动轨迹的二维平面地图进行显示。
在一种可能的实施方式中，该控制主板包括全可编程片上系统(即图1中的全可编程片上系统ZYNQ)、双模定位模块(即图1中的BDS/GPS双模定位模块)、气压传感器(即图1中的气压计)、惯性测量单元(即图1中的IMU)；
其中，该双模定位模块，用于接收卫星定位信号，以提供目标载体的经纬度信息和时间信息；
该气压传感器，用于监测该目标载体的周围环境的气压变化，以获取高度信息；
该惯性测量单元，包括三轴加速度传感器、三轴陀螺仪以及三轴磁力计；
该三轴加速度传感器，用于获取载体坐标系下，各轴上的加速度分量；
该三轴陀螺仪，用于测量该目标载体的角速度；
该三轴磁力计，用于测量该目标载体的磁场强度变化和方向变化。
进一步的，在实际测量时，该系统可通过双模定位模块和惯性测量单元(即图1中的IMU)实现组合导航，通过深度学习方法利用红外相机采集到的红外图像实现深度估计，基于坐标变换关系生成对应的平面栅格地图，再使用算法对连续的多张深度图像进行图像匹配，基于图像匹配的结果拼接平面栅格地图，从而得到周围环境的二维平面地图，并在该LCD显示屏上对该叠加了该目标载体的运动轨迹的二维平面地图进行显示。
进一步的，该控制主板由以下部件组成：一个全可编程片上系统ZYNQ(即上述全可编程片上系统)，其特点是将ARM处理器和FPGA相结合，如图1所示，其由一个软件处理系统(Processing System，PS)和一个可编程逻辑(Programmable Logic，PL)两部分组成。一个BDS/GPS双模定位模块(即上述双模定位模块)，可以同时接收GPS和BDS可见卫星的信号，提供高精度的经纬度信息和时间信息。一个MEMS气压传感器(即图1中的气压计)，可以监测周围环境的气压变化，进而得到高度信息。一个MEMS惯性测量单元(即图1中的IMU)，由三轴加速度传感器、三轴陀螺仪和三轴磁力计组成。加速度计通过感知载体坐标系各轴上加速度分量，为行人(即上述目标载体)的步态检测、步长估计等提供数据来源。陀螺仪是一种测量载体角速度的角速率传感器，可为载体姿态角解算提供数据来源。磁力计可用于测量磁场强度和方向的变化，为测量载体的方位提供基准。
进一步的，如图1所示，全可编程片上系统ZYNQ的PS和PL之间通过高级可扩展接口(Advanced eXtensible Interface，AXI)进行数据交换，全可编程片上系统ZYNQ的PL连接红外相机，首先由PL实时读取红外相机的图像数据并缓存在DDR中，再由PS将DDR中的图片数据和全局粗尺度网络的权值、偏置参数搬入到输入RAM中，经多次卷积和池化后得到粗尺度深度图像，再由PS将DDR中的图片数据和局部精尺度网络的权值、偏置参数搬入到输入RAM中，经过多次卷积、池化和图像叠加操作后，得到精细的深度图像。由于PL的存储资源有限，无法一次处理大量数据，且神经网络每层的特征图大小都不一样，利用PS根据特征图的行列信息更改卷积、池化模块的配置，以适应不同特征图的计算。此外，利用全可编程片上系统ZYNQ的PS采集MIMU的加速度、角速度、磁场强度和方向数据，利用PDR算法实现步态检测和步长估计，再通过航迹解算推算出行走的距离和方位，将推算出的数据与深度图像进行数据融合，经PS输出在LCD显示屏上进行显示。
综上所示，先获取目标载体的目标导航信息，并对目标导航信息进行解算，以获取目标载体在不同时刻的位置信息；再获取红外相机采集到的，目标载体在不同位置信息下的周围环境的红外图像，并对红外图像进行特征提取，以获取目标载体的周围环境的深度图像；最后根据该惯性导航信息对该深度图像进行修正处理，以获取二维平面图像，并根据该目标载体在不同时刻的位置信息以及该二维平面图像，获取叠加了该目标载体的运动轨迹的二维平面地图。上述方案基于深度学习方法，利用红外相机实现对周围环境的智能感知并建立二维平面地图，再结合PDR算法叠加载体运动轨迹，可应用于全场景、全天候的导航定位，能够为导航提供更直观的坐标参考。
图2是根据一示例性实施例示出的一种融合定位与感知方法的方法流程图。该方法由图1所示的一种融合定位与感知系统中的控制主板执行。
如图2所示，该方法可以包括如下步骤：
S201、获取目标载体的目标导航信息，该目标导航信息包括气压数据信息以及卫星定位信息、惯性导航信息中的至少一者。
在一种可能的实施方式中，在对目标载体进行高精度的定位与感知时，优先通过全可编程片上系统ZYNQ的PS实时接收BDS/GPS双模定位模块的卫星定位信息和MEMS气压计的气压数据信息；当卫星信号丢失时，以前一时刻的卫星定位信号作为定位基准，利用全可编程片上系统ZYNQ的PS采集微惯性测量单元(Miniature Inertial Measurement Unit，MIMU)的加速度、角速度、磁场强度和方向数据，以得到惯性导航信息，从而实现基于目标载体的目标导航信息，对目标载体进行高精度的定位与感知。
S202、对该目标导航信息进行解算，以获取该目标载体在不同时刻的位置信息。
在一种可能的实施方式中，在获取目标载体的目标导航信息后，为了得到目标载体的运动轨迹，需要对该目标导航信息进行解算，在对该卫星定位信息以及该惯性导航信息进行解算时，得到目标载体的当前经纬度、高度、时间等信息；当卫星信号丢失时，以前一时刻的卫星定位信号作为定位基准，利用全可编程片上系统ZYNQ的PS采集MIMU的加速度、角速度、磁场强度和方向数据，利用PDR算法实现步态检测和步长估计，再通过航向解算推算出行走的距离和方位，从而可以得到目标载体在某一时间段内移动的位置和方向信息。
S203、获取该红外相机采集到的，该目标载体在不同位置信息下的周围环境的红外图像。
在一种可能的实施方式中，利用MIMU和PDR算法，可以在全场景实现较高精度的导航定位服务，但PDR算法只能够得到目标载体相对位置的变化，不能为导航提供更直观的坐标参考，因此在设计时，可以优先选择卫星导航方式，在丢失卫星信号的情况下选择惯性导航方式，在必要时可开启红外相机得到周围环境的深度图像，再通过图像匹配、坐标变换、图像拼接等方式生成周围环境的二维平面地图，以得到目标载体的周围环境情况，从而能够提供更好地导航定位服务。
S204、对该红外图像进行特征提取，以获取该目标载体的周围环境的深度图像。
在一种可能的实施方式中，利用全可编程片上系统ZYNQ构建卷积神经网络训练数据集，通过深度学习方法提取红外图像特征，进而得到该目标载体的周围环境的深度图像。
S205、根据该惯性导航信息对该深度图像进行修正处理，以获取二维平面图像。
在一种可能的实施方式中，基于MIMU的载体姿态信息对深度图像进行修正，处理后得到对应的二维平面图像，即基于坐标变换关系生成对应的平面栅格地图，再使用二进制特征描述算法(Oriented fast and Rotated Brief，ORB)和随机抽样一致性算法(Random Sample Consensus，RANSAC)对连续的深度图像进行图像匹配，基于图像匹配的结果对平面栅格地图进行拼接从而得到二维平面图像。
S206、根据该目标载体在不同时刻的位置信息以及该二维平面图像，获取叠加了该目标载体的运动轨迹的二维平面地图。
在一种可能的实施方式中，在导航开始后，基于目标导航信息获取标载体在不同时刻的位置信息，将该不同时刻的位置信息和对应的二维平面图像进行结合，构建叠加载体运动轨迹的场景平面地图，并通过LCD显示屏进行显示，即可为导航提供更直观的坐标参考。
综上所述，先获取目标载体的目标导航信息，并对目标导航信息进行解算，以获取目标载体在不同时刻的位置信息；再获取红外相机采集到的，目标载体在不同位置信息下的周围环境的红外图像，并对红外图像进行特征提取，以获取目标载体的周围环境的深度图像；最后根据该惯性导航信息对该深度图像进行修正处理，以获取二维平面图像，并根据该目标载体在不同时刻的位置信息以及该二维平面图像，获取叠加了该目标载体的运动轨迹的二维平面地图。上述方案基于深度学习方法，利用红外相机实现对周围环境的智能感知并建立二维平面地图，再结合PDR算法叠加载体运动轨迹，可应用于全场景、全天候的导航定位，能够为导航提供更直观的坐标参考。
图3是根据一示例性实施例示出的一种融合定位与感知方法的方法流程图。该方法由图1所示的一种融合定位与感知系统中的控制主板执行。
如图3所示，该方法可以包括如下步骤：
S301、获取目标载体的目标导航信息，该目标导航信息包括气压数据信息以及卫星定位信息、惯性导航信息中的至少一者。
在一种可能的实施方式中，请参照图4所示的室内融合定位算法流程图，穿戴式室内无基站融合定位与感知在系统初始化后，优先选择卫星导航方式，解算导航信息，生成运动轨迹；在丢失卫星信号的情况下选择惯性导航方式，采集MIMU数据，进行航迹推算；在必要时可开启红外相机采集红外图像，经卷积神经网络得到周围环境的深度图像，再通过图像匹配、坐标变换、图像拼接等方式，基于栅格地图生成周围环境的二维平面地图，最后在LCD上显示叠加了运动轨迹的二维平面地图。因此，利用卫星定位模块实现卫星定位，利用惯性测量单元和航迹推算算法实现惯性导航，利用气压传感器定位高度，可实现组合导航。
S302、对该卫星定位信息以及气压数据信息进行解算，以获取该目标载体在不同时刻的位置信息。
S303、当该卫星定位信息丢失时，根据丢失前一刻的卫星定位信息以及气压数据信息，获取定位基准信息。
S304、对该惯性导航信息中的步态检测信息、步长估计信息以及航向信息进行解算，以丢失该卫星定位信息的前一刻为起始时间，获取该目标载体在指定时间内的行走距离信息和方位信息。
在一种可能的实施方式中，利用PDR算法实现步态检测、步长估计和航向解算，从而推算出行走的距离和方位，再结合上一时刻已知位置信息不断更新目标载体航向和位置，具体为：先根据加速度计和陀螺仪的输出来完成初始对准；再利用姿态矩阵，将MIMU测得的目标载体坐标系的加速度、角速度、磁场强度和方向等数据转换到地理坐标系；接着利用PDR算法处理目标载体在地理坐标系中的加速度、角速度、磁场强度和方向等数据，确定目标载体的步频、步长以及航向，从而得到目标载体在某一时间段内移动的位置和方向信息。
进一步的，请参照图5所示的PDR算法流程图，惯性导航基于PDR方法实现，磁力计测得的磁场强度进行初始静态对准，初始静态对准实现后将目标载体的初始姿态输入IMU捷联导航算法，IMU捷联导航算法分别将姿态估计以及速度估计分别输入到扩展卡尔曼滤波算法以及零速校正和零角速度校正算法中进行计算，加速度计以及陀螺仪分别对加速度以及角速度进行计算，经行人运动模型进行运动监测，监测结果由零速校正和零角速度校正算法获取观测值，经扩展卡尔曼滤波算法获取误差状态，最后由IMU捷联导航算法输出计算的位置、速度以及姿态，实现姿态解算。该PDR方法包含以下步骤：1)初试静态对准：利用卫星定位数据提供航迹推算的初始位置坐标(x0,y0)，由静止状态下加速度计的测量值求得初始的横滚角与俯仰角，通过磁力计的测量值求得初始的航向角。计算方法为：
其中，g表示重力加速度，θ表示俯仰角，γ表示横滚角，
表示航向角。
和
为加速度计在目标载体坐标系中投影在X轴和Y轴上的分量；Mx和My为磁力计在载体坐标系下对X轴和Y轴投影得到测量结果。
2)坐标转换：目标载体从一个坐标系变换到另一个坐标系下可通过乘以变换矩阵的方式进行转换。假设目标载体在目标载体坐标系下的坐标表示为(xb,yb,zb)T，经过坐标变换后地理坐标系下的坐标表示为(xn,yn,zn)T，变换矩阵表示为
由于四元数法具有计算量较小、结果精度高、避免奇异点、实时性较好等优点，是最常用的姿态矩阵表示方式，通过四个未知量的线性微分方程组，能对目标载体进行全姿态描述。四元数通常用符号
表示，它包含一个实部三个虚部，复数形式为：
其中q0为转动幅度，q1，q2，q3为旋转轴，i，j，k与目标载体坐标系的基保持一致。
用四元数表示姿态矩阵为：
3)步态检测：请参照图6所示的步态检测算法流程图，步态检测是基于人体行走时加速度信号呈现正弦波规律的特点设计的，利用加速度计测得的加速度波峰及波峰阈值实现的。采集三轴MEMS加速度信号并计算其合加速度，再对合加速度进行波峰检测和阈值判定，若连续检测到两个波峰且峰值大于设定阈值，则步数加1，反之步数不变。
4)步长估计：步长检测基于经验模型的步长估计方法实现的。计算方法为：
其中，Amax、Amin分别表示一步过程中合加速度模值的最大值、最小值，K表示校准系数，L表示步长。
5)姿态解算：使用四元数法通过陀螺仪的测量值计算载体的姿态角，基于四元数的刚体运动方程为：
其中，
为目标载体坐标系相对于地理坐标系的加速度矢量的四元数表达式。求解该运动方程，可以得到姿态角：
其中，航向角
6)零速校正和零角速度校正：当目标载体处于静止状态时，目标载体此时的速度为零和角速度都几乎为零，但由于传感器自身带来的误差和漂移噪声等，此时计算出的速度值和陀螺仪的角速度值并不为零。利用惯性系统的解算速度和解算角速度作为系统速度误差的观测量，对其他误差量进行修正，可有效抑制惯性导航系统因长时间运行而产生的累积误差。
7)扩展卡尔曼滤波：卡尔曼滤波是一种递归估计，即通过结合上一时刻系统状态的估计值和这一时刻系统状态的观测值，便可估计出这一时刻系统的状态。利用惯性系统的解算速度、解算角速度和解算姿态角作为系统误差的观测量，通过扩展卡尔曼滤波进行多次迭代，可以得到最优估计，以减小误差。
S305、根据该定位基准信息、该在指定时间内的行走距离信息和方位信息，获取该目标载体在不同时刻的位置信息。
在一种可能的实施方式中，获取静止状态下，该目标载体的初始静态对准信息；该初始静态对准信息包括初始横滚角、初始俯仰角以及初始航向角；
根据姿态矩阵，将该目标载体对应的载体坐标系下的轨迹信息进行地理坐标系的转换；该轨迹信息包括加速度、角速度、磁场强度以及方向；
根据该目标载体在地理坐标系下的该轨迹信息，获取该目标载体的步态检测信息、步长估计信息以及航向信息；
根据该目标载体的步态检测信息、步长估计信息、航向信息以及该初始静态对准信息，进行姿态解算。
S306、获取该红外相机采集到的，该目标载体在不同位置信息下的周围环境的红外图像。
S307、对该红外图像进行特征提取，以获取该目标载体的周围环境的深度图像。
在一种可能的实施方式中，获取目标训练数据集；
对该目标训练数据集进行训练，并提取神经网络的参数；
基于该神经网络的参数构建训练模型；
以采集到的该红外图像为输入，通过该参数构建训练模型，获取该目标载体的周围环境的深度图像。
进一步的，利用全可编程片上系统ZYNQ构建卷积神经网络，通过深度学习方法提取红外图像特征，进而得到对应的深度图像和二维平面图像，其具体步骤为：1)在计算机设备上使用训练数据集，利用Caffe框架进行卷积神经网络参数的离线训练，并提取卷积神经网络的参数。
2)利用全可编程片上系统ZYNQ搭建卷积神经网络硬件平台，将训练好的卷积神经网络的网络参数移植到全可编程片上系统ZYNQ中。
3)利用全可编程片上系统ZYNQ实时采集红外相机的图像数据，再将红外图像作为卷积神经网络的输入，经神经网络处理后输出红外图像对应的深度图像。
进一步的，请参照图7所示的多尺度卷积神经网络结构图，本实施例中使用的多尺度卷积神经网络由两种不同尺度的卷积神经网络组成：全局粗尺度网络和局部精尺度网络，两者均包括卷积层、池化层以及全连接层。全局粗尺度网络从图像全局层面来推测整个场景的深度信息，局部精尺度网络对场景的深度信息做局部区域的细节优化，增加场景中的细节信息。结合全局粗尺度网络和局部精尺度网络的预测结果，得到完整的预测深度图像。
进一步地，利用全可编程片上系统ZYNQ搭建卷积神经网络硬件平台，具体的方法是：将全可编程片上系统ZYNQ的PL端设计成CNN IP，用于加速CNN运算。全可编程片上系统ZYNQ的PS端运行Linux系统，主要完成CNN模型加载和CNN IP调度工作，PS将神经网络的输入矩阵、权值矩阵以及偏置矩阵放在输入、隐含层的各个存储模块中，由PS根据任务进程，实时调用IP核及网络参数。
进一步地，请参照图8所示的神经网络硬件的结构示意图，如图8所示，该神经网络硬件包括：(a)神经元，(b)乘加器，(c)激活函数以及(d)池化；其中，(a)神经元由控制器、权值存储寄存器、乘法累加器和激活函数组成。(b)乘加器是由乘法器和加法器组成的，考虑到全可编程片上系统ZYNQ的资源有限，网络的数据精度为16位定点数。(c)激活函数是基于查找表法实现的，即建立自变量与激活函数的分段映射关系，将自变量对应的分段函数的系数存储在RAM中。(d)池化利用移位寄存器、数据寄存器和比较器实现最大池化运算。
S308、根据该惯性导航信息对该深度图像进行修正处理，以获取二维平面图像。
在一种可能的实施方式中，对该深度图像进行坐标变换，以获取该深度图像对应的平面栅格地图；
根据该惯性导航信息对连续的该深度图像进行图像匹配，并获取图像匹配结果；
基于该图像匹配结果，对该平面栅格地图进行拼接，以获取二维平面地图。
进一步的，先基于坐标变换关系生成对应的平面栅格地图，再使用二进制特征描述算法(Oriented fast and Rotated Brief，ORB)和随机抽样一致性算法(Random SampleConsensus，RANSAC)对连续的深度图像进行图像匹配，基于图像匹配的结果对平面栅格地图进行拼接从而得到二维平面图像。
进一步的，使用ORB算法提取图像的特征；使用RANSAC算法对连续的两张深度图像的特征进行匹配；根据图像坐标系与世界坐标系的关系进行坐标变换，利用深度图像生成二维栅格地图；根据图像匹配的结果对多张二维栅格地图进行拼接，得到二维平面地图。
进一步的，本实施例中使用的ORB算法进行特征提取，具体的实现方法是：ORB算法分为两部分，分别是对特征点的快速提取，以及对特征点的描述。特征提取的方式是将图像块中灰度值明显与周围像素点的灰度值差异较大的像素点判定为FAST(Features fromAccelerated Segment Test)角点，计算角点的Harris响应值，并过滤部分响应值较低的角点，再找出图像块的灰度质心从而得到特征点的方向。根据计算出来的角点方向作为BRIEF(Binary Robust Independent Elementary Features)描述符的方向，进行旋转，就得到了有方向的BRIEF描述符，再挑选出其中具有高方差和高不相关的BRIEF描述符。
进一步的，本实施例中使用的RANSAC算法，具体的实现方法是：对两种图像的特征进行抽样计算得到假设的单应矩阵；然后用单应矩阵求解第一帧图像中特征点在第二帧图像中的映射坐标，计算其与匹配点的距离，根据距离区分内点和外点；经过多次迭代，内点比例满足要求时，算法结束，内点比例最高时的单应矩阵作为算法最终计算结果。即RANSAC算法估计出两帧图像整体之间的空间映射关系。
S309、根据该目标载体在不同时刻的位置信息以及该二维平面图像，获取叠加了该目标载体的运动轨迹的二维平面地图。
进一步的，导航开始后，基于目标载体在不同时刻的目标导航信息和二维平面图像，在LCD上实时显示叠加了运动轨迹的场景平面地图(即二维平面地图)。
综上所述，先获取目标载体的目标导航信息，并对目标导航信息进行解算，以获取目标载体在不同时刻的位置信息；再获取红外相机采集到的，目标载体在不同位置信息下的周围环境的红外图像，并对红外图像进行特征提取，以获取目标载体的周围环境的深度图像；最后根据该惯性导航信息对该深度图像进行修正处理，以获取二维平面图像，并根据该目标载体在不同时刻的位置信息以及该二维平面图像，获取叠加了该目标载体的运动轨迹的二维平面地图。上述方案基于深度学习方法，利用红外相机实现对周围环境的智能感知并建立二维平面地图，再结合PDR算法叠加载体运动轨迹，可应用于全场景、全天候的导航定位，能够为导航提供更直观的坐标参考。
图9是根据一示例性实施例示出的提供了一种融合定位与感知装置的结构方框图。该装置应用于一种融合定位与感知系统中的控制主板中，该装置包括：
目标导航信息获取模块901，用于获取目标载体的目标导航信息，该目标导航信息包括气压数据信息以及卫星定位信息、惯性导航信息中的至少一者；
位置信息获取模块902，用于对该目标导航信息进行解算，以获取该目标载体在不同时刻的位置信息；
红外图像获取模块903，用于获取该红外相机采集到的，该目标载体在不同位置信息下的周围环境的红外图像；
深度图像获取模块904，用于对该红外图像进行特征提取，以获取该目标载体的周围环境的深度图像；
二维平面图像获取模块905，用于根据该惯性导航信息对该深度图像进行修正处理，以获取二维平面图像；
运动轨迹叠加模块906，用于根据该目标载体在不同时刻的位置信息以及该二维平面图像，获取叠加了该目标载体的运动轨迹的二维平面地图。
在一种可能的实施方式中，该位置信息获取模块902，包括：
对该卫星定位信息以及气压数据信息进行解算，以获取该目标载体在不同时刻的位置信息。
在一种可能的实施方式中，该位置信息获取模块902，包括：
定位基准信息获取单元，用于当该卫星定位信息丢失时，根据丢失前一刻的卫星定位信息以及气压数据信息，获取定位基准信息；
指定时间信息获取单元，用于对该惯性导航信息中的步态检测信息、步长估计信息以及航向信息进行解算，以丢失该卫星定位信息的前一刻为起始时间，获取该目标载体在指定时间内的行走距离信息和方位信息；
位置信息获取单元，用于根据该定位基准信息、该在指定时间内的行走距离信息和方位信息，获取该目标载体在不同时刻的位置信息。
在一种可能的实施方式中，该指定时间信息获取单元，还用于：
获取静止状态下，该目标载体的初始静态对准信息；该初始静态对准信息包括初始横滚角、初始俯仰角以及初始航向角；
根据姿态矩阵，将该目标载体对应的载体坐标系下的轨迹信息进行地理坐标系的转换；该轨迹信息包括加速度、角速度、磁场强度以及方向；
根据该目标载体在地理坐标系下的该轨迹信息，获取该目标载体的步态检测信息、步长估计信息以及航向信息；
根据该目标载体的步态检测信息、步长估计信息、航向信息以及该初始静态对准信息，进行姿态解算。
在一种可能的实施方式中，该二维平面图像获取模块905，还用于：
对该深度图像进行坐标变换，以获取该深度图像对应的平面栅格地图；
根据该惯性导航信息对连续的该深度图像进行图像匹配，并获取图像匹配结果；
基于该图像匹配结果，对该平面栅格地图进行拼接，以获取二维平面地图；
在一种可能的实施方式中，该深度图像获取模块904，还用于：
获取目标训练数据集；
对该目标训练数据集进行训练，并提取神经网络的参数；
基于该神经网络的参数构建训练模型；
以采集到的该红外图像为输入，通过该参数构建训练模型，获取该目标载体的周围环境的深度图像。
综上所述，先获取目标载体的目标导航信息，并对目标导航信息进行解算，以获取目标载体在不同时刻的位置信息；再获取红外相机采集到的，目标载体在不同位置信息下的周围环境的红外图像，并对红外图像进行特征提取，以获取目标载体的周围环境的深度图像；最后根据该惯性导航信息对该深度图像进行修正处理，以获取二维平面图像，并根据该目标载体在不同时刻的位置信息以及该二维平面图像，获取叠加了该目标载体的运动轨迹的二维平面地图。上述方案基于深度学习方法，利用红外相机实现对周围环境的智能感知并建立二维平面地图，再结合PDR算法叠加载体运动轨迹，可应用于全场景、全天候的导航定位，能够为导航提供更直观的坐标参考。
请参阅图10，其是根据本申请一示例性实施例提供的一种计算机设备的结构框图，所述计算机设备包括存储器和处理器，所述存储器用于存储计算机程序，所述计算机程序被所述处理器执行时，实现上述的一种融合定位与感知方法。
其中，处理器可以为中央处理器(Central Processing Unit，CPU)。处理器还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。
存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本申请实施方式中的方法对应的程序指令/模块。处理器通过运行存储在存储器中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理，即实现上述方法实施方式中的方法。
存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
在一示例性实施例中，还提供了一种计算机可读存储介质，用于存储有至少一条计算机程序，所述至少一条计算机程序由处理器加载并执行以实现上述方法中的全部或部分步骤。例如，该计算机可读存储介质可以是只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、只读光盘(Compact Disc Read-Only Memory，CD-ROM)、磁带、软盘和光数据存储设备等。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求指出。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。
Claims (10)
1.一种融合定位与感知方法，其特征在于，所述方法由一种融合定位与感知系统中的控制主板执行；所述系统还包括红外相机；
所述方法包括：
获取目标载体的目标导航信息，所述目标导航信息包括气压数据信息以及卫星定位信息、惯性导航信息中的至少一者；
对所述目标导航信息进行解算，以获取所述目标载体在不同时刻的位置信息；
获取所述红外相机采集到的，所述目标载体在不同位置信息下的周围环境的红外图像；
对所述红外图像进行特征提取，以获取所述目标载体的周围环境的深度图像；
根据所述惯性导航信息对所述深度图像进行修正处理，以获取二维平面图像；
根据所述目标载体在不同时刻的位置信息以及所述二维平面图像，获取叠加了所述目标载体的运动轨迹的二维平面地图。
2.根据权利要求1所述的方法，其特征在于，所述对所述目标导航信息进行解算，以获取所述目标载体在不同时刻的位置信息，包括：
对所述卫星定位信息以及气压数据信息进行解算，以获取所述目标载体在不同时刻的位置信息。
3.根据权利要求1所述的方法，其特征在于，所述对所述目标导航信息进行解算，以获取所述目标载体在不同时刻的位置信息，包括：
当所述卫星定位信息丢失时，根据丢失前一刻的卫星定位信息以及气压数据信息，获取定位基准信息；
对所述惯性导航信息中的步态检测信息、步长估计信息以及航向信息进行解算，以丢失所述卫星定位信息的前一刻为起始时间，获取所述目标载体在指定时间内的行走距离信息和方位信息；
根据所述定位基准信息、所述在指定时间内的行走距离信息和方位信息，获取所述目标载体在不同时刻的位置信息。
4.根据权利要求3所述的方法，其特征在于，所述对所述惯性导航信息中的步态检测信息、步长估计信息以及航向信息进行解算，包括：
获取静止状态下，所述目标载体的初始静态对准信息；所述初始静态对准信息包括初始横滚角、初始俯仰角以及初始航向角；
根据姿态矩阵，将所述目标载体对应的载体坐标系下的轨迹信息进行地理坐标系的转换；所述轨迹信息包括加速度、角速度、磁场强度以及方向；
根据所述目标载体在地理坐标系下的所述轨迹信息，获取所述目标载体的步态检测信息、步长估计信息以及航向信息；
根据所述目标载体的步态检测信息、步长估计信息、航向信息以及所述初始静态对准信息，进行姿态解算。
5.根据权利要求1所述的方法，其特征在于，所述根据所述惯性导航信息对所述深度图像进行修正处理，以获取二维平面图像，包括：
对所述深度图像进行坐标变换，以获取所述深度图像对应的平面栅格地图；
根据所述惯性导航信息对连续的所述深度图像进行图像匹配，并获取图像匹配结果；
基于所述图像匹配结果，对所述平面栅格地图进行拼接，以获取二维平面地图。
6.根据权利要求1所述的方法，其特征在于，所述对所述红外图像进行特征提取，以获取所述目标载体的周围环境的深度图像，包括：
获取目标训练数据集；
对所述目标训练数据集进行训练，并提取神经网络的参数；
基于所述神经网络的参数构建训练模型；
以采集到的所述红外图像为输入，通过所述参数构建训练模型，获取所述目标载体的周围环境的深度图像。
7.一种融合定位与感知系统，其特征在于，所述系统包括：控制主板、红外相机、LCD显示屏；
所述控制主板，用于：
获取目标载体的目标导航信息，所述目标导航信息包括气压数据信息以及卫星定位信息、惯性导航信息中的至少一者；
对所述目标导航信息进行解算，以获取所述目标载体在不同时刻的位置信息；
获取所述红外相机采集到的，所述目标载体在不同位置信息下的周围环境的红外图像；
对所述红外图像进行特征提取，以获取所述目标载体的周围环境的深度图像；
根据所述惯性导航信息对所述深度图像进行修正处理，以获取二维平面图像；
根据所述目标载体在不同时刻的位置信息以及所述二维平面图像，获取叠加了所述目标载体的运动轨迹的二维平面地图；
所述LCD显示屏，用于对所述叠加了所述目标载体的运动轨迹的二维平面地图进行显示。
8.根据权利要求7所述的系统，其特征在于，所述控制主板包括全可编程片上系统、双模定位模块、气压传感器、惯性测量单元；
其中，所述双模定位模块，用于接收卫星定位信号，以提供目标载体的经纬度信息和时间信息；
所述气压传感器，用于监测所述目标载体的周围环境的气压变化，以获取高度信息；
所述惯性测量单元，包括三轴加速度传感器、三轴陀螺仪以及三轴磁力计；
所述三轴加速度传感器，用于获取载体坐标系下，各轴上的加速度分量；
所述三轴陀螺仪，用于测量所述目标载体的角速度；
所述三轴磁力计，用于测量所述目标载体的磁场强度变化和方向变化。
9.一种融合定位与感知装置，其特征在于，所述装置应用于一种融合定位与感知系统中的控制主板中，所述装置包括：
目标导航信息获取模块，用于获取目标载体的目标导航信息，所述目标导航信息包括气压数据信息以及卫星定位信息、惯性导航信息中的至少一者；
位置信息获取模块，用于对所述目标导航信息进行解算，以获取所述目标载体在不同时刻的位置信息；
红外图像获取模块，用于获取所述红外相机采集到的，所述目标载体在不同位置信息下的周围环境的红外图像；
深度图像获取模块，用于对所述红外图像进行特征提取，以获取所述目标载体的周围环境的深度图像；
二维平面图像获取模块，用于根据所述惯性导航信息对所述深度图像进行修正处理，以获取二维平面图像；
运动轨迹叠加模块，用于根据所述目标载体在不同时刻的位置信息以及所述二维平面图像，获取叠加了所述目标载体的运动轨迹的二维平面地图。
10.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现如权利要求1至6任一所述的一种融合定位与感知方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211530743.0A CN115790601A (zh) | 2022-12-01 | 2022-12-01 | 一种融合定位与感知方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211530743.0A CN115790601A (zh) | 2022-12-01 | 2022-12-01 | 一种融合定位与感知方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115790601A true CN115790601A (zh) | 2023-03-14 |
Family
ID=85444578
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211530743.0A Pending CN115790601A (zh) | 2022-12-01 | 2022-12-01 | 一种融合定位与感知方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115790601A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117968681A (zh) * | 2024-03-29 | 2024-05-03 | 北京大学 | 定位方法、装置、跨介质航行器及存储介质 |
-
2022
- 2022-12-01 CN CN202211530743.0A patent/CN115790601A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117968681A (zh) * | 2024-03-29 | 2024-05-03 | 北京大学 | 定位方法、装置、跨介质航行器及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106780699B (zh) | 一种基于sins/gps和里程计辅助的视觉slam方法 | |
| CN110243358B (zh) | 多源融合的无人车室内外定位方法及系统 | |
| CN111156998B (zh) | 一种基于rgb-d相机与imu信息融合的移动机器人定位方法 | |
| CN109631887B (zh) | 基于双目、加速度与陀螺仪的惯性导航高精度定位方法 | |
| CN108225324B (zh) | 一种基于智能终端的地磁匹配与pdr融合的室内定位方法 | |
| CN107490378B (zh) | 一种基于mpu6050与智能手机的室内定位与导航的方法 | |
| TWI556198B (zh) | 定位定向資料分析之系統及其方法 | |
| WO2011091552A1 (en) | Extracting and mapping three dimensional features from geo-referenced images | |
| WO2016198009A1 (zh) | 一种检测航向的方法和装置 | |
| CN113820735A (zh) | 位置信息的确定方法、位置测量设备、终端及存储介质 | |
| CN115574816B (zh) | 仿生视觉多源信息智能感知无人平台 | |
| CN115439531A (zh) | 一种获取目标对象的目标空间位置信息的方法与设备 | |
| CN104848861A (zh) | 一种基于图像消失点识别技术的移动设备姿态测量方法 | |
| JP2017166895A (ja) | 電子機器及びセンサ較正方法、センサ較正プログラム | |
| JP2019120587A (ja) | 測位システム及び測位方法 | |
| CN115790601A (zh) | 一种融合定位与感知方法及系统 | |
| CN112860823B (zh) | 终端指向的显示方法、装置和存储介质及电子设备 | |
| CN115439528A (zh) | 一种获取目标对象的图像位置信息的方法与设备 | |
| CN104978476B (zh) | 利用智能手机进行室内地图现场补测的方法 | |
| CN112213753B (zh) | 一种北斗导航定位功能与增强现实技术相结合规划跳伞训练路径的方法 | |
| CN114509071B (zh) | 一种风洞试验模型姿态测量方法 | |
| CN116027351A (zh) | 一种手持/背包式slam装置及定位方法 | |
| CN110887475B (zh) | 一种基于偏振北极点及偏振太阳矢量的静基座粗对准方法 | |
| Mirisola et al. | Trajectory recovery and 3d mapping from rotation-compensated imagery for an airship | |
| CN111133274B (zh) | 用于估计在环境和磁场中运动的对象的运动的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |