CN114413898A - 多传感器数据融合方法、装置、计算机设备及存储介质 - Google Patents
多传感器数据融合方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN114413898A CN114413898A CN202210314622.6A CN202210314622A CN114413898A CN 114413898 A CN114413898 A CN 114413898A CN 202210314622 A CN202210314622 A CN 202210314622A CN 114413898 A CN114413898 A CN 114413898A
- Authority
- CN
- China
- Prior art keywords
- state information
- information
- data fusion
- attitude
- sensor data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 25
- 230000004927 fusion Effects 0.000 claims abstract description 24
- 230000000007 visual effect Effects 0.000 claims abstract description 17
- 238000007499 fusion processing Methods 0.000 claims abstract description 13
- 238000012937 correction Methods 0.000 claims description 9
- 238000005259 measurement Methods 0.000 claims description 9
- 238000007781 pre-processing Methods 0.000 claims description 7
- 238000005457 optimization Methods 0.000 claims description 6
- 230000004807 localization Effects 0.000 claims description 4
- 238000002955 isolation Methods 0.000 claims description 3
- 238000000034 method Methods 0.000 abstract description 20
- 239000011159 matrix material Substances 0.000 description 15
- 230000001133 acceleration Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 230000010354 integration Effects 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 239000011541 reaction mixture Substances 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000013507 mapping Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000000546 chi-square test Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- BULVZWIRKLYCBC-UHFFFAOYSA-N phorate Chemical compound CCOP(=S)(OCC)SCSCC BULVZWIRKLYCBC-UHFFFAOYSA-N 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
- G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
- G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
- G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
- G01C21/1652—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with ranging devices, e.g. LIDAR or RADAR
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
- G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
- G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
- G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
- G01C21/1656—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with passive imaging devices, e.g. cameras
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
- G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
- G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
- G01C21/183—Compensation of inertial measurements, e.g. for temperature effects
- G01C21/188—Compensation of inertial measurements, e.g. for temperature effects for accumulated errors, e.g. by coupling inertial systems with absolute positioning systems
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
Landscapes
- Engineering & Computer Science (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electromagnetism (AREA)
- Position Fixing By Use Of Radio Waves (AREA)
- Navigation (AREA)
Abstract
本申请涉及一种多传感器数据融合方法、装置、计算机设备及存储介质，所述方法包括：由IMU惯性解算递推，得到第一状态信息，所述第一状态信息包括第一位置、第一速度和第一姿态信息；通过视觉定位估算，得到第二状态信息，所述第二状态信息包括第二位置、第二姿态信息和所述第二姿态信息对应的方差；通过激光点云位置估算，得到第三状态信息，所述第三状态信息包括第三位置、第三速度、第三姿态信息和所述第三姿态信息对应的方差；将所述第一状态信息、第二状态信息和第三状态信息进行数据融合处理。通过MEMS IMU传感器和视觉激光雷达融合定位，进行多传感器定位信息融合，解决了GPS失效后导航发散、位置失效的问题。
Description
技术领域
本申请涉及传感器技术领域，尤其涉及一种多传感器数据融合方法、装置、计算机设备及存储介质。
背景技术
在自动驾驶和机器人领域,其感知域的多传感器数据融合已经成为一种趋势，这主要有两方面的原因：一方面是在感知域中所应用的传感器具有各自的优势和劣势，需要在对外界环境感知的过程中进行互补。例如：2D摄像头缺乏环境深度信息，激光雷达（3D-Lidar）缺乏环境的颜色信息，识别物体的纹理稀疏等缺陷；另一方面是感知融合算法的快速发展，推动了应用多种传感器融合对自动驾驶车辆或机器人对外接环境进行识别。
SLAM（simultaneous localization and mapping）,也称为CML（ConcurrentMapping and Localization）,即时定位与地图构建，或并发建图与定位。问题可以描述为：将一个机器人放入未知环境中的未知位置，是否有办法让机器人一边移动一边逐步描绘出此环境完全的地图，所谓完全的地图（aconsistent map）是指不受障碍行进到房间可进入的每个角落。MEMS（Micro-Electro-Mechanical System），微机电系统。IMU全称InertialMeasurement Unit，惯性测量单元，主要用来检测和测量加速度与旋转运动的传感器。
传统的机载MEMS组合导航系统体积小，重量轻，功耗低，非常适合无人机和小型载人飞机使用，但是其飞行高度依赖于GPS。当GPS失效时，位置信息也无效，而且一般无人机和小型飞机都是低空飞行，GPS融合受到干扰，导致任务中断乃至出现飞行事故。
发明内容
本申请实施例的目的在于提出一种多传感器数据融合方法、装置、计算机设备及存储介质，以解决传统的机载MEMS组合导航系统，当GPS失效后很快位置信息将变成无效，而且一般无人机和小型飞机都是低空飞行，GPS融合受到干扰，导致任务中断乃至出现飞行事故的问题。
为了解决上述技术问题，本申请提供一种多传感器数据融合方法，采用了如下所述的技术方案，包括下述步骤：
由IMU惯性解算递推，得到第一状态信息，所述第一状态信息包括第一位置、第一速度和第一姿态信息；
通过视觉定位估算，得到第二状态信息，所述第二状态信息包括第二位置、第二姿态信息和所述第二姿态信息对应的方差；
通过激光点云位置估算，得到第三状态信息，所述第三状态信息包括第三位置、第三速度、第三姿态信息和所述第三姿态信息对应的方差；
将所述第一状态信息、第二状态信息和第三状态信息进行数据融合处理。
进一步的，所述由IMU惯性解算递推，得到第一状态信息，所述第一状态信息包括第一位置、第一速度和第一姿态信息的步骤具体包括：
根据上一时刻的状态和当前IMU的测量数据，推算出所述第一状态信息。
进一步的，所述通过视觉定位估算，得到第二状态信息，所述第二状态信息包括第二位置、第二姿态信息和所述第二姿态信息对应的方差的步骤具体包括：
对通过单目摄像头拍摄的照片提取角点；
将所述角点跟之前拍照建立的多帧照片中的角点进行匹配对比；
设置滑窗，引入检索当前位置附近的图像数据，进行图像数据匹配比对、整个多帧和多状态比对，整个对比基于各个图像的角点，设置滑窗和数据库对比权重，采用g2o优化库得到第二状态信息。
进一步的，所述通过激光点云位置估算，得到第三状态信息，所述第三状态信息包括第三位置、第三速度、第三姿态信息和所述第三姿态信息对应的方差的步骤具体包括：
使用IMU对点云数据进行预处理；
根据历史点云和点云数据库，使用PCL库对点云数据进行预处理，提取特征后建立误差方程，通过g2o库得到第三状态信息。
进一步的，所述将所述第一状态信息、第二状态信息和第三状态信息进行数据融合处理的步骤具体包括：
采用kalman滤波器融合所述第一状态信息、第二状态信息和第三状态信息。
进一步的，在所述将所述第一状态信息、第二状态信息和第三状态信息进行数据融合处理的步骤之后还包括：
进行IMU误差校正，输出位置信息、速度信息和姿态信息。
进一步的，所述进行IMU误差校正，输出位置信息、速度信息和姿态信息的步骤具体包括：
当所述第一位置、第二位置和第三位置偏差超过位置阈值，并且所述第二姿态信息对应的方差与所述第三姿态信息对应的方差在方差阈值范围内时，降低GPS位置观测置信度进行故障隔离；
输出位置信息、速度信息和姿态信息。
为了解决上述技术问题，本申请还提供一种多传感器数据融合装置，采用了如下所述的技术方案，包括：
第一采集模块，用于由IMU惯性解算递推，得到第一状态信息，所述第一状态信息包括第一位置、第一速度和第一姿态信息；
第二采集模块，用于通过视觉定位估算，得到第二状态信息，所述第二状态信息包括第二位置、第二姿态信息和所述第二姿态信息对应的方差；
第三采集模块，用于通过激光点云位置估算，得到第三状态信息，所述第三状态信息包括第三位置、第三速度、第三姿态信息和所述第三姿态信息对应的方差；
执行模块，用于将所述第一状态信息、第二状态信息和第三状态信息进行数据融合处理。
为了解决上述技术问题，本申请还提供一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述处理器执行所述计算机可读指令时实现上述的多传感器数据融合方法的步骤。
为了解决上述技术问题，本申请还提供一种计算机可读存储介质，采用了如下所述的技术方案，所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现上述的多传感器数据融合方法的步骤。
与现有技术相比，本申请主要有以下有益效果：通过MEMS IMU传感器和视觉激光雷达融合定位，进行多传感器定位信息融合，解决了GPS失效后导航发散、位置失效的问题。
附图说明
为了更清楚地说明本申请中的方案，下面将对本申请实施例描述中所需要使用的附图作一个简单介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请可以应用于其中的示例性系统架构图；
图2是本申请的多传感器数据融合方法的一个实施例的流程图；
图3是本申请的数据流向图；
图4是本申请的多传感器数据融合装置的一个实施例的结构示意图；
图5是本申请的计算机设备的一个实施例的结构示意图。
具体实施方式
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同；本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请；本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本申请的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
为了使本技术领域的人员更好地理解本申请方案，下面将结合附图，对本申请实施例中的技术方案进行清楚、完整地描述。
如图1所示，系统架构100可以包括第一终端设备101、第二终端设备102、第三终端设备103，网络104和服务器105。网络104用以在第一终端设备101、第二终端设备102、第三终端设备103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用第一终端设备101、第二终端设备102、第三终端设备103通过网络104与服务器105交互，以接收或发送消息等。第一终端设备101、第二终端设备102、第三终端设备103上可以安装有各种通讯客户端应用，例如网页浏览器应用、购物类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。
第一终端设备101、第二终端设备102、第三终端设备103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器（Moving Picture E多传感器数据融合perts Group Audio Layer III，动态影像专家压缩标准音频层面3）、MP4（Moving Picture E多传感器数据融合perts Group Audio LayerIV，动态影像专家压缩标准音频层面4）播放器、膝上型便携计算机和台式计算机等等。
服务器105可以是提供各种服务的服务器，例如对第一终端设备101、第二终端设备102、第三终端设备103上显示的页面提供支持的后台服务器。
需要说明的是，本申请实施例所提供的多传感器数据融合方法一般由服务器/终端设备执行，相应地，多传感器数据融合装置一般设置于服务器/终端设备中。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
实施例一
继续参考图2，示出了本申请的多传感器数据融合方法的一个实施例的流程图。所述的多传感器数据融合方法，包括以下步骤：
步骤S201，由IMU惯性解算递推，得到第一状态信息，所述第一状态信息包括第一位置、第一速度和第一姿态信息。
在本实施例中，所述由IMU惯性解算递推，得到第一状态信息，所述第一状态信息包括第一位置、第一速度和第一姿态信息的步骤具体包括：
根据上一时刻的状态和当前IMU的测量数据，推算出所述第一状态信息。
龙格-库塔（Runge-Kutta）方法是一种在工程上应用广泛的高精度单步算法。此算法精度高，采取措施对误差进行抑制。使用Runge-Kutta求取微分方程的下一刻的解，方程公式为：
其中，n为指导航坐标系Navigation frame，b为机体坐标系（body frame），i为惯性坐标系（inertial frame）。
为第一速度，
为机体坐标系到大地坐标系的方向余弦矩阵；f b 为MEMS IMU中的加速度信息，g n 为重力在指导航坐标系n下的投影，
为在指导航坐标系n下观测的地球自转的投影，
为大地坐标系下观察的ECEF坐标系到大地坐标系的角速度矢量，V n 为大地坐标系下的速度信息V n = [V N ,V E ,V D ] T ，N为北方，North的缩写，E为东方，East缩写，D为下方，Down缩写的缩写。V N 为北向速度，V E 为东向速度，V D 为对地垂向速度，
为d(
)/dt，大地坐标系到地球坐标系的方向余弦矩阵的导数，
为大地坐标系到地球坐标系的方向余弦矩阵，
为大地坐标系下观察的ECEF坐标系到大地坐标系的角速度矢量，
为d(h)/dt，对高度求导，为垂向速度，
为机体坐标系到大地坐标系的方向余弦矩阵求导，
为机体坐标系到大地坐标系的方向余弦矩阵，
为机体坐标系下观察的惯性坐标系打机体坐标系的角速度矢量，
为大地坐标系下观察的惯性系到大地坐标系的角速度矢量。
公式（1）、（2）、（3）和（4）是捷联惯导的微分方程，描述了速度、位置、姿态、加速度和角速度的关系，IMU的全称是Inertial Measure Unit惯性测量单元，是一种测量加速度和角速度的传感器，根据IMU的测量结果和公式(1)、(2)、(3)和(4)就能计算出位置速度和姿态,Runge-Kutta是计算公式（1）、（2）、（3）和（4）的数值方法。第一位置，第一速度，第一姿态指的是通过IMU经过公式（1）、（2）、（3）和（4）采用Runge-Kutta方法计算的结果。
在本实施例中，多传感器数据融合方法运行于其上的电子设备（例如图1所示的服务器/终端设备）可以通过有线连接方式或者无线连接方式接收多传感器数据融合请求。需要指出的是，上述无线连接方式可以包括但不限于3G/4G/5G连接、WiFi连接、蓝牙连接、WiMA多传感器数据融合连接、Zigbee连接、UWB（ultra wideband）连接、以及其他现在已知或将来开发的无线连接方式。
步骤S202，通过视觉定位估算，得到第二状态信息，所述第二状态信息包括第二位置、第二姿态信息和所述第二姿态信息对应的方差。
在本实施例中，所述通过视觉定位估算，得到第二状态信息，所述第二状态信息包括第二位置、第二姿态信息和所述第二姿态信息对应的方差的步骤具体包括：
对通过单目摄像头拍摄的照片提取角点；
将所述角点跟之前拍照建立的多帧照片中的角点进行匹配对比；
设置滑窗，引入检索当前位置附近的图像数据，进行图像数据匹配比对、整个多帧和多状态比对，整个对比基于各个图像的角点，设置滑窗和数据库对比权重，采用g2o优化库得到第二状态信息。
角点指的是极值点，即在某方面属性特别突出的点角点可以是两条线的交叉处，也可以是位于相邻的两个主要方向不同的事物上的点。
将所述角点跟之前拍照建立的多帧照片中的角点进行匹配对比，具体实施时，可以采用计算机视觉中的SIFT匹配算法，计算两张照片件的平移变化和旋转变化的参数，即相对位移和相对旋转进行匹配对比。整个多帧和多状态比对，整个对比基于各个图像的角点的好处在于：通过图像的角点映射关系来计算图像之间的平移和旋转关系，多帧和图像匹配的好处是通过三角化来提升匹配精度。
这里滑窗是指一个固定大小的图像队列，队列方式为先近先出，即滑窗队列每设置一个新的图像数据，就将一个最老的图像数据剔除，滑窗的作用是：将当前时刻的图像，与当前时刻的历史图像进行匹配，通过多帧历史图像的匹配对比，提升图像匹配精度。
设置滑窗，引入检索当前位置附近的图像数据，进行图像数据匹配比对的作用在于：当前位置附近的图像是有绝对的位置信息的，通过当前图像于数据库附近的图像数据匹配，能够通过匹配关系确定当前图像的绝对位置。进行整个多帧和多状态比对，整个对比基于各个图像的角点的好处是：通用的图像特征匹配方法，通过图像的角点映射关系来计算图像之间的平移和旋转关系，多帧和图像匹配的好处是通过三角化来提升匹配精度。
g2o是一种优化算法，通过g2o优化算能够计算出当前照片的最优位置和姿态，这个可以得到第二状态信息的位置和姿态信息。
步骤S203，通过激光点云位置估算，得到第三状态信息，所述第三状态信息包括第三位置、第三速度、第三姿态信息和所述第三姿态信息对应的方差。
在本实施例中，所述通过激光点云位置估算，得到第三状态信息，所述第三状态信息包括第三位置、第三速度、第三姿态信息和所述第三姿态信息对应的方差的步骤具体包括：
使用IMU对点云数据进行预处理；
根据历史点云和点云数据库，使用PCL库对点云数据进行预处理，提取特征后建立误差方程，通过g2o库得到第三状态信息。具体实施时，使用IMU对点云数据进行预处理，可以采用IMU数据，对点云数据进行时间补偿。
步骤S204，将所述第一状态信息、第二状态信息和第三状态信息进行数据融合处理。
所述将所述第一状态信息、第二状态信息和第三状态信息进行数据融合处理的步骤具体包括：
采用kalman滤波器融合所述第一状态信息、第二状态信息和第三状态信息。
在本实施例的一些可选的实现方式中，在步骤S204之后，上述电子设备还可以执行以下步骤：
进行IMU误差校正，输出位置信息、速度信息和姿态信息。
在一些可选的实现方式中，所述进行IMU误差校正，输出位置信息、速度信息和姿态信息的步骤具体包括：
当所述第一位置、第二位置和第三位置偏差超过位置阈值，并且所述第二姿态信息对应的方差与所述第三姿态信息对应的方差在方差阈值范围内时，降低GPS位置观测置信度进行故障隔离；
输出位置信息、速度信息和姿态信息。
本申请通过采用采用kalman滤波器融合GPS观测、视觉定位估算观测和激光点云估算观测，采用传感器数据融合，提高了数据的准确性。
卡拉曼滤波器状态为：
X ＝ [δθ;δh;δv n ;ϕ;b a ;b g ] T （5）。
其中：X为卡拉曼滤波器状态值，δθ为经纬度误差，δh为高度误差,δv n 为速度误差，ϕ为姿态误差，b a 为加速度计零偏，b g 为陀螺零偏。
Kalman滤波器状态微分方程为：
式（6）中，
为经纬度误差的导数，δρ为N坐标系下观测的地球坐标系到导航坐标系旋转误差的投影，
为大地坐标系下观察的ECEF坐标系到大地坐标系的角速度矢量，δθ为经纬度误差。
式（7）中，
为高度误差导数，δV D 为垂向速度误差导数，δh为高度误差，δv n 为速度误差。
式（8）中,
为速度误差导数，
为δρ，
为n坐标系下地球旋转速度误差的投影，v n 为导航坐标系下的速度，
为导航坐标系下地球到导航坐标系转转速度投影，f n 为IMU测量加速度在导航坐标系投影，ϕ为姿态误差，
为姿态方向余旋矩阵，b a 为加速度计零偏。式（8）为速度误差的微分方程（速度误差的动力学方程）。
式（9）中，
为姿态误差导数。式（9）是建立姿态误差的微分方程（姿态误差的动力学方程）。
式（10）中，
为加速度计零偏导数，T a 为一阶gauss-markov过程系数，w a 为加速度计零。式（10）的意义是建立加速度计零偏的微分方程(或者是加速度零偏的动力学方程)。
式（11）中，
为角速度零偏导数，T g 为角速度一阶gauss-markov过程系数，w g 为角速度白噪声分量。式（11）的意义是建立加速度零偏的微分方程（加速度零偏的动力学方程）。
该微分方程可以化简为如下形式：
式（12）中，
为一个动力学方程的状态量，F(t)为动力学方程的状态耦合关系，G(t)为转台量随机模型的耦合关系，w(t)为状态量的随机模型在该模型中为高纬高斯噪声，t为时间。
将kalam滤波器微分方程离散化，可以得到kalman滤波状态更新为：
其中，Φ k 为F(t)离散化后的结果，I为单位矩阵，t k 为k时刻的时间F(t k )为F(t)在t k 时刻的数值δt k 为t k+1 －t k ，为两帧之间的时间差，Q k 为实际的误差量。G(t k ) T 为G(t k )的转置。
位置观测计算：
其中，
为位置观测量，
为IMU惯性递推得到的位置，
为传感器当前观测到的位置。
位置观测矩阵：
H k+1(r n ) ＝ [I 3×3, O 3×3, O 3×3, O 3×3, O 3×3] （18）。
其中，H k+1(r n )为位置观测矩阵，I 3×3为3x3维单位矩阵，O 3×3为3x3零矩阵。
速度观测量计算：
其中，
为速度观测量，
为IMU惯性递推得到的速度，
为传感器当前观测的速度。
速度观测矩阵为：
H k+1(v n ) ＝ [O 3×3, I 3×3, O 3×3, O 3×3, O 3×3] （20）。
其中，H k+1(v n )为速度观测矩阵。
姿态观测计算：
其中，
为姿态观测量，
为IMU惯性递推得到的姿态，
为传感器当前观测的姿态。
姿态观测计矩阵：
H k+1(ϕ) ＝ [O 3×3, O 3×3, I 3×3, O 3×3, O 3×3] （22）。
故障诊断为：
其中，δz k+1为观测残差，λ k+1为卡方检验计算数值。如果λ k+1大于故障门限值，则此次观测更新存在故障。
联测更新：如果λ k+1小于大于故障门限值，则：
其中，式中K k+1为kamlam滤波器其增益，X k+1|k+1为修正后的状态量，P k+1|k+1为修正后的协方差矩阵。
在将多传感器数据进行融合处理，误差校正于数据回环中，将kalman滤波器中估计的系统误差补偿到IMU的递推中。使用修正的位置姿态数据作为先验数据，跟图像数据库中的图像进行匹配拼接，并将拼接后的照片将分辨率后以一定的阈值并入数据库。使用当前修正的速度、位置、姿态补偿当前帧的点云数据，当点云数据积累满足一定条件后，使用ICP算法（Iterative Closest Point迭代最近点算法）对当前积累的点云于点云库进行匹配，并将匹配后的点云稀疏之后，并入点云库。
图3是本申请的数据流向图。如图3所示，IMU经过关系推推，再估算位置、速度和姿态；GPS经过定位位置，感知速度；摄像头与图像数据库经过匹配优化再进行图像估计位置和姿态；这三者在通过卡尔曼滤波器、卡方检验容错，在经过IMU误差校正，输出位置、速度和姿态。卡尔曼滤波器、卡方检验容错对图像数据进行回环，再反馈给图像数据库，图像数据库实时更新。激光雷达和点云数据库经过匹配优化，再进行点云估计位置和姿态。卡尔曼滤波器、卡方检验容错对点云数据进行回环，再反馈给点云数据库，点云数据库实时更新。
需要强调的是，为进一步保证上述多传感器数据融合信息的私密和安全性，上述多传感器数据融合信息还可以存储于一区块链的节点中。
本申请所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
采用本实施例，通过MEMS IMU传感器和视觉激光雷达融合定位，进行多传感器定位信息融合，解决了GPS失效后导航发散、位置失效的问题。
本申请可用于众多通用或专用的计算机系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机可读指令来指令相关的硬件来完成，该计算机可读指令可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体（Read-Only Memory，ROM）等非易失性存储介质，或随机存储记忆体（Random Access Memory，RAM）等。
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
实施例二
进一步参考图4，作为对上述图2所示方法的实现，本申请提供了一种多传感器数据融合装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图4所示，本实施例所述的多传感器数据融合装置400包括：第一采集模块401、第二采集模块402、第三采集模块403以及执行模块404。其中：
第一采集模块401，用于由IMU惯性解算递推，得到第一状态信息，所述第一状态信息包括第一位置、第一速度和第一姿态信息；
第二采集模块402，用于通过视觉定位估算，得到第二状态信息，所述第二状态信息包括第二位置、第二姿态信息和所述第二姿态信息对应的方差；
第三采集模块403，用于通过激光点云位置估算，得到第三状态信息，所述第三状态信息包括第三位置、第三速度、第三姿态信息和所述第三姿态信息对应的方差；
执行模块404，用于将所述第一状态信息、第二状态信息和第三状态信息进行数据融合处理。
采用本实施例，通过MEMS IMU传感器和视觉激光雷达融合定位，进行多传感器定位信息融合，解决了GPS失效后导航发散、位置失效的问题。
实施例三
为解决上述技术问题，本申请实施例还提供计算机设备。具体请参阅图5，图5为本实施例计算机设备基本结构框图。
所述计算机设备6包括通过系统总线相互通信连接存储器61、处理器62、网络接口63。需要指出的是，图中仅示出了具有组件存储器61、处理器62和网络接口63的计算机设备6，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。其中，本技术领域技术人员可以理解，这里的计算机设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路（Application Specific Integrated Circuit，ASIC）、可编程门阵列（Field－Programmable Gate Array，FPGA）、数字处理器（Digital Signal Processor，DSP）、嵌入式设备等。
所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
所述存储器61至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器（例如，SD或D多传感器数据融合存储器等）、随机访问存储器（RAM）、静态随机访问存储器（SRAM）、只读存储器（ROM）、电可擦除可编程只读存储器（EEPROM）、可编程只读存储器（PROM）、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器61可以是所述计算机设备6的内部存储单元，例如该计算机设备6的硬盘或内存。在另一些实施例中，所述存储器61也可以是所述计算机设备6的外部存储设备，例如该计算机设备6上配备的插接式硬盘，智能存储卡（Smart Media Card, SMC），安全数字（SecureDigital, SD）卡，闪存卡（Flash Card）等。当然，所述存储器61还可以既包括所述计算机设备6的内部存储单元也包括其外部存储设备。本实施例中，所述存储器61通常用于存储安装于所述计算机设备6的操作系统和各类应用软件，例如多传感器数据融合方法的计算机可读指令等。此外，所述存储器61还可以用于暂时地存储已经输出或者将要输出的各类数据。
所述处理器62在一些实施例中可以是中央处理器（Central Processing Unit，CPU）、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器62通常用于控制所述计算机设备6的总体操作。本实施例中，所述处理器62用于运行所述存储器61中存储的计算机可读指令或者处理数据，例如运行所述多传感器数据融合方法的计算机可读指令。
所述网络接口63可包括无线网络接口或有线网络接口，该网络接口63通常用于在所述计算机设备6与其他电子设备之间建立通信连接。
采用本实施例，通过MEMS IMU传感器和视觉激光雷达融合定位，进行多传感器定位信息融合，解决了GPS失效后导航发散、位置失效的问题。
实施例四
本申请还提供了另一种实施方式，即提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可读指令，所述计算机可读指令可被至少一个处理器执行，以使所述至少一个处理器执行如上述的多传感器数据融合方法的步骤。
采用本实施例，通过MEMS IMU传感器和视觉激光雷达融合定位，进行多传感器定位信息融合，解决了GPS失效后导航发散、位置失效的问题。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质（如ROM/RAM、磁碟、光盘）中，包括若干指令用以使得一台终端设备（可以是手机，计算机，服务器，空调器，或者网络设备等）执行本申请各个实施例所述的方法。
显然，以上所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例，附图中给出了本申请的较佳实施例，但并不限制本申请的专利范围。本申请可以以许多不同的形式来实现，相反地，提供这些实施例的目的是使对本申请的公开内容的理解更加透彻全面。尽管参照前述实施例对本申请进行了详细的说明，对于本领域的技术人员来而言，其依然可以对前述各具体实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等效替换。凡是利用本申请说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理在本申请专利保护范围之内。
Claims (10)
1.一种多传感器数据融合方法，其特征在于，包括下述步骤：
由IMU惯性解算递推，得到第一状态信息，所述第一状态信息包括第一位置、第一速度和第一姿态信息；
通过视觉定位估算，得到第二状态信息，所述第二状态信息包括第二位置、第二姿态信息和所述第二姿态信息对应的方差；
通过激光点云位置估算，得到第三状态信息，所述第三状态信息包括第三位置、第三速度、第三姿态信息和所述第三姿态信息对应的方差；
将所述第一状态信息、第二状态信息和第三状态信息进行数据融合处理。
2.根据权利要求1所述的多传感器数据融合方法，其特征在于，所述由IMU惯性解算递推，得到第一状态信息，所述第一状态信息包括第一位置、第一速度和第一姿态信息的步骤具体包括：
根据上一时刻的状态和当前IMU的测量数据，推算出所述第一状态信息。
3.根据权利要求1所述的多传感器数据融合方法，其特征在于，所述通过视觉定位估算，得到第二状态信息，所述第二状态信息包括第二位置、第二姿态信息和所述第二姿态信息对应的方差的步骤具体包括：
对通过单目摄像头拍摄的照片提取角点；
将所述角点跟之前拍照建立的多帧照片中的角点进行匹配对比；
设置滑窗，引入检索当前位置附近的图像数据，进行图像数据匹配比对、整个多帧和多状态比对，整个对比基于各个图像的角点，设置滑窗和数据库对比权重，采用g2o优化库得到第二状态信息。
4.根据权利要求3所述的多传感器数据融合方法，其特征在于，所述通过激光点云位置估算，得到第三状态信息，所述第三状态信息包括第三位置、第三速度、第三姿态信息和所述第三姿态信息对应的方差的步骤具体包括：
使用IMU对点云数据进行预处理；
根据历史点云和点云数据库，使用PCL库对点云数据进行预处理，提取特征后建立误差方程，通过g2o库得到第三状态信息。
5.根据权利要求1所述的多传感器数据融合方法，其特征在于，所述将所述第一状态信息、第二状态信息和第三状态信息进行数据融合处理的步骤具体包括：
采用kalman滤波器融合所述第一状态信息、第二状态信息和第三状态信息。
6.根据权利要求1至5任意一项所述的多传感器数据融合方法，其特征在于，在所述将所述第一状态信息、第二状态信息和第三状态信息进行数据融合处理的步骤之后还包括：
进行IMU误差校正，输出位置信息、速度信息和姿态信息。
7.根据权利要求6所述的多传感器数据融合方法，其特征在于，所述进行IMU误差校正，输出位置信息、速度信息和姿态信息的步骤具体包括：
当所述第一位置、第二位置和第三位置偏差超过位置阈值，并且所述第二姿态信息对应的方差与所述第三姿态信息对应的方差在方差阈值范围内时，降低GPS位置观测置信度进行故障隔离；
输出位置信息、速度信息和姿态信息。
8.一种多传感器数据融合装置，其特征在于，包括：
第一采集模块，用于由IMU惯性解算递推，得到第一状态信息，所述第一状态信息包括第一位置、第一速度和第一姿态信息；
第二采集模块，用于通过视觉定位估算，得到第二状态信息，所述第二状态信息包括第二位置、第二姿态信息和所述第二姿态信息对应的方差；
第三采集模块，用于通过激光点云位置估算，得到第三状态信息，所述第三状态信息包括第三位置、第三速度、第三姿态信息和所述第三姿态信息对应的方差；
执行模块，用于将所述第一状态信息、第二状态信息和第三状态信息进行数据融合处理。
9.一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述处理器执行所述计算机可读指令时实现如权利要求1至7中任一项所述的多传感器数据融合方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如权利要求1至7中任一项所述的多传感器数据融合方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210314622.6A CN114413898B (zh) | 2022-03-29 | 2022-03-29 | 多传感器数据融合方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210314622.6A CN114413898B (zh) | 2022-03-29 | 2022-03-29 | 多传感器数据融合方法、装置、计算机设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114413898A true CN114413898A (zh) | 2022-04-29 |
| CN114413898B CN114413898B (zh) | 2022-07-29 |
Family
ID=81263788
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210314622.6A Active CN114413898B (zh) | 2022-03-29 | 2022-03-29 | 多传感器数据融合方法、装置、计算机设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114413898B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114839658A (zh) * | 2022-06-28 | 2022-08-02 | 江苏德一佳安防科技有限公司 | 定位消防员建筑物进入点的方法及系统 |
| CN115311423A (zh) * | 2022-07-29 | 2022-11-08 | 深圳市正易电子科技有限公司 | 基于无人机超高精细三维模型制作的方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109376785A (zh) * | 2018-10-31 | 2019-02-22 | 东南大学 | 基于迭代扩展卡尔曼滤波融合惯性与单目视觉的导航方法 |
| CN109887057A (zh) * | 2019-01-30 | 2019-06-14 | 杭州飞步科技有限公司 | 生成高精度地图的方法和装置 |
| CN112230242A (zh) * | 2020-09-30 | 2021-01-15 | 深兰人工智能(深圳)有限公司 | 位姿估计系统和方法 |
| CN112344923A (zh) * | 2021-01-11 | 2021-02-09 | 浙江欣奕华智能科技有限公司 | 一种机器人的定位方法及其定位装置 |
| CN113252048A (zh) * | 2021-05-12 | 2021-08-13 | 高新兴物联科技有限公司 | 一种导航定位方法、导航定位系统及计算机可读存储介质 |
-
2022
- 2022-03-29 CN CN202210314622.6A patent/CN114413898B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109376785A (zh) * | 2018-10-31 | 2019-02-22 | 东南大学 | 基于迭代扩展卡尔曼滤波融合惯性与单目视觉的导航方法 |
| CN109887057A (zh) * | 2019-01-30 | 2019-06-14 | 杭州飞步科技有限公司 | 生成高精度地图的方法和装置 |
| CN112230242A (zh) * | 2020-09-30 | 2021-01-15 | 深兰人工智能(深圳)有限公司 | 位姿估计系统和方法 |
| CN112344923A (zh) * | 2021-01-11 | 2021-02-09 | 浙江欣奕华智能科技有限公司 | 一种机器人的定位方法及其定位装置 |
| CN113252048A (zh) * | 2021-05-12 | 2021-08-13 | 高新兴物联科技有限公司 | 一种导航定位方法、导航定位系统及计算机可读存储介质 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114839658A (zh) * | 2022-06-28 | 2022-08-02 | 江苏德一佳安防科技有限公司 | 定位消防员建筑物进入点的方法及系统 |
| CN115311423A (zh) * | 2022-07-29 | 2022-11-08 | 深圳市正易电子科技有限公司 | 基于无人机超高精细三维模型制作的方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114413898B (zh) | 2022-07-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20230194265A1 (en) | Square-Root Multi-State Constraint Kalman Filter for Vision-Aided Inertial Navigation System | |
| US10295365B2 (en) | State estimation for aerial vehicles using multi-sensor fusion | |
| CN107748569B (zh) | 用于无人机的运动控制方法、装置及无人机系统 | |
| US10254118B2 (en) | Extrinsic parameter calibration of a vision-aided inertial navigation system | |
| CN114413898B (zh) | 多传感器数据融合方法、装置、计算机设备及存储介质 | |
| CN109506642B (zh) | 一种机器人多相机视觉惯性实时定位方法及装置 | |
| CN110084832B (zh) | 相机位姿的纠正方法、装置、系统、设备和存储介质 | |
| WO2020140431A1 (zh) | 相机位姿确定方法、装置、电子设备及存储介质 | |
| CN109991636A (zh) | 基于gps、imu以及双目视觉的地图构建方法及系统 | |
| US12062210B2 (en) | Data processing method and apparatus | |
| CN108036785A (zh) | 一种基于直接法与惯导融合的飞行器位姿估计方法 | |
| CN114323033B (zh) | 基于车道线和特征点的定位方法、设备及自动驾驶车辆 | |
| WO2019104571A1 (zh) | 图像处理方法和设备 | |
| KR20220052312A (ko) | 차량 포지셔닝 방법, 장치 및 자율 운전 차량 | |
| CN104848861A (zh) | 一种基于图像消失点识别技术的移动设备姿态测量方法 | |
| Li et al. | Research on the UWB/IMU fusion positioning of mobile vehicle based on motion constraints | |
| CN114018254B (zh) | 一种激光雷达与旋转惯导一体化构架与信息融合的slam方法 | |
| CN115164936A (zh) | 高精地图制作中用于点云拼接的全局位姿修正方法及设备 | |
| Xian et al. | Fusing stereo camera and low-cost inertial measurement unit for autonomous navigation in a tightly-coupled approach | |
| CN104121930A (zh) | 一种基于加表耦合的mems陀螺漂移误差的补偿方法 | |
| CN115727871A (zh) | 一种轨迹质量检测方法、装置、电子设备和存储介质 | |
| CN116124129A (zh) | 定位信息处理方法、装置、设备和介质 | |
| CN112729349B (zh) | 里程计在线标定的方法、装置、电子设备及存储介质 | |
| CN115900697A (zh) | 对象运动轨迹信息处理方法、电子设备以及自动驾驶车辆 | |
| CN113946151A (zh) | 针对自动驾驶车辆的数据处理方法、装置和自动驾驶车辆 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |