CN112580683B - 一种基于互相关的多传感器数据时间对齐系统及其方法 - Google Patents
一种基于互相关的多传感器数据时间对齐系统及其方法 Download PDFInfo
- Publication number
- CN112580683B CN112580683B CN202011288134.XA CN202011288134A CN112580683B CN 112580683 B CN112580683 B CN 112580683B CN 202011288134 A CN202011288134 A CN 202011288134A CN 112580683 B CN112580683 B CN 112580683B
- Authority
- CN
- China
- Prior art keywords
- angle difference
- sequence
- sensor
- data
- processing module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000012545 processing Methods 0.000 claims abstract description 53
- 238000002864 sequence alignment Methods 0.000 claims abstract description 21
- 230000000007 visual effect Effects 0.000 claims abstract description 14
- 238000006243 chemical reaction Methods 0.000 claims abstract description 7
- 230000033001 locomotion Effects 0.000 claims description 10
- 238000005457 optimization Methods 0.000 claims description 10
- 239000011159 matrix material Substances 0.000 claims description 9
- 230000008859 change Effects 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 5
- 238000005259 measurement Methods 0.000 claims description 5
- 230000003287 optical effect Effects 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- 230000004927 fusion Effects 0.000 description 4
- 238000010276 construction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000005311 autocorrelation function Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/251—Fusion techniques of input or preprocessed data
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
- G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
- G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
- G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/50—Systems of measurement based on relative movement of target
- G01S17/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/269—Analysis of motion using gradient-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Electromagnetism (AREA)
- Computer Networks & Wireless Communication (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Automation & Control Theory (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于互相关的多传感器数据时间对齐系统，其中，数据处理模块是对相机传感器和激光雷达传感器的数据进行格式转换，将数据处理模块处理后的数据分别输入视觉帧处理模块、点云帧处理模块，得出图像的三轴角度差序列和点云帧的三轴角度差序列，序列输入模块是能够直接输出三轴角度差序列的传感器，序列对齐模块对各个三轴角度差序列进行对齐处理得出时域对齐的多传感器数据组。本发明还提供一种基于互相关的多传感器数据时间对齐方法。本发明不需要时间戳信息作为参考数据，可以完全基于原始数据本身所包含的信息来进行时间对齐，应用场景更广，可适用于各类的数据采集场景，泛用性更强，准确度更高。
Description
技术领域
本发明涉及传感器数据应用技术领域，更具体地，涉及一种基于互相关的多传感器数据时间对齐系统及其方法。
背景技术
即时定位与地图构建(Simultaneous Localization and Mapping,SLAM,下文统称SLAM)是当前移动机器人和计算机视觉领域的热门研究方向，其研究的根本问题是机器人在未知环境下运动时对环境的观测、自身位姿和运动轨迹的检测，最终完成当前环境地图的构建。对于一个多传感器协同SLAM系统来说，多传感器联合标定和多传感器数据融合是整个系统数据输入端的两个关键部分，而这二者都依托于多传感器数据融合技术。在实际的SLAM应用中，以Kalibr为代表的多传感器联合标定方法以及大多数的多传感数据融合算法都默认输入的数据帧在时域上是对齐的，只有部分算法会实时优化时间对齐。因此，如果多传感器数据融合方法所输入的不同传感器数据没有进行时间对齐，就会导致传感器组外参标定与实际存在较大偏差、不同传感器的数据帧匹配错误、算法输出精度下降、最终决策非最优等问题。
现有多传感器数据时间对齐技术主流是利用曲线拟合、滤波方法等方法进行数据的时间同步，往往要求对齐的数据中一种或多种数据具有时间戳，通过时间戳进行简单匹配完成时间对齐。中国专利公开号：CN111121755A，公开日期：2020年05月08日，该专利公开了一种多传感器的融合定位方法，包括：获取至少两个定位传感器输出的待定位物体的定位数据；将所述各定位传感器的定位数据进行时间戳同步，确定所述各定位传感器的时间定位数据；根据所述各定位传感器的时间定位数据，构建非线性优化函数，并生成非线性优化函数组；基于所述非线性优化函数组，确定所述待定位物体的目标定位数据。该专利中需要通过时间戳信息进行同步，泛用性不佳，同时输出精度受限于原始数据时间戳信息的准确度。
发明内容
本发明的目的在于克服现有多传感器数据时间对齐的方法中需要使用时间戳进行同步，导致泛用性不足，准确度低的缺点，提供一种基于互相关的多传感器数据时间对齐系统。本发明不需要时间戳信息来作为参考数据，可以完全基于原始数据本身所包含的信息来进行时间对齐，应用场景更广，可适用于各类的数据采集场景，泛用性更强，准确度更高。
本发明还提供一种基于互相关的多传感器数据时间对齐方法。
为解决上述技术问题，本发明采用的技术方案是：一种基于互相关的多传感器数据时间对齐系统，包括数据处理模块、序列输入模块、视觉帧处理模块、点云帧处理模块和序列对齐模块。
数据处理模块：对相机传感器和激光雷达传感器的数据进行格式转换分别输入视觉帧处理模块和点云帧处理模块；
序列输入模块：能够直接采集三轴角度差序列输入序列对齐模块；
视觉帧处理模块：对数据处理模块输入的模块进行计算处理得出图像的三轴角度差序列输入序列对齐模块；
点云帧处理模块：对数据处理模块输入的模块进行计算处理得出点云帧的三轴角度差序列输入序列对齐模块；
序列对齐模块：将输入的各个三轴角度差序列进行对齐处理得出时域对齐的多传感器数据组。
进一步的，所述序列输入模块为能够直接将采集的数据转换为三轴角度差序列的传感器。
进一步的，所述传感器包括惯性测量仪和陀螺仪。惯性测量仪和陀螺仪能够直接获取角速度等量化信息，通过内置控制器的数学运算就可输出三轴角度差序列。
一种基于互相关的多传感器数据时间对齐方法，包括以下步骤：
S1.数据处理模块将相机传感器获取的数据和激光雷达传感器获取的数据分别转换为图像帧和点云帧；
S2.视觉帧处理模块提取图象帧的三轴角度差序列；
S3.点云帧处理模块提取点云帧的三轴角度差序列；
S4.序列对齐模块将图象帧的三轴角度差序列、点云帧的三轴角度差序列以及序列输入模块的三轴角度差序列通过互相关方法进行序列对齐，求解各个序列的时间差，完成时间对齐。
进一步的，所述步骤S1中图像帧的文件格式为jpg或png，点云帧的文件格式为pcd。
进一步的，所述步骤S2包括以下具体步骤：
S21.基于matlab的undistortiamge去畸变方法，纠正图像帧的畸变；
S22.利用Harris角点提取办法，使用滑动窗口检测图像帧相邻区域的灰度变化，找到超过设定阈值的区块并提取出图像帧中的Harris角点作为相机位姿变化估计参考的特征点；
S23.利用LK光流法在所有相邻帧中追踪步骤S22中找到的特征点，并估算出相机运动的位姿，得到相机传感器数据记录的整个运动过程中的所有旋转矩阵R；
S24.利用EPnP方法基于步骤S23中得到的所有旋转矩阵R的集合求解出三轴角度差序列。
进一步的，所述步骤S3中包括以下具体步骤：
S31.对于所有的点云帧进行网格化形成点云；
S32.针对两个相邻的点云帧，计算每个网格中所有点的正态分布参数均值q和协方矩阵E；
S33.初始化变化参数p，基于步骤S32中正态分布参数均值q和协方矩阵E算出点云帧间转换点的概率密度，得出NDT配准的得分Score；
S34.通过优化方法找到score的最大值，得到点云帧间的最优变换T和旋转矩阵R，求解出两帧之间的三轴角度差；
S35.对所有相邻的点云帧执行步骤S32-S34，得出三轴角度差序列。
进一步的，所述步骤S34中的优化方法为牛顿优化法。
进一步的，所步骤S4中包括以下具体步骤：
S41.根据加权算法及传感器类别选择三轴角度差的权值weight，定义三轴上的互相关值加权和数组cof_on_3_Axis；
S42.对各组三轴角度差序列，按照轴为区分，依次计算其加权互相关值并找到当前互相关值，插入互相关值数组cof_on_3_Axis中；
S43.遍历所有序列的所有元素，得到完整的互相关值数组cof_on_3_Axis；
S44.遍历cof_on_3_Axis数组，找到最大值max_cofs及其下标step，max_cofs即为三轴加权后最大互相关值，step为求出的时间偏移量；
S45.通过求解出的时间偏移量，对各传感器原始数据进行简单删减，得到时域对齐的多传感器数据组。
进一步的，所述步骤S43中遍历结束的标志是所有序列的所有元素都进行了计算。
与现有技术相比，本发明的有益效果是：
本发明不需要对多个传感器增加同步开始工作的触发功能，节约了数据采集过程的人力成本以及采集设备、触发功能开发的高昂成本；本发明通过对三轴角度差序列处理得到时间对齐数据，不要求某一类特定的传感器数据作为基准数据，对任意的多种传感器或是多个同类传感器(如三个相机)数据皆可完成时间对齐，不需要任一组传感器数据具有精确的时间戳信息，也不需要每组数据都带有自身标记或通过人工标注的时间戳信息，应用场景更广，可适用于各类的数据采集场景，泛用性更强，精确度更高。
附图说明
图1为本发明一种基于互相关的多传感器数据时间对齐系统的整体结构示意图。
图2为本发明一种基于互相关的多传感器数据时间对齐方法的流程图。
具体实施方式
下面结合具体实施方式对本发明作进一步的说明。其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本专利的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
实施例1
如图1所示为本发明一种基于互相关的多传感器数据时间对齐系统的实施例。一种基于互相关的多传感器数据时间对齐系统，包括数据处理模块、视觉帧处理模块、点云帧处理模块和序列对齐模块，还包括序列输入模块，数据处理模块分别连接视觉帧处理模块和点云帧处理模块，序列输入模块、视觉帧处理模块和点云帧处理模块均与序列对齐模块连接。
本实施例中数据处理模块是对相机传感器和激光雷达传感器的数据进行格式转换，将数据处理模块处理后的数据分别输入视觉帧处理模块、点云帧处理模块，得出图像的三轴角度差序列和点云帧的三轴角度差序列，序列输入模块是能够直接输出三轴角度差序列的传感器，序列对齐模块对各个三轴角度差序列进行对齐处理得出时域对齐的多传感器数据组；传感器包括惯性测量仪和陀螺仪。惯性测量仪和陀螺仪能够直接获取角速度等量化信息，通过内置控制器的数学运算就可输出三轴角度差序列。
实施例2
如图2所示为本发明一种基于互相关的多传感器数据时间对齐方法的实施例。一种基于互相关的多传感器数据时间对齐方法，包括以下步骤：
S1.数据处理模块将相机传感器获取的数据和激光雷达传感器获取的数据分别转换为图像帧和点云帧；
S2.视觉帧处理模块提取图象帧的三轴角度差序列；
S3.点云帧处理模块提取点云帧的三轴角度差序列；
S4.序列对齐模块将图象帧的三轴角度差序列、点云帧的三轴角度差序列以及序列输入模块的三轴角度差序列通过互相关方法进行序列对齐，求解各个序列的时间差，完成时间对齐。
本实施例中，步骤S1中，数据预处理模块对相机传感器中bin的文件转换为jpg或png格式的图像帧文件，将激光雷达传感器中pacp文件转换为pcd格式的点云帧文件。
本实施例中，步骤S2包括以下具体提取步骤：
S21.基于matlab的undistortiamge去畸变方法，给定相机参数以纠正图像帧的畸变；
S22.Harris角点提取办法，使用滑动窗口检测图像帧相邻区域的灰度变化，找到超过设定阈值的区块并提取出图像帧中的Harris角点作为相机位姿变化估计参考的特征点；方法的具体提取步骤如下所示：
a.对于一张二维的图像I，计算其在X轴和Y轴两个方向上的梯度。
b.计算图像在两个方向上梯度的乘积
Ix 2＝Ix·Ix,Iy 2＝Iy·Iy,Ix,y＝Ix·Iy (2)
c.使用高斯函数对梯度乘积进行高斯加权，计算出自相关函数中矩阵M行列式中的A、B和C
d.对图中所有的像素都进行Harris角点响应值的计算。设置阈值并将所有小于的响应值置为0
e.在一定范围的邻域中进行非最大值抑制，得到的局部最大值即所求的角点。一般来说，领域的范围设置成3x3或者是5x5。对图像所有区域进行处理，最终得到所有特征点的位置。
S23.使用LK光流法在所有相邻帧中追踪由上述Harris角点提取方法找到的特征点，并估算出相机运动的位姿，得到传感器数据记录的整个运动过程中的所有旋转矩阵R。具体方法如下所示：
a.对于图像中的特征点v，设其在t时刻的时候的坐标为(x,y)，而t+dt时刻的坐标为(x+dx,y+dy)，基于灰度不变假设，我们可以得到两者的关系：
I(x+dx,y+dy,t+dt)＝I(x,y,t) (5)
b.对式5的左式进行泰勒展开并保留一阶项，可以得到：
c.基于灰度不变假设，联合式5和式6，可以得到：
此处的分别为特征点在x轴、y轴上的运动速度，按照像素坐标系的习惯记为u和v；又知道/>和/>分别为图像在该点的x和y方向上的梯度，记为。自此，我们可以得到图像灰度对于时间的变化量It和像素之间的关系
d.基于窗口内像素运动相同假设，则一个大小为a×a的窗口内的所有像素都满足式9的等式，因此我们一共有a2个等式，即得到一个关于u和v的超定方程。此时，我们应用最小二乘解的思想，即可解出u和v，即求解出了特征点的运动。
e.按照上述方法使用左相机图像对右相机图像进行特征点追踪，即可得到右相机特征点的位置信息，继而求出左右相机之间的视差d。联合已知的相机基线长度B、相机焦距fX，即可求出特征点的深度depth。记左相机中特征点的二维坐标为(xl,yl)，右相机中特征点的二维坐标为(xr,yr)。有：
d＝xl-xr (10)
f.由于光流法存在特征点的误跟踪情况，因此需要去除误跟踪的特征点。由外参标定可以得到左右相机的相对旋转R以及相对位移t，基于R和t对一对匹配的特征点构建对极约束，将对极约束误差e大于设定阈值e_max的特征点对认为是误跟踪，将其作为外点去除。设对应的特征点归一化坐标为P0，P1对极约束误差求解如下：
e＝P1 Tt×RP0 (12)
S24.使用EPnP方法基于上述方法中得到的所有旋转矩阵R的集合求解出三轴角度差序列，具体求解公式如下：
设旋转矩阵即可求得：
θx＝atan2(R32,R33)
θz＝atan2(R21,R11)
本实施例中，步骤S3包括以下具体步骤：
S31.将采集到的三维点云网格化，即对整个三维空间划分为多个立方体，每个立方体中都包含不同形态的点云；
S32.针对两个相邻的点云帧，计算每个网格中所有点的正态分布参数均值q和协方矩阵E；
S33.初始化变换参数p，格式为设所有点云在帧间的变换为T，即Xi'＝T(Xi,p)；
S34.基于q、E算出转换点的概率密度，每个网格概率密度相加即NDT配准的得分；
S35.通过如牛顿优化法找到score的最大值，即得到点云帧间的最优变换T；
S36.对所有相邻的点云帧执行步骤S32-S34，得出三轴角度差序列。
本实施例中，所述步骤S4中包括以下具体步骤：
S41.根据加权算法及传感器类别选择三轴角度差的权值weight，定义三轴上的互相关值加权和数组cof_on_3_Axis；
S42.对各组三轴角度差序列，按照轴为区分，依次计算其加权互相关值并找到当前互相关值，插入互相关值数组cof_on_3_Axis中；
S43.遍历所有序列的所有元素、得到完整的互相关值数组cof_on_3_Axis；
S44.遍历cof_on_3_Axis数组，找到最大值max_cofs及其下标step，max_cofs即为三轴加权后最大互相关值,step为求出的时间偏移量；
S45.通过求解出的时间偏移量，对各传感器原始数据进行简单删减，得到时域对齐的多传感器数据组。
再将序列对齐模型求出的时域对齐的多传感器数据组应用到多传感器联合标定等相关应用领域中。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。
Claims (8)
1.一种基于互相关的多传感器数据时间对齐方法，其特征在于：包括以下步骤：
S1.数据处理模块将相机传感器获取的数据和激光雷达传感器获取的数据分别转换为图像帧和点云帧；
S2.视觉帧处理模块提取图像帧的三轴角度差序列；
S3.点云帧处理模块提取点云帧的三轴角度差序列；具体步骤为：
S31.对于所有的点云帧进行网格化形成点云；
S32.针对两个相邻的点云帧，计算每个网格中所有点的正态分布参数均值q和协方矩阵E；
S33.初始化变化参数p，基于步骤S32中正态分布参数均值q和协方矩阵E算出点云帧间转换点的概率密度，得出NDT配准的得分Score；
S34.通过优化方法找到score的最大值，得到点云帧间的最优变换T和旋转矩阵R，求解出两帧之间的三轴角度差；
S35.对所有相邻的点云帧执行步骤S32-S34，得出三轴角度差序列；
S4.序列对齐模块将图像帧的三轴角度差序列、点云帧的三轴角度差序列以及序列输入模块的三轴角度差序列通过互相关方法进行序列对齐，求解各个序列的时间差，完成时间对齐；具体步骤为：
S41.根据加权算法及传感器类别选择三轴角度差的权值weight，定义三轴上的互相关值加权和数组cof_on_3_Axis；
S42.对各组三轴角度差序列，按照轴为区分，依次计算其加权互相关值并找到当前互相关值，插入互相关值数组cof_on_3_Axis中；
S43.遍历所有序列的所有元素，得到完整的互相关值数组cof_on_3_Axis；
S44.遍历cof_on_3_Axis数组，找到最大值max_cofs及其下标step，max_cofs即为三轴加权后最大互相关值，step为求出的时间偏移量；
S45.通过求解出的时间偏移量，对各传感器原始数据进行简单删减，得到时域对齐的多传感器数据组。
2.根据权利要求1一种基于互相关的多传感器数据时间对齐方法，其特征在于：所述步骤S1中图像帧的文件格式为jpg或png，点云帧的文件格式为pcd。
3.根据权利要求1一种基于互相关的多传感器数据时间对齐方法，其特征在于：所述步骤S2包括以下具体步骤：
S21.基于matlab的undistortiamge去畸变方法，纠正图像帧的畸变；
S22.利用Harris角点提取办法，使用滑动窗口检测图像帧相邻区域的灰度变化，找到超过设定阈值的区块并提取出图像帧中的Harris角点作为相机位姿变化估计参考的特征点；
S23.利用LK光流法在所有相邻帧中追踪步骤S22中找到的特征点，并估算出相机运动的位姿，得到相机传感器数据记录的整个运动过程中的所有旋转矩阵R；
S24.利用EPnP方法基于步骤S23中得到的所有旋转矩阵R的集合求解出三轴角度差序列。
4.根据权利要求1所述的一种基于互相关的多传感器数据时间对齐方法，其特征在于：所述步骤S34中的优化方法为牛顿优化法。
5.根据权利要求1所述的一种基于互相关的多传感器数据时间对齐方法，其特征在于：所述步骤S43中遍历结束的标志是所有序列的所有元素都进行了计算。
6.一种用于实现权利要求1-5任一所述方法的基于互相关的多传感器数据时间对齐系统，其特征在于：包括数据处理模块、序列输入模块、视觉帧处理模块、点云帧处理模块和序列对齐模块；
数据处理模块：对相机传感器和激光雷达传感器的数据进行格式转换分别输入视觉帧处理模块和点云帧处理模块；
序列输入模块：能够直接采集三轴角度差序列输入序列对齐模块；
视觉帧处理模块：对数据处理模块输入的模块进行计算处理得出图像的三轴角度差序列输入序列对齐模块；
点云帧处理模块：对数据处理模块输入的模块进行计算处理得出点云帧的三轴角度差序列输入序列对齐模块；
序列对齐模块：将输入的各个三轴角度差序列进行对齐处理得出时域对齐的多传感器数据组。
7.根据权利要求6所述的一种基于互相关的多传感器数据时间对齐系统，其特征在于：所述序列输入模块为能够直接将采集的数据转换为三轴角度差序列的传感器。
8.根据权利要求7所述的一种基于互相关的多传感器数据时间对齐系统，其特征在于：所述传感器包括惯性测量仪和陀螺仪。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011288134.XA CN112580683B (zh) | 2020-11-17 | 2020-11-17 | 一种基于互相关的多传感器数据时间对齐系统及其方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011288134.XA CN112580683B (zh) | 2020-11-17 | 2020-11-17 | 一种基于互相关的多传感器数据时间对齐系统及其方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112580683A CN112580683A (zh) | 2021-03-30 |
| CN112580683B true CN112580683B (zh) | 2024-01-12 |
Family
ID=75122774
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011288134.XA Active CN112580683B (zh) | 2020-11-17 | 2020-11-17 | 一种基于互相关的多传感器数据时间对齐系统及其方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112580683B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20240104754A1 (en) * | 2021-12-27 | 2024-03-28 | Rakuten Group, Inc. | Information processing system, method and program |
| CN115994934B (zh) * | 2023-03-16 | 2023-06-13 | 福思(杭州)智能科技有限公司 | 数据时间对齐方法、装置以及域控制器 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9445081B1 (en) * | 2015-09-25 | 2016-09-13 | Intel Corporation | Method and system of 3D image capture with dynamic cameras |
| CN108986037A (zh) * | 2018-05-25 | 2018-12-11 | 重庆大学 | 基于半直接法的单目视觉里程计定位方法及定位系统 |
| CN109087394A (zh) * | 2018-08-02 | 2018-12-25 | 福州大学 | 一种基于低成本rgb-d传感器的实时室内三维重建方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10122998B2 (en) * | 2015-04-30 | 2018-11-06 | Seiko Epson Corporation | Real time sensor and method for synchronizing real time sensor data streams |
| US10003786B2 (en) * | 2015-09-25 | 2018-06-19 | Intel Corporation | Method and system of 3D image capture with dynamic cameras |
-
2020
- 2020-11-17 CN CN202011288134.XA patent/CN112580683B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9445081B1 (en) * | 2015-09-25 | 2016-09-13 | Intel Corporation | Method and system of 3D image capture with dynamic cameras |
| CN108986037A (zh) * | 2018-05-25 | 2018-12-11 | 重庆大学 | 基于半直接法的单目视觉里程计定位方法及定位系统 |
| CN109087394A (zh) * | 2018-08-02 | 2018-12-25 | 福州大学 | 一种基于低成本rgb-d传感器的实时室内三维重建方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于事件相机的定位与建图算法: 综述;马艳阳 等;《自动化学报》;第47卷(第7期);第1484-1494页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112580683A (zh) | 2021-03-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Xu et al. | Review of machine-vision based methodologies for displacement measurement in civil structures | |
| JP5992184B2 (ja) | 画像データ処理装置、画像データ処理方法および画像データ処理用のプログラム | |
| CN112197770B (zh) | 一种机器人的定位方法及其定位装置 | |
| CN110617814A (zh) | 单目视觉和惯性传感器融合的远距离测距系统及方法 | |
| Chien et al. | Visual odometry driven online calibration for monocular lidar-camera systems | |
| CN110726406A (zh) | 一种改进的非线性优化单目惯导slam的方法 | |
| CN101383899A (zh) | 一种空基平台悬停视频稳像方法 | |
| CN112580683B (zh) | 一种基于互相关的多传感器数据时间对齐系统及其方法 | |
| CN113052908A (zh) | 一种基于多传感器数据融合的移动机器人位姿估计算法 | |
| CN113587934B (zh) | 一种机器人、室内定位方法、装置和可读存储介质 | |
| Qian et al. | Robust visual-lidar simultaneous localization and mapping system for UAV | |
| CN114608554B (zh) | 一种手持slam设备以及机器人即时定位与建图方法 | |
| CN115272596A (zh) | 一种面向单调无纹理大场景的多传感器融合slam方法 | |
| CN104848861A (zh) | 一种基于图像消失点识别技术的移动设备姿态测量方法 | |
| CN111998862A (zh) | 一种基于bnn的稠密双目slam方法 | |
| CN114812558B (zh) | 一种结合激光测距的单目视觉无人机自主定位方法 | |
| Li et al. | A binocular MSCKF-based visual inertial odometry system using LK optical flow | |
| Tu et al. | Multi-camera-lidar auto-calibration by joint structure-from-motion | |
| Fang et al. | A motion tracking method by combining the IMU and camera in mobile devices | |
| CN115984592A (zh) | 基于SuperPoint+SuperGlue的点线融合特征匹配方法 | |
| Liu et al. | Integrated velocity measurement algorithm based on optical flow and scale-invariant feature transform | |
| Wang et al. | Facilitating PTZ camera auto-calibration to be noise resilient with two images | |
| Zhang et al. | Registration uncertainty for robot self-localization in 3D | |
| Ng et al. | Nonlinear distortion calibration of an optical flow sensor for monocular visual odometry | |
| US20230015751A1 (en) | Real-Time Alignment of Multiple Point Clouds to Video Capture |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |