CN114913352B - 基于联合相似度匹配的多源信息时空配准方法及系统 - Google Patents

基于联合相似度匹配的多源信息时空配准方法及系统 Download PDF

Info

Publication number
CN114913352B
CN114913352B CN202210479869.3A CN202210479869A CN114913352B CN 114913352 B CN114913352 B CN 114913352B CN 202210479869 A CN202210479869 A CN 202210479869A CN 114913352 B CN114913352 B CN 114913352B
Authority
CN
China
Prior art keywords
data
matching
time
similarity matching
registration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210479869.3A
Other languages
English (en)
Other versions
CN114913352A (zh
Inventor
俄广迅
陆由付
李研强
亓晓彬
钟志邦
张岱峰
于良杰
王勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong High Speed Construction Management Group Co ltd
Institute of Automation Shandong Academy of Sciences
Original Assignee
Shandong High Speed Construction Management Group Co ltd
Institute of Automation Shandong Academy of Sciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong High Speed Construction Management Group Co ltd, Institute of Automation Shandong Academy of Sciences filed Critical Shandong High Speed Construction Management Group Co ltd
Priority to CN202210479869.3A priority Critical patent/CN114913352B/zh
Publication of CN114913352A publication Critical patent/CN114913352A/zh
Application granted granted Critical
Publication of CN114913352B publication Critical patent/CN114913352B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本公开涉及智能网联信息处理相关技术领域，提出了基于联合相似度匹配的多源信息时空配准方法及系统，包括如下步骤：针对车路端状态数据配准过程采用相似度匹配方法进行异步时间基准对齐；采用空间基准距离补偿方法以匹配车路端多源信息数据的空间坐标，得到统一时空基准的车辆定位信息；对车路端图像数据进行特征相似度匹配，并剔除误匹配的差异点，得到统一尺度的图像特征。本公开利用一种联合相似度匹配机制从运动状态与图像特征两方面对环境定位感知信息进行时空配准，提升多源信息融合在实际自动驾驶场景下的可靠性和鲁棒性，为智能网联车辆环境感知提供一种有效的信息融合预处理方法。

Description

基于联合相似度匹配的多源信息时空配准方法及系统
技术领域
本公开涉及智能网联信息处理相关领域，具体的说，是涉及基于联合相似度匹配的多源信息时空配准方法及系统。
背景技术
本部分的陈述仅仅是提供了与本公开相关的背景技术信息，并不必然构成在先技术。
面向智能网联的自动驾驶技术在实现过程中涉及到感知层面、规划层面以及执行层面。在车辆行驶过程中，首先需要构建出当前环境地图并且进行相应的定位。在自动驾驶领域，高精准定位是一项关键技术，而高精度的时间基准、坐标系的同步和图像特征的统一是高精准定位的基础。自动驾驶汽车只有在统一了时间基准与坐标系，并且统一了图像特征后，汽车的反应才能更灵敏，对于障碍物的定位才能更加精确。此外，该过程也需要多个传感器协同工作，采用多源信息融合，将各种单一传感器信号进行整合，从而能够得到更加精确的信息。高精准定位在处理原始数据过程中涉及到各个传感器数据的精确时空同步，在融合过程中需要不同传感器数据之间保持较高的相关性与互补性。因此，对于智能网联车辆而言，不同传感器之间的多源信息时空配准是其高精度定位的重要前提。考虑到智能网联车辆所属的复杂感知环境不仅涉及运动状态的变化，也涉及依据机器视觉感知外界环境变化与障碍信息的需求，其多源信息时空配准主要涉及运动状态配准与图像特征配准两阶段过程。
发明人发现，目前在时空配准方面比较常用的方法有内插外推法和最小二乘法，这两种方法在算法处理时间间隔内采用的模型为匀速直线运动，比较适合车载传感器测量或估计得到的环境目标是恒定或者目标速度变化缓慢的情况。在实际的车辆定位与感知场景中，环境特征变化多、目标的机动性较强、运动轨迹十分复杂，采用传统配准方法误差比较大，而且大多数的配准方法都是在观测数据上直接进行配准，其多源数据融合后的状态与目标实际状态存在显著差异。
发明内容
本公开为了解决上述问题，提出了基于联合相似度匹配的多源信息时空配准方法及系统，利用一种联合相似度匹配机制从运动状态与图像特征两方面对环境定位感知信息进行时空配准，提升多源信息融合在实际自动驾驶场景下的可靠性和鲁棒性，为智能网联车辆环境感知提供一种有效的信息融合预处理方法。
为了实现上述目的，本公开采用如下技术方案：
一个或多个实施例提供了基于联合相似度匹配的多源信息时空配准方法，包括如下步骤：
针对车路端状态数据配准过程采用相似度匹配方法进行异步时间基准对齐；
采用空间基准距离补偿方法以匹配车路端多源信息数据的空间坐标，得到统一时空基准的车辆定位信息；
对车路端图像数据进行特征相似度匹配，并剔除误匹配的差异点，得到统一尺度的图像特征。
一个或多个实施例提供了基于联合相似度匹配的多源信息时空配准系统，包括：
时间基准对齐模块：被配置为用于针对车路端状态数据配准过程采用相似度匹配方法进行异步时间基准对齐；
空间坐标配准模块：被配置为用于采用空间基准距离补偿方法以匹配车路端多源信息数据的空间坐标，得到统一时空基准的车辆定位信息；
图像特征配准模块：被配置为用于对车路端图像数据进行特征相似度匹配，并剔除误匹配的差异点，得到统一尺度的图像特征。
一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成上述方法所述的步骤。
一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成上述方法所述的步骤。
与现有技术相比，本公开的有益效果为：
本公开中，对车路端运动状态数据以及图像特征信息分别进行相似度匹配，得到了统一的状态数据和图像特征，从运动状态与图像特征两方面对环境定位感知信息进行时空配准，并且采用相似性匹配算法。通过异步时基相似度匹配将时间基准同步不成功的设备分配到距离最近的基准组里，可以减小匹配后的数据差异性，显著提升多源信息融合在实际自动驾驶场景下的可靠性和鲁棒性，为智能网联车辆环境感知提供了一种有效的信息融合预处理方法。
本公开的优点以及附加方面的优点将在下面的具体实施例中进行详细说明。
附图说明
构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的限定。
图1是本公开实施例1的方法流程图。
具体实施方式
下面结合附图与实施例对本公开作进一步说明。
应该指出，以下详细说明都是示例性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。需要说明的是，在不冲突的情况下，本公开中的各个实施例及实施例中的特征可以相互组合。下面将结合附图对实施例进行详细描述。
实施例1
在一个或多个实施方式公开的技术方案中，如图1所示，基于联合相似度匹配的多源信息时空配准方法，包括如下步骤：
步骤1、针对车路端状态数据配准过程采用相似度匹配方法进行异步时间基准对齐；
步骤2、采用空间基准距离补偿方法以匹配车路端多源信息数据的空间坐标，得到统一时空基准的车辆定位信息；
步骤3、对车路端图像数据进行特征相似度匹配，并剔除误匹配的差异点，得到统一尺度的图像特征。
其中，统一尺度即为统一图像视角基准下，经过特征相似度匹配得到的是统一图像视角基准下的图像特征。
其中，多源信息包括车辆端运动状态数据、道路端运动状态数据以及图像特征信息。
本实施例中，对车路端运动状态数据以及图像特征信息分别进行相似度匹配，得到了统一的状态数据和图像特征，从运动状态与图像特征两方面对环境定位感知信息进行时空配准，并且采用相似性匹配算法，匹配后数据差异性小，能够提升多源信息融合在实际自动驾驶场景下的可靠性和鲁棒性，为智能网联车辆环境感知提供了一种有效的信息融合预处理方法。
进一步地，步骤1中，针对车路端状态数据配准过程采用相似度匹配方法进行异步时间基准对齐，包括如下步骤：
步骤A1、根据状态数据的观测值和预测值计算的残差，确定时间对齐的自适应系数，将高采样率传感器测量数据向低采样率传感器测量数据进行时间基准同步；
步骤A2、将时间基准同步后时间配准不成功的传感器，计算该传感器数据与配准成功后的时间基准组的数据的逼近程度，将时间基准更改为最近邻的基准组时基。
本实施例中，采用相似度匹配方法进行异步时间基准对齐，能够使时间基准同步过程中失败的设备，通过相似度匹配方法，分配到与其时间基准组最近的基准组里，可以减小匹配后的数据差异性，显著提升多源信息融合在实际自动驾驶场景下的可靠性和鲁棒性。
步骤A1中，进行车联网多源数据时间基准同步，具体的，可以如下：
步骤A11对车路端传感器的采样率进行判断，判断出高采样传感器和低采样传感器。
具体的，可以设定采样率阈值，采样率不小于采样率阈值的传感器为高采样传感器，采样率小于采样率阈值的传感器为低采样传感器。
步骤A12、根据状态数据的观测值和预测值计算的残差，计算时间对齐的自适应系数确定附加预测时间点的时间戳，将高采样率传感器测量数据向低采样率传感器测量数据进行时间基准同步。
在高采样率传感器数据处理中，将当前观测值与上一时刻对当前时刻的预测值代入下式计算残差ai(k)：
Figure BDA0003627330320000061
其中，ai(k)是k时刻的第i个采样值的残差，zi(k)表示其在k时刻的观测值，
Figure BDA0003627330320000062
表示其在k时刻的预测值。
结合前N-1个残差，用下式计算残差方差σ2(k)：
Figure BDA0003627330320000063
根据下式计算自适应系数α(k)和β(k)：
Figure BDA0003627330320000064
其中，r表示目标机动指数。
Figure BDA0003627330320000065
表示目标加速度传感器采样的残差方差，
Figure BDA0003627330320000066
表示加速度观测误差的残差方差，两者均采用式(2)由采样值计算得到。
按下式分别计算位置和速度传感器测量数据的估计值
Figure BDA0003627330320000071
和预测值
Figure BDA0003627330320000072
并且将不同传感器的估计值附加预测时间点的时间戳，完成时间同步：
Figure BDA0003627330320000073
其中，
Figure BDA0003627330320000074
表示k时刻的预测位置，
Figure BDA0003627330320000075
表示k时刻的预测速度，
Figure BDA0003627330320000076
表示k时刻的位置估计，
Figure BDA0003627330320000077
表示k时刻的速度估计，T为传感器的采样周期。
步骤A2、异步时基相似度匹配：将时间基准同步后时间配准不成功的传感器，计算该传感器数据与配准成功后的时间基准组的数据的逼近程度，将时间基准更改为最近邻的基准组时基；
具体的，逼近程度采用欧氏距离相似度匹配算法。时间基准同步后时间配准成功的传感器归为一个时间基准组。
在进行了时间基准同步后，若时间配准不成功，则利用如下式所示的欧氏距离相似度匹配算法，通过计算将时间匹配不成功的分配到距离最近的时间基准组里面去，进行异步时基相似度匹配。
其中，欧式距离d通过如下公式计算：
Figure BDA0003627330320000078
其中，xi,yi为第i个点的横坐标与纵坐标。利用相似度匹配算法，计算该传感器数据的时间基准与时间基准组的逼近程度，将其时间基准更改为最近邻的基准组时基，从而完成异步时基相似度匹配。
进一步地，步骤2中，采用空间基准距离补偿方法以匹配多源数据的空间坐标的方法，包括如下步骤：
本实施例中，采用空间基准距离补偿方法以匹配多源数据的空间坐标，能够较为简单地根据不同传感器放置位置将其观测值统一匹配到世界坐标系下，得到统一空间基准的多源数据空间坐标，且可以减少空间误差积累、提高数据融合精确性。
步骤B1、多源数据空间基准坐标变换：将多源数据的空间基准实测坐标系统一转换为世界坐标系；
为了将不同传感器彼此独立的结果关联起来，建立统一的环境模型，需要将这些坐标系通过一定的坐标变换达到统一。
(1)车身坐标系到世界坐标系的转换。
自动驾驶车辆通过毫米波雷达等车载传感器可以得到前向目标的相对自车坐标信息，车载传感器的原始数据是基于距离和角度的极坐标系，首先要对极坐标系进行转换。在转换完成后经过旋转和平移后得到自车坐标与世界坐标的转换，转换公式如下：
Figure BDA0003627330320000081
其中，Rz为绕Z轴旋转矩阵，{Xw,Yw,Zw}为三维世界坐标，
Figure BDA0003627330320000091
表示三维平移向量的矩阵。
(2)图像坐标系到世界坐标系关系转换。
对于自动驾驶车辆而言，其环境感知所用的相机位置是预先固定好的，将相机坐标系经过旋转以及平移就能够得到世界坐标系的对应坐标。设车辆在世界坐标系位置为{Xα,Yα,Zα}，在相机坐标系下位置为{Xb,Yb,Zb}，采用如下转换将相机坐标系下位置转换为世界坐标系下：
Figure BDA0003627330320000092
其中，
Figure BDA0003627330320000093
且{Rx,Ry,Rz}分别为绕X、Y、Z轴的旋转矩阵。
步骤B2、空间基准距离补偿：采用最小二乘法求解实测坐标系与转换后世界坐标系间的变换距离，基于获得的变换距离对转换为世界坐标系后的基准进行误差补偿。
其中，所述变换距离包括平移量和旋转量。
具体的，在进行了基准坐标转换后，构建最小二乘法目标函数，求解空间点位实测坐标系与理论坐标系间的变换矩阵，进而实现对转换的结果的基准误差补偿。
首先，分别定义
Figure BDA0003627330320000094
为空间点位的实际坐标值、
Figure BDA0003627330320000095
为空间点位的理论坐标值、n＝[nm]为空间点位的单位法向量、e＝[em]为测量误差；
其中，
Figure BDA0003627330320000096
nm＝(im,jm,km)，m表示空间点位。
将空间点位理论坐标值Pt采用下式经过三次平移三次旋转后，得到旋转后的理论坐标值
Figure BDA0003627330320000101
Figure BDA0003627330320000102
其中，{εx,εy,εz}分别为对X、Y、Z轴的旋转量，{δx,δy,δz}分别为对X、Y、Z轴的平移量。
可选的，平移旋转量{δx,δy,δz,εx,εy,εz}可用最小二乘法求解，求解的目标函数如下：
Figure BDA0003627330320000103
由此得到经过基准误差补偿的空间点位测量值
Figure BDA0003627330320000104
为：
Figure BDA0003627330320000105
通过以上步骤，实现统一自动驾驶车辆决策的时空基准。
进一步地，步骤3中，进行图像特征信息的相似性匹配，可以包括：图像数据特征点提取、信息熵计算、特征点相似度匹配和差异特征点剔除。
本实施例中，采用相似性匹配实现图像特征信息的匹配，能够有效剔除不稳定的特征点，同时在特征点的匹配阶段可以节省大量时间，具有良好的鲁棒性与优越性。进行图像特征信息的相似性匹配的方法，步骤如下：
步骤C1、对图像传感器数据进行特征点提取，得到待配准图像与设定的基准图像的特征点集。
针对获取的图像传感器数据进行特征提取，得到每个图像的特征点集；具体的，可以采用尺度不变特征转换(Scale-Invariant Feature Transform,SIFT)提取图像特征；
步骤C2、利用二维熵筛选出稳定性高的特征点；
计算信息熵并剔除不稳定特征点，包括如下过程：
步骤C21、针对使步骤C1中提取出来的特征点，通过分别计算基准图像与待匹配图像中特征点位置的二维熵，并与阈值比较，判断出不稳定的特征点并剔除，保留稳定的特征点，得到新的基准图像特征点集与待配准图像特征点集；
步骤C22、利用二维熵排除图像源不稳定特征，具体包括：利用
Figure BDA0003627330320000111
和
Figure BDA0003627330320000112
计算基准图像与待匹配图像中特征点位置的二维熵大小Q，判断其与阈值T1和T2的相对大小，若T1≤Q≤T2，则保留，否则为不稳定的特征点需要剔除。
其中(i,j)表示图像中的某一个像素点的灰度值与其邻域像素点平均灰度值组成的特征二元组，i为某点像素的灰度值，j为其邻域像素灰度的均值，fij为二元组(i,j)出现的次数，M为图像的尺度。
步骤C3、对筛选出的稳定的特征点采用欧式距离进行相似度匹配，包括以下过程：
步骤C31、针对步骤C2中得到的新的特征点集，选取基准图像特征点集中的特征点，计算这个特征点与待配准图像特征点集中各个特征点的欧氏距离，找到距离最近的点，则这两个特征点为一对匹配点，得到匹配点集；
步骤C32、在进行特征相似度匹配时，X＝(x1,x2,x3,…xm)(m≥3)为上述步骤得到的新的基准图像特征点集，xi(1≤i≤m)是X中的任意特征点；Y＝(y1,y2,y3,…yn)(n≥3)为上述步骤得到的新的待配准图像特征点集，yj(1≤j≤m)是Y中任意一特征点；利用式(7)找出基准图像与待配准图像中欧氏距离最近的点，则这两个特征点为一对匹配点。
步骤C4、对步骤C3中得到的匹配点集进行差异特征点剔除，过程包括：
步骤C41、针对特征相似度匹配后的匹配点集中的匹配点对，计算点对的距离，保留小于设定距离的点对得到匹配集S；
步骤C42、针对得到的匹配集S，采用随机抽样一致性算法进行进一步剔除误匹配对的点对，得到剔除异常数据后的匹配集S′。
具体的，本实施例中，计算所有的匹配的点对的距离，取最大的距离值Dmax，然后判断每组点对的距离是否满足di<α·Dmax，如果满足则保留，不满足则剔除，得到匹配集S。其中，α的取值可以为0.25。
经过上一步的差异特征点剔除后，将上面得到的匹配集S，进一步地，还可以使用随机抽样一致性算法(Random Sample Consensus,RANSAC)进行进一步剔除误匹配对的点对，得到剔除异常数据后的匹配集S′，匹配集S′即为统一图像特征的图像匹配集。
本实施例中，通过步骤1至步骤2，可得到统一时空基准的自车与环境目标运动状态信息，并由此输出时间基准同步后的运动状态传感器数据及匹配坐标；通过步骤3，可得到统一图像尺度的匹配特征点集，作为车辆视觉传感器数据的图像特征预处理输出结果。
实施例2
基于实施例1，本实施例提供基于联合相似度匹配的多源信息时空配准系统，包括：
时间基准对齐模块：被配置为用于针对车路端状态数据配准过程采用相似度匹配方法进行异步时间基准对齐；
空间坐标配准模块：被配置为用于采用空间基准距离补偿方法以匹配车路端多源信息数据的空间坐标，得到统一时空基准的车辆定位信息；
图像特征配准模块：被配置为用于对车路端图像数据进行特征相似度匹配，并剔除误匹配的差异点，得到统一尺度的图像特征。
此处需要说明的是，本实施例中的各个模块与实施例一中的各个步骤一一对应，其具体实施过程相同，此处不再累述。
实施例3
本实施例提供一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成实施例1的方法所述的步骤。
实施例4
本实施例提供一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成实施例1的方法所述的步骤。
以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。
上述虽然结合附图对本公开的具体实施方式进行了描述，但并非对本公开保护范围的限制，所属领域技术人员应该明白，在本公开的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本公开的保护范围以内。

Claims (8)

1.基于联合相似度匹配的多源信息时空配准方法，其特征在于，包括如下步骤：
针对车路端状态数据配准过程采用相似度匹配方法进行异步时间基准对齐；
采用空间基准距离补偿方法以匹配车路端多源信息数据的空间坐标，得到统一时空基准的车辆定位信息；
对车路端图像数据进行特征相似度匹配，并剔除误匹配的差异点，得到统一尺度的图像特征；
针对车路端状态数据配准过程采用相似度匹配方法进行异步时间基准对齐，包括如下步骤：
根据状态数据的观测值和预测值计算的残差，确定时间对齐的自适应系数，将高采样率传感器测量数据向低采样率传感器测量数据进行时间基准同步；
将时间基准同步后时间配准不成功的传感器，计算该传感器数据与配准成功后的时间基准组的数据的逼近程度，将时间基准更改为最近邻的基准组时基；
采用空间基准距离补偿方法以匹配多源数据的空间坐标的方法，包括如下步骤：
将多源数据的空间基准实测坐标系统一转换为世界坐标系；
采用最小二乘法求解实测坐标系与转换后世界坐标系间的变换距离，基于获得的变换距离对转换为世界坐标系后的基准进行误差补偿。
2.如权利要求1所述的基于联合相似度匹配的多源信息时空配准方法，其特征在于：根据状态数据的观测值和预测值计算的残差，确定时间对齐的自适应系数，将高采样率传感器测量数据向低采样率传感器测量数据进行时间基准同步的方法，包括如下步骤；
对车路端传感器的采样率进行判断，判断出高采样传感器和低采样传感器；
根据状态数据的观测值和预测值计算的残差，计算时间对齐的自适应系数确定附加预测时间点的时间戳，将高采样率传感器测量数据向低采样率传感器测量数据进行时间基准同步。
3.如权利要求1所述的基于联合相似度匹配的多源信息时空配准方法，其特征在于：进行图像特征信息的相似性匹配，包括如下步骤：
对图像传感器数据进行特征点提取，得到待配准图像与设定的基准图像的特征点集；
针对得到的特征点集，用二维熵筛选出稳定性高的特征点；
对筛选出的稳定的特征点采用欧式距离进行相似度匹配，得到匹配点集；
对相似度匹配得到的匹配点集进行差异特征点剔除，得到剔除异常数据后的匹配集。
4.如权利要求3所述的基于联合相似度匹配的多源信息时空配准方法，其特征在于：
对图像传感器数据进行特征点提取，采用尺度不变特征转换提取图像特征。
5.如权利要求3所述的基于联合相似度匹配的多源信息时空配准方法，其特征在于：对相似度匹配得到的匹配点集进行差异特征点剔除，得到剔除异常数据后的匹配集，过程包括：
针对特征相似度匹配后的匹配点集中的匹配点对，计算点对的距离，保留小于设定距离的点对得到匹配集；
针对得到的匹配集，采用随机抽样一致性算法进行进一步剔除误匹配对的点对，得到剔除异常数据后的匹配集。
6.基于联合相似度匹配的多源信息时空配准系统，其特征在于，包括：
时间基准对齐模块：被配置为用于针对车路端状态数据配准过程采用相似度匹配方法进行异步时间基准对齐；
空间坐标配准模块：被配置为用于采用空间基准距离补偿方法以匹配车路端多源信息数据的空间坐标，得到统一时空基准的车辆定位信息；
图像特征配准模块：被配置为用于对车路端图像数据进行特征相似度匹配，并剔除误匹配的差异点，得到统一尺度的图像特征；
针对车路端状态数据配准过程采用相似度匹配方法进行异步时间基准对齐，包括如下步骤：
根据状态数据的观测值和预测值计算的残差，确定时间对齐的自适应系数，将高采样率传感器测量数据向低采样率传感器测量数据进行时间基准同步；
将时间基准同步后时间配准不成功的传感器，计算该传感器数据与配准成功后的时间基准组的数据的逼近程度，将时间基准更改为最近邻的基准组时基；
采用空间基准距离补偿方法以匹配多源数据的空间坐标的方法，包括如下步骤：
将多源数据的空间基准实测坐标系统一转换为世界坐标系；
采用最小二乘法求解实测坐标系与转换后世界坐标系间的变换距离，基于获得的变换距离对转换为世界坐标系后的基准进行误差补偿。
7.一种电子设备，其特征在于，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成权利要求1-5任一项方法所述的步骤。
8.一种计算机可读存储介质，其特征在于，用于存储计算机指令，所述计算机指令被处理器执行时，完成权利要求1-5任一项方法所述的步骤。
CN202210479869.3A 2022-05-05 2022-05-05 基于联合相似度匹配的多源信息时空配准方法及系统 Active CN114913352B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210479869.3A CN114913352B (zh) 2022-05-05 2022-05-05 基于联合相似度匹配的多源信息时空配准方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210479869.3A CN114913352B (zh) 2022-05-05 2022-05-05 基于联合相似度匹配的多源信息时空配准方法及系统

Publications (2)

Publication Number Publication Date
CN114913352A CN114913352A (zh) 2022-08-16
CN114913352B true CN114913352B (zh) 2023-05-26

Family

ID=82767016

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210479869.3A Active CN114913352B (zh) 2022-05-05 2022-05-05 基于联合相似度匹配的多源信息时空配准方法及系统

Country Status (1)

Country Link
CN (1) CN114913352B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117690016B (zh) * 2023-11-07 2024-10-11 国网四川省电力公司信息通信公司 一种变电站的业务场景图像匹配方法和系统
CN117622228B (zh) * 2024-01-25 2024-04-05 交通运输部公路科学研究所 一种车内无人自动驾驶营运汽车远程操控方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202035143U (zh) * 2011-04-15 2011-11-09 西安烽火电子科技有限责任公司 一种超短波无线自组网模块
CN102636110A (zh) * 2012-03-26 2012-08-15 南京航空航天大学 飞机部件自动钻铆系统的基准检测装置及其检测方法
WO2021057742A1 (zh) * 2019-09-27 2021-04-01 Oppo广东移动通信有限公司 定位方法及装置、设备、存储介质
CN113593017A (zh) * 2021-08-02 2021-11-02 中南大学 露天矿地表三维模型构建方法、装置、设备及存储介质
CN114357019A (zh) * 2021-12-03 2022-04-15 同济大学 一种智能网联环境下路侧感知单元数据质量监测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202035143U (zh) * 2011-04-15 2011-11-09 西安烽火电子科技有限责任公司 一种超短波无线自组网模块
CN102636110A (zh) * 2012-03-26 2012-08-15 南京航空航天大学 飞机部件自动钻铆系统的基准检测装置及其检测方法
WO2021057742A1 (zh) * 2019-09-27 2021-04-01 Oppo广东移动通信有限公司 定位方法及装置、设备、存储介质
CN113593017A (zh) * 2021-08-02 2021-11-02 中南大学 露天矿地表三维模型构建方法、装置、设备及存储介质
CN114357019A (zh) * 2021-12-03 2022-04-15 同济大学 一种智能网联环境下路侧感知单元数据质量监测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Space-time evolution of Longmenshan fault coupling and moment deficit inverted by multi-source geodetic data;Yongzhi Zhang等;《Arabian Journal of Geosciences》;全文 *
跨尺度空间运动图像增强和重建研究;梁美玉;《中国博士学位论文全文数据库 (信息科技辑)》;全文 *

Also Published As

Publication number Publication date
CN114913352A (zh) 2022-08-16

Similar Documents

Publication Publication Date Title
CN114913352B (zh) 基于联合相似度匹配的多源信息时空配准方法及系统
CN110223348B (zh) 基于rgb-d相机的机器人场景自适应位姿估计方法
CN108615246B (zh) 提高视觉里程计系统鲁棒性和降低算法计算消耗的方法
CN112991391A (zh) 一种基于雷达信号和视觉融合的车辆检测与跟踪方法
CN113223045B (zh) 基于动态物体语义分割的视觉与imu传感器融合定位系统
CN113313763B (zh) 一种基于神经网络的单目相机位姿优化方法及装置
CN112862881B (zh) 基于众包多车摄像头数据的道路地图构建与融合的方法
CN110487286B (zh) 基于点特征投影与激光点云融合的机器人位姿判断方法
CN114494462A (zh) 一种基于Yolov5和改进跟踪算法的双目相机测距方法
CN111027381A (zh) 利用单目相机识别障碍物的方法、装置、设备及存储介质
CN110084830B (zh) 一种视频运动目标检测与跟踪方法
CN112419497A (zh) 基于单目视觉的特征法与直接法相融合的slam方法
CN111402331B (zh) 基于视觉词袋和激光匹配的机器人重定位方法
CN114693787B (zh) 停车库建图与定位方法、系统及车辆
CN111797684A (zh) 一种运动车辆双目视觉测距方法
CN114973195A (zh) 基于多信息融合的车辆追踪方法、装置及系统
CN111950370B (zh) 动态环境下线拓展视觉里程计方法
CN113313047A (zh) 一种基于车道结构先验的车道线检测方法及系统
CN116258744A (zh) 基于可见光、红外和激光雷达数据融合的目标跟踪方法
CN117333846A (zh) 恶劣天气下基于传感器融合和增量学习的检测方法及系统
CN117419719A (zh) 一种融合imu的三维激光雷达定位与建图方法
CN114898144B (zh) 一种基于相机和毫米波雷达数据的自动对齐方法
CN113721240B (zh) 一种目标关联方法、装置、电子设备及存储介质
CN115471526A (zh) 基于多源异构信息融合的自动驾驶目标检测与跟踪方法
CN112258391B (zh) 一种基于道路交通标线的碎片化地图拼接方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant