CN117629180A - 一种时空关联高度感知的地图匹配方法 - Google Patents

Abstract

本发明公开了一种时空关联高度感知的地图匹配方法，首先，从车辆的动态驾驶过程出发，基于车辆同步生成的图像和传感器数据，设计了多模态城市道路场景分类模型；之后，根据不同类型地图匹配算法的特点，将分类模型融合到传统的地图匹配算法中，使其能够感知不同高度的道路；最后，结合车辆的时空状态变化与地图匹配算法，筛选出最佳匹配路段。本发明解决了当前地图匹配算法对于复杂城市道路变化不敏感的问题，能够为传统地图匹配算法提供高度感知能力，有效提高了不同类型地图匹配算法在复杂城市道路中的精度，增强了传统地图匹配算法的可用性。

Description

一种时空关联高度感知的地图匹配方法

技术领域

本发明涉及地图匹配的技术领域，尤其是指一种时空关联高度感知的地图匹配方法。

背景技术

地图匹配是一种利用地图约束GNSS(全球导航卫星系统)数据，将一系列GNSS定位点与道路网络相关联的技术。GNSS传感器被广泛部署在汽车、智能手机等移动设备上，用于收集运动信息。这些设备积累了大量的轨迹数据，这些数据可以使用地图匹配技术进行预处理，将有关道路网络的语义信息分配给原始数据。广泛应用于城市交通拥堵管理、城市功能区识别、城市建设规划、城市路线规划等各个领域。

然而，随着汽车数量的迅速增加，交通基础设施得到了充分的发展，城市道路网络也随之急剧复杂化。世界各地的城市都修建了许多高架和立交道路，以缓解道路上巨大的交通压力。例如，上海有超过622公里的高架道路。因此，在二维地图中，高架道路可能与地面道路重叠。在高架道路的影响下，GNSS设备提供的位置信息的精度更低，最大误差可以在15米以上。因此，当车辆在高架和附近道路上行驶时，很难确定其轨迹。这给城市地图匹配的准确性和鲁棒性都带来了很大的问题。在复杂的城市道路场景中，传统的基于GNSS采样点和路网结构的地图匹配方法，由于对道路高差的盲目性，很容易导致误匹配。尽管目前已有一些高架道路的检测方法，主要是基于海拔或特征。然而，它们在准确性和鲁棒性方面存在一定的问题。综上，目前亟须一种能够高度感知的地图匹配方法，以解决地图匹配对高度信息的需求。

发明内容

本发明的目的在于解决当前地图匹配算法对于复杂城市道路变化不敏感的问题，提出了一种时空关联高度感知的地图匹配方法，能够为传统地图匹配算法提供高度感知能力，有效提高了不同类型地图匹配算法在复杂城市道路中的精度，增强了传统地图匹配算法的可用性。

为实现上述目的，本发明所提供的技术方案为：一种时空关联高度感知的地图匹配方法，包括以下步骤：

S1：利用车辆的定位模块采集车辆的位置数据，采集当前时刻车辆的行车记录仪的图像数据，以及部分传感器的传感器数据；并基于不同高度的城市道路场景类型，定义城市道路类型矩阵；

S2：将采集到的图像和传感器数据，输入到已完成训练的多模态城市道路场景分类模型中，最终输出当前时刻、当前位置车辆所处道路的城市道路类型矩阵，其中，该多模态城市道路场景分类模型由特征提取、视觉-传感注意力机制以及多模态特征融合三个部分组成；

S3：基于采集到的车辆位置信息、当前的地区的路网数据，以及获得的城市道路类型矩阵，寻找候选路段，筛选出符合当前车辆所处的城市道路类型候选路段；

S4：基于地图匹配算法与车辆的时空状态，在上述的候选路段中，筛选出最佳匹配路段；

S5：对获得的所有最佳匹配路段剔除重复匹配的路段，而后再进行校准操作，得到最终的地图匹配结果。

进一步，在步骤S1中，对于车辆的定位模块，指的是全球导航卫星系统，包括北斗卫星导航系统、全球定位系统、格洛纳斯卫星导航系统与伽利略卫星导航系统；对于位置数据，包括车辆的经度与纬度信息；对于部分传感器的传感器数据，包括由速度传感器获得的速度信息、陀螺仪传感器获得的俯仰角和横滚角信息，以及转向传感器获得的横向角信息。

按照不同高度的城市道路类型，将其分为四大类：高架道路、匝道、普通城市道路、室内相关道路；其中，普通城市道路包括高架辅路以及高架附近的普通道路；室内相关道路包括隧道以及室内停车场；

定义城市道路类型矩阵：

P_i,rtype＝[P_i,high P_i,ramp P_i,ordinary P_i,indoor]

式中，P_i,rtype为第i个采样点的城市道路类型矩阵；P_i,high、P_i,ramp、P_i,ordinary、P_i,indoor分别代表第i个采样点属于高架道路、匝道、普通城市道路与室内相关道路的概率。

进一步，在步骤S2中，多模态城市道路场景分类模型为经过大量数据训练过后的多模态神经网络模型，输入为图像数据和传感数据，输出为城市道路类型矩阵，具体如下：

S21：对于采集到的图像数据采用预训练的ResNet18网络进行特征提取，微调ResNet18网络的最后一个平均池化层，输出视觉特征f_v：

f_v＝ResNet_{fine tune}(Image_i)

式中，Image_i代表第i个采样点同步采集的图像数据，ResNet_{fine tune}代表微调过后的ResNet18网络；

对于采集到的传感器数据，包括速度、俯仰角、横滚角以及横向角数据，分别采用一个全连接层网络FC与Relu函数进行特征提取，输出不同的传感特征：

f_s,speed＝Relu(FC(Speed_i)

f_s,pitch＝Relu(FC(Pitch_i)

f_s,roll＝Relu(FC(Roll_i)

f_s,lateral＝Relu(FC(Lateral_i)

式中，Speed_i、Pitch_i、Roll_i、Lateral_i代表第i个采样点同步采集的速度、俯仰角、横滚角、横向角数据；f_s,speed、f_s,pitch、f_s,roll、f_s,lateral为对应速度、俯仰角、横滚角、横向角数据的传感特征，后续统一用f_s代表；

S22：应用提出的视觉-传感注意力机制为不同的传感特征分配不同的权重，该机制使用双线性函数来估计不同传感特征与视觉特征之间的相关度，权重定义如下：

ω_k∝(f_v·U_k·f_s)

式中，U_k代表不同传感特征的双线性参数矩阵；ω_k代表不同传感特征f_s与视觉特征f_v经过视觉-传感注意力机制后分配得到的不同的权重；

之后，使用加权和来融合所有传感特征，传感融合特征f_α定义如下：

式中，k为指代不同传感特征的双线性参数矩阵的下标；

S23：对于以上产生的视觉特征f_v与传感融合特征f_α，采用串联策略，拼接为最终的多模态融合特征f_c，定义如下：

f_c＝[f_v,f_α]

式中，[]为串联函数；

之后，将多模态融合特征f_c送入带有Softmax函数的全连接网络FC，获得最终的城市道路类型矩阵P_i,rtype，定义如下：

P_i,rtype＝Softmax(FC(f_c))

式中，全连接网络FC的功能是将多模态融合特征的维度转换到城市道路类型矩阵的维度。

进一步，在步骤S3中，筛选符合当前车辆所处的城市道路类型候选路段的具体步骤如下：

S31：定义采样点t_i与候选路段之间的得分函数/>定义如下：

式中，代表采样点t_i与候选路段/>之间的垂直距离；δ为车辆定位模块的定位误差；e为自然常数；/>为当前候选路段/>所属道路类型在城市道路类型矩阵中的概率；

S32：以采样点t_i的地理位置为圆心，D为半径，在路网中搜索交汇的路段，作为采样点t_i的候选路段，应用上述的得分函数分别计算对于每个采样点t_i每条候选路段/>的得分。

进一步，在步骤S4中，筛选出最佳匹配路段的步骤如下：

S41：选取一个地图匹配算法；

S42：应用步骤S3的得分函数与具体地图匹配算法的要求，对数据进行预处理；

S43：基于地图匹配算法，对最佳匹配路段进行确定；

S44：对最佳匹配路段中的匹配突变进行修正：结合车辆的时空状态变化，即车辆在普通城市道路与高架道路的切换必须经过匝道道路，将匹配过程转换为不同时空状态的变化，将车辆在普通城市道路误匹配到高架道路的路段、车辆在高架道路误匹配到的普通城市道路路段进行修正。

进一步，所述步骤S5包含以下两步：

S51：唯一操作，即剔除重复匹配的路段；

S52：校准，即将初始采样点与结束采样点垂直映射到初始匹配路段与结束匹配路段上，作为起始位置与结束位置，对于中间每两个相邻的路段，交汇的位置被视为交接点，在找出所有的交接点之后，从起始位置开始到结束位置，各路段以统一的方向连接起来，作为最终的地图匹配结果。

本发明与现有技术相比，具有如下优点与有益效果：

1、本发明利用车辆的图像数据和传感器数据，结合车辆的时空状态，克服了复杂城市道路地图匹配高度不敏感度的问题，有效提高了地图匹配算法在高架及其附近区域的匹配性。

2、本发明结合车载实时图像数据与传感器数据，设计了一个高效、高精度的多模态城市道路场景分类模型，有效判别高架道路、匝道、普通城市道路、室内相关道路，四种不同高度的城市场景道路。

3、本发明提出了视觉-传感注意力机制，可以有效实现图像与传感器信息的多模态信息的融合。

4、本发明充分利用车辆产生的有效数据，能够从一定程度上抵御天气等不良因素的影响，提高了地图匹配算法的鲁棒性。

5、本发明将提出的方法可以应用于不同的地图匹配算法中，具有一定的普适性，增强了传统地图匹配算法的可用性。

附图说明

图1为本发明方法的总体框架图。图中上半部分为具有高度感知的地图匹配算法的整体操作，下半部分为筛选最优路径的具体过程。图示具体过程如下：首先，通过已完成训练的多模态城市道路场景分类模型得到不同高度道路的区分；然后将不同类型的地图匹配算法与分类模型的结果相融合，使地图匹配算法具有高度感知能力；最后结合车辆的时空状态，对最优路段进行筛选。

图2为多模态城市道路场景分类模型的流程示意图。图中，首先将图像数据与传感器数据转换为特征向量；之后通过注意力机制，获得传感融合特征，并于视觉特征拼接组成多模态融合特征；最后通过全连接网络，输出城市道路类型矩阵。

图3为提出的语义-传感注意力机制的结构图。图中，首先将不同的传感器数据分别转化为传感特征；之后，利用语义-传感注意力机制为不同传感特征分配权重；最后，对不同的传感特征加权求和，得到传感融合特征。

图4为不同时空状态下车辆驾驶状态切换的示意图。图中，状态1的场景包括：普通城市道路和室内相关道路；状态2的场景包括：匝道；状态3的场景包括：高架道路。各种状态下的场景组合可以描绘车辆的整个动态行驶过程。

具体实施方式

下面结合具体实施例对本发明作进一步说明，但本发明的实施方式不限于此。

如图1至图4所示，本实施例公开了一种时空关联高度感知的地图匹配方法，该方法首先从车辆的动态驾驶过程出发，基于车辆同步生成的图像和传感器数据，设计了多模态城市道路场景分类模型；之后，根据不同类型地图匹配算法的特点，将分类模型融合到传统的地图匹配算法中，使其能够感知不同高度的道路；最后，结合车辆的时空状态变化与地图匹配算法，筛选出最佳匹配路段。

如图1所示，该方法具体实施包含以下步骤：

1)利用车辆的定位模块采集车辆的位置数据，采集当前时刻车辆的行车记录仪的图像数据，以及部分传感器的传感器数据。其中，对于车辆的定位模块，指的是全球导航卫星系统，包括北斗卫星导航系统、全球定位系统、格洛纳斯卫星导航系统与伽利略卫星导航系统；对于位置数据，包括车辆的经度与纬度信息；对于部分传感器的传感器数据，包括由速度传感器获得的速度信息、陀螺仪传感器获得的俯仰角和横滚角信息，以及转向传感器获得的横向角信息。

2)基于不同高度的城市道路场景类型，定义城市道路类型矩阵。按照不同高度的城市道路类型，将其分为四大类：高架道路、匝道、普通城市道路、室内相关道路。其中，普通城市道路包括高架辅路以及高架附近的普通道路；室内相关道路包括隧道以及室内停车场。

定义城市道路类型矩阵：

P_i,rtype＝[P_i,high P_i,ramp P_i,ordinary P_i,indoor]

式中，P_i,rtype为第i个采样点的城市道路类型矩阵；P_i,high、P_i,ramp、P_i,ordinary、P_i,indoor分别代表第i个采样点属于高架道路、匝道、普通城市道路与室内相关道路的概率。

3)将采集到的图像与传感器数据，输入到已完成训练的多模态城市道路场景分类模型中，获得当前时刻当前位置车辆所处道路的城市道路类型矩阵。如图2所示，多模态城市道路场景分类模型，由三部分组成：特征提取、视觉-传感注意力机制，以及多模态特征融合。具体如下：

对于采集到的图像数据采用预训练的ResNet18网络进行特征提取，微调ResNet18网络的最后一个平均池化层，输出视觉特征f_v：

f_v＝ResNet_{fine tune}(Image_i)

式中，Image_i代表第i个采样点同步采集的图像数据，ResNet_{fine tune}代表微调过后的ResNet18网络；

对于采集到的传感器数据，包括速度、俯仰角、横滚角，以及横向角数据，分别采用一个全连接层网络FC与Relu函数进行特征提取，也称之为数据嵌入，输出传感特征f_s：

f_s,speed＝Relu(FC(Speed_i)

f_s,pitch＝Relu(FC(Pitch_i)

f_s,roll＝Relu(FC(Roll_i)

f_s,lateral＝Relu(FC(Lateral_i)

式中，Speed_i、Pitch_i、Roll_i、Lateral_i代表第i个采样点同步采集的速度、俯仰角、横滚角、横向角数据；f_s,speed、f_s,pitch、f_s,roll、f_s,lateral为对应速度、俯仰角、横滚角、横向角数据的传感特征，后续统一用f_s代表；

应用提出的视觉-传感注意力机制为不同的传感特征分配不同的权重，具体过程如图3所示。该机制使用双线性函数来估计不同传感特征与视觉特征之间的相关度，权重定义如下：

ω_k∝(f_v·U_k·f_s)

式中，U_k代表不同传感特征的双线性参数矩阵；ω_k代表不同传感特征f_s与视觉特征f_v经过视觉-传感注意力机制后分配得到的不同的权重。在此例中，得到速度、俯仰角、横滚角，以及横向角传感特征的权重，即ω₁、ω₂、ω₃、ω₄。

之后，使用加权和来融合所有传感特征，传感融合特征f_α定义如下：

式中，k为指代不同传感特征的双线性参数矩阵的下标；

对于以上产生的视觉特征f_v与传感融合特征f_α，采用串联策略，拼接为最终的多模态融合特征f_c，定义如下：

f_c＝[f_v,f_α]

式中，[ ]为串联函数；

之后，将多模态融合特征f_c送入带有Softmax函数的全连接网络FC，获得最终的城市道路类型矩阵P_i,rtype。定义如下：

P_i,rtype＝Softmax(FC(f_c))

式中，全连接网络FC的功能是将多模态融合特征的维度转换到城市道路类型矩阵的维度。在此例中，城市道路类型矩阵的维度为4。

4)基于采集到的车辆位置信息、当前的地区的路网数据，以及获得的城市道路类型矩阵，寻找候选路段，筛选出符合当前车辆所处的城市道路类型候选路段。筛选符合当前车辆所处的城市道路类型候选路段的具体步骤如下：

定义采样点t_i与候选路段之间的得分函数/>定义如下：

式中，代表采样点t_i与候选路段/>之间的垂直距离；δ为车辆定位模块的定位误差；e为自然常数；/>为当前候选路段/>所属道路类型在城市道路类型矩阵中的概率。

之后，以采样点t_i的地理位置为圆心，D为半径，在路网中搜索交汇的路段，作为采样点t_i的候选路段。应用上述的得分函数分别计算对于每个采样点t_i每条候选路段/>的得分。

5)基于地图匹配算法与车辆的时空状态，在上述的候选路段中，筛选出最佳匹配路段。筛选出最佳匹配路段的步骤如下：

首先，选取一个地图匹配算法。以基于HMM的地图匹配算法为例，进行后续说明。

之后，进行数据预处理。在基于HMM的地图匹配算法中，则是计算观测概率与转移概率。

在此例中，观测概率即得分函数可由上述步骤4)中得到，为每个采样点t_i对应每条候选路段/>的得分。

转移概率的定义如下：

式中，分子表示相邻两个采样点之间的空间距离；分母表示相邻两个候选点之间的最短的路网距离。

最后，进行最佳匹配路段的确定。在基于HMM的地图匹配算法中，采用动态规划算法在道路网络中找到使观测概率和转移概率的乘积最大化的最佳路段，作为地图匹配算法的输出。

在此过程中，结合车辆的时空状态变化，更好的修正匹配路段。即，车辆在普通城市道路与高架道路的切换必须经过匝道道路，具体过程如图4所示。基于此，可以对匹配过程中的匹配突变进行修正。例如，当车辆行驶在高架道路时，传统地图匹配方法可能在高架路段的匹配过程中匹配到附近的普通城市道路，而本发明提出的方法，则将高架道路的匹配过程固定在了高架类型的道路中，因此，对于匹配过程中的匹配突变，可以进行很好地修正。

6)对获得的所有最佳匹配路段进行后处理，得到最终的地图匹配结果。后处理包含以下两步。唯一操作，即剔除重复匹配的路段；校准，即将初始采样点与结束采样点垂直映射到，初始匹配路段与结束匹配路段上，作为起始位置与结束位置。对于中间每两个相邻的路段，交汇的位置被视为交接点。在找出所有的交接点之后，从起始位置开始到结束位置，各路段以统一的方向连接起来，作为最终的地图匹配结果。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (6)

1.一种时空关联高度感知的地图匹配方法，其特征在于，包括以下步骤：

S1：利用车辆的定位模块采集车辆的位置数据，采集当前时刻车辆的行车记录仪的图像数据，以及部分传感器的传感器数据；并基于不同高度的城市道路场景类型，定义城市道路类型矩阵；

S2：将采集到的图像和传感器数据，输入到已完成训练的多模态城市道路场景分类模型中，最终输出当前时刻、当前位置车辆所处道路的城市道路类型矩阵，其中，该多模态城市道路场景分类模型由特征提取、视觉-传感注意力机制以及多模态特征融合三个部分组成；

S3：基于采集到的车辆位置信息、当前的地区的路网数据，以及获得的城市道路类型矩阵，寻找候选路段，筛选出符合当前车辆所处的城市道路类型候选路段；

S4：基于地图匹配算法与车辆的时空状态，在上述的候选路段中，筛选出最佳匹配路段；

S5：对获得的所有最佳匹配路段剔除重复匹配的路段，而后再进行校准操作，得到最终的地图匹配结果。

2.根据权利要求1所述的一种时空关联高度感知的地图匹配方法，其特征在于，在步骤S1中，对于车辆的定位模块，指的是全球导航卫星系统，包括北斗卫星导航系统、全球定位系统、格洛纳斯卫星导航系统与伽利略卫星导航系统；对于位置数据，包括车辆的经度与纬度信息；对于部分传感器的传感器数据，包括由速度传感器获得的速度信息、陀螺仪传感器获得的俯仰角和横滚角信息，以及转向传感器获得的横向角信息。

按照不同高度的城市道路类型，将其分为四大类：高架道路、匝道、普通城市道路、室内相关道路；其中，普通城市道路包括高架辅路以及高架附近的普通道路；室内相关道路包括隧道以及室内停车场；

定义城市道路类型矩阵：

P_i,rtype＝[P_i,high P_i,ramp P_i,ordinary P_i,indoor]

式中，P_i,rtype为第i个采样点的城市道路类型矩阵；P_i,high、P_i,ramp、P_i,ordinary、P_i,indoor分别代表第i个采样点属于高架道路、匝道、普通城市道路与室内相关道路的概率。

3.根据权利要求2所述的一种时空关联高度感知的地图匹配方法，其特征在于，在步骤S2中，多模态城市道路场景分类模型为经过大量数据训练过后的多模态神经网络模型，输入为图像数据和传感数据，输出为城市道路类型矩阵，具体如下：

S21：对于采集到的图像数据采用预训练的ResNet18网络进行特征提取，微调ResNet18网络的最后一个平均池化层，输出视觉特征f_v：

f_v＝ResNet_{fine tune}(Image_i)

式中，Image_i代表第i个采样点同步采集的图像数据，ResNet_{fine tune}代表微调过后的ResNet18网络；

对于采集到的传感器数据，包括速度、俯仰角、横滚角以及横向角数据，分别采用一个全连接层网络FC与Relu函数进行特征提取，输出不同的传感特征：

f_s,speed＝Relu(FC(Speed_i)

f_s,pitch＝Relu(FC(Pitch_i)

f_s,roll＝Relu(FC(Roll_i)

f_s,lateral＝Relu(FC(Lateral_i)

式中，Speed_i、Pitch_i、Roll_i、Lateral_i代表第i个采样点同步采集的速度、俯仰角、横滚角、横向角数据；f_s,speed、f_s,pitch、f_s,roll、f_s,lateral为对应速度、俯仰角、横滚角、横向角数据的传感特征，后续统一用f_s代表；

S22：应用提出的视觉-传感注意力机制为不同的传感特征分配不同的权重，该机制使用双线性函数来估计不同传感特征与视觉特征之间的相关度，权重定义如下：

ω_k∝(f_v·U_k·f_s)

式中，U_k代表不同传感特征的双线性参数矩阵；ω_k代表不同传感特征f_s与视觉特征f_v经过视觉-传感注意力机制后分配得到的不同的权重；

之后，使用加权和来融合所有传感特征，传感融合特征f_α定义如下：

式中，k为指代不同传感特征的双线性参数矩阵的下标；

S23：对于以上产生的视觉特征f_v与传感融合特征f_α，采用串联策略，拼接为最终的多模态融合特征f_c，定义如下：

f_c＝[f_v,f_α]

式中，[ ]为串联函数；

之后，将多模态融合特征f_c送入带有Softmax函数的全连接网络FC，获得最终的城市道路类型矩阵P_i,rtype，定义如下：

P_i,rtype＝Softmax(FC(f_c))

式中，全连接网络FC的功能是将多模态融合特征的维度转换到城市道路类型矩阵的维度。

4.根据权利要求3所述的一种时空关联高度感知的地图匹配方法，其特征在于，在步骤S3中，筛选符合当前车辆所处的城市道路类型候选路段的具体步骤如下：

S31：定义采样点t_i与候选路段之间的得分函数/>定义如下：

式中，代表采样点t_i与候选路段/>之间的垂直距离；δ为车辆定位模块的定位误差；e为自然常数；/>为当前候选路段/>所属道路类型在城市道路类型矩阵中的概率；

S32：以采样点t_i的地理位置为圆心，D为半径，在路网中搜索交汇的路段，作为采样点t_i的候选路段，应用上述的得分函数分别计算对于每个采样点t_i每条候选路段/>的得分。

5.根据权利要求4所述的一种时空关联高度感知的地图匹配方法，其特征在于，在步骤S4中，筛选出最佳匹配路段的步骤如下：

S41：选取一个地图匹配算法；

S42：应用步骤S3的得分函数与具体地图匹配算法的要求，对数据进行预处理；

S43：基于地图匹配算法，对最佳匹配路段进行确定；

S44：对最佳匹配路段中的匹配突变进行修正：结合车辆的时空状态变化，即车辆在普通城市道路与高架道路的切换必须经过匝道道路，将匹配过程转换为不同时空状态的变化，将车辆在普通城市道路误匹配到高架道路的路段、车辆在高架道路误匹配到的普通城市道路路段进行修正。

6.根据权利要求5所述的一种时空关联高度感知的地图匹配方法，其特征在于，所述步骤S5包含以下两步：

S51：唯一操作，即剔除重复匹配的路段；

S52：校准，即将初始采样点与结束采样点垂直映射到初始匹配路段与结束匹配路段上，作为起始位置与结束位置，对于中间每两个相邻的路段，交汇的位置被视为交接点，在找出所有的交接点之后，从起始位置开始到结束位置，各路段以统一的方向连接起来，作为最终的地图匹配结果。