CN111169468A - 一种自动泊车的系统及方法 - Google Patents

Abstract

本发明涉及一种智能驾驶领域，具体涉及一种自动停车系统及自动停车方法。其通过待检测图像输入到所述道路图像模型中，得到道路图像的语义信息，并根据其中的语义特征进行实时地图构建及高精度定位。同时利用视觉信息及超声波进行空白车位检测，依托高精度定位技术对车辆泊车路径进行精确控制，完成泊车过程。此外，为了进一步实用定位高精度，采用在同一时刻拍摄到的多张目标图像，以得到俯视拼接图的方法。并识别俯视拼接图中的图像语义特征；基于所述图像语义特征和轮速计进行定位。该方法采用环视拼接图的直接法并融合轮速计，在保证算法鲁棒性的同时能够有效提升定位精度。

Description

一种自动泊车的系统及方法

技术领域

本发明涉及一种智能驾驶领域，具体涉及一种自动泊车辅助检测系统、自动停车、定位的系统及方法。

背景技术

随着科学技术的发展，自动驾驶、无人车等新兴概念应运而生。自动泊车系统是自动驾驶技术中一个不可或缺的部分，汽车工业界对发展自动泊车系统的兴趣也在逐渐提升。事实上，智能泊车辅助系统最早在2003年就在一些车辆上得到应用，近年来相关技术在不断发展。具体的，车辆的摄像头或者超声波等传感器可以感知车辆当前所处的环境，采用停车位检测技术对传感器获取的车辆周围环境信息进行处理，可以获取附近的空白停车位的位置信息，进而自动规划泊车路线进行停车。对这样的系统而言，怎样精准有效地检测、定位车辆附近的停车位是一个关键的问题，仍有待于进一步的研究。

现有的泊车系统，有一类是基于超声波传感器的，这类方法通常在离车位很近之后利用超声波传感器进行空车位检测及定位，然后规划路径进行泊车。此类方法，由于超声波定位的局限性，仅能处理垂直车位或水平车位，同时需要驾驶员将车辆停到车位旁，然后借助超声波进行粗略定位，从而实现泊车。

此外，还有一些基于车辆上摄像头拍摄的图像的方法，对车辆附近地面图像进行分析，从中提取停车位，来对泊车过程进行指导，这种方法依赖于停车位检测算法。对于通用的停车位检测算法，一类通常利用底层边缘及角特征，基于人工构造规则来提取车位框，其特征表达能力较弱，基于规则的方法很难延伸到多样的停车位形态；另一类方法基于目标检测技术，使用一个方框来检测、提取车位，这类方法无法处理斜向停车位，而且对停车位边界框的定位也很不精确；还有一类方法通过整合停车位分隔点和分隔线的检测信息找到停车位的位置，这类方法不能直接提供一个车位的完整结构信息且较难给出车位是否可停的信息。另外，在定位过程中发现：目前流行的基于环视图像的车辆定位技术因其定位精度高、成本低廉等优点，具有很大的应用前景。基于环视图像的定位技术主要分为两类：1)基于特征点匹配的方法；2)基于环视拼接图的直接法。方法1)的优点是定位精度高，主要的问题在于特征点的提取及特征点的匹配非常依赖应用场景，算法鲁棒性差；方法2)的优点是对场景更鲁棒，缺点是常常会得到局部最优的结果导致定位精度较低。定位存在的上述问题会导致在泊车过程的精度。

发明内容

有鉴于此，本申请提出了一种基于多源传感器融合的自动泊车辅助系统。本发明利用环视俯瞰图，使用深度学习方法对其进行语义特征提取，并根据语义特征进行实时地图构建及高精度定位。同时利用视觉信息及超声波进行空白车位检测，依托高精度定位技术对车辆泊车路径进行精确控制，完成泊车过程。

本发明的一个方面是提供了一种自动停车系统，其特征在于：所述系统包括道路图像检测模型，所述道路图像检测模型是经过道路样本图像训练的神经网络；

所述系统通过将待检测图像输入到所述道路图像模型中，得到道路图像的语义信息；

所述系统还包括地图构建模块，所述地图构建模块对所述语义信息进行跟踪，通过图像优化方法估计车辆位姿并构建地图；

所述系统还包括定位模块，所述定位模块根据当前观测的所述语义信息与地图匹配并进行定位；所述定位模块包括拼接子单元，识别子单元和定位子单元；所述拼接子单元用于拼接多个图像采集装置在同一时刻拍摄到的多张目标图像，以得到俯视拼接图；所述识别子单元用于识别所述俯视拼接图中的图像语义特征；所述定位子单元用于基于所述图像语义特征和轮速计进行定位。

优选地，所述语义信息包括车道线、车位线、障碍物。

优选地，所述神经网络是RefineNet。

优选地，所述定位模块利用不同传感器的特性采用视觉、轮速计融合的方法进行匹配定位。

优选地，所述语义信息进行跟踪具体表示为：不同时刻满足以下关系：

其中，P_i为i时刻的车辆位姿，

为i时刻的观测到的视觉特征的位置，X_j为i时刻观测数据

在地图中的位置。

本发明的另一方面，还提供了一种自动停车系统进行自动停车的方法，其特征在于所述方法包括以下步骤：

步骤S1：获取当前实时道路图像；

步骤S2：将所述当前实时道路图像输入到所述道路图像检测模型中，得到道路图像的语义信息；

步骤S3：对不同时刻的所述语义信息进行跟踪，通过图像优化方法估计车辆位姿并构建地图；

步骤S4：根据当前观测的所述语义信息与地图匹配进行定位；

步骤S5：判断车位空闲状况，规划路径自动泊车；

其中步骤S4中所述根据当前观测的所述语义信息与地图匹配进行定位具体包括以下步骤：

S401、拼接多个图像采集装置在同一时刻拍摄到的多张目标图像，以得到俯视拼接图；

S402、识别所述俯视拼接图中的图像语义特征；

S403、基于所述图像语义特征和轮速计进行定位。

优选的，所述步骤S402识别所述俯视拼接图中的图像语义特征具体包括，通过深度学习的神经网络模型识别所述图像语义特征，并且预先对所述神经网络模型进行训练。

所述训练采用交叉熵来衡量网络的预测值与实际值的差异，所述交叉熵的公式如下：

其中y为图像元素的标记值，n为图像的像素总数，x为输入，a为神经元的输出。

优选的，所述步骤S4语义信息进行跟踪具体表示为：不同时刻满足以下关系：

其中，P_i为i时刻的车辆位姿，

为i时刻的观测到的视觉特征的位置，X_j为i时刻观测数据

在地图中的位置。

优选的，在所述步骤S403中，所述定位的估计方法由以下公式定义：

p_i+1,λ_i＝argmin(||p_i*Aⁱ-p_i+1*Aⁱ⁺¹||²+||p_i+λ_iΔp_i-p_i+1||²)；

其中，P_i和P_i+1分别为i和i+1时刻的车辆位姿；λ_i为轮速计与图像之间的尺度比例系数；Aⁱ和Aⁱ⁺¹分别为i和i+1时刻图像上的语义特征；ΔP_i为从i到i+1时刻轮速计位姿增量；argmin(f(x))表示在f(x)取最小值时，自变量x的集合。

本发明的发明点在于以下几个方面，但也不限于下述的几个方面：

(1)基于深度卷积神经网络，利用预先训练好的道路图像语义信息检测模型，对车辆摄像头实时获取的道路图像进行语义分割识别，提取实时道路图像中的车道线、车位线、障碍物等信息。这里的语义分割是指从像素级别对图像进行分割并识别其内容，在语义分割中我们需要将视觉输入分为不同的语义可解释类别。语义的可解释性即分类类别在真实世界中是有意义的。例如，我们可能需要区分图像中属于汽车的所有像素，并把这些像素涂成蓝色。所述的道路图像语义信息检测模型能够以端到端的方式提取实时道路图像语义特征并进行学习，可以最大程度上发挥大数据的效用；

(2)充分利用视觉以及其他多源传感器，可以实现实时建图及高精度匹配定位以及处理任意角度的车位；现有的建图方案有利用多源传感器的，但并没有与本申请中视觉图像信息结合使用，更没有将多源传感器的信息与视觉图像语义信息相匹配使用。本发明中使用语义信息跟踪，由

得到观测数据

在地图中的位置，再由该得到的位置结合多源传感器例如轮速计等进行匹配定位。

(3)采用RefineNet神经网络，因为可以在修改其部分结构后，对其进行微调。使用RefineNet神经网络带来了极大的灵活性，能够适时的调整计算模型，以适应多种实际泊车情况下的计算。

(4)利用环视拼接图，进行语义特征提取，并根据语义特征进行实时地图构建及定位。其中通过深度学习的神经网络模型识别所述图像语义特征，对于神经网络使用了交叉熵来衡量网络的预测值与实际值的差异。

(5)在利用图像语义特征进行定位的过程中融合轮速计数据，避免获得局部最优解，从而提升建图定位的精度是本发明的发明点之一。

本发明并不是简单的将环视拼接图这一利用图像定位的方式与轮速计定位方式的简单叠加。在现有技术中存在有图像定位方法，也存在有轮速计定位方法，这两种方法如果简单的叠加，无法处理好两者的关系，即利用好两者的优点，又做到规避掉两种方式的缺点。本发明利用鱼眼相机单次采集得到的目标图像构建出的局部地图；将图像中的一些特征线如车道线、停车库位线、库位点(库位线之间的交点)、斑马线、车道箭头作为图像语义特征输入到神经网络中；最后通过该图像语义特征结合本申请所公开的独特的估算模型和公式估计不同时刻车辆的相对位姿的变化情况，在此情况下再结合轮速计的运动学模型得到定位信息。因此其并不简单的等同于两种定位方式的叠加。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的限定。在附图中：

图1为本申请实施例中一种道路图像语义信息检测模型的训练方法的流程图；

图2为对道路图像进行语义分割标注的示意图；

图3为车辆获取的环视俯瞰图及对其进行标注的示意图；

图4为本申请实施例中一种自动泊车方法的流程图；

图5为本申请实施例中构建地图与车辆定位的算法流程图。

图6为本发明实施例公开的一种基于环视图像与轮速计融合的定位方法的流程示意图；

图7是本发明实施例公开的一种由车载终端构建的停车场局部地图示例图；

图8是本发明实施例公开的另一种由车载终端构建的停车场局部地图示例图。

具体实施例

为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施方式和附图，对本发明做进一步详细说明。在此，本发明的示意性实施方式及其说明用于解释本发明，但并不作为对本发明的限定。

本申请实例提供了一种道路图像语义信息检测模型的训练方法和基于该道路图像语义信息检测模型的自动泊车方法。上述道路图像语义信息检测模型以及自动泊车方法，可以应用于终端、服务器或者二者的结合。其中，终端可以是现有的、正在研发的或将来研发的、能够通过任何形式的有线和/或无线连接(例如，Wi-Fi、LAN、蜂窝、同轴电缆等)实现与服务器交互的任何用户设备，包括但不限于：现有的、正在研发的或将来研发的智能手机、非智能手机、平板电脑、膝上型个人计算机、桌面型个人计算机、小型计算机、中型计算机、大型计算机等。本申请实施例中服务器可以是现有的、正在研发的或将来研发的、能够向用户提供信息推荐的应用服务的设备的一个实例。本申请的实施方式在此方面不受任何限制。

下面结合附图对本申请实施例的具体实现方式进行介绍。

首先，对本申请实施例中提供的一种道路图像语义信息检测模型的训练方法的具体实现方式进行介绍。

图1所示为本申请实例提供的一种道路图像语义信息检测模型的训练方法的流程图，应用于自动驾驶领域，参见图1，该方法包括：

步骤101：获取道路样本图像，所述道路样本图像标注有语义特征信息。

道路样本图像可以视为用于训练道路图像语义信息检测模型的样本图像。本申请实施例中，训练模型采用了有监督的训练方式，因而，道路样本图像中标注有语义特征信息。通过标注语义特征信息，可以加快模型训练的速率，提高模型检测的准确率。

为了解释语义特征，下面先对语义分割进行介绍。语义分割是计算机视觉中的基本任务，在语义分割中我们需要将视觉输入分为不同的语义可解释类别，“语义的可解释性”即分类类别在真实世界中是有意义的。图像理解的关键在于将一个整体场景分解成几个单独的实体，这也有助于我们推理目标的不同行为。目标检测方法可以帮助我们绘制某些确定实体的边框，但人类对场景的理解能以像素级的精细程度对每一个实体进行检测并标记精确的边界。我们已经开始发展自动驾驶汽车和智能机器人，这些都需要深入理解周围环境，因此精确分割实体变得越来越重要。例如，我们可能需要区分图像中属于汽车的所有像素，并把这些像素涂成蓝色。一个对道路图像进行语义特征标注的示例如图2所示。

在本申请实施例的一些可能的实现方式中，我们所处理的图像可以是由位于车身的前部、左侧、后部、右侧等位置的摄像头所获取到的图像进行拼合所得到的环视俯瞰图。所述的摄像头可以是特定的鱼眼相机，相机系统事先进行标定，使得四个鱼眼相机采集的图像可拼接为环视俯瞰图，而图像的中心位置为车辆所在的位置，其余位置为潜在的停车区域，如图3所示。在本申请实例的一些可能的实现方式中，可以采用语义掩码的方式对车位线、车道线、障碍物等进行标注。在本申请实施例的一些可能的实现方式也可以采用其他方式进行标注。

在本申请实施例中，可以预先建立样本库，从样本库中获取样本图像。其中，样本库可以采用公开的数据集中的图像，也可以从车辆的存储设备中获取车辆的摄像头所采集的图像，对图像中的车位区域进行标注，从而建立样本库。在有些情况下，也可以直接获取样本图像，例如，直接获取车辆的摄像头实时采集的图像，对图像的车位区域进行标注，将标注后的图像作为样本图像。

步骤102：将所述道路图像输入到预先建立的初始神经网络模型。

在获取到道路样本图像后，可以将道路样本图像输入到预先建立的初始神经网络模型，以便利用道路样本图像对初始神经网络模型进行训练。

在本申请实施例的一些可能的实现方式中，在将道路样本图像输入预先建立的初始神经网络模型之前，还可以将道路样本图像缩放至预设尺寸。如此，可以使得初始神经网络模型对同一尺寸的道路样本图像进行学习，从而能够更快速、更准确地对道路样本进行处理，提高模型的训练效率。

步骤103：利用所述样本图像训练所述神经网络模型，得到道路图像语义信息检测模型。

为了便于理解，首先对神经网络模型的概念进行简单介绍。神经网络是由大量的、简单的处理单元广泛地互相连接而形成的网络系统，它是一个高度复杂的非线性动力学习系统，具有大规模并行、分布式存储和处理、自组织、自适应和自学能力。神经网络模型即为基于神经网络建立的一种数学模型，基于神经网络模型的强大的学习能力，神经网络模型在许多领域都得到广泛的应用。

其中，在图像处理和模式识别领域，常常采用卷积神经网络模型进行模式识别。由于卷积神经网络模型中的卷积层局部连接以及权值共享的特性，使得需要训练的参数大大减少，简化了网络模型，提高了训练效率。经过近几年的快速发展，目前卷积神经网络在语义分割领域也有了一系列突破性的进展，可以实现像素级别的分割。对于图像中的多个同类物体，语义分割会将这多个物体整体的所有像素预测为同一类别。

在一个道路图像中，可能存在多种类别，如前面所述的车道线、车位线、障碍物等。通过语义分割，我们可以提取出这些不同类型的语义特征，使其具有不同的标注信息。

具体到本实施例，可以采用在语义分割领域内取得较好结果的网络作为初始神经网络模型，如RefineNet、PSPNet等，对其输出类别数量及可能需要修改的其他部位的结构做出相应的修改，利用道路样本图像，采用微调的方法，对神经网络模型进行训练。具体为初始神经网络模型中的卷积层充分学习道路样本图像中语义特征，根据学习到的道路样本图像的相关特征，初始神经网络模型中的全连接层可以对相关特征进行映射，得到不同语义的分割结果，将语义分割的识别结果与道路样本图像预先标注的语义特征进行比较，可以对初始神经网络模型的参数进行优化，当初始神经网络模型经过较多训练样本的迭代训练后，可以获得道路图像语义信息检测模型。

由上可知，本申请提供了一种道路图像语义信息检测模型的训练方法。获取道路样本图像，道路样本图像中标注有语义特征，将道路样本图像输入初始神经网络模型，利用道路样本图像以有监督学习方式对初始神经网络模型进行微调，得到道路图像语义信息检测模型。采用标注有停车位区域的道路样本图像对初始神经网络模型进行训练，大量的道路样本图像可以使得训练得到的道路图像语义信息检测模型在对停车位区域进行预测时具有较高的准确度和效率。

基于上述实施例中提供的一种道路图像语义信息检测模型的训练方法，本申请实施例中还提供了一种基于所述道路图像语义信息检测模型的道路图像语义信息检测方法。

接下来，结合附图对本申请实施例中提供的一种自动泊车方法进行详细说明。

图4为本申请实施例中提供的一种自动泊车方法的流程图，该方法应用于自动驾驶领域，参见图4，该方法包括：

步骤401：获取当前道路图像。

当前道路图像指的是车辆当前所处位置周围的图像，因为在实际中，此自动泊车方法总要在车辆准备进行停车的操作时才会被利用到，此时车辆所处位置周围应当存在停车位。

可以理解，当前道路图像可以是实时获取的道路图像。在本申请实施例的一些可能的实现方式中，可以对车辆的前视、左视、后视、右视摄像头拍摄到的图像进行去失真、拼合的操作，将得到的环视俯瞰图作为当前道路图像。在一些可能的实现方式中，也可能存在更多或更少的摄像头，或者可以通过车辆的环视摄像头拍摄车辆所在位置附近的道路图像，从而获取当前道路图像。

以上仅为获取当前道路图像的一些具体示例，本申请对当前道路图像的获取不做限定，可以根据需求采取不同的实现方式。

步骤402：将当前道路图像输入到道路图像语义信息检测模型，得到车道线、车位线、障碍物等语义特征。

所述道路图像语义信息检测模型是根据上述实施例中提供的道路图像语义信息检测模型的训练方法生成的道路图像语义信息检测模型。

将当前道路图像输入到道路图像语义信息检测模型后，道路图像语义信息检测模型可以通过对当前道路图像进行特征提取，并对提取到的特征进行映射，得到表征各语义特征区域的类别掩码图像，该类别掩码即为道路图像语义信息检测模型的输出结果，此结果是对当前道路图像进行的像素级的分割，一个区域表示一个语义类别。其中对提取到的特征进行映射，再得到表征各语义特征区域的类别掩码图像，将该类别掩码图像进行输出可以更准确的为后续进行语义类别划分提供基础，这是本发明的创新点之一。

步骤403：对不同时刻的语义信息进行跟踪，通过图优化方法估计车辆位姿并构建地图。

在步骤402中我们通过将当前道路图像输入到道路图像语义信息检测模型，得到语义特征信息。进一步地，我们可以通过将问题转化为一个优化问题，解决这个优化问题来对求解车辆当前位姿。

设P_i为i时刻的车辆位姿，

为i时刻的观测到的视觉特征的位置，X_j为i时刻观测数据

在地图中的位置。可以理解，这些数据满足以下关系：

不同时刻观测数据满足以下关系：

也就是说，一个特征点在一个地图中的位置在不同时刻应当是相同的。我们建立以下优化问题：

P_i*Aⁱ＝P_i+1*Aⁱ⁺¹

P_i+1＝argmin(||P_i*Aⁱ-P_i+1*Aⁱ⁺¹||²)

把φ＝||P_i*Aⁱ-P_i+1*Aⁱ⁺¹||²也就是实际误差的二范数作为目标函数进行求解，当前时刻的位姿作为优化变量。改变优化变量，误差平方和就会相应地变大或变小，我们可以用数值方法求它们的梯度和二阶梯度，然后用梯度下降法求最优值：

上述的两个矩阵即为雅各布矩阵与海森矩阵。因为每个视觉特征往往不可能出现在所有运动过程中，通常只出现在小部分图像里，因此上述两个矩阵是稀疏矩阵，可以用稀疏代数的方法进行求解。对所述优化问题而言，也可以采用其他方法对其进行求解，这里对求解方法不做限定。上述得到的结果也就是根据以前时刻车辆位姿估计的当前车辆位姿。

根据车辆行驶的连续性，时间邻域中不同时刻的共视观测信息提供了局部定位的可能性，而非共视信息完成了局部地图的扩展。随着时间的推移，车辆驶过的区域扩大，不同局部地图进行融合，形成全局地图。

步骤404：根据当前观测语义特征与地图匹配进行定位。

在构建完地图之后，车辆在泊车过程中只需根据当前观测到的语义信息同构建好的地图进行匹配定位，这是一个迭代的过程。车辆行驶过程中，位姿不断变化，在信息输入方面体现在观测数据的变化，从观测数据获取的语义特征可以帮助我们在地图中进行语义特征的匹配，从而完成定位。这里的语义特征属于语义信息，这里语义特征指地图中于自动驾驶相关的特殊标志图形的特征。图5所示为本算法实现定位的流程图。

在车辆定位过程中，可能遇到视觉语义信息不足的情况，为保证定位精度以及车辆轨迹的平滑性，采用视觉、轮速计融合的方案，充分利用不同传感器的特性。

步骤405：判断车位空闲状况，规划路径自动泊车。

根据以上步骤，我们建立了车辆行驶区域的全局地图，并准确定位了车辆位置。在通过视觉信息构建全局地图与精准定位的同时，对停车位区域的空闲情况进行判断。这里判断停车位空闲状况可以采用多种方法。例如，通过对道路图像语义特征进行联合分析，若停车位区域不存在障碍物，则将其判别为空闲；也可以通过超声波传感器进行障碍物检测。这里我们不对停车位空闲状况检测的方法做限定。

当车位空闲，且其位置满足停车要求时，将其识别为候选停车位。找到候选停车位后，在建立的地图中进行路径规划，并利用自动驾驶技术进行自动泊车。在泊车过程中，利用高精度定位实时动态调整路径，最终完成车辆停泊。

由上可知，本申请实施例中提供了一种自动泊车方法，通过将当前道路图像输入到预先训练的道路图像语义信息检测模型，基于道路图像语义信息检测模型的输出结果，可以确定当前道路图像中的语义特征。根据道路图像语义特征，通过建立优化问题，我们可以得到车辆当前位姿，并构建全局地图。使用多种传感器判断停车位空闲状况，获取候选停车位，利用全局地图对停车路径进行规划，最终完成自动泊车。

以上实施例，主要是以卷积神经网络模型作为神经网络模型进行训练得到道路图像语义信息检测模型，并基于该道路图像语义信息检测模型对当前道路图像中的语义特征进行检测。而随着机器学习的不断发展，卷积神经网络模型也在不断发展。具体的，基于所要训练的模型的功能以及该模型所要处理的数据，可以采用不同类型的卷积神经网络作为初始神经网络。常见的用于语义分割领域的卷积神经网络包括FCN、SegNet、RefineNet、PSPNet、DFN等。在一些可能的实现方式中，优选采用RefineNet作为初始神经网络模型，因为可以在修改其部分结构后，对其进行微调，得到道路图像语义信息检测模型。也可以采用其他神经网络或者自行设计适合的神经网络。

由此可见，本申请实施例提供了一种基于多源传感器融合的自动泊车方法。获取道路样本图像，道路样本图像中标注有停车位区域，将道路样本图像输入初始神经网络模型，利用道路样本图像以有监督学习方式对初始神经网络模型进行微调，得到道路图像语义信息检测模型。采用标注有语义特征的道路样本图像对初始神经网络模型进行训练，大量的道路样本图像可以使得训练得到的道路图像语义信息检测模型在对语义特征进行分割时具有较高的准确度和效率。通过将当前道路图像输入到预先训练的道路图像语义信息检测模型，基于道路图像语义信息检测模型的输出结果，可以确定当前道路图像中的语义特征。根据道路图像语义特征，通过建立优化问题，我们可以得到车辆当前位姿，并构建全局地图。使用多种传感器判断停车位空闲状况，获取候选停车位，利用全局地图对停车路径进行规划，最终完成自动泊车。

下面，具体的对步骤404：根据当前观测语义特征与地图匹配进行定位进行展开说明：

请参阅图6，图6是本发明实施例公开的一种根据当前观测语义特征与地图匹配进行定位的方法，在一些实施例中是基于环视图像与轮速计融合的定位方法的流程示意方法。其中，该方法应用于车载电脑、车载工业控制计算机(Industrial personal Computer，IPC)等车载终端，本发明实施例不做限定。上述的车载终端与车辆的各个传感器连接，接收并处理各个传感器采集到的数据。如图1所示，该基于环视图像与轮速计融合的定位方法可以包括以下步骤：

S401、拼接多个图像采集装置在同一时刻拍摄到的多张目标图像，以得到俯视拼接图。

在本发明实施例中，图像采集装置可以为摄像头，为了方便描述，如无特殊说明，下文中的摄像头指图像采集装置。上述的多个摄像头为分别安装在车辆前、后、左、右四个方向的摄像头，每个摄像头的取景范围至少包括该摄像头的下方地面。可选的，上述的摄像头可以为鱼眼摄像头，鱼眼摄像头的视场(Field OF View，FOV)较大，从而可以使得单个鱼眼摄像头拍摄到的目标图像中尽可能多地包括车辆的周边环境，提高观测的完整性进而提高局部地图的完整性，增加局部地图中包含的信息量。安装在上述四个方向的摄像头组成了摄像头的环视方案，使得车载终端可以一次性获取到车辆周边各个方向的环境信息，从而可以使得利用单次采集得到的目标图像构建出的局部地图包含更多的信息。此外，四路摄像头采集的图像数据存在一定的冗余，如果某一路摄像头失效，其余摄像头采集的图像数据可以作为补充，对车载终端构建局部地图和定位的影响较低。

本发明实施例中，车载终端将安装在车辆前、后、左、右四个方向的摄像头在同一时刻拍摄到的目标图像进行拼接，得到的俯视拼接图包含了以车辆为中心360度的环境信息。此外，如果用于拍摄目标图像的摄像头为上述的摄像头，车载终端在执行步骤102对多张目标图像进行拼接之前，还需要对目标图像进行反畸变处理，即按照一定的映射规则，将鱼眼摄像头拍摄到的目标图像投影到地平面上，再对投影完成得到的图像进行拼接。

S402、识别俯视拼接图中的图像语义特征。

本发明实施例中，图像语义特征可以为经过经验筛选，具有特殊含义并有助于车辆定位的语义特征。在一种可能的应用场景中，车辆位于停车场，该停车场可以为地上停车场也可以为地下车库，本发明实施例不做限定。在停车场的应用场景中，图像语义特征可以为车道线、停车库位线、库位点(库位线之间的交点)、斑马线、车道箭头等，本发明实施例不做限定。请一并参阅图7，图7为本发明实施例公开的一种由车载终端构建的停车场局部地图示例图，由图7可以看出，该局部地图由车载终端在该停车场行驶时，途经的车道线、库位线、库位点等语义特征组成，其中，带箭头虚线所示为车辆的行驶轨迹。

此外，作为一种可选的实施方式，本发明实施例中，车载终端可以通过深度学习或图像分割等图像识别算法从俯视拼接图中识别出图像语义特征。优选的，可以使用适用于深度学习的神经网络模型识别图像语义特征，并且预先采用大量标注有图像语义特征的俯视拼接样本图像对神经网络模型进行训练。所述神经网络模型如下：

该网络结构采用Encoder-Decoder模型，主要包括两个部分：编码(Encoder)部分和解码(Decoder)部分。

本发明实施例中将拼接好的图像输入至网络中，其中编码部分网络主要通过卷积和池化层提取图像的特征。网络通过有标记大规模样本的训练，调整网络参数使得编码网络准确的语义特征和非语义特征。编码网络通过两次卷积提取特征之后，通过池化进行下采样。通过级联四个两层卷积加一层池化的结构使得编码网络顶层的神经元的感受野能够覆盖本发明示例中的不同尺度的语义元素。

解码网络是与编码网络对称的结构，其中编码网络的池化层改为上采样层。在解码部分中经过四次上采样，将编码抽取的特征放大到原图尺寸，从而实现像素语义分类。上采样是通过反卷积实现的，这种操作能够得到输入数据的大部分信息，但仍会部分信息的丢失，因此我们引入了底层的特征来补充解码过程中丢失的细节。这些底层特征主要来编码网络中不同尺度的卷积层，在同一个尺度上编码网络卷积层提取的特征正好可以与反卷积合并生成更准确度的特征图。网络训练主要采用交叉熵来来衡量网络的预测值与实际值的差异，交叉熵公式如下：

其中y为图像元素的标记值，即图像的一个像素是语义元素还是非语义元素，一般用1表示语义元素，0表示非语义元素；n为图像的像素总数，x为输入，a为神经元的输出a＝σ(z),z＝∑_jw_jx_j+b，它可以克服网络权值更新过慢的问题。网络模型训练完成之后，在本发明示例实际使用时，网络针对输入图像的每一个像素都进行预测，输出每个像素对应的属性值为0或是1，标记为1的图像元素的连通块即为有意义的语义图像结构，至此实现了图像的语义分割。将车载终端拼接得到的俯视拼接图输入至上述训练好的神经网络模型，基于神经网络模型的识别结果，即可识别出俯视拼接图中的图像语义特征。相较于传统的图像分割技术，通过深度学习的方法从俯视拼接图中提取图像语义特征，可以提高图像语义特征的识别准确率。上述网络结构是针对拼接图像语义特征提取而专门设计的，保证语义特征提取的准确，属于本发明的发明点之一。此外，先对目标图像进行拼接，再从俯视拼接图中提取图像语义特征，而非逐张提取目标图像中的图像语义特征，可以提高图像语义特征的提取效率，也属于本发明的发明点之一。

S403、基于图像语义特征和轮速计进行定位。

本发明实施例中，对不同时刻的图像语义特征进行跟踪，在跟踪的过程中不断匹配图像语义特征，估计不同时刻车辆的相对位姿的变化情况。

假设P_i为i时刻的车辆位姿，P_i+1为i+1时刻的车辆位姿，X_j为全局地图中的第j个点的位置，

为X_j在i时刻图像所观测到的视觉特征的位置，那么这些数据满足以下关系：

不同时刻观测数据满足以下关系：

由此，根据以前时刻车辆位姿，求解当前位姿利用以下公式：

P_i*Aⁱ＝P_i+1*Aⁱ⁺¹ (3)

其中，

则P_i+1＝argmin(||P_i*Aⁱ-P_i+1*Aⁱ⁺¹||²) (4)

其中，argmin(f(x))表示在f(x)取最小值时，自变量x的集合。

同时，轮速计通过运动学模型得到定位信息：

其中，p_i＝(x_i,y_i,θ_i)^t为i时刻车辆位姿(包括x,y方向坐标和转角θ；Δs_r,Δs_l分别为右后车轮位移和左后车轮位移，可由轮速计脉冲获得，B为轮距；

最后将图像语义特征与轮速计融合，则定位的估计方法由以下公式定义：

p_i+1,λ_i＝argmin(||p_i*Aⁱ-p_i+1*Aⁱ⁺¹||²+||p_i+λ_iΔp_i-p_i+1||²) (6)

其中，P_i和P_i+1分别为i和i+1时刻的车辆位姿；λ_i为轮速计与图像之间的尺度比例系数；Aⁱ和Aⁱ⁺¹分别为i和i+1时刻图像上的语义特征；ΔP_i为从i到i+1时刻轮速计位姿的增量；arg min(f(x))表示在f(x)取最小值时，自变量x的集合。

由于图像与轮速计所在坐标系存在物理尺度的换算，而该换算关系通常由标定完成，但通常情况下由于标定场地的限制，该换算关系并不能满足较大场景的建图定位的要求，因此若不考虑该因素，会因累积误差导致两个不同数据源的定位结果相冲突，从而影响融合结果。为此，在融合过程中估计轮速计位姿增量的尺度，在此约束下使得图像配准达到最优。这是本发明的创新处之一。

本发明实施例中，可得每个时刻的位姿，而每张图像的语义特征构成局部地图，通过图像各自位姿可将局部地图变换到统一的全局地图。根据上一步中的描述，不同时刻观测语义信息与全局地图信息满足以下关系：

由于MAP＝(X₁,X₂,...,X_n)构成了地图的全部信息。

因此，在根据地图进行定位阶段，观察当前图像语义信息，估计合适的位姿，使得当前语义与全局地图语义匹配，具体方法类似建图中的定位方法：

p_i+1,λ_i＝argmin(||MAP-p_i+1*Aⁱ⁺¹||²+||p_i+λ_iΔp_i-p_i+1||²) (7)

其中，P_i和P_i+1分别为i和i+1时刻的车辆位姿；λ_i为轮速计与图像之间的尺度比例系数；Aⁱ⁺¹为i+1时刻图像上的语义特征；ΔP_i为从i到i+1时刻轮速计位姿的增量；arg min(f(x))表示在f(x)取最小值时，自变量x的集合。

等式右边第一项为当前语义与地图的匹配，第二项为融合轮速计信息的约束项，求解该非线性最小二乘问题即得到最优定位结果。

以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例中所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。

Claims (9)

1.一种自动停车系统，其特征在于：所述系统包括道路图像检测模型，所述道路图像检测模型是经过道路样本图像训练的神经网络；

所述系统通过将待检测图像输入到所述道路图像模型中，得到道路图像的语义信息；

所述系统还包括地图构建模块，所述地图构建模块对所述语义信息进行跟踪，通过图像优化方法估计车辆位姿并构建地图；

所述系统还包括定位模块，所述定位模块根据当前观测的所述语义信息与地图匹配并进行定位；所述定位模块包括拼接子单元，识别子单元和定位子单元；所述拼接子单元用于拼接多个图像采集装置在同一时刻拍摄到的多张目标图像，以得到俯视拼接图；所述识别子单元用于识别所述俯视拼接图中的图像语义特征；所述定位子单元用于基于所述图像语义特征和轮速计进行定位。

2.根据权利要求1所述的系统，其特征在于：所述语义信息包括车道线、车位线、障碍物。

3.根据权利要求1-2中任一项所述的系统，其特征在于：所述神经网络是RefineNet。

4.根据权利要求1-3中任一项所述的系统，其特征在于：所述定位模块利用不同传感器的特性采用视觉、轮速计融合的方法进行匹配定位。

5.根据权利要求1-4中任一项所述的系统，其特征在于：所述语义信息进行跟踪具体表示为：不同时刻满足以下关系：

其中，P_i为i时刻的车辆位姿，

为i时刻的观测到的视觉特征的位置，X_j为i时刻观测数据

在地图中的位置。

6.利用权利要求1-5任一项所述的自动停车系统进行自动停车的方法，其特征在于所述方法包括以下步骤：

步骤S1：获取当前实时道路图像；

步骤S2：将所述当前实时道路图像输入到所述道路图像检测模型中，得到道路图像的语义信息；

步骤S3：对不同时刻的所述语义信息进行跟踪，通过图像优化方法估计车辆位姿并构建地图；

步骤S4：根据当前观测的所述语义信息与地图匹配进行定位；

步骤S5：判断车位空闲状况，规划路径自动泊车；

其中步骤S4中所述根据当前观测的所述语义信息与地图匹配进行定位具体包括以下步骤：

S401、拼接多个图像采集装置在同一时刻拍摄到的多张目标图像，以得到俯视拼接图；

S402、识别所述俯视拼接图中的图像语义特征；

S403、基于所述图像语义特征和轮速计进行定位。

7.根据权利要求6所述的方法，所述步骤S402识别所述俯视拼接图中的图像语义特征具体包括，通过深度学习的神经网络模型识别所述图像语义特征，并且预先对所述神经网络模型进行训练。

所述训练采用交叉熵来衡量网络的预测值与实际值的差异，所述交叉熵的公式如下：

其中y为图像元素的标记值，n为图像的像素总数，x为输入，a为神经元的输出。

8.根据权利要求6-7中任一项所述的方法，其特征在于：所述步骤S4语义信息进行跟踪具体表示为：不同时刻满足以下关系：

其中，P_i为i时刻的车辆位姿，

为i时刻的观测到的视觉特征的位置，X_j为i时刻观测数据

在地图中的位置。

9.根据权利要求6-9中任一项所述的方法，在所述步骤S403中，所述定位的估计方法由以下公式定义：

p_i+1,λ_i＝arg min(||p_i*Aⁱ-p_i+1*Aⁱ⁺¹||²+||p_i+λ_iΔp_i-p_i+1||²)；

其中，P_i和P_i+1分别为i和i+1时刻的车辆位姿；λ_i为轮速计与图像之间的尺度比例系数；Aⁱ和Aⁱ⁺¹分别为i和i+1时刻图像上的语义特征；ΔP_i为从i到i+1时刻轮速计位姿增量；argmin(f(x))表示在f(x)取最小值时，自变量x的集合。

Images