CN112417926A - 车位识别方法、装置、计算机设备及可读存储介质 - Google Patents

Abstract

本发明公开了一种车位识别方法，包括：获取车载摄像头实时采集的周围环境图像；根据所述周围环境图像和事先训练的深层卷积神经网络检测周围环境中的空车位信息；当能稳定地检测到空车位时，将所述空车位设为目标车位；检测所述周围环境图像中的车位角信息，实时获取所述目标车位的车位角信息；根据所述目标车位的车位角信息和事先训练的浅层卷积神经网络对所述目标车位的车位角角点进行重定位以实时更新所述目标车位的车位角角点，直至泊车完成。本发明还公开了一种车位识别装置、一种计算机设备及一种计算机可读存储介质。采用本发明，可利用深层卷积神经网络及浅层卷积神经网络对空车位进行精确定位，准确率高、鲁棒性强、实时性好。

Description

车位识别方法、装置、计算机设备及可读存储介质

技术领域

本发明涉及智能泊车技术领域，尤其涉及一种车位识别方法、车位识别装置、计算机设备及计算机可读存储介质。

背景技术

空车位定位是自动泊车技术中的基础。目前车位定位算法中主要可分为基于超声波雷达、基于地磁传感器、基于环视图像等三种车位定位方式。其中，基于超声波雷达的车位定位算法中利用超声波雷达对周围环境(车辆、障碍物等)进行感知，但超声波雷达无法对车位线进行检测，只能够规划处可行驶或无障碍区域；基于地磁传感器的车位检测算法需要提前实现对停车区域的整体改造；基于环视图像的车位定位算法通过环视摄像头进行实时图像采集，对图像中的车位进行提取，并结合对周围环境的感知结果确定目标空车位。

如，现有技术中公开了一种基于颜色特征的停车场车位检测算法，其首先从停车场端摄像头实时采集到的车位图像中截取待测车位区域的图像信息，并对该区域进行滤波等预处理，然后提取对应区域的面积、长宽比、边缘密度、角点数目、车位方差等五个参数作为特征向量，最后利用分类器对特征向量进行分类。但是，此方案针对的是停车场端摄像头采集到的图像进行空车位的判别，具有较差的可迁移性。

又如，现有技术中公开了一种基于视觉检测的停车场车位自动识别方法，其首先通过车载环视摄像头采集到的图像进行颜色空间转换、滤波、边缘提取、二值化等图像预处理操作，然后利用生长算法对车位线区域进行分割提取，最后对检测到的车位状态进行判别。但是，此方案中车位的定位依赖于车位线(车位角)的提取，车位线的定位的误差会直接导致车位定位的误差，造成误差的累计，难以达到自动泊车对车位定位精度的要求。

因此，上述两种方案均利用了图像的颜色、边缘等图像特征进行车位相关信息的提取，这类方法比较容易受到背景环境复杂度变化、光照条件变化、天气状况变化等因素的干扰，容易造成车位定位出现较大的误差或出现车位定位失败，精确较低、鲁棒性较差。

发明内容

本发明所要解决的技术问题在于，提供一种车位识别方法、车位识别装置、计算机设备及计算机可读存储介质，可利用深层卷积神经网络及浅层卷积神经网络对空车位进行精确定位，准确率高、鲁棒性强、实时性好。

为了解决上述技术问题，本发明提供了一种车位识别方法，包括：获取车载摄像头实时采集的周围环境图像；根据所述周围环境图像和事先训练的深层卷积神经网络检测周围环境中的空车位信息；当能稳定地检测到空车位时，将所述空车位设为目标车位；检测所述周围环境图像中的车位角信息，实时获取所述目标车位的车位角信息；根据所述目标车位的车位角信息和事先训练的浅层卷积神经网络对所述目标车位的车位角角点进行重定位以实时更新所述目标车位的车位角角点，直至泊车完成。

作为上述方案的改进，所述根据周围环境图像和事先训练的深层卷积神经网络检测周围环境中的空车位信息之前，还包括：对所述周围环境图像进行归一化处理，生成归一化后的周围环境图像。

作为上述方案的改进，所述根据周围环境图像和事先训练的深层卷积神经网络检测周围环境中的空车位信息的步骤包括：将所述周围环境图像输入事先训练的深层卷积神经网络，获得定位结果及定位结果的置信度，所述定位结果包括空车位定位结果及车位角定位结果；将所述置信度大于预设置信度阈值的定位结果从图像坐标系映射至世界坐标系；根据所述世界坐标系中连续多帧的定位结果确定空车位信息。

作为上述方案的改进，所述根据所述世界坐标系中连续多帧的定位结果确定空车位信息的步骤包括：在世界坐标系中，当待测区域内检测到至少M个空车位定位结果及N个车位角定位结果，且所述空车位定位结果之间的平均交并比大于预设交并比阈值时，则所述待测区域为空车位。

作为上述方案的改进，所述根据目标车位的车位角信息和事先训练的浅层卷积神经网络对目标车位的车位角角点进行重定位以实时更新目标车位的车位角角点的步骤包括：实时将所述目标车位的车位角信息输入浅层卷积神经网络，获得目标车位的车位角角点定位结果；将连续多帧的车位角角点定位结果从图像坐标系映射至世界坐标系；在世界坐标系中，在目标车位的每个车位角角点区域分别生成由多个预测点组成的历史角点预测点点集；采用欧氏距离公式计算所述历史角点预测点点集中各预测点之间的距离，并提取多个相互间平均距离最小的预测点作为有效点，从剩余预测点中提取多个预测点作为异常点，将所述有效点与异常点组合成新的历史角点预测点点集；计算所述有效点的中心坐标，并将所述中心坐标作为目标车位的车位角角点坐标；实时从浅层卷积神经网络中获取目标车位新的车位角角点定位结果，将所述新的车位角角点定位结果加入到新的历史角点预测点点集中，重新迭代计算有效点和异常点以实时更新目标车位的车位角角点坐标，直至泊车完成。

作为上述方案的改进，所述停车场空车位定位方法还包括：所述车载摄像头采集周围环境图像前，对车载摄像头进行标定处理；对用于训练深层卷积神经网络及浅层卷积神经网络的周围环境图像样本进行标注处理。

作为上述方案的改进，所述对用于训练深层卷积神经网络及浅层卷积神经网络的周围环境图像样本进行标注处理的步骤包括：将周围环境图像样本中的车位角标注为(X₁,Y₁,W₁,H₁)，其中，X₁为构成车位角的两条直线的重叠部分的最小外接矩形的中心点横坐标，Y₁为构成车位角的两条直线的重叠部分的最小外接矩形的中心点纵坐标，若车位角为“T”型车位角或“L”型车位角，则W₁为构成车位角的两条直线的重叠部分的最小外接矩形的宽度，H₁为构成车位角的两条直线的重叠部分的最小外接矩形的高度，否则W₁为构成车位角的两条直线的重叠部分的最小外接矩形的宽度的P倍，H₁为构成车位角的两条直线的重叠部分的最小外接矩形的高度的P倍；将周围环境图像样本中的车位角角点标注为(X_C,Y_C)，其中，X_C为构成车位角的两条直线的重叠部分的中心点横坐标，Y_C为构成车位角的两条直线的重叠部分的中心点纵坐标；将周围环境图像样本中的空车位标注为(X₂,Y₂,W₂,H₂)，其中，X₂为空车位的四个车位角角点所构成四边形的最小外接矩形的中心点横坐标，Y₂为空车位的四个车位角角点所构成四边形的最小外接矩形的中心点纵坐标，W₂为空车位的四个车位角角点所构成四边形的最小外接矩形的宽度，H₂为空车位的四个车位角角点所构成四边形的最小外接矩形的高度。

作为上述方案的改进，所述深层卷积神经网络的网络架构模型为经剪枝处理后的YOLO-v3模型。

作为上述方案的改进，所述浅层卷积神经网络采用3层共享卷积层进行特征提取，采用3层全连接层进行车位角角点横坐标回归预测，并采用3层全连接层进行车位角角点纵坐标回归预测；所述目标车位的车位角信息输入浅层卷积神经网络，经3层共享卷积层进行特征提取后，分别输入3层全连接层进行车位角角点横坐标回归预测及车位角角点纵坐标回归预测。

相应地，本发明还提供了一种车位识别装置，包括：获取模块，用于获取车载摄像头实时采集的周围环境图像；深层决策模块，用于根据所述周围环境图像和事先训练的深层卷积神经网络检测周围环境中的空车位信息，并当能稳定地检测到空车位时，将所述空车位设为目标车位；浅层跟踪模块，用于检测所述周围环境图像中的车位角信息，实时获取所述目标车位的车位角信息，并根据所述目标车位的车位角信息和事先训练的浅层卷积神经网络对所述目标车位的车位角角点进行重定位以实时更新所述目标车位的车位角角点，直至泊车完成。

相应地，本发明还提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行上述停车场空车位定位方法的步骤。

相应地，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现停车场空车位定位方法的步骤。

实施本发明，具有如下有益效果：

本发明不需要对车载摄像头实时采集的周围环境图像进行畸变矫正、拼接等处理，避免了对周围环境图像进行实时畸变矫正所带来的延时以及精度上的误差累计。

本发明在泊车目标空车位的检测阶段，利用深层卷积神经网络直接对周围环境图像中的空车位进行实时的提取，可保证目标车位的高效定位。

本发明在车辆泊入阶段，利用浅层卷积神经网络对目标车位的车位角角点的定位结果进行重定位，提高了目标车位定位的精度，准确率高、鲁棒性强、实时性好。

附图说明

图1是本发明本发明车位识别方法的第一实施例流程图；

图2是本发明中根据周围环境图像和事先训练的深层卷积神经网络检测周围环境中的空车位信息的步骤流程图；

图3是本发明中根据目标车位的车位角信息和事先训练的浅层卷积神经网络对目标车位的车位角角点进行重定位以实时更新目标车位的车位角角点的步骤流程图；

图4是本发明本发明车位识别方法的第二实施例流程图；

图5是本发明本发明车位识别装置的结构示意图；

图6是本发明中“T”型车位角、“L”型车位角的示意图；

图7是本发明中空车位的示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述。

参见图1，图1是本发明车位识别方法的第一实施例流程图，其包括：

S101，获取车载摄像头实时采集的周围环境图像。

所述周围环境图像包括车身左侧图像、车身右侧图像及车身后侧图像，但不以此为限制。

需要说明的是，所述周围环境图像一般为鱼眼图像，所述鱼眼图像是从车身左侧、右侧、后侧三路广角鱼眼视频流中提取的。与现有技术不同的是，本发明并不需要对采集到的鱼眼图像进行畸变矫正、拼接等处理，后续目标车位的定位将均基于鱼眼图像进行处理。

S102，根据所述周围环境图像和事先训练的深层卷积神经网络检测周围环境中的空车位信息。

本发明直接将车载摄像头采集的周围环境图像输入至深层卷积神经网络中进行实时空车位定位。

S103，当能稳定地检测到空车位时，将所述空车位设为目标车位。

当能够稳定的检测到空车位时，更新空车位定位结果，并设定为泊车的目标车位。至此将确定后期车辆泊入的目标车位，目标车位的选定将直接影响车辆泊入的成功率。

综上，步骤S101～S103通过多路摄像头对车身周围环境进行实时的感知，确定了泊车的目标车位，从而便于下一步中车位角的精确定位及跟踪范围的缩小。

S104，检测所述周围环境图像中的车位角信息，实时获取所述目标车位的车位角信息。

检测当前各路周围环境图像中所有的车位角信息，并筛选出目标车位对应的四个车位角进行实时跟踪。其中，步骤S102中只对车位角进行了初步的提取，会出现一定程度的偏差，而车位角角点的偏差将直接导致定位目标车位的姿态的偏移或旋转，所以对目标车位的车位角角点的实时修正是必要的。随着车与目标车位之间的距离变小，在步骤S105中将利用多个车载摄像头对同一个车位角角点从不同角度的成像对车位角角点定位结果进行矫正。

S105，根据所述目标车位的车位角信息和事先训练的浅层卷积神经网络对目标车位的车位角角点进行重定位以实时更新目标车位的车位角角点，直至泊车完成。

本发明利用浅层卷积神经网络对目标车位的车位角角点的定位结果进行实时的矫正更新，在保证算法实时性的基础上提高了目标车位定位的精度。

综上，步骤S104～S105用于对定位到的目标车位的车位角进行实时跟踪和对车位角角点预测结果进行实时的矫正；同时，步骤S105中增加了历史多帧定位结果对当前定位结果更新的约束，防止定位结果偶然的跳变对车位角角点定位结果产生影响。

如图2所示，所述根据周围环境图像和事先训练的深层卷积神经网络检测周围环境图像中的空车位信息的步骤包括：

S201，将所述周围环境图像输入事先训练的深层卷积神经网络，获得定位结果及定位结果的置信度，所述定位结果包括空车位定位结果及车位角定位结果。

S202，将所述置信度大于预设置信度阈值的定位结果从图像坐标系映射至世界坐标系。所述置信度优选为0.8，但不以此为限制。

S203，根据所述世界坐标系中连续多帧的定位结果确定空车位信息。

具体地，所述根据世界坐标系中连续多帧的定位结果确定空车位信息的步骤包括：在世界坐标系中，当待测区域内检测到至少M个空车位定位结果及N个车位角定位结果，且所述空车位定位结果之间的平均交并比大于预设交并比阈值时，则所述待测区域为空车位。其中，M＝置信度×K，K为连续映射至世界坐标系中的定位结果的帧数；N为正整数，优选为2；预设交并比阈值优选为0.6，但不以此为限制。

也就是说，本发明需根据连续K帧的定位结果进行综合分析，当连续K帧的定位结果满足以下全部条件(条件1及条件2)时，确定待测区域为可用的空车位：

条件1：在世界坐标系下，某一待测区域内出现M个及以上空车位定位结果，且所述空车位定位结果之间平均交并比大于预设交并比阈值。

条件2：以车位角所在区域的最小外接矩形的中心点代替车位角作为研究对象，当在条件1中区域内检测到不少于2个车位角定位结果时，确定该待测区域存在可用的空车位。

需要说明的是，帧数K、预设交并比阈值的设定主要依据车载摄像头的视野范围和分辨率确定。

因此，本发明直接将车载摄像头采集的周围环境图像输入到深层卷积神经网络中进行实时空车位与车位角的定位，并提出结合多帧定位识别结果提出目标空车位的定位策略。

如图3所示，根据目标车位的车位角信息和事先训练的浅层卷积神经网络对目标车位的车位角角点进行重定位以实时更新目标车位的车位角角点的步骤包括：

S301，实时将所述目标车位的车位角信息输入浅层卷积神经网络，获得目标车位的车位角角点定位结果。

S302，将连续多帧的车位角角点定位结果从图像坐标系映射至世界坐标系。

本发明利用事先训练的浅层卷积神经网络对实时跟踪的目标车位的车位角角点进行重定位，并将连续多帧的车位角角点定位结果统一从图像坐标系映射到世界坐标系。

S303，在世界坐标系中，在目标车位的每个车位角角点区域分别生成由多个预测点组成的历史角点预测点点集。

在世界坐标系下，会在目标车位的四个车位角所在区域附近对应形成4个历史角点预测点点集，每一历史角点预测点点集均由多个预测点组成。

S304，采用欧氏距离公式计算所述历史角点预测点点集中各预测点之间的距离，并提取多个相互间平均距离最小的预测点作为有效点，从剩余预测点中提取多个预测点作为异常点，将所述有效点与异常点组合成新的历史角点预测点点集。

步骤S304中，将每个历史角点预测点点集中的预测点分为异常点和有效点两类。具体地，采用欧氏距离来度量预测点与预测点之间的距离，从历史角点预测点点集中迭代出多个(优选为5个)相互间平均距离最小的预测点作为有效点，并从剩余预测点中选取最新的多个(优选为5个)预测点作为异常点，有效点与异常点即可构成新的历史角点预测点点集。

S305，计算所述有效点的中心坐标，并将所述中心坐标作为目标车位的车位角角点坐标。

优选地，计算5个有效点的中心坐标，并把中心坐标作为目标车位的车位角角点坐标。

S306，实时从浅层卷积神经网络中获取目标车位新的车位角角点定位结果，将所述新的车位角角点定位结果加入到新的历史角点预测点点集中，重新迭代计算有效点和异常点以实时更新目标车位的车位角角点坐标，直至泊车完成。

需要说明的是，当从浅层卷积神经网络中获取到目标车位新的预测值(即车位角角点定位结果)时，加入到步骤S304的新的历史角点预测点点集中，重新迭代计算有效点和异常点，并对车位角角点定位结果进行实时更新，直至泊车任务完成。

因此，本发明利用浅层卷积神经网络对目标车位的车位角角点的定位结果进行实时的矫正更新，在保证算法实时性的基础上提高了目标车位定位的精度。经测试，本发明中车位角角点定位的平均误差为2cm，单个车位角角点定位的平均时间为10ms，定位准确性高、效率高。

由上可知，本发明将车载摄像头采集到的周围环境图像输入到深层卷积神经网络中进行空车位定位；结合多帧定位结果对车身周围环境进行实时监控，将能够稳定的检测到空车位作为车辆泊入的目标车位；对车载摄像头视野范围内的车位角进行定位，筛选出目标车位对应的四个角点，对四个角点进行跟踪；将不同车载摄像头跟踪到的目标车位的车位角信息输入浅层卷积神经网络中进行车位角角点坐标的预测，结合历史多帧预测结果对四个车位角角点坐标进行实时的更新，直至车辆成功泊入目标车位并退出自动泊车模式为止。

参见图4，图4是本发明车位识别方法的第二实施例流程图，其包括：

S401，对车载摄像头进行标定处理。

需要说明的是，车载摄像头的标定是图像坐标系与世界坐标系之间转换的基础，标定的误差直接导致定位结果映射到世界坐标系的误差。在自动泊车过程中，需要标定车载摄像头的内部参数和外部参数以用于目标车位定位结果从图像坐标系到世界坐标系的转化，且位于车身各侧的车载摄像头安装高度、角度存在差异，所以需要分别对各路车载摄像头进行内部参数和外部参数的标定。

但是，在本发明中并不需要利用车载摄像头的内部参数和外部参数对采集的周围环境图像进行畸变矫正以及全景图像的拼接，目标定位与跟踪均基于各路实时采集的周围环境图像原图。

S402，对用于训练深层卷积神经网络及浅层卷积神经网络的周围环境图像样本进行标注处理。

周围环境图像样本主要用于深层卷积神经网络及浅层卷积神经网络的训练，本发明中的周围环境图像为车载摄像头采集的周围环境图像。本发明中需要对各路周围环境图像中的车位角、车位角角点、空车位进行标注，其中，车位角分为“T”型车位角、“L”型车位角、其它车位角3类。由于本发明中的研究对象为未经畸变矫正处理的周围环境图像，所以标注过程中，选取标注目标的最小外接矩形作为标注的依据。

具体地，所述对用于训练深层卷积神经网络及浅层卷积神经网络的周围环境图像样本进行标注处理的方法包括：

(1)将周围环境图像样本中的车位角标注为(X₁,Y₁,W₁,H₁)。若车位角为“T”型车位角或“L”型车位角，则X₁为构成车位角的两条直线的重叠部分的最小外接矩形的中心点a横坐标，Y₁为构成车位角的两条直线的重叠部分的最小外接矩形的中心点a纵坐标，W₁为构成车位角的两条直线的重叠部分的最小外接矩形的宽度，H₁为构成车位角的两条直线的重叠部分的最小外接矩形的高度；否则(若车位角为非“T”型车位角或非“L”型车位角)，X₁为构成车位角的两条直线的重叠部分的最小外接矩形的中心点横坐标，Y₁为构成车位角的两条直线的重叠部分的最小外接矩形的中心点纵坐标，W₁为构成车位角的两条直线的重叠部分的最小外接矩形的宽度的P倍，H₁为构成车位角的两条直线的重叠部分的最小外接矩形的高度的P倍，其中，P的取值优选为3，但不以此为限制。具体地，图6中的c部为“T”型车位角，b部位“L”型车位角。

(2)将周围环境图像样本中的车位角角点标注为(X_C,Y_C)，其中，X_C为构成车位角的两条直线的重叠部分的中心点横坐标，Y_C为构成车位角的两条直线的重叠部分的中心点纵坐标。具体地，图6中的点a即为车位角角点。

(3)将周围环境图像样本中的空车位标注为(X₂,Y₂,W₂,H₂)，其中，X₂为空车位的四个车位角角点所构成四边形的最小外接矩形的中心点横坐标，Y₂为空车位的四个车位角角点所构成四边形的最小外接矩形的中心点纵坐标，W₂为空车位的四个车位角角点所构成四边形的最小外接矩形的宽度，H₂为空车位的四个车位角角点所构成四边形的最小外接矩形的高度。具体地，图7中的框d即为空车位。

需要说的是，若车位角、车位角角点或空车位所对应的预标注区域超出周围环境图像的原始尺寸，则选取周围环境图像原始尺寸与预标注区域的重叠部分作为最终的标注区域。

S403，深层卷积神经网络及浅层卷积神经网络的设计与训练。

深层卷积神经网络及浅层卷积神经网络的训练依赖于步骤S402中周围环境图像样本的标注，网络的训练依赖于大量的样本，可利用叠加噪声、镜像等方式对数据集进行扩充。

所述深层卷积神经网络的网络架构模型为经剪枝处理后的YOLO-v3模型，模型大小压缩为原始YOLO-v3模型的25％。在深层卷积神经网络的训练过程中只需设置车位角和空车位两类标签，其中，“T”型车位角、“L”型车位角等车位角类型统归于车位角标签。深层卷积神经网络的输入为各路车载摄像头实时采集的周围环境图像，输出为定位出的车位角所在区域的最小外接矩形的位置、空车位的车位角角点所构成四边形的最小外接矩形的位置、以及各个输出位置对应的置信度。

所述浅层卷积神经网络采用3层共享卷积层进行特征提取，采用3层全连接层进行车位角角点横坐标回归预测，并采用3层全连接层进行车位角角点纵坐标回归预测。所述浅层卷积神经网络用于车位角角点重定位，其采用6层的网络结构。具体地，将目标车位的车位角信息输入浅层卷积神经网络后经过3层共享卷积层进行特征提取，然后经过2个分别包含3层全连接层的分支网络进行车位角角点横坐标、纵坐标的回归预测。

S404，获取车载摄像头实时采集的周围环境图像。所述周围环境图像包括车身左侧图像、车身右侧图像及车身后侧图像。

S405，对所述周围环境图像进行归一化处理，生成归一化后的周围环境图像。

S406，根据所述周围环境图像和事先训练的深层卷积神经网络检测周围环境中的空车位信息。

S407，当能稳定地检测到空车位时，将所述空车位设为目标车位。

S408，检测所述周围环境图像中的车位角信息，实时获取所述目标车位的车位角信息。

S409，根据所述目标车位的车位角信息和事先训练的浅层卷积神经网络对目标车位的车位角角点进行重定位以实时更新目标车位的车位角角点，直至泊车完成。

由上可知，本发明在泊车目标空车位的检测阶段，利用深层卷积神经网络直接对周围环境图像中的车位角、空车位进行实时的提取，避免了对周围环境图像进行实时畸变矫正所带来的延时以及精度上的误差累计，并结合多路多帧的空车位定位结果在保证高效定位目标车位的基础上有效的避免了误检测对车辆泊入造成的影响；同时，本发明在车辆泊入阶段，利用浅层卷积神经网络对目标车位的车位角角点的定位结果进行实时的矫正更新，在保证算法实时性的基础上提高了目标车位定位的精度。经过大量样本测试，本专利方案准确率高、鲁棒性强、实时性好。

参见图5，图5显示了本发明车位识别装置100的具体结构，其包括：

获取模块1，用于获取车载摄像头实时采集的周围环境图像。所述周围环境图像包括车身左侧图像、车身右侧图像及车身后侧图像，但不以此为限制。

进一步，可对所述周围环境图像进行归一化处理，生成归一化后的周围环境图像后，再进行后续处理。

深层决策模块2，用于根据所述周围环境图像和事先训练的深层卷积神经网络检测周围环境中的空车位信息，并当能稳定地检测到空车位时，将所述空车位设为目标车位。

浅层跟踪模块3，用于检测所述周围环境图像中的车位角信息，实时获取所述目标车位的车位角信息，并根据所述目标车位的车位角信息和事先训练的浅层卷积神经网络对所述目标车位的车位角角点进行重定位以实时更新所述目标车位的车位角角点，直至泊车完成。

需要说明的是，深层决策模块2只对车位角进行了初步的提取，会出现一定程度的偏差，而车位角角点的偏差将直接导致定位目标车位的姿态的偏移或旋转，所以对目标车位的车位角角点的实时修正是必要的。随着车与目标车位之间的距离变小，在浅层跟踪模块3将利用多个车载摄像头对同一个车位角角点从不同角度的成像对车位角角点定位结果进行矫正。

下面分别对深层决策模块及浅层跟踪模块做进一步的详细描述：

(一)深层决策模块

在泊车目标空车位的检测阶段，深层决策模块将周围环境图像输入事先训练的深层卷积神经网络，获得定位结果及定位结果的置信度，所述定位结果包括空车位定位结果及车位角定位结果；然后，将所述置信度大于预设置信度阈值的定位结果从图像坐标系映射至世界坐标系；最后，根据所述世界坐标系中连续多帧的定位结果确定空车位信息。

具体地，所述根据世界坐标系中连续多帧的定位结果确定空车位信息的步骤包括：在世界坐标系中，当待测区域内检测到至少M个空车位定位结果及N个车位角定位结果，且所述空车位定位结果之间的平均交并比大于预设交并比阈值时，则所述待测区域为空车位。其中，M＝置信度×K，K为连续映射至世界坐标系中的定位结果的帧数；N为正整数，优选为2；预设交并比阈值优选为0.6，但不以此为限制。

因此，本发明直接将车载摄像头采集的周围环境图像输入到深层卷积神经网络中进行实时空车位与车位角的定位，并提出结合多帧定位识别结果提出目标空车位的定位策略。

(二)浅层跟踪模块

在车辆泊入阶段，浅层跟踪模块实时将所述目标车位的车位角信息输入浅层卷积神经网络，获得目标车位的车位角角点定位结果；然后，将连续多帧的车位角角点定位结果从图像坐标系映射至世界坐标系；在世界坐标系中，在目标车位的每个车位角角点区域分别生成由多个预测点组成的历史角点预测点点集；采用欧氏距离公式计算所述历史角点预测点点集中各预测点之间的距离，并提取多个相互间平均距离最小的预测点作为有效点，从剩余预测点中提取多个预测点作为异常点，将所述有效点与异常点组合成新的历史角点预测点点集；计算所述有效点的中心坐标，并将所述中心坐标作为目标车位的车位角角点坐标；同时，实时从浅层卷积神经网络中获取目标车位新的车位角角点定位结果，将所述新的车位角角点定位结果加入到新的历史角点预测点点集中，重新迭代计算有效点和异常点以实时更新目标车位的车位角角点坐标，直至泊车完成。

因此，本发明利用浅层卷积神经网络对目标车位的车位角角点的定位结果进行实时的矫正更新，在保证算法实时性的基础上提高了目标车位定位的精度。经测试，本发明中车位角角点定位的平均误差为2cm，单个车位角角点定位的平均时间为10ms，定位准确性高、效率高。

另外，泊车前，需对车载摄像头进行标定处理、对用于训练深层卷积神经网络及浅层卷积神经网络的周围环境图像样本进行标注处理、并对深层卷积神经网络及浅层卷积神经网络进行设计与训练。

需要说明的是，周围环境图像样本主要用于深层卷积神经网络及浅层卷积神经网络的训练，本发明中的周围环境图像优选为车载摄像头采集的广角鱼眼图像。本发明中需要对各路周围环境图像中的车位角、车位角角点、空车位进行标注，其中，车位角分为“T”型车位角、“L”型车位角、其它型车位角3类。由于本发明中的研究对象为未经畸变矫正处理的周围环境图像，所以标注过程中，选取标注目标的最小外接矩形作为标注的依据。具体地，所述对用于训练深层卷积神经网络及浅层卷积神经网络的周围环境图像样本进行标注处理的方法包括：

(1)将周围环境图像样本中的车位角标注为(X₁,Y₁,W₁,H₁)。若车位角为“T”型车位角或“L”型车位角，则X₁为构成车位角的两条直线的重叠部分的最小外接矩形的中心点横坐标，Y₁为构成车位角的两条直线的重叠部分的最小外接矩形的中心点纵坐标，W₁为构成车位角的两条直线的重叠部分的最小外接矩形的宽度，H₁为构成车位角的两条直线的重叠部分的最小外接矩形的高度；否则(若车位角为非“T”型车位角或非“L”型车位角)，X₁为构成车位角的两条直线的重叠部分的最小外接矩形的中心点横坐标，Y₁为构成车位角的两条直线的重叠部分的最小外接矩形的中心点纵坐标，W₁为构成车位角的两条直线的重叠部分的最小外接矩形的宽度的P倍，H₁为构成车位角的两条直线的重叠部分的最小外接矩形的高度的P倍，其中，P的取值优选为3，但不以此为限制。

(2)将周围环境图像样本中的车位角角点标注为(X_C,Y_C)，其中，X_C为构成车位角的两条直线的重叠部分的中心点横坐标，Y_C为构成车位角的两条直线的重叠部分的中心点纵坐标。

(3)将周围环境图像样本中的空车位标注为(X₂,Y₂,W₂,H₂)，其中，X₂为空车位的四个车位角角点所构成四边形的最小外接矩形的中心点横坐标，Y₂为空车位的四个车位角角点所构成四边形的最小外接矩形的中心点纵坐标，W₂为空车位的四个车位角角点所构成四边形的最小外接矩形的宽度，H₂为空车位的四个车位角角点所构成四边形的最小外接矩形的高度。

需要说的是，若车位角、车位角角点或空车位所对应的预标注区域超出周围环境图像的原始尺寸，则选取周围环境图像原始尺寸与预标注区域的重叠部分作为最终的标注区域。

本发明中，所述深层卷积神经网络的网络架构模型为经剪枝处理后的YOLO-v3模型，模型大小压缩为原始YOLO-v3模型的25％。在深层卷积神经网络的训练过程中只需设置车位角和空车位两类标签，其中，“T”型车位角、“L”型车位角等车位角类型统归于车位角标签。深层卷积神经网络的输入为各路车载摄像头实时采集的周围环境图像，输出为定位出的车位角所在区域的最小外接矩形的位置、空车位的车位角角点所构成四边形的最小外接矩形的位置、以及各个输出位置对应的置信度。

所述浅层卷积神经网络采用3层共享卷积层进行特征提取，采用3层全连接层进行车位角角点横坐标回归预测，并采用3层全连接层进行车位角角点纵坐标回归预测。所述浅层卷积神经网络用于车位角角点重定位，其采用6层的网络结构。具体地，将目标车位的车位角信息输入浅层卷积神经网络后经过3层共享的卷积层进行特征提取，然后经过2个分别包含3层全连接层的分支网络进行车位角角点横坐标、纵坐标的回归预测。

由上可知，本发明在泊车目标空车位的检测阶段，利用深层卷积神经网络直接对周围环境图像中的车位角、空车位进行实时的提取，避免了对周围环境图像进行实时畸变矫正所带来的延时以及精度上的误差累计，并结合多路多帧的空车位定位结果在保证高效定位目标车位的基础上有效的避免了误检测对车辆泊入造成的影响；同时，本发明在车辆泊入阶段，利用浅层卷积神经网络对目标车位的车位角角点的定位结果进行实时的矫正更新，在保证算法实时性的基础上提高了目标车位定位的精度。经过大量样本测试，本专利方案准确率高、鲁棒性强、实时性好。

相应地，本发明还提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述停车场空车位定位方法的步骤。同时，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述停车场空车位定位方法的步骤。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (12)

1.一种车位识别方法，其特征在于，包括：

获取车载摄像头实时采集的周围环境图像；

根据所述周围环境图像和事先训练的深层卷积神经网络检测周围环境中的空车位信息；

当能稳定地检测到空车位时，将所述空车位设为目标车位；

检测所述周围环境图像中的车位角信息，实时获取所述目标车位的车位角信息；

根据所述目标车位的车位角信息和事先训练的浅层卷积神经网络对所述目标车位的车位角角点进行重定位以实时更新所述目标车位的车位角角点，直至泊车完成。

2.如权利要求1所述的车位识别方法，其特征在于，所述根据周围环境图像和事先训练的深层卷积神经网络检测周围环境中的空车位信息之前，还包括：对所述周围环境图像进行归一化处理，生成归一化后的周围环境图像。

3.如权利要求1所述的车位识别方法，其特征在于，所述根据周围环境图像和事先训练的深层卷积神经网络检测周围环境中的空车位信息的步骤包括：

将所述周围环境图像输入事先训练的深层卷积神经网络，获得定位结果及定位结果的置信度，所述定位结果包括空车位定位结果及车位角定位结果；

将所述置信度大于预设置信度阈值的定位结果从图像坐标系映射至世界坐标系；

根据所述世界坐标系中连续多帧的定位结果确定空车位信息。

4.如权利要求3所述的车位识别方法，其特征在于，所述根据所述世界坐标系中连续多帧的定位结果确定空车位信息的步骤包括：在世界坐标系中，当待测区域内检测到至少M个空车位定位结果及N个车位角定位结果，且所述空车位定位结果之间的平均交并比大于预设交并比阈值时，则所述待测区域为空车位。

5.如权利要求1所述的车位识别方法，其特征在于，所述根据目标车位的车位角信息和事先训练的浅层卷积神经网络对目标车位的车位角角点进行重定位以实时更新目标车位的车位角角点的步骤包括：

实时将所述目标车位的车位角信息输入浅层卷积神经网络，获得目标车位的车位角角点定位结果；

将连续多帧的车位角角点定位结果从图像坐标系映射至世界坐标系；

在世界坐标系中，在目标车位的每个车位角角点区域分别生成由多个预测点组成的历史角点预测点点集；

采用欧氏距离公式计算所述历史角点预测点点集中各预测点之间的距离，并提取多个相互间平均距离最小的预测点作为有效点，从剩余预测点中提取多个预测点作为异常点，将所述有效点与异常点组合成新的历史角点预测点点集；

计算所述有效点的中心坐标，并将所述中心坐标作为目标车位的车位角角点坐标；

实时从浅层卷积神经网络中获取目标车位新的车位角角点定位结果，将所述新的车位角角点定位结果加入到新的历史角点预测点点集中，重新迭代计算有效点和异常点以实时更新目标车位的车位角角点坐标，直至泊车完成。

6.如权利要求1所述的车位识别方法，其特征在于，所述停车场空车位定位方法还包括：

所述车载摄像头采集周围环境图像前，对车载摄像头进行标定处理；

对用于训练深层卷积神经网络及浅层卷积神经网络的周围环境图像样本进行标注处理。

7.如权利要求6所述的车位识别方法，其特征在于，所述对用于训练深层卷积神经网络及浅层卷积神经网络的周围环境图像样本进行标注处理的步骤包括：

将周围环境图像样本中的车位角标注为(X₁,Y₁,W₁,H₁)，其中，X₁为构成车位角的两条直线的重叠部分的最小外接矩形的中心点横坐标，Y₁为构成车位角的两条直线的重叠部分的最小外接矩形的中心点纵坐标，若车位角为“T”型车位角或“L”型车位角，则W₁为构成车位角的两条直线的重叠部分的最小外接矩形的宽度，H₁为构成车位角的两条直线的重叠部分的最小外接矩形的高度，否则W₁为构成车位角的两条直线的重叠部分的最小外接矩形的宽度的P倍，H₁为构成车位角的两条直线的重叠部分的最小外接矩形的高度的P倍；

将周围环境图像样本中的车位角角点标注为(X_C,Y_C)，其中，X_C为构成车位角的两条直线的重叠部分的中心点横坐标，Y_C为构成车位角的两条直线的重叠部分的中心点纵坐标；

将周围环境图像样本中的空车位标注为(X₂,Y₂,W₂,H₂)，其中，X₂为空车位的四个车位角角点所构成四边形的最小外接矩形的中心点横坐标，Y₂为空车位的四个车位角角点所构成四边形的最小外接矩形的中心点纵坐标，W₂为空车位的四个车位角角点所构成四边形的最小外接矩形的宽度，H₂为空车位的四个车位角角点所构成四边形的最小外接矩形的高度。

8.如权利要求1所述的车位识别方法，其特征在于，所述深层卷积神经网络的网络架构模型为经剪枝处理后的YOLO-v3模型。

9.如权利要求1所述的车位识别方法，其特征在于，所述浅层卷积神经网络采用3层共享卷积层进行特征提取，采用3层全连接层进行车位角角点横坐标回归预测，并采用3层全连接层进行车位角角点纵坐标回归预测；

所述目标车位的车位角信息输入浅层卷积神经网络，经3层共享卷积层进行特征提取后，分别输入3层全连接层进行车位角角点横坐标回归预测及车位角角点纵坐标回归预测。

10.一种车位识别装置，其特征在于，包括：

获取模块，用于获取车载摄像头实时采集的周围环境图像；

深层决策模块，用于根据所述周围环境图像和事先训练的深层卷积神经网络检测周围环境中的空车位信息，并当能稳定地检测到空车位时，将所述空车位设为目标车位；

浅层跟踪模块，用于检测所述周围环境图像中的车位角信息，实时获取所述目标车位的车位角信息，并根据所述目标车位的车位角信息和事先训练的浅层卷积神经网络对所述目标车位的车位角角点进行重定位以实时更新所述目标车位的车位角角点，直至泊车完成。

11.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述的方法的步骤。

12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法的步骤。

Images