CN114332814A - 一种停车框识别方法、装置、电子设备及存储介质 - Google Patents

Abstract

本发明涉及自动驾驶技术领域，尤其涉及一种停车框识别方法、装置、电子设备及存储介质，该方法应用于车辆，车辆设置至少两个相机，该方法首先获取至少两个相机分别采集到的原图像，其次将每一原图像进行去畸变处理后拼接，得到非畸变图像，然后对非畸变图像中的停车框边线和停车框角点进行分类识别，以获得非畸变图像中停车框边线分类结果和停车框角点分类结果，再是对停车框边线分类结果和停车框角点分类结果进行停车框角点匹配，以获得非畸变图像中停车框的参数，最后根据停车框的参数，计算获得目标停车框图像。因此，该停车框识别方法通过识别停车框边线和停车框角点获取更精确的目标停车框图像，并且该方法的鲁棒性更强，漏检率较低。

Description

一种停车框识别方法、装置、电子设备及存储介质

技术领域

本发明涉及自动驾驶技术领域，特别是涉及一种停车框识别方法、装置、电子设备及存储介质。

背景技术

近年来，随着社会的发展，汽车的普及程度不断提高，而环视泊车辅助系统是辅助驾驶系统重要的组成部分。在环视泊车辅助系统中，停车框的智能检测是重要的步骤。

目前的环视泊车停车框检测技术中，通常由车身四周的相机获取图像，通过视角转换拼接出鸟瞰视角的视图，随后对图像采用阈值化、边缘检测等传统算法或是深度学习算法，获得视图中的停车框像素位置，最后通过霍夫变换、模板匹配等后处理算法得到停车框的图形参数(长、宽、朝向角、中心位置)。在目前的环视泊车停车框检测技术中，对于获取停车框像素位置的部分的阈值化、边缘检测等传统算法通常易受关照、噪点、停车框类型等变量影响，从而鲁棒性和准确率不佳，并存在较高的漏检率。

发明内容

本发明实施例旨在提供一种停车框识别方法、装置、电子设备及存储介质，以解决现有技术获取的停车框像图像的鲁棒性和准确率不佳的问题。

为解决上述技术问题，本发明实施方式采用的一个技术方案是：提供一种停车框识别方法，应用于车辆，其中，所述车辆设置至少两个相机，，所述方法包括：

获取所述至少两个相机分别采集到的原图像；

将每一所述原图像进行去畸变处理后拼接，得到非畸变图像；

对所述非畸变图像中的停车框边线和停车框角点进行分类识别，以获得所述非畸变图像中停车框边线分类结果和停车框角点分类结果；

对所述停车框边线分类结果和所述停车框角点分类结果进行停车框角点匹配，以获得所述非畸变图像中停车框的参数；

根据所述停车框的参数，计算获得目标停车框图像。

在一些实施例中，所述对所述非畸变图像中的停车框边线和停车框角点进行分类识别，以获得所述非畸变图像中停车框边线分类结果和停车框角点分类结果，包括：

对所述非畸变图像进行卷积处理，以获得不同层次的图像特征；

通过短残差连接的方式融合所述不同层次的图像特征，以获得高维特征图；

对所述高维特征图进行上采样，以使所述高维特征图的图像尺寸与所述非畸变图像的图像尺寸相同，以得到尺寸变化后的所述高维特征图中停车框边线的预测结果和停车框角点的预测结果；

基于所述停车框边线的预测结果和停车框角点的预测结果，获取所述停车框边线分类结果和所述停车框角点分类结果。

在一些实施例中，所述对所述非畸变图像中的停车框边线和停车框角点进行分类识别，以获得所述非畸变图像中停车框边线分类结果和停车框角点分类结果的步骤由预设的算法模型执行；

所述方法还包括获取预设的算法模型，所述获取预设的算法模型包括：

获取训练样本，所述训练样本包括批量非畸变图像数据；

根据预设标签对所述批量非畸变图像数据进行标注，以获得标注后的训练样本，所述预设标签包括停车框边线位置、停车框角点类别及停车框角点位置；

将所述标注后的训练样本输入所述预设的算法模型中，以输出所述训练样本的停车框边线分类结果和停车框角点分类结果，所述停车框边线分类结果包括停车框边线位置，所述停车框角分类结果包括停车框角点类别和停车框角点位置；

根据分类损失函数约束所述分类结果与所述预设标签的关系，以使所述预设的算法模型输出的所述分类结果与所述预设标签逼近；

将输出的分类结果最逼近于所述预设标签的分类的算法模型作为所述预设的算法模型。

在一些实施例中，所述对所述停车框边线分类结果和停车框角点分类结果进行停车框角点匹配，以获得所述非畸变图像中停车框的参数，包括：

对所述非畸变图像中的停车框边线和停车框角点进行处理，获得停车框角点图像；

遍历所述停车框角点图像的所述停车框角点，获取所述停车框角点的属性；

根据所述停车框角点的属性，对所述停车框角点进行匹配，获得停车框角点的匹配关系；

根据所述停车框角点的匹配关系，获得所述非畸变图像中所述停车框的参数。

在一些实施例中，所述对所述非畸变图像中的停车框边线和停车框角点进行处理，获得停车框角点图像，包括：

对所述非畸变图像中的所述停车框边线和所述停车框角点进行掩膜和细化，获得停车框掩膜图像；

根据所述停车框角点分类结果，对所述停车框掩膜图像进行分割，获得子掩膜图像；

对所述子掩膜图像进行连通域分析，确定所述子掩膜图像中所述停车框角点的位置坐标；

根据所述停车框角点的位置坐标和预设剪裁尺寸，将所述子掩膜图片进行剪裁，以获得所述停车框角点图像。

在一些实施例中，所述遍历所述停车框角点图像的所述停车框角点，获取所述停车框角点的属性，包括：

根据所述停车框角点图像和所述停车框角点图像中停车框角点的类别，获取遍历策略；

根据所述遍历策略，遍历所述停车框角点图像的所述停车框角点，获取所述停车框角点的属性。

在一些实施例中，所述根据所述停车框角点的属性，对所述停车框角点进行匹配，获得停车框角点的匹配关系，包括：

根据所述停车框角点的类别，获取角点匹配策略；

根据所述角点匹配策略和所述停车框角点的属性，对所述停车框角点进行匹配，获得第一匹配结果；

根据所述第一匹配结果，对所述第一匹配结果中的两停车框角点进行角度判断，当所述两停车框角点满足预设条件时，确定所述第一匹配结果中的所述两停车框角点匹配，即所述两停车框角点的匹配关系；

重复上述步骤，以获得所有停车框角点的匹配关系。

为解决上述技术问题，本发明实施方式采用又一个技术方案是：提供一种停车框识别装置，应用于车辆，其中，所述车辆设置至少两个相机，所述装置包括：

获取模块，用于获取所述至少两个相机分别采集到的原图像；

去畸变模块，用于将各原图像中的每一所述原图像进行去畸变处理后拼接，得到非畸变图像；

分类识别模块，用于对所述非畸变图像中的停车框边线和停车框角点进行分类识别，以获得所述非畸变图像中停车框边线分类结果和停车框角点分类结果；

角点匹配模块，用于对所述停车框边线分类结果和所述停车框角点分类结果进行停车框角点匹配，以获得所述非畸变图像中停车框的参数；

计算模块，根据所述停车框的参数，计算获得目标停车框图像。

为解决上述技术问题，本发明实施方式采用又一个技术方案是：提供一种电子设备，所述电子设备包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上所述的方法。

为解决上述技术问题，本发明实施方式采用又一个技术方案是：提供一种非易失性计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，当所述计算机可执行指令被电子设备执行时，使所述电子设备执行如上所述的方法。

区别于现有技术，本发明实施例提供的停车框识别方法、装置、电子设备及存储介质，通过获取至少两个相机分别采集到的原图像，将每一原图像进行去畸变处理后拼接，得到非畸变图像；对非畸变图像中的停车框边线和停车框角点进行分类识别，以获得非畸变图像中停车框边线分类结果和停车框角点分类结果；对停车框边线分类结果和停车框角点分类结果进行停车框角点匹配，以获得非畸变图像中停车框的参数；根据停车框的参数，计算获得目标停车框图像。该停车框识别方法、装置、电子设备及存储介质通过识别停车框边线和停车框角点获取更精确的目标停车框图像，停车框识别的鲁棒性更强，漏检率较低。

附图说明

一个或多个实施例通过与之对应的附图进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。

图1是本发明实施例提供的一种停车框识别方法的流程示意图；

图2是本发明实施例提供的获得非畸变图像中停车框边线分类结果和停车框角点分类结果的方法的流程示意图；

图3是本发明另一实施例提供的一种停车框识别方法的流程示意图；

图4是本发明实施例提供的获取预设的算法模型的方法的流程示意图；

图5是本发明实施例提供的获得非畸变图像中停车框的参数的方法的流程示意图；

图6是本发明实施例提供的获得停车框角点图像的方法的流程示意图；

图7是本发明实施例提供的获取停车框角点的属性的方法的流程示意图；

图8是本发明实施例提供的获得停车框角点的匹配关系的方法的流程示意图；

图9是本发明实施例中提供的停车框角点i和停车框角点k的位置示意图；

图10是本发明实施例提供的i点对和k点对的向量示意图；

图11是本发明实施例提供的停车框掩膜图像；

图12是本发明实施例提供的目标停车框图像；

图13是本发明实施例提供的一种停车框识别装置的结构示意图；

图14是本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

需要说明的是，如果不冲突，本发明实施例中的各个特征可以相互组合，均在本发明的保护范围之内。另外，虽然在装置示意图中进行了功能模块的划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于装置示意图中的模块划分，或流程图中的顺序执行所示出或描述的步骤。

除非另有定义，本说明书所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。在本发明的说明书中所使用的术语只是为了描述具体的实施方式的目的，不是用于限制本发明。本说明书所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。

本发明实施例提供的停车框识别方法和装置，主要采用语义分割的方法，通过像素级识别，识别出停车框边线和停车框角点以获取更精确的目标停车框图像，并且该方法的鲁棒性更强，漏检率较低。在车辆的定位丢失、定位不准确或没有地图信息的情况下，车辆也能通过实现停车框识别，从而提高泊车的成功率与普适性。

请参阅图1，图1是本发明实施例提供的一种人脸色素斑识别方法的流程图。该停车框识别方法应用于车辆，其中，该车辆设置至少两个相机，该方法包括：

S1、获取至少两个相机分别采集到的原图像。

在本实施例中，该相机可以为鱼眼相机，可以在车辆的车头和车尾各设置一个鱼眼相机，也可以在车辆的车头、车尾及左右后视镜设置共四个鱼眼相机。该原图像为鱼眼相机拍摄的图像，并且该原图像中包括停车框区域，该停车框区域指的是由停车框覆盖的图像区域，该停车框可以是商场地下停车场、路面停车场等停车场中的停车框。

S3、将每一原图像进行去畸变处理后拼接，得到非畸变图像。

该非畸变图像为一张以车辆为中心的完整的鸟瞰图像。

具体的，首先将每一原图像进行去畸变处理，并通过透视变换将去畸变后的图像转换为鸟瞰图像，然后以车辆为中心，拼接每一鸟瞰图像，获取非畸变图像。

在一些实施例中，车辆的周围设置有至少两个棋盘格，该至少两个棋盘格分别与至少两个相机对应，该通过透视变换将去畸变后的图像转换为鸟瞰图像包括：测量棋盘格和与棋盘格对应的相机的相对位置，根据相对位置，确定鸟瞰图像中像素与实际距离的比例，计算棋盘格顶点在鸟瞰图像中的像素坐标，获取去畸变后的图像中棋盘格的顶点坐标，根据透视变换原理，获取投影矩阵，根据去畸变后的图像中的坐标数据和投影矩阵，获取鸟瞰图像。

将每一原图像进行去畸变处理并通过透视变换将去畸变后的图像转换为鸟瞰图像后，根据相机在车体上安装的相对位置，将全部鸟瞰图像拼接为一张以车辆为中心的完整的鸟瞰图像，该完整的鸟瞰图即为非畸变图像。

S5、对非畸变图像中的停车框边线和停车框角点进行分类识别，以获得非畸变图像中停车框边线分类结果和停车框角点分类结果。

在本实施例中，可以实现对图像进行像素级的分类，也即是每个像素点都进行分类。

请参阅图2，图2是本发明实施例提供的获得非畸变图像中停车框边线分类结果和停车框角点分类结果的方法的流程示意图。具体的，对非畸变图像中的停车框边线和停车框角点进行分类识别，以获得非畸变图像中停车框边线分类结果和停车框角点分类结果，包括：

S51、对非畸变图像进行卷积处理，以获得不同层次的图像特征。

其中，对非畸变图像进行卷积处理前可以先确定卷积核和步长，卷积核的每个单元内有权重。根据步长在非畸变图像上移动卷积核，比如步长为1，表示卷积核每次向右移动一个像素。在卷积核移动的过程中将图片上的像素和卷积核的对应权重相乘，最后将所有乘积相加，从而得到一个输出。其中，非畸变图像用矩阵表示，非畸变图像的每一个像素点构成矩阵。不同层的卷积核可以相同也可以不同。通过上述卷积核与图像矩阵的运算操作可以提取图像的部分特征，比如颜色特征。为了得到更高层次的特征，可以基于当前输出的图像特征继续进行卷积处理，在卷积处理过程中，上一层的输出是下一层的输入，经过多次运算后，最后得到更深层次的图像特征(比如语义特征)，该更深层次的图像特征融合了前面的低层次的图像特征。

S52、通过短残差连接的方式融合不同层次的图像特征，以获得高维特征图。

经过上述多次卷积操作后，图像的分辨率越来越低，为了从低分辨率的图像中恢复到原图大小，以便对原图上每一个像素点进行分类预测，需要对图像进行反卷积操作。为了提升反卷积操作结果的精度，在执行反卷积操作之前，先通过短残差连接的方式融合不同层次的图像特征，以获得高维特征图。比如，将上述S51最后输出的高层次特征图与前面任意一个卷积层进行卷积处理，通常是将高层次的卷积层与低层次的卷积层进行卷积处理，具体的，将高层次的卷积层对应的矩阵与低层次的卷积层对应的矩阵进行乘法运算，得到高维特征图。高维特征图的特征更加丰富，有利于上采样恢复特征的丰富性。其中，虽然上述S51最后得到的图像特征也融合了图像的多个特征，然而在卷积处理过程中，噪声是一步一步去除的，即在经过每一层后，噪声都会有所减少，但是图像的细节也会大量减少，因此通过短残差连接的方式以恢复图像的细节。需要说明的是，执行短残差连接时，所获得的不同层次的图像特征可以与前述任何一个卷积层执行短残差连接。

S53、对高维特征图进行上采样，以使高维特征图的图像尺寸与非畸变图像的图像尺寸相同，以得到尺寸变化后的高维特征图中停车框边线的预测结果和停车框角点的预测结果。

其中，上采样的目的是将低分辨率特征图还原高分辨率，使高维特征图恢复到与输入的非畸变图像相同的尺寸，并且能够保留原始输入的非畸变图像中的空间信息。上采样的结果是图像中每个像素点都得到若干个预测结果，每个像素点的预测结果的个数与图像的通道数相同，也即是总共的类别数。每个像素点的预测结果具体包括类别信息和像素点属于类别的概率。

其中，分为两支对停车框边线和停车框角点进行识别。一支对停车框边线进行识别，另一支对停车框角点进行识别。

对停车框边线进行预测时，类别信息包括背景和停车框边线。像素点属于类别的概率，比如该像素点属于背景的概率和该像素点属于停车框边线的概率。

对停车框角点进行预测时，类别信息包括背景、T型角点、L型角点及I型角点。像素点属于类别的概率，比如该像素点属于背景的概率、该像素点属于T型角点的概率、该像素点属于L型角点的概率及该像素点属于I型角点的概率。T型角点表示形状类似T的停车框角点，通常为两个停车框的连接部分，L型角点表示单一停车框的角点，I型角点表示图像中由于光照等原因出现的停车框孤立线段的端点。

其中，每一像素点的预测结果包括像素点属于该类别的概率，总共有多少类别，就对应有几个概率值，比如，总的类别数为3类，那么每一像素点的预测结果包括像素点属于第一类别的概率，属于第二类别的概率，以及属于第三类别的概率。概率值越大，则表示像素点越可能属于该类别；概率值越小，则表示像素点越不可能属于该类别。

S54、基于停车框边线的预测结果和停车框角点的预测结果，获取停车框边线分类结果和停车框角点分类结果。

通过上述方式，算法输出的结果为每一像素点的类别。非畸变图像中停车框边线和停车框角点的是由像素点组成的，因此，将属于相同类别的像素点进行聚合处理，以实现停车框边线和停车框角点的分类。

本实施例中，在网络解码部分，网络设计为结构相同的两分支，其中一分支将最终输出的像素点类别数设定为两类，即背景与停车框边线。停车框边线以多边形形式标注，标注类别分为背景与停车框边线，背景的图像灰度设置为0，停车框边线的图像灰度设置为1。

另一分支将最终输出的像素点类别数设定为四类，即而停车框角点点以圆形式标注，标注类别分别为背景、T型角点、L型角点及I型角点，背景的图像灰度设置为0，T型角点的图像灰度设置为1，L型角点的图像灰度设置为1，I型角点的图像灰度设置为1。

现有技术中只具有单分支用于分类，仅仅将停车框边线作为语义分割网络的二分类结果输出是不够的，这一分割结果也与停车框的长宽、位置等属性无法建立对应关系。本方案中提出额外设计网络分支用于停车框角点分割，避免了额外设计整体网络，在保证运行速度的情况下完成了分割任务，能够准确的识别出停车框角点和停车框边线。

S7、对所述停车框边线分类结果和所述停车框角点分类结果进行停车框角点匹配，以获得所述非畸变图像中停车框的参数。

识别了停车框角点和停车框边线后，将非畸变图像中的不同的停车框角点进行匹配，确定停车框角点的匹配关系，通过该匹配关系获取停车框的参数。

S9、根据所述停车框的参数，计算获得目标停车框图像。

该停车框的参数包括：停车框的中心点坐标、停车框的长度、停车框的宽度及停车框的朝向角等。

本发明实施例提供的停车框识别方法和装置，主要采用语义分割的方法，通过像素级识别，识别出停车框边线和停车框角点以获取更精确的目标停车框图像，并且该方法的鲁棒性更强，漏检率较低。在车辆的定位丢失、定位不准确或没有地图信息的情况下，车辆也能通过实现停车框识别，从而提高泊车的成功率与普适性。

请参阅图3，图3是本发明另一实施例提供的一种停车框识别方法的流程示意图。在一些实施例中，上述步骤S5是由预设的算法模型执行的，具体地，如图3所示，方法包括：

S2、获取至少两个相机分别采集到的原图像。

S4、将每一原图像进行去畸变处理后拼接，得到非畸变图像。

S6、获取预设的算法模型。

在一些实施例中，设计基于LiteSeg网络的轻量级语义分割网络，网络分为编码和解码部分，其中编码部分首先采用MobileNet网络结构作为主干网络提取特征，随后使用DASPP(Dense Atrous Spatial Pyramid Pooling，空间空洞卷级)获取不同空间尺度的特征，经过短残差连接结合DASPP的输入与输出，作为编码器输出。解码部分中，随后将编码器输出与主干网络的第一层输出通过长残差连接融合，经过上采样获得最终分割结果。

S8、通过预设的算法模型对非畸变图像中的停车框边线和停车框角点进行分类识别，以获得非畸变图像中停车框边线分类结果和停车框角点分类结果。

S10、对停车框边线分类结果和停车框角点分类结果进行停车框角点匹配，以获得非畸变图像中停车框的参数。

S12、根据停车框的参数，计算获得目标停车框图像。

上述步骤S2，S4，S8，S10和S12具体可以参考上述方法实施例。

请参阅图4，图4是本发明实施例提供的获取预设的算法模型的方法的流程示意图。在本实施例中，预设的算法模型为LiteSeg，如图4所示，S6、获取预设的算法模型，包括：

S61、获取训练样本，训练样本包括批量非畸变图像数据。

S62、根据预设标签对批量非畸变图像数据进行标注，以获得标注后的训练样本，预设标签包括停车框边线位置、停车框角点类别及停车框角点位置。

S63、将标注后的训练样本输入预设的算法模型中，以输出训练样本的停车框边线分类结果和停车框角点分类结果，停车框边线分类结果包括停车框边线位置，停车框角分类结果包括停车框角点类别和停车框角点位置。

S64、根据分类损失函数约束分类结果与预设标签的关系，以使预设的算法模型输出的分类结果与预设标签逼近。

S65、将输出的分类结果最逼近于预设标签的分类的算法模型作为预设的算法模型。

上述步骤S61至步骤S65即是LiteSeg训练的具体过程。其中，训练样本可以从公共数据集中得到。训练LiteSeg的主要目的是确定一组最优参数，该最优参数可以使LiteSeg分类的结果与真实结果最接近。

分类损失函数是用来估量模型的预测值与真实值的不一致程度，它是一个非负实值函数。分类损失函数越小，模型的鲁棒性就越好。常用的分类损失函数包括铰链损失(比如hinge loss)、互熵损失(比如cross entropy loss，softmax loss)等。在本实施例中，可以采用softmax损失函数约束分类结果与预设标签的关系，以使预设的算法模型输出的分类结果与预设标签逼近。

请参阅图5，图5是本发明实施例提供的获得非畸变图像中停车框的参数的方法的流程示意图。在一些实施例中，对停车框边线分类结果和停车框角点分类结果进行停车框角点匹配，以获得非畸变图像中停车框的参数，包括：

S71、对非畸变图像中的停车框边线和停车框角点进行处理，获得停车框角点图像。

请参阅图6，图6是本发明实施例提供的获得停车框角点图像的方法的流程示意图。在一些实施例中，对非畸变图像中的停车框边线和停车框角点进行处理，获得停车框角点图像，包括：

S711、对非畸变图像中的停车框边线和停车框角点进行掩膜和细化，获得停车框掩膜图像。

具体的，对网络输出的停车框边线掩膜并二值化，其中边线部分取值为255，随后使用Zhang-Suen细化算法，从而使区域状的停车框边线转化为线段。

S712、根据停车框角点分类结果，对停车框掩膜图像进行分割，获得子掩膜图像。

根据上述的不同的停车框角点类别对应图像灰度的区别，分离为T型角点、L型角点及I型角点，三种角点掩膜，获得各角点的子掩膜图像。

S713、对子掩膜图像进行连通域分析，确定子掩膜图像中停车框角点的位置坐标。

通过快速连通域检测分析算法依次对各角点的子掩膜图像进行连通域分析，并通过面积阈值过滤结果中的噪点。在这一步骤中，由于每个角点在网络训练中被作为一个圆标注，本身符合连通域性质，因此近似将分割得到的连通域的质心作为停车框角点的中心坐标。该停车框角点的中心坐标代表停车框角点的位置。

S714、根据停车框角点的位置坐标和预设剪裁尺寸，将子掩膜图片进行剪裁，以获得停车框角点图像。

在得到停车框角点的中心坐标后，以停车框角点的中心为50×50像素大小的正方形区域中心点，在子掩膜图片裁剪对应大小的掩膜子图，该掩膜子图中包括一个停车框角点，该掩膜子图即为停车框角点图像。

S72、遍历停车框角点图像的停车框角点，获取停车框角点的属性。

请参阅图7，图7是本发明实施例提供的获取停车框角点的属性的方法的流程示意图。在一些实施例中，遍历停车框角点图像的停车框角点，获取停车框角点的属性，包括：

S721、根据停车框角点图像和停车框角点图像中停车框角点的类别，获取遍历策略。

S722、根据遍历策略，遍历停车框角点图像的停车框角点，获取停车框角点的属性。

该停车框角点的属性包括有效属性和无效属性，用于去除无效的停车框角点。

具体的，对于上一步骤获取的停车框角点图像，根据停车框角点的类别进行遍历。先遍历停车框角点图像中的边界像素灰度，对于灰度值不为0的像素点，记录其为结束点，结束点属性包括其坐标与类型，坐标为该结束点的位置，类型为该结束点的类型，包括上边界结束点、右边界结束点、下边界结束点及左边界结束点。例如，可定义位置0表示位于上边界，位置1表示位于右边界，位置2表示位于下边界，位置3表示位于左边界。

遍历策略包括：T型角点的遍历策略、L型角点的遍历策略及I型角点的遍历策略。

T型角点的遍历策略具体为：判断停车框角点图像中结束点的数量是否为3，当停车框角点图像中结束点的数量为3时，表示停车框角点类别正确。当停车框角点图像中结束点的数量不为3时，表示停车框角点类别存在错误，设定该角点为无效点，在后续的算法中滤除。同理，L型角点的遍历策略具体为：判断停车框角点图像中结束点的数量是否为2，当停车框角点图像中结束点的数量为2时，表示停车框角点类别正确。当停车框角点图像中结束点的数量不为2时，表示停车框角点类别存在错误，设定该角点为无效点，在后续的算法中滤除。I型角点的遍历策略具体为：判断停车框角点图像中结束点的数量是否为1，当停车框角点图像中结束点的数量为1时，表示停车框角点类别正确。当停车框角点图像中结束点的数量不为1时，表示停车框角点类别存在错误，设定该角点为无效点，在后续的算法中滤除。

上述方法可以筛选出无效属性的停车框角点，即无效点。

S73、根据停车框角点的属性，对停车框角点进行匹配，获得停车框角点的匹配关系。

请参阅图8，图8是本发明实施例提供的获得停车框角点的匹配关系的方法的流程示意图。在一些实施例中，根据停车框角点的属性，对停车框角点进行匹配，获得停车框角点的匹配关系，包括：

S731、根据停车框角点的类别，获取角点匹配策略。

角点匹配策略为：将所有停车框角点放入停车框序列，循环两两配对检测。首先检测两点对，即两停车框角点的类别是否存在配对可能，T、L、I三种类别各十二子类的角点共有九十六种配对的可能。当两停车框角点类别可能匹配时，进一步检测停车框角点空间关系，分别计算两停车框角点i和k的连线角度、停车框角点i结束点朝向角及停车框角点k结束点朝向角，当这三者的差值处于设定阈值内，则认为两停车框角点满足条件，即两停车框角点匹配，否则，认为两停车框角点不匹配。

S732、根据角点匹配策略和停车框角点的属性，对停车框角点进行匹配，获得第一匹配结果。

该第一匹配结果处于上述九十六种配对的可能中。

S733、根据第一匹配结果，对第一匹配结果中的两停车框角点进行角度判断，当两停车框角点满足预设条件时，确定第一匹配结果中的两停车框角点匹配，即两停车框角点的匹配关系。

请参阅图9，图9是本发明实施例中提供的停车框角点i和停车框角点k的位置示意图。

在非畸变图像中，当停车框角点i与停车框角点k的类别符合九十六种配对的可能时，先以停车框角点i的中心坐标(x_i，y_i)为坐标原点，以停车框角点k的中心坐标(x_k，y_k)为端点，计算两停车框角点i和k的连线角度θ，计算公式为

在停车框角点图像中，以停车框角点i为原点，停车框角点i与停车框角点k连接处的结束点(x_epi，y_epi)为端点，计算停车框角点i结束点朝向角α，计算公式为

以停车框角点k与停车框角点i连接处的结束点(x_epk，y_epk)为原点，停车框角点k为端点，计算停车框角点k结束点朝向角β，计算公式为

在计算获得两停车框角点i和k的连线角度θ、停车框角点i结束点朝向角α及停车框角点k结束点朝向角β的值后，分别计算两停车框角点i和k的连线角度θ与停车框角点i结束点朝向角α的差值的第一绝对值，和两停车框角点i和k的连线角度θ与停车框角点k结束点朝向角β的差值的第二绝对值。当第一绝对值和第二绝对值都小于预设阈值时，计算两停车框角点i和k的中心距离，并与停车框角点i结束点处的最短距离比较，若当前的中心距离大于最短距离，则不更新数据，否则设定当前的中心距离为最短距离，并更新该角点匹配信息，即两停车框角点i和k匹配。

S734、重复上述步骤，以获得所有停车框角点的匹配关系。

当停车框角点i完成匹配后，将与停车框角点i完成匹配的点对存入点对序列，该点对序列即停车框角点i的匹配关系。随后开始对下一停车框角点进行匹配，直至所有停车框角点完成匹配，获得所有停车框角点的匹配关系。

S74、根据停车框角点的匹配关系，获得非畸变图像中停车框的参数。

具体的，将上述所有点对序列进行检测。首先检测两组点对是否存在重合的停车框角点，从而判断两组点对是否有属于同一停车框的可能。随后将两组点对分别计算朝向向量(由点对连线的方向向量和点对指向停车框中心的方向向量叠加)，满足条件的两组点对朝向向量夹角小于预设阈值。最后根据点对的归类情况，确定停车位的中心点、长宽、朝向角度等属性。

请参阅图10，图10是本发明实施例提供的i点对和k点对的向量示意图。

读取点对序列，对点对序列进行遍历。对于序号为i的点对即i点对，与序号为i+1的点对即k点对进行匹配。首先检测i点对与k点对是否存在重合的停车框角点，若两组点对存在重合节点，先计算i点对的方向向量

假设i点对中的重合的停车框角点的坐标为(x_iA，y_iA)，非重合的停车框角点的坐标为(x_iB，y_iB)，则方向向量坐标为

k点对中非重合的停车框角点的坐标为(x_kB，y_kB)，k点对同理计算

根据上文中提到的上述九十六种配对的可能，可以判断i点对与k点对是否可以唯一确定停车框的朝向，当i点对能确定停车框朝向时，定义i点对框体特征向量

设i点对中与停车框朝向一致的结束点的坐标为(x_epi，y_epi)，i点对的框体特征向量坐标为

k点对同理计算

若i点对与k点对均有框体特征向量，则将i点对的方向向量与框体特征向量叠加为指向向量

k点对同理获得

计算两向量

和

的夹角，当夹角小于预设阈值时，表示两点对构成了一个停车框。

确定停车框的点对匹配关系后，计算停车框的参数，该停车框的参数包括：停车框的中心点坐标、停车框的长度、停车框的宽度及停车框的朝向角等。

其中停车框的中心点坐标为

停车框长度为i点对与k点对中的较大长度即(x_iB-x_iA)²+(y_iB-y_iA)²，停车框宽度为i点对与k点对中的较小长度(x_kB-x_iA)²+(y_kB-y_iA)²，停车框的朝向角为停车框长度方向对应点对的方向向量即

在获取停车框的参数后，可以根据参数绘制完整的停车框图案。

请参阅图11和图12，图11是本发明实施例提供的停车框掩膜图像，图12是本发明实施例提供的目标停车框图像。如图11和图12所示。本发明实施例中，在对停车框边线分类结果和停车框角点分类结果进行停车框角点匹配，以获得非畸变图像中停车框的参数的方法中，结合了停车框角点与停车框边线的分类结果，通过停车框角点间的匹配关系生成点对，再由点对间的匹配关系生成停车框，逻辑层级分明，能够在相机取样的效果较差的情况下生成稳定精确的停车框识别结果。相对于以往的停车框边缘检测与机器学习直接产生检测结果的方式，本发明实施例提出的方法参数调整方便，抗干扰性更强。

本发明实施例提供的停车框识别方法应用于车辆，车辆设置至少两个相机，该方法首先获取至少两个相机分别采集到的原图像，其次将每一原图像进行去畸变处理后拼接，得到非畸变图像，然后对非畸变图像中的停车框边线和停车框角点进行分类识别，以获得非畸变图像中停车框边线分类结果和停车框角点分类结果，再是对停车框边线分类结果和停车框角点分类结果进行停车框角点匹配，以获得非畸变图像中停车框的参数，最后根据停车框的参数，计算获得目标停车框图像。因此，该停车框识别方法通过识别停车框边线和停车框角点获取更精确的目标停车框图像，并且该方法的鲁棒性更强，漏检率较低。

请参阅图13，图13是本发明实施例提供的一种停车框识别装置的结构示意图。该停车框识别装置10应用于车辆，其中，车辆设置至少两个相机，该装置包括：获取模块101、去畸变模块102、分类识别模块103、角点匹配模块104及计算模块105。

其中，获取模块101用于获取至少两个相机分别采集到的原图像。去畸变模块102用于将各原图像中的每一原图像进行去畸变处理后拼接，得到非畸变图像。分类识别模块103用于对非畸变图像中的停车框边线和停车框角点进行分类识别，以获得非畸变图像中停车框边线分类结果和停车框角点分类结果。角点匹配模块104用于对停车框边线分类结果和停车框角点分类结果进行停车框角点匹配，以获得非畸变图像中停车框的参数。计算模块105用于根据停车框的参数，计算获得目标停车框图像。

需要说明的是，上述停车框识别装置可执行本发明实施例所提供的停车框识别方法，具备执行方法相应的功能模块和有益效果。未在停车框识别装置实施例中详尽描述的技术细节，可参见本发明实施例所提供的停车框识别方法。

请参阅图14，图14是本发明实施例提供的一种电子设备的结构示意图，电子设备可以用于执行如上所述的停车框识别方法。如图14所示，该电子设备20包括：

一个或多个处理器21以及存储器22，图14中以一个处理器21为例。

处理器21和存储器22可以通过总线或者其他方式连接，图14中以通过总线连接为例。

存储器22作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本发明实施例中的停车框识别方法对应的程序指令/模块(例如，附图13所示的获取模块101、去畸变模块102、分类识别模块103、角点匹配模块104以及计算模块105)。处理器21通过运行存储在存储器22中的非易失性软件程序、指令以及模块，从而执行停车框识别装置的各种功能应用以及数据处理，即实现上述方法实施例的停车框识别方法。

存储器22可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据停车框识别装置的使用所创建的数据等。此外，存储器22可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器22可选包括相对于处理器21远程设置的存储器，这些远程存储器可以通过网络连接至停车框识别装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

一个或者多个模块存储在存储器22中，当被一个或者多个处理器21执行时，执行上述任意方法实施例中的停车框识别方法，例如，执行以上描述的图1中的方法步骤S1至步骤S9，图2中的方法步骤S51至步骤S54，图3中的方法步骤S2至步骤S12，图4中的方法步骤S61至步骤S65，图5中的方法步骤S71至步骤S74，图6中的方法步骤S711至步骤S714，图7中的方法步骤S721至步骤S722，图8中的方法步骤S731至步骤S734，实现图13中的模块101-105的功能。

上述产品可执行本发明实施例所提供的停车框识别方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明实施例所提供的停车框识别方法。

本发明实施例提供了一种非易失性计算机可读存储介质，非易失性计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被电子设备执行上述任意方法实施例中的停车框识别方法，例如，执行以上描述的图1中的方法步骤S1至步骤S9，图2中的方法步骤S51至步骤S54，图3中的方法步骤S2至步骤S12，图4中的方法步骤S61至步骤S65，图5中的方法步骤S71至步骤S74，图6中的方法步骤S711至步骤S714，图7中的方法步骤S721至步骤S722，图8中的方法步骤S731至步骤S734，实现图13中的模块101-105的功能。

本发明实施例提供了一种计算机程序产品，包括存储在非易失性计算机可读存储介质上的计算程序，计算机程序包括程序指令，当程序指令被计算机执行时，使计算机执行上述任意方法实施例中的停车框识别方法，例如，执行以上描述的图1中的方法步骤S1至步骤S9，图2中的方法步骤S51至步骤S54，图3中的方法步骤S2至步骤S12，图4中的方法步骤S61至步骤S65，图5中的方法步骤S71至步骤S74，图6中的方法步骤S711至步骤S714，图7中的方法步骤S721至步骤S722，图8中的方法步骤S731至步骤S734，实现图13中的模块101-105的功能。

以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

通过以上的实施方式的描述，本领域普通技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台的方式来实现，当然也可以通过硬件来实现。本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程是可以通过计算机程序来指令相关的硬件来完成，程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，存储介质可为磁碟、光盘、只读存储记忆体(Read-OnlyMemory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明，它们没有在细节中提供；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (10)

1.一种停车框识别方法，应用于车辆，其中，所述车辆设置至少两个相机，其特征在于，所述方法包括：

获取所述至少两个相机分别采集到的原图像；

将每一所述原图像进行去畸变处理后拼接，得到非畸变图像；

对所述非畸变图像中的停车框边线和停车框角点进行分类识别，以获得所述非畸变图像中停车框边线分类结果和停车框角点分类结果；

对所述停车框边线分类结果和所述停车框角点分类结果进行停车框角点匹配，以获得所述非畸变图像中停车框的参数；

根据所述停车框的参数，计算获得目标停车框图像。

2.根据权利要求1所述的方法，其特征在于，所述对所述非畸变图像中的停车框边线和停车框角点进行分类识别，以获得所述非畸变图像中停车框边线分类结果和停车框角点分类结果，包括：

对所述非畸变图像进行卷积处理，以获得不同层次的图像特征；

通过短残差连接的方式融合所述不同层次的图像特征，以获得高维特征图；

对所述高维特征图进行上采样，以使所述高维特征图的图像尺寸与所述非畸变图像的图像尺寸相同，以得到尺寸变化后的所述高维特征图中停车框边线的预测结果和停车框角点的预测结果；

基于所述停车框边线的预测结果和停车框角点的预测结果，获取所述停车框边线分类结果和所述停车框角点分类结果。

3.根据权利要求1所述的方法，其特征在于，所述对所述非畸变图像中的停车框边线和停车框角点进行分类识别，以获得所述非畸变图像中停车框边线分类结果和停车框角点分类结果的步骤由预设的算法模型执行；

所述方法还包括获取预设的算法模型，所述获取预设的算法模型包括：

获取训练样本，所述训练样本包括批量非畸变图像数据；

根据预设标签对所述批量非畸变图像数据进行标注，以获得标注后的训练样本，所述预设标签包括停车框边线位置、停车框角点类别及停车框角点位置；

将所述标注后的训练样本输入所述预设的算法模型中，以输出所述训练样本的停车框边线分类结果和停车框角点分类结果，所述停车框边线分类结果包括停车框边线位置，所述停车框角分类结果包括停车框角点类别和停车框角点位置；

根据分类损失函数约束所述分类结果与所述预设标签的关系，以使所述预设的算法模型输出的所述分类结果与所述预设标签逼近；

将输出的分类结果最逼近于所述预设标签的分类的算法模型作为所述预设的算法模型。

4.根据权利要求1-3任一项所述的方法，其特征在于，所述对所述停车框边线分类结果和停车框角点分类结果进行停车框角点匹配，以获得所述非畸变图像中停车框的参数，包括：

对所述非畸变图像中的停车框边线和停车框角点进行处理，获得停车框角点图像；

遍历所述停车框角点图像的所述停车框角点，获取所述停车框角点的属性；

根据所述停车框角点的属性，对所述停车框角点进行匹配，获得停车框角点的匹配关系；

根据所述停车框角点的匹配关系，获得所述非畸变图像中所述停车框的参数。

5.根据权利要求4所述的方法，其特征在于，所述对所述非畸变图像中的停车框边线和停车框角点进行处理，获得停车框角点图像，包括：

对所述非畸变图像中的所述停车框边线和所述停车框角点进行掩膜和细化，获得停车框掩膜图像；

根据所述停车框角点分类结果，对所述停车框掩膜图像进行分割，获得子掩膜图像；

对所述子掩膜图像进行连通域分析，确定所述子掩膜图像中所述停车框角点的位置坐标；

根据所述停车框角点的位置坐标和预设剪裁尺寸，将所述子掩膜图片进行剪裁，以获得所述停车框角点图像。

6.根据权利要求4所述的方法，其特征在于，所述遍历所述停车框角点图像的所述停车框角点，获取所述停车框角点的属性，包括：

根据所述停车框角点图像和所述停车框角点图像中停车框角点的类别，获取遍历策略；

根据所述遍历策略，遍历所述停车框角点图像的所述停车框角点，获取所述停车框角点的属性。

7.根据权利要求4所述的方法，其特征在于，所述根据所述停车框角点的属性，对所述停车框角点进行匹配，获得停车框角点的匹配关系，包括：

根据所述停车框角点的类别，获取角点匹配策略；

根据所述角点匹配策略和所述停车框角点的属性，对所述停车框角点进行匹配，获得第一匹配结果；

根据所述第一匹配结果，对所述第一匹配结果中的两停车框角点进行角度判断，当所述两停车框角点满足预设条件时，确定所述第一匹配结果中的所述两停车框角点匹配，即所述两停车框角点的匹配关系；

重复上述步骤，以获得所有停车框角点的匹配关系。

8.一种停车框识别装置，应用于车辆，其中，所述车辆设置至少两个相机，其特征在于，所述装置包括：

获取模块，用于获取所述至少两个相机分别采集到的原图像；

去畸变模块，用于将各原图像中的每一所述原图像进行去畸变处理后拼接，得到非畸变图像；

分类识别模块，用于对所述非畸变图像中的停车框边线和停车框角点进行分类识别，以获得所述非畸变图像中停车框边线分类结果和停车框角点分类结果；

角点匹配模块，用于对所述停车框边线分类结果和所述停车框角点分类结果进行停车框角点匹配，以获得所述非畸变图像中停车框的参数；

计算模块，根据所述停车框的参数，计算获得目标停车框图像。

9.一种电子设备，其特征在于，所述电子设备包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至7中任一项所述的方法。

10.一种非易失性计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，当所述计算机可执行指令被电子设备执行时，使所述电子设备执行权利要求1至7中任一项所述的方法。

Images