CN110598512A - 一种车位检测方法及装置 - Google Patents

Abstract

本申请实施例提供了一种车位检测方法及装置。该方法包括：获取待检测图像；将待检测图像输入第一神经网络，由第一神经网络对所述待检测图像进行特征提取后检测出所述待检测图像中的车位框区域的轮廓信息；基于轮廓信息，从待检测图像中提取车位框区域各个顶角处的子图像区域；将各个子图像区域输入第二神经网络，由第二神经网络从各个子图像区域中检测出车位框区域的顶点位置信息；根据各个顶点位置信息，确定待检测图像中的最终车位框区域。应用本申请实施例提供的方案，能够更准确地从图像中确定出车位，提高车位检测的鲁棒性。

Description

一种车位检测方法及装置

技术领域

本申请涉及自动泊车技术领域，特别是涉及一种车位检测方法及装置。

背景技术

在车辆使用中，将车辆停入车位是普遍认为较难的一项技术。随着停车难的问题日益严峻，泊车辅助系统的应用越来越广泛。自动泊车是为了解决停车入位的复杂性问题而研发的一项车辆智能化新技术。车位检测是实现自动泊车技术的一个重要问题。

相关技术中，在从图像中检测车位时，通常根据预先设置的车位线边缘特征和车位线的像素特征进行检测。但是，受周围光照和图像采集角度变化的影响，待检测图像千变万化。根据上述特征无法从千变万化的待检测图像中准确地检测出车位，鲁棒性较差。

发明内容

本申请实施例的目的在于提供了一种车位检测方法及装置，以更准确地从图像中检测出车位，提高车位检测的鲁棒性。具体的技术方案如下。

第一方面，本申请实施例提供了一种车位检测方法。该方法包括：

获取待检测图像；

将所述待检测图像输入第一神经网络，由所述第一神经网络对所述待检测图像进行特征提取后检测出所述待检测图像中的车位框区域的轮廓信息；

基于所述轮廓信息，从所述待检测图像中提取所述车位框区域各个顶角处的子图像区域；

将各个子图像区域输入第二神经网络，由所述第二神经网络从各个子图像区域中检测出所述车位框区域的顶点位置信息；

根据各个顶点位置信息，确定所述待检测图像中的最终车位框区域。

可选的，所述对所述待检测图像进行特征提取后检测出所述待检测图像中的车位框区域的轮廓信息的步骤，包括：

根据预先获取的模型参数，对所述待检测图像进行特征提取；

根据所提取的特征，对预设的候选框进行顶点回归处理，确定所述待检测图像中的候选车位框区域的轮廓信息和所述候选车位框区域的置信度；

根据置信度大于置信度阈值的候选车位框区域的轮廓信息，确定所述待检测图像中的车位框区域的轮廓信息。

可选的，顶点位置信息包括所述车位框区域在图像坐标系下的顶点坐标；

当检测出的车位框区域为至少两个时，所述根据各个所述顶点位置信息，确定所述待检测图像中的最终车位框区域的步骤，包括：

针对每个车位框区域，根据预设的图像坐标系与俯视图坐标系之间的转换参数，将该车位框区域在图像坐标系下的顶点坐标，转换成该车位框区域在俯视图坐标系下的顶点坐标；

根据各个车位框区域在所述俯视图坐标系下的顶点坐标，确定各个车位框区域的区域特征；

根据各个车位框区域的区域特征和预设区域特征，从各个车位框区域中确定所述待检测图像中的最终车位框区域。

可选的，所述根据各个车位框区域在俯视图坐标系下的位置信息，从各个车位框区域中确定所述待检测图像中的最终车位框区域的步骤，包括：

根据各个车位框区域在俯视图坐标系下的位置信息，确定各个车位框区域的形状特征；将符合预设形状特征的车位框区域，确定为所述待检测图像中的最终车位框区域。

可选的，在确定所述待检测图像中的最终车位区域之后，所述方法还包括：

根据所述最终车位框区域在俯视图坐标系下的位置信息，控制目标车辆驶入所述最终车位框区域中。

第二方面，本申请实施例提供了一种车位检测装置。该装置包括：

获取模块，用于获取待检测图像；

第一检测模块，用于将所述待检测图像输入第一神经网络，由所述第一神经网络对所述待检测图像进行特征提取后检测出所述待检测图像中的车位框区域的轮廓信息；

提取模块，用于基于所述轮廓信息，从所述待检测图像中提取所述车位框区域各个顶角处的子图像区域；

第二检测模块，用于将各个子图像区域输入第二神经网络，由所述第二神经网络从各个子图像区域中检测出所述车位框区域的顶点位置信息；

确定模块，用于根据各个顶点位置信息，确定所述待检测图像中的最终车位框区域。

可选的，所述第一检测模块，具体用于：

根据预先获取的模型参数，对所述待检测图像进行特征提取；

根据所提取的特征，对预设的候选框进行顶点回归处理，确定所述待检测图像中的候选车位框区域的轮廓信息和所述候选车位框区域的置信度；

根据置信度大于置信度阈值的候选车位框区域的轮廓信息，确定所述待检测图像中的车位框区域的轮廓信息。

可选的，所述顶点位置信息包括所述车位框区域在图像坐标系下的顶点坐标；

当检测出的车位框区域为至少两个时，所述确定模块，具体用于：

针对每个车位框区域，根据预设的图像坐标系与俯视图坐标系之间的转换参数，将该车位框区域在图像坐标系下的顶点坐标，转换成该车位框区域在俯视图坐标系下的顶点坐标；

根据各个车位框区域在所述俯视图坐标系下的顶点坐标，确定各个车位框区域的区域特征；

根据各个车位框区域的区域特征和预设区域特征，从各个车位框区域中确定所述待检测图像中的最终车位框区域。

可选的，所述确定模块，具体用于：

根据各个车位框区域在俯视图坐标系下的位置信息，确定各个车位框区域的形状特征；将符合预设形状特征的车位框区域，确定为所述待检测图像中的最终车位框区域。

可选的，所述装置还包括：

控制模块，用于在确定所述待检测图像中的最终车位区域之后，根据所述最终车位框区域在俯视图坐标系下中的位置信息，控制目标车辆驶入所述最终车位框区域中。

第四方面，本申请实施例提供了一种电子设备。该电子设备包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现第一方面提供的车位检测方法。

第五方面，本申请实施例提供了一种计算机可读存储介质。该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现第一方面提供的车位检测方法。

本申请实施例提供的车位检测方法及装置，可以由第一神经网络对待检测图像进行特征提取后检测出待检测图像的车位框区域的轮廓信息，基于该轮廓信息，从待检测图像中提取车位框区域各个顶角处的子图像区域，由第二神经网络从各个子图像区域中检测子图像区域中的顶点位置信息。先由第一神经网络准确地检测出车位框区域的轮廓信息，再由第二神经网络准确地检测出各个子图像区域中的顶点位置信息，进而根据顶点位置信息确定出最终车位框区域，能够更准确地从图像中确定出车位，提高车位检测的鲁棒性。当然，实施本申请的任一产品或方法并不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的车位检测方法的一种流程示意图；

图2a为本申请实施例检测出的车位框区域的轮廓的一种参考图；

图2b为本申请实施例提取的各个子图像区域的一种参考图；

图3为本申请实施例确定候选车位框区域的一种示意图；

图4为本申请实施例采用第一神经网络确定车位框区域的一种过程示意图；

图5为本申请实施例对车位框区域进行坐标转换的一种参考图；

图6为本申请实施例提供的车位检测装置的一种结构示意图；

图7为本申请实施例提供的电子设备的一种结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整的描述。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

为了使本申请实施例的说明更清楚，现将本申请实施例涉及的部分术语进行如下解释。

自动泊车系统：不用人工干预，控制车辆自动停车入位的系统，包括车位检测、路径规划，最后控制车辆跟踪预先规划的泊车路径，使车辆避障泊车入位等操作过程。

泊车位检测：通过传感器采集的信息自动检测车位位置和状态，泊车位包括两种：一种是空间车位，常猜用超声波传感器检测；另一种是线车位(平面车位)，常通过摄像头检测。

深度学习目标检测：目标检测包括预测物体的位置，以及给出物体的类别，预测的位置一般用边框(bounding box)标记，深度学习目标检测是先对车位框进行人工标记，并对深度学习网络进行训练，使深度学习网络的输出结果不断地逼近人工标记的真值。当深度学习网络的输出结果与人工标记的真值之间的差异小于阈值时，认为深度学习网络训练完成。

车位框识别：利用摄像头采集的图像，从图像中识别车位框，得到车位相对于车辆的位置，优点是不依赖于车位区域的外部设施，且不依赖于车位周围车辆的停靠情况，但是会受到车位扭曲、残破等因素影响。

为了更准确地从图像中检测出车位，提高车位检测的鲁棒性，本申请实施例提供了一种车位检测方法及装置。该方法和装置可以应用于电子设备，该电子设备可以为普通计算机、服务器等提供计算服务的设备，或笔记本电脑、平板电脑等设备，也可以为智能手机等移动设备。由于车位检测可以应用于自动泊车领域，因此，本申请的方法实施例和装置实施例也可以应用于车辆上的控制系统中。下面通过具体实施例，对本申请进行详细说明。本申请实施例中的泊车位检测是指对线车位进行检测。

图1为本申请实施例提供的车位检测方法的一种流程示意图。该方法具体包括如下步骤S101～S105。

步骤S101：获取待检测图像。

本步骤中，电子设备内部可以包括图像采集单元，也可以与外部的图像采集单元相连。当电子设备内部包括图像采集单元时，可以直接接收图像采集单元采集的待检测图像。当电子设备与外部的图像采集单元相连时，可以从图像采集单元中获取待检测图像。

上述待检测图像可以理解为：要进行车位检测的图像。车位通常由车位框进行标示，因此上述待检测图像可以理解为：要进行车位检测的包含车位线的图像。基于此，上述待检测图像可以是道路上抓拍的包含车位线的图像，可以是在停车场拍摄的包含车位线的图像，也可以是在任意背景下拍摄的包含车位线的图像等。

实际中的车位线可以为矩形框线或其他形状的框线。由于拍摄角度的影响，待检测图像中的车位线会变形为不规则多边形。

待检测图像可以是鱼眼摄像头采集的鱼眼图像，也可以是非鱼眼摄像头采集的非鱼眼图像。本申请实施例对此不做具体限定。

步骤S102：将待检测图像输入第一神经网络，由第一神经网络对待检测图像进行特征提取后检测出待检测图像中的车位框区域的轮廓信息。

其中，轮廓信息包括车位框区域的轮廓的各个顶点坐标。轮廓信息还可以包括车位框区域的轮廓线角度、长度等。

第一神经网络用于根据第一神经网络训练完成时得到的模型参数，从输入的待检测图像中确定车位区域。第一神经网络为预先根据样本车位图像训练完成。样本车位图像为包含车位线的图像。样本车位图像的数量和种类可以非常多。当训练样本越多时，所训练的模型的鲁棒性越强。

第一神经网络可以为根据深度学习网络训练的模型。具体的，第一神经网络可以为根据Faster R-CNN网络训练的模型，也可以为根据YOLO网络训练的模型。

第一神经网络可以运行于作为执行主体的电子设备中，也可以运行于其他设备中。当第一神经网络允许于其他设备中时，电子设备可以将待检测图像发送至其他设备，其他设备接收到待检测图像后将待检测图像输入第一神经网络，并从第一神经网络中获取检测出的车位框区域的轮廓信息，将该轮廓信息发送至电子设备。

图2a为从待检测图像中检测出的两个车位框区域的轮廓，这两个车位框区域均为不规则四边形。并且由于拍摄角度的影响，两个相邻车位框区域的形状也是不同的。

采用第一神经网络确定的待检测图像中的车位框区域的轮廓信息可能不够精确。为了使得车位框区域的轮廓更精确，本实施例可以继续执行步骤S103。

步骤S103：基于上述轮廓信息，从待检测图像中提取车位框区域各个顶角处的子图像区域。

当车位框区域包含第一数量个顶点时，可以从待检测图像中获取第一数量个子图像区域。

本步骤具体可以为，从待检测图像中提取车位框区域各个顶角处预设大小的各个子图像区域。预设大小可以包括预设宽度和预设高度。该预设大小可以为预先设定的值，例如预设大小可以为20像素*20像素等。也可以为，从待检测图像中获取各个子图像，使各个子图像的中心点为上述车位框区域的顶点。本步骤也可以为上述两种实施方式的结合。

步骤S104：将各个子图像区域输入第二神经网络，由第二神经网络从各个子图像区域中检测出车位框区域的顶点位置信息。

该第二神经网络，用于根据该第二神经网络训练完成时得到的参数，从输入的子图像区域中确定车位框区域的顶点位置信息。该第二神经网络为预先根据样本车位框顶点图像训练完成的。样本车位框顶点图像可以为包含车位框顶点的样本图像。样本车位框顶点图像中的车位框区域的形状可以多种多样。样本车位框顶点图像的数量和种类可以非常多，这样可以使所训练的模型的鲁棒性更强。

第二神经网络可以为根据深度学习网络训练的模型。具体的，第二神经网络可以为根据Faster R-CNN网络训练的模型，也可以为根据YOLO网络训练的模型。

第二神经网络可以运行于作为执行主体的电子设备中，也可以运行于其他设备中。当第二神经网络允许于其他设备中时，电子设备可以将子图像区域发送至其他设备，其他设备接收到子图像区域后将子图像区域输入第二神经网络，并从第二神经网络中获取检测出的车位框区域的顶点位置信息，将该顶点位置信息发送至电子设备。

第一神经网络和第二神经网络均为一种深度学习目标检测的网络。

需要说明的是，第一神经网络和第二神经网络也可以以级联的方式构成一个整合的神经网络。对于第一神经网络和第二神经网络的具体结构形态本申请不做具体限定，任何能够实现上述第一神经网络功能的各计算层所构成的第一神经网络的结构都在本申请的保护范围之内，任何能够实现上述第二神经网络功能的各计算层所构成的第二神经网络的结构都在本申请的保护范围之内。

步骤S105：根据各个顶点位置信息，确定待检测图像中的最终车位框区域。

确定待检测图像中的最终车位框区域，可以理解为确定待检测图像中的最终车位框区域的位置，该位置包括车位框区域的各个顶点坐标。

上述各个顶点位置信息为各个子图像区域中的位置。本步骤具体可以为，将各个顶点位置信息转换成待检测图像中车位框的位置信息，将转换后的车位框的位置信息对应的车位框区域，确定为待检测图像中的最终车位框区域。

例如，图2b为从待检测图像中提取的车位框区域各个顶点处的子图像区域。待检测图像中车位框区域包括A、B、C、D四个顶点，这四个顶点分别为子图像区域1、子图像区域2、子图像区域3、子图像区域4的中心点。第二神经网络检测的各个子图像区域中的顶点位置分别为a、b、c、d，则可以将a、b、c、d四个点的坐标分别转换成待检测图像中的坐标，将坐标转换后的a、b、c、d对应的待检测图像中的车位框区域，确定为待检测图像中的最终车位框区域。

由上述内容可知，本实施例可以由第一神经网络对待检测图像进行特征提取后检测出待检测图像的车位框区域的轮廓信息，基于该轮廓信息，从待检测图像中提取车位框区域各个顶角处的子图像区域，由第二神经网络从各个子图像区域中检测子图像区域中的顶点位置信息。先由第一神经网络准确地检测出车位框区域的轮廓信息，再由第二神经网络准确地检测出各个子图像区域中的顶点位置信息，进而根据顶点位置信息确定出最终车位框区域，能够更准确地确定出车位，提高车位检测的鲁棒性。

而相关技术中，面对各种各样的待检测图像，采用预先设置的车位线边缘特征和车位线的像素特征进行检测时，部分图像的检测结果准确，部分图像的检测结果不准确，检测效果不稳定。而本实施例采用神经网络得到的车位框区域的轮廓信息以及车位框区域的顶点位置信息均会更准确，鲁棒性更强，相比于相关技术，本实施例的检测效果更稳定。

并且，本实施例从获取待检测图像到得到最终车位框区域的整个流程简洁，实现了端到端的车位检测。相比于相关技术需要对图像进行直方图均衡化、二值化分割、形态学处理、边缘检测、Hough变换等的处理过程，本实施例的处理流程更简洁。本实施例，车位检测也称为车位框识别。

在本申请的另一实施例中，图1所示实施例的第一神经网络具体可以采用以下步骤1a～步骤3a确定车位框区域的轮廓信息：

步骤1a：根据预先获取的模型参数，对待检测图像进行特征提取。

其中，上述模型参数可以为第一神经网络在训练完成时获取的。在对待检测图像进行特征提取时，可以采用多层卷积的方式一层一层地提取待检测图像的特征。提取得到的待检测图像的特征，可以理解为得到了待检测图像对应的特征图，特征图中的每个特征分别为一组特征值向量。

在另一种具体实施方式中，可以对待检测图像进行预处理，根据预先获取的模型参数，提取预处理后的待检测图像的特征。上述预处理可以包括调整图像尺寸、畸变校正等。

步骤2a：根据所提取的特征，对预设的候选框进行顶点回归处理，确定待检测图像中的各个候选车位框区域的轮廓信息和该候选车位框区域的置信度。

其中，上述置信度可以理解为候选车位框区域为真实的车位框区域的可信程度。

本步骤具体可以为，根据所提取的特征，确定待检测图像中预设的各个候选框对应的偏移量和置信度，将各个候选框的顶点位置与对应的偏移量的叠加作为各个候选车位框区域的轮廓信息。由于各个候选框的顶点位置是通过统计车位样本图像的大小和长宽比设计确定的，是已知的，将各个候选框的顶点位置与对应的偏移量进行叠加，可以得到新的区域，即候选车位框区域。每个候选框对应的偏移量可以是不同的，这样，得到的候选车位框区域也可以是不同的。

确定的候选框对应的偏移量包括该候选框的每个顶点对应的偏移量。当候选框为矩形区域时，确定的偏移量为4个顶点对应的偏移量。

本实施方式中，可以根据预先设置的划分规则，将待检测图像划分为M*N个网格，每个网格的大小均为(c_x，c_y)，每个网格对应预设的K个候选框。每个网格的K个候选框均以该网格的中心点为中心，该K个候选框的长宽大小不同，长宽比例不同。候选框的大小可以用(p_w，p_h)表示。例如，K可以为20～25或其他值。候选框可以为标准的矩形区域。这个待检测图像包括M*N*K个候选框，每个候选框的位置是预设的，是已知的。

在提取待检测图像的特征之后，在各个候选框的基础上，预测出各个候选框的偏移量和对应的置信度。该置信度可以理解为，该候选框叠加上该偏移量之后的区域为真实的车位框区域的置信度。

例如，参见图3，该图3为确定各个候选车位框区域的示意图。其中显示了部分网格，每个网格的长和宽均为c_x和c_y。中间的浅色实线矩形框所示区域为一个候选框，该候选框的位置是已知的。确定的该候选框对应的偏移量包括每个顶点的偏移量，该候选框对应的偏移量可表示为{lt_x，lt_y，rt_x，rt_y，lb_x，lb_y，rb_x，rb_y}。将该候选框与对应的偏移量叠加之后得到的候选车位框区域为虚线区域所示。可见该虚线区域为不规则多边形区域。

针对每个车位框，得到的候选车位框区域可能为一个，也可能为多个。

步骤3a：根据置信度大于置信度阈值的候选车位框区域的轮廓信息，确定待检测图像中的车位框区域的轮廓信息。

其中，置信度阈值为预先设置的，例如可以为90％或其他值。置信度大于置信度阈值的候选车位框区域，可以理解为更接近于真实的车位框区域的区域。

本步骤具体可以为将置信度大于置信度阈值的候选车位框区域确定为目标车位框区域，根据目标车位框区域的轮廓信息，确定待检测图像中的车位框区域的轮廓信息。

当确定的目标车位框区域为一个时，根据目标车位框区域的轮廓信息，确定待检测图像中的车位框区域的轮廓信息时，可以直接将目标车位框区域的轮廓信息确定为待检测图像中的车位框区域的轮廓信息。

当确定的目标车位框区域为两个以上时，根据目标车位框区域的轮廓信息，确定待检测图像中的车位框区域的轮廓信息时，可以为：检测各个目标车位框区域中是否存在重叠度大于预设重叠度阈值的重叠车位框区域，如果存在，则将置信度较大的重叠车位框区域的轮廓信息确定为待检测图像中的车位框区域的轮廓信息；如果不存在，则将各个目标车位框区域均确定为待检测图像中的车位框区域的轮廓信息。

上述第一神经网络可以理解为包括特征提取层、回归层和输出层，上述步骤1a可以对应特征提取层，步骤2a可以对应回归层，步骤3a可以对应输出层。特征提取层包括多个子层，每个子层均可以对上一层输入进行卷积，以提取特征，并将提取的特征输入下一子层。回归层可以根据特征提取层提取的特征，经过回归得到各个候选框的偏移量和对应置信度，并将确定的信息输入输出层。输出层输出车位框区域。

例如，图4为采用第一神经网络确定车位框区域的过程示意图。在图4中，左端的待检测图像为鱼眼图像，鱼眼图像中的虚线方框区域为车位框区域，对该鱼眼图像依次进行卷积、回归、输出的过程，可以得到右端中鱼眼图像中所示的不规则四边形区域，该区域即为车位框区域。

本实施例中，所确定的车位框区域的轮廓信息可以包括车位框区域各个顶点的坐标。所确定的车位区域可以为矩形区域、梯形区域或其他不规则多边形区域等。

综上，本实施例可以通过提取待检测图像的特征，确定待检测图像中的各个候选车位框区域和对应的置信度，将置信度大于预设置信度阈值的候选车位框区域确定车位框区域，从而能够更准确地确定车位框区域。

在训练第一神经网络时，具体可以采用以下步骤1b～步骤6b。

步骤1b：获取样本车位图像以及样本车位图像中的标记车位区域。

其中，样本车位图像可以为包含车位线的图像。样本车位图像的数量和种类可以非常多。当样本车位图像越多时，所训练的第一神经网络的鲁棒性越强。

本步骤中，在获取样本车位图像时，可以从已有的训练集中获取，也可以从车载摄像机采集的监控视频中获取。在获得样本车位图像之后，还可以对样本车位图像中的车位区域进行标记，得到各个样本车位图像的标记车位区域。

本步骤中，获取的样本车位图像可以具有以下特征中的至少一种：

特征一，各个样本车位图像的亮度可以不同。车位图像的亮度受周围光照情况和曝光度影响，各个车位图像的亮度可能是不同的。采用这样的样本车位图像训练第一神经网络时，可以使第一神经网络针对不同亮度的图像，都能准确地确定图像中的车位区域，使第一神经网络受图像亮度的影响更小，鲁棒性更强。

特征二，各个样本车位图像中的车位形状可以不同。当采集车位图像时，图像中车位的形状因拍摄角度和拍摄位置的变化而不同。采用这样的样本图像训练第一神经网络时，可以使第一神经网络确定的车位区域的鲁棒性更强，能有效地确定各种形状的车位区域。

特征三，各个样本车位图像的背景可以不同。样本车位图像中的车位区域为目标区域，除了该车位区域之外的区域即为背景区域。采用这样的样本车位图像训练第一神经网络时，可以使训练好的第一神经网络在确定车位区域时不易受环境干扰，能有效区分真正的车位区域和背景，在检测时能够排除背景的干扰。

步骤2b：根据模型参数，提取样本车位图像的样本特征。

初始时，模型参数可以为预先设定的随机值。针对大量样本车位图像，在训练模型时，可以采用样本车位图像一个个地训练，也可以一批批地训练。在训练的过程中，模型参数可以根据反向传递的误差不断修改，直至所训练的第一神经网络的精度达到要求。

步骤3b：根据提取的样本特征，确定所述样本车位图像中各个样本候选车位框区域的轮廓信息和样本置信度。

本步骤具体可以为，根据所提取的样本特征，确定样本车位图像中预设的各个候选框对应的偏移量和置信度，将各个候选框与对应的偏移量的叠加作为各个样本候选车位框区域。由于各个候选框的位置是通过统计车位样本的大小和长宽比设计确定的，是已知的，将各个候选框与对应的偏移量进行叠加，可以得到新的区域，即样本候选车位框区域。每个候选框对应的偏移量可以是不同的，这样，得到的样本候选车位框区域也可以是不同的。

确定的候选框对应的偏移量包括该候选框的每个顶点对应的偏移量。当候选框为矩形区域时，确定的偏移量为4个顶点对应的偏移量。

步骤4b：从各个样本候选车位框区域中确定置信度大于预设置信度阈值的样本目标车位框区域。

步骤5b：确定样本目标车位框区域与上述标记车位区域之间的区域差异，判断该区域差异是否小于预设差异阈值，如果否，则执行步骤6b；如果是，则认为第一神经网络训练完毕。其中，预设差异阈值为预先设定的值。

在确定区域差异时，可以确定样本目标车位框区域的各个顶点与上述标记车位区域的对应顶点之间的坐标差异，将该样本目标车位框区域中所有顶点的坐标差异的组合确定为区域差异。

当区域差异不小于预设差异阈值时，认为检测出的车位区域与真实的车位区域的差距较大，需要继续训练模型。当区域差异小于预设差异阈值时，认为检测出的车位区域与真实的车位区域的差距较小，可以认为模型已训练完毕。

步骤6b：根据上述区域差异调整模型参数，返回执行步骤2b。

上述区域差异可以反映预测的车位区域与真实的车位区域之间的偏移大小和方向，根据上述区域差异，调整模型参数时，可以向与上述区域差异相反的方向调整模型参数。具体的，可以根据上述区域差异，通过反向传播算法调整模型参数。

综上，本实施例可以获取大量样本车位图像，确定样本目标车位框区域与标记车位区域之间的区域差异，当该区域差异不小于预设差异阈值时调整模型参数，逐渐训练模型，直至该区域差异小于预设差异阈值时，模型训练完成，本实施例能够提高所训练模型的鲁棒性。

在本申请的另一实施例中，图1所示实施例的第二神经网络具体可以采用以下步骤1c～步骤3c确定一个子图像区域中的顶点位置信息。

步骤1c：根据预先获取的模型参数，提取子图像区域的特征。

其中，上述参数可以为第二神经网络在训练完成时获取的。在提取子图像的特征时，可以采用多层卷积的方式一层一层地提取子图像区域的特征。提取得到的子图像区域的特征，可以理解为得到了子图像区域对应的特征图，特征图中的每个特征分别为一组特征值向量。

在另一种具体实施方式中，可以对子图像区域进行预处理，根据预先获取的参数，提取预处理后的子图像区域的特征。上述预处理可以包括调整图像区域的尺寸、校正畸变等。

步骤2c：根据所提取的特征，确定子图像区域中的各个预设点和对应的置信度。其中，上述置信度可以理解为预设点为真实的车位顶点的可信程度。

步骤3c：根据各个预设点和对应的置信度，确定该子图像区域中的顶点位置信息。

本步骤具体可以为，将置信度最大的预设点的位置信息确定为该子图像区域中车位框区域的顶点位置信息。也可以为，将置信度大于预设置信度阈值的预设点的位置信息确定为该子图像区域中车位框区域的顶点位置信息。

其中，每个子图像区域中的顶点位置信息可以为一个，也可以为多个。置信度越大，说明预设点更接近于真实的车位框顶点的点。根据置信度确定顶点位置信息可以提高车位框区域检测的准确性。

综上，本实施例可以通过提取子图像的特征，确定子图像中的各个预设点和置信度，根据各个预设点和对应的置信度确定子图像中车位框的顶点位置信息，从而能够更准确地确定车位框区域的顶点。

在训练第二神经网络时，具体可以采用以下步骤1d～步骤6d。

步骤1d：获取样本顶点图像以及样本顶点图像中的标记车位线顶点。

其中，样本顶点图像可以为包含车位框顶点的图像。车位框的顶点也可以称为关键点。样本顶点图像的数量和种类可以非常多。当样本顶点图像越多时，所训练模型的鲁棒性越强。

本步骤中，在获取样本顶点图像时，可以从已有的训练集中获取，也可以从样本车位图像中截取包含车位框顶点的样本顶点图像。在获得样本顶点图像之后，还可以对样本顶点图像中的车位框顶点进行标记，得到各个样本顶点图像的标记车位框顶点。

本步骤中，获取的样本顶点图像可以具有以下特征中的至少一种：

各个样本顶点图像的亮度可以不同。采用这样的样本顶点图像训练第二神经网络时，可以使模型针对不同亮度的图像，都能准确地确定图像中的顶点，使模型受图像亮度的影响更小，鲁棒性更强。

各个样本顶点图像中的车位形状可以不同。采用这样的样本图像训练模型时，可以使模型能更有效地确定各种形状的车位框顶点。

各个样本顶点图像的背景可以不同。样本顶点图像中的车位框顶点为目标点，除了该车位框顶点之外的区域即为背景。采用这样的样本图像训练模型时，可以使训练好的模型在确定车位框顶点时不易受环境干扰，能有效地确定真正的车位框顶点和背景，在检测时能够排除背景的干扰。

步骤2d：根据参数，提取样本顶点图像的样本特征。

初始时，上述参数可以为预先设定的值。针对大量样本顶点图像，在训练模型时，可以采用样本顶点图像一个个地训练，也可以一批批地训练。在训练的过程中，上述参数可以不断地修改，直至所训练的模型的精度达到要求。

步骤3d：根据提取的样本特征，确定样本顶点图像中各个样本预设点和对应的样本置信度。

步骤4d：根据各个样本预设点和对应的样本置信度，确定该样本顶点图像中的样本顶点。

本步骤具体可以为，将样本置信度最大的样本预设点确定为该样本顶点图像中的样本顶点。也可以为，将置信度大于预设置信度阈值的样本预设点确定为该样本顶点图像中的样本顶点。

步骤5d：确定样本顶点与上述标记车位框顶点之间的点差异，判断该点差异是否小于预设点差异阈值，如果否，则执行步骤6d；如果是，则认为第二神经网络训练完毕。其中，预设点差异阈值为预先设定的值。

在确定点差异时，可以确定目标样本点与上述标记车位框顶点之间的坐标差异，将该坐标差异确定为点差异。

例如，标记车位框顶点坐标为(t_x，t_y)，确定的目标样本点坐标为(t'_x，t'_y)，则点差异包括：Δx＝t'_x-t_x，Δy＝t'_y–t_y。

当点差异不小于预设点差异阈值时，认为检测出的目标样本点与真实的车位框顶点的差距较大，需要继续训练模型。当点差异小于预设点差异阈值时，认为检测出的目标样本点与真实的车位框顶点的差距较小，可以认为模型已训练完毕。

步骤6d：根据上述点差异调整参数，返回执行步骤2d。

上述点差异可以反映预测的点与真实的车位框顶点之间的偏移大小和方向，根据上述点差异，调整参数时，可以向与上述点差异相反的方向调整参数。具体的，可以根据上述点差异，通过反向传播算法调整参数。

综上，本实施例可以获取大量样本顶点图像，确定样本顶点与标记车位框顶点之间的点差异，当该点差异不小于预设点差异阈值时调整参数，逐渐训练模型，直至该点差异小于预设点差异阈值时，模型训练完成。本实施例能够提高所训练模型的鲁棒性。

在本申请的另一实施例中，在图1所示实施例中，顶点位置信息可以包括车位框区域在图像坐标系下的顶点坐标。当检测出的车位框区域为至少两个时，步骤S105，根据各个所述顶点位置信息，确定待检测图像中的最终车位框区域的步骤，可以包括步骤1e～步骤3e。

步骤1e：针对每个车位框区域，根据预设的图像坐标系与俯视图坐标系之间的转换参数，将该车位框区域在图像坐标系下的顶点坐标，转换成该车位框区域在俯视图坐标系下的顶点坐标；

其中，俯视图坐标系可以理解为世界坐标系，该坐标系的原点为车辆中心在地面上的投影点。该坐标系与车辆固连。图像坐标系的原点位于图像采集单元的成像平面上。

根据上述转换参数，将车位框区域在图像坐标系下的顶点坐标，转换成俯视图坐标系下的顶点坐标时，可以采用相关技术中的转换方式，本申请实施例不再详述。

例如，图5中的左图为待检测图像，其中的黑色梯形框为图像坐标系下的车位框区域。图5中的右图为将图5左图转换成俯视图坐标系下的顶点坐标后的示意图。可见，俯视图坐标系下的车位框区域呈现出矩形结构，该结构更接近于真实的车位框形状。

为了进一步提高确定的最终车位框区域的准确性，避免将非车位框区域确定为最终车位框区域，本实施例可以执行以下步骤。

步骤2e：根据各个车位框区域在所述俯视图坐标系下的顶点坐标，确定各个车位框区域的区域特征。

其中，车位框区域的区域特征可以为形状特征和/或长宽比例特征。例如，形状特征可以为对边平行和/或表明区域形状为矩形形状的特征。

步骤3e：根据各个车位框区域的区域特征和预设区域特征，从各个车位框区域中确定待检测图像中的最终车位框区域。

其中，预设区域特征可以为根据样本车位框图像得到的特征。预设区域特征可以为形状特征和/或长宽比例特征。预设的长宽比例特征可以为根据实际车位的长宽比确定的比例范围。

本步骤具体可以为，将区域特征中符合预设区域特征的车位框区域，确定为待检测图像中的最终车位框区域。这样，根据车位框的区域特征对车位框区域进行筛选，可以去除不符合该预设区域特征的不准确结果，进而提高车位检测的准确性。

在本申请的另一实施例中，在确定待检测图像中的最终车位区域之后，还可以根据最终车位框区域在俯视图坐标系下的位置信息，控制目标车辆驶入最终车位框区域中。

具体的，可以将最终车位框区域在俯视图坐标系下的位置信息输入自动泊车系统中的泊车决策控制单元，以使泊车决策控制单元根据该位置信息控制目标车辆驶入最终车位框区域中。

泊车决策控制单元可以根据多个图像帧中得到的最终车位区域控制车辆停入车位。

基于相同的发明构思，本申请实施例提供一种车位检测装置，可用于执行上述实施例中的车位检测方法，该装置的内容与上述实施例中的车位检测方法可以相互参照，图6为本申请实施例提供的车位检测装置的一种结构示意图。该实施例与图1所示方法实施例相对应。该装置包括：

获取模块601，用于获取待检测图像；

第一检测模块602，用于将所述待检测图像输入第一神经网络，由所述第一神经网络对所述待检测图像进行特征提取后检测出所述待检测图像中的车位框区域的轮廓信息；

提取模块603，用于基于所述轮廓信息，从所述待检测图像中提取所述车位框区域各个顶角处的子图像区域；

第二检测模块604，用于将各个子图像区域输入第二神经网络，由所述第二神经网络从各个子图像区域中检测出所述车位框区域的顶点位置信息；

确定模块605，用于根据各个顶点位置信息，确定所述待检测图像中的最终车位框区域。

在本申请的另一实施例中，图6所示实例中的第一检测模块602具体用于：

根据预先获取的模型参数，对所述待检测图像进行特征提取；

根据所提取的特征，对预设的候选框进行顶点回归处理，确定所述待检测图像中的候选车位框区域的轮廓信息和所述候选车位框区域的置信度；

根据置信度大于置信度阈值的候选车位框区域的轮廓信息，确定所述待检测图像中的车位框区域的轮廓信息。

在本申请的另一实施例中，图6所示实例中，顶点位置信息包括所述车位框区域在图像坐标系下的顶点坐标；

当检测出的车位框区域为至少两个时，确定模块605，具体用于：

针对每个车位框区域，根据预设的图像坐标系与俯视图坐标系之间的转换参数，将该车位框区域在图像坐标系下的顶点坐标，转换成该车位框区域在俯视图坐标系下的顶点坐标；

根据各个车位框区域在所述俯视图坐标系下的顶点坐标，确定各个车位框区域的区域特征；

根据各个车位框区域的区域特征和预设区域特征，从各个车位框区域中确定所述待检测图像中的最终车位框区域。

在本申请的另一实施例中，图6所示实例中的确定模块605，具体用于：

根据各个车位框区域在俯视图坐标系下的位置信息，确定各个车位框区域的形状特征；将符合预设形状特征的车位框区域，确定为所述待检测图像中的最终车位框区域。

在本申请的另一实施例中，图6所示实例中，该装置还包括：

控制模块(图中未示出)，用于在确定所述待检测图像中的最终车位区域之后，根据所述最终车位框区域在俯视图坐标系下中的位置信息，控制目标车辆驶入所述最终车位框区域中。

由于上述装置实施例是基于方法实施例得到的，与该方法具有相同的技术效果，因此装置实施例的技术效果在此不再赘述。对于装置实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。

图7为本申请实施例提供的电子设备的一种结构示意图。该电子设备包括处理器701、通信接口702、存储器703和通信总线704，其中，处理器701，通信接口702，存储器703通过通信总线704完成相互间的通信；

存储器703，用于存放计算机程序；

处理器701，用于执行存储器703上所存放的程序时，实现本申请实施例提供的车位检测方法。该方法包括：

获取待检测图像；

将所述待检测图像输入第一神经网络，由所述第一神经网络对所述待检测图像进行特征提取后检测出所述待检测图像中的车位框区域的轮廓信息；

基于所述轮廓信息，从所述待检测图像中提取所述车位框区域各个顶角处的子图像区域；

将各个子图像区域输入第二神经网络，由所述第二神经网络从各个子图像区域中检测出所述车位框区域的顶点位置信息；

根据各个顶点位置信息，确定所述待检测图像中的最终车位框区域。

上述电子设备提到的通信总线704可以是外设部件互连标准(PeripheralComponent Interconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线704可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

通信接口702用于上述电子设备与其他设备之间的通信。

存储器703可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器703还可以是至少一个位于远离前述处理器701的存储装置。

上述处理器701可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

本实施例中，先由第一神经网络准确地检测出车位框区域的轮廓信息，再由第二神经网络准确地检测出各个子图像区域中的顶点位置信息，进而根据顶点位置信息确定出最终车位框区域，能够更准确地从图像中确定出车位，提高车位检测的鲁棒性。

本申请实施例还提供了一种计算机可读存储介质。该计算机可读存储介质内存储有计算机程序，计算机程序被处理器执行时实现本申请实施例提供的车位检测方法。该方法包括：

获取待检测图像；

将所述待检测图像输入第一神经网络，由所述第一神经网络对所述待检测图像进行特征提取后检测出所述待检测图像中的车位框区域的轮廓信息；

基于所述轮廓信息，从所述待检测图像中提取所述车位框区域各个顶角处的子图像区域；

将各个子图像区域输入第二神经网络，由所述第二神经网络从各个子图像区域中检测出所述车位框区域的顶点位置信息；

根据各个顶点位置信息，确定所述待检测图像中的最终车位框区域。

本实施例中，先由第一神经网络准确地检测出车位框区域的轮廓信息，再由第二神经网络准确地检测出各个子图像区域中的顶点位置信息，进而根据顶点位置信息确定出最终车位框区域，能够更准确地从图像中确定出车位，提高车位检测的鲁棒性。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。

以上所述仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所做的任何修改、等同替换、改进等，均包含在本申请的保护范围内。

Claims (12)

1.一种车位检测方法，其特征在于，所述方法包括：

获取待检测图像；

将所述待检测图像输入第一神经网络，由所述第一神经网络对所述待检测图像进行特征提取后检测出所述待检测图像中的车位框区域的轮廓信息；

基于所述轮廓信息，从所述待检测图像中提取所述车位框区域各个顶角处的子图像区域；

将各个子图像区域输入第二神经网络，由所述第二神经网络从各个子图像区域中检测出所述车位框区域的顶点位置信息；

根据各个顶点位置信息，确定所述待检测图像中的最终车位框区域。

2.根据权利要求1所述的方法，其特征在于，所述对所述待检测图像进行特征提取后检测出所述待检测图像中的车位框区域的轮廓信息的步骤，包括：

根据预先获取的模型参数，对所述待检测图像进行特征提取；

根据所提取的特征，对预设的候选框进行顶点回归处理，确定所述待检测图像中的候选车位框区域的轮廓信息和所述候选车位框区域的置信度；

根据置信度大于置信度阈值的候选车位框区域的轮廓信息，确定所述待检测图像中的车位框区域的轮廓信息。

3.根据权利要求1或2所述的方法，其特征在于，所述顶点位置信息包括所述车位框区域在图像坐标系下的顶点坐标；

当检测出的车位框区域为至少两个时，所述根据各个所述顶点位置信息，确定所述待检测图像中的最终车位框区域的步骤，包括：

针对每个车位框区域，根据预设的图像坐标系与俯视图坐标系之间的转换参数，将该车位框区域在图像坐标系下的顶点坐标，转换成该车位框区域在俯视图坐标系下的顶点坐标；

根据各个车位框区域在所述俯视图坐标系下的顶点坐标，确定各个车位框区域的区域特征；

根据各个车位框区域的区域特征和预设区域特征，从各个车位框区域中确定所述待检测图像中的最终车位框区域。

4.根据权利要求3所述的方法，其特征在于，所述根据各个车位框区域在俯视图坐标系下的位置信息，从各个车位框区域中确定所述待检测图像中的最终车位框区域的步骤，包括：

根据各个车位框区域在俯视图坐标系下的位置信息，确定各个车位框区域的形状特征；将符合预设形状特征的车位框区域，确定为所述待检测图像中的最终车位框区域。

5.根据权利要求4所述的方法，其特征在于，在确定所述待检测图像中的最终车位区域之后，所述方法还包括：

根据所述最终车位框区域在俯视图坐标系下的位置信息，控制目标车辆驶入所述最终车位框区域中。

6.一种车位检测装置，其特征在于，所述装置包括：

获取模块，用于获取待检测图像；

第一检测模块，用于将所述待检测图像输入第一神经网络，由所述第一神经网络对所述待检测图像进行特征提取后检测出所述待检测图像中的车位框区域的轮廓信息；

提取模块，用于基于所述轮廓信息，从所述待检测图像中提取所述车位框区域各个顶角处的子图像区域；

第二检测模块，用于将各个子图像区域输入第二神经网络，由所述第二神经网络从各个子图像区域中检测出所述车位框区域的顶点位置信息；

确定模块，用于根据各个顶点位置信息，确定所述待检测图像中的最终车位框区域。

7.根据权利要求6所述的装置，其特征在于，所述第一检测模块，具体用于：

根据预先获取的模型参数，对所述待检测图像进行特征提取；

根据所提取的特征，对预设的候选框进行顶点回归处理，确定所述待检测图像中的候选车位框区域的轮廓信息和所述候选车位框区域的置信度；

根据置信度大于置信度阈值的候选车位框区域的轮廓信息，确定所述待检测图像中的车位框区域的轮廓信息。

8.根据权利要求6或7所述的装置，其特征在于，所述顶点位置信息包括所述车位框区域在图像坐标系下的顶点坐标；

当检测出的车位框区域为至少两个时，所述确定模块，具体用于：

针对每个车位框区域，根据预设的图像坐标系与俯视图坐标系之间的转换参数，将该车位框区域在图像坐标系下的顶点坐标，转换成该车位框区域在俯视图坐标系下的顶点坐标；

根据各个车位框区域在所述俯视图坐标系下的顶点坐标，确定各个车位框区域的区域特征；

根据各个车位框区域的区域特征和预设区域特征，从各个车位框区域中确定所述待检测图像中的最终车位框区域。

9.根据权利要求8所述的装置，其特征在于，所述确定模块，具体用于：

根据各个车位框区域在俯视图坐标系下的位置信息，确定各个车位框区域的形状特征；将符合预设形状特征的车位框区域，确定为所述待检测图像中的最终车位框区域。

10.根据权利要求9所述的装置，其特征在于，所述装置还包括：

控制模块，用于在确定所述待检测图像中的最终车位区域之后，根据所述最终车位框区域在俯视图坐标系下中的位置信息，控制目标车辆驶入所述最终车位框区域中。

11.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现权利要求1-5任一所述的方法步骤。

12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-5任一所述的方法步骤。