CN115082893B - 车位检测方法、有效性判断方法、泊车方法、设备和介质 - Google Patents

Abstract

本发明提供了一种车位检测方法、有效性判断方法、泊车方法、设备和介质，包括对当前场景的待检测图像进行特征提取及融合，得到图像特征；将所述图像特征输入已训练的单阶段检测模型中，利用单阶段检测模型中的车位中心点提取网络确定车位中心点热图和车位中心点热图中的车位中心点的坐标，通过单阶段检测模型中的车位属性提取网络，利用车位中心点的坐标与车位属性中心点的坐标之间的映射关系以及车位中心点的坐标，得到车位属性中心点的坐标处的车位属性，这样，可以同时检测出车位中心点的坐标和与车位中心点的坐标具有映射关系的车位属性，避免了两阶段检测模型造成的时间损耗较长的现象，从而提高了车位检测效率。

Description

车位检测方法、有效性判断方法、泊车方法、设备和介质

技术领域

本发明涉及车辆控制技术领域，具体提供一种车位检测方法、有效性判断方法、泊车方法、设备和介质。

背景技术

随着自动驾驶技术的发展，自动泊车技术迅速崛起，以在不需要人工控制的情况下自动控制车辆停入到车位，从而减少用户的泊车操作。自动泊车技术面临很多问题，车位检测问题是其中之一。

相关技术中，通常采用两阶段检测模型对车位框和车位属性进行检测，其检测过程通常为：从图像中提取到车位框，将车位框对应的图像进行裁剪，然后再针对裁剪的图像进一步识别，得到车位的各种属性。

然而，两阶段检测模型需要进行两次推理，且顺序调用，在车机端部署时，会因拷贝、处理器利用率问题导致实际推理时间大于两个模型分别推理的时间，且属性判断步骤的耗时与第一阶段检出的目标个数呈现线性关系。

因此，如何减少车位检测的时间损耗，提高车位识别效率，是本领域技术人员亟待解决的技术问题。

发明内容

为了克服上述缺陷，提出了本发明，以提供解决或至少部分地解决异源多数据之间易导致任务间的冲突，收敛速度慢的技术问题的智能家居设备的控制方法、装置、系统和存储介质。

在第一方面，本发明提供一种车位检测方法，包括：

获取当前场景的待检测图像；

对所述待检测图像进行特征提取及融合，得到图像特征；

将所述图像特征输入已训练的单阶段检测模型中，其中，所述单阶段模型包括用于输出车位中心点热图的车位中心点提取网络和用于输出车位属性中心点热图的车位属性提取网络，其中，车位中心点热图中车位中心点的坐标与车位属性中心点热图中车位属性中心点的坐标之间具有映射关系；

通过所述车位中心点提取网络得到所述车位中心点的坐标，以及，通过所述车位属性提取网络，利用所述车位中心点的坐标以及所述映射关系，得到所述车位属性中心点的坐标处的车位属性。

进一步地，上述所述的车位检测方法中，所述车位中心点热图包括车位中心点的坐标及所述车位中心点的坐标映射回训练图像的第一偏移量；

所述车位属性中心点热图包括车位属性中心点的坐标及所述车位属性中心点的坐标映射回训练图像的第二偏移量；

其中，所述映射关系基于所述第一偏移量和第二偏移量建立。

进一步地，上述所述的车位检测方法中，所述车位属性提取网络包括车位用途预测网络、车位内是否存在动态物体预测网络、车位内是否存在静态物体预测网络、车位类型预测网络和入口角点预测网络中的至少一种。

进一步地，上述所述的车位检测方法中，对所述待检测图像进行特征提取及融合，得到图像特征之前，还包括：

构建目标检测网络；其中，所述目标检测包括用于特征提取的骨干网络、用于特征融合的特征融合网络以及单阶段检测模型；

利用训练集对所述目标检测网络进行训练。

进一步地，上述所述的车位检测方法中，所述利用训练集对所述目标检测网络进行训练，包括：

针对所述车位中心点提取网络和所述车位属性提取网络选择各自的损失函数；

利用总损失函数进行反向传播，优化所述目标检测网络的参数，从而得到所述单阶段检测模型；其中，所述总损失函数基于所述车位中心点提取网络的损失函数和所述车位属性提取网络的损失函数构建。

在第二方面，本发明提供一种车位有效性判断方法，包括：

根据上述任一项所述的检测方法得到所述车位属性中心点的坐标处的车位属性，确定是否存在可用车位；

若存在可用车位，输出所述可用车位的信息。

在第三方面，提供一种车辆泊车方法，包括：

根据所述的车位有效性判断方法得到的可用车位的信息，生成泊车控制策略；

基于所述泊车控制策略，控制车辆泊车。

在第四方面，提供一种电子设备，包括处理器和存储装置，所述存储装置适于存储多条程序代码，其特征在于，所述程序代码适于由所述处理器加载并运行以执行上述任一项所述的车位检测方法、上述所述的车位有效性判断方法或者上述所述的车辆泊车方法。

在第五方面，提供一种车辆，包括如上述所述的电子设备。

在第六方面，提供一种计算机可读存储介质，其中存储有多条程序代码，其特征在于，所述程序代码适于由处理器加载并运行以执行上述任一项所述的车位检测方法、上述所述的车位有效性判断方法或者上述所述的车辆泊车方法。

本发明上述一个或多个技术方案，至少具有如下一种或多种有益效果：

在实施本发明的技术方案中，在获取当前场景的待检测图像后，可以对所述待检测图像进行特征提取及融合，得到图像特征，然后将所述图像特征输入已训练的单阶段检测模型中，利用单阶段检测模型中的车位中心点提取网络确定车位中心点热图和车位中心点热图中的车位中心点的坐标，通过单阶段检测模型中的车位属性提取网络，利用车位中心点的坐标与车位属性中心点的坐标之间的映射关系以及车位中心点的坐标，得到车位属性中心点的坐标处的车位属性，这样，可以同时检测出车位中心点的坐标和与车位中心点的坐标具有映射关系的车位属性，避免了两阶段检测模型造成的时间损耗较长的现象，从而提高了车位检测效率。

附图说明

参照附图，本发明的公开内容将变得更易理解。本领域技术人员容易理解的是：这些附图仅仅用于说明的目的，而并非意在对本发明的保护范围组成限制。此外，图中类似的数字用以表示类似的部件，其中：

图1是根据本发明的一个实施例的车位检测方法的主要步骤流程示意图；

图2是根据本发明的一个实施例的车位有效性判断方法的主要步骤流程示意图；

图3是根据本发明的一个实施例的电子设备的主要结构框图。

具体实施方式

下面参照附图来描述本发明的一些实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。

在本发明的描述中，“模块”、“处理器”可以包括硬件、软件或者两者的组合。一个模块可以包括硬件电路，各种合适的感应器，通信端口，存储器，也可以包括软件部分，比如程序代码，也可以是软件和硬件的组合。处理器可以是中央处理器、微处理器、图像处理器、数字信号处理器或者其他任何合适的处理器。处理器具有数据和/或信号处理功能。处理器可以以软件方式实现、硬件方式实现或者二者结合方式实现。非暂时性的计算机可读存储介质包括任何合适的可存储程序代码的介质，比如磁碟、硬盘、光碟、闪存、只读存储器、随机存取存储器等等。术语“A和/或B”表示所有可能的A与B的组合，比如只是A、只是B或者A和B。术语“至少一个A或B”或者“A和B中的至少一个”含义与“A和/或B”类似，可以包括只是A、只是B或者A和B。单数形式的术语“一个”、“这个”也可以包含复数形式。

在自动驾驶技术中，通常采用两阶段检测模型对车位框和车位属性进行检测，其检测过程通常为：从图像中提取到车位框，将车位框对应的图像进行裁剪，然后再针对裁剪的图像进一步识别，得到车位的各种属性。

然而，两阶段检测模型需要进行两次推理，且顺序调用，在车机端部署时，会因拷贝、处理器利用率问题导致实际推理时间大于两个模型分别推理的时间，且属性判断步骤的耗时与第一阶段检出的目标个数呈现线性关系。也就是说，现有的车位检测方法时间损耗严重，车位识别效率较低。

因此，为了解决上述技术问题，本发明提供了以下技术方案：

参阅附图1，图1是根据本发明的一个实施例的车位检测方法的主要步骤流程示意图。如图1所示，本发明实施例中的车位检测方法主要包括下列步骤101-步骤103。

步骤101、获取当前场景的待检测图像；

在一个具体实现过程中，可以采用但不限制于以下方法获取当前场景的待检测图像：采集所述当前场景的各个设定方向的环境图像；对所述各个设定方向的环境图像进行拼接处理，得到所述当前场景的待检测图像。

具体地，可以利用车辆上装设的摄像装置获得当前场景的初步图像，可以理解的是，车辆上装设的摄像装置无法实现完全垂直于地面的俯视拍摄。为获得俯视图像，在该示例方式中，可以将场景的初步图像拼接为全景图像。拼接全景图像的实现方式包括多种，此处对拼接方式不进行限定。最终，将全景图像转化为俯视图像作为所述当前场景的待检测图像。

步骤102、对所述待检测图像进行特征提取及融合，得到图像特征；

在一个具体实现过程中，可以通过训练后的目标检测网络中的骨干网络对待检测图像进行特征提取，得到不同尺度、不同感受野下、不同类别的目标特征，以满足目标检测需求，并利用目标检测网络中的特征融合网络，进行特征融合，最终得到所需要的图像特征。

步骤103、将所述图像特征输入已训练的单阶段检测模型中，通过所述车位中心点提取网络得到所述车位中心点的坐标，以及，通过所述车位属性提取网络，利用所述车位中心点的坐标以及所述映射关系，得到所述车位属性中心点的坐标处的车位属性。

在一个具体实现过程中，所述单阶段模型包括用于输出车位中心点热图的车位中心点提取网络和用于输出车位属性中心点热图的车位属性提取网络。其中，将车位中心点提取网络与车位属性提取网络并联设置，且所述车位中心点热图包括车位中心点的坐标及所述车位中心点的坐标映射回训练图像的第一偏移量；所述车位属性中心点热图包括车位属性中心点的坐标及所述车位属性中心点的坐标映射回训练图像的第二偏移量，这样，则可以根据第一偏移量和第二偏移量，得到车位中心点和车位属性中心点在训练图像上的几何关系，然后根据该几何关系构建车位中心点的坐标与车位属性中心点的坐标之间的映射关系，以便后续应用时，可以通过所述车位中心点提取网络得到所述车位中心点的坐标，同时，通过所述车位属性提取网络利用所述车位中心点的坐标以及所述映射关系，即可得到所述车位属性中心点的坐标处的车位属性。也就是说，无需再得到车位中心点的坐标后，截取车位中心点的坐标对应的车位框的图像，再对车位框的图像进行识别，得到车位的各种属性，减少了车位检测时间。

在一个具体实现过程中，所述车位属性提取网络包括车位用途预测网络、车位内是否存在动态物体预测网络、车位内是否存在静态物体预测网络、车位类型预测网络和入口角点预测网络中的至少一种。

其中，车位用途预测网络可以检测用于消防的车位属性等；车位内是否存在动态物体预测网络可以检测到存在行人等动态物体的车位属性；车位内是否存在静态物体预测网络可以检测到存在地锁、锥形桶、车辆等静态物体的车位属性；车位类型预测网络可以检测到平行车位、斜向车位、垂直车位、子母车位等类型的车位属性；入口角点预测网络可以检测到入口角点位置等车位属性。

本实施例的车位检测方法，在获取当前场景的待检测图像后，可以对所述待检测图像进行特征提取及融合，得到图像特征，然后将所述图像特征输入已训练的单阶段检测模型中，通过单阶段检测模型中的车位中心点提取网络确定车位中心点热图和车位中心点热图中的车位中心点的坐标，以及，通过单阶段检测模型中的车位属性提取网络，利用车位中心点的坐标与车位属性中心点的坐标之间的映射关系以及车位中心点的坐标，得到车位属性中心点的坐标处的车位属性，这样，可以同时检测出车位中心点的坐标和与车位中心点的坐标具有映射关系的车位属性，避免了两阶段检测模型造成的时间损耗较长的现象，从而提高了车位检测效率。

在一个具体实现过程中，单阶段检测模型的训练过程可以包括如下步骤：

(1)构建目标检测网络；

其中，所述目标检测包括用于特征提取的骨干网络、用于特征融合的特征融合网络以及单阶段检测模型。

(2)利用训练集对所述目标检测网络进行训练。

在一个具体实现过程中，可以针对所述车位中心点提取网络和所述车位属性提取网络选择各自的损失函数；然后利用训练集对目标检测网络进行前向传播，得到所述车位中心点提取网络的损失函数对应的第一损失值和所述车位属性提取网络的损失函数对应的第二损失值；然后将第一损失值和第二损失值代入总损失函数进行反向传播，优化所述目标检测网络的参数，从而得到所述单阶段检测模型；其中，所述总损失函数基于所述车位中心点提取网络的损失函数和所述车位属性提取网络的损失函数构建。如，所述总损失函数对应的计算式可以为如下计算式：

L＝α1La+α2Lb1+...+αnLbn

其中，L表示总损失值，La表示车位中心点提取网络的损失函数的损失值，α1表示车位中心点提取网络的权重，Lb1表示第一个车位属性提取网络的损失函数的损失值，α2表示第一个车位属性提取网络的权重，Lbn表示第一个车位属性提取网络的损失函数的损失值，αn表示第n个车位属性提取网络的权重。

需要指出的是，尽管上述实施例中将各个步骤按照特定的先后顺序进行了描述，但是本领域技术人员可以理解，为了实现本发明的效果，不同的步骤之间并非必须按照这样的顺序执行，其可以同时(并行)执行或以其他顺序执行，这些变化都在本发明的保护范围之内。

进一步，本发明还提供了一种车位有效性判断方法。

参阅附图2，图2是根据本发明的一个实施例的车位有效性判断方法的主要步骤流程示意图。如图2所示，本发明实施例中的车位有效性判断方法主要包括下列步骤201-步骤205。

步骤201、获取当前场景的待检测图像；

步骤202、对所述待检测图像进行特征提取及融合，得到图像特征；

步骤203、将所述图像特征输入已训练的单阶段检测模型中，通过所述车位中心点提取网络得到所述车位中心点的坐标，以及，通过所述车位属性提取网络，利用所述车位中心点的坐标以及所述映射关系，得到所述车位属性中心点的坐标处的车位属性；

上述步骤201-步骤203的实现过程请参考上述步骤101-步骤103的相关记载，在此不再赘述。

步骤204、根据所述车位属性中心点的坐标处的车位属性，确定是否存在可用车位；

在一个具体实现过程中，可以对所有的车位属性进行综合分析，然后得出车位是否可停的分析结果，从而确定出是否存在可用车位。如，车位属性表示消防类车位时，可以确定车位不可停，车位属性表示存在地锁、锥形桶、车辆等静态物体时，可以确定车位不可停，车位属性存在行人，可以确定车位等动态物体暂时不可停。其他情况可以确定车位可停。

步骤205、若存在可用车位，输出所述可用车位的信息。

在一个具体实现过程中，若存在可用车位，可以输出可用车位的信息，如可以对可用车位进行连通域分析，得到车位的目标区域，并将目标区域、入口角点的位置等作为可用车位的信息进行输出，以便车辆根据可用车位的信息进行泊车。

本实施例的车位有效性判断方法，能够快速检测到车位属性，并基于车位属性判断出车位是否有效，从而提高了车位检测效率。

进一步，本发明还提供了一种车辆泊车方法。

该车辆泊车方法在基于上述实施例的车位有效性判断方法得到可用车位的信息后，可以基于得到的可用车位的信息生成泊车控制策略，然后基于所述泊车控制策略，控制车辆泊车。

本领域技术人员能够理解的是，本发明实现上述一实施例的方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读存储介质可以包括：能够携带所述计算机程序代码的任何实体或装置、介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器、随机存取存储器、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读存储介质不包括电载波信号和电信信号。

进一步，本发明还提供了一种电子设备。

图3是根据本发明的一个实施例的电子设备的主要结构框图。如图3所示，本实施例的电子设备可以包括处理器31和存储装置32，存储装置32可以被配置成存储执行上述方法实施例的车位检测方法的程序、车位有效性判断方法的程序或车辆泊车方法的程序，处理器31可以被配置成用于执行存储装置32中的程序，该程序包括但不限于执行上述方法实施例的车位检测方法的程序、车位有效性判断方法的程序或车辆泊车方法的程序。

为了便于说明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照本发明实施例方法部分。该电子设备可以是包括各种电子设备形成的控制设备。

进一步，本发明还提供了一种计算机可读存储介质。在根据本发明的一个计算机可读存储介质实施例中，计算机可读存储介质可以被配置成存储执行上述方法实施例的车位检测方法的程序、车位有效性判断方法的程序或车辆泊车方法的程序，该程序可以由处理器加载并运行以实现上述车位检测方法、车位有效性判断方法或车辆泊车方法。

为了便于说明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照本发明实施例方法部分。该计算机可读存储介质可以是包括各种电子设备形成的存储装置设备，可选的，本发明实施例中计算机可读存储介质是非暂时性的计算机可读存储介质。

进一步，应该理解的是，由于各个模块的设定仅仅是为了说明本发明的装置的功能单元，这些模块对应的物理器件可以是处理器本身，或者处理器中软件的一部分，硬件的一部分，或者软件和硬件结合的一部分。因此，图中的各个模块的数量仅仅是示意性的。

本领域技术人员能够理解的是，可以对装置中的各个模块进行适应性地拆分或合并。对具体模块的这种拆分或合并并不会导致技术方案偏离本发明的原理，因此，拆分或合并之后的技术方案都将落入本发明的保护范围内。

至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (9)

1.一种车位检测方法，其特征在于，包括：

获取当前场景的待检测图像；

对所述待检测图像进行特征提取及融合，得到图像特征；

将所述图像特征输入已训练的单阶段检测模型中，其中，所述单阶段检测模型包括用于输出车位中心点热图的车位中心点提取网络和用于输出车位属性中心点热图的车位属性提取网络，其中，所述车位中心点热图包括车位中心点的坐标及所述车位中心点的坐标映射回训练图像的第一偏移量；所述车位属性中心点热图包括车位属性中心点的坐标及所述车位属性中心点的坐标映射回训练图像的第二偏移量，车位中心点热图中车位中心点的坐标与车位属性中心点热图中车位属性中心点的坐标之间具有映射关系；

通过所述车位中心点提取网络得到所述车位中心点的坐标，以及，通过所述车位属性提取网络，利用所述车位中心点的坐标以及所述映射关系，得到所述车位属性中心点的坐标处的车位属性；

所述方法还包括：根据第一偏移量和第二偏移量，得到车位中心点和车位属性中心点在训练图像上的几何关系，根据该几何关系构建车位中心点的坐标与车位属性中心点的坐标之间的所述映射关系。

2.根据权利要求1所述的车位检测方法，其特征在于，所述车位属性提取网络包括车位用途预测网络、车位内是否存在动态物体预测网络、车位内是否存在静态物体预测网络、车位类型预测网络和入口角点预测网络中的至少一种。

3. 根据权利要求1或2中任一项所述的方法，其特征在于，对所述待检测图像进行特征提取及融合， 得到图像特征之前，还包括：

构建目标检测网络；其中，所述目标检测包括用于特征提取的骨干网络、用于特征融合的特征融合网络以及单阶段检测模型；

利用训练集对所述目标检测网络进行训练。

4. 根据权利要求3所述的方法，其特征在于， 所述利用训练集对所述目标检测网络进行训练，包括：

针对所述车位中心点提取网络和所述车位属性提取网络选择各自的损失函数；

利用总损失函数进行反向传播，优化所述目标检测网络的参数，从而得到所述单阶段检测模型；其中，所述总损失函数基于所述车位中心点提取网络的损失函数和所述车位属性提取网络的损失函数构建。

5.一种车位有效性判断方法，其特征在于，包括：

根据权利要求1-4中任一项所述的检测方法得到所述车位属性中心点的坐标处的车位属性，确定是否存在可用车位；

若存在可用车位，输出所述可用车位的信息。

6.一种车辆泊车方法，其特征在于，包括：

根据权利要求5所述的车位有效性判断方法得到的可用车位的信息，生成泊车控制策略；

基于所述泊车控制策略，控制车辆泊车。

7.一种电子设备，包括处理器和存储装置，所述存储装置适于存储多条程序代码，其特征在于，所述程序代码适于由所述处理器加载并运行以执行权利要求1至4中任一项所述的车位检测方法、权利要求5所述的车位有效性判断方法或者权利要求6所述的车辆泊车方法。

8.一种车辆，其特征在于，包括如权利要求7所述的电子设备。

9.一种计算机可读存储介质，其中存储有多条程序代码，其特征在于，所述程序代码适于由处理器加载并运行以执行权利要求1至4中任一项所述的车位检测方法、权利要求5所述的车位有效性判断方法或者权利要求6所述的车辆泊车方法。