CN112298168A - 一种车位检测方法及装置、自动泊车方法及装置 - Google Patents

Abstract

本公开的实施例公开了一种车位检测方法及装置、自动泊车方法及装置，涉及车辆控制技术领域，主要目的在于提高自动泊车的计算量和成功率。本公开的实施例的主要技术方案包括：根据车辆外至少两个方位的图像，生成鸟瞰图像；以车位为整体目标对所述鸟瞰图像进行车位检测，确定检测出的车位的定位信息；控制深度学习模型作为虚拟射线发生器在鸟瞰图像上向所述车辆周围发射多条虚拟射线；根据各条所述虚拟射线的遮挡信息，确定所述车辆的可行驶区域；将所述车位的定位信息和所述车辆的可行驶区域，发送给自动泊车控制器，以供所述自动泊车控制器进行自动泊车操作。

Description

一种车位检测方法及装置、自动泊车方法及装置

技术领域

本公开的实施例涉及车辆控制技术领域，特别是涉及一种车位检测方法及装置、自动泊车方法及装置。

背景技术

随着自动驾驶技术的发展，自动泊车技术迅速崛起，以在不需要人工控制的情况下自动控制车辆停入到车位，从而减少用户的泊车操作。

在自动泊车过程中，首先需要进行车位检测，然后进行障碍物检测，最后根据车位检测结果和障碍物检测结果，自动控制车辆停入到车位。目前，现有的车位检测方案大多依赖角点检测和直线检测，一旦遇到车位角点或车位线出现遮挡、反光、模糊等情形时，车位检测成功率将显著下降。而现有的障碍物检测方案，通常采用对采集的车辆外图像进行语义分割的方式进行，需要对图像中每一个像素进行多分类，才可确定障碍物，因此障碍物检测的计算量大，且非常耗时。

发明内容

有鉴于此，本公开的实施例提出了一种车位检测方法及装置、自动泊车方法及装置，主要目的在于提高自动泊车的计算量和成功率。主要技术方案包括：

第一方面，本公开的实施例提供了一种车位检测方法，所述方法包括：

根据车辆外至少两个方位的图像，生成鸟瞰图像；

以车位为整体目标对所述鸟瞰图像进行车位检测，确定检测出的车位的定位信息；

控制深度学习模型作为虚拟射线发生器在所述鸟瞰图像上向所述车辆周围发射多条虚拟射线；

根据各条所述虚拟射线的遮挡信息，确定所述车辆的可行驶区域；

将所述车位的定位信息和所述车辆的可行驶区域，发送给自动泊车控制器，以供所述自动泊车控制器进行自动泊车操作。

第二方面，本公开的实施例提供了一种自动泊车方法，所述方法包括：

将车位的定位信息和车辆的可行驶区域，映射到世界坐标系下，得到所述车位相对于车辆的距离位置关系以及车辆在所述可行驶区域内的位置，其中，所述定位信息是以车位为整体目标对鸟瞰图像进行车位检测而确定的，所述可行驶区域是基于虚拟射线发生器在所述鸟瞰图像上向所述车辆周围发射多条虚拟射线的遮挡信息而确定的，所述鸟瞰图像基于车辆外至少两个方位的图像而得；

根据所述距离位置关系和所述车辆在所述可行驶区域内的位置，设定车辆的泊车路径；

根据所述泊车路径，控制车辆泊车。

第三方面，本公开的实施例提供了一种车位检测装置，所述装置包括：

生成单元，用于根据车辆外至少两个方位的图像，生成鸟瞰图像；

第一确定单元，用于以车位为整体目标对所述鸟瞰图像进行车位检测，确定检测出的车位的定位信息；

发射单元，用于控制深度学习模型作为虚拟射线发生器在所述鸟瞰图像上向所述车辆周围发射多条虚拟射线；

第二确定单元，用于根据各条所述虚拟射线的遮挡信息，确定所述车辆的可行驶区域；

发送单元，用于将所述车位的定位信息和所述车辆的可行驶区域，发送给自动泊车控制器，以供所述自动泊车控制器进行自动泊车操作。

第四方面，本公开的实施例提供了一种自动泊车控制器，所述自动泊车控制器包括：

映射单元，用于将车位的定位信息和车辆的可行驶区域，映射到世界坐标系下，得到所述车位相对于车辆的距离位置关系以及车辆在所述可行驶区域内的位置，其中，所述定位信息是以车位为整体目标对鸟瞰图像进行车位检测而确定的，所述可行驶区域是基于虚拟射线发生器向在所述鸟瞰图像上所述车辆周围发射多条虚拟射线的遮挡信息而确定的，所述鸟瞰图像基于车辆外至少两个方位的图像而得；

设定单元，用于根据所述距离位置关系和所述车辆在所述可行驶区域内的位置，设定车辆的泊车路径；

控制单元，用于根据所述泊车路径，控制车辆泊车。

第五方面，本公开的实施例提供了一种车辆，所述车辆包括：第三方面所述的车位检测装置以及第四方面所述的自动泊车控制器。

第六方面，本公开的实施例提供了一种存储介质，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行第一方面中所述的车位检测方法或第二方面中所述的自动泊车方法。

第七方面，本公开的实施例提供了一种人机交互装置，所述装置包括存储介质，及一个或者多个处理器，所述存储介质与所述处理器耦合，所述处理器被配置为执行所述存储介质中存储的程序指令；所述程序指令运行时执行第一方面中所述的车位检测方法或第二方面中所述的自动泊车方法。

本公开的实施例提供的车位检测方法及装置、自动泊车方法及装置，能够根据车辆外至少两个方位的图像生成鸟瞰图像，并以车位为整体目标对鸟瞰图像进行车位检测，确定检测出的车位的定位信息。然后控制深度学习模型作为虚拟射线发生器向在鸟瞰图像上车辆周围发射多条虚拟射线，从根据各条虚拟射线的遮挡信息，确定车辆的可行驶区域。最后将车位的定位信息和车辆的可行驶区域，发送给自动泊车控制器，以供自动泊车控制器进行自动泊车操作。可见，本公开的实施例能够将车位视为整体目标进行检测，即使车位的车位线存在模糊不清或反光等极端情况，也可准确的对车位进行识别确定。另外障碍物的检测无需复杂的算法，通过虚拟射线的遮挡信息就可完成，便可形成车辆的可行驶区域。因此本公开的实施例能够提高自动泊车的计算量和成功率。

上述说明仅是本公开的实施例技术方案的概述，为了能够更清楚了解本公开的实施例的技术手段，而可依照说明书的内容予以实施，并且为了让本公开的实施例的上述和其它目的、特征和优点能够更明显易懂，以下特举本公开的实施例的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本公开的实施例的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了本公开的实施例提供的一种车位检测方法的流程图；

图2示出了本公开的实施例提供的一种车位示意图；

图3示出了本公开的实施例提供的一种旋转矩形框的抽象示意图；

图4示出了本公开的实施例提供的一种车辆的可行驶区域的示意图；

图5示出了本公开的实施例提供的另一种车位检测方法的流程图；

图6示出了本公开的实施例提供的一种自动泊车方法的流程图；

图7示出了本公开的实施例提供的一种车位检测装置的组成框图；

图8示出了本公开的实施例提供的另一种车位检测装置的组成框图；

图9示出了本公开的实施例提供的一种自动泊车控制器的组成框图；

图10示出了本公开的实施例提供的一种车辆的组成框图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

第一方面，本公开的实施例提供了一种车位检测方法，如图1所示，所述方法主要包括：

101、根据车辆外至少两个方位的图像，生成鸟瞰图像。

在实际应用中，车辆中通常部署有两个或两个以上的车载摄像头，这些车载摄像头部署在车辆中的不同方位，用于采集车辆外的图像，以供车辆自动驾驶或自动泊车使用。车载摄像头的部署数量以及各车载摄像头在车辆中部署的方位均可基于业务要求设定。示例性的，为了使得车载摄像头所采集的图像能够完整反映车辆所处的环境，则在车辆中设置多个摄像头，这些车载摄像头所采集的图像能够反映出车辆周围的环视环境。比如，车辆中设置四个车载摄像头，四个车载摄像头分别设置在车头、车尾和车辆的左右两侧，则这些车载摄像头采集的图像即为车辆外前方的图像、车辆外后方的图像、车辆外左侧的图像或车辆外右侧的图像，使用这四个方位的图像生成的鸟瞰图像，能够还原出车辆周围的环视环境。

生成鸟瞰图像的过程就是将图像平面中的信息“重投影”到地平面上的过程。下面对根据车辆外至少两个方位的图像生成鸟瞰图像具体过程进行说明，该过程可以为：首先确定图像平面和地面平面这两个平面间的投影变换关系；然后通过在地平面上放置标定板图像，然后获得地平面上棋盘格图像上四个顶点的坐标；再在车辆外图像的图像平面提取角点，获得与地平面上四个点对应的角点在图像中的坐标值，通过四个坐标点间的对应关系，获得地平面到图像平面间的投影变换关系；最后对图像进行逆向映射到地平面空间中，得到鸟瞰图像。

车辆外至少两个方位的图像中会包括有车辆所处环境中的车位信息，从而基于车辆外至少两个方位的图像生成的鸟瞰图像中，也会包括车位信息，因此鸟瞰图像是确定车位的直接依据。

进一步的，下面对车辆外至少两个方位的图像的获取方法进行说明，该方法至少包括如下两种：

第一种，判断车辆的位置是否发生变动；若判断出发生变动，则采集车辆外至少两个方位的图像。

判断车辆的位置是否发生变动的依据是车辆的坐标，在车辆的坐标发生变动时，则确定车辆的位置发生变动，反之，则确定车辆的位置未发生变动。

在确定车辆的位置发生变动时，说明其周围的车位或障碍物可能发生变动，则为了辅助车辆更好进行自动泊车，则需要采集车辆外至少两个方向的图像，供确定车位的定位信息和车辆的可行驶区域使用。

在确定车辆的位置未发生变动时，说明其周围的车位或障碍物未发生变动，使用之前采集的图像，仍可供确定车位的定位信息和车辆的可行驶区域使用。

第二种，判断是否开始新的图像采集周期；若判断出开始新的图像采集周期，采集所述车辆外至少两个方位的图像。

在确定开始新的图像采集周期时，说明其周围的车位或障碍物可能发生变动，则为了辅助车辆更好进行自动泊车，则需要采集车辆外至少两个方向的图像，供确定车位的定位信息和车辆的可行驶区域使用。

在确定未开始新的图像采集周期时，说明其周围的车位或障碍物未发生变动，使用之前采集的图像，仍可供确定车位的定位信息和车辆的可行驶区域使用。

102、以车位为整体目标对所述鸟瞰图像进行车位检测，确定检测出的车位的定位信息。

为了提高车位检测的准确性，则在对鸟瞰图像中的车位进行检测时，以车位为整体目标进行。以车位为整体目标对鸟瞰图像进行车位检测的目的在于，即使车位角点或车位线，受到遮挡或车位线污损，只要能够确定车位为特定形状，则仍然能够有效检测到车位，而不会忽略掉受到遮挡或污损的车位。需要说明的是，该特定形状为车位的形状。示例性的，如图2所示，图2中为一个车位，该车位的一个角点和一个车位线上均存在污渍，但以车位为整体目标对鸟瞰图像进行车位检测时，仍能够确定该车位为矩形，因此能够检测出该车位。

下面以车位为整体目标对鸟瞰图像进行车位检测的过程进行说明，该过程为：

步骤一：以车位的整体形状为先验知识，对鸟瞰图像进行车位检测。

该步骤的具体实现方式可以包括如下两种：

一是，设置一种先验知识为车位通用形状的深度神经网络模型。示例性的，目前大部分车位的整体形状为矩形，因此，设置一个先验知识为矩形的深度神经网络模型，然后使用该深度神经网络模型对鸟瞰图像进行车位检测。

二是，为了能够检测出不同形状的车位，则设置多个检测车位用的深度神经网络模型，且每一个深度神经网络模型具有其各自对应的先验知识，且不同的深度神经网络模型对应不同的先验知识。在需要对车辆进行自动泊车时，选用先验知识与泊车地点车位整体形状相同的深度神经网络模型对鸟瞰图像进行车位检测。

步骤二：若检测出鸟瞰图像中存在车位，确定检测出的车位的车位尺寸、车位的第一边相对于第一预设轴的角度以及车位的特定点在图像坐标系下的坐标，其中，所述特定点为车位的中心点或角点。

若检测出鸟瞰图像中存在车位，则说明车辆所处的环境中存在车位，符合自动泊车条件，则为了能够使车辆能够自动泊车至车位中，需要确定出车位的定位信息。依据该车位的定位信息，在自动泊车控制器进行自动泊车操作时，就能确定车位的大小、车位的位置以及以什么样的角度控制车辆进入车位。

车位的定位信息包括有车位尺寸、车位的第一边相对于第一预设轴的角度以及车位的特定点在图像坐标系下的坐标。其中，车位尺寸表征车位的大小，比如，车位为矩形时，车位的尺寸用车位的长度和宽度表征。车位的特定点在图像坐标系下的坐标表征车位的具体位置，该特定点可以是车位的中心点或角点。车位的第一边相对于第一预设轴的角度表征车位的类型，从该角度可以判别出车位是垂直车位、倾斜车位、弯道车位还是U型线车位这种无明显角点车位。这里所述的第一边和第一预设轴均可以根据业务要求确定。示例性的，该第一边为车位的宽边，该第一预设轴为图像坐标系下的X轴。

为了更好的说明车位的定位信息，下面以图3为例进行说明：如图3所示，以车位为整体目标，将车位抽象为旋转矩形框，对鸟瞰图像进行车位检测，检测出的车位C的宽度为W，长度为H，中心点在图像坐标系下的坐标为(x，y)，边C1与X轴的夹角为β。

步骤三：若未检测出鸟瞰图像中存在车位，则重新采集车辆外至少两个方位的图像，重新生成鸟瞰图像，执行步骤102。

若未检测出鸟瞰图像中存在车位，则说明车辆所处的当前环境中不存在车位，不符合自动泊车条件。为了能够自动泊车，则在车辆移动时，重新采集车辆外至少两个方位的图像，以重新生成鸟瞰图像，并对新生成的鸟瞰图像进行车位检测。

103、控制深度学习模型作为虚拟射线发生器在鸟瞰图像上向所述车辆周围发射多条虚拟射线。

在确定车位以后，并不代表车位可用于泊车，因为车位可能被障碍物占用。另外，由于在自动泊车需要调整车辆的位置，才能够停入到车位，因此需要对鸟瞰图像所涉及的区域进行障碍物检测，以确定调整车辆位置所用的可行驶区域，以供车辆自动泊车使用。障碍物检测通过虚拟射线发生器进行，该虚拟射线发生器为预设的深度学习模型。

下面对控制深度学习模型作为虚拟射线发生器在所述鸟瞰图像上向车辆周围发射多条虚拟射线的具体进行说明，该过程为：以鸟瞰图像的图像坐标系下的任意一点的坐标为原点，控制深度学习模型作为虚拟射线发生器在鸟瞰图像上向车辆周围每隔设定角度发射一条虚拟射线。

鸟瞰图像的图像坐标系下的任意一点可以为鸟瞰图像的中心点，以该原点为发射原点，控制虚拟射线发生器向周围360°每隔设定角度发射一条虚拟射线出去。其中，该设定角度的大小可以基于业务需求确定的，需要说明的是，为了能够更为全面的检测出障碍物，则设定角度可以设定较小，比如1°。示例性，如图4所示，D为车辆，原点为D1，设定角度为γ，控制虚拟射线发生器向周围360°每隔γ发射一条虚拟射线出去。需要说明的是，图4中并未表示出所有的虚拟射线，仅画出3条虚拟射线T1、T2和T3进行说明。

104、根据各条所述虚拟射线的遮挡信息，确定所述车辆的可行驶区域。

各条虚拟射线的遮挡信息可以体现出障碍物的具体位置，因此可以根据各虚拟射线的遮挡信息确定出车辆的可行驶区域，该可行驶区域中不存在障碍物，车辆可在该可行驶区域内行驶，并进行位置调整。

下面对根据各条虚拟射线的遮挡信息确定车辆的可行驶区域的具体过程进行说明，该过程包括如下步骤一至步骤五：

步骤一、根据各条虚拟射线的遮挡信息，确定各虚拟射线达到的最远距离。

在虚拟射线发生器发射出虚拟射线之后，若虚拟射线被障碍物遮挡，则会有相应的遮挡信息产生，该遮挡信息能够体现出虚拟射线可达到的最远距离，该最远距离对应的位置即为障碍物所在的位置。在实际应用中，该遮挡信息可以包括但不限于如下两种：一是，该遮挡信息直接为虚拟射线可达到的最远距离，因为一些特定的虚拟射线发生器可以测定该最远距离。二是，虚拟射线发生器发射一个虚拟射线出去时，由计时器记录下发出的时间，在接收到返回虚拟射线时，记录下返回射线时间，两个时间的差值即为遮挡信息。通过两个时间的差值和光速便可计算出虚拟射线的最远距离。其中，该返回射线是虚拟射线遇到障碍物时产生的，该障碍物为障碍物在鸟瞰图像上的对应的像素点。

示例性的，如图4所示，第一条虚拟射线T1所达到的最远距离为d1，第二条虚拟射线T2所达到的最远距离为d2，第三条虚拟射线T3所达到的最远距离为d3。

步骤二、根据各虚拟射线达到的最远距离，确定各虚拟射线的最远距离在图像坐标系下对应的坐标。

各条虚拟射线达到的最远距离所对应的位置即为障碍物所在的位置，可见，各虚拟射线的最远距离在图像坐标系下对应的坐标即为障碍物所在位置的坐标。因此，为了明确出障碍物的位置，需要确定各虚拟射线的最远距离在图像坐标系下对应的坐标。

确定各虚拟射线的最远距离在图像坐标系下对应的坐标的方法可以为：确定原点在图像坐标系对应的坐标，根据该坐标以及虚拟射线的最远距离，确定该最远距离在图像坐标系下对应的坐标。

示例性的，如图4所示，第一条虚拟射线T1所达到的最远距离在图像坐标系下对应的坐标为(x1，y1)，第二条虚拟射线T2所达到的最远距离在图像坐标系下对应的坐标为(x2，y2)，第三条虚拟射线T3所达到的最远距离在图像坐标系下对应的坐标为(x3，y3)。

步骤三、将最远距离对应的坐标位于鸟瞰图像内的各虚拟射线的目标坐标，确定为最远距离对应的坐标。

由于可行驶区域是基于鸟瞰图像获取的，因此将最远距离对应的坐标位于鸟瞰图像内的各虚拟射线的目标坐标，确定为最远距离对应的坐标。

示例性的，如图4所示，第一条虚拟射线T1所达到的最远距离在图像坐标系下对应的坐标(x1，y1)以及第二条虚拟射线T2所达到的最远距离在图像坐标系下对应的坐标(x2，y2)，均位于鸟瞰图像内，故将第一条虚拟射线T1和第二条虚拟射线T2的目标坐标，分别确定为其最远距离对应的坐标。

步骤四、将最远距离对应的坐标位于所述鸟瞰图像边缘的各所述虚拟射线的目标坐标，确定为所述虚拟射线与所述鸟瞰图像边缘交叉处的坐标。

由于可行驶区域是基于鸟瞰图像获取的，因此将最远距离对应的坐标位于鸟瞰图像边缘的各虚拟射线的目标坐标，确定为虚拟射线与鸟瞰图像边缘交叉处的坐标。

示例性的，如图4所示，第三条虚拟射线T3所达到的最远距离在图像坐标系下对应的坐标(x3，y3)，位于鸟瞰图像的边缘，因此，将虚拟射线T3与鸟瞰图像边缘交叉处E的坐标(x3，y3)，确定为第三条虚拟射线T3的目标坐标。

步骤五、基于各虚拟射线的目标坐标，确定可行驶区域。

在实际应用中，基于各虚拟射线的目标坐标确定可行驶区域的方法至少包括如下两种：

第一种，依次连接各虚拟射线的目标坐标，形成可行驶区域。

此种方法直接连接相邻的目标坐标即可形成可行驶区域。

示例性的，如图4所示，粗线条R即为依次连接各虚拟射线的目标坐标所形成，线条R内的区域即为可行驶区域，该可行驶区域之内无障碍物存在，在自动泊车时在该可行驶区域内控制车辆行驶和泊车。

第二种，对于任意相邻的两个虚拟射线均执行：确定相邻的两个虚拟射线的目标坐标之间的插值点；依次连接各虚拟射线的目标标注和各所述插值点，形成所述可行驶区域。

为了使得可行驶区域的边界更为圆滑，则需要确定任意相邻的两个虚拟射线的目标坐标之间的插值点，该插值点位于相邻的两个虚拟射线的目标坐标之间。

在确定出各相邻的两个虚拟射线的目标坐标之间的插值点之后，依次连接各虚拟射线的目标标注和各插值点，形成可行驶区域。该可行驶区域之内无障碍物存在，在自动泊车时刻在该可行驶区域内控制车辆行驶和泊车。

进一步的，由于可行驶区域的边缘是障碍物的所在处，不同的障碍物在泊车时，车辆与障碍物之间的距离有不同的需求，因此需要确定出各障碍物的属性，以供自动泊车时进行泊车路线规划使用。故在根据各虚拟射线达到的最远距离，确定各虚拟射线的最远距离在图像坐标系下对应的坐标之后，还可以执行如下步骤一至步骤三：

步骤一：确定最远距离对应的坐标位于鸟瞰图像内的各虚拟射线。

最远距离对应的坐标位于鸟瞰图像内的虚拟射线所对应的障碍物在鸟瞰图像所涉及的区域内，因此需要确定最远距离对应的坐标位于鸟瞰图像内的各虚拟射线。

步骤二、标注确定的各虚拟射线对应的障碍物的障碍物属性。

不同的障碍物在泊车时，车辆与障碍物之间的距离有不同的需求，因此需要标注障碍物属性。该障碍物属性的标注方法为：通过特定的障碍物检测模型，对鸟瞰图像进行检测，并对检测出的障碍物进行障碍物属性标注。

步骤三、将确定的各虚拟射线对应的障碍物的障碍物属性，发送给自动泊车控制器。

在标注出障碍物的障碍物属性之后，在将车位的定位信息和车辆的可行驶区域发送给自动泊车控制器的同时，将障碍物的障碍物属性发送给自动泊车控制器，以便自动泊车控制器进行泊车路线规划。

105、将所述车位的定位信息和所述车辆的可行驶区域，发送给自动泊车控制器，以供所述自动泊车控制器进行自动泊车操作。

在实际应用中，为了提高数据传输的安全性，在确定出车位的定位信息和车辆的可行驶区域之后，先对二者进行加密，然后将加密后的数据发送给自动泊车控制器，以供自动泊车控制器进行自动泊车操作。

本公开的实施例提供的车位检测方法，能够根据车辆外至少两个方位的图像生成鸟瞰图像，并以车位为整体目标对鸟瞰图像进行车位检测，确定检测出的车位的定位信息。然后控制深度学习模型作为虚拟射线发生器向在鸟瞰图像上车辆周围发射多条虚拟射线，从根据各条虚拟射线的遮挡信息，确定车辆的可行驶区域。最后将车位的定位信息和车辆的可行驶区域，发送给自动泊车控制器，以供自动泊车控制器进行自动泊车操作。可见，本公开的实施例能够将车位视为整体目标进行检测，即使车位的车位线存在模糊不清或反光等极端情况，也可准确的对车位进行识别确定。另外障碍物的检测无需复杂的算法，通过虚拟射线的遮挡信息就可完成，便可形成车辆的可行驶区域。因此本公开的实施例能够提高自动泊车的计算量和成功率。

第二方面，依据第一方面所述的方法，本公开的另一个实施例还提供了一种车位检测方法，如图5所示，所述方法主要包括：

201、判断车辆的位置是否发生变动，若是，执行步骤202；否则继续执行本步骤。

202、采集车辆外至少两个方位的图像。

203、根据车辆外至少两个方位的图像，生成鸟瞰图像。

204、以所述车位的整体形状为先验知识，对所述鸟瞰图像进行车位检测。

205、若检测出所述鸟瞰图像中存在车位，确定检测出的车位的车位尺寸、车位的第一边相对于第一预设轴的角度以及车位的特定点在图像坐标系下的坐标，其中，所述特定点为车位的中心点或角点。

206、以所述鸟瞰图像的图像坐标系下的任意一点的坐标为原点，控制深度学习模型作为虚拟射线发生器在所述鸟瞰图像上向所述车辆周围每隔设定角度发射一条所述虚拟射线。

207、根据各所述虚拟射线达到的最远距离，确定各所述虚拟射线的最远距离在图像坐标系下对应的坐标，执行208和212。

208、将最远距离对应的坐标位于所述鸟瞰图像内的各所述虚拟射线的目标坐标，确定为最远距离对应的坐标。

209、将最远距离对应的坐标位于所述鸟瞰图像边缘的各所述虚拟射线的目标坐标，确定为所述虚拟射线与所述鸟瞰图像边缘交叉处的坐标。

210、对于任意相邻的两个所述虚拟射线均执行：确定相邻的两个所述虚拟射线的目标坐标之间的插值点。

211、依次连接各所述虚拟射线的目标标注和各所述插值点，形成所述可行驶区域，执行214。

212、确定最远距离对应的坐标位于所述鸟瞰图像内的各所述虚拟射线。

213、标注确定的各虚拟射线对应的障碍物的障碍物属性。

214、将所述车位的定位信息、所述车辆的可行驶区域和标注的障碍物属性，发送给自动泊车控制器，以供所述自动泊车控制器进行自动泊车操作。

第三方面，本公开的实施例提供了一种自动泊车方法，如图6所示，所述方法主要包括：

301、将车位的定位信息和车辆的可行驶区域，映射到世界坐标系下，得到所述车位相对于车辆的距离位置关系以及车辆在所述可行驶区域内的位置。

本实施例中所述的定位信息是以车位为整体目标对鸟瞰图像进行车位检测而确定的。以车位为整体目标对鸟瞰图像进行车位检测的目的在于，即使车位角点或车位线，受到遮挡或车位线污损，只要能够确定车位为特定形状，则仍然能够有效检测到车位，而不会忽略掉受到遮挡或污损的车位。

本实施例中所述的可行驶区域是基于虚拟射线发生器在鸟瞰图像上向所述车辆周围发射多条虚拟射线的遮挡信息而确定的，所述鸟瞰图像基于车辆外至少两个方位的图像而得。在虚拟射线发生器发射出虚拟射线之后，若虚拟射线被障碍物遮挡，则会有相应的遮挡信息产生，该遮挡信息能够体现出虚拟射线可达到的最远距离，该最远距离对应的位置即为障碍物所在的位置。可行驶区域就是以障碍物所在位置确定的一个区域，该可行驶区域的边缘处即为障碍物所在的位置，而在可行驶区域内并不存在障碍物，因此，该可行驶区域是自动泊车是车辆可以移动和方位调整的区域。

在本实施例中，车位的定位信息和车辆的可行驶区域均是根据鸟瞰图像的图像坐标系而得的信息，而车辆在自动泊车时，是在世界坐标系这个真实的坐标系下进行的，因此需要将车位的定位信息和车辆的可行驶区域，映射到世界坐标系下，得到车位相对于车辆的距离位置关系以及车辆在可行驶区域内的位置。

车位相对于车辆的距离位置关系除了车辆和车位之间的距离之外，还包括车辆与车位的特定点之间的角度关系，以便在自动泊车时进行车辆的角度调整。其中，该特定点可以为车位的中心点或角点。

车辆在可行驶区域内的位置即为车辆在可行驶区域内的坐标，以便在自动泊车时，基于车辆可行驶区域内的坐标和可行驶区域的边缘所涉及的坐标，为车辆规划移动路线，避免车辆与障碍物相碰。

302、根据所述距离位置关系和所述车辆在所述可行驶区域内的位置，设定车辆的泊车路径。

本实施例中设定泊车路径的方法可以为：根据可行驶区域的边界位置以及车辆和车位之间的距离位置关系，选取出剩余空间可停放车辆的车位。在确定车位之后，依据车辆和车辆之间的距离和角度，以及可行驶区域，设定出车辆的泊车路径，该泊车路径中车辆不能与可行驶区域边缘处的障碍物相碰。

303、根据所述泊车路径，控制车辆泊车。

在确定泊车路径后，控制车辆进行泊车处理。需要说明的是，自动泊车控制器根据泊车路径控制车辆泊车时，一旦获取到新的车位的定位信息和车辆的可行驶区域，则会重新设定泊车路径，在设定新的泊车路径之后，不再使用旧的泊车路径，继续利用新的泊车路径进行泊车处理。

本公开的实施例提供的自动泊车方法，规划泊车路径所用的车位信息是将车位视为整体目标进行检测而得，即使车位的车位线存在模糊不清或反光等极端情况，也可准确的对车位进行识别确定。规划泊车路径所用的可行驶区域的确定所涉及的障碍物的检测无需复杂的算法，通过虚拟射线的遮挡信息就可完成，形成车辆的可行驶区域。因此本公开的实施例能够提高自动泊车的计算量和成功率。

第四方面，依据图1或图5所示的方法，本公开的另一个实施例还提供了一种车位检测装置，如图7所示，所述装置主要包括：

生成单元41，用于根据车辆外至少两个方位的图像，生成鸟瞰图像；

第一确定单元42，用于以车位为整体目标对所述鸟瞰图像进行车位检测，确定检测出的车位的定位信息；

发射单元43，用于控制深度学习模型作为虚拟射线发生器在所述鸟瞰图像上向所述车辆周围发射多条虚拟射线；

第二确定单元44，用于根据各条所述虚拟射线的遮挡信息，确定所述车辆的可行驶区域；

发送单元45，用于将所述车位的定位信息和所述车辆的可行驶区域，发送给自动泊车控制器，以供所述自动泊车控制器进行自动泊车操作。

本公开的实施例提供的车位检测装置，能够根据车辆外至少两个方位的图像生成鸟瞰图像，并以车位为整体目标对鸟瞰图像进行车位检测，确定检测出的车位的定位信息。然后控制深度学习模型作为虚拟射线发生器向在鸟瞰图像上车辆周围发射多条虚拟射线，从根据各条虚拟射线的遮挡信息，确定车辆的可行驶区域。最后将车位的定位信息和车辆的可行驶区域，发送给自动泊车控制器，以供自动泊车控制器进行自动泊车操作。可见，本公开的实施例能够将车位视为整体目标进行检测，即使车位的车位线存在模糊不清或反光等极端情况，也可准确的对车位进行识别确定。另外障碍物的检测无需复杂的算法，通过虚拟射线的遮挡信息就可完成，便可形成车辆的可行驶区域。因此本公开的实施例能够提高自动泊车的计算量和成功率。

在一些实施例中，如图8所示，第一确定单元42包括：

检测模块421，用于以所述车位的整体形状为先验知识，对所述鸟瞰图像进行车位检测；

第一确定模块422，用于若检测出所述鸟瞰图像中存在车位，确定检测出的车位的车位尺寸、车位的第一边相对于第一预设轴的角度以及车位的特定点在图像坐标系下的坐标，其中，所述特定点为车位的中心点或角点。

在一些实施例中，如图8所示，发射单元43，用于以所述鸟瞰图像的图像坐标系下的任意一点的坐标为原点，控制深度学习模型作为虚拟射线发生器在所述鸟瞰图像上向所述车辆周围每隔设定角度发射一条所述虚拟射线。

在一些实施例中，如图8所示，第二确定单元44包括：

第二确定模块441，用于根据各条所述虚拟射线的遮挡信息，确定各所述虚拟射线达到的最远距离；根据各所述虚拟射线达到的最远距离，确定各所述虚拟射线的最远距离在图像坐标系下对应的坐标；

第三确定模块442，用于将最远距离对应的坐标位于所述鸟瞰图像内的各所述虚拟射线的目标坐标，确定为各所述虚拟射线最远距离对应的坐标；将最远距离对应的坐标位于所述鸟瞰图像边缘的各所述虚拟射线的目标坐标，确定为各所述虚拟射线与所述鸟瞰图像边缘交叉处的坐标；

第四确定模块443，用于基于各所述虚拟射线的目标坐标，确定所述可行驶区域。

在一些实施例中，如图8所示，第四确定模块443，用于依次连接各所述虚拟射线的目标坐标，形成所述可行驶区域。

在一些实施例中，如图8所示，第四确定模块443，用于对于任意相邻的两个所述虚拟射线均执行：确定相邻的两个所述虚拟射线的目标坐标之间的插值点；依次连接各所述虚拟射线的目标标注和各所述插值点，形成所述可行驶区域。

在一些实施例中，如图8所示，第二确定单元44还包括：

第五确定模块444，用于在第二确定模块441根据各所述虚拟射线达到的最远距离，确定各所述虚拟射线的最远距离在图像坐标系下对应的坐标之后，确定最远距离对应的坐标位于所述鸟瞰图像内的各所述虚拟射线；标注确定的各虚拟射线对应的障碍物的障碍物属性；将确定的各虚拟射线对应的障碍物的障碍物属性，发送给所述自动泊车控制器。

在一些实施例中，如图8所示，所述装置还包括：

第一采集单元47，用于判断所述车辆的位置是否发生变动；若判断出发生变动，则采集所述车辆外至少两个方位的图像。

在一些实施例中，如图8所示，所述装置还包括：

第二采集单元48，用于判断是否开始新的图像采集周期；若判断出开始新的图像采集周期，采集所述车辆外至少两个方位的图像。

第四方面的实施例提供的车位检测装置，可以用以执行第一方面或第二方面的实施例所提供的车位检测方法，相关的用于的含义以及具体的实施方式可以参见第一方面或第二方面的实施例中的相关描述，在此不再详细说明。

第五方面，依据图6所示的方法，本公开的另一个实施例还提供了一种自动泊车控制器，如图9所示，所述自动泊车控制器主要包括：

映射单元51，用于将车位的定位信息和车辆的可行驶区域，映射到世界坐标系下，得到所述车位相对于车辆的距离位置关系以及车辆在所述可行驶区域内的位置，其中，所述定位信息是以车位为整体目标对鸟瞰图像进行车位检测而确定的，所述可行驶区域是基于虚拟射线发生器在所述鸟瞰图像上向所述车辆周围发射多条虚拟射线的遮挡信息而确定的，所述鸟瞰图像基于车辆外至少两个方位的图像而得；

设定单元52，用于根据所述距离位置关系和所述车辆在所述可行驶区域内的位置，设定车辆的泊车路径；

控制单元53，用于根据所述泊车路径，控制车辆泊车。

本公开的实施例提供的自动泊车装置，规划泊车路径所用的车位信息是将车位视为整体目标进行检测而得，即使车位的车位线存在模糊不清或反光等极端情况，也可准确的对车位进行识别确定。规划泊车路径所用的可行驶区域的确定所涉及的障碍物的检测无需复杂的算法，通过虚拟射线的遮挡信息就可完成，形成车辆的可行驶区域。因此本公开的实施例能够提高自动泊车的计算量和成功率。

第五方面的实施例提供的自动泊车控制器，可以用以执行第三方面的实施例所提供的自动泊车方法，相关的用于的含义以及具体的实施方式可以参见第三方面的实施例中的相关描述，在此不再详细说明。

第六方面，本公开的另一个实施例还提供了一种车辆，如图10所示，所述车辆主要包括：

第四方面所述的车位检测装置61以及第五方面所述的自动泊车控制器62。

本公开的实施例提供的车辆，车位检测装置能够将车位视为整体目标进行检测，即使车位的车位线存在模糊不清或反光等极端情况，也可准确的对车位进行识别确定。另外障碍物的检测无需复杂的算法，通过虚拟射线的遮挡信息就可完成，并可形成车辆的可行驶区域。因此本公开的实施例能够提高自动泊车的计算量和成功率。

第七方面，本公开的实施例提供了一种存储介质，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行第一方面或第二方面中任一项所述的车位检测方法或第三方面中所述的自动泊车方法。

存储介质可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。

第八方面，本公开的实施例提供了一种人机交互装置，所述装置包括存储介质，及一个或者多个处理器，所述存储介质与所述处理器耦合，所述处理器被配置为执行所述存储介质中存储的程序指令；所述程序指令运行时执行第一方面或第二方面中任一项所述的车位检测方法或第三方面中所述的自动泊车方法。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

本领域内的技术人员应明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开的实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开的实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照本公开的实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本公开的实施例可提供为方法、系统或计算机程序产品。因此，本公开的实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本公开的实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (15)

1.一种车位检测方法，其特征在于，所述方法包括：

根据车辆外至少两个方位的图像，生成鸟瞰图像；

以车位为整体目标对所述鸟瞰图像进行车位检测，确定检测出的车位的定位信息；

控制深度学习模型作为虚拟射线发生器在所述鸟瞰图像上向所述车辆周围发射多条虚拟射线；

根据各条所述虚拟射线的遮挡信息，确定所述车辆的可行驶区域；

将所述车位的定位信息和所述车辆的可行驶区域，发送给自动泊车控制器，以供所述自动泊车控制器进行自动泊车操作。

2.根据权利要求1所述的方法，其特征在于，以车位为整体目标对所述鸟瞰图像进行车位检测，确定检测出的车位的定位信息，包括：

以所述车位的整体形状为先验知识，对所述鸟瞰图像进行车位检测；

若检测出所述鸟瞰图像中存在车位，确定检测出的车位的车位尺寸、车位的第一边相对于第一预设轴的角度以及车位的特定点在图像坐标系下的坐标，其中，所述特定点为车位的中心点或角点。

3.根据权利要求1所述的方法，其特征在于，控制深度学习模型作为虚拟射线发生器在所述鸟瞰图像上向所述车辆周围发射多条虚拟射线，包括：

以所述鸟瞰图像的图像坐标系下的任意一点的坐标为原点，控制深度学习模型作为虚拟射线发生器在所述鸟瞰图像上向所述车辆周围每隔设定角度发射一条所述虚拟射线。

4.根据权利要求1所述的方法，其特征在于，根据各条所述虚拟射线的遮挡信息，确定所述车辆的可行驶区域，包括：

根据各条所述虚拟射线的遮挡信息，确定各所述虚拟射线达到的最远距离；

根据各所述虚拟射线达到的最远距离，确定各所述虚拟射线的最远距离在图像坐标系下对应的坐标；

将最远距离对应的坐标位于所述鸟瞰图像内的各所述虚拟射线的目标坐标，确定为各所述虚拟射线最远距离对应的坐标；

将最远距离对应的坐标位于所述鸟瞰图像边缘的各所述虚拟射线的目标坐标，确定为各所述虚拟射线与所述鸟瞰图像边缘交叉处的坐标；

基于各所述虚拟射线的目标坐标，确定所述可行驶区域。

5.根据权利要求4所述的方法，其特征在于，基于各所述虚拟射线的目标坐标，确定所述可行驶区域，包括：

依次连接各所述虚拟射线的目标坐标，形成所述可行驶区域。

6.根据权利要求4所述的方法，其特征在于，基于各所述虚拟射线的目标坐标，确定所述可行驶区域，包括：

对于任意相邻的两个所述虚拟射线均执行：确定相邻的两个所述虚拟射线的目标坐标之间的插值点；

依次连接各所述虚拟射线的目标标注和各所述插值点，形成所述可行驶区域。

7.根据权利要求4所述的方法，其特征在于，在根据各所述虚拟射线达到的最远距离，确定各所述虚拟射线的最远距离在图像坐标系下对应的坐标之后，所述方法还包括：

确定最远距离对应的坐标位于所述鸟瞰图像内的各所述虚拟射线；

标注确定的各虚拟射线对应的障碍物的障碍物属性；

将确定的各虚拟射线对应的障碍物的障碍物属性，发送给所述自动泊车控制器。

8.根据权利要求1所述的方法，其特征在于，在根据车辆外至少两个方位的图像，生成鸟瞰图像之前，所述方法还包括：

判断所述车辆的位置是否发生变动；

若判断出发生变动，则采集所述车辆外至少两个方位的图像。

9.根据权利要求1所述的方法，其特征在于，在根据车辆外至少两个方位的图像，生成鸟瞰图像之前，所述方法还包括：

判断是否开始新的图像采集周期；

若判断出开始新的图像采集周期，采集所述车辆外至少两个方位的图像。

10.一种自动泊车方法，其特征在于，所述方法包括：

将车位的定位信息和车辆的可行驶区域，映射到世界坐标系下，得到所述车位相对于车辆的距离位置关系以及车辆在所述可行驶区域内的位置，其中，所述定位信息是以车位为整体目标对鸟瞰图像进行车位检测而确定的，所述可行驶区域是基于虚拟射线发生器在所述鸟瞰图像上向所述车辆周围发射多条虚拟射线的遮挡信息而确定的，所述鸟瞰图像基于车辆外至少两个方位的图像而得；

根据所述距离位置关系和所述车辆在所述可行驶区域内的位置，设定车辆的泊车路径；

根据所述泊车路径，控制车辆泊车。

11.一种车位检测装置，其特征在于，所述装置包括：

生成单元，用于根据车辆外至少两个方位的图像，生成鸟瞰图像；

第一确定单元，用于以车位为整体目标对所述鸟瞰图像进行车位检测，确定检测出的车位的定位信息；

发射单元，用于控制深度学习模型作为虚拟射线发生器在所述鸟瞰图像上向所述车辆周围发射多条虚拟射线；

第二确定单元，用于根据各条所述虚拟射线的遮挡信息，确定所述车辆的可行驶区域；

发送单元，用于将所述车位的定位信息和所述车辆的可行驶区域，发送给自动泊车控制器，以供所述自动泊车控制器进行自动泊车操作。

12.一种自动泊车控制器，其特征在于，所述自动泊车控制器包括：

映射单元，用于将车位的定位信息和车辆的可行驶区域，映射到世界坐标系下，得到所述车位相对于车辆的距离位置关系以及车辆在所述可行驶区域内的位置，其中，所述定位信息是以车位为整体目标对鸟瞰图像进行车位检测而确定的，所述可行驶区域是基于虚拟射线发生器向在所述鸟瞰图像上所述车辆周围发射多条射线的遮挡信息而确定的，所述鸟瞰图像基于车辆外至少两个方位的图像而得；

设定单元，用于根据所述距离位置关系和所述车辆在所述可行驶区域内的位置，设定车辆的泊车路径；

控制单元，用于根据所述泊车路径，控制车辆泊车。

13.一种车辆，其特征在于，所述车辆包括：权利要求11所述的车位检测装置以及权利要求12所述的自动泊车控制器。

14.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行权利要求1至9中任一项所述的车位检测方法或权利要求10中所述的自动泊车方法。

15.一种人机交互装置，其特征在于，所述装置包括存储介质，及一个或者多个处理器，所述存储介质与所述处理器耦合，所述处理器被配置为执行所述存储介质中存储的程序指令；所述程序指令运行时执行权利要求1至9中任一项所述的车位检测方法或权利要求10中所述的自动泊车方法。

Images