CN116142172A - 一种基于体素坐标系的泊车方法及装置 - Google Patents

Abstract

本发明公开了一种基于体素坐标系的泊车方法及装置，该方法包括：在检测到车辆处于泊车场景时，对车辆预设范围内的车位线进行识别，得到第一车位线；在第一车位线不完整的情况下，将车辆三维模型和车辆周围预设范围内的场景图像显示在客户端操作界面上；基于用户输入的参考框和第一车位线确定边界框；将边界框映射至体素坐标系内，得到目标边界框；确定目标边界框对应的区域范围是否存在障碍物；在不存在障碍物的情况下，将目标边界框对应的区域作为泊车区域，并控制车辆进入泊车区域。该方案将车位线识别不清晰时，根据用户手动输入的参考框与第一车位线确定的目标边界框作为用于停车的车位线，实现车位线识别不清晰时的辅助泊车。

Description

一种基于体素坐标系的泊车方法及装置

技术领域

本发明涉及智能驾驶领域，尤其涉及一种基于体素坐标系的泊车方法及装置。

背景技术

全自动泊车辅助系统(APA,Auto Parking Assist)通过环视摄像头和超声波雷达感知车辆的周边环境，寻找停车位或地面车位标记(例如：车位线)；通过惯性测量单元(IMU,Inertial measurement unit)和车轮传感器估计车辆姿态信息，包括车辆位置以及车辆行驶方向；根据驾驶员通过客户操作界面手动选择目标泊车位，或根据驾驶员通过客户操作界面控制系统自动选择目标泊车位；通过目标泊车位的位置、车辆姿态信息以及车辆尺寸规划自动泊车轨迹，并控制车辆沿自动泊车轨迹进行全自动泊车。

现有的全自动泊车辅助系统是利用车载传感器，包括雷达和摄像头，通过雷达和摄像头对车辆周边环境进行识别，并通过控制单元控制车辆进行泊车。现有的泊车系统需要泊车位为提前预设好的标准车位，且需要清晰的识别出车位线才能保证车辆的顺利泊入，因此，现有的全自动泊车辅助系统的泊车方案存在车位线识别不清晰时无法进行泊车的缺陷。

发明内容

本发明提供一种基于体素坐标系的泊车方法及装置，解决了现有的泊车方案存在的车位线识别不清晰时无法进行泊车的问题。

为达到上述目的，本发明采用如下技术方案：

第一方面，本发明提供一种基于体素坐标系的泊车方法，该方法包括：在检测到车辆处于泊车场景时，对所述车辆预设范围内的车位线进行识别，得到第一车位线；

在所述第一车位线不完整的情况下，根据所述车辆的尺寸生成车辆三维模型，并将所述车辆三维模型和所述车辆周围预设范围内的场景图像显示在客户端操作界面上；

获取用户在所述场景图像上标注的用于停车的参考框，并基于所述参考框和所述第一车位线确定用于停车的边界框，所述边界框的尺寸可容纳所述车辆三维模型；

将所述边界框映射至包含车辆周围场景信息的体素坐标系内，得到位于所述体素坐标系中的目标边界框；

确定所述目标边界框对应的区域范围是否存在障碍物；

在不存在所述障碍物的情况下，将所述目标边界框对应的区域作为泊车区域，并控制所述车辆进入所述泊车区域。

在一种可能的实现方式中，在将所述边界框映射至包含所述车辆周围场景信息的体素坐标系内之前，所述方法还包括：

获取所述车辆周围预设范围内场景的点云数据，并将所述点云数据三维重构为体素坐标系下的体素数据。

在一种可能的实现方式中，所述获取所述车辆周围预设范围内场景的点云数据，具体包括：

对用于获取点云图像的激光雷达和相机进行外参校准，以使所述激光雷达的坐标系与所述相机的坐标系重合；

通过所述激光雷达获取所述车辆周围预设范围内场景的第一点云图像，通过所述相机获取所述车辆周围预设范围内场景的第二点云图像；

对所述第一点云图像与所述第二点云图像进行图像融合，得到点云数据。

在一种可能的实现方式中，所述将所述点云数据三维重构为体素坐标系下的体素数据，具体包括：

将所述点云数据的每个点云的坐标进行三维映射，得到体素立方；

将所述体素立方切割为多个具有相同尺寸的体素格；

根据所述体素格将所述点云数据分为多组；

对分组后的每组点云数据进行随机采样，得到位于每个所述体素格内的预设数量个采样点云；

通过全连接网络将每个所述体素格内的预设数量个采样点云映射到特征空间，得到特征点；

对映射后每个所述体素格内的所有所述特征点进行本地池化，得到一个特征表示数据；

通过U-Net特征编码器对所述特征表示数据进行回正，得到包含深度信息的特征向量；

根据所述特征向量与预设条件，判断每个所述体素格是否被障碍物占用；若是，将所述体素格标记为未激活区域；若否，将所述体素格标记为激活区域，并将所述体素格作为体素立方，重复上述步骤，直至所述体素格满足预设条件，得到体素坐标系下的体素数据。

在一种可能的实现方式中，基于所述参考框和所述第一车位线确定用于停车的边界框，具体为：

将所述第一车位线矫正为第一矩形框，将所述参考框矫正为第二矩形框；

计算所述第一车位线的长度占完整的车位线长度的比例，得到第一比例；

根据1与所述第一比例的差值确定第二比例；

获取所述第一矩形框的四个顶点的第一坐标，获取所述第二矩形的四个顶点的第二坐标；

对于所述第一矩形框与所述第二矩形框对应的顶点，将所述第一坐标与所述第一比例的乘积与所述第二坐标与所述第二比例的乘积的和作为第三坐标；

将所述第三坐标作为顶点，根据所述第三坐标确定边界框。

在一种可能的实现方式中，在未识别到所述第一车位线时，所述获取用户在所述场景图像上标注的用于停车的参考框，并基于所述参考框和所述第一车位线确定用于停车的边界框，具体为：

获取用户在所述场景图像上标注的用于停车的参考框，将所述参考框作为用于停车的边界框。

在一种可能的实现方式中，所述确定所述目标边界框对应的区域范围是否存在障碍物，具体为：

判断所述目标边界框是否完全在所述激活区域；若是，则所述目标边界框对应的区域范围不存在障碍物；若否，则所述目标边界框对应的区域范围存在所述障碍物。

在一种可能的实现方式中，在对所述车辆预设范围内的车位线进行识别，得到第一车位线之后，所述方法还包括：

在所述第一车位线完整的情况下，将所述车辆周围预设范围内的场景图像和所述场景图像内识别到的所述第一车位线显示在客户端操作界面上；

响应于用户在所述操作界面上对所述第一车位线的确认操作，将所述第一车位线对应的区域作为泊车区域；

获取所述车辆当前的位置信息、姿态信息以及车辆尺寸；

根据所述位置信息、所述姿态信息、所述车辆尺寸以及所述泊车区域确定自动泊车轨迹；

控制所述车辆沿所述自动泊车轨迹进行泊车。

第二方面，本发明提供一种基于体素坐标系的泊车装置，所述装置包括：

目标检测模块，用于在检测到车辆处于泊车场景时，对所述车辆预设范围内的车位线进行识别，得到第一车位线；

第一处理模块，用于在所述第一车位线不完整的情况下，根据所述车辆的尺寸生成车辆三维模型，并将所述车辆三维模型和所述车辆周围预设范围内的场景图像显示在客户端操作界面上；

第二处理模块，用于获取用户在所述场景图像上标注的用于停车的参考框，并基于所述参考框和所述第一车位线确定用于停车的边界框，所述边界框的尺寸可容纳所述车辆三维模型；

第三处理模块，用于将所述边界框映射至包含车辆周围场景信息的体素坐标系内，得到位于所述体素坐标系中的目标边界框；

第四处理模块，用于确定所述目标边界框对应的区域范围是否存在障碍物；

泊车控制模块，用于在不存在所述障碍物的情况下，将所述目标边界框对应的区域作为泊车区域，并控制所述车辆进入所述泊车区域。

第三方面，本发明提供一种电子设备，该电子设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述任一项所述的基于体素坐标系的泊车方法。

第四方面，本发明提供一种计算机可读存储介质，该存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现上述任一项所述的基于体素坐标系的泊车方法。

本发明实施例提供的基于体素坐标系的泊车方法，首先，当车辆的传感器检测到车辆处于泊车场景时，对车辆预设范围内的所有车位线进行识别，车辆驾驶人员将其中一个车位线作为第一车位线；其次，在第一车位线不完整的情况下，根据车辆的尺寸生成该车辆的车辆三维模型，并将车辆三维模型和车辆周围预设范围内的场景图像显示在客户端操作界面上；再次，获取用户在场景图象上标注的用于停车的边界框，且边界框的尺寸需要能容纳该车辆三维模型；之后，将该边界框映射至包含车辆周围场景信息的体素坐标系内，得到位于体素坐标系内的目标边界框；最后，确定该目标边界框对应的区域范围内是否存在障碍物，并在不存在障碍物的情况下，将目标边界框对应的区域作为泊车区域，并控制车辆进入泊车区域内停车。本发明在车位线识别不清晰时，根据用户手动输入的参考框与识别到的不清晰的第一车位线确定目标边界框，并在该目标边界框所在的区域在包含车辆周围场景信息的体素坐标系内未被障碍物占用时，将该目标边界框作为用于停车的车位线，实现车位线识别不清晰时的辅助泊车。

附图说明

图1为本发明实施例提供的第一种基于体素坐标系的泊车方法的步骤流程图；

图2为本发明实施例提供的第二种基于体素坐标系的泊车方法的步骤流程图；

图3为本发明实施例提供的第三种基于体素坐标系的泊车方法的步骤流程图；

图4为本发明实施例提供的一种基于体素坐标系的泊车方法的整体流程框图；

图5为本发明实施例提供的一种基于体素坐标系的泊车装置的结构框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

以下，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本公开实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。另外，“基于”或“根据”的使用意味着开放和包容性，因为“基于”或“根据”一个或多个所述条件或值的过程、步骤、计算或其他动作在实践中可以基于额外条件或超出所述的值。

在现有的智能驾驶领域中，针对车辆泊车较为常规的实现方法为：使用四颗鱼眼相机获取车辆周边环境的图像，然后将四个鱼眼相机获取到的图像拼接为环视图，然后将环视图转换为鸟瞰图，并在鸟瞰图上做停车位检测，或者在鱼眼相机获取到的原始图像上进行障碍物检测等任务。大多数泊车系统在做泊车感知时，偏向于将泊车系统拆分为两个处理网络，并通过两个处理网络分别处理不同的任务，得到两个感知结果；最后，将两个感知结果进行过滤合并。

全自动泊车辅助系统(APA,Auto Parking Assist)通过控制车辆的加减速度和转向角度自动停放车辆。该系统通过环视摄像头和超声波雷达感知车辆的周边环境，寻找停车位或地面车位标记(例如：车位线)；通过惯性测量单元(IMU,Inertial measurementunit)和车轮传感器估计车辆姿态信息，包括车辆位置以及车辆行驶方向；根据驾驶员通过客户操作界面手动选择目标泊车位，或根据驾驶员通过客户操作界面控制系统自动选择目标泊车位；通过目标泊车位的位置、车辆姿态信息以及车辆尺寸规划自动泊车轨迹，并控制车辆沿自动泊车轨迹进行全自动泊车。

现有的全自动泊车辅助系统是利用车载传感器，包括雷达和摄像头，通过雷达和摄像头对车辆周边环境进行识别，并通过控制单元控制车辆进行泊车。但是，现有的全自动泊车辅助系统的泊车方案还存在下面的问题：

第一、车位线识别不清晰时无法进行泊车。现有的泊车方案需要泊车位为提前预设好的标准车位且需要清晰的识别出车位线才能保证车辆的顺利泊入，如果对泊车位的车位线识别不清晰，就会造成泊车中断，甚至无法进行泊车。

第二、实用性低。现有的泊车方案中，在对车辆周边环境进行识别时，要求每对传感器之间存在公共视野，即重叠视野，以便所有传感器都能识别到每个特征，然而在实际应用中，由于车辆周边环境的复杂多变，使得这种重叠视野实现的可能性非常小，甚至不能实现。

第三、耗费时间长。在现有的基于激光雷达外部标定方法的泊车方案中，激光雷达的外参数校准通过对齐所有激光雷达扫描得到的点云并最大化点云的一致性进行优化。由于在激光雷达外部标定方法中，对周围环境的每个特征点的扫描都需要使用包含整个点云的k维树(k-d树，K-Dimensional Tree)来搜索并匹配附近的特征点，因此激光雷达数量的增加意味着对特征点的搜索将花费更长时间。由于特征点的点集具有置换不变性，因此，会存在同样的结构，点集矩阵是不同的，即扫描同一物体两次，同一物体以不同的点集表示。

为了解决现有的泊车方案存在的车位线识别不清晰时无法进行泊车、实用性低以及耗费时间长的问题，本发明实施例提供了一种基于体素坐标系的泊车方法及装置。

图1为本发明实施例提供的第一种基于体素坐标系的泊车方法的步骤流程图。

如图1所示，基于体素坐标系的泊车方法包括：

步骤101、在检测到车辆处于泊车场景时，对车辆预设范围内的车位线进行识别，得到第一车位线。

其中，泊车指的是将车辆在固定位置停放一段较长的时间，车辆驾驶员一般在泊车后会离开车辆。例如：将车辆停放在停车场的某一停车位。

在车辆驶入停车场后，在车辆行驶过程中对车辆周边预设范围内的车位线进行识别。例如：车辆预设范围可以为以车辆为圆心，以10米为半径的圆形区域。

在车辆预设范围内识别的车位线可以为一个，也可以为多个，用户选择识别到的其中一个车位线作为第一车位线。

步骤102、在第一车位线不完整的情况下，根据车辆的尺寸生成车辆三维模型，并将车辆三维模型和车辆周围预设范围内的场景图像显示在客户端操作界面上。

其中，每一个车位线均为由四条线组成的停车框。第一车位线被完整识别，指的是组成第一车位线的四条线均被完整识别出来；第一车位线不完整指的是组成第一车位线的四根线只有部分线条被完整识别，或四根线中存在至少一条线条被部分识别，或四根线均未被识别。

由于车辆的尺寸是已知的，那么在第一车位线识别不完整时，可以根据车辆的尺寸按比例生成该车辆的车辆三维模型。同时，将获取到的该车辆在周围预设范围内的场景图像，以及生成的车辆三维模型在客户端操作界面上显示。

客户端操作界面指的是自主泊车人机交互界面，用户选择一个车位线作为第一车位线的过程可以通过该客户端操作界面实现。

步骤103、获取用户在场景图像上标注的用于停车的参考框，并基于参考框和第一车位线确定用于停车的边界框，边界框的尺寸可容纳车辆三维模型。

具体的，用户在客户端操作界面手动输入用于停车的参考框，其中，该参考框可以为矩形框也可以为任意的四边形框。

基于用户输入的参考框与车辆识别到的不完整的车位线，拟合得到用于停车的边界框。且该边界框的尺寸必须能容纳该车辆三维模型，即在实际泊车场景中，该边界框对应的区域可以容纳下该车辆。

进一步的，基于参考框和第一车位线确定用于停车的边界框，具体包括：

步骤1031、将第一车位线矫正为第一矩形框，将参考框矫正为第二矩形框。

具体的，由于车辆识别到的车位线不完整，导致第一车位线会断断续续，在使用第一车位线之前，需要将第一车位线矫正为第一矩形框；由于参考框是用户从客户端操作界面手动输入的，参考框可能会出现断点、线路扭曲或直接为任意形状的四边形框，在使用参考框时，需要将参考框矫正为第二矩形框。

步骤1032、计算第一车位线的长度占完整的车位线长度的比例，得到第一比例。

具体的，计算识别到的不完整的第一车位线的长度，获取完整车位线的长度；计算第一车位线的长度占完整车位线的长度的比例，并将该比例记为第一比例。

步骤1033、根据1与第一比例的差值确定第二比例。

具体的，计算1减去第一比例得到的差值，并将该差值作为第二比例。

步骤1034、获取第一矩形框的四个顶点的第一坐标，获取第二矩形的四个顶点的第二坐标。

步骤1035、对于第一矩形框与第二矩形框对应的顶点，将第一坐标与第一比例的乘积与第二坐标与第二比例的乘积的和作为第三坐标。

例如，获取第一矩形框的左上角的顶点坐标，获取第二矩形框的左上角的顶点坐标，根据第一比例、第二比例，对第一矩形框的左上角的顶点坐标的横坐标和第二矩形框的左上角的顶点坐标的横坐标进行加权求和，得到边界框的左上角的顶点坐标的横坐标；同理，计算得到边界框的左上角的顶点坐标的纵坐标。

采用如上的处理方法对第一矩形框的其余顶点进行同样的处理，得到边界框的其余顶点的第三坐标。

步骤1036、将第三坐标作为顶点，根据第三坐标确定边界框。

具体的，将计算得到的多个第三坐标作为边界框的顶点，最终得到边界框。

步骤104、将边界框映射至包含车辆周围场景信息的体素坐标系内，得到位于体素坐标系中的目标边界框。

其中，体素指的是固定分辨率的三维格栅地图。体素网格是用固定大小的立方块作为最小单元，来表示三维物体的一种数据结构。

将二维的车辆周围场景信息变换为三维体素，得到包含车辆周围场景信息的体素坐标系；之后，将边界框映射至体素坐标系内，得到位于体素坐标系内的目标边界框。

步骤105、确定目标边界框对应的区域范围是否存在障碍物。

其中，体素坐标系内包括每个体素网格是否被占有的信息，根据体素坐标系内每个网格是否被占用的信息，可以确定体素坐标系内目标边界框所在的区域是否被占用，即目标边界框对应的区域范围内是否存在障碍物。

步骤106、在不存在障碍物的情况下，将目标边界框对应的区域作为泊车区域，并控制车辆进入泊车区域。

其中，在目标边界框所在的区域范围内不存在障碍物时，将目标边界框对应的区域作为该车辆的泊车区域，并控制车辆驶进该泊车区域。

本发明实施例提供的基于体素坐标系的泊车方法，首先，当车辆的传感器检测到车辆处于泊车场景时，对车辆预设范围内的所有车位线进行识别，车辆驾驶人员将其中一个车位线作为第一车位线；其次，在第一车位线不完整的情况下，根据车辆的尺寸生成该车辆的车辆三维模型，并将车辆三维模型和车辆周围预设范围内的场景图像显示在客户端操作界面上；再次，获取用户在场景图象上标注的用于停车的边界框，且边界框的尺寸需要能容纳该车辆三维模型；之后，将该边界框映射至包含车辆周围场景信息的体素坐标系内，得到位于体素坐标系内的目标边界框；最后，确定该目标边界框对应的区域范围内是否存在障碍物，并在不存在障碍物的情况下，将目标边界框对应的区域作为泊车区域，并控制车辆进入泊车区域内停车。

本发明在车位线识别不清晰时，根据用户手动输入的参考框与识别到的不清晰的第一车位线确定目标边界框，并在该目标边界框所在的区域在包含车辆周围场景信息的体素坐标系内未被障碍物占用时，将该目标边界框作为用于停车的车位线，实现车位线识别不清晰时的辅助泊车。

图2为本发明实施例提供的第二种基于体素坐标系的泊车方法的步骤流程图。

如图2所示，基于体素坐标系的泊车方法包括：

步骤201、在检测到车辆处于泊车场景时，对车辆预设范围内的车位线进行识别，得到第一车位线。

在本发明实施例中，步骤201可以参考步骤101，此处不再赘述。

步骤202、在第一车位线不完整的情况下，根据车辆的尺寸生成车辆三维模型，并将车辆三维模型和车辆周围预设范围内的场景图像显示在客户端操作界面上。

在本发明实施例中，步骤202可以参考步骤102，此处不再赘述。

步骤203、获取用户在场景图像上标注的用于停车的参考框，并基于参考框和第一车位线确定用于停车的边界框，边界框的尺寸可容纳车辆三维模型。

在本发明实施例中，步骤203可以参考步骤103，此处不再赘述。

步骤204、获取车辆周围预设范围内场景的点云数据，并将点云数据三维重构为体素坐标系下的体素数据。

具体的，在本发明的，车辆周围预设范围内场景是通过激光雷达和点云相机获取的，因此得到的车辆周围预设范围内场景通过二维点云数据构成。

进一步的，在本发明中，获取车辆周围预设范围内场景的点云数据，具体包括：

步骤20401、对用于获取点云图像的激光雷达和相机进行外参校准，以使激光雷达的坐标系与相机的坐标系重合。

具体的，在本发明中，利用多个激光雷达和点云相机进行快速无目标外部校准。即将多个激光雷达获取的多个点云图像与点云相机获取到的点云图像在同一个坐标系显示，也就是说，使激光雷达的坐标系与点云相机的坐标系重合。

步骤20402、通过激光雷达获取车辆周围预设范围内场景的第一点云图像，通过相机获取车辆周围预设范围内场景的第二点云图像。

具体的，将激光雷达获取到的车辆预设范围内场景作为第一点云图像，将相机获取到的车辆周围预设范围内场景作为第二点云图像。

步骤20403、对第一点云图像与第二点云图像进行图像融合，得到点云数据。

具体的，通过图像融合的方法对第一点云图像与第二点云图像进行融合处理，使激光雷达的坐标系与相机的坐标系重合。

具体的，在本方法中，在进行传感器外参校准时，不需要每对传感器之间存在公共视野，进一步增大了该方法的实用性。

具体的，在本发明中，激光雷达的外参以EL表示，相机外参以EC表示。传感器外参由一个旋转矩阵R和平移矩阵T组成。

例如：以车辆后轴作为世界坐标系原点，将激光雷达设置在车辆前顶，进行原点变换RT就成了激光雷达外参EL。

首先，利用惯性导航的轨迹来校准激光雷达的外参EL，利用陀螺仪的惯性测量单元来修正激光雷达采集数据点云的漂移。

其次，若点云被判定为没有漂移，则认为激光雷达外参为真值。利用全局范围内稠密的点云地图，通过匹配点云和图像的边缘特征找到最佳的相机外参。

在传感器外参校准完成后，则认为车辆周边环境中无漂移点云。

进一步的，在本发明中，将点云数据三维重构为体素坐标系下的体素数据，具体包括：

步骤20411、将点云数据的每个点云的坐标进行三维映射，得到体素立方。具体的，将点云数据的每个点云坐标三维映射到三维空间，得到该点云数据对应的体素立方。

步骤20412、将体素立方切割为多个具有相同尺寸的体素格。

例如，将体素立方等分为8个具有相同尺寸的体素格。

步骤20413、根据体素格将点云数据分为多组。

例如：根据切割的8个体素格，将点云数据分为8组。

步骤20414、对分组后的每组点云数据进行随机采样，得到位于每个体素格内的预设数量个采样点云。

具体的，由于分割后的每组点云数据的点云很稠密，因此在对每组的点云数据进行处理前，需要对分组后的每组点云数据进行随机采样，之后获取各体素格内预设数量个采样点云。

步骤20415、通过全连接网络将每个体素格内的预设数量个采样点云映射到特征空间，得到特征点。

具体的，采用全连接网络将每个体素格内获取的采样点云映射至特征空间，并得到特征点。

步骤20416、对映射后每个体素格内的所有特征点进行本地池化，得到一个特征表示数据。

具体的，采用PointNet的池化方式对每一个体素格内的所有特征点进行本地池化。

步骤20417、通过U-Net特征编码器对特征表示数据进行回正，得到包含深度信息的特征向量。

具体的，将本地池化后的特征表示数据输入到U-Net特征编码器中，得到包含深度信息的特征向量。其中，该特征向量作为该体素格内的空间是否被占用的条件。

步骤20418、根据特征向量与预设条件，判断每个体素格是否被障碍物占用；若是，将体素格标记为未激活区域；若否，将体素格标记为激活区域，并将体素格作为体素立方，重复上述步骤，直至体素格满足预设条件，得到体素坐标系下的体素数据。

例如，在本发明中，预设条件为体素坐标系的分辨率大于或等于2048。具体的，根据每个体素格的特征向量判断该体素格是否被占用。若是，则将该体素格标记为未激活区域；若否，则将该体素格标记为激活区域。对于一个激活区域，将该激活区域对应的体素格作为体素立方，并重复上述步骤，直至该体素格满足分辨率为2048，即整个体素立方由2048个相同尺寸的体素格组成。

步骤205、将边界框映射至包含车辆周围场景信息的体素坐标系内，得到位于体素坐标系中的目标边界框。

在本发明实施例中，步骤205可以参考步骤104，此处不再赘述。

步骤206、判断目标边界框是否完全在激活区域；若是，则目标边界框对应的区域范围不存在障碍物；若否，则目标边界框对应的区域范围存在障碍物。

具体的，根据特征向量判断该目标边界框包括的各体素格是否都为激活区域，若是，则说明目标边界框对应的区域范围不存在障碍物，车辆可以停泊进去；若否，则目标边界框对应的区域范围存在障碍物，车辆无法停泊进去。

步骤207、在不存在障碍物的情况下，将目标边界框对应的区域作为泊车区域，并控制车辆进入泊车区域。

在本发明实施例中，步骤207可以参考步骤106，此处不再赘述。

在本发明的另一实施例中，与上述实施例的不同之处在于，步骤202中，通过在未识别到第一车位线时，替换了上述方案中的在第一车位线不完整的情况下。

进一步的，步骤203中的，获取用户在场景图像上标注的用于停车的参考框，并基于参考框和第一车位线确定用于停车的边界框，边界框的尺寸可容纳车辆三维模型，具体为：获取用户在场景图像上标注的用于停车的参考框，将参考框作为用于停车的边界框。

具体的，当未识别到第一车位线时，将用户通过客户端操作界面输入的参考框之间作为用于停车的边界框。

本发明中，对车辆周围预设范围内的场景图像进行识别过程具体为：首先，对激光雷达和相机进行外参校准，使激光雷达的坐标系和相机的坐标系重合；之后，将在同一坐标系内，激光雷达获取的第一点云图像与相机获取到的第二点云图像融合，得到包含完整的车辆周围预设范围内的场景图像的点云数据。

与现有技术相比，本方案在对车辆周边环境进行识别时，不需要借助重叠视野，即不需要激光雷达和相机都识别到每个特征点，只要保证激光雷达和相机的坐标系重合，即可将激光雷达识别到的特征点与相机识别到的特征点一起在点云数据中表示，从而有效地增大了该方案的适用范围，提高了该方案的实用性。而且，在不需要借助重叠视野之后，本方案也不需要设置多个从不同角度进行扫描的激光雷达，在对激光雷达进行校准时也不需要对其所有激光雷达扫描得到的点云并最大化点云的一致性，从而减少了激光雷达对特征点搜索花费的时间，从而缩短了泊车时间。

图3为本发明实施例提供的第三种基于体素坐标系的泊车方法的步骤流程图。

如图3所示，基于体素坐标系的泊车方法包括：

步骤301、对车辆预设范围内的车位线进行识别，得到第一车位线。

在本发明实施例中，步骤301可以参考步骤101，此处不再赘述。

步骤302、在第一车位线完整的情况下，将车辆周围预设范围内的场景图像和场景图像内识别到的第一车位线显示在客户端操作界面上。

具体的，在组成第一车位线的四条线均被完整识别的情况下，直接将采集到的车辆周围预设范围内的场景图像以及该完整识别的第一车位线显示在客户端操作界面上。

步骤303、响应于用户在操作界面上对第一车位线的确认操作，将第一车位线对应的区域作为泊车区域。

具体的，用户在客户端操作界面输入对第一车位线的确认指令，车辆泊车系统响应于该确认指令将第一车位线对应的区域作为泊车区域。

步骤304、获取车辆当前的位置信息、姿态信息以及车辆尺寸。

例如：获取车辆尺寸，包括车辆的长度、宽度以及高度等信息；通过位置传感器获取车辆当前的实际位置坐标；通过车身姿态传感器获取车辆的姿态信息，包括车辆的转动角、俯仰角和倾斜角。

步骤305、根据位置信息、姿态信息、车辆尺寸以及泊车区域确定自动泊车轨迹。

具体的，以车辆的位置信息作为起点，以泊车区域的位置作为终点，根据车辆尺寸、车辆姿态信息对车辆的自动泊车轨迹进行规划。

步骤306、控制车辆沿自动泊车轨迹进行泊车。

具体的，当车辆的自动泊车轨迹确定后，自动泊车系统根据该自动泊车轨迹控制车辆泊车。

图4为本发明实施例提供的一种基于体素坐标系的泊车方法的整体流程框图。

如图4所示，当泊车系统检测到车辆处于泊车场景时，对车辆在预设范围内的车位线进行识别，并选中其中一个车位线作为第一车位线。之后，判断第一车位线是否被完整识别；若是，则泊车系统进入正常泊车流程。

其中，正常的泊车流程指的是：首先，将车辆周围预设范围内的场景图像和场景图像内识别到的第一车位线显示在客户端操作界面上；其次，响应于用户在操作界面上对第一车位线的确认操作，将第一车位线对应的区域作为泊车区域；再次，获取车辆当前的位置信息、姿态信息以及车辆尺寸；之后，根据位置信息、姿态信息、车辆尺寸以及泊车区域确定自动泊车轨迹；最后，控制车辆沿自动泊车轨迹进行泊车。

若否，则首先对传感器外参进行校准，使激光雷达的坐标系与相机的坐标系重合；其次，传感器外参校准完成后，说明车辆周边环境中无漂移点云，并依次通过点云编码器和特征解码器之后，将二维的点云数据映射至三维的体素坐标系内，得到包含深度信息的特征向量，并根据特征向量与预设条件，判断体素坐标系内的每个体素格是否被障碍物占用，若是，则将该体素格标记为未激活区域，若否，则将该体素格标注为激活区域。

同时，在传感器外参校准之后，用户在客户端操作界面手动输入用于停车的参考框。之后，判断客户端操作界面是否存在未被完全识别的车位线，若是，则根据参考框和未被完全识别的车位线生成用于停车的边界框，若否，则将该参考框直接作为用于停车的边界框。

之后，将得到的用于停车的边界框映射至体素坐标系内，得到体素坐标系内的目标边界框，并在目标边界框对应的区域范围内不存在障碍物的情况下，将目标边界框作为泊车区域，之后进入正常的泊车流程进行泊车操作。

图5为本发明实施例提供的一种基于体素坐标系的泊车装置的结构框图。

如图5所示，基于体素坐标系的泊车装置包括：

目标检测模块501，用于在检测到车辆处于泊车场景时，对车辆预设范围内的车位线进行识别，得到第一车位线；

第一处理模块502，用于在第一车位线不完整的情况下，根据车辆的尺寸生成车辆三维模型，并将车辆三维模型和车辆周围预设范围内的场景图像显示在客户端操作界面上；

第二处理模块503，用于获取用户在场景图像上标注的用于停车的参考框，并基于参考框和第一车位线确定用于停车的边界框，边界框的尺寸可容纳车辆三维模型；

第三处理模块504，用于将边界框映射至包含车辆周围场景信息的体素坐标系内，得到位于体素坐标系中的目标边界框；

第四处理模块505，用于确定目标边界框对应的区域范围是否存在障碍物；

泊车控制模块506，用于在不存在障碍物的情况下，将目标边界框对应的区域作为泊车区域，并控制车辆进入泊车区域。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本发明实施例还提供了一种电子设备，电子设备包括处理器和存储器，存储器中存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现本发明实施例中的基于体素坐标系的泊车方法。

本发明实施例还提供了一种计算机可读存储介质，存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现本发明实施例中的基于体素坐标系的泊车方法。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时，全部或部分地产生按照本发明实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何在本发明揭露的技术范围内的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (11)

1.一种基于体素坐标系的泊车方法，其特征在于，所述方法包括：

在检测到车辆处于泊车场景时，对所述车辆预设范围内的车位线进行识别，得到第一车位线；

在所述第一车位线不完整的情况下，根据所述车辆的尺寸生成车辆三维模型，并将所述车辆三维模型和所述车辆周围预设范围内的场景图像显示在客户端操作界面上；

获取用户在所述场景图像上标注的用于停车的参考框，并基于所述参考框和所述第一车位线确定用于停车的边界框，所述边界框的尺寸可容纳所述车辆三维模型；

将所述边界框映射至包含车辆周围场景信息的体素坐标系内，得到位于所述体素坐标系中的目标边界框；

确定所述目标边界框对应的区域范围是否存在障碍物；

在不存在所述障碍物的情况下，将所述目标边界框对应的区域作为泊车区域，并控制所述车辆进入所述泊车区域。

2.根据权利要求1所述的方法，其特征在于，在将所述边界框映射至包含所述车辆周围场景信息的体素坐标系内之前，所述方法还包括：

获取所述车辆周围预设范围内场景的点云数据；

将所述点云数据三维重构为体素坐标系下的体素数据。

3.根据权利要求2所述的方法，其特征在于，所述获取所述车辆周围预设范围内场景的点云数据，具体包括：

对用于获取点云图像的激光雷达和相机进行外参校准，以使所述激光雷达的坐标系与所述相机的坐标系重合；

通过所述激光雷达获取所述车辆周围预设范围内场景的第一点云图像，通过所述相机获取所述车辆周围预设范围内场景的第二点云图像；

对所述第一点云图像与所述第二点云图像进行图像融合，得到点云数据。

4.根据权利要求2所述的方法，其特征在于，所述将所述点云数据三维重构为体素坐标系下的体素数据，具体包括：

将所述点云数据的每个点云的坐标进行三维映射，得到体素立方；

将所述体素立方切割为多个具有相同尺寸的体素格；

根据所述体素格将所述点云数据分为多组；

对分组后的每组点云数据进行随机采样，得到位于每个所述体素格内的预设数量个采样点云；

通过全连接网络将每个所述体素格内的预设数量个采样点云映射到特征空间，得到特征点；

对映射后每个所述体素格内的所有所述特征点进行本地池化，得到一个特征表示数据；

通过U-Net特征编码器对所述特征表示数据进行回正，得到包含深度信息的特征向量；

根据所述特征向量与预设条件，判断每个所述体素格是否被障碍物占用；若是，将所述体素格标记为未激活区域；若否，将所述体素格标记为激活区域，并将所述体素格作为体素立方，重复上述步骤，直至所述体素格满足预设条件，得到体素坐标系下的体素数据。

5.根据权利要求1所述的方法，其特征在于，基于所述参考框和所述第一车位线确定用于停车的边界框，具体为：

将所述第一车位线矫正为第一矩形框，将所述参考框矫正为第二矩形框；

计算所述第一车位线的长度占完整的车位线长度的比例，得到第一比例；

根据1与所述第一比例的差值确定第二比例；

获取所述第一矩形框的四个顶点的第一坐标，获取所述第二矩形的四个顶点的第二坐标；

对于所述第一矩形框与所述第二矩形框对应的顶点，将所述第一坐标与所述第一比例的乘积与所述第二坐标与所述第二比例的乘积的和作为第三坐标；

将所述第三坐标作为顶点，根据所述第三坐标确定边界框。

6.根据权利要求1所述的方法，其特征在于，在未识别到所述第一车位线时，所述获取用户在所述场景图像上标注的用于停车的参考框，并基于所述参考框和所述第一车位线确定用于停车的边界框，具体为：

获取用户在所述场景图像上标注的用于停车的参考框，将所述参考框作为用于停车的边界框。

7.根据权利要求4所述的方法，其特征在于，所述确定所述目标边界框对应的区域范围是否存在障碍物，具体为：

判断所述目标边界框是否完全在所述激活区域；若是，则所述目标边界框对应的区域范围不存在障碍物；若否，则所述目标边界框对应的区域范围存在所述障碍物。

8.根据权利要求1所述的方法，其特征在于，在对所述车辆预设范围内的车位线进行识别，得到第一车位线之后，所述方法还包括：

在所述第一车位线完整的情况下，将所述车辆周围预设范围内的场景图像和所述场景图像内识别到的所述第一车位线显示在客户端操作界面上；

响应于用户在所述操作界面上对所述第一车位线的确认操作，将所述第一车位线对应的区域作为泊车区域；

获取所述车辆当前的位置信息、姿态信息以及车辆尺寸；

根据所述位置信息、所述姿态信息、所述车辆尺寸以及所述泊车区域确定自动泊车轨迹；

控制所述车辆沿所述自动泊车轨迹进行泊车。

9.一种基于体素坐标系的泊车装置，其特征在于，所述装置包括：

目标检测模块，用于在检测到车辆处于泊车场景时，对所述车辆预设范围内的车位线进行识别，得到第一车位线；

第一处理模块，用于在所述第一车位线不完整的情况下，根据所述车辆的尺寸生成车辆三维模型，并将所述车辆三维模型和所述车辆周围预设范围内的场景图像显示在客户端操作界面上；

第二处理模块，用于获取用户在所述场景图像上标注的用于停车的参考框，并基于所述参考框和所述第一车位线确定用于停车的边界框，所述边界框的尺寸可容纳所述车辆三维模型；

第三处理模块，用于将所述边界框映射至包含车辆周围场景信息的体素坐标系内，得到位于所述体素坐标系中的目标边界框；

第四处理模块，用于确定所述目标边界框对应的区域范围是否存在障碍物；

泊车控制模块，用于在不存在所述障碍物的情况下，将所述目标边界框对应的区域作为泊车区域，并控制所述车辆进入所述泊车区域。

10.一种电子设备，其特征在于，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1-8中任一项所述的基于体素坐标系的泊车方法。

11.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1-8中任一项所述的基于体素坐标系的泊车方法。

Images