CN117315034B - 横坡车位坐标的确定方法、装置、计算机设备及存储介质 - Google Patents

Abstract

本发明涉及计算机技术领域，公开了横坡车位坐标的确定方法、装置、计算机设备及存储介质，包括：获取包含车辆和待泊车位的鸟瞰图像、角点模板、车辆搭载相机的内参矩阵、外参旋转矩阵、相机对于车辆的外参平移矩阵和相机到地面的高度；将角点模板进行鱼眼图像投影处理，获取鱼眼模板图像；对鸟瞰图像进行预配置的图像处理操作，获取每一个角点的第一类像素坐标和鱼眼图像；利用鱼眼模板图像对第一角点的鱼眼图像进行滑动匹配操作，获取第一角点的第二类像素坐标；根据第一类像素坐标、第二类像素坐标、相机内参矩阵、外参平移矩阵、外参旋转矩阵和相机到地面的高度，生成第一角点的物理坐标；根据所有角点的物理坐标确定待泊车位的物理坐标。

Description

横坡车位坐标的确定方法、装置、计算机设备及存储介质

技术领域

本发明涉及计算机技术领域，具体涉及横坡车位坐标的确定方法、装置、计算机设备及存储介质。

背景技术

车位检测可以为无人驾驶提供路标信息，辅助无人驾驶车辆定位、构建语义地图。另一方面，在自动泊车功能的寻库以及泊车阶段，车位检测的稳定性将直接关系到自动泊车的成功率。稳定可靠的车位检测是无人驾驶中的重要任务之一，尤其是在泊车方案中，车位是最主要的语义特征之一，也是泊车最终的目标点。

现有车位检测方式主要是基于地面是水平的假设进行，对于有一定坡度的车位，这种检测方式造成的误差较大，不利于顺利泊车。

发明内容

有鉴于此，本发明提供了一种横坡车位坐标的确定方法、装置、计算机设备及存储介质，以解决横坡车位坐标确定不准确的问题。

第一方面，本发明提供了一种横坡车位坐标的确定方法，包括：

获取包含车辆以及待泊车位的鸟瞰图像、至少一个角点模板、车辆搭载的相机的相机内参矩阵、相机的外参旋转矩阵、相机对于车辆的外参平移矩阵，以及相机到地面的高度；

将每一个角点模板进行鱼眼图像投影处理，获取每一个角点模板分别对应的鱼眼模板图像；

对鸟瞰图像进行预配置的图像处理操作，获取待泊车位对应的每一个角点的第一类像素坐标以及每一个角点的鱼眼图像；

利用每一个鱼眼模板图像对第一角点的鱼眼图像进行滑动匹配操作，获取第一角点对应的第二类像素坐标，其中，第一角点为待泊车位中任一个角点；

根据第一类像素坐标、第二类像素坐标、相机内参矩阵、外参平移矩阵、外参旋转矩阵，以及相机到地面的高度，生成第一角点在车体坐标系下的物理坐标；

当确定所有的角点的物理坐标均生成完成之后，根据所有的角点的物理坐标确定待泊车位的物理坐标。

通过上述方式，获取包含车辆以及待泊车位的鸟瞰图像、至少一个角点模板、车辆搭载的相机的相机内参矩阵、相机的外参旋转矩阵、相机对于车辆的外参平移矩阵，以及相机到地面的高度；将每一个角点模板进行鱼眼图像投影处理，获取每一个角点模板分别对应的鱼眼模板图像；对鸟瞰图像进行预配置的图像处理操作，获取待泊车位对应的每一个角点的第一类像素坐标以及每一个角点的鱼眼图像；利用每一个鱼眼模板图像对第一角点的鱼眼图像进行滑动匹配操作，获取第一角点对应的第二类像素坐标；根据第一类像素坐标、第二类像素坐标、相机内参矩阵、外参平移矩阵、外参旋转矩阵，以及相机到地面的高度，生成第一角点在车体坐标系下的物理坐标；当确定所有的角点的物理坐标均生成完成之后，根据所有的角点的物理坐标确定待泊车位的物理坐标。可以先利用车位检测算法获取检测得到的车位坐标，基于该坐标，利用模板匹配的方式，得到车位实际角点的像素位置，再根据车载相机的内参矩阵、外参旋转矩阵等参数，确定车辆相对于车体坐标系的物理坐标，这样得到的车位坐标，即使车位不位于水平面，是有一定的坡度，也可以准确的确定车位每一个角点的坐标，有利于泊车的顺利进行。

在一种可选的实施方式中，对鸟瞰图像进行预配置的图像处理操作，获取待泊车位对应的每一个角点的第一类像素坐标以及每一个角点的鱼眼图像第一类像素坐标，包括：

对鸟瞰图像进行车位检测处理，获取待泊车位的每一个角点以及每一个角点分别对应的第一类像素坐标；

分别从鸟瞰图像中提取出包含每一个角点的预设大小的图像块；

对每一个角点对应的图像块分别进行鱼眼图像投影处理，生成该角点对应的鱼眼图像。

在一种可选的实施方式中，利用每一个鱼眼模板图像对第一角点的鱼眼图像进行滑动匹配操作，获取第一角点对应的第二类像素坐标，包括：

利用第一鱼眼模板图像对第一角点的鱼眼图像进行滑动匹配操作，获取每一次滑动匹配时第一鱼眼模板图像的位置坐标和第一鱼眼模板图像中每一个像素点的梯度，其中，第一鱼眼模板图像为鱼眼图像模板中任一个鱼眼图像模板；

根据第一鱼眼模板图像中每一个像素点的梯度和预获取的第一角点的鱼眼图像中每一个像素点的梯度，确定第一鱼眼模板图像与第一角点的代价值；

将数值最小的代价值作为第一鱼眼模板图像的目标代价值；

直至确定获取到所有模板的目标代价值之后，将所有的目标代价值中数值最小的目标代价值对应的模板作为第一角点对应的目标模板；

将目标模板的位置坐标作为第一角点的鱼眼像素坐标；

将鱼眼像素坐标进行坐标转换，得到第一角点对应的第二类像素坐标。

通过该方式，利用多个角点模板进行角点匹配，将在滑动时与角点最接近的位置，作为角点的实际位置，可以较为准确的找到角点的实际位置，为后续进行坐标转换提供较为准确的数据基础。

在一种可选的实施方式中，根据第一类像素坐标、第二类像素坐标、相机内参矩阵、外参平移矩阵、外参旋转矩阵，以及相机到地面的高度，生成第一角点在车体坐标系下的物理坐标，包括：

根据第一类像素坐标、第二类像素坐标、相机内参矩阵、以及相机到地面的高度，生成第一角点对应的高度；

根据第二类像素坐标、以及相机内参矩阵，确定第一角点对应的第一方向向量；

根据第一角点对应的高度、第一方向向量、相机到地面的高度、外参平移矩阵，以及外参旋转矩阵，生成第一角点在车体坐标系下的物理坐标。

在一种可选的实施方式中，根据第二类像素坐标、第一类像素坐标、相机内参矩阵、以及相机到地面的高度，生成第一角点对应的高度，包括：

根据第一类像素坐标、相机内参矩阵确定第一角点对应的第二方向向量；

将第一方向向量与水平方向的夹角作为第一夹角；

将第二方向向量与水平方向的夹角作为第二夹角；

根据第一夹角、第二夹角以及相机到地面的高度，确定第一角点对应的高度。

在一种可选的实施方式中，根据第一角点对应的高度、第一方向向量、相机到地面的高度、外参旋转矩阵、外参平移矩阵，生成第一角点在车体坐标系下的物理坐标，包括：

根据第一角点对应的高度、外参旋转矩阵、第一方向向量以及相机到地面的高度，确定第一角点到相机的距离；

根据第一角点到相机的距离、外参旋转矩阵、第一方向向量以及相机到地面的高度以及外参平移矩阵，生成第一角点在车体坐标系下的物理坐标。

在一种可选的实施方式中，第一角点的物理坐标为三维坐标，根据第一角点到相机的距离、外参旋转矩阵、第一方向向量以及相机到地面的高度以及外参平移矩阵，生成第一角点在车体坐标系下的物理坐标之后，方法还包括：

根据物理坐标的横向坐标和物理坐标的纵向坐标，确定第一角点至车辆的车辆中心点的距离；

根据车辆中心点的距离和物理坐标的竖向坐标，确定待泊车位所在横坡的坡度。

第二方面，本发明提供了一种横坡车位坐标的确定装置，包括：

获取模块，用于获取包含车辆以及待泊车位的鸟瞰图像、至少一个角点模板、车辆搭载的相机的相机内参矩阵、相机的外参旋转矩阵、相机对于车辆的外参平移矩阵，以及相机到地面的高度；

鱼眼图像投影处理模块，用于将每一个角点模板进行鱼眼图像投影处理，获取每一个角点模板分别对应的鱼眼模板图像；

图像处理模块，用于对鸟瞰图像进行预配置的图像处理操作，获取待泊车位对应的每一个角点的第一类像素坐标以及每一个角点的鱼眼图像；

滑动匹配模块，用于利用每一个鱼眼模板图像对第一角点的鱼眼图像进行滑动匹配操作，获取第一角点对应的第二类像素坐标，其中，第一角点为待泊车位中任一个角点；

生成模块，用于根据第一类像素坐标、第二类像素坐标、相机内参矩阵、外参平移矩阵、外参旋转矩阵，以及相机到地面的高度，生成第一角点在车体坐标系下的物理坐标；

确定模块，用于当确定所有的角点的物理坐标均生成完成之后，根据所有的角点的物理坐标确定待泊车位的物理坐标。

第三方面，本发明提供了一种计算机设备，包括：存储器和处理器，存储器和处理器之间互相通信连接，存储器中存储有计算机指令，处理器通过执行计算机指令，从而执行上述第一方面或其对应的任一实施方式的横坡车位坐标的确定方法。

第四方面，本发明提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机指令，计算机指令用于使计算机执行上述第一方面或其对应的任一实施方式的横坡车位坐标的确定方法。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例的横坡车位坐标的确定方法的流程示意图；

图2是根据本发明实施例的车辆和待泊车位的鸟瞰图像示意图；

图3是根据本发明实施例的角点模板的图像示意图；

图4是根据本发明实施例的获取第一角点对应的第二类像素坐标的流程示意图；

图5是根据本发明实施例的角点模板和第一角点的滑动匹配示意图；

图6是根据本发明实施例的获取第一角点在车体坐标系下的物理坐标的流程示意图；

图7是根据本发明实施例的相机、第一类像素坐标和第二类像素坐标的示意图；

图8是根据本发明实施例的检测的横坡车位和实际横坡车位的对比示意图；

图9是根据本发明实施例的横坡车位坐标的确定装置的结构框图；

图10是本发明实施例的计算机设备的硬件结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

无人驾驶技术(也称自动驾驶技术)是指车辆（或其他运载工具）在不需要人为操作的情况下，通过自身配备的传感器感知行驶环境，自主决策行驶路径，并控制车辆按照期望的路径到达期望目的地的技术。无人驾驶技术是多个技术的集成，主要包括实时感知与定位、运动路径规划、通信与数据交互、车辆智能控制等技术。

无人驾驶技术是当今世界最具潜力之一的技术，无人驾驶技术的普及可能使整体交通事故大大减少；无人驾驶技术也可能驱使生产力与能源效率获得改善，并会出现新的商业模式。一方面，车位检测可以为无人驾驶提供路标信息，辅助无人驾驶车辆定位、构建语义地图。另一方面，在自动泊车功能的寻库以及泊车阶段，车位检测的稳定性将直接关系到自动泊车的成功率。稳定可靠的车位检测是无人驾驶中的重要任务之一，尤其是在泊车方案中，车位是最主要的语义特征之一，也是泊车最终的目标点。

相关车位检测的方法大部分在由环视相机拼接得到的鸟瞰图上检测，主要可以分为两大类方法：传统图像处理技术和基于深度学习的方法。

例如在一种相关技术中，采用了传统的图像处理技术。先检测出车位的边线，再利用车位的大小尺寸等几何约束或者线段聚类的方法识别出车位。或者采用模板匹配的方法检测车位角点，再通过匹配的方法将四个角点构建成车位。该类方法可以有效检测边线角点明显的车位，但对于边线角点不太清晰或与地面差异不明显的车位检出率较低。

在另一种相关技术中，采用了深度学习的方法检测车位。其中一种方式可以通过滑动窗口法截取图像中的感兴趣区域，然后用网络分类器提取特征，从而得到车位角点和边线的位置；另一种方式先通过图像分割的方式提取出角点和边线，再通过后处理得到车位；或者则利用注意力机制直接得到了车位的四个角点。与传统的图像处理技术相比，深度学习的泛化性更好，对于车位与路面的对比度要求较低，检测效果更鲁棒。

然而上述两大类方法都基于路面是一个平面的假设，因此即使检测出来图像上的车位角点是准确的，但是当路面不是一个平面时，计算得到的实际车位位置仍然是有偏差的。

根据本发明实施例，提供了一种横坡车位坐标的确定方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

在本实施例中提供了一种横坡车位坐标的确定方法，可用于上述的计算机设备，如手机、电脑等，图1是根据本发明实施例的横坡车位坐标的确定方法的流程图，如图1所示，该流程包括如下步骤：

步骤S101，获取包含车辆以及待泊车位的鸟瞰图像、至少一个角点模板、车辆搭载的相机的相机内参矩阵、相机的外参旋转矩阵、相机对于车辆的外参平移矩阵，以及相机到地面的高度。

具体的，鸟瞰图像可以是车辆在泊车过程中获取的图像，车辆获取的图像如果因为鱼眼图像，则可以将包含车辆和待泊车位的鱼眼图像进行拼接和转换，例如，为4路鱼眼图像拼接形成的鸟瞰图像，鸟瞰图像中包含车辆以及带泊车位。角点模板可以如图3所示，模板可以为鸟瞰图下的车位角点形状。

在一个可选的例子中，例如图2所示的鸟瞰图像中，位于鸟瞰图像中心的四边形为车辆，四周包含一个或者多个待泊车位。

步骤S102，将每一个角点模板进行鱼眼图像投影处理，获取每一个角点模板分别对应的鱼眼模板图像。

具体的，将每一个角点模板按照鸟瞰图像对鱼眼图像转换的规则进行鱼眼图像投影处理，获取每一个角点模板分别对应的鱼眼模板图像。

步骤S103，对鸟瞰图像进行预配置的图像处理操作，获取待泊车位对应的每一个角点的第一类像素坐标以及每一个角点的鱼眼图像。

具体的，例如可以对鸟瞰图像进行车位检测处理，获取鸟瞰图像中的待泊车位以及待泊车位每一个角点的第一类像素坐标，然后对待泊车位的图像进行鱼眼图像投影处理，得到待泊车位的鱼眼图像，提取鱼眼图像中包含每一个角点的图像块作为每一个角点的鱼眼图像。需要说明的是，第一类像素坐标为通过车位检测处理得到的检测的像素坐标，对待泊车位的图像进行鱼眼图像投影处理的过程需要与对模板图像进行鱼眼图像投影处理的过程一致。

步骤S104，利用每一个鱼眼模板图像对第一角点的鱼眼图像进行滑动匹配操作，获取第一角点对应的第二类像素坐标。

具体的，第一角点为待泊车位中任一个角点。对于第一角点，先选取一个模板对第一角点的鱼眼图像进行滑动匹配操作，获取该模板与第一角点的匹配结果，当所有模板都与第一角点匹配完毕后，根据所有模板对第一角点的匹配结果确定第一角点最终的匹配结果，根据匹配结果确定第一角点对应的第二类像素坐标，第二类像素坐标为第一角点的实际像素坐标。

在一个可选的例子中，也可以先确定第一角点对应的模板，即利用图像识别等手段，先从所有模板中选取出与第一角点对应的模板，在利用第一角点对应的模板对第一角点进行滑动匹配操作，获取第一角点对应的实际像素坐标。

步骤S105，根据第一类像素坐标、第二类像素坐标、相机内参矩阵、外参平移矩阵、外参旋转矩阵，以及相机到地面的高度，生成第一角点在车体坐标系下的物理坐标。

具体的，可以利用第二类像素坐标和相机的内参矩阵确定第一角点的方向向量，并且再根据相机对车辆的外参旋转矩阵、相机到地面的高度，确定第一角点到相机的距离，也就是该方向向量的尺度因子，再根据相机的外参平移矩阵，得到第一角点在车体坐标系下的物理坐标，物理坐标即为以米为单位的米制坐标，在存在坡度的车位中，四个角点的坐标均是三维坐标，用于指示车位角点相对于车体的水平位移和高度。

步骤S106，当确定所有的角点的物理坐标均生成完成之后，根据所有的角点的物理坐标确定待泊车位的物理坐标。

具体的，待泊车位的物理坐标可以用四个角点的物理坐标来表示。

本实施例提供的横坡车位坐标的确定方法，获取包含车辆以及待泊车位的鸟瞰图像、至少一个角点模板、车辆搭载的相机的相机内参矩阵、相机的外参旋转矩阵、相机对于车辆的外参平移矩阵，以及相机到地面的高度；将每一个角点模板进行鱼眼图像投影处理，获取每一个角点模板分别对应的鱼眼模板图像；对鸟瞰图像进行预配置的图像处理操作，获取待泊车位对应的每一个角点的第一类像素坐标以及每一个角点的鱼眼图像；利用每一个鱼眼模板图像对第一角点的鱼眼图像进行滑动匹配操作，获取第一角点对应的第二类像素坐标；根据第一类像素坐标、第二类像素坐标、相机内参矩阵、外参平移矩阵、外参旋转矩阵，以及相机到地面的高度，生成第一角点在车体坐标系下的物理坐标；当确定所有的角点的物理坐标均生成完成之后，根据所有的角点的物理坐标确定待泊车位的物理坐标。可以先利用车位检测算法获取检测得到的车位坐标，基于该坐标，利用模板匹配的方式，得到车位实际角点的像素位置，再根据车载相机的内参矩阵、外参旋转矩阵等参数，确定车辆相对于车体坐标系的物理坐标，这样得到的车位坐标，即使车位不位于水平面，是有一定的坡度，也可以准确的确定车位每一个角点的坐标，有利于泊车的顺利进行。

在一种可选的实施方式中，上述步骤S103，包括：

步骤a1，对鸟瞰图像进行车位检测处理，获取待泊车位的每一个角点以及每一个角点分别对应的第一类像素坐标。

具体的，例如可以利用训练好的车位检测模型，对鸟瞰图像进行车位检测处理，获取待泊车位的每一个角点以及每一个角点分别对应的第一类像素坐标，即车位检测输出的每一个角点的检测像素坐标。

步骤a2，分别从鸟瞰图像中提取出包含每一个角点的预设大小的图像块。

具体的，为了加快运算速度，可以只提取包含角点的图像块，对于鸟瞰图像中的其他区域，无需进行滑动匹配操作，因此可以忽略。

在一个可选的例子中，例如可以提取角点附近且包含角点的大小的图像块。

步骤a3，对每一个角点对应的图像块分别进行鱼眼图像投影处理，生成该角点对应的鱼眼图像。

具体的，对每一个角点对应的图像块分别进行鱼眼图像投影处理，生成每一个角点分别对应的鱼眼图像，需要说明的是，此处的投影处理方式需与对角点模板图像进行鱼眼图像投影处理的方式相同，这样在后续进行匹配时，才能获得较为准确的匹配结果。

在一种可选的实施方式中，上述步骤S104，包括如图4所示的方法步骤：

步骤S1041，利用第一鱼眼模板图像对第一角点的鱼眼图像进行滑动匹配操作，获取每一次滑动匹配时第一鱼眼模板图像的位置坐标和第一鱼眼模板图像中每一个像素点的梯度。

具体的，第一鱼眼模板图像为鱼眼图像模板中任一个鱼眼图像模板。利用第一鱼眼模板图像对第一角点的鱼眼图像进行滑动匹配操作，获取每一次滑动匹配时第一鱼眼模板图像的位置坐标以及第一鱼眼模板图像中每一个像素点的梯度。

在一个可选的例子中，如图5所示，图5为第一角点的图像块，白色线为第一鱼眼图像模板，利用第一鱼眼图像模板在图像块的范围内进行滑动匹配操作，在每一次滑动匹配时第一鱼眼模板图像都有一个对应的位置坐标和第一鱼眼模板图像中每一个像素点的梯度。

步骤S1042，根据第一鱼眼模板图像中每一个像素点的梯度和预获取的第一角点的鱼眼图像中每一个像素点的梯度，确定第一鱼眼模板图像与第一角点的代价值。

步骤S1043，将数值最小的代价值作为第一鱼眼模板图像的目标代价值。

具体的，在每一个滑动匹配时，根据第一鱼眼模板图像中每一个像素点的梯度和预获取的第一角点的鱼眼图像中每一个像素点的梯度，计算第一鱼眼模板图像与第一角点的目标代价值，目标代价值可以通过如下公式实现：

其中，为第一鱼眼模板图像与第一角点的目标代价值，/>是第一鱼眼模板图像边缘上第i个点的梯度，/>是第一角点的鱼眼图像上第i个点的梯度。

步骤S1044，直至确定获取到所有模板的目标代价值之后，将所有的目标代价值中数值最小的目标代价值对应的模板作为第一角点对应的目标模板。

具体的，当获取到所有模板的目标代价值之后，只有与第一角点对应的模板是与第一角点最为匹配的，代价值最小，例如，左上角的角点与右下角的模板的代价值一定是大于左上角的角点与左上角的模板的代价值的，因此，将目标代价值最小的模板作为第一角点对应的目标模板。

步骤S1045，将目标模板的位置坐标作为第一角点的鱼眼像素坐标。

步骤S1046，将鱼眼像素坐标进行坐标转换，得到第一角点对应的第二类像素坐标。

具体的，将目标模板的位置坐标作为第一角点的鱼眼像素坐标，然后将鱼眼像素坐标进行坐标转换，得到第一角点对应的第二类像素坐标，第二类像素坐标可以视为第一角点的实际像素坐标。

在一种可选的例子中，上述步骤S105，还包括如图6所示的方法步骤：

步骤S1051，根据第一类像素坐标、第二类像素坐标、相机内参矩阵、以及相机到地面的高度，生成第一角点对应的高度。

具体的，可以根据第一类像素坐标、相机到地面的高度、相机的内参矩阵，确定第一角点对于车辆中心点的方向向量，进而根据相机到地面的高度，确定第一角点对应的高度。

步骤S1052，根据第二类像素坐标、以及相机内参矩阵，确定第一角点对应的第一方向向量。

具体的，第一方向向量为第一角点的滑动匹配后的实际像素坐标相对于车辆中心点的方向向量，具体如下：

首先对第二类像素坐标进行去畸变处理：

其中，为去畸变后的第二类像素坐标，/>为去畸变函数，为第二类像素坐标，即进行滑动匹配操作后的像素坐标。

然后利用相机内参矩阵和第二类像素坐标确定第一方向向量在、/>、/>三个方向的分量，如下公式所示：

其中，为第一方向向量在/>、/>、/>三个方向的分量，/>为去畸变后的第二类像素坐标，/>为相机的内参矩阵。

设第一方向向量的模长为1，则第一方向向量可以用如下公式表示：

其中，1为第一方向向量，/>为归一化函数，/>为第一方向向量在方向的分量，/>为第一方向向量在/>方向的分量。

步骤S1053，根据第一角点对应的高度、第一方向向量、相机到地面的高度、外参平移矩阵，以及外参旋转矩阵，生成第一角点在车体坐标系下的物理坐标。

具体的，根据第一角点对应的高度、外参旋转矩阵、第一方向向量以及相机到地面的高度，确定第一角点到相机的距离，然后根据第一角点到相机的距离、外参旋转矩阵、第一方向向量以及相机到地面的高度以及外参平移矩阵，生成第一角点在车体坐标系下的物理坐标。

在一种可选的实施方式中，上述步骤S1051，具体包括如下的方法步骤：

步骤b1，根据第一类像素坐标、相机内参矩阵确定第一角点对应的第二方向向量。

具体的，第二方向向量为第一角点的检测得到的像素坐标相对于车辆中心点的方向向量，具体如下：

首先对第一类像素坐标进行去畸变处理：

其中，为去畸变后的第一类像素坐标，/>为去畸变函数，为第一类像素坐标，即检测得到的像素坐标。

然后利用相机内参矩阵和第一类像素坐标确定第二方向向量在、/>、/>三个方向的分量，如下公式所示：

其中，为第二方向向量在/>、/>、/>三个方向的分量，/>为去畸变后的第一类像素坐标，/>为相机的内参矩阵。

设第二方向向量的模长为1，则第二方向向量可以用如下公式表示：

其中，为第二方向向量，/>为归一化函数，/>为第二方向向量在方向的分量，/>为第二方向向量在/>方向的分量。

步骤b2，将第一方向向量与水平方向的夹角作为第一夹角。

步骤b3，将第二方向向量与水平方向的夹角作为第二夹角。

具体的，如图7所示，为第一角点对应的第一类像素坐标，即车位检测得到的像素坐标，/>为第一角点对应的第二类像素坐标，即实际像素坐标，/>为第一夹角，是第一方向向量与水平方向的夹角，即直线/>与直线/>之间的夹角/>，/>为第二夹角，是第二方向向量与水平方向的夹角，即/>直线与直线V/>之间的夹角/>，C点为相机，V点为车辆中心点坐标。设/>的坐标为/>，这是因为检测的车位角点坐标默认位于水平面，z轴方向为0，/>的坐标为/>，/>为第一角点的高度，需要根据第一夹角、第二夹角以及相机到地面的高度确定。

步骤b4，根据第一夹角、第二夹角以及相机到地面的高度，确定第一角点对应的高度。

具体的，第一角点对应的高度可以通过如下公式确定：

其中，为相机到地面的高度，/>为第一夹角，/>为第二夹角。

在一种可选的实施方式中，上述步骤S105，包括如下的方法步骤：

步骤c1，根据第一角点对应的高度、外参旋转矩阵、第一方向向量以及相机到地面的高度，确定第一角点到相机的距离。

具体的，第一角点到相机的距离即为第一角点对应的第一方向向量的尺度因子，具体可以通过如下公式表示：

其中，是第一角点到相机的距离，/>是相机相对于自车的外参旋转矩阵；/>是相机到地面的高度，/>为第一方向向量。

步骤c2，根据第一角点到相机的距离、外参旋转矩阵、第一方向向量以及相机到地面的高度以及外参平移矩阵，生成第一角点在车体坐标系下的物理坐标。

具体的，第一角点对应的物理坐标为第一角点相对于车体坐标系下的米制坐标，具体可以通过如下公式表示：

其中，为第一角点的实际米制坐标，为第一角点在车体坐标系下的坐标，/>为第一角点到相机的距离，/>是相机相对于自车的外参旋转矩阵，/>为第一方向向量，/>是相机相对于自车的外参平移矩阵，/>是相机到地面的高度，也即是第一角点的竖向坐标，/>为第一角点的横向坐标，/>为第一角点的纵向坐标。

通过上述方式，可以得到如图8所示的横坡车位的0、1、2和3共4个角点的坐标，从而准确的确定待泊车位的位置。

需要说明的是，通常情况下，靠近自身车辆一侧的两个角点可以认为位于水平面设定为0，远离自身车辆一侧的两个角点，位于横坡上，存在高度值，/>为真实测算的值。

在得到待泊车位的位置之后，还可以确定车位的坡度，从而对车辆使用人员提供更加详细和多元的信息。

在一种可选的实施方式中，第一角点的物理坐标为三维坐标，根据第一角点到相机的距离、外参旋转矩阵、第一方向向量以及相机到地面的高度以及外参平移矩阵，生成第一角点在车体坐标系下的物理坐标之后，方法还包括如下的方法步骤：

步骤d1，根据物理坐标的横向坐标和物理坐标的纵向坐标，确定第一角点至车辆的车辆中心点的距离。

具体的，第一角点至车辆中心点的距离可以通过如下公式表示：

其中，为第一角点至车辆中心点的距离，/>为第一角点的横向坐标，/>为第一角点的纵向坐标。

步骤d2，根据车辆中心点的距离和物理坐标的竖向坐标，确定待泊车位所在横坡的坡度。

具体的，横坡的坡度可以通过如下公式表示：

其中，为横坡的坡度，/>为第一角点至车辆中心点的距离，/>为第一角点的竖向坐标。

在本实施例中还提供了一种横坡车位坐标的确定装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

本实施例提供一种横坡车位坐标的确定装置，如图9所示，包括：

获取模块901，用于获取包含车辆以及待泊车位的鸟瞰图像、至少一个角点模板、车辆搭载的相机的相机内参矩阵、相机的外参旋转矩阵、相机对于车辆的外参平移矩阵，以及相机到地面的高度；

鱼眼图像投影处理模块902，用于将每一个角点模板进行鱼眼图像投影处理，获取每一个角点模板分别对应的鱼眼模板图像；

图像处理模块903，用于对鸟瞰图像进行预配置的图像处理操作，获取待泊车位对应的每一个角点的第一类像素坐标以及每一个角点的鱼眼图像；

滑动匹配模块904，用于利用每一个鱼眼模板图像对第一角点的鱼眼图像进行滑动匹配操作，获取第一角点对应的第二类像素坐标，其中，第一角点为待泊车位中任一个角点；

生成模块905，用于根据第一类像素坐标、第二类像素坐标、相机内参矩阵、外参平移矩阵、外参旋转矩阵，以及相机到地面的高度，生成第一角点在车体坐标系下的物理坐标；

第一确定模块906，用于当确定所有的角点的物理坐标均生成完成之后，根据所有的角点的物理坐标确定待泊车位的物理坐标。

在一些可选的实施方式中，图像处理模块903，包括：

车位检测单元，用于对鸟瞰图像进行车位检测处理，获取待泊车位的每一个角点以及每一个角点分别对应的第一类像素坐标；

提取单元，用于分别从鸟瞰图像中提取出包含每一个角点的预设大小的图像块；

鱼眼图像投影单元，用于对每一个角点对应的图像块分别进行鱼眼图像投影处理，生成该角点对应的鱼眼图像。

在一些可选的实施方式中，滑动匹配模块904，包括：

滑动匹配单元，用于利用第一鱼眼模板图像对第一角点的鱼眼图像进行滑动匹配操作，获取每一次滑动匹配时第一鱼眼模板图像的位置坐标和第一鱼眼模板图像中每一个像素点的梯度，其中，第一鱼眼模板图像为鱼眼模板图像中任一个鱼眼模板图像；

第一确定单元，用于根据第一鱼眼模板图像中每一个像素点的梯度和预获取的第一角点的鱼眼图像中每一个像素点的梯度，确定第一鱼眼模板图像与第一角点的代价值；

处理单元，用于将数值最小的代价值作为第一鱼眼模板图像的目标代价值；直至确定获取到所有模板的目标代价值之后，将所有的目标代价值中数值最小的目标代价值对应的模板作为第一角点对应的目标模板；将目标模板的位置坐标作为第一角点的鱼眼像素坐标；

坐标转换单元，用于将鱼眼像素坐标进行坐标转换，得到第一角点对应的第二类像素坐标。

在一些可选的实施方式中，生成模块905，包括：

第一生成单元，用于根据第一类像素坐标、第二类像素坐标、相机内参矩阵、以及相机到地面的高度，生成第一角点对应的高度；

第二确定单元，用于根据第二类像素坐标、以及相机内参矩阵，确定第一角点对应的第一方向向量；

第二生成单元，用于根据第一角点对应的高度、第一方向向量、相机到地面的高度、外参平移矩阵，以及外参旋转矩阵，生成第一角点在车体坐标系下的物理坐标。

在一些可选的实施方式中，第一生成单元，包括：

第一确定子单元，用于根据第一类像素坐标、相机内参矩阵确定第一角点对应的第二方向向量；

处理子单元，用于将第一方向向量与水平方向的夹角作为第一夹角；将第二方向向量与水平方向的夹角作为第二夹角；

第二确定子单元，用于根据第一夹角、第二夹角以及相机到地面的高度，确定第一角点对应的高度。

在一些可选的实施方式中，第二生成单元，包括：

第三确定子单元，用于根据第一角点对应的高度、外参旋转矩阵、第一方向向量以及相机到地面的高度，确定第一角点到相机的距离；

生成子单元，用于根据第一角点到相机的距离、外参旋转矩阵、第一方向向量以及相机到地面的高度以及外参平移矩阵，生成第一角点在车体坐标系下的物理坐标。

在一些可选的实施方式中，装置还包括：

第二确定模块907，根据物理坐标的横向坐标和物理坐标的纵向坐标，确定第一角点至车辆的车辆中心点的距离；根据车辆中心点的距离和物理坐标的竖向坐标，确定待泊车位所在横坡的坡度。

上述各个模块和单元的更进一步的功能描述与上述对应实施例相同，在此不再赘述。

本实施例中的横坡车位坐标的确定装置是以功能单元的形式来呈现，这里的单元是指ASIC（Application Specific Integrated Circuit，专用集成电路）电路，执行一个或多个软件或固定程序的处理器和存储器，和/或其他可以提供上述功能的器件。

本发明实施例还提供一种计算机设备，具有上述图9所示的横坡车位坐标的确定装置。

请参阅图10，图10是本发明可选实施例提供的一种计算机设备的结构示意图，如图10所示，该计算机设备包括：一个或多个处理器10、存储器20，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相通信连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在计算机设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在一些可选的实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个计算机设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图10中以一个处理器10为例。

处理器10可以是中央处理器，网络处理器或其组合。其中，处理器10还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路，可编程逻辑器件或其组合。上述可编程逻辑器件可以是复杂可编程逻辑器件，现场可编程逻辑门阵列，通用阵列逻辑或其任意组合。

其中，存储器20存储有可由至少一个处理器10执行的指令，以使至少一个处理器10执行实现上述实施例示出的方法。

存储器20可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据计算机设备的使用所创建的数据等。此外，存储器20可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些可选的实施方式中，存储器20可选包括相对于处理器10远程设置的存储器，这些远程存储器可以通过网络连接至该计算机设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

存储器20可以包括易失性存储器，例如，随机存取存储器；存储器也可以包括非易失性存储器，例如，快闪存储器，硬盘或固态硬盘；存储器20还可以包括上述种类的存储器的组合。

该计算机设备还包括输入装置30和输出装置40。处理器10、存储器20、输入装置30和输出装置40可以通过总线或者其他方式连接，图10中以通过总线连接为例。

输入装置30可接收输入的数字或字符信息，以及产生与该计算机设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等。输出装置40可以包括显示设备、辅助照明装置（例如，LED）和触觉反馈装置（例如，振动电机）等。上述显示设备包括但不限于液晶显示器，发光二极管，显示器和等离子体显示器。在一些可选的实施方式中，显示设备可以是触摸屏。

本发明实施例还提供了一种计算机可读存储介质，上述根据本发明实施例的方法可在硬件、固件中实现，或者被实现为可记录在存储介质，或者被实现通过网络下载的原始存储在远程存储介质或非暂时机器可读存储介质中并将被存储在本地存储介质中的计算机代码，从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件的存储介质上的这样的软件处理。其中，存储介质可为磁碟、光盘、只读存储记忆体、随机存储记忆体、快闪存储器、硬盘或固态硬盘等；进一步地，存储介质还可以包括上述种类的存储器的组合。可以理解，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件，当软件或计算机代码被计算机、处理器或硬件访问且执行时，实现上述实施例示出的方法。

虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (10)

1.一种横坡车位坐标的确定方法，其特征在于，所述方法包括：

获取包含车辆以及待泊车位的鸟瞰图像、至少一个角点模板、所述车辆搭载的相机的相机内参矩阵、所述相机的外参旋转矩阵、所述相机对于所述车辆的外参平移矩阵，以及所述相机到地面的高度；

将每一个角点模板进行鱼眼图像投影处理，获取每一个角点模板分别对应的鱼眼模板图像；

对所述鸟瞰图像进行预配置的图像处理操作，获取所述待泊车位的对应的每一个角点的第一类像素坐标以及每一个所述角点的鱼眼图像；

利用每一个所述鱼眼模板图像对第一角点的鱼眼图像进行滑动匹配操作，获取第一角点对应的第二类像素坐标，其中，所述第一角点为所述待泊车位中任一个角点；

根据所述第一类像素坐标、所述第二类像素坐标、所述相机内参矩阵、所述外参平移矩阵、所述外参旋转矩阵，以及所述相机到地面的高度，生成第一角点在车体坐标系下的物理坐标；

当确定所有的角点的物理坐标均生成完成之后，根据所有的角点的物理坐标确定所述待泊车位的物理坐标。

2.根据权利要求1所述的方法，其特征在于，所述对所述鸟瞰图像进行预配置的图像处理操作，获取所述待泊车位的对应的每一个角点的第一类像素坐标以及每一个所述角点的鱼眼图像第一类像素坐标，包括：

对所述鸟瞰图像进行车位检测处理，获取所述待泊车位的每一个角点以及每一个所述角点分别对应的第一类像素坐标；

分别从所述鸟瞰图像中提取出包含每一个所述角点的预设大小的图像块；

对每一个角点对应的图像块分别进行鱼眼图像投影处理，生成该角点对应的鱼眼图像。

3.根据权利要求1或2所述的方法，其特征在于，所述利用每一个所述鱼眼模板图像对第一角点的鱼眼图像进行滑动匹配操作，获取第一角点对应的第二类像素坐标，包括：

利用第一鱼眼模板图像对所述第一角点的鱼眼图像进行滑动匹配操作，获取每一次滑动匹配时第一鱼眼模板图像的位置坐标和所述第一鱼眼模板图像中每一个像素点的梯度，其中，所述第一鱼眼模板图像为所述鱼眼模板图像中任一个鱼眼模板图像；

根据所述第一鱼眼模板图像中每一个像素点的梯度和预获取的所述第一角点的鱼眼图像中每一个像素点的梯度，确定所述第一鱼眼模板图像与所述第一角点的代价值；

将数值最小的代价值作为第一鱼眼模板图像的目标代价值；

直至确定获取到所有模板的目标代价值之后，将所有的目标代价值中数值最小的目标代价值对应的模板作为所述第一角点对应的目标模板；

将所述目标模板的位置坐标作为所述第一角点的鱼眼像素坐标；

将所述鱼眼像素坐标进行坐标转换，得到第一角点对应的第二类像素坐标。

4.根据权利要求1或2所述的方法，其特征在于，所述根据所述第一类像素坐标、所述第二类像素坐标、所述相机内参矩阵、所述外参平移矩阵、所述外参旋转矩阵，以及所述相机到地面的高度，生成第一角点在车体坐标系下的物理坐标，包括：

根据所述第一类像素坐标、所述第二类像素坐标、所述相机内参矩阵、以及所述相机到地面的高度，生成第一角点对应的高度；

根据所述第二类像素坐标、以及所述相机内参矩阵，确定所述第一角点对应的第一方向向量；

根据所述第一角点对应的高度、所述第一方向向量、所述相机到地面的高度、所述外参平移矩阵，以及所述外参旋转矩阵，生成第一角点在车体坐标系下的物理坐标。

5.根据权利要求4所述的方法，其特征在于，所述根据所述第二类像素坐标、所述第一类像素坐标、所述相机内参矩阵、以及所述相机到地面的高度，生成第一角点对应的高度，包括：

根据所述第一类像素坐标、所述相机内参矩阵确定所述第一角点对应的第二方向向量；

将所述第一方向向量与水平方向的夹角作为第一夹角；

将所述第二方向向量与水平方向的夹角作为第二夹角；

根据所述第一夹角、所述第二夹角以及所述相机到地面的高度，确定所述第一角点对应的高度。

6.根据权利要求5所述的方法，其特征在于，所述根据所述第一角点对应的高度、所述第一方向向量、所述相机到地面的高度、所述外参旋转矩阵、所述外参平移矩阵，生成第一角点在车体坐标系下的物理坐标，包括：

根据所述第一角点对应的高度、所述外参旋转矩阵、所述第一方向向量以及所述相机到地面的高度，确定所述第一角点到所述相机的距离；

根据所述第一角点到所述相机的距离、所述外参旋转矩阵、所述第一方向向量以及所述相机到地面的高度以及所述外参平移矩阵，生成第一角点在车体坐标系下的物理坐标。

7.根据权利要求6所述的方法，其特征在于，所述第一角点的物理坐标为三维坐标，所述根据所述第一角点到所述相机的距离、所述外参旋转矩阵、所述第一方向向量以及所述相机到地面的高度以及所述外参平移矩阵，生成第一角点在车体坐标系下的物理坐标之后，所述方法还包括：

根据所述物理坐标的横向坐标和所述物理坐标的纵向坐标，确定所述第一角点至所述车辆的车辆中心点的距离；

根据所述车辆中心点的距离和所述物理坐标的竖向坐标，确定所述待泊车位所在横坡的坡度。

8.一种横坡车位坐标的确定装置，其特征在于，所述装置包括：

获取模块，用于获取包含车辆以及待泊车位的鸟瞰图像、至少一个角点模板、车辆搭载的相机的相机内参矩阵、所述相机的外参旋转矩阵、所述相机对于所述车辆的外参平移矩阵，以及所述相机到地面的高度；

鱼眼图像投影处理模块，用于将每一个角点模板进行鱼眼图像投影处理，获取每一个角点模板分别对应的鱼眼模板图像；

图像处理模块，用于对所述鸟瞰图像进行预配置的图像处理操作，获取所述待泊车位的对应的每一个角点的第一类像素坐标以及每一个所述角点的鱼眼图像；

滑动匹配模块，用于利用每一个所述鱼眼模板图像对第一角点的鱼眼图像进行滑动匹配操作，获取第一角点对应的第二类像素坐标，其中，所述第一角点为所述待泊车位中任一个角点；

生成模块，用于根据所述第一类像素坐标、所述第二类像素坐标、所述相机内参矩阵、所述外参平移矩阵、所述外参旋转矩阵，以及所述相机到地面的高度，生成第一角点在车体坐标系下的物理坐标；

确定模块，用于当确定所有的角点的物理坐标均生成完成之后，根据所有的角点的物理坐标确定所述待泊车位的物理坐标。

9.一种计算机设备，其特征在于，包括：

存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行权利要求1至7中任一项所述的横坡车位坐标的确定方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机指令，所述计算机指令用于使计算机执行权利要求1至7中任一项所述的横坡车位坐标的确定方法。