CN112489136A - 标定方法、位置确定方法、装置、电子设备及存储介质 - Google Patents

Abstract

本公开提供了一种标定方法、位置确定方法、装置、电子设备及存储介质，其中，该标定方法包括：获取目标车辆上的图像采集部件拍摄到的当前路面图像、历史消失点的像素坐标、以及历史标定中确定的标定数据；基于所述当前路面图像中的车道线的位置信息，确定当前消失点的像素坐标；其中，当前路面图像中的车道线在世界坐标系下相互平行；基于所述历史消失点的像素坐标和所述当前消失点的像素坐标之间的偏差信息、以及所述标定数据，确定所述图像采集部件在本次标定中的单应性矩阵。

Description

标定方法、位置确定方法、装置、电子设备及存储介质

技术领域

本公开涉及计算机视觉技术领域，具体而言，涉及一种标定方法、位置确定方法、装置、电子设备及存储介质。

背景技术

随着人工智能技术的迅速发展，传统工业与信息技术结合，为人们的生活带来便利，比如将汽车行业与信息技术结合，可以产生能够自动驾驶的智能汽车，智能汽车在自动驾驶过程中，测距是非常重要的环节。在智能汽车辅助驾驶所采用的测距传感器中，视觉传感器能够获得较丰富的道路结构环境信息，价格也较为低廉。

在视觉测距中，单目视觉测距技术相对于多目视觉测距技术具有成本低廉、系统安装简单、稳定性好等特点，因而被广泛采用。在单目视觉测距中，需要用到单应性矩阵(homography matrix)，基于拍摄的目标物体在图像坐标系中的像素坐标，以及该单应性矩阵，可以得到目标物体在世界坐标系中的世界坐标，基于该世界坐标即可得到该目标物体与预设位置点之间的距离信息。因此，单应性矩阵的准确性直接影响测距结果的精确性。

单应性矩阵是通过预先进行标定得到的，在标定时，通过人工放置参照物，再根据车载相机获取参照物图片，通过参照物图片中参照物对应的像素以及参照物在世界坐标系中的坐标，确定车载相机的单应性矩阵，该方式标定效率较低，且由于车辆在行驶过程中会带来机械振动，导致车载相机的位置发生改变，之前对车载相机标定得到的单应性矩阵在确定目标物的距离时将不再准确。

发明内容

本公开实施例至少提供一种标定方案。

第一方面，本公开实施例提供了一种标定方法，包括：

获取目标车辆上的图像采集部件拍摄到的当前路面图像、历史消失点的像素坐标、以及历史标定中确定的标定数据；

基于所述当前路面图像中的车道线的位置信息，确定当前消失点的像素坐标；其中，当前路面图像中的车道线在世界坐标系下相互平行；

基于所述历史消失点的像素坐标和所述当前消失点的像素坐标之间的偏差信息、以及所述标定数据，确定所述图像采集部件在本次标定中的单应性矩阵。

本公开实施例中，通过获取车辆上的图像采集部件采集的包含平行车道线的路面图像，可以基于包含平行车道线的路面图像确定历史消失点和当前消失点的偏差信息，进而可以基于偏差信息以及历史标定中确定的标定数据，得到图像采集部件在本次标定中的单应性矩阵，从而可以在车辆的行驶过程中，根据不断获取到的包含车道线的路面图像来完成对图像采集部件的标定。

在一种可能的实施方式中，所述历史消失点由历史标定中使用的车道线确定，所述目标车辆在本次标定中与历史标定中，距离左右两边车道线的距离之比相同、且在本次标定中所使用的车道线与历史标定中所使用的车道线等宽。

本公开实施例中，在目标车辆在本次标定和历史标定过程中，距离左右两边车道线的距离之比相同、且在本次标定中所使用的车道线与历史标定中所使用的车道线等宽的情况下，若图像采集部件的单应性矩阵未发生变化，则历史消失点的像素坐标和当前消失点的像素坐标一致，基于此，可以基于历史消失点的像素坐标和当前消失点的像素坐标之间的差异信息来完成对图像采集部件的标定。

在一种可能的实施方式中，所述历史消失点由历史标定中使用的车道线确定，所述目标车辆在本次标定中与历史标定中，距离左右两边车道线的距离相同。

本公开实施例中，在目标车辆在本次标定和历史标定过程中，距离左右两边车道线的距离相同的情况下，即位于平行车道线中线上时，若图像采集部件的单应性矩阵未发生变化，则历史消失点的像素坐标和当前消失点的像素坐标一致，基于此，可以基于历史消失点的像素坐标和当前消失点的像素坐标之间的差异信息来完成对图像采集部件的标定。

在一种可能的实施方式中，所述车道线的位置信息包括每条车道线上的多个位置点的像素坐标，所述基于所述当前路面图像中的车道线的位置信息，确定所述当前消失点的像素坐标，包括：

基于所述每条车道线上的多个位置点对应的像素坐标，对该条车道线进行线性拟合，得到该条车道线对应的直线方程；

将每条车道线对应的直线方程的交点值，作为所述当前消失点的像素坐标。

本公开实施例中，通过对车道线上的多个位置点对应的像素坐标进行直线拟合，可以得到准确的表征车道线的直线方程，从而通过求解直线方程的交点的方式，可以快速准确的确定当前消失点的像素坐标。

在一种可能的实施方式中，所述标定数据包括预先设置的多个参考点的世界坐标以及所述多个参考点在历史标定中的像素坐标；

所述基于所述历史消失点的像素坐标和所述当前消失点的像素坐标之间的偏差信息，以及所述标定数据，确定所述图像采集部件在本次标定中的单应性矩阵，包括：

基于所述偏差信息，对所述多个参考点在历史标定中的像素坐标进行修正，得到所述多个参考点的修正像素坐标；

基于所述多个参考点的世界坐标以及所述修正像素坐标，确定所述图像采集部件在本次标定中的单应性矩阵。

本公开实施例中，提出基于历史消失点的像素坐标和当前消失点的像素坐标之间的偏差信息对多个参考点在历史标定中的像素坐标进行修正，得到多个参考点对应的修正像素坐标，从而可以通过多个参考点对应的世界坐标以及修正像素坐标构成的多组像素坐标和世界坐标的转换方程，来准确的得到像采集部件在本次标定过程中的单应性矩阵。

在一种可能的实施方式中，所述标定数据包括所述图像采集部件在历史标定中的单应性矩阵；

所述基于所述历史消失点的像素坐标和所述当前消失点的像素坐标之间的偏差信息，以及所述标定数据，确定所述图像采集部件在本次标定中的单应性矩阵，包括：

基于所述偏差信息，对所述图像采集部件在历史标定中的单应性矩阵进行修正，得到所述图像采集部件在本次标定中的单应性矩阵

本公开实施例中，可以通过历史消失点的像素坐标和当前消失点的像素坐标之间的偏差信息，对图像采集部件在历史标定中的单应性矩阵进行修正的方式，快速完成对图像采集部件的标定。

在一种可能的实施方式中，根据以下方式获取所述图像采集部件在历史标定中的单应性矩阵：

获取预先设置的多个参考点的世界坐标，以及所述多个参考点在历史标定中的像素坐标；

基于所述多个参考点的世界坐标、以及在历史标定中的像素坐标，确定所述图像采集部件在历史标定中的单应性矩阵。

本公开实施例中，提出通过多个参考点的世界坐标以及在图像采集部件在历史拍摄图像中的像素坐标，可以准确的得到图像采集部件在历史标定中的单应性矩阵。

第二方面，本公开实施例提供了一种位置确定方法，包括：

获取目标车辆上的图像采集部件拍摄的目标图像；

检测所述目标图像中的目标物体，并确定所述目标物体在图像坐标系下的像素坐标；

基于所述像素坐标和所述图像采集部件的当前单应性矩阵，确定所述目标物体的世界坐标，所述图像采集部件的当前单应性矩阵采用本公开实施例提供的任一种标定方法确定。

本公开实施例中，提出在确定图像采集部件的当前单应性矩阵后，可以根据图像采集部件拍摄的目标图像中目标物体的像素坐标，准确的确定目标物体的世界坐标。

在一种可能的实施方式中，确定所述目标物体的世界坐标之后，所述位置确定方法还包括：

基于所述目标物体的世界坐标以及所述目标车辆的世界坐标，确定所述目标物体与所述目标车辆点之间的距离；

根据确定的距离，对目标车辆进行控制。

本公开实施例中，在得到目标物在世界坐标系中的世界坐标后，可以进一步确定目标物体与目标车辆之间的距离，为控制目标车辆提供数据支持。

第三方面，本公开实施例提供了一种标定装置，包括：

数据获取模块，用于获取目标车辆上的图像采集部件拍摄到的当前路面图像、历史消失点的像素坐标、以及历史标定中确定的标定数据；

第一确定模块，用于基于所述当前路面图像中的车道线的位置信息，确定当前消失点的像素坐标；其中，当前路面图像中的车道线在世界坐标系下相互平行；

第二确定模块，用于基于所述历史消失点的像素坐标和所述当前消失点的像素坐标之间的偏差信息、以及所述标定数据，确定所述图像采集部件在本次标定中的单应性矩阵。

第四方面，本公开实施例提供了一种位置确定装置，包括：

图像获取模块，用于获取目标车辆上的图像采集部件拍摄的目标图像；

第一确定模块，用于检测所述目标图像中的目标物体，并确定所述目标物体在图像坐标系下的像素坐标；

第二确定模块，用于基于所述像素坐标和所述图像采集部件的当前单应性矩阵，确定所述目标物体的世界坐标，所述图像采集部件的当前单应性矩阵采用本公开实施例提供的任一种标定方法确定。

第五方面，本公开实施例提供了一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如第一方面所述标定方法，或者执行如第二方面所述的位置确定方法的步骤。

第六方面，本公开实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如第一方面所述标定方法，或者执行权利如第二方面的位置确定方法的步骤。

为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本公开实施例所提供的一种标定方法的流程图；

图2示出了本公开实施例所提供的一种参考点确定方式对应的场景示意图；

图3示出了本公开实施例所提供的一种确定图像采集部件在本次标定中的单应性矩阵的场景示意图；

图4示出了本公开实施例所提供的一种位置确定方法的流程图；

图5示出了本公开实施例所提供的一种标定装置的结构示意图；

图6示出了本公开实施例所提供的一种位置确定装置的结构示意图；

图7示出了本公开实施例所提供的第一种电子设备的示意图；

图8示出了本公开实施例所提供的第二种电子设备的示意图。

具体实施方式

为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

在自动驾驶领域、机器人领域，常常需要依靠图像采集部件进行视觉测距，依靠图像采集部件进行视觉测距的原理是确定图像采集部件拍摄的目标物体在图像坐标系中的像素坐标，然后基于图像采集部件的单应性矩阵，确定目标物体在世界坐标系下的世界坐标，进而根据预设位置点的世界坐标以及目标物体的世界坐标，确定出预设位置点与目标物体之间的距离，因此，单应性矩阵的准确性直接影响测距结果的精确性。

车辆上的图像采集部件的单应性矩阵可以通过图像采集部件与车辆的位置关系进行预先标定得到，在对车辆上的图像采集部件进行标定后，即可以按照该单应性矩阵来确定目标物的距离，但是在车辆行驶过程中，由于长期行驶带来的机械振动或者车辆行驶在不平整的里面上时，可能会造成图像采集部件与车辆的相对位置发生改变，则初始的单应性矩阵可能不再准确，针对此，本公开以下实施例提供了一种对在车辆行驶过程中对初始单应性矩阵进行修正的方法。

基于上述研究，本公开提供了一种标定方法，通过获取车辆上的图像采集部件采集的包含平行车道线的路面图像，可以基于包含平行车道线的路面图像确定历史消失点和当前消失点的偏差信息，进而可以基于偏差信息以及历史标定中确定的标定数据，得到图像采集部件在本次标定中的单应性矩阵，从而可以在车辆的行驶过程中，根据不断获取到的包含车道线的路面图像来完成对图像采集部件的标定。

为便于对本实施例进行理解，首先对本公开实施例所公开的一种标定方法进行详细介绍，本公开实施例所提供的标定方法的执行主体一般为具有一定计算能力的计算机设备，该计算机设备例如包括：终端设备或服务器或其它处理设备，终端设备可以为用户设备(User Equipment，UE)、移动设备、用户终端、计算设备、车载设备等。在一些可能的实现方式中，该标定方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。

参见图1所示，为本公开实施例提供的标定方法的流程图，该标定方法包括步骤S101～S103，其中：

S101，获取目标车辆上的图像采集部件拍摄的当前路面图像、历史消失点的像素坐标、以及历史标定中确定的标定数据。

其中，历史标定中确定的标定数据可以是前一次标定中确定的标定数据，也可以是当前次标定过程之前的第N次标定中确定的标定数据，N为大于1的正整数。

示例性地，图像采集部件可以为设置于目标车辆上的摄像机，用于在目标车辆行驶过程中进行拍摄图像，其拍摄方向可以预先设定好，基于拍摄得到的当前路面图像，可以检测周围是否存在障碍物，以及障碍物与目标车辆之间的距离，将在后文进行阐述。

这里的历史消失点的像素坐标是指图像采集部件拍摄历史路面图像中的车道线的交点在历史路面图像所在的图像坐标系中的像素坐标；历史标定中确定的标定数据可以包括在历史标定过程中使用的用于对图像采集部件进行标定的数据或者确定的单应性矩阵。

当目标车辆行驶在具有平行车道线的道路上时，即可以通过本公开实施例提供的标定方法确定图像采集部件在本次标定中的单应性矩阵，比如目标车辆在具有两条平行车道线之间行驶时，即可以通过图像采集部件在本次标定中针对这两条平行车道线进行拍摄得到的当前路面图像以及预存的一些历史信息来确定该图像采集部件在本次标定中的单应性矩阵。

比如，预先存储的历史信息可以包括图像采集部件在历史标定中拍摄的历史路面图像中的平行车道线所对应的历史消失点的像素坐标、以及在历史标定中确定的标定数据，历史标定中确定的标定数据的作用将在后文进行详细说明。

S102，基于当前路面图像中的车道线的位置信息，确定当前消失点的像素坐标；其中，当前路面图像中的车道线在世界坐标系下相互平行。

由于视觉效果，站在平行车道线之间向远处看时，可以看到原本平行的车道线在远处会汇聚成一点，即发生“相交”，因此在通过图像采集部件拍摄平行车道线得到的当前路面图像中，平行的车道线也是逐渐靠近的，这里可以基于当前路面图像中的车道线的位置信息，来确定车道线在当前路面图像中对应的当前消失点的像素坐标。

在相同的平面中，站在多组不同宽度的平行车道线之间，比如路面上包括两组平行车道线，第一组平行车道线位于第二组平行车道线之间，且第一组平行车道线和第二组平行车道线之间的中线重合时，若站在该中线上沿朝远处看时，可以发现这两组平行车道线相交于同一点，基于此，若图像采集部件当前的单应性矩阵和历史标定中的单应性矩阵相同时，若满足一定拍摄条件，则本次标定中获取到的当前消失点的像素坐标和历史标定构成中获取到的历史消失点的像素坐标应该相同，基于此，可以通过当前消失点的像素坐标和历史消失点的像素坐标来确定图像采集部件在本次标定中的单应性矩阵。

具体地，这里的拍摄条件需要满足以下至少一种：

(1)目标车辆在本次标定中与历史标定中，距离左右两边车道线的距离之比相同、且在本次标定中所使用的车道线与历史标定中所使用的车道线等宽；

(2)目标车辆在本次标定中与历史标定中，距离左右两边车道线的距离相同。

第一种方式对本次标定和历史标定所使用的平行车道线的宽度有要求，且需要目标车辆在两次标定过程中距离左右两边车道线的距离之比相同；第二种方式对本次标定和历史标定所使用的平行车道线的宽度没有要求，但是需要目标车辆在两次标定过程中距离左右两边车道线的距离相同。

按照上述两种方式，当目标车辆沿着车道线行驶，且设置于目标车辆上的图像采集部件始终朝目标车辆前进的方向进行拍摄时，若图像采集部件的单应性矩阵不变，则当前消失点的像素坐标和历史消失点的像素坐标在图像坐标系下的坐标保持不变，反之，若图像采集部件的单应性矩阵发生变化，则当前消失点的像素坐标和历史消失点的像素坐标之间会发生偏差。

第一种方式中，在目标车辆在本次标定和历史标定过程中，距离左右两边车道线的距离之比相同、且在本次标定中所使用的车道线与历史标定中所使用的车道线等宽的情况下，若图像采集部件的单应性矩阵未发生变化，则历史消失点的像素坐标和当前消失点的像素坐标一致，基于此，可以基于历史消失点的像素坐标和当前消失点的像素坐标之间的差异信息来完成对图像采集部件的标定。

第二种方式中，在目标车辆在本次标定和历史标定过程中，距离左右两边车道线的距离相同的情况下，即位于平行车道线中线上时，若图像采集部件的单应性矩阵未发生变化，则历史消失点的像素坐标和当前消失点的像素坐标一致，基于此，可以基于历史消失点的像素坐标和当前消失点的像素坐标之间的差异信息来完成对图像采集部件的标定。

S103，基于历史消失点的像素坐标和当前消失点的像素坐标之间的偏差信息、以及标定数据，确定图像采集部件在本次标定中的单应性矩阵。

其中，历史消失点是在历史标定过程中确定的消失点，当前消失点是在当前次标定过程中确定的消失点。

这里基于历史消失点的像素坐标和当前消失点的像素坐标，可以确定出历史消失点的像素坐标和当前消失点的像素坐标之间的偏差信息，具体地，若图像坐标系包括x轴和y轴，则该偏差信息可以包括在图像坐标系中沿x轴方向的像素偏差，以及沿y轴方向的像素偏差。

若历史消失点的像素坐标和当前消失点的像素坐标相同，则说明该图像采集部件在本次标定中得到单应性矩阵与历史标定中得到的单应性矩阵相同，若历史消失点的像素坐标和当前消失点的像素坐标不相同，则可以基于历史消失点的像素坐标和当前消失点的像素坐标之间的偏差信息、以历史标定中的标定数据，来确定图像采集部件在本次标定中的单应性矩阵，具体确定方式将在后文进行详细介绍。

上述步骤S101～S103提供的标定方法，通过获取车辆上的图像采集部件采集的包含平行车道线的路面图像，可以基于包含平行车道线的路面图像确定历史消失点和当前消失点的偏差信息，进而可以基于偏差信息以及历史标定中确定的标定数据，得到图像采集部件在本次标定中的单应性矩阵，从而可以在车辆的行驶过程中，根据不断获取到的包含车道线的路面图像来完成对图像采集部件的标定。

下面将结合具体实施例对上述S101～S103进行详细阐述。

在一种实施方式中，平行车道线的位置信息包括每条车道线上的多个位置点的像素坐标，上述S102中，在基于当前路面图像中的车道线的位置信息，确定当前消失点的像素坐标时，可以包括：

(1)基于每条车道线上的多个位置点对应的像素坐标，对该条车道线进行线性拟合，得到该条车道线对应的直线方程；

(2)将每条车道线对应的直线方程的交点值，作为当前消失点的像素坐标。

这里每条车道线上的多个位置点对应的像素坐标可以通过预先训练的车道线检测模型来确定，比如可以将当前路面图像输入该车道线检测模型，车道线检测模型能够识别出当前路面图像中的车道线，并且输出每条车道线上的多个位置点在图像坐标系中对应的像素坐标。

在检测出每条车道线上的多个位置点对应的像素坐标后，可以基于该条车道线的多个位置点对应的像素坐标进行线性拟合，即可以得到每条车道线对应的直线方程，然后将每条车道线对应的直线方程的交点值，作为这里的当前消失点的像素坐标。

另外，本公开实施例获取的历史标定中拍摄的历史路面图像中的平行车道线所对应的历史消失点的像素坐标，也是按照类似的方式进行提前确定的，在这里不再赘述。

本公开实施例中，通过对车道线上的多个位置点对应的像素坐标进行直线拟合，可以得到准确的表征车道线的直线方程，从而通过求解直线方程的交点的方式，可以快速准确的确定当前消失点的像素坐标。

在得到当前路面图像中的车道线对应的当前消失点的像素坐标后，即可以进一步根据当前消失点的像素坐标和历史消失点的像素坐标之间的偏差信息，以及历史标定中的标定数据来确定图像采集部件在本次标定中的单应性矩阵。

在一种实施方式中，历史标定中的标定数据包括预先设置的多个参考点的世界坐标以及多个参考点在历史标定中的像素坐标；在基于历史消失点的像素坐标和当前消失点的像素坐标之间的偏差信息，以及标定数据，确定图像采集部件在本次标定中的单应性矩阵时，可以包括：

(1)基于偏差信息，对多个参考点在历史标定中的像素坐标进行修正，得到多个参考点在的修正像素坐标；

(2)基于多个参考点的世界坐标以及修正像素坐标，确定图像采集部件在本次标定中的单应性矩阵。

这里多个参考点可以是在对图像采集部件进行初次标定过程中，在路面摆放的用于对图像采集部件进行标定的参照物在历史路面图像中对应的位置点，以下对参照物的设置进行介绍：

如图2所示，使得目标车辆停靠在平行车道线的中线上，比如停靠在南北走向的平行车道线的中线上，且目标车辆朝向北方，设置于目标车辆上的图像采集部件向目标车辆朝向的方向进行拍摄，然后以目标车辆的前轴中心为坐标原点，建立世界坐标系，该世界坐标系的X轴朝向北方，Y轴朝向东方，然后在该世界坐标系中放置多个大小相同的参照物，比如可以通过锥形参照物作为这里的参照物，特别地，为了得到这些参照物对应位置点的准确像素坐标，这里的参照物在放置时，可以如图2所示，使得多个参照物共线，即得到与车道线1对应的多个参照物，以及与车道线2对应的多个参照物，其中与车道线1对应的多个参照物共线，与车道线2对应的多个参照物也共线。

在摆放好多个参照物后，通过设置于目标车辆上的图像采集部件对平行的车道线进行拍摄，得到该历史路面图像，将该历史路面图像放置于图像坐标系中时，可以将锥形参照物与地面相切的位置作为该锥形参照物对应的参考点，然后通过手工标记该参考点在图像坐标系中的位置，进而得到该参考点在历史标定中的像素坐标；或者，还可以将该历史路面图像输入提前训练好的像素坐标确定模型中，确定每个参考点在历史标定中的像素坐标。

在目标车辆行驶过程中，因为始终以目标车辆的前轴中心为坐标原点，即这些参考点相对于目标车辆的位置不变，则这些参考点在目标车辆所在的世界坐标系中对应的世界坐标不变，这样，若设置于目标车辆上的图像采集部件当前的单应性矩阵与历史标定中的单应性矩阵相同时，多个参考点在当前路面图像中的像素坐标与在历史标定中历史路面图像中的像素坐标应该一致。

基于此，若图像采集部件的单应性矩阵发生变化，即当前消失点的像素坐标和历史消失点的像素坐标发生偏差时，可以基于该偏差信息对每个参考点在历史标定中像素坐标进行修正，可以得到这些参考点在当前路面图像中对应的修正像素坐标。

在得到多个参考点中每个参考点在当前路面图像中对应的修正像素坐标后，可以结合多个参考点的世界坐标来确定图像采集部件在本次标定中的单应性矩阵，若参考点总共包含n个参考点，且这n个参考点的世界坐标分别记为：(X₁,Y₁),(X₂,Y₂),(X₃,Y₃)...(X_i,Y_i)...(X_n,Y_n)；对应的这n个参考点在历史标定中的像素坐标为：(x₁,y₁),(x₂,y₂),(x₃,y₃)...(x_i,y_i)...(x_n,y_n)；对应的这n个参考点的修正像素坐标为：(x₁',y₁'),(x₂',y₂'),(x₃',y₃')...(x_i',y_i')...(x_n',y_n')，且n个参考点的世界坐标构成的世界坐标矩阵A、n个参考点的修正像素坐标构成的像素坐标矩阵C，以及本次标定中的单应性矩阵H，分别可以通过以下方式进行表示：

然后将世界坐标矩阵A，像素坐标矩阵C和单应性矩阵为H代入像素坐标和世界坐标的转换方程，转换方程用以下公式(1)表示：

A＝H×C (1)；

对该转换方程求解，得到图像采集部件在本次标定中的单应性矩阵H＝(AA^T)*(CA^T)^-1。

下面以结合图3来具体阐述如何基于该方式确定图像采集部件在本次标定中的单应性矩阵。

如图3所示，虚线表示在历史标定中拍摄的车道线，历史标定中拍摄的车道线对应的历史消失点的像素坐标即为图3中虚线的交点在图像坐标系中的像素坐标，实线表示在本次标定中拍摄的车道线，本次标定中拍摄的车道线对应的当前消失点的像素坐标即为图3中实线的交点在图像坐标系中的像素坐标，空心圆点对应的像素坐标即表示多个参考点在历史标定中的像素坐标，然后通过历史消失点的像素坐标和当前消失点的像素坐标之间的偏差信息，对多个参考点在历史标定中的像素坐标进行修正，得到多个参考点的修正像素坐标，即各个空心方块对应的像素坐标，然后通过多个参考点的修正像素坐标构成的像素坐标矩阵，以及多个参考点的世界坐标构成的世界坐标矩阵，来确定图像采集部件在本次标定中的单应性矩阵。

本公开实施例中，提出基于历史消失点的像素坐标和当前消失点的像素坐标之间的偏差信息对多个参考点在历史标定中的像素坐标进行修正，得到多个参考点对应的修正像素坐标，从而可以通过多个参考点对应的世界坐标以及修正像素坐标构成的多组像素坐标和世界坐标的转换方程，来准确的得到像采集部件在本次标定过程中的单应性矩阵。

在另一种实施方式中，历史标定中的标定数据包括图像采集部件在历史标定中的单应性矩阵；则在基于历史消失点的像素坐标和当前消失点的像素坐标之间的偏差信息，以及标定数据，确定图像采集部件在本次标定中的单应性矩阵时，可以包括：

基于偏差信息，对图像采集部件在历史标定中的单应性矩阵进行修正，得到图像采集部件在本次标定中的单应性矩阵。

若历史消失点的像素坐标通过B＝(x₀,y₀)来表示，当前消失点的像素坐标通过B′＝(x₀+Δx,y₀+Δy)来表示，其中，(Δx,Δy)表示历史消失点的像素坐标和当前消失点的像素坐标之间的偏差信息，若历史标定中的单应性矩阵通过矩阵h表示，历史消失点的世界坐标以及当前消失点的世界坐标均为D＝(X₀,Y₀)，则历史消失点的像素坐标与历史消失点的世界坐标之间的转换公式可以通过以下公式(2)表示，当前消失点的像素坐标与当前消失点的世界坐标之间的转换公式可以通过以下公式(3)表示：

D＝h×B (2)；

D＝H×B′ (3)；

其中，

这样，按照公式(2)和公式(3)可以确定出该偏差信息(Δx,Δy)、历史标定中的单应性矩阵以及本次标定中的单应性矩阵之间的关系，即确定出如何基于偏差信息，对历史标定中的单应性矩阵进行修正，从而得到图像采集部件在本次标定中的单应性矩阵。

本公开实施例中，可以通过历史消失点的像素坐标和当前消失点的像素坐标之间的偏差信息，对图像采集部件在历史标定中的单应性矩阵进行修正的方式，快速完成对图像采集部件的标定。

具体地，可以根据以下方式获取图像采集部件在历史标定中的单应性矩阵：

(1)获取预先设置的多个参考点的世界坐标，以及多个参考点在历史标定中的像素坐标；

(2)基于多个参考点的世界坐标、以及在历史标定中的像素坐标，确定图像采集部件在历史标定中的单应性矩阵。

示例性地，历史标定中的单应性矩阵可以为在对图像采集部件进行初始标定时得到的单应性矩阵，这里的多个参考点的世界坐标以及在历史标定中的像素坐标，详见上文描述，在此不进行赘述。

同样地，这里的多个参考点可以为n个参考点，且这n个参考点的世界坐标分别记为：(X₁,Y₁),(X₂,Y₂),(X₃,Y₃)...(X_i,Y_i)...(X_n,Y_n)；对应的这n个参考点在历史标定中的像素坐标为：(x₁,y₁),(x₂,y₂),(x₃,y₃)...(x_i,y_i)...(x_n,y_n)，则n个参考点的世界坐标构成的世界坐标矩阵A、n个参考点在历史标定中的像素坐标构成的像素坐标矩阵c，以及在历史标定中的单应性矩阵h，分别可以通过以下方式进行表示：

然后将世界坐标矩阵A，像素坐标矩阵c和在历史标定中的单应性矩阵为h代入像素坐标和世界坐标的转换方程，转换方程用以下公式(4)

表示：

A＝h×c (4)；

对该转换方程求解，得到图像采集部件在本次标定中的单应性矩阵h＝(AA^T)*(cA^T)^-1。

本公开实施例中，提出通过多个参考点的世界坐标以及在图像采集部件在历史拍摄图像中的像素坐标，可以准确的得到图像采集部件在历史标定中的单应性矩阵。

在得到图像采集部件在本次标定中的单应性矩阵后，可以基于在本次标定中的单应性矩阵对目标物体进行测距，如图4所示，本公开实施例还提供了一种位置确定方法，具体包括以下步骤S401～S405：

S401，获取目标车辆上的图像采集部件拍摄的目标图像；

S402，检测目标图像中的目标物体，并确定目标物体在图像坐标系下的像素坐标；

S403，基于像素坐标和图像采集部件的当前单应性矩阵，确定目标物体的世界坐标；

其中，图像采集部件的当前单应性矩阵可以采用上述实施例公开的标定方法确定。

S404，基于目标物体的世界坐标以及目标车辆的世界坐标，确定目标物体与预设位置点之间的距离；

S405，根据确定的距离，对目标车辆进行控制。

示例性地，目标车辆的世界坐标可以是指目标车辆中的预设位置点，比如车前轴中心点在地面的投影，也可以是车体中心在地面的投影，在确定世界坐标系的原点后，该预设位置点在世界坐标系中的世界坐标也可以确定，可以将该预设位置点作为在测量目标物体与目标车辆的距离时对应的车辆测距点，这样即可以基于该车辆测距点的世界坐标以及目标物的世界坐标，确定目标物与目标车辆之间的距离。

S401～S404整个过程是指在得到图像采集部件的当前单应性矩阵后，通过该当前单应性矩阵进行测距的过程，因为目标图像中的目标物体是有面积大小的，在得到该目标图像后，可以根据该目标图像确定目标物体的测距点，再基于该测距点和预设位置点在世界坐标系中的世界坐标确定目标物体与目标车辆的距离。

具体地，得到目标物体所在的目标图像后，基于图像识别技术，得到目标物体所在的检测框，比如可以将检测框与地面的切线的中心位置点作为测距点，然后将该测距点的像素坐标作为目标物体在图像坐标系下的像素坐标。

在得到目标物体在图像坐标系下的像素坐标后，将该目标物体在图像坐标系下的像素坐标和当前单应性矩阵输入像素坐标和世界坐标的转换方程中，即可以得到目标物体在世界坐标系下的世界坐标，进而根据目标物体在世界坐标系下的世界坐标以及预设位置点的世界坐标，计算两者的欧式距离，即可以确定目标物体与目标车辆之间的距离。

进一步地，在确定目标物体与目标车辆之间的距离后，可以根据确定的距离，对目标车辆进行控制，比如在距离小于第一预设范围的情况下，可以控制目标车辆停止行驶，在距离大于或等于第一预设范围，且小于第二预设范围的情况下，可以控制目标车辆减速行驶。

本公开实施例中，提出在确定图像采集部件的当前单应性矩阵后，可以根据图像采集部件拍摄的目标图像中目标物体的像素坐标，准确的确定目标物体的世界坐标；在得到目标物在世界坐标系中的世界坐标后，可以进一步确定目标物体与目标车辆之间的距离，为控制目标车辆提供数据支持。

本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。

基于同一技术构思，本公开实施例中还提供了与标定方法对应的标定装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述标定方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。

参照图5所示，为本公开实施例提供的一种标定装置500的示意图，该标定装置包括：数据获取模块501、第一确定模块502、第二确定模块503。

数据获取模块501，用于获取目标车辆上的图像采集部件拍摄到的当前路面图像、历史消失点的像素坐标、以及历史标定中确定的标定数据；

第一确定模块502，用于基于当前路面图像中的车道线的位置信息，确定当前消失点的像素坐标；其中，当前路面图像中的车道线在世界坐标系下相互平行；

第二确定模块503，用于基于历史消失点的像素坐标和当前消失点的像素坐标之间的偏差信息、以及标定数据，确定图像采集部件在本次标定中的单应性矩阵。

在一种可能的实施方式中，历史消失点由历史标定中使用的车道线确定，目标车辆在本次标定中与历史标定中，距离左右两边车道线的距离之比相同、且在本次标定中所使用的车道线与历史标定中所使用的车道线等宽。

在一种可能的实施方式中，历史消失点由历史标定中使用的车道线确定，目标车辆在本次标定中与历史标定中，距离左右两边车道线的距离相同。

在一种可能的实施方式中，车道线的位置信息包括每条车道线上的多个位置点的像素坐标，第一确定模块502在用于基于当前路面图像中的车道线的位置信息，确定当前消失点的像素坐标时，包括：

基于每条车道线上的多个位置点对应的像素坐标，对该条车道线进行线性拟合，得到该条车道线对应的直线方程；

将每条车道线对应的直线方程的交点值，作为当前消失点的像素坐标。

在一种可能的实施方式中，标定数据包括预先设置的多个参考点的世界坐标以及多个参考点在历史标定中的像素坐标；

第二确定模块503在用于基于历史消失点的像素坐标和当前消失点的像素坐标之间的偏差信息，以及标定数据，确定图像采集部件在本次标定中的单应性矩阵时，包括：

基于偏差信息，对多个参考点在历史标定中的像素坐标进行修正，得到多个参考点的修正像素坐标；

基于多个参考点的世界坐标以及修正像素坐标，确定图像采集部件在本次标定中的单应性矩阵。

在一种可能的实施方式中，标定数据包括图像采集部件在历史标定中的单应性矩阵；

第二确定模块503在用于基于历史消失点的像素坐标和当前消失点的像素坐标之间的偏差信息，以及标定数据，确定图像采集部件在本次标定中的单应性矩阵，包括：

基于偏差信息，对图像采集部件在历史标定中的单应性矩阵进行修正，得到图像采集部件在本次标定中的单应性矩阵。

在一种可能的实施方式中，第二确定模块503还用于根据以下方式获取图像采集部件在历史标定中的单应性矩阵：

获取预先设置的多个参考点的世界坐标，以及多个参考点在历史标定中的像素坐标；

基于多个参考点的世界坐标、以及在历史标定中的像素坐标，确定图像采集部件在历史标定中的单应性矩阵。

参照图6所示，为本公开实施例提供的一种位置确定装置600的示意图，该位置确定装置包括：图像获取模块601、第一确定模块602、第二确定模块603。

图像获取模块601，用于获取目标车辆上的图像采集部件拍摄的目标图像；

第一确定模块602，用于检测目标图像中的目标物体，并确定目标物体在图像坐标系下的像素坐标；

第二确定模块603，用于基于像素坐标和图像采集部件的当前单应性矩阵，确定目标物体的世界坐标，图像采集部件的当前单应性矩阵采用上述实施例公开的标定方法确定。

在一种可能的实施方式中，确定目标物的世界坐标之后，第二确定模块603还用于：

基于目标物体的世界坐标以及目标车辆的世界坐标，确定目标物体与目标车辆之间的距离。

对应于图1中的标定方法，本公开实施例还提供了一种电子设备700，如图7所示，为本公开实施例提供的电子设备700结构示意图，包括：

处理器71、存储器72、和总线73；存储器72用于存储执行指令，包括内存721和外部存储器722；这里的内存721也称内存储器，用于暂时存放处理器71中的运算数据，以及与硬盘等外部存储器722交换的数据，处理器71通过内存721与外部存储器722进行数据交换，当电子设备700运行时，处理器71与存储器72之间通过总线73通信，使得处理器71执行以下指令：获取目标车辆上的图像采集部件拍摄到的当前路面图像、历史消失点的像素坐标、以及历史标定中确定的标定数据；基于当前路面图像中的车道线的位置信息，确定当前消失点的像素坐标；其中，当前路面图像中的车道线在世界坐标系下相互平行；基于历史消失点的像素坐标和当前消失点的像素坐标之间的偏差信息、以及标定数据，确定图像采集部件在本次标定中的单应性矩阵。

对应于图4中的位置确定方法，本公开实施例还提供了一种电子设备800，如图8所示，为本公开实施例提供的电子设备800结构示意图，包括：

处理器81、存储器82、和总线83；存储器82用于存储执行指令，包括内存821和外部存储器822；这里的内存821也称内存储器，用于暂时存放处理器81中的运算数据，以及与硬盘等外部存储器822交换的数据，处理器81通过内存821与外部存储器822进行数据交换，当电子设备800运行时，处理器81与存储器82之间通过总线83通信，使得处理器81执行以下指令：获取目标车辆上的图像采集部件拍摄的目标图像；检测目标图像中的目标物体，并确定目标物体在图像坐标系下的像素坐标；基于像素坐标和图像采集部件的当前单应性矩阵，确定目标物体的世界坐标，图像采集部件的当前单应性矩阵采用上述实施例公开的标定方法确定。

本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的标定方法或者位置确定方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。

本公开实施例还提供一种计算机程序产品，该计算机程序产品承载有程序代码，所述程序代码包括的指令可用于执行上述方法实施例中所述的标定方法或者位置确定方法的步骤，具体可参见上述方法实施例，在此不再赘述。

其中，上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。

Claims (13)

1.一种标定方法，其特征在于，包括：

获取目标车辆上的图像采集部件拍摄到的当前路面图像、历史消失点的像素坐标、以及历史标定中确定的标定数据；

基于所述当前路面图像中的车道线的位置信息，确定当前消失点的像素坐标；其中，当前路面图像中的车道线在世界坐标系下相互平行；

基于所述历史消失点的像素坐标和所述当前消失点的像素坐标之间的偏差信息、以及所述标定数据，确定所述图像采集部件在本次标定中的单应性矩阵。

2.根据权利要求1所述的标定方法，其特征在于，所述历史消失点由历史标定中使用的车道线确定，所述目标车辆在本次标定中与历史标定中，距离左右两边车道线的距离之比相同、且在本次标定中所使用的车道线与历史标定中所使用的车道线等宽。

3.根据权利要求1所述的标定方法，其特征在于，所述历史消失点由历史标定中使用的车道线确定，所述目标车辆在本次标定中与历史标定中，距离左右两边车道线的距离相同。

4.根据权利要求1至3任一所述的标定方法，其特征在于，所述车道线的位置信息包括每条车道线上的多个位置点的像素坐标，所述基于所述当前路面图像中的车道线的位置信息，确定所述当前消失点的像素坐标，包括：

基于所述每条车道线上的多个位置点对应的像素坐标，对该条车道线进行线性拟合，得到该条车道线对应的直线方程；

将每条车道线对应的直线方程的交点值，作为所述当前消失点的像素坐标。

5.根据权利要求1至4任一所述的标定方法，其特征在于，所述标定数据包括预先设置的多个参考点的世界坐标以及所述多个参考点在历史标定中的像素坐标；

所述基于所述历史消失点的像素坐标和所述当前消失点的像素坐标之间的偏差信息，以及所述标定数据，确定所述图像采集部件在本次标定中的单应性矩阵，包括：

基于所述偏差信息，对所述多个参考点在历史标定中的像素坐标进行修正，得到所述多个参考点的修正像素坐标；

基于所述多个参考点的世界坐标以及所述修正像素坐标，确定所述图像采集部件在本次标定中的单应性矩阵。

6.根据权利要求1至4任一所述的标定方法，其特征在于，所述标定数据包括所述图像采集部件在历史标定中的单应性矩阵；

所述基于所述历史消失点的像素坐标和所述当前消失点的像素坐标之间的偏差信息，以及所述标定数据，确定所述图像采集部件在本次标定中的单应性矩阵，包括：

基于所述偏差信息，对所述图像采集部件在历史标定中的单应性矩阵进行修正，得到所述图像采集部件在本次标定中的单应性矩阵。

7.根据权利要求6所述的标定方法，其特征在于，根据以下方式获取所述图像采集部件在历史标定中的单应性矩阵：

获取预先设置的多个参考点的世界坐标，以及所述多个参考点在历史标定中的像素坐标；

基于所述多个参考点的世界坐标、以及在历史标定中的像素坐标，确定所述图像采集部件在历史标定中的单应性矩阵。

8.一种位置确定方法，其特征在于，包括：

获取目标车辆上的图像采集部件拍摄的目标图像；

检测所述目标图像中的目标物体，并确定所述目标物体在图像坐标系下的像素坐标；

基于所述像素坐标和所述图像采集部件的当前单应性矩阵，确定所述目标物体的世界坐标，所述图像采集部件的当前单应性矩阵采用权利要求1-7任一所述的标定方法确定。

9.根据权利要求8所述的位置确定方法，其特征在于，确定所述目标物体的世界坐标之后，所述位置确定方法还包括：

基于所述目标物体的世界坐标以及所述目标车辆的世界坐标，确定所述目标物体与所述目标车辆点之间的距离；

根据确定的距离，对目标车辆进行控制。

10.一种标定装置，其特征在于，包括：

数据获取模块，用于获取目标车辆上的图像采集部件拍摄到的当前路面图像、历史消失点的像素坐标、以及历史标定中确定的标定数据；

第一确定模块，用于基于所述当前路面图像中的车道线的位置信息，确定当前消失点的像素坐标；其中，当前路面图像中的车道线在世界坐标系下相互平行；

第二确定模块，用于基于所述历史消失点的像素坐标和所述当前消失点的像素坐标之间的偏差信息、以及所述标定数据，确定所述图像采集部件在本次标定中的单应性矩阵。

11.一种位置确定装置，其特征在于，包括：

图像获取模块，用于获取目标车辆上的图像采集部件拍摄的目标图像；

第一确定模块，用于检测所述目标图像中的目标物体，并确定所述目标物体在图像坐标系下的像素坐标；

第二确定模块，用于基于所述像素坐标和所述图像采集部件的当前单应性矩阵，确定所述目标物体的世界坐标，所述图像采集部件的当前单应性矩阵采用权利要求1-7任一所述的标定方法确定。

12.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至7任一所述标定方法，或者执行权利要求8或9所述的位置确定方法的步骤。

13.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至7任一所述标定方法，或者执行权利要求8或9所述的位置确定方法的步骤。

Images