CN116912328A - 一种逆透视变换矩阵的标定方法及装置 - Google Patents

Abstract

本申请公开了一种逆透视变换矩阵的标定方法及装置，其中方法包括：对车辆前方的特征点云进行拟合处理，确定地平面方程和当前时刻的第一地平面法向量，在不存在第二地平面法向量，或者第二地平面法向量与第一地平面法向量的夹角大于预设阈值的情况下，将N个特征点的横坐标和纵坐标代入地平面方程，得到特征点的竖坐标，根据特征点三维坐标和车辆标定参数，将特征点三维坐标转换为在相机图像坐标系下的第一特征点像素坐标，根据特征点三维坐标和第一特征点像素坐标，确定透视图到地平面的当前时刻的第一逆透视变换矩阵，根据当前时刻的第一逆透视变换矩阵，将透视图转换为三维路面特征信息。根据本申请实施例，能够提高车载相机的标定精度和效率。

Description

一种逆透视变换矩阵的标定方法及装置

技术领域

本申请属于智能驾驶技术领域，尤其涉及一种逆透视变换矩阵的标定方法及装置。

背景技术

在智能驾驶技术中，车载相机对路面特征检测起重要作用。但单目相机基于小孔成像原理获得的图像是透视图，图像中的路面特征会发生变形，对于后续基于图像的路面特征提取以及输出三维路面特征带来诸多不便。

因此，需要利用逆透视矩阵，将相机采集的图像转换到鸟瞰图。而确定逆透视矩阵需要得到透视图平面与鸟瞰图上的至少四对对应点的坐标。

相关技术主要通过手动或者自动检测的方法获取透视图上的像素点，利用四个点在鸟瞰图可围成矩阵的特性，确定这四个点在鸟瞰图的像素坐标，利用这四对对应像素点坐标得到透视图到鸟瞰图的逆透视变换矩阵。这种方法获取的透视图上的像素点难以保证在同一平面且可围成矩形，导致标定精度较低。

在透视图上得到像素点坐标的方法，需要借助平行车道线来获取，因此这种方法需要保证地面上有明显的车道线特征，且需保证左右车道线在透视图上关于图像二分之一宽处的X轴对称，才能保证最后得到的鸟瞰图视野左右对称，这种方法对车辆所处的位置要求比较高，可能需要多次调整，标定效率较低。

发明内容

本申请实施例提供一种逆透视变换矩阵的标定方法及装置，能够提高车载相机的标定精度和效率。

一方面，本申请实施例提供一种逆透视变换矩阵的标定方法，方法包括：

对车辆前方地平面上的预设矩形区域内的特征点云进行拟合处理，确定地平面方程和当前时刻的第一地平面法向量，所述特征点云是车载激光雷达采集的点云从激光雷达坐标系转换至车辆坐标系的坐标，

在不存在当前时刻的前一时刻的第二地平面法向量，或者所述第二地平面法向量与所述第一地平面法向量的夹角大于预设阈值的情况下，获取所述预设矩形区域的N个特征点的横坐标和纵坐标，所述N为大于或等于4的整数，所述特征点在车辆坐标系下，

将所述N个特征点的横坐标和纵坐标代入所述地平面方程，得到所述特征点的竖坐标，

根据特征点三维坐标和车辆标定参数，将所述特征点三维坐标转换为在相机图像坐标系下的第一特征点像素坐标，所述特征点三维坐标包括所述特征点的横坐标、纵坐标和竖坐标，

根据所述特征点三维坐标和第一特征点像素坐标，确定透视图到地平面的当前时刻的第一逆透视变换矩阵，

根据所述当前时刻的第一逆透视变换矩阵，将所述透视图转换为三维路面特征信息。

在一种可能的实现方式中，在存在所述第二地平面法向量，且所述第二地平面法向量与所述第一地平面法向量的夹角小于或等于预设阈值的情况下，获取当前时刻的前一时刻的第一逆透视变换矩阵，

根据所述当前时刻的前一时刻的第一逆透视变换矩阵，将所述透视图转换为三维路面特征信息。

在一种可能的实现方式中，所述在不存在当前时刻的前一时刻的第二地平面法向量，或者所述第二地平面法向量与所述第一地平面法向量的夹角大于预设阈值的情况下，获取所述预设矩形区域的N个特征点的横坐标和纵坐标之前，所述方法还包括：

根据公式(1)，确定所述第二地平面法向量和所述第一地平面法向量的夹角，

其中，(A_i,B_i,C_i)为第一地平面法向量，(A_i-1,B_i-1,C_i-1)为第二地平面法向量。

在一种可能的实现方式中，所述车辆标定参数包括：激光雷达与车辆坐标系的第一位姿变换矩阵、激光雷达与相机的第二位姿变换矩阵和相机内参矩阵，

所述根据所述特征点三维坐标和车辆标定参数，将所述特征点三维坐标转换为在相机图像坐标系下的第一特征点像素坐标，包括：

根据所述第一位姿变换矩阵、所述第二位姿变换矩阵和所述相机内参矩阵，确定车辆坐标系到图像像素坐标的齐次变换矩阵，

通过所述齐次变换矩阵，将在车辆坐标系下的特征点三维坐标转换为在相机图像坐标系下的第一特征点像素坐标。

在一种可能的实现方式中，所述根据所述第一位姿变换矩阵、所述第二位姿变换矩阵和所述相机内参矩阵，确定车辆坐标系到图像像素坐标的齐次变换矩阵，包括：

根据公式(2)，确定齐次变换矩阵：

T_car2pixel＝M×T_lidar2camera×inv(T_lidar2car) (2)

其中，T_car2pixel为齐次变换矩阵，M为相机内参矩阵，T_lidar2camera为第二位姿变换矩阵，inv(T_lidar2car)为第一位姿变换矩阵的逆矩阵。

在一种可能的实现方式中，所述通过所述齐次变换矩阵，将在车辆坐标系下的特征点三维坐标转换为在相机图像坐标系下的第一特征点像素坐标，包括：

根据公式(3)和公式(4)，确定第一特征点像素齐次坐标：

其中，U为第一特征点像素齐次坐标的横坐标，V为第一特征点像素齐次坐标的纵坐标，W为第一特征点像素齐次坐标的竖坐标，X为特征点三维坐标的横坐标，Y为特征点三维坐标的纵坐标，Z为特征点三维坐标的竖坐标，T_car2pixel为齐次变换矩阵，

u＝U÷W,v＝V÷W (4)

其中，u为第一特征点像素坐标的横坐标，v为第一特征点像素坐标的纵坐标，U为第一特征点像素齐次坐标的横坐标，V为第一特征点像素齐次坐标的纵坐标。

在一种可能的实现方式中，在所述将所述N个特征点的横坐标和纵坐标代入所述地平面方程，得到所述特征点的竖坐标之后，所述方法还包括：

根据所述特征点三维坐标和预设鸟瞰图参数，将所述特征点三维坐标转换为在鸟瞰图像坐标系下的第二特征点像素坐标，所述预设鸟瞰图参数包括：鸟瞰图尺寸和鸟瞰图像素尺寸，

根据所述第一特征点像素坐标和第二特征点像素坐标，确定所述透视图到鸟瞰图的第二逆透视变换矩阵，

根据所述第二逆透视变换矩阵和预设鸟瞰图参数，将所述透视图转换为鸟瞰图，

所述车辆坐标系和所述鸟瞰图像坐标系均与车辆的后轴中心点相关，

所述根据所述特征点三维坐标和预设鸟瞰图参数，将所述特征点三维坐标转换为在鸟瞰图像坐标系下的第二特征点像素坐标，包括：

根据公式(5)和公式(6)，确定第二特征点像素坐标：

x_bev＝width/2-Y/scale_h (5)

y_bev＝height-X/scale_w (6)

其中，x_bev为第二特征点像素坐标的横坐标，y_bev为第二特征点像素坐标的纵坐标，width为鸟瞰图尺寸中的宽度，height为鸟瞰图尺寸中的高度，scale_w为鸟瞰图像素尺寸中，一个像素代表的车辆坐标系纵向距离，scale_h为鸟瞰图像素尺寸中，一个像素代表的车辆坐标系下的横向距离，X为特征点三维坐标的横坐标，Y为特征点三维坐标的纵坐标，

所述根据所述第一特征点像素坐标和第二特征点像素坐标，确定所述透视图到鸟瞰图的第二逆透视变换矩阵，包括：

根据公式(7)，确定第二逆透视变换矩阵：

其中，为第二逆透视变换矩阵，x_bev为第二特征点像素坐标的横坐标，y_bev为第二特征点像素坐标的纵坐标，u为第一特征点像素坐标的横坐标，v为第一特征点像素坐标的纵坐标。

在一种可能的实现方式中，所述根据所述当前时刻的第一逆透视变换矩阵，将所述透视图转换为三维路面特征信息，包括：

根据公式(8)，将所述透视图转换为三维路面特征信息：

其中，u’为透视图上的路面特征像素坐标的横坐标，v’为透视图上的路面特征像素坐标的纵坐标，为当前时刻的第一逆透视变换矩阵，E为三维路面特征信息的横坐标，F为三维路面特征信息的纵坐标，G为三维路面特征信息的竖坐标。

在一种可能的实现方式中，在所述根据所述当前时刻的第一逆透视变换矩阵，将所述透视图转换为三维路面特征信息之后，所述方法还包括：

识别所述鸟瞰图中的车道线，

在所述车道线平行的情况下，确定所述三维路面特征信息有效，

存储所述当前时刻的第一逆透视变换矩阵和所述第二逆透视变换矩阵，

在所述车道线不平行的情况下，确定所述三维路面特征信息无效。

在一种可能的实现方式中，所述对车辆前方地平面上的预设矩形区域内的特征点云进行拟合处理，确定地平面方程，包括：

从所述特征点云中选取第一特征点，利用所述第一特征点构建初始地平面方程，

确定第二特征点对应的位置与所述初始地平面方程对应的位置的偏差，所述第二特征点为所述特征点云中除所述第一特征点以外的特征点，

利用所述偏差小于预设阈值的第二特征点对所述初始地平面方程进行校正，得到所述地平面方程。

另一方面，本申请实施例提供了一种逆透视变换矩阵的标定装置，包括：

拟合模块，用于对车辆前方地平面上的预设矩形区域内的特征点云进行拟合处理，确定地平面方程和当前时刻的第一地平面法向量，所述特征点云是车载激光雷达采集的点云从激光雷达坐标系转换至车辆坐标系的坐标，

获取模块，用于在不存在当前时刻的前一时刻的第二地平面法向量，或者所述第二地平面法向量与所述第一地平面法向量的夹角大于预设阈值的情况下，获取所述预设矩形区域的N个特征点的横坐标和纵坐标，所述N为大于或等于4的整数，所述特征点在车辆坐标系下，

代入模块，用于将所述N个特征点的横坐标和纵坐标代入所述地平面方程，得到所述特征点的竖坐标，

第一转换模块，用于根据特征点三维坐标和车辆标定参数，将所述特征点三维坐标转换为在相机图像坐标系下的第一特征点像素坐标，所述特征点三维坐标包括所述特征点的横坐标、纵坐标和竖坐标，

确定模块，用于根据所述特征点三维坐标和第一特征点像素坐标，确定透视图到地平面的当前时刻的第一逆透视变换矩阵，

第二转换模块，用于根据所述当前时刻的第一逆透视变换矩阵，将所述透视图转换为三维路面特征信息。

再一方面，本申请实施例提供了一种逆透视变换矩阵的标定设备，所述设备包括：处理器以及存储有计算机程序指令的存储器，

所述处理器执行所述计算机程序指令时实现如上述任意一项所述的逆透视变换矩阵的标定方法。

再一方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现如上述任意一项所述的逆透视变换矩阵的标定方法。

再一方面，本申请实施例提供了一种计算机程序产品，所述计算机程序产品中的指令由电子设备的处理器执行时，使得所述电子设备执行如上述任意一项所述的逆透视变换矩阵的标定方法。

本申请实施例的逆透视变换矩阵的标定方法及装置，先对车辆前方地平面上的预设矩形区域内的特征点云进行拟合处理，确定地平面方程和当前时刻的第一地平面法向量，在不存在当前时刻的前一时刻的第二地平面法向量，或者第二地平面法向量与第一地平面法向量的夹角大于预设阈值的情况下，获取预设矩形区域的N个特征点的横坐标和纵坐标，并结合地平面方程求解特征点的竖坐标，求解得到的特征点三维坐标的精度提高，车载相机的标定精度也提高，然后根据特征点三维坐标和车辆标定参数，将特征点三维坐标转换为在相机图像坐标系下的第一特征点像素坐标，此时得到了N对在地平面和透视图上对应的点坐标，根据特征点三维坐标和第一特征点像素坐标进行求解，可以得到能够将透视图转换到地平面的第一逆透视变换矩阵，通过第一逆透视变换矩阵可以快速将透视图转换为三维路面特征信息，提高了车载相机的标定效率。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单的介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的车辆坐标系的示意图，

图2是本申请实施例提供的逆透视变换矩阵的标定方法的流程示意图，

图3是本申请实施例提供的逆透视变换矩阵的标定装置的结构示意图，

图4是本申请实施例提供的逆透视变换矩阵的标定设备的结构示意图。

具体实施方式

下面将详细描述本申请的各个方面的特征和示例性实施例，为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施例，对本申请进行进一步详细描述。应理解，此处所描述的具体实施例仅意在解释本申请，而不是限定本申请。对于本领域技术人员来说，本申请可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本申请的示例来提供对本申请更好的理解。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

在智能驾驶感知环节中，车载相机的视觉检测技术发挥着重要作用，尤其是在检测路面特征方面，例如车道线检测、路面交通标识检测、井盖和减速带检测等。但由于车载相机一般是单目相机，而单目相机是基于小孔成像原理获得图像，获取的图像为透视图，图像中所呈现的路面特征会发生变形，呈现“近大远小”的现象，给特征提取及输出三维空间中的特征信息带来诸多不便。

为了解决上述问题，通常是要利用逆透视变换将原图转换到鸟瞰图、将像素转到车辆坐标系或地面坐标系等三维空间中，为此需要对相机进行逆透视变换标定，得到逆透视变换矩阵。因为逆透视变换矩阵实质上是一个原平面到投影平面、维数为3*3的单应性矩阵，计算此矩阵至少需要得到原平面和投影平面上的四对对应点的坐标，利用此四对坐标通过列写线性方程求解矩阵的各元素值，所以逆透视变换标定方法主要是要得到透视图平面与地平面上的至少四对对应点的坐标。

现有技术中通过深度学习模型或者传统图像检测方法检测图像的消失点和天地分界线、左右车道线，得到用于逆透视变换的四个对应点的坐标，从而计算逆透视变换矩阵，并通过消失点、天地分界线的变化来判断相机的俯仰角、偏航角是否变换，然后根据变换推导相机的姿态矩阵或者修正用于逆透视变换的四个对应点的坐标。

虽然通过深度学习、边缘梯度特征、霍夫变换等方法自动得到像素点，但这种方法需要保证地面上有明显的车道线特征，对场景有一定要求。深度学习模型检测消失点需要进行模型训练和部署，实现成本较高，且这种方法只能得到透视图像素坐标系到鸟瞰图像素坐标系的逆透视变换矩阵，无法得到透视图像素到地平面的逆透视变换矩阵，即无法将像素点转到车辆坐标系下。

此外，由于开放道路路面会有上下坡、过减速度带等情况，容易导致相机与路面的逆透视变换矩阵发生变化，此时静态的标定参数便无法适应此类情况，需要动态标定逆透视变换矩阵，以便获取真实的路面特征信息。

基于此，本申请实施例提供了一种逆透视变换矩阵的标定方法及装置，先对车辆前方地平面上的预设矩形区域内的特征点云进行拟合处理，确定地平面方程和当前时刻的第一地平面法向量，在不存在当前时刻的前一时刻的第二地平面法向量，或者第二地平面法向量与第一地平面法向量的夹角大于预设阈值的情况下，获取预设矩形区域的N个特征点的横坐标和纵坐标，并结合地平面方程求解特征点的特征点三维坐标，求解得到的特征点三维坐标的精度提高，车载相机的标定精度也提高，然后根据特征点三维坐标和车辆标定参数，将特征点三维坐标转换为在相机图像坐标系下的第一特征点像素坐标，此时得到了N对在地平面和透视图上对应的点坐标，根据特征点三维坐标和第一特征点像素坐标进行求解，可以得到能够将透视图转换到地平面的第一逆透视变换矩阵，通过第一逆透视变换矩阵可以快速将透视图转换为三维路面特征信息，提高了车载相机的标定效率。

为了解决现有技术问题，本申请实施例提供了一种逆透视变换矩阵的标定方法及装置。

为便于理解本申请，首先对以下涉及的坐标系进行说明。

图1是本申请实施例提供的车辆坐标系的示意图，如图1所示，车辆上安装有激光雷达和相机。车辆坐标系以车辆后轴的中心点为原点建立，X轴正向朝向车头，Y轴正向垂直纸面向外，Z轴正向垂直地面向上。激光雷达坐标系以激光发射中心为原点建立，X轴正向朝向车头，Y轴正向垂直纸面向里，Z轴正向垂直地面向上。相机坐标系以相机光心为原点建立，X轴正向垂直纸面向外，Y轴正向垂直地面向下，Z轴正向朝向车头。

需要说明的是，如图1所示，车辆前方地面与车辆当前所处地面可能并不在同一水平面上，而在此情形下，容易导致离线标定的矩阵结果不准确，而通过在线实时标定则可以避免上述问题。

图2是本申请实施例提供的逆透视变换矩阵的标定方法的流程示意图，如图2所示，本申请实施例提供的逆透视变换矩阵的标定方法包括以下步骤：S201至S206。

S201，对车辆前方地平面上的预设矩形区域内的特征点云进行拟合处理，确定地平面方程和当前时刻的第一地平面法向量，

作为S201的一种可能的实现方式，通过车辆前方地平面上的预设矩形区域，筛选车辆前方的点云，得到特征点云。通过随机抽样一致算法(RANdom SAmple Consensus，RANSAC)算法对特征点云进行拟合，得到地平面方程Ax+By+Cz+D＝0，则地平面法向量为N_i(A_i,B_i,C_i)。其中，特征点云是车载激光雷达采集的点云从激光雷达坐标系转换至车辆坐标系的坐标。示例性的，RANSAC算法是通过随机选择特征点云中的第一特征点作为随机子集，被选取的第一特征点被假设为局内点，利用此局内点拟合构建初始地平面方程。然后利用初始地平面方程测试特征点云中除第一特征点之外的第二特征点，确定第二特征点对应的位置与初始地平面方程对应的位置的偏差，偏差越小表示该第二特征点适用于初始地平面方程，在第二特征点对应的偏差小于预设阈值时，认为该第二特征点也为局内点，以此将局内点扩充。因初始地平面方程仅仅是利用第一特征点估计的，在扩充局内点之后则需要对初始地平面方程进行更新，即利用偏差小于预设阈值的第二特征点对初始地平面方程进行校正，便能够得到地平面方程。

由于激光雷达和相机为智能驾驶车辆的常用传感器配置，上述车辆标定参数是必须要标定的。本申请利用已有的车辆标定参数进行自动标定逆透视变换矩阵，不会增加智能车整体传感器标定复杂度，还能提高标定效率和精度。

S202，在不存在当前时刻的前一时刻的第二地平面法向量，或者第二地平面法向量与第一地平面法向量的夹角大于预设阈值的情况下，获取预设矩形区域的N个特征点的横坐标和纵坐标，

作为S202的一种可能的实现方式，N为大于或等于4的整数，特征点在车辆坐标系下。在不存在当前时刻的前一时刻的第二地平面法，即当前时刻是起始时刻的情况下，由于历史不存在第一逆透视变换矩阵，需要进行当前时刻的第一逆透视变换矩阵计算。在当前时刻不是起始时刻，并且与前一时刻的地平面法向量的夹角大于预设阈值的情况下，由于第一逆透视变换矩阵变化较大，需要重新进行当前时刻的第一逆透视变换矩阵计算，首先获取预设矩形区域的N个特征点的横坐标和纵坐标。

在一个示例中，设定车辆前方相机视野内的地平面上的预设矩形区域的四个特征点，即A(X1，Y1，Z_A)、B(X1，-Y1，Z_B)、C(X2,Y1，Z_C)、D(X2,-Y2，Z_D)，其中四个特征点的横坐标X和纵坐标Y已知。为了保证设定的特征点的准确性，需要确保输入的四个特征点在地平面上，而不是在其他物体上，例如灯杆、台阶、车体等。

上述A、B、C、D四个特征点只是为举例说明，并不限制特征点的数量，也不限制特征点的位置，特征点可以在预设矩形区域的角上。也可以在预设矩形区域的边上，或者预设矩形区域内部。

由于特征点是直接根据矩形特征直接设定的，所以省去了现有方案中标记、量取地面特征点的繁琐过程，也提高了标定精度和效率。

S203，将N个特征点的横坐标和纵坐标代入地平面方程，得到特征点的竖坐标，

作为S203的一种可能的实现方式，将四个特征点的横坐标X和纵坐标Y代入地平面方程Ax+By+Cz+D＝0中，可得到各特征点对应的竖坐标Z。根据特征点的横坐标X，纵坐标Y和竖坐标Z，得到特征点在车俩坐标系下的特征点三维坐标。

S204，根据特征点三维坐标和车辆标定参数，将特征点三维坐标转换为在相机图像坐标系下的第一特征点像素坐标，

作为S204的一种可能的实现方式，车辆标定参数包括：激光雷达与车辆坐标系的第一位姿变换矩阵、激光雷达与相机的第二位姿变换矩阵和相机内参矩阵。根据第一位姿变换矩阵、第二位姿变换矩阵和相机内参矩阵，确定车辆坐标系到图像像素坐标的齐次变换矩阵，通过齐次变换矩阵，将在车辆坐标系下的特征点三维坐标转换为在相机图像坐标系下的第一特征点像素坐标。

其中，齐次变换矩阵可以理解为车辆坐标系在图像像素坐标系中位置和姿态的描述。

由此，根据特征点三维坐标和车辆标定参数，将特征点三维坐标转换为在相机图像坐标系下的第一特征点像素坐标。

S205，根据特征点三维坐标和第一特征点像素坐标，确定透视图到地平面的当前时刻的第一逆透视变换矩阵，

作为S205的一种可能的实现方式，将得到N对特征点三维坐标(X,Y,Z)和第一特征点像素坐标(x_bev,y_bev)代入公式(a)，得到多个线性方程，求解方程得到设立的第一逆透视变换矩阵中的每个参数的数值，进而得到第一逆透视变换矩阵。

根据公式(a)，确定第一逆透视变换矩阵：

其中，为第一逆透视变换矩阵，u为第一特征点像素坐标的横坐标，v为第一特征点像素坐标的纵坐标，X为特征点三维坐标的横坐标，Y为特征点三维坐标的纵坐标，Z为特征点三维坐标的竖坐标。

由此，根据地平面和透视图上的N对坐标点，求解透视图到地平面的当前时刻的第一逆透视变换矩阵。

S206，根据当前时刻的第一逆透视变换矩阵，将透视图转换为三维路面特征信息。

作为S206的一种可能的实现方式，根据公式(8)，将透视图转换为三维路面特征信息：

其中，u’为透视图上的路面特征像素坐标的横坐标，v’为透视图上的路面特征像素坐标的纵坐标，为当前时刻的第一逆透视变换矩阵，E为三维路面特征信息的横坐标，F为三维路面特征信息的纵坐标，G为三维路面特征信息的竖坐标。

由此，根据第一逆透视变换矩阵，将透视图转换为三维路面特征信息，便于车辆根据三维路面特征信息进行路线规划。

本申请的方法是动态标定，可以对相机的姿态进行动态修正，除了可以应用于在路面平坦的场景下，如封闭园区、测试场、港口等，也可以应用于在路面不平坦的场景下，如崎岖的山路。

本申请实施例的逆透视变换矩阵的标定方法，先对车辆前方地平面上的预设矩形区域内的特征点云进行拟合处理，确定地平面方程和当前时刻的第一地平面法向量，在不存在当前时刻的前一时刻的第二地平面法向量，或者第二地平面法向量与第一地平面法向量的夹角大于预设阈值的情况下，获取预设矩形区域的N个特征点的横坐标和纵坐标，并结合地平面方程求解特征点的特征点三维坐标，求解得到的特征点三维坐标的精度提高，车载相机的标定精度也提高，然后根据特征点三维坐标和车辆标定参数，将特征点三维坐标转换为在相机图像坐标系下的第一特征点像素坐标，此时得到了N对在地平面和透视图上对应的点坐标，根据特征点三维坐标和第一特征点像素坐标进行求解，可以得到能够将透视图转换到地平面的第一逆透视变换矩阵，通过第一逆透视变换矩阵可以快速将透视图转换为三维路面特征信息，提高了车载相机的标定效率。

在一种可能的实现方式中，在存在第二地平面法向量，且第二地平面法向量与第一地平面法向量的夹角小于或等于预设阈值的情况下，获取当前时刻的前一时刻的第一逆透视变换矩阵，

根据当前时刻的前一时刻的第一逆透视变换矩阵，将透视图转换为三维路面特征信息。

作为一种可能的实现方式中，在存在第二地平面法向量，且第二地平面法向量与第一地平面法向量的夹角小于或等于预设阈值，即当前时刻和前一时刻的第一逆透视变换矩阵变化较小情况下，不需要再次计算第一逆透视变换矩阵，沿用当前时刻的前一时刻的第一逆透视变换矩阵，可以有效减少运算压力，提高标定效率。

由此，在存在第二地平面法向量，且第二地平面法向量与第一地平面法向量的夹角小于或等于预设阈值的情况下，即当前时刻和前一时刻的地平面法向量的差别不大的情况下，直接利用当前时刻的前一时刻的第一逆透视变换矩阵，进行三维路面特征信息转换。

在一种可能的实现方式中，在不存在当前时刻的前一时刻的第二地平面法向量，或者第二地平面法向量与第一地平面法向量的夹角大于预设阈值的情况下，获取预设矩形区域的N个特征点的横坐标和纵坐标之前，方法还包括：

根据公式(1)，确定第二地平面法向量和第一地平面法向量的夹角，

其中，(A_i,B_i,C_i)为第一地平面法向量，(A_i-1,B_i-1,C_i-1)为第二地平面法向量。

由此，根据公式(1)确定第二地平面法向量和第一地平面法向量的夹角。

在一种可能的实现方式中，根据第一位姿变换矩阵、第二位姿变换矩阵和相机内参矩阵，确定车辆坐标系到图像像素坐标的齐次变换矩阵，包括：

根据公式(2)，确定齐次变换矩阵：

T_car2pixel＝M×T_lidar2camera×inv(T_lidar2car) (2)

其中，T_car2pixel为齐次变换矩阵，M为相机内参矩阵，T_lidar2camera为第二位姿变换矩阵，inv(T_lidar2car)为第一位姿变换矩阵的逆矩阵。

由此，根据公式(2)，确定齐次变换矩阵。

在一种可能的实现方式中，通过齐次变换矩阵，将在车辆坐标系下的特征点三维坐标转换为在相机图像坐标系下的第一特征点像素坐标，包括：

根据公式(3)和公式(4)，确定第一特征点像素齐次坐标：

其中，U为第一特征点像素齐次坐标的横坐标，V为第一特征点像素齐次坐标的纵坐标，W为第一特征点像素齐次坐标的竖坐标，X为特征点三维坐标的横坐标，Y为特征点三维坐标的纵坐标，Z为特征点三维坐标的竖坐标，T_car2pixel为齐次变换矩阵，

u＝U÷W,v＝V÷W (4)

其中，u为第一特征点像素坐标的横坐标，v为第一特征点像素坐标的纵坐标，U为第一特征点像素齐次坐标的横坐标，V为第一特征点像素齐次坐标的纵坐标。

由此，通过齐次变换矩阵，将在车辆坐标系下的特征点三维坐标转换为在相机图像坐标系下的第一特征点像素坐标。

在一种可能的实现方式中，在将N个特征点的横坐标和纵坐标代入地平面方程，得到特征点的竖坐标之后，方法还包括：

根据特征点三维坐标和预设鸟瞰图参数，将特征点三维坐标转换为在鸟瞰图像坐标系下的第二特征点像素坐标，

在一个示例中，预设鸟瞰图参数包括：鸟瞰图尺寸和鸟瞰图像素尺寸。

根据第一特征点像素坐标和第二特征点像素坐标，确定透视图到鸟瞰图的第二逆透视变换矩阵，

根据第二逆透视变换矩阵和预设鸟瞰图参数，将透视图转换为鸟瞰图，

在一个示例中，车辆坐标系和鸟瞰图像坐标系均与车辆的后轴中心点相关。

为便于查看，将透视图转换为鸟瞰图后，输出显示鸟瞰图。示例性的，透视图中的路面特征近大远小，而转换后的鸟瞰图中路面特征，如左右车道线平行不再有近大远小的效果。

根据特征点三维坐标和预设鸟瞰图参数，将特征点三维坐标转换为在鸟瞰图像坐标系下的第二特征点像素坐标，包括：

根据公式(5)和公式(6)，确定第二特征点像素坐标：

x_bev＝width/2-Y/scale_h (5)

y_bev＝height-X/scale_w (6)

其中，x_bev为第二特征点像素坐标的横坐标，y_bev为第二特征点像素坐标的纵坐标，width为鸟瞰图尺寸中的宽度，height为鸟瞰图尺寸中的高度，scale_w为鸟瞰图像素尺寸中，一个像素代表的车辆坐标系纵向距离，scale_h为鸟瞰图像素尺寸中，一个像素代表的车辆坐标系下的横向距离，X为特征点三维坐标的横坐标，Y为特征点三维坐标的纵坐标。

根据第一特征点像素坐标和第二特征点像素坐标，确定透视图到鸟瞰图的第二逆透视变换矩阵，包括：

根据公式(7)，确定第二逆透视变换矩阵：

其中，为第二逆透视变换矩阵，x_bev为第二特征点像素坐标的横坐标，y_bev为第二特征点像素坐标的纵坐标，u为第一特征点像素坐标的横坐标，v为第一特征点像素坐标的纵坐标。

由此，根据第一特征点像素坐标和第二特征点像素坐标，确定透视图到鸟瞰图的第二逆透视变换矩阵。

在一种可能的实现方式中，在根据当前时刻的第一逆透视变换矩阵，将透视图转换为三维路面特征信息之后，方法还包括：

识别鸟瞰图中的车道线，

作为一种可能的实现方式，根据预设车道线特征识别鸟瞰图中的车道线。

在车道线平行的情况下，确定三维路面特征信息有效，

作为一种可能的实现方式中，从相邻的车道线中分别选取m个相对的点，并计算每对点的距离，在得到的距离的最大差值小于预设阈值的情况下，确定车道线平行，在得到的距离的最大差值大于或等于预设阈值的情况下，确定车道线不平行。

存储当前时刻的第一逆透视变换矩阵和第二逆透视变换矩阵，

作为一种可能的实现方式中，存储第一逆透视变换矩阵和第二逆透视变换矩阵，同时标注存储时间，便于基于车辆长时间的使用，对第一逆透视变换矩阵和第二逆透视变换矩阵进行更新。

在车道线不平行的情况下，确定三维路面特征信息无效。

作为一种可能的实现方式，在车道线不平行的情况下，重新执行上述步骤S201-206。

由此，通过识别鸟瞰图中的车道线是否平行，确定三维路面特征信息是否有效。

基于上述实施例提供的逆透视变换矩阵的标定方法，相应地，本申请还提供了逆透视变换矩阵的标定装置的具体实现方式。图3是本申请实施例提供的逆透视变换矩阵的标定装置的结构示意图，如图3所示，本申请实施例提供的逆透视变换矩阵的标定装置300，包括：

拟合模块301，用于对车辆前方地平面上的预设矩形区域内的特征点云进行拟合处理，确定地平面方程和当前时刻的第一地平面法向量，特征点云是车载激光雷达采集的点云从激光雷达坐标系转换至车辆坐标系的坐标，

获取模块302，用于在不存在当前时刻的前一时刻的第二地平面法向量，或者第二地平面法向量与第一地平面法向量的夹角大于预设阈值的情况下，获取预设矩形区域的N个特征点的横坐标和纵坐标，N为大于或等于4的整数，特征点在车辆坐标系下，

代入模块303，用于将N个特征点的横坐标和纵坐标代入地平面方程，得到特征点的竖坐标，

第一转换模块304，用于根据特征点三维坐标和车辆标定参数，将特征点三维坐标转换为在相机图像坐标系下的第一特征点像素坐标，特征点三维坐标包括横坐标、纵坐标和竖坐标，

确定模块305，用于根据特征点三维坐标和第一特征点像素坐标，确定透视图到地平面的当前时刻的第一逆透视变换矩阵，

第二转换模块306，用于根据当前时刻的第一逆透视变换矩阵，将透视图转换为三维路面特征信息。

本申请实施例的逆透视变换矩阵的标定装置，先对车辆前方地平面上的预设矩形区域内的特征点云进行拟合处理，确定地平面方程和当前时刻的第一地平面法向量，在不存在当前时刻的前一时刻的第二地平面法向量，或者第二地平面法向量与第一地平面法向量的夹角大于预设阈值的情况下，获取预设矩形区域的N个特征点的横坐标和纵坐标，并结合地平面方程求解特征点的特征点三维坐标，求解得到的特征点三维坐标的精度提高，车载相机的标定精度也提高，然后根据特征点三维坐标和车辆标定参数，将特征点三维坐标转换为在相机图像坐标系下的第一特征点像素坐标，此时得到了N对在地平面和透视图上对应的点坐标，根据特征点三维坐标和第一特征点像素坐标进行求解，可以得到能够将透视图转换到地平面的第一逆透视变换矩阵，通过第一逆透视变换矩阵可以快速将透视图转换为三维路面特征信息，提高了车载相机的标定效率。

在一种可能的实现方式中，本申请实施例提供的逆透视变换矩阵的标定装置300，还可以包括：

矩阵获取模块，用于在存在第二地平面法向量，且第二地平面法向量与第一地平面法向量的夹角小于或等于预设阈值的情况下，获取当前时刻的前一时刻的第一逆透视变换矩阵，

三维路面特征信息转换模块，用于根据当前时刻的前一时刻的第一逆透视变换矩阵，将透视图转换为三维路面特征信息。

由此，在存在第二地平面法向量，且第二地平面法向量与第一地平面法向量的夹角小于或等于预设阈值的情况下，即当前时刻和前一时刻的地平面法向量的差别不大的情况下，直接利用当前时刻的前一时刻的第一逆透视变换矩阵，进行三维路面特征信息转换。

在一种可能的实现方式中，在不存在当前时刻的前一时刻的第二地平面法向量，或者第二地平面法向量与第一地平面法向量的夹角大于预设阈值的情况下，获取预设矩形区域的N个特征点的横坐标和纵坐标之前，本申请实施例提供的逆透视变换矩阵的标定装置300，还可以包括：

夹角确定模块，用于根据公式(1)，确定第二地平面法向量和第一地平面法向量的夹角，

其中，(A_i,B_i,C_i)为第一地平面法向量，(A_i-1,B_i-1,C_i-1)为第二地平面法向量。

由此，根据公式(1)确定第二地平面法向量和第一地平面法向量的夹角。

在一种可能的实现方式中，车辆标定参数包括：激光雷达与车辆坐标系的第一位姿变换矩阵、激光雷达与相机的第二位姿变换矩阵和相机内参矩阵，

第一转换模块304，还可以用于：

根据第一位姿变换矩阵、第二位姿变换矩阵和相机内参矩阵，确定车辆坐标系到图像像素坐标的齐次变换矩阵，

通过齐次变换矩阵，将在车辆坐标系下的特征点三维坐标转换为在相机图像坐标系下的第一特征点像素坐标。

由此，根据特征点三维坐标和车辆标定参数，将特征点三维坐标转换为在相机图像坐标系下的第一特征点像素坐标。

在一种可能的实现方式中，第一转换模块304，还可以用于：

根据公式(2)，确定齐次变换矩阵：

T_car2pixel＝M×T_lidar2camera×inv(T_lidar2car) (2)

其中，T_car2pixel为齐次变换矩阵，M为相机内参矩阵，T_lidar2camera为第二位姿变换矩阵，inv(T_lidar2car)为第一位姿变换矩阵的逆矩阵。

由此，根据公式(2)，确定齐次变换矩阵。

在一种可能的实现方式中，第一转换模块304，还可以用于：

根据公式(3)和公式(4)，确定第一特征点像素齐次坐标：

其中，U为第一特征点像素齐次坐标的横坐标，V为第一特征点像素齐次坐标的纵坐标，W为第一特征点像素齐次坐标的竖坐标，X为特征点三维坐标的横坐标，Y为特征点三维坐标的纵坐标，Z为特征点三维坐标的竖坐标，T_car2pixel为齐次变换矩阵，

u＝U÷W,v＝V÷W (4)

其中，u为第一特征点像素坐标的横坐标，v为第一特征点像素坐标的纵坐标，U为第一特征点像素齐次坐标的横坐标，V为第一特征点像素齐次坐标的纵坐标。

由此，通过齐次变换矩阵，将在车辆坐标系下的特征点三维坐标转换为在相机图像坐标系下的第一特征点像素坐标。

在一种可能的实现方式中，在将N个特征点的横坐标和纵坐标代入地平面方程，得到特征点的竖坐标之后，本申请实施例提供的逆透视变换矩阵的标定装置300，还可以包括：

第二特征点像素坐标转换模块，用于根据特征点三维坐标和预设鸟瞰图参数，将特征点三维坐标转换为在鸟瞰图像坐标系下的第二特征点像素坐标，预设鸟瞰图参数包括：鸟瞰图尺寸和鸟瞰图像素尺寸，

第二逆透视变换矩阵确定模块，用于根据第一特征点像素坐标和第二特征点像素坐标，确定透视图到鸟瞰图的第二逆透视变换矩阵，

鸟瞰图转换模块，用于根据第二逆透视变换矩阵和预设鸟瞰图参数，将透视图转换为鸟瞰图，

车辆坐标系和鸟瞰图像坐标系均与车辆的后轴中心点相关，

第二特征点像素坐标转换模块，还可以用于：

根据公式(5)和公式(6)，确定第二特征点像素坐标：

x_bev＝width/2-Y/scale_h (5)

y_bev＝height-X/scale_w (6)

其中，x_bev为第二特征点像素坐标的横坐标，y_bev为第二特征点像素坐标的纵坐标，width为鸟瞰图尺寸中的宽度，height为鸟瞰图尺寸中的高度，scale_w为鸟瞰图像素尺寸中，一个像素代表的车辆坐标系纵向距离，scale_h为鸟瞰图像素尺寸中，一个像素代表的车辆坐标系下的横向距离，X为特征点三维坐标的横坐标，Y为特征点三维坐标的纵坐标，

第二逆透视变换矩阵确定模块，还可以用于：

根据公式(7)，确定第二逆透视变换矩阵：

其中，为第二逆透视变换矩阵，x_bev为第二特征点像素坐标的横坐标，y_bev为第二特征点像素坐标的纵坐标，u为第一特征点像素坐标的横坐标，v为第一特征点像素坐标的纵坐标。

由此，根据第一特征点像素坐标和第二特征点像素坐标，确定透视图到鸟瞰图的第二逆透视变换矩阵。

在一种可能的实现方式中，第二转换模块306还可以用于：

根据公式(8)，将透视图转换为三维路面特征信息：

其中，u’为透视图上的路面特征像素坐标的横坐标，v’为透视图上的路面特征像素坐标的纵坐标，为当前时刻的第一逆透视变换矩阵，E为三维路面特征信息的横坐标，F为三维路面特征信息的纵坐标，G为三维路面特征信息的竖坐标。

由此，根据当前时刻的第一逆透视变换矩阵，将透视图转换为三维路面特征信息。

在一种可能的实现方式中，在根据当前时刻的第一逆透视变换矩阵，将透视图转换为三维路面特征信息之后，本申请实施例提供的逆透视变换矩阵的标定装置300，还可以包括：

识别模块，用于识别鸟瞰图中的车道线，

有效确定模块，用于在车道线平行的情况下，确定三维路面特征信息有效，

存储模块，用于存储当前时刻的第一逆透视变换矩阵和第二逆透视变换矩阵，

无效确定模块，用于在车道线不平行的情况下，确定三维路面特征信息无效。

由此，通过识别鸟瞰图中的车道线是否平行，确定三维路面特征信息是否有效。

在一种可能的实现方式中，本申请实施例的拟合模块301具体用于：

从特征点云中选取第一特征点，利用第一特征点构建初始地平面方程，

确定第二特征点对应的位置与初始地平面方程对应的位置的偏差，第二特征点为特征点云中除第一特征点以外的特征点，

利用偏差小于预设阈值的第二特征点对初始地平面方程进行校正，得到地平面方程。

由此，对车辆前方地平面上的预设矩形区域内的特征点云进行拟合处理，确定了地平面方程。

基于上述实施例提供的逆透视变换矩阵的标定方法，相应地，本申请还提供了离线标定车载相机的逆透视变换设备的具体实现方式。

图4是本申请实施例提供的逆透视变换矩阵的标定设备的结构示意图，如图4所示，逆透视变换矩阵的标定设备可以包括：处理器401以及存储有计算机程序指令的存储器402。

具体地，上述处理器401可以包括中央处理器(CPU)，或者特定集成电路(Application Specific Integrated Circuit，ASIC)，或者可以被配置成实施本申请实施例的一个或多个集成电路。

存储器402可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器402可包括硬盘驱动器(Hard Disk Drive，HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(Universal Serial Bus，USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器402可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器402可在综合网关容灾设备的内部或外部。在特定实施例中，存储器402是非易失性固态存储器。

存储器402可包括只读存储器(ROM)，随机存取存储器(RAM)，磁盘存储介质设备，光存储介质设备，闪存设备，电气、光学或其他物理/有形的存储器存储设备。因此，通常，存储器包括一个或多个编码有包括计算机可执行指令的软件的有形(非暂态)计算机可读存储介质(例如，存储器设备)，并且当该软件被执行(例如，由一个或多个处理器)时，其可操作来执行参考根据本申请的一方面的方法所描述的操作。

处理器401通过读取并执行存储器402中存储的计算机程序指令，以实现上述实施例中的任意一种逆透视变换矩阵的标定方法。

在一个示例中，逆透视变换矩阵的标定设备还可包括通信接口403和总线410。其中，如图4所示，处理器401、存储器402、通信接口403通过总线410连接并完成相互间的通信。

通信接口403，主要用于实现本申请实施例中各模块、装置、单元和/或设备之间的通信。

总线410包括硬件、软件或两者，将逆透视变换矩阵的标定设备的部件彼此耦接在一起。举例来说而非限制，总线可包括加速图形端口(AGP)或其他图形总线、增强工业标准架构(EISA)总线、前端总线(FSB)、超传输(HT)互连、工业标准架构(ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、外围组件互连(PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线410可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线，但本申请考虑任何合适的总线或互连。

该逆透视变换矩阵的标定设备可以执行本申请实施例中的逆透视变换矩阵的标定方法，从而实现结合图2和图3描述的逆透视变换矩阵的标定方法和装置。

另外，结合上述实施例中的逆透视变换矩阵的标定方法，本申请实施例提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序指令，计算机程序指令被处理器执行时实现如上述任意一项的逆透视变换矩阵的标定方法。

结合上述实施例中的逆透视变换矩阵的标定方法，本申请实施例提供了一种计算机程序产品，计算机程序产品中的指令由电子设备的处理器执行时，使得电子设备执行如上述任意一项的逆透视变换矩阵的标定方法。

需要明确的是，本申请并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本申请的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本申请的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。

以上的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本申请的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RF)链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。

还需要说明的是，本申请中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或系统。但是，本申请不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。

上面参考根据本申请的实施例的方法、装置和计算机程序产品的流程图和/或框图描述了本申请的各方面。应当理解，流程图和/或框图中的每个方框以及流程图和/或框图中各方框的组合可以由计算机程序指令实现。这些计算机程序指令可被提供给通用计算机、专用计算机、或其它可编程数据处理装置的处理器，以产生一种机器，使得经由计算机或其它可编程数据处理装置的处理器执行的这些指令使能对流程图和/或框图的一个或多个方框中指定的功能/动作的实现。这种处理器可以是但不限于是通用处理器、专用处理器、特殊应用处理器或者现场可编程逻辑电路。还可理解，框图和/或流程图中的每个方框以及框图和/或流程图中的方框的组合，也可以由执行指定的功能或动作的专用硬件来实现，或可由专用硬件和计算机指令的组合来实现。

以上所述，仅为本申请的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。

Claims (11)

1.一种逆透视变换矩阵的标定方法，其特征在于，包括：

对车辆前方地平面上的预设矩形区域内的特征点云进行拟合处理，确定地平面方程和当前时刻的第一地平面法向量，所述特征点云是车载激光雷达采集的点云从激光雷达坐标系转换至车辆坐标系的坐标，

在不存在当前时刻的前一时刻的第二地平面法向量，或者所述第二地平面法向量与所述第一地平面法向量的夹角大于预设阈值的情况下，获取所述预设矩形区域的N个特征点的横坐标和纵坐标，所述N为大于或等于4的整数，所述特征点在车辆坐标系下，

将所述N个特征点的横坐标和纵坐标代入所述地平面方程，得到所述特征点的竖坐标，

根据特征点三维坐标和车辆标定参数，将所述特征点三维坐标转换为在相机图像坐标系下的第一特征点像素坐标，所述特征点三维坐标包括所述特征点的横坐标、纵坐标和竖坐标，

根据所述特征点三维坐标和第一特征点像素坐标，确定透视图到地平面的当前时刻的第一逆透视变换矩阵，

根据所述当前时刻的第一逆透视变换矩阵，将所述透视图转换为三维路面特征信息。

2.根据权利要求1所述的逆透视变换矩阵的标定方法，其特征在于，所述方法还包括：

在存在所述第二地平面法向量，且所述第二地平面法向量与所述第一地平面法向量的夹角小于或等于预设阈值的情况下，获取当前时刻的前一时刻的第一逆透视变换矩阵，

根据所述当前时刻的前一时刻的第一逆透视变换矩阵，将所述透视图转换为三维路面特征信息。

3.根据权利要求1所述的逆透视变换矩阵的标定方法，其特征在于，所述在不存在当前时刻的前一时刻的第二地平面法向量，或者所述第二地平面法向量与所述第一地平面法向量的夹角大于预设阈值的情况下，获取所述预设矩形区域的N个特征点的横坐标和纵坐标之前，所述方法还包括：

根据公式(1)，确定所述第二地平面法向量和所述第一地平面法向量的夹角，

其中，(A_i,B_i,C_i)为第一地平面法向量，(A_i-1,B_i-1,C_i-1)为第二地平面法向量。

4.根据权利要求1所述的逆透视变换矩阵的标定方法，其特征在于，所述车辆标定参数包括：激光雷达与车辆坐标系的第一位姿变换矩阵、激光雷达与相机的第二位姿变换矩阵和相机内参矩阵，

所述根据所述特征点三维坐标和车辆标定参数，将所述特征点三维坐标转换为在相机图像坐标系下的第一特征点像素坐标，包括：

根据所述第一位姿变换矩阵、所述第二位姿变换矩阵和所述相机内参矩阵，确定车辆坐标系到图像像素坐标的齐次变换矩阵，

通过所述齐次变换矩阵，将在车辆坐标系下的特征点三维坐标转换为在相机图像坐标系下的第一特征点像素坐标。

5.根据权利要求4所述的逆透视变换矩阵的标定方法，其特征在于，所述根据所述第一位姿变换矩阵、所述第二位姿变换矩阵和所述相机内参矩阵，确定车辆坐标系到图像像素坐标的齐次变换矩阵，包括：

根据公式(2)，确定齐次变换矩阵：

T_car2pixel＝M×T_lidar2camera×inv(T_lidar2car) (2)

其中，T_car2pixel为齐次变换矩阵，M为相机内参矩阵，T_lidar2camera为第二位姿变换矩阵，inv(T_lidar2car)为第一位姿变换矩阵的逆矩阵。

6.根据权利要求4所述的逆透视变换矩阵的标定方法，其特征在于，所述通过所述齐次变换矩阵，将在车辆坐标系下的特征点三维坐标转换为在相机图像坐标系下的第一特征点像素坐标，包括：

根据公式(3)和公式(4)，确定第一特征点像素齐次坐标：

其中，U为第一特征点像素齐次坐标的横坐标，V为第一特征点像素齐次坐标的纵坐标，W为第一特征点像素齐次坐标的竖坐标，X为特征点三维坐标的横坐标，Y为特征点三维坐标的纵坐标，Z为特征点三维坐标的竖坐标，T_car2pixel为齐次变换矩阵，

u＝U÷W,v＝V÷W (4)

其中，u为第一特征点像素坐标的横坐标，v为第一特征点像素坐标的纵坐标，U为第一特征点像素齐次坐标的横坐标，V为第一特征点像素齐次坐标的纵坐标。

7.根据权利要求1所述的逆透视变换矩阵的标定方法，其特征在于，在所述将所述N个特征点的横坐标和纵坐标代入所述地平面方程，得到所述特征点的竖坐标之后，所述方法还包括：

根据所述特征点三维坐标和预设鸟瞰图参数，将所述特征点三维坐标转换为在鸟瞰图像坐标系下的第二特征点像素坐标，所述预设鸟瞰图参数包括：鸟瞰图尺寸和鸟瞰图像素尺寸，

根据所述第一特征点像素坐标和第二特征点像素坐标，确定所述透视图到鸟瞰图的第二逆透视变换矩阵，

根据所述第二逆透视变换矩阵和预设鸟瞰图参数，将所述透视图转换为鸟瞰图，

所述车辆坐标系和所述鸟瞰图像坐标系均与车辆的后轴中心点相关，

所述根据所述特征点三维坐标和预设鸟瞰图参数，将所述特征点三维坐标转换为在鸟瞰图像坐标系下的第二特征点像素坐标，包括：

根据公式(5)和公式(6)，确定第二特征点像素坐标：

x_bev＝width/2-Y/scale_h (5)

y_bev＝height-X/scale_w (6)

其中，x_bev为第二特征点像素坐标的横坐标，y_bev为第二特征点像素坐标的纵坐标，width为鸟瞰图尺寸中的宽度，height为鸟瞰图尺寸中的高度，scale_w为鸟瞰图像素尺寸中，一个像素代表的车辆坐标系纵向距离，scale_h为鸟瞰图像素尺寸中，一个像素代表的车辆坐标系下的横向距离，X为特征点三维坐标的横坐标，Y为特征点三维坐标的纵坐标，

所述根据所述第一特征点像素坐标和第二特征点像素坐标，确定所述透视图到鸟瞰图的第二逆透视变换矩阵，包括：

根据公式(7)，确定第二逆透视变换矩阵：

其中，为第二逆透视变换矩阵，x_bev为第二特征点像素坐标的横坐标，y_bev为第二特征点像素坐标的纵坐标，u为第一特征点像素坐标的横坐标，v为第一特征点像素坐标的纵坐标。

8.根据权利要求1所述的逆透视变换矩阵的标定方法，其特征在于，所述根据所述当前时刻的第一逆透视变换矩阵，将所述透视图转换为三维路面特征信息，包括：

根据公式(8)，将所述透视图转换为三维路面特征信息：

其中，u’为透视图上的路面特征像素坐标的横坐标，v’为透视图上的路面特征像素坐标的纵坐标，为当前时刻的第一逆透视变换矩阵，E为三维路面特征信息的横坐标，F为三维路面特征信息的纵坐标，G为三维路面特征信息的竖坐标。

9.根据权利要求1所述的逆透视变换矩阵的标定方法，其特征在于，在所述根据所述当前时刻的第一逆透视变换矩阵，将所述透视图转换为三维路面特征信息之后，所述方法还包括：

识别所述鸟瞰图中的车道线，

在所述车道线平行的情况下，确定所述三维路面特征信息有效，

存储所述当前时刻的第一逆透视变换矩阵和所述第二逆透视变换矩阵，

在所述车道线不平行的情况下，确定所述三维路面特征信息无效。

10.根据权利要求1所述的逆透视变换矩阵的标定方法，其特征在于，所述对车辆前方地平面上的预设矩形区域内的特征点云进行拟合处理，确定地平面方程，包括：

从所述特征点云中选取第一特征点，利用所述第一特征点构建初始地平面方程，

确定第二特征点对应的位置与所述初始地平面方程对应的位置的偏差，所述第二特征点为所述特征点云中除所述第一特征点以外的特征点，

利用所述偏差小于预设阈值的第二特征点对所述初始地平面方程进行校正，得到所述地平面方程。

11.一种逆透视变换矩阵的标定装置，其特征在于，包括：

拟合模块，用于对车辆前方地平面上的预设矩形区域内的特征点云进行拟合处理，确定地平面方程和当前时刻的第一地平面法向量，所述特征点云是车载激光雷达采集的点云从激光雷达坐标系转换至车辆坐标系的坐标，

获取模块，用于在不存在当前时刻的前一时刻的第二地平面法向量，或者所述第二地平面法向量与所述第一地平面法向量的夹角大于预设阈值的情况下，获取所述预设矩形区域的N个特征点的横坐标和纵坐标，所述N为大于或等于4的整数，所述特征点在车辆坐标系下，

代入模块，用于将所述N个特征点的横坐标和纵坐标代入所述地平面方程，得到所述特征点的竖坐标，

第一转换模块，用于根据特征点三维坐标和车辆标定参数，将所述特征点三维坐标转换为在相机图像坐标系下的第一特征点像素坐标，所述特征点三维坐标包括所述特征点的横坐标、纵坐标和竖坐标，

确定模块，用于根据所述特征点三维坐标和第一特征点像素坐标，确定透视图到地平面的当前时刻的第一逆透视变换矩阵，

第二转换模块，用于根据所述当前时刻的第一逆透视变换矩阵，将所述透视图转换为三维路面特征信息。