CN116883504A - 车辆朝向的校准方法、装置、计算机设备及存储介质 - Google Patents

Abstract

本发明涉及计算机视觉技术领域，公开了一种车辆朝向的校准方法、装置、计算机设备及存储介质，包括：获取在第一时刻和第二时刻车辆的相机图像、第二时刻的预估车辆朝向、相机的外参矩阵、第一噪声方差、第二噪声方差、从第一时刻至第二时刻的相机的旋转矩阵、第一误差、第一误差协方差；在目标时刻对相机图像进行灭点识别操作，获取灭点的观测集合；根据外参矩阵对第二时刻的预估车辆朝向进行转换，获取第二时刻的预估相机朝向；根据第一时刻的灭点集合、第二时刻的灭点集合、旋转矩阵、第一误差、第一误差协方差、第一噪声方差以及第二噪声方差，确定第二时刻相机的更新误差；根据更新误差以及外参矩阵，对第二时刻的预估车辆朝向进行校准。

Description

车辆朝向的校准方法、装置、计算机设备及存储介质

技术领域

本发明涉及计算机视觉技术领域，具体涉及车辆朝向的校准方法、装置、计算机设备及存储介质。

背景技术

无人驾驶技术(也称自动驾驶技术)是指车辆（或其他运载工具）在不需要人为操作的情况下，通过自身配备的传感器感知行驶环境，自主决策行驶路径，并控制车辆按照期望的路径到达期望目的地的技术。无人驾驶技术是多个技术的集成，主要包括实时感知与定位、运动路径规划、通信与数据交互、车辆智能控制等技术。

与传统驾驶相同，对车辆运行环境实时感知与定位是自动驾驶系统实施决策和控制的基础。视觉罗盘技术利用相机实时估计车身的当前朝向。准确的姿态估计是保障无人驾驶安全可靠的基础之一，受到了学术界和工业界的重点关注。

无人驾驶技术中应用视觉罗盘技术预估车辆朝向，但在应用视觉罗盘预估车辆朝向的过程中，存在视觉罗盘耗时高、适用相机受限等技术问题，造成了较多的使用限制。

发明内容

有鉴于此，本发明提供了一种车辆朝向的校准方法、装置、计算机设备及存储介质，以解决现有技术中预估车辆朝向耗时高、适用相机受限的问题。

第一方面，本发明提供了一种车辆朝向的校准方法，包括：

分别获取在第一时刻和第二时刻与车辆对应的相机图像、第二时刻的预估车辆朝向、相机与车辆的外参矩阵、第一噪声方差、第二噪声方差、从第一时刻至第二时刻的相机的旋转矩阵、与第一时刻对应的相机朝向的第一误差、第一时刻对应的相机朝向的第一误差协方差，其中，第一噪声方差为灭点的噪声观测方差，第二噪声方差为相机的状态误差转移过程产生的噪声观测方差；

在目标时刻对相机图像进行灭点识别操作，获取目标时刻的灭点的观测集合，其中，目标时刻包括第一时刻和第二时刻；

根据外参矩阵对第二时刻的预估车辆朝向进行转换，获取第二时刻的预估相机朝向；

根据第一时刻的灭点集合、第二时刻的灭点集合、旋转矩阵、第一误差、第一误差协方差、第一噪声方差以及第二噪声方差，确定第二时刻相机的更新误差；

根据更新误差以及外参矩阵，对第二时刻的预估车辆朝向进行校准。

通过上述方式，分别获取在第一时刻和第二时刻与车辆对应的相机图像、第二时刻的预估车辆朝向、相机与车辆的外参矩阵、第一噪声方差、第二噪声方差、从第一时刻至第二时刻的相机的旋转矩阵、与第一时刻对应的相机朝向的第一误差、第一时刻对应的相机朝向的第一误差协方差，其中，第一噪声方差为灭点的噪声观测方差，第二噪声方差为相机的状态误差转移过程产生的噪声观测方差；在目标时刻对相机图像进行灭点识别操作，获取目标时刻的灭点的观测集合，其中，目标时刻包括第一时刻和第二时刻；根据外参矩阵对第二时刻的预估车辆朝向进行转换，获取第二时刻的预估相机朝向；根据第一时刻的灭点集合、第二时刻的灭点集合、旋转矩阵、第一误差、第一误差协方差、第一噪声方差以及第二噪声方差，确定第二时刻相机的更新误差；根据更新误差以及外参矩阵，对第二时刻的预估车辆朝向进行校准。首先获取车辆运行过程中的参数信息和相机参数信息，在目标时刻对相机图像进行灭点识别操作，获取目标时刻的灭点集合，进而根据车辆参数中的预估车辆朝向以及相机外参矩阵确定预估相机朝向，根据误差相关参数对相机误差进行更新，根据更新后的相机误差以及外参矩阵对车辆朝向进行校准，该方式采用环境中的线特征确定灭点，比采用点特征的算法更加高效，可以极大的提高识别效率，而且灭点在各类相机观测中均可计算得到，只需要拍摄相机图像即可，也避免了适用相机受限的问题。

在一种可选的实施方式中，在目标时刻对相机图像进行灭点识别操作，获取目标时刻的灭点的观测集合，包括：

对目标时刻的相机图像进行图像分割操作，获取图像的线特征；

对线特征进行聚类操作，获取多个聚类簇，其中，每一个聚类簇均包含至少两条直线，每一条直线均包括直线向量；

根据第一聚类簇中的直线向量确定第一聚类簇的灭点集合，其中，第一聚类簇为所有的聚类簇中任一个聚类簇。

通过上述方式，通过聚类操作可以确定同一类型的线特征，可以根据线特性确定每一个聚类簇的灭点集合，线特征比点特征的运算量更小，且灭点为两条线相交的点，其数量级也非常小，可以保证后续的高效运算。

在一种可选的实施方式中，根据第一时刻的灭点集合、第二时刻的灭点集合、旋转矩阵、第一误差、第一误差协方差、第一噪声方差以及第二噪声方差，确定第二时刻相机的更新误差，包括：

根据第一误差对第二时刻的相机朝向误差进行预测，获取第二时刻的相机朝向的第二误差；

根据第一时刻的相机朝向、第一噪声方差以及第一误差协方差，对第二时刻的相机朝向的误差协方差进行预测，获取第二时刻的相机朝向的第二误差协方差；

根据旋转矩阵、第一时刻的灭点的观测集合以及第二时刻的灭点的观测集合，确定第二时刻的灭点差值；

根据第二误差、第二误差协方差、第一时刻的灭点集合、灭点差值、旋转矩阵以及第二噪声方差，确定第二时刻相机的更新误差。

通过上述方式，首先通过第一时刻的误差对第二时刻的误差进行预测，通过第一时刻的误差协方差对第二时刻的误差协方差进行预测，根据两个时刻的灭点的观测集合确定第二时刻的灭点差值，进而确定第二时刻的更新误差，可以较为准确的确定第二时刻相机的更新误差。

在一种可选的实施方式中，根据旋转矩阵、第一时刻的灭点的观测集合以及第二时刻的灭点的观测集合，确定第二时刻的灭点差值，包括：

根据旋转矩阵和第一时刻的灭点的观测集合，对第二时刻的灭点进行预测，获取第二时刻灭点的预测集合；

根据第二时刻的灭点的观测集合和第二时刻的灭点的预测集合，确定第二时刻的灭点差值。

通过上述方式，根据第一时刻相机旋转矩阵和灭点的观测集合确定第二时刻灭点的预测集合，根据第二时刻灭点的观测集合和预测集合确定第二时刻的灭点差值，观测值和预测值之间的差值可以看做为灭点的误差，为后续计算相机的观测矩阵，进而计算相机误差等，提供较为准确的数据基础。

在一种可选的实施方式中，根据第二误差、第二误差协方差、第一时刻的灭点集合、灭点差值、旋转矩阵以及第二噪声方差，确定第二时刻相机的更新误差，包括：

根据旋转矩阵和第一时刻的灭点集合，确定第二时刻的灭点的观测矩阵；

根据观测矩阵、第二误差协方差以及第二噪声方差，确定第二时刻的增益矩阵；

根据增益矩阵、第二时刻的灭点差值以及第二误差，确定第二时刻相机的更新误差。

在一种可选的实施方式中，根据观测矩阵、第二误差协方差以及第二噪声方差，确定第二时刻的增益矩阵，包括：

根据观测矩阵、第二误差协方差以及第二噪声方差，确定第二时刻灭点的残差矩阵；

根据第二误差协方差、观测矩阵以及残差矩阵，确定第二时刻的增益矩阵。

在一种可选的实施方式中，根据更新误差以及外参矩阵，对第二时刻的预估车辆朝向进行校准，包括：

根据更新误差对第二时刻的预估相机朝向进行校准，获取校准相机朝向；

根据校准相机朝向和外参矩阵，对第二时刻的预估车辆朝向进行校准。

通过上述方式，通过相机的更新误差对相机朝向进行校准，然后通过校准后的相机朝向和外参矩阵对车辆朝向进行校准，可以使车辆的朝向校准较为准确，且操作简便。

在一种可选的实施方式中，根据观测矩阵、第二误差协方差、第二噪声方差，确定第二时刻的增益矩阵之后，方法还包括：

根据增益矩阵和观测矩阵对第二误差协方差进行更新，获取第二时刻的更新误差协方差；

根据预获取的下一个时刻的相机朝向、第一噪声方差以及更新误差协方差，对下一个时刻的相机朝向的误差协方差进行预测，确定下一个时刻的对应的相机朝向的预测误差协方差，其中，下一个时刻为第二时刻的下个时刻。

通过上述方式，将下一个时刻对应的相机朝向的预测误差协方差用于下一个校准周期的计算，为后续计算提供数据支撑。

第二方面，本发明提供了一种车辆朝向的校准装置，包括：

获取模块，用于分别获取在第一时刻和第二时刻与车辆对应的相机图像、第二时刻的预估车辆朝向、相机与车辆的外参矩阵、第一噪声方差、第二噪声方差、从第一时刻至第二时刻的相机的旋转矩阵、与第一时刻对应的相机朝向的第一误差、第一时刻对应的相机朝向的第一误差协方差，其中，第一噪声方差为灭点的噪声观测方差，第二噪声方差为相机的状态误差转移过程产生的噪声观测方差；

灭点识别模块，用于在目标时刻对相机图像进行灭点识别操作，获取目标时刻的灭点的观测集合，其中，目标时刻包括第一时刻和第二时刻；

转换模块，用于根据外参矩阵对第二时刻的预估车辆朝向进行转换，获取第二时刻的预估相机朝向；

确定模块，用于根据第一时刻的灭点集合、第二时刻的灭点集合、旋转矩阵、第一误差、第一误差协方差、第一噪声方差以及第二噪声方差，确定第二时刻相机的更新误差；

校准模块，用于根据更新误差以及外参矩阵，对第二时刻的预估车辆朝向进行校准。

第三方面，本发明提供了一种计算机设备，包括：存储器和处理器，存储器和处理器之间互相通信连接，存储器中存储有计算机指令，处理器通过执行计算机指令，从而执行上述第一方面或其对应的任一实施方式的车辆朝向的校准方法。

第四方面，本发明提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机指令，计算机指令用于使计算机执行上述第一方面或其对应的任一实施方式的车辆朝向的校准方法。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例的车辆朝向的校准方法的流程示意图；

图2是根据本发明实施例的第二时刻相机的更新误差确定方法的流程示意图；

图3是根据本发明实施例的下一个时刻的相机朝向的预测误差协方差确定方法的流程示意图；

图4是根据本发明实施例的车辆朝向的校准装置的结构框图；

图5是本发明实施例的计算机设备的硬件结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

无人驾驶技术是当今世界最具潜力之一的技术，对车辆运行环境实时感知与定位是自动驾驶系统实施决策和控制的基础。视觉罗盘技术利用相机实时估计车身的当前朝向。准确的姿态估计是保障无人驾驶安全可靠的基础之一，受到了学术界和工业界的重点关注。

与完全自动驾驶相比，现阶段自动驾驶主要应用于城市道路（行车）、停车场（泊车）等应用场景。本发明主要针对后者，即地库、停车楼等室内应用场景。该场景中通常有丰富的线特征，本发明将基于这类特征提出一种适用于室内停车场的车辆朝向的校准方法。

在一种相关技术中，提出了一种点特征和线特征融合的视觉罗盘方法，通过匹配点特征和线特征描述子并进行分步融合，从而估计出载体的航向角。由于该方法需要计算描述子并进行匹配，因此耗时较高。为了降低特征匹配带来的耗时，通过分层搜索匹配的方法来提高匹配计算效率和匹配准确率。但是总得来说，耗时仍然比较大。

在另一种相关技术中，提出一种利用正弦曲线拟合的方法来估计航向角，通过计算对应子图的相移得到采样点的运动，再通过正弦曲线拟合的方式得到旋转估计。虽然该方法无需匹配操作，但是仅适用于全向相机。

基于此，根据本发明实施例，提供了一种车辆朝向的校准方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

在本实施例中提供了一种车辆朝向的校准方法，可用于上述的计算机设备，如车载计算平台等，图1是根据本发明实施例的车辆朝向的校准方法的流程图，如图1所示，该流程包括如下步骤：

步骤S101，分别获取在第一时刻和第二时刻与车辆对应的相机图像、第二时刻的预估车辆朝向、相机与车辆的外参矩阵、第一噪声方差、第二噪声方差、从第一时刻至第二时刻的相机的旋转矩阵、与第一时刻对应的相机朝向的第一误差、第一时刻对应的相机朝向的第一误差协方差。

第一噪声方差为灭点的噪声观测方差，为给定值，第二噪声方差为相机的状态误差转移过程产生的噪声观测方差，为给定值。第一时刻为第二时刻之前的时刻，例如相邻的时刻或者间隔几个时刻的时刻。第一误差和第一误差协方差可以在初始运算时刻根据经验给定初值。

步骤S102，在目标时刻对相机图像进行灭点识别操作，获取目标时刻的灭点的观测集合。

具体的，目标时刻包括第一时刻和第二时刻。对第一时刻采集的相机图像进行灭点识别操作，获取第一时刻的灭点的观测集合，对第二时刻采集的相机图像进行灭点识别操作，获取第二时刻的灭点的观测集合。

在一个可选的例子中，例如可以根据相机图像中的线条特征，对同一平面的同一类的线条采集灭点，获取每一个时刻的灭点的观测集合。

步骤S103，根据外参矩阵对第二时刻的预估车辆朝向进行转换，获取第二时刻的预估相机朝向。

具体的，第二时刻的预估车辆朝向为预获取的，可以通过车载参数获取，或者也可以通过轮速里程计积分方式获取。获取到预估车辆朝向之后可以通过相机相对于车辆的外参矩阵进行转换，获取第二时刻的预估相机朝向。

步骤S104，根据第一时刻的灭点集合、第二时刻的灭点集合、旋转矩阵、第一误差、第一误差协方差、第一噪声方差以及第二噪声方差，确定第二时刻相机的更新误差。

具体的，在一个可选的例子中，例如可以根据第一误差对第二时刻的误差进行预测，然后根据其他参数对预测误差进行更新，获取更为准确的更新后的误差。

步骤S105，根据更新误差以及外参矩阵，对第二时刻的预估车辆朝向进行校准。

具体的，根据更新误差和外参矩阵，对第二时刻的预估车辆朝向进行校准。

本发明实施例提供的车辆朝向的校准方法，具有如下优点：

分别获取在第一时刻和第二时刻与车辆对应的相机图像、第二时刻的预估车辆朝向、相机与车辆的外参矩阵、第一噪声方差、第二噪声方差、从第一时刻至第二时刻的相机的旋转矩阵、与第一时刻对应的相机朝向的第一误差、第一时刻对应的相机朝向的第一误差协方差，其中，第一噪声方差为灭点的噪声观测方差，第二噪声方差为相机的状态误差转移过程产生的噪声观测方差；在目标时刻对相机图像进行灭点识别操作，获取目标时刻的灭点的观测集合，其中，目标时刻包括第一时刻和第二时刻；根据外参矩阵对第二时刻的预估车辆朝向进行转换，获取第二时刻的预估相机朝向；根据第一时刻的灭点集合、第二时刻的灭点集合、旋转矩阵、第一误差、第一误差协方差、第一噪声方差以及第二噪声方差，确定第二时刻相机的更新误差；根据更新误差以及外参矩阵，对第二时刻的预估车辆朝向进行校准。首先获取车辆运行过程中的参数信息和相机参数信息，在目标时刻对相机图像进行灭点识别操作，获取目标时刻的灭点集合，进而根据车辆参数中的预估车辆朝向以及相机外参矩阵确定预估相机朝向，根据误差相关参数对相机误差进行更新，根据更新后的相机误差以及外参矩阵对车辆朝向进行校准，该方式采用环境的线特征确定灭点，比采用点特征算法更加高效，可以提高识别效率，而且灭点在各类相机观测中均可计算得到，只需要拍摄相机图像即可，也避免了适用相机受限的问题。

在一种可选的实施方式中，在目标时刻对相机图像进行灭点识别操作，获取目标时刻的灭点的观测集合，包括下的方法步骤：

步骤a1，对目标时刻的相机图像进行图像分割操作，获取图像的线特征。

具体的，可以利用训练好的图像分割模型，对相机图像进行图像分割操作，获取目标对象的轮廓，进而对目标对象的轮廓提取外接矩形，提取图像中的线特征。

在一个可选的例子中，例如在室内停车场等线特征较为丰富的场景中，通过语义分割模型，可以得到车道线、柱子、车位等语义元素标签。提取这些语义特征的外轮廓，再求解其外接矩形，每个矩形可以提供两组平行线，可以提取到多组平行线。

步骤a2，对线特征进行聚类操作，获取多个聚类簇。

具体的，每一个聚类簇均包含至少两条直线，每一条直线均包括直线向量。对得到的所有的线特征进行聚类操作，根据语义元素聚类，可以获取不同方向上的平行线聚类。

在一个可选的例子中，例如柱子多垂直于自车运行平面，单帧下的车道线簇是平行的，一个划线车位可提供两组互相垂直的平行线。每个聚类簇中至少包括两条平行线，每条平行线均包括直线向量。

步骤a3，根据第一聚类簇中的直线向量确定第一聚类簇的灭点集合。

具体的，第一聚类簇为所有的聚类簇中任一个聚类簇。根据第一聚类簇中的直线向量确定第一聚类簇的灭点集合，例如可以通过聚类簇中不同方向的直线延伸，得到灭点的坐标，多个灭点坐标集合构成第一聚类簇的灭点集合。

在一个可选的例子中，例如可以通过线特征的直线向量进行奇异值分解（Singular Value Decomposition，简称svd）计算确定第一聚类簇的灭点集合，具体通过如下公式实现：

（公式1）

其中，为第i条直线的直线向量，/>为灭点/>的坐标。

在本实施例中提供了一种车辆朝向的校准方法，可用于上述计算机设备，如车载计算平台等，图2是根据本发明实施例的车辆朝向的校准方法的流程图，如图2所示，该流程包括如下步骤：

步骤S201，分别获取在第一时刻和第二时刻与车辆对应的相机图像、第二时刻的预估车辆朝向、相机与车辆的外参矩阵、第一噪声方差、第二噪声方差、从第一时刻至第二时刻的相机的旋转矩阵、与第一时刻对应的相机朝向的第一误差、第一时刻对应的相机朝向的第一误差协方差。详细请参见图1所示实施例的步骤S101，在此不再赘述。

步骤S202，在目标时刻对相机图像进行灭点识别操作，获取目标时刻的灭点的观测集合。详细请参见图1所示实施例的步骤S102在此不再赘述。

步骤S203，根据外参矩阵对第二时刻的预估车辆朝向进行转换，获取第二时刻的预估相机朝向。详细请参见图1所示实施例的步骤S103在此不再赘述。

步骤S204，根据第一时刻的灭点集合、第二时刻的灭点集合、旋转矩阵、第一误差、第一误差协方差、第一噪声方差以及第二噪声方差，确定第二时刻相机的更新误差。

具体地，上述步骤S204包括：

步骤S2041，根据第一误差对第二时刻的相机朝向误差进行预测，获取第二时刻的相机朝向的第二误差。

具体的，根据第一误差对第二时刻的相机朝向的误差进行预测，确定第二时刻的相机朝向的第二误差，例如获取影响相机误差的影响因子，相机的旋转角度、环境参数等可能影响相机误差的参数，对第二时刻的相机误差进行预测，为了方便说明，以k时刻为第一时刻，以k+1时刻为第二时刻。

状态误差转移方程如下：

（公式2）

其中，是/>时刻的相机朝向；/>是传播过程的噪声，其均值为0，方差为/>。

根据状态误差转移方程，在k时刻状态已知的情况下，根据k时刻的相机朝向误差预测k+1时刻的相机朝向误差/>，具体通过如下方式实现：

（公式3）

其中，为k时刻的相机朝向误差，/>为k+1时刻的相机朝向误差。

步骤S2042，根据第一时刻的相机朝向、第一噪声方差以及第一误差协方差，对第二时刻的相机朝向的误差协方差进行预测，获取第二时刻的相机朝向的第二误差协方差。

具体的，通过第一时刻的相机朝向、第一噪声方差以及第一误差协方差，对第二时刻的相机朝向的误差协方差预测第二时刻的相机朝向的第二误差协方差。

在一个可选的例子中，在k时刻状态已知的情况下，根据k时刻相机朝向误差的协方差预测k+1时刻相机朝向误差的协方差/>，如下公式所示：

（公式4）

其中，为k时刻的相机朝向误差的协方差，/>为k+1时刻的相机朝向误差的协方差，/>是/>时刻的相机朝向的转置矩阵，/>为第二噪声方差。

步骤S2043，根据旋转矩阵、第一时刻的灭点的观测集合以及第二时刻的灭点的观测集合，确定第二时刻的灭点差值。

具体的，可以根据旋转矩阵和第一时刻的灭点的观测集合预测第二时刻的灭点集合，例如根据相机转换矩阵、或者旋转角度对第二时刻的灭点进行预测，进而根据预测的第二时刻的灭点集合和第二时刻灭点的观测集合，确定第二时刻灭点的预测集合与观测集合的差值。

在一种可选的实施方式中，上述步骤S2043，具体包括：

步骤b1，根据旋转矩阵和第一时刻的灭点的观测集合，对第二时刻的灭点进行预测，获取第二时刻灭点的预测集合。

步骤b2，根据第二时刻的灭点的观测集合和第二时刻的灭点的预测集合，确定第二时刻的灭点差值。

具体的，第二时刻的灭点差值为第二时刻灭点的预测集合和观测集合之间的差值。

在一个可选的例子中，灭点差值可以通过如下公式确定：

（公式5）

其中，是k+1时刻的观测值（即通过相机图像计算得到的灭点），/>为通过第一时刻的灭点集合预测的第二时刻的灭点集合，/>是k时刻的灭点的观测集合，是/>时刻到/>相机的旋转矩阵。

步骤S2044，根据第二误差、第二误差协方差、灭点差值、第一时刻的灭点集合、旋转矩阵以及第二噪声方差，确定第二时刻相机的更新误差。

具体的，可以根据旋转矩阵和第一时刻的灭点集合，确定第二时刻的观测矩阵，或者也可以通过旋转矩阵和第一时刻的灭点集合首先确定第二时刻灭点的预测集合，进而根据预测集合确定第二时刻灭点的观测矩阵，进而根据该观测矩阵、第二误差、第二误差协方差、灭点差值以及第二噪声方差对第二时刻的相机朝向误差进行更新，获取第二时刻相机朝向的更新误差。

在一个可选的例子中，上述步骤S2044包括：

步骤c1，根据旋转矩阵和第一时刻的灭点集合，确定第二时刻的灭点的观测矩阵。

具体的，在一个可选的例子中，观测矩阵可以通过如下公式确定：

（公式6）

其中，是k+1时刻的观测矩阵，表示灭点朝向的误差变化速度，/>表示向量的反对称矩阵，反对称矩阵的具体公式为：

（公式7）

其中，为向量，/>、/>、/>为/>中的元素。

步骤c2，根据观测矩阵、第二误差协方差以及第二噪声方差，确定第二时刻的增益矩阵。

具体的，上述步骤c2，具体包括：

步骤c21，根据观测矩阵、第二误差协方差以及第二噪声方差，确定第二时刻灭点的残差矩阵。

具体的，残差矩阵可以通过如下公式实现：

（公式8）

其中，是k+1时刻的残差矩阵，/>为由k时刻的相机朝向误差协方差预测的k+1时刻的相机朝向误差协方差，/>是k+1时刻的观测矩阵，/>为第一噪声方差。

步骤c22，根据第二误差协方差、观测矩阵以及残差矩阵，确定第二时刻的增益矩阵。

具体的，增益矩阵具体通过如下公式实现：

（公式9）

其中，是k+1时刻的增益矩阵，/>是由k时刻的相机朝向误差协方差预测的k+1时刻的相机朝向误差协方差，/>是k+1时刻的观测矩阵，/>是k+1时刻的残差矩阵。

步骤c3，根据增益矩阵、灭点差值以及第二误差，确定第二时刻相机的更新误差。

具体的，第二时刻相机的更新误差可以通过如下公式实现：

（公式10）

其中，是k+1时刻的相机的更新误差，/>是k+1时刻的相机朝向误差，/>是k+1时刻的灭点差值，/>是k+1时刻的增益矩阵。

步骤S205，根据更新误差以及外参矩阵，对第二时刻的预估车辆朝向进行校准。

具体的，可以利用外参矩阵对车辆朝向进行转换，进而利用更新误差对车辆朝向进行校准，或者，也可以利用更新误差首先更新相机误差，进而根据更新后的相机误差和外参矩阵对车辆朝向进行校准。

在一种可选的实施方式中，上述步骤S205，具体包括如下的方法步骤：

步骤d1，根据更新误差对第二时刻的预估相机朝向进行校准，获取校准相机朝向。

具体的，校准相机朝向可以通过如下公式获取：

（公式11）

其中，为校准相机朝向，/>为k+1时刻的预估相机朝向，/>为k+1时刻的相机朝向误差，/>为预构建的方程。

步骤d2，根据校准相机朝向和外参矩阵，对第二时刻的预估车辆朝向进行校准。

具体的，利用外参矩阵对校准相机朝向进行转换，对第二时刻的预估车辆朝向进行校准，具体可以通过如下公式实现：

（公式12）

其中，为校准后的车辆朝向，/>为外参矩阵，/>为校准相机朝向。

在一些可选的实施方式中，根据观测矩阵、第二误差协方差、第二噪声方差，确定第二时刻的增益矩阵之后，还包括如图3所示的方法步骤：

步骤S301，根据增益矩阵和观测矩阵对第二误差协方差进行更新，获取第二时刻的更新误差协方差。

具体的，更新误差协方差具体可以通过如下公式进行更新：

（公式13）

其中，是k+1时刻的更新误差协方差，/>是单位矩阵，/>是k+1时刻的观测矩阵，/>为k+1时刻的增益矩阵，/>为由k时刻的相机朝向误差协方差预测的k+1时刻的相机朝向误差协方差。

步骤S302，根据预获取的下一个时刻的相机朝向、第一噪声方差以及更新误差协方差，对下一个时刻的相机朝向的误差协方差进行预测，确定下一个时刻的对应的相机朝向的预测误差协方差。

具体的，下一个时刻为第二时刻的下个时刻。在下一个周期内，将更新误差协方差作为下一个时刻的初始误差，然后根据该预测误差协方差和预获取的下一个时刻的相机朝向和第一噪声方差，对下一个时刻的相机朝向的误差协方差进行预测，确定第一个时刻对应的相机朝向的预测误差协方差，以便为下一个时刻的更新误差的计算提供数据支撑。

在本实施例中还提供了一种车辆朝向的校准装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

本实施例提供一种车辆朝向的校准装置，如图4所示，包括：

获取模块401，用于分别获取在第一时刻和第二时刻与车辆对应的相机图像、第二时刻的预估车辆朝向、相机与车辆的外参矩阵、第一噪声方差、第二噪声方差、从第一时刻至第二时刻的相机的旋转矩阵、与第一时刻对应的相机朝向的第一误差、第一时刻对应的相机朝向的第一误差协方差，其中，第一噪声方差为灭点的噪声观测方差，第二噪声方差为相机的状态误差转移过程产生的噪声观测方差；

灭点识别模块402，用于在目标时刻对相机图像进行灭点识别操作，获取目标时刻的灭点的观测集合，其中，目标时刻包括第一时刻和第二时刻；

转换模块403，用于根据外参矩阵对第二时刻的预估车辆朝向进行转换，获取第二时刻的预估相机朝向；

确定模块404，用于根据第一时刻的灭点集合、第二时刻的灭点集合、旋转矩阵、第一误差、第一误差协方差、第一噪声方差以及第二噪声方差，确定第二时刻相机的更新误差；

校准模块405，用于根据更新误差以及外参矩阵，对第二时刻的预估车辆朝向进行校准。

在一些可选的实施方式中，灭点识别模块402，包括：

图像分割单元，用于对目标时刻的相机图像进行图像分割操作，获取图像的线特征；

聚类单元，用于对线特征进行聚类操作，获取多个聚类簇，其中，每一个聚类簇均包含至少两条直线，每一条直线均包括直线向量；

第一确定单元，用于根据第一聚类簇中的直线向量确定第一聚类簇的灭点集合，其中，第一聚类簇为所有的聚类簇中任一个聚类簇。

在一些可选的实施方式中，确定模块404，包括：

预测单元，用于根据第一误差对第二时刻的相机朝向误差进行预测，获取第二时刻的相机朝向的第二误差； 根据第一时刻的相机朝向、第一噪声方差以及第一误差协方差，对第二时刻的相机朝向的误差协方差进行预测，获取第二时刻的相机朝向的第二误差协方差；

第二确定单元，用于根据旋转矩阵、第一时刻的灭点的观测集合以及第二时刻的灭点的观测集合，确定第二时刻的灭点差值；

第三确定单元，用于根据第二误差、第二误差协方差、第一时刻的灭点集合、灭点差值、旋转矩阵以及第二噪声方差，确定第二时刻相机的更新误差。

在一些可选的实施方式中，第二确定单元，具体包括：

第一预测子单元，用于根据旋转矩阵和第一时刻的灭点的观测集合，对第二时刻的灭点进行预测，获取第二时刻灭点的预测集合；

第一确定子单元，用于根据第二时刻的灭点的观测集合和第二时刻的灭点的预测集合，确定第二时刻的灭点差值。

第三确定单元，具体包括：

第二确定子单元，用于根据旋转矩阵和第一时刻的灭点集合，确定第二时刻的灭点的观测矩阵；

第三确定子单元，用于根据观测矩阵、第二误差协方差以及第二噪声方差，确定第二时刻的增益矩阵；

第四确定子单元，用于根据增益矩阵、第二时刻的灭点差值以及第二误差，确定第二时刻相机的更新误差。

在一些可选的实施方式中，第三确定子单元，具体用于：

根据观测矩阵、第二误差协方差以及第二噪声方差，确定第二时刻灭点的残差矩阵；

根据第二误差协方差、观测矩阵以及残差矩阵，确定第二时刻的增益矩阵。

在一些可选的实施方式中，校准模块405，具体包括：

第一校准单元，用于根据更新误差对第二时刻的预估相机朝向进行校准，获取校准相机朝向；

第二校准单元，用于根据校准相机朝向和外参矩阵，对第二时刻的预估车辆朝向进行校准。

在一些可选的实施方式中，装置还包括：

更新模块406，用于根据增益矩阵和观测矩阵对第二误差协方差进行更新，获取第二时刻的更新误差协方差；

预测模块407，用于根据预获取的下一个时刻的相机朝向、第一噪声方差以及更新误差协方差，对下一个时刻的相机朝向的误差协方差进行预测，确定下一个时刻的对应的相机朝向的预测误差协方差，其中，下一个时刻为第二时刻的下个时刻。

上述各个模块和单元的更进一步的功能描述与上述对应实施例相同，在此不再赘述。

本实施例中的车辆朝向的校准装置是以功能单元的形式来呈现，这里的单元是指ASIC（Application Specific Integrated Circuit，专用集成电路）电路，执行一个或多个软件或固定程序的处理器和存储器，和/或其他可以提供上述功能的器件。

本发明实施例还提供一种计算机设备，具有上述图4所示的车辆朝向的校准装置。

请参阅图5，图5是本发明可选实施例提供的一种计算机设备的结构示意图，如图5所示，该计算机设备包括：一个或多个处理器10、存储器20，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相通信连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在计算机设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在一些可选的实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个计算机设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图5中以一个处理器10为例。

处理器10可以是中央处理器，网络处理器或其组合。其中，处理器10还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路，可编程逻辑器件或其组合。上述可编程逻辑器件可以是复杂可编程逻辑器件，现场可编程逻辑门阵列，通用阵列逻辑或其任意组合。

其中，存储器20存储有可由至少一个处理器10执行的指令，以使至少一个处理器10执行实现上述实施例示出的方法。

存储器20可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据计算机设备的使用所创建的数据等。此外，存储器20可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些可选的实施方式中，存储器20可选包括相对于处理器10远程设置的存储器，这些远程存储器可以通过网络连接至该计算机设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

存储器20可以包括易失性存储器，例如，随机存取存储器；存储器也可以包括非易失性存储器，例如，快闪存储器，硬盘或固态硬盘；存储器20还可以包括上述种类的存储器的组合。

该计算机设备还包括输入装置30和输出装置40。处理器10、存储器20、输入装置30和输出装置20可以通过总线或者其他方式连接，图5中以通过总线连接为例。

输入装置30可接收输入的数字或字符信息，以及产生与该计算机设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等。输出装置40可以包括显示设备、辅助照明装置（例如，LED）和触觉反馈装置（例如，振动电机）等。上述显示设备包括但不限于液晶显示器，发光二极管，显示器和等离子体显示器。在一些可选的实施方式中，显示设备可以是触摸屏。

本发明实施例还提供了一种计算机可读存储介质，上述根据本发明实施例的方法可在硬件、固件中实现，或者被实现为可记录在存储介质，或者被实现通过网络下载的原始存储在远程存储介质或非暂时机器可读存储介质中并将被存储在本地存储介质中的计算机代码，从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件的存储介质上的这样的软件处理。其中，存储介质可为磁碟、光盘、只读存储记忆体、随机存储记忆体、快闪存储器、硬盘或固态硬盘等；进一步地，存储介质还可以包括上述种类的存储器的组合。可以理解，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件，当软件或计算机代码被计算机、处理器或硬件访问且执行时，实现上述实施例示出的方法。

虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (11)

1.一种车辆朝向的校准方法，其特征在于，所述方法包括：

分别获取在第一时刻和第二时刻与车辆对应的相机图像、第二时刻的预估车辆朝向、相机与所述车辆的外参矩阵、第一噪声方差、第二噪声方差、从所述第一时刻至第二时刻的所述相机的旋转矩阵、与第一时刻对应的相机朝向的第一误差、所述第一时刻对应的所述相机朝向的第一误差协方差，其中，所述第一噪声方差为灭点的噪声观测方差，所述第二噪声方差为相机的状态误差转移过程产生的噪声观测方差；

在目标时刻对所述相机图像进行灭点识别操作，获取所述目标时刻的灭点的观测集合，其中，所述目标时刻包括所述第一时刻和所述第二时刻；

根据所述外参矩阵对所述第二时刻的预估车辆朝向进行转换，获取所述第二时刻的预估相机朝向；

根据第一时刻的灭点集合、第二时刻的灭点集合、所述旋转矩阵、所述第一误差、所述第一误差协方差、所述第一噪声方差以及所述第二噪声方差，确定所述第二时刻相机的更新误差；

根据所述更新误差以及所述外参矩阵，对所述第二时刻的预估车辆朝向进行校准。

2.根据权利要求1所述的方法，其特征在于，所述在目标时刻对所述相机图像进行灭点识别操作，获取所述目标时刻的灭点的观测集合，包括：

对所述目标时刻的所述相机图像进行图像分割操作，获取图像的线特征；

对所述线特征进行聚类操作，获取多个聚类簇，其中，每一个所述聚类簇均包含至少两条直线，每一条所述直线均包括直线向量；

根据第一聚类簇中的直线向量确定所述第一聚类簇的灭点集合，其中，所述第一聚类簇为所有的聚类簇中任一个聚类簇。

3.根据权利要求1或2所述的方法，其特征在于，所述根据第一时刻的灭点集合、第二时刻的灭点集合、所述旋转矩阵、所述第一误差、所述第一误差协方差、所述第一噪声方差以及所述第二噪声方差，确定所述第二时刻相机的更新误差，包括：

根据所述第一误差对所述第二时刻的相机朝向误差进行预测，获取所述第二时刻的相机朝向的第二误差；

根据所述第一时刻的相机朝向、所述第一噪声方差以及所述第一误差协方差，对第二时刻的相机朝向的误差协方差进行预测，获取所述第二时刻的相机朝向的第二误差协方差；

根据所述旋转矩阵、所述第一时刻的灭点的观测集合以及所述第二时刻的灭点的观测集合，确定所述第二时刻的灭点差值；

根据所述第二误差、所述第二误差协方差、所述第一时刻的灭点集合、所述灭点差值、所述旋转矩阵以及所述第二噪声方差，确定所述第二时刻相机的更新误差。

4.根据权利要求3所述的方法，其特征在于，所述根据所述旋转矩阵、所述第一时刻的灭点的观测集合以及所述第二时刻的灭点的观测集合，确定所述第二时刻的灭点差值，包括：

根据所述旋转矩阵和所述第一时刻的灭点的观测集合，对所述第二时刻的灭点进行预测，获取所述第二时刻灭点的预测集合；

根据所述第二时刻的灭点的观测集合和所述第二时刻的灭点的预测集合，确定所述第二时刻的灭点差值。

5.根据权利要求3所述的方法，其特征在于，所述根据所述第二误差、所述第二误差协方差、所述第一时刻的灭点集合、所述灭点差值、所述旋转矩阵以及所述第二噪声方差，确定所述第二时刻相机的更新误差，包括：

根据所述旋转矩阵和所述第一时刻的灭点集合，确定所述第二时刻的灭点的观测矩阵；

根据所述观测矩阵、所述第二误差协方差以及所述第二噪声方差，确定所述第二时刻的增益矩阵；

根据所述增益矩阵、所述第二时刻的灭点差值以及所述第二误差，确定所述第二时刻相机的更新误差。

6.根据权利要求5所述的方法，其特征在于，所述根据所述观测矩阵、所述第二误差协方差以及所述第二噪声方差，确定所述第二时刻的增益矩阵，包括：

根据所述观测矩阵、所述第二误差协方差以及所述第二噪声方差，确定所述第二时刻灭点的残差矩阵；

根据所述第二误差协方差、所述观测矩阵以及所述残差矩阵，确定所述第二时刻的增益矩阵。

7.根据权利要求3所述的方法，其特征在于，所述根据所述更新误差以及所述外参矩阵，对所述第二时刻的预估车辆朝向进行校准，包括：

根据所述更新误差对所述第二时刻的预估相机朝向进行校准，获取校准相机朝向；

根据所述校准相机朝向和所述外参矩阵，对所述第二时刻的预估车辆朝向进行校准。

8.根据权利要求5所述的方法，其特征在于，所述根据所述观测矩阵、所述第二误差协方差、所述第二噪声方差，确定第二时刻的增益矩阵之后，所述方法还包括：

根据所述增益矩阵和所述观测矩阵对所述第二误差协方差进行更新，获取第二时刻的更新误差协方差；

根据预获取的下一个时刻的相机朝向、所述第一噪声方差以及所述更新误差协方差，对下一个时刻的相机朝向的误差协方差进行预测，确定下一个时刻的对应的相机朝向的预测误差协方差，其中，下一个时刻为所述第二时刻的下个时刻。

9.一种车辆朝向的校准装置，其特征在于，所述装置包括：

获取模块，用于分别获取在第一时刻和第二时刻与车辆对应的相机图像、第二时刻的预估车辆朝向、相机与所述车辆的外参矩阵、第一噪声方差、第二噪声方差、从所述第一时刻至第二时刻的所述相机的旋转矩阵、与第一时刻对应的相机朝向的第一误差、所述第一时刻对应的所述相机朝向的第一误差协方差，其中，所述第一噪声方差为灭点的噪声观测方差，所述第二噪声方差为相机的状态误差转移过程产生的噪声观测方差；

灭点识别模块，用于在目标时刻对所述相机图像进行灭点识别操作，获取所述目标时刻的灭点的观测集合，其中，所述目标时刻包括所述第一时刻和所述第二时刻；

转换模块，用于根据所述外参矩阵对所述第二时刻的预估车辆朝向进行转换，获取所述第二时刻的预估相机朝向；

确定模块，用于根据第一时刻的灭点集合、第二时刻的灭点集合、所述旋转矩阵、所述第一误差、所述第一误差协方差、所述第一噪声方差以及所述第二噪声方差，确定所述第二时刻相机的更新误差；

校准模块，用于根据所述更新误差以及所述外参矩阵，对所述第二时刻的预估车辆朝向进行校准。

10.一种计算机设备，其特征在于，包括：

存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行权利要求1至8中任一项所述的车辆朝向的校准方法。

11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机指令，所述计算机指令用于使计算机执行权利要求1至8中任一项所述的车辆朝向的校准方法。