CN107481292A - 车载摄像头的姿态误差估计方法和装置 - Google Patents

Abstract

本申请公开了车载摄像头的姿态误差估计方法和装置。车载摄像头的姿态误差估计方法的一具体实施方式包括：获取车载摄像头在预设标准姿态下采集的预设场景的第一图像；执行姿态误差估算步骤，姿态误差估算步骤包括：获取车载摄像头在当前姿态下采集的预设场景的第二图像；利用相对位姿估计模型比对第一图像和第二图像，得出车载摄像头的当前姿态与预设标准姿态的相对位姿信息，其中，相对位姿估计模型基于深度学习网络训练生成。该方法可以实现车载摄像头误差的自动化、高精度估计。

Description

车载摄像头的姿态误差估计方法和装置

技术领域

本申请涉及车载设备技术领域，具体涉及车载摄像头的图像处理技术领域，尤其涉及车载摄像头的姿态误差估计方法和装置。

背景技术

在自动驾驶技术领域，车载摄像头作为主要的传感器，其所采集的数据对自动驾驶决策尤为重要。通常车载摄像头以特定的姿态工作，其所采集的数据均为该特定姿态下的数据。由于车辆行驶过程中车载摄像头可能发生震动，车载摄像头的维修等过程会对车载摄像头进行拆装，导致车载摄像头的姿态发生变化，则采集的数据可能发生偏差，因此需要校正车载摄像头的姿态误差。

现有的一种摄像头姿态误差估算方法为通过对辅助的标记物(例如包含特定标记点的标定板等)成像来计算摄像头的姿态参数，或者采用ICP(Iterative Closet Point，迭代最近点)等迭代的方式来估算姿态误差。前者对使用条件具有较大的限制，后者通常只能找到局部最优值，无法得出全局最优值，车载摄像头姿态误差估计的准确度有待提升。

发明内容

为了解决上述背景技术部分提到的一个或多个技术问题，本申请实施例提供了车载摄像头的姿态误差估计方法和装置。

第一方面，本申请实施例提供了一种车载摄像头的姿态误差估计方法，包括：获取车载摄像头在预设标准姿态下采集的预设场景的第一图像；执行姿态误差估算步骤，姿态误差估算步骤包括：获取车载摄像头在当前姿态下采集的预设场景的第二图像；利用相对位姿估计模型比对第一图像和第二图像，得出车载摄像头的当前姿态与预设标准姿态的相对位姿信息，其中，相对位姿估计模型基于深度学习网络训练生成。

在一些实施例中，上述方法还包括基于深度学习网络训练相对位姿估计模型的步骤，包括：获取车载摄像头在多个预设测试姿态下采集的预设场景的第三图像，其中，各预设测试姿态与预设标准姿态的相对位姿信息已标记；基于第一图像、第三图像和已标记的预设测试姿态与预设标准姿态的相对位姿信息构建样本数据；基于样本数据对构建的深度学习网络进行训练，得到相对位姿估计模型。

在一些实施例中，在利用相对位姿估计模型比对第一图像和第二图像之前，上述姿态误差估算步骤还包括：提取第一图像和第二图像的特征点；判断第一图像和第二图像是否包含对应于同一空间点的特征点；利用相对位姿估计模型比对第一图像和第二图像，包括：响应于判断出第一图像和第二图像包含对应于同一空间点的特征点，利用相对位姿估计模型比对第一图像和第二图像。

在一些实施例中，上述方法还包括：判断车载摄像头的当前姿态与预设标准姿态的相对位姿信息是否满足预设条件；响应于判断出车载摄像头的当前姿态与预设标准姿态的相对位姿信息不满足预设条件，基于车载摄像头的当前姿态与预设标准姿态的相对位姿信息，对车载摄像头的当前姿态进行校正之后，执行姿态误差估算步骤。

在一些实施例中，上述相对位姿信息包括当前姿态相对于预设标准姿态的俯仰角和偏航角。

第二方面，本申请实施例提供了一种车载摄像头的姿态误差估计装置，包括：获取单元，配置用于获取车载摄像头在预设标准姿态下采集的预设场景的第一图像；估算单元，配置用于执行姿态误差估算步骤，姿态误差估算步骤包括：获取车载摄像头在当前姿态下采集的预设场景的第二图像；利用相对位姿估计模型比对第一图像和第二图像，得出车载摄像头的当前姿态与预设标准姿态的相对位姿信息，其中，相对位姿估计模型基于深度学习网络训练生成。

在一些实施例中，上述装置还包括模型训练单元，配置用于基于深度学习网络训练相对位姿估计模型；模型训练单元具体配置用于：获取车载摄像头在多个预设测试姿态下采集的预设场景的第三图像，其中，各预设测试姿态与预设标准姿态的相对位姿信息已标记；基于第一图像、第三图像和已标记的预设测试姿态与预设标准姿态的相对位姿信息构建样本数据；基于样本数据对构建的深度学习网络进行训练，得到相对位姿估计模型。

在一些实施例中，在利用相对位姿估计模型比对第一图像和第二图像之前，上述姿态误差估算步骤还包括：提取第一图像和第二图像的特征点；判断第一图像和第二图像是否包含对应于同一空间点的特征点；利用相对位姿估计模型比对第一图像和第二图像，包括：响应于判断出第一图像和第二图像包含对应于同一空间点的特征点，利用相对位姿估计模型比对第一图像和第二图像。

在一些实施例中，上述装置还包括：判断单元，配置用于判断车载摄像头的当前姿态与预设标准姿态的相对位姿信息是否满足预设条件；校正单元，配置用于响应于判断出车载摄像头的当前姿态与预设标准姿态的相对位姿信息不满足预设条件，基于车载摄像头的当前姿态与预设标准姿态的相对位姿信息，对车载摄像头的当前姿态进行校正之后，执行姿态误差估算步骤。

在一些实施例中，上述相对位姿信息包括当前姿态相对于预设标准姿态的俯仰角和偏航角。

第三方面，本申请实施例提供了一种设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现上述车载摄像头的姿态误差估计方法。

本申请实施例提供的车载摄像头的姿态误差估计方法和装置，通过获取车载摄像头在预设标准姿态下采集的预设场景的第一图像，而后执行姿态误差估算步骤，该姿态误差估算步骤包括：获取车载摄像头在当前姿态下采集的预设场景的第二图像；利用相对位姿估计模型比对第一图像和第二图像，得出车载摄像头的当前姿态与预设标准姿态的相对位姿信息，其中，相对位姿估计模型基于深度学习网络训练生成，实现了车载摄像头误差的自动化、高精度估计。

附图说明

通过阅读参照以下附图所作的对非限制性实施例详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1是本申请可以应用于其中的示例性系统架构图；

图2是根据本申请的车载摄像头的姿态误差估计方法的一个实施例的流程图；

图3是根据本申请的车载摄像头的姿态误差估计方法的另一个实施例的流程图；

图4是根据本申请的车载摄像头的姿态误差估计方法的又一个实施例的流程图；

图5是本申请的车载摄像头的姿态误差估计装置的一个实施例的结构示意图；

图6是适于用来实现本申请实施例的终端设备或服务器的计算机系统的结构示意图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

图1示出了可以应用本申请的车载摄像头的姿态误差估计方法或车载摄像头的姿态误差估计装置的实施例的示例性系统架构100。

如图1所示，系统架构100可以包括无人驾驶车辆101，安装在无人驾驶车辆101上的车载摄像头102和车载控制单元103、以及服务器104。车载控制单元103可以通过网络与服务器104连接，该网络可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

车载摄像头102可以采集无人驾驶车辆行驶路径或停靠环境的图像数据。车载控制单元103可以为ECU(Electronic Control Unit，电子控制单元)，用于对车辆的各部件的工作状态进行分析和控制。车载控制单元103可以获取车载摄像头102采集的图像数据，根据图像数据进行响应，还可以控制图像数据的存储和传输。

服务器104可以通过网络与车载控制单元103建立连接，车载控制单元103可以将图像数据和其他传感器数据发送至服务器104。服务器104可以对图像数据和其他传感器数据进行诸如特征提取、匹配、分类等处理，将处理结果反馈至车载控制单元103。车载控制单元103可以根据接收到的处理结果进行响应。

通常为了精确匹配数据库中的数据(例如精确匹配地图数据和道路图像数据库中的数据)，车载摄像头102需要工作在标准姿态下，即车载摄像头102需要固定于与无人驾驶车辆101具有特定相对位置关系的位置(如图1位置A)。当车载摄像102头由于震动、拆装操作等发生位置变化(例如变化至图1位置B)、产生姿态误差时，车载摄像头102采集的图像数据无法与数据库中的数据很好地匹配，这时可以利用车载摄像头102采集的图像对车载摄像头102的姿态误差进行估计，并基于估计结果对车载摄像头102的姿态进行调整。

需要说明的是，本申请实施例所提供的车载摄像头的姿态误差估计方法可以由车载控制单元103或服务器104执行，相应地，车载摄像头的姿态误差估计装置可以设置于车载控制单元103或服务器104中。

应该理解，图1中的无人驾驶车辆、车载摄像头、车载控制单元和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的无人驾驶车辆、车载摄像头、车载控制单元和服务器。

继续参考图2，示出了根据本申请的车载摄像头的姿态误差估计方法的一个实施例的流程200。该车载摄像头的姿态误差估计方法，包括以下步骤：

步骤201，获取车载摄像头在预设标准姿态下采集的预设场景的第一图像。

在本实施例中，车载摄像头的姿态误差估计方法运行于其上的电子设备(例如图1所示的服务器或车载控制单元)可以通过有线连接方式或者无线连接方式与车载摄像头连接。该电子设备可以通过与车载摄像头的连接获取车载摄像头在预设标准姿态下采集的预设场景的第一图像。或者该电子设备可以与用于存储车载摄像头采集的图像数据的存储设备连接，从存储设备获取上述第一图像。

在这里，预设标准姿态可以为预先定义的车载摄像头的标准工作姿态，该标准工作姿态下采集的图像数据可以作为无人驾驶车辆的参考图像数据库中的参考图像。或者说车载摄像头在预设标准姿态下采集的图像可以用于构建无人驾驶车辆的参考图像数据库。上述预设标准姿态可以用标准工作姿态下车载摄像头相对于地面和/或车辆上某一参照点的相对位置来表示，例如车载摄像头的预设标准姿态可以为与地面垂直距离1.5米，光轴与地面平行且与车头方向一致。

上述预设场景是预先设定的场景，可以为包含预设标记点的场景，例如可以包括标定板；也可以为自然场景，例如道路场景。车载摄像头可以在预设标准姿态下采集该预设场景的图像作为上述第一图像，并将第一图像存储至预设的存储设备。在估计车载摄像头的姿态误差时，上述车载摄像头的姿态误差估计方法运行于其上的电子设备可以从该存储设备中提取出该第一图像。

步骤202，执行姿态误差估算步骤。

在本实施例中，步骤202具体可以包括步骤2021和步骤2022。

在步骤2021中，获取车载摄像头在当前姿态下采集的预设场景的第二图像。

在本实施例中，上述电子设备可以通过与车载摄像头的连接获取车载摄像头在当前姿态下对上述预设场景采集的第二图像。也即上述电子设备可以获取同一车载摄像头在预设标准姿态下和当前姿态下对相同的预设场景采集的图像。举例来说，可以设定预设场景为包含标志物体的场景，可以控制车载摄像头在标准姿态下采集包含该包含标志物体的场景的图像作为第一图像并进行存储，控制车载摄像头在当前姿态下采集包含标志物体的场景的图像作为第二图像。

在步骤2022中，利用相对位姿估计模型比对第一图像和第二图像，得出车载摄像头的当前姿态与预设标准姿态的相对位姿信息。

在本实施例中，相对位姿估计模型基于深度学习网络训练生成。相对位姿估计模型用于估计采集输入的不同图像的不同摄像头之间的相对位姿信息。该相对位姿估计模型的输入可以为两幅图像，输出可以为采集两幅图像的摄像头的相对位姿信息。在这里，相对位姿信息可以包括平移参数和旋转角参数。

上述相对位姿估计模型为基于深度学习网络训练生成的，可以是包括输入层、多个隐层和输出层的网络模型。可选地，相对位姿估计模型可以为CNN(ConvolutionalNeural Network，卷积神经网络)模型、RNN(Recurrent neural Network、循环神经网络)模型等。训练数据可以包括样本集和测试集，训练数据可以为已有的被验证为姿态误差估计结果准确的数据，训练数据可以通过网络获取，也可以实地采集。训练数据包括多对输入数据和输出数据，输入数据可以为车载摄像头在不同位姿下采集的图像，输出数据为对应的相对位姿信息。

由于上述第一图像和第二图像是同一车载摄像头在不同姿态下采集的同一预设场景的图像，则第一图像和第二图像中包含了相同空间点的二维图像信息，上述相对位姿估计模型可以对第一图像和第二图像进行比对，利用深度学习网络模型分析第一图像和第二图像中同一空间点在不同的图像坐标系中的坐标之间的关联，通过多层网络结构进行特征提取、分类，进而得出不同图像坐标系之间的转换参数，即可以得出车载摄像头的姿态误差。通过采用基于深度学习网络训练的相对位姿估计模型对相对位姿信息进行估计，可以得到姿态误差的全局最优值，从而提升了姿态误差估算精度。

车载摄像头的姿态误差即为车载摄像头的当前姿态与预设标准姿态之间的姿态差异，也就是车载摄像头在采集第二图像时的姿态与采集第一图像时的姿态之间的相对位姿信息。

可选地，相对位姿信息可以包括上述当前姿态相对于上述预设标准姿态的姿态角，这里的姿态角可以包括俯仰角和偏航角。其中俯仰角可以为车载摄像头的当前姿态相对于预设标准姿态下在垂直于地面方向上的偏转角度，偏航角可以为车载摄像头的当前姿态相对于预设标准姿态下在平行于地面方向上的偏转角度。

进一步可选地，上述相对位姿信息还可以包括当前姿态相对于预设标准姿态的平移参数，这里的平移参数可以表示当前姿态相对于预设标准姿态在与地面平行的平面内的平移量以及在垂直于地面的平面内的平移量。

本申请上述实施例的车载摄像头的姿态误差估计方法，通过获取车载摄像头在预设标准姿态下采集的预设场景的第一图像，而后执行姿态误差估算步骤，该姿态误差估算步骤包括：获取车载摄像头在当前姿态下采集的预设场景的第二图像；利用相对位姿估计模型比对第一图像和第二图像，得出车载摄像头的当前姿态与预设标准姿态的相对位姿信息，其中，相对位姿估计模型基于深度学习网络训练生成，能够得到姿态误差估计的全局最优值，实现了车载摄像头姿态误差的自动化、高精度估计。

在本实施例的一些可选的实现方式中，在利用相对位姿估计模型比对第一图像和第二图像之前，姿态误差估算步骤202还可以包括：提取第一图像和第二图像的特征点；判断第一图像和第二图像是否包含对应于同一空间点的特征点。具体地，上述电子设备可以采用诸如SITF(Scale-invariant feature transform，尺度不变特征变换)等特征点提取算法从第一图像和第二图像分别提取出特征点，然后对第一图像的特征点和第二图像的特征点进行匹配，判断第一图像和第二图像是否包含对应于同一空间点的特征点。则上述步骤2022可以包括：响应于判断出第一图像和第二图像对应于同一空间点的特征点，利用相对位姿估计模型比对第一图像和第二图像。在第一图像和第二图像包含对应于同一空间点的特征点时，可以确定第一图像和第二图像中上述预设场景的像具有较明显的特征，图像信息较丰富，可以用于估算车载摄像头的姿态误差。

进一步地，若第一图像和第二图像中不包含对应于同一空间点的特征点，则可以确定第一图像和第二图像的图像信息过少，不适于用来对车载摄像头的姿态误差进行估算。这时，可以获取车载摄像头分别在预设标准姿态下和当前姿态下采集的其他预设场景的第一图像和第二图像进行特征点提取和匹配，这样，可以选出纹理等特征信息较丰富的预设场景的第一图像和第二图像，进而提升车载摄像头误差估计的精准度。

请参考图3，其示出了根据本申请的车载摄像头的姿态误差估计方法的另一个实施例的流程图。如图3所示，本实施例的车载摄像头的姿态误差估计方法的流程300，可以包括以下步骤：

步骤301，获取车载摄像头在预设标准姿态下采集的预设场景的第一图像。

在本实施例中，车载摄像头的姿态误差估计方法运行于其上的电子设备(如图1所示车载控制单元或服务器)可以通过有线或无线的方式与车载摄像头连接，获取车载摄像头在预设标准姿态下采集的预设场景的第一图像。上述电子设备也可以与用于存储车载摄像头采集的图像的存储设备(例如车辆黑匣子)连接，并从该存储设备获取车载摄像头在预设标准姿态下采集的预设场景的第一图像。在这里，预设标准姿态可以为预先定义的车载摄像头的标准工作姿态，预设场景是预先设定的场景，可以为包含预设标记点的场景，例如可以为包括标定板的场景；也可以为自然场景，例如道路场景。

步骤302，基于深度学习网络训练相对位姿估计模型。

在本实施例中，可以采用监督学习的方式，基于深度学习网络训练相位位姿估计模型。步骤302具体可以包括步骤3021、步骤3022和步骤3023。

在步骤3021中，获取车载摄像头在多个预设测试姿态下采集的预设场景的第三图像。

在本实施例中，上述各预设测试姿态与预设标准姿态的相对位姿信息已标记。也就是说，各预设测试姿态与预设标准姿态的相对位姿信息是已知的。具体地，可以定义多组相对位姿信息，按照定义好的每组相对位姿信息对预设标准姿态下的车载摄像头进行位姿调整，调整之后的车载摄像头的姿态即为预设测试姿态。然后在预设测试姿态下采集预设场景的图像，获得与定义的各组相对位姿信息对应的第三图像。可选地，相对位姿信息可以包括姿态角和沿预设标准姿态的车载摄像头坐标系中三个坐标轴的平移参数。

在步骤3022中，基于第一图像、第三图像和已标记的预设测试姿态与预设标准姿态的相对位姿信息构建样本数据。

在本实施例中，可以构建用于训练相对位姿估计模型的样本数据。每条样本数据包括该模型的输入数据和输出数据。输入数据为第一图像和第三图像，输出数据为采集第三图像的车载摄像头的姿态与预设标准姿态的相对位姿信息。在这里，第一图像和第三图像分别在步骤301和步骤3021中获得，采集第三图像的车载摄像头的姿态与预设标准姿态的相对位姿信息为已标记的信息，例如可以为人为定义的信息。

在本实施例中，可以将车载摄像头的预设测试姿态与预设标准姿态的相对位姿信息与该预设测试姿态采集到的第三图像和在预设标准姿态下采集的第一图像作为该预设测试姿态对应的样本数据。车载摄像头可以在多个预设测试姿态下采集对应的第三图像，则可以得到多个预设测试姿态对应的多条样本数据。在一些可选的实现方式中，可以将多条样本数据集合生成样本数据集。

在步骤3023中，基于样本数据对构建的深度学习网络进行训练，得到相对位姿估计模型。

在本实施例中，可以构建深度学习网络的结构，并利用样本数据来训练深度学习网络，得到相对位姿估计模型。相对位姿模型可以是基于输入的两幅图像计算出采集两幅图像的摄像头的姿态之间的相对姿态误差的模型。具体可以基于CNN、RNN等已有的神经网络模型构建深度学习网络，将样本数据输入构建的深度学习网络进行训练，优化深度学习网络的模型结构，得到相对位姿估计模型。

在本实施例的一些可选的实现方式中，可以从样本数据集中随机抽取一些样本数据生成训练集，另一些样本数据作为测试集。利用训练集来训练深度学习网络，并基于测试集来测试深度学习网络的性能。如果测试得出深度学习网络的性能未达到预期的指标，则可以增加训练集中样本数据的数量，继续训练，通过训练集和测试集不断对深度学习网络进行调整，得到最终的相对位姿估计模型。

步骤303，执行误差估计步骤。

之后，可以执行误差估计步骤。具体地误差估计步骤包括步骤3031和步骤3032。

在步骤3031中，获取车载摄像头在当前姿态下采集的预设场景的第二图像。

上述电子设备可以获取车载摄像头在当前姿态下对预设场景采集的第二图像。这里的当前姿态与预设标准姿态具有待估计的姿态误差。

在步骤3032中，利用相对位姿估计模型比对第一图像和第二图像，得出车载摄像头的当前姿态与预设标准姿态的相对位姿信息。

在这里，相对位姿估计模型是基于深度学习网络训练生成的，即由步骤302训练生成的。可以将获取的车载摄像头在预设标准姿态下采集的第一图像和在当前姿态下采集的第二图像输入该相对位姿估计模型，得出当前姿态与预设标准姿态之间的相对位姿信息，该相对位姿信息即为当前姿态与预设标准姿态之间的姿态误差，可以包括平移参数和旋转角参数。

上述方法流程中的步骤301、步骤303、步骤3031、步骤3032分别与前述实施例中的步骤201、步骤202、步骤2021、步骤2022相同，上文针对步骤201、步骤202、步骤2021、步骤2022的描述也适用于本实施中的步骤301、步骤303、步骤3031、步骤3032，此处不再赘述。

从图3可以看出，与图2所示实施例相比，本实施例增加了基于深度学习网络训练相对位姿估计模型的步骤，利用车载摄像头在多个预设测试姿态下采集预设场景的图像，并标记多个预设测试姿态与预设标准姿态的相对位姿信息，可以构建出大量的样本数据，使训练得出的模型更准确，且样本数据中第三图像也可以基于自然场景生成，从而降低了对样本数据的限制，能够拓展相对位姿估计模型的灵活性。

继续参考图4，其示出了根据本申请的车载摄像头的姿态误差估计方法的又一个实施例的流程图。如图4所示，该车载摄像头的姿态误差估计方法的流程400，包括以下步骤：

步骤401，获取车载摄像头在预设标准姿态下采集的预设场景的第一图像。

在本实施例中，车载摄像头的姿态误差估计方法运行于其上的电子设备(例如图1所示的服务器或车载控制单元)可以通过有线连接方式或者无线连接方式从车载摄像头或用于存储车载摄像头采集的图像数据的存储设备获取车载摄像头在预设标准姿态下采集的预设场景的第一图像。

步骤402，执行姿态误差估算步骤。

步骤402中姿态误差估算步骤具体可以包括步骤4021和步骤4022。

其中，步骤4021，获取车载摄像头在当前姿态下采集的预设场景的第二图像。

在本实施例中，上述电子设备可以通过有线或无线的连接方式获取车载摄像头在待估计姿态误差的当前姿态下采集的预设场景的第二图像。上述第一图像和第二图像为车载摄像头在不同姿态下采集的同一预设场景的图像。

步骤4022，利用相对位姿估计模型比对第一图像和第二图像，得出车载摄像头的当前姿态与预设标准姿态的相对位姿信息。

之后，可以将第一图像和第二图像输入相对位姿估计模型，利用相对位姿模型估算当前状态与预设标准姿态的相对位姿信息，从而得出当前姿态的姿态误差。在这里，相对位姿估计模型是基于深度学习网络训练生成的。

上述方法流程中的步骤401、步骤402、步骤4021、步骤4022分别与前述实施例中的步骤201、步骤202、步骤2021、步骤2022相同，上文针对步骤201、步骤202、步骤2021、步骤2022的描述也适用于本实施中的步骤401、步骤402、步骤4021、步骤4022，此处不再赘述。

本实施例的车载摄像头的姿态误差估计方法流程400还可以包括：

步骤403，判断车载摄像头的当前姿态与预设标准姿态的相对位姿信息是否满足预设条件。

在本实施例中，在步骤402估算得出车载摄像头的当前姿态与预设标准姿态的相对位姿信息之后，可以判断估算出的相对位姿信息是否满足预设条件。预设条件可以是表示估算出的相对位姿信息准确度达到预期的条件。

可选地，相对位姿信息可以包括平移参数和旋转角参数，则预设条件可以为平移参数和旋转角参数在预设的数值范围内，或者平移参数和旋转角参数满足收敛条件，进一步地，该收敛条件可以例如为当前平移参数或旋转角参数与上一次姿态误差估算步骤得出的平移参数或旋转角参数之间的差异小于预设的值；又或者可以例如为当前的姿态误差小于阈值等。

步骤404，响应于判断出车载摄像头的当前姿态与预设标准姿态的相对位姿信息不满足预设条件，基于车载摄像头的当前姿态与预设标准姿态的相对位姿信息，对车载摄像头的当前姿态进行校正，之后执行姿态误差估算步骤。

当步骤403的判断结果为“否”时，可以基于步骤402估算出的相对位姿信息对车载摄像头的当前姿态进行校正。例如可以将估算出的平移参数和旋转角参数传输至伺服姿态控制机构进行摄像头姿态的调整。之后，可以对校正后的车载摄像头的当前姿态的姿态误差进行估计，具体可以基于校正后的车载摄像头返回步骤402，进行姿态误差估算，得出校正后的当前姿态与预设标准姿态的相对位姿信息。

在得到校正后的当前姿态与预设标准姿态的相对位姿信息之后，按照本实施例的流程，继续执行步骤403，判断车载摄像头的当前姿态与预设标准姿态的相对位姿信息是否满足预设条件，并在该相对位姿信息不满足预设条件时返回执行步骤402。当相对位姿信息满足预设条件时可以结束车载摄像头的姿态误差估计流程。在这里，预设条件可以为用于表征相对位姿信息的参数小于一定的阈值。

这样，本实施例的车载摄像头的姿态误差估计方法可以循环执行姿态误差估算步骤402，不断调整车载摄像头的当前姿态，使当前姿态与预设标准姿态逼近，直至姿态误差估算步骤得出的相对位姿信息满足预设的条件，能够在车载摄像头偏离预设标准姿态时将车载摄像头的姿态校准，实现了车载摄像头的姿态的精准控制。

进一步参考图5，作为对上述各图所示方法的实现，本申请提供了一种车载摄像头的姿态误差估计装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。

如图5所示，本实施例的车载摄像头的姿态误差估计装置500包括：获取单元501和估算单元502。其中，获取单元501可以配置用于获取车载摄像头在预设标准姿态下采集的预设场景的第一图像。估算单元502可以配置用于执行姿态误差估算步骤，该误差估算步骤包括：获取车载摄像头在当前姿态下采集的预设场景的第二图像；利用相对位姿估计模型比对第一图像和第二图像，得出车载摄像头的当前姿态与预设标准姿态的相对位姿信息，其中，相对位姿估计模型基于深度学习网络训练生成。

在本实施例中，获取单元501可以通过有线连接方式或者无线连接方式与车载摄像头连接，并通过与车载摄像头的连接获取车载摄像头在预设标准姿态下采集的预设场景的第一图像，也可以通过与用于存储车载摄像头采集的图像数据的存储设备间的连接来获取上述第一图像。在这里，预设标准姿态为可以为预先定义的车载摄像头的标准工作姿态。

估算单元502可以用于对车载摄像头的当前姿态与预设标准姿态之间的姿态误差进行估算。具体地，估算单元502可以配置用于执行上述误差估算步骤。在误差估算步骤中，可以将获取的第一图像和第二图像输入已基于深度学习网络训练的相对位姿估计模型进行比对，得出车载摄像头在采集第一图像时的预设标准姿态和采集第二图像时的当前姿态的相对位姿信息。

在本实施例的一些可选的实现方式中，相对位姿信息可以包括当前姿态相对于预设标准姿态的俯仰角和偏航角。相应地，姿态误差可以包括当前姿态相对于预设标准姿态的俯仰角和偏航角。

在一些实施例中，上述装置500还可以包括模型训练单元，配置用于基于深度学习网络训练相对位姿估计模型。该模型训练单元具体配置用于：获取车载摄像头在多个预设测试姿态下采集的预设场景的第三图像，其中，各预设测试姿态与预设标准姿态的相对位姿信息已标记；基于第一图像、第三图像和已标记的预设测试姿态与预设标准姿态的相对位姿信息构建样本数据；将样本数据输入构建的深度学习网络进行训练，得到相对位姿估计模型。

在一些实施例中，在利用相对位姿估计模型比对第一图像和第二图像之前，上述估算单元执行的姿态误差估算步骤还可以包括：提取第一图像和第二图像的特征点；判断第一图像和第二图像是否包含对应于同一空间点的特征点；利用相对位姿估计模型比对第一图像和第二图像，包括：响应于判断出第一图像和第二图像包含对应于同一空间点的特征点，利用相对位姿估计模型比对第一图像和第二图像。这样，可以避免第一图像和第二图像中缺乏有效的图像特征而使姿态误差估计无法达到较高的精度。

在一些实施例中，上述装置500还可以包括判断单元和校正单元。判断单元可以配置用于判断车载摄像头的当前姿态与预设标准姿态的相对位姿信息是否满足预设条件；校正单元配置用于响应于判断出车载摄像头的当前姿态与预设标准姿态的相对位姿信息不满足预设条件，基于车载摄像头的当前姿态与预设标准姿态的相对位姿信息，对车载摄像头的当前姿态进行校正之后，执行姿态误差估算步骤。这样，可以对车载摄像头的姿态不断校正使其逼近预设标准姿态，能够实现车载摄像头姿态的精准控制。

本申请上述实施例的车载摄像头的姿态误差估计装置500，通过获取单元获取车载摄像头在预设标准姿态下采集的预设场景的第一图像，随后利用估算单元执行如下误差估算步骤：获取车载摄像头在当前姿态下采集的预设场景的第二图像，之后利用基于深度学习网络训练生成的相对位姿估计模型比对第一图像和第二图像，得出车载摄像头的当前姿态与预设标准姿态的相对位姿信息，实现了车载摄像头姿态误差的自动化、高精度估计。

应当理解，装置500中记载的诸单元可以与参考图2、图3和图4描述的方法中的各个步骤相对应。由此，上文针对方法描述的操作和特征同样适用于装置500及其中包含的单元，在此不再赘述。

下面参考图6，其示出了适于用来实现本申请实施例的终端设备或服务器的计算机系统600的结构示意图。图6示出的终端设备或服务器仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图6所示，计算机系统600包括中央处理单元(CPU)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中，还存储有系统600操作所需的各种程序和数据。CPU 601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。

以下部件连接至I/O接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。

特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。在该计算机程序被中央处理单元(CPU)601执行时，执行本申请的方法中限定的上述功能。需要说明的是，本申请所述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括获取单元和估算单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定，例如，获取单元还可以被描述为“获取车载摄像头在预设标准姿态下采集的预设场景的第一图像的单元”。

作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的装置中所包含的；也可以是单独存在，而未装配入该装置中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该装置执行时，使得该装置：获取车载摄像头在预设标准姿态下采集的预设场景的第一图像；执行姿态误差估算步骤，所述姿态误差估算步骤包括：获取所述车载摄像头在当前姿态下采集的所述预设场景的第二图像；利用相对位姿估计模型比对所述第一图像和所述第二图像，得出所述车载摄像头的当前姿态与所述预设标准姿态的相对位姿信息，其中，所述相对位姿估计模型基于深度学习网络训练生成。

以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (12)

1.一种车载摄像头的姿态误差估计方法，其特征在于，所述方法包括：

获取车载摄像头在预设标准姿态下采集的预设场景的第一图像；

执行姿态误差估算步骤，所述姿态误差估算步骤包括：

获取所述车载摄像头在当前姿态下采集的所述预设场景的第二图像；

利用相对位姿估计模型比对所述第一图像和所述第二图像，得出所述车载摄像头的当前姿态与所述预设标准姿态的相对位姿信息，其中，所述相对位姿估计模型基于深度学习网络训练生成。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括基于深度学习网络训练所述相对位姿估计模型的步骤，包括：

获取所述车载摄像头在多个预设测试姿态下采集的所述预设场景的第三图像，其中，各所述预设测试姿态与所述预设标准姿态的相对位姿信息已标记；

基于所述第一图像、所述第三图像和已标记的所述预设测试姿态与所述预设标准姿态的相对位姿信息构建样本数据；

基于所述样本数据对构建的深度学习网络进行训练，得到所述相对位姿估计模型。

3.根据权利要求1所述的方法，其特征在于，在利用相对位姿估计模型比对所述第一图像和所述第二图像之前，所述姿态误差估算步骤还包括：

提取所述第一图像和所述第二图像的特征点；

判断所述第一图像和所述第二图像是否包含对应于同一空间点的特征点；

所述利用相对位姿估计模型比对所述第一图像和所述第二图像，包括：

响应于判断出所述第一图像和所述第二图像包含对应于同一空间点的特征点，利用相对位姿估计模型比对所述第一图像和所述第二图像。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

判断所述车载摄像头的当前姿态与所述预设标准姿态的相对位姿信息是否满足预设条件；

响应于判断出所述车载摄像头的当前姿态与所述预设标准姿态的相对位姿信息不满足预设条件，基于所述车载摄像头的当前姿态与所述预设标准姿态的相对位姿信息，对所述车载摄像头的当前姿态进行校正之后，执行所述姿态误差估算步骤。

5.根据权利要求1-4任一项所述的方法，其特征在于，所述相对位姿信息包括所述当前姿态相对于所述预设标准姿态的俯仰角和偏航角。

6.一种车载摄像头的姿态误差估计装置，其特征在于，所述装置包括：

获取单元，配置用于获取车载摄像头在预设标准姿态下采集的预设场景的第一图像；

估算单元，配置用于执行姿态误差估算步骤，所述姿态误差估算步骤包括：

获取所述车载摄像头在当前姿态下采集的所述预设场景的第二图像；

利用相对位姿估计模型比对所述第一图像和所述第二图像，得出所述车载摄像头的当前姿态与所述预设标准姿态的相对位姿信息，其中，所述相对位姿估计模型基于深度学习网络训练生成。

7.根据权利要求6所述的装置，其特征在于，所述装置还包括模型训练单元，配置用于基于深度学习网络训练所述相对位姿估计模型；

所述模型训练单元具体配置用于：

获取所述车载摄像头在多个预设测试姿态下采集的所述预设场景的第三图像，其中，各所述预设测试姿态与所述预设标准姿态的相对位姿信息已标记；

基于所述第一图像、所述第三图像和已标记的所述预设测试姿态与所述预设标准姿态的相对位姿信息构建样本数据；

基于所述样本数据对构建的深度学习网络进行训练，得到所述相对位姿估计模型。

8.根据权利要求6所述的装置，其特征在于，在利用相对位姿估计模型比对所述第一图像和所述第二图像之前，所述姿态误差估算步骤还包括：

提取所述第一图像和所述第二图像的特征点；

判断所述第一图像和所述第二图像是否包含对应于同一空间点的特征点；

所述利用相对位姿估计模型比对所述第一图像和所述第二图像，包括：

响应于判断出所述第一图像和所述第二图像包含对应于同一空间点的特征点，利用相对位姿估计模型比对所述第一图像和所述第二图像。

9.根据权利要求6所述的装置，其特征在于，所述装置还包括：

判断单元，配置用于判断所述车载摄像头的当前姿态与所述预设标准姿态的相对位姿信息是否满足预设条件；

校正单元，配置用于响应于判断出所述车载摄像头的当前姿态与所述预设标准姿态的相对位姿信息不满足预设条件，基于所述车载摄像头的当前姿态与所述预设标准姿态的相对位姿信息，对所述车载摄像头的当前姿态进行校正之后，执行所述姿态误差估算步骤。

10.根据权利要求6-9任一项所述的装置，其特征在于，所述相对位姿信息包括所述当前姿态相对于所述预设标准姿态的俯仰角和偏航角。

11.一种设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-5中任一所述的方法。

12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-5中任一所述的方法。