CN116030143A - 车载环视相机标定方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请提供一种车载环视相机标定方法、装置、电子设备及存储介质。该方法包括：获取目标相机对地面上的预设图案采集到的标定图像；并确定目标相机的初始内参和初始外参；根据初始内参和初始外参，对目标相机的当前内参和当前外参调整，得到调整后的内参和调整后的外参；基于调整后的内参、调整后的外参对预设图案进行重投影，得到重投影图像；基于标定图像和重投影图像，确定重投影误差，其中，重投影误差表征标定图像中显示的预设图案和重投影图像中显示的预设图像之间的图像相似度，重投影误差与图像相似度负相关；若确定重投影误差满足预设条件，则确定目标相机完成标定。本申请的方法，增加了相机标定准确性，降低了标定难度。

Description

车载环视相机标定方法、装置、电子设备及存储介质

技术领域

本申请涉及相机标定技术，尤其涉及一种车载环视相机标定方法、装置、电子设备及存储介质。

背景技术

为让驾驶员能实时了解车辆周边环境以得到更安全的驾驶保障，车载AVM环视系统已成为智能驾驶的标配。AVM环视系统通过对在车身前、后、左、右四个方向的环视相机的图像数据进行拼接融合，得到行车车身周围360度的全景视图，以方便驾驶员了解周边情况，消除驾驶员视野盲区，提升驾乘安全性。

因此，为了保证AVM环视系统提供的全景视图的准确性，在车辆出厂前，通常需要对车辆进行AVM环视相机的标定，即对车身前、后、左、右四个方向上的相机的外参标定。

然而，相机外参标定需要依赖相机内参，而相机供应商往往无法提供相机的内参，在对相机外参进行标定时，则需要重新对每个相机单独标定内参，从而大大增加了相机标定工作的工作量，且对相机的内参标定对操作人员有一定的标定经验要求，具有一定标定难度。另外，即使相机供应商提供了内参，往往也会存在一定的偏差，从而影响外参的标定结果。可见，目前在对环视相机的外参的标定时，存在标定困难，且标定准确性较差的问题。

发明内容

本申请提供一种车载环视相机标定方法、装置、电子设备及存储介质，用以解决目前车载环视相机的外参标定困难，且标定准确性较差的问题。

第一方面，本申请提供一种车载环视相机标定方法，包括：

获取目标相机对地面上的预设图案采集到的标定图像，其中，所述预设图案为所述目标相机在其相机视野范围内能采集到的最大图案；并确定所述目标相机的初始内参和初始外参，其中，所述初始内参表征所述目标相机的内参的初始值，所述初始外参表征所述目标相机的外参的初始值。

根据所述初始内参和所述初始外参，对所述目标相机的当前内参和当前外参调整，得到调整后的内参和调整后的外参。

基于所述调整后的内参、所述调整后的外参对所述预设图案进行重投影，得到重投影图像。

基于所述标定图像和所述重投影图像，确定重投影误差，其中，所述重投影误差表征所述标定图像中显示的预设图案和所述重投影图像中显示的预设图像之间的图像相似度，所述重投影误差与所述图像相似度负相关。

若确定所述重投影误差满足预设条件，则确定所述目标相机完成标定。

第二方面，本申请提供一种车载环视相机标定装置，包括：

标定图像和初始参数确定模块，用于获取目标相机对地面上的预设图案采集到的标定图像，其中，所述预设图案为所述目标相机在其相机视野范围内能采集到的最大图案，并确定所述目标相机的初始内参和初始外参，其中，所述初始内参表征所述目标相机的内参的初始值，所述初始外参表征所述目标相机的外参的初始值。

参数调整模块，用于根据所述初始内参和所述初始外参，对所述目标相机的当前内参和当前外参调整，得到调整后的内参和调整后的外参。

重投影模块，用于基于所述调整后的内参、所述调整后的外参对所述预设图案进行重投影，得到重投影图像。

重投影误差确定模块，用于基于所述标定图像和所述重投影图像，确定重投影误差，其中，所述重投影误差表征所述标定图像中显示的预设图案和所述重投影图像中显示的预设图像之间的图像相似度，所述重投影误差与所述图像相似度负相关。

标定确定模块，用于若确定所述重投影误差满足预设条件，则确定所述目标相机完成标定。

第三方面，本申请提供一种电子设备，包括：处理器，以及与所述处理器通信连接的存储器；所述存储器存储计算机执行指令；所述处理器执行所述存储器存储的计算机执行指令，以实现第一方面所述的方法。

第四方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现第一方面所述的车载环视相机标定方法。

第五方面，本申请提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现第一方面所述的方法。

本申请提供的车载环视相机标定方法，通过获取目标相机对地面上的预设图案采集到的标定图像，其中，预设图案为目标相机在其相机视野范围内能采集到的最大图案；并确定目标相机的初始内参和初始外参，其中，初始内参表征目标相机的内参的初始值，初始外参表征目标相机的外参的初始值。然后，根据初始内参和初始外参，对目标相机的当前内参和当前外参调整，得到调整后的内参和调整后的外参；再基于调整后的内参、调整后的外参对预设图案进行重投影，得到重投影图像；接着基于标定图像和重投影图像，确定重投影误差，其中，重投影误差表征标定图像中显示的预设图案和重投影图像中显示的预设图像之间的图像相似度，重投影误差与图像相似度负相关；最后，若确定重投影误差满足预设条件，则确定目标相机完成标定。也就是说，标定图像可以看作是目标相机通过标定内参和标定外参对预设图案进行采集得到的。那么，通过对目标相机的当前内参和当前外参进行同时调整，并利用调整后的目标相机的内参和外参对预设图案进行重投影，得到的投影图像，如果该投影图像与标定图像越相似，表明目标相机的调整后的内参和外参就越接近于标定内参和标定外参。所以，经过对目标相机的当前内参和当前外参的不断调整，直到调整到投影图像与标定图像之间的重投影误差满足预设条件时，可确定目标相机完成标定，从而保证了对相机的内参和外参标定的准确性。另外，由于整个标定过程中，对目标相机的内参和外参的标定是同时完成的，所以避免了单独标定内参的操作，解决相机内参标定困难的问题，有效提高标定效率。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

图1是根据一示例性实施例示出的一种车载环视系统相机标定场景的场景示意图；

图2是根据一示例性实施例示出的一种车载环视相机标定方法的方法流程图；

图3是根据另一示例性实施例示出的一种车载环视相机标定方法的方法流程图；

图4A是根据图3实施例示出的一种环视拼接效果示意图；

图4B是根据图3实施例示出的另一种环视拼接效果示意图；

图5A是图4A的局部放大图；

图5B是图4B的局部放大图；

图6是根据又一示例性实施例示出的一种车载环视相机标定方法的方法流程图；

图7是根据一示例性实施例示出的一种车载环视系统相机标定装置的框图；

图8是根据一示例性实施例示出的一种电子设备的结构示意图。

通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

首先对本申请所涉及的名词进行解释：

AVM：是指全景式监控影像系统，英文全称为：Around View Monitor

本申请具体的应用场景可以为车载环视系统相机标定场景，在相关技术的车载环视系统相机标定场景中，对AVM环视相机进行标定时通常存在以下问题：

相机外参标定依赖相机内参，往往有相机供应商无法提供相机内参，即使提供了内参也存在一定的偏差，影响外参标定结果，从而导致环视相机标定参数不准确，由于环视相机标定参数不准确，又会造AVM环视系统的360度全景拼接视图中的扭曲、错位问题。

另外，若供应商未提供内参，理论上每个相机需要单独标定内参，工作量很大，且对操作人员有一定的标定经验要求，使得相机标定不容易实施。

本申请提供的车载环视相机标定方法，旨在解决现有技术的如上技术问题。

下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。

示例性地，本申请具体的应用场景可以为如图1所示的车载环视系统相机标定场景，在该标定场景可以包括预先铺设的标定场地，在该标定场地的中间区域用于停放车辆，在该标定场地中位于该中间区域的周围地面上可以设置有多个预设图案。可选的，该预设图案可以为棋盘格图案，该棋盘格图案的尺寸和位置是已知的。该车辆的前、后、左、右四个方向上分别设置有环视相机，该车辆上的环视相机可以对其相机视野范围内的预设图案进行采集。可选的，该环视相机可以是视场角约180度的鱼眼相机。其中，该车载环视系统相机标定场景还可以包括终端设备，上述四个环视相机可以与该终端设备通信连接，该终端设备可以具有数据处理功能，可选的，该终端设备可以为上述车辆的车载终端。

图2是根据一示例性实施例示出的一种车载环视相机标定方法，如图2所示，该车载环视相机标定方法可以包括：

110、获取目标相机对地面上的预设图案采集到的标定图像，其中，预设图案为目标相机在其相机视野范围内能采集到的最大图案；并确定目标相机的初始内参和初始外参，其中，初始内参表征目标相机的内参的初始值，初始外参表征目标相机的外参的初始值。

示例性地，该车载环视相机标定方法可以应用于上述终端设备中。该目标相机可以是车辆上的四个环视相机中的任意一个环视相机。

在一些实施方式中，终端设备可以控制目标相机对其相机视野范围内的预设图像进行拍摄，然后由目标相机将拍摄到图像上传至终端设备作为标志图像。可选地，目标相机可以拍摄多帧图像，并上传至终端设备，终端设备可以根据预设的亮度条件、预设清晰度条件等条件，从而多帧图像中选取出一帧图像作为标志图像。

在一些实施方式中，确定目标相机的初始内参的具体实施方式可以包括：在已知目标相机的相机类型(如视场角约180度的鱼眼相机)的情况下，终端设备可以从相机产品数据库中查找到与目标相机相同类型的并记录有相机内参的参考相机，然后将参考相机的相机内参确定为目标相机的初始内参。由于相同类型的相机，其内参也是相近的，所以通过上述方式能够使目标相机初始内参更接近于目标相机的标定内参，从而使目标相机在初始内参的基础上进行调整时，能够更容易地调整至标定内参。

在一些实施方式中，由于相机的外参可以表明目标在标定场地所确定的世界坐标系中的位姿，因此在已知目标相机在车辆上的安装位置的情况下，根据相机的安装位置和已知的标定场地所确定的世界坐标系，计算出相机的初始外参。由于相机外参可以反映相机的在世界坐标系中的位姿，所以通过目标相机的安装位置确定目标相机的初始外参，可以使目标相机的初始外参更接近于目标相机的标定外参，从而使目标相机在初始外参的基础上进行调整时，能够更容易地调整至标定外参。

可选的，在相机的安装位置不确定的情况下，可以在预设图像中提取出标定点，然后，根据标定点在地面坐标系中的坐标值(单位为毫米)与此标定点在目标相机所拍摄的标定图像中的图像坐标(单位为像素)之间的对应关系，计算出目标相机的初始外参。

120、根据初始内参和初始外参，对目标相机的当前内参和当前外参调整，得到调整后的内参和调整后的外参。

在一些实施方式中，终端设备可以先将目标相机的当前内参调整至初始内参，将目标相机的当前外参调整至初始外参，再通过预设的内参调整量对初始内参进行调整，以得到调整后的内参；通过预设的外参调整量对初始外参进行调整，以得到调整后的外参。可选的，预设的内参调整量和预设的外参调整量可以通过预设的算法确定。

130、基于调整后的内参、调整后的外参对预设图案进行重投影，得到重投影图像。

示例性地，例如可以在预设图案中选取出多个标定点，由于预设图案在地面的位置和尺寸是已知的，所以可以得知预设图案的多个标定点在地面坐标系中的地面坐标。在确定目标相机调整后的内参、调整后的外参的情况下，可以根据相机成像原理，将多个标定点的地面坐标转化为图像坐标系中的图像坐标。然后就可以根据多个标定点的图像坐标，确定出重投影图像。其中，标定点的选取规则可以是以方便识别为准，例如选取预设图案中线段之间的交点、图形的边角点等。

140、基于标定图像和重投影图像，确定重投影误差，其中，重投影误差表征标定图像中显示的预设图案和重投影图像中显示的预设图像之间的图像相似度，重投影误差与图像相似度负相关。

沿用上述示例，终端设备可以将预设图像中的标定点在标定图像中的图像坐标和该标定点在重投影图像中的图像坐标进行比较，以确定标定图像和重投影图像之间的图像相似度。例如，预设图像中的标定点A在标定图像中的图像坐标与标定点A在标定图像中的图像坐标之间的距离非常接近，表明标定图像和重投影图像之间的图像相似度越高，重投影误差也就越小，以此类推，通过上述比较方法遍历预设图像中的每一标定点，便可以得到更精准的重投影误差。

150、若确定重投影误差满足预设条件，则确定目标相机完成标定。

在一些实施方式中，终端设备可以将重投影误差与预设误差阈值进行比较，若重投影误差小于或等于预设误差阈值，则确定目标相机完成标定，即确定上述调整后的内参为目标相机的标定内参，上述调整后的外参为目标相机的标定外参。

同理，除目标相机以外的其它三个环视相机，也可以通过上述方法完成相机标定。

可见，本实施例提供的车载环视相机标定方法，通过获取目标相机对地面上的预设图案采集到的标定图像，其中，预设图案为目标相机在其相机视野范围内能采集到的最大图案；并确定目标相机的初始内参和初始外参，其中，初始内参表征目标相机的内参的初始值，初始外参表征目标相机的外参的初始值。然后，根据初始内参和初始外参，对目标相机的当前内参和当前外参调整，得到调整后的内参和调整后的外参；再基于调整后的内参、调整后的外参对预设图案进行重投影，得到重投影图像；接着基于标定图像和重投影图像，确定重投影误差，其中，重投影误差表征标定图像中显示的预设图案和重投影图像中显示的预设图像之间的图像相似度，重投影误差与图像相似度负相关；最后，若确定重投影误差满足预设条件，则确定目标相机完成标定。也就是说，标定图像可以看作是目标相机通过标定内参和标定外参对预设图案进行采集得到的。那么，通过对目标相机的当前内参和当前外参进行同时调整，并利用调整后的目标相机的内参和外参对预设图案进行重投影，得到的投影图像，如果该投影图像与标定图像越相似，表明目标相机的调整后的内参和外参就越接近于标定内参和标定外参。所以，经过对目标相机的当前内参和当前外参的不断调整，直到调整到投影图像与标定图像之间的重投影误差满足预设条件时，可确定目标相机完成标定，而重投影误差越小说明当前标定参数越准确，从而保证了对相机的内参和外参标定的准确性，避免了以内环视相机标定参数不准确而造AVM环视系统的360度全景拼接视图中的扭曲、错位问题。另外，由于整个标定过程中，对目标相机的内参和外参的标定是同时完成的，所以避免了单独标定内参的操作，解决相机内参标定困难的问题，有效提高标定效率。

图3是根据一示例性实施例示出的另一种车载环视相机标定方法，如图3所示，该车载环视相机标定方法可以包括：

210、获取目标相机对地面上的预设图案采集到的标定图像，其中，预设图案为目标相机在其相机视野范围内能采集到的最大图案；并确定目标相机的初始内参和初始外参，其中，初始内参表征目标相机的内参的初始值，初始外参表征目标相机的外参的初始值。

其中，步骤210的具体实施方式可以参考步骤110，故不在此赘述。

220、根据初始内参和初始外参，对目标相机的当前内参和当前外参调整，得到调整后的内参和调整后的外参。

在一些实施方式中，目标相机的内参可以包括相机光心、焦距、畸变参数，目标相机的外参可以包括旋转参数和平移参数，步骤220中的对目标相机的当前内参和当前外参调整的具体实施方式可以包括：对当前内参中的相机光心和焦距进行调整；对当前外参中的旋转参数和平移参数进行调整。

考虑到相同类型的环视相机的畸变参数差异较小，在本实施方式中，通过只对目标相机的当前内参中的除畸变参数以外的参数进行调整，可以提高调整效率，进而提升相机标定效率。

230、基于调整后的内参、调整后的外参对预设图案进行重投影，得到重投影图像。

其中，步骤230的具体实施方式可以参考步骤130，故不在此赘述。

240、基于标定图像和重投影图像，确定重投影误差，其中，重投影误差表征标定图像中显示的预设图案和重投影图像中显示的预设图像之间的图像相似度，重投影误差与图像相似度负相关。

在一些实施方式中，上述预设图案为棋盘格图案，步骤240的具体实施方式可以包括：

241、获取标定图像中的棋盘格图案的每一角点的第一图像坐标，并获取重投影图像中的棋盘格图案的每一角点的第二图像坐标。

作为一种示例，预设图案可以参照图1中所示的棋盘格图案，该棋盘格图案由颜色不同的矩形间隔排列而成，从而可以看成多个颜色不同的格子，其中，每个格子的边角点为棋盘格图案中的角点。其中，棋盘格的格数、每个格子的尺寸、以及各个棋盘格之间的物理距离都是已知的。其中，角点可以相当于上述实施例中的标定点。

其中，由于标定图像是目标相机直接对棋盘格图案采集而来，所以直接在标定图像的图对标定图像中显示每一角点对应的像素的坐标进行确定，即可得到标定图像中的棋盘格图案的每一角点的第一图像坐标。

请再次参阅图1，多个棋盘格图案可以围城一个大致矩形的标定场地，可以基于该矩形的任意一边角(如左上角)的位置为原点，建立地面坐标系，由于预设图案的在标定场地中间的位置和尺寸是已知的，所以可以计算得到每个角点在地面坐标系中的地面坐标。在得知每个角点的地面坐标的情况下，则可以基于相机的成像原理以及目标相机的调整后的内参和调整后的外参，便可将每个角点在地面坐标系中的地面坐标转换为图像坐标系中的图像坐标，从而得到重投影图像中的第二图像坐标。

242、针对棋盘格图案的每一角点，将角点对应第一图像坐标和第二图像坐标之间的欧氏距离，确定为角点对应的误差值，欧氏距离与图像相似度负相关。

示例性地，例如棋盘格图案中的角点A，终端设备可以计算角点A对应的第一图像坐标和角点A对应第二图像坐标之间的欧氏距离，然后，将该欧氏距离确定为角点A对应的误差值。以此类推，通过上述方式遍历每一个角点，即可得到每一个角点对应的误差值。

243、基于棋盘格图案中每一角点对应的误差值，确定重投影误差。

在一些实施方式中，步骤243的具体实施方式可以包括：计算棋盘格图案中所有角点对应的误差值的平均值，并将确定平均值确定为重投影误差。

作为一种示例，终端设备可以计算多个角点对应的误差值的和，然后将计算多个角点对应的误差值的和与该多个角点的数量的商，并将该商确定为重投影误差。

在一些实施方式中，步骤243的具体实施方式可以包括：

2431、确定棋盘格图案中的共视角点，共视角点为同一车辆上除目标相机以外的环视相机能在棋盘格图案中采集到的角点。

示例性地，请再次参阅图1，在图1中，标定场地可以划分为9个区域，9个区域包括区域1至区域9，其中，车辆停放在区域5。以目标相机为位于车辆前方的环视相机为例，假设目标相机能够采集到的预设图案为区域1、区域2、区域3的预设图案；而位于车辆左方的环视相机能够采集到的预设图案为区域1、区域4、区域5的预设图案；位于车辆左方的环视相机能够采集到的预设图案为区域3、区域6、区域9的预设图案。那么，可以确定目标相机对应的共视角点包括区域1中的棋盘格图案的角点以及区域3中的棋盘格图案的角点，而区域2中的棋盘格图案的角点则为目标相机对应的非共视角点。

2432、为共视角点对应的误差值赋予第一权重值，为棋盘格图案中除共视角点以外的非共视角点对应的误差值赋予第二权重值，第一权重大于第二权重值。

2433、基于共视角点对应的误差值、第一权重值、非共视角点对应的误差值、第二权重值，确定重投影误差。

示例性地，例如共视角点包括角点1，非共视角点包括角点2，角点1对应的误差为a1，角点2对应的误差为a2，第一权重值为k1，第二权重值为k2，那么此时的重投影误差＝(k1*a1+k2*a2)/2，其中，k1＞k2。

考虑到目标相机所能采集到的预设图案中共视角点数量较少，且主要分布在目标相机的相机视野边缘，预设图案中非视角点数量较多，且主要分布在目标相机的相机视野的中心，在本实施例中，根据角点的分布设置权重，降低点分布不均匀对标定参数准确度的影响，减小共视角点的反投影误差。

250、若确定重投影误差满足预设条件，则确定目标相机完成标定。

其中，步骤250的具体实施方式可以参考步骤150，故不在此赘述。

260、若确定重投影误差不满足预设条件，则重新对目标相机的当前内参和当前外参调整，得到重新调整后的内参和重新调整后的外参。

示例性地，当重投影误差大于预设阈值，则确定该重投影误差不满足预设条件。

270、基于重新调整后的内参和重新调整后的外参，返回执行基于调整后的内参、调整后的外参对棋盘格图案进行重投影，得到重投影图像的步骤，直到重投影误差满足预设条件。

示例性地，终端设备中预先存储预设算法，例如，预设算法为有非线性数值分析算法，在确定重投影误差不满足预设条件的情况下，终端设备可以利用非线性数值分析算法进行迭代运算，逐步调整目标相机的当前内参和当前外参，直到重投影误差满足预设条件。可选的，非线性数值分析算法可以为莱文贝格-马夸特(Levenberg-Marquardt，LM)算法，其中，在该非线性数值分析算法中的参数调整量包括目标相机的内参和外参。

可选地，在利用预设算法对目标相机的内参和外参进行迭代的过程中，可以设定优化约束条件，例如优化约束条件可以是限制参数在合适范围内进行迭代。

作为一种示例，通过本实施例的车载环视相机标定方法对相机进行标定后的重投影误差评估如表1所示：

表1

根据表1可见，相比于相关技术中只对相机外参进行标定的误差结果是远远大于本方案中对应相机内外参同时进行标定的误差结果。所以本实施例的车载环视相机标定方法可以将重投影误差降低至亚像素以下，可以有效提升相机标定的准确性。

作为另一种示例，通过本实施例的车载环视相机标定方法对相机进行标定后环视相机所完成环视拼接效果如图4A所示。而通过只标定相机外参的方法对相机进行标定后环视相机所完成环视拼接效果如图4B所示。

对比图4A和图4B可知，采用本实施例的车载环视相机标定方法对相机进行标定后环视相机所完成环视拼接图中的直线性较好，无明显错位。

作为又一种示例，将图4A的右上角进行放大可以得到如图5A的拼接效果图。将图4B的右上角进行放大可以得到如图5B的拼接效果图。

对比图5A和图5B可知，采用本实施例的车载环视相机标定方法对相机进行标定后环视相机所完成环视拼接图中的右上角的矩形框区域，即墙边的弯曲得到改善。

可见，采用本实施例的车载环视相机标定方法能够有效提升相机的标定准确性，从而提高拼接效果。

图6是根据一示例性实施例示出的又一种车载环视相机标定方法，如图6所示，该车载环视相机标定方法可以包括：

310、获取目标相机对地面上的预设图案采集到的标定图像，其中，预设图案为目标相机在其相机视野范围内能采集到的最大图案；并确定目标相机的初始内参和初始外参，其中，初始内参表征目标相机的内参的初始值，初始外参表征目标相机的外参的初始值。

320、根据初始内参和初始外参，对目标相机的当前内参和当前外参调整，得到调整后的内参和调整后的外参。

330、基于调整后的内参、调整后的外参对预设图案进行重投影，得到重投影图像。

340、基于标定图像和重投影图像，确定重投影误差，其中，重投影误差表征标定图像中显示的预设图案和重投影图像中显示的预设图像之间的图像相似度，重投影误差与图像相似度负相关。

350、若确定重投影误差满足预设条件，则确定目标相机完成标定。

其中，步骤310至步骤350的具体实施方式可以参考步骤110至步骤150，故不在此赘述。

360、若确定重投影误差不满足预设条件，则重新对目标相机的当前内参和当前外参调整，得到重新调整后的内参和重新调整后的外参。

370、基于重新调整后的内参和重新调整后的外参，返回执行基于调整后的内参、调整后的外参对棋盘格图案进行重投影，得到重投影图像的步骤，并记录调整目标相机的当前内参和当前外参的次数。

380、若确定次数达到预设次数，则停止返回执行重新调整目标相机的当前内参和当前外参的步骤，并将最后一次对目标相机的当前内参和当前外参调整得到的内参和外参，确定为目标相机的标定内参和标定外参。

示例性地，例如在确定重投影误差不满足预设条件时，终端设备可以将目标相机的内参和外参作为预设算法的输入变量，利用预设算法进行迭代，该预设算法的目标为重投影误差满足预设条件。上述调整目标相机的当前内参和当前外参的次数相当于迭代次数。假设，预设次数为N，当迭代次数到达N时，可以直接将第N次迭代得到的目标相机的内参和外参，确定为目标相机的标定内参和标定外参，其中，N为整数。

图7是根据一示例性实施例示出的一种车载环视相机标定装置，如图7所示，该装置可以包括：

标定图像和初始参数确定模块，用于获取目标相机对地面上的预设图案采集到的标定图像，其中，预设图案为目标相机在其相机视野范围内能采集到的最大图案，并确定目标相机的初始内参和初始外参，其中，初始内参表征目标相机的内参的初始值，初始外参表征目标相机的外参的初始值。

参数调整模块，用于根据初始内参和初始外参，对目标相机的当前内参和当前外参调整，得到调整后的内参和调整后的外参。

重投影模块，用于基于调整后的内参、调整后的外参对预设图案进行重投影，得到重投影图像。

重投影误差确定模块，用于基于标定图像和重投影图像，确定重投影误差，其中，重投影误差表征标定图像中显示的预设图案和重投影图像中显示的预设图像之间的图像相似度，重投影误差与图像相似度负相关。

标定确定模块，用于若确定重投影误差满足预设条件，则确定目标相机完成标定。

在一些实施方式中，预设图案为棋盘格图案，重投影误差确定模块具体用于：

获取标定图像中的棋盘格图案的每一角点的第一图像坐标，并获取重投影图像中的棋盘格图案的每一角点的第二图像坐标。针对棋盘格图案的每一角点，将角点对应第一图像坐标和第二图像坐标之间的欧氏距离，确定为角点对应的误差值，欧氏距离与图像相似度负相关。基于棋盘格图案中每一角点对应的误差值，确定重投影误差。

在一些实施方式中，重投影误差确定模块还用于：计算棋盘格图案中所有角点对应的误差值的平均值，并将确定平均值确定为重投影误差。

在一些实施方式中，重投影误差确定模块还用于：确定棋盘格图案中的共视角点，共视角点为同一车辆上除目标相机以外的环视相机能在棋盘格图案中采集到的角点；为共视角点对应的误差值赋予第一权重值，为棋盘格图案中除共视角点以外的非共视角点对应的误差值赋予第二权重值，第一权重大于第二权重值；基于共视角点对应的误差值、第一权重值、非共视角点对应的误差值、第二权重值，确定重投影误差。

在一些实施方式中，装置还包括：

调整模块，用于若确定重投影误差不满足预设条件，则重新对目标相机的当前内参和当前外参调整，得到重新调整后的内参和重新调整后的外参。

返回执行模块，用于基于重新调整后的内参和重新调整后的外参，返回执行基于调整后的内参、调整后的外参对棋盘格图案进行重投影，得到重投影图像的步骤，直到重投影误差满足预设条件。

在一些实施方式中，装置还包括：

调整模块，用于若确定重投影误差不满足预设条件，则重新对目标相机的当前内参和当前外参调整，得到重新调整后的内参和重新调整后的外参。

次数记录模块，用于基于重新调整后的内参和重新调整后的外参，返回执行基于调整后的内参、调整后的外参对棋盘格图案进行重投影，得到重投影图像的步骤，并记录调整目标相机的当前内参和当前外参的次数。

标定参数确定模块，用于若确定次数达到预设次数，则停止返回执行重新调整目标相机的当前内参和当前外参的步骤，并将最后一次对目标相机的当前内参和当前外参调整得到的内参和外参，确定为目标相机的标定内参和标定外参。

在一些实施方式中，方法还包括：参数调整模块，包括：

第一调整子模块，用于对当前内参中的相机光心和焦距进行调整。

第二调整子模块，用于对当前外参中的旋转参数和平移参数进行调整。

图8是根据一示例性实施例示出的一种电子设备的框图，该电子设备可以是计算机，车载终端，服务器等。其中，该电子设备可以相当于上述实施例中的终端设备。

电子设备800可以包括以下一个或多个组件：处理组件802，存储器804，电源组件806，多媒体组件808，音频组件810，输入/输出(I/O)接口812，传感器组件814，以及通信组件816。

处理组件802通常控制电子设备800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理组件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。

存储器804被配置为存储各种类型的数据以支持在电子设备800的操作。这些数据的示例包括用于在电子设备800上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

电源组件806为电子设备800的各种组件提供电力。电源组件806可以包括电源管理系统，一个或多个电源，及其他与为电子设备800生成、管理和分配电力相关联的组件。

多媒体组件808包括在所述电子设备800和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括一个前置摄像头和/或后置摄像头。当电子设备800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件810被配置为输出和/或输入音频信号。例如，音频组件810包括一个麦克风(MIC)，当电子设备800处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中，音频组件810还包括一个扬声器，用于输出音频信号。

I/O接口812为处理组件802和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件814包括一个或多个传感器，用于为电子设备800提供各个方面的状态评估。例如，传感器组件814可以检测到电子设备800的打开/关闭状态，组件的相对定位，例如所述组件为电子设备800的显示器和小键盘，传感器组件814还可以检测电子设备800或电子设备800一个组件的位置改变，用户与电子设备800接触的存在或不存在，电子设备800方位或加速/减速和电子设备800的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件816被配置为便于电子设备800和其他设备之间有线或无线方式的通信。电子设备800可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件816还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在示例性实施例中，电子设备800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。

在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器804，上述指令可由电子设备800的处理器820执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

一种非临时性计算机可读存储介质，当该存储介质中的指令由终端设备的处理器执行时，使得终端设备能够执行上述电子设备的车载环视相机标定方法。

一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时上述实施例中的车载环视相机标定方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求书指出。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求书来限制。

Claims (11)

1.一种车载环视相机标定方法，其特征在于，包括：

获取目标相机对地面上的预设图案采集到的标定图像，其中，所述预设图案为所述目标相机在其相机视野范围内能采集到的最大图案；并确定所述目标相机的初始内参和初始外参，其中，所述初始内参表征所述目标相机的内参的初始值，所述初始外参表征所述目标相机的外参的初始值；

根据所述初始内参和所述初始外参，对所述目标相机的当前内参和当前外参调整，得到调整后的内参和调整后的外参；

基于所述调整后的内参、所述调整后的外参对所述预设图案进行重投影，得到重投影图像；

基于所述标定图像和所述重投影图像，确定重投影误差，其中，所述重投影误差表征所述标定图像中显示的预设图案和所述重投影图像中显示的预设图像之间的图像相似度，所述重投影误差与所述图像相似度负相关；

若确定所述重投影误差满足预设条件，则确定所述目标相机完成标定。

2.根据权利要求1所述的方法，其特征在于，所述预设图案为棋盘格图案，所述基于所述标定图像和所述重投影图像，确定重投影误差，包括：

获取所述标定图像中的棋盘格图案的每一角点的第一图像坐标，并获取所述重投影图像中的棋盘格图案的每一角点的第二图像坐标；

针对所述棋盘格图案的每一角点，将所述角点对应第一图像坐标和第二图像坐标之间的欧氏距离，确定为所述角点对应的误差值，所述欧氏距离与所述图像相似度负相关；

基于所述棋盘格图案中每一角点对应的误差值，确定所述重投影误差。

3.根据权利要求2所述的方法，其特征在于，所述基于所述棋盘格图案中每一角点对应的误差值，确定所述重投影误差，包括：

计算所述棋盘格图案中所有角点对应的误差值的平均值，并将确定所述平均值确定为所述重投影误差。

4.根据权利要求2所述的方法，其特征在于，所述基于所述棋盘格图案中每一角点的误差值，确定所述重投影误差，包括：

确定所述棋盘格图案中的共视角点，所述共视角点为同一车辆上除所述目标相机以外的环视相机能在所述棋盘格图案中采集到的角点；

为所述共视角点对应的误差值赋予第一权重值，为所述棋盘格图案中除所述共视角点以外的非共视角点对应的误差值赋予第二权重值，所述第一权重大于所述第二权重值；

基于所述共视角点对应的误差值、所述第一权重值、所述非共视角点对应的误差值、第二权重值，确定所述重投影误差。

5.根据权利要求1至4任一项所述的方法，其特征在于，所述方法还包括：

若确定所述重投影误差不满足预设条件，则重新对所述目标相机的当前内参和当前外参调整，得到重新调整后的内参和重新调整后的外参；

基于所述重新调整后的内参和所述重新调整后的外参，返回执行所述基于调整后的内参、调整后的外参对所述棋盘格图案进行重投影，得到重投影图像的步骤，直到所述重投影误差满足预设条件。

6.根据权利要求1至4任一项所述的方法，其特征在于，所述方法还包括：

若确定所述重投影误差不满足预设条件，则重新对所述目标相机的当前内参和当前外参调整，得到重新调整后的内参和重新调整后的外参；

基于所述重新调整后的内参和所述重新调整后的外参，返回执行所述基于调整后的内参、调整后的外参对所述棋盘格图案进行重投影，得到重投影图像的步骤，并记录调整所述目标相机的当前内参和当前外参的次数；

若确定所述次数达到预设次数，则停止返回执行所述重新调整所述目标相机的当前内参和当前外参的步骤，并将最后一次对所述目标相机的当前内参和当前外参调整得到的内参和外参，确定为所述目标相机的标定内参和标定外参。

7.根据权利要求1至4任一项所述的方法，其特征在于，所述方法还包括：所述对所述目标相机的当前内参和当前外参调整，包括：

对所述当前内参中的相机光心和焦距进行调整；

对所述当前外参中的旋转参数和平移参数进行调整。

8.一种车载环视相机标定装置，包括：

标定图像和初始参数确定模块，用于获取目标相机对地面上的预设图案采集到的标定图像，其中，所述预设图案为所述目标相机在其相机视野范围内能采集到的最大图案，并确定所述目标相机的初始内参和初始外参，其中，所述初始内参表征所述目标相机的内参的初始值，所述初始外参表征所述目标相机的外参的初始值；

参数调整模块，用于根据所述初始内参和所述初始外参，对所述目标相机的当前内参和当前外参调整，得到调整后的内参和调整后的外参；

重投影模块，用于基于所述调整后的内参、所述调整后的外参对所述预设图案进行重投影，得到重投影图像；

重投影误差确定模块，用于基于所述标定图像和所述重投影图像，确定重投影误差，其中，所述重投影误差表征所述标定图像中显示的预设图案和所述重投影图像中显示的预设图像之间的图像相似度，所述重投影误差与所述图像相似度负相关；

标定确定模块，用于若确定所述重投影误差满足预设条件，则确定所述目标相机完成标定。

9.一种电子设备，包括：处理器，以及与所述处理器通信连接的存储器；

所述存储器存储计算机执行指令；

所述处理器执行所述存储器存储的计算机执行指令，以实现如权利要求1至7中任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1至7任一项所述的车载环视相机标定方法。

11.一种计算机程序产品，其特征在于，包括计算机程序，该计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法。

Images