CN115239815A - 一种相机标定方法及装置 - Google Patents

Abstract

本说明书一个或多个实施例提供一种相机标定方法及装置；所述方法包括：获取相机在目标时间点采集到的目标帧图像，以及位置传感器在包括目标时间点的多个时间点分别采集到的多个单帧点云；其中，在非目标时间点采集到的单帧点云为非目标帧点云，在目标时间点采集到的单帧点云为目标帧点云；将非目标帧点云叠加至目标帧点云中得到目标时间点对应的综合帧点云；基于目标帧图像和综合帧点云进行相机标定。本方案中，将非目标帧点云叠加至目标帧点云中得到了综合帧点云，其相较于目标帧点云包含更为密集、所处距离更远的特征点，使用所述综合帧点云与目标帧图像实现位置传感器和相机间的联合标定，提高了相机标定的准确性。

Description

一种相机标定方法及装置

技术领域

本说明书一个或多个实施例涉及计算机视觉技术领域，尤其涉及一种相机标定方法及装置。

背景技术

随着智能驾驶、无人机等应用的不断推广，相机往往需要和各类传感器配合以提供更加准确全面的视觉数据。因为相机能够提供色彩和纹理等信息，而位置传感器能够提供距离和速度等信息，一种比较常见的方式是在智能驾驶汽车和无人机等设备上同时配置相机和位置传感器，从而获得相机采集的二维图像中的物体色彩和纹理信息，以及位置传感器采集的三维点云中的物体距离和运动状态信息。

由于相机所采集图像的像素坐标系与位置传感器所采集点云的点云坐标系是彼此独立的，为了综合使用二者的信息，需要确定所述像素坐标系与所述点云坐标系之间的转换关系，所述转换关系的确定过程就属于相机标定。不过，目前，相关技术中实现位置传感器和相机间联合标定的准确性还有待提高。

发明内容

有鉴于此，本说明书一个或多个实施例提供一种相机标定方法及装置。

为实现上述目的，本说明书一个或多个实施例提供技术方案如下：

根据本说明书一个或多个实施例的第一方面，提出了一种相机标定方法，应用于配置有位置传感器和相机的电子设备，包括：

获取相机在目标时间点采集到的目标帧图像，以及位置传感器在包括所述目标时间点的多个时间点分别采集到的多个单帧点云；其中，所述多个单帧点云包括，在非目标时间点采集到的非目标帧点云以及在目标时间点采集到的目标帧点云；

将所述非目标帧点云叠加至所述目标帧点云中，得到所述目标时间点对应的综合帧点云；

基于所述目标帧图像和所述综合帧点云进行相机标定。

根据本说明书一个或多个实施例的第二方面，提出了一种相机标定装置，所述装置应用于配置有位置传感器和相机的电子设备，包括获取单元、叠加单元和标定单元：

所述获取单元，用于获取相机在目标时间点采集到的目标帧图像，以及位置传感器在包括所述目标时间点的多个时间点分别采集到的多个单帧点云；其中，所述多个单帧点云包括，在非目标时间点采集到的非目标帧点云以及在目标时间点采集到的目标帧点云；

所述叠加单元，用于将所述非目标帧点云叠加至所述目标帧点云中，得到所述目标时间点对应的综合帧点云；

所述标定单元，用于基于所述目标帧图像和所述综合帧点云进行相机标定。

根据本说明书一个或多个实施例的第三方面，提出了一种电子设备，包括相机和位置传感器、处理器以及用于存储处理器可执行指令的存储器；

其中，所述处理器通过运行所述可执行指令实现如上述第一方面所述方法中的步骤。

由以上描述可以看出，本说明书中，电子设备将位置传感器在一或多个非目标时间点采集到的一或多个非目标帧点云叠加至所述位置传感器在目标时间点采集到的目标帧点云中，得到了所述目标时间点对应的综合帧点云，所述电子设备使用所述综合帧点云与相机在所述目标时间点采集到的目标帧图像实现位置传感器和相机间的联合标定，鉴于所述综合帧点云相较于所述目标帧点云包含了在目标时间点上更为密集且距离更远的特征点，基于所述综合帧点云与所述目标帧图像进行的相机标定的准确性因而得以提升。

附图说明

图1是本说明书一示例性实施例示出的在位置传感器的点云坐标系和相机的像素坐标系之间进行相机标定的示意图。

图2是本说明书一示例性实施例提供的一种相机标定方法的流程图。

图3是本说明书一示例性实施例示出的电子设备将非目标帧点云叠加至目标帧点云的方法流程图。

图4是本说明书一示例性实施例示出的电子设备基于综合帧点云和目标帧图像进行相机标定的方法流程图。

图5是一示例性实施例提供的一种相机标定装置所在电子设备的结构示意图。

图6是一示例性实施例提供的一种相机标定装置的框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本说明书一个或多个实施例相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本说明书一个或多个实施例的一些方面相一致的装置和方法的例子。

需要说明的是：在其他实施例中并不一定按照本说明书示出和描述的顺序来执行相应方法的步骤。在一些其他实施例中，其方法所包括的步骤可以比本说明书所描述的更多或更少。此外，本说明书中所描述的单个步骤，在其他实施例中可能被分解为多个步骤进行描述；而本说明书中所描述的多个步骤，在其他实施例中也可能被合并为单个步骤进行描述。

随着智能驾驶、无人机等应用的不断推广，相机往往需要和各类传感器配合以提供更加准确全面的视觉数据。因为相机能够提供色彩和纹理等信息，而位置传感器能够提供距离和速度等信息，一种比较常见的方式是在智能驾驶汽车和无人机等设备上同时配置相机和位置传感器，以综合利用二者采集到的信息。

设备上配置的相机可以采集二维图像，所述二维图像中含有相机视野内物体的色彩和纹理信息；其中，所述二维图像基于相机中预设的像素坐标系构建，相机每次采集到的图像由所述像素坐标系下的多个像素点构成，每个像素点的坐标值即所述像素坐标系下的坐标值，而每个像素点的像素值则可以表征色彩等信息。

而设备上配置的位置传感器则可以采集三维点云，所述三维点云中含有位置传感器视野内物体的距离和运动状态信息；其中，所述三维点云基于位置传感器中预设的点云坐标系构建，位置传感器每次采集到的点云由所述点云坐标系下的多个特征点构成，每个特征点的坐标值即所述点云坐标系下的坐标值，基于特征点的坐标值可以得到物体距离和运动状态的信息。

虽然部分相机也具有采集视野内物体的距离和运动状态信息的功能，但是都极易受到天气和外界环境影响，鲁棒性差，因而设备中一般也不会使用相机提供的物体距离和运动状态信息。

如图1所示，相机的像素坐标系和位置传感器的点云坐标系是彼此独立的，设备在得到相机采集的二维图像和位置传感器采集的三维点云后，为了综合利用二者信息，需要确定所述像素坐标系和所述点云坐标系之间的转换关系以使所述图像中像素点的信息和所述点云中特征点的信息能够保持空间同步，得到表征这一转换关系的坐标转换矩阵的过程即相机和位置传感器之间的联合标定过程，该过程属于相机标定。

目前，相关技术中位置传感器和相机之间进行联合相机标定的方法大多较为粗糙，其准确性亟待提升。

有鉴于此，本说明书提出一种相机标定方法，应用于配置有相机和位置传感器的电子设备。

所述电子设备可以是智能驾驶汽车、无人机等。所述相机，即能够采集得到二维图像的相机，包括但不限于单目相机；所述位置传感器，即能够采集得到三维点云的传感器，包括但不限于单线激光雷达、多线激光雷达。

本说明书对于所述电子设备、相机和位置传感器的具体类型不做限制。不过，可以理解的是，装配于电子设备上的相机和位置传感器的相对位置一般是固定的而非动态变化的。

请参考图2，图2为本说明书一示例性实施例示出的一种相机标定方法的流程图。

所述相机标定方法可以包括如下具体步骤：

步骤202，电子设备获取相机在目标时间点采集到的目标帧图像，以及位置传感器在包括所述目标时间点的多个时间点分别采集到的多个单帧点云，所述多个单帧点云包括非目标时间点采集到的非目标帧点云以及目标时间点采集到的目标帧点云。

当电子设备执行相机标定时，将针对一个目标时间点触发相机和位置传感器分别进行图像和点云的采集；所述目标时间点可以是由技术人员人工操控的一个时间点，例如，技术人员通过开关或按钮触发图像和点云采集的时间点，所述目标时间点也可以是预设于所述电子设备中在其开始执行相机标定后自动触发的一个时间点，例如，电子设备开始执行相机标定后10秒自动触发图像和点云采集的时间点。

所述电子设备将在所述相机和所述位置传感器完成采集后获取二者所分别采集到的图像和点云。

所述相机在目标时间点上采集到的单帧二维图像，即目标帧图像，它基于相机既定的像素坐标系构建，所述像素坐标系可以是相机的出厂设定，也可以是人工设定，举例来说，所述目标帧图像可以由1920*1080个像素点构成。

所述位置传感器在所述目标时间点上同步采集到的单帧三维点云，即目标帧点云，在所述目标时间点外的一或多个非目标时间点上采集到的单帧三维点云，即非目标帧点云；可选择地，所述位置传感器可以在目标时间点后，根据预设的时间间隔，在一或多个非目标时间点上采集一或多个非目标帧点云。

所述位置传感器采集到的各个单帧三维点云，基于位置传感器既定的点云坐标系构建，所述点云坐标系可以是位置传感器的出厂设定，也可以是人工设定，举例来说，一个单帧三维点云可以由n个包括直角坐标系三轴坐标值的特征点构成。

步骤204，所述电子设备将所述非目标帧点云叠加至所述目标帧点云中，得到所述位置传感器在目标时间点采集到的综合帧点云。

所述位置传感器采集到的多个单帧点云基于相同的点云坐标系构建，基于步骤202，所述电子设备在获取到所述位置传感器采集到的多个单帧点云后，可以将非目标时间点采集到的一或多个非目标帧点云叠加至目标时间点采集到的一个目标帧点云中，以综合多个单帧点云中所包涵的可转换至目标时间点上的物体信息，得到所述目标时间点对应的综合帧点云。

举例来说，假设电子设备上配置的位置传感器的扫描范围为10米，其在目标时间点上采集到的目标帧点云中包涵所述目标时间点上处于所述位置传感器0至10米范围内的物体信息。

假设电子设备的移动速度为10米/秒，根据预设的时间间隔0.1秒，位置传感器在目标时间点后0.1秒这一非目标时间点上采集到的非目标帧点云中包涵所述非目标时间点上处于所述位置传感器0至10米范围内的物体信息；通过速度和时间的换算，可以由这一非目标帧点云得到所述目标时间点上处于所述位置传感器1至11米范围内的物体信息，并将其叠加至所述目标帧点云中。

以此类推，可以将目标时间点后0.2秒、0.3秒等非目标时间点采集到的非目标帧点云转换并叠加至目标帧点云中，从而得到目标时间点对应的一个综合帧点云，所述综合帧点云中可以包涵所述目标时间点上处于所述位置传感器0至13米或更远范围内、更多的物体信息，即，相较于所述目标帧点云，所述综合帧点云中包含所述目标时间点上更为密集且位于所述位置传感器更远距离的特征点。

步骤206，所述电子设备基于所述目标帧图像和所述综合帧点云进行相机标定。

所述电子设备基于步骤202获取到的目标帧图像以及基于步骤204得到的综合帧点云，进行相机和位置传感器之间的联合标定。

所述目标帧图像和所述综合帧点云之间具有多组映射点，每组映射点包括所述目标帧图像中的一个像素点以及所述综合帧点云中的一个特征点，它们之间具有映射关系，所述像素点和所述特征点对应于物理世界中的同一点。

所述多组映射点，可以基于标定板确定，也可以人工选取。基于标定板确定多组映射点的具体方式，可以参见相关技术，此处不再赘述；而人工选取多组映射点时，需要在所述目标帧图像和所述综合帧点云中选取尽量均匀的映射点，以避免相机标定时由过拟合造成的标定准确性下降。

所述电子设备将基于所述目标帧图像和所述综合帧点云之间的多组映射点进行相机和位置传感器之间的联合标定。具体地，所述电子设备将基于各组映射点中的像素点在像素坐标系中的坐标值，以及特征点在点云坐标系中的坐标值，确定相机的像素坐标系以及位置传感器的点云坐标系之间的坐标转换矩阵，所述坐标转换矩阵在确定后被用于实现后续相机所采集图像和位置传感器所采集点云之间的空间同步。

由以上描述可以看出，本说明书中，电子设备将位置传感器在一或多个非目标时间点采集到的一或多个非目标帧点云叠加至所述位置传感器在目标时间点采集到的目标帧点云中，得到了所述目标时间点对应的综合帧点云，所述综合帧点云相较于所述目标帧点云包含了在目标时间点上更为密集且距离更远的特征点，避免了因位置传感器扫描范围有限造成的点云特征点稀疏以及覆盖距离范围近的问题，基于所述综合帧点云与相机在所述目标时间点采集到的目标帧图像所进行的位置传感器和相机之间的联合标定因而具有更高的准确性。

针对步骤204所述的电子设备将非目标帧点云叠加至目标帧点云中，得到目标时间点对应的综合帧点云，存在多种可选择的实现方式。

请参考图3，在一种可选择的实现方式下，步骤204可以包括如下具体步骤：

步骤2042，所述电子设备针对每个非目标帧点云，确定所述非目标帧点云与所述目标帧点云之间的点云转换矩阵。

为将各个非目标帧点云叠加至目标帧点云中，针对每个非目标帧点云，确定其与目标帧点云之间的点云转换矩阵。所述点云转换矩阵用于使所述非目标帧点云逼近所述目标帧点云，举例来说，所述点云转换矩阵可以为6-自由度转换矩阵；确定非目标帧点云和目标帧点云之间的点云转换矩阵，可以基于诸如ICP(Iterative Closest Point，迭代最近点算法)、GICP(Generalized Iterative Closest Point，泛化迭代最近点算法)、NDT(NormalDistributions Transform，正态分布变换算法)等点云转换算法实现，具体采用的点云转换算法不做限制。

举例来说，假设位置传感器在目标时间点后0.1秒采集到的为第一非目标帧点云，在目标时间点后0.2秒采集到的为第二非目标帧点云，在目标时间点后0.3秒采集到的为第三非目标帧点云，电子设备可以基于GICP算法分别确定第一、二、三非目标帧点云与目标帧点云之间的点云转换矩阵。

考虑到非目标时间点与目标时间点之间的时间间隔越大，基于预设的点云转换算法确定非目标帧点云与目标帧点云之间的点云转换矩阵的准确性越低的问题，为进一步提高所确定的点云转换矩阵的准确性，所述电子设备可以先行确定各个非目标帧点云对应的预估矩阵，并基于所述预估矩阵确定各个非目标帧点云与目标帧点云之间的点云转换矩阵。

具体地，所述电子设备可以先行确定位置传感器采集到的多个单帧点云中相邻两帧点云之间的帧间转换矩阵。

在确定所有相邻两帧点云之间的帧间转换矩阵后，针对每个非目标帧点云，所述电子设备可以基于所述非目标帧点云与所述目标帧点云之间的一或多个帧间转换矩阵，确定所述非目标帧点云对应的预估矩阵；基于所述预估矩阵，所述电子设备确定所述非目标帧点云与所述目标帧点云之间的点云转换矩阵。

基于前例，所述电子设备可以基于GICP算法，先分别确定第三非目标帧点云与第二非目标帧点云之间的第三帧间转换矩阵、第二非目标帧点云与第一非目标帧点云之间的第二帧间转换矩阵，以及第一非目标帧点云与目标帧点云之间的第一帧间转换矩阵。由于采集相邻两帧点云之间的时间间隔较小，确定所述帧间转换矩阵时可以使用缺省矩阵作为初始值，基于GICP算法在所述缺省矩阵的基础上进行迭代以确定所述帧间转换矩阵。

得到所述第一、第二、第三帧间转换矩阵后，所述电子设备可以基于所述第一、第二、第三帧间转换矩阵确定所述第三非目标帧点云对应的预估矩阵，基于所述第一、第二帧间转换矩阵确定所述第二非目标帧点云对应的预估矩阵。例如，所述电子设备可以通过将所述帧间转换矩阵相乘得到所述预估矩阵。

得到所述第三非目标帧点云对应的预估矩阵后，所述电子设备可以使用所述第三非目标帧点云对应的预估矩阵作为初始值，基于GICP算法在所述预估矩阵的基础上进行迭代以确定所述第三非目标帧点云与所述目标帧点云之间的点云转换矩阵；得到所述第二非目标帧点云与所述目标帧点云之间的点云转换矩阵的方式亦然，可以理解的是，所述第一非目标帧点云与所述目标帧点云之间的点云转换矩阵可以直接采用所述第一帧间转换矩阵。

步骤2044，所述电子设备基于确定的点云转换矩阵，将所述非目标帧点云叠加至所述目标帧点云中。

基于步骤2042得到的非目标帧点云与目标帧点云之间的点云转换矩阵，可以将非目标帧点云中的特征点转换为目标时间点上对应的特征点再叠加至目标帧点云中。

可选择地，所述电子设备可以将非目标帧点云与其对应的点云转换矩阵相乘，以使所述非目标帧点云中的特征点由其在非目标时间点上的坐标值转换至其在目标时间点上的坐标值，然后将相乘转换后的非目标帧点云叠加至目标帧点云中，以使所述目标帧点云在叠加后的信息得以丰富。

基于前例，假设所述位置传感器在目标时间点后0.1秒采集到物理世界中与其相距9.5米的一物体信息，即所述第一非目标帧点云中存在所述目标时间点后0.1秒与所述位置传感器相距9.5米的一特征点，通过将所述第一非目标帧点云与其对应的点云转换矩阵相乘，所述第一非目标帧点云中的所述特征点被转换为所述目标时间点时上与所述位置传感器相距10.5米的一特征点，所述电子设备将相乘转换后的第一非目标帧点云叠加至目标帧点云中，以使叠加后的所述目标帧点云中包括所述与位置传感器相距10.5米的特征点，所述叠加后的所述目标帧点云中即可包涵在所述目标时间点上超出所述位置传感器扫描范围的物体信息。

要说明的是，上述步骤2042至步骤2044只是将一个非目标帧点云叠加至目标帧点云中，为得到目标时间点对应的综合帧点云，电子设备需要将位置传感器采集到的所有非目标帧点云均以上述方式叠加至所述目标帧点云中，完成所有非目标帧点云至所述目标帧点云的叠加后得到的才是所述综合帧点云。

针对步骤206所述的电子设备基于目标帧图像和综合帧点云进行相机标定，存在多种可选择的实现方式。

请参考图4，在一种可选择的实现方式下，步骤206可以包括如下具体步骤：

步骤2062，所述电子设备从所述目标帧图像和综合帧点云之间的多组映射点中选取部分组映射点，基于选取的映射点，确定所述目标帧图像和所述综合帧点云之间的坐标转换矩阵。

从目标帧图像和综合帧点云之间具有的多组映射点中选取部分组映射点，同组映射点中的像素点和特征点表征物理世界中的同一点，基于具有映射关系的像素点和特征点分别在像素坐标系中和点云坐标系中的坐标值，利用预设的坐标转换算法确定所述像素坐标系以及所述点云坐标系之间的坐标转换矩阵，所述坐标转换矩阵包括6-自由度转换矩阵。

基于映射点确定坐标转换矩阵的坐标转换算法，包括EPnP(EfficientPespective-n-Point，3D-2D点对运动高效求解算法)、BA(Bundle Adjustment，光束平差)优化等；本申请对于具体采用的坐标转换算法不做限制。

举例来说，假设预先确定了所述综合帧点云与所述目标帧图像之间的50组映射点，所述电子设备可以先行选取6组映射点，基于BA优化算法确定所述坐标转换矩阵。

步骤2064，基于确定的坐标转换矩阵，所述电子设备将所述综合帧点云投影至所述目标帧图像中。

基于本次确定的坐标转换矩阵，可以实现位置传感器的点云坐标系和相机的像素坐标系之间的坐标转换，所述电子设备将基于本次确定的坐标转换矩阵将综合帧点云中的特征点投影至目标帧图像中，以确定特征点是否投影于与所述特征点具有映射关系的像素点上。可选择地，所述电子设备可以将所述综合帧点云中的特征点均投影至所述目标帧图像中，也可以将所述综合帧点云中属于所述多组映射点中的特征点投影至所述目标帧图像中。

步骤2066，所述电子设备确定投影误差，在所述投影误差不满足相机标定要求时，从所述多组映射点中增加选取新的映射点，基于增加选取后的映射点，对所述坐标转换矩阵进行重新迭代得到新的坐标转换矩阵，基于所述新的坐标转换矩阵再次对投影误差进行确定。

步骤2068，在所述投影误差满足相机标定要求时，所述电子设备确定所述坐标转换矩阵为用于相机标定的坐标转换矩阵。

所述电子设备可以基于综合帧点云中的特征点在投影至目标帧图像后与其对应的像素点之间的距离偏差确定投影误差，可选择地，所述电子设备可以采用可视化方式，基于坐标转换矩阵将所述综合帧点云投影并显示于所述目标帧图像中以供技术人员确定投影误差。

在投影误差不满足相机标定要求时，即所述特征点在投影至目标帧图像后与其对应的像素点之间的距离偏差超出相机标定要求的距离偏差时，所述电子设备可以从多组映射点中增加选取或重新选取新的映射点，并基于增加选取或重新选取后的映射点再次确定新的坐标转换矩阵。

基于前例，所述电子设备可以在已选取的6组映射点之外，再于所述50组映射点中增加选取6组新的映射点，基于上一次选取的6组映射点以及本次选取的6组映射点，利用BA优化算法重新迭代确定新的坐标转换矩阵；所述电子设备也可以于所述50组映射点中重新选取10组新的映射点，基于本次重新选取的10组映射点，利用BA优化算法重新迭代确定新的坐标转换矩阵。

在重新迭代确定新的坐标转换矩阵后，所述电子设备基于所述新的坐标转换矩阵，再次将所述综合帧点云投影至所述目标帧图像中，并对投影误差是否满足相机标定要求进行再次确定，若仍不满足相机标定要求，则重复上述步骤2066直至能够满足相机标定要求。

若所确定的坐标转换矩阵能够使综合帧点云在目标帧图像上的投影满足相机标定要求，则可以确定其为后续用于相机标定的坐标转换矩阵。

为进一步提高所确定的坐标转换矩阵的准确性，在一种可选择的实现方式下，执行步骤2062之前，所述电子设备可以从多组映射点中选取部分组映射点，利用较BA优化算法更为简单的EPnP算法，对坐标转换矩阵进行预估以得到其预估值，并以所述预估值作为BA优化算法中的初始值，在所述预估值的基础上执行上述步骤2062得到首次确定的坐标转换矩阵。

电子设备中实现位置传感器的点云坐标系和相机的像素坐标系之间的坐标转换，实际上包括将所述点云坐标系通过坐标转换矩阵转换至相机坐标系，再将所述相机坐标系通过所述相机的内参矩阵和畸变矩阵转换至所述像素坐标系。其中，所述点云坐标系和所述相机坐标系为三维坐标系，所述像素坐标系为二维坐标系；所述相机的内参矩阵和畸变矩阵用于实现相机内部所述相机坐标系和所述像素坐标系之间的坐标转换，它们在本说明书所述的相机标定中一般为既定矩阵，即步骤2062至步骤2066中一般使用已经确定数值的所述内参矩阵和畸变矩阵实现所述点云坐标系和所述像素坐标系之间的坐标转换。不过，为了进一步提高相机标定的准确性，在一种可选择的实现方式下，执行步骤2064时，所述电子设备可以基于增加选取或重新选取的映射点，在确定新的坐标转换矩阵的同时对所述相机的内参矩阵和畸变矩阵进行修正。

图5是一示例性实施例提供的一种相机标定装置所在电子设备的示意结构图。请参考图5，在硬件层面，该设备包括处理器502、内部总线504、网络接口506、内存508以及非易失性存储器510，当然还可能包括其他业务所需要的硬件。本说明书一个或多个实施例可以基于软件方式来实现，比如由处理器502从非易失性存储器510中读取对应的计算机程序到内存508中然后运行。当然，除了软件实现方式之外，本说明书一个或多个实施例并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。

请参考图6，图6为一示例性实施例示出的一种相机标定装置的框图。

图6所示的相机标定装置可以应用于如图5所示的电子设备中，所述电子设备还配置有位置传感器和相机。其中，所述相机标定装置可以包括获取单元610、叠加单元620和标定单元630：

所述获取单元610，用于获取相机在目标时间点采集到的目标帧图像，以及位置传感器在包括所述目标时间点的多个时间点分别采集到的多个单帧点云；其中，所述多个单帧点云包括，在非目标时间点采集到的非目标帧点云以及在目标时间点采集到的目标帧点云；

所述叠加单元620，用于将所述非目标帧点云叠加至所述目标帧点云中，得到所述目标时间点对应的综合帧点云；

所述标定单元630，用于基于所述目标帧图像和所述综合帧点云进行相机标定。

可选择地，所述叠加单元620在将所述非目标帧点云叠加至所述目标帧点云中，得到所述目标时间点对应的综合帧点云时，具体用于：

针对每个非目标帧点云，确定所述非目标帧点云与所述目标帧点云之间的点云转换矩阵；

基于确定的点云转换矩阵，将所述非目标帧点云叠加至所述目标帧点云中。

进一步地，所述叠加单元620，还用于：

确定所述多个单帧点云中相邻两帧点云之间的帧间转换矩阵；

所述叠加单元620在确定所述非目标帧点云与所述目标帧点云之间的点云转换矩阵时，具体用于：

针对每个非目标帧点云，基于所述非目标帧点云与所述目标帧点云之间的一或多个帧间转换矩阵，确定所述非目标帧点云对应的预估矩阵；

基于所述预估矩阵，确定所述非目标帧点云与所述目标帧点云之间的点云转换矩阵。

可选择地，所述目标帧图像和所述综合帧点云之间具有多组映射点，每组映射点包括所述目标帧图像中的一个像素点以及所述综合帧点云中的一个特征点；

所述标定单元630，在基于所述目标帧图像和所述综合帧点云进行相机标定时，具体用于：

从所述多组映射点中选取部分组映射点，基于选取的映射点，确定所述目标帧图像和所述综合帧点云之间的坐标转换矩阵；

基于确定的坐标转换矩阵，将所述综合帧点云投影至所述目标帧图像中；

确定投影误差，在所述投影误差不满足相机标定要求时，从所述多组映射点中增加选取新的映射点，基于增加选取后的映射点，对所述坐标转换矩阵进行重新迭代得到新的坐标转换矩阵，基于所述新的坐标转换矩阵再次对投影误差进行确定；

在所述投影误差满足相机标定要求时，确定所述坐标转换矩阵为用于相机标定的坐标转换矩阵。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机，计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。

在一个典型的配置中，计算机包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带、磁盘存储、量子存储器、基于石墨烯的存储介质或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

在本说明书一个或多个实施例使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本说明书一个或多个实施例可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本说明书一个或多个实施例范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

以上所述仅为本说明书一个或多个实施例的较佳实施例而已，并不用以限制本说明书一个或多个实施例，凡在本说明书一个或多个实施例的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本说明书一个或多个实施例保护的范围之内。

Claims (10)

1.一种相机标定方法，其特征在于，所述方法应用于配置有位置传感器和相机的电子设备，包括：

获取相机在目标时间点采集到的目标帧图像，以及位置传感器在包括所述目标时间点的多个时间点分别采集到的多个单帧点云；其中，所述多个单帧点云包括，在非目标时间点采集到的非目标帧点云以及在目标时间点采集到的目标帧点云；

将所述非目标帧点云叠加至所述目标帧点云中，得到所述目标时间点对应的综合帧点云；

基于所述目标帧图像和所述综合帧点云进行相机标定。

2.根据权利要求1所述的方法，其特征在于，所述将所述非目标帧点云叠加至所述目标帧点云中，得到所述目标时间点对应的综合帧点云，包括：

针对每个非目标帧点云，确定所述非目标帧点云与所述目标帧点云之间的点云转换矩阵；

基于确定的点云转换矩阵，将所述非目标帧点云叠加至所述目标帧点云中。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

确定所述多个单帧点云中相邻两帧点云之间的帧间转换矩阵；

所述确定所述非目标帧点云与所述目标帧点云之间的点云转换矩阵，包括：

针对每个非目标帧点云，基于所述非目标帧点云与所述目标帧点云之间的一或多个帧间转换矩阵，确定所述非目标帧点云对应的预估矩阵；

基于所述预估矩阵，确定所述非目标帧点云与所述目标帧点云之间的点云转换矩阵。

4.根据权利要求1所述的方法，其特征在于，所述目标帧图像和所述综合帧点云之间具有多组映射点，每组映射点包括所述目标帧图像中的一个像素点以及所述综合帧点云中的一个特征点；

所述基于所述目标帧图像和所述综合帧点云进行相机标定，包括：

从所述多组映射点中选取部分组映射点，基于选取的映射点，确定所述目标帧图像和所述综合帧点云之间的坐标转换矩阵；

基于确定的坐标转换矩阵，将所述综合帧点云投影至所述目标帧图像中；

确定投影误差，在所述投影误差不满足相机标定要求时，从所述多组映射点中增加选取新的映射点，基于增加选取后的映射点，对所述坐标转换矩阵进行重新迭代得到新的坐标转换矩阵，基于所述新的坐标转换矩阵再次对投影误差进行确定；

在所述投影误差满足相机标定要求时，确定所述坐标转换矩阵为用于相机标定的坐标转换矩阵。

5.根据权利要求1所述的方法，其特征在于，所述位置传感器包括单线激光雷达、多线激光雷达。

6.一种相机标定装置，其特征在于，所述装置应用于配置有位置传感器和相机的电子设备，包括获取单元、叠加单元和标定单元：

所述获取单元，用于获取相机在目标时间点采集到的目标帧图像，以及位置传感器在包括所述目标时间点的多个时间点分别采集到的多个单帧点云；其中，所述多个单帧点云包括，在非目标时间点采集到的非目标帧点云以及在目标时间点采集到的目标帧点云；

所述叠加单元，用于将所述非目标帧点云叠加至所述目标帧点云中，得到所述目标时间点对应的综合帧点云；

所述标定单元，用于基于所述目标帧图像和所述综合帧点云进行相机标定。

7.根据权利要求6所述的装置，其特征在于，所述叠加单元在将所述非目标帧点云叠加至所述目标帧点云中，得到所述目标时间点对应的综合帧点云时，具体用于：

针对每个非目标帧点云，确定所述非目标帧点云与所述目标帧点云之间的点云转换矩阵；

基于确定的点云转换矩阵，将所述非目标帧点云叠加至所述目标帧点云中。

8.根据权利要求7所述的装置，其特征在于，所述叠加单元，还用于：

确定所述多个单帧点云中相邻两帧点云之间的帧间转换矩阵；

所述叠加单元在确定所述非目标帧点云与所述目标帧点云之间的点云转换矩阵时，具体用于：

针对每个非目标帧点云，基于所述非目标帧点云与所述目标帧点云之间的一或多个帧间转换矩阵，确定所述非目标帧点云对应的预估矩阵；

基于所述预估矩阵，确定所述非目标帧点云与所述目标帧点云之间的点云转换矩阵。

9.根据权利要求6所述的装置，其特征在于，所述目标帧图像和所述综合帧点云之间具有多组映射点，每组映射点包括所述目标帧图像中的一个像素点以及所述综合帧点云中的一个特征点；

所述标定单元，在基于所述目标帧图像和所述综合帧点云进行相机标定时，具体用于：

从所述多组映射点中选取部分组映射点，基于选取的映射点，确定所述目标帧图像和所述综合帧点云之间的坐标转换矩阵；

基于确定的坐标转换矩阵，将所述综合帧点云投影至所述目标帧图像中；

确定投影误差，在所述投影误差不满足相机标定要求时，从所述多组映射点中增加选取新的映射点，基于增加选取后的映射点，对所述坐标转换矩阵进行重新迭代得到新的坐标转换矩阵，基于所述新的坐标转换矩阵再次对投影误差进行确定；

在所述投影误差满足相机标定要求时，确定所述坐标转换矩阵为用于相机标定的坐标转换矩阵。

10.一种电子设备，其特征在于，包括：

相机和位置传感器；

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器通过运行所述可执行指令以实现如权利要求1至5中任一项所述方法中的步骤。

Images