CN113327294A

CN113327294A - 相机动态标定方法、装置、电子设备及存储介质

Info

Publication number: CN113327294A
Application number: CN202110677554.5A
Authority: CN
Inventors: 龚汉越; 支涛
Original assignee: Beijing Yunji Technology Co Ltd
Current assignee: Beijing Yunji Technology Co Ltd
Priority date: 2021-06-18
Filing date: 2021-06-18
Publication date: 2021-08-31

Abstract

本发明提供一种相机动态标定方法、装置、电子设备及存储介质，能够借助移动机器人的运行数据对已确定的相机外参进行动态标定调整。基于此可以保证动态标定后移动机器人运行获得相机数据与真实场景一致，缓解甚至避免移动机器人由于诸如运行颠簸导致相机安装位置发生变化所带来的数据异常。

Description

相机动态标定方法、装置、电子设备及存储介质

技术领域

本发明涉及软件技术领域，更具体地说，涉及一种相机动态标定方法、装置、电子设备及存储介质。

背景技术

对于移动机器人来说，在保证传感器安装精度之外，对相机(包括深度相机、点云相机等)外参进行标定是处理数据源头的重要工作。

现阶段，虽然有众多的方法在尝试提高相机的标定精度，使得诸如安装位置和算法中配置的参数能够一致，同时使得移动机器人从相机中观察的世界和真实情况一致。但在产品化、运行的过程中，仍然有相当多情况会使得相机的安装位置发生轻微的变化，比如重新拆装一次相机、又比如运行老化、再比如震动导致的松动。

因此，如何在移动机器人运行中动态标定相机外参，是机器人平稳运行的重要保障。

发明内容

有鉴于此，为解决上述问题，本发明提供一种相机动态标定方法、装置、电子设备及存储介质，技术方案如下：

本发明一方面提供一种相机动态标定方法，所述方法包括：

捕获移动机器人在已确定的相机外参下的运行数据，所述运行数据包括相机数据和惯导数据；

基于所述惯导数据对所述相机数据进行姿态调整，以确定所述相机数据对应的姿态角；

提取所述相机数据中的主平面特征，并根据所述姿态角和所述主平面特征调整所述相机外参。

优选的，所述基于所述惯导数据对所述相机数据进行姿态调整，以确定所述相机数据对应的姿态角，包括：

按照时间戳将所述惯导数据和所述相机数据进行对齐；

基于对齐结果确定所述惯导数据中距离所述相机数据最近的第一目标惯导数据和第二目标惯导数据，所述第一目标惯导数据的时间戳早于所述相机数据，所述第二目标惯导数据的时间戳晚于所述相机数据；

根据所述第一目标惯导数据和第二目标惯导数据，以插补的方式计算所述相机数据对应的姿态角。

优选的，所述根据所述姿态角和所述主平面特征调整所述相机外参，包括：

利用所述姿态角计算所述移动机器人的倾斜程度；

基于所述倾斜程度处理所述主平面特征；

根据所述倾斜程度、所述主平面特征和处理后的主平面特征计算标定调整量，所述标定调整量是调整所述相机外参的基础。

优选的，所述根据所述姿态角和所述主平面特征调整所述相机外参，还包括：

对所述标定调整量进行平均计算得到实际标定调整量，以按照所述实际标定调整量调整所述相机外参。

优选的，所述对所述标定调整量进行平均计算得到实际标定调整量之前，所述方法还包括：

按照已确定的筛选条件对所述标定调整量进行筛选处理，所述筛选条件是基于所述主平面特征属于地面特征所确定的。

本发明另一方面提供一种相机动态标定装置，所述装置包括：

数据捕获模块，用于捕获移动机器人在已确定的相机外参下的运行数据，所述运行数据包括相机数据和惯导数据；

姿态调整模块，用于基于所述惯导数据对所述相机数据进行姿态调整，以确定所述相机数据对应的姿态角；

外参调整模块，用于提取所述相机数据中的主平面特征，并根据所述姿态角和所述主平面特征调整所述相机外参。

优选的，所述姿态调整模块，具体用于：

按照时间戳将所述惯导数据和所述相机数据进行对齐；基于对齐结果确定所述惯导数据中距离所述相机数据最近的第一目标惯导数据和第二目标惯导数据，所述第一目标惯导数据的时间戳早于所述相机数据，所述第二目标惯导数据的时间戳晚于所述相机数据；根据所述第一目标惯导数据和第二目标惯导数据，以插补的方式计算所述相机数据对应的姿态角。

优选的，用于根据所述姿态角和所述主平面特征调整所述相机外参的所述外参调整模块，具体用于：

利用所述姿态角计算所述移动机器人的倾斜程度；基于所述倾斜程度处理所述主平面特征；根据所述倾斜程度、所述主平面特征和处理后的主平面特征计算标定调整量，所述标定调整量是调整所述相机外参的基础。

本发明另一方面提供一种电子设备，所述电子设备包括：至少一个存储器和至少一个处理器；所述存储器存储有程序，所述处理器调用所述存储器存储的程序，所述程序用于实现任意一项所述的相机动态标定方法。

本发明另一方面提供一种存储介质，所述存储介质中存储有计算机可执行指令，所述计算机可执行指令用于执行任意一项所述的相机动态标定方法。

相较于现有技术，本发明实现的有益效果为：

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例提供的相机动态标定方法的方法流程图；

图2为本发明实施例提供的相机动态标定方法的部分方法流程图；

图3为本发明实施例提供的对齐示意图；

图4为本发明实施例提供的地面特征的示意图；

图5为本发明实施例提供的相机动态标定方法的另一部分方法流程图；

图6为本发明实施例提供的地面特征示意图；

图7为本发明实施例提供的另一地面特征示意图；

图8为本发明实施例提供的相机动态标定装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

本发明实施例提供一种相机动态标定方法，该方法可以应用于移动机器人内置的处理器，还可以应用于移动机器人的后端服务器，该方法的方法流程图如图1所示，包括如下步骤：

S10，捕获移动机器人在已确定的相机外参下的运行数据，运行数据包括相机数据和惯导数据。

本发明实施例中，已确定的相机外参可以是已有的、但未被动态标定过的相机外参，比如出厂时所标定的相机外参，还可以是上一轮被动态标定的相机外参，本发明实施例对此不做限定。并且，运行数据是移动机器人在已确定的相机参数下执行任务的真实数据。

此外，本发明实施例中，移动机器人的相机和惯导系统以各自的帧率所运行，因此所捕获的运行数据中相机数据和惯导数据具有各自的帧率，相应的，相机数据由多个连续时间下的深度数据组成、且每个深度数据具有其唯一的时间戳，惯导数据则由多个连续时间下的imu(Inertialmeasurement unit，惯性测量单元)数据组成、且每个imu数据具有其唯一的时间戳。

S20，基于惯导数据对相机数据进行姿态调整，以确定相机数据对应的姿态角。

本发明实施例中，由于imu能够感知移动机器人的姿态，因此通过分析相机数据和惯导数据的数据特点，可以基于时间戳对相机数据和惯导数据进行预处理，以保证两者帧率相同，使得深度数据具有一个与其时间戳相同的imu数据，进而将该imu数据的姿态角作为该深度数据的姿态角。

需要说明的是，上述预处理包括后续本发明实施例所使用的对齐和插补的必然操作，还可以包含其他诸如无效数据过滤的辅助操作，本发明实施例对此不做限定。

具体实现过程中，步骤S20“基于惯导数据对相机数据进行姿态调整，以确定相机数据对应的姿态角”可以采用如下步骤，方法流程图如图2所示，包括如下步骤：

S201，按照时间戳将惯导数据和相机数据进行对齐。

本发明实施例中，如上，相机数据和惯导数据具有各自的帧率，因此可以深度数据和imu数据无法按照所具有的时间戳一一匹配。此时，可以以时间为维度，按照深度数据和imu数据各自的时间戳对两者进行对齐。

参见图3所示的对齐示意图，深度数据a_1和imu数据b_1时间戳相同、深度数据a_3和imu数据b_4时间戳相同，因此深度数据a_1和imu数据b_1是对齐的、深度数据a_3和imu数据b_4是对齐的，而深度数据a_2由于其时间戳位于imu数据b_2和imu数据b_3之间，因此深度数据a_2位于imu数据b_2和imu数据b_3间。

S202，基于对齐结果确定惯导数据中距离相机数据最近的第一目标惯导数据和第二目标惯导数据，第一目标惯导数据的时间戳早于相机数据，第二目标惯导数据的时间戳晚于相机数据。

本发明实施例中，继续以图3为例，对于深度数据a_1和深度数据a_3来说，由于具有对齐的imu数据，因此可以直接将imu数据b_1的姿态角作为深度数据a_1对应的姿态角、将imu数据b_4的姿态角作为深度数据a_3的姿态角。

而对于深度数据a_2，距离其最近的目标惯导数据为imu数据b_2和imu数据b_3，因此深度数据a_2的第一目标惯导数据即为imu数据b_2、第二目标惯导数据即为imu数据b_3。

S203，根据第一目标惯导数据和第二目标惯导数据，以插补的方式计算相机数据对应的姿态角。

本发明实施例中，按照如下方式进行插补处理：

(imu1.t-depth.t)/(depth.t-imu2.t)类比等于

(imu1.quaternion-depth.quaternion)/(depth.quaternion-imu2.quaternion)

继续以图3为例，对于深度数据a_2，为获得其对应的姿态角，可以对imu数据b_2和imu数据b_3进行插补处理。因此，上述imu1.t为imu数据b_3的时间戳、depth.t为深度数据a_2的时间戳、imu2.t为imu数据b_2的时间戳、imu1.quaternion为imu数据b_3的姿态角、depth.quaternion为深度数据a_2对应的姿态角、imu2.quaternion为imu数据b_2的时间戳的姿态角。

S30，提取相机数据中的主平面特征，并根据姿态角和主平面特征调整相机外参。

本发明实施例中，移动机器人执行任务过程中，其所观测到的主平面一般来说是地面，参见图4所示的地面特征，本发明从相机数据中所提取的主平面特征即为地面特征。具体的，对于相机数据中的每个深度数据，可以使用最大似然估计出其中的拟合平面，进而将最大拟合平面的特征作为地面特征，由此，一个深度数据即可提取出一个主平面特征，该主平面特征作为该深度数据的地面特征。

在调整相机外参时，以将相机数据内的地面特征和实际地面特征的整体图优化偏差最小为目标，计算出一个用于调整相机外参的标定调整量。具体实现过程中，步骤S30中“根据姿态角和主平面特征调整相机外参”可以采用如下步骤，方法流程图如图5所示：

S301，利用姿态角计算移动机器人的倾斜程度。

S302，基于倾斜程度处理主平面特征。

S303，根据倾斜程度、主平面特征和处理后的主平面特征计算标定调整量，标定调整量是调整相机外参的基础。

本发明实施例中，首先对相关的坐标系进行说明：

移动机器人具有一个中心坐标系，该中心坐标系以移动机器人两轮的中心为坐标原点，该中心坐标系记为R坐标系；相机在初始安装时具有一个相机坐标系，该相机坐标系记为C坐标系；移动机器人运行过程中，有相当多情况会使得相机的位置发生轻微变化，相应的，相机坐标系也会随之发生变化，此时相机坐标系记为C`坐标系；对于相机数据来说，其一点云的形式存在，因此本发明还涉及一个点云坐标系，该点云坐标系记为P坐标系。此外，相对于地面，移动机器人还具有一个地面投影坐标系，该地面投影坐标系的坐标原点即为移动机器人两轮的中心在地面上的投影，该地面投影坐标系记为B坐标系。理想情况下，如果相机的位置不发生变化，R坐标系和B坐标系重合。

上述各坐标系间的转换矩阵满足如下条件：

P2R＝C2R*C`2C*P2C`

其中，P2R表示P坐标系相对于R坐标系的转换矩阵，C2R表示C坐标系相对于R坐标系的转换矩阵，C`2C表示C`坐标系相对于C坐标系的转换矩阵，P2C`表示P坐标系相对于C`坐标系的转换矩阵。

显然，相机实际观测深度数据时，即基于P2C`所实现的，因此P2C`可以用主地面特征来替换。另外，C`2C则为本发明需要为相机额外微调标定的转换矩阵，即上述用于调整相机外参的标定调整量。

以一个深度数据来说，其对应的姿态角能够表示此时移动机器人的倾斜程度。因此，可以通过trans矩阵转换，计算在该姿态角下移动机器人的倾斜程度。该倾斜程度的转换矩阵记为R2B。由此，考虑imu姿态，P坐标系相对于B坐标系的转换矩阵P2B＝R2B*P2R。

继续以一个深度数据来说，假设其对应的主平面特征记为Pplane2R，则考虑imu姿态后的相对于B坐标系的点云为PplaneF＝R2B*Pplane2R，即处理后的主平面特征记为PplaneF。由于移动机器人在运行过程中最大概率识别到的平面点云为地面，因此PplaneF理想情况下为一个平移量为(0，0，0)旋转量为(0，0，0，1)旋转单位四元数。结合上述所提及的“P2R＝C2R*C`2C*P2C`”，可以推导出：

R2B.inverse()*PplaneF＝C2R*C`2C*P2C`

因此，C`2C＝C2R.inverse()*R2B.inverse()*PplaneF*P2C`.inverse()，其中，inverse()表示所属转换矩阵的逆矩阵，例如，C2R.inverse()就表示C坐标系相对于R坐标系的转换矩阵的逆矩阵。由于C2R在安装时即已确定，将倾斜程度代入R2B、处理后的主平面特征代入PplaneF、主平面特征代入P2C`，即可计算得到C`2C，也就是一个深度数据所对应的标定调整量。

综上，移动机器人在执行任务时，相机数据中的每个深度数据都涉及地面识别，如果不要要求完美的地面点云，通过上述计算每个深度数据均可以计算得到一个与其对应的标定调整量。显然，本发明实施例中，可以从所有深度数据所对应的多个标定调整量中选取一个作为实际调整相机外参的标定调整量，选取规则可以结合场景来设置，比如可以选取一个属于中位数的标定调整量。

本发明实施例中，则使用四元数的平均算法对所有深度数据所对应的多个标定调整量进行平均计算，得到实际标定调整量，以该实际标定调整量调整相机外参。这就能将满足所有转化标定矩阵代价最小的C`2C即实际的标定结果。

此外，由于对深度数据所提取的主平面特征并不能保证一定是地面特征，因此，在其他一些实施例中，在获得每个深度数据对应的标定调整量后，可以按照已确定的筛选条件对所有标定调整量进行筛选，以保证所提取的主地面特征一定属于地面特征。具体的，可以在筛选条件中设置一个允许范围，仅筛选在该允许范围内的标定调整量，进而从筛选到的标定调整量中选择一个作为实际调整相机外参的标定调整量、或者对所有筛选到的标定调整量进行平均计算，得到实际标定调整量。

需要说明的是，将实际标定调整量代回到P2B的计算，此时点云的获取将不受机器人颠簸不受传感器安装误差影响。

还需要说明的是，为验证本发明的效果，发明对本发明应用前后地面特征和实际地面特征间的整体图优化偏差进行对比。参见图6所示的地面特征示意图，在应用本发明之前，从深度数据中所提取的地面特征与实际地面特征的整体图优化偏差极大。而应用本发明之后，参见图7所示的地面特征图，从深度数据中所提取的地面特征与实际地面特征的整体图优化偏差基本为零。显然，本发明能够最大程度缓解甚至避免移动机器人由于诸如运行颠簸导致相机安装位置发生变化所带来的数据异常。

基于上述实施例提供的相机动态标定方法，本发明实施例则对应提供执行上述相机动态标定方法的装置，该装置的结构示意图如图8所示，包括：

数据捕获模块10，用于捕获移动机器人在已确定的相机外参下的运行数据，运行数据包括相机数据和惯导数据；

姿态调整模块20，用于基于惯导数据对相机数据进行姿态调整，以确定相机数据对应的姿态角；

外参调整模块30，用于提取相机数据中的主平面特征，并根据姿态角和主平面特征调整相机外参。

可选的，姿态调整模块20，具体用于：

按照时间戳将惯导数据和相机数据进行对齐；基于对齐结果确定惯导数据中距离相机数据最近的第一目标惯导数据和第二目标惯导数据，第一目标惯导数据的时间戳早于相机数据，第二目标惯导数据的时间戳晚于相机数据；根据第一目标惯导数据和第二目标惯导数据，以插补的方式计算相机数据对应的姿态角。

可选的，用于根据姿态角和主平面特征调整相机外参的外参调整模块30，具体用于：

利用姿态角计算移动机器人的倾斜程度；基于倾斜程度处理主平面特征；根据倾斜程度、主平面特征和处理后的主平面特征计算标定调整量，标定调整量是调整相机外参的基础。

可选的，外参调整模块30，还用于：

对标定调整量进行平均计算得到实际标定调整量，以按照实际标定调整量调整相机外参。

可选的，外参调整模块30，还用于：

按照已确定的筛选条件对标定调整量进行筛选处理，筛选条件是基于主平面特征属于地面特征所确定的。

需要说明的是，本发明实施例中各功能模块的细化功能可以参见上述相机动态标定方法实施例对应公开部分，在此不再赘述。

基于上述实施例提供的相机动态标定方法，本发明实施例还提供一种电子设备，该电子设备包括：至少一个存储器和至少一个处理器；存储器存储有程序，处理器调用存储器存储的程序，程序用于实现相机动态标定方法。

基于上述实施例提供的相机动态标定方法，本发明实施例还提供一种存储介质，该存储介质中存储有计算机可执行指令，计算机可执行指令用于执行相机动态标定方法。

以上对本发明所提供的一种相机动态标定方法、装置、电子设备及存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备所固有的要素，或者是还包括为这些过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims

1.一种相机动态标定方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述基于所述惯导数据对所述相机数据进行姿态调整，以确定所述相机数据对应的姿态角，包括：

按照时间戳将所述惯导数据和所述相机数据进行对齐；

3.根据权利要求1所述的方法，其特征在于，所述根据所述姿态角和所述主平面特征调整所述相机外参，包括：

利用所述姿态角计算所述移动机器人的倾斜程度；

基于所述倾斜程度处理所述主平面特征；

4.根据权利要求3所述的方法，其特征在于，所述根据所述姿态角和所述主平面特征调整所述相机外参，还包括：

5.根据权利要求4所述的方法，其特征在于，所述对所述标定调整量进行平均计算得到实际标定调整量之前，所述方法还包括：

6.一种相机动态标定装置，其特征在于，所述装置包括：

7.根据权利要求6所述的装置，其特征在于，所述姿态调整模块，具体用于：

8.根据权利要求6所述的装置，其特征在于，用于根据所述姿态角和所述主平面特征调整所述相机外参的所述外参调整模块，具体用于：

9.一种电子设备，其特征在于，所述电子设备包括：至少一个存储器和至少一个处理器；所述存储器存储有程序，所述处理器调用所述存储器存储的程序，所述程序用于实现权利要求1-5任意一项所述的相机动态标定方法。

10.一种存储介质，其特征在于，所述存储介质中存储有计算机可执行指令，所述计算机可执行指令用于执行权利要求1-5任意一项所述的相机动态标定方法。