CN114862899A - 设备标定方法、系统、装置、电子设备及程序产品 - Google Patents

Abstract

本公开实施例公开了一种设备标定方法、系统、装置、电子设备及程序产品，所述方法包括：控制位移装置沿预设运动轨迹运动，所述位移装置上固定有一个或多个待标定设备，所述待标定设备包括相机和惯性导航测量单元；在所述位移装置的运动过程中，获取所述相机拍摄的标定板的视频图像和所述惯性导航测量单元的测量数据；根据所述相机拍摄的标定板的视频图像对所述相机进行内参标定；根据所述相机的内参、所述相机拍摄的标定板的视频图像和所述惯性导航测量单元的测量数据，对所述相机与惯性导航测量单元外参进行标定。

Description

设备标定方法、系统、装置、电子设备及程序产品

技术领域

本公开涉及相机标定技术领域，具体涉及一种设备标定方法、系统、装置、电子设备及程序产品。

背景技术

随着高精度地图定位和制图等行业应用的发展，以众包模式收集地理信息成为一种被厂商广泛采用的数据获取方式。参与众包的用户在车辆上安装视觉惯导里程计等设备，在行车过程中获取道路视频、距离等地理信息并上传到服务端，以用于高精度地图定位和制图等应用。

众包模式中，单一的视觉里程计没有尺度观测量，而是一般需要与惯性导航测量单元(IMU)等辅助传感器进行融合，才能获得带尺度观测量的视觉惯导里程计。为了确保这种视觉惯导里程计的测量结果的准确性，需要对视觉惯导里程计的相机内参和相机与IMU外参进行标定。因此，实现相机内参和相机与IMU外参快速自动化标定成为普及高精度定位和制图等应用的重要环节。

发明内容

为了解决相关技术中的问题，本公开实施例提供一种设备标定方法、系统、装置、电子设备及程序产品。

第一方面，本公开实施例中提供了一种设备标定方法。

具体地，所述设备标定方法，包括：

控制位移装置沿预设运动轨迹运动，所述位移装置上固定有一个或多个待标定设备，所述待标定设备包括相机和惯性导航测量单元；

在所述位移装置的运动过程中，获取所述相机拍摄的标定板的视频图像和所述惯性导航测量单元的测量数据；

根据所述相机拍摄的标定板的视频图像对所述相机进行内参标定：

根据所述相机的内参、所述相机拍摄的标定板的视频图像和所述惯性导航测量单元的测量数据，对所述相机与惯性导航测量单元外参进行标定。

根据本公开的实施例，其中：

所述控制位移装置沿预设运动轨迹运动，包括：控制位移装置的运动，使得所述相机沿第一运动轨迹运动，所述第一运动轨迹包括多个停止位置，所述相机在运动到所述停止位置时停止预设时间，然后继续沿所述第一运动轨迹运动；

所述在所述位移装置的运动过程中，获取所述相机拍摄的标定板的视频图像，包括：获取在所述相机沿所述第一运动轨迹运动时，通过所述相机拍摄的标定板的第一视频图像；

所述根据所述相机拍摄的标定板的视频图像对所述相机进行内参标定，包括：基于所述第一视频图像中对应于所述停止位置的图像帧，对所述相机进行内参标定。

根据本公开的实施例，其中：

当所述相机运动到所述多个停止位置时，所述相机处于相对于所述标定板的不同位置和/或不同姿态；

当所述相机运动到所述多个停止位置时，所述相机拍摄到所述标定板的完整图像。

根据本公开的实施例，其中：

在所述待标定设备固定到所述位移装置之后，以所述相机的相平面中心作为坐标系原点，以平行于相平面的水平方向为x轴，以平行于相平面的竖直方向为y轴，以垂直于xy平面的方向为z轴；

所述多个停止位置包括以下任意多个位置：x轴上的多个位置、y轴上的多个位置、z轴上的多个位置、绕x轴的多个旋转角度、绕y轴的多个旋转角度。

根据本公开的实施例，其中：

所述基于所述第一视频图像中对应于所述停止位置的图像帧，对所述相机进行内参标定，包括基于对应于所述停止位置的图像帧的第一子集对所述相机进行内参标定，基于对应于所述停止位置的图像帧的第二子集对所述相机的内参标定结果进行评估验证。

根据本公开的实施例，其中：

所述控制位移装置沿预设运动轨迹运动，包括：控制所述位移装置的运动，使得所述相机沿第二运动轨迹运动；

所述在所述位移装置的运动过程中，获取所述相机拍摄的标定板的视频图像和所述惯性导航测量单元的测量数据，包括：获取在所述相机沿所述第二运动轨迹运动时，通过所述相机拍摄的标定板的第二视频图像，和通过所述惯性导航测量单元测量的所述待标定设备的角速度和线加速度；

所述根据所述相机的内参、所述相机拍摄的标定板的视频图像和所述惯性导航测量单元的测量数据，对所述相机与惯性导航测量单元外参进行标定，包括：基于所述相机的内参、所述相机拍摄的第二视频图像，和所述待标定设备在所述相机沿所述第二运动轨迹运动时的角速度和线加速度，对所述待标定设备的相机与惯性导航测量单元外参进行标定。

根据本公开的实施例，其中：

在所述待标定设备固定到所述位移装置之后，以所述相机的相平面中心作为坐标系原点，以平行于相平面的水平方向为x轴，以平行于相平面的竖直方向为y轴，以垂直于xy平面的方向为z轴；

所述第二运动轨迹包括以下任意一种或多种运动轨迹：沿x轴往返平移、沿y轴往返平移、沿z轴往返平移、绕x轴旋转、绕y轴旋转、绕z轴旋转、在任一空间平面中做正8字运动、在任一空间平面中做反8字运动；

所述第二视频图像包括在所述相机沿所述第二运动轨迹运动时，通过所述相机拍摄的所述标定板的视频图像。

根据本公开的实施例，其中：

所述基于所述相机的内参、所述相机拍摄的第二视频图像，和所述待标定设备在所述相机沿所述第二运动轨迹运动时的角速度和线加速度，对所述待标定设备的相机与惯性导航测量单元外参进行标定，包括：

基于所述相机的内参、所述相机拍摄的第二视频图像中在第一时间段拍摄的视频图像，和所述待标定设备在所述第一时间段内的角速度和线加速度，对所述待标定设备的相机与惯性导航测量单元外参进行标定；

基于所述相机的内参、所述相机拍摄的第二视频图像中在第二时间段拍摄的视频图像，和所述待标定设备在所述第二时间段内的角速度和线加速度，对所述待标定设备的相机与惯性导航测量单元外参的标定结果进行评估验证。

第二方面，本公开实施例中提供了一种设备标定系统。

具体地，所述设备标定系统，包括：

位移装置，所述位移装置用于固定一个或多个待标定设备，所述待标定设备包括相机和惯性导航测量单元；

控制设备，所述控制设备控制所述位移装置沿预设运动轨迹运动；

标定设备，所述标定设备在所述位移装置的运动过程中，获取所述相机拍摄的标定板的视频图像和所述惯性导航测量单元的测量数据，根据所述相机拍摄的标定板的视频图像对所述相机进行内参标定，根据所述相机的内参、所述相机拍摄的标定板的视频图像和所述惯性导航测量单元的测量数据，对所述相机与惯性导航测量单元外参进行标定。

第三方面，本公开实施例中提供了一种设备标定装置。

具体地，所述设备标定装置，包括：

控制模块，被配置为控制位移装置沿预设运动轨迹运动，所述位移装置上固定有一个或多个待标定设备，所述待标定设备包括相机和惯性导航测量单元；

获取模块，被配置为在所述位移装置的运动过程中，获取所述相机拍摄的标定板的视频图像和所述惯性导航测量单元的测量数据；

标定模块，被配置为根据所述相机拍摄的标定板的视频图像对所述相机进行内参标定，根据所述相机的内参、所述相机拍摄的标定板的视频图像和所述惯性导航测量单元的测量数据，对所述相机与惯性导航测量单元外参进行标定。

第四方面，本公开实施例提供了一种电子设备，包括存储器和处理器，其中，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行以实现如第一方面所述的方法。

第五方面，本公开实施例中提供了一种计算机可读存储介质，其上存储有计算机指令，该计算机指令被处理器执行时实现如第一方面所述的方法。

第六方面，本公开实施例中提供了一种计算机程序产品，包括计算机指令，该计算机指令被处理器执行时实现如第一方面所述的方法步骤。

根据本公开实施例提供的技术方案，一种设备标定方法，包括：控制位移装置沿预设运动轨迹运动，所述位移装置上固定有一个或多个待标定设备，所述待标定设备包括相机和惯性导航测量单元；在所述位移装置的运动过程中，获取所述相机拍摄的标定板的视频图像和所述惯性导航测量单元的测量数据；根据所述相机拍摄的标定板的视频图像对所述相机进行内参标定：根据所述相机的内参、所述相机拍摄的标定板的视频图像和所述惯性导航测量单元的测量数据，对所述相机与惯性导航测量单元外参进行标定，可以在同一场景下实现对相机和惯性导航测量单元的内外参标定，自动化程度高、速度快、效率高。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

结合附图，通过以下非限制性实施方式的详细描述，本公开的其它特征、目的和优点将变得更加明显。在附图中：

图1示出根据本公开的实施例的设备标定方法的流程图。

图2示出根据本公开实施例的设备标定系统的示意图。

图3示出了根据本公开实施例的坐标系示意图。

图4示出了根据本公开实施例的设备标定方法的流程图。

图5示出根据本公开的实施例的设备标定系统的结构框图。

图6示出根据本公开的实施例的电子设备的结构框图。

图7示出适于用来实现根据本公开实施例的方法的计算机系统的结构示意图。

具体实施方式

下文中，将参考附图详细描述本公开的示例性实施例，以使本领域技术人员可容易地实现它们。此外，为了清楚起见，在附图中省略了与描述示例性实施例无关的部分。

在本公开中，应理解，诸如“包括”或“具有”等的术语旨在指示本说明书中所公开的特征、数字、步骤、行为、部件、部分或其组合的存在，并且不欲排除一个或多个其他特征、数字、步骤、行为、部件、部分或其组合存在或被添加的可能性。

另外还需要说明的是，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本公开。

在本公开中，对用户信息或用户数据的获取均为经用户授权、确认，或由用户主动选择的操作。

如上所述，随着高精度地图定位和制图等行业应用的发展，以众包模式收集地理信息成为一种被厂商广泛采用的数据获取方式。参与众包的用户在车辆上安装视觉惯导里程计等设备，在行车过程中获取道路视频、距离等地理信息并上传到服务端，以用于高精度地图定位和制图等应用。

众包模式中，单一的视觉里程计没有尺度观测量，而是一般需要与惯性导航测量单元(IMU)等辅助传感器进行融合，才能获得带尺度观测量的视觉惯导里程计。为了确保这种视觉惯导里程计的测量结果的准确性，需要对视觉惯导里程计的相机内参和相机与IMU外参进行标定。因此，实现相机内参和相机与IMU外参快速自动化标定成为普及高精度定位和制图等应用的重要环节。

已有的相机内参和相机与IMU外参标定方法是在一个场景或模式下对相机进行内参标定和对内参标定结果进行评估验证，在另一个场景或模式下对相机与IMU外参进行标定和对外参标定结果进行评估验证，然后输出内外参标定结果。这种标定方法将相机内参和相机与IMU外参标定过程分离，需要较多的人工干预，自动化程度不高，标定效率低下。

本公开提供了一种设备标定方法，包括：控制位移装置沿预设运动轨迹运动，所述位移装置上固定有一个或多个待标定设备，所述待标定设备包括相机和惯性导航测量单元；在所述位移装置的运动过程中，获取所述相机拍摄的标定板的视频图像和所述惯性导航测量单元的测量数据；根据所述相机拍摄的标定板的视频图像对所述相机进行内参标定：根据所述相机的内参、所述相机拍摄的标定板的视频图像和所述惯性导航测量单元的测量数据，对所述相机与惯性导航测量单元外参进行标定。

根据本公开的实施例，待标定设备可以是带尺度观测量的视觉惯导里程计，也可以是需要进行相机内参和相机与IMU外参标定的任意设备。根据本公开实施例，可以在同一场景下实现对相机内参和相机与IMU外参标定，自动化程度高、速度快、效率高。

图1示出根据本公开的实施例的设备标定方法的流程图。如图1所示，所述设备标定方法包括以下步骤S101-S104：

在步骤S101中，控制位移装置沿预设运动轨迹运动，所述位移装置上固定有一个或多个待标定设备，所述待标定设备包括相机和惯性导航测量单元；

在步骤S102中，在所述位移装置的运动过程中，获取所述相机拍摄的标定板的视频图像和所述惯性导航测量单元的测量数据；

在步骤S103中，根据所述相机拍摄的标定板的视频图像对所述相机进行内参标定；

在步骤S104中，根据所述相机的内参、所述相机拍摄的标定板的视频图像和所述惯性导航测量单元的测量数据，对所述相机与惯性导航测量单元外参进行标定。

根据本公开的实施例，待标定设备可以是带尺度观测量的视觉惯导里程计，也可以是需要进行相机和IMU内外参标定的任意设备。相机模型是对相机几何成像过程进行建模的模型，例如小孔成像模型等。畸变模型是对相机成像畸变进行建模的模型，例如径向切向畸变(radtan)模型等。相机内参是相机模型和畸变模型对应的参数，相机与IMU外参是相机与IMU的相对位置和相对姿态。

根据本公开实施例，可以在同一场景下实现对相机和惯性导航测量单元的内外参标定，自动化程度高、速度快、效率高。

图2示出根据本公开实施例的设备标定系统的示意图。

如图2所示，设备标定系统包括位移装置100、控制设备200和标定设备300。位移装置100用于固定一个或多个待标定设备400，所述待标定设备400包括相机和惯性导航测量单元。控制设备200控制所述位移装置100沿预设运动轨迹运动。标定设备300在所述位移装置100的运动过程中，获取所述相机拍摄的标定板500的视频图像和所述惯性导航测量单元的测量数据，根据所述相机拍摄的标定板500的视频图像对所述相机进行内参标定，根据所述相机的内参、所述相机拍摄的标定板500的视频图像和所述惯性导航测量单元的测量数据，对所述相机和惯性导航测量单元进行外参标定。

根据本公开的实施例，控制设备200和标定设备300分别可以由软件、硬件或固件实现。控制设备200和标定设备300可以是分离的两个设备，也可以集成为一个设备。

本领域技术人员可以理解，图2示出的位移装置是示例性的，本公开可以使用任意能够实现三维空间平移和旋转动作的位移装置。

图2所示的位移装置100是机械臂，机械臂能按照指定轨迹进行运动的臂型机械装置。位移装置100包括底座101、安装在底座101上的第一转轴102、第一运动部103、第二运动部104、第二转轴105、第三运动部106、第四运动部107，其中，第一转轴102可以带动第一运动部103绕第一转轴102旋转，第二运动部104可以绕第一运动部103旋转，第二转轴105固定到第二运动部104，第三运动部106可以绕第二转轴105旋转，第四运动部107可以以与第三运动部106的连接点为旋转中心在任意方向旋转。

根据本公开的实施例，所述控制位移装置沿预设运动轨迹运动，包括：控制位移装置的运动，使得所述相机沿第一运动轨迹运动，所述第一运动轨迹包括多个停止位置，所述相机在运动到所述停止位置时停止预设时间，然后继续沿所述第一运动轨迹运动；所述在所述位移装置的运动过程中，获取所述相机拍摄的标定板的视频图像，包括：获取在所述相机沿所述第一运动轨迹运动时，通过所述相机拍摄的标定板的第一视频图像；所述根据所述相机拍摄的标定板的视频图像对所述相机进行内参标定，包括：基于所述第一视频图像中对应于所述停止位置的图像帧，对所述相机进行内参标定。

根据本公开的实施例，当所述相机运动到所述多个停止位置时，所述相机处于相对于所述标定板的不同位置和/或不同姿态；当所述相机运动到所述多个停止位置时，所述相机拍摄到所述标定板的完整图像。

根据本公开的实施例，当所述相机运动到所述多个停止位置时，所述相机拍摄到所述标定板的完整图像占所述相机拍摄到的整个图像的面积比例不小于30％。

根据本公开的实施例，通过控制位移装置的运动，使得待标定设备的相机在多个停止位置停止预设时间段，可以获得相机在这些停止位置停止时拍摄的图像，由于相机在这些停止位置停止时处于不同位置和/或不同姿态，可以根据相机在这些停止位置停止时拍摄的图像，利用已知的内参标定方法，例如张正友内参标定法，对相机内参进行标定。

根据本公开的实施例，可以任意设置停止位置，只要相机在这些停止位置停止时处于不同位置和/或不同姿态，并且停止位置的个数满足标定算法的要求即可。

根据本公开的实施例，可以根据标定场景的光线条件，以特征点提取稳定、精度高为准则，选择标定板，例如可选择棋盘格(Chessboard)、Apriltag等类型的标定板。

根据本公开的实施例，可以通过以下方法选择所述第一视频图像中对应于所述停止位置的图像帧。例如，可以将第一视频图像中相邻图像帧差值小于第一预设阈值的连续多幅图像帧中的任意一幅图像帧作为对应于所述停止位置的图像帧，或者将第一视频图像中相邻图像帧差值小于第一预设阈值的连续多幅图像帧中的中间一幅图像帧作为对应于所述停止位置的图像帧。或者，可以根据拍摄第一视频图像时通过IMU获得的数据流计算相机拍摄第一视频图像时待标定设备的线速度和角速度，将待标定设备的线速度和角速度为零时拍摄的图像帧作为对应于所述停止位置的图像帧。

根据本公开的实施例，在所述待标定设备固定到所述位移装置之后，以所述相机的相平面中心作为坐标系原点，以平行于相平面的水平方向为x轴，以平行于相平面的竖直方向为y轴，以垂直于xy平面的方向为z轴；所述多个停止位置包括以下任意多个位置：x轴上的多个位置、y轴上的多个位置、z轴上的多个位置、绕x轴的多个旋转角度、绕y轴的多个旋转角度。

图3示出了根据本公开实施例的坐标系示意图。

如图3所示，以相机的相平面中心作为坐标系原点，以平行于相平面的水平方向为x轴，以平行于相平面的竖直方向为y轴，以垂直于xy平面的方向为z轴建立坐标系。根据本公开的实施例，在位移装置的初始位置，各个相机的相平面可以在同一个与标定板平行的平面上。

然后，例如，分别在x、y、z轴上设置7到10个停止位置，让相机依次在这些停止位置短暂停顿，从而使得相机能在相平面的不同位置对标定板拍摄不同位置和尺寸的图像。还可以分别绕x、y轴分别设置3到5个停止位置，让相机倾斜运动时分别在这些停止位置上短暂停顿，使得相机相对于标定板前后倾斜和左右倾斜时，标定板能够在相机上成像。

根据本公开的实施例，所述基于所述第一视频图像中对应于所述停止位置的图像帧，对所述相机进行内参标定，包括基于对应于所述停止位置的图像帧的第一子集对所述相机进行内参标定，基于对应于所述停止位置的图像帧的第二子集对所述相机的内参标定结果进行评估验证。

根据本公开的实施例，对应于所述停止位置的图像帧的第一子集例如可以占对应于所述停止位置的图像帧的80％，对应于所述停止位置的图像帧的第二子集例如可以占对应于所述停止位置的图像帧的20％，本领域技术人员可以根据实际需要调整上述比例。

在使用第一子集对相机的内参进行标定之后，可以使用第二子集，在保持内参标定结果不变的情况下，优化图像帧对应的位姿，输出重投影误差。如果图像帧对应的位姿优化结果收敛并且重投影误差小于第二预设阈值(例如，0.5个像素)，则认为内参标定成功，否则认为内参标定失败。

根据本公开的实施例，在完成对相机的内参标定之后，可以对相机与IMU外参进行标定。

根据本公开的实施例，所述控制位移装置沿预设运动轨迹运动，包括：控制所述位移装置的运动，使得所述相机沿第二运动轨迹运动；所述在所述位移装置的运动过程中，获取所述相机拍摄的标定板的视频图像和所述惯性导航测量单元的测量数据，包括：获取在所述相机沿所述第二运动轨迹运动时，通过所述相机拍摄的标定板的第二视频图像，和通过所述惯性导航测量单元测量的所述待标定设备的角速度和线加速度；所述根据所述相机的内参、所述相机拍摄的标定板的视频图像和所述惯性导航测量单元的测量数据，对所述相机和惯性导航测量单元进行外参标定，包括：基于所述相机的内参、所述相机拍摄的第二视频图像，和所述待标定设备在所述相机沿所述第二运动轨迹运动时的角速度和线加速度，对所述待标定设备的相机和惯性导航测量单元进行外参标定。

根据本公开的实施例，在进行相机与IMU外参标定时，可以采用与内参标定相同的标定板。在进行图像的特征提取时，可以采用与内参标定相同的特征提取方法。

在进行相机与IMU外参标定时，位移装置沿x、y、z轴的平移和绕x，y，z轴的旋转应当尽量变化丰富，以给IMU和相机更多的激励，满足外参标定的精度要求。例如，相机的第二运动轨迹可以包括以下任意一种或多种运动轨迹：沿x轴往返平移、沿y轴往返平移、沿z轴往返平移、绕x轴旋转、绕y轴旋转、绕z轴旋转、在任一空间平面中做正8字运动、在任一空间平面中做反8字运动。

根据本公开的实施例，所述第二视频图像包括在所述相机沿所述第二运动轨迹运动时，通过所述相机拍摄的所述标定板的视频图像。

根据本公开的实施例，所述基于所述相机的内参、所述相机拍摄的第二视频图像，和所述待标定设备在所述相机沿所述第二运动轨迹运动时的角速度和线加速度，对所述待标定设备的相机与惯性导航测量单元外参进行标定，包括：基于所述相机的内参、所述相机拍摄的第二视频图像中在第一时间段拍摄的视频图像，和所述待标定设备在所述第一时间段内的角速度和线加速度，对所述待标定设备的相机与惯性导航测量单元外参进行标定；基于所述相机的内参、所述相机拍摄的第二视频图像中在第二时间段拍摄的视频图像，和所述待标定设备在所述第二时间段内的角速度和线加速度，对所述待标定设备的相机与惯性导航测量单元外参的标定结果进行评估验证。

例如，可以将第二视频图像分为两个时间段的视频图像，第一时间段的视频图像用于相机与IMU外参标定，第二时间段的视频图像用于外参标定结果的评估验证。在外参标定过程中，可以使用kalibr、basalt、vins等外参标定方法，固定相机内参，利用第一时间段的视频图像中提取的特征点和IMU测量得到的角速度和线加速度，进行相机轨迹位姿的优化和外参的优化，输出相机与IMU外参以及优化的重投影均方根误差。在外参评估验证阶段，固定相机内参和相机与IMU外参，利用第二时间段的视频图像中提取的特征点和IMU测量得到的角速度和线加速度，优化相机的轨迹位姿，输出重投影均方根误差。如果轨迹位姿优化结果收敛并且重投影误差不超过第三预设阈值(例如2个像素)，则认为外参标定成功，否则外参标定失败。

根据本公开实施例，通过使用位移装置统一了相机内参标定和相机与IMU外参标定的运动过程，实现了位移平台的统一，内外参标定使用相同的标定板，统一的位移平台和标定板实现了内参标定和外参标定的场景统一。

通过将运动过程中的数据分为标定和评估验证数据，实现了标定结果的自动评估验证。

通过对相机内参标定进行停止检测和在内外参标定过程中自动优化相机的位姿，使得各个待标定设备的标定过程与位移装置的运动状态无关，实现了多设备批量标定，提高了自动化标定效率。

图4示出了根据本公开实施例的设备标定方法的流程图。

如图4所示，在标定系统开机后，根据内参标定的指定轨迹运动机械臂，获取n个待标定设备的视频图像和IMU数据流。针对每个待标定设备，根据其获取的视频图像，或根据其获取的视频图像和IMU数据流进行停止检测后得到在待标定设备的相机停止时拍摄的图像帧，基于相机停止时拍摄的图像帧进行相机内参标定和验证，如果至少有k台设备内参标定成功，则进行到外参标定阶段，否则重新进行内参标定。k的值可以根据实际需要设定，例如可以规定为全部待标定设备的一半。

在外参标定阶段，根据内参标定的指定轨迹运动机械臂，获取k个内参标定成功的待标定设备的视频图像和IMU数据流。针对k个内参标定成功的待标定设备中的每个待标定设备，根据其获取的视频图像和IMU数据流进行相机与IMU外参标定和验证，输出外参标定成功的待标定设备的内外参文件。

然后，取下标定成功的设备，安装新的待标定设备，重复上述操作。如果有待标定设备的标定失败次数超过预定次数，则标记这些待标定设备以供进一步检查。

图5示出根据本公开的实施例的设备标定系统的结构框图。其中，该系统可以通过软件、硬件或者两者的结合实现成为电子设备的部分或者全部。

如图5所示，所述设备标定装置500包括：控制模块501、获取模块502、标定模块503。

控制模块501被配置为控制位移装置沿预设运动轨迹运动，所述位移装置上固定有一个或多个待标定设备，所述待标定设备包括相机和惯性导航测量单元；

获取模块502被配置为在所述位移装置的运动过程中，获取所述相机拍摄的标定板的视频图像和所述惯性导航测量单元的测量数据；

标定模块503被配置为根据所述相机拍摄的标定板的视频图像对所述相机进行内参标定，根据所述相机的内参、所述相机拍摄的标定板的视频图像和所述惯性导航测量单元的测量数据，对所述相机与惯性导航测量单元外参进行标定。

根据本公开实施例，其中：

所述控制位移装置沿预设运动轨迹运动，包括：控制位移装置的运动，使得所述相机沿第一运动轨迹运动，所述第一运动轨迹包括多个停止位置，所述相机在运动到所述停止位置时停止预设时间，然后继续沿所述第一运动轨迹运动；

所述在所述位移装置的运动过程中，获取所述相机拍摄的标定板的视频图像，包括：获取在所述相机沿所述第一运动轨迹运动时，通过所述相机拍摄的标定板的第一视频图像；

所述根据所述相机拍摄的标定板的视频图像对所述相机进行内参标定，包括：基于所述第一视频图像中对应于所述停止位置的图像帧，对所述相机进行内参标定。

根据本公开实施例，其中：

当所述相机运动到所述多个停止位置时，所述相机处于相对于所述标定板的不同位置和/或不同姿态；

当所述相机运动到所述多个停止位置时，所述相机拍摄到所述标定板的完整图像。

根据本公开的实施例，其中：

在所述待标定设备固定到所述位移装置之后，以所述相机的相平面中心作为坐标系原点，以平行于相平面的水平方向为x轴，以平行于相平面的竖直方向为y轴，以垂直于xy平面的方向为z轴；

所述多个停止位置包括以下任意多个位置：x轴上的多个位置、y轴上的多个位置、z轴上的多个位置、绕x轴的多个旋转角度、绕y轴的多个旋转角度。

根据本公开的实施例，其中：

所述基于所述第一视频图像中对应于所述停止位置的图像帧，对所述相机进行内参标定，包括基于对应于所述停止位置的图像帧的第一子集对所述相机进行内参标定，基于对应于所述停止位置的图像帧的第二子集对所述相机的内参标定结果进行评估验证。

根据本公开的实施例，其中：

所述控制位移装置沿预设运动轨迹运动，包括：控制所述位移装置的运动，使得所述相机沿第二运动轨迹运动；

所述在所述位移装置的运动过程中，获取所述相机拍摄的标定板的视频图像和所述惯性导航测量单元的测量数据，包括：获取在所述相机沿所述第二运动轨迹运动时，通过所述相机拍摄的标定板的第二视频图像，和通过所述惯性导航测量单元测量的所述待标定设备的角速度和线加速度；

所述根据所述相机的内参、所述相机拍摄的标定板的视频图像和所述惯性导航测量单元的测量数据，对所述相机与惯性导航测量单元外参进行标定，包括：基于所述相机的内参、所述相机拍摄的第二视频图像，和所述待标定设备在所述相机沿所述第二运动轨迹运动时的角速度和线加速度，对所述待标定设备的相机与惯性导航测量单元外参进行标定。

根据本公开的实施例，其中：

在所述待标定设备固定到所述位移装置之后，以所述相机的相平面中心作为坐标系原点，以平行于相平面的水平方向为x轴，以平行于相平面的竖直方向为y轴，以垂直于xy平面的方向为z轴；

所述第二运动轨迹包括以下任意一种或多种运动轨迹：沿x轴往返平移、沿y轴往返平移、沿z轴往返平移、绕x轴旋转、绕y轴旋转、绕z轴旋转、在任一空间平面中做正8字运动、在任一空间平面中做反8字运动；

所述第二视频图像包括在所述相机沿所述第二运动轨迹运动时，通过所述相机拍摄的所述标定板的视频图像。

根据本公开的实施例，其中：

所述基于所述相机的内参、所述相机拍摄的第二视频图像，和所述待标定设备在所述相机沿所述第二运动轨迹运动时的角速度和线加速度，对所述待标定设备的相机与惯性导航测量单元外参进行标定，包括：

基于所述相机的内参、所述相机拍摄的第二视频图像中在第一时间段拍摄的视频图像，和所述待标定设备在所述第一时间段内的角速度和线加速度，对所述待标定设备的相机与惯性导航测量单元外参进行标定；

基于所述相机的内参、所述相机拍摄的第二视频图像中在第二时间段拍摄的视频图像，和所述待标定设备在所述第二时间段内的角速度和线加速度，对所述待标定设备的相机与惯性导航测量单元外参的标定结果进行评估验证。

本公开还公开了一种电子设备，图6示出根据本公开的实施例的电子设备的结构框图。

如图6所示，所述电子设备600包括存储器601和处理器602，其中，存储器601用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器602执行以实现根据本公开的实施例的方法。

控制位移装置沿预设运动轨迹运动，所述位移装置上固定有一个或多个待标定设备，所述待标定设备包括相机和惯性导航测量单元；

在所述位移装置的运动过程中，获取所述相机拍摄的标定板的视频图像和所述惯性导航测量单元的测量数据；

根据所述相机拍摄的标定板的视频图像对所述相机进行内参标定：

根据所述相机的内参、所述相机拍摄的标定板的视频图像和所述惯性导航测量单元的测量数据，对所述相机与惯性导航测量单元外参进行标定。

根据本公开的实施例，其中：

所述控制位移装置沿预设运动轨迹运动，包括：控制位移装置的运动，使得所述相机沿第一运动轨迹运动，所述第一运动轨迹包括多个停止位置，所述相机在运动到所述停止位置时停止预设时间，然后继续沿所述第一运动轨迹运动；

所述在所述位移装置的运动过程中，获取所述相机拍摄的标定板的视频图像，包括：获取在所述相机沿所述第一运动轨迹运动时，通过所述相机拍摄的标定板的第一视频图像；

所述根据所述相机拍摄的标定板的视频图像对所述相机进行内参标定，包括：基于所述第一视频图像中对应于所述停止位置的图像帧，对所述相机进行内参标定。

根据本公开的实施例，其中：

当所述相机运动到所述多个停止位置时，所述相机处于相对于所述标定板的不同位置和/或不同姿态；

当所述相机运动到所述多个停止位置时，所述相机拍摄到所述标定板的完整图像。

根据本公开的实施例，其中：

在所述待标定设备固定到所述位移装置之后，以所述相机的相平面中心作为坐标系原点，以平行于相平面的水平方向为x轴，以平行于相平面的竖直方向为y轴，以垂直于xy平面的方向为z轴；

所述多个停止位置包括以下任意多个位置：x轴上的多个位置、y轴上的多个位置、z轴上的多个位置、绕x轴的多个旋转角度、绕y轴的多个旋转角度。

根据本公开的实施例，其中：

所述基于所述第一视频图像中对应于所述停止位置的图像帧，对所述相机进行内参标定，包括基于对应于所述停止位置的图像帧的第一子集对所述相机进行内参标定，基于对应于所述停止位置的图像帧的第二子集对所述相机的内参标定结果进行评估验证。

根据本公开的实施例，其中：

所述控制位移装置沿预设运动轨迹运动，包括：控制所述位移装置的运动，使得所述相机沿第二运动轨迹运动；

所述在所述位移装置的运动过程中，获取所述相机拍摄的标定板的视频图像和所述惯性导航测量单元的测量数据，包括：获取在所述相机沿所述第二运动轨迹运动时，通过所述相机拍摄的标定板的第二视频图像，和通过所述惯性导航测量单元测量的所述待标定设备的角速度和线加速度；

所述根据所述相机的内参、所述相机拍摄的标定板的视频图像和所述惯性导航测量单元的测量数据，对所述相机与惯性导航测量单元外参进行标定，包括：基于所述相机的内参、所述相机拍摄的第二视频图像，和所述待标定设备在所述相机沿所述第二运动轨迹运动时的角速度和线加速度，对所述待标定设备的相机与惯性导航测量单元外参进行标定。

根据本公开的实施例，其中：

在所述待标定设备固定到所述位移装置之后，以所述相机的相平面中心作为坐标系原点，以平行于相平面的水平方向为x轴，以平行于相平面的竖直方向为y轴，以垂直于xy平面的方向为z轴；

所述第二运动轨迹包括以下任意一种或多种运动轨迹：沿x轴往返平移、沿y轴往返平移、沿z轴往返平移、绕x轴旋转、绕y轴旋转、绕z轴旋转、在任一空间平面中做正8字运动、在任一空间平面中做反8字运动；

所述第二视频图像包括在所述相机沿所述第二运动轨迹运动时，通过所述相机拍摄的所述标定板的视频图像。

根据本公开的实施例，其中：

所述基于所述相机的内参、所述相机拍摄的第二视频图像，和所述待标定设备在所述相机沿所述第二运动轨迹运动时的角速度和线加速度，对所述待标定设备的相机与惯性导航测量单元外参进行标定，包括：

基于所述相机的内参、所述相机拍摄的第二视频图像中在第一时间段拍摄的视频图像，和所述待标定设备在所述第一时间段内的角速度和线加速度，对所述待标定设备的相机与惯性导航测量单元外参进行标定；

基于所述相机的内参、所述相机拍摄的第二视频图像中在第二时间段拍摄的视频图像，和所述待标定设备在所述第二时间段内的角速度和线加速度，对所述待标定设备的相机与惯性导航测量单元外参的标定结果进行评估验证。

图7示出适于用来实现根据本公开实施例的方法的计算机系统的结构示意图。

如图7所示，计算机系统700包括处理单元701，其可以根据存储在只读存储器(ROM)702中的程序或者从存储部分708加载到随机访问存储器(RAM)703中的程序而执行上述实施例中的各种处理。在RAM 703中，还存储有系统700操作所需的各种程序和数据。处理单元701、ROM702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。

以下部件连接至I/O接口705：包括键盘、鼠标等的输入部分706；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分707；包括硬盘等的存储部分708；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如因特网的网络执行通信处理。驱动器710也根据需要连接至I/O接口705。可拆卸介质711，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器710上，以便于从其上读出的计算机程序根据需要被安装入存储部分708。其中，所述处理单元701可实现为CPU、GPU、TPU、FPGA、NPU等处理单元。

特别地，根据本公开的实施例，上文描述的方法可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括计算机指令，该计算机指令被处理器执行时实现上文所述的方法步骤。在这样的实施例中，该计算机程序产品可以通过通信部分709从网络上被下载和安装，和/或从可拆卸介质711被安装。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本公开实施例中所涉及到的单元或模块可以通过软件的方式实现，也可以通过可编程硬件的方式来实现。所描述的单元或模块也可以设置在处理器中，这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定。

作为另一方面，本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中电子设备或计算机系统中所包含的计算机可读存储介质；也可以是单独存在，未装配入设备中的计算机可读存储介质。计算机可读存储介质存储有一个或者一个以上程序，所述程序被一个或者一个以上的处理器用来执行描述于本公开的方法。

以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (12)

1.一种设备标定方法，包括：

控制位移装置沿预设运动轨迹运动，所述位移装置上固定有一个或多个待标定设备，所述待标定设备包括相机和惯性导航测量单元；

在所述位移装置的运动过程中，获取所述相机拍摄的标定板的视频图像和所述惯性导航测量单元的测量数据；

根据所述相机拍摄的标定板的视频图像对所述相机进行内参标定；

根据所述相机的内参、所述相机拍摄的标定板的视频图像和所述惯性导航测量单元的测量数据，对所述相机与惯性导航测量单元外参进行标定。

2.根据权利要求1所述的方法，其中：

所述控制位移装置沿预设运动轨迹运动，包括：控制位移装置的运动，使得所述相机沿第一运动轨迹运动，所述第一运动轨迹包括多个停止位置，所述相机在运动到所述停止位置时停止预设时间，然后继续沿所述第一运动轨迹运动；

所述在所述位移装置的运动过程中，获取所述相机拍摄的标定板的视频图像，包括：获取在所述相机沿所述第一运动轨迹运动时，通过所述相机拍摄的标定板的第一视频图像；

所述根据所述相机拍摄的标定板的视频图像对所述相机进行内参标定，包括：基于所述第一视频图像中对应于所述停止位置的图像帧，对所述相机进行内参标定。

3.根据权利要求2所述的方法，其中：

当所述相机运动到所述多个停止位置时，所述相机处于相对于所述标定板的不同位置和/或不同姿态；

当所述相机运动到所述多个停止位置时，所述相机拍摄到所述标定板的完整图像。

4.根据权利要求2所述的方法，其中：

在所述待标定设备固定到所述位移装置之后，以所述相机的相平面中心作为坐标系原点，以平行于相平面的水平方向为x轴，以平行于相平面的竖直方向为y轴，以垂直于xy平面的方向为z轴；

所述多个停止位置包括以下任意多个位置：x轴上的多个位置、y轴上的多个位置、z轴上的多个位置、绕x轴的多个旋转角度、绕y轴的多个旋转角度。

5.根据权利要求2所述的方法，其中：

所述基于所述第一视频图像中对应于所述停止位置的图像帧，对所述相机进行内参标定，包括基于对应于所述停止位置的图像帧的第一子集对所述相机进行内参标定，基于对应于所述停止位置的图像帧的第二子集对所述相机的内参标定结果进行评估验证。

6.根据权利要求1所述的方法，其中：

所述控制位移装置沿预设运动轨迹运动，包括：控制所述位移装置的运动，使得所述相机沿第二运动轨迹运动；

所述在所述位移装置的运动过程中，获取所述相机拍摄的标定板的视频图像和所述惯性导航测量单元的测量数据，包括：获取在所述相机沿所述第二运动轨迹运动时，通过所述相机拍摄的标定板的第二视频图像，和通过所述惯性导航测量单元测量的所述待标定设备的角速度和线加速度；

所述根据所述相机的内参、所述相机拍摄的标定板的视频图像和所述惯性导航测量单元的测量数据，对所述相机与惯性导航测量单元外参进行标定，包括：基于所述相机的内参、所述相机拍摄的第二视频图像，和所述待标定设备在所述相机沿所述第二运动轨迹运动时的角速度和线加速度，对所述待标定设备的相机与惯性导航测量单元外参进行标定。

7.根据权利要求6所述的方法，其中：

在所述待标定设备固定到所述位移装置之后，以所述相机的相平面中心作为坐标系原点，以平行于相平面的水平方向为x轴，以平行于相平面的竖直方向为y轴，以垂直于xy平面的方向为z轴；

所述第二运动轨迹包括以下任意一种或多种运动轨迹：沿x轴往返平移、沿y轴往返平移、沿z轴往返平移、绕x轴旋转、绕y轴旋转、绕z轴旋转、在任一空间平面中做正8字运动、在任一空间平面中做反8字运动；

所述第二视频图像包括在所述相机沿所述第二运动轨迹运动时，通过所述相机拍摄的所述标定板的视频图像。

8.根据权利要求6所述的方法，其中，所述基于所述相机的内参、所述相机拍摄的第二视频图像，和所述待标定设备在所述相机沿所述第二运动轨迹运动时的角速度和线加速度，对所述待标定设备的相机与惯性导航测量单元外参进行标定，包括：

基于所述相机的内参、所述相机拍摄的第二视频图像中在第一时间段拍摄的视频图像，和所述待标定设备在所述第一时间段内的角速度和线加速度，对所述待标定设备的相机与惯性导航测量单元外参进行标定；

基于所述相机的内参、所述相机拍摄的第二视频图像中在第二时间段拍摄的视频图像，和所述待标定设备在所述第二时间段内的角速度和线加速度，对所述待标定设备的相机与惯性导航测量单元外参的标定结果进行评估验证。

9.一种设备标定系统，包括：

位移装置，所述位移装置用于固定一个或多个待标定设备，所述待标定设备包括相机和惯性导航测量单元；

控制设备，所述控制设备控制所述位移装置沿预设运动轨迹运动；

标定设备，所述标定设备在所述位移装置的运动过程中，获取所述相机拍摄的标定板的视频图像和所述惯性导航测量单元的测量数据，根据所述相机拍摄的标定板的视频图像对所述相机进行内参标定，根据所述相机的内参、所述相机拍摄的标定板的视频图像和所述惯性导航测量单元的测量数据，对所述相机与惯性导航测量单元外参进行标定。

10.一种设备标定装置，包括：

控制模块，被配置为控制位移装置沿预设运动轨迹运动，所述位移装置上固定有一个或多个待标定设备，所述待标定设备包括相机和惯性导航测量单元；

获取模块，被配置为在所述位移装置的运动过程中，获取所述相机拍摄的标定板的视频图像和所述惯性导航测量单元的测量数据；

标定模块，被配置为根据所述相机拍摄的标定板的视频图像对所述相机进行内参标定，根据所述相机的内参、所述相机拍摄的标定板的视频图像和所述惯性导航测量单元的测量数据，对所述相机与惯性导航测量单元外参进行标定。

11.一种电子设备，包括存储器和处理器；其中，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行以实现权利要求1～8任一项所述的方法步骤。

12.一种计算机程序产品，包括计算机指令，该计算机指令被处理器执行时实现权利要求1～8任一项所述的方法步骤。

Images