CN111612853A

CN111612853A - 相机参数标定方法及装置

Info

Publication number: CN111612853A
Application number: CN202010447821.5A
Authority: CN
Inventors: 许峰; 杨盛; 常新伟; 齐焱; 吴立斌
Original assignee: Zhuichuang Technology Suzhou Co Ltd
Current assignee: Zhuichuang Technology Suzhou Co Ltd
Priority date: 2020-05-25
Filing date: 2020-05-25
Publication date: 2020-09-01
Anticipated expiration: 2040-05-25
Also published as: CN111612853B

Abstract

本申请公开了一种相机参数标定方法及装置，所述方法包括：将相机设置于特定位置，使相机与N个标定件满足特定位置关系，N≥3；控制相机获取标定件图像；每幅标定件图像包含N个标定件的图像；根据标定件图像中的图像特征点的位置数据，和标定件的标定件特征点的位置数据，计算得到相机的内参数和外参数。利用本申请各实施例，可以有效节省标定时间，提高了标定的鲁棒性和精度。

Description

相机参数标定方法及装置

技术领域

本申请涉及计算机视觉技术领域，具体涉及一种相机参数标定方法及装置。

背景技术

在计算机视觉领域，一般情况下为确定空间物体表面某点的三维几何位置与其在图像像素对应点之间的相互关系，需要构建相机成像模型，这些模型参数就是相机参数。在大多数条件下这些参数必须通过实验与计算才能得到，这个求解内参、外参以及畸变参数的过程就称之为相机标定。

现有的相机标定方式中，通常需要多次从不同角度对棋盘格等标定件进行拍摄以获取多张图像，而后利用多张图像构建约束，分别对相机的内外参数进行求解，整个过程复杂且易受外界环境干扰，导致标定效率较低且精度较低。

发明内容

本申请提供了一种相机参数标定方法及装置，以提高相机参数的标定效率和精度。

本申请实施例提供了一种相机参数标定方法，包括：

将相机设置于特定位置，使相机与N个标定件满足特定位置关系，N≥3；

控制相机获取标定件图像，每幅标定件图像包含N个标定件的图像；

根据标定件图像中的图像特征点的位置数据，和标定件的标定件特征点的位置数据，计算得到相机的内参数和外参数。

可选地，将相机设置于特定位置，使相机与N个标定件满足特定位置关系包括：

使N个标定件全部位于相机的视野范围内，以及使相机的光心与N个标定件中的一特定标定件的距离为预定距离，特定标定件为相机正对的标定件。

可选地，方法应用于包括相机的自动移动设备，对应的，使N个标定件全部位于相机的视野范围内，以及使相机的光心与N个标定件中的一特定标定件的距离为预定距离包括：

将自动移动设备放置在预定的定位板上；

根据定位板周边设置的激光传感器的检测信息，调整自动移动设备使其水平放置于定位板上。

可选地，根据标定件图像中的图像特征点的位置数据，和标定件的标定件特征点的位置数据，计算得到相机的内参数和外参数包括：

检测标定件图像中的图像特征点是否符合预设条件；

在图像特征点符合预设条件的情况下，根据图像特征点的坐标，和标定件特征点的坐标，计算得到相机的内参数和外参数。

可选地，根据图像特征点的坐标，和标定件特征点的坐标，计算得到相机的内参数和外参数包括：

根据标定件图像中，除特定标定件之外的N-1个标定件的图像特征点的坐标，和N-1个标定件的标定件特征点的坐标，计算得到相机的内参数；

基于计算得到的内参数，根据特定标定件的图像特征点的坐标，和特定标定件的标定件特征点的坐标，计算得到相机的外参数，特定标定件为相机正对的标定件。

可选地，图像特征点的坐标为图像特征点的亚像素精度的二维坐标，亚像素精度的二维坐标包括采用下述方式计算得到：

对图像特征点的原始二维坐标进行迭代计算，得到图像特征点的亚像素精度的二维坐标。

可选地，计算得到相机的内参数包括：

利用多组相对应的图像特征点的二维坐标和标定件特征点的三维坐标，构建二维坐标与三维坐标的对应关系；

利用多组相对应的二维坐标和三维坐标，对对应关系的目标函数的参数进行迭代计算，直至重投影误差小于预设阈值，得到内参数，内参数包括焦距参数、光圈中心参数、畸变参数。

可选地，计算得到相机的外参数包括：

基于计算得到的内参数，根据多组相对应的特定标定件的图像特征点的二维坐标和标定件特征点的三维坐标，构建二维坐标与三维坐标的对应关系；

利用多组相对应的二维坐标和三维坐标，对对应关系的目标函数的参数进行迭代计算，直至重投影误差小于预设阈值，得到外参数。

可选地，方法还包括：

确定计算得到的内参数和外参数是否符合预设标准；

若符合预设标准，则将内参数和外参数写入存储器；

若不符合预设标准，则提供相应的提示信息。

可选地，控制相机获取标定件包括：

利用预设的照明部件为相机提供特定的光照条件；

向相机无线发送获取标定件图像的控制指令，控制相机获取标定件图像。

可选地，标定件包括具有棋盘格的标定板，N个标定板上的棋盘格所在的平面两两相交，对应的，图像特征点为图像中标定板的棋盘格角点，标定件特征点包括标定板的棋盘格角点。

本申请实施例还提供一种相机参数标定装置，装置包括：

标定模组，包括N个标定件，N≥3；

相机定位单元，用于将相机定位于特定位置，使相机与N个标定件满足特定位置关系；

控制单元，用于控制相机获取标定件图像，每幅标定件图像包含N个标定件的图像；

处理单元，被配置为根据标定件图像中的图像特征点的位置数据，和标定件的标定件特征点的位置数据，计算得到相机的内参数和外参数。

可选地，相机定位单元，被配置为：

可选地，装置应用于包括相机的自动移动设备，对应的，相机定位单元包括：

定位板，用于放置自动移动设备，使N个标定件全部位于相机的视野范围内；

检测传感器，用于提供反应自动移动设备是否水平放置的检测信息。

可选地，还包括：

检测单元，用于检测标定件图像中的图像特征点是否符合预设条件；

在检测单元检测到图像特征点符合预设条件的情况下，处理单元根据图像特征点的坐标和标定件特征点的坐标，计算得到相机的内参数和外参数。

可选地，处理单元被配置为：根据标定件图像中，除特定标定件之外的N-1个标定件的图像特征点的坐标，和N-1个标定件的标定件特征点的坐标，计算得到相机的内参数；以及基于计算得到的内参数，根据特定标定件的图像特征点的坐标，和特定标定件的标定件特征点的坐标，计算得到相机的外参数；特定标定件为相机正对的标定件。

利用本申请所提供的各种实施方式，通过将相机设置于特定位置，使相机与多个标定件之间的位置关系满足标定图像获取的特定条件，可以一次性获取多个标定件的图像，即一幅图像包括多个标定件的图像，不仅可以有效提高标定效率，还可以保证图像采集质量的稳定，可以实现批量标定。

进一步的，通过采用针孔相机模型实现图像特征点的2D-3D坐标转换，表示将三维空间特征点映射到二维的成像平面上，利用激光传感器获取到标定件特征点(棋盘格角点)到相机光心的距离，为针孔相机模型提供了一个精度较高的焦距数据，通过采集到的包含多个标定件的图像的一幅图像，就可以实现内参和外参标定，可以进一步缩短标定时间，提高标定效率。

附图说明

通过参考附图会更加清楚的理解本申请的特征和优点，附图是示意性的而不应理解为对本申请进行任何限制，在附图中：

图1示出了本申请中的相机参数标定方法的流程图；

图2示出了针孔相机模型图；

图3示出了重投影误差原理图；

图4示出了本申请中的相机参数标定装置的结构图；

图5示出了本申请中的相机参数标定设备去外壳结构图；

图6示出了本申请中的相机参数标定设备的外部示意图；

图7示出了本申请中的相机参数标定设备的底部结构图；

图8示出了本申请中的相机参数标定设备的去外壳侧视图；

图9示出了本申请中的相机参数标定设备的标定板连接结构图；

图10示出了本申请中的相机参数标定设备第四支撑板示意图；

图11示出了本申请中的相机参数标定设备；

附图标记：1-半封闭箱体；2-第一标定板；3-第二标定板；4-第三标定板5-第四标定板；6-激光传感器；7-定位槽；8-第一横向刻度线；9-第一纵向刻度线；10-第一支撑板；11-第一支架；12-第二支撑板；13-第二支架；14-第三支撑板；15-第一支撑块；16-第二支撑块；17-可旋转连接件；18-销轴；19-第一卡槽板；20-第四支撑板；21-支撑柱；22-第二卡槽板；23-第二横向刻度线；24-第二纵向刻度线。

具体实施方式

以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。

在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。

另外，为了更好的说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。

应理解，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/“，表示前后关联对象是一种“或”的关系。

本公开实施例中出现的“多个”是指两个或两个以上。本公开实施例中出现的第一、第二等描述，仅作示意与区分描述对象之用，没有次序之分，也不表示本公开实施例中对个数的特别限定，不能构成对本公开实施例的任何限制。

图1是本公开一种实施例提供的一种相机参数标定方法的流程示意图。所述方法可以应用于各种类型相机的参数标定，具体的，比如可以应用于自动移动设备的相机的参数标定，所述自动移动设备可以是扫地机器人、扫拖机器人、自动割草机、扫雪机等任意可以自动移动的电子设备或智能设备。具体的，如图1所示，包括：

步骤S100，将相机设置于特定位置，使相机与N个标定件满足特定位置关系，N≥3。

其中，所述标定件可以是具有标定件特征点的任意形状或类型的标定部件或组件，标定件特征点可以是标定件上有序或无序排列的视觉特征点。比如，本申请一种实施例中，所述标定件可以是棋盘格标定板，所述棋盘格标定板可以是正方形板，用于标定的表面上具有棋盘格，棋盘格的角点可以作为所述标定板的视觉特征点，即可以作为标定件特征点。

当然，在本申请其他实施例中，所述标定件还可以是其他具有视觉特征点的标定件，比如具有视觉特征点的标定块、标定片等，本申请对此不作限定。

其中，标定件的个数N可以是任意大于或等于3的数值，比如可以是4个、5个等。一般的，标定件的个数越多，相机参数的标定精度越高，因此，在具体实施过程中，实施人员可以根据实际条件或实际标定精度需求确定所述标定件的个数，本申请对此不作限定。

步骤S200，控制相机获取标定件图像，每幅标定件图像包含N个标定件的图像。

其中，所述标定件图像为所述相机拍摄一次所得到的图像，由于相机与标定件满足特定位置关系，可以使相机一次拍摄得到的标定件图像中包含N个标定件的图像。比如在本申请一种实施例中，标定件可以是具有棋盘格的标定板，对应的，相机一次拍摄获取的标定件图像中包含N个标定板上的棋盘格的图像。

步骤S300，根据标定件图像中的图像特征点的位置数据，和标定件的标定件特征点的位置数据，计算得到相机的内参数和外参数。

在本实施例中，根据标定件图像坐标系中的标定件棋盘格坐标，标定件在世界坐标系中的坐标，结合标定件与相机之间的距离、标定件指定特征点到相机光心距离，采用针孔相机模型实现角点的2D-3D坐标转换，表示将三维空间点映射到二维的成像平面上，通过一张图像即可计算得到相机的内参数和外参数，简化了标定过程，提高了标定效率。

作为可选的实施方式，步骤S100包括：

步骤S110，使N个标定件全部位于相机的视野范围内，以及使相机的光心与N个标定件中的一特定标定件的距离为预定距离，特定标定件为相机正对的标定件。

在本实施例中，标定件图像中包含4个标定板，保证用于标定的棋盘格全部在相机的视野范围内，且每个标定板的每个格子均位于生成的待标定图像区域内。使相机光心与正对相机的标定板中心之间的距离固定：例如，使相机拍摄到的标定件图像中，棋盘格标定板的边框与标定件图像的边框重合；或者棋盘格标定板的边框与标定件图像的边框间距小于2mm。

作为可选的实施方式，方法应用于包括相机的自动移动设备，对应的，步骤S110包括：

步骤S111，将自动移动设备放置在预定的定位板上。

在本实施例中，自动移动设备为扫地机器人，相机位于扫地机器人的顶部位置。将扫地机器人放置在定位板上，使扫地机器人上方的相机能够获取标定件图像。

在具体实施例中，定位板上开设凹槽，以固定扫地机器人的驱动轮。

步骤S112，根据定位板周边设置的激光传感器的检测信息，调整自动移动设备使其水平放置于定位板上。

在本实施例中，在定位板任意两个角点的正上方分别设置一个激光传感器，同时对自动移动设备上的相机光心进行测距，当四个激光传感器测得的距离与预设距离一致时，认为自动移动设备已就位，可以进行相机参数的标定。

同时，通过激光传感器获取多个标定件的角点到相机光心距离，为针孔相机模型提供了一个高精度的焦距数据，从而使得通过一张图像即可实现内参数和外参数的标定，并且标定过程中的坐标转换等计算耗费时间短，极大的减小了对操作人员的要求，节省了时间，提高了标定的鲁棒性和精度。

作为可选的实施方式，步骤S300包括：

步骤S310，检测标定件图像中的图像特征点是否符合预设条件。

在本实施例中，对标定件图像进行质量检测：

对于该状态主要是用来判断所获取的图像是否满足标定要求，如果采集的图像本身不满足可以对标定参数所需标定板的有效切分和角点检测，就会在终端界面显示检测标定板失败的提示，失败的原因包括但不仅限于光线太暗、相机采集棋盘格的视野被部分遮挡等，最终体现在程序上都表现出无法有效的检测到符合标准的棋盘格内角点，例如采用的是opencv中较为成熟的检测方法进行检测，通过函数的返回值来进行判定是否检测角点成功。如果是光线太暗导致的检测失败，还可以通过另外一种方式进行提前判断，来进行棋盘格划分之前会首先对采集的图像进行亮度的检测，由于在工装设计的时候，会通过灯带对整个场景进行打光，使得不管外界的环境如何变化，保证需要成像的区域光线是充足的，所以如果图像整体的亮度低于设定的阈值，则会判定检测标定板失败。

对相机的姿态状况进行检测：对于这个故障状态主要是放置在操作人员在将机器摆放在定位板环节出现问题，例如随机将装有待标定相机的机器摆放在定位板上，而未按照定位板的设置将机器卡住，这样就会导致机器存在俯仰角或/与滚转角或/与偏航角的较大偏差，如果是机器本身安装导致的偏差，这个角度可以通过外参标出来；但是如果是由于人员的操作失误导致的误差，该误差就会累计上无法消除，这是一个很大的潜在风险，所以针对这一问题，在程序会对上述的角度进行判断，通过设定的阈值来对该问题进行约束，如果角度超过指定阈值，则会在终端界面显示机器姿态异常的故障，这样便会提醒操作人员对机器的摆放做检查，有效放置该情况的发生。

此外，为了彻底消除该情况的发生，在工装设计的时候，在定位板的对角线位置放置了两个激光传感器，通过激光传感器反馈的信息来做进一步的确认，确保机器本身是水平的放置在定位板上，两重检测都通过后，才会进入下一步的标定环节。

步骤S320，在图像特征点符合预设条件的情况下，根据图像特征点的坐标，和标定件特征点的坐标，计算得到相机的内参数和外参数。

在本实施例中，通过预先对标定件图像进行质量检测，只对合格的标定件图像进行参数计算，节省了计算资源，并且提高了相机参数标定的准确率。

作为可选的实施方式，步骤S320包括：

步骤S321，根据标定件图像中，除特定标定件之外的N-1个标定件的图像特征点的坐标，和N-1个标定件的标定件特征点的坐标，计算得到相机的内参数。

在本实施例中，设置4个标定件，特定标定件为与相机平行的标定件，其余三个标定件相对相机倾斜设置。在内参标定环节，所需要标定的变量包括焦距(fx,fy)、光圈中心(cx,cy)和畸变参数(k1,k2,p1,p2)，通过分别获取内参标定所需的检测到的三个标定件棋盘格角点的2D坐标，由于棋盘格的模板是已知的，所以可以很方便的获取每个角点对应的3D点坐标，z轴设为0。已知多对3D-2D对应点对，可以通过pnp方法对相机的位姿进行估计，所以可以得到每个分割棋盘格的初始相对位姿，用以构建多个棋盘格中多组内角点的对应关系，通过构建最小二乘问题进行迭代优化求解。

步骤S322，基于计算得到的内参数，根据特定标定件的图像特征点的坐标，和特定标定件的标定件特征点的坐标，计算得到相机的外参数，特定标定件为相机正对的标定件。

在本实施例中，根据步骤S321中计算出的内参数，特定标定件的图像特征点的坐标，和特定标定件的标定件特征点的坐标，通过针孔相机模型计算得到相机的外参数。

作为可选的实施方式，图像特征点的坐标为图像特征点的亚像素精度的二维坐标，亚像素精度的二维坐标包括采用下述方式计算得到：

在本实施例中，对分割后的每个棋盘格进行特征检测和位置计算。这里的特征就是检测到的角点，首先对分割后的每个子图像进行内角点的检测，如果设定的模板数量的角点均被检测到且是以一定的顺序排列，可以获取到所有内角点的坐标，内角点可以根据行或列的顺序进行顺序编号，该阶段获取的是像素级别的坐标。在原有角点初始坐标的基础上，通过迭代求解的方法可以获取到亚像素精度的角点坐标以提高精度，从而使得参数标定结果精度更高。

作为可选的实施方式，步骤S321中计算得到相机的内参数包括：

在计算内参数之前，先对图像进行预处理，通过对高斯滤波、中值滤波、均值滤波等滤波算法的实验对比，最终高斯滤波的预处理效果最好，通过高斯滤波方法对获取的图像进行预处理，这种线性滤波方式，原理是对整幅图像进行加权平均的过程，每个像素点的值都由其本身和领域内的其它像素值经过加权平均得到，可以有效的抑制服从正态分布的噪声。高斯滤波本质上是将二维正态分布应用在二维的矩阵上，G(x，y)的值表示矩阵上的权值。再对高斯滤波处理结果进行归一化，使图像得到平滑处理。

高斯滤波的计算公式如下：

其中，x和y分别表示待标定图像中像素点的横坐标和纵坐标，s表示高斯模型的方差。

在各个标定板上也设置激光传感器，以获取相机光心到顶视棋盘格的每个角点的距离，为后续参数标定高精度的前提条件。

在本实施例中，对分割后的每个子图像进行内角点的检测，如果设定的模板数量的角点均被检测到且是以一定的顺序排列，可以获取到所有内角点的坐标。

对待标定图像的像素点的灰度分布特征通过高斯模型进行描述：

对待标定图像中像素点的强度进行优化求解：

E(q)＝∑(M(x,q)-I(x)²) (2)。

根据待标定图像中像素点的强度获取待标定图像中内角点对应的世界坐标P_c＝[X,Y,Z]以及待标定图像中内角点对应的相机坐标P'＝[X',Y',Z']。

其中，M代表对应像素位置上的强烈程度，A表示背景的强烈程度，B表示亮区域中强烈程度的峰值，(u，v)表示亮区域峰值所在的位置；M(x,q)表示像素测得的强度，I(x)表示高斯模型的像素强度估计值；在相机坐标系下，X轴指向右，Y轴指向下，Z轴指向相机前方。

通过对图像中的像素进行强度分析计算，可以检测到角点在待标定图像中的真实位置信息。

我们假设M(x,q)＝I(x)，即像素的强度和模型估计出来的强度相等，但是由于各种因素的存在，两者是无法完全相等的，所以可以通过最小二乘的方法来求最优解，即公式(2)，并且对公式(2)进行迭代优化求解，得到全局最优解或者局部最优解，迭代的结束条件是限定迭代次数和限定精度范围，例如设置迭代次数为50次，或者连续几次结果变化范围在0.2％以内，则停止迭代。迭代次数及限定精度范围根据实际需要进行设置。

对焦距(fx,fy)、光圈中心(cx,cy)和畸变参数(k1,k2,p1,p2)进行标定：如图2所示，由于有四个标定板平面，并且三个标定板平面与相机镜头不平行，因此对应的焦距存在X轴或Y轴上的分量。焦距和光圈中心都是可以通过激光传感器直接获取的信息。

通过前述实施方式，可以分别获取内参标定所需的检测到的三个棋盘格角点的2D坐标，由于获取的图像本身是没有去畸变的，所以得到的坐标是也是具有畸变的坐标，根据初始的标定参数可以对获取的图像进行去畸变，获取去畸变之后的内角点坐标。

作为可选的实施方式，步骤S322中计算得到相机的外参数包括：

本例中，通过针孔相机模型将内角点对应的世界坐标P_c投影到相机坐标P'：

即，

在内参的标定的过程中，涉及到几种坐标系，包括世界坐标系、相机坐标系、图像坐标系，在本实施例中，将相机抽象为针孔相机模型进行阐述。单个相机的成像原理可以近似为针孔相机模型，该模型简单且有效，表示将三维空间点映射到二维的成像平面上。相机坐标系下，x指向右，y指向下，z指向相机前方(以常见的抽象模型为准，和实际相机坐标系顺序无关)。真实世界中，在O-x-y-z相机坐标系下的一点P_c＝[X,Y,Z]，通过针孔相机模型，可以将其投影到二维成像平面O′-x′-y′上，投影点坐标为P′＝[X′,Y′,Z′]，通过相似三角形原理获得公式(3)和公式(4)。

将相机坐标P'转换到像素坐标[u,v]^T上：

代入公式(4)，得

将像素坐标转换为齐次坐标：

将像素坐标转换到世界坐标系中：

其中，f为焦距；m为内角点在转换到像素坐标系后在u轴的缩放倍数，n为内角点在转换到像素坐标系后在v轴的缩放倍数，[c_x,c_y]^T为原点平移量；f_x＝mf,f_y＝nf；中间矩阵K为内参矩阵，中间矩阵K的参数采用张正友标定法进行标定；P_c＝TP_w，T为变换矩阵，R为旋转参数，t为平移参数。

除了内参之外，一般情况下，三维空间点在相机坐标系下的坐标不容易知道，而容易获取世界坐标系下的空间点坐标，相机坐标系和世界坐标系之间可以通过变换矩阵进行转换，即表示为P_c＝TP_w，代入公式(7)，得到公式(8)，(R，t)称为相机的外参，分别表示旋转和平移，这两个量是SLAM要估计的目标。将P投影到归一化平面Z＝1上，可以得到归一化相机坐标P_c′＝[X/Z,Y/Z,1]^T，归一化坐标经过内参之后就得到像素坐标。

然而针孔模型是理想模型，在实际应用中，由于相机透镜引起的切向畸变和径向畸变会导致光线穿过透镜投影到成像面时的位置发生变化，这里就是上文提到的需要标定的畸变参数。在外参标定环节，3D点和2D点的坐标获取方法类似，同样通过构建最小二乘问题进行优化求解。此外还需要分别计算相机光心在x、y、z轴上的坐标，该坐标可以通过工装的标准尺寸进行计算，需要注明的是外参的精度很大程度上依赖于工装本身较高的精度，即标定板到光心的距离，通过激光传感器获得了高精度的测量数据。

在前述实施方式中已经得到多组3D-2D点对关系，本环节是构建优化问题，通过最小化投影误差进行参数求解。其中内参标定求解，需要优化的变量有8个，分别是内参变量：焦距参数(fx,fy)，光圈中心参数(cx,cy)和畸变参数变量(k1,k2,p1,p2)，通过迭代求解，最终可以得到优化后的变量数值，同时计算出对应的最大投影误差和平均投影误差，用以衡量结果的精度。而对于外参的求解，涉及到旋转矩阵和平移矩阵的求解，在已经求解出内参的基础上，同样可以构建优化问题，最小化重投影误差，迭代求解外参变量。

目前非线性优化的主流方法是图优化，在阐述图优化前先来分析下优化方法三要素，目标函数、优化变量、约束条件，优化问题可以描述为：给定目标函数，在相应的约束条件下对待优化变量进行优化，最终得到最优解。图优化就是以图的形式来表示优化问题，构建的是3D到2D的对应关系，通过最小化重投影误差来进行迭代求解。其目标函数如下：

其中e函数表示观测量z_i与观测方程差值代表的误差，信息矩阵Ω是协方差矩阵的逆。该式便是图3的多个节点和边所构成的优化问题，为了求解该优化问题，需要一个初值和迭代方向，在每步的迭代中需要寻找一个增量Δx_k,计算当前估计值的雅可比(Jacobian)矩阵和海塞(Hessian)矩阵。根据选取的梯度下降策略不同(即确定增量Δx_k)，比较有代表性的是G-N和L-M算法。这两者都是求解增量方程，如果在求解过程中Δx_k足够小，则迭代停止，否则继续迭代。

作为可选的实施方式，方法还包括：

确定计算得到的内参数和外参数是否符合预设标准；

若符合预设标准，则将内参数和外参数写入存储器；

若不符合预设标准，则提供相应的提示信息。

在本实施例中，在程序设计的过程中，需要考虑到自动化，尽最大的可能减少人为参与的风险，所以基于此在程序中设计可以自主判定标定结果的好坏，不需要人为的判定，通过重投影误差来对结果进行判定，包括最大的投影误差、平均的投影误差都做了判定，保证最终的结果是可靠的，如果得到的投影误差结果超过设定的阈值，则故障检测会在终端界面显示结果不合理的提示，这样操作人员看到该提示后，会对机器做一些检测，然后尝试重新进行标定。

在具体实施例中，还包括对任务线程进行检测：对于该故障状态主要是防止操作人员多次发出进行标定的指令，由于该标定程序只是属于整个机器运行程序的一部分，所以该部分的程序耗时需要得到有效的控制，所以在程序设计的时候就采用了异步方案，标定程序本身会主动构建一个异步线程进行计算，不会阻塞主线程的运行，而在开启的标定子线程没有运行结束之前，即使再次收到标定的指令，也不会再作出响应，故障检测会在终端界面显示任务忙，这样就可以告诉操作人员不需要重复进行操作，等待结果返回后再根据标定成功与否来进行下一步操作。

对文件写入状态进行检测：对与该状态主要是用来判定结果有效的写入到机器的存储器，在标定结束后，产生的标定结果会写入到指定的标定文件中，为了确保标定结果已经完整的写入到标定文件中，在写完后会再做一次读文件操作，如果读写都没问题，则认定标定成功。如果标定结果没有完整的写入到标定文件内，则故障检测会在终端界面显示文件写入失败，这样操作人员则会根据提示，再次进行标定。

作为可选的实施方式，控制相机获取标定件包括：

利用预设的照明部件为相机提供特定的光照条件；

在本实施例中，标定板固定安装在一个半封闭的箱体中，在箱体内部设置一个光源，在相机拍摄时对标定板进行光照补偿，在排除外界的光线干扰的同时，也实现了该装置可以全天候工作。在具体实施例中，在半封闭的工装内部安装有两组灯带，不管外界的光线如何，装置都可以提供适宜的光线，从而得到可靠的待标定图像。

考虑到箱体是半封闭式的，因此通过蓝牙等无线方式控制相机对标记件进行拍摄，便于工作人员进行操作。

作为可选的实施方式，标定件包括具有棋盘格的标定板，N个标定板上的棋盘格所在的平面两两相交，对应的，图像特征点为图像中标定板的棋盘格角点，标定件特征点包括标定板的棋盘格角点。

在本实施例中，标定装置有四块棋盘格标定板，其中一块水平朝下，其余三块分别倾斜设置，四块标定板所在平面两两相交且互不平行，四块标定板的棋盘格所在一面均朝向同一个方向，通过螺钉和支架将四块标定板进行固定。在具体实施例中，水平朝下的标定板以外其他三块标定板均至少安装一个激光传感器，通过激光传感器检测顶部设置有相机的机器是否水平的放置在定位板上，例如扫地机器人，其顶部平面为水平，待标定相机的镜头也是水平的。同时激光传感器获取能够确保相机光心到顶视棋盘格的每个角点的距离，为后续参数标定高精度的前提条件。

由于所述特定标定件是用于外参的标定，需要保证相机正面朝向其标定面，从而保证标定面各特征点到相机光心的距离准确，对于自动移动设备，就需要保证相机安装面与特定标定件，一方面可以利用与特定标定件平行的定位板，初步保证相机安装面与特定标定件的标定面平行。另一方面，还需要采取相应的检测手段，确定相机安装面是否确实平行于所述特定标定件的标定面。

通过激光传感器检测顶部设置有相机的机器是否水平的放置在定位板上，同时激光传感器获取能够确保相机光心到顶视棋盘格的每个角点的距离，为后续参数标定高精度的前提条件。采用针孔相机模型实现角点的2D-3D坐标转换，表示将三维空间点映射到二维的成像平面上，激光传感器获取的角点到相机光心距离为针孔相机模型提供了一个高精度的焦距数据，从而使得通过一张图像即可实现内、外参数的标定，并且标定过程中的坐标转换等计算耗费时间短，极大的减小了对操作人员的要求，节省了时间，提高了标定的鲁棒性和精度。

基于上述图1至图3对应的各实施例所提供的方法，本申请还提供一种相机参数标定装置。所述装置可以应用于执行上述方法，可以应用于自动移动设备的相机标定。图4是本公开提供的一种相机参数标定装置的一种实施例的模块结构示意图。具体的，如图4所示，所述装置可以包括：

标定模组401，包括N个标定件，N≥3；

相机定位单元402，用于将相机403定位于特定位置，使相机403与N个标定件满足特定位置关系；

控制单元404，用于控制相机403获取标定件图像，每幅标定件图像包含N个标定件的图像；

处理单元405，被配置为根据标定件图像中的图像特征点的位置数据，和标定件的标定件特征点的位置数据，计算得到相机的内参数和外参数。

在本实施例中，标定模组如图5-11所示，包括半封闭箱体1，第一标定板2，第二标定板3，第三标定板4，第四标定板5，至少四个激光传感器6和标定模块，其中：半封闭箱体1的较宽的一个侧面底部设有开口；第一标定板2水平固定在半封闭箱体1的顶部；第二标定板3和第三标定板4分别固定在半封闭箱体1设有开口侧面的相邻两侧；第四标定板5固定在半封闭箱体1设有开口侧面的相对一侧；至少四个激光传感器6分别设置在第一标定板2、第二标定板3、第三标定板4和第四标定板5的底端顶点处；标定模块，与至少四个激光传感器6通过通信连接；其中，第一标定板2、第二标定板3、第三标定板4和第四标定板5所在平面两两相交，并且互不平行。

标定模块设置在待标定相机所在的机器上，通过无线网络或蓝牙与至少四个激光传感器连接。标定模块在待标定相机的图像进行处理计算，结合从激光传感器接收到的各标定板到待标定相机光心的距离信息，对相机的参数进行标定。标定模块还受外部蓝牙信号控制，开启标定线程。外部蓝牙信号可通过蓝牙开关产生，发送给标定模块。

如图7所示，标定模组还包括固定在半封闭箱体1设有开口一侧的底板上方的定位槽7，定位槽7的形状与机器底部的轮廓一致。第一横向刻度线8和第二纵向刻度线9，设置在定位槽1下方，并且第一横向刻度线8和第二纵向刻度线9互相垂直，第一横向刻度线8和第二纵向刻度线9的交点经过定位槽7的中心。

如图8所示，标定模组还包括第一支撑板10，通过第一支架11水平固定在半封闭箱体1中；第二支撑板12，通过第二支架13水平固定在半封闭箱体1中，第一支撑板10与第二支撑板12位于同一高度，并且第一支撑板10与第二支撑板12平行于半封闭箱体1一个侧边；第三支撑板14，通过第一支撑块15和第二支撑块16固定在第一支撑板10和第二支撑板12的边缘一侧；第二标定板3、第三标定板4和第四标定板5分别倾斜固定在第一支撑板10、第二支撑板12和第三支撑板14上。第三支撑板14通过螺钉和第一支撑块15和第二支撑块16固定在第一支撑板10和第二支撑板12的边缘一侧。支撑板上设有卡槽，标定板能直接通过卡槽固定在支撑板上。

如图9所示，标定模组还包括：第一垂直连接件15，通过至少两个螺钉平行固定在第一支撑板10的下方；第二垂直连接件16，通过至少两个螺钉水平固定在第一垂直连接件15远离半封闭箱体1内壁一侧；可旋转连接件17，通过销轴18与第二垂直连接件16连接；第一卡槽板19，其背面与可旋转连接件17固定，用于放置第二标定板3。其中，第一卡槽板19背面粘贴T字型连接件，与第二垂直连接件16连接。销轴18可以在可旋转连接件17的滑轨中滑动，从而改变第二标定板3的倾斜角度。在具体实施例中，其余两块标定板也通过上述结构固定在相应的支撑板上。

如图5和图10所示，标定模组还包括：第四支撑板20，通过四个支撑柱21固定在第一支撑板10和第二支撑板12的上方，并且第四支撑板20高于第三支撑板；第二卡槽板22，其背面与第四支撑板20通过紧固件连接，第二卡槽板22位于第四支撑板20下方，用于放置第一标定板2。第四支撑板20面向第二卡槽板22一侧设置有第二横向刻度线23和第二纵向刻度线24；第二横向刻度线23和第二纵向刻度线24的交点经过第四支撑板20的中心。如图10和图11所示，第二横向刻度线23和第二纵向刻度线24超出第一标定板在第四支撑板竖直方向上的投影，便于工作人员安装。

如图5所示，标定模组还包括设置在半封闭箱体1底部相邻开口任一侧或相对开口一侧的灯带25，通过设置灯带，在标定过程中对图像进行补光，提高标定图像的合格率。

作为可选的实施方式，相机定位单元，被配置为：

作为可选的实施方式，装置应用于包括相机的自动移动设备，对应的，相机定位单元包括：

作为可选的实施方式，还包括：

本申请另一种实施例中，所述设备还可以包括测距组件，设置在所述定位板7上方特定位置，用于测定与所述自动移动设备的相机安装面各处的距离。

通过测定相机安装面各点到测距组件的距离，可以检测相机安装面是否平行于标定板2，以及平行于定位板7，比如检测安装面上三个点的距离，三点可以确定一个平面，就可以确定相机安装面是否与标定板2平行。本申请一种实施例中，如图12所示，所述测距组件可以包括四个激光测距传感器A、B、C、D，本例中，激光传感器A和B可以设置在第三标定板4的下端两个角点处，激光传感器C和D可以设置在第二标定板3的下端两个角点处。进一步的，激光传感器A、B、C、D位于同一平面，且A、B、C、D所在的同一平面与顶部的第一标定板2平行，这样，通过上述四个激光传感器可以分别检测其到扫地机器人上表面(即相机安装面)四个不同点的距离，根据四个激光测距传感器A、B、C、D测得的距离，就可以判断出相机安装面是否倾斜，即是否与定位板和第一标定板2平行，如果不平行，就可以通过传感器配置的报警器生成提示信息，如指示灯光信息或者声音指示信息等，以指示实施人员调整扫地机器人的放置位姿，使其相机安装面平行于第一标定板2。当然，在本申请其他实施例中，激光传感器也可以设置在其他位置，激光传感器的数量只要大于等于3即可，本申请对此不作限定。

作为可选的实施方式，处理单元被配置为：根据标定件图像中，除特定标定件之外的N-1个标定件的图像特征点的坐标，和N-1个标定件的标定件特征点的坐标，计算得到相机的内参数；以及基于计算得到的内参数，根据特定标定件的图像特征点的坐标，和特定标定件的标定件特征点的坐标，计算得到相机的外参数；特定标定件为相机正对的标定件。

处理单元还用于对图像特征点的原始二维坐标进行迭代计算，得到图像特征点的亚像素精度的二维坐标。

处理单元还被配置为：利用多组相对应的图像特征点的二维坐标和标定件特征点的三维坐标，构建二维坐标与三维坐标的对应关系；利用多组相对应的二维坐标和三维坐标，对对应关系的目标函数的参数进行迭代计算，直至重投影误差小于预设阈值，得到内参数，内参数包括焦距参数、光圈中心参数、畸变参数；基于计算得到的内参数，根据多组相对应的特定标定件的图像特征点的二维坐标和标定件特征点的三维坐标，构建二维坐标与三维坐标的对应关系；利用多组相对应的二维坐标和三维坐标，对对应关系的目标函数的参数进行迭代计算，直至重投影误差小于预设阈值，得到外参数。

处理单元还被配置为：确定计算得到的内参数和外参数是否符合预设标准；输出带有不符合预设标准判断结果的提示信息。

装置还包括存储器，用于保存符合预设标准的内参数和外参数。

装置还包括照明部件，用于为相机提供特定的光照条件；控制指令发送单元和无线通信单元；控制指令发送单元向相机通过无线通信单元发送获取标定件图像的控制指令，控制指令发送单元用于控制相机获取标定件图像。

标定件包括具有棋盘格的标定板，N个标定板上的棋盘格所在的平面两两相交，对应的，图像特征点为图像中标定板的棋盘格角点，标定件特征点包括标定板的棋盘格角点。

所属领域的技术人员可以清楚地了解到，本公开各实施例可以互相参照，例如，为描述的方便和简洁，上述描述的装置和装置中的单元或模块的具体工作过程，可以参考前述方法实施例中的对应过程描述，此处不再赘述。

虽然结合附图描述了本申请的实施例，但是本领域技术人员可以在不脱离本申请的精神和范围的情况下作出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims

1.一种相机参数标定方法，其特征在于，包括：

将相机设置于特定位置，使所述相机与N个标定件满足特定位置关系，N≥3；

控制所述相机获取标定件图像，每幅所述标定件图像中包含所述N个标定件的图像；

根据所述标定件图像中的图像特征点的位置数据，和所述标定件的标定件特征点的位置数据，计算得到所述相机的内参数和外参数。

2.如权利要求1所述的一种相机参数标定方法，其特征在于，将相机设置于特定位置，使所述相机与N个标定件满足特定位置关系包括：

使所述N个标定件全部位于所述相机的视野范围内，以及使所述相机的光心与所述N个标定件中的一特定标定件的距离为预定距离，所述特定标定件为所述相机正对的标定件。

3.如权利要求2所述的一种相机参数标定方法，其特征在于，所述方法应用于包括所述相机的自动移动设备，对应的，使所述N个标定件全部位于所述相机的视野范围内，以及使所述相机的光心与所述N个标定件中的一特定标定件的距离为预定距离包括：

将所述自动移动设备放置在预定的定位板上；

根据所述定位板周边设置的激光传感器的检测信息，调整所述自动移动设备的位置使其水平放置于所述定位板上。

4.如权利要求1所述的一种相机参数标定方法，其特征在于，在所述根据所述标定件图像中的图像特征点的位置数据，和所述标定件的标定件特征点的位置数据，计算得到所述相机的内参数和外参数之前，还包括：

检测所述标定件图像中的图像特征点是否符合预设条件；

在所述图像特征点符合预设条件的情况下，根据所述图像特征点的坐标和所述标定件特征点的坐标，计算得到所述相机的内参数和外参数。

5.如权利要求4所述的一种相机参数标定方法，其特征在于，根据所述图像特征点的坐标，和所述标定件特征点的坐标，计算得到所述相机的内参数和外参数包括：

根据所述标定件图像中，除特定标定件之外的N-1个标定件的图像特征点的坐标，和所述N-1个标定件的标定件特征点的坐标，计算得到所述相机的内参数；

基于计算得到的所述内参数，根据所述特定标定件的图像特征点的坐标，和所述特定标定件的标定件特征点的坐标，计算得到所述相机的外参数；所述特定标定件为所述相机正对的标定件。

6.如权利要求5所述的一种相机参数标定方法，其特征在于，所述图像特征点的坐标为所述图像特征点的亚像素精度的二维坐标，所述亚像素精度的二维坐标包括采用下述方式计算得到：

对所述图像特征点的原始二维坐标进行迭代计算，得到所述图像特征点的亚像素精度的二维坐标。

7.如权利要求5所述的一种相机参数标定方法，其特征在于，所述计算得到所述相机的内参数包括：

利用多组相对应的所述图像特征点的二维坐标和所述标定件特征点的三维坐标，构建所述二维坐标与所述三维坐标的对应关系；

利用多组相对应的所述二维坐标和所述三维坐标，对所述对应关系的目标函数的参数进行迭代计算，直至重投影误差小于预设阈值，得到所述内参数，所述内参数包括焦距参数、光圈中心参数、畸变参数。

8.如权利要求5所述的一种相机参数标定方法，其特征在于，所述计算得到所述相机的外参数包括：

基于计算得到的所述内参数，根据多组相对应的所述特定标定件的图像特征点的二维坐标和标定件特征点的三维坐标，构建所述二维坐标与所述三维坐标的对应关系；

利用多组相对应的所述二维坐标和所述三维坐标，对所述对应关系的目标函数的参数进行迭代计算，直至重投影误差小于预设阈值，得到所述外参数。

9.如权利要求1所述的一种相机参数标定方法，其特征在于，在根据所述标定件图像中的图像特征点的位置数据，和所述标定件的标定件特征点的位置数据，计算得到所述相机的内参数和外参数之后，还包括：

确定计算得到的内参数和外参数是否符合预设标准；

若符合预设标准，则将所述内参数和所述外参数写入存储器；

若不符合预设标准，则提供相应的提示信息。

10.如权利要求1所述的一种相机参数标定方法，其特征在于，所述控制所述相机获取标定件包括：

利用预设的照明部件为所述相机提供特定的光照条件；

向所述相机无线发送获取标定件图像的控制指令，控制所述相机获取所述标定件图像。

11.如权利要求1所述的一种相机参数标定方法，其特征在于，所述标定件包括具有棋盘格的标定板，所述N个标定板上的棋盘格所在的平面两两相交，对应的，所述图像特征点为图像中所述标定板的棋盘格角点，所述标定件特征点包括所述标定板的棋盘格角点。

12.一种相机参数标定装置，其特征在于，所述装置包括：

标定模组，包括N个标定件，N≥3；

相机定位单元，用于将相机定位于特定位置，使所述相机与所述N个标定件满足特定位置关系；

控制单元，用于控制所述相机获取所述标定件图像，每幅所述标定件图像包含所述N个标定件的图像；

处理单元，被配置为根据所述标定件图像中的图像特征点的位置数据，和所述标定件的标定件特征点的位置数据，计算得到所述相机的内参数和外参数。

13.如权利要求12所述的一种相机参数标定装置，其特征在于，所述相机定位单元，被配置为：

14.如权利要求13所述的一种相机参数标定装置，其特征在于，所述装置应用于包括所述相机的自动移动设备，对应的，所述相机定位单元包括：

定位板，用于放置所述自动移动设备，使所述N个标定件全部位于所述相机的视野范围内；

检测传感器，用于提供反应所述自动移动设备是否水平放置的检测信息。

15.如权利要求12所述的一种相机参数标定装置，其特征在于，还包括：

检测单元，用于检测所述标定件图像中的图像特征点是否符合预设条件；

在所述检测单元检测到所述图像特征点符合预设条件的情况下，所述处理单元根据所述图像特征点的坐标和所述标定件特征点的坐标，计算得到所述相机的内参数和外参数。

16.如权利要求15所述的一种相机参数标定装置，其特征在于，所述处理单元被配置为：根据所述标定件图像中，除特定标定件之外的N-1个标定件的图像特征点的坐标，和所述N-1个标定件的标定件特征点的坐标，计算得到所述相机的内参数；以及基于计算得到的所述内参数，根据所述特定标定件的图像特征点的坐标，和所述特定标定件的标定件特征点的坐标，计算得到所述相机的外参数；所述特定标定件为所述相机正对的标定件。