CN109389645A

CN109389645A - 相机自校准方法、系统、相机、机器人及云端服务器

Info

Publication number: CN109389645A
Application number: CN201710652804.3A
Authority: CN
Inventors: 崔彧玮; 刘晓峰
Original assignee: Shan Kou (shanghai) Intelligent Technology Co Ltd
Current assignee: Shan Kou (shanghai) Intelligent Technology Co Ltd
Priority date: 2017-08-02
Filing date: 2017-08-02
Publication date: 2019-02-26
Anticipated expiration: 2037-08-02
Also published as: CN109389645B

Abstract

本发明提供一种相机自校准方法、系统、相机、机器人及云端服务器，所述方法包括：获取相机在平移过程中拍摄的多张图像；相机内部参数的自校准，包括：获取各图像中预期的视觉特征点位置与各图像共有的共有视觉特征点的位置之间的距离并将该距离作为重投影误差；根据预设算法优化重投影误差，并将优化时获得的重投影误差的最小值对应的相机的焦距和畸变参数作为相机的当前焦距和当前畸变参数；相机外部参数的自校准，包括：利用vSLAM算法获取相机位置的移动轨迹，并将相机位置的移动轨迹拟合成一个平面；获取该平面与水平面的夹角并将该夹角作为相机的仰角。本发明可以对相机外部参数和内部参数自动校准，可以上传云端进行相机校准。

Description

相机自校准方法、系统、相机、机器人及云端服务器

技术领域

本发明涉及移动机器人领域，特别是涉及觉同步定位技术领域，具体为一种相机自校准方法、系统、相机、机器人及云端服务器。

版权申明

背景技术

随着计算视觉技术的发展，基于视觉的同步定位技术在移动机器人(例如扫地机器人)上逐渐普及。vSLAM(visual Simultaneous Localizaiton And Mapping，基于视觉的同步定位与地图构建)技术的定位精度依赖于对相机内部参数(焦距，畸变参数)以及外部参数(俯仰角)的准确估计。相机参数需要在vSLAM模块出厂时进行精确校准。

现有技术依赖于出厂时使用专业设备进行参数校准，具体方法为将校准图放置在一系列已知的位置上，使用相机拍摄校准图，通过校准算法估计相机的内参和外参。

在机器人使用过程中，由于外力冲撞，热胀冷缩等因素均可能导致相机参数的变化，出厂时的参数可能会在使用过程中失效。现有的方法无法在机器人出厂后进行自动校准。

发明内容

为了解决上述的以及其他潜在的技术问题，本发明的实施例提供了种相机自校准方法，所述相机自校准方法包括：获取相机在平移过程中拍摄的多张图像；相机内部参数的自校准，包括：获取各图像中预期的视觉特征点位置与各所述图像共有的共有视觉特征点的位置之间的距离并将该距离作为重投影误差；根据预设算法优化所述重投影误差，并将优化时获得的所述重投影误差的最小值对应的相机的焦距和畸变参数作为相机的当前焦距和当前畸变参数；相机外部参数的自校准，包括：利用vSLAM算法获取相机位置的移动轨迹，并将所述相机位置的移动轨迹拟合成一个平面；获取该平面与水平面的夹角并将该夹角作为相机的仰角。

于本发明的一实施例中，所述相机内部参数的自校准还包括：提取各图像中的视觉特征点；将各图像中的视觉特征点进行匹配获取各图像中由同一个3D特征点投影得到的共有视觉特征点。

于本发明的一实施例中，所述根据预设算法优化所述重投影误差具体包括：根据梯度下降算法并结合相机的当前焦距和畸变参数、相机的位姿以及所述共有视觉特征点对应的3D特征点位置优化所述重投影误差。

于本发明的一实施例中，将所述相机位置的移动轨迹中垂直于水平面的定位量拟合成所述平面，所述平面的平面方程为：n_x(x-x₀)+n_y(y-y₀)+n_z(z-z₀)＝0；其中，x，y，z分别为拟合平面上点的X，Y，Z坐标，x₀，y₀，z₀为相机轨迹中的一点，n_x，n_y，n_z分别为相机平面法向量的X，Y，Z分量。

本发明的实施例还提供一种相机自校准系统，所述相机自校准系统包括：图像获取模块，用于获取相机在平移过程中拍摄的多张图像；相机内部参数的自校准模块，包括：重投影误差获取单元，用于获取各图像中预期的视觉特征点位置与各所述图像共有的共有视觉特征点的位置之间的距离并将该距离作为重投影误差；优化单元，用于根据预设算法优化所述重投影误差，并将优化时获得的所述重投影误差的最小值对应的相机的焦距和畸变参数作为相机的当前焦距和当前畸变参数；相机外部参数的自校准模块，包括：移动轨迹获取单元，用于利用vSLAM算法获取相机位置的移动轨迹；平面拟合单元，用于将所述相机位置的移动轨迹拟合成一个平面；仰角获取单元，用于获取该平面与水平面的夹角并将该夹角作为相机的仰角。

于本发明的一实施例中，所述相机内部参数的自校准模块还包括：视觉特征点提取单元，用于提取各图像中的视觉特征点；共用视觉特征点匹配单元，用于将各图像中的视觉特征点进行匹配获取各图像中由同一个3D特征点投影得到的共有视觉特征点。

于本发明的一实施例中，所述优化单元根据梯度下降算法并结合相机的当前焦距和畸变参数、相机的位姿以及所述共有视觉特征点对应的3D特征点位置优化所述重投影误差。

于本发明的一实施例中，所述平面拟合单元将所述相机位置的移动轨迹中垂直于水平面的定位量拟合成所述平面，所述平面的平面方程为：n_x(x-x₀)+n_y(y-y₀)+n_z(z-z₀)＝0；其中，x，y，z分别为拟合平面上点的X，Y，Z坐标，x₀，y₀，z₀为相机轨迹中的一点，n_x，n_y，n_z分别为相机平面法向量的X，Y，Z分量。

本发明的实施例还提供一种相机，包括处理器和存储器，所述存储器存储有程序指令，所述处理器运行程序指令实现如上所述的方法中的步骤。

本发明的实施例还提供一种云端服务器，包括处理器和存储器，所述存储器存储有程序指令，所述处理器运行程序指令实现如上所述的方法中的步骤。

本发明的实施例还提供一种机器人，包括处理器和存储器，所述存储器存储有程序指令，所述处理器运行程序指令实现如上所述的方法中的步骤。

本发明的实施例还提供一种机器人，与所述云端服务器相连，从所述云端服务器获取相机的当前焦距、当前畸变参数以及相机的仰角。

本发明的实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上所述的方法中的步骤。

如上所述，本发明的相机自校准方法、系统、相机、机器人及云端服务器具有以下有益效果：

本发明可以在相机出厂后进行相机自校准，包括对相机外部参数俯仰角的校准和相机内部参数的校准，该方法不需要特制的校准设备和校准图片，通过机器人在平面运动的过程中自动拍摄照片，可以通过wifi上传云端进行相机校准。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1显示为本发明的相机自校准方法的流程示意图。

图2显示为本发明的相机自校准方法中获取的平面方程的示意图。

图3显示为本发明的相机自校准系统的原理框图。

图4显示为本发明的相机自校准系统的另一种原理框图。

元件标号说明

1 相机自校准系统

100 图像获取模块

200 相机内部参数的自校准模块

210 重投影误差获取单元

220 优化单元

230 视觉特征点提取单元

240 共用视觉特征点匹配单元

300 相机外部参数的自校准模块

310 移动轨迹获取单元

320 平面拟合单元

330 仰角获取单元

S100～S300 步骤

S210～S220 步骤

S310～S320 步骤

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

请参阅图1至图4。须知，本说明书所附图式所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。同时，本说明书中所引用的如“上”、“下”、“左”、“右”、“中间”及“一”等的用语，亦仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。

本实施例的目的在于提供一种相机自校准方法、系统、相机、机器人及云端服务器，用于解决现有技术中无法在机器人出厂后进行自动校准的问题。以下将详细阐述本发明的相机自校准方法、系统、相机、机器人及云端服务器的原理及实施方式，使本领域技术人员不需要创造性劳动即可理解本发明的相机自校准方法、系统、相机、机器人及云端服务器。

本实施例针对目前相机自校准的缺陷，提出一种可以在相机出厂后进行相机自校准的方法，包括对相机外部参数俯仰角的校准和相机内部参数的校准。该方法不需要特制的校准设备和校准图片，通过机器人在平面运动的过程中自动拍摄照片，通过wifi上传云端进行相机校准。

具体地，如图1所示，本实施例提供了一种相机自校准方法，所述相机自校准方法包括以下步骤：

步骤S100，获取相机在平移过程中拍摄的多张图像。

步骤S200，相机内部参数的自校准，包括：

步骤S210，获取各图像中预期的视觉特征点位置与各所述图像共有的共有视觉特征点的位置之间的距离并将该距离作为重投影误差。

步骤S220，根据预设算法优化所述重投影误差，并将优化时获得的所述重投影误差的最小值对应的相机的焦距和畸变参数作为相机的当前焦距和当前畸变参数。

步骤S300，相机外部参数的自校准，包括：

步骤S310，利用vSLAM算法获取相机位置的移动轨迹，并将所述相机位置的移动轨迹拟合成一个平面。

步骤S320，获取该平面与水平面的夹角并将该夹角作为相机的仰角。

以下对上述步骤进行详细说明。

步骤S100，获取相机在平移过程中拍摄的多张图像。

例如，在机器人进行vSLAM定位的同时，机器人内的相机拍摄一系列照片，存储在本地或上传至云端服务器。

步骤S200，相机内部参数的自校准，包括：

于本实施例中，所述相机内部参数的自校准还包括：提取各图像中的视觉特征点；将各图像中的视觉特征点进行匹配获取各图像中由同一个3D特征点投影得到的共有视觉特征点。

由于多个图像中共有的视觉特征点是由同一个3D特征点投影得到，通过相机的成像方程可以计算出在每个图像中预期的特征点位置。例如，对于一个位于(Xw,Yw,Zw)的3D特征点，拍摄一张照片时相机位置为3x1的向量T姿态为3x3旋转矩阵R表示，则该3D特征点在在这张图像中的位置(u,v)可由下式给出：

其中f为相机的焦距，在这个例子中我们使用了小孔相机模型，对于其他相机模型，仅需要替换掉上式右端的第一个矩阵(相机矩阵)。

预期的特征点位置(u,v)和在图像中真实观测到特征点位置的距离就是该3D特征点的重投影误差，优化过程整体的重投影的误差是所有3D特征点的重投影误差的和。

于本实施例中，所述根据预设算法优化所述重投影误差具体包括：根据梯度下降算法并结合相机的当前焦距和畸变参数、相机的位姿以及所述共有视觉特征点对应的3D特征点位置优化所述重投影误差。

实际上优化所述重投影误差是求解一个非线性优化问题。通过使用梯度下降(例如Levenberg–Marquardt算法)的方式调整相机的内部参数：相机的当前焦距和畸变参数，相机拍摄的位置，以及特征点对应的3D点的位置，可以最小化重投影误差。在重投影误差最小化时对应相机内参就是优化后的相机内参。也就是，利用前一次得到的相机内参作为初始值，通过非线性优化方法解算相机的内部参数(畸变参数，相机焦距)，使得3D特征点在每个图像中的重投影误差最小。

具体来说，该优化过程涉及以下步骤1)通过计算视觉特征地区方法，提取图像间共有的视觉特征点(例如使用SIFT，SURF或者ORB特征)2)使用特征匹配算法将图像间的特征进行匹配3)根据拍摄每张照片的相机位姿，使用三角化方法得到每个共视特征点位置的初始估计4)预测每个3D特征点在每张图片中的位置(使用第五页的方程)，比较预测位置和实际观测到的位置距离，也就是重投影误差5)使用非线性优化算法不断调整相机内部参数，3D特征点的位置，拍摄每转照片的相机位置和角度，使得重投影误差最小。

步骤S300，相机外部参数的自校准，包括：

于本实施例中，将相机位置的轨迹使用鲁棒线性回归拟合成一个平面，该平面与水平面的夹角即为相机的仰角，即需要估计的相机外部参数。

于本实施例中，将所述相机位置的移动轨迹中垂直于水平面的定位量拟合成所述平面，所述平面的平面方程为：n_x(x-x₀)+n_y(y-y₀)+n_z(z-z₀)＝0；其中，x，y，z分别为拟合平面上点的X，Y，Z坐标，x₀，y₀，z₀为相机轨迹中的一点，n_x，n_y，n_z分别为相机平面法向量的X，Y，Z分量。

具体地，将相机在世界坐标系下的所有三维定位信息作为输入信息，输出是一个平面方程，使得平面和所有定位点之间的累计距离最小。

首先将所有定位点整理成Nx3的矩阵X,其中矩阵X中每行为一个定位点，然后使用标准方法对矩阵X进行主成分分析(principal component analysis,PCA)，得到X矩阵的3个主成分。其中，前两个主成分代表了定位数据集中对方差贡献最大的两个方向，这两个主成分与要拟合的平面方向平行，第三个主成分代表了对定位数据集方差贡献最小的方向，由于已知机器人在平面内移动，在垂直于平面的方向上定位偏差最小，所以第三个主成分也就代表了需要拟合的平面的法向量n。

如图2所示，所要求得平面方程为：n_x(x-x₀)+n_y(y-y₀)+n_z(z-z₀)＝0；其中，x，y，z分别为拟合平面上点的X，Y，Z坐标，x₀，y₀，z₀为相机轨迹中的一点，n_x，n_y，n_z分别为相机平面法向量的X，Y，Z分量。

图2中，圆点为使用vSLAM算法得到的相机轨迹，圆点围成的平面为拟合出的平面方程。例如，算得的相机方向与重力方向的夹角为30度(如果夹角为0度则相机轨迹平面和X‐Y平面重合)。

如图3所示，本发明的实施例还提供一种相机自校准系统1，所述相机自校准系统1包括：图像获取模块100，相机内部参数的自校准模块200和相机外部参数的自校准模块300。

于本实施例中，所述图像获取模块100用于获取相机在平移过程中拍摄的多张图像；例如，在机器人进行vSLAM定位的同时，机器人内的相机拍摄一系列照片，存储在本地或上传至云端服务器。

于本实施例中，所述相机内部参数的自校准模块200包括：重投影误差获取单元210和优化单元220。

于本实施例中，如图4所示，所述相机内部参数的自校准模块200还包括：视觉特征点提取单元230，用于提取各图像中的视觉特征点；共用视觉特征点匹配单元240，用于将各图像中的视觉特征点进行匹配获取各图像中由同一个3D特征点投影得到的共有视觉特征点。

于本实施例中，所述重投影误差获取单元210用于获取各图像中预期的视觉特征点位置与各所述图像共有的共有视觉特征点的位置之间的距离并将该距离作为重投影误差。

由于多个图像中共有的视觉特征点是由同一个3D特征点投影得到，通过相机的成像方程可以计算出在每个图像中预期的特征点位置，预期的特征点位置和真实观测到特征点(提取的各所述图像共有的共有视觉特征点)位置的距离就是重投影误差。

于本实施例中，所述优化单元220用于根据预设算法优化所述重投影误差，并将优化时获得的所述重投影误差的最小值对应的相机的焦距和畸变参数作为相机的当前焦距和当前畸变参数。

具体地，于本实施例中，所述优化单元220根据梯度下降算法并结合相机的当前焦距和畸变参数、相机的位姿以及所述共有视觉特征点对应的3D特征点位置优化所述重投影误差。

于本实施例中，所述相机外部参数的自校准模块300包括：移动轨迹获取单元310，平面拟合单元320以及仰角获取单元330。

所述移动轨迹获取单元310用于利用vSLAM算法获取相机位置的移动轨迹。

所述平面拟合单元320用于将所述相机位置的移动轨迹拟合成一个平面。

所述仰角获取单元330用于获取该平面与水平面的夹角并将该夹角作为相机的仰角。

于本实施例中，所述平面拟合单元320将所述相机位置的移动轨迹中垂直于水平面的定位量拟合成所述平面，所述平面的平面方程为：n_x(x-x₀)+n_y(y-y₀)+n_z(z-z₀)＝0；其中，x，y，z分别为拟合平面上点的X，Y，Z坐标，x₀，y₀，z₀为相机轨迹中的一点，n_x，n_y，n_z分别为相机平面法向量的X，Y，Z分量。

本发明的实施例还提供一种云端服务器，包括处理器和存储器，所述存储器存储有程序指令，所述处理器运行程序指令实现如上所述的方法中的步骤。上述已经对所述方法中的步骤进行了详细说明，在此不再赘述。

本发明的实施例还提供一种机器人，包括处理器和存储器，所述存储器存储有程序指令，所述处理器运行程序指令实现如上所述的方法中的步骤。上述已经对所述方法中的步骤进行了详细说明，在此不再赘述。所述机器人例如为扫地机器人，此时，机器人本身就可以实现对相机外部参数俯仰角的校准和相机内部参数的校准。

本发明的实施例还提供一种机器人，与所述云端服务器相连，从所述云端服务器获取相机的当前焦距、当前畸变参数以及相机的仰角，通过云端服务器实现对相机外部参数俯仰角的校准和相机内部参数的校准。

本发明的实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上所述的方法中的步骤。所述已经对所述方法中的步骤进行了详细说明，在此不再赘述。

综上所述，本发明可以在相机出厂后进行相机自校准，包括对相机外部参数俯仰角的校准和相机内部参数的校准，该方法不需要特制的校准设备和校准图片，通过机器人在平面运动的过程中自动拍摄照片，可以通过wifi上传云端进行相机校准。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中包括通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims

1.一种相机自校准方法，其特征在于，所述相机自校准方法包括：

获取相机在平移过程中拍摄的多张图像；

相机内部参数的自校准，包括：

获取各图像中预期的视觉特征点位置与各所述图像共有的共有视觉特征点的位置之间的距离并将该距离作为重投影误差；

根据预设算法优化所述重投影误差，并将优化时获得的所述重投影误差的最小值对应的相机的焦距和畸变参数作为相机的当前焦距和当前畸变参数；

相机外部参数的自校准，包括：

利用vSLAM算法获取相机位置的移动轨迹，并将所述相机位置的移动轨迹拟合成一个平面；

获取该平面与水平面的夹角并将该夹角作为相机的仰角。

2.根据权利要求1所述的相机自校准方法，其特征在于，所述相机内部参数的自校准还包括：

提取各图像中的视觉特征点；

将各图像中的视觉特征点进行匹配获取各图像中由同一个3D特征点投影得到的共有视觉特征点。

3.根据权利要求1所述的相机自校准方法，其特征在于，所述根据预设算法优化所述重投影误差具体包括：

根据梯度下降算法并结合相机的当前焦距和畸变参数、相机的位姿以及所述共有视觉特征点对应的3D特征点位置优化所述重投影误差。

4.根据权利要求1所述的相机自校准方法，其特征在于，将所述相机位置的移动轨迹中垂直于水平面的定位量拟合成所述平面，所述平面的平面方程为：

n_x(x-x₀)+n_y(y-y₀)+n_z(z-z₀)＝0；

其中，x，y，z分别为拟合平面上点的X，Y，Z坐标，x₀，y₀，z₀为相机轨迹中的一点，n_x，n_y，n_z分别为相机平面法向量的X，Y，Z分量。

5.一种相机自校准系统，其特征在于，所述相机自校准系统包括：

图像获取模块，用于获取相机在平移过程中拍摄的多张图像；

相机内部参数的自校准模块，包括：

重投影误差获取单元，用于获取各图像中预期的视觉特征点位置与各所述图像共有的共有视觉特征点的位置之间的距离并将该距离作为重投影误差；

优化单元，用于根据预设算法优化所述重投影误差，并将优化时获得的所述重投影误差的最小值对应的相机的焦距和畸变参数作为相机的当前焦距和当前畸变参数；

相机外部参数的自校准模块，包括：

移动轨迹获取单元，用于利用vSLAM算法获取相机位置的移动轨迹；

平面拟合单元，用于将所述相机位置的移动轨迹拟合成一个平面；

仰角获取单元，用于获取该平面与水平面的夹角并将该夹角作为相机的仰角。

6.根据权利要求5所述的相机自校准系统，其特征在于，所述相机内部参数的自校准模块还包括：

视觉特征点提取单元，用于提取各图像中的视觉特征点；

共用视觉特征点匹配单元，用于将各图像中的视觉特征点进行匹配获取各图像中由同一个3D特征点投影得到的共有视觉特征点。

7.根据权利要求5所述的相机自校准系统，其特征在于，所述优化单元根据梯度下降算法并结合相机的当前焦距和畸变参数、相机的位姿以及所述共有视觉特征点对应的3D特征点位置优化所述重投影误差。

8.根据权利要求5所述的相机自校准系统，其特征在于，所述平面拟合单元将所述相机位置的移动轨迹中垂直于水平面的定位量拟合成所述平面，所述平面的平面方程为：

n_x(x-x₀)+n_y(y-y₀)+n_z(z-z₀)＝0；

9.一种相机，包括处理器和存储器，所述存储器存储有程序指令，其特征在于，所述处理器运行程序指令实现如权利要求1至4任一权利要求所述的方法中的步骤。

10.一种云端服务器，包括处理器和存储器，所述存储器存储有程序指令，其特征在于，所述处理器运行程序指令实现如权利要求1至4任一权利要求所述的方法中的步骤。

11.一种机器人，包括处理器和存储器，所述存储器存储有程序指令，其特征在于，所述处理器运行程序指令实现如权利要求1至4任一权利要求所述的方法中的步骤。

12.一种机器人，与权利要求10中的云端服务器相连，从所述云端服务器获取相机的当前焦距、当前畸变参数以及相机的仰角。

13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至4任一权利要求所述的方法中的步骤。