CN110207722A - 一种自动化标定相机里程计系统及方法 - Google Patents

Abstract

一种自动化标定相机里程计系统及方法，属于机器人及计算机技术领域。以图像传感器获取的客观事物的视觉图像为基础，通过计算机来模拟人的视觉功能，对图像进行识别和理解，进而获取载体的导航信息；视图像传感器即光学相机；将里程计与光学相机连接，形成视觉+里程计组合导航系统，将里程计导航的绝对导航信息与视觉导航的相对导航信息进行融合用于扫地机等轮式机器人。

Description

一种自动化标定相机里程计系统及方法

技术领域

本发明涉及一种自动化标定相机里程计系统及方法，属于机器人及计算机技术领域。

背景技术

在现有视觉+里程计融合的机器人标定方案中，采用离线、分步骤标定的策略，该策略在批量生产的过程中对每台机器人都进行标定则过于繁复。

随着用于个人或商业用途的自动装置(即机器人设备)的广泛使用，对于机器人的效率，智能化的要求越来越高，如对于自主行走机器人来说，要求机器人对于行走路线要有较高效的路径导航和行走路径规划，为了获取更加丰富的环境数据用于机器人的定位导航，机器人行业内，移动机器人搭载的传感器呈现出多样化和融合化的趋势。例如，视觉+惯导、视觉+里程计、视觉+惯导+里程计等等。目前基于视觉SLAM的自主行走机器人能够在室内的场景工作良好，准确完成自主定位和导航，重要的一个环节是机器人所搭载传感器的标定。

发明内容

为了克服现有技术的不足,本发明提供一种自动化标定相机里程计系统及方法。本发明提出了一种优化标定效率的策略，将提高机器人在批量生产时标定效率。

一种自动化标定相机里程计系统，包括图像传感器、里程计传感器、Slam计算模块、标定架及机器人平台；Slam计算模块、图像传感器、里程计传感器即标定架安置在机器人平台上，标定架上装有三块不同角度的标定板。

一种自动化标定相机里程计方法,含有在线自动化标定的策略，将内外参标定步骤集成到一个模块。

一种自动化标定相机里程计方法,含有以下步骤；以图像传感器获取的客观事物的视觉图像为基础，通过计算机来模拟人的视觉功能，对图像进行识别和理解，进而获取载体的导航信息；视图像传感器即光学相机；将里程计与光学相机连接，形成视觉+里程计组合导航系统，将里程计导航的绝对导航信息与视觉导航的相对导航信息进行融合用于扫地机等轮式机器人。

视觉+里程计组合导航系统是建立在相机和里程计安装误差的精密标定基础上的；标定是通过获取传感器参数，并利用这些参数将不同传感器获取的数据统一到一个坐标系下；相机与里程计安装在一起，相机坐标系与里程计坐标系之间存在一个姿态旋转与平移的关系，为相对姿态与相对位置变换。

本发明的优点是解决了视觉+里程计轮式机器人标定时简化过程，实现简单，易于操作。

附图说明

当结合附图考虑时，通过参照下面的详细描述，能够更完整更好地理解本发明以及容易得知其中许多伴随的优点，但此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定，如图其中：

图1为本发明的扫地机标定环境示意图。

图2为本发明的扫地机标定环境参考设计示意之一图。

图3为本发明的扫地机标定环境参考设计示意之二图。

图4为本发明的扫地机标定流程示意图。

图5本发明的未进行标定的扫地机轨迹示意图。

图6为本发明的进行标定后的扫地机轨迹示意图。

下面结合附图和实施例对本发明进一步说明。

具体实施方式

显然，本领域技术人员基于本发明的宗旨所做的许多修改和变化属于本发明的保护范围。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当称元件、组件被“连接”到另一元件、组件时，它可以直接连接到其他元件或者组件，或者也可以存在中间元件或者组件。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的任一单元和全部组合。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与所属领域中的普通技术人员的一般理解相同的意义。

为便于对实施例的理解，下面将结合做进一步的解释说明，且各个实施例并不构成对本发明的限定。

实施例1：如图1、图2、图3、图4、图5及图6所示，一种自动化标定相机里程计系统,包括图像传感器、里程计传感器、Slam计算模块、标定架及机器人平台。

Slam计算模块、图像传感器、里程计传感器即标定架安置在机器人平台上，标定架上装有三块不同角度的标定板。

图像传感器拍摄标定板图像传入Slam计算模块。

Slam计算模块接收图像信息，根据张正友标定法计算出图像传感器的内参矩阵K，

通过相机模型：p＝K[R|t]P；

其中：

p是像点坐标，

P是标定的标定板坐标，

t是相机坐标系和标定板坐标系之间的平移变换，

R是相机坐标系和标定板坐标系之间的旋转变换，

可得：H＝K[R|t]；

H表示的是成像平面和标定板平面之间的单应矩阵，则p＝HP；

设棋盘格所在的平面为世界坐标系中Z＝0的平面，这样棋盘格的任一角点的P的世界坐标为(X,Y,0)，根据小孔相机模型：

其中，s是尺度因子，u、v是特征点的像素坐标，K是相机的内参矩阵，R是旋转矩阵，t是平移向量，X，Y是特征点在世界坐标系x轴和有轴的坐标值，r1是旋转矩阵R的第一列向量，r2是旋转矩阵R的第二列向量，r3是旋转矩阵R的第三列向量，根据平面间的单应性，有：

H＝λK[r₁ r₂ t]

将上面两个等式进行整合，则可以得到单应矩阵H和相机矩阵(包含内参和外参)的相等，如下：

这样就可以使用棋盘平面和成像平面间的单应矩阵来约束相机的内参和外参。

单应矩阵H可以通过棋盘平和成像平面上对应的点计算出来。

判断K计算是否成功：

a.若失败，重新计算K；

b.若成功，启动机器人运行外参标定程序；

机器人启动Slam和里程计进程，并分别各自计算机器人行走里程f(x)、g(x)，比较两个里程计数据，通过BA优化获得最终内参K_p，外参R_p、t_p。

BA优化过程采用信赖域Dog_Leg算法，其过原理如下：

信赖域法实际上是求解一个带约束的优化问题：

要求优化步h限定在一定范围(信赖域Δ)之内，从而保证略去高阶项之后模型足够近似。

实施例2：如图1、图2、图3、图4、图5及图6所示，一种自动化标定相机里程计方法,含有以下步骤；

扫地机器人的内外参标定：

扫地机标定环境：

如图1所示，扫地机标定区域分为内参标定区域和外参标定区域，分别的详细尺寸图中有详细标注。

在标定前需要注意隔离环境尽量使标定过程不受环境光的影响，标定环境中的花纹需要能够多一点，使能达到最好的标定效果。

详细的外参标定要求如下：

扫地机外参标定过程中尽量和移动物体不要靠太近进入其视野。

扫地机外参标定环境光线明亮，白天黑夜对其没明显影响。

扫地机外参标定墙上周围布置一些有格子状有条纹装饰。

如图2、图3所示，标定环境设计可以如下参考设计：

标定地面尽量平整无抖动，将墙壁每个方格装饰成不同条纹，且与周围环境色差尽量大。

如图4所示，扫地机标定流程说明：整体的扫地机标定流程分为内参标定和外参标定，内参标定成功后会进行外参标定，如果语音提示不成功需要重新标定内参，外参标定的过程需要在外参标定区域走回字形，标定成功或者失败都有语音提示。

扫地机标定结构说明：扫地机标定架尺寸：标定板到扫地机的距离可调。注意标定架应尽量摆放在高60cm左右的桌台上进行操作。

同一批次生产的扫地机会给一个固定的外参值，为标定前内外参的初始值，但是在安装的过程中会存在一定的偏差，导致真实外参与给定的初始外参不符，标定后得到内外参的真值。

外参中的旋转矩阵是相机坐标系和里程计坐标系之间的旋转变换，平移向量是两相机坐标系和里程计坐标系之间的距离。

图5为未进行标定的轨迹数据，图6为标定后扫地机运行的轨迹，白色的方格表示扫地机定位初始化失败，浅灰色方格表示扫地机定位成功，灰色线为扫地机运行轨迹。

对比图5与图6，机器人分别用标定前后不同的内外参进行运动时的轨迹可知，未进行标定的扫地机由于无法获取准确的内外参数据，所以定位一直处于失败状态；而通过本发明方法进行标定的扫地则可以准确进行定位。

表明，本发明的标定方法是可行的。

术语：

SLAM(simultaneous localization and mapping),也称为CML(ConcurrentMapping and Localization),即时定位与地图构建，或并发建图与定位。

如上所述，对本发明的实施例进行了详细地说明，但是只要实质上没有脱离本发明的发明点及效果可以有很多的变形，这对本领域的技术人员来说是显而易见的。因此，这样的变形例也全部包含在本发明的保护范围之内。

Claims (6)

1.一种自动化标定相机里程计系统，其特征在于包括图像传感器、里程计传感器、Slam计算模块、标定架及机器人平台；Slam计算模块、图像传感器、里程计传感器即标定架安置在机器人平台上，标定架上装有三块不同角度的标定板。

2.根据权利要求1所述的一种自动化标定相机里程计系统，其特征在于含有在线自动化标定的策略，将内外参标定步骤集成到一个软件程序里面。

3.根据权利要求1所述的一种自动化标定相机里程计系统，其特征在于Slam计算模块、图像传感器、里程计传感器即标定架安置在机器人平台上，标定架上装有三块不同角度的标定板。

4.根据权利要求3所述的一种自动化标定相机里程计系统，其特征在于图像传感器拍摄标定板图像传入Slam计算模块；

Slam计算模块接收图像信息，根据张正友标定法计算出图像传感器的内参矩阵K，

通过相机模型：p＝K[R|t]P；

其中：

p是像点坐标，

P是标定的标定板坐标，

t是相机坐标系和标定板坐标系之间的平移变换，

R是相机坐标系和标定板坐标系之间的旋转变换，

可得：H＝K[R|t]；

H表示的是成像平面和标定板平面之间的单应矩阵，则p＝HP；

设棋盘格所在的平面为世界坐标系中Z＝0的平面，这样棋盘格的任一角点的P的世界坐标为(X,Y,0)，根据小孔相机模型：

其中，s是尺度因子，u、v是特征点的像素坐标，K是相机的内参矩阵，R是旋转矩阵，t是平移向量，X，Y是特征点在世界坐标系x轴和有轴的坐标值，r1是旋转矩阵R的第一列向量，r2是旋转矩阵R的第二列向量，r3是旋转矩阵R的第三列向量，根据平面间的单应性，有：

H＝λK[r₁ r₂ t]

将上面两个等式进行整合，则可以得到单应矩阵H和相机矩阵(包含内参和外参)的相等，如下：

这样就可以使用棋盘平面和成像平面间的单应矩阵来约束相机的内参和外参；

单应矩阵H可以通过棋盘平和成像平面上对应的点计算出来；

判断K计算是否成功：

a.若失败，重新计算K；

b.若成功，启动机器人运行外参标定程序；

机器人启动Slam和里程计进程，并分别各自计算机器人行走里程f(x)、g(x)，比较两个里程计数据，通过BA优化获得最终内参K_p，外参R_p、t_p；

BA优化过程采用信赖域Dog_Leg算法，其过原理如下：

信赖域法实际上是求解一个带约束的优化问题：

要求优化步h限定在一定范围(信赖域Δ)之内，从而保证略去高阶项之后模型足够近似。

5.一种自动化标定相机里程计方法,其特征在于含有以下步骤；以图像传感器获取的客观事物的视觉图像为基础，通过计算机来模拟人的视觉功能，对图像进行识别和理解，进而获取载体的导航信息；视图像传感器即光学相机；将里程计与光学相机连接，形成视觉+里程计组合导航系统，将里程计导航的绝对导航信息与视觉导航的相对导航信息进行融合用于扫地机等轮式机器人。

6.根据权利要求5所述的一种自动化标定相机里程计方法，其特征在于视觉+里程计组合导航系统是建立在相机和里程计安装误差的精密标定基础上的；标定是通过获取传感器参数，并利用这些参数将不同传感器获取的数据统一到一个坐标系下；相机与里程计安装在一起，相机坐标系与里程计坐标系之间存在一个姿态旋转与平移的关系，为相对姿态与相对位置变换。