CN103279949B - 基于自定位机器人的多相机参数自动标定系统运行方法 - Google Patents

Abstract

本发明公开了一种基于自定位机器人的多相机参数自动标定系统运行方法。自定位机器人携带标记点在离线构建的环境地图中巡航并进行自定位，得到世界坐标，主控机采集相机图像并进行图像处理，得到标记点的图像坐标，结合8个以上世界坐标与对应图像坐标的点对数据，主控机就可以自动地进行相机的参数标定。本发明的最大特点在于能自动地对分布固定的多相机进行参数标定，大大降低人力标定成本，提高标定过程的规范化和精度，并且本发明可在现有监控系统基础上非常便捷地升级实现，相机标定的结果是应用于监控和视觉系统的高级智能算法的基础，因此在未来的道路交通、办公楼道、厂房厂区、公共安保等监控系统中有非常广泛的应用推广前景。

Description

基于自定位机器人的多相机参数自动标定系统运行方法

技术领域

本发明涉及一种基于自定位机器人的多相机参数自动标定系统运行方法。

背景技术

近年来，视觉系统在人类生产生活中越来越普及，而大范围的视频监控系统更是广泛应用于生产过程监控、厂房厂区监控、小区监控、公共场馆监控、道路交通监控等领域，在奥运会、世博会等大型活动的安保工作中也起了重大的作用。可以说，视觉监控已经几乎遍布城市公共场合，在未来还会有越来越多的推广应用，并发挥更重要的作用。

目前的视频监控系统仍处于较初级的应用水平，虽然可以提供一些车牌检测、运动物体提醒等实用功能，但基本还是需要依靠人工的参与来进行视频中场景的判断和分析，更多的时候视频监控系统承担的只是记录、播放和回放的角色功能，远远没有发挥其应用潜力。

随着计算机运算能力的提升和图像处理算法的发展，对大规模的视频图像数据进行自动分析和理解判断已经成为可能，可以预见随着智能算法在视频系统的应用，目前的视频监控系统将发生巨大的变革和功能的提升。而对视频图像的理解有个重要且必要的基础是将图像中的物体与现实世界联系起来，即对视频中感兴趣的目标需要能够知道其在真实世界中的位置，这就需要知道相机的图像坐标与世界坐标的对应关系，即需要标定相机的内外参数和畸变参数。

而现在虽然对相机的标定有了非常成熟的算法和操作流程，但是都需要人工的参与，如制作和摆放标定板、设置标定点世界坐标等，对于动辄上千数目相机的大规模视觉监控系统，这个工作量是非常巨大且容易出错的。

基于此，本发明提出一种基于具有自定位功能的机器人的多相机标定系统，利用现在已较成熟的自定位机器人携带特定标记点，在视频监控范围内按指定路径巡航，提供实时的自定位数据（即标记点的世界坐标），而视频监控系统则通过图像处理过程获得机器人携带标记点在各相机图像中的图像坐标，通过多个匹配对应的图像坐标和世界坐标点对数据就可以计算出各相机的参数。

发明内容

本发明的目的是提供一种基于自定位机器人的多相机参数自动标定系统运行方法。

基于自定位机器人的多相机参数自动标定系统运行方法的步骤如下

1）搭建基于自定位机器人的多相机参数自动标定系统，它包括主控机、视觉软件运行系统环境、相机视频采集设备、多个相机、无线网络通讯设备、自定位机器人；多个相机通过视频采集设备与主控机相连，由视觉软件运行系统环境进行对多个相机的视频图像采集及图像处理，所述视觉软件运行系统环境包括相机在操作系统下的驱动、相机视频的采集软件、视频图像处理软件、相机参数标定软件合集，多相机分布固定在所监控区域的上空，视野交叉覆盖所需监控的区域，自定位机器人携带特定标记点在监控视野范围内巡航运动及进行自定位，自定位数据和其它信息通过无线网络通讯设备与主控机进行通讯交互，最终的标定结果存放在主控机中；

2）人工控制自定位机器人对有效监控区域的环境进行地图构建；

3）运行视觉软件运行系统环境，主控机实时采集多个相机的视频图像；

4）人工指定自定位机器人巡航需要经过的关键点；

5）自定位机器人自动规划运动路径进行巡航，每运行一段距离后自动停下，进行精确的自定位，并发送自定位结果到主控机；

6）主控机接收到自定位数据后，调用视觉软件运行系统环境中图像处理方法，寻找视野内出现自定位机器人标记点的相机，并将识别到该标记点的图像坐标与世界坐标点对记录到对应的相机列表下；

7）主控机通知自定位机器人继续运动，重复步骤5）与步骤6）直到自定位机器人巡游完成全部指定的轨迹；

8）主控机接收到自定位机器人结束指令后，读取记录的所有相机点对列表，调用运行视觉软件运行系统环境的标定功能模块计算各相机的内外参数和畸变参数并保存。

所述的步骤2）为：离线在要构建地图的环境中人工控制自定位机器人移动并记录其激光传感器和里程计数据，扫描完成整个环境后，将所有的记录数据利用基于粒子滤波的栅格地图构建方法进行栅格地图构建，并将所构建栅格地图的坐标系与人类环境理解和定义的世界坐标系进行对应匹配。

所述的步骤4）为：人工指定自定位机器人巡航所需要经过在栅格地图中的关键点，自定位机器人在离线构建的栅格地图上生成四叉树地图，利用快速扩展随机树方法在四叉树地图中对自定位机器人从每个关键点到下一个关键点的路径进行规划，根据这些关键点所生成路径使得自定位机器人的多次经过每个相机4的视野范围。

所述的步骤5）为：自定位机器人在离线构建的栅格地图上生成四叉树地图，在四叉树地图中对当前位置到下一个关键点的运动路径利用快速扩展随机树方法进行路径规划，利用橡皮筋方法进行轨迹生成，从而得到可以按照指定的关键点进行运动的运动指令。自定位机器人每运行一端距离自动停下，采用粒子滤波方法结合当前激光传感器和里程计数据与栅格地图进行概率匹配，得到高精度的自定位结果。当前的自定位结果通过网络发送到主控机。

所述的步骤6）为：主控机中为每个相机建立了一个世界坐标与图像坐标的点对列表，其中世界坐标为自定位机器人的自定位结果，图像坐标为自定位机器人处于该世界坐标时在每个相机的图像中所在的图像位置，若此时自定位机器人不在某个相机的视野中，则不记录到该相机的点对列表中，当主控机接收到网络上来自自定位机器人的自定位数据后，调用视觉软件运行系统环境中图像处理方法，自定位机器人上携带有特定标定点便于图像检测识别，寻找某个相机4图像中出现自定位机器人标记点的图像坐标时，将识别到该标记点的图像坐标结果与接收到的世界坐标点对记录到对应的相机列表下；

所述的步骤8）为：当自定位机器人巡航完成所有步骤4）中人工指定的关键点后，自定位机器人发送一个结束指令的到主控机。主控机接收到自定位机器人结束指令，读取步骤6）中记录的所有相机的点对列表数据，相机的参数包括11个内外参数和4个畸变参数，共15个参数，每个世界坐标和相机坐标点对可以建立2个方程，若相机的点对数据包含8个以上点对，调用运行视觉软件运行系统环境的标定功能模块可计算相机的内外参数和畸变参数并保存。

本发明与现有技术相比具有的有益效果：

1）本发明替代传统人工进行大量相机标定所需的时间人力成本及技术要求，及人工可能出现的失误操作的弊端。使得大规模相机标定及后期高级智能功能的推广和应用成为了可能；

2）本发明可以应用于办公楼监控、道路交通、小区监控、公共场合安保等所有的监控系统中，在现有的监控平台上只需额外增加一台主控机及自定位机器人，升级便捷，成本低，便于大规模应用；

3）本发明是一种非常实用、有效的多相机自动标定系统运行方法，具有很好的应用推广前景。

附图说明

图1是基于自定位机器人的多相机参数自动标定系统结构框图；

图2是本发明的运行流程图；

图3是本发明的相机成像建模示意图；

图4是本发明的地图、相机分布及机器人巡航轨迹示意图；

图5是本发明的机器人自定位示意图。

具体实施方式

下面结合附图，详细描述本发明利用标定机器人的自定位结果与图像处理结果结合，实现对固定相机的内外参数和畸变参数进行自动标定的过程。

如图1、2所示，基于自定位机器人的多相机参数自动标定系统运行方法的步骤如下

1）搭建基于自定位机器人的多相机参数自动标定系统，它包括主控机1、视觉软件运行系统环境2、相机视频采集设备3、多个相机4、无线网络通讯设备5、自定位机器人6；多个相机4通过视频采集设备3与主控机1相连，由视觉软件运行系统环境2进行对多个相机4的视频图像采集及图像处理，所述视觉软件运行系统环境2如图2中的虚框部分所示，包括相机4在操作系统下的驱动、相机4视频的采集软件、视频图像处理软件、相机参数标定软件合集，多相机4分布固定在所监控区域的上空，视野交叉覆盖所需监控的区域，自定位机器人6携带特定标记点在监控视野范围内巡航运动及进行自定位，自定位数据和其它信息通过无线网络通讯设备5与主控机1进行通讯交互，最终的标定结果存放在主控机1中；

2）人工控制自定位机器人6对有效监控区域的环境进行地图构建；

3）运行视觉软件运行系统环境2，主控机1实时采集多个相机4的视频图像；

4）人工指定自定位机器人6巡航需要经过的关键点；

5）自定位机器人6自动规划运动路径进行巡航，每运行一段距离后自动停下，进行精确的自定位，并发送自定位结果到主控机1；

6）主控机1接收到自定位数据后，调用视觉软件运行系统环境2中图像处理方法，寻找视野内出现自定位机器人6标记点的相机4，并将识别到该标记点的图像坐标与世界坐标点对记录到对应的相机4列表下；

7）主控机1通知自定位机器人6继续运动，重复步骤5）与步骤6）直到自定位机器人6巡游完成全部指定的轨迹；

8）主控机1接收到自定位机器人6结束指令后，读取记录的所有相机4点对列表，调用运行视觉软件运行系统环境2的标定功能模块计算各相机4的内外参数和畸变参数并保存。

所述的步骤2）为：离线在要构建地图的环境中人工控制自定位机器人6移动并记录其激光传感器和里程计数据，扫描完成整个环境后，将所有的记录数据利用基于粒子滤波的栅格地图构建方法进行栅格地图构建，并将所构建栅格地图的坐标系与人类环境理解和定义的世界坐标系进行对应匹配。其中粒子滤波方法的思想基于蒙特卡洛方法，利用粒子集来表示概率，寻找一组在状态空间传播的随机样本对概率密度函数进行近似，以样本均值代替积分运算从而获得状态最小方差分布，采用粒子滤波进行栅格地图构建方法可参考浙江大学王文斐博士2011年博士论文《面向室内动态环境的机器人定位与地图构建》一文。

所述的步骤4）为：人工指定自定位机器人6巡航所需要经过在栅格地图中的关键点，自定位机器人6在离线构建的栅格地图上生成四叉树地图，利用快速扩展随机树方法在四叉树地图中对自定位机器人6从每个关键点到下一个关键点的路径进行规划，根据这些关键点所生成路径使得自定位机器人6的多次经过每个相机4的视野范围。其中四叉树是一种节点最多有四个子树的数据结构，四叉树地图构建指将地图的空间定量划大小可变的区域，对于地图空旷区域用大的节点表示以节省空间，对于障碍物较多的区域用小的节点细分表示以提供更多的细节，其中扩展随机树算法是一种多维空间中有效率的规划方法，以一个初始点为根节点，通过随机采样增加叶子节点的方式，生成一个扩展随机树，当随机树中的叶子节点包含了目标点或进入了目标区域，就可以在随机树中找到一条由初始点到目标点的路径，基于随机扩展树进行机器人路径规划的方法可参考大连理工大学贾菁辉的2009年硕士论文《移动机器人的路径规划与安全导航》一文。

所述的步骤5）为：自定位机器人6在离线构建的栅格地图上生成四叉树地图，在四叉树地图中对当前位置到下一个关键点的运动路径利用快速扩展随机树方法进行路径规划，利用橡皮筋方法进行轨迹生成，从而得到可以按照指定的关键点进行运动的运动指令。自定位机器人6每运行一端距离自动停下，采用粒子滤波方法结合当前激光传感器和里程计数据与栅格地图进行概率匹配，得到高精度的自定位结果。当前的自定位结果通过网络发送到主控机1。其中橡皮筋方法即Rubberband方法，用于近似求解平面简单多边形内两点之间最短路径的问题，具体可参考大连海事大学郑毅的2012年硕士论文《访问平面内线段序列ESP问题求解算法研究》一文。其中基于粒子滤波方法进行自定位的方法可参考浙江大学王文斐博士2011年博士论文《面向室内动态环境的机器人定位与地图构建》一文。

所述的步骤6）为：主控机1中为每个相机4建立了一个世界坐标与图像坐标的点对列表，其中世界坐标为自定位机器人6的自定位结果，图像坐标为自定位机器人6处于该世界坐标时在每个相机4的图像中所在的图像位置，若此时自定位机器人6不在某个相机4的视野中，则不记录到该相机4的点对列表中，当主控机1接收到网络上来自自定位机器人6的自定位数据后，调用视觉软件运行系统环境2中图像处理方法，自定位机器人6上携带有特定标定点便于图像检测识别，寻找某个相机4图像中出现自定位机器人6标记点的图像坐标时，将识别到该标记点的图像坐标结果与接收到的世界坐标点对记录到对应的相机4列表下；

所述的步骤8）为：当自定位机器人6巡航完成所有步骤4）中人工指定的关键点后，自定位机器人6发送一个结束指令的到主控机1。主控机1接收到自定位机器人6结束指令，读取步骤6）中记录的所有相机4的点对列表数据，相机4的参数包括11个内外参数和4个畸变参数，共15个参数，每个世界坐标和相机坐标点对可以建立2个方程，若相机4的点对数据包含8个以上点对，调用运行视觉软件运行系统环境2的标定功能模块可计算相机4的内外参数和畸变参数并保存。关于相机参数模型和标定的方法可参考张正友的论文《AFlexible New Technique for Camera Calibration》一文及图像处理开源库OpenCV1.0的相机标定部分文档。

如图3所示，相机成像建模中涉及到三个坐标系之间的转换：世界坐标系O'XYZ,相机坐标系Oxyz和图像坐标系uv。相机的成像模型基于小孔模型，其参数包含相机内参数、外参数和畸变参数，其中外参数表示世界坐标系与相机坐标系之间的转换关系为：

$\left[\begin{array}{c}x\\ y\\ z\end{array}\right]=R\left[\begin{array}{c}X\\ Y\\ Z\end{array}\right]+T---\left(1\right)$

其中，[x y z]^T表示相机坐标系坐标，[X Y Z]^T表示世界坐标系坐标，R和T为相机的外参：旋转矩阵与平移矩阵，各包含3个变量，即外参有6个变量。

相机内参数表示相机坐标系与图像坐标系之间的理想转换关系：

$s\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=A\left[\begin{array}{c}x\\ y\\ z\end{array}\right]---\left(2\right)$

其中，[u v]^T为图像坐标，A为相机的内参矩阵，包含光心坐标和焦距，s为缩放因子，内参共计5个变量。

而由于小孔模型的简化及相机镜头中棱镜的加工和组装误差，相机的成像存在着畸变，最主要的有径向畸变和切向畸变，为在保证精度的前提下简化运算，取其低次项参数：

x''＝x'×(1+k₁r²+k₂r⁴)+2p₁x'y'+p₂(r²+2x'²)

y''＝y'×(1+k₁r²+k₂r⁴)+2p₂x'y'+p₁(r²+2y'²)         （3）

其中x'＝x/z，y'＝y/z，r²＝x'²+y'²

上式中的x''和y''为畸变后用于计算图像坐标的坐标点：

$\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=A\left[\begin{array}{c}{x}^{\′\′}\\ y^{\′\′}\\ 1\end{array}\right]---\left(4\right)$

由此，畸变参数包含4个变量。因此相机参数总共包含了15个变量未知数，而每个点对包含了2个方程，需要8个以上的不共线点对就能进行相机参数的运算。

如图4所示，带有激光和里程计传感器机器人构建的地图为二维栅格地图，由点和线组成。通过人为控制其扫描地图路径可以将相机监控区域的环境都构建起来。图中带有数字标号的虚线框代表各相机所监控的区域，为了完整监控，各相机视野范围应稍有交叉。为了对每个相机都进行有效标定，自动标定过程中机器人的巡航路径应多次往返于每个相机的视野范围中，如图中带箭头的线段所示。

如图5所示，机器人在环境运动过程中，实时采集激光和里程计传感器信息，将当前和历史传感信息与实现构建的地图进行匹配，结合粒子滤波算法，获得符合传感观测信息的概率最大的当前机器人位置坐标和朝向。

由此，机器人按照人为设置的路径自动巡航结束后，主控机将收集到对应每个相机的多个标记点世界坐标—图像坐标点对，根据相机建模方程分析，8个以上的不共线点对就可以对相机的内外参数及畸变参数进行标定。

综上所述，实现了一套基于自定位机器人的多相机参数自动标定的系统，标定过程完全自主，只需人工参与事先的地图构建和路径设定部分，从而大大减低了人工成本，提高了标定过程的规范化和精确性。

Claims (4)

1.一种基于自定位机器人的多相机参数自动标定系统运行方法，其特征在于它的步骤如下

1）搭建基于自定位机器人的多相机参数自动标定系统，它包括主控机（1）、视觉软件运行系统环境（2）、相机视频采集设备（3）、多个相机（4）、无线网络通讯设备（5）、自定位机器人（6）；多个相机（4）通过视频采集设备（3）与主控机（1）相连，由视觉软件运行系统环境（2）进行对多个相机（4）的视频图像采集及图像处理，所述视觉软件运行系统环境（2）包括相机（4）在操作系统下的驱动、相机（4）视频的采集软件、视频图像处理软件、相机参数标定软件合集，多相机（4）分布固定在所监控区域的上空，视野交叉覆盖所需监控的区域，自定位机器人（6）携带特定标记点在监控视野范围内巡航运动及进行自定位，自定位数据和其它信息通过无线网络通讯设备（5）与主控机（1）进行通讯交互，最终的标定结果存放在主控机（1）中；

2）人工控制自定位机器人（6）对有效监控区域的环境进行地图构建；

3）运行视觉软件运行系统环境（2），主控机（1）实时采集多个相机（4）的视频图像；

4）人工指定自定位机器人（6）巡航需要经过的关键点；

5）自定位机器人（6）自动规划运动路径进行巡航，每运行一段距离后自动停下，进行精确的自定位，并发送自定位结果到主控机（1）；

6）主控机（1）接收到自定位数据后，调用视觉软件运行系统环境（2）中图像处理方法，寻找视野内出现自定位机器人（6）标记点的相机（4），并将识别到该标记点的图像坐标与世界坐标点对记录到对应的相机（4）列表下；

7）主控机（1）通知自定位机器人（6）继续运动，重复步骤5）与步骤6）直到自定位机器人（6）巡游完成全部指定的轨迹；

8）主控机（1）接收到自定位机器人（6）结束指令后，读取记录的所有相机（4）点对列表，调用运行视觉软件运行系统环境（2）的标定功能模块计算各相机（4）的内外参数和畸变参数并保存；

所述的步骤2）为：离线在要构建地图的环境中人工控制自定位机器人（6）移动并记录其激光传感器和里程计数据，扫描完成整个环境后，将所有的记录数据利用基于粒子滤波的栅格地图构建方法进行栅格地图构建，并将所构建栅格地图的坐标系与人类环境理解和定义的世界坐标系进行对应匹配；

所述的步骤5）为：自定位机器人（6）在离线构建的栅格地图上生成四叉树地图，在四叉树地图中对当前位置到下一个关键点的运动路径利用快速扩展随机树方法进行路径规划，利用橡皮筋方法进行轨迹生成，从而得到可以按照指定的关键点进行运动的运动指令，自定位机器人（6）每运行一端距离自动停下，采用粒子滤波方法结合当前激光传感器和里程计数据与栅格地图进行概率匹配，得到高精度的自定位结果，当前的自定位结果通过网络发送到主控机（1）。

2. 根据权利要求1所述的基于自定位机器人的多相机参数自动标定系统运行方法，其特征在于，所述的步骤4）为：人工指定自定位机器人（6）巡航所需要经过在栅格地图中的关键点，自定位机器人（6）在离线构建的栅格地图上生成四叉树地图，利用快速扩展随机树方法在四叉树地图中对自定位机器人（6）从每个关键点到下一个关键点的路径进行规划，根据这些关键点所生成路径使得自定位机器人（6）的多次经过每个相机（4）的视野范围。

3. 根据权利要求1所述的基于自定位机器人的多相机参数自动标定系统运行方法，其特征在于，所述的步骤6）为：主控机（1）中为每个相机（4）建立了一个世界坐标与图像坐标的点对列表，其中世界坐标为自定位机器人（6）的自定位结果，图像坐标为自定位机器人（6）处于该世界坐标时在每个相机4的图像中所在的图像位置，若此时自定位机器人（6）不在某个相机（4）的视野中，则不记录到该相机（4）的点对列表中，当主控机（1）接收到网络上来自自定位机器人（6）的自定位数据后，调用视觉软件运行系统环境（2）中图像处理方法，自定位机器人（6）上携带有特定标定点便于图像检测识别，寻找某个相机（4）图像中出现自定位机器人（6）标记点的图像坐标时，将识别到该标记点的图像坐标结果与接收到的世界坐标点对记录到对应的相机（4）列表下。

4. 根据权利要求1所述的基于自定位机器人的多相机参数自动标定系统运行方法，其特征在于，所述的步骤8）为：当自定位机器人（6）巡航完成所有步骤4）中人工指定的关键点后，自定位机器人（6）发送一个结束指令的到主控机（1），主控机（1）接收到自定位机器人（6）结束指令，读取步骤6）中记录的所有相机（4）的点对列表数据，相机（4）的参数包括11个内外参数和4个畸变参数，共15个参数，每个世界坐标和相机坐标点对可以建立2个方程，若相机（4）的点对数据包含8个以上点对，调用运行视觉软件运行系统环境（2）的标定功能模块可计算相机（4）的内外参数和畸变参数并保存。