CN107728617A - 多目在线标定方法、可移动机器人及系统 - Google Patents
多目在线标定方法、可移动机器人及系统 Download PDFInfo
- Publication number
- CN107728617A CN107728617A CN201710891665.XA CN201710891665A CN107728617A CN 107728617 A CN107728617 A CN 107728617A CN 201710891665 A CN201710891665 A CN 201710891665A CN 107728617 A CN107728617 A CN 107728617A
- Authority
- CN
- China
- Prior art keywords
- capture apparatus
- mark
- image
- ginseng
- shot
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 143
- 241000208340 Araliaceae Species 0.000 claims abstract description 184
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 claims abstract description 184
- 235000003140 Panax quinquefolius Nutrition 0.000 claims abstract description 184
- 235000008434 ginseng Nutrition 0.000 claims abstract description 184
- 238000007689 inspection Methods 0.000 claims description 44
- 230000003247 decreasing effect Effects 0.000 claims description 17
- 230000033001 locomotion Effects 0.000 claims description 16
- 238000001514 detection method Methods 0.000 claims description 15
- 235000013399 edible fruits Nutrition 0.000 claims description 5
- 239000011159 matrix material Substances 0.000 description 27
- 230000009466 transformation Effects 0.000 description 26
- 230000008569 process Effects 0.000 description 20
- 238000012545 processing Methods 0.000 description 17
- 238000012360 testing method Methods 0.000 description 9
- 230000008450 motivation Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000004888 barrier function Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 2
- 230000005611 electricity Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000009545 invasion Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0242—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using non-visible light signals, e.g. IR or UV signals
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
- G05D1/0253—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting relative motion information from a plurality of images taken successively, e.g. visual odometry, optical flow
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Studio Devices (AREA)
- Manipulator (AREA)
Abstract
本发明实施例提供一种多目在线标定方法、可移动机器人及系统。该方法包括：获取可移动机器人上安装的至少两个拍摄设备中每个拍摄设备拍摄的标志物的图像；根据至少两个拍摄设备中每个拍摄设备拍摄的标志物的图像,对所述至少两个拍摄设备之间的外参进行标定。本发明实施例通过可移动机器人上安装的至少两个拍摄设备中每个拍摄设备拍摄的标志物的图像，对至少两个拍摄设备之间的外参进行标定，实现了多目在线标定外参的方法，提高了基于外参的应用精度，有效避免了由于外参发生变化而影响到可移动机器人的性能。
Description
技术领域
本发明实施例涉及人工智能领域，尤其涉及一种多目在线标定方法、可移动机器人及系统。
背景技术
可移动机器人在日常生活中的应用已经变得越来越普遍，例如，可移动机器人被应用于移动巡逻，可移动机器人可以在巡逻区域内自主移动，实时监测周围环境中的异常状况，例如监测周围环境中是否有非法入侵者入侵、是否有人跌倒等。
现有技术中，可移动机器人配置有多目视觉传感器，多目视觉传感器具体可以是第一摄像机和第二摄像机，可移动机器人根据第一摄像机和第二摄像机拍摄到的图像确定可移动机器人所处的位置，并根据可移动机器人所处的位置辅助其自主移动。在可移动机器人自主移动的过程中，需要确定第一摄像机和第二摄像机之间的外参，也就是第一摄像机和第二摄像机之间的相对位姿变换关系。在可移动机器人出厂前，其第一摄像机和第二摄像机之间的外参已经进行过离线标定，并将第一摄像机和第二摄像机通过严格高精度的机械结构进行了固定，使得第一摄像机和第二摄像机之间的外参固化在可移动机器人系统中。
但是，如果可移动机器人发生了意外事故，例如和其他可移动机器人发生了碰撞，或者是可移动机器人撞向了其他障碍物，就会导致第一摄像机和第二摄像机之间的外参发生变化，从而导致基于外参的应用精度降低，甚至可能影响到可移动机器人的性能。
发明内容
本发明实施例提供一种多目在线标定方法、可移动机器人及系统，以提高基于外参的应用精度，避免影响到可移动机器人的性能。
本发明实施例的一个方面是提供一种多目在线标定方法，包括：
获取可移动机器人上安装的至少两个拍摄设备中每个拍摄设备拍摄的标志物的图像；
根据至少两个拍摄设备中每个拍摄设备拍摄的标志物的图像,对所述至少两个拍摄设备之间的外参进行标定。
本发明实施例的另一个方面是提供一种可移动机器人，包括：
机身；
底盘，与机身连接，用于提供所述机身移动的动力；
至少两个拍摄设备；及
处理器；
所述处理器用于：
获取可移动机器人上安装的至少两个拍摄设备中每个拍摄设备拍摄的标志物的图像；
根据至少两个拍摄设备中每个拍摄设备拍摄的标志物的图像,对所述至少两个拍摄设备之间的外参进行标定。
本发明实施例的另一个方面是提供一种多目在线标定系统，包括所述的可移动机器人和所述的标志物。
本发明实施例提供的多目在线标定方法、可移动机器人及系统，通过可移动机器人上安装的至少两个拍摄设备中每个拍摄设备拍摄的标志物的图像，对至少两个拍摄设备之间的外参进行标定，实现了多目在线标定外参的方法，提高了基于外参的应用精度，有效避免了由于外参发生变化而影响到可移动机器人的性能。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1为本发明实施例提供的多目在线标定方法流程图；
图2为本发明实施例提供的适用于多目在线标定方法的场景示意图；
图3为本发明另一实施例提供的多目在线标定方法流程图；
图4为本发明另一实施例提供的多目在线标定方法流程图；
图5为本发明另一实施例提供的多目在线标定方法流程图；
图6为本发明另一实施例提供的多目在线标定方法流程图；
图7为本发明另一实施例提供的多目在线标定方法流程图；
图8为本发明另一实施例提供的多目在线标定方法流程图；
图9为本发明实施例提供的可移动机器人的结构图；
图10为本发明实施例提供的多目在线标定系统的结构图。
通过上述附图，已示出本公开明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围，而是通过参考特定实施例为本领域技术人员说明本公开的概念。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
现有技术中，可移动机器人配置有多目视觉传感器，多目视觉传感器具体可以是第一摄像机和第二摄像机，可移动机器人根据第一摄像机和第二摄像机拍摄到的图像确定可移动机器人所处的位置，并根据可移动机器人所处的位置辅助其自主移动。在可移动机器人自主移动的过程中，需要确定第一摄像机和第二摄像机之间的外参，也就是第一摄像机和第二摄像机之间的相对位姿变换关系。在可移动机器人出厂前，其第一摄像机和第二摄像机之间的外参已经进行过离线标定，并将第一摄像机和第二摄像机通过严格高精度的机械结构进行了固定，使得第一摄像机和第二摄像机之间的外参固化在可移动机器人系统中。
但是，如果可移动机器人发生了意外事故，例如和其他可移动机器人发生了碰撞，或者是可移动机器人撞向了其他障碍物，就会导致第一摄像机和第二摄像机之间的外参发生变化，从而导致基于外参的应用精度降低，甚至可能影响到可移动机器人的性能。为了解决该问题，本发明实施例提供了一种多目在线标定方法。
下面以具体地实施例对本发明的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本发明的实施例进行描述。
图1为本发明实施例提供的多目在线标定方法流程图。本发明实施例针对现有技术的如上技术问题，提供了多目在线标定方法，该多目在线标定方法适用于可移动机器人，可移动机器人包括：机身、底盘、至少两个拍摄设备、处理器，处理器具体可以是图像处理单元，其中，底盘与机身连接，用于提供所述机身移动的动力。本实施例提供的多目在线标定方法的执行主体可以是可移动机器人的图像处理单元。由于可移动机器人和其他可移动机器人发生了碰撞，或者是可移动机器人撞向了其他障碍物，就会导致至少两个拍摄设备之间的外参发生变化，从而导致基于外参的应用精度降低，甚至可能影响到可移动机器人的性能，因此，需要对至少两个拍摄设备之间的外参进行标定，也就是说图像处理单元需要执行本实施例提供的多目在线标定方法的流程。图像处理单元可以实时执行多目在线标定方法的流程，也就是说，图像处理单元可以实时对至少两个拍摄设备之间的外参进行标定；图像处理单元也可以周期性的执行多目在线标定方法的流程；图像处理单元还可以在触发条件满足的情况下执行多目在线标定方法的流程。
在本实施例中，至少两个拍摄设备可以有如下几种可能的情况：
一种可能的情况是：至少两个拍摄设备包括第一拍摄设备和第二拍摄设备。
另一种可能的情况是：至少两个拍摄设备包括第一拍摄设备、第二拍摄设备和第三拍摄设备。
在其他实施例中，至少两个拍摄设备还可以包括三个以上的拍摄设备。
下面以至少两个拍摄设备包括第一拍摄设备和第二拍摄设备为例，介绍触发图像处理单元执行多目在线标定方法的几种可能的触发方式：
一种可能的触发方式是：当可移动机器人需要充电、向充电设备移动的过程中，触发图像处理单元执行多目在线标定方法的流程。具体的，标志物设置在用于给所述可移动机器人充电的充电设备上；在所述可移动机器人向所述充电设备移动的过程中，控制所述第一拍摄设备拍摄所述充电设备上的所述标志物，以及控制所述第二拍摄设备拍摄所述充电设备上的所述标志物。
如图2所示，可移动机器人20包括第一拍摄设备21、第二拍摄设备22、处理器23，其中，第一拍摄设备21具体可以是第一摄像机、第二拍摄设备22具体可以是第二摄像机，处理器23具体可以是图像处理单元。24表示用于给可移动机器人20充电的充电设备，充电设备24上设置有标志物25，在本实施例中，标志物25也可以称为标定模板，标定模板具体可以是一个打印在A4纸上的6×8或8×8的黑白棋盘格。
可选的，可移动机器人20中预先存储有充电设备24的位置信息(比如在可移动机器人在工作过程中通过红外、摄像机、超声波等方式“看到”充电设备并存储其位置信息，即使充电设备的位置发生变化，也不妨碍可移动机器人返回充电装置)，当可移动机器人20的电量下降到预设电量门限值时，可移动机器人20根据充电设备24的位置信息向充电设备24移动，即可移动机器人20根据充电设备24的位置信息逐渐向充电设备24靠近，在可移动机器人20向充电设备24移动过程中，可移动机器人20控制第一拍摄设备21拍摄充电设备24上的标志物25，以及控制第二拍摄设备22拍摄充电设备24上的标志物25。处理器23获取第一拍摄设备21拍摄到的第一图像，以及获取第二拍摄设备22拍摄到的第二图像，处理器23对第一图像中的标志物25进行检测识别，同时对第二图像中的标志物25进行检测识别，若第一图像和第二图像中至少有一个图像中没有标志物25，或者第一图像和第二图像中至少有一个图像中的标志物25不完整，则可移动机器人20再次控制第一拍摄设备21拍摄充电设备24上的标志物25，以及控制第二拍摄设备22拍摄充电设备24上的标志物25，直到第一图像和第二图像中都包括完整的标志物25。
在可移动机器人20向充电设备24移动过程中，第一拍摄设备21和第二拍摄设备22可以各拍摄一张包括完整的标志物25的图像，也可以各拍摄多张包括完整的标志物25的图像。
在可移动机器人20向充电设备24移动过程中，若第一拍摄设备21和第二拍摄设备22各拍摄一张包括完整的标志物25的图像，则可移动机器人20可以在移动过程中实时检测第一拍摄设备21的拍摄画面中是否包括完整的标志物25，以及实时检测第二拍摄设备22的拍摄画面中是否包括完整的标志物25，当第一拍摄设备21的拍摄画面和第二拍摄设备22的拍摄画面中同时包括完整的标志物25时，可移动机器人20可以停止运动，以控制第一拍摄设备21拍摄充电设备24上的标志物25，以及控制第二拍摄设备22拍摄充电设备24上的标志物25；此时，可移动机器人20停止运动是为了第一拍摄设备21和第二拍摄设备22拍摄到的标志物25清楚不抖动；当然可移动机器人20在第一拍摄设备21和第二拍摄设备22拍摄过程中也可以不停止运动，只是此时第一拍摄设备21与第二拍摄设备22需同时拍摄标志物25。
在可移动机器人20向充电设备24移动过程中，若第一拍摄设备21和第二拍摄设备22各拍摄多张包括完整的标志物25的图像，则当可移动机器人20移动到第一位置时，若第一拍摄设备21的拍摄画面和第二拍摄设备22的拍摄画面中同时包括完整的标志物25，此时，可移动机器人20停止运动或者不停止运动，假设第一拍摄设备21和第二拍摄设备22同时拍摄的画面中包含完整的标志物25时可移动机器人20处于第一姿态，在可移动机器人20处于第一姿态时，控制第一拍摄设备21拍摄标志物25得到第一图像，以及控制第二拍摄设备22拍摄标志物25得到第二图像，第一图像和第二图像可以是同时拍摄的两个图像，在本实施例中，将可移动机器人20处于第一姿态时的第一图像和第二图像记为一组包含标定模板的图像。
可移动机器人20继续向充电设备24移动，当可移动机器人20移动到第二位置时，若第一拍摄设备21的拍摄画面和第二拍摄设备22的拍摄画面中同时包括完整的标志物25，此时，可移动机器人20停止运动或者不停止运动，假设第一拍摄设备21和第二拍摄设备22同时拍摄的画面中包含完整的标志物25时可移动机器人20处于第二姿态，在可移动机器人20处于第二姿态时，控制第一拍摄设备21拍摄标志物25得到第一图像，以及控制第二拍摄设备22拍摄标志物25得到第二图像，第一图像和第二图像可以是同时拍摄的两个图像，在本实施例中，将可移动机器人20处于第二姿态时的第一图像和第二图像记为另一组包含标定模板的图像。
可选的，第一位置和第二位置分别相对于充电设备24可以是角度有差异、也可以是距离有差异、还可以是角度和距离均有差异。依次类推，从而可以得到多组包含标定模板的图像。
在本实施例中，第一拍摄设备21拍摄的图像可以记为第一图像，第一图像可以是一张图像，也可以是多张图像，第二拍摄设备22拍摄的图像可以记为第二图像，第二图像可以是一张图像，也可以是多张图像。
另一种可能的触发方式是：根据预设检验方法检测基于第一拍摄设备和第二拍摄设备之间外参的应用精度；当所述应用精度下降时，或所述应用精度下降到预设阈值时，触发图像处理单元执行多目在线标定方法的流程。
标志物设置在预设位置；例如，标志物可以设置在充电设备上，也可以设置在除了充电设备之外的其他位置。在后者的情况，可移动机器人20中预先存储有该标志物的图像信息，也就是说，当可移动机器人20需要执行多目在线标定方法的流程时，可移动机器人20可根据预设标志物的图像信息寻找到标志物(即可移动机器人通过其拍摄设备拍摄到的图像信息与所述标志物的图像信息对比，确认是所述标志物，则认为找到了所述标志物)。例如，可移动机器人20在作业过程中，实时检测基于第一摄像机和第二摄像机之间外参的应用精度，例如，在即时定位与地图构建SLAM过程中创建的3D点投影到所述第一拍摄设备或所述第二拍摄设备的重投影误差均方根可以用于表征基于外参的应用精度。当重投影误差均方根高于某个设定阈值时，说明其外参发生了变化，导致基于外参的应用精度降低。当基于外参的应用精度下降时，或该应用精度已下降到预设阈值时，触发图像处理单元执行多目在线标定方法的流程。例如，控制所述第一拍摄设备拍摄所述充电设备上的所述标志物，以及控制所述第二拍摄设备拍摄所述充电设备上的所述标志物。
假设上述触发处理器执行多目在线标定方法的任一条件满足，则处理器将执行多目在线标定方法，如图1所示，本实施例提供的多目在线标定方法具体步骤如下：
步骤101、获取可移动机器人上安装的至少两个拍摄设备中每个拍摄设备拍摄的标志物的图像。
本实施例以至少两个拍摄设备包括第一拍摄设备和第二拍摄设备为例，详细介绍多目在线标定方法的具体过程，后续实施例将以至少两个拍摄设备包括第一拍摄设备、第二拍摄设备和第三拍摄设备为例，介绍多目在线标定方法的具体过程。
如图2所示，假设可移动机器人20向充电设备24移动过程中，第一拍摄设备21和第二拍摄设备22已各拍摄一张包括完整的标志物25的图像，或者第一拍摄设备21和第二拍摄设备22已拍摄多组包含标定模板的图像。
处理器23在执行多目在线标定方法时，可以获取第一拍摄设备21拍摄的标志物25的第一图像，以及第二拍摄设备22拍摄的标志物25的第二图像。
步骤102、根据至少两个拍摄设备中每个拍摄设备拍摄的标志物的图像,对所述至少两个拍摄设备之间的外参进行标定。
具体的，根据第一拍摄设备拍摄的标志物的第一图像和第二拍摄设备拍摄的标志物的第二图像，对所述至少两个拍摄设备之间的外参进行标定时，需要先根据第一拍摄设备拍摄的标志物的第一图像和第二拍摄设备拍摄的标志物的第二图像，确定出所述第一拍摄设备和所述第二拍摄设备之间的外参的标定结果，然后根据该标定结果对所述第一拍摄设备和所述第二拍摄设备之间的外参进行检验(即通过第一预设检验方法检测对标定结果进行检验)。
在本实施例中，根据第一拍摄设备拍摄的标志物的第一图像和第二拍摄设备拍摄的标志物的第二图像，确定出所述第一拍摄设备和所述第二拍摄设备之间的外参的标定结果具体可以包括如图3所示的如下步骤301-步骤303：
步骤301、根据所述标志物的特征点在世界坐标系中的坐标、所述特征点在第一图像中的坐标、所述第一拍摄设备的内参矩阵，确定所述第一拍摄设备的相机坐标系到世界坐标系的位姿变化矩阵。
在本实施例中，假设第一拍摄设备21的内参矩阵为A，第一拍摄设备21的内参矩阵在第一拍摄设备21出厂时已经固化在第一拍摄设备21中，且在可移动机器人的生命周期内，第一拍摄设备21的内参矩阵A不变。另外，假设标志物25的特征点在世界坐标系中的坐标为(Xw,Yw,Zw)，标志物25的特征点在第一图像中的坐标为(μ,ν)，则处理器23可根据标志物25的特征点在世界坐标系中的坐标(Xw,Yw,Zw)、标志物25的特征点在第一图像中的坐标(μ,ν)、第一拍摄设备21的内参矩阵A确定出第一拍摄设备21的相机坐标系到世界坐标系的位姿变化矩阵Tlw。下面将详细介绍处理器23如何根据标志物25的特征点在世界坐标系中的坐标(Xw,Yw,Zw)、标志物25的特征点在第一图像中的坐标(μ,ν)、第一拍摄设备21的内参矩阵A确定出第一拍摄设备21的相机坐标系到世界坐标系的位姿变化矩阵Tlw。
具体的，步骤301根据所述标志物的特征点在世界坐标系中的坐标、所述特征点在第一图像中的坐标、所述第一拍摄设备的内参矩阵，确定所述第一拍摄设备的相机坐标系到世界坐标系的位姿变化矩阵，包括：根据所述标志物的特征点在世界坐标系中的坐标、所述特征点在第一图像中的坐标，确定第一图像平面到所述标志物所在平面的单应性矩阵；根据所述第一图像平面到所述标志物所在平面的单应性矩阵和所述第一拍摄设备的内参矩阵，确定所述第一拍摄设备的相机坐标系到世界坐标系的位姿变化矩阵。
例如，处理器23先根据标志物25的特征点在世界坐标系中的坐标(Xw,Yw,Zw)、标志物25的特征点在第一图像中的坐标(μ,ν)，确定第一图像平面到标志物25所在平面的单应性矩阵H，进一步的，处理器23根据第一图像平面到标志物25所在平面的单应性矩阵H和第一拍摄设备21的内参矩阵A确定出第一拍摄设备21的相机坐标系到世界坐标系的位姿变化矩阵Tlw。
下面介绍处理器23先根据标志物25的特征点在世界坐标系中的坐标(Xw,Yw,Zw)、标志物25的特征点在第一图像中的坐标(μ,ν)，确定第一图像平面到标志物25所在平面的单应性矩阵H的过程。
根据第一拍摄设备21的摄像头针孔成像模型，可得到如下公式(1)所示的关系：
其中，s表示尺度因子，R表示第一拍摄设备21的相机坐标系到世界坐标系的旋转变换，R具体可以是一个3*3的矩阵，假设R＝(r1,r2,r3)，r1,r2,r3分别表示R的3个列向量，t表示第一拍摄设备21的相机坐标系到世界坐标系的平移变换，t具体可以是一个3维列向量。若将世界坐标系的XOY平面置于标定模板所在的平面，即Zw＝0，则公式(1)可变形为如下公式(2)：
其中，H可以表示为如下公式(3)：
H＝A[r1r2t]＝[h1h2h3] (3)
其中，h1h2h3分别表示H的3个列向量，H即为第一图像平面到标志物25所在平面的单应性矩阵，具体的，H是一个3*3的矩阵，则H对应包括9个元素，H的第3行第3列的元素为1，则H中剩下8个未知元素，若将该8个未知元素求解出来，即可求解出来H。由于标志物25的特征点在世界坐标系中的坐标(Xw,Yw,Zw)、标志物25的特征点在第一图像中的坐标(μ,ν)均是已知量，(Xw,Yw)作为标志物25的特征点在世界坐标系XOY平面内的坐标是可以由标志物25的摆放者控制的，(μ,ν)是标志物25的特征点在第一图像中的像素坐标，可以直接通过对第一图像提取特征点来获得。该公式(2)中包括8个未知量；不失一般性，根据已知的四对(Xw,Yw)和(μ,ν)，可得出八个方程，该八个方程中包括8个未知量，根据该八个方程即可求解出H中剩下的8个未知元素，再加上H已知的一个元素，便可求解出来H。
求解出来H之后，则H的3个列向量h1h2h3分别已知，可得出如下公式(4)：
H＝[h1h2h3]＝A[r1r2t] (4)
根据公式(4)和已知的第一拍摄设备21的内参矩阵A可得出如下公式(5)、(6)、(7)、(8)：
r1＝A-1h1 (5)
r2＝A-1h2 (6)
r3＝r1*r2 (7)
t＝A-1h3 (8)
其中，r1,r2,r3分别表示第一拍摄设备21的相机坐标系到世界坐标系的旋转变换R的3个列向量，t表示第一拍摄设备21的相机坐标系到世界坐标系的平移变换。R和t共同构成了第一拍摄设备21的相机坐标系到世界坐标系的位姿变化矩阵Tlw。
步骤302、根据所述标志物的特征点在世界坐标系中的坐标、所述特征点在第二图像中的坐标、所述第二拍摄设备的内参矩阵，确定所述第二拍摄设备的相机坐标系到世界坐标系的位姿变化矩阵。
具体的，根据所述标志物的特征点在世界坐标系中的坐标、所述特征点在第二图像中的坐标、所述第二拍摄设备的内参矩阵，确定所述第二拍摄设备的相机坐标系到世界坐标系的位姿变化矩阵，包括：根据所述标志物的特征点在世界坐标系中的坐标、所述特征点在第二图像中的坐标，确定第二图像平面到所述标志物所在平面的单应性矩阵；根据所述第二图像平面到所述标志物所在平面的单应性矩阵和所述第二拍摄设备的内参矩阵，确定所述第二拍摄设备的相机坐标系到世界坐标系的位姿变化矩阵。
同理于步骤301可以得出所述第二拍摄设备的相机坐标系到世界坐标系的位姿变化矩阵Trw，也就是说，Trw的求解过程和求解Tlw的过程类似，此处不再赘述。
步骤303、根据所述第一拍摄设备的相机坐标系到世界坐标系的位姿变化矩阵和所述第二拍摄设备的相机坐标系到世界坐标系的位姿变化矩阵，确定所述第一拍摄设备和所述第二拍摄设备之间的外参的标定结果。
处理器23根据上述步骤计算出第一拍摄设备21的相机坐标系到世界坐标系的位姿变化矩阵Tlw和第二拍摄设备的相机坐标系到世界坐标系的位姿变化矩阵Trw之后，根据Tlw和Trw计算出第二拍摄设备22相对于第一拍摄设备21的位姿变化矩阵Trl，具体的，Trl是一个4*4的矩阵，Trl即为本实施例所要求的第一拍摄设备21和第二拍摄设备22之间的外参的标定结果。处理器23进一步根据计算出的标定结果Trl对第一拍摄设备21和第二拍摄设备22之间的外参进行标定。当然，对于三目在线标定方法，可以两两标定其外参，例如：
需要注意的是，以上过程在相机投影模型中没有考虑镜头的畸变。对于有畸变的摄像机，在获取像素坐标(u,v)时，需要在畸变原图上提取特征点(如FAST角点检测等方式)得到像素坐标(u1,v1)，然后利用畸变系数和内参，根据离线标定内参时所采用的相机投影模型，将(u1,v1)映射到校正后的(u,v)，之后的过程与以上过程一致。
本发明实施例通过可移动机器人上安装的至少两个拍摄设备中每个拍摄设备拍摄的标志物的图像，对至少两个拍摄设备之间的外参进行标定，实现了多目在线标定外参的方法，提高了基于外参的应用精度，有效避免了由于外参发生变化而影响到可移动机器人的性能。
图4为本发明另一实施例提供的多目在线标定方法流程图。在上述实施例的基础上，步骤102根据至少两个拍摄设备中每个拍摄设备拍摄的标志物的图像,对所述至少两个拍摄设备之间的外参进行标定具体包括如下步骤：
步骤401、根据第一拍摄设备拍摄的标志物的第一图像和第二拍摄设备拍摄的标志物的第二图像，确定所述第一拍摄设备和所述第二拍摄设备之间的外参的标定结果。
处理器23根据上述步骤301-步骤303计算出第一拍摄设备21的相机坐标系到世界坐标系的位姿变化矩阵Tlw和第二拍摄设备的相机坐标系到世界坐标系的位姿变化矩阵Trw之后，根据Tlw和Trw计算出第二拍摄设备22相对于第一拍摄设备21的位姿变化矩阵Trl，具体的，Trl是一个4*4的矩阵，Trl即为本实施例所要求的第一拍摄设备21和第二拍摄设备22之间的外参的标定结果。
步骤402、根据第一预设检验方法对所述标定结果进行检验。
具体的，通过即时定位与地图构建SLAM过程中创建的3D点投影到所述第一拍摄设备或所述第二拍摄设备的重投影误差均方根对第一拍摄设备21和第二拍摄设备22之间的外参的标定结果即Trl进行检验。具体的检验过程可以是：处理器23检测场景中由即时定位与地图构建(simultaneous localization and mapping，简称SLAM)过程中创建的3D点投影到所述第一拍摄设备或所述第二拍摄设备的重投影误差均方根，来对所述标定结果Trl进行检验。
若所述重投影误差均方根大于或等于预设值，则对所述标定结果Trl检验不通过；若所述重投影误差均方根小于预设值，则对所述标定结果Trl检验通过。例如，若所述重投影误差均方根大于或等于2个像素，则标定结果Trl不可接受，不能将所述第一拍摄设备和所述第二拍摄设备之间原来的外参替换为标定结果Trl。
步骤403、若根据所述第一预设检验方法对所述标定结果进行检验通过，则将所述第一拍摄设备和所述第二拍摄设备之间原来的外参替换为所述标定结果。
若对所述标定结果Trl检验通过，可以将所述第一拍摄设备和所述第二拍摄设备之间原来的外参替换为标定结果Trl。
本实施例在确定出第一拍摄设备和第二拍摄设备之间的外参的标定结果之后，通过预设检验方法对该标定结果进行检验，如果根据预设检验方法对标定结果检验通过，则将第一拍摄设备和第二拍摄设备之间原来的外参替换为所述标定结果，如果根据预设检验方法对标定结果检验不通过，则不替换第一拍摄设备和第二拍摄设备之间原来的外参，进一步提高了对外参在线标定的精确度，同时进一步提高了基于外参的应用精度。
图5为本发明另一实施例提供的多目在线标定方法流程图。如图5所示，本实施例提供的多目在线标定方法具体包括如下步骤：
步骤501、检测机器人运行状态。
步骤502、判断机器人是否回充电桩。如果是，则执行步骤503，否则，执行步骤501。
步骤503、获取图像并搜索标定模板。
步骤504、判断标定模板是否在所有相机中均可见。如果是，则执行步骤505，否则，执行步骤503。
步骤505、执行标定算法。
此处，标定算法即为上述实施例所述的多目在线标定方法。
步骤506、判断标定是否成功，是则执行步骤507，否则返回步骤503。
判断标定是否成功具体可以是上述实施例中所述的通过即时定位与地图构建SLAM过程中创建的3D点投影到所述第一拍摄设备或所述第二拍摄设备的重投影误差均方根对所述标定结果进行检验。
步骤507、保存标定结果。
本实施例在确定出第一拍摄设备和第二拍摄设备之间的外参的标定结果之后，通过预设检验方法对该标定结果进行检验，如果根据预设检验方法对标定结果检验通过，则将第一拍摄设备和第二拍摄设备之间原来的外参替换为所述标定结果，如果根据预设检验方法对标定结果检验不通过，则不替换第一拍摄设备和第二拍摄设备之间原来的外参，进一步提高了对外参在线标定的精确度，同时进一步提高了基于外参的应用精度。
图6为本发明另一实施例提供的多目在线标定方法流程图。如图6所示，本实施例提供的多目在线标定方法具体包括如下步骤：
步骤601、执行外参标定条件检测。
此外，执行外参标定条件具体可以是上述实施例所述的触发处理器执行多目在线标定方法的条件。
步骤602、判断条件是否能够触发在线标定，如果是，则执行步骤603，否则执行步骤601。
步骤603、获取图像并搜索标定模板
步骤604、判断标定模板是否在所有相机中均可见。如果是，则执行步骤605，否则，执行步骤603。
步骤605、执行标定算法。
此处，标定算法即为上述实施例所述的多目在线标定方法。
步骤606、判断标定是否成功，是则执行步骤607，否则返回步骤603。
判断标定是否成功具体可以是上述实施例中所述的通过即时定位与地图构建SLAM过程中创建的3D点投影到所述第一拍摄设备或所述第二拍摄设备的重投影误差均方根对所述标定结果进行检验。
步骤607、保存标定结果。
本实施例在确定出第一拍摄设备和第二拍摄设备之间的外参的标定结果之后，通过预设检验方法对该标定结果进行检验，如果根据预设检验方法对标定结果检验通过，则将第一拍摄设备和第二拍摄设备之间原来的外参替换为所述标定结果，如果根据预设检验方法对标定结果检验不通过，则不替换第一拍摄设备和第二拍摄设备之间原来的外参，进一步提高了对外参在线标定的精确度，同时进一步提高了基于外参的应用精度。
图7为本发明另一实施例提供的多目在线标定方法流程图。在本实施例中，所述至少两个拍摄设备包括：第一拍摄设备、第二拍摄设备和第三拍摄设备。
下面以至少两个拍摄设备包括第一拍摄设备、第二拍摄设备和第三拍摄设备为例，介绍触发图像处理单元执行多目在线标定方法的几种可能的触发方式：
一种可能的触发方式是：当可移动机器人需要充电、向充电设备移动的过程中，触发图像处理单元执行多目在线标定方法的流程。具体的，标志物设置在用于给所述可移动机器人充电的充电设备上；在所述可移动机器人向所述充电设备移动的过程中，控制所述第一拍摄设备拍摄所述充电设备上的所述标志物，控制所述第二拍摄设备拍摄所述充电设备上的所述标志物，以及控制所述第三拍摄设备拍摄所述充电设备上的所述标志物。具体的控制原理和方式与前述处理器23控制两个拍摄设备拍摄标志物的原理和方式一致，此处不再赘述。
另一种可能的触发方式是：根据第二预设检验方法检测基于所述外参的应用精度；当所述应用精度下降时，或所述应用精度下降到预设阈值时，所述可移动机器人根据预设标志物的图像信息寻找到标志物，控制所述第一拍摄设备拍摄所述预设位置上的所述标志物、控制所述第二拍摄设备拍摄所述预设位置上的所述标志物、以及控制所述第三拍摄设备拍摄所述预设位置上的所述标志物。
标志物设置在预设位置；例如，标志物可以设置在充电设备上，也可以设置在除了充电设备之外的其他位置，可移动机器人20中预先存储有该标志物所在预设标志物的图像信息，也就是说，当可移动机器人20需要执行多目在线标定方法的流程时，可移动机器人20可根据预设标志物的图像信息寻找到标志物。例如，可移动机器人20在作业过程中，实时检测基于第一摄像机和第二摄像机之间外参的应用精度，例如，在即时定位与地图构建SLAM过程中创建的3D点投影到所述第一拍摄设备或所述第二拍摄设备的重投影误差均方根可以用于表征基于外参的应用精度。当重投影误差均方根高于某个设定阈值时，说明其外参发生了变化，导致基于外参的应用精度降低。当基于外参的应用精度下降时，或该应用精度已下降到预设阈值时，触发图像处理单元执行多目在线标定方法的流程。例如，控制所述第一拍摄设备拍摄所述充电设备上的所述标志物，控制所述第二拍摄设备拍摄所述充电设备上的所述标志物，以及控制所述第三拍摄设备拍摄所述充电设备上的所述标志物。
假设上述触发处理器执行多目在线标定方法的任一条件满足，则处理器将执行多目在线标定方法，如图7所示，本实施例提供的多目在线标定方法具体步骤如下：
步骤701、获取第一拍摄设备拍摄的标志物的第一图像、第二拍摄设备拍摄的标志物的第二图像、以及第三拍摄设备拍摄的标志物的第三图像。
假设可移动机器人向充电设备移动过程中，第一拍摄设备、第二拍摄设备、第三拍摄设备已各拍摄一张包括完整的标志物的图像，或者第一拍摄设备、第二拍摄设备、第三拍摄设备已拍摄多组包含标定模板的图像。
处理器在执行多目在线标定方法时，可以获取第一拍摄设备拍摄的标志物的第一图像，第二拍摄设备拍摄的标志物的第二图像，以及第三拍摄设备拍摄的标志物的第三图像。
步骤702、根据所述第一图像、所述第二图像和所述第三图像对所述第一拍摄设备、所述第二拍摄设备和所述第三拍摄设备之间的外参进行标定。
在本实施例中，对三个拍摄设备之间的外参进行标定时，可以通过两两标定的方式实现。
具体的，所述根据所述第一图像、所述第二图像和所述第三图像对所述第一拍摄设备、所述第二拍摄设备和所述第三拍摄设备之间的外参进行标定，包括如图8所示的如下步骤：
步骤801、根据所述第一图像和所述第二图像，确定所述第一拍摄设备和所述第二拍摄设备之间的第一外参的标定结果。
例如，采用上述步骤301-步骤303所述的方法可以确定出所述第一拍摄设备和所述第二拍摄设备之间的第一外参的标定结果Trl。
步骤802、根据所述第二图像和所述第三图像，确定所述第二拍摄设备和所述第三拍摄设备之间的第二外参的标定结果。
同理，采用步骤301-步骤303所述的方法可以确定出所述第二拍摄设备和所述第三拍摄设备之间的第二外参的标定结果，所述第二拍摄设备和所述第三拍摄设备之间的第二外参的标定结果记为Tsr。
步骤803、根据所述第一图像和所述第三图像，确定所述第一拍摄设备和所述第三拍摄设备之间的第三外参的标定结果。
同理，采用步骤301-步骤303所述的方法可以确定出所述第一拍摄设备和所述第三拍摄设备之间的第三外参的标定结果，所述第一拍摄设备和所述第三拍摄设备之间的第三外参的标定结果记为Tsl。
步骤804、根据第一预设检验方法对所述第一外参的标定结果、所述第二外参的标定结果、所述第三外参的标定结果分别进行检验。
具体的，通过即时定位与地图构建SLAM过程中创建的3D点投影到所述第一拍摄设备或所述第二拍摄设备的重投影误差均方根对第一拍摄设备和第二拍摄设备之间的第一外参的标定结果即Trl进行检验。通过即时定位与地图构建SLAM过程中创建的3D点投影到所述第二拍摄设备或所述第三拍摄设备的重投影误差均方根对第二拍摄设备和第三拍摄设备之间的第二外参的标定结果即Tsr进行检验。通过即时定位与地图构建SLAM过程中创建的3D点投影到所述第一拍摄设备或所述第三拍摄设备的重投影误差均方根对第一拍摄设备和第三拍摄设备之间的第三外参的标定结果即Tsl进行检验。
步骤805、若根据所述第一预设检验方法对所述第一外参的标定结果、所述第二外参的标定结果、所述第三外参的标定结果分别进行检验通过，则将所述第一拍摄设备与所述第二拍摄设备之间原来的第一外参替换为所述第一外参的标定结果、将所述第二拍摄设备与所述第三拍摄设备之间原来的第二外参替换为所述第二外参的标定结果、或/及将所述第三拍摄设备与所述第一拍摄设备之间原来的第三外参替换为所述第三外参的标定结果。
若通过即时定位与地图构建SLAM过程中创建的3D点投影到所述第一拍摄设备或所述第二拍摄设备的重投影误差均方根大于或等于预设值，则对标定结果Trl检验不通过；若所述重投影误差均方根小于预设值，则对标定结果Trl检验通过。
若通过即时定位与地图构建SLAM过程中创建的3D点投影到所述第二拍摄设备或所述第三拍摄设备的重投影误差均方根大于或等于预设值，则对标定结果Tsr检验不通过；若所述重投影误差均方根小于预设值，则对标定结果Tsr检验通过。
若通过即时定位与地图构建SLAM过程中创建的3D点投影到所述第一拍摄设备或所述第三拍摄设备的重投影误差均方根大于或等于预设值，则对标定结果Tsl检验不通过；若所述重投影误差均方根小于预设值，则对标定结果Tsl检验通过。
假设对第一外参的标定结果Trl、第二外参的标定结果Tsr、第三外参的标定结果Tsl均验证通过，则可以将所述第一拍摄设备与所述第二拍摄设备之间原来的第一外参替换为所述第一外参的标定结果、将所述第二拍摄设备与所述第三拍摄设备之间原来的第二外参替换为所述第二外参的标定结果、或/及将所述第三拍摄设备与所述第一拍摄设备之间原来的第三外参替换为所述第三外参的标定结果。例如，第一拍摄设备发生了碰撞，第二拍摄设备和第三拍摄设备没有发生碰撞，此时，第一拍摄设备和第二拍摄设备之间的外参发生了变化，第一拍摄设备和第三拍摄设备之间的外参发生了变化，而第二拍摄设备和第三拍摄设备之间的外参没有变化，则可以将所述第一拍摄设备与所述第二拍摄设备之间原来的第一外参替换为所述第一外参的标定结果、以及将所述第三拍摄设备与所述第一拍摄设备之间原来的第三外参替换为所述第三外参的标定结果，而无需将所述第二拍摄设备与所述第三拍摄设备之间原来的第二外参替换为所述第二外参的标定结果。
本实施例通过获取第一拍摄设备拍摄的标志物的第一图像、第二拍摄设备拍摄的标志物的第二图像、以及第三拍摄设备拍摄的标志物的第三图像，根据第一图像、第二图像和第三图像对第一拍摄设备、第二拍摄设备和第三拍摄设备中两两设备之间的外参进行标定，实现了多目在线标定外参的方法，提高了基于外参的应用精度，有效避免了由于外参发生变化而影响到可移动机器人的性能。
图9为本发明实施例提供的可移动机器人的结构图。本发明实施例提供的可移动机器人可以执行多目在线标定方法实施例提供的处理流程，如图6所示，可移动机器人20包括：机身、底盘60、至少两个拍摄设备例如第一拍摄设备21、第二拍摄设备22、及处理器23，此处只是示意性说明至少两个拍摄设备，并不限定至少两个拍摄设备具体指示的拍摄设备的个数。底盘60和机身连接，用于提供所述机身移动的动力。处理器23用于：获取可移动机器人上安装的至少两个拍摄设备中每个拍摄设备拍摄的标志物的图像；根据至少两个拍摄设备中每个拍摄设备拍摄的标志物的图像,对所述至少两个拍摄设备之间的外参进行标定。
处理器23根据至少两个拍摄设备中每个拍摄设备拍摄的标志物的图像,对所述至少两个拍摄设备之间的外参进行标定时，具体用于：根据第一拍摄设备拍摄的标志物的第一图像和第二拍摄设备拍摄的标志物的第二图像，确定所述第一拍摄设备和所述第二拍摄设备之间的外参的标定结果；根据第一预设检验方法对所述标定结果进行检验；若根据所述第一预设检验方法对所述标定结果进行检验通过，则将所述第一拍摄设备和所述第二拍摄设备之间原来的外参替换为所述标定结果。
可选的，处理器23获取可移动机器人上安装的至少两个拍摄设备中每个拍摄设备拍摄的标志物的图像之前，还用于：根据第二预设检验方法检测基于所述外参的应用精度；当所述应用精度下降时，或所述应用精度下降到预设阈值时，所述可移动机器人根据预设标志物的图像信息寻找到标志物，控制所述第一拍摄设备拍摄所述预设位置上的所述标志物，以及控制所述第二拍摄设备拍摄所述预设位置上的所述标志物。
在其他实施例中，所述标志物设置在用于给所述可移动机器人充电的充电设备上；处理器23获取可移动机器人上安装的至少两个拍摄设备中每个拍摄设备拍摄的标志物的图像之前，还用于：在所述可移动机器人向所述充电设备移动的过程中，控制所述第一拍摄设备拍摄所述充电设备上的所述标志物，以及控制所述第二拍摄设备拍摄所述充电设备上的所述标志物。
本发明例提供的可移动机器人可以具体用于执行上述图1-图4所提供的方法实施例，具体功能此处不再赘述。
本发明实施例通过可移动机器人上安装的至少两个拍摄设备中每个拍摄设备拍摄的标志物的图像，对至少两个拍摄设备之间的外参进行标定，实现了多目在线标定外参的方法，提高了基于外参的应用精度，有效避免了由于外参发生变化而影响到可移动机器人的性能；在确定出第一拍摄设备和第二拍摄设备之间的外参的标定结果之后，通过预设检验方法对该标定结果进行检验，如果根据预设检验方法对标定结果检验通过，则将第一拍摄设备和第二拍摄设备之间原来的外参替换为所述标定结果，如果根据预设检验方法对标定结果检验不通过，则不替换第一拍摄设备和第二拍摄设备之间原来的外参，进一步提高了对外参在线标定的精确度，同时进一步提高了基于外参的应用精度。
在上述实施例的基础上，所述至少两个拍摄设备包括：第一拍摄设备、第二拍摄设备和第三拍摄设备；处理器23获取可移动机器人上安装的至少两个拍摄设备中每个拍摄设备拍摄的标志物的图像时，具体用于：获取第一拍摄设备拍摄的标志物的第一图像、第二拍摄设备拍摄的标志物的第二图像、以及第三拍摄设备拍摄的标志物的第三图像；相应的，处理器23根据至少两个拍摄设备中每个拍摄设备拍摄的标志物的图像,对所述至少两个拍摄设备之间的外参进行标定时，具体用于：根据所述第一图像、所述第二图像和所述第三图像对所述第一拍摄设备、所述第二拍摄设备和所述第三拍摄设备之间的外参进行标定。
具体的，处理器23获取第一拍摄设备拍摄的标志物的第一图像、第二拍摄设备拍摄的标志物的第二图像、以及第三拍摄设备拍摄的标志物的第三图像之前，还用于：根据第二预设检验方法检测基于所述外参的应用精度；当所述应用精度下降时，或所述应用精度下降到预设阈值时，所述可移动机器人根据预设标志物的图像信息寻找到标志物，控制所述第一拍摄设备拍摄所述预设位置上的所述标志物、控制所述第二拍摄设备拍摄所述预设位置上的所述标志物、以及控制所述第三拍摄设备拍摄所述预设位置上的所述标志物；和/或，处理器23根据所述第一图像、所述第二图像和所述第三图像对所述第一拍摄设备、所述第二拍摄设备和所述第三拍摄设备之间的外参进行标定时，具体用于：根据所述第一图像和所述第二图像，确定所述第一拍摄设备和所述第二拍摄设备之间的第一外参的标定结果；根据所述第二图像和所述第三图像，确定所述第二拍摄设备和所述第三拍摄设备之间的第二外参的标定结果；根据所述第一图像和所述第三图像，确定所述第一拍摄设备和所述第三拍摄设备之间的第三外参的标定结果；根据第一预设检验方法对所述第一外参的标定结果、所述第二外参的标定结果、所述第三外参的标定结果分别进行检验；若根据所述第一预设检验方法对所述第一外参的标定结果、所述第二外参的标定结果、所述第三外参的标定结果分别进行检验通过，则将所述第一拍摄设备与所述第二拍摄设备之间原来的第一外参替换为所述第一外参的标定结果、将所述第二拍摄设备与所述第三拍摄设备之间原来的第二外参替换为所述第二外参的标定结果、或/及将所述第三拍摄设备与所述第一拍摄设备之间原来的第三外参替换为所述第三外参的标定结果。
本发明实施例提供的可移动机器人可以具体用于执行上述图7、图8所提供的方法实施例，具体功能此处不再赘述。
本发明实施例通过获取第一拍摄设备拍摄的标志物的第一图像、第二拍摄设备拍摄的标志物的第二图像、以及第三拍摄设备拍摄的标志物的第三图像，根据第一图像、第二图像和第三图像对第一拍摄设备、第二拍摄设备和第三拍摄设备中两两设备之间的外参进行标定，实现了多目在线标定外参的方法，提高了基于外参的应用精度，有效避免了由于外参发生变化而影响到可移动机器人的性能。
图10为本发明实施例提供的多目在线标定系统的结构图。本发明实施例提供的多目在线标定系统可以执行多目在线标定方法实施例提供的处理流程，如图10所示，多目在线标定系统100包括上述实施例中的可移动机器人20和上述实施例中的标志物25。
可选的，多目在线标定系统100还包括：用于给可移动机器人20充电的充电设备24，标志物25设置在充电设备24上。
本发明实施例提供的多目在线标定系统可以执行多目在线标定方法实施例提供的处理流程。
综上所述，本发明实施例通过可移动机器人上安装的第一拍摄设备拍摄标志物的第一图像，以及第二拍摄设备拍摄标志物的第二图像，并根据标志物的特征点在世界坐标系中的坐标、特征点在第一图像中的坐标、第一拍摄设备的内参矩阵，确定出第一拍摄设备的相机坐标系到世界坐标系的位姿变化矩阵，同理确定出第二拍摄设备的相机坐标系到世界坐标系的位姿变化矩阵，进一步根据前述两个位姿变化矩阵确定出第二拍摄设备相对于第一拍摄设备的位姿变化矩阵，实现了在线标定外参，提高了基于外参的应用精度，有效避免了由于外参发生变化而影响到可移动机器人的性能；在确定出第一拍摄设备和第二拍摄设备之间的外参的标定结果之后，通过预设检验方法对该标定结果进行检验，如果根据预设检验方法对标定结果检验通过，则将第一拍摄设备和第二拍摄设备之间原来的外参替换为所述标定结果，如果根据预设检验方法对标定结果检验不通过，则不替换第一拍摄设备和第二拍摄设备之间原来的外参，进一步提高了对外参在线标定的精确度，同时进一步提高了基于外参的应用精度。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (14)
1.一种多目在线标定方法，其特征在于，包括：
获取可移动机器人上安装的至少两个拍摄设备中每个拍摄设备拍摄的标志物的图像；
根据至少两个拍摄设备中每个拍摄设备拍摄的标志物的图像,对所述至少两个拍摄设备之间的外参进行标定。
2.根据权利要求1所述的方法，其特征在于，所述根据至少两个拍摄设备中每个拍摄设备拍摄的标志物的图像,对所述至少两个拍摄设备之间的外参进行标定，包括：
根据第一拍摄设备拍摄的标志物的第一图像和第二拍摄设备拍摄的标志物的第二图像，确定所述第一拍摄设备和所述第二拍摄设备之间的外参的标定结果；
根据第一预设检验方法对所述标定结果进行检验；
若根据所述第一预设检验方法对所述标定结果进行检验通过，则将所述第一拍摄设备和所述第二拍摄设备之间原来的外参替换为所述标定结果。
3.根据权利要求1或2所述的方法，其特征在于，在所述获取可移动机器人上安装的至少两个拍摄设备中每个拍摄设备拍摄的标志物的图像之前，还包括：
根据第二预设检验方法检测基于所述外参的应用精度；
当所述应用精度下降时，或所述应用精度下降到预设阈值时，所述可移动机器人根据预设标志物的图像信息寻找到标志物，控制第一拍摄设备拍摄所述预设位置上的所述标志物，以及控制第二拍摄设备拍摄所述预设位置上的所述标志物。
4.根据权利要求1或2所述的方法，其特征在于，所述标志物设置在用于给所述可移动机器人充电的充电设备上；
在所述获取可移动机器人上安装的至少两个拍摄设备中每个拍摄设备拍摄的标志物的图像之前，还包括：
在所述可移动机器人向所述充电设备移动的过程中，控制第一拍摄设备拍摄所述充电设备上的所述标志物，以及控制第二拍摄设备拍摄所述充电设备上的所述标志物。
5.根据权利要求1所述的方法，其特征在于，所述至少两个拍摄设备包括：第一拍摄设备、第二拍摄设备和第三拍摄设备；
所述获取可移动机器人上安装的至少两个拍摄设备中每个拍摄设备拍摄的标志物的图像,包括:
获取第一拍摄设备拍摄的标志物的第一图像、第二拍摄设备拍摄的标志物的第二图像、以及第三拍摄设备拍摄的标志物的第三图像；
相应的，所述根据至少两个拍摄设备中每个拍摄设备拍摄的标志物的图像,对所述至少两个拍摄设备之间的外参进行标定，包括：
根据所述第一图像、所述第二图像和所述第三图像对所述第一拍摄设备、所述第二拍摄设备和所述第三拍摄设备之间的外参进行标定。
6.根据权利要求5所述的方法，其特征在于，在所述获取第一拍摄设备拍摄的标志物的第一图像、第二拍摄设备拍摄的标志物的第二图像、以及第三拍摄设备拍摄的标志物的第三图像之前，还包括：
根据第二预设检验方法检测基于所述外参的应用精度；
当所述应用精度下降时，或所述应用精度下降到预设阈值时，所述可移动机器人根据预设标志物的图像信息寻找到标志物，控制所述第一拍摄设备拍摄所述预设位置上的所述标志物、控制所述第二拍摄设备拍摄所述预设位置上的所述标志物、以及控制所述第三拍摄设备拍摄所述预设位置上的所述标志物；
和/或
所述根据所述第一图像、所述第二图像和所述第三图像对所述第一拍摄设备、所述第二拍摄设备和所述第三拍摄设备之间的外参进行标定，包括：
根据所述第一图像和所述第二图像，确定所述第一拍摄设备和所述第二拍摄设备之间的第一外参的标定结果；
根据所述第二图像和所述第三图像，确定所述第二拍摄设备和所述第三拍摄设备之间的第二外参的标定结果；
根据所述第一图像和所述第三图像，确定所述第一拍摄设备和所述第三拍摄设备之间的第三外参的标定结果；
根据第一预设检验方法对所述第一外参的标定结果、所述第二外参的标定结果、所述第三外参的标定结果分别进行检验；
若根据所述第一预设检验方法对所述第一外参的标定结果、所述第二外参的标定结果、所述第三外参的标定结果分别进行检验通过，则将所述第一拍摄设备与所述第二拍摄设备之间原来的第一外参替换为所述第一外参的标定结果、将所述第二拍摄设备与所述第三拍摄设备之间原来的第二外参替换为所述第二外参的标定结果、或/及将所述第三拍摄设备与所述第一拍摄设备之间原来的第三外参替换为所述第三外参的标定结果。
7.一种可移动机器人，其特征在于，包括：
机身；
底盘，与机身连接，用于提供所述机身移动的动力；
至少两个拍摄设备；及
处理器；
所述处理器用于：
获取可移动机器人上安装的至少两个拍摄设备中每个拍摄设备拍摄的标志物的图像；
根据至少两个拍摄设备中每个拍摄设备拍摄的标志物的图像,对所述至少两个拍摄设备之间的外参进行标定。
8.根据权利要求7所述的可移动机器人，其特征在于，所述处理器根据至少两个拍摄设备中每个拍摄设备拍摄的标志物的图像,对所述至少两个拍摄设备之间的外参进行标定时，具体用于：
根据第一拍摄设备拍摄的标志物的第一图像和第二拍摄设备拍摄的标志物的第二图像，确定所述第一拍摄设备和所述第二拍摄设备之间的外参的标定结果；
根据第一预设检验方法对所述标定结果进行检验；
若根据所述第一预设检验方法对所述标定结果进行检验通过，则将所述第一拍摄设备和所述第二拍摄设备之间原来的外参替换为所述标定结果。
9.根据权利要求7或8所述的可移动机器人，其特征在于，所述处理器获取可移动机器人上安装的至少两个拍摄设备中每个拍摄设备拍摄的标志物的图像之前，还用于：
根据第二预设检验方法检测基于所述外参的应用精度；
当所述应用精度下降时，或所述应用精度下降到预设阈值时，所述可移动机器人根据预设标志物的图像信息寻找到标志物，控制第一拍摄设备拍摄所述预设位置上的所述标志物，以及控制第二拍摄设备拍摄所述预设位置上的所述标志物。
10.根据权利要求7或8所述的可移动机器人，其特征在于，所述标志物设置在用于给所述可移动机器人充电的充电设备上；
所述处理器获取可移动机器人上安装的至少两个拍摄设备中每个拍摄设备拍摄的标志物的图像之前，还用于：
在所述可移动机器人向所述充电设备移动的过程中，控制第一拍摄设备拍摄所述充电设备上的所述标志物，以及控制第二拍摄设备拍摄所述充电设备上的所述标志物。
11.根据权利要求7所述的可移动机器人，其特征在于，所述至少两个拍摄设备包括：第一拍摄设备、第二拍摄设备和第三拍摄设备；
所述处理器获取可移动机器人上安装的至少两个拍摄设备中每个拍摄设备拍摄的标志物的图像时，具体用于：
获取第一拍摄设备拍摄的标志物的第一图像、第二拍摄设备拍摄的标志物的第二图像、以及第三拍摄设备拍摄的标志物的第三图像；
相应的，所述处理器根据至少两个拍摄设备中每个拍摄设备拍摄的标志物的图像,对所述至少两个拍摄设备之间的外参进行标定时，具体用于：
根据所述第一图像、所述第二图像和所述第三图像对所述第一拍摄设备、所述第二拍摄设备和所述第三拍摄设备之间的外参进行标定。
12.根据权利要求11所述的可移动机器人，其特征在于，所述处理器获取第一拍摄设备拍摄的标志物的第一图像、第二拍摄设备拍摄的标志物的第二图像、以及第三拍摄设备拍摄的标志物的第三图像之前，还用于：
根据第二预设检验方法检测基于所述外参的应用精度；
当所述应用精度下降时，或所述应用精度下降到预设阈值时，所述可移动机器人根据预设标志物的图像信息寻找到标志物，控制所述第一拍摄设备拍摄所述预设位置上的所述标志物、控制所述第二拍摄设备拍摄所述预设位置上的所述标志物、以及控制所述第三拍摄设备拍摄所述预设位置上的所述标志物；
和/或
所述处理器根据所述第一图像、所述第二图像和所述第三图像对所述第一拍摄设备、所述第二拍摄设备和所述第三拍摄设备之间的外参进行标定时，具体用于：
根据所述第一图像和所述第二图像，确定所述第一拍摄设备和所述第二拍摄设备之间的第一外参的标定结果；
根据所述第二图像和所述第三图像，确定所述第二拍摄设备和所述第三拍摄设备之间的第二外参的标定结果；
根据所述第一图像和所述第三图像，确定所述第一拍摄设备和所述第三拍摄设备之间的第三外参的标定结果；
根据第一预设检验方法对所述第一外参的标定结果、所述第二外参的标定结果、所述第三外参的标定结果分别进行检验；
若根据所述第一预设检验方法对所述第一外参的标定结果、所述第二外参的标定结果、所述第三外参的标定结果分别进行检验通过，则将所述第一拍摄设备与所述第二拍摄设备之间原来的第一外参替换为所述第一外参的标定结果、将所述第二拍摄设备与所述第三拍摄设备之间原来的第二外参替换为所述第二外参的标定结果、或/及将所述第三拍摄设备与所述第一拍摄设备之间原来的第三外参替换为所述第三外参的标定结果。
13.一种多目在线标定系统，其特征在于，包括：
如权利要求7-12任一项所述的可移动机器人；以及
标志物。
14.根据权利要求13所述的多目在线标定系统，其特征在于，还包括：用于给所述可移动机器人充电的充电设备；
所述标志物设置在所述充电设备上。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710891665.XA CN107728617B (zh) | 2017-09-27 | 2017-09-27 | 多目在线标定方法、可移动机器人及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710891665.XA CN107728617B (zh) | 2017-09-27 | 2017-09-27 | 多目在线标定方法、可移动机器人及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107728617A true CN107728617A (zh) | 2018-02-23 |
| CN107728617B CN107728617B (zh) | 2021-07-06 |
Family
ID=61207072
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710891665.XA Active CN107728617B (zh) | 2017-09-27 | 2017-09-27 | 多目在线标定方法、可移动机器人及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107728617B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020000737A1 (zh) * | 2018-06-27 | 2020-01-02 | 未来机器人（深圳）有限公司 | 移动机器人定位方法、存储介质及计算机设备 |
| CN111417016A (zh) * | 2019-01-07 | 2020-07-14 | 中国移动通信有限公司研究院 | 一种姿态估计方法、服务器和网络设备 |
| CN112113582A (zh) * | 2019-06-21 | 2020-12-22 | 上海商汤临港智能科技有限公司 | 时间同步处理方法、电子设备及存储介质 |
| CN112361958A (zh) * | 2020-11-04 | 2021-02-12 | 同济大学 | 一种线激光与机械臂标定方法 |
| CN113252066A (zh) * | 2020-02-13 | 2021-08-13 | 纳恩博（北京）科技有限公司 | 里程计设备参数的标定方法及装置、存储介质、电子装置 |
| CN115086538A (zh) * | 2021-03-15 | 2022-09-20 | 北京字跳网络技术有限公司 | 一种拍摄位置确定方法、装置、设备及介质 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102567989A (zh) * | 2011-11-30 | 2012-07-11 | 重庆大学 | 基于双目立体视觉的空间定位方法 |
| CN102982548A (zh) * | 2012-12-11 | 2013-03-20 | 清华大学 | 多目立体视频采集系统及其相机参数标定方法 |
| CN103473758A (zh) * | 2013-05-13 | 2013-12-25 | 中国科学院苏州生物医学工程技术研究所 | 双目立体视觉系统的二次标定方法 |
| CN103606149A (zh) * | 2013-11-14 | 2014-02-26 | 深圳先进技术研究院 | 一种双目摄像机的标定方法、装置及双目摄像机 |
| JP2014074632A (ja) * | 2012-10-03 | 2014-04-24 | Isuzu Motors Ltd | 車載ステレオカメラの校正装置及び校正方法 |
| CN105157604A (zh) * | 2015-08-07 | 2015-12-16 | 天津大学 | 外场多束线结构光视觉测量系统的快速标定方法 |
| CN105513056A (zh) * | 2015-11-30 | 2016-04-20 | 天津津航技术物理研究所 | 车载单目红外相机外参自动标定方法 |
| CN105608693A (zh) * | 2015-12-18 | 2016-05-25 | 上海欧菲智能车联科技有限公司 | 车载全景环视的标定系统及方法 |
| CN105844624A (zh) * | 2016-03-18 | 2016-08-10 | 上海欧菲智能车联科技有限公司 | 动态标定系统、动态标定系统中的联合优化方法及装置 |
| CN105955260A (zh) * | 2016-05-03 | 2016-09-21 | 大族激光科技产业集团股份有限公司 | 移动机器人位置感知方法和装置 |
| CN106338521A (zh) * | 2016-09-22 | 2017-01-18 | 华中科技大学 | 增材制造表面及内部缺陷与形貌复合检测方法及装置 |
-
2017
- 2017-09-27 CN CN201710891665.XA patent/CN107728617B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102567989A (zh) * | 2011-11-30 | 2012-07-11 | 重庆大学 | 基于双目立体视觉的空间定位方法 |
| JP2014074632A (ja) * | 2012-10-03 | 2014-04-24 | Isuzu Motors Ltd | 車載ステレオカメラの校正装置及び校正方法 |
| CN102982548A (zh) * | 2012-12-11 | 2013-03-20 | 清华大学 | 多目立体视频采集系统及其相机参数标定方法 |
| CN103473758A (zh) * | 2013-05-13 | 2013-12-25 | 中国科学院苏州生物医学工程技术研究所 | 双目立体视觉系统的二次标定方法 |
| CN103606149A (zh) * | 2013-11-14 | 2014-02-26 | 深圳先进技术研究院 | 一种双目摄像机的标定方法、装置及双目摄像机 |
| CN105157604A (zh) * | 2015-08-07 | 2015-12-16 | 天津大学 | 外场多束线结构光视觉测量系统的快速标定方法 |
| CN105513056A (zh) * | 2015-11-30 | 2016-04-20 | 天津津航技术物理研究所 | 车载单目红外相机外参自动标定方法 |
| CN105608693A (zh) * | 2015-12-18 | 2016-05-25 | 上海欧菲智能车联科技有限公司 | 车载全景环视的标定系统及方法 |
| CN105844624A (zh) * | 2016-03-18 | 2016-08-10 | 上海欧菲智能车联科技有限公司 | 动态标定系统、动态标定系统中的联合优化方法及装置 |
| CN105955260A (zh) * | 2016-05-03 | 2016-09-21 | 大族激光科技产业集团股份有限公司 | 移动机器人位置感知方法和装置 |
| CN106338521A (zh) * | 2016-09-22 | 2017-01-18 | 华中科技大学 | 增材制造表面及内部缺陷与形貌复合检测方法及装置 |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020000737A1 (zh) * | 2018-06-27 | 2020-01-02 | 未来机器人（深圳）有限公司 | 移动机器人定位方法、存储介质及计算机设备 |
| CN111417016A (zh) * | 2019-01-07 | 2020-07-14 | 中国移动通信有限公司研究院 | 一种姿态估计方法、服务器和网络设备 |
| CN112113582A (zh) * | 2019-06-21 | 2020-12-22 | 上海商汤临港智能科技有限公司 | 时间同步处理方法、电子设备及存储介质 |
| CN113252066A (zh) * | 2020-02-13 | 2021-08-13 | 纳恩博（北京）科技有限公司 | 里程计设备参数的标定方法及装置、存储介质、电子装置 |
| CN113252066B (zh) * | 2020-02-13 | 2024-04-09 | 纳恩博（北京）科技有限公司 | 里程计设备参数的标定方法及装置、存储介质、电子装置 |
| CN112361958A (zh) * | 2020-11-04 | 2021-02-12 | 同济大学 | 一种线激光与机械臂标定方法 |
| CN115086538A (zh) * | 2021-03-15 | 2022-09-20 | 北京字跳网络技术有限公司 | 一种拍摄位置确定方法、装置、设备及介质 |
| CN115086538B (zh) * | 2021-03-15 | 2024-03-15 | 北京字跳网络技术有限公司 | 一种拍摄位置确定方法、装置、设备及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107728617B (zh) | 2021-07-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107728617A (zh) | 多目在线标定方法、可移动机器人及系统 | |
| CN104408732B (zh) | 一种基于全向结构光的大视场深度测量系统及方法 | |
| CN105818167B (zh) | 采用远距数字摄像头校准铰接的末端执行器的方法 | |
| CN110728715A (zh) | 一种智能巡检机器人像机角度自适应调整方法 | |
| CN103302666B (zh) | 信息处理设备和信息处理方法 | |
| CN110411441A (zh) | 用于多模态映射和定位的系统和方法 | |
| CN108830906B (zh) | 一种基于虚拟双目视觉原理的摄像机参数自动标定方法 | |
| CN106826817A (zh) | 双反馈机械臂自动装卸系统及方法 | |
| Tamas et al. | Targetless calibration of a lidar-perspective camera pair | |
| JP2011179908A (ja) | ３次元計測装置、その処理方法及びプログラム | |
| US11373329B2 (en) | Method of generating 3-dimensional model data | |
| CN113329179B (zh) | 拍摄对位方法、装置、设备及存储介质 | |
| CN109448105B (zh) | 基于多深度图像传感器的三维人体骨架生成方法及系统 | |
| CN109961471A (zh) | 一种图像中物体位置的标注方法、装置及电子设备 | |
| Deng et al. | Accurate and flexible calibration method for a class of visual sensor networks | |
| JP4227037B2 (ja) | 撮像システム及び校正方法 | |
| CN110111364A (zh) | 运动检测方法、装置、电子设备及存储介质 | |
| Dyrstad et al. | Bin picking of reflective steel parts using a dual-resolution convolutional neural network trained in a simulated environment | |
| Schacter et al. | A multi-camera active-vision system for deformable-object-motion capture | |
| Deschenes et al. | A cable-driven parallel mechanism for capturing object appearance from multiple viewpoints | |
| Wang et al. | Development of a vision system and a strategy simulator for middle size soccer robot | |
| Liang et al. | An integrated camera parameters calibration approach for robotic monocular vision guidance | |
| Liu et al. | Pose determination of non-cooperative spacecraft based on multi-feature information fusion | |
| Oumer | Visual tracking and motion estimation for an on-orbit servicing of a satellite | |
| Tian et al. | Short-baseline binocular vision system for a humanoid ping-pong robot |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |