CN105785989B - 利用行进中机器人标定分布式网络摄像机的系统和相关方法 - Google Patents

Abstract

本发明公开了一种用行进中机器人标定分布式网络摄像机的系统及相关方法。其中，该系统包括机器人用于建立环境地图；人工标志设置在机器人的顶部。服务器与机器人和网络摄像机通信连接，用于获取网络摄像机的图像并利用网络摄像机内参数矫正该图像；还在矫正后的图像中确定人工标志中心在网络摄像机图像坐标系中的坐标；并根据机器人中心在机器人地图坐标系中的坐标及人工标志中心在图像坐标系中的坐标，解算出图像坐标系和地图坐标系之间的转换关系，并根据转换关系来标定分布式网络摄像机。本发明实施例具有系统集成度高、可扩展性强、标定方式快捷等优点，且能够直接建立图像坐标系和地图坐标系之间的转换关系。

Description

利用行进中机器人标定分布式网络摄像机的系统和相关方法

技术领域

本发明实施例涉及机器人技术领域，尤其是涉及一种用行进中机器人标定分布式网络摄像机的系统及相关方法。

背景技术

随着机器人技术的发展，特别是自主定位导航机器人技术，机器人已经可以在自然环境中能够自主避障导航为人类服务。现有的服务机器人大多通过激光传感器，里程计等传感器获取环境信息来完成机器人的定位、避障和导航。然而受限于机器人传感器的测量范围，机器人只能感知局部的环境信息并作出相应的路径规划。由于机器人不能探测全局的环境信息，导致机器人根据局部环境信息做出的路径和任务规划不具备全局最优性。

另一方面，目前，用于监控的网络摄像机已广泛存在于人们的日常生活空间中。人们通过服务器能够实时监控地面环境获取全局环境信息。如果机器人能够利用分布在环境中各个角落的网络摄像机获取全局环境信息，那么机器人就能选择全局意义上最优的任务和路径。

为了让机器人能够利用现有的监控系统获取全局信息，需要将各个网络摄像机所获取的环境信息实时地在机器人地图上进行更新。因此，需要知道如何将摄像机图像坐标系中和地面相关的像素的坐标转换到机器人地图二维坐标中，使得图像中的障碍物等信息能实时在地图坐标系中更新。当前，分布式摄像机在移动机器人的定位应用中都 需要事先标定各个摄像机坐标系和真实环境中世界坐标系的关系，获得摄像机的外参数。这类标定方法繁琐，并且由于在这类系统中机器人自身不具备定位导航能力，需要相邻摄像机之间有视野重叠域，导致相邻网络摄像机之间必须存在空间约束关系，从而使得该分布式监控系统中网络摄像机数量大大增加，进一步导致机器人通过分布式网络摄像机获取全局环境信息的实用性差。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种用行进中机器人标定分布式网络摄像机的系统。此外，还提出了一种用行进中的机器人标定分布式网络摄像机的方法和机器人避障方法。

为了解决上述问题，根据本发明的一个方面，提供了一种用行进中机器人标定分布式网络摄像机的系统。该系统包括：

至少一个机器人，用于建立环境地图；

至少一个网络摄像机，用于标定所述网络摄像机的内外参数；

至少一个人工标志，其设置在所述至少一个机器人的顶部，用于确定所述机器人中心在所述至少一个网络摄像机的图像坐标系中的坐标；

至少一个服务器，其与所述至少一个机器人和所述至少一个网络摄像机通信连接，用于获取所述网络摄像机的图像并利用所述网络摄像机内参数矫正该图像；还在矫正后的图像中确定所述人工标志中心在网络摄像机图像坐标系中的坐标；并根据所述机器人中心在机器人 地图坐标系中的坐标及所述人工标志中心在图像坐标系中的坐标，解算出所述图像坐标系和所述地图坐标系之间的转换关系，并根据所述转换关系来标定分布式网络摄像机。

根据本发明的另一个方面，还提供了一种用行进中的机器人标定分布式网络摄像机的方法。其中，机器人顶部设置有人工标志；该方法包括：

所述机器人建立环境地图，并通过所述人工标志确定所述机器人中心在机器人地图坐标系中的坐标；

标定所述网络摄像机的内参数；

服务器获取所述网络摄像机的图像并利用所述网络摄像机内参数矫正该图像；

所述服务器在矫正后的图像中确定所述人工标志中心在网络摄像机图像坐标系中的坐标；

所述服务器根据所述机器人中心在机器人地图坐标系中的坐标及所述人工标志中心在图像坐标系中的坐标，解算出所述图像坐标系和所述地图坐标系之间的转换关系，并根据所述转换关系来标定分布式网络摄像机。

根据本发明的在一个方面，还提供了一种机器人避障方法，其用于监控系统，所述监控系统包括网络摄像机；所述方法包括：

通过网络摄像机获取所述机器人周围环境的图像；

检测所述图像中障碍物和地面的接触点；

如果检测到所述接触点，则利用上述方法，得到所述障碍物在机 器人地图坐标系中的坐标；

根据所述坐标，进行所述障碍物的规避。

与现有技术相比，上述技术方案至少具有以下有益效果：

本发明实施例不要求相邻网络摄像机之间有重叠视野域，网络摄像机的架设更加灵活；机器人只需遍历散落在环境中的各个摄像机，即可完成所有摄像机的标定工作，更加便捷；网络摄像机的相关观测信息可以直接映射到全局地图坐标系中，有效延展机器人的感知范围。本发明实施例也不需要事先标定分布在各个角落的网络摄像机和真实环境的关系。通过在环境中行进的机器人标定各个网络摄像机，即使得系统集成度高，又保证了标定方式的方便快捷，并且建立了图像坐标系和机器人地图坐标系之间的关系，从而使得网络摄像机获取的环境信息可以直接映射到机器人地图中，方便机器人通过网络摄像机获取全局的环境信息。同时，直接建立各个摄像机与机器人地图之间的联系，用机器人地图坐标系串联起分布在环境中的各个摄像头，消除了各个摄像机之间必须存在的空间约束关系，极大的简化了系统模型，有利于系统的扩展。因此本发明提供的标定方法不仅系统集成度高，可扩展性强，标定快捷方便，而且直接提供各个摄像机图像坐标系和机器人地图坐标系的转换关系，非常适合机器人利用分布式网络摄像头进行全局的环境感知。

附图说明

附图作为本发明的一部分，用来提供对本发明的进一步的理解， 本发明的示意性实施例及其说明用于解释本发明，但不构成对本发明的不当限定。显然，下面描述中的附图仅仅是一些实施例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。在附图中：

图1为根据一示例性实施例示出的用行进中机器人标定分布式网络摄像机的系统的结构示意图；

图2为根据另一示例性实施例示出的用行进中机器人标定分布式网络摄像机的系统结构示意图；

图3为根据一示例性实施例示出的人工标志的结构示意图；

图4为根据一示例性实施例示出的用行进中的机器人标定分布式网络摄像机的方法的流程示意图；

图5为根据一示例性实施例示出的服务器在矫正后的图像中确定人工标志中心在网络摄像机图像坐标系中的坐标的流程示意图；

图6为根据一示例性实施例示出的人工标志中心在采集到的网络摄像机图像中的检测结果示意图；

图7为根据一示例性实施例示出的系统坐标系示意图；

图8为根据一示例性实施例示出的机器人避障方法的流程示意图。

这些附图和文字描述并不旨在以任何方式限制本发明的构思范围，而是通过参考特定实施例为本领域技术人员说明本发明的概念。

具体实施方式

下面结合附图以及具体实施例对本发明实施例解决的技术问题、所采用的技术方案以及实现的技术效果进行清楚、完整的描述。显然， 所描述的实施例仅仅是本申请的一部分实施例，并不是全部实施例。基于本申请中的实施例，本领域普通技术人员在不付出创造性劳动的前提下，所获的所有其它等同或明显变型的实施例均落在本发明的保护范围内。本发明实施例可以按照权利要求中限定和涵盖的多种不同方式来具体化。

需要说明的是，在下面的描述中，为了方便理解，给出了许多具体细节。但是很明显，本发明的实现可以没有这些具体细节。

需要说明的是，在没有明确限定或不冲突的情况下，本发明中的各个实施例及其中的技术特征可以相互组合而形成技术方案。

目前分布式摄像机用于机器人导航的系统中需要事先通过大量的工作标定真实环境中的世界坐标系和各个摄像机坐标系之间的转换关系。此类标定系统普遍存在系统集成度低、标定步骤复杂，可扩展性差等缺点，同时相邻分布式摄像机之间又必须相互约束导致系统模型复杂。由于机器人自主定位导航技术的成熟，机器人能用自身传感器准确的获取环境地图并完成定位导航。因此，通过利用机器人自身作为标定载体，就能找到各个网络摄像机图像坐标系和全局地图坐标系间的转换关系，从而使得机器人能通过分布式摄像机感知全局环境信息。

为了能让机器人能够通过现有的网络监控系统获取全局环境信息，从而使得机器人能够进行全局意义上的最优任务和路径决策。为了达到这个目的需要建立网络监控系统中各个网络摄像机的图像坐标系和机器人地图坐标系的转换关系。

基于这种考虑，本发明实施例提供了一种利用行进机器人标定分布式网络摄像机的方法，能自主导航的移动机器人只需要在分布式摄像机能够检测到的区域行进，每个网络摄像机检测到机器人的次数超过事先设定的阈值就能自动完成标定，找到各个网络摄像机图像坐标系和机器人地图坐标系的转换关系，从而使得标定系统的集成度更高，标定方式快捷。同时，这种利用能自主导航的机器人作为媒介的方式使各个待标定的网络摄像机不再存在约束关系，大大简化了机器人通过分布式网络摄像机获取全局环境信息的模型，使得新的网络摄像机能很容易的添加到监控系统中，同时，整个系统中摄像机的数量大大减少，从而让分布式网络摄像机在机器人导航中更实用。因此，本发明特别适用于机器人通过分布式网络摄像机获取全局环境信息的系统。

图1示例性地示出了用行进中机器人标定分布式网络摄像机的系统。其中，该系统10可以包括至少一个机器人12、至少一个网络摄像机14、至少一个人工标志16和至少一个服务器18。其中，至少一个机器人12用于建立环境地图。至少一个网络摄像机14用于标定网络摄像机14的内外参数。至少一个人工标志16设置在至少一个机器人12的顶部，用于确定机器人中心在至少一个网络摄像机14的图像坐标系中的坐标。至少一个服务器18与至少一个机器人12和至少一个网络摄像机14通信连接，用于获取网络摄像机14的图像并利用网络摄像机内参数矫正该图像；还在矫正后的图像中确定人工标志中心在网络摄像机图像坐标系中的坐标；并根据机器人中心在机器人地 图坐标系中的坐标及人工标志中心在图像坐标系中的坐标，解算出图像坐标系和地图坐标系之间的转换关系，并根据转换关系来标定分布式网络摄像机14。

图2示例性地示出了另一种连接示意图。其中，服务器通过网络通讯设备与网络摄像机和机器人相连。其中，网络摄像机可以为多个。人工标志设置在机器人上，图中未示出。

在一个可选的实施例中，机器人可以设置有传感器。该机器人还可以被配置为利用传感器并通过即时定位与建图SLAM算法，来建立环境地图；并通过自适应蒙特卡洛算法，融合传感器，确定机器人中心在机器人地图坐标系中的坐标。

其中，机器人能遍历陌生环境，通过即时定位与地图构建(SLAM)算法，并利用机载传感器数据构建环境地图。完成环境地图构建后，机器人根据已构建的环境地图，能在地图范围内自主移动导航、自主定位和局部避障导航，通过自适应蒙特卡洛算法，并利用机载传感器完成机器人在环境中的定位，获取机器人在机器人地图坐标系中的位姿(坐标)，并通过网络通讯设备实时向服务器发送机器人在机器人地图坐标系中的二维坐标。

优选地，机器人为自主导航移动机器人。

人工标志由四个小方块组成的T型标志，用于确定机器人在图像中的位置。如附图3所示。T型标志中每个小方块的边长10cm，横竖的交汇处是人工标志的中心。T型标志将安放在机器人中心正上方，其中心在机器人中心坐标系中的表示为三维坐标(0，0，z)，单位为m。

在一个可选的实施例中，服务器具体还可以包括：网络通讯模块、网络摄像机图像获取模块、图像畸变矫正模块、人工标志检测模块、人机交互模块、机器人地图坐标查询模块、坐标系转换矩阵解算模块和标定模块。其中，网络通讯模块用于利用TCP/IP网络协议完成服务器和网络摄像机以及机器人之间的数据交换。网络摄像机图像获取模块用于采用轮询方式访问预先存储的网络摄像机的IP地址，并接收被访问的网络摄像机返回未处理的图像。图像畸变矫正模块用于根据网络摄像机id号以及预先存储的网络摄像机的内参数，对网络摄像机返回未处理的图像进行畸变矫正。人工标志检测模块用于对矫正畸变后的图像进行图像处理，获取人工标志中心在网络摄像机图像坐标系中的坐标。人机交互模块用于显示人工标志中心在网络摄像机图像坐标系中的坐标。机器人地图坐标查询模块用于获取机器人中心在机器人地图坐标系中的坐标。坐标系转换矩阵解算模块用于当网络摄像机检测机器人次数超过阈值时，利用人工标志中心在机器人地图坐标系和摄像机网络摄像机图像坐标系中坐标的一一对应关系来求解PnP问题，计算机器人地图坐标系和网络摄像机图像坐标系之间的转换关系。标定模块用于根据转换关系来标定分布式网络摄像机。

在上述实施例中，人工标志检测模块具体可以包括：第一确定单元、提取单元、周长计算单元、第一过滤单元、近似单元、第二过滤单元、质心计算单元和第二确定单元。其中，第一确定单元用于将矫正后的图像与颜色阈值进行比较，确定图像中和人工标志颜色近似的区域，获得颜色图像掩码。提取单元用于使用颜色图像掩码，提取颜 色近似区域的轮廓。周长计算单元用于计算轮廓的周长。第一过滤单元用于根据周长，过滤掉不符合人工标志尺寸的轮廓噪声。近似单元用于对过滤后的轮廓用最小矩形近似。第二过滤单元用于根据矩形的宽高比，过滤掉不符合人工标志形状的轮廓噪声。质心计算单元用于计算满足人工标志中方块要求的矩形的质心。第二确定单元用于根据人工标志中方块质心的约束关系，确定人工标志中心在网络摄像机图像坐标系中的坐标。

网络摄像机检测机器人次数超过阈值的情况是指某个网络摄像机获取的机器人在网络摄像机图像坐标系中的坐标以及其在机器人地图坐标系中的坐标组成的坐标对数量超过阈值。

坐标系转换矩阵解算模块计算出机器人地图坐标系和摄像机网络摄像机图像坐标系的转换关系，即获得了摄像机坐标系和机器人地图坐标系间的外参数矩阵(即转换矩阵)。通过摄像机的内、外参数可以计算网络摄像机图像坐标系和机器人地图坐标系二维坐标间的转换矩阵。

作为示例，服务器通过网络通讯设备与机器人以及分布式网络摄像机相连。服务器处理分布式网络摄像机所拍摄的图像，纠正图像畸变，并通过安放在机器人上的人工标志实时获取人工标志中心在网络摄像机图像坐标系中的二维坐标(w，h)。在检测到人工标志中心所在二维坐标的同时，服务器通过网络通讯模块获取机器人中心在机器人地图坐标系中的坐标(x，y)。当某个网络摄像机获取的机器人在网络摄像机图像坐标系中的坐标以及其在机器人地图坐标系中的坐标组 成的坐标对数量超过阈值时，解算出该网络摄像机图像坐标系和机器人地图坐标系二维坐标间的转换矩阵。

具体地，将人工标志中心在网络摄像机图像坐标系中的坐标与机器人中心在机器人地图坐标系中的二维坐标组合成一组坐标对。若某网络摄像机获取了N组坐标对(N取正整数)，则解算出该网络摄像机图像坐标系和机器人地图坐标系的转换关系。依次往复，直到所有网络摄像机完成标定。最后，利用获取的多组机器人在图像坐标系和地图坐标系下的二维坐标，计算出该网络摄像机图像坐标系和机器人地图坐标系间的转换关系，完成该网络摄像机的标定；机器人依次经过多个网络摄像机，重复上面过程，从而完成分布式网络摄像机到地图坐标系的统一标定。

本领域技术人员可以理解，上述用行进中机器人标定分布式网络摄像机的系统还包括一些其他公知结构，例如处理器、控制器、存储器等，为了不必要地模糊本公开的实施例，这些公知的结构在图1中未示出。

应该理解，图1中的机器人、网络摄像机和服务器的数量仅仅是示意性的。根据实现需要，可以具有任意数量的机器人、网络摄像机和服务器。

需要说明的是：上述实施例提供的用行进中机器人标定分布式网络摄像机的系统在进行网络摄像机的标定时，仅以上述各功能模块或单元的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块或单元来完成，即将系统的内部结构划分成 不同的功能模块或单元，以完成以上描述的全部或者部分功能。

基于与上述系统实施例相同的技术构思，本发明实施例还提出一种用行进中的机器人标定分布式网络摄像机的方法。其中，机器人顶部设置有人工标志。如图4所示，该方法可以包括：步骤S400至步骤S440。

S400：机器人建立环境地图，并确定机器人中心在机器人地图坐标系中的坐标。

在该步骤中，设置机器人地图坐标系为全局坐标系，机器人中心所在平面为机器人地图坐标系z＝0平面，其在机器人地图坐标系中某处的三维坐标为(x，y，0)。

S410：标定所网络摄像机的内参数。

本步骤中，将标定的网络摄像机内参数存储在服务器中。

S420：服务器获取网络摄像机的图像并利用网络摄像机内参数矫正该图像。

本步骤中，服务器获取网络摄像机图像，利用已存取的内参数矫正原始图像的畸变。

S430：服务器在矫正后的图像中确定人工标志中心在网络摄像机图像坐标系中的坐标。

S440：服务器根据机器人中心在机器人地图坐标系中的坐标及人工标志中心在图像坐标系中的坐标，解算出图像坐标系和地图坐标系之间的转换关系，并根据转换关系来标定分布式网络摄像机。

本发明实施例通过在环境中行进的机器人标定各个网络摄像机， 可使得系统集成度高，又保证了标定方式的方便快捷，并且建立了图像坐标系和机器人地图坐标系之间的关系，从而使得网络摄像机获取的环境信息可以直接映射到机器人地图中，方便了机器人通过网络摄像机获取全局的环境信息。同时，通过直接建立各个摄像机与机器人地图之间的联系，使用机器人地图坐标系串联起分布在环境中的各个摄像头，消除了各个摄像机之间必须存在的空间约束关系，极大地简化了系统模型，有利于系统的扩展，适合机器人利用分布式网络摄像头进行全局的环境感知。

在一个可选的实施例中，机器人可以设置有传感器。机器人建立环境地图，并确定机器人中心在机器人地图坐标系中的坐标具体可以包括：机器人利用传感器并通过即时定位与建图SLAM算法，来建立环境地图。然后，机器人通过自适应蒙特卡洛算法，融合传感器，确定机器人中心在机器人地图坐标系中的坐标。

具体地，机器人利用自身传感器(如激光传感器)通过即时定位与建图(SLAM)算法建立环境地图，确定机器人地图坐标系。让带有人工标志的机器人在地图中行进，机器人通过自适应蒙特卡洛算法融合多传感器完成机器人在环境中的位姿估算，获得机器人中心在机器人地图坐标系中的二维坐标。

在一个可选的实施例中，如图5所示，服务器在矫正后的图像中确定人工标志中心在网络摄像机图像坐标系中的坐标具体可以包括：步骤S500至步骤S570。

S500：将矫正后的图像与颜色阈值进行比较，确定图像中和人工 标志颜色近似的区域，获得颜色图像掩码。

具体地，对矫正后的图像采用颜色阈值，只留下矫正后的图像中和人工标志中的四个小方块颜色近似的区域，从而获得颜色图像掩码。

S510：使用颜色图像掩码，提取颜色近似区域的轮廓。

S520：计算轮廓的周长。

S530：根据周长，过滤掉不符合人工标志尺寸的轮廓噪声。

S540：对过滤后的轮廓用最小矩形近似。

S550：根据矩形的宽高比，过滤掉不符合人工标志形状的轮廓噪声。

S560：计算满足人工标志中方块要求的矩形的质心。

S570：根据人工标志中方块质心的约束关系，确定人工标志中心在网络摄像机图像坐标系中的坐标。

其中，根据人工标志中四个小方块质心的约束关系计算T型人工标志中心点在图像中的二维位置坐标(w，h)。

图6示例性地示出了人工标志中心在采集到的网络摄像机图像中的检测结果。由于上述检测过程中充分利用了人工标志的颜色特征，几何特征以及小方块之间的几何约束。实验表明这种检测方式检测到的人工标志中心在图像中位置稳定且检测结果准确，从而确保摄像机标定结果的准确性。

在一个可选的实施例中，服务器根据机器人中心在机器人地图坐标系中的坐标及人工标志中心在图像坐标系中的坐标，解算出图像坐标系和地图坐标系之间的转换关系，并根据转换关系来标定分布式网 络摄像机具体可以包括：基于机器人中心在机器人地图坐标系中的坐标和人工标志中心在图像坐标系中的坐标，使用RANSAC和最小二乘法拟合出地图坐标系与图像坐标系之间的转换矩阵。然后，通过转换矩阵计算网络摄像机图像坐标系中与地面相关的像素的坐标和机器人地图坐标系中坐标之间的转换关系，从而根据转换关系来标定分布式网络摄像机。

在实际应用中，服务器每获取到一个人工标志中心(即人工标志中心点)在图像中的二维位置坐标，立即通过网络通讯模块从行进中的机器人处获取机器人中心在地图坐标系中的二维坐标(x，y)，并将得到的这两个坐标以坐标数据对的形式进行存储，保证坐标对的一一对应，采集N组坐标对，N大于等于4(N在此可以作为阈值)。服务器利用网络摄像机捕捉到的N组坐标数据对可以解算出该网络摄像头的图像坐标系和机器人地图坐标系间的转换关系，从而完成标定。

在一个可选的实施例中，基于机器人中心在机器人地图坐标系中的坐标和人工标志中心在图像坐标系中的坐标，使用RANSAC和最小二乘法拟合出地图坐标系与图像坐标系之间的转换矩阵具体可以包括：根据小孔成像原理，确定人工标志中心在机器人地图坐标系中的坐标与在网络摄像机图像坐标系中的坐标之间的对应关系。根据网络摄像机的内、外参数以及对应关系，计算地图坐标系中地面二维坐标与网络摄像机图像坐标系中二维坐标之间的转换关系。根据转换关系，使用RANSAC和最小二乘法拟合出地图坐标系与图像坐标系之间的转换矩阵。

下面结合图7对计算网络摄像机图像坐标系和机器人地图坐标系间转换矩阵的步骤予以说明：

图7示例性地示出了系统坐标系示意图。在图7中，71为机器人地图坐标系，72为机器人，机器人中心在机器人地图坐标系中的三维位置为(x，y，0)，73为安放在机器人上方的人工标志，人工标志中心在机器人地图坐标系中的(x，y，z)，74为网络摄像机。

求解地图三维坐标系和网络摄像机图像坐标系中的转换关系。

当机器人中心在地图中坐标为(x，y，0)时，人工标志中心在机器人地图坐标系中的三维坐标为(x，y，z)，假设此时人工标志中心在某个网络摄像机图像坐标系的二维坐标为(w，h)。

本领域技术人员应清楚，本文中的这种假设仅仅是为了更好地说明本发明，不应视为对本发明的不当限定。

根据小孔成像原理，(w，h)与(x，y，z)之间对应关系为：

其中，s为尺度伸缩因子；f_x、f_y、c_x、c_x为网络摄像机内参数(通过对网络摄像机标定得到)；r_ij、t_x、t_y、t_z表示网络摄像机坐标系和机器人地图坐标系之间的转换矩阵的参数，即外参数矩阵，其中i、j可取1，2，3。

其中，只要在摄像机图像中检测到四个不共线的人工标志中心点，就能通过求解PNP问题计算出网络摄像机的外参数。

通过摄像机的内、外参数计算出机器人地图坐标系中地面二维坐 标(x，y)与摄像机网络摄像机图像坐标系二维坐标(u，v)之间的转换关系，如下：

进而得到：

根据(3)式可以得到网络摄像机图像坐标系中与地面有关的坐标(u，v)转换到机器人地图坐标系二维坐标(x，y)之间转换矩阵h：

在一个可选的实施例中，通过转换矩阵计算网络摄像机图像坐标系中与地面相关的像素的坐标和机器人地图坐标系中坐标之间的转换关系具体可以包括：

根据以下公式确定网络摄像机图像坐标系中与地面相关的像素的坐标和所述机器人地图坐标系中坐标之间的转换关系。具体地，确定摄像机网络摄像机图像坐标系坐标(u，v)和机器人地图坐标z＝0平面处即地面(x，y)之间的转换关系为：

其中，x、y为机器人地图坐标系下的二维坐标；u、v为图像坐标系中和地面有关的二维位置坐标，矩阵h为转换矩阵。

如果能够在图像中检测出环境中某一障碍物和地面的接触点，假设坐标为(u，v)，那么就能利用h矩阵通过公式(5)和(6)得到障碍物在机器人地图坐标系中的坐标(x，y)，从而使得机器人通过网络摄像机可以感知全局环境信息。

为此，本发明实施例还提供一种机器人避障方法。如图8所示，该方法可以包括：

S800：通过网络摄像机获取机器人周围环境的图像。

S810：检测图像中障碍物和地面的接触点。

S820：如果检测到接触点，则利用上述用行进中的机器人标定分布式网络摄像机的方法，得到障碍物在机器人地图坐标系中的坐标。

S830：根据坐标，进行障碍物的规避。

本实施例中虽然将各个步骤按照上述先后次序的方式进行了描述，但是本领域技术人员可以理解，为了实现本实施例的效果，不同的步骤之间不必按照这样的次序执行，其可以同时(并行)执行或以颠倒的次序执行，这些简单的变化都在本发明的保护范围之内。

上述系统实施例可以用于执行上述方法实施例，其技术原理、所解决的技术问题及产生的技术效果相似，所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

应指出的是，上面分别对本发明的系统实施例和方法实施例进行了描述，但是对一个实施例描述的细节也可应用于另一个实施例。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。本领域技术人员应该理解：本发明实施例中的模块或者步骤还可以再分解或者组合。例如上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。

以上对本发明实施例所提供的技术方案进行了详细的介绍。虽然本文应用了具体的个例对本发明的原理和实施方式进行了阐述，但是，上述实施例的说明仅适用于帮助理解本发明实施例的原理；同时，对于本领域技术人员来说，依据本发明实施例，在具体实施方式以及应用范围之内均会做出改变。

需要说明的是，本文中涉及到的流程图或框图不仅仅局限于本文所示的形式，其还可以进行划分和/或组合。

需要说明的是：附图中的标记和文字只是为了更清楚地说明本发明，不视为对本发明保护范围的不当限定。

术语“包括”、“包含”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。

如本文中所使用的，术语“模块或单元”可以指代在计算系统上执行的软件对象或例程。可以将本文中所描述的不同模块实现为在计算系统上执行的对象或过程(例如，作为独立的线程)。虽然优选地以 软件来实现本文中所描述的系统和方法，但是以硬件或者软件和硬件的组合的实现也是可以的并且是可以被设想的。

本发明的各个步骤可以用通用的计算装置来实现，例如，它们可以集中在单个的计算装置上，例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备或者多处理器装置，也可以分布在多个计算装置所组成的网络上，它们可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。因此，本发明不限于任何特定的硬件和软件或者其结合。

本发明提供的方法可以使用可编程逻辑器件来实现，也可以实施为计算机程序软件或程序模块(其包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件或数据结构等等)，例如根据本发明的实施例可以是一种计算机程序产品，运行该计算机程序产品使计算机执行用于所示范的方法。所述计算机程序产品包括计算机可读存储介质，该介质上包含计算机程序逻辑或代码部分，用于实现所述方法。所述计算机可读存储介质可以是被安装在计算机中的内置介质或者可以从计算机主体上拆卸下来的可移动介质(例如：采用热插拔技术的存储设备)。所述内置介质包括但不限于可重写的非易失性存储器，例如：RAM、ROM、快闪存储器和硬盘。所述可移动介质包括但不限于：光存储介质(例如：CD-ROM和DVD)、磁光存储介质(例如：MO)、磁存储介质(例如：磁带或移动硬盘)、具有内置的可重写非易失性存储器的媒体(例如：存储卡)和具有内置ROM的媒体(例如： ROM盒)。

本发明并不限于上述实施方式，在不背离本发明实质内容的情况下，本领域普通技术人员可以想到的任何变形、改进或替换均落入本发明的保护范围。

Claims (9)

1.一种用行进中机器人标定分布式网络摄像机的系统，其特征在于，所述系统至少包括：

至少一个机器人，用于建立环境地图；

至少一个网络摄像机，用于标定所述网络摄像机的内外参数；

至少一个人工标志，其设置在所述至少一个机器人的顶部，用于确定所述机器人中心在所述至少一个网络摄像机的图像坐标系中的坐标；

至少一个服务器，其与所述至少一个机器人和所述至少一个网络摄像机通信连接，用于获取所述网络摄像机的图像并利用所述网络摄像机内参数矫正该图像；还在矫正后的图像中确定所述人工标志中心在网络摄像机图像坐标系中的坐标；并根据所述机器人中心在机器人地图坐标系中的坐标及所述人工标志中心在图像坐标系中的坐标，解算出所述图像坐标系和所述地图坐标系之间的转换关系，并根据所述转换关系来标定分布式网络摄像机；其中，所述至少一个服务器具体包括：

网络通讯模块，用于利用TCP/IP网络协议完成所述服务器和所述网络摄像机以及所述机器人之间的数据交换；

网络摄像机图像获取模块，用于采用轮询方式访问预先存储的所述网络摄像机的IP地址，并接收被访问的网络摄像机返回未处理的图像；

图像畸变矫正模块，用于根据网络摄像机id号以及预先存储的网络摄像机的内参数，对所述网络摄像机返回未处理的图像进行畸变矫正；

人工标志检测模块，用于对矫正畸变后的图像进行图像处理，获取所述人工标志中心在网络摄像机图像坐标系中的坐标；

人机交互模块，用于显示所述人工标志中心在网络摄像机图像坐标系中的坐标；

机器人地图坐标查询模块，用于获取所述机器人中心在机器人地图坐标系中的坐标；

坐标系转换矩阵解算模块，用于当所述网络摄像机检测机器人次数超过阈值时，利用所述人工标志中心在机器人地图坐标系和摄像机网络摄像机图像坐标系中坐标的一一对应关系来求解PnP问题，计算所述机器人地图坐标系和所述网络摄像机图像坐标系之间的转换关系；

标定模块，用于根据所述转换关系来标定分布式网络摄像机。

2.根据权利要求1所述的系统，其特征在于，所述至少一个机器人设置有传感器；

所述至少一个机器人还被配置为利用所述传感器并通过即时定位与建图SLAM算法，来建立环境地图；并通过自适应蒙特卡洛算法，融合所述传感器，确定所述机器人中心在机器人地图坐标系中的坐标。

3.根据权利要求1所述的系统，其特征在于，所述人工标志检测模块具体包括：

第一确定单元，用于将所述矫正后的图像与颜色阈值进行比较，确定所述图像中和所述人工标志颜色近似的区域，获得颜色图像掩码；

提取单元，用于使用所述颜色图像掩码，提取所述颜色近似区域的轮廓；

周长计算单元，用于计算轮廓的周长；

第一过滤单元，用于根据所述周长，过滤掉不符合所述人工标志尺寸的轮廓噪声；

近似单元，用于对过滤后的轮廓用最小矩形近似；

第二过滤单元，用于根据所述矩形的宽高比，过滤掉不符合所述人工标志形状的轮廓噪声；

质心计算单元，用于计算满足所述人工标志中方块要求的所述矩形的质心；

第二确定单元，用于根据所述人工标志中方块质心的约束关系，确定所述人工标志中心在网络摄像机图像坐标系中的坐标。

4.一种用行进中的机器人标定分布式网络摄像机的方法，所述机器人顶部设置有人工标志；其特征在于，所述方法包括：

所述机器人建立环境地图，并通过所述人工标志确定所述机器人中心在机器人地图坐标系中的坐标；

标定所述网络摄像机的内参数；

服务器获取所述网络摄像机的图像并利用所述网络摄像机内参数矫正该图像；

所述服务器在矫正后的图像中确定所述人工标志中心在网络摄像机图像坐标系中的坐标；具体包括如下步骤：

步骤1：将所述矫正后的图像与颜色阈值进行比较，确定所述图像中和所述人工标志颜色近似的区域，获得颜色图像掩码；

步骤2：使用所述颜色图像掩码，提取所述颜色近似区域的轮廓；

步骤:3：计算轮廓的周长；

步骤4：根据所述周长，过滤掉不符合所述人工标志尺寸的轮廓噪声；

步骤5：对过滤后的轮廓用最小矩形近似；

根据所述矩形的宽高比，过滤掉不符合所述人工标志形状的轮廓噪声；

步骤6：计算满足所述人工标志中方块要求的所述矩形的质心；

步骤7：根据所述人工标志中方块质心的约束关系，确定所述人工标志中心在网络摄像机图像坐标系中的坐标；

所述服务器根据所述机器人中心在机器人地图坐标系中的坐标及所述人工标志中心在图像坐标系中的坐标，解算出所述图像坐标系和所述地图坐标系之间的转换关系，并根据所述转换关系来标定分布式网络摄像机。

5.根据权利要求4所述的方法，所述机器人设置有传感器；其特征在于，所述机器人建立环境地图，并通过所述人工标志确定所述机器人中心在机器人地图坐标系中的坐标，具体包括：

所述机器人利用所述传感器并通过即时定位与建图SLAM算法，来建立环境地图；

所述机器人通过自适应蒙特卡洛算法，融合传感器，并通过所述人工标志，确定所述机器人中心在机器人地图坐标系中的坐标。

6.根据权利要求4所述的方法，其特征在于，所述服务器根据所述机器人中心在机器人地图坐标系中的坐标及所述人工标志中心在图像坐标系中的坐标，解算出所述图像坐标系和所述地图坐标系之间的转换关系，并根据所述转换关系来标定分布式网络摄像机，具体包括：

基于所述机器人中心在所述机器人地图坐标系中的坐标和所述人工标志中心在所述图像坐标系中的坐标，使用RANSAC和最小二乘法拟合出所述地图坐标系与所述图像坐标系之间的转换矩阵；

通过所述转换矩阵计算所述网络摄像机图像坐标系中与地面相关的像素的坐标和所述机器人地图坐标系中坐标之间的转换关系，从而根据所述转换关系来标定分布式网络摄像机。

7.根据权利要求6所述的方法，其特征在于，所述基于所述机器人中心在所述机器人地图坐标系中的坐标和所述人工标志中心在所述图像坐标系中的坐标，使用RANSAC和最小二乘法拟合出所述地图坐标系与所述图像坐标系之间的转换矩阵，具体包括：

根据小孔成像原理，确定所述人工标志中心在所述机器人地图坐标系中的坐标与在所述网络摄像机图像坐标系中的坐标之间的对应关系；

根据所述网络摄像机的内、外参数以及所述对应关系，计算所述地图坐标系中地面二维坐标与所述网络摄像机图像坐标系中二维坐标之间的转换关系；

根据所述转换关系，使用所述RANSAC和所述最小二乘法拟合出所述地图坐标系与所述图像坐标系之间的所述转换矩阵。

8.根据权利要求6所述的方法，其特征在于，所述通过所述转换矩阵计算所述网络摄像机图像坐标系中与地面相关的像素的坐标和所述机器人地图坐标系中坐标之间的转换关系，具体包括：

根据以下公式确定所述网络摄像机图像坐标系中与地面相关的像素的坐标和所述机器人地图坐标系中坐标之间的转换关系：

其中，所述x、所述y为机器人地图坐标系下的二维坐标；所述u、所述v为图像坐标系中和地面有关的二维位置坐标，矩阵h为所述转换矩阵。

9.一种机器人避障方法，用于监控系统，所述监控系统包括网络摄像机；其特征在于，所述方法包括：

通过网络摄像机获取所述机器人周围环境的图像；

检测所述图像中障碍物和地面的接触点；

如果检测到所述接触点，则利用如权利要求4-8中任一所述的方法，得到所述障碍物在机器人地图坐标系中的坐标；

根据所述坐标，进行所述障碍物的规避。