CN114549975A - 一种基于多摄像头的移动机器人的覆盖率检测方法及系统 - Google Patents

Abstract

一种基于多摄像头的移动机器人的覆盖率检测方法，多个摄像头获取室内的场景图像，根据场景图像的两边建立坐标系，设定每个摄像头的场景图像区域；将目标图像模板与场景图像使用灰度匹配算法进行匹配，得到场景图像中的目标图像的中心点坐标和轮廓，根据目标图像的中心点坐标和轮廓，确定目标图像在坐标系中的第一位置；连续分析获取的场景图像，确定目标图像在场景图像的第二位置，根据第一位置和第二位置确定运动轨迹，根据运动轨迹和机器人的吸尘口长度，确定清扫面积；根据清扫面积与场景图像的总面积确定覆盖率。全部使用图像识别技术，能够解决独立性的监测功能，够有效提高在多种情况下得匹配精度，提升物体定位的准确性，降低硬件成本。

Description

一种基于多摄像头的移动机器人的覆盖率检测方法及系统

技术领域

本发明涉及扫地机器人室内定位技术领域，具体涉及一种基于多摄像头的移动机器人的覆盖率检测方法及系统。

背景技术

现有的扫地机器人在室内清洁，产生了极大的作用。随着使用场景的变化，急需在室内对于扫地机器人进行精确定位，以解决导航、清洁、避障的操作。

随着生活品质的提高，作为能自动清扫垃圾的扫地机器人步入了越来越多人的家庭。1997年，第一台扫地机诞生；2002年，随机式清扫时代；2004年随机式清扫时代灯塔定位；2008年规划式清扫摄像头定位；2010年规划式清扫激光扫描定位。

扫地机器人最基础、最重要的功能就是扫地要扫得干净，如何说明扫地机器人扫地扫的是否干净，这就涉及到设地机器人常用的指标：清扫覆盖率。这个指标主要考查了扫地机器人清扫能力、路径规划能力等，清扫覆盖率越高，说明扫地机器人性能越好，越稳定。

目前，扫地机器人的覆盖率测试最重要的是对扫地机器人的跟踪。跟踪的方法主要有信号定位方法和视觉定位方法。信号定位的精度低、无方向参数、转向时覆盖率偏差大、信号发射器会增加扫地机器人负重。而基于视觉定位方式精度高、有方向参数、转向时覆盖率无偏差。目前对扫地机器人的覆盖率测试使用的多是单个摄像头，但是由于单个摄像头的覆盖范围有限，或者由于测试房间高度较低导致单个摄像头不能覆盖完整的房间，无法完成整个测试房间的覆盖率测试。

发明内容

本发明的发明目的在于克服现有技术存在的问题，提供一种标定准确度高、成本低、精度高的基于多摄像头的移动机器人的覆盖率检测方法及系统。

本发明技术方案如下：

一种基于多摄像头的移动机器人的覆盖率检测方法，多个摄像头获取室内的场景图像，根据场景图像的两边建立坐标系，设定每个摄像头的场景图像区域；

将目标图像模板与场景图像使用灰度匹配算法进行匹配，得到场景图像中的目标图像的中心点坐标和轮廓，根据目标图像的中心点坐标和轮廓，确定目标图像在坐标系中的第一位置；连续分析获取的场景图像，确定目标图像在场景图像的第二位置，根据第一位置和第二位置确定运动轨迹

根据运动轨迹和机器人的吸尘口长度，确定清扫面积；

根据清扫面积与场景图像的总面积确定覆盖率。

根据运动轨迹和机器人的吸尘口宽度，将吸尘口的物理长度转换为像素长度。

对场景图像进行预处理，确定场景图像的矩形边界，以矩形边界的两边为坐标轴，建立坐标系，确定目标图像在矩形边界内坐标系中的坐标。

所述设定场景图像中的矩形边界区域之后还包括对场景图像建立图像遮蔽区域，所述图像遮蔽区域包括

处理场景图像中矩形边界区域以外的区域；

将这个区域的场景图像灰度化的之后与常量255做异或。

获取场景图像的初始图像，与实际场景图像对比求差，识别场景图像中的障碍物区域。

获取场景图像的初始图像，与实际场景图像对比求差，提取对应的障碍物面积，生成障碍物删减图。

根据清扫面积和障碍物删减图，确定实际覆盖面积，根据实际覆盖面积确定覆盖率。

所述相邻的摄像头的场景图像内的坐标系衔接第一个摄像头的场景图像的坐标系，多个摄像头构成全景坐标系。

所述根据第一位置和第二位置确定轨迹为第一位置的中心点坐标与第二位置的中心点坐标的连线为轨迹线；所述相邻的两个场景图像中的矩形边界的坐标系衔接。

一种基于多摄像头的移动机器人的覆盖率检测系统，包括

摄像头模块，用于摄像头获取室内的场景图像，建立坐标系；

模板构建模块，建立图像模板，

匹配模块，将目标图像模板与场景图像使用灰度匹配算法进行匹配，得到场景图像中的目标图像的中心点坐标和轮廓，

计算模块，根据目标图像的中心点坐标和轮廓，确定目标图像在坐标系中的第一位置；连续分析获取的场景图像，确定目标图像在场景图像的第二位置，

轨迹生成模块，根据第一位置和第二位置确定轨迹；

覆盖率计算模块，根据轨迹和吸尘口长度，确定清扫面积，根据清扫面积和场景图像的总面积确定覆盖率。

有益效果：

一种基于多摄像头的移动机器人的覆盖率检测方法，多个摄像头获取室内的场景图像，根据场景图像的两边建立坐标系，设定每个摄像头的场景图像区域；

将目标图像模板与场景图像使用灰度匹配算法进行匹配，得到场景图像中的目标图像的中心点坐标和轮廓，根据目标图像的中心点坐标和轮廓，确定目标图像在坐标系中的第一位置；连续分析获取的场景图像，确定目标图像在场景图像的第二位置，根据第一位置和第二位置确定运动轨迹

根据运动轨迹和机器人的吸尘口长度，确定清扫面积；

根据清扫面积与场景图像的总面积确定覆盖率。

基于室内的摄像头对室内进行取像，获得场景图像，通过场景图像建立的坐标轴，可以绘制基于场景图像的运动轨迹，无需利用机器人的自身导航配置，利用外置的图像处理即可完成定位和图像绘制，基于运动轨迹和吸尘口长度确定清扫面积和覆盖率，全部使用图像识别技术，能够解决独立性的监测功能，还能解决离线或没有GPS情况下的轨迹确定问题，够有效提高在多种情况下得匹配精度，提升物体定位的准确性，降低硬件成本。

附图说明

图1为本发明的目标图像模板的流程图；

图2为本发明的矩形边界、轮廓和运动趋势区域的示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进列进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同；本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请；本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本申请d的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

为了使本技术领域的人员更好地理解本申请方案，下面将结合附图，对本申请实施例中的技术方案进行清楚、完整地描述。

实施例1

一种基于多摄像头的移动机器人的覆盖率检测方法，多个摄像头获取室内的场景图像，根据场景图像的两边建立坐标系，设定每个摄像头的场景图像区域；

将目标图像模板与场景图像使用灰度匹配算法进行匹配，得到场景图像中的目标图像的中心点坐标和轮廓，根据目标图像的中心点坐标和轮廓，确定目标图像在坐标系中的第一位置；连续分析获取的场景图像，确定目标图像在场景图像的第二位置，根据第一位置和第二位置确定运动轨迹

根据运动轨迹和机器人的吸尘口长度，确定清扫面积；

根据清扫面积与场景图像的总面积确定覆盖率。

其中，根据运动轨迹和机器人的吸尘口宽度，将吸尘口的物理长度转换为像素长度。

本发明的场景图像通过下述方法获取：

控制摄像头获取室内场景图像，包括1个或多个摄像头对室内的场景分别取像，当室内的场景较大时，需要利用多个摄像头对室内的场景进行取像，摄像头的数量与室内的场景图像的范围成比例关系；所述的控制摄像头获取室内场景图像为设置于室内顶部的摄像头向下进行拍照，获得室内场景图像；所述获得室内场景图像的时间为机器人位移离开运动趋势区域的最小时间。

多个摄像头分别设置有取像角度和取像区域，使其能够全部覆盖室内的场景，其中对多个摄像头的取像区域进行定义，确定场景图像中的交叉区域的图像其所指定的摄像头，所说的指定摄像头，即目标图像位于每个取像区域时，按照其对应的摄像头的数据进行计算图像中的数据。

如图1所示，本发明的目标图像模板的创建方法包括，将场景图像通过灰度处理过滤成黑白照片，提取出目标图像的模板，进而得到图像模板。

目标图像模板的像素大小包括目标图像的最小识别的像素至完整的目标图像的像素；目标图像模板可以设置多个，可以将最小识别像素至完整的目标图像的像素大小每个均设置，在匹配时，可以有效提高整体匹配成功率。

当然，还可以根据目标图像的区别来调整识别的像素大小；同时目标图像模板的位置也有意义，其目标图像模板中的目标图像分别位于场景图像中的两个对角线上。

本申请的场景图像中的物体均通过坐标系表达，坐标系为以场景图像的两边为坐标轴即X轴和Y轴，以每个像素为一个坐标点(x,y)形成坐标系，为场景图像中的有兴趣的物体标记坐标，使其能够快速的被使用。

本申请中的坐标系还可以通过矩形边界设置，即以矩形边界的边界上的某一点为起始元点，以两边为坐标轴，建立坐标系，当需要对场景图像计算时，即可直接匹配矩形边界内的场景图像，无需对矩形边界外的图像进行分析比对。

本发明的坐标系还可以通过其他方式构成，所述相邻的摄像头的场景图像内的坐标系衔接第一个摄像头的场景图像的坐标系，多个摄像头的场景图像构成全景坐标系。

本申请的场景图像进行处理时，会遇到效率很低的问题，这是由于场景图像为广角图像，其包含了很多的环节噪声，例如墙壁，装饰物等，其视室内的复杂程度，出现极大的变量，这样导致识别效率降低，误判的几率增大。

如图2所示，本发明可以利用矩形边界和轮廓来实现场景图像的快速处理，其是首先设定一个矩形边界，排除场景图像中的明确部分，比如固定无法存在的物体，然后在矩形边界内匹配目标图像模板，找到场景图像中的目标图像，确定其目标图像的中心坐标点和轮廓坐标。

这个矩形边界的范围可以根据需要设计，其不仅能够去除环境噪音，还能够设定为特定的识别区域，其矩形边界可以使用坐标来确定一个区域，当场景图像需要识别时，自动套取矩形边界。

本申请中的坐标系还可以通过矩形边界设置，即以矩形边界的边界上的某一点为起始元点，以两边为坐标轴，建立坐标系，当需要对场景图像计算时，即可直接匹配矩形边界内的场景图像，无需对矩形边界外的图像进行分析比对。

矩形边界外的场景图像的像素使用图像遮蔽方法处理，对场景图像建立图像遮蔽区域，所述图像遮蔽区域包括处理场景图像中矩形边界区域以外的区域；将这个区域的场景图像灰度化的之后与常量255做异或；，255代表黑色，框选之外的地方全部都是黑色的。

除了矩形边界和轮廓外，还可以设置运动趋势区域，具体为，将场景图像匹配目标图像形成的模板，是指将图像形成的模板与场景图像比对，识别出场景图像中的目标图像所在，确定轮廓，根据轮廓确定运动趋势区域，其矩形的面积大于目标图像的区域。

当当下一帧的场景图像匹配无法找到目标图像时，对这一帧场景图像进行全部匹配，重新确定轮廓和运动趋势区域。

所述运动趋势区域包括横向矩形趋势和纵向矩形趋势，所述横向趋势区域和矩形趋势区域起始自场景图像的左边边界，至右边为止，所述纵向矩形趋势自场景图像的上边边界，至下边为止；所述的横向矩形趋势和纵向矩形趋势的宽度大于轮廓的宽度。

利用运动趋势区域可以预测机器人的运动位置，对其进行追踪定位，同时，也可以在识别场景图像时，优先对运动趋势区域内的像素点进行匹配，匹配目标图像；其不但可以提高匹配效率，也能达到较好的追踪效果。

运动趋势区域实现对于场景图像中的目标图像进行追踪定位，并且有效减少场景图像的匹配时间，降低匹配计算量。

本发明的场景图像还包括图像预处理，所说的图像预处理是指，调节场景图像中的：即红黄蓝、色调、饱和度、名度、亮度等参数，将场景图像转化为单一参数的图像。使用这个单一参数的场景图像与模板图像进行匹配。本申请中的摄像头使用CMOS摄像头，其接头使用接口：USB2.0；像素：200万像素(有效像素：120万-150万像素)帧速：30；灵敏度：120-150LUX。

本申请中得场景图像还可以进行障碍物标识处理，其包括获取场景图像的初始图像，与实际场景图像对比求差，识别场景图像中的障碍物区域；获取场景图像的初始图像，与实际场景图像对比求差，提取对应的障碍物面积，生成障碍物删减图；根据清扫面积和障碍物删减图，确定实际覆盖面积，根据实际覆盖面积确定覆盖率。

所述根据第一位置和第二位置确定轨迹为第一位置的中心点坐标与第二位置的中心点坐标的连线为轨迹线；所述相邻的两个场景图像中的矩形边界的坐标系衔接。

所述的匹配目标图像形成的模板，将模板图片过滤成黑白照片，将黑白的程度量化成数值(0-255)，所述的灰度匹配方法是在中模板图像与目标图像之间归一化的计算方法

例如：尺寸为L×K的模板图像T(x,y)在N×M的目标图像f(x,y)中从上到下，从左到右移动时(L≦M且K≦N)，模板图像与目标图像中(i,j)(0≦i≦M-1；0≦j≦N-1)所处区域的互相关值可以表示为：

互相关值对于图片和模板中振幅的变化十分敏感，如像素密度，所以需要利用归一化来消除振幅的影响：

其中是模板w中像素的平均密度值；简单来讲，归一化就是通过设定阈值把所有的数值都化为0和1，归一化后能够提高识别速度，相应的，误判率也会增加，所以本发明对于匹配的成功率进行归一化，匹配成功率低于100％，都判断为匹配不成功，只有达到100％判断为匹配成功。

匹配率还能够通过下述方法提高，

本发明中的环境中将室内的照明灯的亮度均匀设置，能够有效提高匹配效率。

优选的，还可以将在目标图像上叠加标识物，其标识物为使用不反光材料、颜色单一、图案对称中的一种或一种以上的要素组合，这样的目标图像更容易被匹配到。

运动物体的目标检测最终验收的形式就是通过在屏幕上输出运动物体的中心，并将运动物体中心标识出来，首先，在匹配区域会将匹配得到运动物体的中心点坐标输出，通过数据结构簇储存中心点的坐标，再将此坐标x、y的值通过数组分别输出到ROI中的轮廓参数Contours簇，并保存，其中需要将该点转换成ROI的存储形式，覆盖并且输出到ROI上，才可以输出。

首先需要输出两个参数，分别是匹配成功图像的数量和匹配成功的点坐标；只要当匹配成功图像的数量大于零时，才会输入运动物体当前的点坐标。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等非易失性存储介质，或随机存储记忆体(Random Access Memory，RAM)等。

应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

一种基于多摄像头的移动机器人的覆盖率检测系统，包括

摄像头模块，用于摄像头获取室内的场景图像，建立坐标系；

模板构建模块，建立图像模板，

匹配模块，将目标图像模板与场景图像使用灰度匹配算法进行匹配，得到场景图像中的目标图像的中心点坐标和轮廓，

计算模块，根据目标图像的中心点坐标和轮廓，确定目标图像在坐标系中的第一位置；连续分析获取的场景图像，确定目标图像在场景图像的第二位置，

轨迹生成模块，根据第一位置和第二位置确定轨迹；

覆盖率计算模块，根据轨迹和吸尘口长度，确定清扫面积，根据清扫面积和场景图像的总面积确定覆盖率。

本申请还提供了另一种实施方式，即提供一种计算机可读存储介质，所述计算机可读存储介质存储有一种基于多摄像头的移动机器人的覆盖率检测程序，所述一种基于多摄像头的移动机器人的覆盖率检测程序可被至少一个处理器执行，以使所述至少一个处理器执行如上述的一种基于多摄像头的移动机器人的覆盖率检测方法的步骤。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。

显然，以上所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例，附图中给出了本申请的较佳实施例，但并不限制本申请的专利范围。本申请可以以许多不同的形式来实现，相反地，提供这些实施例的目的是使对本申请的公开内容的理解更加透彻全面。尽管参照前述实施例对本申请进行了详细的说明，对于本领域的技术人员来而言，其依然可以对前述各具体实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等效替换。凡是利用本申请说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理在本申请专利保护范围之内。

Claims (10)

1.一种基于多摄像头的移动机器人的覆盖率检测方法，其特征在于：

多个摄像头获取室内的场景图像，根据场景图像的两边建立坐标系，设定每个摄像头的场景图像区域；

将目标图像模板与场景图像使用灰度匹配算法进行匹配，得到场景图像中的目标图像的中心点坐标和轮廓，根据目标图像的中心点坐标和轮廓，确定目标图像在坐标系中的第一位置；连续分析获取的场景图像，确定目标图像在场景图像的第二位置，根据第一位置和第二位置确定运动轨迹；

根据运动轨迹和机器人的吸尘口长度，确定清扫面积；

根据清扫面积与场景图像的总面积确定覆盖率。

2.根据权利要求1所述的一种基于多摄像头的移动机器人的覆盖率检测方法，其特征在于：根据运动轨迹和机器人的吸尘口宽度，将吸尘口的物理长度转换为像素长度。

3.根据权利要求1所述的一种基于多摄像头的移动机器人的覆盖率检测方法，其特征在于：对场景图像进行预处理，确定场景图像的矩形边界，以矩形边界的两边为坐标轴，建立坐标系，确定目标图像在矩形边界内坐标系中的坐标。

4.根据权利要求3所述的一种基于多摄像头的移动机器人的覆盖率检测方法，其特征在于：所述设定场景图像中的矩形边界区域之后还包括对场景图像建立图像遮蔽区域，所述图像遮蔽区域包括：

处理场景图像中矩形边界区域以外的区域；

将这个区域的场景图像灰度化的之后与常量255做异或。

5.根据权利要求1所述的一种基于多摄像头的移动机器人的覆盖率检测方法，其特征在于：获取场景图像的初始图像，与实际场景图像对比求差，识别场景图像中的障碍物区域。

6.据权利要求5所述的一种基于多摄像头的移动机器人的覆盖率检测方法，其特征在于：获取场景图像的初始图像，与实际场景图像对比求差，提取对应的障碍物面积，生成障碍物删减图。

7.据权利要求6所述的一种基于多摄像头的移动机器人的覆盖率检测方法，其特征在于：根据清扫面积和障碍物删减图，确定实际覆盖面积，根据实际覆盖面积确定覆盖率。

8.根据权利要求2所述的一种基于多摄像头的移动机器人的覆盖率检测方法，其特征在于：所述相邻的摄像头的场景图像内的坐标系衔接第一个摄像头的场景图像的坐标系，多个摄像头构成全景坐标系。

9.根据权利要求8所述的一种基于多摄像头的移动机器人的覆盖率检测方法，其特征在于：所述根据第一位置和第二位置确定轨迹为第一位置的中心点坐标与第二位置的中心点坐标的连线为轨迹线；所述相邻的两个场景图像中的矩形边界的坐标系衔接。

10.一种基于多摄像头的移动机器人的覆盖率检测，其特征在于:包括

摄像头模块，用于摄像头获取室内的场景图像，建立坐标系；

模板构建模块，建立图像模板，

匹配模块，将目标图像模板与场景图像使用灰度匹配算法进行匹配，得到场景图像中的目标图像的中心点坐标和轮廓，

计算模块，根据目标图像的中心点坐标和轮廓，确定目标图像在坐标系中的第一位置；连续分析获取的场景图像，确定目标图像在场景图像的第二位置，

轨迹生成模块，根据第一位置和第二位置确定轨迹；

覆盖率计算模块，根据轨迹和吸尘口长度，确定清扫面积，根据清扫面积和场景图像的总面积确定覆盖率。

Images