CN219126188U - 一种高匹配度扫地机器人 - Google Patents

Abstract

一种高匹配度扫地机器人，其特征在于，包括机器人本体、深度相机以及处理器；所述深度相机设置在所述机器人本体的侧面上；所述深度相机包括光投射器和光接收器；所述光投射器，用于向目标场景投射结构光或泛光；所述光接收器，用于接收所述目标场景中任意物体反射后的所述结构光或泛光，并生成采集图像；所述处理器，用于根据水平参考平面和竖直参考平面对所述采集图像进行校正，还可以根据校正后的图像生成深度图像，并根据所述水平参考平面与所述深度图像判断物体的体积。本实用新型预先判断物体的体积，以保证扫地机器人运行的安全性。

Description

一种高匹配度扫地机器人

技术领域

本实用新型涉及扫地机器人，具体地，涉及一种高匹配度扫地机器人。

背景技术

扫地机器人，是智能家用电器的一种，能凭借一定的人工智能，自动在房间内完成地板清理工作。一般采用刷扫和真空方式，将地面杂物先吸纳进入自身的垃圾收纳盒，从而完成地面清理的功能。

避障是智能扫地机器人的一项重要功能。常见的避障方案有单目RGB相机、线结构光或泛光、单目结构光或泛光等，其中基于3D视觉的方案能够较好解决众多家居场景下障碍物的识别难题。

由于扫地机器人结构的特殊性，3D相机往往安装在距离地面较低的高度上，且其相机光轴与地面法线夹角接近90°，这样特殊的安装方式往往导致单目结构光或泛光中的匹配算法表现不佳，出现许多错误匹配或者无法匹配区域。更进一步，不佳的匹配效果导致深度数据缺失或者错误，这对于扫地机器人基于立体视觉信息的避障或者导航来说是不利的。同样的问题也存在于智能汽车及具有较低摄像头的移动机器人中。而这会导致安全性问题。

实用新型内容

为此，本实用新型通过预先判断物体的体积，以保证扫地机器人运行的安全性。

根据本实用新型提供的一种高匹配度扫地机器人，其特征在于，包括机器人本体、深度相机以及处理器；所述深度相机设置在所述机器人本体的侧面上；

所述深度相机包括光投射器和光接收器；

所述光投射器，用于向目标场景投射结构光或泛光；

所述光接收器，用于接收所述目标场景中任意物体反射后的所述结构光或泛光，并生成采集图像；

所述处理器，用于根据水平参考平面和竖直参考平面对所述采集图像进行校正。

可选地，所述的一种高匹配度扫地机器人，其特征在于，所述处理器还可以根据校正后的图像生成深度图像，并根据所述水平参考平面与所述深度图像判断物体的体积。

可选地，所述的一种高匹配度扫地机器人，其特征在于，机器人本体一侧具有竖直平面，用于当物体的体积在一定的范围内时，通过所述竖直平面将所述物体推到指定地点。

可选地，所述的一种高匹配度扫地机器人，其特征在于，所述处理器还可以根据校正后的图像生成深度图像，并判断是否可以穿行。

可选地，所述的一种高匹配度扫地机器人，其特征在于，当所述光投射器投射结构光时，所述处理器根据水平参考平面和竖直参考平面对所述采集图像进行校正时，包括如下步骤：

步骤S1:根据竖直参考平面的标定信息和相机内参，求得每个散斑点的空间坐标

其中，所述竖直参考平面的标定信息包括散斑点的图像坐标

和参考面距离z_ref；

步骤S2：根据每个散斑点的所述空间坐标

激光器与相机的位置关系(t_x,t_y,t_z)和假想的水平面(a,b,c,d),求出每个散斑点在地面的投影坐标

步骤S3：将地面的散斑点重投影回图像坐标系下得到水平参考平面的标定信息；其中，所述水平参考平面的标定信息包括散斑点的图像坐标

和参考点距离

步骤S4：根据所述竖直参考平面的标定信息和所述水平参考平面的标定信息对拍摄的图像进行校正。

可选地，所述的一种高匹配度扫地机器人，其特征在于，所述步骤S3和步骤S4之间还包括：

步骤S5：根据所述竖直参考平面和所述水平参考平面的坐标对，求解两个平面之间的单应矩阵，进而求解水平参考平面图像上任意点坐标与竖直参考平面的对应关系。

可选地，所述的一种高匹配度扫地机器人，其特征在于，在所述步骤S1中：

可选地，所述的一种高匹配度扫地机器人，其特征在于，在所述步骤S2中：

其中，

可选地，所述的一种高匹配度扫地机器人，其特征在于，在所述步骤S3中：

可选地，所述的一种高匹配度扫地机器人，其特征在于，所述步骤S4包括：

步骤S41:根据所述竖直参考平面的标定信息和所述水平参考平面的标定信息分别对拍摄的图像进行校正，分别得到第一校正图像和第二校正图像；

步骤S42:将所述第一校正图像和所述第二校正图像进行比对，获得相似度高的所有像素点；

步骤S43：去除所述相似度高的所有像素点中的离散点，得到分隔线；

步骤S44：提取所述第一校正图像中所述分隔线上的部分和所述第二校正图像中所述分隔线下的部分，再将两者拼接，得到第三校正图像。

与现有技术相比，本实用新型具有如下的有益效果：

本实用新型以竖直参考平面和相机内参的参数进行处理，均利用现在系统中的已知参数，无需对相机进行重新标定与额外工作，就可以得到双参考平面的参数，大大减少了前期标定的工作量与匹配计算量，有利于本实用新型的推广应用。

本实用新型预先判断物体的体积，以保证扫地机器人运行的安全性。

附图说明

为了更清楚地说明本实用新型实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本实用新型的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。通过阅读参照以下附图对非限制性实施例所作的详细描述，本实用新型的其它特征、目的和优点将会变得更明显：

图1为本实用新型实施例中扫地机器人的工作原理示意图；

图2为本实用新型实施例中扫地机器人拍摄获得的水平和竖直散斑图像；

图3为本实用新型实施例中一种基于双参考平面的单目结构光立体匹配方法的步骤流程图；

图4为本实用新型实施例中另一种基于双参考平面的单目结构光立体匹配方法的步骤流程图。

图中：100为机器人本体；200为物体；1为光投射器；2为光接收器。

具体实施方式

下面结合具体实施例对本实用新型进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本实用新型，但不以任何形式限制本实用新型。应当指出的是，对本领域的普通技术人员来说，在不脱离本实用新型构思的前提下，还可以做出若干变形和改进。这些都属于本实用新型的保护范围。

本实用新型的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本实用新型的实施例，例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

下面以具体地实施例对本实用新型的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。

下面以具体地实施例对本实用新型的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本实用新型的实施例进行描述。

图1为本实用新型实施例中扫地机器人的工作原理示意图，如图1所示，本实用新型实施例提供的扫地机器人，包括机器人本体100、深度相机以及处理器；所述深度相机设置在所述机器人本体100的侧面上；

所述深度相机包括光投射器1和光接收器2；

所述光投射器1，用于向目标场景投射结构光或泛光；

所述光接收器2，用于接收所述目标场景中任意物体200反射后的所述结构光或泛光，并生成采集图像；

所述处理器，用于根据水平参考平面和竖直参考平面对所述采集图像进行校正。

在本实施例中，所述结构光或泛光中每一光束具有较高的功率密度，投射距离较远，能够获得室内距离扫地机器人较远处的物体200分布，便于扫地机器人进行即时定位与地图构建。

在部分实施例中，所述结构光或泛光中光束的数量在两束和几千束之间，如2束至1千束。

所述深度相机的视场角在100°至110°之间。

处理器还可以根据校正后的图像生成深度图像，并根据所述水平参考平面与所述深度图像判断物体的体积。在判断物体的体积时，根据水平参考平面与激光投影形成的物体及阴影部分用于估计物体的体积。由于扫地机器人一次性吸入的体积是有限制的，为了防止堵住吸口，需要预先判断物体的体积。如果物体的体积过大，则需要躲避绕行。需要说明的是，这里的体积过大是指被视作垃圾的物品的体积，与扫地机器人的避障功能不同。避障功能中的物品的体积并不仅指体积特别大，也指高度比较高。而本实施例中的体积过大是指不能被视作障碍物的垃圾，在现有技术中会直接进行清扫，但有导致吸口堵塞的风险。在现有技术中，常常通过加大吸力等技术路线满足日常生活需要。但实际生活中可能导致吸口堵塞的物品仍然较大，因此需要预先判断物体的体积，以保证扫地机器人运行的安全性。

机器人本体100上有一侧竖直平面。对于可能导致吸口堵塞的物品，扫地机器人通过机器人本体100上的竖直平面将物品推到指定地点，而非吸入本体内。这样可以使得小的垃圾被吸入本体，而大的垃圾被推到指定地点，这样既保证了地面的清洁，又保证了扫地机器人的安全。

处理器还可以根据校正后的图像生成深度图像，并判断是否可以穿行。需要根据深度图计算前方通道的宽度，以判断扫地机器人能否可以顺利穿过，尤其适用于物体杂乱的场景中。在判断前方通道的宽度时，以扫地机器人穿过时的高度内，最小的宽度为通道的宽度。

在现有相机标定技术中，通常会采用一个竖直平面来预先拍摄参考图像，参考图像上会包含激光投射器打出的随机散斑点，并根据参考图像对实际拍摄的图像进行标定。但在扫地机器人实现拍摄的图像中，散斑点不仅投射在竖直平面上，而且会有比较大的比例投射在水平地面上。由于水平面散斑拓扑结构和竖直面差异比较大，导致采用竖直平面进行标定时，其对地面部分的标定效果较差。

在图2中，左上图为图1中的散斑投射水平平面上形成的散斑图像，右上图为图1中的散斑投射在竖直平面上的散斑图像，左下图为左上图中的一个散斑区域，右下图为与左下图对应的散斑区域在右上图中的成像。如图2所示，和竖直面相比，由于透视成像的原因，在水平面上近处的散斑点沿着极线方向向左平移，在远处的散斑点向右平移，从而导致散斑的拓扑结构差异。相对应于竖直参考平面，水平参考平面相同的散斑点在水平方向发生平移，进而散斑的整体拓扑结构发生变化。这样的拓扑结构差异就会导致区域块内的内容不一致，匹配的相似度下降，也就是远处或近处的匹配结果不佳。由于水平参考面上的散斑点数量大约只有竖直参考平面中的一半，且拍摄内容除了地面还有其他物体，因此需要结合水平参考平面与竖直参考平面两个参考平面的匹配结果才能保证最终的输出匹配准确且完整。

图3为本实用新型实施例中一种基于双参考平面的单目结构光立体匹配方法的步骤流程图。如图3所示，本实用新型实施例提供的一种基于双参考平面的单目结构光立体匹配方法，包括如下步骤：

步骤S1：根据竖直参考平面的标定信息和相机内参，求得每个散斑点的空间坐标

在本步骤中，根据已知信息，计算获得每个散斑点在三维空间中的坐标。所述竖直参考平面的标定信息包括散斑点的图像坐标

和参考面距离z_ref。相机内参在相机出厂时已知，在相机内参中，c_x、c_y为原点平移量，f_x、f_y为焦距值，其中的x、y分别为其在x和y方向上对应的取值。图像坐标是在获得的二维图像中的坐标。参考面距离是竖直参考平面距离相机的距离。根据如下公式计算得到每个散斑点的空间坐标：

在单目结构光或泛光中，为了能实现拍摄场景中同源的一对匹配点三角化进而得到空间信息，通常需要预先拍摄一幅参考图像，然后在三维重建中，用拍摄到的图像(也就是搜索图)与该参考图像进行逐像素匹配，确定对应关系，从而可以三角化计算每一个像素的深度信息。本实施例的匹配算法可以采用blockmatching，它是一种用区域块匹配的方法，在预定义视差范围内分别比较搜索图和参考图上区域块的相似性。更具体的说，区域块相似性匹配以当前搜索点为中心的一个窗口内，根据某种代价损失(例如SAD)逐像素的对比，评估两个区域块的相似度。因此，两个区域块内的内容是否一致就决定了匹配相似度的高低。

步骤S2：根据每个散斑点的所述空间坐标

激光器与相机的位置关系(t_x,t_y,t_z)和假想的水平面(a,b,c,d),求出每个散斑点在地面的投影坐标

在本步骤中，获得每个散斑点投射到地面上时的投影坐标。散斑点的所述空间坐标

由步骤S1中获得。激光器与相机的位置关系为固定值，且已知。取四个值表示假想的水平面/>

通过如下公式计算得到每个散斑点在地面的投影坐标：

其中，

步骤S3：将地面的散斑点重投影回图像坐标系下得到水平参考平面的标定信息。

在本步骤中，所述水平参考平面的标定信息包括散斑点的图像坐标

和参考点距离/>

通过如下公式计算得到水平参考平面的标定信息：

步骤S4：根据所述竖直参考平面的标定信息和所述水平参考平面的标定信息对拍摄的图像进行校正。

在本步骤中，能过所述竖直参考平面的标定信息和所述水平参考平面的标定信息共同对拍摄的图像进行校正，以达到更好地校正效果。

在部分实施例中，本步骤包括：

步骤S41:根据所述竖直参考平面的标定信息和所述水平参考平面的标定信息分别对拍摄的图像进行校正，分别得到第一校正图像和第二校正图像。

在本步骤中，第一校正图像和第二校正图像是拍摄的图像分别按照竖直参考平面的标定信息和水平参考平面的标定信息标定得到的图像。在扫地机器人拍摄的图像中，通常均只有一部分能够获得较好的校正效果。

步骤S42:将所述第一校正图像和所述第二校正图像进行比对，获得相似度高的所有像素点。

在本步骤中，第一校正图像和第二校正图像由于标定信息的不同，两者存在一定的差异，但由于在三维空间中，水平参考平面与竖直参考平面相交，因此在两个平面相交的位置处，第一校正图像和第二校正图像均可以获得较好地校正效果，即两者的相似度最高。

步骤S43：去除所述相似度高的所有像素点中的离散点，得到分隔线。

在本步骤中，在所有相似度高的像素点中，会有部分杂散点也能获得较高的相似度，通常表现为离散点的状态，因此去除掉离散点，就可以获得较为连续的分隔线。分隔线就是水平面与竖直面相交的线。需要说明的是，分隔线通常并不是一条直线，而是多段线、折线，甚至是弧线的形式，这主要取决于地面上放置物品的形状、尺寸及位置。

步骤S44：提取所述第一校正图像中所述分隔线上的部分和所述第二校正图像中所述分隔线下的部分，再将两者拼接，得到第三校正图像。

在本步骤中，在大部分应用场景中，拍摄到的地面的部分通常位于图像底部，因此可以认为分隔线上方的图像采用竖直参考平面可以获得较好的标定结果，而分隔线下方的图像采用水平参考平面可以获得较好的标定结果，即在第一校正图像中，分隔线上方的部分标定结果较好，在第二校正图像中，分隔线下方的部分标定结果较好，再将两部分图像拼接，得到整体标定结果都较好的第三校正图像。第三校正图像用于最终的三维重建。

在部分实施例中，步骤S4包括：

步骤S41:根据所述竖直参考平面的标定信息和所述水平参考平面的标定信息分别对拍摄的图像进行校正，分别得到第一校正图像和第二校正图像。

步骤S42:将所述第一校正图像和所述第二校正图像进行比对，获得相似度高的所有像素点。

步骤S43：去除所述相似度高的所有像素点中的离散点，得到分隔线。

步骤S45：对所述第一校正图像和所述第二校正图像中所述分隔线同一侧的部分进行对比，得到校正效果较好的图像，并对相应部分进行提取。

在本步骤中，考虑到部分应用场景中不能直接确定哪部分的校正效果较好，需要对其进行判断。对两幅图像中分隔线同一侧的部分进行对比，可以得到校正效果较好的图像。比如，对第一校正图像中分隔线上的部分和第二校正图像中分隔线上的部分进行对比，得到第一校正图像中分隔线上的部分的校正效果较好，则提取第一校正图像中分隔线上的部分。

步骤S46：对所述分隔线另一侧的部分，提取所述第一校正图像和所述第二校正图像中未提取的图像中对应的部分，并与步骤S45中提取的部分进行合并，得到第三校正图像。

在本步骤中，由于步骤S45中提取了第一校正图像和第二校正图像中一个图像的部分信息，可以认为未提取信息的另一个图像中的另一部分的校正效果较好，需要对其进行提取，并与步骤S45中提取的部分进行合并。比如，接步骤S45中的例子，由于第二校正图像的信息没有提取，故对第二校正图像中分隔线下的部分进行提取，再将第一校正图像中分隔线上的部分与第二校正图像中分隔线下的部分进行合并，得到第三校正图像。

图4为本实用新型实施例中另一种基于双参考平面的单目结构光立体匹配方法的步骤流程图。如图4所示，本实用新型实施例提供的另一种基于双参考平面的单目结构光立体匹配方法，区别于前述实施例，所述步骤S3和步骤S4之间还包括：

步骤S5：根据所述竖直参考平面和所述水平参考平面的坐标对，求解两个平面之间的单应矩阵，进而求解水平参考平面图像上任意点坐标与竖直参考平面的对应关系。

在本步骤中，将散斑获得的信息进行扩展，获得竖直参考平面和水平参考平面的单应矩阵，从而获得两个平面任意点坐标间的对应关系。相应地，在步骤S4中，根据所述竖直参考平面和所述水平参考平面的信息对拍摄的图像进行校正。

相比于前述实施例，本实施例获得两个平面的信息是任意点的信息，不再依赖于光斑，因此可以更好地适应于光斑密集较低或者场景较大的场景，使得校正效果更加精细，也可以更好地重建小尺寸物体，具有更好的校正与重建效果，并且使得对于通道及前方物体的判断更加准确。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本实用新型。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本实用新型的精神或范围的情况下，在其它实施例中实现。因此，本实用新型将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

以上对本实用新型的具体实施例进行了描述。需要理解的是，本实用新型并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本实用新型的实质内容。

Claims (5)

1.一种高匹配度扫地机器人，其特征在于，包括机器人本体、深度相机以及处理器；所述深度相机设置在所述机器人本体的侧面上；

所述深度相机包括光投射器和光接收器；

所述光投射器，用于向目标场景投射结构光或泛光；

所述光接收器，用于接收所述目标场景中任意物体反射后的所述结构光或泛光，并生成采集图像；

所述处理器，用于根据水平参考平面和竖直参考平面对所述采集图像进行校正，还可以根据校正后的图像生成深度图像，并根据所述水平参考平面与所述深度图像判断物体的体积；

所述机器人本体一侧具有竖直平面，用于当物体的体积在一定的范围内时，通过所述竖直平面将所述物体推到指定地点。

2.根据权利要求1所述的一种高匹配度扫地机器人，其特征在于，所述机器人本体上有一侧竖直平面。

3.根据权利要求2所述的一种高匹配度扫地机器人，其特征在于，通过所述机器人本体上的竖直平面将物品推到指定地点。

4.根据权利要求1所述的一种高匹配度扫地机器人，其特征在于，所述结构光或泛光中光束的数量在两束和几千束之间。

5.根据权利要求1所述的一种高匹配度扫地机器人，其特征在于，所述深度相机的视场角在100°至110°之间。

Images