CN113558532A - 一种基于视觉的可重构扫地机器人及其控制方法 - Google Patents

Abstract

本发明公开了一种基于视觉的可重构扫地机器人及其控制方法，包括机器人本体，包括带电机的万向轮和导轨丝杠机构，所述带电机的万向轮用于驱动扫地机器人行进，所述导轨丝杠机构连接连杆机构，用于改变扫地机器人的宽度；视觉识别模块，用于获取道路的彩色图像和深度图像；控制模块，根据所述彩色图像和深度图像，计算得出道路的宽度信息和变化夹角，根据道路的宽度信息控制所述导轨丝杠机构以改变扫地机器人的宽度，并且在扫地机器人的宽度调整过程的同时，根据道路的变化夹角控制所述万向轮的转动角度。

Description

一种基于视觉的可重构扫地机器人及其控制方法

技术领域

本发明属于扫地机器人技术领域，特别涉及一种基于视觉的可重构扫地机器人及其控制方法。

背景技术

扫地机器人，又称自动打扫机、智能吸尘、机器人吸尘器等，是智能日用电器的一种，能凭借一定的人工智能，自动在房间内完成地板清理工作。一般采用刷扫和真空方式，将地面杂物先吸纳进入自身的垃圾收纳盒，从而完成地面清理的功能。一般来说，将完成清扫、吸尘、擦地工作的机器人，也统一归为扫地机器人。

在目前主流扫地机器人市场上，主要流行四种类型的扫地机器人外形，分别是圆形、三角形、D字形和方形。圆形设计由于可以最有效的避免机器本身、家中的家具或者墙壁受到损坏，在家用场景中运用最广。但上述的四种类型的扫地机器人均是固定形状的，这意味着，在某些狭窄的道路，受限于扫地机器人的宽度，扫地机器人无法正常通过进行清洁，这降低了扫地机器人的利用率。

因此，现有技术有待改进和发展。

发明内容

本发明实施例的目的在于提供了一种基于视觉的可重构扫地机器人及其控制方法，能够通过视觉识别获取道路特征，精确改变扫地机器人的宽度。

第一方面，本发明实施例提供的一种基于视觉的可重构扫地机器人包括：机器人本体，包括带电机的万向轮和导轨丝杠机构，所述带电机的万向轮用于驱动扫地机器人行进，所述导轨丝杠机构连接连杆机构，用于改变扫地机器人的宽度；

视觉识别模块，用于获取道路的彩色图像和深度图像；

控制模块，根据所述彩色图像和深度图像，计算得出道路的宽度信息和变化夹角，根据道路的宽度信息控制所述导轨丝杠机构以改变扫地机器人的宽度，并且在扫地机器人的宽度调整过程的同时，根据道路的变化夹角控制所述万向轮的转动角度。

可选地，所述视觉识别模块包括RGB-D摄像头，所述RGB-D摄像头设置有两个。

可选地，所述控制模块包括控制器，所述控制器分别电连接至带电机的万向轮和导轨丝杠机构。

由上可知，本申请提供的一种基于视觉的可重构扫地机器人，该扫地机器人通过视觉识别模块获取道路的彩色图像和深度图像，将这些图像输入到控制模块上进行计算得到道路的宽度信息和变化夹角，根据道路的宽度信息调整导轨丝杠机构和连杆机构进而调整扫地机器人的宽度，根据道路的变化夹角调整万向轮的转动角度，该扫地机器人能在行进过程中直接改变宽度，而无需让扫地机器人停止运行后再调整宽度，可调整宽度的扫地机器人能顺利通过狭窄的道路，提高了扫地机器人的利用率。

第二方面，本发明实施例提供的一种基于视觉的可重构扫地机器人的控制方法，所述扫地机器人，包括机器人本体，所述扫地机器人本体包括带电机的万向轮和导轨丝杠机构，所述带电机的万向轮用于驱动扫地机器人行进，所述导轨丝杠机构连接连杆机构，用于改变扫地机器人的宽度；

所述控制方法包括以下步骤：

获取道路的彩色图像和深度图像；

根据所述彩色图像和深度图像计算得到道路的宽度和道路的变化夹角β；

根据所述道路的宽度控制导轨丝杠机构以改变扫地机器人的宽度，同时根据所述道路的变化夹角β控制万向轮的转向角度。

可选地，所述根据所述彩色图像和深度图像计算得到道路的宽度信息和道路的变化夹角β的步骤包括：

根据道路的彩色图像和深度图像获取得到世界坐标系；

根据彩色图像和深度图像分析得到有车道线标记的道路图像数据，并且对道路图像数据进行分段得到分段道路的宽度Wi；

结合所述世界坐标系和所述分段道路的宽度Wi计算得到道路的宽度和深度信息以得到道路变化夹角β。

可选地，所述根据彩色图像和深度图像获取得到世界坐标系的步骤包括：

将道路的彩色图像和深度图像输入到利用大量道路轮廓的图像数据集训练的实际道路二值分割的第一神经网络，得到道路的二值分割图像；

将道路的二值分割图像进行分类聚合：

将分类聚合后的二值分割图像数据输入到不同角度的道路图像数据集的训练实际道路坡度识别的第二神经网络，得到扫地机器人与道路实例之间的变换矩阵；

通过变换矩阵得到世界坐标系。

可选地，所述根据彩色图像和深度图像获取得到世界坐标系的步骤还包括：

通过样条曲线将道路的二值分割图像中的分割线进行曲线拟合，得到道路的机器人行驶车道线并写入到图像数据中。

可选地，所述曲线拟合次数为三次。

可选地，所述对道路图像数据分段得到分段道路的宽度Wi的表达式为：

Xmax为道路的分选像素中X坐标的最大值，Xmin为道路的分选像素中X坐标的最小值，Ymax为道路的分选像素中Y坐标的最大值，Ymin为道路的分选像素中Y坐标的最小值，Dmax为深度信息的最大值，Dmix为深度信息的最小值。

可选地，所述结合所述世界坐标系和所述分段道路的宽度Wi计算得到道路的宽度和深度信息以得到道路变化夹角β的表达式为：

道路的宽度变化量Δw为扫地机器人远端的道路宽度与近端的道路宽度之差，道路的深度变化量Δd为扫地机器人远端的道路深度与近端的道路深度之差，道路的宽度信息和道路的深度信息分别为分段道路的宽度Wi与相对应的像素总数的乘积。

由上可知，本申请提供的一种基于视觉的可重构扫地机器人的控制方法，通过将道路的彩色图像和深度图像输入到深度卷积神经网络进行道路特征的提取，提取的道路的宽度用于控制导轨丝杠机构以改变扫地机器人的宽度，提取的道路的变化夹角β用于控制万向轮的转向角度，该控制方法具有高精度、高可靠性的道路识别能力，运用在上述扫地机器人中可实现高精度和高效率地改变扫地机器人宽度的效果。

本发明的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明实施例了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

附图说明

图1为本发明实施例基于视觉的可重构机器人的立体图。

图2为本发明实施例基于视觉的可重构机器人隐去弹性遮盖物的立体图。

图3为本发明实施例基于视觉的可重构机器人隐去弹性遮盖物的主视图。

图4为本发明实施例基于视觉的可重构机器人隐去弹性遮盖物的左视图。

图5为本发明实施例基于视觉的可重构机器人隐去弹性遮盖物的俯视图。

图6为本发明实施例基于视觉的可重构机器人的控制方法的流程图。

图7为RGB-D摄像头提取道路信息的示意图。

图8为本发明实施例基于视觉的可重构机器人的宽度调整的示意图。

标号说明：1、侧梁；2、清扫装置；3、废物储存装置；4、弹性遮盖物；5、RGB-D摄像头；6、底盘；7、导轨丝杠机构；8、连杆机构；81、第一连杆；82、第二连杆；9、万向轮。

具体实施方式

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

图1示出了本申请可重构扫地机器人的立体图，包括机器人本体、视觉识别模块和控制模块，视觉识别模块包括RGB-D摄像头5，控制模块包括控制器，机器人本体包括底盘6、两个对称设置的侧梁1，底盘6上方覆盖设置有弹性遮盖物4，弹性遮盖物4可以是任意具有弹性功能的不透气材料，如布、膜等，在本实施例中，弹性遮盖物4为弹力布，弹性遮盖物4的边缘与底盘6的侧面、侧梁1的内侧面围成封闭空间，防止灰尘以及杂物浸入扫地机器人内部，避免影响内部的元器件工作。底盘6上方承托有废物储存装置3、导轨丝杠机构7、连杆机构8、电源（未画出）、控制器（未画出）。电源通过分别向清扫装置2、万向轮9、控制器和导轨丝杠机构7供电，控制器电连接至RGB-D摄像头5、导轨丝杠机构7和万向轮9，两侧梁1朝向行进方向的一面分别安装有清扫装置2和RGB-D摄像头5，清扫装置2为能够在清扫装置2开口端产生负压的装置。多个带有电机的万向轮9安装在侧梁1的底部，用于对侧梁1起支承和转向作用，以及驱动扫地机器人前行，每个万向轮9均能够独立转向和转动，侧梁1的底部通过连杆机构8与底盘6连接。

工作过程中扫地机器人将地面表面的灰尘及杂质吸取并通过软管输送至废物储存装置3进行储存。通过RGB-D摄像头5采集扫地机器人前方道路的图像，传输至控制器进行计算得出前方道路的宽度和深度信息，通过控制器驱动导轨丝杠机构7使连杆机构8按照连杆运动轨迹运动，带动与连杆机构8铰接的两侧梁1运动，从而改变扫地机器人的整体宽度，根据道路的宽度和深度信号计算出道路的变化夹角，控制器驱动万向轮转动到相应的角度，使扫地机器人能在行进过程中直接改变宽度，而无需让扫地机器人停止运行后再调整宽度。

此外，在对宽度充裕的区域进行清扫的情况下可以增大扫地机器人的宽度以增加清扫装置2作用面积，从而提高清扫的效率，降低装置的整体功耗，延长电源使用时长。

底盘6整体呈长方体状，底盘6的边缘竖直向上凸起，底盘6的底部固定安装有导轨丝杠机构7，导轨丝杠机构7采用全密封内嵌式结构。全密封内嵌式导轨丝杠机构7是指设备外壳为铝合金材质并使用柔性不锈钢带进行全密封，整体密封性能优越。外壳的边缘开设有滑槽作为直线导轨，滑槽上卡接有沿滑槽直线运动的滑座，外壳内的两端支承有滚珠丝杠，滚珠丝杠的一端安装有带刹车功能的伺服电机。滚珠丝杠在同一根轴上具有左旋和右旋两端螺纹，以滚珠丝杠的行程的一半为分界线，若其中的一半为左旋螺纹，另一半则为右旋螺纹，滚珠丝杠通过与其配合的丝杠螺母与滑座固定，在本实施例中，丝杠螺母和滑座均设置有两个，两丝杠螺母分别与左旋螺纹段和右旋螺纹段的滚珠丝杠配合。滚珠丝杠在转动过程中，其中一个丝杠螺母带动滑座及另一个丝杠螺母带动另一个滑座作相互靠近或相互远离运动。两滑座的上表面连接有连杆机构8。

连杆机构8包括第一连杆81和第二连杆82，第一连杆81的一端铰接在底盘6的竖直对称轴的某个点上，在本实施例中，第一连杆81的一端铰接在底盘6的凸起边缘的中点上，第一连杆81的另一端铰接在第二连杆82的任一点，第二连杆82的一端与滑座铰接，第二连杆82的另一端与侧梁1的底部铰接。连杆机构8在本装置中设置有四组，分别沿着底盘6的竖直对称轴对称和沿着底盘6的水平对称轴对称。

当伺服电机驱动滚珠丝杠正转时，假设滑座作远离伺服电机的方向运动，即图5中向下运动，由于滚珠丝杠具有两段旋向相反的螺纹，另一个滑座则作靠近伺服电机的方向运动，即图5中向上运动，第一连杆81的上端是固定不动的，第一连杆81的下端顺时针摆动，即分解为向下以及向左的分运动，第一连杆81带动第二连杆82向底盘6靠近的同时第二连杆82逆时针转动，驱动侧梁1水平向底盘6移动；反之，当伺服电机驱动滚珠丝杠反转时，滑座作靠近伺服电机的方向运动，即图5中向上运动，另一个滑座则作远离伺服电机的方向运动，即图5中向下运动，第一连杆81的下端逆时针摆动，即分解为向上以及向右的分运动，第一连杆81带动第二连杆82向底盘6远离的同时第二连杆82顺时针转动，驱动侧梁1水平远离底盘6移动。

伺服电机转速高，响应速度极快，能快速地改变扫地机器人的宽度，导轨丝杠机构7的定位精度和重复定位精度高，能准确控制扫地机器人的宽度的精度，避免了扫地机器人宽度控制不精确造成与墙体碰撞的情况发生，连杆机构8结构简单可靠紧凑，降低了生产制造成本，缩小了扫地机器人的体积。

该清扫装置2为可替换式清扫装置，根据不同的清洁表面，替换成不一样的装置。如铺满地面的树叶，清扫装置2可以是设置有大量刷毛的清扫装置；如积雪积冰的地面，清扫装置2可以是具有设置有铲刀的清扫装置。可替换式清扫装置为现有技术，此处不再赘述。

为了使扫地机器人对周围物体保持安全距离，还可以在扫地机器人的外周加装超声波传感器。超声波具有反射性强、能量集中、具有良好的定向性等特点，在各个领域均有广泛应用。超声波传感器的主要工作原理是通过传感器对前方发出超声波，当遇到障碍物时，通过介质表面进行发射，传感器将捕捉并接收到一部分被放射回来的超声波，并转化为电信号，电信号反馈到控制器，控制器发送相应指令使万向轮9停转。

值得注意的是，扫地机器人还设置有蓝牙模块，蓝牙模块首先与手机端APP建立蓝牙连接，并与手机端APP进行信息交互，控制器获取当前扫地机器人打扫完成情况的信息封装后经蓝牙模块向手机端APP发送数据包，手机端APP对相应的数据包解码即可得知当前打扫完成情况。

本发明实施例还提供了一种基于视觉的可重构扫地机器人的控制方法，用于上述的扫地机器人，如图6所示，包括以下步骤：

S1、获取道路的彩色图像和深度图像；

S2、根据所述彩色图像和深度图像计算得到道路的宽度和道路的变化夹角；

S3、根据所述道路的宽度控制导轨丝杠机构以改变扫地机器人的宽度，同时根据所述道路的变化夹角控制万向轮的转向角度。

具体的，通过手工标注的方式获得大量道路轮廓的图像数据集用以训练实际道路二值分割的第一神经网络Net1；采集上坡、下坡、平路等各种角度的道路图像数据集用以训练实际道路坡度识别的第二神经网络Net2；扫地机器人实际运行时，RGB-D摄像头5能够同时拍摄彩色图像和深度图像，RGB-D摄像头5拍摄图像后经过第一神经网络Net1后输出道路的二值分割图像；设置Lvar（方差）/Ldist（距离）项将道路的二值分割图像进行分类聚合：

式中C是图片中道路数，Nc是簇c中的元素个数，μc为簇c的平均嵌入值，xi是像素i的嵌入值，δv是像素i到μc的距离，δd是不同车道线聚类中心之间的距离。聚类是按一定的标准把物理或抽象对象的集合分成若干类别的过程，聚类后得到的每一个簇中的对象要尽可能的相似，不同簇中的对象尽量的相异。相同数据簇中的像素点距离大于阈值时，Lvar项将像素点进行聚合，收缩像素点之间的距离；不同数据簇之间的像素点距离小于阈值则利用Ldist项增加像素点之间的距离。

通过上述两项将图像的像素点进行聚合形成道路实例；将分类聚合后的图像数据输入到第二神经网络Net2中，获得机器人RGB-D摄像头5与道路实例之间的变换矩阵H，变换矩阵中a、b、c、d、e、f为第二神经网络Net2中的六维向量：

世界坐标系W用于描述客观世界中物体所在的位置。由于两个RGB-D摄像机分别安装在侧梁1，其观测位置将跟随扫地机器人的移动而改变，因此需要以世界坐标系为基准，来表示RGB-D摄像机与道路的相对位置。

通过变换矩阵得到图片道路像素点在世界坐标系W下的坐标。

由于车道线可能会出现曲率半径较小的情况，因此需要对提取到的车道线上的像素点进行拟合，为了能更好的模拟较为弯曲的路面以及同时兼顾计算速度，本实施例采用了三次多项式作为车道线拟合的函数。无论是弯曲程度较大或较小的车道线，基于三次多项式的曲线拟合的效果较好，拟合的曲线较好地贴合了实际的车道线。

然后通过样条曲线将道路实例的分割线进行三次曲线拟合：

得到道路的扫地机器人行驶车道线并写入到图像数据中，从而得到有车道线标记的道路图像数据。

对处理后的道路图像数据进行分段，提取出关于道路相关的分段像素数据Xmin（图像分段数据中X坐标的最小值）、Xmax（图像分段数据中X坐标的最大值），以此类推Y坐标数据Ymin、Ymax、深度数据Dmin、Dmax由像素点数加权平均的方法得到，通过下列公式即可得到分段道路的宽度Wi：

在得到分段道路的宽度Wi之后，道路宽度的像素总数与分段道路的宽度Wi的乘积即为道路的宽度，道路深度的像素总数与分段道路的宽度Wi的乘积即为道路的深度，根据三角函数公式：

式中，如图7所示，Δw=w1-w2，即是远端的道路宽度w1与近端的道路宽度w2之差，Δd=d1-d2，即是远端的道路深度d1与近端的道路深度d2之差。根据上式得到机器人宽度变化角度β，作为机器人宽度调整控制器的输入参数。

假设本实施例中利用三角函数公式

得到道路的变化夹 角β=30°。根据本文所设计的连杆机构宽度调整的几何关系，如图8所示，利用三角公式可得 滑座在第二连杆的第一铰接节点82a到侧梁在第二连杆的铰接节点82b的竖直距离P与滑座 在第二连杆的第二铰接节点82a到侧梁在第二连杆的铰接节点82b的水平距离B之间的函数 关系：

其中P与滑座的位置相关，第一铰接节点82a始终在同一水平线上位移，通过获取伺服电机的转速（或脉冲量）可得知滑座的位移量，从而得出P的值；L为第二连杆两个铰接节点之间的直线距离，为常数；B与扫地机器人的宽度相关，B与第二铰接节点到侧梁的水平距离之和的两倍即是扫地机器人的宽度。据上述函数关系可以得到宽度调整过程完毕之后扫地机器人的宽度所对应的P，从而对滑座进行速度规划，相应得到机器人宽度关于时间的运动速度规划。

扫地机器人在行进过程中，若视觉识别模块检测到当前道路的宽度大于扫地机器人常态下的宽度，则扫地机器人不调整宽度正常通行，反之则调整宽度以通行，改变后的宽度视扫地机器人远端道路的宽度而定，通常要小于远端道路的宽度外，还需保证一定的安全距离。

假若在某一时刻对扫地机器人进行宽度调整，由于宽度调整的方向与行进的方向相互正交，万向轮9垂直于行进方向的滑动阻力较大，导轨丝杠机构7和连杆机构8对侧梁产生拉力或者推力，如果万向轮9始终保持与行进方向相同的方向，那么万向轮9将与地面产生侧向滑动现象，不但容易导致扫地机器人调整的宽度不准确甚至调整失败，还会导致扫地机器人丧失保持稳定平衡的能力，因此宽度调整过程必须配合万向轮的转向。万向轮9根据道路的变化夹角β向内或向外转向，万向轮9的轮速分解成与行进方向平行的纵向分速度和与宽度改变速度平行且相等的横向分速度，这样万向轮9在宽度调整过程中不会发生侧向滑动，消除了这部分干扰因素。

此实施例中假设某一时刻机器人宽度调整速度为0.2m/s。根据道路的变化夹角β可知重构扫地机器人的万向轮9要向内转动30°来使机器人适应从宽到窄的道路。而当万向轮9以与道路相差30°运动时导轨丝杠机构7和连杆机构8所提供的横向宽度改变速度要与轮速的横向分速度保持一致，即：

可知万向轮9速度约为0.4m/s。

综上所述，本发明中可重构扫地机器人在行进时可以同时控制伺服电机的转速从而实现根据道路宽度灵活改变自身宽度。

在本发明所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

再者，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。

以上所述仅为本发明的实施例而已，并不用于限制本发明的保护范围，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于视觉的可重构扫地机器人，其特征在于，包括：

机器人本体，包括带电机的万向轮和导轨丝杠机构，所述带电机的万向轮用于驱动扫地机器人行进，所述导轨丝杠机构连接连杆机构，用于改变扫地机器人的宽度；

视觉识别模块，用于获取道路的彩色图像和深度图像；

控制模块，根据所述彩色图像和深度图像，计算得出道路的宽度信息和变化夹角，根据道路的宽度信息控制所述导轨丝杠机构以改变扫地机器人的宽度，并且在扫地机器人的宽度调整过程的同时，根据道路的变化夹角控制所述万向轮的转动角度。

2.根据权利要求1所述的一种基于视觉的可重构扫地机器人，其特征在于，所述视觉识别模块包括RGB-D摄像头，所述RGB-D摄像头设置有两个。

3.根据权利要求1所述的一种基于视觉的可重构扫地机器人，其特征在于，所述控制模块包括控制器，所述控制器分别电连接至带电机的万向轮和导轨丝杠机构。

4.一种基于视觉的可重构扫地机器人的控制方法，其特征在于，

所述扫地机器人包括机器人本体，所述扫地机器人本体包括带电机的万向轮和导轨丝杠机构，所述带电机的万向轮用于驱动扫地机器人行进，所述导轨丝杠机构连接连杆机构，用于改变扫地机器人的宽度；

所述控制方法包括以下步骤：

获取道路的彩色图像和深度图像；

根据所述彩色图像和深度图像计算得到道路的宽度信息和道路的变化夹角β；

根据所述道路的宽度信息控制导轨丝杠机构以改变扫地机器人的宽度，同时根据所述道路的变化夹角β控制万向轮的转向角度。

5.根据权利要求4所述的一种基于视觉的可重构扫地机器人的控制方法，其特征在于，所述根据所述彩色图像和深度图像计算得到道路的宽度信息和道路的变化夹角β的步骤包括：

根据道路的彩色图像和深度图像获取得到世界坐标系；

根据彩色图像和深度图像分析得到有车道线标记的道路图像数据，并且对道路图像数据进行分段得到分段道路的宽度Wi；

结合所述世界坐标系和所述分段道路的宽度Wi计算得到道路的宽度和深度信息以得到道路变化夹角β。

6.根据权利要求5所述的一种基于视觉的可重构扫地机器人的控制方法，其特征在于，所述根据彩色图像和深度图像获取得到世界坐标系的步骤包括：

将道路的彩色图像和深度图像输入到利用大量道路轮廓的图像数据集训练的实际道路二值分割的第一神经网络，得到道路的二值分割图像；

将道路的二值分割图像进行分类聚合：

将分类聚合后的二值分割图像数据输入到不同角度的道路图像数据集的训练实际道路坡度识别的第二神经网络，得到扫地机器人与道路实例之间的变换矩阵；

通过变换矩阵得到世界坐标系。

7.根据权利要求6所述的一种基于视觉的可重构扫地机器人的控制方法，其特征在于，所述根据彩色图像和深度图像获取得到世界坐标系的步骤还包括：

通过样条曲线将道路的二值分割图像中的分割线进行曲线拟合，得到道路的机器人行驶车道线并写入到图像数据中。

8.根据权利要求7所述的一种基于视觉的可重构扫地机器人的控制方法，其特征在于，所述曲线拟合次数为三次。

9.根据权利要求5所述的一种基于视觉的可重构扫地机器人的控制方法，其特征在于，所述对道路图像数据分段得到分段道路的宽度Wi的表达式为：

Xmax为道路的分选像素中X坐标的最大值，Xmin为道路的分选像素中X坐标的最小值，Ymax为道路的分选像素中Y坐标的最大值，Ymin为道路的分选像素中Y坐标的最小值，Dmax为深度信息的最大值，Dmix为深度信息的最小值。

10.根据权利要求5所述的一种基于视觉的可重构扫地机器人的控制方法，其特征在于，所述结合所述世界坐标系和所述分段道路的宽度Wi计算得到道路的宽度和深度信息以得到道路变化夹角β的表达式为：

道路的宽度变化量Δw为扫地机器人远端的道路宽度与近端的道路宽度之差，道路的深度变化量Δd为扫地机器人远端的道路深度与近端的道路深度之差，道路的宽度信息和道路的深度信息分别为分段道路的宽度Wi与相对应的像素总数的乘积。

Images