CN113156924A - 自移动设备的控制方法 - Google Patents

Abstract

本发明涉及一种自移动设备的沿边控制方法，自移动设备在工作区域内移动和工作，控制方法包括：获取自移动设备工作表面的数字图像；基于训练的神经网络处理数字图像，以获取待分析图像；基于待分析图像识别工作区域边界；控制自移动设备与工作区域边界的距离，以控制所述自移动设备沿所述工作区域边界移动。本发明的有益效果是：提高自移动设备的工作效率。

Description

自移动设备的控制方法

技术领域

本发明涉及一种自移动设备的控制方法，尤其是一种基于人工智能进行图像识别的控制方法。

背景技术

随着科学技术的发展，智能化的自移动设备逐渐为人们所熟知。由于自移动设备可以自动按照预设程序执行相关任务，无须人工操作与干预，因此在工业应用及家居产品上的应用非常广泛，例如，工业上的应用有执行各种功能的机器人，家居产品上的应用有割草机、吸尘器等。这些智能的自移动设备极大地节省了人们的时间，降低了人们的劳动强度，从而提高了生产效率或生活品质。

一般的，自移动设备在一个用户设定的区域内工作，工作区域需要由用户提前设定。现有技术中，在自移动设备开始工作前，需要用户在工作区域边界设置边界线，边界线一般为可以发出信号的通电导线。边界线的设置增加了用户的前期干预，也限制了用户更改自移动设备工作区域的可能性。因此，目前出现了在自移动设备上设置图像获取设备，通过对图像颜色、灰度等特征值与预设值进行对比，来识别自移动设备的工作区域。

但是，由于实际操作环境中存在的多个扰动，这些干扰包括：物体的阴影；割草机本身的阴影；反射光和折射；存在干枯的草；相机曝光不足或曝光过度；天气现象引起的不同情况；由于行进方向而产生不同的感知；具有非标称高度的谷物；由于土壤不平坦或车辆倾斜而导致的透视变形等等。目前的图像识别方法很难准确地识别工作区域的边界。

另一种情况是，现有的自移动设备回归充电时多沿着边界线或墙边回归，能够在一定时间内保证自移动设备回归到充电站充电，但是如果在没有边界线的情况下，或是采用其他方式引导自移动设备回归，而这些引导信号的覆盖面相对于工作区域比较小，那么自移动设备会在寻找引导信号时耗费比较长的时间，甚至无法回归充电站。

发明内容

为克服现有技术的缺陷，本发明所要解决的问题是提供一种提高自移动设备工作效率的控制方法。

本发明解决现有技术问题所采用的一种技术方案是：

一种自移动设备的沿边控制方法，所述自移动设备在工作区域内移动和工作，其特征在于，所述方法包括：

获取所述自移动设备工作表面的数字图像；

基于训练的神经网络处理所述数字图像，以获取待分析图像；

基于所述待分析图像识别所述工作区域边界；

控制所述自移动设备与所述工作区域边界的距离，以控制所述自移动设备沿所述工作区域边界移动。

在一实施例中，所述基于训练的神经网络对所述数字图像进行运算包括对所述数字图像进行图像分割。

在一实施例中，控制所述自移动设备移动使所述待分析图像满足预设条件，以控制所述自移动设备与所述工作区域边界的距离；所述预设条件基于所述自移动设备的图像获取装置的安装位置和安装角度。

在一实施例中，控制所述自移动设备平行于所述工作区域边界移动，以切割所述工作区域边界。

在一实施例中，控制所述自移动设备在第K次沿所述工作区域边界移动时保持第一预设距离。

在一实施例中，在第K+1次沿所述工作区域边界移动时保持第二预设距离。

在一实施例中，在第K次沿所述工作区域边界移动时，控制所述自移动设备与所述工作区域边界的距离至少包括两个预设距离。

本发明解决现有技术问题所采用的另一种技术方案是：

一种自移动设备的回归控制方法，其特征在于，所述方法包括：

获取所述自移动设备周围环境的数字图像；

基于训练的神经网络处理所述数字图像，以获取待分析图像；

基于所述待分析图像识别充电站，所述充电站供所述自移动设备停靠或充电；

控制所述自移动设备朝向所述充电站移动。

在一实施例中，基于待分析图像中预设形状、预设标记、预设物体中的至少一种识别所述充电站。

在一实施例中，基于所述待分析图像生成所述自移动设备所在位置与所述充电站之间的最短路径，控制所述自移动设备朝向所述充电站移动。

与现有技术相比，本发明的有益效果是：

通过基于训练的神经网络对自移动设备的工作环境图像进行运算，从而识别自移动设备与边界的相对位置关系，或识别自移动设备与充电站的相对位置关系。基于自移动设备与边界的位置关系控制自移动设备与边界的距离，可选的实现切割到边或减少压痕。基于自移动设备与充电站点的位置关系生成自移动设备与充电站的路径，从而控制自移动设备沿该路径回归充电站，可以提高自移动设备的回归效率。

附图说明

以上所述的本发明的目的、技术方案以及有益效果可以通过下面附图实现：

图1是一实施例中自动工作系统的示意图。

图2是一实施例中自移动设备的示意图。

图3是一实施例中数字图像及待分析图像的示意图。

图4是一实施例中自移动设备移动路径的示意图。

具体实施方式

如图1，本实施方式的自动工作系统包括自移动设备1和充电站5，自移动设备1在工作区域内行走并工作，其中边界3用于限制自动工作系统的工作区域。充电站5用于供自移动设备1停泊，尤其是在能源不足时返回补充能量。自移动设备1可以是自动割草机、自动扫雪机等，它们自动行走于工作区域的地面或表面上，进行割草或扫雪等工作。本实施例中，自移动设备1以自动割草机为例。

边界3是工作区域外边界和内边界的统称。外边界是整个工作区域的外围，通常首尾相连，将工作区域封闭。内边界包括障碍物的边界，障碍是位于工作范围内的无法在其上行走的部分或区域，如室内的沙发、床柜，或室外的水塘、花台等。本实施例中，边界3包括草坪与其他植被的分界线、草坪与池塘的分界线、篱笆边缘线、草坪上放置的特殊物体边缘线等等。

本实施例中，自移动设备1包括行走模块11、工作模块13、图像获取模块 15、能量模块17、控制模块19等。

行走模块11用于带动自移动设备1在工作区域7内行走，通常由安装在自移动设备1上的轮组和驱动轮组的行走马达组成。轮组包括连接行走马达的驱动轮和主要起辅助支撑作用的辅助轮，优选的，在本发明的具体实施方式中，驱动轮的数量为两个，位于自移动设备1的后部，每个驱动轮连接有一个行走马达，辅助轮的数量为一个或两个，位于自移动设备的前部。

工作模块13用于执行自移动设备1的具体工作任务，本实施例中，工作模块13包括割草刀片、切割马达等，也可以包括割草高度调节机构等优化或调整割草效果的部件。

图像获取模块15用于侦测自移动设备1和界限3的相对位置关系，具体可能包括距离、角度，界限内外方位中的一种或几种。图像获取模块15具体包括 1个或1个以上的摄像头，用于获取自移动设备的工作表面的图像。摄像头可以基于其数量，其位置以及表征其视场的透镜的几何形状来获取或多或少的周围工作表面的一部分。摄像头和类似的图像获取模块可以接收灰度级的图像或优选地以颜色编码的可见光谱的图像。图像获取模块也可以被配置为在红外和紫外光谱中操作，或者利用专用于深度的通道来完成图像获取。

能量模块17用于为自移动设备1的各项工作提供能量，其包括可充电电池和充电连接结构，充电连接结构通常为可露出于自移动设备外的充电电极片。

控制模块19用于控制自移动设备1自动行走和工作，是自移动设备1的核心部件，它执行的功能包括控制工作模块13启动工作或停止，生成行走路径并控制行走模块依照行走，判断能量模块17的电量并及时指令自移动设备1返回充电站5自动对接充电等等。控制模块19通常包括单片机和存储器以及其它外围电路。

除了上述模块，自移动设备1还包括容纳和安装各个模块的壳体、供使用者操作的控制面板等，自移动设备1还可能包括各种环境传感器，如湿度传感器，温度传感器，加速度传感器，光线传感器等，这些传感器可以帮助自移动设备判断工作环境，以执行相应的程序。

充电站5通常位于工作范围内，一般位于边界3附近或边界3上，和市电或其它电能提供系统连接，供自移动设备1返回充电，充电站5上设有充电电极片，用于和自移动设备1的相应的电极片对接。在一些实施例中，为了保持工作区域的美观，充电站可也设置于工作范围外。

如图2所示，本实施例中，图像获取模块15包括1个摄像头151，摄像头 151安装于壳体前侧，用于获取自移动设备1前侧工作表面的图像。在其他实施例中，图像获取模块15可以包括2个或两个以上摄像头，控制模块19可对不同摄像头获取的图像分别进行处理或拼接处理。本实施例中，控制模块19 接收摄像头151获取的图像，并基于此对自移动设备1进行沿边控制，控制方法包括：

获取自移动设备1工作表面的数字图像；

基于训练的神经网络处理该数字图像，以获取待分析图像；

基于待分析图像识别边界3；

控制自移动设备1与边界3的距离，以控制自移动设备1沿边界3移动。

本实施例中，基于训练的神经网络处理数字图像主要包括对该数字图像进行图像分割，获得待分析图像。图像分割是指根据灰度、彩色、空间纹理、几何形状等特征把图像划分成若干个互不相交的区域，使得这些特征在同一区域内表现出一致性或相似性，而在不同区域间表现出明显的不同。利用摄像头采集的大量工作环境数据对神经网络进行训练，使得该神经网络能够区分草坪、道路、泥土、灌木、池塘等各种不同类型的物体，从而识别到边界3。

图3是一实施例中数字图像及待分析图像的示意图,如图3所示，在一个实施例中，图像左侧区域A为草坪，图像右侧区域B为马路，它们是待分析图像中的两个相邻的类别，并且由界线L分开。

在一个实施例中，两个类别之间的边界处的点集可以例如通过线性回归用直线近似，这样的直线的特征在于偏移和角度系数。如果自移动设备1与界线 L完全对齐，则这样的直线实际上将是垂直的(在图像的选定坐标系中为零角系数)。相反，如果自移动设备1相对于前述界线L未对准，则这样的直线将倾斜(在图像的所选坐标系中为正或负角度系数)。

在一个实施例中，如果系数为负，则控制自移动设备1将顺时针旋转，如果系数为正，则控制自移动设备1逆时针旋转。根据选定坐标系，直线的偏移量表征了自移动设备1与边界3的偏离程度。

在一个实施例中，控制自移动设备1移动使待分析图像满足预设条件，具体的包括旋转、前进、后退等动作，以控制自移动设备1与边界3的距离。基于摄像头151的安装位置和安装角度，预设条件可以包括待分析图像中工作表面和非工作表面分界线的相对位置，具体包括偏移量和角度关系等。

在一个实施例中，基于待分析图像控制自移动设备1移动，使自移动设备 1平行于边界3移动。当自移动设备1平行于边界3移动且进行切割工作时，工作区域边界3上的草能够被均匀地切割。在一个具体的实施例中，如图3，待分析图像中包括区域A、区域B和界线L，控制自移动设备移动使得界线L 平行于自移动设备的移动方向，则自移动设备1平行于边界3。

在一个实施例中，基于待分析图像控制自移动设备1移动，使自移动设备在第K次沿边界3移动时与边界3保持第一预设距离。

在一个具体的实施例中，在第K次沿边界3移动时，控制自移动设备1与边界3的距离为第一预设距离。在第K+1次沿边界3移动时，控制自移动设备 1与边界3的距离仍为第一预设距离。也就是说，控制自移动设备1每一次沿边界3移动时，与边界3的距离都为第一预设距离。这里的第一预设距离能够使自移动设备1在安全的情况下尽可能地靠近工作区域边界，从而将工作区域边界的草切割干净，减少或避免自移动设备1无法切割到的区域，从而减少或避免人工干预。

在一个具体的实施例中，如图4所示，在第K次沿边界3移动时，控制自移动设备1与边界3的距离为第一预设距离。在第K+1次沿边界3移动时，控制自移动设备1与边界3的距离仍为第二预设距离。也就是说，控制自移动设备1在不同次沿边界3移动时，与边界3的距离不完全相同。在其他实施例中，在第K+2次沿边界3移动时，控制自移动设备1与边界3的距离为第一预设距离或第二预设距离，也可以为第三预设距离。对于自移动设备1沿边界3移动次数较多的情况，自移动设备1的轮子会对草地造成一定程度的压损，若每一次沿边界3移动的路径都是相同的，会在草地上形成严重的压痕。而本实施例中，自移动设备1沿边界3移动的路径是变化的，则可以减少重复压力形成的损坏。

在一个具体的实施例中，如图3所示，界线L与选定坐标系的关系表示自移动设备1与边界3的位置关系。通过控制界线L在选定坐标系中的位置，可以控制自移动设备1与边界3的距离。

在一个实施例中，基于待分析图像控制自移动设备1移动，使自移动设备 1在第K次沿边界3移动时与边界3控制距离改变。在一个具体的实施例中，在第K次沿边界3移动时，控制自移动设备1与边界3的距离周期性地改变。若自移动设备1开始沿边移动的起点是变化的，则自移动设备1每一次沿边移动的路线都是变化的。在其他实施例中，在第K次沿边界3移动时，距离的变化可以按照不同的逻辑控制，如在一定距离范围内随机给定距离，控制自移动设备1移动；又如从起点到终点渐进式减小与边界3的距离等等。

如图1所示，自动工作系统包括自移动设备1和充电站5，当自移动设备1 能量小于设定值时，控制模块19控制自移动设备1返回充电站5。在下雨或工作完成等情况下，控制模块19也需要控制自移动设备返回充电站5。在一个实施例中，自移动设备1的图像获取模块15包括摄像头153，该摄像头用于拍摄自移动设备1周围环境的图像。本实施例中的摄像头153主要用于获取自移动设备1前方的环境图像，为了获取更大范围的图像，摄像头主要朝向前侧，因此，本实施例中摄像头153与用于识别边界3的摄像头不同。在一些情况中，摄像头153可以与识别边界3的摄像头相同。控制模块19接收摄像头获取的图像，并基于此对自移动设备1进行回归控制，控制方法包括：

获取自移动设备1周围环境的数字图像；

基于训练的神经网络处理数字图像，以获取待分析图像；

基于待分析图像识别充电站5；

控制自移动设备1朝向充电站5移动。

本实施例中，基于训练的神经网络处理数字图像主要包括对该数字图像进行图像分割，获得待分析图像。利用摄像头采集的大量工作环境数据对神经网络进行训练，这些工作环境数据中包括充电站，通过充电站5的特殊形状或标记或物体的特性来识别待分析图像中充电站5的位置。

基于待分析图像获取自移动设备1与充电站5的相对位置关系，生成自移动设备1与充电站5之间的最短路径。可以理解的是，这里的最短路径是指避开障碍物等非工作区域的路径，也是基于自移动设备1当前获取的数字图像得到的最优路径。

在一个实施例中，由于自移动设备1在回归充电站5的过程中，摄像头153 在不断采集周围环境的图像，控制模块19接收到新的图像后再次进行处理和分析，可以不断地优化自移动设备1的回归路径。

在一个实施例中，图像分割包括语义分割。本实施例中，神经网络包括卷积神经网络(CNN)，至少包括以下几层：

输入层，用于接收图像获取装置15获取的数字图像的至少一个下采样；

至少一个卷积层；

至少一个反卷积层；

输出层，其被配置为使在至少两个类别中在语义上分割的土壤图像可用。

在一个实施例中，神经网络包括完全卷积神经网络(FCN)。CNN网络中的后三层，都是一维的向量，计算方式不再采用卷积，而FCN网络中，将这三层全部转化为1*1的卷积核所对应等同向量长度的多通道卷积层，使后三层也全部采用卷积计算，整个模型中，全部都是卷积层，没有向量。完全卷积神经网络的输出相对于简单的草皮土壤类别更为清晰，并且由自移动设备在工作期间可能遇到的不同类型的草或障碍物中的分段图像给出。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种自移动设备的沿边控制方法，所述自移动设备在工作区域内移动和工作，其特征在于，所述控制方法包括：

获取所述自移动设备工作表面的数字图像；

基于训练的神经网络处理所述数字图像，以获取待分析图像；

基于所述待分析图像识别所述工作区域边界；

控制所述自移动设备与所述工作区域边界的距离，以控制所述自移动设备沿所述工作区域边界移动。

2.根据权利要求1所述的沿边控制方法，其特征在于，所述基于训练的神经网络对所述数字图像进行运算包括对所述数字图像进行图像分割。

3.根据权利要求1所述的沿边控制方法，其特征在于，控制所述自移动设备移动使所述待分析图像满足预设条件，以控制所述自移动设备与所述工作区域边界的距离；所述预设条件基于所述自移动设备的图像获取装置的安装位置和安装角度。

4.根据权利要求1所述的沿边控制方法，其特征在于，控制所述自移动设备平行于所述工作区域边界移动，以切割所述工作区域边界。

5.根据权利要求1所述的沿边控制方法，其特征在于，控制所述自移动设备在第K次沿所述工作区域边界移动时保持第一预设距离。

6.根据权利要求5所述的沿边控制方法，其特征在于，在第K+1次沿所述工作区域边界移动时保持第二预设距离。

7.根据权利要求1所述的沿边控制方法，其特征在于，在第K次沿所述工作区域边界移动时，控制所述自移动设备与所述工作区域边界的距离至少包括两个不同的预设距离。

8.一种自移动设备的回归控制方法，其特征在于，所述方法包括：

获取所述自移动设备周围环境的数字图像；

基于训练的神经网络处理所述数字图像，以获取待分析图像；

基于所述待分析图像识别充电站，所述充电站供所述自移动设备停靠或充电；控制所述自移动设备朝向所述充电站移动。

9.根据权利要求8所述的回归控制方法，其特征在于，基于待分析图像中预设形状、预设标记、预设物体中的至少一种识别所述充电站。

10.根据权利要求8所述的回归控制方法，其特征在于，基于所述待分析图像生成所述自移动设备所在位置与所述充电站之间的最短路径，控制所述自移动设备朝向所述充电站移动。

Images