CN115657648A - 控制自移动设备的方法及装置 - Google Patents
控制自移动设备的方法及装置 Download PDFInfo
- Publication number
- CN115657648A CN115657648A CN202110770098.9A CN202110770098A CN115657648A CN 115657648 A CN115657648 A CN 115657648A CN 202110770098 A CN202110770098 A CN 202110770098A CN 115657648 A CN115657648 A CN 115657648A
- Authority
- CN
- China
- Prior art keywords
- module
- control module
- information
- verification
- visual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 82
- 230000000007 visual effect Effects 0.000 claims abstract description 152
- 230000002159 abnormal effect Effects 0.000 claims abstract description 119
- 230000005856 abnormality Effects 0.000 claims abstract description 41
- 238000012544 monitoring process Methods 0.000 claims abstract description 29
- 238000012795 verification Methods 0.000 claims description 224
- 238000013473 artificial intelligence Methods 0.000 claims description 68
- 238000004891 communication Methods 0.000 claims description 61
- 238000012545 processing Methods 0.000 description 11
- 244000025254 Cannabis sativa Species 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 238000012549 training Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000005520 cutting process Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000003754 machining Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 241001417527 Pempheridae Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000008358 core component Substances 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003032 molecular docking Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000005406 washing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01D—HARVESTING; MOWING
- A01D34/00—Mowers; Mowing apparatus of harvesters
- A01D34/006—Control or measuring arrangements
- A01D34/008—Control or measuring arrangements for automated or remotely controlled operation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Multimedia (AREA)
- Electromagnetism (AREA)
- Aviation & Aerospace Engineering (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Remote Sensing (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Life Sciences & Earth Sciences (AREA)
- Environmental Sciences (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Manipulator (AREA)
Abstract
本申请提供了一种控制自移动设备的方法及装置，能够提高自移动设备工作的安全性。该方法应用于自移动设备的控制模块，该方法包括：接收视觉模块发送的多种指示信息，所述指示信息用于指示所述视觉模块的工作状态；根据所述多种指示信息中的至少一种指示信息的接收状态监测所述视觉模块是否异常；在监测到所述视觉模块异常的情况下，控制所述自移动设备停止工作。
Description
技术领域
本申请涉及智能机器人技术领域，具体涉及一种控制自移动设备的方法及装置。
背景技术
自移动设备无需人工操作，便可以在预定的工作区域内移动并工作。目前工作区域一般是通过物理边界线进行划分，如边界传感器。自移动设备通过检测边界线来确定工作区域，这种方式不灵活，也不方便。
随着技术的发展，出现了一种通过视觉模块确定工作区域的方式，该方式不需要设置物理边界线，使用方便且灵活。但是，对于设置有视觉模块的自移动设备来说，如何提高自移动设备工作的安全性是目前亟需解决的问题。
发明内容
有鉴于此，本申请实施例致力于提供一种控制自移动设备的方法及装置，能够提高自移动设备工作的安全性。
第一方面，提供了一种控制自移动设备的方法，所述方法应用于所述自移动设备的控制模块，所述方法包括：接收视觉模块发送的多种指示信息，所述指示信息用于指示所述视觉模块的工作状态；根据所述多种指示信息中的至少一种指示信息的接收状态监测所述视觉模块是否异常；在监测到所述视觉模块异常的情况下，控制所述自移动设备停止工作。
在一种可能的实现方式中，所述多种指示信息包括验证信息和/或心跳信息，所述验证信息用于指示所述视觉模块对验证图像的验证结果，所述心跳信息用于指示所述控制模块和所述视觉模块的通讯状态，所述根据所述多种指示信息中的至少一种指示信息的接收状态监测所述视觉模块是否异常，包括：根据所述验证信息的接收状态监测所述视觉模块是否识别异常；和/或，根据所述心跳信息的接收状态监测所述视觉模块是否通讯异常。
在一种可能的实现方式中，所述根据所述验证信息的接收状态监测所述视觉模块是否识别异常，包括：在接收到所述验证信息且所述验证信息指示所述视觉模块对所述验证图像的识别结果与所述验证图像对应的预存结果不一致的情况下，确定所述视觉模块识别异常。
在一种可能的实现方式中，所述根据所述验证信息的接收状态监测所述视觉模块是否识别异常，包括：在第一预设时间范围内没有接收到所述验证信息的情况下，确定所述视觉模块识别异常。
在一种可能的实现方式中，所述心跳信息包括第一心跳报文；所述根据所述心跳信息的接收状态监测所述视觉模块是否通讯异常，包括：在第二预设时间范围内没有接收到所述第一心跳报文的情况下，确定所述视觉模块通讯异常。
在一种可能的实现方式中，在所述接收视觉模块发送的多种指示信息之前，还包括：向所述视觉模块发送第二心跳报文；相应的，所述心跳信息包括针对所述第二心跳报文的回复报文；所述根据所述心跳信息的接收状态监测所述视觉模块是否通讯异常，包括：在第三预设时间范围内没有接收到所述回复报文的情况下，确定所述视觉模块通讯异常。
在一种可能的实现方式中，在没有监测到所述视觉模块异常的情况下，所述方法还包括：在接收到所述视觉模块发送的告警信息的情况下，控制所述自移动设备停止工作，所述告警信息用于指示所述视觉模块识别出所述自移动设备处于非工作区域。
第二方面，提供了一种控制自移动设备的方法，所述方法应用于所述自移动设备中的视觉模块，所述方法包括：生成多种指示信息，所述指示信息用于指示所述视觉模块的工作状态；向控制模块发送所述多种指示信息，以使所述控制模块基于所述多种指示信息中的至少一种指示信息的接收状态监测所述视觉模块是否异常。
在一种可能的实现方式中，所述多种指示信息包括验证信息和/或心跳信息，所述验证信息用于指示所述视觉模块对验证图像的验证结果，所述心跳信息用于指示所述控制模块和所述视觉模块的通讯状态，所述生成多种指示信息，包括：生成所述验证信息；相应的，所述向控制模块发送所述多种指示信息，以使所述控制模块基于所述多种指示信息中的至少一种指示信息的接收状态监测所述视觉模块是否异常，包括：向所述控制模块发送所述验证信息，以使所述控制模块基于所述验证信息的接收状态监测所述视觉模块是否识别异常；和/或，
所述生成多种指示信息，包括：生成所述心跳信息；相应的，所述向控制模块发送所述多种指示信息，以使所述控制模块基于所述多种指示信息中的至少一种指示信息的接收状态监测所述视觉模块是否异常，包括：向所述控制模块发送所述心跳信息，以使所述控制模块基于所述心跳信息的接收状态监测所述视觉模块是否通讯异常。
在一种可能的实现方式中，所述生成所述验证信息，包括：将所述验证图像输入人工智能模型，得到识别结果；验证所述识别结果与所述验证图像对应的预存结果是否一致，得到所述验证结果；根据所述验证结果，生成所述验证信息；相应的，所述向所述控制模块发送所述验证信息，以使所述控制模块基于所述验证信息的接收状态监测所述视觉模块是否识别异常，包括：向所述控制模块发送所述验证信息，以使所述控制模块在接收到所述验证信息且所述验证信息指示所述识别结果与所述验证图像对应的预存结果不一致的情况下，确定所述视觉模块识别异常。
在一种可能的实现方式中，所述验证图像包括工作区域的图像和非工作区域的图像，所述工作区域的图像对应的预存结果为第一预存结果，所述非工作区域的图像对应的预存结果为第二预存结果，所述将所述验证图像输入人工智能模型，得到识别结果，包括：将所述工作区域的图像输入所述人工智能模型，得到第一识别结果；和/或将所述非工作区域的图像输入所述人工智能模型，得到第二识别结果；相应的，所述验证所述识别结果与所述验证图像对应的预存结果是否一致，包括：验证所述第一识别结果与所述第一预存结果是否一致；和/或验证所述第二识别结果与所述第二预存结果是否一致；相应的，所述向所述控制模块发送所述验证信息，以使所述控制模块在接收到所述验证信息且所述验证信息指示所述识别结果与所述验证图像对应的预存结果不一致的情况下，确定所述视觉模块识别异常，包括：向所述控制模块发送所述验证信息，以使所述控制模块在接收到所述验证信息且所述验证信息指示所述第一识别结果与所述第一预存结果不一致和/或所述第二识别结果与所述第二预存结果不一致的情况下，确定所述视觉模块识别异常。
在一种可能的实现方式中，所述向所述控制模块发送所述验证信息，以使所述控制模块基于所述验证信息的接收状态监测所述视觉模块是否识别异常，包括：向所述控制模块发送所述验证信息，以使所述控制模块在第一预设时间范围内没有接收到所述验证信息的情况下，确定所述视觉模块识别异常。
在一种可能的实现方式中，所述心跳信息包括第一心跳报文，所述向所述控制模块发送所述心跳信息，以使所述控制模块基于所述心跳信息的接收状态监测所述视觉模块是否通讯异常，包括：向所述控制模块发送所述第一心跳报文，以使所述控制模块在第二预设时间范围内没有接收到所述第一心跳报文的情况下确定所述视觉模块通讯异常。
在一种可能的实现方式中，在所述向所述控制模块发送所述心跳信息之前，所述方法还包括：接收所述控制模块发送的第二心跳报文；相应的，所述心跳信息包括针对所述第二心跳报文的回复报文，所述向所述控制模块发送所述心跳信息，以使所述控制模块基于所述心跳信息的接收状态监测所述视觉模块是否通讯异常，包括：向所述控制模块发送所述回复报文，以使所述控制模块在第三预设时间范围内没有接收到所述回复报文的情况下确定所述视觉模块通讯异常。
在一种可能的实现方式中，在所述控制模块没有监测到所述视觉模块异常的情况下，所述方法还包括：获取所述自移动设备所在位置的当前图像；
将所述当前图像输入人工智能模型，得到识别结果；在所述识别结果指示所述自移动设备处于非工作区域的情况下，向所述控制模块发送告警信息，以使所述控制模块在接收到所述告警信息的情况下控制所述自移动设备停止工作。
第三方面，提供了一种制自移动设备的方法，所述自移动设备包括视觉模块和控制模块，所述方法包括：所述视觉模块向所述控制模块发送多种指示信息，所述指示信息用于指示所述视觉模块的工作状态；所述控制模块根据所述多种指示信息中的至少一种指示信息的接收状态监测所述视觉模块是否异常；所述控制模块在监测到所述视觉模块异常的情况下，控制所述自移动设备停止工作。
在一种可能的实现方式中，所述多种指示信息包括验证信息和/或心跳信息，所述验证信息用于指示所述视觉模块对验证图像的验证结果，所述心跳信息用于指示所述控制模块和所述视觉模块的通讯状态，所述视觉模块向所述控制模块发送多种指示信息，包括：所述视觉模块向所述控制模块发送所述验证信息；相应的，所述控制模块根据所述多种指示信息中的至少一种指示信息的接收状态监测所述视觉模块是否异常，包括：所述控制模块根据所述验证信息的接收状态监测所述视觉模块是否识别异常；和/或，
所述视觉模块向所述控制模块发送多种指示信息，包括：所述视觉模块向所述控制模块发送所述心跳信息；相应的，所述控制模块根据所述多种指示信息中的至少一种指示信息的接收状态监测所述视觉模块是否异常，包括：所述控制模块根据所述心跳信息的接收状态监测所述视觉模块是否通讯异常。
在一种可能的实现方式中，所述视觉模块向所述控制模块发送所述验证信息，包括：所述视觉模块将所述验证图像输入人工智能模型，得到识别结果；所述视觉模块验证所述识别结果与所述验证图像对应的预存结果是否一致，得到所述验证结果；所述视觉模块根据所述验证结果，生成所述验证信息；所述视觉模块向所述控制模块发送所述验证信息；相应的，所述控制模块根据所述验证信息的接收状态监测所述视觉模块是否识别异常，包括：所述控制模块在接收到所述验证信息且所述验证信息指示所述识别结果与所述验证图像对应的预存结果不一致的情况下，确定所述视觉模块识别异常。
在一种可能的实现方式中，所述验证图像包括工作区域的图像和非工作区域的图像，所述工作区域的图像对应的预存结果为第一预存结果，所述非工作区域的图像对应的预存结果为第二预存结果，所述视觉模块将所述验证图像输入人工智能模型，得到识别结果，包括：所述视觉模块将所述工作区域的图像输入所述人工智能模型，得到第一识别结果；和/或，所述视觉模块将所述非工作区域的图像输入所述人工智能模型，得到第二识别结果；相应的，所述视觉模块验证所述识别结果与所述验证图像对应的预存结果是否一致，包括：所述视觉模块验证所述第一识别结果与所述第一预存结果是否一致；和/或验证所述第二识别结果与所述第二预存结果是否一致；相应的，所述控制模块在接收到所述验证信息且所述验证信息指示所述识别结果与所述验证图像对应的预存结果不一致的情况下，确定所述视觉模块识别异常，包括：所述控制模块在接收到所述验证信息且所述验证信息指示所述第一识别结果与所述第一预存结果不一致和/或所述第二识别结果与所述第二预存结果不一致的情况下，确定所述视觉模块识别异常。
在一种可能的实现方式中，所述控制模块根据所述验证信息的接收状态监测所述视觉模块是否识别异常，包括：所述控制模块在第一预设时间范围内没有接收到所述验证信息的情况下，确定所述视觉模块识别异常。
在一种可能的实现方式中，所述心跳信息包括第一心跳报文，所述视觉模块向所述控制模块发送所述心跳信息，包括：所述视觉模块向所述控制模块发送所述第一心跳报文；相应的，所述控制模块根据所述心跳信息的接收状态监测所述视觉模块是否通讯异常，包括：所述控制模块在第二预设时间范围内没有接收到所述第一心跳报文的情况下，确定所述视觉模块通讯异常。
在一种可能的实现方式中，在所述视觉模块向所述控制模块发送所述心跳信息之前，所述方法还包括：所述控制模块向所述视觉模块发送第二心跳报文；相应的，所述心跳信息包括针对所述第二心跳报文的回复报文，所述视觉模块向所述控制模块发送所述心跳信息，包括：所述视觉模块向所述控制模块发送所述回复报文；相应的，所述控制模块根据所述心跳信息的接收状态监测所述视觉模块是否通讯异常，包括：所述控制模块在第三预设时间范围内没有接收到所述回复报文的情况下，确定所述视觉模块通讯异常。
在一种可能的实现方式中，在所述控制模块没有监测到所述视觉模块异常的情况下，所述方法还包括：所述视觉模块获取所述自移动设备所在位置的当前图像；所述视觉模块将所述当前图像输入人工智能模型，得到识别结果；所述视觉模块在所述识别结果指示所述自移动设备处于非工作区域的情况下，向所述控制模块发送告警信息；所述控制模块在接收到所述告警信息的情况下，控制所述自移动设备停止工作。
第四方面，提供一种控制自移动设备的装置，所述装置包括控制模块，所述控制模块用于接收视觉模块发送的多种指示信息，所述指示信息用于指示所述视觉模块的工作状态；根据所述多种指示信息中的至少一种指示信息的接收状态监测所述视觉模块是否异常；以及在监测到所述视觉模块异常的情况下，控制所述自移动设备停止工作。
第五方面，提供一种制自移动设备的装置，所述装置包括视觉模块，所述视觉模块用于生成多种指示信息，所述指示信息用于指示所述视觉模块的工作状态；以及向所述自移动设备的控制模块发送所述多种指示信息，以使所述控制模块基于所述多种指示信息中的至少一种指示信息的接收状态监测所述视觉模块是否异常。
第六方面，提供一种自移动设备，包括：视觉模块，用于向控制模块发送多种指示信息，所述指示信息用于指示所述视觉模块的工作状态；所述控制模块，用于根据所述多种指示信息中的至少一种指示信息的接收状态监测所述视觉模块是否异常；以及在监测到所述视觉模块异常的情况下，控制所述自移动设备停止工作。
本申请通过对视觉模块的状态进行监测，并在监测到视觉模块异常的情况下，控制自移动设备停止工作，从而可以使自移动设备避免在视觉模块异常时随机移动跑至边界外、对用户产生安全问题、对工作区域造成破坏中的至少一种，提高自移动设备工作的安全性。
附图说明
图1是本申请实施例提供的一种自动工作系统的示意图。
图2是本申请实施例提供的一种智能割草机的结构示意图。
图3是本申请实施例提供的一种自移动设备的结构示意图。
图4是本申请实施例提供的一种控制自移动设备的方法的示意性流程图。
图5是本申请实施例提供的另一种控制自移动设备的方法的示意性流程图。
图6是本申请实施例提供的又一种控制自移动设备的方法的示意性流程图。
图7是本申请实施例提供的一种控制自移动设备的装置的示意性框图。
图8是本申请实施例提供的另一种控制自移动设备的装置的示意性框图。
图9是本申请实施例提供的一种自移动设备的示意性框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。
本申请实施例中的自移动设备可以为户外机器人，例如可以为智能割草机、智能扫雪车、智能扫地车、智能洗地车等具有自动行走功能的智能设备。
以智能割草机为例，图1所示的自动工作系统100可以包括智能割草机1、以及边界6，边界6可用于限定智能割草机1的工作区域。其中，边界线6可以为草坪区域与非草坪区域之间的边界线。智能割草机1可以在由边界6限定的区域内工作，如自动完成割草工作，边界6可以将工作区域7与非工作区域分隔开。
在智能割草机1的工作区域中，还会存在一些影响智能割草机工作的障碍区域，该障碍区域例如可以包括房屋所在的区域3、凹坑区域4、树木所在的区域5等。智能割草机1在工作的过程中，可以绕开这些区域进行工作。
该自动工作系统100还可以包括充电站2，用于为智能割草机1补给电能。智能割草机1可以在没有人监管的情况下自动执行工作任务，当电能不足时，可以自动返回充电站2进行充电。
充电站2可以位于边界线6上，即充电站2的一部分位于工作区域7中，一部分位于非工作区域中；或者充电站2可以完全位于工作区域7中；又或者，充电站2还可以完全位于非工作区域中。
图2示出了一种智能割草机的结构示意图。该自动割草机可以包括壳体16、移动模块、任务执行模块、能源模块和控制模块等。
移动模块用于带动智能割草机在工作区域7内行走。该移动模块通常包括安装在智能割草机上的轮组和驱动轮组行走与转向的行走马达。轮组包括连接行走马达的驱动轮14和主要起辅助支撑作用的辅助轮15。该辅助轮15也可以称为从动轮，该辅助轮15可以为万向轮。驱动轮14的个数可以为2个，分别位于壳体16的两侧。行走马达的数量可以为2个，分别与两个驱动轮连接。辅助轮的数量可以为一个或两个。当辅助轮15为2个时，该2个辅助轮15可以位于智能割草机的前部两侧。辅助轮15没有连接行走马达，但会在支撑智能割草机行走时被带动滚动行走。通过以上结构的设置，智能割草机可以在控制模块的控制下，灵活地在工作区域内行走和转向。
任务执行模块可以包括切割组件，该切割组件可用于执行割草工作。该切割组件可设置在智能割草机的底盘上，其位置可以位于驱动轮14和辅助轮15之间。
能源模块可以包括电池包，用于为智能割草机1的移动和工作提供电能。例如，能源模块可以为电机提供电能，以使得电机能够驱动切割组件进行工作。
控制模块可以与移动模块、任务执行模块以及能源模块电连接，以控制移动模块带动智能割草机1移动，并控制任务执行模块执行工作任务。
控制模块可用于控制智能割草机自动地行走、工作、补充能量等，是智能割草机的核心部件。该控制模块执行的功能可以包括控制任务执行模块启动工作或停止工作、生成行走路径并控制移动模块按照该路径行走、判断能源模块的电量并及时指示智能割草机返回停靠站并且自动对接充电、在检测到智能割草机处于边界位置或非工作区域时控制割草机返回工作区域等。
继续参见图1，边界6可以限定智能割草机在边界所限定的区域内移动，避免智能割草机移动至边界之外的区域。目前，边界6都是智能割草机通过识别物理边界线进行识别的。例如，可以在边界6所在的位置处布置边界线，智能割草机可以通过检测边界线中的电流所形成的磁场信号强度来识别边界。但是，上述设置方式需要人工布置边界线，使用不方便也不灵活，铺设以及维护成本也较高。
随着技术的发展，出现了一种通过视觉模块识别自移动设备所在位置的方式。该方式不需要设置物理边界线，而是通过视觉模块拍摄的图像来识别自移动设备是否处于工作区域内，使用方便且灵活。
该视觉模块可以安装在自移动设备上，并获取自移动设备所在位置的当前图像，该当前图像也可以称为机身周围的环境图像。根据当前图像，视觉模块可以判断自移动设备是否处于工作区域内。
如图3所示，图3所示的自移动设备可以包括视觉模块11。该视觉模块11可以包括图像采集装置110和图像处理模块113。图像采集装置110可用于采集自移动设备所在位置的当前图像，图像处理模块113可用于对当前图像进行分析处理，如利用人工智能模型对当前图像进行识别等，以识别机身周围的环境。例如，图像处理模块113可以对当前图像进行处理，以识别自移动设备是否处于工作区域内。以智能割草机为例，如果当前图像中包括草的相关特征，则可以确定智能割草机处于工作区域内；如果当前图像中包括路面的相关特征、或者当前图像中不包括草的相关特征，则可以确定智能割草机处于非工作区域内。
图像采集装置110例如可以为摄像头、照相机等各种图像采集设备。该图像采集装置110可以包括光学系统111和图像传感器112。光学系统111可以包括单凸、单凹、双凸、双凹透镜等。图像传感器112可以为互补金属氧化物半导体(Complementary Metal OxideSemiconductor，CMOS)。
本申请实施例对图像采集装置110拍摄图像的拍摄方向不做限定。图像采集装置110可以竖直朝下拍摄图像，如包括图像采集装置110的视觉模块可以设置在自移动设备的底盘上。图像采集装置110也可以相对竖直方向倾斜的方向拍摄图像。如图2所示，视觉模块11可以安装在自移动设备的前端，图像采集装置可以拍摄斜前方的图像，图像采集装置的拍摄方向与竖直方向之间的夹角为α，0＜α＜90°。
图像采集装置的拍摄方向可以是固定的，也可以是可调节的。如可以通过旋转和/或移动等操作来改变图像采集装置的位置，从而改变图像采集装置的拍摄方向。
图像采集装置的识别范围可以是固定的，也可以是可调节的。本申请实施例对此不做具体限定。以图2为例，图2所示图像采集装置的识别范围(即视角范围)为β，β可以是固定值，也可以是可变值。在识别范围为β时，图像采集装置能够拍摄区域d处的图像。
继续参见图3，图像处理模113可以为系统级芯片(System-on-chip，SOC)。图像处理模块113可以包括图像信号处理(Image Signal Processing，ISP)模块114和中央处理单元(Central Process Unit，CPU)115。ISP模块114可用于对图像传感器112输出的信号进行处理，并将处理后的信号输入CPU 115中进行图像处理。CPU 115可以对图像进行人工智能(Artificial Intelligence，AI)识别等。
本申请实施例的视觉模块可以通过对当前图像进行AI识别，以识别自移动设备是否处于工作区域内。AI识别可以指通过AI模型对图像进行分析处理的过程。在自移动设备工作之前，可以通过样本图像对AI模型进行训练，使得训练之后的模型能够准确地识别图像中各物体的特征。训练过程例如可以包括：获取样本图像，该样本图像可以包括工作区域的图像和/或非工作区域的图像；将样本图像输入第一AI模型进行训练，得到第二AI模型。该第一AI模型可以为初始AI模型，第二AI模型为训练之后的目标AI模型。为检验第二AI模型的准确性，也可以预留出一部分的样本图像，在得到第二AI模型后，通过预留出的样本图像对第二AI模型进行检验，以评估第二AI模型的反应准确性。在训练完成后，自移动设备可以使用第二AI模型对当前图像进行识别。
视觉模块可以根据工作区域和/或非工作区域中的关键性特征进行工作区域和/或非工作区域的识别。该关键性特征可以为工作区域和/或非工作区域中的标志物、障碍物等。
对于智能割草机而言，该关键性特征可以包括草的特征，视觉模块可以利用图像处理技术识别出草地区域和非草地区域。例如，如果视觉模块识别出当前图像中包括草的特征，则可以确定智能割草机处于工作区域内；如果视觉模块识别出当前图像中不包括草的特征，或者包括路面的特征，则可以确定智能割草机处于非工作区域内。
本申请实施例对视觉模块识别工作区域的方式不做具体限定。例如，视觉模块可以根据图像中物体的纹理、颜色、表面平整度、杂乱程度等特征点进行识别。以纹理为例，视觉模块可以对当前图像中的物体的纹理进行识别，并将识别结果(如特征值)与预设范围进行比较。如果识别结果在预设范围内，则可以表示自移动设备处于工作区域内；如果识别结果在预设范围之外，则可以表示自移动设备处于非工作区域。
本申请实施例对视觉模块的设置位置不做具体限定。例如，视觉模块可以设置在自移动设备的前端，以获取自移动设备前进方向上的环境图像，保证自移动设备在前进方向上不会超出边界工作。又例如，视觉模块也可以设置在自移动设备的后端，以获取自移动设备后退方向上的环境图像，保证自移动设备在后退方向上不会超出边界工作。再例如，视觉模块也可以设置在自移动设备的机身两侧。
自移动设备上设置的视觉模块的数量可以为1个，也可以为多个。例如，可以在自移动设备的前端、后端均设置视觉模块。又例如，可以在自移动设备的前端和两侧均设置视觉模块。通过设置多个视觉模块可以提高边界识别的准确率。
当前图像的识别结果可以为自移动设备的路径规划提供依据，保证自移动设备工作的安全性。路径规划可以由自移动设备中的控制模块来实现，控制模块可以设置在自移动设备的主板上。控制模块可以为自移动设备的处理器，该处理器可以为微控制单元(Microcontroller Unit，MCU)。获取到的当前图像不同，控制模块控制自移动设备的行走路径可能也不同。
例如，如果当前图像表示自移动设备处于工作区域内，则控制模块可以控制自移动设备继续前进并工作。又例如，如果当前图像表示自移动设备处于工作区域之外(即处于非工作区域内)，则控制模块可以控制自移动设备返回工作区域、或者控制自移动设备移动至充电站、或者控制自移动设备停止工作等。再例如，如果当前图像中包括不需要加工的区域时，则控制模块可以控制自移动设备绕开该区域行走。不需要加工的区域可以包括以下中的至少一种：已经加工的区域、边界、标识物、障碍物等。
对于设置了视觉模块的自移动设备来说，如何提高自移动设备工作的安全性是目前亟需解决的问题。
基于此，本申请实施例提供一种控制自移动设备的方法，能够提高自移动设备工作的安全性。本申请实施例中的自移动设备可以包括视觉模块和控制模块。该视觉模块可以为上文描述的任一种视觉模块，控制模块可以为上文描述的任一种控制模块。如图4所示，该方法可以包括步骤S410～S420。
S410、视觉模块向控制模块发送多种指示信息，该指示信息可用于指示视觉模块的工作状态。
S420、控制模块可以根据该多种指示信息中的至少一种指示信息的接收状态监测视觉模块是否异常。
该多种指示信息可以包括验证信息和/或心跳信息等，对应的，视觉模块的工作状态可以包括视觉模块的识别状态和/或视觉模块的通讯状态等。当指示信息为验证信息时，该验证信息可用于指示视觉模块的识别状态。当指示信息为心跳信息时，该心跳信息可用于指示控制模块与视觉模块的通讯状态。
该验证信息可用于指示视觉模块对验证图像的验证结果。本申请实施例可以在自移动设备(如视觉模块)中预存验证图像，视觉模块可以对验证图像进行识别，并将识别结果与该验证图像对应的预存结果进行对比，得到验证结果。
该心跳信息可以指控制模块与视觉模块之间的心跳报文。本申请实施例可以在控制模块和视觉模块之间增加通讯链路，控制模块可以通过监听视觉模块的心跳信息来确定视觉模块是否异常。该心跳信息可以指视觉模块向控制模块发送的心跳报文，或者也可以指视觉模块针对控制模块发送的心跳报文的回复报文。
S430、控制模块在监测到视觉模块异常的情况下，控制自移动设备停止工作。
视觉模块的异常可以包括通讯异常、识别异常中的至少一种。通讯异常可以指视觉模块与控制模块之间的通讯异常，如控制模块接收不到视觉模块发送的心跳信息。识别异常可以指视觉模块对验证图像的识别结果异常。
停止工作可以包括以下中的至少一种：停止移动、任务执行模块停止工作和停机。控制自移动设备停机可以进一步提高自移动设备的安全性。
由上文可知，视觉模块对自移动设备的工作起着至关重要的作用。视觉模块的异常与否影响着控制模块对自移动设备的控制。如果视觉模块异常，自移动设备可能会随机移动进而跑出边界，同时自移动设备在视觉模块异常时继续工作将会对用户产生安全问题或对工作区域造成破坏等。因此，考虑到视觉模块的上述重要作用，本申请实施例通过对视觉模块的状态进行监测，并在监测到视觉模块异常的情况下，控制自移动设备停止工作，从而可以使自移动设备避免跑出边界(或是跑出边界太远)、对用户产生安全问题、对工作区域造成破坏中的至少一种，提高自移动设备工作的安全性。
控制模块可以根据多种指示信息中的任意一种指示信息的接收状态监测视觉模块是否异常。例如，控制模块可以根据验证信息的接收状态来监测视觉模块是否异常，并在通过验证信息监测到视觉模块异常的情况下，控制自移动设备停止工作。又例如，控制模块可以根据心跳报文的接收状态来监测视觉模块是否异常，并在通过心跳报文监测到视觉模块异常的情况下，控制自移动设备停止工作。
控制模块也可以根据多种指示信息的接收状态来监测视觉模块是否异常。例如，多种指示信息可以同时包括验证信息和心跳信息，从而控制模块可以同时根据验证信息和心跳信息的接收状态来监测视觉模块是否异常。具体地，控制模块可在通过上述任意一种指示信息监测到视觉模块异常的情况下，控制自移动设备停止工作。
本申请实施例通过验证信息和心跳信息双通道的监测方式，可从图像识别的软件维度以及通讯链路的硬件维度来同时对视觉模块的工作状态进行监测，有利于提高自移动设备的工作安全性。
下面结合图5和图6，分别对验证信息和心跳信息进行详细描述。
参见图5，多种指示信息可以包括验证信息，该验证信息可用于指示所述视觉模块对验证图像的验证结果。图5所示的方法包括步骤S510～S530。
S510，视觉模块可以向控制模块发送验证信息。
S520，控制模块可以根据验证信息的接收状态监测视觉模块是否识别异常。
S530，控制模块在监测到视觉模块异常的情况下，可以控制自移动设备停止工作。
在自移动设备工作的过程中，视觉模块可以拍摄自移动设备所在位置的当前图像，并通过AI模型对当前图像进行识别，以确定自移动设备是否处于工作区域内。但是在视觉模块工作的过程中，AI模型中的参数会因为一些因素而发生变化，如在高温的环境下或是处理器算力发生变化的情况下，AI模型中的参数可能会发生改变。如果AI模型的参数发生改变，将会影响AI模型对当前图像的识别结果。如果继续使用该AI模型对当前图像进行识别，将会导致错误的识别结果，影响自移动设备工作的安全性。
基于此，本申请实施例可以在自移动设备(或视觉模块)中预存一个或多个验证图像，以对AI模型进行验证。自移动设备中不仅预存有验证图像，而且还有与验证图像对应的预存结果。在自移动设备的工作过程中，可以通过验证图像对AI模型进行验证，保证自移动设备工作的安全性。
具体地，可以将验证图像输入AI模型中，得到识别结果。进一步地，可以验证识别结果与验证图像对应的预存结果是否一致，得到验证结果。如果识别结果与验证图像对应的预存结果一致，则表示AI模型识别正常；如果识别结果与验证图像对应的预存结果不一致，则表示AI模型识别异常，也就是说，视觉模块工作异常。举例说明，如果验证图像为工作区域的图像，视觉模块对该验证图像的识别结果也是工作区域，则视觉模块对验证图像的识别结果与预存结果一致，此时输出的验证信息可以为1。又例如，如果验证图像为工作区域的图像，视觉模块对该验证图像的识别结果为非工作区域，则视觉模块对验证图像的识别结果与预存结果不一致，此时输出的验证信息可以为0。
验证图像可以包括工作区域的图像和/或非工作区域的图像，工作区域的图像数量可以为一个或多个，非工作区域的图像数量可以为一个或多个。与工作区域的图像对应的预存结果记为第一预存结果，与非工作区域的图像对应的预存结果记为第二预存结果。视觉模块可以仅对工作区域的图像进行验证，或者仅对非工作区域的图像进行验证，或者同时对工作区域的图像和非工作区域的图像进行验证。当然，视觉模块也可以随机选择一张图像进行验证，本申请实施例对此不作具体限定。
举例说明，在通过验证图像对AI模型进行验证的过程中，视觉模块可以将工作区域的图像输入AI模型，得到第一识别结果；和/或，将非工作区域的图像输入AI模型，得到第二识别结果。然后，视觉模块可以验证第一识别结果与第一预存结果是否一致，和/或，验证第二识别结果与第二预存结果是否一致。
在得到验证结果后，视觉模块可以根据该验证结果，生成验证信息，并将该验证信息发送至控制模块。控制模块可以根据该验证信息，监测视觉模块是否异常。例如，控制模块可以在接收到该验证信息，并且该验证信息指示第一识别结果与第一预存结果不一致，和/或，第二识别结果与第二预存结果不一致的情况下，确定视觉模块识别异常。
如果识别结果与预存结果不一致，则视觉模块中的AI模型可能存在异常。如果继续使用该AI模型对当前图像进行识别，会导致错误的识别结果，影响自移动设备工作的安全性。因此，在对验证图像的识别结果与预存结果不一致的情况下，控制自移动设备停止工作，能够提高自移动设备工作的安全性。
除了识别结果与预存结果不一致之外，控制模块也可以在第一预设时间范围内没有接收到该验证信息的情况下，确定视觉模块识别异常。其中，第一预设时间范围可以大于视觉模块发送验证信息之间的时间间隔。如果视觉模块没有得到验证结果，视觉模块可能不会向控制模块发送验证信息，在该情况下，控制模块可以确定视觉模块(如AI操作系统或软件)异常。进一步地，控制模块可以控制自移动设备停止工作，以提高自移动设备工作的安全性。
为了进一步保证自移动设备工作的安全性，本申请实施例可以定期对AI模型进行验证。例如，在视觉模块每次对当前图像进行识别之前，均对AI模型进行验证，在AI模型正常的情况下，再使用该AI模型对当前图像进行识别。当然，也可以在视觉模块每次对当前图像进行识别之后，再对AI模型进行验证，以确定当前图像识别结果的准确性。可选的，为节约算力，降低运行功耗，也可以间隔稍长一些的时间来对AI模型定期进行验证。本领域技术人员可根据实际情况进行选择，本申请对此不作限制。
参见图6，多种指示信息可以包括心跳信息，该心跳信息可用于指示控制模块与视觉模块之间的通讯状态。图6所示的方法包括步骤S610～S630。
S610，视觉模块可以向控制模块发送心跳信息。
S620，控制模块可以根据心跳信息的接收状态监测视觉模块是否通讯异常。
S630，控制模块在监测到视觉模块异常的情况下，可以控制自移动设备停止工作。
该心跳信息可以是视觉模块向控制模块发送的心跳报文(或称心跳包)，或者也可以是视觉模块针对控制模块发送的心跳报文的回复报文。可以理解的是，心跳报文是发送端按照一定的时间间隔向接收端发送的信息，该信息可以是代码。下面分别对这两种情况进行描述。
例如，视觉模块可以向控制模块发送第一心跳报文。控制模块可以对该第一心跳报文进行接收，以确定视觉模块是否正常。如果控制模块在第二预设时间范围内没有接收到第一心跳报文，则可以确定视觉模块通讯异常。其中，该第一预设时间范围可以大于视觉模块发送第一心跳报文的时间间隔。在该情况下，控制模块可以控制自移动设备停止工作，保证自移动设备工作的安全性。
又例如，控制模块可以向视觉模块发送第二心跳报文，视觉模块接收到该第二心跳报文后，可以向控制模块发送针对该第二心跳报文的回复报文。控制模块可以根据该回复报文的接收状态确定视觉模块是否通讯异常。如果控制模块在第三预设时间范围内没有接收到该回复报文，则控制模块可以确定视觉模块通讯异常。其中，第三预设时间范围可以大于控制模块发送第二心跳报文的时间间隔。
本申请实施例可以通过心跳信息检测视觉模块是否异常。如果控制模块检测不到视觉模块发送的心跳信息，表示视觉模块与控制模块的连接可能出现问题，此时控制自移动设备停止工作可以保证自移动设备工作的安全性。
本申请实施例对视觉模块与控制模块之间的通讯方式不做具体限定。视觉模块可以通过有线的方式向控制模块发送指示信息，如电信号。视觉模块和控制模块之间可以电连接。或者，视觉模块也可以通过无线的方式向控制模块发送指示信息，如蓝牙、WiFi等。对于心跳信息和验证信息来说，视觉模块发送心跳信息和发送验证信息的方式可以相同，也可以不同。例如，视觉模块可以通过电信号发送心跳信息和验证信息。又例如，视觉模块可以通过电信号发送验证信息，而通过无线信号发送心跳信息。
此外，即使视觉模块没有出现异常，但是自移动设备可能会移动至非工作区域。处于非工作区域的自移动设备也会产生安全问题或对非工作区域造成破坏。基于此，本申请实施例也可以在自移动设备处于非工作区域的情况下，控制自移动设备停止工作，以进一步提高自移动设备工作的安全性。
举例说明，视觉模块可以拍摄自移动设备所在位置的当前图像，并将该当前图像输入AI模型，以对该当前图像进行识别，从而确定自移动设备所处的位置。如果该当前图像中包括工作区域中的物体(如草)的特征，则可以确定自移动设备处于工作区域内。如果当前图像中不包括工作区域中的物体(如草)的特征，则可以确定自移动设备处于非工作区域内。视觉模块可以将识别结果发送给控制模块，控制模块可以根据该识别结果对自移动设备进行控制。如果视觉模块识别出自移动设备处于非工作区域内，则视觉模块可以向控制模块发送告警信息，该告警信息用于指示视觉模块识别出自移动设备处于工作区域内。控制模块在接收到该告警信息的情况下，可以控制自移动设备停止工作。
上文结合图1至图6，详细描述了本申请的方法实施例，下面结合图7-图9，详细描述本申请的装置实施例。应理解，方法实施例的描述与装置实施例的描述相互对应，因此，未详细描述的部分可以参见前面方法实施例。
图7是本申请实施例提供的一种控制自移动设备的装置。该装置700可以包括控制模块710，该控制模块710可以为上文描述的任一种控制模块。
该控制模块710可以被配置为接收视觉模块发送的多种指示信息，所述指示信息用于指示所述视觉模块的工作状态；根据所述多种指示信息中的至少一种指示信息的接收状态监测所述视觉模块是否异常；以及在监测到所述视觉模块异常的情况下，控制所述自移动设备停止工作。
可选地，在一些实施例中，所述多种指示信息包括验证信息和/或心跳信息，所述验证信息用于指示所述视觉模块对验证图像的验证结果，所述心跳信息用于指示所述控制模块和所述视觉模块的通讯状态；控制模块710可以被配置为根据所述验证信息的接收状态监测所述视觉模块是否识别异常；和/或，根据所述心跳信息的接收状态监测所述视觉模块是否通讯异常。
可选地，在一些实施例中，控制模块710可以被配置为在接收到所述验证信息、并且所述验证信息指示所述视觉模块对所述验证图像的识别结果与所述验证图像对应的预存结果不一致的情况下，确定所述视觉模块识别异常。
可选地，在一些实施例中，控制模块710可以被配置为在第一预设时间范围内没有接收到所述验证信息的情况下，确定所述视觉模块识别异常。
可选地，在一些实施例中，所述心跳信息包括第一心跳报文；控制模块710可以被配置为在第二预设时间范围内没有接收到所述第一心跳报文的情况下，确定所述视觉模块通讯异常。
可选地，在一些实施例中，控制模块710可以被配置为向所述视觉模块发送第二心跳报文；相应的，所述心跳信息包括针对所述第二心跳报文的回复报文；控制模块710可以被配置为在第三预设时间范围内没有接收到所述回复报文的情况下，确定所述视觉模块通讯异常。
可选地，在一些实施例中，在没有监测到所述视觉模块异常的情况下，控制模块710可以被配置为在接收到所述视觉模块发送的告警信息的情况下，控制所述自移动设备停止工作，所述告警信息用于指示所述视觉模块识别出所述自移动设备处于非工作区域。
图8是本申请实施例提供的另一种控制自移动设备的装置。该装置800可以包括视觉模块810，该视觉模块810可以为上文描述的任一种视觉模块。
该视觉模块810可以被配置为生成多种指示信息，所述指示信息用于指示所述视觉模块的工作状态；以及向所述自移动设备的控制模块发送所述多种指示信息，以使所述控制模块基于所述多种指示信息中的至少一种指示信息的接收状态监测所述视觉模块是否异常。
可选地，在一些实施例中，所述多种指示信息包括验证信息和/或心跳信息，所述验证信息用于指示所述视觉模块对验证图像的验证结果，所述心跳信息用于指示所述控制模块和所述视觉模块的通讯状态，视觉模块810可以被配置为生成所述验证信息；向所述控制模块发送所述验证信息，以使所述控制模块基于所述验证信息的接收状态监测所述视觉模块是否识别异常；和/或，所述视觉模块810可以被配置为生成所述心跳信息；向所述控制模块发送所述心跳信息，以使所述控制模块基于所述心跳信息的接收状态监测所述视觉模块是否通讯异常。
可选地，在一些实施例中，视觉模块810可以被配置为将所述验证图像输入人工智能模型，得到识别结果；验证所述识别结果与所述验证图像对应的预存结果是否一致，得到所述验证结果；根据所述验证结果，生成所述验证信息；向所述控制模块发送所述验证信息，以使所述控制模块在接收到所述验证信息、并且所述验证信息指示所述识别结果与所述验证图像对应的预存结果不一致的情况下，确定所述视觉模块识别异常。
可选地，在一些实施例中，所述验证图像包括工作区域的图像和非工作区域的图像，所述工作区域的图像对应的预存结果为第一预存结果，所述非工作区域的图像对应的预存结果为第二预存结果，视觉模块810可以被配置为将所述工作区域的图像输入所述人工智能模型，得到第一识别结果；和/或将所述非工作区域的图像输入所述人工智能模型，得到第二识别结果；验证所述第一识别结果与所述第一预存结果是否一致；和/或验证所述第二识别结果与所述第二预存结果是否一致；向所述控制模块发送所述验证信息，以使所述控制模块在接收到所述验证信息、并且所述验证信息指示所述第一识别结果与所述第一预存结果不一致和/或所述第二识别结果与所述第二预存结果不一致的情况下，确定所述视觉模块识别异常。
可选地，在一些实施例中，视觉模块810可以被配置为向所述控制模块发送所述验证信息，以使所述控制模块在第一预设时间范围内没有接收到所述验证信息的情况下，确定所述视觉模块识别异常。
可选地，在一些实施例中，所述心跳信息包括第一心跳报文，视觉模块810可以被配置为向所述控制模块发送所述第一心跳报文，以使所述控制模块在第二预设时间范围内没有接收到所述第一心跳报文的情况下确定所述视觉模块通讯异常。
可选地，在一些实施例中，视觉模块810可以被配置为接收所述控制模块发送的第二心跳报文；相应的，所述心跳信息包括针对所述第二心跳报文的回复报文，视觉模块810可以被配置为向所述控制模块发送所述回复报文，以使所述控制模块在第三预设时间范围内没有接收到所述回复报文的情况下确定所述视觉模块通讯异常。
可选地，在一些实施例中，在所述控制模块没有监测到所述视觉模块异常的情况下，视觉模块810可以被配置为获取所述自移动设备所在位置的当前图像；将所述当前图像输入人工智能模型，得到识别结果；在所述识别结果指示所述自移动设备处于非工作区域的情况下，向所述控制模块发送告警信息，以使所述控制模块在接收到所述告警信息的情况下控制所述自移动设备停止工作。
图9是本申请实施例提供的一种自移动设备的示意性框图。该自移动设备900可以包括视觉模块910和控制模块920。该视觉模块910可以为上文描述的任一种视觉模块，该控制模块920可以为上文描述的任一种控制模块。
该视觉模块910可以被配置为向控制模块发送多种指示信息，所述指示信息用于指示所述视觉模块的工作状态。
该控制模块920可以被配置为根据所述多种指示信息中的至少一种指示信息的接收状态监测所述视觉模块是否异常；以及在监测到所述视觉模块异常的情况下，控制所述自移动设备停止工作。
可选地，在一些实施例中，所述多种指示信息包括验证信息和/或心跳信息，所述验证信息用于指示所述视觉模块对验证图像的验证结果，所述心跳信息用于指示所述控制模块和所述视觉模块的通讯状态，所述视觉模块910可以被配置为向所述控制模块发送所述验证信息；相应的，所述控制模块920可以被配置为根据所述验证信息的接收状态监测所述视觉模块是否识别异常；和/或，所述视觉模块910可以被配置为向所述控制模块发送所述心跳信息；相应的，所述控制模块920可以被配置为根据所述心跳信息的接收状态监测所述视觉模块是否通讯异常。
可选地，在一些实施例中，所述视觉模块910可以被配置为将所述验证图像输入人工智能模型，得到识别结果；验证所述识别结果与所述验证图像对应的预存结果是否一致，得到所述验证结果；根据所述验证结果，生成所述验证信息；向所述控制模块发送所述验证信息。相应的，所述控制模块920可以被配置为在接收到所述验证信息、并且所述验证信息指示所述识别结果与所述验证图像对应的预存结果不一致的情况下，确定所述视觉模块识别异常。
可选地，在一些实施例中，所述验证图像包括工作区域的图像和非工作区域的图像，所述工作区域的图像对应的预存结果为第一预存结果，所述非工作区域的图像对应的预存结果为第二预存结果，所述视觉模块910可以被配置为将所述工作区域的图像输入所述人工智能模型，得到第一识别结果；和/或，将所述非工作区域的图像输入所述人工智能模型，得到第二识别结果；验证所述第一识别结果与所述第一预存结果是否一致；和/或验证所述第二识别结果与所述第二预存结果是否一致。相应的，所述控制模块920可以被配置为在接收到所述验证信息、并且所述验证信息指示所述第一识别结果与所述第一预存结果不一致和/或所述第二识别结果与所述第二预存结果不一致的情况下，确定所述视觉模块识别异常。
可选地，在一些实施例中，所述控制模块920可以被配置为在第一预设时间范围内没有接收到所述验证信息的情况下，确定所述视觉模块识别异常。
可选地，在一些实施例中，所述心跳信息包括第一心跳报文，所述视觉模块910可以被配置为向所述控制模块发送所述第一心跳报文。相应的，所述控制模块920可以被配置为在第二预设时间范围内没有接收到所述第一心跳报文的情况下，确定所述视觉模块通讯异常。
可选地，在一些实施例中，在所述视觉模块向所述控制模块发送心跳信息之前，所述控制模块920可以被配置为向所述视觉模块发送第二心跳报文；相应的，所述心跳信息包括针对所述第二心跳报文的回复报文，所述视觉模块910可以被配置为向所述控制模块发送所述回复报文；相应的，所述控制模块920可以被配置为在第三预设时间范围内没有接收到所述回复报文的情况下，确定所述视觉模块通讯异常。
可选地，在一些实施例中，在所述控制模块没有监测到所述视觉模块异常的情况下，所述视觉模块910可以被配置为获取所述自移动设备所在位置的当前图像；将所述当前图像输入人工智能模型，得到识别结果；在所述识别结果指示所述自移动设备处于非工作区域的情况下，向所述控制模块发送告警信息；所述控制模块920可以被配置为在接收到所述告警信息的情况下，控制所述自移动设备停止工作。
以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换等，均应包含在本申请的保护范围之内。
Claims (26)
1.一种控制自移动设备的方法，其特征在于，所述方法应用于所述自移动设备的控制模块，所述方法包括：
接收视觉模块发送的多种指示信息，所述指示信息用于指示所述视觉模块的工作状态；
根据所述多种指示信息中的至少一种指示信息的接收状态监测所述视觉模块是否异常；
在监测到所述视觉模块异常的情况下，控制所述自移动设备停止工作。
2.根据权利要求1所述的方法，其特征在于，所述多种指示信息包括验证信息和/或心跳信息，所述验证信息用于指示所述视觉模块对验证图像的验证结果，所述心跳信息用于指示所述控制模块和所述视觉模块的通讯状态；
所述根据所述多种指示信息中的至少一种指示信息的接收状态监测所述视觉模块是否异常，包括：
根据所述验证信息的接收状态监测所述视觉模块是否识别异常；和/或，
根据所述心跳信息的接收状态监测所述视觉模块是否通讯异常。
3.根据权利要求2所述的方法，其特征在于，所述根据所述验证信息的接收状态监测所述视觉模块是否识别异常，包括：
在接收到所述验证信息且所述验证信息指示所述视觉模块对所述验证图像的识别结果与所述验证图像对应的预存结果不一致的情况下，确定所述视觉模块识别异常。
4.根据权利要求2所述的方法，其特征在于，所述根据所述验证信息的接收状态监测所述视觉模块是否识别异常，包括：
在第一预设时间范围内没有接收到所述验证信息的情况下，确定所述视觉模块识别异常。
5.根据权利要求2所述的方法，其特征在于，所述心跳信息包括第一心跳报文；
所述根据所述心跳信息的接收状态监测所述视觉模块是否通讯异常，包括：
在第二预设时间范围内没有接收到所述第一心跳报文的情况下，确定所述视觉模块通讯异常。
6.根据权利要求2所述的方法，其特征在于，
在所述接收视觉模块发送的多种指示信息之前，还包括：向所述视觉模块发送第二心跳报文；
相应的，所述心跳信息包括针对所述第二心跳报文的回复报文；
所述根据所述心跳信息的接收状态监测所述视觉模块是否通讯异常，包括：
在第三预设时间范围内没有接收到所述回复报文的情况下，确定所述视觉模块通讯异常。
7.根据权利要求1所述的方法，其特征在于，在没有监测到所述视觉模块异常的情况下，所述方法还包括：
在接收到所述视觉模块发送的告警信息的情况下，控制所述自移动设备停止工作，所述告警信息用于指示所述视觉模块识别出所述自移动设备处于非工作区域。
8.一种控制自移动设备的方法，其特征在于，所述方法应用于所述自移动设备中的视觉模块，所述方法包括：
生成多种指示信息，所述指示信息用于指示所述视觉模块的工作状态；
向控制模块发送所述多种指示信息，以使所述控制模块基于所述多种指示信息中的至少一种指示信息的接收状态监测所述视觉模块是否异常。
9.根据权利要求8所述的方法，其特征在于，所述多种指示信息包括验证信息和/或心跳信息，所述验证信息用于指示所述视觉模块对验证图像的验证结果，所述心跳信息用于指示所述控制模块和所述视觉模块的通讯状态；
所述生成多种指示信息，包括：
生成所述验证信息；
相应的，所述向控制模块发送所述多种指示信息，以使所述控制模块基于所述多种指示信息中的至少一种指示信息的接收状态监测所述视觉模块是否异常，包括：
向所述控制模块发送所述验证信息，以使所述控制模块基于所述验证信息的接收状态监测所述视觉模块是否识别异常；和/或，
所述生成多种指示信息，包括：
生成所述心跳信息；
相应的，所述向控制模块发送所述多种指示信息，以使所述控制模块基于所述多种指示信息中的至少一种指示信息的接收状态监测所述视觉模块是否异常，包括：
向所述控制模块发送所述心跳信息，以使所述控制模块基于所述心跳信息的接收状态监测所述视觉模块是否通讯异常。
10.根据权利要求9所述的方法，其特征在于，所述生成所述验证信息，包括：
将所述验证图像输入人工智能模型，得到识别结果；
验证所述识别结果与所述验证图像对应的预存结果是否一致，得到所述验证结果；
根据所述验证结果，生成所述验证信息；
相应的，所述向所述控制模块发送所述验证信息，以使所述控制模块基于所述验证信息的接收状态监测所述视觉模块是否识别异常，包括：
向所述控制模块发送所述验证信息，以使所述控制模块在接收到所述验证信息且所述验证信息指示所述识别结果与所述验证图像对应的预存结果不一致的情况下，确定所述视觉模块识别异常。
11.根据权利要求10述的方法，其特征在于，所述验证图像包括工作区域的图像和非工作区域的图像，所述工作区域的图像对应的预存结果为第一预存结果，所述非工作区域的图像对应的预存结果为第二预存结果，
所述将所述验证图像输入人工智能模型，得到识别结果，包括：
将所述工作区域的图像输入所述人工智能模型，得到第一识别结果；和/或
将所述非工作区域的图像输入所述人工智能模型，得到第二识别结果；
相应的，所述验证所述识别结果与所述验证图像对应的预存结果是否一致，包括：
验证所述第一识别结果与所述第一预存结果是否一致；和/或验证所述第二识别结果与所述第二预存结果是否一致；
相应的，所述向所述控制模块发送所述验证信息，以使所述控制模块在接收到所述验证信息且所述验证信息指示所述识别结果与所述验证图像对应的预存结果不一致的情况下，确定所述视觉模块识别异常，包括：
向所述控制模块发送所述验证信息，以使所述控制模块在接收到所述验证信息且所述验证信息指示所述第一识别结果与所述第一预存结果不一致和/或所述第二识别结果与所述第二预存结果不一致的情况下，确定所述视觉模块识别异常。
12.根据权利要求9所述的方法，其特征在于，所述向所述控制模块发送所述验证信息，以使所述控制模块基于所述验证信息的接收状态监测所述视觉模块是否识别异常，包括：
向所述控制模块发送所述验证信息，以使所述控制模块在第一预设时间范围内没有接收到所述验证信息的情况下，确定所述视觉模块识别异常。
13.根据权利要求9所述的方法，其特征在于，所述心跳信息包括第一心跳报文，所述向所述控制模块发送所述心跳信息，以使所述控制模块基于所述心跳信息的接收状态监测所述视觉模块是否通讯异常，包括：
向所述控制模块发送所述第一心跳报文，以使所述控制模块在第二预设时间范围内没有接收到所述第一心跳报文的情况下确定所述视觉模块通讯异常。
14.根据权利要求9所述的方法，其特征在于，在所述向所述控制模块发送所述心跳信息之前，所述方法还包括：
接收所述控制模块发送的第二心跳报文；
相应的，所述心跳信息包括针对所述第二心跳报文的回复报文，所述向所述控制模块发送所述心跳信息，以使所述控制模块基于所述心跳信息的接收状态监测所述视觉模块是否通讯异常，包括：
向所述控制模块发送所述回复报文，以使所述控制模块在第三预设时间范围内没有接收到所述回复报文的情况下确定所述视觉模块通讯异常。
15.根据权利要求8所述的方法，其特征在于，在所述控制模块没有监测到所述视觉模块异常的情况下，所述方法还包括：
获取所述自移动设备所在位置的当前图像；
将所述当前图像输入人工智能模型，得到识别结果；
在所述识别结果指示所述自移动设备处于非工作区域的情况下，向所述控制模块发送告警信息，以使所述控制模块在接收到所述告警信息的情况下控制所述自移动设备停止工作。
16.一种控制自移动设备的方法，其特征在于，所述自移动设备包括视觉模块和控制模块，所述方法包括：
所述视觉模块向所述控制模块发送多种指示信息，所述指示信息用于指示所述视觉模块的工作状态；
所述控制模块根据所述多种指示信息中的至少一种指示信息的接收状态监测所述视觉模块是否异常；
所述控制模块在监测到所述视觉模块异常的情况下，控制所述自移动设备停止工作。
17.根据权利要求16所述的方法，其特征在于，所述多种指示信息包括验证信息和/或心跳信息，所述验证信息用于指示所述视觉模块对验证图像的验证结果，所述心跳信息用于指示所述控制模块和所述视觉模块的通讯状态；
所述视觉模块向所述控制模块发送多种指示信息，包括：
所述视觉模块向所述控制模块发送所述验证信息；
相应的，所述控制模块根据所述多种指示信息中的至少一种指示信息的接收状态监测所述视觉模块是否异常，包括：
所述控制模块根据所述验证信息的接收状态监测所述视觉模块是否识别异常；和/或，
所述视觉模块向所述控制模块发送多种指示信息，包括：
所述视觉模块向所述控制模块发送所述心跳信息；
相应的，所述控制模块根据所述多种指示信息中的至少一种指示信息的接收状态监测所述视觉模块是否异常，包括：
所述控制模块根据所述心跳信息的接收状态监测所述视觉模块是否通讯异常。
18.根据权利要求17所述的方法，其特征在于，所述视觉模块向所述控制模块发送所述验证信息，包括：
所述视觉模块将所述验证图像输入人工智能模型，得到识别结果；
所述视觉模块验证所述识别结果与所述验证图像对应的预存结果是否一致，得到所述验证结果；
所述视觉模块根据所述验证结果，生成所述验证信息；
所述视觉模块向所述控制模块发送所述验证信息；
相应的，所述控制模块根据所述验证信息的接收状态监测所述视觉模块是否识别异常，包括：
所述控制模块在接收到所述验证信息且所述验证信息指示所述识别结果与所述验证图像对应的预存结果不一致的情况下，确定所述视觉模块识别异常。
19.根据权利要求18所述的方法，其特征在于，所述验证图像包括工作区域的图像和非工作区域的图像，所述工作区域的图像对应的预存结果为第一预存结果，所述非工作区域的图像对应的预存结果为第二预存结果，
所述视觉模块将所述验证图像输入人工智能模型，得到识别结果，包括：
所述视觉模块将所述工作区域的图像输入所述人工智能模型，得到第一识别结果；和/或，所述视觉模块将所述非工作区域的图像输入所述人工智能模型，得到第二识别结果；
相应的，所述视觉模块验证所述识别结果与所述验证图像对应的预存结果是否一致，包括：
所述视觉模块验证所述第一识别结果与所述第一预存结果是否一致；和/或验证所述第二识别结果与所述第二预存结果是否一致；
相应的，所述控制模块在接收到所述验证信息且所述验证信息指示所述识别结果与所述验证图像对应的预存结果不一致的情况下，确定所述视觉模块识别异常，包括：
所述控制模块在接收到所述验证信息且所述验证信息指示所述第一识别结果与所述第一预存结果不一致和/或所述第二识别结果与所述第二预存结果不一致的情况下，确定所述视觉模块识别异常。
20.根据权利要求17所述的方法，其特征在于，所述控制模块根据所述验证信息的接收状态监测所述视觉模块是否识别异常，包括：
所述控制模块在第一预设时间范围内没有接收到所述验证信息的情况下，确定所述视觉模块识别异常。
21.根据权利要求17所述的方法，其特征在于，所述心跳信息包括第一心跳报文，所述视觉模块向所述控制模块发送所述心跳信息，包括：
所述视觉模块向所述控制模块发送所述第一心跳报文；
相应的，所述控制模块根据所述心跳信息的接收状态监测所述视觉模块是否通讯异常，包括：
所述控制模块在第二预设时间范围内没有接收到所述第一心跳报文的情况下，确定所述视觉模块通讯异常。
22.根据权利要求17所述的方法，其特征在于，在所述视觉模块向所述控制模块发送所述心跳信息之前，所述方法还包括：
所述控制模块向所述视觉模块发送第二心跳报文；
相应的，所述心跳信息包括针对所述第二心跳报文的回复报文，所述视觉模块向所述控制模块发送所述心跳信息，包括：
所述视觉模块向所述控制模块发送所述回复报文；
相应的，所述控制模块根据所述心跳信息的接收状态监测所述视觉模块是否通讯异常，包括：
所述控制模块在第三预设时间范围内没有接收到所述回复报文的情况下，确定所述视觉模块通讯异常。
23.根据权利要求16所述的方法，其特征在于，在所述控制模块没有监测到所述视觉模块异常的情况下，所述方法还包括：
所述视觉模块获取所述自移动设备所在位置的当前图像；
所述视觉模块将所述当前图像输入人工智能模型，得到识别结果；
所述视觉模块在所述识别结果指示所述自移动设备处于非工作区域的情况下，向所述控制模块发送告警信息；
所述控制模块在接收到所述告警信息的情况下，控制所述自移动设备停止工作。
24.一种控制自移动设备的装置，其特征在于，所述装置包括控制模块，
所述控制模块用于接收视觉模块发送的多种指示信息，所述指示信息用于指示所述视觉模块的工作状态；根据所述多种指示信息中的至少一种指示信息的接收状态监测所述视觉模块是否异常；以及在监测到所述视觉模块异常的情况下，控制所述自移动设备停止工作。
25.一种控制自移动设备的装置，其特征在于，所述装置包括视觉模块，所述视觉模块用于生成多种指示信息，所述指示信息用于指示所述视觉模块的工作状态；以及向所述自移动设备的控制模块发送所述多种指示信息，以使所述控制模块基于所述多种指示信息中的至少一种指示信息的接收状态监测所述视觉模块是否异常。
26.一种自移动设备，其特征在于，包括：
视觉模块，用于向控制模块发送多种指示信息，所述指示信息用于指示所述视觉模块的工作状态；
所述控制模块，用于根据所述多种指示信息中的至少一种指示信息的接收状态监测所述视觉模块是否异常；以及在监测到所述视觉模块异常的情况下，控制所述自移动设备停止工作。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110770098.9A CN115657648A (zh) | 2021-07-07 | 2021-07-07 | 控制自移动设备的方法及装置 |
| PCT/EP2022/066239 WO2023280533A1 (en) | 2021-07-07 | 2022-06-14 | Method and apparatus for controlling self-moving device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110770098.9A CN115657648A (zh) | 2021-07-07 | 2021-07-07 | 控制自移动设备的方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115657648A true CN115657648A (zh) | 2023-01-31 |
Family
ID=82385490
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110770098.9A Pending CN115657648A (zh) | 2021-07-07 | 2021-07-07 | 控制自移动设备的方法及装置 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN115657648A (zh) |
| WO (1) | WO2023280533A1 (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103650753A (zh) * | 2012-08-31 | 2014-03-26 | 苏州宝时得电动工具有限公司 | 智能割草机及其控制方法 |
| US20180199506A1 (en) * | 2015-09-24 | 2018-07-19 | Hitachi Koki Co., Ltd. | Self-propelled grass mower and self-propelled wheeled apparatus |
| CN110632077A (zh) * | 2018-06-01 | 2019-12-31 | 发那科株式会社 | 视觉传感器的镜头或镜头盖的异常检测系统 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103576567A (zh) * | 2012-07-26 | 2014-02-12 | 苏州宝时得电动工具有限公司 | 机器人及其控制方法、机器人系统 |
| EP2884364B1 (en) * | 2013-12-12 | 2018-09-26 | Hexagon Technology Center GmbH | Autonomous gardening vehicle with camera |
| CN112715133B (zh) * | 2020-12-28 | 2022-06-07 | 南京苏美达智能技术有限公司 | 一种智能割草机系统及割草方法 |
-
2021
- 2021-07-07 CN CN202110770098.9A patent/CN115657648A/zh active Pending
-
2022
- 2022-06-14 WO PCT/EP2022/066239 patent/WO2023280533A1/en unknown
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103650753A (zh) * | 2012-08-31 | 2014-03-26 | 苏州宝时得电动工具有限公司 | 智能割草机及其控制方法 |
| CN106171248A (zh) * | 2012-08-31 | 2016-12-07 | 苏州宝时得电动工具有限公司 | 智能割草机及其控制方法 |
| US20180199506A1 (en) * | 2015-09-24 | 2018-07-19 | Hitachi Koki Co., Ltd. | Self-propelled grass mower and self-propelled wheeled apparatus |
| CN110632077A (zh) * | 2018-06-01 | 2019-12-31 | 发那科株式会社 | 视觉传感器的镜头或镜头盖的异常检测系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2023280533A1 (en) | 2023-01-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103645733B (zh) | 自寻充电机器人及其自寻充电系统和方法 | |
| CN103650753A (zh) | 智能割草机及其控制方法 | |
| CN104483969B (zh) | 道路自动巡逻机器人 | |
| CN111552311A (zh) | 巡检时间受限下的无人机多杆塔巡检优化方法和终端 | |
| JP4882275B2 (ja) | 自律移動ロボット及びその移動状況記録システム | |
| KR20200121756A (ko) | 모바일 로봇의 초기화 진단 방법 및 시스템 | |
| US11209814B2 (en) | Working system and working method | |
| CN104122891A (zh) | 一种城市地下轨道检测的智能机器人巡检系统 | |
| CN217879639U (zh) | 巡检设备及巡检系统 | |
| CN114378862B (zh) | 基于云平台的机器人异常自动修复方法、装置和机器人 | |
| CN117968694A (zh) | 一种用于光伏清扫机器人的路径导航系统 | |
| CN115657648A (zh) | 控制自移动设备的方法及装置 | |
| JP2023059359A (ja) | 異常検出システム、異常検出方法、及び異常検出プログラム | |
| CN111601497B (zh) | 自动工作系统、自移动设备及其控制方法 | |
| JP2021047724A (ja) | 作業システム、自律作業機、自律作業機の制御方法及びプログラム | |
| KR20180036188A (ko) | 무인 이동체를 이용한 제조설비 내 공정관리 시스템 | |
| CN115741746A (zh) | 一种智能巡检系统及其巡检方法 | |
| CN114879691A (zh) | 自行走机器人的控制方法、存储介质和自行走机器人 | |
| CN114131590A (zh) | 一种四足机器人智能化装置 | |
| CN216434995U (zh) | 巡检系统和机房 | |
| JPWO2020161856A1 (ja) | 作業機、作業機の制御方法、及びプログラム | |
| CN219227554U (zh) | 一种分布式光伏组件状态检测系统 | |
| CN114666476B (zh) | 机器人智能录像方法、装置、设备及存储介质 | |
| US20240048098A1 (en) | Machines and methods for monitoring photovoltaic systems | |
| CN213750761U (zh) | 自动行走设备和自动行走系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |