CN110712205A - 异常监控方法、电子设备及计算机可读存储介质 - Google Patents

Abstract

本发明实施例涉及机械领域，公开了一种异常监控方法、电子设备及计算机可读存储介质。本申请的部分实施例中，异常监控方法包括：在机器人执行第一任务的过程中，获取机器人的状态信息，状态信息根据机器人的触觉系统反馈的数据，和/或，视觉系统反馈的数据确定；根据机器人当前执行的操作指令对应的预设要求和所述状态信息，判断机器人是否发生异常。该实施例使得能够及时发现机器人的异常。

Description

异常监控方法、电子设备及计算机可读存储介质

技术领域

本发明实施例涉及机械领域，特别涉及一种异常监控方法、电子设备及计算机可读存储介质。

背景技术

人口老龄化已经成为全世界面临的一个严峻问题，可以预见在不远的将来随着综合性劳动力的需求的增加，劳动力成本也会急剧上升。智能机器人在一定程度上可以降低对人类劳动力的需求。由此可见，智能机器人在未来的生产生活中将扮演重要的角色。机器人机械臂的任务规划问题可以定义成为实现某个目的，把要执行的操作分解成一串可连续执行的动作的过程。自动规划隶属于人工智能科学领域，已经为成为人工智能企业现在关注的热点。

然而，发明人发现现有技术中至少存在如下问题：机器人在执行任务过程中，可能会发生各种异常。

发明内容

本发明实施方式的目的在于提供一种异常监控方法、电子设备及计算机可读存储介质，使得能够及时发现机器人的异常。

为解决上述技术问题，本发明的实施方式提供了一种异常监控方法，包括以下步骤：在机器人执行第一任务的过程中，获取机器人的状态信息，状态信息根据机器人的触觉系统反馈的数据，和/或，视觉系统反馈的数据确定；根据机器人当前执行的操作指令对应的预设要求和状态信息，判断机器人是否发生异常。

本发明的实施方式还提供了一种电子设备，包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行上述实施方式提及的异常监控方法。

本发明的实施方式还提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时实现上述实施方式提及的异常监控方法。

本发明实施方式相对于现有技术而言，电子设备可以基于机器人的触觉系统和/或视觉系统反馈的数据，以及机器人当前执行的操作指令，判断机器人是否发生异常，使得能够及时发现机器人的异常，实现了监控机器人的异常的目的。

另外，触觉系统反馈的数据包括机器人的机械臂的电流值，视觉系统反馈的数据包括机器人的摄像头拍摄的图像数据。

另外，第一任务的操作指令至少包括第一移动指令、抓取指令和运输指令中的任意一种；第一移动指令指示机器人控制机械臂移动至第一抓取位置，抓取指令指示机器人控制机械手爪合并，运输指令指示机器人将抓取的目标物体运输至指定位置；第一移动指令对应的预设要求为：机械臂的电流值大于第一阈值；抓取指令对应的预设要求为：机械臂的电流值大于第二阈值；运输指令对应的预设要求为：机械臂的电流值大于第三阈值，且小于第四阈值。

另外，第一任务的操作指令至少包括第一移动指令、抓取指令和运输指令中的任意一种；第一移动指令指示机器人控制机械臂移动至第一抓取位置，抓取指令指示机器人控制机械手爪合并，运输指令指示机器人将抓取的目标物体运输至指定位置；第一移动指令对应的预设要求为：视觉系统反馈的图像数据指示机械臂持续处于同一位置的时长小于第一时长，且，执行完第一移动指令后，机械臂在第一抓取位置；抓取指令对应的预设要求为：视觉系统反馈的图像数据指示机器人的机械手爪抓住目标物体；运输指令对应的预设要求为：视觉系统反馈的图像数据指示机械臂持续处于同一位置的时长小于第二时长，且，执行完运输移动指令后，机械臂在指定位置。

另外，当前执行的操作指令为第一移动指令；根据机器人当前执行的操作指令对应的预设要求和状态信息，判断机器人是否发生异常，具体包括：判断状态信息是否符合第一移动指令对应的预设要求；若确定不符合，获取视觉系统反馈的第一图像数据；判断机械臂触碰的物体是否为目标物体；若确定是，控制机械臂沿第一方向移动第一预设距离，第一方向为机器人执行抓取指令前的运动方向的反方向；若确定不是，确定机器人发生异常。

另外，当前执行的操作指令为抓取指令，在确定机器人发生异常之后，异常监控方法还包括：判断机械臂的电流值是否大于预设的第五阈值；若确定是，执行松手指令，控制机械臂沿第二方向移动第二预设距离，再次执行抓取指令；重新获取机械臂的电流值；判断重新获取的机械臂的电流值是否大于第二阈值；若确定不是，则执行松手指令，控制机械臂沿第二方向移动第二预设距离，再次执行抓取指令，直至重新获取的机械臂的电流值大于第二阈值；其中，第二方向为机器人执行抓取指令前的运动方向。

另外，操作指令为运输指令，在确定机械臂的电流值小于第三阈值之后，异常监控方法还包括：获取视觉系统反馈的第二图像数据；对第二图像数据中的物体进行识别，确定目标物体的第二位置信息；根据机械臂当前的位置信息、目标物体的第二位置信息和指定位置的位置信息，规划第二任务；第二任务中包括第二移动指令、抓取指令和运输指令，指示机器人控制机械臂将目标物体运输至指定位置；第二移动指令指示机械人控制机械臂移动至第二抓取位置，第二抓取位置根据目标物体的第二位置信息确定；执行第二任务。

另外，第一任务中包括抓取指令，在执行抓取指令之前，异常监控方法还包括：实时获取视觉系统反馈的第三图像数据；对第三图像数据中的物体进行识别，确定目标物体的第三位置信息；判断目标物体的位置是否发生变化；若确定是，停止执行第一任务；根据机械臂当前的位置信息、目标物体的第三位置信息，以及指定位置的位置信息，规划第三任务；第三任务中包括第三移动指令、抓取指令和运输指令，指示机器人控制机械臂将目标物体运输至指定位置；第三移动指令指示机械人控制机械臂移动至第三抓取位置，第三抓取位置根据目标物体的第三位置信息确定。

另外，在机器人执行第一任务之前，异常监控方法还包括：获取视觉系统反馈的第四图像数据；根据第四图像数据，确定目标物体的第三位置信息；根据目标物体的类型、目标物体的第三位置信息和机械臂当前的位置信息，规划机械臂的运动轨迹；根据规划的运动轨迹，确定第一任务。

附图说明

一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。

图1是根据本发明的第一实施方式的异常监控方法的流程图；

图2是根据本发明的第二实施方式的异常监控方法的流程图；

图3是根据本发明的第二实施方式的机器人任务执行过程的示意图；

图4是根据本发明的第三实施方式的异常监控装置的结构示意图；

图5是根据本发明的第四实施方式的电子设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施方式中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。

本发明的第一实施方式涉及一种异常监控方法，应用于电子设备，例如，与机器人通信连接的服务器，或，机器人。如图1所示，异常监控方法包括以下步骤：

步骤101：在机器人执行第一任务的过程中，获取机器人的状态信息。

具体地说，状态信息根据机器人的触觉系统反馈的数据，和/或，视觉系统反馈的数据确定。

在一个实施例中，状态信息根据机器人的触觉系统反馈的数据确定。触觉系统反馈的数据可以包括机器人的机械臂的电流值。具体地说，机器人的触觉系统包括用于检测各机械臂的电流值的电流检测电路。电子设备根据机械臂的电流值，确定机械臂的受力情况。其中，机械臂的电流值根据机械臂上各电机的电流值确定，例如，机械臂的电流值可以是机械臂上各电机的电流值。

需要说明的是，本领域技术人员可以理解，实际应用中，机器人的触觉系统还可以反馈其他数据以反映机械臂的受力情况，此处不一一列举。

在一个实施例中，状态信息根据机器人的视觉系统反馈的数据确定。视觉系统反馈的数据可以包括机器人的摄像头拍摄的图像数据。具体地说，机器人的视觉系统包括N个摄像头。N为正整数，摄像头可以是深度摄像头，也可以是广角摄像头或其他摄像头，此处不做限制。摄像头的设置方式可以根据机器人的使用场景确定。

需要说明的是，实际应用中，机器人的状态信息还可以包括其他信息，例如，机器人自身状态数据，如自身的关节状态、陀螺仪数据和程序逻辑等，此处不一一列举。

步骤102：根据机器人当前执行的操作指令对应的预设要求和状态信息，判断机器人是否发生异常。

具体地说，由于机器人在执行不同的操作指令时，正常状态和异常状态下的状态信息是不同的。因此，电子设备可以通过监控机器人的视觉系统和/或触觉系统反馈的数据来确定机器人是否发生异常。

在一个实施例中，第一任务的操作指令至少包括第一移动指令、抓取指令和运输指令中的任意一种；第一移动指令指示机器人控制机械臂移动至第一抓取位置，抓取指令指示机器人控制机械手爪合并，运输指令指示机器人将抓取的目标物体运输至指定位置。

以下对各操作指令对应的预设要求进行举例说明。

当状态信息根据机器人的触觉系统反馈的数据确定时，第一移动指令对应的预设要求为：机械臂的电流值大于第一阈值；抓取指令对应的预设要求为：机械臂的电流值大于第二阈值；运输指令对应的预设要求为：机械臂的电流值大于第三阈值，且小于第四阈值。具体地说，机器人根据第一移动指令移动至第一抓取位置，根据抓取指令抓取目标物体，根据运输指令将目标物体运输到指定位置。其中，指定位置可以根据电子设备的输入设备接收到语音或文字信息确认。由于机器人有效抓取目标物体时机械臂的电流值不同于机器人未触碰到目标物体或触碰到目标物体但无法拿起目标物体时机械臂的电流值。一般情况下，机器人有效抓取目标物体时机械臂的电流值大于第二阈值，未有效抓取目标物体时机械臂的电流值不大于第二阈值。因此，电子设备可以根据机械臂的电流值判断机器人是否有效抓取目标物体，并在机器人未有效抓取目标物体时，提示用户机器人发生异常。机器人在运输目标物体的过程中，若目标物体脱落，机械臂的电流值将小于第三阈值。若机器人发生碰撞，机械臂的电流值将大于第四阈值。因此，电子设备可以根据机械臂的电流值判断机器人在运输目标物体的过程中是否发生异常。

在一个实施例中，电子设备中存储有各类物体对应的第一阈值、第二阈值、第三阈值和第四阈值。由于不同物体的重量等因素不同，各物体对应的第一阈值、第二阈值、第三阈值和第四阈值可能存在差异。电子设备可以根据视觉系统反馈的数据，识别目标物体的类型，并根据目标物体的类型，确定本次操作过程中使用的第一阈值、第二阈值、第三阈值和第四阈值。

需要说明的是，本领域技术人员可以理解，各目标物体对应的第一阈值、第二阈值、第三阈值和第四阈值可以通过反复试验确定，也可以根据经验设置。本实施方式不限制各目标物体对应的第一阈值、第二阈值、第三阈值和第四阈值的获取方式。

当状态信息根据机器人的视觉系统反馈的数据确定时，第一移动指令对应的预设要求为：视觉系统反馈的图像数据指示机械臂持续处于同一位置的时长小于第一时长，且，执行完第一移动指令后，机械臂在第一抓取位置；抓取指令对应的预设要求为：视觉系统反馈的图像数据指示机器人的机械手爪抓住目标物体；运输指令对应的预设要求为：视觉系统反馈的图像数据指示机械臂持续处于同一位置的时长小于第二时长，且，执行完运输移动指令后，机械臂在指定位置。具体地说，若机械臂运动过程中，持续处于在同一位置的时间较长，说明机械臂可能发生碰撞故障。

需要说明的是，本领域技术人员可以理解，第一时长和第二时长可以根据需要设置为任意正数，例如，可以设置为1-10秒中的任意数值，本实施方式不限制第一时长和第二时长的具体取值。

在一个实施例中，当前执行的操作指令为第一移动指令；根据机器人当前执行的操作指令对应的预设要求和状态信息，判断机器人是否发生异常，具体包括：判断状态信息是否符合第一移动指令对应的预设要求；若确定不符合，获取视觉系统反馈的第一图像数据；判断机械臂触碰的物体是否为目标物体；若确定是，控制机械臂沿第一方向移动第一预设距离，第一方向为机器人执行抓取指令前的运动方向的反方向；若确定不是，确定机器人发生异常。

在一个实施例中，电子设备中存储有各类物体对应的第一预设距离，电子设备在控制机械臂沿第一方向移动第一预设距离之前，根据目标物体的类型，选择该目标物体对应的第一预设距离。其中，各类物体对应的第一预设距离可以根据经验设置。

需要说明的是，本领域技术人员可以理解，在控制机械臂沿第一方向移动第一预设距离后，若存在待执行的其他指令，电子设备可以控制机器人继续执行后续指令，例如，若第一移动指令的后续指令为抓取指令，则在控制机械臂沿第一方向移动第一预设距离后，执行抓取指令；若不存在待执行的其他指令，电子设备可以发送提示信息，提示用户任务完成。

值得一提的是，电子设备根据电流值判断机器人执行第一移动指令时是否发生异常，实现了机器人移动至目标物体所在位置的过程中的异常监控。

在一个实施例中，当前执行的操作指令为抓取指令，在确定机器人发生异常之后，电子设备判断机械臂的电流值是否大于预设的第五阈值；若确定是，执行松手指令，控制机械臂沿第二方向移动第二预设距离，再次执行抓取指令；重新获取机械臂的电流值；判断重新获取的机械臂的电流值是否大于第二阈值；若确定不是，则执行松手指令，控制机械臂沿第二方向移动第二预设距离，再次执行抓取指令，直至重新获取的机械臂的电流值大于第二阈值；其中，第二方向为机器人执行抓取指令前的运动方向。具体地说，由于机器人未有效抓取目标物体的情况包括以下两种：未触碰到目标物体；触碰到目标物体但无法拿起目标物体。当机器人未触碰到目标物体时，可能是因为目标物体被移动，也可能是规划的机器人的运动轨迹偏差较大，导致机器人的机械臂未运动至目标物体所在范围。机器人执行抓取指令时，机械臂的电流值与第二阈值的差值较大，小于预设的第五阈值。该情况下，电子设备可以控制机械臂恢复至起始姿态，重新规划路径，抓取目标物体。电子设备也可以获取机器人的视觉系统反馈的数据，重新分析并规划路径，抓取目标物体。若机器人触碰到目标物体但无法拿起目标物体，通常是因为机械臂未触碰到目标物体的有效抓取点。该情况下，机械臂的电流值大于第五阈值。电子设备可以控制机器人沿第二方向移动第二预设距离。

在一个实施例中，电子设备中存储有各类物体对应的第二预设距离，电子设备在控制机械臂沿第二方向移动第二预设距离之前，根据目标物体的类型，选择该目标物体对应的第二预设距离。其中，第二预设距离可以根据经验设置。

值得一提的是，电子设备根据机械臂的电流值，在规划的运动路径出现小偏差的情况下，对机械臂进行微调即可抓取物体，降低了功耗，提高了任务执行速度。

例如，机器人在执行抓取指令前的运动方向为沿水平向右，第二预设距离为1厘米。在确定机械臂的电流值大于第五阈值，不大于第二阈值后，电子设备控制机械臂水平向右移动1厘米，重新获取机械臂的电流值，若重新获取的机械臂的电流值仍然小于第二阈值，则继续向右移动1厘米，直至重新获取的机械臂的电流值大于第二阈值后，执行运输指令。

在一个实施例中，操作指令为运输指令，在确定机器人发生异常之后，电子设备若确定机械臂的电流值小于第三阈值，控制机械臂恢复至起始姿态。具体地说，若机器人运输目标物体的过程中，机械臂的电流值小于第三阈值，说明目标物体脱落，则电子设备控制机械臂恢复至起始姿态。

在一个实施例中，操作指令为运输指令，在确定机械臂的电流值小于第三阈值之后，或者，在控制机械臂恢复至起始姿态之后，电子设备获取视觉系统反馈的第二图像数据；对第二图像数据中的物体进行识别，确定目标物体的第二位置信息；根据机械臂当前的位置信息、目标物体的第二位置信息和指定位置的位置信息，规划第二任务；第二任务中包括第二移动指令、抓取指令和运输指令，指示机器人控制机械臂将目标物体运输至指定位置；第二移动指令指示机械人控制机械臂移动至第二抓取位置，第二抓取位置根据目标物体的第二位置信息确定；执行第二任务。具体地说，若目标物体脱落，电子设备可以从当前位置重新规划抓取任务，以将目标物体运输至指定位置，也可以控制机械臂恢复起始姿态后，再重新规划抓取任务。

在一个实施例中，第一任务中包括抓取指令，在执行抓取指令之前，电子设备实时获取视觉系统反馈的第三图像数据；对第三图像数据中的物体进行识别，确定目标物体的第三位置信息；判断目标物体的位置是否发生变化；若确定是，停止执行第一任务；根据机械臂当前的位置信息、目标物体的第三位置信息，以及指定位置的位置信息，规划第三任务；第三任务中包括第三移动指令、抓取指令和运输指令，指示机器人控制机械臂将目标物体运输至指定位置；第三移动指令指示机械人控制机械臂移动至第三抓取位置，第三抓取位置根据目标物体的第三位置信息确定。具体地说，机器人在将目标物体从目标物体的第二位置移动至指定位置的过程中，有可能出现目标物体被人移动的情况，该情况下，若目标物体继续执行当前的任务，可能无法抓取到目标物体，出现无效操作的情况。因此，电子设备可以通过视觉系统反馈的数据，监控目标物体是否被人移动，并在目标物体被移动后，重新规划抓取任务，以避免无效操作。

需要说明的是，本领域技术人员可以理解，实际应用中，目标物体可能被移出机器人的视线范围，导致电子设备无法在第三图像数据识别到目标物体。该情况下，电子设备可以发出报警提示，提示用户任务失败，本实施方式不限制目标物体不在机器人的视线范围内时，电子设备进行的操作。

需要说明的是，以上仅为举例说明，并不对本发明的技术方案构成限定。

与现有技术相比，本实施方式中提供的异常监控方法，电子设备可以基于机器人的触觉系统和/或视觉系统反馈的数据，以及机器人当前执行的操作指令，判断机器人是否发生异常，使得能够及时发现机器人的异常，实现了监控机器人的异常的目的。

本发明的第二实施方式涉及一种异常监控方法。本实施方式在第一实施方式的基础上做了进一步改进，具体改进之处为：在机器人执行第一任务前，电子设备根据目标物体的类型，确定机器人执行的任务中的指令信息。

具体的说，如图2所示，在本实施方式中，包含步骤201至步骤206，其中，步骤205和步骤206分别与第一实施方式中的步骤101和步骤102大致相同，此处不再赘述。下面主要介绍不同之处：

步骤201：获取视觉系统反馈的第四图像数据。

具体地说，机器人包括视觉系统。视觉系统可以获取机器人周围环境的图像数据，以便机器人结合自身周围环境，更好地完成用户的指令。

步骤202：根据第四图像数据，确定目标物体的第三位置信息。

具体地说，电子设备根据用户的指令，确定目标物体；根据第四图像数据，锁定目标物体所在位置。

需要说明的是，本领域技术人员可以理解，实际应用中，用户可以通过语音或文字输入的方式，告诉电子设备期望机器人抓取的目标物体，也可以由电子设备或机器人显示第四图像数据，通过电子设备或机器人的触摸屏选择第四图像数据中的某个物体作为目标物体，本实施方式不限制电子设备锁定目标物体的方式。

步骤203：根据目标物体的类型、目标物体的第三位置信息和机械臂当前的位置信息，规划机械臂的运动轨迹。

具体地说，以抓取任务为例，若目标物体的类型不同，其抓取的方式可能不同。例如，若目标物体为水杯，则抓取方式是从水杯的水平方向侧面抓取，若目标物体是衣架，则抓取方式是从衣架把手下方向上抓取。由于不同目标物体的抓取方式不同，对于同一位置的不同类型的物体，电子设备为机器人规划的运动轨迹不同。

步骤204：根据规划的运动轨迹，确定第一任务。

具体地说，第一任务可以包括依次执行的第一移动指令、抓取指令和运输指令，第一移动指令用于指示机器人按照规划的运动轨迹，控制机械臂运动至第一抓取位置，抓取指令用于指示机器人控制机械臂合并机械手爪以抓住目标物体，运输指令用于指示机器人控制机械臂运动至指定位置。可选择的，第一任务还包括在运输指令后执行的松手指令和复位指令，松手指令指示机器人控制机械臂松开机械手爪，复位指令指示机器人控制机械臂恢复起始姿态。

执行步骤205和步骤206。

在一个实施例中，本实施方式中提及的机器人为提供室内服务的机器人，该机器人包括首先利用视觉传感器构成的视觉系统来识别目标物体的类型，对于不同类型的目标物体，定义不同的操作模式，包括操作点的描述和定义，以及操作方式的确定。接下来是机器人的机械臂的运动规划，对于不同类型的目标物体，规划出不同的运动轨迹，作为此类型目标物体的运动规划模式，然后对于识别出的目标物体，推理出应该采用的运动规划模式并执行。在执行过程中，利用触觉信息进行异常监控和异常处理。一旦监测到机器人操作失败，立即采取补救措施。该工作模式将有助于提高机器人的自主规划和自主操作能力，帮助服务机器人完成各种日常任务，进而增强服务机器人的实用性。具体地说，机器人的操作规划框架可以分为以下三个主要的部分：

第一部分是确定操作模式：这个部分利用视觉传感器来捕捉三维深度图像，然后从中进行目标物体的特征识别和提取，以确定目标物体的位置，根据目标物体的类型得到机械手爪在其上的操作点和操作方式。

第二部分是确定运动模式：不同类型的目标物体会产生不同的运动轨迹，根据目标物体的类型来生成相应的运动轨迹。机器人的机械臂将沿着这条轨迹运动，直至任务的完成。

第三部分是任务执行过程中的异常监控和异常处理。首先对机器人的操作效果进行语义表达，标识机器人此次操作的成功与否，在执行操作的过程中，监控操作动作的执行情况，一旦发生异常，及时采取相应的措施进行处理。任务的执行过程如图3所示，包括以下步骤：

步骤301：物体分类。即预先将各类物体分为不同类型，以便后期根据物体类型选择合适的操作模式和运动模式。

步骤302：进行目标物体识别。电子设备利用机器人的视觉传感器获取目标物体的深度图像数据，根据采集的深度图像数据，进行特征识别，确定目标物体的类型。

步骤303：提取目标物体对应的操作模式。

具体地说，不同的物品抓取的方式和位置都不同(例：水杯、衣架、瓶子的抓取方式都是不同的)。电子设备根据目标物体的类型，选择预先设定的、与该目标物体的类型对应的操作模式。电子设备确定目标物体和目标物体的位置之后，需要依据相应方法来设置操作点，本例中为抓取操作点。

步骤304：运动规划。不同类型的物体会产生不同的运动规划。以抓取水杯为例，采用何种方式来执行机械手爪的抓取行为，可以依赖先验知识对当前任务进行推理判定，做出最佳的选择。不同类型的物体会产生不同的机器人运动轨迹。以抓取水杯为例，机械臂需要先规划运动轨迹运动到水杯的可抓取面，再执行机械手爪的抓取操作。在运动规划过程中，可以将复杂的任务操作分解，得到较小的子操作，对子操作进行规划和重组，构成不同类型的目标物体的运动规划模式(以抓取水杯为例，完整的抓取子任务序列)。例如，任务为抓取任务，则子操作包括：移动到抓取区域、执行机械臂运动操作(移动指令)、执行机械手爪抓取操作(抓取指令)和移动到任务结束区域(运输指令)。

步骤305：执行任务。电子设备根据规划的任务操作，下发相应的指令。

步骤306：判断是否发生异常。电子设备根据机器人的状态信息，判断机器人是否发生异常，若发生异常，执行步骤307，否则，执行步骤308。

具体地说，机器人执行任务可能成功，也可能失败，需要对机器人的任务操作执行效果进行语义上的表达。语义表达不仅可以增强机器人的人机交互特性，同时为后续进行的异常处理打下基础。

以抓取操作为例，机器人任务的执行结果可以分为以下几种情况：

情况1：成功，即机器人顺利完成抓取任务。机器人手臂的关节角度等于我们规划的目标位姿反解的关节角度，说明机器人已经进入到抓取位置；同时机器人的触觉系统中机器人的机械臂的电流值落在当前任务的抓取经验值阈值范围内，我们可以判定机器人抓取成功。

情况2：失败，即机器人没能抓取到对象，对象的状态未发生改变。失败原因包括以下两种：

A、机器人的机械臂关节角度不等于规划的目标位姿反解的关节角度，说明机器人未进入到抓取位置，抓取失败；

B、机器人已经进入到了抓取区域，但是机器人的机械臂的电流值未落在当前任务的抓取经验值阈值范围内，可以判定机器人抓取失败，需要重新抓取，或者终止任务；

情况3：中间状态。该情况可能是机器人收到暂停执行操作的命令，机器人停止了继续任务执行，但是该执行过程可以恢复，不等同上面失败中的未运动到抓取位置。

上述各类执行结果需要选择一些特征来表征，通过对这些特征的获取以及判断，得到最终的清晰语义，该类特征包括但不限于以下几种：

特征1：机械臂的受力情况。机械臂抓取目标物体移动的过程中，机械手爪一直是处于紧握的状态，状态较为稳定。如果在某个时刻突然不受力了，要么是抓取过程已经顺利完成，要么是抓取过程中出现异常。如果机械臂仍然受力，但受力情况发生了改变，说明机械臂可能发生了碰撞。而机械臂的受力情况可以根据机械臂的电流值确定，因此，可以通过监控机械臂的电流值来确定机器人任务的执行结果。

例如，电子设备对碰撞导致的异常的监控过程如下：电子设备确定在当前位置点机械臂的每个电机的期望电流值和实际电流值；根据每个电机的期望电流值和实际电流值，确定机械臂是否发生碰撞。通过碰撞结果参数的大小来对应当前的任务执行情况，为机器人异常监控和异常处理提供输入。

特征2：机械手爪的位置。如果抓取过程顺利进行，机械手爪的位置最终进入到执行抓取判定区域，如果机械手爪的位置始终停留在目标物体的某一侧，说明抓取过程出现异常。

电子设备在机器人执行任务过程中定时地获取上述特征，通过对上述特征进行分析和判断，得到当前机器人任务的执行结果。

步骤307：异常处理。电子设备根据机器人的状态信息，确定机器人的异常类型，并执行该异常类型对应的操作，以克服该异常。

机器人执行任务的过程中，可能会遇到各种各样的异常情况。以抓取任务为例，这些异常可能是由于外部情况造成的，例如，目标物体在执行抓取任务过程中发生姿态变化，目标物体被移除等。也可能只是因为操作过程出现误差导致，比如机械手爪抓取的对象的滑落，转动方向错误等。

以下以机器人抓取过程中目标物体滑落为例进行举例说明。首先，在握紧目标物体的过程中，利用触觉系统对机械手爪的受力情况进行监控，一旦发现机械手爪在某一时刻受力小于第三阈值，即可认为此刻目标物体已经滑落。由于此刻目标物体已经不在控制范围内，环境状态发生改变，机器人已经无法继续完成抓取任务，可以让机器人回到初始位姿，以便重新执行抓取任务。

以下以机器人抓取过程中目标物体姿态改变为例进行举例说明。机器人已经触发抓取任务，在执行抓取任务的过程中，目标物体的位姿发生了在可控范围内的变化；机械臂末端运动到指定位置，机械手爪就开始进行抓取指令，在抓取的过程中通过触觉反馈来调整姿态。其中，电子设备针对不同的触觉反馈，调整姿态的方式如下：

情况1：机器人的机械臂还未运动最后的抓取位置，但是碰撞系统已经检测到存在碰撞。这时机械臂会停止执行还未执行的运动命令，依据预先存储的电流经验值(只要针对模拟碰撞到杯子的情况下机械手抓电机的电流进行采样，形成经验值)进行判断是否是碰到了杯子。如果是碰到了杯子，后退间隔距离，执行抓取指令。

情况2：机器人的手臂运动到了抓取位置，执行了抓取指令，但是依据机械臂的电流值不符合机器人正常抓取时记录经验值，且与经验值差距较小，这时候电子设备会判定为未牢靠抓取，机械手爪会松开杯子，前移间隔距离，再次执行抓取指令。

步骤308：任务执行成功。

需要说明的是，以上仅为举例说明，并不对本发明的技术方案构成限定。

与现有技术相比，本实施方式中提供的异常监控方法，电子设备根据目标物体的类型，为机器人规划运动轨迹，并基于规划的运动轨迹确定机器人执行的任务，使得机器人可以更准确有效的抓取目标物体，提高了机器人操作的有效性。

上面各种方法的步骤划分，只是为了描述清楚，实现时可以合并为一个步骤或者对某些步骤进行拆分，分解为多个步骤，只要包括相同的逻辑关系，都在本专利的保护范围内；对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计，但不改变其算法和流程的核心设计都在该专利的保护范围内。

本发明的第三实施方式涉及一种异常监控装置，如图4所示，包括：获取模块401和判断模块402。获取模块401用于在机器人执行第一任务的过程中，获取机器人的状态信息，状态信息根据机器人的触觉系统反馈的数据，和/或，视觉系统反馈的数据确定。判断模块402用于根据机器人当前执行的操作指令对应的预设要求和状态信息，判断机器人是否发生异常。

不难发现，本实施方式为与第一实施方式相对应的系统实施例，本实施方式可与第一实施方式互相配合实施。第一实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第一实施方式中。

值得一提的是，本实施方式中所涉及到的各模块均为逻辑模块，在实际应用中，一个逻辑单元可以是一个物理单元，也可以是一个物理单元的一部分，还可以以多个物理单元的组合实现。此外，为了突出本发明的创新部分，本实施方式中并没有将与解决本发明所提出的技术问题关系不太密切的单元引入，但这并不表明本实施方式中不存在其它的单元。

本发明的第四实施方式涉及一种电子设备，如图5所示，包括：至少一个处理器501；以及，与至少一个处理器501通信连接的存储器502；其中，存储器502存储有可被至少一个处理器501执行的指令，指令被至少一个处理器501执行，以使至少一个处理器501能够执行如上述实施方式提及的异常监控方法。

该电子设备包括：一个或多个处理器501以及存储器502，图5中以一个处理器501为例。处理器501、存储器502可以通过总线或者其他方式连接，图5中以通过总线连接为例。存储器502作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。处理器501通过运行存储在存储器502中的非易失性软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述异常监控方法。

存储器502可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储选项列表等。此外，存储器502可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施方式中，存储器502可选包括相对于处理器501远程设置的存储器，这些远程存储器可以通过网络连接至外接设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

一个或者多个模块存储在存储器502中，当被一个或者多个处理器501执行时，执行上述任意方法实施方式中的异常监控方法。

上述产品可执行本申请实施方式所提供的方法，具备执行方法相应的功能模块和有益效果，未在本实施方式中详尽描述的技术细节，可参见本申请实施方式所提供的方法。

本发明的第五实施方式涉及一种计算机可读存储介质，存储有计算机程序。计算机程序被处理器执行时实现上述方法实施例。

即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。

Claims (11)

1.一种异常监控方法，其特征在于，包括：

在机器人执行第一任务的过程中，获取机器人的状态信息，所述状态信息根据所述机器人的触觉系统反馈的数据，和/或，视觉系统反馈的数据确定；

根据所述机器人当前执行的操作指令对应的预设要求和所述状态信息，判断所述机器人是否发生异常。

2.根据权利要求1所述的异常监控方法，其特征在于，所述触觉系统反馈的数据包括所述机器人的机械臂的电流值，所述视觉系统反馈的数据包括所述机器人的摄像头拍摄的图像数据。

3.根据权利要求2所述的异常监控方法，其特征在于，所述第一任务的操作指令至少包括第一移动指令、抓取指令和运输指令中的任意一种；所述第一移动指令指示所述机器人控制所述机械臂移动至第一抓取位置，所述抓取指令指示机器人控制机械手爪合并，所述运输指令指示机器人将抓取的目标物体运输至指定位置；

所述第一移动指令对应的预设要求为：所述机械臂的电流值大于第一阈值；所述抓取指令对应的预设要求为：所述机械臂的电流值大于第二阈值；所述运输指令对应的预设要求为：所述机械臂的电流值大于第三阈值，且小于第四阈值。

4.根据权利要求2所述的异常监控方法，其特征在于，所述第一任务的操作指令至少包括第一移动指令、抓取指令和运输指令中的任意一种；所述第一移动指令指示所述机器人控制所述机械臂移动至第一抓取位置，所述抓取指令指示机器人控制机械手爪合并，所述运输指令指示机器人将抓取的目标物体运输至指定位置；

所述第一移动指令对应的预设要求为：所述视觉系统反馈的图像数据指示所述机械臂持续处于同一位置的时长小于第一时长，且，执行完所述第一移动指令后，所述机械臂在所述第一抓取位置；所述抓取指令对应的预设要求为：所述视觉系统反馈的图像数据指示所述机器人的机械手爪抓住所述目标物体；所述运输指令对应的预设要求为：所述视觉系统反馈的图像数据指示所述机械臂持续处于同一位置的时长小于第二时长，且，执行完所述运输移动指令后，所述机械臂在所述指定位置。

5.根据权利要求3或4所述的异常监控方法，其特征在于，当前执行的操作指令为所述第一移动指令；

所述根据所述机器人当前执行的操作指令对应的预设要求和所述状态信息，判断所述机器人是否发生异常，具体包括：

判断所述状态信息是否符合所述第一移动指令对应的预设要求；

若确定不符合，获取所述视觉系统反馈的第一图像数据；判断所述机械臂触碰的物体是否为目标物体；若确定是，控制所述机械臂沿第一方向移动第一预设距离，所述第一方向为所述机器人执行所述抓取指令前的运动方向的反方向；若确定不是，确定所述机器人发生异常。

6.根据权利要求3所述的异常监控方法，其特征在于，当前执行的操作指令为所述抓取指令，在所述确定所述机器人发生异常之后，所述异常监控方法还包括：

判断所述机械臂的电流值是否大于预设的第五阈值；

若确定是，执行松手指令，控制所述机械臂沿第二方向移动第二预设距离，再次执行抓取指令；重新获取机械臂的电流值；判断重新获取的机械臂的电流值是否大于所述第二阈值；若确定不是，则执行松手指令，控制所述机械臂沿第二方向移动第二预设距离，再次执行抓取指令，直至重新获取的机械臂的电流值大于所述第二阈值；其中，所述第二方向为所述机器人执行所述抓取指令前的运动方向。

7.根据权利要求3所述的异常监控方法，其特征在于，所述操作指令为运输指令，在确定所述机械臂的电流值小于所述第三阈值之后，所述异常监控方法还包括：

获取所述视觉系统反馈的第二图像数据；

对所述第二图像数据中的物体进行识别，确定目标物体的第二位置信息；

根据所述机械臂当前的位置信息、所述目标物体的第二位置信息和所述指定位置的位置信息，规划第二任务；所述第二任务中包括第二移动指令、所述抓取指令和所述运输指令，指示所述机器人控制所述机械臂将所述目标物体运输至所述指定位置；所述第二移动指令指示所述机械人控制所述机械臂移动至第二抓取位置，所述第二抓取位置根据所述目标物体的第二位置信息确定；

执行所述第二任务。

8.根据权利要求5所述的异常监控方法，其特征在于，所述第一任务中包括所述抓取指令，在执行所述抓取指令之前，所述异常监控方法还包括：

实时获取所述视觉系统反馈的第三图像数据；

对所述第三图像数据中的物体进行识别，确定目标物体的第三位置信息；

判断目标物体的位置是否发生变化；

若确定是，停止执行所述第一任务；根据所述机械臂当前的位置信息、所述目标物体的第三位置信息，以及所述指定位置的位置信息，规划第三任务；所述第三任务中包括第三移动指令、所述抓取指令和所述运输指令，指示所述机器人控制所述机械臂将所述目标物体运输至所述指定位置；所述第三移动指令指示所述机械人控制所述机械臂移动至第三抓取位置，所述第三抓取位置根据所述目标物体的第三位置信息确定。

9.根据权利要求2至8中任一项所述的异常监控方法，其特征在于，在机器人执行所述第一任务之前，所述异常监控方法还包括：

获取所述视觉系统反馈的第四图像数据；

根据所述第四图像数据，确定目标物体的第三位置信息；

根据所述目标物体的类型、所述目标物体的第三位置信息和所述机械臂当前的位置信息，规划所述机械臂的运动轨迹；

根据规划的运动轨迹，确定所述第一任务。

10.一种电子设备，其特征在于，包括：至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；

其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至9中任一项所述的异常监控方法。

11.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至9中任一项所述的异常监控方法。

Images