CN116442286A - 机器人作业对象定位系统、方法、装置、机器人及介质 - Google Patents

Abstract

本申请公开了一种机器人作业对象定位系统、方法、装置、机器人及介质，应用于机器人技术领域，具体为：基于当前作业环境的点云信息和图像信息对当前作业对象进行定位；若定位成功则基于当前作业对象的位姿信息，控制机械臂对当前作业对象进行作业；若定位失败则将当前作业环境的点云信息发送至地面站设备进行显示，基于当前作业环境的图像信息和地面站设备发送的用户选择的当前作业对象的至少两个点云信息，对当前作业对象进行定位，基于当前作业对象的位姿信息，控制机械臂对当前作业对象进行作业，从而可以满足配网带电作业机器人自主选点成功与自主选点失败两种场景的作业要求，进而可以提高作业对象定位成功率，确保机器人作业顺利进行。

Description

机器人作业对象定位系统、方法、装置、机器人及介质

技术领域

本申请涉及机器人技术领域，尤其涉及一种机器人作业对象定位系统、方法、装置、机器人及介质。

背景技术

目前，智能自动化已经渗入日常生活、工业生产的方方面面，机器人已经在很多场合代替人工从事一些繁重的工作，例如配网带电作业机器人等，实际应用中，配网带电作业机器人的工作地点通常为户外，作业场景也不固定，易受户外光照影响，从而给配网带电作业机器人的自动化作业功能的研发带来严峻挑战。

现有技术中，配网带电作业机器人通常是基于作业环境图像实现对作业对象的自主定位，从而实现对作业对象的自主作业，然而该方法仅适用于较为良好的作业环境，而对不同作业环境的适应性不足，例如当作业环境出现强光、斗臂车振动等不利因素时将难以准确地定位出作业对象，从而导致配网带电作业机器人难以继续作业。

发明内容

本申请提供了一种机器人作业对象定位系统、方法、装置、机器人及介质，用以解决现有技术针对机器人作业对象的定位准确度较差、难以适应不同作业环境的问题，具体的，本申请提供的技术方案如下：

第一方面，本申请提供了一种机器人作业对象定位系统，包括配网带电作业机器人和地面站设备，配网带电作业机器人和地面站设备通信连接；

配网带电作业机器人，用于获取当前作业环境的点云信息和图像信息；基于当前作业环境的点云信息和图像信息，对当前作业对象进行定位；若对当前作业对象定位成功，则基于定位出的当前作业对象的位姿信息，控制机械臂对当前作业对象进行作业；若对当前作业对象定位失败，则将当前作业环境的点云信息发送至地面站设备，并接收地面站设备发送的用户从当前作业环境的点云信息中选择的当前作业对象的至少两个点云信息，以及基于当前作业对象的至少两个点云信息和当前作业环境的图像信息，对当前作业对象进行定位后，基于定位出的当前作业对象的位姿信息，控制机械臂对当前作业对象进行作业；

地面站设备，用于接收配网带电作业机器人发送的当前作业环境的点云信息并显示，以及获取用户从当前作业环境的点云信息中选择的当前作业对象的至少两个点云信息后发送至配网带电作业机器人。

第二方面，本申请提供了一种机器人作业对象定位方法，包括：

获取配网带电作业机器人的当前作业环境的点云信息和图像信息；

基于当前作业环境的点云信息和图像信息，对配网带电作业机器人的当前作业对象进行定位；

若对当前作业对象定位成功，则基于定位出的当前作业对象的位姿信息，控制配网带电作业机器人的机械臂对当前作业对象进行作业；

若对当前作业对象定位失败，则将当前作业环境的点云信息发送至地面站设备进行显示，并接收地面站设备发送的用户从当前作业环境的点云信息中选择的当前作业对象的至少两个点云信息，以及基于当前作业对象的至少两个点云信息和当前作业环境的图像信息，对当前作业对象进行定位后，基于定位出的当前作业对象的位姿信息，控制配网带电作业机器人的机械臂对当前作业对象进行作业。

第三方面，本申请提供了一种机器人作业对象定位装置，包括：

定位模块和主控模块，定位模块和主控模块通信连接；

定位模块，用于获取配网带电作业机器人的当前作业环境的点云信息和图像信息；基于当前作业环境的点云信息和图像信息，对配网带电作业机器人的当前作业对象进行定位；若对当前作业对象定位成功，则将定位出的当前作业对象的位姿信息发送至主控模块；若对当前作业对象定位失败，则将当前作业环境的点云信息通过主控模块发送至地面站设备进行显示，并接收主控模块转发的地面站设备发送的用户从当前作业环境的点云信息中选择的当前作业对象的至少两个点云信息，以及基于当前作业对象的至少两个点云信息和当前作业环境的图像信息，对当前作业对象进行定位，并将定位出的当前作业对象的位姿信息发送至主控模块；

主控模块，用于基于当前作业对象的位姿信息，控制配网带电作业机器人的机械臂对当前作业对象进行作业。

第四方面，本申请提供了一种配网带电作业机器人，包括本体，安装于本体上的机械臂，安装于本体内的存储器和处理器，存储器中存储有可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述机器人作业对象定位方法。

第五方面，本申请提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机指令，该计算机指令被处理器执行时实现上述机器人作业对象定位方法。

本申请的有益效果如下：

本申请在基于当前作业环境的点云信息和图像信息对当前作业对象定位失败时，通过将当前作业环境的点云信息发送至地面站设备进行显示，可以使用户能够从当前作业环境的点云信息中选择当前作业对象的至少两个点云信息，从而可以基于当前作业环境的图像信息和用户选择的当前作业对象的至少两个点云信息，继续对当前作业对象进行定位，进而可以满足配网带电作业机器人自主选点成功与自主选点失败两种场景的作业要求，从而可以提高作业对象定位成功率，确保机器人作业顺利进行。

本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地可以从说明书中变得显而易见，或者通过实施本申请而了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中特别指出的结构来实现和获得。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本申请实施例中机器人作业对象定位方法的流程框架示意图；

图2为本申请实施例中机器人作业对象定位系统的组成架构示意图；

图3为本申请实施例中机器人作业对象定位方法的概况流程示意图；

图4为本申请实施例中机器人作业对象定位方法的交互流程示意图；

图5为本申请实施例中机器人作业对象定位装置的功能结构示意图；

图6为本申请实施例中配网带电作业机器人的硬件结构示意图。

具体实施方式

为了使本申请的目的、技术方案及有益效果更加清楚明白，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，并不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

为便于本领域技术人员更好地理解本申请，下面先对本申请涉及的技术用语进行简单介绍。

点云信息，为通过激光雷达采集的当前作业环境中各物体表面的采样点数据集合，例如点云信息至少包括当前作业环境中配网带电作业机器人的各部位（如本体、机械臂、机械臂末端的作业工具等）的采样点数据、当前作业对象（如线缆）的采样点数据等；本申请中，采样点数据至少包括三维坐标和激光反射强度等。

图像信息，为深度摄像头采集的当前作业环境的图像。

位姿信息，为基于点云信息和图像信息计算出的当前作业对象的位置坐标和姿态角度。

需要说明的是，本申请中提及的“和/或”，描述的是关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

在介绍了本申请涉及的技术用语后，接下来，对本申请的应用场景和技术构思进行简单介绍。

为解决现有技术针对机器人作业对象的定位准确度较差、难以适应不同作业环境的问题，参阅图1所示，本申请中，激光雷达采集当前作业环境的点云信息后发送至配网带电作业机器人，同时，深度摄像头采集当前作业环境的图像信息后也发送至配网带电作业机器人，配网带电作业机器人基于当前作业环境的点云信息和图像信息，对当前作业对象进行定位，若对当前作业对象定位成功，则基于定位出的当前作业对象的位姿信息，控制机械臂对当前作业对象进行作业，若对当前作业对象定位失败，则将当前作业环境的点云信息发送至地面站设备，并接收地面站设备发送的用户从当前作业环境的点云信息中选择的当前作业对象的至少两个点云信息，以及基于当前作业对象的至少两个点云信息和当前作业环境的图像信息，对当前作业对象进行定位后，基于定位出的当前作业对象的位姿信息，控制机械臂对当前作业对象进行作业。这样，在基于当前作业环境的点云信息和图像信息对当前作业对象定位失败时，通过将当前作业环境的点云信息发送至地面站设备进行显示，可以使用户能够从当前作业环境的点云信息中选择当前作业对象的至少两个点云信息，从而可以基于当前作业环境的图像信息和用户选择的当前作业对象的至少两个点云信息，继续对当前作业对象进行定位，进而可以满足配网带电作业机器人自主选点成功与自主选点失败两种场景的作业要求，从而可以提高作业对象定位成功率，确保机器人作业顺利进行。

在介绍了本申请的应用场景和技术构思后，下面对本申请的技术方案进行详细介绍。

本申请实施例提供了一种机器人作业对象定位系统，参阅图2所示，本申请实施例提供的机器人作业对象定位系统至少包括配网带电作业机器人210和地面站设备220，配网带电作业机器人210和地面站设备220通信连接，实际应用中，配网带电作业机器人210与地面站设备220可以基于TCP（Transmission Control Protocol，传输控制协议）进行通信连接；

配网带电作业机器人210，用于获取当前作业环境的点云信息和图像信息；基于当前作业环境的点云信息和图像信息，对当前作业对象进行定位；若对当前作业对象定位成功，则基于定位出的当前作业对象的位姿信息，控制机械臂对当前作业对象进行作业；若对当前作业对象定位失败，则将当前作业环境的点云信息发送至地面站设备220，并接收地面站设备220发送的用户从当前作业环境的点云信息中选择的当前作业对象的至少两个点云信息，以及基于当前作业对象的至少两个点云信息和当前作业环境的图像信息，对当前作业对象进行定位后，基于定位出的当前作业对象的位姿信息，控制机械臂对当前作业对象进行作业；

地面站设备220，用于接收配网带电作业机器人210发送的当前作业环境的点云信息并显示，以及获取用户从当前作业环境的点云信息中选择的当前作业对象的至少两个点云信息后发送至配网带电作业机器人210。

在一种可能的实施方式中，配网带电作业机器人210，具体用于通过激光雷达采集当前作业环境的点云信息以及通过深度摄像头采集当前作业环境的图像信息。

在一种可能的实施方式中，地面站设备220，具体用于基于当前作业环境的点云信息，在当前作业环境的三维仿真模型上显示当前作业环境的各个点云位置，并根据用户在三维仿真模型上执行的点云选择操作，确定用户从当前作业环境的点云信息中选择的当前作业对象的至少两个点云信息后，将用户选择的当前作业对象的至少两个点云信息发送至配网带电作业机器人210。

在一种可能的实施方式中，配网带电作业机器人210，还用于将当前作业对象的位姿信息发送至地面站设备220；

地面站设备220，还用于接收配网带电作业机器人210发送的当前作业对象的位姿信息；基于当前作业环境的三维仿真模型和当前作业对象的位姿信息，显示配网带电作业机器人210的机械臂对当前作业对象进行作业的动画预演效果；确定用户基于动画预演效果执行重新选点操作时，再次显示当前作业环境的点云信息，并获取用户从当前作业环境的点云信息中再次选择的当前作业对象的至少两个点云信息后，基于再次选择的当前作业对象的至少两个点云信息，向配网带电作业机器人210发送重新定位指令；确定用户基于动画预演效果执行确认选点操作时，向配网带电作业机器人210发送选点确认指令。

在一种可能的实施方式中，地面站设备220，还用于基于当前作业环境的三维仿真模型，同步显示配网带电作业机器人210的机械臂对当前作业对象的实时作业状态；和/或，接收配网带电作业机器人210发送的通过摄像装置采集的配网带电作业机器人210的机械臂对当前作业对象进行作业的整体作业视频并显示。

在一种可能的实施方式中，地面站设备220，还用于在显示配网带电作业机器人210的机械臂对当前作业对象进行作业的整体作业视频的过程中，确定满足视频切换条件时，切换至配网带电作业机器人210的机械臂对当前作业对象进行作业的局部作业视频进行显示。

在一种可能的实施方式中，地面站设备220，用于配网带电作业机器人的人机交互，包括但不限于作业流程配置、作业流程控制、机械臂控制等；其中：

作业流程配置包括：地面站设备220显示当前支持的所有作业类型和作业配置项后，获取用户从各个作业类型和作业配置项中选择的目标作业类型和目标作业配置项，并基于目标作业类型和目标作业配置项生成作业配置指令发送至配网带电作业机器人210，以使配网带电作业机器人210基于作业配置指令中的目标作业类型和目标作业配置项，对机械臂末端的作业工具进行作业流程配置；

作业流程控制包括：地面站设备220接收到配网带电作业机器人210基于当前作业对象的位姿信息控制机械臂对当前作业对象进行作业时发送的作业开始通知时，显示步退、步进、暂停、继续、停止等作业控制按钮，并在接收到用户针对任一作业控制按钮执行的点击操作时，向配网带电作业机器人210发送相应的作业控制指令以控制配网带电作业机器人210执行相应的作业控制操作，从而可以实现作业流程控制；

作业环境显示包括：显示机器人仿真模型与当前作业环境的实时状态，支持三维视图的放大、缩小、旋转、平移等功能，还可以显示当前作业环境的点云信息以进行选点交互，还可以显示机器人球机、机械臂末端的作业工具等实时作业视频，并支持手动切换与自动切换相关视频，以便用户能更准确地查看当前作业对象和当前面作业环境；

遥操控制包括：实时展示机器人本体、机械臂末端的作业工具、机械臂等的实时作业状态，且支持控制机械臂末端的作业工具、机械臂等部件；

在一种可能的实施方式中，配网带电作业机器人210包括定位模块211和主控模块212；定位模块211和主控模块212之间基于ROS机制进行分布式通信；

主控模块212，用于配网带电作业机器人210的外部通信以及内部作业调度，包括但不限于流程控制、机械臂控制、工具控制、运动规划等；其中：

流程控制包括：针对不同作业流程进行流程步骤的控制与操作，及时更新作业状态与提示，及时进行命令下发与机械臂、工具控制；

机械臂控制包括：根据接收到的地面站设备220的命令或者流程中的操作命令，对机械臂进行相应控制，当机械臂出现异常时进行异常提示与异常解除；

工具控制包括：根据接收到的地面站设备220发送的命令或者流程中的操作命令，对机械臂末端的作业工具进行相应控制，当机械臂末端的作业工具出现异常时进行异常提示与异常解除；

运动规划包括：根据接收到的当前作业对象的位姿信息，结合当前作业环境的点云信息，对机械臂进行运动规划，并将运动规划结果及时返回至地面站设备220，以使地面站设备220基于运动规划结果进行动画预演等处理；

定位模块211，用于对当前作业环境和当前作业对象进行识别，包括但不限于点云处理、图像识别、位姿计算等；其中：

点云处理包括：获取激光雷达采集的当前作业环境的点云信息或者用户选择的当前作业对象的至少两个点云信息并进行点云坐标转换、阳光噪声过滤、反射强度过滤等处理；

图像识别包括：获取深度摄像头采集的当前作业环境的图像信息并进行当前作业对象的识别，例如从图像信息中识别抓线流程中的引流线抓取部位等当前作业对象；

位姿计算包括：根据点云处理后的点云信息以及图像识别后的识别结果进行位姿计算，计算成功后将位姿信息发送至主控模块212，以使主控模块212基于位姿信息进行运动规划。

基于上述机器人作业对象定位系统，本申请实施例提供了一种机器人作业对象定位方法，具体的，参阅图3所示，本申请实施例提供的机器人作业对象定位方法的概况流程如下：

步骤301：获取配网带电作业机器人210的当前作业环境的点云信息和图像信息。

在具体实施时，在一个可能的实施方式中，深度摄像头和激光雷达可以设置在配网带电作业机器人210的机械臂上，从而可以通过控制激光雷达采集当前作业环境的点云信息以及通过控制深度摄像头采集当前作业环境的图像信息，进而配网带电作业机器人210即可获得当前作业环境的点云信息和图像信息。在另一个可能的实施方式中，深度摄像头和激光雷达还可以设置在无人机上，从而可以控制无人机停留在当前作业环境中，并通过无人机控制激光雷达采集当前作业环境的点云信息以及控制深度摄像头采集当前作业环境的图像信息后发送至配网带电作业机器人210，进而配网带电作业机器人210即可获得当前作业环境的点云信息和图像信息。

步骤302：基于当前作业环境的点云信息和图像信息，对配网带电作业机器人210的当前作业对象进行定位。

在具体实施时，配网带电作业机器人210可以将当前作业环境的点云信息和图像信息输入预先训练好的作业对象识别模型中，从而实现对配网带电作业机器人的当前作业对象的定位；其中，作业对象识别模型可以通过对点云信息进行RANSAC估计以及对图像信息进行图像分割来实现对当前作业对象的定位。

步骤303：若对当前作业对象定位成功，则基于定位出的当前作业对象的位姿信息，控制配网带电作业机器人210的机械臂对当前作业对象进行作业。

在具体实施时，配网带电作业机器人210确定对当前作业对象定位成功时，可以根据定位出的当前作业对象的位姿信息，并结合当前作业环境的点云信息，对机械臂进行运动规划，并根据运动规划结果控制机械臂对当前作业对象进行作业。

步骤304：若对当前作业对象定位失败，则将当前作业环境的点云信息发送至地面站设备220进行显示，并接收地面站设备220发送的用户从当前作业环境的点云信息中选择的当前作业对象的至少两个点云信息，以及基于当前作业对象的至少两个点云信息和当前作业环境的图像信息，对当前作业对象进行定位后，基于定位出的当前作业对象的位姿信息，控制配网带电作业机器人210的机械臂对当前作业对象进行作业。

在具体实施时，配网带电作业机器人210确定对当前作业对象定位失败时，可以将当前作业环境的点云信息发送至地面站设备220，地面站设备220接收到当前作业环境的点云信息时，可以基于当前作业环境的点云信息，在当前作业环境的三维仿真模型上显示当前作业环境的各个点云位置，从而方便用户选择点云信息，并进一步根据用户在三维仿真模型上执行的点云选择操作，确定用户从当前作业环境的点云信息中选择的当前作业对象的至少两个点云信息后，将用户选择的当前作业对象的至少两个点云信息发送至配网带电作业机器人210，配网带电作业机器人210即可获得用户选择的当前作业对象的至少两个点云信息，进一步的，在一个可能的实施例中，配网带电作业机器人210接收到地面站设备220发送的用户选择的当前作业对象的至少两个点云信息时，基于当前作业对象的至少两个点云信息和当前作业环境的图像信息，对当前作业对象进行定位后，可以直接根据定位出的当前作业对象的位姿信息，并结合当前作业环境的点云信息，对机械臂进行运动规划，并根据运动规划结果控制机械臂对当前作业对象进行作业；在另一个可能的实施例中，配网带电作业机器人210接收到地面站设备220发送的用户选择的当前作业对象的至少两个点云信息时，基于当前作业对象的至少两个点云信息和当前作业环境的图像信息，对当前作业对象进行定位后，还可以将当前作业对象的位姿信息发送至地面站设备220，地面站设备220接收到配网带电作业机器人210发送的当前作业对象的位姿信息时，可以基于当前作业环境的三维仿真模型和当前作业对象的位姿信息，显示配网带电作业机器人210的机械臂对当前作业对象进行作业的动画预演效果，从而可以方便用户根据动画预演效果查看是否符合预期效果，若符合预期效果则可以触发确认选点操作，地面站设备220确定用户基于动画预演效果执行确认选点操作时，向配网带电作业机器人210发送选点确认指令，配网带电作业机器人210接收到地面站设备220发送的选点确认指令时，再根据当前作业对象的位姿信息，并结合当前作业环境的点云信息，对机械臂进行运动规划，并根据运动规划结果控制机械臂对当前作业对象进行作业，反之，若不符合预期效果则可以触发重新选点操作，地面站设备220确定用户基于动画预演效果执行重新选点操作时，再次显示当前作业环境的点云信息，并进一步获取用户从当前作业环境的点云信息中再次选择的当前作业对象的至少两个点云信息后，基于再次选择的当前作业对象的至少两个点云信息，向配网带电作业机器人210发送重新定位指令，配网带电作业机器人210接收到地面站设备220发送的重新定位指令时，基于重新定位指令中用户再次选择的当前作业对象的至少两个点云信息，并结合当前作业环境的图像信息，对当前作业对象重新进行定位，以及根据定位出的当前作业对象的位姿信息，并结合当前作业环境的点云信息，对机械臂进行运动规划后，根据运动规划结果控制机械臂对当前作业对象进行作业。

值得说的是，本申请实施例中，在配网带电作业机器人210控制机械臂对当前作业对象进行作业的过程中，在一个可能的实施方式中，地面站设备220可以基于当前作业环境的三维仿真模型，同步显示配网带电作业机器人210的机械臂对当前作业对象的实时作业状态；在另一个可能的实施方式中，地面站设备220还可以接收配网带电作业机器人210发送的通过摄像装置采集的配网带电作业机器人210的机械臂对当前作业对象进行作业的整体作业视频，并显示配网带电作业机器人210的机械臂对当前作业对象进行作业的整体作业视频；在另一个可能的实施方式中，地面站设备220还可以同时显示配网带电作业机器人210的机械臂对当前作业对象的实时作业状态和整体作业视频。

实际应用中，地面站设备220在显示配网带电作业机器人210的机械臂对当前作业对象进行作业的整体作业视频的过程中，还可以在确定满足视频切换条件时，切换至配网带电作业机器人210的机械臂对当前作业对象进行作业的局部作业视频进行显示，例如地面站设备220确定当前作业类型的复杂度高于设定阈值时，自动切换至机械臂末端的作业工具对当前作业对象进行作业的局部作业视频进行显示，又如地面站设备220接收到用户通过长按整体作业视频中显示的机械臂末端的作业工具触发的放大显示指令时，自动切换至机械臂末端的作业工具对当前作业对象进行作业的局部作业视频进行显示等。

下面对本申请实施例提供的机器人作业对象定位方法作进一步详细说明，具体的，参阅图4所示，本申请实施例提供的机器人作业对象定位方法的交互流程如下：

步骤401：地面站设备220根据用户配置的目标作业类型和目标作业配置项，向配网带电作业机器人210发送作业配置指令。

步骤402：配网带电作业机器人210接收到作业配置指令时，根据作业配置指令中的目标作业类型和目标作业配置项，对机械臂末端的作业工具进行作业流程配置，并控制机械臂移动至当前作业位置处。

步骤403：配网带电作业机器人210控制激光雷达采集当前作业环境的点云信息以及控制深度摄像头采集当前作业环境的图像信息。

步骤404：配网带电作业机器人210基于当前作业环境的点云信息和图像信息，对当前作业对象进行定位。

步骤405：配网带电作业机器人210判断对当前作业对象的定位是否成功，若是，则执行步骤406，若否，则执行步骤407。

步骤406：配网带电作业机器人210基于定位出的当前作业对象的位姿信息，控制机械臂对当前作业对象进行作业。

步骤407：配网带电作业机器人210将当前作业环境的点云信息发送至地面站设备220。

步骤408：地面站设备220接收到配网带电作业机器人210发送的当前作业环境的点云信息时，基于当前作业环境的点云信息，在当前作业环境的三维仿真模型上显示当前作业环境的各个点云位置。

步骤409：地面站设备220根据用户在三维仿真模型上执行的点云选择操作，确定用户从当前作业环境的点云信息中选择的当前作业对象的至少两个点云信息。

步骤410：地面站设备220根据用户执行的选点确认操作（例如点击“下发计算”按钮），将用户选择的当前作业对象的至少两个点云信息发送至配网带电作业机器人210。

步骤411：配网带电作业机器人210接收到地面站设备220发送的用户选择的当前作业对象的至少两个点云信息时，基于当前作业对象的至少两个点云信息和当前作业环境的图像信息，对当前作业对象进行定位。

步骤412：配网带电作业机器人210将定位出的当前作业对象的位姿信息发送至地面站设备220。

步骤413：地面站设备220基于当前作业环境的三维仿真模型和当前作业对象的位姿信息，显示配网带电作业机器人210的机械臂对当前作业对象进行作业的动画预演效果。

步骤414：地面站设备220判断用户根据动画预演效果是否确认选点，若是，则执行步骤415；若否，则执行步骤417。

步骤415：地面站设备220向配网带电作业机器人210发送选点确认指令。

步骤416：配网带电作业机器人210接收到地面站设备220发送的选点确认指令时，基于当前作业对象的位姿信息，控制机械臂对当前作业对象进行作业。

步骤417：地面站设备220再次显示当前作业环境的点云信息，并获取用户从当前作业环境的点云信息中再次选择的当前作业对象的至少两个点云信息。

步骤418：地面站设备220基于再次选择的当前作业对象的至少两个点云信息，向配网带电作业机器人210发送重新定位指令。

步骤419：配网带电作业机器人210接收到地面站设备220发送的重新定位指令时，基于重新定位指令中用户再次选择的当前作业对象的至少两个点云信息以及当前作业环境的图像信息，对当前作业对象进行重新定位。

值得说的是，本申请实施例中，若重新定位失败，还可以循环进行重新选点及重新定位操作，直至定位成功且符合预期效果为止。

步骤420：配网带电作业机器人210基于重新定位出的当前作业对象的位姿信息，控制机械臂对当前作业对象进行作业。

基于上述实施例，本申请实施例还提供了一种机器人作业对象定位装置，可以应用于配网带电作业机器人，具体的，参阅图5所示，本申请实施例提供的机器人作业对象定位装置500至少包括定位模块211和主控模块212，定位模块211和主控模块212通信连接；

定位模块211，用于获取配网带电作业机器人210的当前作业环境的点云信息和图像信息；基于当前作业环境的点云信息和图像信息，对配网带电作业机器人210的当前作业对象进行定位；若对当前作业对象定位成功，则将定位出的当前作业对象的位姿信息发送至主控模块212；若对当前作业对象定位失败，则将当前作业环境的点云信息通过主控模块212发送至地面站设备220进行显示，并接收主控模块212转发的地面站设备220发送的用户从当前作业环境的点云信息中选择的当前作业对象的至少两个点云信息，以及基于当前作业对象的至少两个点云信息和当前作业环境的图像信息，对当前作业对象进行定位，并将定位出的当前作业对象的位姿信息发送至主控模块212；

主控模块212，用于基于当前作业对象的位姿信息，控制配网带电作业机器人210的机械臂对当前作业对象进行作业。

需要说明的是，本申请实施例提供的机器人作业对象定位装置500解决技术问题的原理与本申请实施例提供的机器人作业对象定位方法相似，因此，本申请实施例提供的机器人作业对象定位装置500的实施可以参见本申请实施例提供的机器人作业对象定位方法的实施，重复之处不再赘述。

在介绍了本申请实施例提供的机器人作业对象定位系统、方法和装置之后，接下来，对本申请实施例提供的配网带电作业机器人进行简单介绍。

参阅图6所示，本申请实施例提供的配网带电作业机器人至少包括本体60，安装于本体60上的机械臂61，安装于本体60内的存储器602和处理器601，存储器602中存储有可在处理器601上运行的计算机程序，处理器601执行计算机程序时实现本申请实施例提供的机器人作业对象定位方法。

本申请实施例提供的配网带电作业机器人还可以包括连接不同组件（包括处理器601和存储器602）的总线603。其中，总线603表示几类总线结构中的一种或多种，包括存储器总线、外围总线、局域总线等。

存储器602可以包括易失性存储器形式的可读介质，例如RAM（Random AccessMemory，随机存储器）6021和/或高速缓存存储器6022，还可以进一步包括ROM（Read OnlyMemory，只读存储器）6023。存储器602还可以包括具有一组（至少一个）程序模块6024的程序工具6025，程序模块6024包括但不限于：操作子系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

配网带电作业机器人还可以与一个或者多个使得用户能与配网带电作业机器人交互的地面站设备通信（例如笔记本电脑、台式计算机等），和/或，与使得配网带电作业机器人与一个或多个其它配网带电作业机器人进行通信的任何设备（例如路由器、调制解调器等）通信。这种通信可以通过I/O（Input /Output，输入/输出）接口604进行。并且，配网带电作业机器人还可以通过网络适配器605与一个或者多个网络（例如LAN（Local AreaNetwork，局域网），WAN（Wide Area Network，广域网）和/或公共网络，例如因特网）通信。如图6所示，网络适配器605通过总线603与配网带电作业机器人的其它模块通信。应当理解，尽管图6中未示出，可以结合配网带电作业机器人使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID（Redundant Arrays ofIndependent Disks，磁盘阵列）子系统、磁带驱动器以及数据备份存储子系统等。

需要说明的是，图6所示的配网带电作业机器人仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

此外，本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机指令，该计算机指令被处理器执行时实现本申请实施例提供的机器人作业对象定位方法。具体地，该计算机指令可以内置或安装在处理器中，这样，处理器就可以通过执行内置或安装的计算机指令实现本申请实施例提供的机器人作业对象定位方法。

另外，本申请实施例提供的机器人作业对象定位方法还可以实现为一种程序产品，该程序产品包括程序代码，当该程序代码在处理器上运行时实现本申请实施例提供的机器人作业对象定位方法。

本申请实施例提供的程序产品可以采用一个或多个可读介质的任意组合，其中，可读介质可以是可读信号介质或可读存储介质，而可读存储介质可以是但不限于是电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或任意以上的组合，具体地，可读存储介质的更具体的例子（非穷举的列表）包括：具有一个或多个导线的电连接、便携式盘、硬盘、RAM、ROM、EPROM（Erasable Programmable Read Only Memory，可擦式可编程只读存储器）、光纤、CD-ROM（Compact Disc Read-Only Memory，便携式紧凑盘只读存储器）、光存储器件、磁存储器件、或者上述的任意合适的组合。

本申请实施例提供的程序产品可以采用CD-ROM并包括程序代码，还可以在电子设备上运行。然而，本申请实施例提供的程序产品不限于此，在本申请实施例中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

应当注意，尽管在上文详细描述中提及了装置的若干单元或子单元，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多单元的特征和功能可以在一个单元中具体化。反之，上文描述的一个单元的特征和功能可以进一步划分为由多个单元来具体化。

此外，尽管在附图中以特定顺序描述了本申请方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

显然，本领域的技术人员可以对本申请实施例进行各种改动和变型而不脱离本申请实施例的精神和范围。这样，倘若本申请实施例的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种机器人作业对象定位系统，其特征在于，包括配网带电作业机器人和地面站设备，所述配网带电作业机器人和所述地面站设备通信连接；

所述配网带电作业机器人，用于获取当前作业环境的点云信息和图像信息；基于所述当前作业环境的所述点云信息和所述图像信息，对当前作业对象进行定位；若对所述当前作业对象定位成功，则基于定位出的所述当前作业对象的位姿信息，控制机械臂对所述当前作业对象进行作业；若对所述当前作业对象定位失败，则将所述当前作业环境的所述点云信息发送至地面站设备，并接收所述地面站设备发送的用户从所述当前作业环境的所述点云信息中选择的所述当前作业对象的至少两个点云信息，以及基于所述当前作业对象的所述至少两个点云信息和所述当前作业环境的所述图像信息，对所述当前作业对象进行定位后，基于定位出的所述当前作业对象的位姿信息，控制机械臂对所述当前作业对象进行作业；

所述地面站设备，用于接收所述配网带电作业机器人发送的所述当前作业环境的所述点云信息并显示，以及获取所述用户从所述当前作业环境的所述点云信息中选择的所述当前作业对象的所述至少两个点云信息后发送至所述配网带电作业机器人。

2.如权利要求1所述的机器人作业对象定位系统，其特征在于，所述配网带电作业机器人，具体用于通过激光雷达采集所述当前作业环境的点云信息以及通过深度摄像头采集所述当前作业环境的图像信息。

3.如权利要求1所述的机器人作业对象定位系统，其特征在于，所述地面站设备，具体用于基于所述当前作业环境的所述点云信息，在所述当前作业环境的三维仿真模型上显示所述当前作业环境的各个点云位置，并根据所述用户在所述三维仿真模型上执行的点云选择操作，确定所述用户从所述当前作业环境的所述点云信息中选择的所述当前作业对象的所述至少两个点云信息后，将所述用户选择的所述当前作业对象的所述至少两个点云信息发送至所述配网带电作业机器人。

4.如权利要求3所述的机器人作业对象定位系统，其特征在于，所述配网带电作业机器人，还用于将所述当前作业对象的位姿信息发送至所述地面站设备；

所述地面站设备，还用于接收所述配网带电作业机器人发送的所述当前作业对象的位姿信息；基于所述当前作业环境的三维仿真模型和所述当前作业对象的位姿信息，显示所述配网带电作业机器人的所述机械臂对所述当前作业对象进行作业的动画预演效果；确定所述用户基于所述动画预演效果执行重新选点操作时，再次显示所述当前作业环境的所述点云信息，并获取所述用户从所述当前作业环境的所述点云信息中再次选择的所述当前作业对象的至少两个点云信息后，基于所述再次选择的所述当前作业对象的至少两个点云信息，向所述配网带电作业机器人发送重新定位指令；确定所述用户基于所述动画预演效果执行确认选点操作时，向所述配网带电作业机器人发送选点确认指令。

5.如权利要求1-4任一项所述的机器人作业对象定位系统，其特征在于，所述地面站设备，还用于基于所述当前作业环境的三维仿真模型，同步显示所述配网带电作业机器人的机械臂对所述当前作业对象的实时作业状态；和/或，接收所述配网带电作业机器人发送的通过摄像装置采集的所述配网带电作业机器人的机械臂对所述当前作业对象进行作业的整体作业视频并显示。

6.如权利要求5所述的机器人作业对象定位系统，其特征在于，所述地面站设备，还用于在显示所述配网带电作业机器人的机械臂对所述当前作业对象进行作业的整体作业视频的过程中，确定满足视频切换条件时，切换至所述配网带电作业机器人的机械臂对所述当前作业对象进行作业的局部作业视频进行显示。

7.一种机器人作业对象定位方法，其特征在于，包括：

获取配网带电作业机器人的当前作业环境的点云信息和图像信息；

基于所述当前作业环境的所述点云信息和所述图像信息，对所述配网带电作业机器人的当前作业对象进行定位；

若对所述当前作业对象定位成功，则基于定位出的所述当前作业对象的位姿信息，控制所述配网带电作业机器人的机械臂对所述当前作业对象进行作业；

若对所述当前作业对象定位失败，则将所述当前作业环境的所述点云信息发送至地面站设备进行显示，并接收所述地面站设备发送的用户从所述当前作业环境的所述点云信息中选择的所述当前作业对象的至少两个点云信息，以及基于所述当前作业对象的所述至少两个点云信息和所述当前作业环境的所述图像信息，对所述当前作业对象进行定位后，基于定位出的所述当前作业对象的位姿信息，控制所述配网带电作业机器人的机械臂对所述当前作业对象进行作业。

8.一种机器人作业对象定位装置，其特征在于，包括定位模块和主控模块，所述定位模块和所述主控模块通信连接；

所述定位模块，用于获取配网带电作业机器人的当前作业环境的点云信息和图像信息；基于所述当前作业环境的所述点云信息和所述图像信息，对所述配网带电作业机器人的当前作业对象进行定位；若对所述当前作业对象定位成功，则将定位出的所述当前作业对象的位姿信息发送至所述主控模块；若对所述当前作业对象定位失败，则将所述当前作业环境的所述点云信息通过所述主控模块发送至地面站设备进行显示，并接收所述主控模块转发的所述地面站设备发送的用户从所述当前作业环境的所述点云信息中选择的所述当前作业对象的至少两个点云信息，以及基于所述当前作业对象的所述至少两个点云信息和所述当前作业环境的所述图像信息，对所述当前作业对象进行定位，并将定位出的所述当前作业对象的位姿信息发送至所述主控模块；

所述主控模块，用于基于所述当前作业对象的位姿信息，控制所述配网带电作业机器人的机械臂对所述当前作业对象进行作业。

9.一种配网带电作业机器人，其特征在于，包括本体，安装于所述本体上的机械臂，安装于所述本体内的存储器和处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求7所述的机器人作业对象定位方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令被处理器执行时实现如权利要求7所述的机器人作业对象定位方法。