CN109732606A - 机械臂的远程控制方法、装置、系统及存储介质 - Google Patents

Abstract

本发明适用计算机技术领域，提供了一种机械臂的远程控制方法、装置、系统及存储介质，该方法包括：接收AR眼镜识别出的用户手势信息，对用户手势信息进行分析，获得分析结果，依据分析结果生成用户手势信息对应的机械臂控制指令，将机械臂控制指令发送给机械臂的控制单元，从而借助AR眼镜实现机械臂的远程手势控制，提高了机械臂控制的安全性和便捷性，提高了机械臂的控制效果。

Description

机械臂的远程控制方法、装置、系统及存储介质

技术领域

本发明属于计算机技术领域，尤其涉及一种机械臂的远程控制方法、装置、系统及存储介质。

背景技术

机械臂是一种仿人类手臂功能的机械装置，为人们提供了一种远距离与周围环境进行交互的方法，交互过程高效且安全系数较高，可以完成高难度任务。此外，机械臂机动灵活、精度高、速度快的特点，使得机械臂在人们的生产、生活中扮演者越来越重要的角色，例如在工业生产领域，机械臂代替人们完成搬运、喷漆、焊接等重复性劳动，达到降低生产成本、实现标准化生产的目的。

目前，机械臂手臂产业已经构成了20亿美元的工业产值。另外，在医疗领域，外科医生可以通过操作机械臂手柄进行手术，可以完成普通手术很难或者无法达到的精度，例如由直观外科手术(Intuitive Surgical)公司开发的达芬奇手术系统，可以协助外科医生完成外科手术，并且比传统的外科手术更精确。

然而，在很多情况下出于经济性或者安全性的考虑，需要人们远距离操作机械臂。比如近些年随着恐怖活动的日益猖獗，传统的反恐方式越来越受到严峻的考验，为了保护人们的生命财产安全，远距离操作机械臂拆除、搬运、引爆炸弹的方式已经受到各国重视。

发明内容

本发明的目的在于提供一种机械臂的远程控制方法、装置、系统及存储介质，旨在解决由于现有技术中近距离控制机械臂，导致机械臂控制安全性不高的问题。

一方面，本发明提供了一种机械臂的远程控制方法，所述方法包括下述步骤：

接收AR眼镜识别出的用户手势信息；

对所述用户手势信息进行分析，获得分析结果；

依据所述分析结果，生成所述用户手势信息对应的机械臂控制指令；

将所述机械臂控制指令发送给机械臂的控制单元。

另一方面，本发明提供了一种机械臂的远程控制装置，所述装置包括：

手势信息接收单元，用于接收AR眼镜识别出的用户手势信息；

手势分析单元，用于对所述用户手势信息进行分析，获得分析结果；

指令生成单元，用于依据所述分析结果，生成所述用户手势信息对应的机械臂控制指令；以及

指令发送单元，用于将所述机械臂控制指令发送给机械臂的控制单元。

另一方面，本发明还提供了一种机械臂的远程控制系统，所述系统包括：

AR眼镜，用于识别用户手势，获得用户手势信息；

服务器，用于接收AR眼镜识别出的用户手势信息，对所述用户手势信息进行分析，获得分析结果，依据所述分析结果，生成所述用户手势信息对应的机械臂控制指令，将所述机械臂控制指令发送给机械臂的控制单元；

控制单元，用于执行所述机械臂控制指令，对所述机械臂进行控制；以及

所述机械臂。

另一方面，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述机械臂的远程控制方法所述的步骤。

本发明接收AR眼镜识别出的用户手势信息，对用户手势信息进行分析，获得分析结果，依据分析结果，生成用户手势信息对应的机械臂控制指令，将机械臂控制指令发送给机械臂的控制单元，从而借助AR眼镜实现机械臂的远程手势控制，提高了机械臂控制的安全性和便捷性，提高可机械臂的控制效果。

附图说明

图1是本发明实施例一提供的机械臂的远程控制方法的实现流程图；

图2是本发明实施例二提供的机械臂的远程控制装置的结构示意图；

图3是本发明实施例二提供的机械臂的远程控制装置的优选结构示意图；以及

图4是本发明实施例三提供的机械臂的远程控制系统的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

以下结合具体实施例对本发明的具体实现进行详细描述：

实施例一：

图1示出了本发明实施例一提供的机械臂的远程控制方法的实现流程，为了便于说明，仅示出了与本发明实施例相关的部分，详述如下：

在步骤S101中，接收AR眼镜识别出的用户手势信息。

本发明实施例适用于与AR眼镜连接的数据处理平台或设备。AR眼镜为增强现实(Augmented Reality)眼镜，可以实时通过自身的传感器捕捉现实世界的目标对象和目标对象的动作，输出目标对象的虚拟模型。

在本发明实施例中，目标对象为用户手部，AR眼镜通过摄像头拍摄场景图像，识别场景图像中的用户手部，当识别到场景图像中的用户手部时，实时捕捉用户手部的运动情况，获得用户手势信息。由于机械臂有多个机械臂关节，AR眼镜在捕捉用户手部的运动情况时，可以确定在AR眼镜的显示范围内用户手部所在的机械臂控制区域和用户手部的移动轨迹，因此，用户手势信息包括用户手部所在的机械臂控制区域和用户手部的移动轨迹。

优选地，预先构建用户手部模型，将用户手部模型发送至AR眼镜，当AR眼镜识别到用户手部并捕捉用户手部的运动情况时，将AR眼镜中的用户手部模型与识别到的用户手部进行配准，从而在用户手部发生移动时AR眼镜中的用户手部模型同步移动，提高机械臂远程控制时的增强现实效果。

优选地，AR眼镜的目标对象还包括机械臂，在接收AR眼镜识别出的用户手势信息之前，接收AR眼镜拍摄机械臂的图像，依据机械臂的图像搭建机械臂的机械臂模型，将机械臂模型发送至AR眼镜，由AR眼镜输出机械臂模型，并将机械臂输出的机械臂模型与机械臂模型进行配准，从而使得用户观察到的机械臂模型与现实中的机械臂模型的位置和姿态相同，提高机械臂远程控制时的增强现实效果。

在步骤S102中，对用户手势信息进行分析，获得分析结果。

在本发明实施例中，用户手势信息包括用户手部所在的机械臂控制区域和用户手部的移动轨迹。在接收到AR眼镜发送的用户手势信息时，对用户手势信息进行分析，以确定用户手势所操作的机械臂关节和用户手势操作该机械臂关节的移动方向。由于AR眼镜输出的机械臂模型和现实场景中机械臂的位置、姿态相同，依据用户手部在AR眼镜内所在的机械臂控制区域，可以确定用户手部所操作的机械臂关节。获取用户手部的移动轨迹的移动方向，该移动方向即在用户的操作下机械臂关节的移动方向。

优选地，机械臂有6个机械臂关节，即6个自由度，假设为x关节、y关节、z关节、a关节、b关节和c关节，判断用户手部所在的机械臂控制区域所对应的机械臂关节，在依据移动轨迹移动方向确定用户手部控制该机械臂关节朝哪个方向移动，当控制x关节朝左移动时，分析结果为用户手势为x-手势，当控制x关节朝右移动时，分析结果为用户手势为x+手势，同样，当控制y关节、z关节、a关节、b关节或者c关节时，可以分析为y+、y-、z+、z-、a+、a-、b+、b-、c+或者c-，从而实现对用户手势的分析，提高机械臂远程控制的准确度和效果。此外，用户手势可能同时操作两个或两个以上的机械臂关节进行移动，此时需要分别确定用户手势操作每个机械臂关节的移动方向。

在步骤S103中，依据分析结果，生成用户手势对应的机械臂控制指令。

在本发明实施例中，在对用户手势信息进行分析后，获得用户手势所操作的机械臂关节和在用户手势操作下机械臂关节的移动方向，再获取用户手势信息中移动轨迹的长度，该长度为在用户手势操作下机械臂关节的移动距离。依据用户手势所操作的机械臂关节、机械臂关节的移动方向和机械臂关节的移动距离，生成机械臂控制指令。

在步骤S104中，将机械臂控制指令发送给机械臂的控制单元。

在本发明实施例中，将机械臂控制指令发送给机械臂的控制单元，有机械臂控制单元执行该机械臂控制指令，实现机械臂的远程控制。

优选地，当机械臂的控制单元执行机械臂控制指令时，通过AR眼镜上的摄像头实时拍摄场景图像，将AR眼镜中的机械臂模型与场景图像上的机械臂进行配准，使得机械臂模型与机械臂的位置姿态保持一致，即使得机械臂模型与机械臂重合，提高机械臂远程控制的增强现实效果。

优选地，在将AR眼镜中输出的机械臂模型与场景图像上的机械臂进行配准时，通过提取机械臂模型的特征和场景图像上机械臂的特征，将两者进行特征匹配，提高机械臂模型与机械臂的配准效果。

在本发明实施例中，接收AR眼镜识别出的用户手势信息，对用户手势信息进行分析，依据分析结果，生成相应的机械臂控制指令，将机械臂控制指令发送给机械臂的控制单元，从而借助AR眼镜实现用户手势与机械臂的交互，进而实现机械臂的远程控制，有效地提高机械臂控制的安全性和便捷性。

实施例二：

图2示出了本发明实施例二提供的机械臂的远程控制装置的结构，为了便于说明，仅示出了与本发明实施例相关的部分，其中包括：

手势信息接收单元21，用于接收AR眼镜识别出的用户手势信息。

在本发明实施例中，AR眼镜通过摄像头拍摄场景图像，识别场景图像中的用户手部，当识别到场景图像中的用户手部时，实时捕捉用户手部的运动情况，获得用户手势信息。由于机械臂有多个机械臂关节，AR眼镜在捕捉用户手部的运动情况时，可以确定在AR眼镜的显示范围内用户手部所在的机械臂控制区域和用户手部的移动轨迹。

优选地，预先构建用户手部模型，将用户手部模型发送至AR眼镜，当AR眼镜识别到用户手部并捕捉用户手部的运动情况时，将AR眼镜中的用户手部模型与识别到的用户手部进行配准，从而在用户手部发生移动时AR眼镜中的用户手部模型同步移动，提高机械臂远程控制时的增强现实效果。

优选地，AR眼镜的目标对象还包括机械臂，在接收AR眼镜识别出的用户手势信息之前，接收AR眼镜拍摄机械臂的图像，依据机械臂的图像搭建机械臂的机械臂模型，将机械臂模型发送至AR眼镜，由AR眼镜输出机械臂模型，并将机械臂输出的机械臂模型与机械臂模型进行配准，从而使得用户观察到的机械臂模型与现实中的机械臂模型的位置和姿态相同，提高机械臂远程控制时的增强现实效果。

手势分析单元22，用于对用户手势信息进行分析，获得分析结果。

在本发明实施例中，用户手势信息包括用户手部所在的机械臂控制区域和用户手部的移动轨迹。在接收到AR眼镜发送的用户手势信息后，对用户手势信息进行分析，以确定用户手势所操作的机械臂关节和用户手势操作该机械臂关节的移动方向。AR眼镜输出的机械臂模型和现实场景中机械臂的位置、姿态相同，依据用户手部在AR眼镜内所在的机械臂控制区域，可以确定用户手部所操作的机械臂关节。用户手部的移动轨迹的移动方向即在用户的操作下机械臂关节的移动方向。

优选地，机械臂有6个机械臂关节，即6个自由度，假设为x关节、y关节、z关节、a关节、b关节和c关节，判断用户手部所在的机械臂控制区域所对应的机械臂关节，在依据移动轨迹移动方向确定用户手部控制该机械臂关节朝哪个方向移动，当控制x关节朝左移动时，分析结果为用户手势为x-手势，当控制x关节朝右移动时，分析结果为用户手势为x+手势，同样，当控制y关节、z关节、a关节、b关节或者c关节时，可以分析为y+、y-、z+、z-、a+、a-、b+、b-、c+或者c-，从而实现对用户手势的分析，提高机械臂远程控制的准确度和效果。此外，用户手势可能同时操作两个或两个以上的机械臂关节进行移动，此时需要分别确定用户手势操作每个机械臂关节的移动方向。

指令生成单元23，用于依据分析结果，生成用户手势信息对应的机械臂控制指令。

在本发明实施例中，在对用户手势信息进行分析后，获得用户手势所操作的机械臂关节和在用户手势操作下机械臂关节的移动方向，再获取用户手势信息中移动轨迹的长度，该长度为在用户手势操作下机械臂关节的移动距离。依据用户手势所操作的机械臂关节、机械臂关节的移动方向和机械臂关节的移动距离，生成机械臂控制指令。

指令发送单元24，用于将所述机械臂控制指令发送给机械臂的控制单元。在本发明实施例中，将机械臂控制指令发送给机械臂的控制单元，有机械臂控制单元执行该机械臂控制指令，实现机械臂的远程控制。

优选地，当机械臂的控制单元执行机械臂控制指令时，通过AR眼镜上的摄像头实时拍摄场景图像，将AR眼镜中的机械臂模型与场景图像上的机械臂进行配准，使得机械臂模型与机械臂的位置姿态保持一致，即使得机械臂模型与机械臂重合，提高机械臂远程控制的增强现实效果。

优选地，在将AR眼镜中输出的机械臂模型与场景图像上的机械臂进行配准时，通过提取机械臂模型的特征和场景图像上机械臂的特征，将两者进行特征匹配，提高机械臂模型与机械臂的配准效果。

优选地，如图3所示，手势分析单元22还包括：

机械臂关节确定单元321，用于依据用户手部所在的机械臂控制区域，确定用户手势所操作的机械臂关节；以及

移动方向确定单元322，用于依据用户手部的移动轨迹，确定在用户手势操作下机械臂关节的移动方向。

在本发明实施例中，接收AR眼镜识别出的用户手势信息，对用户手势信息进行分析，依据分析结果，生成相应的机械臂控制指令，将机械臂控制指令发送给机械臂的控制单元，从而借助AR眼镜实现用户手势与机械臂的交互，进而实现机械臂的远程控制，有效地提高机械臂控制的安全性和便捷性。

在本发明实施例中，机械臂的远程控制装置的各单元可由相应的硬件或软件单元实现，各单元可以为独立的软、硬件单元，也可以集成为一个软、硬件单元，在此不用以限制本发明。

实施例三：

图4示出了本发明实施例四提供的机械臂的远程控制系统的结构，为了便于说明，仅示出了与本发明实施例相关的部分，机械臂的远程控制系统包括AR眼镜41、服务器42、控制单元43和机械臂44，其中：

AR眼镜41，用于识别用户手势，获得用户手势信息。

服务器42，用于接收AR眼镜43识别出的用户手势信息，对用户手势信息进行分析，获得分析结果，依据分析结果，生成用户手势信息对应的机械臂控制指令，将机械臂控制指令发送给机械臂的控制单元。

控制单元43，用于执行机械臂控制指令，对机械臂44进行控制。

优选地，服务器42在对用户手势信息进行分析时，依据用户手部所在的机械臂控制区域，确定用户所操作的机械臂关节，依据用户手部的移动轨迹，确定在用户的操作下机械臂关节的移动方向，以提高机械臂远程控制的准确度和效果。

优选地，服务器42在生成用户手势信息对应的机械臂控制指令时，依据用户手部的移动轨迹，确定在用户的操作下机械臂关节的移动距离，依据用户所操作的机械臂关节、机械臂关节的移动方向和机械臂关节的移动距离，生成机械臂控制指令，从而通过准确的机械臂控制指令对机械臂进行控制。

优选地，服务器42在接收AR眼镜识别出的用户手势信息的步骤之前，接收AR眼镜拍摄机械臂的图像，依据机械臂的图像搭建机械臂的机械臂模型，通过AR眼镜输出机械臂模型，并将AR眼镜输出的机械臂模型与机械臂图像进行配准，以采用AR眼镜实现机械臂远程控制时的增强现实效果。

在本发明实施例中，机械臂的远程控制系统中各部分的详细内容可参照实施例一各方法步骤的详细描述，在此不再赘述。

在本发明实施例中，接收AR眼镜识别出的用户手势信息，对用户手势信息进行分析，依据分析结果，生成相应的机械臂控制指令，将机械臂控制指令发送给机械臂的控制单元，从而借助AR眼镜实现用户手势与机械臂的交互，进而实现机械臂的远程控制，有效地提高机械臂控制的安全性和便捷性。

实施例四：

在本发明实施例中，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述方法实施例中的步骤，例如，图1所示的步骤S101至S104。或者，该计算机程序被处理器执行时实现上述装置实施例中各单元的功能，例如图2所示单元21至24的功能。

在本发明实施例中，接收AR眼镜识别出的用户手势信息，对用户手势信息进行分析，依据分析结果，生成相应的机械臂控制指令，将机械臂控制指令发送给机械臂的控制单元，从而借助AR眼镜实现用户手势与机械臂的交互，进而实现机械臂的远程控制，有效地提高机械臂控制的安全性和便捷性。

本发明实施例的计算机可读存储介质可以包括能够携带计算机程序代码的任何实体或装置、记录介质，例如，ROM/RAM、磁盘、光盘、闪存等存储器。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种机械臂的远程控制方法，其特征在于，所述方法包括下述步骤：

接收AR眼镜识别出的用户手势信息；

对所述用户手势信息进行分析，获得分析结果；

依据所述分析结果，生成所述用户手势信息对应的机械臂控制指令；

将所述机械臂控制指令发送给机械臂的控制单元。

2.如权利要求1所述的方法，其特征在于，所述用户手势信息包括用户手部所在的机械臂控制区域和所述用户手部的移动轨迹。

3.如权利要求2所述的方法，其特征在于，对所述用户手势信息进行分析的步骤，包括：

依据所述用户手部所在的机械臂控制区域，确定用户所操作的机械臂关节；

依据所述用户手部的移动轨迹，确定在所述用户的操作下所述机械臂关节的移动方向。

4.如权利要求3所述的方法，其特征在于，生成所述用户手势信息对应的机械臂控制指令的步骤，包括：

依据所述用户手部的移动轨迹，确定在所述用户的操作下所述机械臂关节的移动距离；

依据所述用户所操作的机械臂关节、所述机械臂关节的移动方向和所述机械臂关节的移动距离，生成所述机械臂控制指令。

5.如权利要求1所述的方法，其特征在于，接收AR眼镜识别出的用户手势信息的步骤之前，所述方法还包括：

接收所述AR眼镜拍摄所述机械臂的图像，依据所述机械臂的图像搭建所述机械臂的机械臂模型；

通过所述AR眼镜输出所述机械臂模型，并将所述AR眼镜输出的所述机械臂模型与所述机械臂图像进行配准。

6.一种机械臂的远程控制装置，其特征在于，所述装置包括：

手势信息接收单元，用于接收AR眼镜识别出的用户手势信息；

手势分析单元，用于对所述用户手势信息进行分析，获得分析结果；

指令生成单元，用于依据所述分析结果，生成所述用户手势信息对应的机械臂控制指令；以及

指令发送单元，用于将所述机械臂控制指令发送给机械臂的控制单元。

7.如权利要求6所述的装置，其特征在于，所述用户手势信息包括用户手部所在的机械臂控制区域和所述用户手部的移动轨迹。

8.如权利要求7所述的装置，其特征在于，所述手势分析单元包括：

机械臂关节确定单元，用于依据所述用户手部所在的机械臂控制区域，确定用户所操作的机械臂关节；以及

移动方向确定单元，用于依据所述用户手部的移动轨迹，确定在所述用户的操作下所述机械臂关节的移动方向。

9.一种机械臂的远程控制系统，其特征在于，所述系统包括：

AR眼镜，用于识别用户手势，获得用户手势信息；

服务器，用于接收AR眼镜识别出的用户手势信息，对所述用户手势信息进行分析，获得分析结果，依据所述分析结果，生成所述用户手势信息对应的机械臂控制指令，将所述机械臂控制指令发送给机械臂的控制单元；

控制单元，用于执行所述机械臂控制指令，对所述机械臂进行控制；以及

所述机械臂。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述方法的步骤。