CN112276914A

CN112276914A - 一种基于ar技术的工业机器人及其人机交互方法

Info

Publication number: CN112276914A
Application number: CN202011580109.9A
Authority: CN
Inventors: 奚卫彬
Original assignee: Foshan Guanbo Machinery Technology Development Co ltd
Current assignee: Foshan Guanbo Machinery Technology Development Co ltd
Priority date: 2020-12-28
Filing date: 2020-12-28
Publication date: 2021-01-29
Anticipated expiration: 2040-12-28
Also published as: CN112276914B

Abstract

本发明涉及一种基于AR技术的工业机器人及其人机交互方法，包括：地轨以及配合连接在地轨上的至少一个平台，滑动机构底部设置有第一铰接件，第一铰接件配合连接有第一机臂，第一机臂一端通过第二铰接件配合连接有第二机臂，第二机臂端部设置有操作机构，第一机臂与第二机臂位于不同平面转动；第一机臂与第二机臂上均设置有传感器，传感器用于检测第一机臂与第二机臂动作信息；通过AR头盔进行虚拟空间与机器人操作空间信号互连，能够实现复杂环境下，人不需要进入现场，也可以通过人体肢体动作，进行控制工业机器人实现对应的动作，并能够在人机交互虚拟界面实现工业机器人的自检与实时工作场景的实时传输。

Description

一种基于AR技术的工业机器人及其人机交互方法

技术领域

本发明涉及工业领域、机器人领域、AR增强现实领域或人机交互领域，尤其涉及一种基于AR技术的工业机器人及其人机交互方法。

背景技术

增强现实(AR)，也被称之为混合现实。它通过电脑技术，将虚拟的信息应用到真实世界，真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。增强现实提供了在一般情况下，不同于人类可以感知的信息。它不仅展现了真实世界的信息,而且将虚拟的信息同时显示出来，两种信息相互补充、叠加，而且由于其具有能够对真实环境进行增强显示输出的特性，在医疗研究与解剖训练、精密仪器制造和维修、军用飞机导航、工程设计和远程机器人控制等领域，具有比VR技术更加明显的优势，工业机器人是面向工业领域的多关节机械手或多自由度的机器装置，它能自动执行工作，是靠自身动力和控制能力来实现各种功能的一种机器，它可以接受人类指挥，也可以按照预先编排的程序运行，现代的工业机器人还可以根据人工智能技术制定的原则纲领行动，工业机器人在工业生产中能代替人做某些单调、频繁和重复的长时间作业，或是危险、恶劣环境下的作业，例如在冲压、压力铸造、热处理、焊接、涂装、塑料制品成形、机械加工和简单装配等工序上，以及在原子能工业等部门中，完成对人体有害物料的搬运或工艺操作，在发达国家中，工业机器人自动化生产线成套设备已成为自动化装备的主流及未来的发展方向。国外汽车行业、电子电器行业、工程机械等行业已经大量使用工业机器人自动化生产线，以保证产品质量，提高生产效率，同时避免了大量的工伤事故，工业机器人长期处于恶劣的工业环境下运作，且在工作过程中需要较高的精度，通过工业机器人与增强显示技术结合，进行人机交互，能够实现复杂环境下，人不需要进入现场，也可以通过人体肢体动作，进行控制工业机器人实现对应的动作，并能够在人机交互虚拟界面实现工业机器人的自检与实时工作场景的传输。

发明内容

本发明克服了现有技术的不足，提供一种基于AR技术的工业机器人及其人机交互方法。

为达到上述目的，本发明采用的技术方案为：一种基于AR技术的工业机器人，包括：地轨以及配合连接在地轨上的至少一个平台，

所述平台顶部设置有立架，所述立架顶部固定连接有横架，所述横架下侧配合连接有至少一个滑动机构，所述滑动机构底部设置有第一铰接件，所述第一铰接件配合连接有第一机臂，所述第一机臂一端通过第二铰接件配合连接有第二机臂，所述第二机臂端部设置有操作机构，所述第一机臂与所述第二机臂位于不同平面转动；

所述第一机臂与所述第二机臂上均设置有传感器，所述传感器用于检测所述第一机臂与所述第二机臂动作信息；

所述第二机臂端部设置有卡接机构，所述卡接机构端部配合连接有操作头，所述操作头一侧配合连接有摄像机构。

本发明一个较佳实施例中，还包括AR头盔，所述AR头盔上设置有显示器，所述显示器与所述摄像机构电性连接，所述显示器能够接收所述摄像机构实时拍摄的画面。

本发明一个较佳实施例中，所述第一机臂与所述第二机臂联动配合。

本发明一个较佳实施例中，所述操作机构能够旋转。

本发明一个较佳实施例中，所述平台为双层结构，所述平台上设置有至少一个主机，所述主机上方设置有控制机构。

本发明一个较佳实施例中，所述地轨一侧设置有线槽，所述线槽内部设置有控制线，所述控制线电性连接有电机，所述电机控制所述平台沿所述地轨滑动。

本发明一个较佳实施例中，所述操作头为可拆卸结构。

为达到上述目的，本发明采用的另一种技术方案为：一种人机交互方法，应用于一种基于AR技术的工业机器人，包括如下步骤：

建立AR虚拟空间，生成虚拟人物体态参数，提取特征值，生成空间模型；

通过空间模型对AR虚拟空间内的虚拟人物进行位置标定，得到虚拟人物位置信息；

建立工业机器人操作空间，获取工业机器人初始位姿信息，生成标志点位置信息；

将虚拟人物位置信息与标志点位置信息进行比较，得到偏差率；

判断所述偏差率是否大于预定阈值；

若大于，则生成补偿信息，通过补偿信息对工业机器人位姿进行误差补偿。

本发明一个较佳实施例中，获取人体姿态信息，提取标志点特征值，建立三维交互模式；

通过三维交互模式实现人体姿态信息与虚拟人物姿态信息动态交互，生成交互信息；

根据交互信息控制工业机器人按照预定方式动作，生成动作信息；

采集工业机器人光学信息，并将动作信息进行二维投影，生成图像信息；

将图像信息输出至AR虚拟空间。

本发明一个较佳实施例中，所述人体姿态信息包括人手指向信息、人手蜷缩信息、手臂弯曲信息、手臂伸展信息、手臂摆动信息，手掌朝向信息、手掌平面信息、指尖摆动信息中的一种或两种以上的组合。

本发明解决了背景技术中存在的缺陷，本发明具备以下有益效果：

（1）通过第一机臂与所述第二机臂位于不同平面转动，实现工业机器人广角动作，能够实现工业机器人的智能化操作，并适用于多种工作场景。

（2）通过AR头盔进行虚拟空间与机器人操作空间信号互连，并对人体区域监测跟踪、特征提取并根据指尖、手指指向或手掌平面等手势建立三维交互模式，从而将从真实世界提取的人体信息对齐到虚拟世界，并实现人体操作控制工业机器人实现动作交互。

（3）通过人机交互，能够实现复杂环境下，人不需要进入现场，也可以通过人体肢体动作，进行控制工业机器人实现对应的动作，并能够在人机交互虚拟界面实现工业机器人的自检与实时工作场景的实时传输。

附图说明

图1示出了本发明工业机器人局部立体结构示意图；

图2示出了工业机器人另一角度示意图；

图3示出了第一机臂与第二机臂连接结构示意图；

图4示出了操作机构结构示意图；

图5示出了电机位置结构示意图；

图6示出了平台结构示意图；

图7示出了人机交互方法流程图；

图8示出了通过三维交互模式生成交互信息方法流程图。

图中：1、横架，2、滑动机构，3、第一铰接件，4、第一机臂，5、第二铰接件，6、操作机构，7、第二机臂，8、控制机构，9、平台，10、主机，11、控制线，12、线槽，13、地轨，14、立架，15、筋，16、摄像机构，17、操作头，18、卡接机构，19、电机。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明保护范围的限制。此外，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或隐含指明所指示的技术特征的数量。因此，限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明创造的描述中，除非另有说明，“多个”的含义是两个或两个以上。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以通过具体情况理解上述术语在本发明中的具体含义。

图1示出了本发明一种工业机器人局部立体结构示意图。

如图1-2所示，本发明第一方面提供了一种基于AR技术的工业机器人，包括：地轨13以及配合连接在地轨13上的至少一个平台9，

平台9顶部设置有立架14，立架14顶部固定连接有横架1，横架1下侧配合连接有至少一个滑动机构2，滑动机构2底部设置有第一铰接件3，第一铰接件3配合连接有第一机臂4，第一机臂4一端通过第二铰接件5配合连接有第二机臂7，第二机臂7端部设置有操作机构6，第一机臂4与第二机臂7位于不同平面转动；

第一机臂4与第二机臂7上均设置有传感器，传感器用于检测第一机臂4与第二机臂7动作信息；

第二机臂7端部设置有卡接机构18，卡接机构18端部配合连接有操作头17，操作头17一侧配合连接有摄像机构16。

需要说明的是，横架1与立架14之间通过筋15配合连接，通过第一机臂4与所述第二机臂7位于不同平面转动，实现工业机器人广角动作，能够实现工业机器人的智能化操作，并适用于多种工作场景，摄像机构16拍摄的画面实时传输至AR头盔，实现工业机器人操作画面的实时传输，并能够实时观察操作头17的操作状态，当操作头17发生偏转时，能够进行操作头17的调整。

根据本发明实施例，还包括AR头盔，AR头盔上设置有显示器，显示器与摄像机构16电性连接，显示器能够接收摄像机构16实时拍摄的画面。

需要说明的是，通过AR头盔进行虚拟空间与机器人操作空间信号互连，并对人体区域监测跟踪、特征提取并根据指尖、手指指向或手掌平面等手势建立三维交互模式，从而将从真实世界提取的人体信息对齐到虚拟世界，并实现人体操作控制工业机器人实现动作交互。头戴式 AR 设备可以实时感知佩戴者周围的环境，并在佩戴者的面前投射出全息图像与现实世界的内容相互叠加，不仅可以根据现实世界的环境内容进行不断变化，还可以与佩戴者进行实时交互活动，通过设备配备的摄像头对现实世界中的空间锚点标志进行识别，并将识别到的位置信息提供给 AR 显示系统，将虚拟世界的全息立体元素固定在现实世界的标志点处，标志点设置在手臂关节处、指尖或手掌或腿部，从而实现现实世界与虚拟世界的重合，以确保现实世界和虚拟世界内的空间位置、角度和尺度达到一致。

如图3所示，本发明公开了第一机臂4与第二机臂7连接结构示意图；

根据本发明实施例，第一机臂4与第二机臂7联动配合。

需要说明的是，第一机臂4与第二机臂7配合形成关节结构，实现工业机器人广角旋转以及移动操作的灵活性较高，工业机器人还包括第三机臂与第四机臂，第三机臂与第四机臂为一组，第三机臂与第四机臂配合形成关节结构，第三机臂、第四机臂与第一机臂4、第二机臂7能够进行联动配合，能够进行抓取操作。

如图4所示，本发明公开了操作机构6结构示意图；

根据本发明实施例，操作机构6能够旋转，第二机臂7端部设置有卡接机构18，卡接机构18端部配合连接有操作头17，操作头17一侧配合连接有摄像机构16

如图6所示，本发明公开了平台9结构示意图；

根据本发明实施例，平台9为双层结构，平台9上设置有至少一个主机10，主机10上方设置有控制机构8。

需要说明的是，在对工业机械人进行位置定位及操作定位时采用机械跟踪定位、电磁跟踪定位、超声波跟踪定位、光学跟踪定位、惯性装置跟踪定位、陀螺仪跟踪定位、跟踪定位中的一种或多种。

如图5所示，本发明公开了电机19位置结构示意图；

根据本发明实施例，地轨13一侧设置有线槽12，线槽12内部设置有控制线11，控制线11电性连接有电机19，电机19控制平台9沿地轨13滑动。

需要说明的是，地轨13内侧设置有若干个齿轮，平台9底部设置有与齿轮相啮合的卡接结构，使平台9能够沿地轨13灵活移动的同时，实现平台9的可拆卸连接，平台能够是两个或多个，当平台为2个时，2个平台均沿地轨滑动，2个平台能够实现配合联动，实现工业机器人高难度操作。

根据本发明实施例，操作头17为可拆卸结构。

需要说明的是，操作头17能够是机械手或插针或喷胶管，但不限于这几种，本领域技术人员能够根据工业机器人的具体用途，进行更换相应的操作头17。

如图7所示，本发明公开了一种人机交互方法流程图；

S102，建立AR虚拟空间，生成虚拟人物体态参数，提取特征值，生成空间模型；

S104，通过空间模型对AR虚拟空间内的虚拟人物进行位置标定，得到虚拟人物位置信息；

S106，建立工业机器人操作空间，获取工业机器人初始位姿信息，生成标志点位置信息；

S108，将虚拟人物位置信息与标志点位置信息进行比较，得到偏差率；

S110，判断偏差率是否大于预定阈值；

S112，若大于，则生成补偿信息，通过补偿信息对工业机器人位姿进行误差补偿。

需要说明的是，虚拟场景是计算机图形硬件生成的虚拟世界,是交互客体的集合，通过图形学技术将三维信息完整的虚拟模型经图形管线的变换,显示到二维的输出设备上，将空间一致的人手自然三维交互恢复出交互客体的三维信息,使之与三维的交互主体无缝的融合。

需要说明的是，注册是增强现实的重要概念,常见注册内容有光源注册和三维注册，本申请中采用光源注册与三维注册进行融合，根据硬件设备跟踪操作者运动位姿,并结合视觉方法对结果进行误差补偿，同时将误差补偿信息传输至工业机器人，进行工业机器人动作的适配性调整，通过人机交互，能够实现复杂环境下，人不需要进入现场，也可以通过人体肢体动作，进行控制工业机器人实现对应的动作，并能够在人机交互虚拟界面实现工业机器人的自检与实时工作场景的实时传输。

工作场景的实时传输包括AR虚拟空间的场景渲染，使虚拟空间与操作控制进达到空间场景一致性的要求，实现人体肢体动作及交互行为、操作性手势进行控制工业机器人实现对应的动作。

通过高精度测量设备获取的机器人实际定位误差数据是参数识别和误差估计的原始依据。误差测量的工具包括零点标定工具、球杆仪、经纬仪、坐标测量机和激光跟踪仪等对工业机器人的位姿误差进行测量。

需要说明的是，在进行工业机器人位姿监测过程中，通过建立正向运动模型，根据工业机器人各个机臂位于操作空间的位置坐标进行求解机臂动作过程中的位姿，并建立机器人操作空间与AR虚拟空间之间的映射关系，从而实现操作空间与虚拟空间之间的耦合，并通过人体肢体动作对工业机器人动作信息进行标定，保证工业机器人精准的动作，减小工业机器人动作过程中的误差。

需要说明的是，工业机器人在进行人机交互过程中的位姿误差为机器人在操作空间中机臂坐标变化过程中的偏差率，当机臂坐标变化偏差率大于预定阈值时，则表明机器人位姿误差处于不正常范围内，需要进行误差补偿；

第一机臂4与第二机臂7配合形成关节结构，实现工业机器人广角旋转以及移动操作的灵活性较高，工业机器人还包括第三机臂与第四机臂，第三机臂与第四机臂为一组，第三机臂与第四机臂配合形成关节结构，第三机臂、第四机臂与第一机臂4、第二机臂7能够进行联动配合，能够进行抓取操作，第一机臂4与第二机臂7形成一个关节机构，第三机臂与第四机臂形成一个关节结构，两个关节结构实现机器人多自由度动作，两个关节的位姿误差之间存在一定的相似性，其相似程度可通过如下公式表示：

其中

表示相似程度；

，

均表示修正系数，

表示第一机臂4位姿误差，

表示第一机臂4动作过程中

增量变化下的位姿误差；

表示第二机臂7位姿误差，

表示第二机臂7动作过程中

增量变化下的位姿误差；

表示第三机臂位姿误差，

表示第三机臂动作过程中

增量变化下的位姿误差；

表示第四机臂位姿误差，

表示第四机臂动作过程中

增量变化下的位姿误差；其中

与

能够相等或不等，

与

能够相等或不等，在操作空间内工业机器人的位姿误差有正有负，且位姿误差在有限的范围内变化。

如图8所示，本发明公开了通过三维交互模式生成交互信息方法流程图；

根据本发明实施例，还包括：

S202，获取人体姿态信息，提取标志点特征值，建立三维交互模式；

S204，通过三维交互模式实现人体姿态信息与虚拟人物姿态信息动态交互，生成交互信息；

S206，根据交互信息控制工业机器人按照预定方式动作，生成动作信息；

S208，采集工业机器人光学信息，并将动作信息进行二维投影，生成图像信息；

S210，将图像信息输出至AR虚拟空间。

需要说明的是，通过采集图像获取人体姿态信息，并对图像目标区域进行区域分割，语义提取，通过特征值进行表征人体姿态信息，基于表征的方法直接从图像推算出手势,分析图像的几何信息、手掌和手指的位置信息以及轮廓边界信息等，识别速度快,能够满足实时应用的需求,具有较强的实用性。

根据本发明实施例，人体姿态信息包括人手指向信息、人手蜷缩信息、手臂弯曲信息、手臂伸展信息、手臂摆动信息，手掌朝向信息、手掌平面信息、指尖摆动信息中的一种或两种以上的组合。

需要说明的是，监测人体姿态信息包括在人体关节处设置至少一个肌电传感器，肌电传感器用于检测人体动作过程中的肌电信号，如握拳、拍掌、手臂弯曲等信息，通过不同的人体肢体动作向工业机器人发送不同的指令，使得工业机器人进行适配性操作。

还包括特征提取模块，特征提取模块接收所述数据预处理模块输出的数据信息，并根据所述数据信息获得三维姿态信息，由三维姿态信息和加速度数据信息计算得到地球坐标系下人体肢体动作对应的轨迹数据，进而定义出一虚拟空间内的操作指令，再将所述轨迹数据投影到虚拟操作空间内，并对投影后的数据进行特征数据提取。

综上所述，通过第一机臂4与所述第二机臂7位于不同平面转动，实现工业机器人广角动作，能够实现工业机器人的智能化操作，并适用于多种工作场景。

通过AR头盔进行虚拟空间与机器人操作空间信号互连，并对人体区域监测跟踪、特征提取并根据指尖、手指指向或手掌平面等手势建立三维交互模式，从而将从真实世界提取的人体信息对齐到虚拟世界，并实现人体操作控制工业机器人实现动作交互。

通过人机交互，能够实现复杂环境下，人不需要进入现场，也可以通过人体肢体动作，进行控制工业机器人实现对应的动作，并能够在人机交互虚拟界面实现工业机器人的自检与实时工作场景的实时传输。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。

或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机、服务器、或者网络设备等）执行本发明各个实施例方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims

1.一种基于AR技术的工业机器人，包括：地轨以及配合连接在地轨上的至少一个平台，其特征在于，

2.根据权利要求1所述的一种基于AR技术的工业机器人，其特征在于，还包括AR头盔，所述AR头盔上设置有显示器，所述显示器与所述摄像机构电性连接，所述显示器能够接收所述摄像机构实时拍摄的画面。

3.根据权利要求1所述的一种基于AR技术的工业机器人，其特征在于，所述第一机臂与所述第二机臂联动配合。

4.根据权利要求1所述的一种基于AR技术的工业机器人，其特征在于，所述操作机构能够旋转。

5.根据权利要求3所述的一种基于AR技术的工业机器人，其特征在于，所述平台为双层结构，所述平台上设置有至少一个主机，所述主机上方设置有控制机构。

6.根据权利要求5所述的一种基于AR技术的工业机器人，其特征在于，所述地轨一侧设置有线槽，所述线槽内部设置有控制线，所述控制线电性连接有电机，所述电机控制所述平台沿所述地轨滑动。

7.根据权利要求6所述的一种基于AR技术的工业机器人，其特征在于，所述操作头为可拆卸结构。

8.一种人机交互方法，应用于权利要求1-7中任一权利要求所述的一种基于AR技术的工业机器人，其特征在于，包括如下步骤：

判断所述偏差率是否大于预定阈值；

9.根据权利要求8所述的一种人机交互方法，其特征在于，还包括：

获取人体姿态信息，提取标志点特征值，建立三维交互模式；

将图像信息输出至AR虚拟空间。

10.根据权利要求9所述的一种人机交互方法，其特征在于，所述人体姿态信息包括人手指向信息、人手蜷缩信息、手臂弯曲信息、手臂伸展信息、手臂摆动信息，手掌朝向信息、手掌平面信息、指尖摆动信息中的一种或两种以上的组合。