CN113485549A - 基于混合现实技术的航空生产线人工操作指引系统及方法 - Google Patents

Abstract

本发明是一种基于混合现实技术的航空生产线人工操作指引系统及方法，该系统包括混合现实硬件、指令识别模块、产品工装模型库、产品选择模块、逻辑控制模块、操作执行模块、信息存储模块、操作演示模块、虚实融合模块；在操作过程中，工人通过凝视、手势和声音就可以实现该操作指引系统所有的交互，这种交互体验感与真实环境中操作过程更为接近，而且不需要过多的设备和连接线，不但可以提高工人的工作效率，还可以有效减少操作出错率。

Description

基于混合现实技术的航空生产线人工操作指引系统及方法

技术领域

本发明是一种基于混合现实技术的航空生产线人工操作指引系统及方法，涉及航空生产制造领域。

背景技术

由于航空产品的生产存在多品种变批量的生产特点，生产柔性需求较高，且部分工艺由于特殊工序要求，必须由人工完成，因此，生产现场往往由工人和机械设备共同完成生产任务。人工操作对经验和培训的依赖较高，生产现场主要依靠操作人员的生产经验、操作说明书文件或看板视频指导具体操作，若一线员工前期培训不到位、经验不足、甚至一些主观因素，都会造成航空产品报废，损失巨大。随着虚拟现实技术(VR)的发展，借助虚拟现实头戴式设备开展虚拟培训，使得生产工人在上岗前可以在虚拟环境中得到模拟操作培训，相较于传统的培训方式，其培训效果十分显著，但受限于虚拟现实技术沉浸式体验的特点，该技术无法实现在真实作业环境中对操作工人进行指导，尤其针对复杂产品的人工作业，操作人员上岗后仍需对工艺过程精准记忆，且难以应对柔性生产的需求。综上所述，传统的生产培训、纸质工艺规程文件等，由于不直观、文件繁复，其对生产工人的现场作业指导效果较差；而基于VR的虚拟培训，无法实现将虚拟操作指引与真实场景融合，更无法在生产现场对生产工人提供有效的操作指导。

发明内容

本发明正是针对上述现有技术状况而设计提供了一种基于混合现实技术的航空生产线人工操作指引系统及方法，其目的是针对纸质工艺规程文件、传统生产培训以及基于VR的虚拟培训中的不足，提供一种基于混合现实技术的航空生产线人工操作指引系统及方法。

为实现上述目的，本发明采用的技术方案如下：

该种基于混合现实技术的航空生产线人工操作指引系统包括：

混合现实硬件，与指令识别模块和虚实融合模块通信连接，功能是显示航空生产线产品和工装的三维模型、识别当下操作工序信息、获取操作人员位置信息；

指令识别模块，与混合现实硬件和产品选择模块通信连接，功能是设置并运行混合现实硬件，采集佩戴混合现实硬件的操作人员的操作信息，该操作信息来自于虚拟交互操作指令中的动作和语音；

产品选择模块，与指令识别模块和操作执行模块通信连接，功能是根据指令识别模块采集的控制指令，将航空产品的三维模型、工装的三维模型和操作演示模块加载到所述混合现实硬件的当前显示界面；

操作执行模块，与产品选择模块和产品工装模型库、逻辑控制模块、信息存储模块、操作演示模块通信连接，功能是根据所述产品选择模块加载不同场景的航空产品，然后按照航空产品操作逻辑调用所述逻辑控制模块中的操作逻辑函数，根据所述混合现实硬件采集的场景信息以及操作工序信息、指令识别模块采集的控制指令，通过调用的操作逻辑函数进行航空产品操作逻辑判断；

产品工装模型库，与操作执行模块和虚实融合模块通信连接，功能是存储航空产品的三维模型、各种工装的三维模型以及航空产品模型操作演示动画；

逻辑控制模块，与操作执行模块和虚实融合模块通信连接，功能是存储航空产品三维模型之间的操作逻辑函数；

信息存储模块，与操作执行模块和虚实融合模块通信连接，功能是存储操作说明的文本信息；

操作演示模块，与操作执行模块和虚实融合模块通信连接，功能是根据所述产品选择模块加载的航空产品调用所述产品工装模型库中存储的航空产品模型操作演示动画，并发送至所述混合现实硬件进行显示；

虚实融合模块，与混合现实硬件和产品工装模型库、逻辑控制模块、信息存储模块、操作演示模块通信连接，功能是将混合现实硬件采集到的场景信息与通过指令识别模块所选择的虚拟三维模型，透过混合现实硬件的显示屏将虚拟三维模型显示在真实物理环境中，以虚实融合方式显示。

进一步，逻辑控制模块中所述的操作逻辑函数包括指令识别模块输入检测函数、操作工艺检测函数、操作工装检测函数、当前航空产品的约束函数、操作动作函数和更新产品约束状态函数。

本发明技术方案还提供一种基于混合现实技术的航空生产线人工操作指引方法，该方法的步骤如下：

步骤一、配置好混合现实硬件和指令识别模块，将所述混合现实硬件和指令识别模块与其他各模块通信连接；

步骤二、佩戴所述混合现实硬件的操作人员，通过所述指令识别模块操作所述混合现实硬件中显示的航空产品三维模型，由所述混合现实硬件的产品选择模块接收所述指令识别模块的控制指令，根据所述控制指令加载所述航空产品三维模型对应的产品和工装，由所述混合现实硬件的产品工装模型库向所述虚实融合模块发送对应航空产品和工装的三维模型；

步骤三、操作人员通过所述混合现实硬件观看已选择航空产品的三维模型和对应航空产品的数据信息，所述混合现实硬件的逻辑控制模块根据所述产品选择模块加载的航空产品调用信息存储模块中存储的操作说明文本信息，并发送至所述混合现实硬件进行显示；

步骤四、操作人员通过所述混合现实硬件观看已选择航空产品的三维模型，播放操作演示动画，所述混合现实硬件的虚实融合模块根据所述产品选择模块加载的航空产品调用所述产品工装模型库中存储的对应的航空产品模型操作演示动画，并发送至所述混合现实硬件进行显示；

步骤五、操作人员通过所述混合现实硬件的指令识别模块，接收指令后进入操作执行模块，在真实环境添加所选的航空产品三维模型，并通过该操作人员经所述指令识别模块的输入进行检测；

步骤六、所述指令识别模块检测操作人员输入的控制指令，所述操作执行模块调用逻辑控制模块挂载到每个航空产品上的逻辑控制脚本中的指令识别模块输入检测函数，根据指令识别模块采集的控制指令判断操作人员是否已选择相应工装，如果使用指令识别模块已选择工装，则执行下一步骤；

步骤七、所述产品选择模块根据操作人员输入的控制指令触发产品检测事件，所述操作执行模块调用所述逻辑控制模块挂载到航空产品的三维模型上的逻辑控制模块中的指令识别模块输入检测函数；

步骤八、所述操作执行模块根据所述产品选择模块传输的所述混合现实硬件采集的位置信息和所述指令识别模块采集的控制指令判断零件是否在操作范围内，若在操作范围内，则进入下一步骤，否则返回至上一步骤；

步骤九、所述操作执行模块调用所述逻辑控制模块中挂载到航空产品的逻辑控制脚本中的操作工具检测函数，并根据所述混合现实硬件采集的位置信息和所述指令识别模块采集的控制指令判断操作工具是否正确，是则执行下一操作步骤，否则回到上一步骤；

步骤十、所述操作执行模块调用所述逻辑控制模块中挂载到航空产品的逻辑控制脚本中的当前产品约束函数，根据所述混合现实硬件采集的位置信息和所述指令识别模块采集的控制指令判断当前产品的约束状态，若满足当前产品的约束状态，进入一下步骤，否则回到上一步骤；

步骤十一、所述操作执行模块调用所述逻辑控制模块中挂载到航空产品的逻辑控制脚本中的操作动作函数，根据所述混合现实硬件采集的位置信息和所述指令识别模块采集的控制指令，执行产品的操作动作；

步骤十二、所述操作执行模块调用所述逻辑控制模块挂载到航空产品的逻辑控制脚本中的更新产品的约束状态，并更新产品当前状态为解除约束，完成当前航空产品操作流程；

步骤十三、返回所述步骤六，进行下一个航空产品的操作过程；

步骤十四、重复所述步骤六至步骤十三，直至所述航空产品三维模型的所有操作过程全部执行完毕。

本发明技术方案的有益效果：

(1)操作人员佩戴混合现实硬件然后发出指令就可以实现对航空产品的生产操作，不但可用于培训，更适用于生产现场的作业指引，不受时间、空间限制，还大大增加了人员操作的柔性；

(2)混合现实的优势就是在真实环境的基础上添加虚拟模型，操作人员借助该系统可以在看到真实环境的同时，结合虚拟引导完成对航空产品的实际操作，真正做到“虚实结合”；

(3)在操作过程中，工人通过凝视、手势和声音就可以实现该操作指引系统所有的交互，这种交互体验感与真实环境中操作过程更为接近，而且不需要过多的设备和连接线，不但可以提高工人的工作效率，还可以有效减少操作出错率。

附图说明

图1为本发明所述系统的组成及结构示意图

图2为本发明所述方法的实施流程图

具体实施方式

如图1所示，本发明实施例提供一种基于混合现实技术的航空生产线人工操作指引系统，该系统应用于航空生产线生产现场的人工作业环节，操作人员通过佩戴本系统的混合现实硬件，可以自动识别待装配、待维修的航空产品信息，在混合现实硬件中显示装配演示动画、或维修演示动画，同时显示三维虚拟模型在混合现实硬件显示屏幕前，与生产现场待装配、待维修的产品实现虚实融合，逐步指引操作人员完成操作。

本系统包括：混合现实硬件、指令识别模块、产品工装模型库、产品选择模块、逻辑控制模块、操作执行模块、信息存储模块、操作演示模块、虚实融合模块，其中，

所述混合现实硬件，为混合现实眼镜，操作人员通过佩戴混合现实眼镜，可以看到装配演示动画、或维修演示动画、或三维虚拟模型。混合现实硬件与指令识别模块和虚实融合模块通信连接，功能是显示航空生产线产品和工装的三维模型、识别当下操作工序信息、获取操作人员位置信息；

所述指令识别模块，由C#编程语言开发实现，与混合现实硬件和产品选择模块通信连接，佩戴混合现实硬件的人员启动系统后，指令识别模块通过识别佩戴人员的动作和语音，确定对应指令完成确认、退出等操作。；

所述产品工装模型库，由包括但不限于CATIA、UG、ProE等格式的航空产品的三维模型、各种工装的三维模型以及航空产品模型操作演示动画组成，与操作执行模块和虚实融合模块通信连接；

所述产品选择模块，由C#编程语言开发实现，与指令识别模块和操作执行模块通信连接，功能是根据指令识别模块采集的控制指令，将航空产品的三维模型、工装的三维模型和操作演示模块加载到所述混合现实硬件的当前显示界面；

所述逻辑控制模块，用于存储航空产品三维模型之间的操作逻辑函数；所述操作逻辑函数，由基于C#语言自主开发的检测函数和约束函数组成，具体包括：指令识别模块输入检测函数、操作工艺检测函数、操作工装检测函数、当前航空产品的约束函数、操作动作函数和更新产品约束状态函数；

所述操作执行模块，由C#编程语言开发实现，能根据所述产品选择模块加载不同场景的航空产品，然后按照航空产品操作逻辑调用所述逻辑控制模块中的操作逻辑函数，根据所述混合现实硬件采集的场景信息以及操作工序信息、命令识别模块采集的控制指令，通过调用的操作逻辑函数进行航空产品操作逻辑判断；

所述信息存储模块，由C#编程语言开发实现，用于存储操作说明的文本信息；

所述操作演示模块，由C#编程语言开发实现，能根据所述产品选择模块加载的航空产品调用所述产品工装模型库中存储的航空产品模型操作演示动画，并发送至所述混合现实硬件进行显示；

所述虚实融合模块，由C#编程语言开发实现，能通过所述的混合现实硬件采集到的场景信息与通过指令识别模块所选择的虚拟三维模型，透过所述混合现实硬件的显示屏将虚拟三维模型显示在真实物理环境中，以虚实融合方式显示。

上述人工操作指引系统中，混合现实硬件内设置动态定位模块，能进行六轴追踪，模拟出人类自然的视角转换。

如图2所示，本发明实施例还提供一种基于混合现实技术的航空生产线人工操作指引方法，采用上述的航空生产线人工操作指引系统，包括：

步骤1)配置好混合现实硬件和指令识别模块，将所述混合现实硬件和指令识别模块与其他各模块通信连接；

步骤2)佩戴所述混合现实硬件的操作人员，通过所述指令识别模块操作所述混合现实硬件中显示的航空产品三维模型，由所述混合现实硬件的产品选择模块接收所述指令识别模块的控制指令，根据所述控制指令加载所述航空产品三维模型对应的产品和工装，由所述混合现实硬件的产品工装模型库向所述虚实融合模块发送对应航空产品和工装的三维模型；

步骤3)操作人员通过所述混合现实硬件观看已选择航空产品的三维模型和对应航空产品的数据信息，所述混合现实硬件的逻辑控制模块根据所述产品选择模块加载的航空产品调用信息存储模块中存储的操作说明文本信息，并发送至所述混合现实硬件进行显示；

步骤4)操作人员通过所述混合现实硬件观看已选择航空产品的三维模型，播放操作演示动画，所述混合现实硬件的虚实融合模块根据所述产品选择模块加载的航空产品调用所述产品工装模型库中存储的对应的航空产品模型操作演示动画，并发送至所述混合现实硬件进行显示；

步骤5)操作人员通过所述混合现实硬件的指令识别模块，接收指令后进入操作执行模块，在真实环境添加所选的航空产品三维模型，并通过该操作人员经所述指令识别模块的输入进行检测；

步骤6)所述指令识别模块检测操作人员输入的控制指令，所述操作执行模块调用逻辑控制模块挂载到每个航空产品上的逻辑控制脚本中的指令识别模块输入检测函数，根据指令识别模块采集的控制指令判断操作人员是否已选择相应工装，如果使用指令识别模块已选择工装，则执行下一步骤；

步骤7)所述产品选择模块根据操作人员输入的控制指令触发产品检测事件，所述操作执行模块调用所述逻辑控制模块挂载到航空产品的三维模型上的逻辑控制模块中的指令识别模块输入检测函数；

步骤8)所述操作执行模块根据所述产品选择模块传输的所述混合现实硬件采集的位置信息和所述指令识别模块采集的控制指令判断零件是否在操作范围内，若在操作范围内，则进入下一步骤，否则返回至上一步骤；

步骤9)所述操作执行模块调用所述逻辑控制模块中挂载到航空产品的逻辑控制脚本中的操作工具检测函数，并根据所述混合现实硬件采集的位置信息和所述指令识别模块采集的控制指令判断操作工具是否正确，是则执行下一操作步骤，否则回到上一步骤；

步骤10)所述操作执行模块调用所述逻辑控制模块中挂载到航空产品的逻辑控制脚本中的当前产品约束函数，根据所述混合现实硬件采集的位置信息和所述指令识别模块采集的控制指令判断当前产品的约束状态，若满足当前产品的约束状态，进入一下步骤，否则回到上一步骤；

步骤11)所述操作执行模块调用所述逻辑控制模块中挂载到航空产品的逻辑控制脚本中的操作动作函数，根据所述混合现实硬件采集的位置信息和所述指令识别模块采集的控制指令，执行产品的操作动作；

步骤12)所述操作执行模块调用所述逻辑控制模块挂载到航空产品的逻辑控制脚本中的更新产品的约束状态，并更新产品当前状态为解除约束，完成当前航空产品操作流程；

步骤13)返回所述步骤6)，进行下一个航空产品的操作过程；

步骤14)重复所述步骤6)至步骤13)，直至所述航空产品三维模型的所有操作过程全部执行完毕。

Claims (3)

1.一种基于混合现实技术的航空生产线人工操作指引系统，其特征在于：该系统包括：

混合现实硬件，与指令识别模块和虚实融合模块通信连接，功能是显示航空生产线产品和工装的三维模型、识别当下操作工序信息、获取操作人员位置信息；

指令识别模块，与混合现实硬件和产品选择模块通信连接，功能是设置并运行混合现实硬件，采集佩戴混合现实硬件的操作人员的操作信息，该操作信息来自于虚拟交互操作指令中的动作和语音；

产品选择模块，与指令识别模块和操作执行模块通信连接，功能是根据指令识别模块采集的控制指令，将航空产品的三维模型、工装的三维模型和操作演示模块加载到所述混合现实硬件的当前显示界面；

操作执行模块，与产品选择模块和产品工装模型库、逻辑控制模块、信息存储模块、操作演示模块通信连接，功能是根据所述产品选择模块加载不同场景的航空产品，然后按照航空产品操作逻辑调用所述逻辑控制模块中的操作逻辑函数，根据所述混合现实硬件采集的场景信息以及操作工序信息、指令识别模块采集的控制指令，通过调用的操作逻辑函数进行航空产品操作逻辑判断；

产品工装模型库，与操作执行模块和虚实融合模块通信连接，功能是存储航空产品的三维模型、各种工装的三维模型以及航空产品模型操作演示动画；

逻辑控制模块，与操作执行模块和虚实融合模块通信连接，功能是存储航空产品三维模型之间的操作逻辑函数；

信息存储模块，与操作执行模块和虚实融合模块通信连接，功能是存储操作说明的文本信息；

操作演示模块，与操作执行模块和虚实融合模块通信连接，功能是根据所述产品选择模块加载的航空产品调用所述产品工装模型库中存储的航空产品模型操作演示动画，并发送至所述混合现实硬件进行显示；

虚实融合模块，与混合现实硬件和产品工装模型库、逻辑控制模块、信息存储模块、操作演示模块通信连接，功能是将混合现实硬件采集到的场景信息与通过指令识别模块所选择的虚拟三维模型，透过混合现实硬件的显示屏将虚拟三维模型显示在真实物理环境中，以虚实融合方式显示。

2.根据权利要求1所述的基于混合现实技术的航空生产线人工操作指引系统，其特征在于：逻辑控制模块中所述的操作逻辑函数包括指令识别模块输入检测函数、操作工艺检测函数、操作工装检测函数、当前航空产品的约束函数、操作动作函数和更新产品约束状态函数。

3.一种基于混合现实技术的航空生产线人工操作指引方法，其特征在于：该方法的步骤如下：

步骤一、配置好混合现实硬件和指令识别模块，将所述混合现实硬件和指令识别模块与其他各模块通信连接；

步骤二、佩戴所述混合现实硬件的操作人员，通过所述指令识别模块操作所述混合现实硬件中显示的航空产品三维模型，由所述混合现实硬件的产品选择模块接收所述指令识别模块的控制指令，根据所述控制指令加载所述航空产品三维模型对应的产品和工装，由所述混合现实硬件的产品工装模型库向所述虚实融合模块发送对应航空产品和工装的三维模型；

步骤三、操作人员通过所述混合现实硬件观看已选择航空产品的三维模型和对应航空产品的数据信息，所述混合现实硬件的逻辑控制模块根据所述产品选择模块加载的航空产品调用信息存储模块中存储的操作说明文本信息，并发送至所述混合现实硬件进行显示；

步骤四、操作人员通过所述混合现实硬件观看已选择航空产品的三维模型，播放操作演示动画，所述混合现实硬件的虚实融合模块根据所述产品选择模块加载的航空产品调用所述产品工装模型库中存储的对应的航空产品模型操作演示动画，并发送至所述混合现实硬件进行显示；

步骤五、操作人员通过所述混合现实硬件的指令识别模块，接收指令后进入操作执行模块，在真实环境添加所选的航空产品三维模型，并通过该操作人员经所述指令识别模块的输入进行检测；

步骤六、所述指令识别模块检测操作人员输入的控制指令，所述操作执行模块调用逻辑控制模块挂载到每个航空产品上的逻辑控制脚本中的指令识别模块输入检测函数，根据指令识别模块采集的控制指令判断操作人员是否已选择相应工装，如果使用指令识别模块已选择工装，则执行下一步骤；

步骤七、所述产品选择模块根据操作人员输入的控制指令触发产品检测事件，所述操作执行模块调用所述逻辑控制模块挂载到航空产品的三维模型上的逻辑控制模块中的指令识别模块输入检测函数；

步骤八、所述操作执行模块根据所述产品选择模块传输的所述混合现实硬件采集的位置信息和所述指令识别模块采集的控制指令判断零件是否在操作范围内，若在操作范围内，则进入下一步骤，否则返回至上一步骤；

步骤九、所述操作执行模块调用所述逻辑控制模块中挂载到航空产品的逻辑控制脚本中的操作工具检测函数，并根据所述混合现实硬件采集的位置信息和所述指令识别模块采集的控制指令判断操作工具是否正确，是则执行下一操作步骤，否则回到上一步骤；

步骤十、所述操作执行模块调用所述逻辑控制模块中挂载到航空产品的逻辑控制脚本中的当前产品约束函数，根据所述混合现实硬件采集的位置信息和所述指令识别模块采集的控制指令判断当前产品的约束状态，若满足当前产品的约束状态，进入一下步骤，否则回到上一步骤；

步骤十一、所述操作执行模块调用所述逻辑控制模块中挂载到航空产品的逻辑控制脚本中的操作动作函数，根据所述混合现实硬件采集的位置信息和所述指令识别模块采集的控制指令，执行产品的操作动作；

步骤十二、所述操作执行模块调用所述逻辑控制模块挂载到航空产品的逻辑控制脚本中的更新产品的约束状态，并更新产品当前状态为解除约束，完成当前航空产品操作流程；

步骤十三、返回所述步骤六，进行下一个航空产品的操作过程；

步骤十四、重复所述步骤六至步骤十三，直至所述航空产品三维模型的所有操作过程全部执行完毕。

Images