CN115661412A - 一种基于混合现实的航空发动机辅助装配系统及方法 - Google Patents

Abstract

本发明提出一种基于混合现实的航空发动机辅助装配系统及方法，系统分为数据层、服务层、应用层三个层级；数据层包括虚拟装配场景初始化模块、MR辅助装配工艺生成模块；服务层包括通信模块、指令转换模块、扩展功能模块；应用层包括定位追踪模块、识别模块、交互模块、可视化模块。本发明提高了装配工艺指令的直观性和交互效率，避免工人高强度作业的同时分心操控纸质文件，以更便捷、简单、高效的形式完成装配过程，保证质量要求。

Description

一种基于混合现实的航空发动机辅助装配系统及方法

技术领域

本发明涉及混合现实技术及辅助装配过程，具体为一种基于混合现实的航空发动机辅助装配系统及方法。

背景技术

机匣是航空发动机的重要零件之一，它是整个发动机的基座，是航空发动机上的主要承力部件。在航空发动机装配过程中，由于高压涡轮机匣及低涡一导零部件众多，装配空间位置复杂，装配步骤繁多且具有大量重复性操作，对航发装配要求的高装配质量提出了挑战。因发动机型号不同，其结构和零件布局均不同，相应的装配流程差异也很大，使得目前高压涡轮机匣及低涡一导的装配操作在很大程度上依赖于以纸质和计算机为载体的工艺图纸和现场装配工人的经验。使用纸质及电子版的文字图纸作为信息载体，向下传递过程中，常出现信息冗杂、文本外的非定量因素难以表达的问题。因此传统人工装配任务受到资料便携性、工艺信息直观性、人员熟练程度等方面的影响，其装配过程工作强度大、效率低，易出现错装、漏装等情况。

混合现实(Mixed Reality，MR)技术是一种使真实场景和虚拟场景在同一视觉空间中显示和交互的技术。其借助先进的图像处理技术和显示设备，将真实、虚拟世界融合在一起，形象化一个新的具备虚实融合特征的可视化环境，物理和数字对象共存，实现相异时空场景的嵌入；在现实世界、虚拟世界和用户之间搭起一个交互反馈的信息回路，增强用户的真实感体验，具有真实性、实时互动性以及构想性等特点。采用混合现实技术辅助引导航发装配过程，能以更自然、多样的方式可视化所需的工艺信息，增强装配工人的信息感知能力、对装配场景及任务的理解能力，通过虚实融合的装配引导指令提高多人协同时指导、演示行为的直观性，实现人机协同装配，最终降低任务载荷、提高装配效率和装配质量。

基于MR的辅助装配系统是为现有装配任务提供额外的辅助功能，需要在传统工艺基础上生成与任务流程紧密链接的MR辅助装配工艺，以将装配零部件、工具、工装等相关制造实体资源、MR虚拟引导信息与装配步骤紧密结合在一起。大多现有MR辅助装配系统开发过程中，开发人员多在现有框架、开发引擎上进行，从底层脚本代码编写应用的逻辑实现。因此开发人员需要同时拥有工艺理解能力、编程技能、MR开发专业知识、引擎使用经验，才能生成传统工艺对应的MR辅助装配工艺，这提高了开发门槛；MR辅助装配工艺是预先设计好的，基于此开发的系统和软件应用的功能结构和流程也被固定，对于特定任务和应用场景需要大量时间准备，并且当任务发生变化、工艺人员和装配人员观点不一致时，其不具备快速、鲁棒的修改能力。

发明内容

为了解决上述MR辅助装配工艺生成中的问题，本发明在基于混合现实的航空发动机辅助装配系统中部署了新颖的MR辅助装配工艺生成模块，用户无需准备复杂的先验知识即可在沉浸式虚拟环境中，针对当前环境和装配任务以交互式方式，直观、便捷、即时地生成MR辅助装配工艺。

本发明的技术方案为：

一种基于混合现实的航空发动机辅助装配系统，分为数据层、服务层、应用层三个层级；

所述数据层包括虚拟装配场景初始化模块、MR辅助装配工艺生成模块；

所述服务层包括通信模块、指令转换模块、扩展功能模块；

所述应用层包括定位追踪模块、识别模块、交互模块、可视化模块；

在所述数据层中，通过虚拟装配场景初始化模块恢复出装配现场对应的虚拟环境，并采集用户在其中对虚拟模型的操作数据，完成虚拟装配；通过MR辅助装配工艺生成模块记录完整装配流程，交互式构建MR辅助装配指令，继而形成指令集，最终自动生成MR辅助装配工艺规范；虚拟场景、MR辅助装配工艺最终以包括三维模型、TXT文件、图片、CSV文件在内的数据形式存储在服务器中；

所述服务层在服务器中存储并管理所有数据；所述通信模块接收并处理各硬件、客户端、模块的数据提交和访问申请，并提供它们之间的信息传递功能；所述指令转换模块解析MR辅助装配工艺；扩展功能模块存放包括错漏装检测、表面质量检测在内的功能实现接口，以供用户选择性调用，并能够扩展接口；

所述应用层是部署的客户端应用程序的基本组成，其中客户端分为用户使用的AR客户端和远程专家使用的VR客户端；所述识别模块通过扫描标识码进行初始化空间坐标系同步，所述定位追踪模块持续运行进行本地AR客户端及目标物体的定位；所述交互模块接收用户向系统发出的命令并传递给服务层，服务层接收命令并发起装配指令获取申请，通过指令转换模块确定该指令对于当前客户端所需的各种资源和包含的信息，进而从服务器获取并实例化到AR客户端设备中；通过可视化模块，将其映射到真实视野的正确位置，最终形成完整的离线MR辅助装配过程；

AR客户端在装配过程中，发起多人协同请求指令，通过服务层的通信模块请求远程专家的VR客户端进行协同工作；VR客户端接收服务器中存储的初始虚拟装配场景以及AR客户端提供的实时空间布局信息，以此VR恢复与装配现场空间一致、装配状态同步的虚拟场景，VR客户端用户可沉浸式发出引导指令，并传递至AR客户端，AR客户端可视化其引导信息，实现实时在线的协同辅助装配。

进一步的，所述虚拟场景初始化模块与外部数据管理模块PDM连接；根据MR辅助装配工艺所应用的目标场景，所述虚拟场景初始化模块从PDM中导出包括零部件、工具、工作台、夹具在内的实体CAD模型，且装配体间保留了完整的空间布局信息和几何关系，经过模型轻量化处理后加载到预先基于Unity准备的虚拟空间中，并附加包括碰撞体、手部交互在内的功能组件；所述虚拟场景初始化模块还从PDM中导出传统装配工艺文档中的文本和图片，并转换成基于Unity的虚拟资产，与MR协同中包括虚拟指针、箭头、注释框在内的标记一起提供到可交互用户界面中；所述虚拟场景初始化模块还能够调整所有分布在虚拟环境中的虚拟资产的位置，使得与装配现场保持一致的空间布局；最终生成与当前装配现场对应的虚拟场景，将虚拟资产存储到服务器中，将场景布局信息通过指令转换模块以Sence.CSV文件进行记录。

进一步的所述MR辅助装配工艺生成模块能够记录用户根据个人装配经验以及虚拟环境中以文本、图片形式展示的传统工艺，直接操控零部件的虚拟模型，进行虚拟装配的完整的操作过程；

对于用户每完成一个工步所有的动作，MR辅助装配工艺生成模块将记录用户操控了哪些零部件、零部件各自的始末位置及移动轨迹；同时，用户在完成工步任务的过程中，从可交互UI界面中选择需要的工具，并挑选出对操作最有帮助的引导信息和标记，并确定他们最佳的可视化方式，这些工具类型、引导信息和标记的位姿、轨迹也被所述MR辅助装配工艺生成模块记录；从而完成对MR辅助装配工艺中单工步装配指令的创建，相关信息通过指令转换模块记录到Step.CSV文件中；

所有工步的装配指令按照装配顺序连同用户创建的额外引导信息，共同组成MR辅助装配工艺，记录为Task.CSV文件中。

进一步的，所述指令转换模块将数据层中完整虚拟装配过程中总结的MR辅助装配工艺转换成一系列统一的CSV文件，以及将CSV文件解析成各客户端应用层可以读取的信息形式；其中Scene.CSV文件以结构化的形式存储了各工位对应的虚拟场景中包括工作平台、工装、零部件、工具、虚拟标识物、文本、图片在内的虚拟模型ID，以及它们各自的空间位置和相对关系，用于初始化虚拟装配环境；所述Step.CSV文件包括每工步涉及的装配指令信息，包括工步ID、零件模型ID、零件初始/最终空间坐标、工艺引导信息、所需工具；所述Task.CSV文件按照装配任务组织了工步的顺序，并附加了额外引导信息、质量检测步骤。

进一步的，所述通信模块作为MR辅助装配系统中的信息传输中转站，接收并存储数据层生成的文本、图片、三维模型、以及CSV文件数据，接收并响应客户端及各模块发出的数据调用指令，进行输出；记录AR/VR客户端定位追踪模块获取的操控模型ID、模型位姿、客户端位姿信息，完成工人与专家间的数据通讯，实现空间布局一致以达到多人协同操作同步的效果。

进一步的，所述扩展功能模块为可扩展的云端工作站，在云端工作站上部署有装配过程中实现质量检测功能的算法实现或应用软件，并提供给客户端调用接口。

进一步的，所述定位追踪模块，依靠客户端设备搭载的视觉传感器、激光传感器、惯性传感器和/或空间定位器，通过SLAM算法、光学定位技术实时自定位，确定头戴设备在真实环境中所处的空间位置；实现对空间布局的信息获取，使MR辅助装配指令及引导信息能够在AR端中完成高精度虚实注册，将其叠加到用户真实视野的正确位置，通过虚实融合达到良好的真实性和直观性；同时提供基于库模型匹配的位姿估计功能，确定识别模块识别的关键位置点、零部件的位姿，在后续移动中也保持位姿的同步估计，同时VR虚拟环境的空间布局保持一致。

进一步的，所述识别模块用于识别指定的二维码、条形码、零部件、手势、语音；定位追踪模块使用识别模块识别二维码，以初始化头戴式MR设备的初始位置，并注册虚拟空间与真实空间，以进行后续定位追踪；通过在零部件上张贴条形码或者自然特征识别特定零件，供追踪零件位姿以及对有质量检测需求的零件进行拍摄测量。

基于上述系统实现航空发动机辅助装配的方法，包括以下步骤：

步骤1：创建虚拟场景：

步骤1.1：利用用户佩戴的虚拟现实头盔，进入预先准备的标准虚拟构建空间应用，所述虚拟现实头盔提供摄像头采集的现场实时三维点云流，以及可交互UI界面；根据用户指定或由识别模块提供的接口进行自动判别，确定本次构建装配工艺的装配场景；通过PDM提供的接口将装配场景对应的三维模型，以及可交互UI界面中提供的虚拟资源实例化到虚拟空间中，并手动或使用定位追踪模块提供的接口调整它们的空间位姿和相互关系；并为这些虚拟资源添加预先准备的功能组件；

步骤1.2：进行场景发布：通过指令转换模块提供的接口，将当下场景描述并记录为Scene.CSV文件，并存储到服务器中；

步骤2：交互式生成MR辅助装配工艺：

步骤2.1:利用用户佩戴的虚拟现实头盔，进入预先准备的装配工艺生成应用，从虚拟可交互UI界面中，选择目标装配场景；装配工艺生成应用通过通信模块向服务器提交获取装配场景对应的Scene.CSV描述文件的请求，获准后指令转换模块解析此CSV文件，并根据发出请求的客户端类型，将服务器中对应的虚拟资产传输到客户端中，并恢复空间布局；

步骤2.2：在虚拟装配场景中，通过人机交互的方式，采集用户操作，逐零件、逐工步地在虚拟工作台上直接操作虚拟模型装配成功，记录装配流程中零部件的始末位置及移动轨迹；根据用户操作，从可交互界面中选择并实例化当前动作需要用到的工具、用来标记的虚拟注释；在传统工艺的文本、图片中，标记处对当前任务最有引导帮助效果的部分；使用语音、注视、手势交互方式选择并记录装配过程的关键控制点，并通过可交互界面提供的功能按钮添加额外的引导信息；根据用户操作，编写当前操作的序号，以划分MR辅助装配工艺的工步，并确定各步骤之间是否需要对该位置进行质量检测；单工步操作为一条装配指令，形成的指令集及之间的额外附加信息汇总为最终的MR辅助装配工艺；

步骤2.3：通过指令转换模块将代表工步的装配指令转换成Step.CSV文件；MR辅助装配工艺转换成Task.CSV文件；新生成的文件和虚拟资产存储到服务器中；

步骤3：AR客户端启动MR辅助装配应用：

步骤3.1：AR端识别现实场景中的标识码，完成位姿初始化及空间注册，后续进行连续且稳定的自定位及目标追踪；

步骤3.2：系统识别装配现场装配主体以判断当前所属工位，并向服务器发起获取对应MR辅助装配工艺的申请，获准后获取Task.CSV文件；

步骤4：系统对获取的Task.CSV文件进行解析，确定相关的装配场景布局、虚拟装配模型、引导信息、位姿、关键点位置、可视化模式信息，并下载相关的资源；

步骤5：利用自定位及目标追踪功能，结合位姿信息，将虚拟模型、引导信息、可交互界面资源可视化到AR端的真实视野的正确区域中；

步骤6：在装配辅助引导流程下，用户完成辅助装配过程，包括离线MR辅助装配和实时在线的协同辅助装配。

有益效果

(1)本发明提出一种基于混合现实的航空发动机辅助装配系统，能利用MR技术的优点，提高了装配工艺指令的直观性和交互效率，避免工人高强度作业的同时分心操控纸质文件，以更便捷、简单、高效的形式完成装配过程，保证质量要求。

(2)本发明提出一种新颖的交互式MR辅助装配工艺生成方法，基于虚拟现实，用户可在虚拟场景中以交互的方式，最大程度自由、高效的生成适用于MR辅助装配的指令集及工艺作业指导书。用户在虚拟空间的装配过程中，拥有真实的浸入式体验，并具备现实没有的反复试错装配能力，实现了传统工艺到MR辅助装配工艺的自动转换。

(3)本发明通过将MR辅助装配工艺规范转换为CSV文件，能高效链接指令、操作模型、引导信息、模型位姿等信息关系，能降低头戴式MR设备的存储空间负担，提高实时性。

(4)本发明通过将质量检测等附加功能的应用软件存放到服务器，并依靠交互模块和TCP协议，仅需要传输应用所需的输入数据，就可直接获取返回的结果，提高了系统的扩展能力，后续增加功能，无需重新部署AR端的程序，仅需在服务器上配置应用及对应的程序即可。

(5)本发明通过定位追踪模块，可交互的虚拟模型能准确的叠加到真实世界中，相比纸质、电子二维图片，用户能更直观的观察装配状态、理解装配任务。

(6)本发明通过MR技术、TCP通讯技术等实现的多人协同，让远程专家得以实时引导本地工人进行装配作业，并获得比视频流更真实、准确、直观的引导效果。

(7)本发明通过硬件传感器和软件程序实现的质量检测，相比人工测量，更加高效。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1基于混合现实的航空发动机辅助装配系统框架；

图2MR辅助装配工艺生成模块工作流程图；

图3指令转换模块工作流程图；

图4定位追踪模块工作流程图；

图5识别模块工作流程图；

图6交互模块工作流程图；

图7可视化模块工作流程图。

具体实施方式

本发明针对航空发动机高压涡轮机匣及低涡一导的装配过程的特点和现有技术不足，结合混合现实技术，提供一种基于混合现实的航发辅助装配系统及方法。

本发明搭建了一个基于混合现实的辅助装配系统，即SUC(Scene UnderstandingCooperation)系统，该系统以装配场景(Scene)作为实现辅助装配的实现基础，帮助用户理解(Understanding)装配任务，并在MR支持的多人协同(Cooperation)、人机交互下完成装配流程并保证装配质量要求。

针对传统的装配工艺规范缺乏更直观、高效的辅助效果的问题，本系统提出并使用MR辅助装配工艺生成模块。用户在系统针对不同工位(装配场景，Scene)恢复的虚拟环境中，在信息提示窗口的引导下，直接操作虚拟模型(零部件、工具)完成装配过程，并与可交互UI界面配合将工艺想法具现化，选择当下所需的额外辅助引导信息，最终整个装配过程及用户操作选择将被记录，通过进一步分析转换，实现传统工艺规范向MR辅助装配工艺规范的转换；因此每个装配场景对应着其专属的MR辅助装配工艺，包括了当下的场景布局，使用的零部件、工具，工人的装配操作步骤，将装配场景作为系统应用的基础单元，构建起场景-装配体-操作的对应关系。

系统通过自动识别关键装配体以确定当前装配场景及对应的装配任务，利用虚实融合技术实现虚拟信息在真实场景的准确叠加，其包括对应的零件属性信息、MR辅助操作引导信息、工艺信息等，增强本地用户对装配场景、装配任务的理解(Understanding)，通过实现体现场景-任务-理解的MR辅助信息可视化策略，加强直观性和便捷性。

MR协同技术实现工人与专家的远程协同、人与系统之间的人机协同；VR端远程专家通过在空间一致的虚拟场景中监测现场情况并发出虚拟指令进行指导，AR端本地工人接收可视化信息的引导并进行实际装配；通过人机交互，工人可自行控制离线辅助引导进程及形式，可实现包括零件关键尺寸测量、螺栓限力预紧、叶片密封等质量检查，结合人工高自主性和机器的精准高效性，保证装配井然有序，保障质量要求，提高装配效率。

本发明基于上述MR辅助装配理念的SUC系统，还提出了一种基于混合现实的航空发动机辅助装配方法，并应用于高压涡轮机匣及低涡一导的辅助装配中。

下面详细说明基于混合现实的航空发动机辅助装配系统及方法：

基于混合现实的航空发动机辅助装配系统：

基于混合现实的航空发动机辅助装配系统，分为三个层级：

数据层(即场景、工艺、虚拟资源构建层)，包括虚拟装配场景初始化模块、MR辅助装配工艺生成模块；

服务层，包括通信模块、指令转换模块、扩展功能模块；

应用层，包括定位追踪模块、识别模块、交互模块、可视化模块。

数据层中，首先使用虚拟装配场景初始化模块恢复出装配现场对应的虚拟环境，用户在其中操作虚拟模型完成虚拟装配，通过MR辅助装配工艺生成模块记录完整装配流程，交互式构建MR辅助装配指令，继而形成指令集，最终自动生成MR辅助装配工艺规范；虚拟场景、MR辅助装配工艺最终以一系列三维模型表示、TXT文件、图片、CSV文件等数据形式存储在服务器中。

服务层在服务器中存储并管理着所有数据，通信模块接收并处理各硬件、客户端、模块的数据提交和访问申请，并提供它们之间的信息传递功能；指令转换模块帮助不同客户端解析MR辅助装配工艺；扩展功能模块则存放着错漏装检测、表面质量检测等功能的具体实现接口，并能不断扩展，以供用户选择性调用。

应用层是部署的客户端应用程序的基本组成，其中客户端分为用户使用的AR客户端和远程专家使用的VR客户端；识别模块扫描标识码进行初始化空间坐标系同步，定位追踪模块持续运行进行本地工人的AR客户端及目标物体的定位；用户通过交互模块向系统发出开始、下一步/上一步、显示引导信息、质量检测等命令，服务层接收命令并发起装配指令获取申请，通过指令转换模块确定该指令对于当前客户端所需的各种资源和包含的信息，从服务器获取并实例化到AR客户端设备中，通过可视化模块，将其映射到真实视野的正确位置，最终形成完整的离线MR辅助装配过程。

AR客户端在装配过程中，发起多人协同请求指令，通过服务层的通信模块请求远程专家的VR客户端进行协同工作；VR客户端接收服务器中存储的初始虚拟装配场景以及AR客户端提供的实时空间布局信息，以此VR恢复与装配现场空间一致、装配状态同步的虚拟场景，VR客户端用户可沉浸式发出引导指令，并传递至AR客户端，AR客户端可视化其引导信息，实现实时在线的协同辅助装配。

所述虚拟场景初始化模块：首先能够确定MR辅助装配工艺所应用的目标场景，可以通过人为指定的方式，也能使用识别模块提供的目标检测功能，通过检测现场中的关键物体(装配主体、特殊工装等)以判断当前场景属于哪个工位。然后根据目标场景，通过与此模块连接的外部数据管理模块(PDM)中导出相关的零部件、工具、工作台、夹具等实体的CAD模型，其装配体间保留了完整的空间布局信息和几何关系，并经过模型轻量化处理后加载到预先基于Unity准备的虚拟空间中，并附加碰撞体、手部交互等功能组件。再从PDM中导出传统装配工艺文档中的文本和图片，将它们转换成基于Unity的虚拟资产，与MR协同中常见的虚拟指针、箭头、注释框等标记一起提供到可交互用户界面中，用户可以自由选择并移动它们在虚拟空间中的坐标及位姿。再调整所有分布在虚拟环境中的虚拟资产的位置，使得与装配现场保持一致的空间布局；用户可以手动调节，或者使用定位追踪模块中的位姿匹配功能实现单个物体的自动对齐。最后，生成与当前装配现场对应的虚拟场景，将三维模型、文本、图片、标记等虚拟资产以FBX、TXT、PNG等形式存储到服务器中，场景布局信息(有哪些虚拟资产、位置如何)则使用指令转换模块以Sence.CSV文件进行记录。

所述MR辅助装配工艺生成模块能够在生成的虚拟场景中拟定装配工艺过程：1)用户根据个人装配经验和虚拟环境中以文本、图片形式展示的传统工艺，直接操控零部件的虚拟模型，进行虚拟装配，此模块自动记录完整的操作过程。2)用户每完成一个工步所有的动作，将记录操控了哪些零部件、零部件各自的始末位置及移动轨迹。3)用户在完成工步任务的过程中，从可交互UI界面中选择需要的工具，并挑选出对操作最有帮助的引导信息(文本、图片)和标记，并确定他们最佳的可视化方式，它们的类型、位姿、轨迹也将被记录。4)确定装配顺序。用户能够根据个人习惯和对装配任务的理解，自主决定在虚拟装配过程中的装配顺序，并指定当前工步在整个流程中的位置，若不进行指定则默认正序。5)优化辅助引导信息。可交互UI界面提供用户创建现有虚拟资产以外的额外引导信息载体，以直观表达出用户对某个工步、操作的理解；针对装配过程中的某个阶段，用户可以添加基于控制功能模块的质量检测操作。第2)、3)中完成了对MR辅助装配工艺中单工步装配指令的创建，其相关信息通过指令转换模块记录到Step.CSV文件中。所有工步的装配指令按照装配顺序与第5)中添加的辅助引导信息共同组成MR辅助装配工艺，记录为Task.CSV文件中。

所述指令转换模块，能够负责将数据层中完整虚拟装配过程中总结的MR辅助装配工艺转换成一系列统一的CSV文件，以及将CSV文件解析成各客户端应用层可以读取的信息形式。Scene.CSV文件以结构化的形式存储了各工位对应的虚拟场景中工作平台、工装、零部件、工具、虚拟标识物、文本、图片等虚拟模型ID(指向服务器中对应的虚拟资产)，以及它们各自的空间位置和相对关系，用于初始化虚拟装配环境；Step.CSV文件包括每工步涉及的装配指令信息：工步ID(标识该工步)、零件模型ID、零件初始/最终空间坐标、工艺引导信息、所需工具等；Task.CSV文件按照装配任务组织了工步的顺序，并附加了额外的辅助引导信息、质量检测步骤等。指令转换模块生成的CSV文件，不涉及虚拟资产本身而只是使用了它们的编号，因此体量小且结构清晰，便于客户端与服务器间的快速通讯，降低文件内存占用，有利于多个客户端之间的跨平台信息交流。

所述通信模块，作为MR辅助装配系统中的信息传输中转站，接收并存储数据层生成的文本、图片、三维模型、以及CSV文件等数据，接收并响应客户端及各模块发出的数据调用指令，进行输出；记录AR/VR客户端定位追踪模块获取的操控模型ID、模型位姿、客户端位姿等信息，完成工人与专家间的数据通讯，实现空间布局一致以达到多人协同操作同步的效果。该模块以高性能计算机作为硬件支持，通过TCP协议实现服务器与各客户端的网络通信。

所述扩展功能模块，是一个可扩展的云端工作站。诸如曲线半径测量、表面质量检测、错漏装检测、间距测量等装配过程中可能应用的质量检测功能的算法实现或应用软件部署在云端工作站上，并提供给客户端调用接口。通过相机等传感器采集相关数据，或用户输入的数据，调用上述接口并在云端工作站上进行计算，最后将计算结果返回客户端。在云端工作站内存和性能允许的情况下，此模块的功能可以不断扩展，并提供快速响应，提供用户额外的感知、计算能力，并且避免了客户端使用的移动硬件设备计算能力有限、存储量小等限制。

所述定位追踪模块，依靠VR/AR客户端设备搭载的视觉传感器、激光传感器、惯性传感器、空间定位器等硬件设备，通过SLAM算法、光学定位技术实时自定位，确定头戴设备在真实环境中所处的空间位置；实现对空间布局的信息获取，以满足MR辅助装配指令及引导信息能够在AR端中完成高精度虚实注册，将其叠加到用户真实视野的正确位置，通过虚实融合达到良好的真实性和直观性。同时提供基于库模型匹配的位姿估计功能，确定识别模块识别的关键位置点、零部件的位姿，在后续移动中也保持位姿的同步估计，同时VR虚拟环境的空间布局保持一致。AR设备可选择Nreal眼镜、Hololens等支持开发者模式的硬件，VR设备可选择HTC VIVE PRO、Oculus等。

所述识别模块用于识别指定的二维码、条形码、零部件、手势、语音等。定位追踪模块使用识别模块识别二维码，以初始化头戴式MR设备的初始位置，并注册虚拟空间与真实空间，以进行后续定位追踪；通过在零部件上张贴条形码或者自然特征识别特定零件，供追踪零件位姿以及对有质量检测需求的零件进行拍摄测量。

所述交互模块可实现用户与系统的人机交互，通过识别模块识别用户以二维码、手势、声音、手部射线等形式表示的指令意图，系统对此进行反馈，包括装配流程的下一步/上一步、显示/隐藏装配引导信息、进行质量检测、操控虚拟模型等；交互模块通过识别—解析—传输—接收VR/AR客户端之间的协同指令，实现了MR技术支持的多人协同。系统的可交互性，提升用户体验，提高装配效率。

所述可视化模块，负责从服务器获取相应的三维模型、引导信息，结合相应的位姿、可视化形式将其显示到用户真实视野中。

基于上述系统的辅助装配方法：

在航空发动机的高压涡轮机匣及低涡一导装配过程中，其零部件众多，装配位置空间复杂度高，涉及多个工作台的转换；导向套要求过盈配合，装配前需要进行冷冻处理；每枚叶片要求安装三枚封严片，强调单个叶片的装配顺序；定位销钉两端轴径，及其与内环前环、中环孔之前的配合尺寸，均有严格要求。为避免错装、漏装、不符合装配质量要求，减少装配工人认知负荷，下面采用基于混合现实的辅助装配系统，，提供一种基于混合现实的航发辅助装配方法，引导操作者进行装配，以提高装配效率、保证工艺要求。

其具体步骤如下：

步骤1：创建虚拟场景。

步骤1.1：利用用户佩戴的HTC Vive Pro虚拟现实头盔(套装包含定位器、手柄)，进入预先准备的标准虚拟构建空间应用，所述虚拟现实头盔提供了摄像头采集的现场实时三维点云流，以及可交互UI界面(包括虚拟按钮以响应脚本函数，以及虚拟资产库、PDM、其它模块提供的接口函数)。根据用户指定(即用户自行判断)或由识别模块提供的接口自动判别，以确定本次为之构建装配工艺的目标工位(装配场景)。通过PDM提供的接口中将装配场景对应的工作台、工装、零部件等三维模型，与可交互UI界面中提供的传统工艺规范文字、图片、装配工具虚拟模型、虚拟标识工等虚拟资源实例化到虚拟空间中，并手动或使用定位追踪模块提供的接口调整它们的空间位姿和相互关系。为这些虚拟资源添加预先准备的功能组件，例如零部件添加碰撞体以防止干涉、添加手部交互组件以提供用户进行操作。

步骤1.2：点击场景发布按钮，通过指令转换模块提供的接口，将当下场景描述并记录为Scene.CSV文件，其中记录了工位名称(装配场景ID)、虚拟资产及其功能组件和空间坐标。并将对应的虚拟资产编号，并存储到服务器中。

步骤2：交互式生成MR辅助装配工艺

步骤2.1:利用用户佩戴的虚拟现实头盔，进入预先准备的装配工艺生成应用，从虚拟可交互UI界面中，选择目标装配场景。装配工艺生成应用通过通信模块向服务器提交获取装配场景对应的Scene.CSV描述文件的请求，获准后指令转换模块解析此CSV文件，并根据发出请求的客户端类型，将服务器中对应的虚拟资产传输到客户端中，并恢复空间布局。

步骤2.2：在虚拟装配场景中，通过人机交互的方式，采集用户操作，逐零件、逐工步地在虚拟工作台上直接操作虚拟模型装配成功，记录装配流程中零部件的始末位置及移动轨迹。这里用户操作时，根据经验及传统装配流程的图片、文本形式的提示进行操作。根据用户操作，从可交互界面中选择并实例化当前动作需要用到的工具、用来标记的虚拟注释；在传统工艺的文本、图片中，标记处对当前任务最有引导帮助效果的部分；使用语音、注视、手势等交互方式选择并记录装配过程的关键控制点，并通过可交互界面提供的功能按钮添加额外的引导信息(文字、三维注释等)；根据用户操作，编写当前操作的序号，以划分MR辅助装配工艺的工步，并确定各步骤之间是否需要对该位置进行质量检测，单工步操作为一条装配指令，指令集及之间的额外附加信息汇总为最终的MR辅助装配工艺。

步骤2.3：通过指令转换模块将代表工步的装配指令转换成Step.CSV文件，其中包含了工步ID、装配场景ID、零部件ID、工具ID、工艺引导信息、各坐标信息、轨迹信息等。MR辅助装配工艺转换成Task.CSV文件，包含装配场景ID、装配指令集、装配关键点位置、额外引导信息、质量检测功能接口ID等属性及其之间的链接关系。将新生成的文件和虚拟资产存储到服务器中。

步骤3：AR客户端启动MR辅助装配应用。

步骤3.1：AR端(Hololens2)识别现实场景中的标识码，完成位姿初始化及空间注册，后续进行连续且稳定的自定位及目标追踪。

步骤3.2：系统识别装配现场装配主体以判断当前所属工位，并向服务器发起获取对应MR辅助装配工艺的申请，获准后获取Task.CSV文件。

步骤4：系统对获取的Task.CSV文件进行解析，确定相关的装配场景布局、虚拟虚拟装配模型、引导信息、位姿、关键点位置、可视化模式等信息，并下载相关的资源。

步骤5：利用自定位及目标追踪功能，结合位姿信息，将虚拟模型、引导信息、可交互界面等资源可视化到AR端的真实视野的正确区域中。

步骤6：在正确、完整的装配辅助引导流程下，用户完成辅助装配过程：

AR识别并解析用户手势、语音、条形码、摁下虚拟按钮等形式表达的意图指令：获取手势所选择模型的ID及其对应的CSV文件表示的工步、按下按钮从装配顺序开始执行(获取第一工步的Task.CSV文件)、执行上一步/下一步装配指令、下一工位/上一工位、显示/隐藏引导信息等。此为离线MR辅助装配过程。

AR端本地工人选择多人协同虚拟按钮，当前装配场景空间布局、显示模型ID、模型位姿、客户端位姿、工步ID等信息上传服务器，转换成VR端可用的信息并传递到VR端；VR客户端利用上述信息恢复与AR端空间一致、操作同步的虚拟场景，实现VR端远程专家对AR端的实时监测；VR端可操控虚拟模型、发出虚拟引导指令，并将对应的模型ID、模型位姿、指令内容等信息通过服务器中转给AR端，AR端进行同步可视化。此步骤实现实时在线的协同辅助装配。

AR端本地工人，在离线或多人协同方式提供的图片、文字等引导信息、视野中虚拟模型的精准虚实注册等帮助下，完成装配流程。

后续还可以进行质量检测：

零件清点工序时，AR端通过手势选择零件清点虚拟按钮，系统识别手势，调用服务器中相应步骤的CSV文件，解析后，获取并将所需零件全部的虚拟模型注册到真实视野中，用户一一比对，检测是否齐全。

定位销钉安装完成后，选择配合间隙检测虚拟按钮，系统识别销钉以及内环前环，通过Hololens2内置摄像头进行测量，并将测量数据传输到服务器对应的检测应用软件的接口，获取计算结果后传送回Hololens2端，并将结果可视化到真实视野中。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (9)

1.一种基于混合现实的航空发动机辅助装配系统，其特征在于：分为数据层、服务层、应用层三个层级；

所述数据层包括虚拟装配场景初始化模块、MR辅助装配工艺生成模块；

所述服务层包括通信模块、指令转换模块、扩展功能模块；

所述应用层包括定位追踪模块、识别模块、交互模块、可视化模块；

在所述数据层中，通过虚拟装配场景初始化模块恢复出装配现场对应的虚拟环境，并采集用户在其中对虚拟模型的操作数据，完成虚拟装配；通过MR辅助装配工艺生成模块记录完整装配流程，交互式构建MR辅助装配指令，继而形成指令集，最终自动生成MR辅助装配工艺规范；虚拟场景、MR辅助装配工艺最终以包括三维模型、TXT文件、图片、CSV文件在内的数据形式存储在服务器中；

所述服务层在服务器中存储并管理所有数据；所述通信模块接收并处理各硬件、客户端、模块的数据提交和访问申请，并提供它们之间的信息传递功能；所述指令转换模块解析MR辅助装配工艺；扩展功能模块存放包括错漏装检测、表面质量检测在内的功能实现接口，以供用户选择性调用，并能够扩展接口；

所述应用层是部署的客户端应用程序的基本组成，其中客户端分为用户使用的AR客户端和远程专家使用的VR客户端；所述识别模块通过扫描标识码进行初始化空间坐标系同步，所述定位追踪模块持续运行进行本地AR客户端及目标物体的定位；所述交互模块接收用户向系统发出的命令并传递给服务层，服务层接收命令并发起装配指令获取申请，通过指令转换模块确定该指令对于当前客户端所需的各种资源和包含的信息，进而从服务器获取并实例化到AR客户端设备中；通过可视化模块，将其映射到真实视野的正确位置，最终形成完整的离线MR辅助装配过程；

AR客户端在装配过程中，发起多人协同请求指令，通过服务层的通信模块请求远程专家的VR客户端进行协同工作；VR客户端接收服务器中存储的初始虚拟装配场景以及AR客户端提供的实时空间布局信息，以此VR恢复与装配现场空间一致、装配状态同步的虚拟场景，VR客户端用户可沉浸式发出引导指令，并传递至AR客户端，AR客户端可视化其引导信息，实现实时在线的协同辅助装配。

2.根据权利要求1所述一种基于混合现实的航空发动机辅助装配系统，其特征在于：所述虚拟场景初始化模块与外部数据管理模块PDM连接；根据MR辅助装配工艺所应用的目标场景，所述虚拟场景初始化模块从PDM中导出包括零部件、工具、工作台、夹具在内的实体CAD模型，且装配体间保留了完整的空间布局信息和几何关系，经过模型轻量化处理后加载到预先基于Unity准备的虚拟空间中，并附加包括碰撞体、手部交互在内的功能组件；所述虚拟场景初始化模块还从PDM中导出传统装配工艺文档中的文本和图片，并转换成基于Unity的虚拟资产，与MR协同中包括虚拟指针、箭头、注释框在内的标记一起提供到可交互用户界面中；所述虚拟场景初始化模块还能够调整所有分布在虚拟环境中的虚拟资产的位置，使得与装配现场保持一致的空间布局；最终生成与当前装配现场对应的虚拟场景，将虚拟资产存储到服务器中，将场景布局信息通过指令转换模块以Sence.CSV文件进行记录。

3.根据权利要求2所述一种基于混合现实的航空发动机辅助装配系统，其特征在于：所述MR辅助装配工艺生成模块能够记录用户根据个人装配经验以及虚拟环境中以文本、图片形式展示的传统工艺，直接操控零部件的虚拟模型，进行虚拟装配的完整的操作过程；

对于用户每完成一个工步所有的动作，MR辅助装配工艺生成模块将记录用户操控了哪些零部件、零部件各自的始末位置及移动轨迹；同时，用户在完成工步任务的过程中，从可交互UI界面中选择需要的工具，并挑选出对操作最有帮助的引导信息和标记，并确定他们最佳的可视化方式，这些工具类型、引导信息和标记的位姿、轨迹也被所述MR辅助装配工艺生成模块记录；从而完成对MR辅助装配工艺中单工步装配指令的创建，相关信息通过指令转换模块记录到Step.CSV文件中；

所有工步的装配指令按照装配顺序连同用户创建的额外引导信息，共同组成MR辅助装配工艺，记录为Task.CSV文件中。

4.根据权利要求3所述一种基于混合现实的航空发动机辅助装配系统，其特征在于：所述指令转换模块将数据层中完整虚拟装配过程中总结的MR辅助装配工艺转换成一系列统一的CSV文件，以及将CSV文件解析成各客户端应用层可以读取的信息形式；其中Scene.CSV文件以结构化的形式存储了各工位对应的虚拟场景中包括工作平台、工装、零部件、工具、虚拟标识物、文本、图片在内的虚拟模型ID，以及它们各自的空间位置和相对关系，用于初始化虚拟装配环境；所述Step.CSV文件包括每工步涉及的装配指令信息，包括工步ID、零件模型ID、零件初始/最终空间坐标、工艺引导信息、所需工具；所述Task.CSV文件按照装配任务组织了工步的顺序，并附加了额外引导信息、质量检测步骤。

5.根据权利要求3所述一种基于混合现实的航空发动机辅助装配系统，其特征在于：所述通信模块作为MR辅助装配系统中的信息传输中转站，接收并存储数据层生成的文本、图片、三维模型、以及CSV文件数据，接收并响应客户端及各模块发出的数据调用指令，进行输出；记录AR/VR客户端定位追踪模块获取的操控模型ID、模型位姿、客户端位姿信息，完成工人与专家间的数据通讯，实现空间布局一致以达到多人协同操作同步的效果。

6.根据权利要求1所述一种基于混合现实的航空发动机辅助装配系统，其特征在于：所述扩展功能模块为可扩展的云端工作站，在云端工作站上部署有装配过程中实现质量检测功能的算法实现或应用软件，并提供给客户端调用接口。

7.根据权利要求1所述一种基于混合现实的航空发动机辅助装配系统，其特征在于：所述定位追踪模块，依靠客户端设备搭载的视觉传感器、激光传感器、惯性传感器和/或空间定位器，通过SLAM算法、光学定位技术实时自定位，确定头戴设备在真实环境中所处的空间位置；实现对空间布局的信息获取，使MR辅助装配指令及引导信息能够在AR端中完成高精度虚实注册，将其叠加到用户真实视野的正确位置，通过虚实融合达到良好的真实性和直观性；同时提供基于库模型匹配的位姿估计功能，确定识别模块识别的关键位置点、零部件的位姿，在后续移动中也保持位姿的同步估计，同时VR虚拟环境的空间布局保持一致。

8.根据权利要求1所述一种基于混合现实的航空发动机辅助装配系统，其特征在于：所述识别模块用于识别指定的二维码、条形码、零部件、手势、语音；定位追踪模块使用识别模块识别二维码，以初始化头戴式MR设备的初始位置，并注册虚拟空间与真实空间，以进行后续定位追踪；通过在零部件上张贴条形码或者自然特征识别特定零件，供追踪零件位姿以及对有质量检测需求的零件进行拍摄测量。

9.基于上述系统实现航空发动机辅助装配的方法，其特征在于：包括以下步骤：

步骤1：创建虚拟场景：

步骤1.1：利用用户佩戴的虚拟现实头盔，进入预先准备的标准虚拟构建空间应用，所述虚拟现实头盔提供摄像头采集的现场实时三维点云流，以及可交互UI界面；根据用户指定或由识别模块提供的接口进行自动判别，确定本次构建装配工艺的装配场景；通过PDM提供的接口将装配场景对应的三维模型，以及可交互UI界面中提供的虚拟资源实例化到虚拟空间中，并手动或使用定位追踪模块提供的接口调整它们的空间位姿和相互关系；并为这些虚拟资源添加预先准备的功能组件；

步骤1.2：进行场景发布：通过指令转换模块提供的接口，将当下场景描述并记录为Scene.CSV文件，并存储到服务器中；

步骤2：交互式生成MR辅助装配工艺：

步骤2.1:利用用户佩戴的虚拟现实头盔，进入预先准备的装配工艺生成应用，从虚拟可交互UI界面中，选择目标装配场景；装配工艺生成应用通过通信模块向服务器提交获取装配场景对应的Scene.CSV描述文件的请求，获准后指令转换模块解析此CSV文件，并根据发出请求的客户端类型，将服务器中对应的虚拟资产传输到客户端中，并恢复空间布局；

步骤2.2：在虚拟装配场景中，通过人机交互的方式，采集用户操作，逐零件、逐工步地在虚拟工作台上直接操作虚拟模型装配成功，记录装配流程中零部件的始末位置及移动轨迹；根据用户操作，从可交互界面中选择并实例化当前动作需要用到的工具、用来标记的虚拟注释；在传统工艺的文本、图片中，标记处对当前任务最有引导帮助效果的部分；使用语音、注视、手势交互方式选择并记录装配过程的关键控制点，并通过可交互界面提供的功能按钮添加额外的引导信息；根据用户操作，编写当前操作的序号，以划分MR辅助装配工艺的工步，并确定各步骤之间是否需要对该位置进行质量检测；单工步操作为一条装配指令，形成的指令集及之间的额外附加信息汇总为最终的MR辅助装配工艺；

步骤2.3：通过指令转换模块将代表工步的装配指令转换成Step.CSV文件；MR辅助装配工艺转换成Task.CSV文件；新生成的文件和虚拟资产存储到服务器中；

步骤3：AR客户端启动MR辅助装配应用：

步骤3.1：AR端识别现实场景中的标识码，完成位姿初始化及空间注册，后续进行连续且稳定的自定位及目标追踪；

步骤3.2：系统识别装配现场装配主体以判断当前所属工位，并向服务器发起获取对应MR辅助装配工艺的申请，获准后获取Task.CSV文件；

步骤4：系统对获取的Task.CSV文件进行解析，确定相关的装配场景布局、虚拟装配模型、引导信息、位姿、关键点位置、可视化模式信息，并下载相关的资源；

步骤5：利用自定位及目标追踪功能，结合位姿信息，将虚拟模型、引导信息、可交互界面资源可视化到AR端的真实视野的正确区域中；

步骤6：在装配辅助引导流程下，用户完成辅助装配过程，包括离线MR辅助装配和实时在线的协同辅助装配。

Images