CN112330818B - 基于增强现实的无人机零部件手工铺层辅助系统和方法 - Google Patents

Abstract

本发明提供了一种基于增强现实的无人机零部件手工铺层辅助系统和方法，用以解决现有技术中无人机手工铺层效率低、误操作多的问题。所述手工铺层辅助方法，实时捕捉无人机零部件图像和操作动作画面，生成视频流数据，根据视频流数据依次匹配出三维模型、三维铺层模板、目标空间位姿及相应的铺层工艺参数，并对视频流及匹配数据进行虚实融合，逐帧得到实时的虚实融合铺层工艺视图，操作人员根据虚实融合铺层工艺视图进行无人机零部件的手工铺层操作。本发明自动识别待铺层零部件，使零部件在操作过程中实时准确融合虚拟工艺数据，优化了工艺流程；通过铺层工艺信息推送，降低了操作人员对工艺的认知和记忆负担，提高了铺层生产效率和产品质量。

Description

基于增强现实的无人机零部件手工铺层辅助系统和方法

技术领域

本发明属于无人机总装领域，具体涉及一种基于增强现实的无人机零部件手工铺层辅助系统及方法。

背景技术

无人机铺层工作是无人机生产制作过程中的重要生产步骤，无人机各个零部件的铺层制作是无人机生产制作过程中的重要操作步骤。其中每个无人机零部件均由若干个裁片铺设制作而成，裁片是依据标准制图将无人机铺层专用复合材料裁剪成的料片，每个裁片均有对应唯一编号；无人机复合材料铺层即将裁片按照工艺要求将相应裁片铺设至无人机专用模具上，不仅要保证每个铺设裁片编号正确、顺序正确、方向正确，还要保证铺设后裁片整体的完整性及后面合模后的成品无裂痕，无开裂。无人机复合材料铺层的角度和顺序，是决定零部件力学性能的重要参数。由于不同无人机的铺层工序，裁片大小，铺层方向差异化巨大，导致无人机铺层时严重依赖于手工作业。为了完成作业，工人首先需从工艺文件或三维模型中获取所需信息(复合材料铺层布料编码、铺层顺序、铺层方向、铺层厚度)，然后在无人机模具上进行裁片铺设工作。

现有技术中，在无人机铺层制作现场，一般采用纸质文件及固定式看板系统或激光投影系统对铺层所需信息进行展示，铺层过程中由工人根据图纸或个人铺层经验进行操作。但是，由于每个无人机零件对应裁片较多，同一无人机零件对应相同编号裁片会有七至九层，不同编号及相应层数均不同，工人为确认操作目标位置及顺序需承受大量额外认知负担，严重降低了无人机铺层效率。同时，铺层工艺对操作人员的技术经验要求较高，纸质文件的工艺表达方式信息查询困难，难以把握细节要求，容易产生错误理解从而造成错误操作，例如，多层铺贴过程中裁片出现搭接、错贴等。而激光投影系统虽然实现了一定程度上的可视化，但是能耗大，长期使用对人眼有较大伤害，而且无法实现对现实工况的数据收集和交互，应用模式单一。

发明内容

鉴于现有技术中的上述缺陷或不足，本发明旨在提供一种基于增强现实的无人机零部件手工铺层辅助系统和方法，采用增强现实，实现铺层工艺信息与真实物理环境的自动匹配，系统性地将抽象化铺层工艺信息向可视化的增强现实交互式信息进行自动转化，针对无人机铺层工艺逻辑实现可视化的操作导引，引导工人完成无人机手工铺层操作，提高工作效率，降低错误率。

为了实现上述目的，本发明实施例采用如下技术方案：

第一方面，本发明实施例提供了一种基于增强现实的无人机零部件手工铺层辅助系统，所述手工铺层辅助系统包括：图像采集模块、目标识别模块、工艺生成模块、虚实融合模块、工艺推送模块、交互控制模块、显示模块；其中，

所述图像采集模块与所述目标识别模块和虚实融合模块相连，用于实时捕捉操作平台上指定区域内的无人机零部件图像和操作动作画面，生成视频流数据供目标识别模块和虚实融合模块读取；

所述目标识别模块具有零部件三维模型数据库及三维模板数据库，还与所述工艺生成模块和虚实融合模块相连，用于读取所述图像采集模块中的无人机零部件图像的视频流数据，将无人机零部件图像与零部件三维模型数据库中的无人机零部件三维模型相匹配，并基于模型模板匹配算法根据所识别的无人机零部件三维模型与三维模板数据库中的三维铺层模板进行匹配识别；还用于根据所识别的三维铺层模板生成当前目标标识符传递给工艺生成模块，并根据所述三维铺层模板生成目标空间位姿，供虚实融合模块调用；

所述工艺生成模块具有铺层工艺数据库，还与所述虚实融合模块相连，用于根据目标识别模块所识别的无人机零部件三维模型与铺层工艺数据库中对应的复合材料铺层工艺参数进行匹配识别，并将所识别的铺层工艺参数与所述当前目标标识符进行匹配后，生成当前目标铺层工艺数据供虚实融合模块调用；

所述虚实融合模块还与工艺推送模块和交互控制模块相连，用于从所述图像采集模块获取实时视频流数据、从所述目标识别模块获取目标空间位姿、从所述工艺生成模块获得当前目标铺层工艺数据，逐帧生成实时的虚实融合铺层工艺视图；

所述工艺推送模块还与所述交互控制模块相连，用于在接收到交互控制模块交互指令时，从所述虚实融合模块中调用虚实融合铺层工艺视图并发送给显示模块；

所述显示模块对所接收的虚实融合铺层工艺视图展示给操作人员；

所述交互控制模块是操作人员的交互窗口，用于接收操作人员的铺层指令，并根据铺层指令生成虚实融合指令发送给所述虚实融合模块，根据铺层指令生成工艺推送指令发送给所述工艺推送模块。

作为本发明的一个优选实施例，所述实时的虚实融合铺层工艺视图，包括当前目标铺层实际状态、当前目标完整虚拟状态、当前目标待完成铺层状态及待完成铺层工艺参数，其中，所述当前目标铺层的实际状态来自于实时的视频流数据，所述目标完整虚拟状态来自于目标识别模块的目标空间位姿，所述待完成铺层通过虚实对比体现出来，待铺层工艺参数来自于工艺生成模块的当前目标铺层工艺数据。

作为本发明的一个优选实施例，所述虚实融合铺层工艺视图，实时保持对当前零部件位置与姿态的动态跟踪，同时将三维工艺数据按照手工铺层的要求渲染到视频画面中所呈现的空间位置，逐帧生成虚实融合场景的视图数据。

作为本发明的一个优选实施例，所述三维模板数据库中，包括零部件的铺层面片模型、工具资源模型、三维指示标记模型；所述目标空间位姿，至少包括零部件在无人机中所处位置及姿势、铺层结构、铺层顺序。

作为本发明的一个优选实施例，所述铺层工艺数据库中至少包括布料编号、铺层方向、铺层厚度的工艺参数；所述当前目标铺层工艺数据分为两种类型，一类是三维模型数据，另一类是是无法模型化表述的工艺文字说明，两类数据共同构成无人机零部件手工铺层工艺的完整描述。

作为本发明的一个优选实施例，所述手工铺层辅助系统还包括：执行记录模块和分析决策模块；其中，

所述执行记录模块与虚实融合模块和显示模块相连，具有操作记录数据库，用于实时记录虚实融合模块中呈现的零部件铺层过程，对铺层操作进行记录并将记录数据存入操作记录数据库中；。

所述分析决策模块与执行记录模块中的操作记录数据库相连，还与工艺生成模块中的铺层工艺数据库相连，用于在工艺人员指令下调用操作记录数据库中的铺层历史数据，对当前零部件的铺层工艺进行分析、整理、优化，并将优化后的铺层工艺参数存入铺层工艺数据库中与当前零件相对应的数据目录下；

所述显示模块还用于铺层操作历史数据的查看。

作为本发明的一个优选实施例，所述零部件三维模型数据库、三维模板数据库及铺层工艺数据库，根据所制备的无人机型号、生产要求进行数据库的实时更新。

作为本发明的一个优选实施例，所述数据库的实时更新，在所述辅助系统使用前进行初始化，工艺人员通过各个无人机零部件制作出机身每个零部件的三维模型存储在所述零部件三维模型数据库中，同时整理出机身每个零部件的布料编号、铺层方向、铺层厚度、铺层顺序等铺层工艺数据存储在铺层工艺数据库中；同时根据零部件三维模型生成对应的铺层模板，存储在三维模板数据库中。

作为本发明的一个优选实施例，所述无人机零部件，至少包括无人机机身、左翼、右翼、中翼、垂尾、平尾。

第二方面，本发明实施例还提供了一种基于增强现实的无人机零部件手工铺层辅助方法，所述方法通过上述手工铺层辅助系统实现，具体包括如下步骤：

步骤S1，操作人员将待铺层的无人机零部件放置于操作平台的操作区域后，向交互控制模块发送铺层指令；

步骤S2，图像采集模块实时捕捉操作平台上指定区域内的无人机零部件图像和操作动作画面，生成视频流数据；

步骤S3，目标识别模块读取无人机零部件图像的视频流数据，将无人机零部件图像与零部件三维模型数据库中的无人机零部件三维模型相匹配，并基于模型模板匹配算法根据所识别的无人机零部件三维模型与三维模板数据库中的三维铺层模板进行匹配识别，根据三维铺层模板生成目标空间位姿；同时根据所识别的三维铺层模板生成当前目标标识符传递给工艺生成模块；

步骤S4，工艺生成模块根据目标识别模块所识别的无人机零部件三维模型与铺层工艺数据库中对应的复合材料铺层工艺参数进行匹配识别，并将所识别的铺层工艺参数与当前目标标识符进行匹配后，生成当前目标铺层工艺数据；

步骤S5，交互控制模块根据铺层指令向虚字实融合模块发送虚实融合指令后，虚实融合模块根据虚实融合指令，获取实时视频流数据、目标空间位姿及当前目标铺层工艺数据，逐帧生成实时的虚实融合铺层工艺视图；

步骤S6，交互控制模块根据铺层指令向工艺推送模块发送工艺推送指令后，工艺推送模块根据工艺推送指令调用虚实融合铺层工艺视图并发送给显示模块；

步骤S7，显示模块对所接收的虚实融合铺层工艺视图展示给操作人员，操作人员根据虚实融合铺层工艺视图进行手工铺层。

本发明具有如下有益效果：

本发明实施例所提供的基于增强现实的无人机零部件手工铺层辅助系统，通过三维模型模板匹配算法自动识别待铺层零部件，使零部件在活动中也能准确融合虚拟工艺数据，避免了在产品零部件上额外增加标签的需求，优化了产品的工艺流程；向操作人员主动推送铺层工艺信息，避免了操作人员在生产装配过程中多次重复查找纸质工艺文件及文件中指定信息的繁复工作；通过虚实融合的可视化视图呈现当前零部件的铺层工艺信息，以直观易懂、实时变更的信息指导方式帮助操作人员进行手工作业，降低了操作人员对工艺的认知和记忆负担，使操作人员集中于铺层的操作，保证严格按照工艺顺序进行操作，有效防止差错，提高了铺层生产效率和产品质量；同时，可视化视图实时记录和保存可交互的虚实融合场景数据，实现未来对产品质量问题的追溯，更方便地进行手工操作过程的多方面分析评价，帮助工艺及设计人员进行持续性的决策优化。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1是本发明实施方式提供的基于增强现实的无人机零部件手工铺层辅助系统结构框图；

图2是本发明具体实施例中基于增强现实的无人机零部件手工铺层辅助系统工作场景示意图；

图3是图2中工作场景下的显示模块第二界面示例图。

附图标记说明：

001-操作平台；002-操作区域；003-无人机零部件；700-显示器看板；2-数据处理与存储服务器；100-图像采集摄像头；721-无人机复合材料铺层工艺路线显示栏(高亮时显示当前操作任务)；722-无人机待铺层零部件；723-无人机结构树(高亮时显示当前部件)；724- 融合在无人机部件上的三维工艺指导模型；725-文字类型的详细技术要求和工艺说明；726-融合在无人机部件指定位置的三维指导标签； 727-显示器看板外框。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与发明相关的部分。需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。

本发明针对无人机铺层工艺逻辑实现手工辅层的可视化操作导引，提出了一种基于增强现实的无人机零部件手工铺层辅助系统和方法，利用图像采集摄像头对现实场景下的无人机机体进行识别，进行复合材料铺层的工艺信息与待铺层部件对象的自动匹配，实现在虚实融合视图中呈现复合材料铺层的相关工艺信息，指导操作人员按步骤进行铺层操作，提高无人机复合材料手工铺层的效率与质量。

图1示出了本发明实施方式所提供的基于增强现实的无人机零部件手工铺层辅助系统结构示意图。如图1所示，所述手工铺层辅助系统，包括：图像采集模块100、目标识别模块200、工艺生成模块300、虚实融合模块400、工艺推送模块500、交互控制模块600、显示模块 700。所述无人机零部件，至少包括无人机机身、左翼、右翼、中翼、垂尾、平尾。

其中，所述图像采集模块100与所述目标识别模块200和虚实融合模块400相连，用于实时捕捉操作平台上指定区域内的无人机零部件图像和操作动作画面，生成视频流数据供目标识别模块200和虚实融合模块400读取。所述图像采集模块100通过安装在工作台面正上方的摄像机实现。

所述目标识别模块200包括零部件三维模型数据库210及三维模板数据库220，还与所述工艺生成模块300和虚实融合模块400相连，用于读取所述图像采集模块100中的无人机零部件图像的视频流数据，将无人机零部件图像与零部件三维模型数据库210中的无人机零部件三维模型相匹配，并基于模型模板匹配算法根据所识别的无人机零部件三维模型与三维模板数据库220中的三维铺层模板进行匹配识别；还用于根据所识别的三维铺层模板生成当前目标标识符传递给工艺生成模块300，并根据所述三维铺层模板生成目标空间位姿，供虚实融合模块400调用。所述目标空间位姿，至少包括零部件在无人机中所处位置及姿势、铺层结构、铺层顺序。所述三维模板数据库中，包括零部件的铺层面片模型、工具资源模型、三维指示标记模型。所述当前目标标识符是与当前零部件对应的唯一标号，用于产品的识别。

所述工艺生成模块300包括铺层工艺数据库310，还与所述虚实融合模块400相连，用于根据目标识别模块200所识别的无人机零部件三维模型与铺层工艺数据库310中对应的复合材料铺层工艺参数进行匹配识别，并将所识别的铺层工艺参数与所接收的目标识别模块发送的当前目标标识符进行匹配后，生成当前目标铺层工艺数据供虚实融合模块调用。所述铺层工艺数据库310中至少包括布料编号、铺层方向、铺层厚度等工艺参数。所述当前目标铺层工艺数据分为两种类型，一类是三维模型数据，另一类是是无法模型化表述的工艺文字说明，如铺层厚度要求等，两类数据都可沿用上游设计资料或者由工艺人员创作添加，二者共同构成无人机零部件手工铺层工艺的完整描述。

所述虚实融合模块400还与工艺推送模块500和交互控制模块 600相连，用于从所述图像采集模块100获取实时视频流数据、从所述目标识别模块200获取目标空间位姿、从所述工艺生成模块300获得当前目标铺层工艺数据，逐帧生成实时的虚实融合铺层工艺视图。

所述实时的虚实融合铺层工艺视图，包括当前目标铺层实际状态、当前目标完整虚拟状态、当前目标待完成铺层状态及待完成铺层工艺参数，其中，所述当前目标铺层的实际状态来自于实时的视频流数据，所述目标完整虚拟状态来自于目标识别模块的目标空间位姿，所述待完成铺层通过虚实对比体现出来，待铺层工艺参数来自于工艺生成模块的当前目标铺层工艺数据。上述数据是实时更新的，随着操作人员手工操作的推进，当前目标的铺层状态是实时变化的，因此，虚实融合模块的虚实融合工艺视图也是实时变化的。从当前时刻来说，虚实融合工艺视图是逐帧生成的。通过逐帧、实时的过程，所述虚实融合工艺视图既保持了对当前零部件位置与姿态的动态跟踪，又将三维工艺数据按照手工铺层的要求注册渲染到视频画面中所呈现的空间位置，逐帧生成虚实融合场景视图数据。

所述工艺推送模块500还与所述交互控制模块600相连，用于在接收到交互控制模块600交互指令时，从所述虚实融合模块400中调用虚实融合铺层工艺视图并发送给显示模块700。

所述显示模块700对所接收的虚实融合铺层工艺视图展示给操作人员。

所述交互控制模块600是操作人员的交互窗口，用于接收操作人员的铺层指令，并根据铺层指令生成虚实融合指令发送给所述虚实融合模块400，根据铺层指令生成工艺推送指令发送给所述工艺推送模块500。

当操作人员在本实施方式所提供的基于增强现实的无人机零部件手工铺层辅助系统的辅助下进行铺层作业时，将待铺层的无人机零部件放置于操作平台指定区域内，同时向交互控制模块下达开始铺层指令。所述操作指令的下达，可以通过传统键鼠输入、屏幕触摸输入以及语音指令识别等交互手段。同时，铺层指令中至少包括虚实融合、工艺推送，还可以包括放大相关位置、展示下一铺层工艺步骤、系统开启、系统关闭等。相应的，所述交互控制模块中包括开始、下一步、暂停、结束、放大等程序交互逻辑子模块。

作为图像采集模块的摄像机对操作平台上指定区域内的无人机零部件进行图像采集，生成视频流数据。目标识别模块调用图像采集模块内的视频流数据，从零部件三维模型数据中匹配出与当前零部件相匹配的三维模型，再根据所述三维模型基于模型模板匹配算法匹配出当前目标零部件的三维铺层模板，此模板中显示出当前零部件的所有铺层设计及构成，生成目标空间位姿，即当前目标零件部在无人机中的位置、姿态及各个铺层状态，同时生成一个目标标识符。工艺生成模块根据零部件的三维模型，生成从所述铺层工艺数据库中匹配出与当前零部件相匹配的铺层工艺参数，并将此铺层工艺数据与目标识别模块生成的目标标识符相匹配或整合，生成当前目标铺层工艺数据。此时的当前目标铺层工艺数据，一方面包含铺层工艺参数，另一方面包含用于零件识别的目标标识别符。

交互控制模块在接收到操作人员的铺层指令后，根据铺层指令生成虚实融合指令和工艺推送指令，并分别将指令下达给虚实融合模块和工艺推送模块。虚实融合模块接收到虚实融合指令后，调用视频流数据、目标空间位姿及当前目标铺层工艺数据，进行虚实融合，生成虚实融合的当前目标铺层工艺视图。工艺推送模块接收到交互控制模块的工艺推送指令后，从虚实融合模块中调用铺层工艺视图，发送给显示模块，显示模块将铺层工艺视图进行展示。

此时，操作人员从显示模块的工艺视图中，可以看到当前零部件的实时铺层状态，实际已铺完哪一层，还有哪些层是待铺层，并可以读取待铺层的工艺参数，包括铺层材质、厚度、尺寸、方向，根据所读取的铺层工艺参数，执行铺层操作。

如上所述，基于增强现实的无人机零部件手工铺层辅助系统还包括：执行记录模块800、分析决策模块900。

其中，所述执行记录模块800与虚实融合模块400和显示模块700 相连，包括操作记录数据库810，用于实时记录虚实融合模块400中呈现的零部件铺层过程，对铺层操作进行记录并将记录数据存入操作记录数据库810中。所述操作记录数据库810至少包括操作视频记录、操作人员姓名及时间签署、实际操作与操作要求的实时比对结果。另外，执行记录模块及操作记录数据的存在，使得操作人员中断导引后能够从中断的步骤继续在导引下进行铺设操作。

所述分析决策模块900与执行记录模块800中的操作记录数据库 810相连，还与工艺生成模块300中的铺层工艺数据库相连，用于在工艺人员指令下调用操作记录数据库中的铺层历史数据，对当前零部件的铺层工艺进行分析、整理、优化，并将优化后的铺层工艺参数存入铺层工艺数据库中与当前零件相对应的数据目录下。分析决策模块 900使得操作人员、工艺人员、管理人员后期对此无人机进行产品质量溯源、及时发现操作及工艺问题，不仅提供了强有力的数据及视频信息支持，更便于生产工艺的改进和铺层数据的优化。

同时，所述显示模700还用于铺层操作历史数据的查看。当工艺人员或其他人员需要查看过去发生的铺层操作时，将显示模块700从铺层工艺显示模式切换至历史数据显示模式下，通过关键词调用需要查看的存储在执行记录模块内操作记录数据库中的历史数据。

如上所述，基于增强现实的无人机零部件手工铺层辅助系统中所包括的无人机零部件三维模型数据库、三维模板数据库及铺层工艺数据库，根据所制备的无人机型号等进行数据库的实时更新。在所述辅助系统使用前进行初始化，工艺人员需通过各个无人机零部件制作出机身每个零部件的三维模型存储在所述零部件三维模型数据库中，同时整理出机身每个零部件的布料编号、铺层方向、铺层厚度、铺层顺序等铺层工艺数据存储在铺层工艺数据库中；同时根据零部件三维模型生成对应的铺层模板，存储在三维模板数据库中。通过上述三个数据库，完成手工铺层辅助工作中的无人机零件识别、空间位姿识别、工艺步骤识别。

基于上述基于增强现实的无人机零部件手工铺层辅助系统，本发明实施方式还提供了一种基于增强现实的无人机零部件手工铺层辅助方法，具体包括如下步骤：

步骤S1，操作人员将待铺层的无人机零部件放置于操作平台的操作区域后，向交互控制模块发送铺层指令；

步骤S2，图像采集模块实时捕捉操作平台上指定区域内的无人机零部件图像和操作动作画面，生成视频流数据；

步骤S3，目标识别模块读取无人机零部件图像的视频流数据，将无人机零部件图像与零部件三维模型数据库中的无人机零部件三维模型相匹配，并基于模型模板匹配算法根据所识别的无人机零部件三维模型与三维模板数据库中的三维铺层模板进行匹配识别，根据三维铺层模板生成目标空间位姿；同时根据所识别的三维铺层模板生成当前目标标识符传递给工艺生成模块；

步骤S4，工艺生成模块根据目标识别模块所识别的无人机零部件三维模型与铺层工艺数据库中对应的复合材料铺层工艺参数进行匹配识别，并将所识别的铺层工艺参数与当前目标标识符进行匹配后，生成当前目标铺层工艺数据；

步骤S5，交互控制模块根据铺层指令向虚字实融合模块发送虚实融合指令后，虚实融合模块根据虚实融合指令，获取实时视频流数据、目标空间位姿及当前目标铺层工艺数据，逐帧生成实时的虚实融合铺层工艺视图；

步骤S6，交互控制模块根据铺层指令向工艺推送模块发送工艺推送指令后，工艺推送模块根据工艺推送指令调用虚实融合铺层工艺视图并发送给显示模块；

步骤S7，显示模块对所接收的虚实融合铺层工艺视图展示给操作人员，操作人员根据虚实融合铺层工艺视图进行手工铺层。

需要说明的是，上述手工铺层辅助方法与所述辅助系统是相对应的，对所述辅助系统的描述和限定同样适用于所述辅助方法，在此不再赘述。

下面通过具体的实施例，对本发明作进一步详细的说明。以下对实施例的描述仅用于对本发明方案的进一步说明，并不构成对本发明的限制。

本实施例提供了一种在增强现实的无人机零部件手工铺层辅助系统，如图2所示，所述系统包括：具有操作区域002(图像采集区域)的操作平台001、显示器看板700、图像采集摄像头100、实时呈现的虚实融合工艺视图、待铺层的无人机零部件003、数据处理和存储服务器2。操作区域002位于操作平台001台面上，显示器看板700通过螺栓连接于操作平台001后方支架上，与操作平台001垂直或成预设角度，方便操作人员观看。铺层工作开始后，操作人员将待铺层无人机零部件003放置在操作区域002范围内；图像采集摄像头100位于操作区域002正上方，通过螺栓与操作平台001连接，固定在一起；数据处理和存储服务器2放置于操作平台附近，并通过线缆与图像采集摄像头100和显示器看板700连接。

所述数据处理和存储服务器2中，集成了数据处理和存储的其他模块，包括：图像采集模块、具有零部件三维模型数据库和三维模板数据库的目标识别模块、具有铺层工艺数据库的工艺生成模块、虚实融合模块、工艺推送模块、交互控制模块、具有操作记录数据库的执行记录模块及分析决策模块。上述模块的连接关系与实施方式中描述的连接及逻辑关系相同。同时，所述交互控制模块还与显示器看板连接，操作人员通过显示器看板向交互控制模块中输入操作指令。

图3显示了本实施例基于增强现实的无人机手工铺层辅助系统中无人机复合材料铺层的虚实融合工艺视图样例，即显示器看板工作时的详细显示内容。所述显示器看板700有三种工作界面，第一界面是操作人员的输入界面710，第二界面是铺层工艺视图显示界面720，第三界面是历史数据查看界面730。如图3所示，显示了显示器看板的第二界面720，在当前铺层工艺显示界面下，显示无人机铺设工艺信息，其中，721为工艺信息示意图中所包含的无人机复合材料铺层工艺路线显示栏(高亮时显示当前操作任务)，722为无人机待铺层零部件，723为无人机结构树(高亮时显示当前部件)、724为融合在无人机部件上的三维工艺指导模型，725为文字类型的详细技术要求和工艺说明，726为融合在无人机部件指定位置的三维指导标签，727为显示器看板外框。其中文字类型的详细技术要求和工艺说明包含铺层顺序、铺层方向、铺层厚度等；融合在无人机部件指定位置的三维指导标签包含铺层工艺要求、可能造成部件损伤的相关注意事项。

采用本实施例的基于增强现实的无人机手工铺层辅助系统进行手工铺层工作时，数据处理与存储服务器中的数据采集模块通过图像采集摄像头采集操作区域内的实景图像，包括无人机零部件的当前状态及当前铺层操作，生成视频流数据供目标识别模块及虚实融合模块读取；目标识别模块基于无人机的零部件的三维模型数据库，基于模型模板匹配算法对实景视频流画面中的待操作零部件进行匹配识别，待准确识别目标后，生成该目标所对应的唯一标识符，并传递给工艺生成模块，同时生成目标空间位姿供虚实融合模块读取；工艺生成模块基于当前目标的三维模型，在工艺数据库中查询对应的复合材料铺层工艺资料，主要包含复合材料铺层布料编码、铺层顺序、铺层方向、铺层厚度等具体工艺要素，该工艺数据主要分为两种类型，一类是三维模型数据：主要包括零部件三维模型、铺层面片模型、工具资源模型、三维指示标记模型等，另一类是是无法模型化表述的工艺文字说明，如铺层厚度要求等，两类数据都可沿用上游设计资料或者由工艺人员创作添加，二者共同构建无人机复合材料铺层工艺的完整描述；将工艺参数与来自于目标识别模块的唯一目标标识符匹配生成完整的铺层工艺数据，供虚实融合模块调用。

所述虚实融合模块获取图像采集模块中的视频流数据、目标识别模块中的目标空间位姿及工艺生成模块的铺层工艺数据，生成虚实融合的工艺视图。生成虚实融合的铺层工艺视图的过程中，一方面保持对产品对象位姿的动态跟踪，另一方面将三维工艺数据按照工艺人员创作的要求注册渲染到视频画面中所呈现的对于空间位置，逐帧生成虚实融合的铺层工艺视图，供工艺推送模块读取。

所述工艺推送模块实时监听由交互控制模块发出的交互指令，对交互操作做出响应，在接收到交互控制模块的操作指令后，读取虚实融合模块中对应的虚实融合铺层工艺视图，并将虚实融合铺层工艺视图虚实融合推送到显示器看板。

操作人员按照显示器看板上所显示的虚实融合的铺层工艺视图中，程序可视化面板展示的工艺要求首先进行原材料、无人机零部件的状态检验等操作，然后每完成系统所要求的一个操作要求，通过任一种交互方式对完成状态进行确认，系统将自动完成签署，然后基于程序逻辑推送下一个三维工艺指令。

在操作人员执行铺层操作时，执行记录模块实时接收和存储由虚实融合模块生成的可交互的虚实融合数据，一方面严格记录历史操作过程，以结构化分类的形式存储到对应操作历史数据集合中，另一方面可通过在历史操作视频数据中通过交互融合虚拟工艺模型，通过实操和工艺要求的进一步比对以发现操作过程中的其他问题。后期相关人员可通过显示器看板的历史数据查看模式，调用操作记录数据库中的数据，查看每个无人机零部件制作详细过程及数据，能够对每个部件的工艺内容进行优化创作，作为后续融合到场景的三维工艺指令。

所述分析决策模块用于操作完成后，工艺人员对结构化存储的历史数据进行分析和整理，并生成优化改进意见，以迭代优化工艺数据包。

以上描述仅为本发明的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本发明中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本发明中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (9)

1.一种基于增强现实的无人机零部件手工铺层辅助系统，其特征在于，所述手工铺层辅助系统包括：图像采集模块、目标识别模块、工艺生成模块、虚实融合模块、工艺推送模块、交互控制模块、显示模块；其中，

所述图像采集模块与所述目标识别模块和虚实融合模块相连，用于实时捕捉操作平台上指定区域内的无人机零部件图像和操作动作画面，生成视频流数据供目标识别模块和虚实融合模块读取；

所述目标识别模块具有零部件三维模型数据库及三维模板数据库，还与所述工艺生成模块和虚实融合模块相连，用于读取所述图像采集模块中的无人机零部件图像的视频流数据，将无人机零部件图像与零部件三维模型数据库中的无人机零部件三维模型相匹配，并基于模型模板匹配算法根据所识别的无人机零部件三维模型与三维模板数据库中的三维铺层模板进行匹配识别；还用于根据所识别的三维铺层模板生成当前目标标识符传递给工艺生成模块，并根据所述三维铺层模板生成目标空间位姿，供虚实融合模块调用；

所述工艺生成模块具有铺层工艺数据库，还与所述虚实融合模块相连，用于根据目标识别模块所识别的无人机零部件三维模型与铺层工艺数据库中对应的复合材料铺层工艺参数进行匹配识别，并将所识别的铺层工艺参数与所述当前目标标识符进行匹配后，生成当前目标铺层工艺数据供虚实融合模块调用；

所述虚实融合模块还与工艺推送模块和交互控制模块相连，用于从所述图像采集模块获取实时视频流数据、从所述目标识别模块获取目标空间位姿、从所述工艺生成模块获得当前目标铺层工艺数据，逐帧生成实时的虚实融合铺层工艺视图；所述实时的虚实融合铺层工艺视图，包括当前目标铺层实际状态、当前目标完整虚拟状态、当前目标待完成铺层状态及待完成铺层工艺参数，其中，所述当前目标铺层的实际状态来自于实时的视频流数据，所述当前目标完整虚拟状态来自于目标识别模块的目标空间位姿，所述当前目标待完成铺层状态通过虚实对比体现出来，待完成铺层工艺参数来自于工艺生成模块的当前目标铺层工艺数据；

所述工艺推送模块还与所述交互控制模块相连，用于在接收到交互控制模块交互指令时，从所述虚实融合模块中调用虚实融合铺层工艺视图并发送给显示模块；

所述显示模块对所接收的虚实融合铺层工艺视图展示给操作人员；

所述交互控制模块是操作人员的交互窗口，用于接收操作人员的铺层指令，并根据铺层指令生成虚实融合指令发送给所述虚实融合模块，根据铺层指令生成工艺推送指令发送给所述工艺推送模块。

2.根据权利要求1所述的基于增强现实的无人机零部件手工铺层辅助系统，其特征在于，所述虚实融合铺层工艺视图，实时保持对当前零部件位置与姿态的动态跟踪，同时将三维工艺数据按照手工铺层的要求渲染到视频画面中所呈现的空间位置，逐帧生成虚实融合场景的视图数据。

3.根据权利要求1所述的基于增强现实的无人机零部件手工铺层辅助系统，其特征在于，所述三维模板数据库中，包括零部件的铺层面片模型、工具资源模型、三维指示标记模型；所述目标空间位姿，至少包括零部件在无人机中所处位置及姿势、铺层结构、铺层顺序。

4.根据权利要求1所述的基于增强现实的无人机零部件手工铺层辅助系统，其特征在于，所述铺层工艺数据库中至少包括布料编号、铺层方向、铺层厚度的工艺参数；所述当前目标铺层工艺数据分为两种类型，一类是三维模型数据，另一类是是无法模型化表述的工艺文字说明，两类数据共同构成无人机零部件手工铺层工艺的完整描述。

5.根据权利要求1所述的基于增强现实的无人机零部件手工铺层辅助系统，其特征在于，所述手工铺层辅助系统还包括：执行记录模块和分析决策模块；其中，

所述执行记录模块与虚实融合模块和显示模块相连，具有操作记录数据库，用于实时记录虚实融合模块中呈现的零部件铺层过程，对铺层操作进行记录并将记录数据存入操作记录数据库中；

所述分析决策模块与执行记录模块中的操作记录数据库相连，还与工艺生成模块中的铺层工艺数据库相连，用于在工艺人员指令下调用操作记录数据库中的铺层历史数据，对当前零部件的铺层工艺进行分析、整理、优化，并将优化后的铺层工艺参数存入铺层工艺数据库中与当前零件相对应的数据目录下；

所述显示模块还用于铺层操作历史数据的查看。

6.根据权利要求1所述的基于增强现实的无人机零部件手工铺层辅助系统，其特征在于，所述零部件三维模型数据库、三维模板数据库及铺层工艺数据库，根据所制备的无人机型号、生产要求进行数据库的实时更新。

7.根据权利要求6所述的基于增强现实的无人机零部件手工铺层辅助系统，其特征在于，所述数据库的实时更新，在所述辅助系统使用前进行初始化，工艺人员通过各个无人机零部件制作出机身每个零部件的三维模型存储在所述零部件三维模型数据库中，同时整理出机身每个零部件的布料编号、铺层方向、铺层厚度、铺层顺序等铺层工艺数据存储在铺层工艺数据库中；同时根据零部件三维模型生成对应的铺层模板，存储在三维模板数据库中。

8.根据权利要求1所述的基于增强现实的无人机零部件手工铺层辅助系统，其特征在于，所述无人机零部件，至少包括无人机机身、左翼、右翼、中翼、垂尾、平尾。

9.一种基于增强现实的无人机零部件手工铺层辅助方法，其特征在于，所述方法通过权利要求1至8任一项所述的手工铺层辅助系统实现，具体包括如下步骤：

步骤S1，操作人员将待铺层的无人机零部件放置于操作平台的操作区域后，向交互控制模块发送铺层指令；

步骤S2，图像采集模块实时捕捉操作平台上指定区域内的无人机零部件图像和操作动作画面，生成视频流数据；

步骤S3，目标识别模块读取无人机零部件图像的视频流数据，将无人机零部件图像与零部件三维模型数据库中的无人机零部件三维模型相匹配，并基于模型模板匹配算法根据所识别的无人机零部件三维模型与三维模板数据库中的三维铺层模板进行匹配识别，根据三维铺层模板生成目标空间位姿；同时根据所识别的三维铺层模板生成当前目标标识符传递给工艺生成模块；

步骤S4，工艺生成模块根据目标识别模块所识别的无人机零部件三维模型与铺层工艺数据库中对应的复合材料铺层工艺参数进行匹配识别，并将所识别的铺层工艺参数与当前目标标识符进行匹配后，生成当前目标铺层工艺数据；

步骤S5，交互控制模块根据铺层指令向虚字实融合模块发送虚实融合指令后，虚实融合模块根据虚实融合指令，获取实时视频流数据、目标空间位姿及当前目标铺层工艺数据，逐帧生成实时的虚实融合铺层工艺视图；所述实时的虚实融合铺层工艺视图，包括当前目标铺层实际状态、当前目标完整虚拟状态、当前目标待完成铺层状态及待完成铺层工艺参数，其中，所述当前目标铺层的实际状态来自于实时的视频流数据，所述当前目标完整虚拟状态来自于目标识别模块的目标空间位姿，所述当前目标待完成铺层状态通过虚实对比体现出来，待完成铺层工艺参数来自于工艺生成模块的当前目标铺层工艺数据；

步骤S6，交互控制模块根据铺层指令向工艺推送模块发送工艺推送指令后，工艺推送模块根据工艺推送指令调用虚实融合铺层工艺视图并发送给显示模块；

步骤S7，显示模块对所接收的虚实融合铺层工艺视图展示给操作人员，操作人员根据虚实融合铺层工艺视图进行手工铺层。

Images