CN112581634A - 基于自定义模型及工艺规划的协同虚拟装配训练系统实现方法 - Google Patents

Abstract

本发明涉及一种基于自定义模型及工艺规划的协同虚拟装配训练系统实现方法。该方法包括：对用户上传的三维模型进行轻量化处理，得到精简模型；将精简模型加载到虚拟装配场景中，进行装配序列的自定义规划和编辑；进入装配模拟场景，将多人远程协同接入虚拟装配系统，进行多人协同操作；在虚拟装配的多人协同操作过程中，借助装配分析工具进行装配过程相关指标的分析；为整个装配前、装配中和装配后的操作提供全流程记录和重编辑功能。本发明基于个性化定制的思想，实现快速自定义虚拟装配系统的过程，解决了传统定制化虚拟装配系统的难以开放拓展问题，支持灵活控制权转换的多人协同操作，极大提升了系统的灵活性和适用面。

Description

基于自定义模型及工艺规划的协同虚拟装配训练系统实现 方法

技术领域

本发明属于信息技术、虚拟现实技术领域，具体涉及一种基于自定义模型及工艺规划的协同虚拟装配训练系统实现方法。

背景技术

虚拟装配(Virtual Assembly)，是指在计算机环境中搭建拟真的装配场景，借助一定的交互设备，用户可以实现模拟实际装配的操作过程。虚拟装配借助虚拟现实技术、三维建模技术等在计算机环境中构建虚拟装配对象模型、装配模拟操作所需的工具、设备等，用户可以借助各类计算机外设像在真实环境中一样进行装配模拟操作。其中计算机外设是指连接在计算机主机以外的设备，一般分为输入设备和输出设备，虚拟装配技术中所指的外设如立体眼镜、VR(Virtual Reality，即虚拟现实)头盔系统、立体显示器、数据手套、方位跟踪器、运动捕捉设备、力反馈设备、音响系统等。虚拟装配可以用来对产品的可装配性进行分析、对产品零部件的装配序列进行规划和验证、对装配操作人员进行培训等。

目前的虚拟装配主要是对于产品装配过程的模拟或展示，对实际装配过程进行再现，以辅助装配过程的相关分析、验证或训练，而且往往是定制化系统，系统的灵活性较差。装配对象或需求一旦需要调整，则需要将所有的过程推翻重做，系统地适应性较差。

发明内容

基于现有技术存在的问题，本发明旨在创建更具拓展性的虚拟装配系统，并阐述其实现方法。

本发明采用的技术方案如下：

一种基于自定义模型及工艺规划的协同虚拟装配训练系统实现方法，包括以下步骤：

对用户上传的三维模型进行轻量化处理，得到精简模型；

将精简模型加载到虚拟装配场景中，进行装配序列的自定义规划和编辑；

进入装配模拟场景，将多人远程协同接入虚拟装配系统，进行多人协同操作；

在虚拟装配的多人协同操作过程中，借助装配分析工具进行装配过程相关指标的分析；

为整个装配前、装配中和装配后的操作提供全流程记录和重编辑功能，将装配前、装配中和装配后的过程信息以二维结合三维的数据形式保存下来，供操作者调用查看和进行反复编辑。

进一步地，将经过轻量化处理得到的精简模型保存到模型库中，在导入三维模型时直接从模型库中选择精简模型。

进一步地，所述轻量化处理，是按照去遮挡、去重复和简化小尺寸面的算法进行自动轻量化处理。

进一步地，所述装配序列的自定义规划和编辑，包括：

自定义装配序列：按照多层级结构的思想设计装配序列规划过程，首先依次确定最底层组件装配所需的零件及其装配序列，然后分层级向上逐步确定子装配配体和装配体及其装配序列，最后确定装配体到产品整体的装配序列。

装配路径编辑：建立三维坐标空间，以辅助用户查找和绘制装配路径；操作者借助三维画笔工具，通过在装配空间绘制曲线路径的方式定义装配路径；装配路径绘制形成后，在手动装配过程中，引导操作者遵循路径从合适的起始位置运动到指定的终点位置进行装配；在自动装配过程中，待装配对象自动以装配路径为运动路径进行装配；在绘制路径的过程中进行碰撞检测，并将碰撞路径段标识出来提醒操作者修改；

定义考核内容：在自定义装配序列和装配路径编辑的过程中，根据需要设置对应步骤的考核知识点及分值权重；在装配操作的过程中，根据需要选择是否开启考核，以检验操作者对相关基础知识、装配作业流程的掌握程度。

进一步地，所述多人协同操作包括：

支持远程语音、文字的即时通讯，以方便多人参与和支持装配过程的协同操作；

对于操作者的角色，根据操作熟练程度或经验进行区分，一个为主控者，其他为协同者，支持操作者在操作过程中进行控制权的转换；主控者负责控制整体装配操作进程，协同者参与观看和进行装配辅助分析；

将装配操作过程分为自动操作和手动操作两种模式；自动操作通过一键触发完成下一步装配任务或者随意向前/向后跳转到任一操作步骤；手动装配是按照预先定义的装配序列、装配路径和装配内容进行当前步骤的、正确的装配操作，才能完成当前装配任务进入下一步操作；手动装配操作过程中，根据训练要求开启考核评估，以评估操作者对装配过程的掌握程度，考核结果保留在系统数据库里；在整个虚拟装配的协同操作过程中，主控者和协同者都能够借助装配分析工具进行装配过程相关指标的分析。

进一步地，所述进行装配过程相关指标的分析，包括：干涉检查、碰撞检测、人机工效分析、结构分析，以及进行标注/删改。

进一步地，所述人机工效分析，从装配的可视性、可达性、操作姿态/动作合理性、作业时间多个多角度进行分析。

进一步地，所述将装配前、装配中和装配后的过程信息以二维结合三维的数据形式保存下来，包括：

模型保存：对于导入的模型文件进行自动轻量化处理和保存，操作者能够从模型库中打开模型文件；

装配规划保存：包括装配序列定义、装配路径和内容编辑以及考核内容定义的保存，装配序列以模型树结构、按装配顺序的形式进行保存，使得操作者打开装配规划数据记录时，能够同时看到模型树结构和三维模型，能够通过拖拽模型树列表或三维模型的方法调整装配序列；

装配操作保存：装配模拟操作过程中，开启考核模式后，对操作者的考核情况和每一步作业的操作用时进行记录；

装配分析保存：对分析的各项指标及相关内容进行记录，包括将干涉检查所查出的干涉点、操作过程中的碰撞点、人机工效分析情况以及结构分析数据保存下来。

一种采用上述方法实现的基于自定义模型及工艺规划的协同虚拟装配训练系统，其包括：

轻量化处理模块，用于对用户上传的三维模型进行轻量化处理，得到精简模型；

装配序列规划模块，用于将精简模型加载到虚拟装配场景中，进行装配序列的自定义规划和编辑；

协同装配操作模块，用于在装配模拟场景中，将多人远程协同接入虚拟装配系统，进行多人协同操作；

装配分析评估模块，用于在虚拟装配的多人协同操作过程中，借助装配分析工具进行装配过程相关指标的分析；

装配过程记录和重编辑模块，用于为整个装配前、装配中和装配后的操作提供全流程记录和重编辑功能，将装配前、装配中和装配后的过程信息以二维结合三维的数据形式保存下来，供操作者调用查看和进行反复编辑。

本发明的技术关键点是：

(1)基于自定义模型、自定义装配序列和自定义装配路径的、支持可转移权限协同操作的虚拟装配系统实现技术及方法；

(2)基于自定义模型，进行三维虚拟装配环境中的自定义装配序列规划，通过自底向上多层次规划方法逐级确定装配序列，再结合三维空间中装配路径的绘制和检测的装配序列规划方法；

(3)建立多人异地远程装配操作，一人为主控者，其他为协同者，主控者可以干预虚拟模型的装配进程，协同者可以进行除装配进程之外的其他操作，主控者权限可以随时转移给其他协同者的方法；

(4)基于对虚拟装配全过程进行记录和重编辑，以二维结合三维的形式对可编辑过程进行记录，并支持操作者从记录中打开进行修改和重编辑的方法。

本发明的有益效果如下：

本发明基于个性化定制的思想，实现快速自定义虚拟装配系统的过程，用户可通过自定义上传模型生成个性化的装配体三维对象，随后系统自动进行三维模型的轻量化处理，用户可通过简单拖拽形式进行模型的装配序列规划和装配路径编辑，一键保存快捷生成虚拟装配模型场景，启动场景后即可进行多人协同虚拟装配的模拟操作。在操作过程中，系统提供装配分析工具，以更完善地辅助用户进行相关分析、验证和训练。操作完成后，系统可以记录保存整个操作过程，以便后续进行相关分析和讨论。本方案解决了传统定制化虚拟装配系统的难以开放拓展问题，通过支持灵活控制权转换的多人协同操作，摆脱了传统的虚拟装配系统的单人操作局限；在整个操作过程中，系统对用户的行为进行记录，以支持反复编辑和重新定义、修改，从而极大提升了系统的灵活性和适用面。

附图说明

图1是自定义虚拟装配系统整体方案示意图。

图2是模型导入及处理流程图。

图3是装配序列规划流程图。

图4是装配序列规划过程图。

图5是装配路径绘制的碰撞检测示意图。

图6是协同装配操作流程图。

图7是装配分析评估示意图。

图8是装配过程记录和重编辑示意图。

图9是装配序列规划模型树示意图。

图10是装配分析保存示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面通过具体实施例和附图，对本发明做进一步详细说明。

本发明要解决的技术问题和具有的主要功能如下：

(1)构建可自定义内容的虚拟装配系统；

(2)支持上传本地三维模型文件到虚拟装配系统中；

(3)可对上传的模型文件进行自动的轻量化处理；

(4)通过自定义形式进行装配序列规划，自定义编辑相应装配路径的操作说明，并编辑考核内容；

(5)一键发布编辑完成的虚拟装配场景；

(6)可多人远程协同接入虚拟装配系统，并进行协同操作。

(7)装配模拟操作过程中，提供装配分析工具，可对装配体进行各种指标分析和评估；

(8)对装配前、装配中和装配后的全过程进行记录，可以回看操作历史记录和对操作过程的历史记录进行编辑、修改。

本发明描述了一套完整的创建自定义虚拟装配系统的方法，如图1所示。通过上传本地模型或使用系统数据库中模型文件，进行装配序列的自定义规划和编辑，一键发布生成虚拟装配场景，支持多人异地远程协同进行虚拟装配操作，配合装配分析工具，进行装配体的分析评估，对装配全过程进行记录，实现对虚拟装配过程的反复查看和编辑。

本发明主要由模型导入及轻量化处理、装配序列规划、协同装配操作、装配分析评估、装配过程记录和重编辑五个部分组成。下文分别针对每个部分展开详细阐述。

1.模型导入及轻量化处理

虚拟装配场景中，三维模型是根据用户操作进行实时动态渲染，对模型面数有严苛要求，而往往借助专业软件构建的工业设备模型过于精细，动辄上百万个面。为了保证运行流畅性，在导入VR系统之前，需要对三维模型进行轻量化处理。本发明提供了两种模型导入方式，一种是本地上传，另一种是从模型库中选择，如图2所示。模型库中的模型都是已经轻量化处理后的精简模型，可以直接使用。导入本地文件则需要经过轻量化处理，为了使操作流程连贯简便，本案将轻量化处理功能模块内嵌合并到模型导入环节，用户选择本地模型文件确认上传后，系统即按照去遮挡、去重复和简化小尺寸面的算法(可采用现有技术)进行自动轻量化处理，处理完成后，精简模型会加载到默认装配场景中，同时保存到模型库中。

2.装配序列规划

模型处理完成后则可以进行装配序列的自定义规划和编辑，如图3所示。操作者可以从模型库里选择模型，也可以从保存了装配序列的历史记录中选择进行修改或重新编辑；在定义装配序列的过程中，可以对每个模型的装配序列进行编辑、也可以分组进行编辑，对应每一步序列，可以编辑装配路径、装配辅助内容以及定义考核内容，完成编辑和定义后，装配序列、相应的装配路径和考核内容将保存到数据库和历史记录中，并生成装配场景。

(1)自定义装配序列

装配序列的定义过程如图4所示，对于复杂产品来说，整个装配体中存在多层级关系，因此本发明按照多层级结构的思想设计装配序列规划过程。

装配序列规划过程中，按照由分-子-总的方法依次确定各级关系，首先依次确定最底层组件装配所需的零件及其装配序列，然后分层级向上逐步确定子装配配体和装配体及其装配序列，最后确定装配体到产品整体的装配序列。

(2)装配路径编辑

在进行装配路径编辑过程中，系统会建立三维坐标空间，以辅助用户查找和绘制装配路径，如图5所示。操作者借助三维画笔工具，通过在装配空间绘制曲线路径的方式定义装配路径，装配路径绘制形成后，在手动装配过程中，会引导操作者遵循路径从合适的起始位置运动到指定的终点位置进行装配；在自动装配过程中，待装配对象会自动以装配路径为运动路径进行装配。在绘制路径的过程中，系统会进行碰撞检测，并将碰撞路径段标识出来提醒操作者修改。

(3)定义考核内容

在装配操作训练中，考核是一块重要内容，本案中在装配序列定义和装配路径编辑的过程中，可以根据需要设置对应步骤的考核知识点及分值权重。在装配操作的过程中，可以根据需要选择是否开启考核，以检验操作者对相关基础知识、装配作业流程等的掌握程度。

3.协同装配操作

要进入装配模拟场景，可以从装配场景库中选择，也可以在装配序列编辑完成后自动进入。虚拟装配的模拟操作是在还原实际作业场景的视觉效果上，借助计算机外设构建操作者与虚拟装配对象的视觉、听觉和触觉的全感官自然交互，模拟实际装配作业操作过程，营造逼真的虚拟装配场景，如图6所示。

为了方便多人参与，装配过程支持协同操作，并支持远程语音、文字的即时通讯。对于操作者的角色，根据操作熟练程度或经验进行区分，一个主控者，其他为协同者，操作者在操作过程中也可以进行控制权的转换。主控者负责控制整体装配操作进程，协同者参与观看和进行装配辅助分析。此外，对于装配操作过程又分为自动操作和手动操作两种模式。自动操作可以通过一键触发完成下一步装配任务或者随意向前/向后跳转到任一操作步骤，以便更加自主控制操控过程。手动装配，则需要按照预先定义的装配序列、装配路径和装配内容进行当前步骤的、正确的装配操作，方可完成当前装配任务进入下一步操作；手动装配操作过程中，可以根据训练要求开启考核评估，以评估操作者对装配过程的掌握程度，考核结果保留在系统数据库里。在整个虚拟装配的协同操作过程中，主控者和协同者都可以借助装配分析工具进行装配过程相关指标的分析。

4.装配分析评估

在虚拟装配操作的全过程中，可以借助装配分析工具进行可装配性的相关指标分析，主要分析的指标有：干涉检查、碰撞检测、人机工效分析、结构分析等，同时为了协同交流的方便，系统添加标注/删改的功能，如图7所示。

可装配性分析指标：

干涉检查：对于静态装配体组件，利用剖面工具，可以从各个角度查看装配体/零部件进行切割，以观察其内外部结构及接合面的配合情况，从而有效排查干涉情况。

碰撞检测：在动态装配操作过程中，利用碰撞检测工具，可以实时检测装配路径是否合理，从而寻找合适的装配路径。

人机工效分析：很多装配过程中，人是重要的参与者，甚至是决定装配任务成败的关键因素，因此人是装配分析的重要对象。本案中加入人机工效分析工具，从装配的可视性、可达性、操作姿态/动作合理性、作业时间等多个多角度进行分析。

结构分析：可以借助尺寸测量工具测量装配体中各个尺寸，结合零件材质属性进行结构分析，为结构体设计优化提供参考。

标注/删改：为了使参与装配操作的协同者交流方便，本方案充分结合三维建模和虚拟现实的技术特点，提供三维图形绘制工具，以方便操作者进行各种标注和删改，并将沟通过程进行记录和保存。

5.装配过程记录和重编辑

为了使装配系统能够实现充分交流和高效使用，本发明为整个装配前、装配中和装配后的操作提供了全流程记录和重编辑功能，如图8所示。

其中，模型导入及轻量化处理和装配规划属于装配前环节，装配操作属于装配中环节，装配分析评估属于装配后环节。这些过程信息以二维结合三维的数据形式保存下来，以供操作者调用查看和进行反复编辑。

模型保存：对于导入的模型文件，系统进行自动轻量化处理和保存，操作者可以从模型库中打开模型文件。

装配规划保存：分为装配序列定义、装配路径和内容编辑以及考核内容定义的保存，装配序列以模型树结构、按装配顺序的形式进行保存，操作者打开装配规划数据记录，会同时看到模型树结构和三维模型，可以通过拖拽模型树列表或三维模型的方法调整装配序列。如图9所示。

考核内容是基于装配序列规划和装配路径编辑的过程建立的，可根据需要和相关操作的重要性进行考点和分值的设置，在装配操作过程中将依据此步设置的内容进行考核。

装配操作保存：装配模拟操作过程中，开启考核模式后，将对操作者的考核情况和每一步作业的操作用时进行记录。

装配分析保存：主要是对分析的各项指标及相关内容进行记录。其中干涉检查所查出的干涉点、操作过程中的碰撞点、人机工效分析情况以及结构分析数据等都将保存下来，如图10所示。

本发明另一实施例提供一种采用上述方法实现的基于自定义模型及工艺规划的协同虚拟装配训练系统，其包括：

轻量化处理模块，用于对用户上传的三维模型进行轻量化处理，得到精简模型；

装配序列规划模块，用于将精简模型加载到虚拟装配场景中，进行装配序列的自定义规划和编辑；

协同装配操作模块，用于在装配模拟场景中，将多人远程协同接入虚拟装配系统，进行多人协同操作；

装配分析评估模块，用于在虚拟装配的多人协同操作过程中，借助装配分析工具进行装配过程相关指标的分析；

装配过程记录和重编辑模块，用于为整个装配前、装配中和装配后的操作提供全流程记录和重编辑功能，将装配前、装配中和装配后的过程信息以二维结合三维的数据形式保存下来，供操作者调用查看和进行反复编辑。

本发明未详细阐述的部分属于本领域技术人员的公知技术。

以上公开的本发明的具体实施例和附图，其目的在于帮助理解本发明的内容并据以实施，本领域的普通技术人员可以理解，在不脱离本发明的精神和范围内，各种替换、变化和修改都是可能的。本发明不应局限于本说明书的实施例和附图所公开的内容，本发明的保护范围以权利要求书界定的范围为准。

Claims (9)

1.一种基于自定义模型及工艺规划的协同虚拟装配训练系统实现方法，其特征在于，包括以下步骤：

对用户上传的三维模型进行轻量化处理，得到精简模型；

将精简模型加载到虚拟装配场景中，进行装配序列的自定义规划和编辑；

进入装配模拟场景，将多人远程协同接入虚拟装配系统，进行多人协同操作；

在虚拟装配的多人协同操作过程中，借助装配分析工具进行装配过程相关指标的分析；

为整个装配前、装配中和装配后的操作提供全流程记录和重编辑功能，将装配前、装配中和装配后的过程信息以二维结合三维的数据形式保存下来，供操作者调用查看和进行反复编辑。

2.根据权利要求1所述的方法，其特征在于，将经过轻量化处理得到的精简模型保存到模型库中，在导入三维模型时直接从模型库中选择精简模型。

3.根据权利要求1所述的方法，其特征在于，所述轻量化处理，是按照去遮挡、去重复和简化小尺寸面的算法进行自动轻量化处理。

4.根据权利要求1所述的方法，其特征在于，所述装配序列的自定义规划和编辑，包括：

自定义装配序列：按照多层级结构的思想设计装配序列规划过程，首先依次确定最底层组件装配所需的零件及其装配序列，然后分层级向上逐步确定子装配配体和装配体及其装配序列，最后确定装配体到产品整体的装配序列。

装配路径编辑：建立三维坐标空间，以辅助用户查找和绘制装配路径；操作者借助三维画笔工具，通过在装配空间绘制曲线路径的方式定义装配路径；装配路径绘制形成后，在手动装配过程中，引导操作者遵循路径从合适的起始位置运动到指定的终点位置进行装配；在自动装配过程中，待装配对象自动以装配路径为运动路径进行装配；在绘制路径的过程中进行碰撞检测，并将碰撞路径段标识出来提醒操作者修改；

定义考核内容：在自定义装配序列和装配路径编辑的过程中，根据需要设置对应步骤的考核知识点及分值权重；在装配操作的过程中，根据需要选择是否开启考核，以检验操作者对相关基础知识、装配作业流程的掌握程度。

5.根据权利要求1所述的方法，其特征在于，所述多人协同操作包括：

支持远程语音、文字的即时通讯，以方便多人参与和支持装配过程的协同操作；

对于操作者的角色，根据操作熟练程度或经验进行区分，一个为主控者，其他为协同者，支持操作者在操作过程中进行控制权的转换；主控者负责控制整体装配操作进程，协同者参与观看和进行装配辅助分析；

将装配操作过程分为自动操作和手动操作两种模式；自动操作通过一键触发完成下一步装配任务或者随意向前/向后跳转到任一操作步骤；手动装配是按照预先定义的装配序列、装配路径和装配内容进行当前步骤的、正确的装配操作，才能完成当前装配任务进入下一步操作；手动装配操作过程中，根据训练要求开启考核评估，以评估操作者对装配过程的掌握程度，考核结果保留在系统数据库里；在整个虚拟装配的协同操作过程中，主控者和协同者都能够借助装配分析工具进行装配过程相关指标的分析。

6.根据权利要求1所述的方法，其特征在于，所述进行装配过程相关指标的分析，包括：干涉检查、碰撞检测、人机工效分析、结构分析，以及进行标注/删改。

7.根据权利要求6所述的方法，其特征在于，所述人机工效分析，从装配的可视性、可达性、操作姿态/动作合理性、作业时间多个多角度进行分析。

8.根据权利要求1所述的方法，其特征在于，所述将装配前、装配中和装配后的过程信息以二维结合三维的数据形式保存下来，包括：

模型保存：对于导入的模型文件进行自动轻量化处理和保存，操作者能够从模型库中打开模型文件；

装配规划保存：包括装配序列定义、装配路径和内容编辑以及考核内容定义的保存，装配序列以模型树结构、按装配顺序的形式进行保存，使得操作者打开装配规划数据记录时，能够同时看到模型树结构和三维模型，能够通过拖拽模型树列表或三维模型的方法调整装配序列；

装配操作保存：装配模拟操作过程中，开启考核模式后，对操作者的考核情况和每一步作业的操作用时进行记录；

装配分析保存：对分析的各项指标及相关内容进行记录，包括将干涉检查所查出的干涉点、操作过程中的碰撞点、人机工效分析情况以及结构分析数据保存下来。

9.一种采用权利要求1～8中任一权利要求所述方法实现的基于自定义模型及工艺规划的协同虚拟装配训练系统，其特征在于，包括：

轻量化处理模块，用于对用户上传的三维模型进行轻量化处理，得到精简模型；

装配序列规划模块，用于将精简模型加载到虚拟装配场景中，进行装配序列的自定义规划和编辑；

协同装配操作模块，用于在装配模拟场景中，将多人远程协同接入虚拟装配系统，进行多人协同操作；

装配分析评估模块，用于在虚拟装配的多人协同操作过程中，借助装配分析工具进行装配过程相关指标的分析；

装配过程记录和重编辑模块，用于为整个装配前、装配中和装配后的操作提供全流程记录和重编辑功能，将装配前、装配中和装配后的过程信息以二维结合三维的数据形式保存下来，供操作者调用查看和进行反复编辑。

Images