CN107037740B - 一种虚拟维修仿真自动化生成方法及装置 - Google Patents

一种虚拟维修仿真自动化生成方法及装置 Download PDF

Info

Publication number
CN107037740B
CN107037740B CN201710188410.7A CN201710188410A CN107037740B CN 107037740 B CN107037740 B CN 107037740B CN 201710188410 A CN201710188410 A CN 201710188410A CN 107037740 B CN107037740 B CN 107037740B
Authority
CN
China
Prior art keywords
maintenance
simulation
virtual
procedure
maintenance procedure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710188410.7A
Other languages
English (en)
Other versions
CN107037740A (zh
Inventor
耿杰
吕川
王冉冉
彭旭
贺智艺
梁雨桐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou Shuishi Information Technology Co.,Ltd.
Original Assignee
Beijing University of Aeronautics and Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Aeronautics and Astronautics filed Critical Beijing University of Aeronautics and Astronautics
Priority to CN201710188410.7A priority Critical patent/CN107037740B/zh
Publication of CN107037740A publication Critical patent/CN107037740A/zh
Application granted granted Critical
Publication of CN107037740B publication Critical patent/CN107037740B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B17/00Systems involving the use of models or simulators of said systems
    • G05B17/02Systems involving the use of models or simulators of said systems electric

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种虚拟维修仿真自动化生成方法及装置,涉及虚拟仿真技术领域,所述方法包括:对待仿真的维修规程进行语义分析与识别,得到所述维修规程中反映维修过程和操作的每个关键特征;将所述每个关键特征输入已建立的基于关键特征的维修规程表达模型,得到所述维修规程表达信息;从仿真工具集合中查找对应每个关键特征的仿真工具;利用所述维修规程表达信息和所述仿真工具,生成所述维修规程的虚拟维修仿真过程。本发明通过对维修规程中人员操作的规律性总结和应用,减少了以维修规程为参考依据进行虚拟维修仿真时的重复性工作,提高了虚拟维修仿真效率,为虚拟现实领域中自动化和智能化的发展方向提供了技术可行性。

Description

一种虚拟维修仿真自动化生成方法及装置
技术领域
本发明涉及语义识别和特征提取技术辅助虚拟仿真领域,特别涉及一种虚拟维修仿真自动化生成方法及装置。
背景技术
1.虚拟维修仿真技术对产品设计提高的经济性和便捷性
虚拟维修仿真技术作为虚拟现实技术在产品维修性设计领域中的重要应用,对产品维修性设计的提高有着重要的作用。近年来,不管是维修性的定性因素还是定量因素,虚拟维修仿真技术都有相应技术手段对这两个重要方面提供技术支撑。虚拟维修仿真技术摆脱了维修性分析对实物样机的依赖,借助于产品的电子样机开展多轮、多方式、多过程的分析,大大降低了产品设计成本,并且设计人员可以通过远程协同、交互操作等方式共同对产品进行分析,避免传统方式繁杂、冗余的方式,提高了产品设计工作的效率。
2.维修规程对于虚拟维修仿真的重要性
基于虚拟维修仿真的产品设计分析,是以生成的虚拟维修仿真过程为主要分析对象,不管采取非沉浸式还是沉浸式的实现方式,虚拟维修仿真过程的生成均以维修规程为重要参考依据,没有维修规程作为基础,生成的虚拟维修仿真是没有“灵魂”的,进而以此开展的产品设计分析也是没有价值的。所以,维修规程对于产品的虚拟维修仿真有着重要的理论分析和工程应用价值。
3.产品维修规程的多样性、迭代性以及规律性
产品的组成对象随安装位置、安装方式、操作空间、重量大小、工具要求等设计因素各不相同,相应的维修规程多种多样;同时,在产品设计过程中,维修规程需要根据产品的改进与迭代进行相应更新,在更新后,其对应的虚拟维修仿真过程也需要更新,以支撑新一轮的产品设计分析。
产品维修规程存在上述的多样性和迭代性特点,这给产品的虚拟维修仿真工作带来较多重复性工作,但由于维修工作本身所具有的通用性和专用性特征,产品的维修规程在一定程度上是有规律的。例如,在拆卸操作中,一般的维修规程描述为某个维修人员携带某种维修工具以某种形式接近对象,通过拆卸操作对象的某种紧固方式,实现该对象的拆卸。因此,在维修规程的描述中,这些维修工具、接近方式、紧固方式等就成了关键特征,这种维修规程描述上的规律性可以作为提高虚拟维修仿真生成效率的依据。
4.维修规程语义识别对提高虚拟维修仿真效率的作用
语音识别和文字识别技术相对成熟,能够从语音和文字描述中提取出关键信息,来实现信息降维、目标搜索、辅助决策等目的。在建立语义库的基础上,识别规则的确定是该技术方法的核心,识别规则建立的合理与否决定了识别结果的准确性。以维修规程为分析对象,考虑实际维修操作的特点,提取维修规程的关键特征并考虑维修规程的逻辑,建立合理的维修规程语义识别规则,从关键操作的仿真实现上降低虚拟维修仿真过程中的重复性工作,提高虚拟维修仿真的效率。
发明内容
本发明的目的在于提供一种虚拟维修仿真自动化生成方法及装置,能更好地解决虚拟维修仿真效率低的问题。
根据本发明的一个方面,提供了一种虚拟维修仿真自动化生成方法,包括:
对待仿真的维修规程进行语义分析与识别,得到所述维修规程中反映维修过程和操作的每个关键特征;
将所述每个关键特征输入已建立的基于关键特征的维修规程表达模型,得到所述维修规程表达信息;
从仿真工具集合中查找对应每个关键特征的仿真工具;
利用所述维修规程表达信息和所述仿真工具,生成所述维修规程的虚拟维修仿真过程。
优选地,所述对待仿真的维修规程进行语义分析与识别,得到所述维修规程中反映维修过程和操作的每个关键特征包括:
将所述待仿真的维修规程输入至已建立的维修规程语义分析与识别的逻辑决断流程,得到所述逻辑决断流程处理并输出的所述待仿真的维修规程中的每个关键特征。
优选地,所述利用所述维修规程表达信息和所述仿真工具,生成所述维修规程的虚拟维修仿真过程包括:
利用找到的对应每个关键特征的仿真工具,对相应关键特征进行虚拟仿真操作;
按照所述维修规程表达信息,将所述虚拟仿真操作进行顺序连接,得到所述维修规程的虚拟维修仿真过程。
优选地,按照所述维修规程表达信息,对相应关键特征逐一进行虚拟仿真操作,或者同时对所有关键特征进行虚拟仿真操作。
优选地,所述基于关键特征的维修规程表达模型通过以下步骤建立:
通过分析已有维修规程,确定所述已有维修规程中具有规律性的维修过程和操作,并提取所述已有维修规程中具有规律性的维修过程和操作的关键特征及层次和关联关系;
以所述已有维修规程中具有规律性的维修过程和操作的关键特征为连接点,在不丢失所述层次和关联关系的条件下,建立通用的用于表达维修规程的表达模型。
优选地,所述仿真工具集合通过以下步骤获取:
在虚拟仿真环境中,确定用来实现所述已有维修规程中具有规律性的维修过程和操作的各关键特征的仿真工具,形成仿真工具集合。
优选地,所述维修规程语义分析与识别的逻辑决断流程通过以下步骤建立:
以所述已有维修规程中具有规律性的维修过程或操作的描述作为顺序,建立以所述已有维修规程中具有规律性的维修过程和操作的关键特征作为逻辑决断要素的维修规程语义分析与识别的逻辑决断流程,以便后续得到待仿真维修规程的关键特征。
根据本发明的另一方面,提供了一种虚拟维修仿真自动化生成装置,包括:
逻辑决断模块,用于对待仿真的维修规程进行语义分析与识别,得到所述维修规程中反映维修过程和操作的每个关键特征;
信息确定模块,用于将所述每个关键特征输入已建立的基于关键特征的维修规程表达模型,得到所述维修规程表达信息;
工具查找模块,用于从仿真工具集合中查找对应每个关键特征的仿真工具;
维修仿真模块,用于利用所述维修规程表达信息和所述仿真工具,生成所述维修规程的虚拟维修仿真过程。
优选地,所述逻辑决断模块具体用于将所述待仿真的维修规程输入至已建立的维修规程语义分析与识别的逻辑决断流程,得到所述逻辑决断流程处理并输出的所述待仿真的维修规程中的每个关键特征。
优选地,所述维修仿真模块具体用于利用找到的对应每个关键特征的仿真工具,对相应关键特征进行虚拟仿真操作,按照所述维修规程表达信息,将所述虚拟仿真操作进行顺序连接,得到所述维修规程的虚拟维修仿真过程。
与现有技术相比较,本发明的有益效果在于:
本发明通过对维修规程中人员操作的规律性总结和应用,减少了以维修规程为参考依据进行虚拟维修仿真时的重复性工作,提高了虚拟维修仿真效率,为虚拟现实领域中自动化和智能化的发展方向提供了技术可行性。
附图说明
图1是本发明实施例提供的虚拟维修仿真自动化生成方法流程图;
图2是本发明实施例提供的虚拟维修仿真自动化生成装置框图;
图3是基于维修规程语义识别的虚拟维修仿真生成方法原理框图;
图4是维修过程和操作的关键特征因素体系及特征因素在虚拟仿真环境中的实现方式示意图;
图5是维修规程的简化表达模型;
图6是维修规程语义分析与识别逻辑决断流程图。
具体实施方式
以下结合附图对本发明的优选实施例进行详细说明,应当理解,以下所说明的优选实施例仅用于说明和解释本发明,并不用于限定本发明。
图1是本发明实施例提供的虚拟维修仿真自动化生成方法流程图,如图1所示,步骤包括:
步骤S101:对待仿真的维修规程进行语义分析与识别,得到所述维修规程中反映维修过程和操作的每个关键特征。
步骤S101包括:将所述待仿真的维修规程输入至已建立的维修规程语义分析与识别的逻辑决断流程,得到所述逻辑决断流程处理并输出的所述待仿真的维修规程中的每个关键特征。
所述待仿真的维修规程为输入的给定维修规程,本发明实施例以语音或文字识别技术为基础提取该维修规程中的关键操作特征(即关键特征),具体地说,基于语音或文字识别来识别维修规程中的工具使用、对象操作、多人协同等关键维修特征。
步骤S102:将所述每个关键特征输入已建立的基于关键特征的维修规程表达模型,得到所述维修规程表达信息。
步骤S103:从仿真工具集合中查找对应每个关键特征的仿真工具。
步骤S104:利用所述维修规程表达信息和所述仿真工具,生成所述维修规程的虚拟维修仿真过程。
步骤S104包括:利用找到的对应每个关键特征的仿真工具,对相应关键特征进行虚拟仿真操作,并按照所述维修规程表达信息,将所述虚拟仿真操作进行顺序连接,得到所述维修规程的虚拟维修仿真过程。其中,可以按照所述维修规程表达信息,对相应关键特征逐一进行虚拟仿真操作,也可以同时对所有关键特征进行虚拟仿真操作。
其中,所述基于关键特征的维修规程表达模型的建立步骤包括:通过分析已有维修规程,确定所述已有维修规程中具有规律性的维修过程和操作,并提取所述已有维修规程中具有规律性的维修过程和操作的关键特征及层次和关联关系,以所述已有维修规程中具有规律性的维修过程和操作的关键特征为连接点,在不丢失所述层次和关联关系的条件下,建立通用的用于表达维修规程的表达模型。本发明实施例从人员操作的角度分析维修操作规程中的规律性,包括人体位置移动、人体姿态调整、目标对象操作和多人协同等,具体地说,面向维修规程中所有以人员为中心的维修操作的描述过程。
其中,所述仿真工具集合的获取步骤包括:在虚拟仿真环境中,确定用来实现所述已有维修规程中具有规律性的维修过程和操作的各关键特征的仿真工具,形成仿真工具集合。
其中,所述维修规程语义分析与识别的逻辑决断流程的建立步骤包括:以所述已有维修规程中具有规律性的维修过程或操作的描述作为顺序,建立以所述已有维修规程中具有规律性的维修过程和操作的关键特征作为逻辑决断要素的维修规程语义分析与识别的逻辑决断流程,以便后续得到待仿真维修规程的关键特征。本发明实施例考虑维修规程中的工具使用、对象操作、多人协同等因素,建立维修规程语义分析与识别的逻辑决断流程,具体地说,以分析和识别维修过程中的工具使用、对象操作、多人协同等因素为目标的逻辑阶段流程。
其中,所述已有维修规程包括各种常用维修规程表达的一般性描述。
本发明实施例基于维修规程语义识别进行虚拟维修仿真自动化生成。虚拟维修仿真为产品的设计和分析提供了经济、便捷的技术手段,产品的维修操作规程因维修对象不同而多种多样,进而在生成相应的虚拟维修仿真过程时,需要逐一分析这些维修规程以生成相应的仿真过程。本发明实施例针对维修操作规程的多样性和复杂性,从人员操作的角度分析维修操作规程中的规律性,考虑维修规程中的工具使用、对象操作、多人协同等因素,建立维修规程语义分析与识别的逻辑决断流程,以语音或文字识别技术为基础提取维修规程中的关键操作特征,实现基于关键操作特征的虚拟维修仿真生成方法。
本发明实施例基于关键操作特征的虚拟维修仿真生成方法是以生成维修规程中的工具使用、对象操作、多人协同等关键维修特征的仿真过程为目标的虚拟仿真方法。
图2是本发明实施例提供的虚拟维修仿真自动化生成装置框图,如图2所示,包括:
逻辑决断模块,用于对待仿真的维修规程进行语义分析与识别,得到所述维修规程中反映维修过程和操作的每个关键特征。所述逻辑决断模块具体用于将所述待仿真的维修规程输入至已建立的维修规程语义分析与识别的逻辑决断流程,得到所述逻辑决断流程处理并输出的所述待仿真的维修规程中的每个关键特征。
信息确定模块,用于将所述每个关键特征输入已建立的基于关键特征的维修规程表达模型,得到所述维修规程表达信息。
工具查找模块,用于从仿真工具集合中查找对应每个关键特征的仿真工具。
维修仿真模块,用于利用所述维修规程表达信息和所述仿真工具,生成所述维修规程的虚拟维修仿真过程。所述维修仿真模块具体用于利用找到的对应每个关键特征的仿真工具,对相应关键特征进行虚拟仿真操作,按照所述维修规程表达信息,将所述虚拟仿真操作进行顺序连接,得到所述维修规程的虚拟维修仿真过程。
其中,通过对已有维修规程的分析结果,预先建立通用的基于关键特征的维修规程表达模型和维修规程语义分析与识别的逻辑决断流程。
本发明实施例通过分析维修规程中具有规律性的操作特征信息,基于语音识别或文字识别技术,建立维修规程的语义识别规则,并在该语义识别规则技术上,以提高虚拟仿真生成效率为目标,形成基于维修规程语义识别的虚拟维修仿真生成方法,避免了在产品设计过程中由于维修规程多样性和迭代性带来的虚拟维修仿真中重复性的工作,为虚拟维修仿真过程提供技术支撑。
图3是基于维修规程语义识别的虚拟维修仿真生成方法原理框图,如图3所示,通过如下步骤实现:
步骤一、分析维修规程中维修工作描述的规律性。
维修规程是以维修人员为载体进行的一系列操作,从这一角度出发,分析维修规程中具有规律性的维修过程或维修操作,得到这些规律性过程和操作的分类及其说明。
步骤二、提取维修规程中维修过程和操作的关键特征。
在步骤一得出的维修过程和操作分类基础上,分析每一类维修过程和操作包含的关键特征,建立具有层次和关联关系的关键特性因素体系。
步骤三、分析步骤二中维修规程关键信息及其逻辑关系在虚拟维修仿真生成中的实现方式。
以虚拟仿真环境的各类仿真工具为基础,考虑维修特征信息以及相互间关联关系在虚拟环境中的实现方式,由于虚拟仿真环境的不同,这些实现方式会存在差别,这一步骤的应用需要对虚拟仿真环境的仿真工具熟悉,以便进行更好的仿真。
步骤四、建立基于关键特征的维修规程表达模型。
以步骤二得出的维修过程和操作关键特性为核心,以不丢失维修规程信息为原则,建立维修规程的简化表达模型,其目的在于将虚拟维修仿真生成工作的关注点集中到这些维修规程中的关键特征上。
步骤五、建立维修规程语义分析与识别的逻辑决断流程。
以步骤二得出的维修过程和操作关键特性为逻辑决断要素,以维修规程中对于维修过程或维修操作的描述为主线,建立维修规程语义分析与识别的逻辑决断流程,其目的在于当给定一个维修规程作为输入时,可以通过逻辑决断得出该维修规程中反映维修过程的重要信息。
步骤六、建立基于逻辑决断结果的维修规程描述。
以步骤四的维修规程表达模型为模板,把步骤五的维修规程语义分析与识别逻辑决断结果作为维修规程的关键信息,同时考虑这些信息的逻辑关联关系,得到维修规程的简化描述。
步骤七、整合各关键特征信息的仿真实现方式,生成维修规程的虚拟维修仿真过程。
基于步骤三中维修特性信息及其逻辑关系各自的虚拟仿真实现方式,通过仿真逻辑控制,通过连接、并行、延迟等处理,生成维修规程对应的虚拟维修仿真过程。
下面结合图4至图6对本发明实现过程进行进一步阐述。
步骤一、分析维修规程中维修工作描述的规律性。
维修规程一般从维修人员角度出发,对整个维修过程进行描述。在空间维度上,最重要的三个过程是通过人体位置移动至目标点,进而通过人体姿态调整以接近目标对象,最后徒手或者借助于维修工具对目标对象进行相应操作;而在时间维度上,考虑到多人的协同操作,需要确定每个维修人员在完成空间维度上的操作时,相互之间的时序逻辑关系。所以,维修规程中维修工作描述的规律性可概况为四个方面,即人体位置移动、人体姿态调整、目标对象操作、多人协同。
步骤二、提取维修规程中维修过程和操作的关键特征。
步骤一得出的四类规律性描述,其关键特征可以通过如下方式来确定。
人体位置移动,从移动方式以及在移动时携带物体的方式两个方面确定其关键特征;
人体姿态调整,从头部、躯干、上肢、手部、下肢五个方面确定其关键特征;
目标对象操作,从人员采用徒手操作、工具操作,以及参与操作手的数量三个方面确定其关键特征;
多人协同,以时间轴上的时间节点这一方面表达其特征;
分析上述四类规律性描述包含的关键特征因素,构建具有层次和关联关系的关键特性因素体系,如图4的左半部分所示。
步骤三、分析步骤二中维修规程关键信息及其逻辑关系在虚拟维修仿真生成中的实现方式。
在得到维修规程中反映维修过程和操作的关键特征之后,在虚拟仿真环境中找到相应工具或工具集合来实现,虚拟仿真环境中可以实现上述四大类关键特征的工具或工具集合总结如下:
人体位置移动:移动方式类关键特征通过行走工具、爬高工具、空间罗盘操作实现;携带物体类关键特征通过拾取工具、跟随工具、放置工具来实现;
人体姿态调整:人体姿态五大类关键特征的调整,通过各部分的人体自由度工具,包括正向动力学工具、反向动力学工具、手形调整工具来实现;
目标对象操作:目标对象操作三大类关键特征通过手形调整工具、拾取工具、正向动力学工具、反向动力学工具、放置工具来实现;
多人协同:该类作为时间维度的因素,在虚拟仿真环境中主要体现在仿真过程的时序控制,其中涉及的工具有延迟控制工具、视角变换工具、动作连接工具、并行运行工具;
四类关键特征在虚拟仿真环境的实现方式如图4的右半部分所示。
需要说明的是,由于虚拟仿真环境的不同,这些实现方式会存在差别,但依然可以对照给定虚拟仿真环境,找到实现关键特征的仿真工具进行对应。
步骤四、建立基于关键特征的维修规程表达模型。
以步骤二得出的维修过程和操作关键特性因素为重要连接点,建立如图5所示的维修规程的简化表达模型,这些因素反映了整个规程的核心内容,覆盖了维修规程中的关键信息。需要指出的是,在维修规程的每一步中,不一定完全包含简化表达模型的全部信息,可以根据实际情况选取部分的表达来对维修规程进行描述,也就是说,该维修规程的简化表达模型提供了一个具有普适性的维修规程描述框架,至于框架内部的内容,要根据实际对象进行“点缀”,以完成整个维修规程“画卷”的绘制。
步骤五、建立维修规程语义分析与识别的逻辑决断流程。
当给定一个维修规程作为输入时,基于语音识别或文字识别技术,分析维修规程描述过程,逐一分析步骤二所建立的关键特征因素体系中各因素,判断各因素在维修规程中是否存在,以及存在的是哪一种形式,构建遍历式的以得到维修规程关键要素为目标的维修规程语义分析与识别逻辑决断流程,如附图6所示。
人体位置移动因素决断步骤包括:
步骤511:判断人体位置是否移动,如果是则执行步骤512,否则执行步骤513;
步骤512:确定具体的移动方式,例如向前行走、向后行走、侧向移动、爬升、下行等,然后输出所确定的移动方式,并执行步骤513。
步骤513:判断是否携带物体,如果是则确定携带方式,例如搬运、手提、手抓、肩扛、背扛,并输出所确定的携带方式,否则输出的携带方式为“不携带”。
人体姿态调整因素决断步骤包括:
步骤521:判断人体姿态是否调整,如果是则执行步骤522,否则输出“无调整”;
步骤522:判断是否有头部调整,如果是则确定头部调整方式,例如摆动或旋转,然后输出所确定的头部调整方式,并执行步骤523;
步骤523:判断是否有躯干部调整,如果是则确定躯干部调整方式,例如弯曲或旋转,然后输出所确定的躯干部调整方式,并执行步骤524;
步骤524:判断是否有上肢调整,如果是则确定上肢调整方式,例如上下摆动或左右摆动或前后摆动,然后输出所确定的上肢调整方式,并执行步骤525;
步骤525:判断是否有手部调整,如果是则确定手部调整方式,例如抓取或握紧或拿捏,然后输出所确定的手部调整方式,并执行步骤526;
步骤526:判断是否有下肢调整,如果是则确定下肢调整方式,例如弯曲或左右跨步或前后跨步,然后输出所确定的下肢调整方式,如果判断未进行下肢调整,则输出“无调整”。
目标对象操作因素决断步骤包括:
步骤531:判断目标对象操作需要单手还是双手,如果需要单手,则执行步骤532,如果需要双手,则执行步骤533。
步骤532:判断是否为徒手操作,如果是徒手操作,则确定并输出徒手操作方式,例如,拧松/紧固、拿起/放下、插/拔、推/拉等,如果不是徒手操作,即使用工具操作,则确定并输出工具及操作方式,例如扳手、螺丝刀、钳、锤、刀、刷、锯等。
步骤533:判断是否为徒手操作,如果是徒手操作,则确定并输出徒手操作方式,并判断是否同时有工具操作,如果有工具操作则确定并输出工具及操作方式,如果没有工具操作,则输出“无调整”。
步骤六、建立基于逻辑决断结果的维修规程描述。
在经过步骤五逻辑决断分析之后,得到描述给定维修规程的关键特征信息,并把这些维修规程关键信息输入步骤四的维修规程表达模型,得到给定维修规程的基于逻辑决断结果的维修规程描述,这一描述相对于原始的给定描述更为简练,所包含的信息是原始给定维修规程中影响仿真过程的关键信息。
步骤七、整合各关键特征信息的仿真实现方式,生成维修规程的虚拟维修仿真过程。
以步骤三中各类关键信息的仿真实现方式为基础,寻找步骤六输出的给定维修规程关键信息在虚拟仿真环境中的实现方式,逐一实现各类关键特征的虚拟仿真,进而按照基于逻辑决断结果的维修规程描述,将全部关键特征的虚拟仿真进行逻辑连接,最终生成维修规程对应的虚拟维修仿真过程。
下面实施例以某飞机机翼的收放作动筒维修规程为例,完成DELMIA平台下的虚拟维修过程仿真。
(1)作动筒维修规程。
维修人员1走近正前方的工作台,在工作台平面拿起棘轮扳手;
维修人员1手持棘轮扳手,走到保障梯下;
维修人员1登上保障梯的维修平台;
维修人员1通过侧向移动至机翼的作动筒位置;
维修人员1通过调整身体各部位的姿态,将棘轮扳手接近作动筒的紧固螺钉;
维修人员1操作棘轮扳手,通过姿态调整逐个拧动4个连接螺栓,将作动筒从机翼上拆下;
维修人员1取下收放作动筒,仿真结束。
(2)基于关键特征和逻辑决断的维修规程表达。
维修人员1(不携带)物体(向前行走)至工作台,通过(躯干)的(弯曲)、(头部)的(摆动)、(上肢)的(前后摆动)、(手部)的(紧握)接近棘轮扳手,(单手)以(拿起)的方式,拿起棘轮扳手;
维修人员1(手抓)棘轮扳手(向前行走)至保障梯下;
维修人员1(手抓)棘轮扳手(爬升)至保障梯的维修平台;
维修人员1(手抓)棘轮扳手(侧向移动)至作动筒位置;
维修人员1(手抓)棘轮扳手,通过(躯干)的(弯曲)、(头部)的(摆动)、(上肢)的(前后摆动)、(腿部)的(左右跨步)接近紧固螺钉1;
维修人员1(单手)以(扳手)的方式,拧动连接螺栓1;维修人员1(手抓)棘轮扳手,通过(上肢)的(前后摆动),(单手)以(扳手)的方式,拧动连接螺栓2;维修人员1(手抓)棘轮扳手,通过(上肢)的(左右摆动),(单手)以(扳手)的方式,拧动连接螺栓3;维修人员1(手抓)棘轮扳手,通过(上肢)的(前后摆动),(单手)以(扳手)的方式,拧动连接螺栓4;
维修人员1(手抓)棘轮扳手,通过(上肢)的(上下摆动),(双手)以(拿起)的方式,拿起作动筒;
维修人员1(手抓)棘轮扳手和作动筒,通过(上肢)的(上下摆动),取下作动筒。
(3)逐一完成上述表达中的关键特征。
基于DELMIA的仿真工具,逐一完成上述维修规程表达中的关键特征。
(4)生成整个仿真过程.
按照逻辑顺序连接各关键特征的仿真,生成整个维修规程的仿真过程。
综上所述,本发明具有以下技术效果:
1.本发明提出的维修规程语义识别规则适用于绝大多数维修工作任务的关键特征提取,普适性较强;
2.基于维修规程语义识别规则提取的关键特征同时适用于非沉浸式和沉浸式虚拟仿真两种工作模式;
3.通过对维修规程中人员操作的规律性总结和应用,降低了以维修规程为参考依据进行虚拟维修仿真时的重复性工作;
4.本发明对于虚拟维修仿真效率的提高,为虚拟现实领域中自动化和智能化的发展方向提供了技术可行性。
尽管上文对本发明进行了详细说明,但是本发明不限于此,本技术领域技术人员可以根据本发明的原理进行各种修改。因此,凡按照本发明原理所作的修改,都应当理解为落入本发明的保护范围。

Claims (10)

1.一种虚拟维修仿真自动化生成方法,其特征在于,包括:
对待仿真的维修规程进行语义分析与识别,得到所述维修规程中反映维修过程和操作的每个关键特征;
将所述每个关键特征输入已建立的基于关键特征的维修规程表达模型,得到所述维修规程表达信息;
从仿真工具集合中查找对应每个关键特征的仿真工具;
利用所述维修规程表达信息和所述仿真工具,生成所述维修规程的虚拟维修仿真过程。
2.根据权利要求1所述的方法,其特征在于,所述对待仿真的维修规程进行语义分析与识别,得到所述维修规程中反映维修过程和操作的每个关键特征包括:
将所述待仿真的维修规程输入至已建立的维修规程语义分析与识别的逻辑决断流程,得到所述逻辑决断流程处理并输出的所述待仿真的维修规程中的每个关键特征。
3.根据权利要求1所述的方法,其特征在于,所述利用所述维修规程表达信息和所述仿真工具,生成所述维修规程的虚拟维修仿真过程包括:
利用找到的对应每个关键特征的仿真工具,对相应关键特征进行虚拟仿真操作;
按照所述维修规程表达信息,将所述虚拟仿真操作进行顺序连接,得到所述维修规程的虚拟维修仿真过程。
4.根据权利要求3所述的方法,其特征在于,按照所述维修规程表达信息,对相应关键特征逐一进行虚拟仿真操作,或者同时对所有关键特征进行虚拟仿真操作。
5.根据权利要求1-4任意一项所述的方法,其特征在于,所述基于关键特征的维修规程表达模型通过以下步骤建立:
通过分析已有维修规程,确定所述已有维修规程中具有规律性的维修过程和操作,并提取所述已有维修规程中具有规律性的维修过程和操作的关键特征及层次和关联关系;
以所述已有维修规程中具有规律性的维修过程和操作的关键特征为连接点,在不丢失所述层次和关联关系的条件下,建立通用的用于表达维修规程的表达模型。
6.根据权利要求5所述的方法,其特征在于,所述仿真工具集合通过以下步骤获取:
在虚拟仿真环境中,确定用来实现所述已有维修规程中具有规律性的维修过程和操作的各关键特征的仿真工具,形成仿真工具集合。
7.根据权利要求2所述的方法,其特征在于,所述维修规程语义分析与识别的逻辑决断流程通过以下步骤建立:
以已有维修规程中具有规律性的维修过程或操作的描述作为顺序,建立以已有维修规程中具有规律性的维修过程和操作的关键特征作为逻辑决断要素的维修规程语义分析与识别的逻辑决断流程,以便后续得到待仿真维修规程的关键特征。
8.一种虚拟维修仿真自动化生成装置,其特征在于,包括:
逻辑决断模块,用于对待仿真的维修规程进行语义分析与识别,得到所述维修规程中反映维修过程和操作的每个关键特征;
信息确定模块,用于将所述每个关键特征输入已建立的基于关键特征的维修规程表达模型,得到所述维修规程表达信息;
工具查找模块,用于从仿真工具集合中查找对应每个关键特征的仿真工具;
维修仿真模块,用于利用所述维修规程表达信息和所述仿真工具,生成所述维修规程的虚拟维修仿真过程。
9.根据权利要求8所述的装置,其特征在于,所述逻辑决断模块具体用于将所述待仿真的维修规程输入至已建立的维修规程语义分析与识别的逻辑决断流程,得到所述逻辑决断流程处理并输出的所述待仿真的维修规程中的每个关键特征。
10.根据权利要求8所述的装置,其特征在于,所述维修仿真模块具体用于利用找到的对应每个关键特征的仿真工具,对相应关键特征进行虚拟仿真操作,按照所述维修规程表达信息,将所述虚拟仿真操作进行顺序连接,得到所述维修规程的虚拟维修仿真过程。
CN201710188410.7A 2017-03-27 2017-03-27 一种虚拟维修仿真自动化生成方法及装置 Active CN107037740B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710188410.7A CN107037740B (zh) 2017-03-27 2017-03-27 一种虚拟维修仿真自动化生成方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710188410.7A CN107037740B (zh) 2017-03-27 2017-03-27 一种虚拟维修仿真自动化生成方法及装置

Publications (2)

Publication Number Publication Date
CN107037740A CN107037740A (zh) 2017-08-11
CN107037740B true CN107037740B (zh) 2019-12-10

Family

ID=59534635

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710188410.7A Active CN107037740B (zh) 2017-03-27 2017-03-27 一种虚拟维修仿真自动化生成方法及装置

Country Status (1)

Country Link
CN (1) CN107037740B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108287483B (zh) * 2018-01-17 2021-08-20 北京航空航天大学 一种面向产品维修性验证的沉浸式虚拟维修仿真方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101853319A (zh) * 2010-05-14 2010-10-06 中国人民解放军军械工程学院 一种支持虚拟维修仿真的维修动素集的建立方法
CN105096694A (zh) * 2015-09-17 2015-11-25 中国人民解放军海军工程大学 一种电气设备虚拟维修训练系统仿真方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7515542B2 (en) * 2005-07-12 2009-04-07 Cisco Technology, Inc. Broadband access note with a virtual maintenance end point

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101853319A (zh) * 2010-05-14 2010-10-06 中国人民解放军军械工程学院 一种支持虚拟维修仿真的维修动素集的建立方法
CN105096694A (zh) * 2015-09-17 2015-11-25 中国人民解放军海军工程大学 一种电气设备虚拟维修训练系统仿真方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
虚拟维修仿真建模与控制实现;周栋 等;《北京航空航天大学学报》;20060731;第32卷(第7期);第843-846页 *

Also Published As

Publication number Publication date
CN107037740A (zh) 2017-08-11

Similar Documents

Publication Publication Date Title
CN106125925B (zh) 基于手势和语音控制的智能抓捕方法
Saut et al. Planning pick-and-place tasks with two-hand regrasping
CN103955168B (zh) 基于delmia仿真的机器人制孔加工离线编程方法
CN110561450B (zh) 一种基于动捕的机器人装配离线示例学习系统和方法
Qiu et al. Virtual human modeling for interactive assembly and disassembly operation in virtual reality environment
CN111251277B (zh) 一种基于示教学习的人机协作工具递交系统及方法
CN105500370B (zh) 一种基于体感技术的机器人离线示教编程系统及方法
KR102068197B1 (ko) 산업 오브젝트들의 멀티-핸드 파지들을 위한 핸드 포지션들을 예측하기 위한 방법들 및 시스템
CN108628260A (zh) 基于机器人的多品种工具成套设备及自动装配工艺
CN106144524A (zh) 一种高速运动中用ccd视觉定位方法及装置
CN107037740B (zh) 一种虚拟维修仿真自动化生成方法及装置
CN103678821A (zh) 一种基于虚拟维修仿真过程的维修时间预计方法
Gogouvitis et al. Construction of a virtual reality environment for robotic manufacturing cells
CN106126219B (zh) 一种基于目标装配关系自然语言描述的机械手装配任务自主编程方法
CN114535144A (zh) 零件分拣方法、装置、设备及桁架设备
CN111496794B (zh) 一种基于仿真工业机器人的运动学自抓取学习方法和系统
Larsen et al. Full automatic path planning of cooperating robots in industrial applications
CN108648599A (zh) 一种基于语音控制的机械臂3d虚拟操作实验平台
CN116673963A (zh) 面向无序断路器零件的双机械臂协作柔性装配系统及方法
Raschke et al. On the design of a task based human simulation system
Li et al. An intelligent interactive approach for assembly process planning based on hierarchical classification of parts
Wen et al. The study of NAO robot arm based on direct kinematics by using DH method
CN107203268B (zh) 一种基于方向链码的三维笔势识别方法
Yang Research on grasping method of industrial robot based on deep learning and machine vision
CN111230874B (zh) 一种启发式规则的灵巧手作业规划方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20211102

Address after: 450001 No.89, science Avenue, high tech Industrial Development Zone, Zhengzhou City, Henan Province

Patentee after: Zhengzhou Shuishi Information Technology Co.,Ltd.

Address before: 100191 Beihang University, Haidian District, Xueyuan Road, 37, Beijing

Patentee before: BEIHANG University