CN101441677A - 基于产品全语义模型的自然交互式虚拟装配系统 - Google Patents

基于产品全语义模型的自然交互式虚拟装配系统 Download PDF

Info

Publication number
CN101441677A
CN101441677A CNA2008102077731A CN200810207773A CN101441677A CN 101441677 A CN101441677 A CN 101441677A CN A2008102077731 A CNA2008102077731 A CN A2008102077731A CN 200810207773 A CN200810207773 A CN 200810207773A CN 101441677 A CN101441677 A CN 101441677A
Authority
CN
China
Prior art keywords
model
virtual
module
product
assembly
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2008102077731A
Other languages
English (en)
Other versions
CN101441677B (zh
Inventor
朱洪敏
武殿梁
范秀敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN2008102077731A priority Critical patent/CN101441677B/zh
Publication of CN101441677A publication Critical patent/CN101441677A/zh
Application granted granted Critical
Publication of CN101441677B publication Critical patent/CN101441677B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

一种制造业领域的基于产品全语义模型的自然交互式虚拟装配系统,本发明中,产品全语义模型交互式生成模块执行从产品CAD装配模型中提取产品信息,交互式生成产品全语义模型;装配数据预处理模块,处理产品零件的碰撞模型建立显示模型、碰撞模型、产品全语义模型之间的对应关系;虚拟装配仿真模块利用VR交互外设驱动虚拟环境中的虚拟手,实现双手与利用工具的交互式虚拟装配;产品全语义模型处理模块主要负责产品全语义模型各模型的检测,约束的识别、解算;装配工具管理模块将用户选择的工具导入虚拟装配仿真模块的虚拟环境,并随时处理工具的驱动。本发明增加了虚拟装配的真实性与沉浸感,能够为装配工艺规划与分析提供有力支持。

Description

基于产品全语义模型的自然交互式虚拟装配系统
技术领域
本发明涉及一种制造业领域的仿真系统,具体是一种基于产品全语义模型的自然交互式虚拟装配系统。
背景技术
装配是产品的设计实现过程中关键的一步。基于虚拟现实技术的交互式虚拟装配能够在虚拟环境中实现接近真实的产品装配,并可以在此基础上进行可装配验证、装配效率计算,装配工艺规划、装配线设计以及人机工效评价等。在产品开发过程中使用交互式虚拟装配系统,对减少重复劳动、降低开发成本、缩短开发周期等具有重要意义。在交互式虚拟装配系统中,交互操作越自然、越接近实际操作,则虚拟装配越接近于真实装配,由此得到的分析结果越可靠。
经对现有技术文献的检索发现,Antonino Gomes等在《Computer and Graphics》(计算机与图形学)(1999年)389~403页上发表的“Virtual reality as a toolfor verification of assembly and maintenance processes”(面向装配检查和维修过程的虚拟现实工具)中提出了基于“碰撞检测”和“位姿近似捕捉”的虚拟装配定位,该技术中待装配零件在装配体中的最终位姿是已知的。在虚拟装配中,实时地检测零件的位姿和定位点位姿的偏差,当偏差达到给定的误差范围内时,系统自动将零件的位姿调整到最终的装配位姿。但该方法与CAD软件中的装配类似,都无法体现零件的装配过程。
经检索还发现,杨润党等人在《计算机集成制造系统》(2006)413~419页上发表的“基于约束的虚拟装配技术研究”中提出了基于约束处理的交互式虚拟装配,首先在装配过程中自动识别约束,并对识别的约束进行求解,以最小的位姿调整量满足新约束,然后对已经确认约束进行运动自由度的规约,采用基于广义坐标系的运动导航方法进行交互式装配。该方法在实际操作过程中容易发生误操作,且需要经常发信号进行约束确认,操作比较繁琐。
发明内容
本发明的目的在于针对上述现有技术中的不足,提出了一种基于产品全语义模型的自然交互式虚拟装配系统,将徒手操作和用工具的交互式虚拟装配相结合,增加了虚拟装配的真实性与沉浸感,为装配工艺规划与分析提供有力支持。
本发明是通过以下技术方案实现的,本发明包括:产品全语义模型交互式生成模块、装配数据预处理模块、虚拟装配仿真模块、产品全语义模型处理模块、装配工具管理模块、虚拟装配数据管理模块、虚拟装配数据库,其中:
产品全语义模型交互式生成模块从产品CAD(计算机辅助设计)装配模型中提取产品信息,交互式生成产品全语义模型,对生成的模型进行检测、修改、输入输出操作,并将生成的产品全语义模型存入虚拟装配数据库;
装配数据预处理模块负责处理产品零件的碰撞模型以及查找模型信息,从虚拟装配数据库中提取产品零件信息,在用户指定的目录下查找零件显示模型、碰撞模型,建立显示模型、产品全语义模型之间的对应关系,将显示模型、碰撞模型存入与产品全语义模型对应的虚拟装配数据库中;
虚拟装配仿真模块从虚拟装配数据库中提取虚拟装配所需的数据,包括产品全语义模型、显示模型、碰撞模型,建立虚拟装配仿真场景,利用VR(虚拟现实)交互外设驱动虚拟环境中的虚拟手,并调用装配工具管理模块以及产品全语义模型处理模块,实现双手与利用工具的交互式虚拟装配;
产品全语义模型处理模块负责产品全语义模型各模型的检测,将语义映射为其包含的基本约束,按照约束进行语义识别、确认、导航与解算处理,辅助虚拟装配仿真模块进行虚拟装配,并从虚拟装配仿真模块获取抓取对象信息,处理结束后获得抓取对象的位姿矩阵,并将结果返回给虚拟装配仿真模块,以用于移动虚拟对象;
装配工具管理模块从虚拟装配数据库中提取工具信息供用户选择,用户选择工具后将工具模型、工具部件模型、工具约束模型等导入虚拟装配仿真模块的虚拟环境,并随时为工具的驱动进行处理,供用户在装配操作过程中使用;
虚拟装配数据管理模块执行数据维护任务,负责管理各模块与虚拟装配数据库之间的通信,以及对数据进行添加、插入、删除、检测操作;
虚拟装配数据库负责储存上述模块的中间数据信息,包括:零件碰撞模型信息、零件显示模型信息、产品全语义模型信息、工具模型信息等。
所述虚拟装配数据库,其通过ODBC(开放式数据接口)标准接口与产品全语义模型交互式生成模块、装配数据预处理模块、虚拟装配仿真模块、装配工具管理模块、虚拟装配数据管理模块相连。
所述产品全语义模型交互式生成模块,在三维建模软件环境下打开已完成的产品装配模型,并据此生成产品的零件模型、装配体模型、约束模型,在生成这些模型的基础上,用户进行交互式的产品装配语义定义,生成产品语义模型,产品的全语义模型包括:产品的零件模型、装配体模型、约束模型、语义模型,并将最终生成的产品全语义模型存入虚拟装配数据库,以由虚拟装配仿真模块调用。
所述产品全语义模型交互式生成模块,其建立的产品装配语义,是对装配零部件间装配关系的抽象表达,包括了装配零部件间的约束个数和类型、约束顺序、以及工程约束和两个装配对象(零件或部件),根据功能特征将装配语义从顶层划分为螺纹联接语义、轴孔配合语义、传动语义、键槽配合语义、平面定位语义和特殊装配语义等,而每一个顶层语义根据约束特性和工程约束还可细分,其中:螺纹联接语义包括螺钉联接、螺柱联接、螺母联接以及本身螺纹联接;轴孔配合语义包括直轴装配、曲轴装配、周向导向面定位、轴向导向面定位;传动语义包括带传动、链转动、齿轮传动和凸轮传动等;特殊装配语义由用户根据具体应用,进行定义和扩充,以自定义语义的形式进行表达,如应用在发动机装配的活塞连杆总成装配语义和中心装配语义。
所述装配数据预处理模块,利用BVCD(基于层次包围盒的碰撞检测开发包)的碰撞模型生成工具,根据产品各零件的面片模型生成对应的碰撞模型,并保存入用户指定的模型目录,从虚拟装配数据库中读取产品的零件名称信息,在用户指定的模型目录下查找对应的显示模型、碰撞模型,并将查找结果存入与产品全语义模型对应的虚拟装配数据库中。
所述虚拟装配仿真模块,根据用户指定的产品从虚拟装配数据库中提取所需要的产品信息,应用图形系统建立虚拟装配场景,通过鼠标、键盘、数据手套和位姿跟踪器等控制虚拟手对零部件进行抓取、移动、释放等操作,在操作过程中,利用碰撞检测来避免穿透,调用产品全语义模型处理模块完成语义处理进行装配计算,调用装配工具管理模块进行工具的选择、定位计算与使用,处理在双手操作情况下的冲突,实现双手以及使用工具的交互式虚拟装配仿真。
所述产品全语义模型处理模块,包括:识别模块、确认和导航模块、解算模块,其中,
识别模块负责将语义映射为基本约束,并对约束进行识别,一个语义包含多个约束,将第一个约束的识别作为语义识别的基本条件,将第二个约束的识别作为语义识别的校核条件,语义只有同时满足识别的基本条件和校核条件后,语义才算识别成功,将语义的所有约束都高亮显示;
确认和导航负责在语义识别成功后对语义的第一个约束进行解算,并根据解算矩阵获取操作对象的位姿矩阵,语义确认后,根据语义的已确认约束控制操作对象在虚拟环境中的运动;
解算模块是指在语义确认后根据语义导航过程,依次对语义中可解算而未解算的约束进行自动解算。
所述装配工具管理模块,根据用户需求从装配工具数据库中提取工具信息,将工具添加虚拟装配场景中虚拟手所在的位置,通过BVCD碰撞检测包进行工具与场景中其他对象之间的碰撞检测,沿场景的垂直方向移动工具,直到工具与场景中的任何对象都不发生碰撞为止,在操作过程中,处理工具操作对象的动态交互式选择、工具与操作对象的导航式固联、工具部件及操作对象的驱动等计算,将计算结果返回虚拟装配仿真模块,协助其完成利用工具的交互式虚拟装配。
本发明工作时,各模块存在一定的依赖关系:虚拟装配数据管理模块在最顶层,管理、维护各模块产生的数据;产品全语义模型交互式生成模块通过虚拟装配数据管理模块对产品全语义模型在虚拟装配数据库进行检测、读取、写入操作;装配数据预处理模型通过虚拟装配数据管理模块在虚拟装配数据库中提取产品信息,并将预处理结束后的结果通过虚拟装配数据管理模块存入虚拟装配数据库;虚拟装配仿真模块通过虚拟装配数据管理模块从虚拟装配数据库中提取产品模型信息以及产品全语义模型进行场景初始化,然后才能进行交互式的虚拟装配;产品全语义模型处理模块是被虚拟装配仿真模块调用的,将语义的处理结果返回给虚拟装配仿真模块,并辅助其进行交互式装配操作;装配工具管理模块也是被虚拟装配仿真模块调用的,通过虚拟装配数据管理模块从虚拟装配数据库中提取工具信息,并将对工具的处理结果返回虚拟装配仿真模块,辅助其进行基于工具的交互式虚拟装配。
与现有技术相比,本发明具有以下有益效果:
(1)本发明采用全语义模型对产品进行描述,在交互操作中能够更好的捕捉用户的交互意图;(2)本发明采用基于装配语义处理的交互装配操作,使得虚拟装配过程变得更简单,操作更方便;(3)本发明实现了双手装配和利用工具的装配,使得虚拟装配操作更贴近于现实;(4)本发明建立了产品面向装配的全语义模型,使得对产品的描述更完整,为以后的装配效率计算、装配工艺规划、人机功效评价等提供了方便。
附图说明
图1为本发明的系统结构框图;
图2为本发明中产品全语义模型信息示意图;
图3为本发明中工具查找条件示意图;
图4为本发明整体工作流程图。
具体实施方式
下面结合附图对本发明的实施例作详细说明:本实施例在以本发明技术方案为前提下进行实施,给出了详细的实施方式和具体的操作过程,但本发明的保护范围不限于下述的实施例。
如图1所示,本实施例包括:产品全语义模型交互式生成模块、装配数据预处理模块、虚拟装配仿真模块、产品全语义模型处理模块、装配工具管理模块、虚拟装配数据管理模块、虚拟装配数据库,其中:
产品全语义模型交互式生成模块从产品CAD装配模型中提取产品信息,交互式生成产品全语义模型,对生成的模型进行检测、修改、输入输出操作,并将生成的产品全语义模型存入虚拟装配数据库。
装配数据预处理模块负责处理产品零件的碰撞模型以及查找模型信息,从虚拟装配数据库中提取产品零件信息,在用户指定的目录下查找零件显示模型、碰撞模型,建立显示模型、碰撞模型、产品全语义模型之间的对应关系,将显示模型、碰撞模型存入与产品全语义模型对应的虚拟装配数据库中;
虚拟装配仿真模块从虚拟装配数据库中提取虚拟装配所需的数据,包括产品全语义模型、显示模型、碰撞模型,建立虚拟装配仿真场景,利用VR交互外设驱动虚拟环境中的虚拟手,并调用装配工具管理模块以及产品全语义模型处理模块,实现双手与利用工具的交互式虚拟装配;
产品全语义模型处理模块负责产品全语义模型各模型的检测,将语义映射为其包含的基本约束,按照约束进行语义识别、确认、导航与解算处理,辅助虚拟装配仿真模块进行虚拟装配,并从虚拟装配仿真模块获取抓取对象信息,处理结束后获得抓取对象的位姿矩阵,并将结果返回给虚拟装配仿真模块,以用于移动虚拟对象;
装配工具管理模块从虚拟装配数据库中提取工具信息供用户选择,用户选择工具后将工具模型、工具部件模型、工具约束模型等导入虚拟装配仿真模块的虚拟环境,并随时为工具的驱动提供计算,供用户在装配操作过程中使用;
虚拟装配数据管理模块执行数据维护任务,管理各模块与虚拟装配数据库之间的通信,以及对数据进行添加、插入、删除、检测操作;
虚拟装配数据库负责储存上述模块的中间数据信息,包括:零件碰撞模型信息、零件显示模型信息、产品全语义模型信息、工具模型信息等。
所述虚拟装配数据库,其通过ODBC(开放式数据接口)标准接口与产品全语义模型交互式生成模块、装配数据预处理模块、虚拟装配仿真模块、装配工具管理模块、虚拟装配数据管理模块相连。
所述的产品全语义模型交互式生成模块,通过图形化界面与用户交互,在三维建模软件Pro/Engineer环境下打开已完成的产品装配模型,在此环境下本模块通过交互式选择装配对象来定义对象之间的装配语义,并输入对应的参数信息,生成完整的产品信息,并输出模型文件,具体为:
在Pro/Engineer环境下打开已经装配好的产品装配模型;用户可以读入已定义好的产品全语义模型,或者根据打开的产品生成产品的零件信息、装配体信息、约束信息等;在Pro/Engineer装配树上选择互相有装配关系的两个对象,根据对象之间的约束情况在虚拟装配数据库中自动查找有可能匹配的语义,并提示用户确认语义类型;用户确认后,提示输入语义工程参数信息,如几何特征的直径、长度等,并最终生成一个完整的装配语义模型;用户定义完所有的装配语义后,本模块将生成完整的产品全语义信息,并输出为产品信息文件;用户也可以对已定义的语义信息进行查询与修改等操作。如图2所示,产品全语义模型信息包括零件模型、装配树模型、约束模型、语义模型,零件模型包括:名称、位姿、装配层次、约束元素、几何信息等信息,装配树模型包括:名称、位姿、装配层次、下属部件信息、约束信息等信息,约束模型包括:类型、状态、约束部件、约束元素信息、约束参数等信息,语义模型包括类型、状态、约束信息、关联部件、装配层次、工程参数等信息。
所述装配数据预处理模块,由用户输入碰撞检测包围盒直径,并导入零件几何模型进行计算,获取零件碰撞模型。本实施例中采用现有技术进行碰撞模型生成,并根据实际需要调整碰撞模型精度。
所述装配数据预处理模块,其生成产品的显示模型、碰撞模型、产品全语义信息的对应关系,并存入虚拟装配数据库,具体为:首先根据产品全语义信息中的零件模型信息获取所有零件的名称;然后,由用户指定模型路径,在指定的路径下查找与零件模型相同的显示模型与碰撞模型,并建立对应关系;最后,按照对应关系,将显示模型、碰撞模型、产品全语义信息存入虚拟装配数据库。
所述虚拟装配仿真模块,通过图形化界面与用户交互,用户选择产品以及产品模型放置方式、环境模型等,产品模型放置方式为:默认位姿、自动摆放、手动添加,从虚拟装配数据库中根据用户选择结果提取产品的显示模型、碰撞模型以及全语义模型,并初始化虚拟装配场景,用户通过鼠标、键盘、数据手套、FOB等外设控制虚拟场景中的虚拟手进行抓取、移动、释放等操作。在移动过程中,调用全语义模型处理模块进行语义的识别、确认、导航、解算等计算,并根据计算结果移动虚拟场景中的虚拟手与抓取对象,从而完成虚拟装配。在双手交互装配过程中,根据冲突处理原则对双手虚拟装配过程中出现的冲突进行处理,实现双手交互式装配操作。在装配过程中,用户可以调用装配工具管理模块弹出工具选择界面,用户选择工具并将工具导入虚拟场景,通过虚拟手对工具进行抓取,通过调用装配工具管理模块进行工具操作对象选择、工具与操作对象固联以及工具的操作,从而实现利用工具的交互式虚拟装配。
所述虚拟装配仿真模块,其对于双手交互操作进行冲突处理,具体为:一个对象只能被一只手抓取;任何一个语义、约束的确认意图只能由一只手来表征;右手优先准则,即优先处理右手的操作,并根据右手的处理结果更新左手以及抓取对象的状态,然后再处理左手动作。在具体实现中,采用优先处理右手操作,再处理左手操作的方法。
所述产品全语义模型处理模块,包括:识别模块、确认和导航模块、解算模块,其中,
语义识别模块对互相靠近的两个对象之间的装配语义进行匹配检测,然后对满足匹配检测的对象进行识别校验检测,只有通过上述两个检测的对象才能进行装配。匹配检测是指:搜索两个对象所包含的语义,查找其中互相匹配的语义。这里互相匹配的语义是指语义关联对象、约束数目、约束类型、约束顺序、约束参数完全一致,工程约束参数互相匹配的语义。只要至少查找到一个互相匹配的语义,这两个对象就可以相互装配。识别校验是指:在语义完全匹配后对装配元件的姿态进行校验。具体实现中,只需检测语义的所有约束是否都满足识别条件(约束元素距离较近,且方向一致)即可;
确认和导航模块负责检测已识别的语义的第一个约束是否满足解算条件,对满足解算条件的语义进行解算,获取抓取对象位姿矩阵;将约束状态设置为已解算,语义状态设置为已确认,并向虚拟装配仿真模块返回位姿矩阵;进行语义导航时,获取语义下属全部已解算约束,并用自由度表示,对自由度进行规约,获取总的自由度;将抓取对象的位姿增量向自由度方向上投影,根据投影计算自由度方向上的位姿增量,并获得操作对象位姿矩阵,将矩阵返回给虚拟装配仿真模块。具体实现上,约束的自由度表示方法以及自由度规约均采用现有技术进行。
解算模块按照语义所包含的约束顺序依次进行约束的解算,直到所有约束解算完为止。具体为:获取语义中的第一个未解算约束;检测该约束元素的距离是否小于设定的较小距离,是则进行约束解算;获取解算矩阵,并获取抓取对象的位姿矩阵,将该矩阵返回给虚拟装配仿真模块。重复上述过程直到语义的所有约束都解算完为止。
所述装配工具管理模块,用户在虚拟装配仿真模块的仿真环境中调用装配工具管理模块,采用图形化界面与虚拟装配数据库进行交互。如图3所示,为工具在数据库中的查找条件,查找条件包括:功用类型、自动类型、工作头类型、工作头尺寸、工作头数目、工具工作空间,用户可以通过图形化界面设置这些条件,在虚拟装配数据库中查找工具。本模块查找到工具信息,将工具导入虚拟环境,并通过一定的摆放规则将工具摆放到虚拟环境中。在具体实现上,摆放规则为:将工具初始位置设置为虚拟手所在位置,工具与场景中的对象进行碰撞检测,并将工具沿场景+Z方向进行平移,直到工具不发生碰撞为止。在虚拟装配操作模块的操作过程中,虚拟手抓取工具对象,并调用装配工具管理模块对工具操作对象交互式动态选择、工具与操作对象交互式固联、工具驱动与操作对象驱动进行处理,辅助虚拟装配仿真模块进行使用工具的虚拟装配。
所述的装配工具管理模块中工具操作对象交互式动态选择,具体为:首先,进行工具碰撞检测,将与工具发生碰撞的对象作为用户选择意图;然后,对工具对象进行检测,只有未装配完,且有一个装配约束未解算的对象才可以作为工具操作对象;将工具对象添加到工具中。
所述的装配工具管理模块中工具与操作对象交互式固联,具体为:根据工具信息的约束信息,在操作对象的几何信息中查找对应的约束元素;将工具与操作对象作为互相装配的两个元件进行处理,将工具与操作对象之间的约束看作一个语义内部的约束,借用语义的确认、导航、解算等方法实现工具与操作对象之间的固联。
所述的装配工具管理模块中工具部件驱动,具体为:在工具信息中添加工具部件信息以及部件的运动信息,如运动类型(平移、旋转、边旋转边平移)、运动方向、运动参数(速度、角速度等),工具驱动时利用各个部件的运动信息对各部件驱动。
所述的装配工具管理模块中工具操作对象驱动,具体为:在工具信息中还包含工作部件信息,在工具部件驱动时获取工作部件的运动增量,同时获取操作对象的运动自由度,将运动增量向自由度方向上投影,获取自由度方向上的运动增量,根据这个运动增量驱动操作对象以及工具整体运动。
如图4所示,本实施例工作过程如下:本实施例各模块的执行存在一定的顺序关系,虚拟装配数据管理模块在最顶层,管理、维护各模块产生的数据;产品全语义模型交互式生成模块通过虚拟装配数据管理模块对产品全语义模型在虚拟装配数据库进行检测、读取、写入操作;装配数据预处理模型通过虚拟装配数据管理模块在虚拟装配数据库中提取产品信息,并将预处理结束后的结果通过虚拟装配数据管理模块存入虚拟装配数据库;虚拟装配仿真模块通过虚拟装配数据管理模块从虚拟装配数据库中提取产品模型信息以及产品全语义模型进行场景初始化,然后才能进行交互式的虚拟装配;产品全语义模型处理模块是被虚拟装配仿真模块调用的,将语义的处理结果返回给虚拟装配仿真模块,并辅助其进行交互式装配操作;装配工具管理模块也是被虚拟装配仿真模块调用的,通过虚拟装配数据管理模块从虚拟装配数据库中提取工具信息,并将对工具的处理结果返回虚拟装配仿真模块,辅助其进行基于工具的交互式虚拟装配。
实施例效果说明:
本实施例构造了产品的全语义模型,借助鼠标、键盘、数据手套、位姿跟踪器等硬件设备与虚拟环境中的虚拟手进行交互,通过对全语义模型中产品语义的识别、确认、导航、解算等的处理以及建立双手操作冲突处理方法,实现了双手徒手的自然交互式虚拟装配。本实施例建立了装配中常用的工具库,并借助语义的处理方法处理工具与操作对象之间的约束识别与固联,采用参数化方法对工具进行驱动,实现了利用工具的自然交互式虚拟装配。
本实施例在实现过程中采用良好的windows界面,实现了C++、MFC、Pro/Engineer、OpenGL Performer图形系统的集成,完成了本系统各功能模块,实现了基于语义的交互式虚拟装配,为在虚拟环境中进行工艺规划、路径与序列规划等提供了良好的工具,对知道实际装配生产线的设计有重要意义。

Claims (7)

1、一种基于产品全语义模型的自然交互式虚拟装配系统,其特征在于,包括:产品全语义模型交互式生成模块、装配数据预处理模块、虚拟装配仿真模块、产品全语义模型处理模块、装配工具管理模块、虚拟装配数据管理模块、虚拟装配数据库,其中:
产品全语义模型交互式生成模块从产品CAD装配模型中提取产品信息,交互式生成产品全语义模型,对生成的模型进行检测、修改、输入输出操作,并将生成的产品全语义模型存入虚拟装配数据库;
装配数据预处理模块负责处理产品零件的碰撞模型以及查找模型信息,从虚拟装配数据库中提取产品零件信息,在用户指定的目录下查找零件显示模型、碰撞模型,建立显示模型、产品全语义模型之间的对应关系,将显示模型、碰撞模型存入与产品全语义模型对应的虚拟装配数据库中;
虚拟装配仿真模块从虚拟装配数据库中提取虚拟装配所需的数据,包括产品全语义模型、显示模型、碰撞模型,建立虚拟装配仿真场景,利用VR交互外设驱动虚拟环境中的虚拟手,并调用装配工具管理模块以及产品全语义模型处理模块,实现双手与利用工具的交互式虚拟装配;
产品全语义模型处理模块负责产品全语义模型各模型的检测,将语义映射为其包含的基本约束,按照约束进行语义识别、确认、导航与解算处理,辅助虚拟装配仿真模块进行虚拟装配,并从虚拟装配仿真模块获取抓取对象信息,处理结束后获得抓取对象的位姿矩阵,并将结果返回给虚拟装配仿真模块,以用于移动虚拟对象;
装配工具管理模块从虚拟装配数据库中提取工具信息供用户选择,用户选择工具后将工具模型、工具部件模型、工具约束模型导入虚拟装配仿真模块的虚拟环境,并随时为工具的驱动进行处理,供用户在装配操作过程中使用;
虚拟装配数据管理模块执行数据维护任务,负责管理各模块与虚拟装配数据库之间的通信,以及对数据进行添加、插入、删除、检测操作;
虚拟装配数据库负责储存上述模块的中间数据信息,包括:零件碰撞模型信息、零件显示模型信息、产品全语义模型信息、工具模型信息。
2、根据权利要求1所述的基于产品全语义模型的自然交互式虚拟装配系统,其特征是,所述虚拟装配数据库,其通过0DBC标准接口与产品全语义模型交互式生成模块、装配数据预处理模块、虚拟装配仿真模块、装配工具管理模块、虚拟装配数据管理模块相连。
3、根据权利要求1所述的基于产品全语义模型的自然交互式虚拟装配系统,其特征是,所述产品全语义模型交互式生成模块,在三维建模软件环境下打开已完成的产品装配模型,并据此生成产品的零件模型、装配体模型、约束模型,在生成这些模型的基础上,用户进行交互式的产品装配语义定义,生成产品语义模型,产品的全语义模型包括:产品的零件模型、装配体模型、约束模型、语义模型,并将最终生成的产品全语义模型存入虚拟装配数据库,以由虚拟装配仿真模块调用。
4、根据权利要求1所述的基于产品全语义模型的自然交互式虚拟装配系统,其特征是,所述装配数据预处理模块,利用BVCD的碰撞模型生成工具,根据产品各零件的面片模型生成对应的碰撞模型,并保存入用户指定的模型目录,从虚拟装配数据库中读取产品的零件名称信息,在用户指定的模型目录下查找对应的显示模型、碰撞模型,并将查找结果存入与产品全语义模型对应的虚拟装配数据库中。
5、根据权利要求1所述的基于产品全语义模型的自然交互式虚拟装配系统,其特征是,所述虚拟装配仿真模块,根据用户指定的产品从虚拟装配数据库中提取所需要的产品信息,应用图形系统建立虚拟装配场景,通过鼠标、键盘、数据手套和位姿跟踪器控制虚拟手对零部件进行抓取、移动、释放操作,在操作过程中,利用碰撞检测来避免穿透,调用产品全语义模型处理模块完成语义处理进行装配计算,调用装配工具管理模块进行工具的选择、定位计算与使用,处理在双手操作情况下的冲突,实现双手以及使用工具的交互式虚拟装配仿真。
6、根据权利要求1所述的基于产品全语义模型的自然交互式虚拟装配系统,其特征是,所述产品全语义模型处理模块,包括:识别模块、确认和导航模块、解算模块,其中,
识别模块负责将语义映射为基本约束,并对约束进行识别,一个语义包含多个约束,将第一个约束的识别作为语义识别的基本条件,将第二个约束的识别作为语义识别的校核条件,语义只有同时满足识别的基本条件和校核条件后,语义才算识别成功,将语义的所有约束都高亮显示;
确认和导航负责在语义识别成功后对语义的第一个约束进行解算,并根据解算矩阵获取操作对象的位姿矩阵,语义确认后,根据语义的已确认约束控制操作对象在虚拟环境中的运动,这一部分实质都是约束的确认与导航;
解算模块是指在语义确认后根据语义导航过程,依次对语义中可解算而未解算的约束进行自动解算。
7、根据权利要求1所述的基于产品全语义模型的自然交互式虚拟装配系统,其特征是,所述装配工具管理模块,根据用户需求从装配工具数据库中提取工具信息,将工具添加虚拟装配场景中虚拟手所在的位置,通过BVCD碰撞检测包进行工具与场景中其他对象之间的碰撞检测,沿场景的垂直方向移动工具,直到工具与场景中的任何对象都不发生碰撞为止,在操作过程中,处理工具操作对象的动态交互式选择、工具与操作对象的导航式固联、工具部件及操作对象的驱动计算,将处理结果返回虚拟装配仿真模块,协助其完成利用工具的交互式虚拟装配。
CN2008102077731A 2008-12-25 2008-12-25 基于产品全语义模型的自然交互式虚拟装配系统 Expired - Fee Related CN101441677B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2008102077731A CN101441677B (zh) 2008-12-25 2008-12-25 基于产品全语义模型的自然交互式虚拟装配系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2008102077731A CN101441677B (zh) 2008-12-25 2008-12-25 基于产品全语义模型的自然交互式虚拟装配系统

Publications (2)

Publication Number Publication Date
CN101441677A true CN101441677A (zh) 2009-05-27
CN101441677B CN101441677B (zh) 2011-05-04

Family

ID=40726111

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008102077731A Expired - Fee Related CN101441677B (zh) 2008-12-25 2008-12-25 基于产品全语义模型的自然交互式虚拟装配系统

Country Status (1)

Country Link
CN (1) CN101441677B (zh)

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102254053A (zh) * 2010-05-20 2011-11-23 北京大学 一种基于组件装配的参数化设计方法和系统
CN102968520A (zh) * 2012-10-25 2013-03-13 北京航天新风机械设备有限责任公司 基于装配过程仿真的产品装配工艺生成的方法
CN103942385A (zh) * 2014-04-17 2014-07-23 北京航空航天大学 一种基于人体动作捕捉系统的飞机管路装配仿真方法
CN104007703A (zh) * 2014-05-20 2014-08-27 华南理工大学 一种产品虚拟零部件与实际零部件间通讯实现系统及方法
CN104575151A (zh) * 2015-01-22 2015-04-29 中国石油技术开发公司 一种陆地钻机虚拟装配系统
CN104599543A (zh) * 2015-01-22 2015-05-06 中国石油技术开发公司 一种陆地钻机虚拟装配系统及其操作方法
CN104657554A (zh) * 2015-02-10 2015-05-27 北京宇航系统工程研究所 一种火箭三维模型设计信息快速提取系统
CN105160139A (zh) * 2015-10-16 2015-12-16 中国电子科技集团公司第三十八研究所 一种虚拟人维修动作混合驱动方法
CN105912122A (zh) * 2016-04-15 2016-08-31 济南大学 一种用于虚拟装配的隐式交互方法
CN106610872A (zh) * 2016-12-30 2017-05-03 西安电子科技大学 工艺规划软件与仿真软件的数据交互系统及方法
CN107122517A (zh) * 2017-03-22 2017-09-01 武汉三为科技有限公司 汽车焊装夹具自动装配程序设计方法
CN107368180A (zh) * 2016-05-11 2017-11-21 超昱国际有限公司 虚拟实境操控平台
CN108596719A (zh) * 2018-04-18 2018-09-28 北京小米移动软件有限公司 图像显示方法及装置
CN110709850A (zh) * 2017-05-25 2020-01-17 三菱电机株式会社 设计图复查装置、设计图复查方法以及程序
CN110807239A (zh) * 2019-09-16 2020-02-18 北京理工大学 一种基于装配语义的快速装配仿真方法、装置及系统
WO2020172865A1 (zh) * 2019-02-28 2020-09-03 西门子(中国)有限公司 数字双胞胎建模仿真方法、装置和系统
CN112200465A (zh) * 2020-10-14 2021-01-08 安徽继远软件有限公司 基于多媒体信息智能分析的电力ai方法及系统
CN112581634A (zh) * 2020-11-26 2021-03-30 北京航天智造科技发展有限公司 基于自定义模型及工艺规划的协同虚拟装配训练系统实现方法
CN112905017A (zh) * 2021-03-22 2021-06-04 广东工业大学 基于手势交互的多人协同拆装系统
CN114029941A (zh) * 2021-09-22 2022-02-11 中国科学院自动化研究所 一种机器人抓取方法、装置、电子设备及计算机介质
CN114996867A (zh) * 2022-05-13 2022-09-02 长春理工大学 基于语义的零部件快速装配方法
CN116881017A (zh) * 2023-07-27 2023-10-13 中国人民解放军陆军工程大学 一种协同虚拟维修训练系统和方法

Cited By (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102254053B (zh) * 2010-05-20 2013-03-13 北京大学 一种基于组件装配的参数化设计方法和系统
CN102254053A (zh) * 2010-05-20 2011-11-23 北京大学 一种基于组件装配的参数化设计方法和系统
CN102968520A (zh) * 2012-10-25 2013-03-13 北京航天新风机械设备有限责任公司 基于装配过程仿真的产品装配工艺生成的方法
CN103942385B (zh) * 2014-04-17 2016-12-07 北京航空航天大学 一种基于人体动作捕捉系统的飞机管路装配仿真方法
CN103942385A (zh) * 2014-04-17 2014-07-23 北京航空航天大学 一种基于人体动作捕捉系统的飞机管路装配仿真方法
CN104007703A (zh) * 2014-05-20 2014-08-27 华南理工大学 一种产品虚拟零部件与实际零部件间通讯实现系统及方法
CN104007703B (zh) * 2014-05-20 2017-10-20 华南理工大学 一种产品虚拟零部件与实际零部件间通讯实现系统及方法
CN104575151A (zh) * 2015-01-22 2015-04-29 中国石油技术开发公司 一种陆地钻机虚拟装配系统
CN104599543A (zh) * 2015-01-22 2015-05-06 中国石油技术开发公司 一种陆地钻机虚拟装配系统及其操作方法
CN104657554A (zh) * 2015-02-10 2015-05-27 北京宇航系统工程研究所 一种火箭三维模型设计信息快速提取系统
CN104657554B (zh) * 2015-02-10 2018-01-05 北京宇航系统工程研究所 一种火箭三维模型设计信息快速提取系统
CN105160139A (zh) * 2015-10-16 2015-12-16 中国电子科技集团公司第三十八研究所 一种虚拟人维修动作混合驱动方法
CN105160139B (zh) * 2015-10-16 2018-03-23 中国电子科技集团公司第三十八研究所 一种虚拟人维修动作混合驱动方法
CN105912122A (zh) * 2016-04-15 2016-08-31 济南大学 一种用于虚拟装配的隐式交互方法
CN105912122B (zh) * 2016-04-15 2017-08-04 济南大学 一种用于虚拟装配的隐式交互方法
CN107368180A (zh) * 2016-05-11 2017-11-21 超昱国际有限公司 虚拟实境操控平台
CN106610872A (zh) * 2016-12-30 2017-05-03 西安电子科技大学 工艺规划软件与仿真软件的数据交互系统及方法
CN107122517A (zh) * 2017-03-22 2017-09-01 武汉三为科技有限公司 汽车焊装夹具自动装配程序设计方法
CN107122517B (zh) * 2017-03-22 2021-02-19 华中科技大学 汽车焊装夹具自动装配程序设计方法
CN110709850A (zh) * 2017-05-25 2020-01-17 三菱电机株式会社 设计图复查装置、设计图复查方法以及程序
CN108596719A (zh) * 2018-04-18 2018-09-28 北京小米移动软件有限公司 图像显示方法及装置
CN108596719B (zh) * 2018-04-18 2022-12-06 北京小米移动软件有限公司 图像显示方法及装置
CN111868645A (zh) * 2019-02-28 2020-10-30 西门子(中国)有限公司 数字双胞胎建模仿真方法、装置和系统
WO2020172865A1 (zh) * 2019-02-28 2020-09-03 西门子(中国)有限公司 数字双胞胎建模仿真方法、装置和系统
CN111868645B (zh) * 2019-02-28 2023-10-20 西门子(中国)有限公司 数字双胞胎建模仿真方法、装置和系统
CN110807239A (zh) * 2019-09-16 2020-02-18 北京理工大学 一种基于装配语义的快速装配仿真方法、装置及系统
CN110807239B (zh) * 2019-09-16 2021-11-16 北京理工大学 一种基于装配语义的快速装配仿真方法、装置及系统
CN112200465A (zh) * 2020-10-14 2021-01-08 安徽继远软件有限公司 基于多媒体信息智能分析的电力ai方法及系统
CN112200465B (zh) * 2020-10-14 2024-04-19 安徽继远软件有限公司 基于多媒体信息智能分析的电力ai方法及系统
CN112581634A (zh) * 2020-11-26 2021-03-30 北京航天智造科技发展有限公司 基于自定义模型及工艺规划的协同虚拟装配训练系统实现方法
CN112581634B (zh) * 2020-11-26 2021-09-10 北京航天智造科技发展有限公司 基于自定义模型及工艺规划的协同虚拟装配训练系统实现方法
CN112905017A (zh) * 2021-03-22 2021-06-04 广东工业大学 基于手势交互的多人协同拆装系统
CN114029941A (zh) * 2021-09-22 2022-02-11 中国科学院自动化研究所 一种机器人抓取方法、装置、电子设备及计算机介质
CN114996867A (zh) * 2022-05-13 2022-09-02 长春理工大学 基于语义的零部件快速装配方法
CN114996867B (zh) * 2022-05-13 2024-09-27 长春理工大学 基于语义的零部件快速装配方法
CN116881017A (zh) * 2023-07-27 2023-10-13 中国人民解放军陆军工程大学 一种协同虚拟维修训练系统和方法
CN116881017B (zh) * 2023-07-27 2024-05-28 中国人民解放军陆军工程大学 一种协同虚拟维修训练系统和方法

Also Published As

Publication number Publication date
CN101441677B (zh) 2011-05-04

Similar Documents

Publication Publication Date Title
CN101441677B (zh) 基于产品全语义模型的自然交互式虚拟装配系统
CN107678537A (zh) 增强现实环境中识别装配操作、模拟装配的方法和装置
CN101105821A (zh) 虚拟装配操作过程的装配工艺生成方法
CN100435049C (zh) 一种面向生产现场的半沉浸式装配工艺规划方法
CN101920233A (zh) 一种基于虚拟现实技术的喷涂工业机器人综合控制系统及控制方法
CN114580083A (zh) 一种基于数字孪生的智能装配系统的构建方法
CN104936748A (zh) 徒手机器人路径教导
CN104457566A (zh) 一种无须示教机器人系统的空间定位方法
Wang et al. Perception of demonstration for automatic programing of robotic assembly: framework, algorithm, and validation
US12011835B2 (en) Engineering autonomous systems with reusable skills
CN201892840U (zh) 一种基于虚拟现实技术的喷涂工业机器人综合控制系统
CN107274777B (zh) 一种基于V-Rep的机器人虚拟示教系统
Mao et al. Learning reusable manipulation strategies
Yu et al. Cloud-Based Hierarchical Imitation Learning for Scalable Transfer of Construction Skills from Human Workers to Assisting Robots
Fahmi et al. Development of excavator training simulator using leap motion controller
Xu et al. Constructing virtual environments for manufacturing simulation
CN112181132A (zh) 虚拟环境中基于射线交互任务的模型评估方法及系统
Li et al. Digital twin technology in intelligent manufacturing
Fan et al. Virtual assembly environment for product design evaluation and workplace planning
He et al. A VR-based complex equipment maintenance training system
CN114035677A (zh) 一种用于双手与虚拟手套外设交互的通用接口实现方法
Neto et al. 3D CAD-based robot programming for the SME shop-floor
Zhao et al. Virtual assembly operations with grasp and verbal interaction
Xu et al. Vision‐Based Intelligent Perceiving and Planning System of a 7‐DoF Collaborative Robot
Vincze et al. Learn, detect, and grasp objects in real-world settings

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20110504

Termination date: 20141225

EXPY Termination of patent right or utility model