CN102789514A - 一种机械设备拆装3d在线诱导系统的诱导方法 - Google Patents

一种机械设备拆装3d在线诱导系统的诱导方法 Download PDF

Info

Publication number
CN102789514A
CN102789514A CN2012101173085A CN201210117308A CN102789514A CN 102789514 A CN102789514 A CN 102789514A CN 2012101173085 A CN2012101173085 A CN 2012101173085A CN 201210117308 A CN201210117308 A CN 201210117308A CN 102789514 A CN102789514 A CN 102789514A
Authority
CN
China
Prior art keywords
dismounting
model
constraint
online
induction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012101173085A
Other languages
English (en)
Other versions
CN102789514B (zh
Inventor
陈成军
洪军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao University of Technology
Original Assignee
Qingdao University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao University of Technology filed Critical Qingdao University of Technology
Priority to CN201210117308.5A priority Critical patent/CN102789514B/zh
Publication of CN102789514A publication Critical patent/CN102789514A/zh
Application granted granted Critical
Publication of CN102789514B publication Critical patent/CN102789514B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种机械设备拆装3D在线诱导系统的诱导方法,诱导系统包括一个眼镜式增强现实头盔、手部位置跟踪器、计算机,所述增强现实头盔上带有两块显示屏和2个摄像头,增强现实头盔、手部位置跟踪器与计算机之间可实现无线通信,实现所述机械设备拆装3D在线诱导系统的诱导方法的步骤如下:第一,虚拟装配模型转换;第二,诱导系统的初始化;第三,拆装意图的识别;第四,诱导信息的生成;第五,诱导信息的叠加;第六,重复第三步骤至第五步骤,直至完成产品的在线诱导。本发明的方法具有诱导信息准确、普适能力强、便于携带的特点,能够实现以操作者需求、任务现状和拆装历史为驱动的3D在线诱导,实现产品3D设计与拆装诱导的一体化。

Description

一种机械设备拆装3D在线诱导系统的诱导方法
技术领域
本发明涉及一种机械设备拆装3D在线诱导系统的诱导方法,属于制造业信息化交叉领域,尤其与增强现实、人机交互和虚拟装配技术相关。
背景技术
拆装(拆卸和装配)是机械设备维修的重要步骤,是恢复和提高机械设备整机性能和稳定性的重要保障手段,合理的拆装工艺和操作是维修效率和质量的重要保证。随着科技生产力的不断提高,现代大型复杂机械设备已经成为融合机械、电子、动力、信息、控制、能源、电气、液压、材料等多学科技术的集成系统,因此其拆装维修过程涉及到的技术和知识也不断增加,维修人员单纯依靠自身经验、技术和知识难以高效地完成复杂机械设备的拆卸、维修和装配。
纸质和电子技术手册被广泛用于存储、查询拆装维修技术信息,但使用过程中操作者需边操作设备边手动查看手册,操作难度大、效率低;并且注意力需要在手册和设备之间频繁切换,易受周围环境影响,造成拆装维修差错等问题。若有一种可穿戴计算机系统,能够根据操作者意图和当前任务同步、直观、自然地将所需诱导信息叠加在真实拆装场景中,便可使操作者将双手、双眼和注意力集中在设备拆装维修中,从而大大提高操作效率,减少误操作。
增强现实技术为上述问题提供了良好的解决方法,增强现实技术是在虚拟现实技术的基础上发展起来的,它能够将计算机生成的虚拟信息通过注册技术准确叠加到真实环境上,使用户在现实设备上看到一个虚实融合的环境,具有虚实融合和交互的特点,因此在各种操作诱导中具有广泛的应用前景。
本发明涉及一种应用增强现实技术的机械设备拆装3D在线诱导系统的诱导方法,通过对现有文献的检索,与本发明有关的文章包括:“Evaluating the Benefits of Augmented Reality for TaskLocalization in Maintenance of an Armored Personnel Carrier Turret”中ARMAR系统使用戴在手腕上的便携式电子设备手动查询下一步操作相关的信息,并将其现实在增强现实设备上.“Anaugmented reality system for training and assistance to maintenance in the industrial context”中的STARMATE系统和“Demonstration of Assembly Work Using Augmented Reality”中的VTT系统通过识别语音命令从数据中查询所需的信息。上述基于增强现实技术的拆装维修系统多是“以计算机为中心”的程序化引导系统,普适能力差,虽然实现了虚拟信息和真实场景的增强现实叠加,但尚未达到诱导的层次。使用中操作者需自己识别拆装任务,并通过手动操作计算机设备或语音识别的方式从数据库中搜索所需信息,因此是以计算机为中心的诱导系统,这样不仅不适用于噪杂的环境,而且分散了操作者的注意力。
增强现实的目标是通过跟踪观察者头部CCD相对于世界坐标系的方位建立观察虚拟信息的虚拟视点的位置,从而将虚拟模型、虚拟信息准确地叠加在真实环境中,实现虚拟场景和真实场景位置的一致性。当前增强现实注册方法可以分为六类:机械跟踪法、电磁跟踪法、超声波跟踪法、GPS跟踪法、惯性方向跟踪法及光学跟踪法。其中电磁跟踪法和超声波跟踪法的成本低、精度高,但易受周围磁场、金属物体反射的影响。GPS位置跟踪法跟踪范围大,不需要专门的发射装置,但其精度较低,单个民用GPS的定位精度为十几米,差分GPS的精度也仅为20厘米左右。惯性方向跟踪法不需要外部发射装置,但只能跟踪方向和加速度,但积分运算得到的位置存在较大的积分累计误差,且跟踪结果存在短时浮动;光学跟踪法应用最为广泛,它将CCD(固定在操作者头部)在不同方位拍摄的两幅图像进行特征点(或标识点)提取、跟踪和匹配,利用CCD成像模型计算CCD当前方位,其优点是跟踪精度高,但跟踪范围小,易受遮挡、光线变化等影响,并且当物理环境中物体或标识改变位置时会引起较大的跟踪误差,甚至跟踪失败,不适合动态环境。
根据特征点的不同,光学跟踪法分为基于自然特征点的注册算法和基于人工标识的注册算法,其中基于自然特征点的增强现实注册算法通过跟踪自然特征点实现注册,环境适应能力强。与增强现实技术的其它应用领域相比,复杂机械装备拆装具有其自身的特征,首先拆装活动空间大,拆装场地不固定;其次是设备结构复杂,拆装操作会改变零件布局和设备外观,因此随着拆装的进行,特征点匹配对急剧减少,这会降低基于自然特征点的光学跟踪法的鲁棒性,因此当前面向复杂机械装备拆装应用的增强现实注册多采用人为设置标识点的方法,如“Evaluating the Benefits of Augmented Reality for Task Localization in Maintenance of anArmored Personnel Carrier Turret”将室内特定位置处安装10个CCD,用来检测安装在维修人员头部的红外发光二极管的位置,从而跟踪维修人员头部方位,该方法精度高,但结构复杂,携带不方便,适合场地固定(如室内)的拆装操作。“An augmented reality system for training andassistance to maintenance in the industrial context”将多个红外发光二极管安装在机械设备指定位置上,使用安装在维修人员头部的CCD拍摄红外图像,计算二极管的位置,从而跟踪CCD方位,该方法的跟踪精度和跟踪范围受二极管分布的影响,二极管发射装置布置越密跟踪精度越高,分布越广跟踪范围越大。由上可以看出现有拆装维修诱导系统使用的增强现实注册算法这大大限制系统的便携性和普适性。
由上可以看出现有的机械设备拆装的诱导方法存在以下问题:
(1)诱导信息是人工保存在数据库中的信息,不同的机械系统需要输入不同的诱导信息;
(2)现有的方法均是以语音和键盘作为输入方式,操作者不能把全部注意力集中在拆装操作上,因此是以计算机为中心的;
(3)由于设备拆装过程中拆装场景变化大,并且手的运动会引起特征点的遮挡,造成特征点匹配对的减少,大大降低了传统的基于自然特征点的光学跟踪法的鲁棒性,因此现有的拆装诱导方法均是通过专用设备人为设置标识点实现增强现实注册的。
以上三个问题限制了复杂机械设备拆装诱导系统的普适性、便携性和人机交互性。
发明内容
基于以上所述现有技术存在的问题和不足,本发明的目的在于提供一种机械设备拆装3D在线诱导系统的诱导方法,只需向本发明的系统提供机械设备的3D CAD模型,本发明的方法即可向设备拆装人员在线提供3D诱导信息,并叠加在真实拆装场景上。
该方法将机械设备的CAD模型转化为虚拟装配模型,通过识别设备拆卸过程中操作者的拆装意图,从虚拟装配模型中提取操作者急需的诱导信息;该系统还可以通过三维重建对物体进行识别,进而从虚拟装配模型提取已装配(处于装配位置)零件的位置和零件上特征的坐标,从而可以存在大量遮挡和场景变化的情况下实现基于自然特征点注册算法的初始化和失效后的重新初始化。该方法完全依赖设备的CAD模型和场景分析即可实现装配拆装过程中的增强现实诱导,可提高相应系统的高普适性、人机交互性和便携性。
为达到上述目的,本发明采用以下技术方案实现:
一种机械设备拆装3D在线诱导系统的诱导方法,所述诱导系统包括一个增强现实头盔、手部位置跟踪器、计算机,所述增强现实头盔上带有两块显示屏和2个摄像头,增强现实头盔、位置跟踪器与计算机之间可实现无线通信,实现所述机械设备拆装3D在线诱导系统的诱导方法的步骤如下:
第一,虚拟装配模型转换:通过对CAD系统二次开发,将产品CAD格式装配模型转化为虚拟装配模型,其中包括各零件模型和零件间的装配约束模型;
第二,诱导系统的初始化:机械设备拆装3D在线诱导系统在加载上述虚拟装配模型后,并考虑到重力支撑约束、工具拆卸空间约束和拆卸过程中碰撞的基础上,系统自动建立零件间的拆卸约束优先关系树模型;建立零件装配约束操作的自由带转化-归约模型和装配工具选择模型;
第三,拆装意图的识别:在机械设备拆装3D在线诱导系统的运行过程中,实时重建三维拆装场景,并进行零件识别,根据重建场景中心区域的零件、操作者手部的运动、手部的位置识别操作者关注的焦点零件;并根据产品的拆卸约束优先关系树模型向操作者下提示一步将要拆装的零件;
第四,诱导信息的生成:基于自由带转化-归约模型和装配工具选择模型,系统根据识别到的下一步将要拆卸的零件、拆卸约束优先关系树模型,以动画的形式自动生成机械设备拆装3D诱导信息,以向操作者表达零件的拆装方向和所使用的拆装工具等;
第五,诱导信息的叠加:基于重建场景中已装配零件上的机械特征在CCD坐标系中的坐标及其在装配模型中的相对于世界坐标系的坐标,建立观察虚拟信息的虚拟视点的位置,从而将3D虚拟诱导信息准确地叠加在真实环境中,并将虚拟诱导信息和CCD拍摄的真实场景发送到头盔显示器上显示给操作者;
第六,重复第三步骤至第五步骤,直至完成机械设备拆装的在线诱导。
进一步地,第一步骤的具体步骤如下:通过对商业CAD软件二次开发,提取设备中各零件的信息和零件间的装配约束信息,其中零件信息包括:零件名称、零件三维模型、零件拓扑信息即零件-设计特征-面-线-点的连接关系、零件上特征点和特征线等在零件坐标系中的坐标等;装配约束信息包括,约束名称、约束类型、约束参数、该约束涉及的零件名称,该约束涉及的特征的名称和涉及零件在装配体中的位置等。除将每个零件的三维模型保存为一个三角面片格式的文件外,其它信息均保存在数据库中,以便拆装诱导过程中查询。
进一步地,第三步骤的具体步骤如下:两个CCD各同时采集一副图像,采用图像特征提取算法分别提取两幅图像上的特征,在CCD坐标系中,通过特征的匹配实现三维拆装场景的重建;将3D重建场景和虚拟装配模型中的产品3D模型进行特征尺寸、拓扑关系和装配位置等的匹配实现零件的识别;3D拆装在线诱导系统识通过3D重建场景中心附近的零件识别操作者关注的焦点零件;通过位置跟踪器实时测量操作者手部的位置,通过操作者手部运动、位置识别操作者的意图,如当操作者的手伸向或移动某一个零件时,系统可以识别出操作者关注该焦点零件,进而可以提示与焦点零件有关的装配诱导信息。
进一步地,第二步骤和第三步骤相结合实现拆装顺序诱导功能的具体步骤如下:在第二步骤中考虑到重力支撑约束、工具拆卸空间约束和拆卸过程中碰撞的基础上,自动建立零件间的拆卸约束优先关系树模型;在操作者交互拆装过程中,当一零件拆装完成后拆卸约束优先关系树模型自动更新,以表达当前的拆装状态;基于植物枯萎仿生原理,根据产品的拆卸约束优先关系树模型向操作者下提示一步可能将要拆装的零件,实现拆装顺序的诱导。
进一步地,第四步骤的具体步骤如下:将当前拆装任务转化为拆装语义,利用自由度转化规约模型对将要拆装的目标零部件进行自由度转化和归约得到零部件拆装方向;利用工具选择模型,根据拆装约束的形式选择合适的工具,最后生成拆装虚拟动画,以演示如何将零部件从装配体上拆卸下来,或如何安装在装配体上,从而向操作者输出3D诱导信息。
进一步地,在第五步骤中:使用图像特征检测算法检测当前视频图像1上的自然特征点(角点),基于特征匹配算法实现当前图像与参考图像间的特征点匹配,根据特征点匹配对的在世界坐标系中的三维坐标,利用校正后的摄像机模型,计算CCD方位,从而实现基于自然特征点的增强现实注册算法。
由于拆装过程中存在大量的遮挡和零部件的移动,因此随着拆装的进行特征点匹配对的数量会迅速减少,从而使增强现实注册失效,无法跟踪CCD的方位。在初始化或特征点匹配对数量小于某一阈值的情况下,本发明的方法利用立体视觉算法对三维拆装场景重建,提取处于装配位置(或者运动自由度为零)的零件的机械特征及特征在CCD坐标系中的坐标,结合零件识别的结果从产品的数字化装配模型读取、计算已装配零件上机械特征在世界坐标系中的三维坐标,进而利用CCD成像模型计算当前图像上所有自然特征点(包括零件上的机械特征点和非机械特征点如零件上斑点、油污点等)在世界坐标系中的三维坐标,并把当前图像设为参考图像,从而快速恢复增强现实跟踪,提高注册算法的鲁棒性和跟踪范围。其中关于零件是否为已装配零件可以从当前拆卸约束优先关系树模型中得到。
与现有技术相比,本发明具有以下有益的效果:
(1)本发明完全从设备的CAD模型中提取诱导信息,而不是人工输入到数据库中,减少了数据库输入量,提高了普适性,可以实现机械产品设计和3D拆装诱导的一体化。
(2)本发明是以操作者为中心的,计算机通过自动识别操作者的操作意图(主要是识别操作者关注的焦点零件和下一步将要拆装的零件)生成诱导信息,而不是通过操作者手动或者语音输入,这样操作者可以将精力集中到设备拆装操作中,而不是查询诱导信息上,提高了拆装的速度和诱导效率,提高了人机交互性。
(3)虽然机械设备拆装场景中存在大量的遮挡且拆装场景变化大,本发明仍然能够通过识别处于装配装配位置的零件上的机械特征在CCD坐标系中的坐标,结合该特征在虚拟装配模型中的装配方位关系实现基于自然特征点的增强现实注册算法,无需繁琐的人工设置标志点,提高了3D诱导系统的通用性和便携性。
需要特别指出的是,本发明识别到操作者的拆装意图后,同样可以根据识别到的下一步将要拆装零件的名称从数据库中查询诱导信息,而不是通过语音或者交互设备向数据库提供要查询的信息,因此也能够提高基于数据库的诱导系统的人机交互性。
附图说明:
图1本发明结构框图;
图2虚拟装配模型转换框图;
图3拆卸约束优先关系树模型示意图;
图4拆装目标识别示意图;
图5增强现实注册示意图。
具体实施方式
下面结合附图对本发明的实施例作详细说明,本实施例在以本发明技术方案为前提下进行实施,给出了详细的实施方式和具体的操作过程,但本发明的保护范围不限于下述实施例。
如图1所示,一种机械设备拆装3D在线诱导系统包括便携式计算机、增强现实头盔显示器HMD(其上包含2个CCD)、手部位置跟踪器2个,计算机与HMD和手部位置跟踪器之间可以实现无线通信。本发明的系统的诱导方法的步骤则包括虚拟装配模型转换;诱导系统的初始化;拆装意图的识别;诱导信息的生成;诱导信息的叠加;以下将分别进行说明:
第一、虚拟装配模型的转换
虚拟装配模型的转换,是通过对SolidWorks系统二次开发,将产品SolidWorks格式装配模型转化为虚拟装配模型,而包括各零件的信息和零件间的装配约束信息如图2所示。其中零件信息又包括:零件名称、零件三维模型、零件拓扑信息:即零件-设计特征-面-线-点的连接关系、零件上特征点和特征线在零件坐标系中的坐标等;装配约束信息包括,约束名称、约束类型、约束参数、该约束涉及的零件名称,该约束涉及的特征的名称和涉及零件在装配体中的位置等。除将每个零件的三维模型保存为一个WRL格式的文件外,其它信息均保存在Access数据库中,以便拆装诱导过程中查询。
第二、诱导系统的初始化
所设计的3D拆装在线诱导系统在初始化的时候加载上述虚拟装配模型,在考虑重力支撑约束、工具拆卸空间约束和拆卸过程中碰撞等几何、物理约束的基础上,按照以下步骤自动建立零件间的拆卸约束优先关系树模型:
①根据零件间的装配约束关系和各零件在装配体中的方位,求解零件(不含螺栓等装配连接件)间的重力支撑约束图,并对约束图分层,成为树状结构;模型结构如图3(a)所示,图中的圆圈顶点表示零件,圆圈中的数字表示零件的营养指数,圆圈间的有向实线段表示零件间的支撑关系,如(P→K)表示零件K的重力传递到零件P上,即零件K需要优先于零件P拆卸;按照零件间的支撑关系将零件分层,分层原则为:第1层为整个装配体的基础件,第k(k>1)层零件的重力可以完全传递到第1至k-1层零件上,并最终传递到基础件上,其中必须能够传递到第k-1层零件上。
②对每一个零件P,从整个装配体上删除掉该零件所支撑或间接支撑的所有零件,然后自动仿真拆卸零件P的操作,利用虚拟模型间的碰撞检测,判断拆卸过程中与零件P或者拆卸工具碰撞的零件集Qi,将Qi中的所有零件设为零件P的拆卸优先零件,连接边用虚线表示,如图3(b)所示。建立拆卸树模型时,给每一个零件节点的营养指数pk(k=1-n)统一赋值100。
产品拆卸将从叶子节点(图3(b)中的填充圆圈)开始,到目标零件或基础件为止,随着拆卸过程的进行,叶子节点零件逐渐被拆除,并更新生成新的拆卸树模型,以表达当前的拆装状态。
第三、拆装意图的识别
拆装意图识别模块的功能是根据重建场景中心区域的零件、操作者手部的运动、手部的位置、设备当前的拆装状态等识别操作者的关注的焦点零件,并可以向操作者提示下一步将要拆装的零件,以便根据该拆装意图生成相关诱导信息。具体步骤如下:
两个CCD各采集一副图像,采用图像特征提取算法分别提取两幅图像上的特征点和线,通过特征点和线的匹配实现三维拆装场景的重建,该重建以两CCD基线的中心点为坐标原点、以两CCD的基线为X轴,以过原点且垂直于CCD平面的方向为Y轴;将3D重建场景中的零件模型和装配模型中零件的3D模型进行特征尺寸、拓扑关系和装配位置的匹配实现零件的识别;3D拆装在线诱导系统识通过3D重建场景中心附近的零件识别操作者关注的焦点零件,将两个FOB位置跟踪器固定在操作者两个手腕上,实时跟踪操作者手部的位置和运动,当操作者向某一零件运动或者拿着某一零件的时候表示操作者有操作该零件的意图。
有些时候操作者不知道下一步该拆装那一个零件,因此需要诱导系统自动向其提示,本发明根据设备当前的拆卸约束优先关系树模型识别操作者下一步该拆装的零件。上述基于拆卸优先关系树模型的拆卸目标感知方法基于如下仿生原理:自然界同一棵树上脱落叶子的分布和脱落顺序对判断树的非自然枯萎方向和枯萎扩散具有一定的导向作用,本发明提出基于拆卸优先关系树模型的拆卸目标感知方法,该方法在第二步骤的初始化阶段自动建立产品的拆卸优先关系树模型,在拆卸诱导阶段,根据操作者的拆卸顺序感知拆卸目标,因此所述的基于拆卸优先关系树模型的拆卸目标感知方法的具体实现方法如下:
①在交互式拆卸过程中,每拆卸完一个叶子零件后,以数值扩散的方式修改该零件到基础件路径上所有零件的营养指数,扩散方向由被拆卸零件向基础件反向传播,若传播路径上存在边(j→i),则零件i和零件j的营养指数均减1,零件被拆卸后不再有营养指数值。如图4所示,将被拆卸件拆除后,扩散路径上各零件的营养指数均改变。
②随着交互拆卸过程的进行,拆卸目标零件和到达拆卸目标零件路径上的零件的营养指数均会减小,因此可以通过比较各零件的营养指数,识别拆卸目标零件,进而在需要的时候结合拆卸工具使用的聚合性、拆卸方向的聚合性及其它物理约束向操作者输送拆卸顺序。
③引入营养指数修复机制,即如果连续n次拆卸均没有传播到某个零件,则适当提高该零件的营养指数,避免上述算法陷入局部最优,从而能够根据操作者最新操作及时识别当前拆卸装目标零件。
第四、诱导信息的生成
建立自由带转化归约模型装配工具选择模型,根据识别到的拆装意图(下一步将要拆卸的零件)、表达当前拆卸进程的拆卸树模型和设备的虚拟装配装配模型,以动画的形式生成设备拆装3D诱导信息。具体步骤如下:
①建立自由度转化归约模型:将零件之间的装配约束关系,转化为零件之间的相对运动自由度关系,并对涉及多个装配约束关系的零件进行自由度归约,求出零件可行的运动自由度。
②建立装配工具选择模型:首先建立不同类型、不同尺寸的装配工具模型(开口扳手、呆扳手、螺丝刀等)的3D虚拟模型,并将各自的尺寸参数保存在工具数据库中;定义规则库,定义零件之间的不同装配连接约束所使用的工具,以及工具的定位规则。
③根据识别到的拆装意图(待拆卸的零件)和表达当前拆卸进程的拆卸树模型,对待拆卸的零件进行自由度转化和归约,并根据装配连接类型按照工具选择模型选择合适和工具,并对选择工具进行初始定位,最终生成3D拆装动画。
第五、诱导信息的叠加
基于已装配零件上的自然特征点及其在装配模型中的坐标,通过跟踪观察者头部CCD相对于世界坐标系的方位建立观察虚拟信息的虚拟视点的位置,从而将虚拟模型、虚拟信息准确地叠加在真实环境中,实现虚拟场景和真实场景视觉上位置的一致性。本发明在基于自然特征的增强现实注册算法的基础上,根据已装配零件之间具有确定的位置关系的特点提出一种增强现实注册快速恢复算法,其具体步骤如下:
如图5所示,使用FAST算法检测当前视频图像1上的自然特征点(角点),研究基于SIFT的角点匹配算法,实现当前图像1与参考图像间的特征点的匹配,根据特征点匹配对在世界坐标系中的三维坐标,利用校正后的摄像机模型,计算CCD方位,实现基于自然特征点的增强现实注册算法。
在初始化阶段或特征点匹配对数量小于某一阈值的情况下,利用立体视觉算法对三维拆装场景重建,提取零件的机械特征,计算该特征在CCD坐标系中的坐标,结合零件识别的结果从产品的数字化装配模型读取对应特征在世界坐标系中的三维坐标,进而利用CCD成像模型(如仿射模型)计算图像1上所有自然特征点在世界坐标上的的三维坐标,并把当前图像1设为参考图像,从而快速恢复增强现实跟踪,提高注册算法的鲁棒性和跟踪范围。其中关于零件是否为已装配零件可以从当前拆卸约束优先关系树模型中得到。
第六,重复第三步骤至第五步骤,直至完成机械设备拆装的在线诱导。
本实施例与国内外现有的拆装诱导系统和方法相比,本实施例通过识别操作者的意图向操作者提供诱导信息,因此更以操作者为中心,而不是以计算机为中心;本实施例通过定义规则库完全依靠机械设备的CAD模型生成拆装诱导信息,而不是人工输入到数据库中的信息,可以实现机械产品设计和3D拆装诱导的一体化;另外,虽然拆装场景变化大且存在大量的遮挡,本实施例可以实现基于自然特征点的增强现实注册算法,不需要人工添加标志点,提高了系统的通用性和便携性。
本发明所涉及的方法在复杂机械设备(如发动机、汽车)维修、培训、教学等领域具有广泛的应用前景。

Claims (5)

1.一种机械设备拆装3D在线诱导系统的诱导方法,所述诱导系统包括一个眼镜式增强现实头盔、手部位置跟踪器、计算机,所述增强现实头盔上带有两块显示屏和2个摄像头,增强现实头盔、位置跟踪器与计算机之间可实现无线通信,其特征在于,实现所述机械设备拆装3D在线诱导系统的诱导方法的步骤如下:
第一,虚拟装配模型转换:通过对CAD系统二次开发,将产品CAD格式的装配模型转化为虚拟装配模型,其中包括各零件模型和零件间的装配约束模型;
第二,诱导系统的初始化:机械设备拆装3D在线诱导系统在加载上述虚拟装配模型,并考虑到重力支撑约束、工具拆卸空间约束和拆卸过程中碰撞的基础上,建立零件间的拆卸约束优先关系树模型;
第三,拆装意图的识别:在机械设备拆装3D在线诱导系统的运行过程中,实时重建三维拆装场景,并进行零件识别,根据重建场景中心区域的零件、操作者手部的运动、手部的位置识别操作者关注的焦点零件;根据产品的拆卸约束优先关系树模型向操作者提示下一步将要拆装的零件;
第四,诱导信息的生成:建立零件装配约束操作的自由带转化归约模型和装配工具选择模型;并基于建立的自由带转化归约模型和装配工具选择模型,系统根据识别到的下一步将要拆卸的零件、拆卸约束优先关系树模型,以动画的形式生成机械设备拆装3D诱导信息,以向操作者表达零件的拆装方向和所使用的拆装工具等;
第五,诱导信息的叠加:基于重建场景中已装配零件上的机械特征在CCD坐标系中的坐标及其在装配模型中的相对于世界坐标系的坐标,实时计算观察者头部CCD相对于世界坐标系的方位,建立观察虚拟信息的虚拟视点的位置,从而将3D虚拟诱导信息准确地叠加在真实环境中,并将虚拟诱导信息和CCD拍摄的真实场景发送到头盔显示器上显示给操作者;
第六,重复第三步骤至第五步骤,直至完成机械设备拆装的在线诱导。
2.根据权利要求1所述的诱导方法,其特征在于,第一步骤的具体步骤为:通过对商业CAD软件二次开发,提取设备中各零件的信息和零件间的装配约束信息,其中零件信息包括:零件名称、零件三维模型、零件拓扑信息:零件-设计特征-面-线-点的连接关系、零件上特征点和特征线的坐标;装配约束信息包括,约束名称、约束类型、约束参数、该约束涉及的零件名称,该约束涉及零件特征的名称和涉及零件在装配体中的位置。
3.根据权利要求1所述的诱导方法,其特征在于,第三步骤的具体步骤为:在机械设备拆装3D在线诱导系统的运行过程中,3D拆装在线诱导系统通过增强现实头盔上安装的两个摄像头采集拆装场景图像,并对拆装系统在CCD坐标系中进行3D重建,装配模型中的零件的3D模型和3D重建模型对比,进行零件识别;3D拆装在线诱导系统通过操作者手部运动、位置和重建场景的中心区零件识别操作者关注的零件;建立拆卸优先关系树模型的拆卸目标感知方法,3D拆装在线诱导系统使用拆卸约束优先关系树模型,基于植物枯萎仿生原理向操作者提示下一步将要拆装的零件。
4.根据权利要求1所述的方法,其特征在于,第四步骤的具体步骤如下:将当前拆装任务转化为拆装语义,利用规则库对将要拆装的目标零部件进行自由度转化和归约得到零部件拆装方向,根据拆装约束的形式选择合适的工具,最后生成拆装虚拟动画,以演示如何将零部件从装配体上拆卸下来,或如何安装在装配体上,从而向操作者输出诱导信息。
5.根据权利要求1所述的方法,其特征在于,第五步骤的具体步骤如下:对已装配零件进行在CCD坐标系中进行三维重建,提取重建模型上已装配零件上的机械特征的坐标,将所述机械特征相对于CCD坐标系的重建坐标与其在虚拟装配模型中相对于世界坐标系的装配坐标比对,利用矩阵换算关系得到CCD在世界坐标性中的方位,从而实现基于无人工标识的增强现实注册。
CN201210117308.5A 2012-04-20 2012-04-20 一种机械设备拆装3d在线诱导系统的诱导方法 Expired - Fee Related CN102789514B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210117308.5A CN102789514B (zh) 2012-04-20 2012-04-20 一种机械设备拆装3d在线诱导系统的诱导方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210117308.5A CN102789514B (zh) 2012-04-20 2012-04-20 一种机械设备拆装3d在线诱导系统的诱导方法

Publications (2)

Publication Number Publication Date
CN102789514A true CN102789514A (zh) 2012-11-21
CN102789514B CN102789514B (zh) 2014-10-08

Family

ID=47154917

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210117308.5A Expired - Fee Related CN102789514B (zh) 2012-04-20 2012-04-20 一种机械设备拆装3d在线诱导系统的诱导方法

Country Status (1)

Country Link
CN (1) CN102789514B (zh)

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104484523A (zh) * 2014-12-12 2015-04-01 西安交通大学 一种增强现实诱导维修系统的实现设备与方法
CN104794940A (zh) * 2015-04-03 2015-07-22 福建省纳金网信息技术有限公司 一种通过移动终端对机械维修教学的方法
CN105227912A (zh) * 2015-09-23 2016-01-06 中广核核电运营有限公司 一种基于标准化3d模型的视频智能纠错系统及方法
CN105279750A (zh) * 2014-07-09 2016-01-27 雷震 一种基于ir-uwb和图像矩的装备展示导览系统
CN106325494A (zh) * 2016-03-25 2017-01-11 深圳增强现实技术有限公司 基于智能穿戴设备的工作辅助系统和方法
CN106504055A (zh) * 2016-10-14 2017-03-15 深圳前海火元素视觉科技有限公司 汽车配件虚拟升级方法和装置
CN106504629A (zh) * 2016-11-04 2017-03-15 大连文森特软件科技有限公司 一种基于增强现实技术的汽车组装演示记忆系统
CN106530293A (zh) * 2016-11-07 2017-03-22 上海交通大学 手工装配视觉检测防错方法及系统
CN106817568A (zh) * 2016-12-05 2017-06-09 网易(杭州)网络有限公司 一种增强现实显示方法和装置
CN106845502A (zh) * 2017-01-23 2017-06-13 东南大学 一种用于设备检修的穿戴式辅助装置及设备检修可视化指导方法
CN106933574A (zh) * 2017-02-24 2017-07-07 深圳国泰安教育技术股份有限公司 一种拆安装仿真程序生成方法和装置
CN107168537A (zh) * 2017-05-19 2017-09-15 山东万腾电子科技有限公司 一种协同式增强现实的可穿戴作业指导方法及系统
CN107168531A (zh) * 2017-05-02 2017-09-15 武汉理工大学 基于头戴显示器的船舶辅机拆装系统及拆装方法
CN107608507A (zh) * 2017-09-05 2018-01-19 清华大学 弱光条件下机车部件的选定方法及机车辅助维修系统
CN107707627A (zh) * 2017-09-06 2018-02-16 珠海格力电器股份有限公司 一种工程接线的引导方法及客户端
CN107856878A (zh) * 2017-11-01 2018-03-30 北京星航机电装备有限公司 一种大尺寸小厚度耐高温结构拆装方法
CN107977080A (zh) * 2017-12-05 2018-05-01 北京小米移动软件有限公司 产品使用展示方法及装置
CN108090572A (zh) * 2017-12-01 2018-05-29 大唐国信滨海海上风力发电有限公司 一种海上风电场增强现实系统及其控制方法
CN108109208A (zh) * 2017-12-01 2018-06-01 同济大学 一种海上风电场增强现实方法
CN108475124A (zh) * 2016-02-22 2018-08-31 谷歌有限责任公司 增强/虚拟现实环境中的装置配对
CN109032348A (zh) * 2018-06-26 2018-12-18 亮风台(上海)信息科技有限公司 基于增强现实的智能制造方法与设备
CN109117521A (zh) * 2018-07-21 2019-01-01 中铁十八局集团有限公司 一种钢桁架杆件拼接板螺栓辅助装配系统
CN109189213A (zh) * 2018-08-15 2019-01-11 华中科技大学 一种基于可移动计算机的产品装配工艺增强现实指导方法
CN109491497A (zh) * 2018-10-19 2019-03-19 华中科技大学 一种基于增强现实技术的人工辅助装配应用系统
CN109920062A (zh) * 2019-02-01 2019-06-21 谷东科技有限公司 一种基于ar眼镜的零件动态组装指导方法及系统
CN110162179A (zh) * 2019-05-24 2019-08-23 北京理工大学 一种智能感知虚拟装配系统
CN110175681A (zh) * 2018-09-13 2019-08-27 中国国际海运集装箱(集团)股份有限公司 用于机场地面设备的维保方法及装置
CN110264818A (zh) * 2019-06-18 2019-09-20 国家电网有限公司 一种基于增强现实的机组进水阀拆装训练方法
CN110333775A (zh) * 2019-05-16 2019-10-15 上海精密计量测试研究所 一种航天装备增强现实维修诱导系统及方法
CN112037314A (zh) * 2020-08-31 2020-12-04 北京市商汤科技开发有限公司 图像显示方法、装置、显示设备及计算机可读存储介质
CN112230772A (zh) * 2020-10-14 2021-01-15 华中师范大学 一种虚实融合的教具自动生成方法
CN117289626A (zh) * 2023-11-27 2023-12-26 杭州维讯机器人科技有限公司 一种用于工业化的虚拟仿真方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020123812A1 (en) * 1998-12-23 2002-09-05 Washington State University Research Foundation. Virtual assembly design environment (VADE)
CN1851575A (zh) * 2006-05-24 2006-10-25 北京理工大学 一种面向生产现场的半沉浸式装配工艺规划方法
CN101727508A (zh) * 2008-10-13 2010-06-09 机械科学研究总院先进制造技术研究中心 一种基于虚拟现实技术的大型装备研发方法
CN101739478A (zh) * 2008-11-17 2010-06-16 北京卫星环境工程研究所 基于航天器装配仿真技术的虚拟装配系统和虚拟装配方法
CN102123137A (zh) * 2010-12-28 2011-07-13 北京航空航天大学 一种多人虚实融合协同拆装系统及方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020123812A1 (en) * 1998-12-23 2002-09-05 Washington State University Research Foundation. Virtual assembly design environment (VADE)
CN1851575A (zh) * 2006-05-24 2006-10-25 北京理工大学 一种面向生产现场的半沉浸式装配工艺规划方法
CN101727508A (zh) * 2008-10-13 2010-06-09 机械科学研究总院先进制造技术研究中心 一种基于虚拟现实技术的大型装备研发方法
CN101739478A (zh) * 2008-11-17 2010-06-16 北京卫星环境工程研究所 基于航天器装配仿真技术的虚拟装配系统和虚拟装配方法
CN102123137A (zh) * 2010-12-28 2011-07-13 北京航空航天大学 一种多人虚实融合协同拆装系统及方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
赵新灿: "增强现实维修诱导系统关键技术研究", 《中国博士学位论文全文数据库(工程科技II辑)》 *
陈成军: "基于力觉/触觉反馈的虚拟装配系统相关技术研究", 《中国博士学位论文全文数据库(信息科技辑)》 *

Cited By (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105279750B (zh) * 2014-07-09 2019-02-01 中国人民解放军装甲兵工程学院 一种基于ir-uwb和图像矩的装备展示导览系统
CN105279750A (zh) * 2014-07-09 2016-01-27 雷震 一种基于ir-uwb和图像矩的装备展示导览系统
CN104484523A (zh) * 2014-12-12 2015-04-01 西安交通大学 一种增强现实诱导维修系统的实现设备与方法
CN104484523B (zh) * 2014-12-12 2017-12-08 西安交通大学 一种增强现实诱导维修系统的实现设备与方法
CN104794940A (zh) * 2015-04-03 2015-07-22 福建省纳金网信息技术有限公司 一种通过移动终端对机械维修教学的方法
CN104794940B (zh) * 2015-04-03 2018-02-23 福建省纳金网信息技术有限公司 一种通过移动终端对机械维修教学的方法
CN105227912A (zh) * 2015-09-23 2016-01-06 中广核核电运营有限公司 一种基于标准化3d模型的视频智能纠错系统及方法
CN105227912B (zh) * 2015-09-23 2018-11-30 中广核核电运营有限公司 一种基于标准化3d模型的视频智能纠错系统及方法
CN108475124A (zh) * 2016-02-22 2018-08-31 谷歌有限责任公司 增强/虚拟现实环境中的装置配对
CN106325494B (zh) * 2016-03-25 2019-01-29 深圳增强现实技术有限公司 基于智能穿戴设备的工作辅助系统和方法
CN106325494A (zh) * 2016-03-25 2017-01-11 深圳增强现实技术有限公司 基于智能穿戴设备的工作辅助系统和方法
CN106504055A (zh) * 2016-10-14 2017-03-15 深圳前海火元素视觉科技有限公司 汽车配件虚拟升级方法和装置
CN106504629B (zh) * 2016-11-04 2019-05-24 快创科技(大连)有限公司 一种基于增强现实技术的汽车组装演示记忆系统
CN106504629A (zh) * 2016-11-04 2017-03-15 大连文森特软件科技有限公司 一种基于增强现实技术的汽车组装演示记忆系统
CN106530293B (zh) * 2016-11-07 2019-05-28 上海交通大学 手工装配视觉检测防错方法及系统
CN106530293A (zh) * 2016-11-07 2017-03-22 上海交通大学 手工装配视觉检测防错方法及系统
CN106817568A (zh) * 2016-12-05 2017-06-09 网易(杭州)网络有限公司 一种增强现实显示方法和装置
CN106845502B (zh) * 2017-01-23 2020-07-07 东南大学 一种用于设备检修的穿戴式辅助装置及设备检修可视化指导方法
CN106845502A (zh) * 2017-01-23 2017-06-13 东南大学 一种用于设备检修的穿戴式辅助装置及设备检修可视化指导方法
CN106933574B (zh) * 2017-02-24 2020-05-12 深圳国泰安教育技术有限公司 一种拆安装仿真程序生成方法和装置
CN106933574A (zh) * 2017-02-24 2017-07-07 深圳国泰安教育技术股份有限公司 一种拆安装仿真程序生成方法和装置
CN107168531B (zh) * 2017-05-02 2019-11-05 武汉理工大学 基于头戴显示器的船舶辅机拆装系统及拆装方法
CN107168531A (zh) * 2017-05-02 2017-09-15 武汉理工大学 基于头戴显示器的船舶辅机拆装系统及拆装方法
CN107168537A (zh) * 2017-05-19 2017-09-15 山东万腾电子科技有限公司 一种协同式增强现实的可穿戴作业指导方法及系统
CN107168537B (zh) * 2017-05-19 2020-07-07 山东万腾电子科技有限公司 一种协同式增强现实的可穿戴作业指导方法及系统
CN107608507B (zh) * 2017-09-05 2021-04-13 清华大学 弱光条件下机车部件的选定方法及机车辅助维修系统
CN107608507A (zh) * 2017-09-05 2018-01-19 清华大学 弱光条件下机车部件的选定方法及机车辅助维修系统
CN107707627A (zh) * 2017-09-06 2018-02-16 珠海格力电器股份有限公司 一种工程接线的引导方法及客户端
CN107856878A (zh) * 2017-11-01 2018-03-30 北京星航机电装备有限公司 一种大尺寸小厚度耐高温结构拆装方法
CN108109208A (zh) * 2017-12-01 2018-06-01 同济大学 一种海上风电场增强现实方法
CN108109208B (zh) * 2017-12-01 2022-02-08 同济大学 一种海上风电场增强现实方法
CN108090572A (zh) * 2017-12-01 2018-05-29 大唐国信滨海海上风力发电有限公司 一种海上风电场增强现实系统及其控制方法
CN107977080A (zh) * 2017-12-05 2018-05-01 北京小米移动软件有限公司 产品使用展示方法及装置
CN107977080B (zh) * 2017-12-05 2021-03-30 北京小米移动软件有限公司 产品使用展示方法及装置
CN109032348A (zh) * 2018-06-26 2018-12-18 亮风台(上海)信息科技有限公司 基于增强现实的智能制造方法与设备
CN109032348B (zh) * 2018-06-26 2021-09-14 亮风台(上海)信息科技有限公司 基于增强现实的智能制造方法与设备
CN109117521A (zh) * 2018-07-21 2019-01-01 中铁十八局集团有限公司 一种钢桁架杆件拼接板螺栓辅助装配系统
CN109189213A (zh) * 2018-08-15 2019-01-11 华中科技大学 一种基于可移动计算机的产品装配工艺增强现实指导方法
CN110175681A (zh) * 2018-09-13 2019-08-27 中国国际海运集装箱(集团)股份有限公司 用于机场地面设备的维保方法及装置
CN109491497A (zh) * 2018-10-19 2019-03-19 华中科技大学 一种基于增强现实技术的人工辅助装配应用系统
CN109920062A (zh) * 2019-02-01 2019-06-21 谷东科技有限公司 一种基于ar眼镜的零件动态组装指导方法及系统
CN110333775A (zh) * 2019-05-16 2019-10-15 上海精密计量测试研究所 一种航天装备增强现实维修诱导系统及方法
CN110162179A (zh) * 2019-05-24 2019-08-23 北京理工大学 一种智能感知虚拟装配系统
CN110264818A (zh) * 2019-06-18 2019-09-20 国家电网有限公司 一种基于增强现实的机组进水阀拆装训练方法
CN110264818B (zh) * 2019-06-18 2021-08-24 国家电网有限公司 一种基于增强现实的机组进水阀拆装训练方法
CN112037314A (zh) * 2020-08-31 2020-12-04 北京市商汤科技开发有限公司 图像显示方法、装置、显示设备及计算机可读存储介质
CN112230772A (zh) * 2020-10-14 2021-01-15 华中师范大学 一种虚实融合的教具自动生成方法
CN117289626A (zh) * 2023-11-27 2023-12-26 杭州维讯机器人科技有限公司 一种用于工业化的虚拟仿真方法及系统
CN117289626B (zh) * 2023-11-27 2024-02-02 杭州维讯机器人科技有限公司 一种用于工业化的虚拟仿真方法及系统

Also Published As

Publication number Publication date
CN102789514B (zh) 2014-10-08

Similar Documents

Publication Publication Date Title
CN102789514B (zh) 一种机械设备拆装3d在线诱导系统的诱导方法
Fraga-Lamas et al. A review on industrial augmented reality systems for the industry 4.0 shipyard
CN106826833B (zh) 基于3d立体感知技术的自主导航机器人系统
CN103246350A (zh) 基于感兴趣区实现辅助信息提示的人机接口设备及方法
CN103196370B (zh) 一种导管接头空间位姿参数的测量方法和装置
CN106778790B (zh) 一种基于三维点云的目标识别与定位方法及系统
Fang et al. A scalable wearable AR system for manual order picking based on warehouse floor-related navigation
CN104484523A (zh) 一种增强现实诱导维修系统的实现设备与方法
US20140022281A1 (en) Projecting airplane location specific maintenance history using optical reference points
CN103793936A (zh) 用于增强现实的自动化参考框架校准
Liu et al. Target localization in local dense mapping using RGBD SLAM and object detection
CN103310058B (zh) 基于三维模型的尺寸链校核方法
CN103930944A (zh) 用于空间输入装置的自适应跟踪系统
CN102853830A (zh) 一种基于一般物体识别的机器人视觉导航方法
CN104931057A (zh) 一种机器人的任意位置定位方法、装置及系统
Yu et al. Key technology and application research on mobile augmented reality
CN108182218A (zh) 一种基于地理信息系统的视频人物识别方法、系统及电子设备
CN102692626A (zh) 用于识别显示器上的危险飞行区域的方法和系统
Yu et al. Accurate and robust visual localization system in large-scale appearance-changing environments
CN112749701A (zh) 车牌污损分类模型的生成方法和车牌污损分类方法
Bhakar et al. A review on classifications of tracking systems in augmented reality
CN114266876B (zh) 定位方法、视觉地图的生成方法及其装置
CN101165719A (zh) 一种基于标志点的增强实现工业维修方法及系统
CN111260722A (zh) 车辆定位方法、设备及存储介质
Kim et al. Visual multi-touch air interface for barehanded users by skeleton models of hand regions

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20141008

Termination date: 20150420

EXPY Termination of patent right or utility model