CN102789514B - 一种机械设备拆装3d在线诱导系统的诱导方法 - Google Patents

一种机械设备拆装3d在线诱导系统的诱导方法 Download PDF

Info

Publication number
CN102789514B
CN102789514B CN201210117308.5A CN201210117308A CN102789514B CN 102789514 B CN102789514 B CN 102789514B CN 201210117308 A CN201210117308 A CN 201210117308A CN 102789514 B CN102789514 B CN 102789514B
Authority
CN
China
Prior art keywords
dismounting
induction
constraint
assembly
operator
Prior art date
Application number
CN201210117308.5A
Other languages
English (en)
Other versions
CN102789514A (zh
Inventor
陈成军
洪军
Original Assignee
青岛理工大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 青岛理工大学 filed Critical 青岛理工大学
Priority to CN201210117308.5A priority Critical patent/CN102789514B/zh
Publication of CN102789514A publication Critical patent/CN102789514A/zh
Application granted granted Critical
Publication of CN102789514B publication Critical patent/CN102789514B/zh

Links

Abstract

本发明公开了一种机械设备拆装3D在线诱导系统的诱导方法,诱导系统包括一个眼镜式增强现实头盔、手部位置跟踪器、计算机,所述增强现实头盔上带有两块显示屏和2个摄像头,增强现实头盔、手部位置跟踪器与计算机之间可实现无线通信,实现所述机械设备拆装3D在线诱导系统的诱导方法的步骤如下:第一,虚拟装配模型转换;第二,诱导系统的初始化;第三,拆装意图的识别;第四,诱导信息的生成;第五,诱导信息的叠加;第六,重复第三步骤至第五步骤,直至完成产品的在线诱导。本发明的方法具有诱导信息准确、普适能力强、便于携带的特点,能够实现以操作者需求、任务现状和拆装历史为驱动的3D在线诱导,实现产品3D设计与拆装诱导的一体化。

Description

一种机械设备拆装3D在线诱导系统的诱导方法
技术领域
[0001] 本发明涉及一种机械设备拆装3D在线诱导系统的诱导方法,属于制造业信息化 交叉领域,尤其与增强现实、人机交互和虚拟装配技术相关。
背景技术
[0002] 拆装(拆卸和装配)是机械设备维修的重要步骤,是恢复和提高机械设备整机性 能和稳定性的重要保障手段,合理的拆装工艺和操作是维修效率和质量的重要保证。随着 科技生产力的不断提高,现代大型复杂机械设备已经成为融合机械、电子、动力、信息、控 制、能源、电气、液压、材料等多学科技术的集成系统,因此其拆装维修过程涉及到的技术和 知识也不断增加,维修人员单纯依靠自身经验、技术和知识难以高效地完成复杂机械设备 的拆卸、维修和装配。
[0003] 纸质和电子技术手册被广泛用于存储、查询拆装维修技术信息,但使用过程中操 作者需边操作设备边手动查看手册,操作难度大、效率低;并且注意力需要在手册和设备之 间频繁切换,易受周围环境影响,造成拆装维修差错等问题。若有一种可穿戴计算机系统, 能够根据操作者意图和当前任务同步、直观、自然地将所需诱导信息叠加在真实拆装场景 中,便可使操作者将双手、双眼和注意力集中在设备拆装维修中,从而大大提高操作效率, 减少误操作。
[0004] 增强现实技术为上述问题提供了良好的解决方法,增强现实技术是在虚拟现实技 术的基础上发展起来的,它能够将计算机生成的虚拟信息通过注册技术准确叠加到真实环 境上,使用户在现实设备上看到一个虚实融合的环境,具有虚实融合和交互的特点,因此在 各种操作诱导中具有广泛的应用前景。
[0005] 本发明涉及一种应用增强现实技术的机械设备拆装3D在线诱导系统的诱导方 法,通过对现有文献的检索,与本发明有关的文章包括'Evaluating the Benefits of Augmented Reality for Task Localization in Maintenance of an Armored Personnel Carrier Turret"中ARMAR系统使用戴在手腕上的便携式电子设备手动查询下一步操作相 关的信息,并将其现实在增强现实设备上."An augmented reality system for training and assistance to maintenance in the industrial context" 中的 STARMATE 系统和 "Demonstration of Assembly Work Using Augmented Reality" 中的 VTT 系统通过识别 语音命令从数据中查询所需的信息。上述基于增强现实技术的拆装维修系统多是"以计算 机为中心"的程序化引导系统,普适能力差,虽然实现了虚拟信息和真实场景的增强现实叠 力口,但尚未达到诱导的层次。使用中操作者需自己识别拆装任务,并通过手动操作计算机设 备或语音识别的方式从数据库中搜索所需信息,因此是以计算机为中心的诱导系统,这样 不仅不适用于噪杂的环境,而且分散了操作者的注意力。
[0006] 增强现实的目标是通过跟踪观察者头部(XD相对于世界坐标系的方位建立观察 虚拟信息的虚拟视点的位置,从而将虚拟模型、虚拟信息准确地叠加在真实环境中,实现虚 拟场景和真实场景位置的一致性。当前增强现实注册方法可以分为六类:机械跟踪法、电磁 跟踪法、超声波跟踪法、GPS跟踪法、惯性方向跟踪法及光学跟踪法。其中电磁跟踪法和超 声波跟踪法的成本低、精度高,但易受周围磁场、金属物体反射的影响。GPS位置跟踪法跟踪 范围大,不需要专门的发射装置,但其精度较低,单个民用GPS的定位精度为十几米,差分 GPS的精度也仅为20厘米左右。惯性方向跟踪法不需要外部发射装置,但只能跟踪方向和 加速度,但积分运算得到的位置存在较大的积分累计误差,且跟踪结果存在短时浮动;光学 跟踪法应用最为广泛,它将CCD (固定在操作者头部)在不同方位拍摄的两幅图像进行特征 点(或标识点)提取、跟踪和匹配,利用CCD成像模型计算CCD当前方位,其优点是跟踪精 度高,但跟踪范围小,易受遮挡、光线变化等影响,并且当物理环境中物体或标识改变位置 时会引起较大的跟踪误差,甚至跟踪失败,不适合动态环境。
[0007] 根据特征点的不同,光学跟踪法分为基于自然特征点的注册算法和基于人工标识 的注册算法,其中基于自然特征点的增强现实注册算法通过跟踪自然特征点实现注册,环 境适应能力强。与增强现实技术的其它应用领域相比,复杂机械装备拆装具有其自身的特 征,首先拆装活动空间大,拆装场地不固定;其次是设备结构复杂,拆装操作会改变零件布 局和设备外观,因此随着拆装的进行,特征点匹配对急剧减少,这会降低基于自然特征点 的光学跟踪法的鲁棒性,因此当前面向复杂机械装备拆装应用的增强现实注册多采用人 为设置标识点的方法,如 "Evaluating the Benefits of Augmented Reality for Task Localization in Maintenance of an Armored Personnel Carrier Turret,'将室内特定 位置处安装10个CCD,用来检测安装在维修人员头部的红外发光二极管的位置,从而跟踪 维修人员头部方位,该方法精度高,但结构复杂,携带不方便,适合场地固定(如室内)的拆 装操作An augmented reality system for training and assistance to maintenance in the industrial context"将多个红外发光二极管安装在机械设备指定位置上,使用安 装在维修人员头部的CCD拍摄红外图像,计算二极管的位置,从而跟踪CCD方位,该方法的 跟踪精度和跟踪范围受二极管分布的影响,二极管发射装置布置越密跟踪精度越高,分布 越广跟踪范围越大。由上可以看出现有拆装维修诱导系统使用的增强现实注册算法这大大 限制系统的便携性和普适性。
[0008] 由上可以看出现有的机械设备拆装的诱导方法存在以下问题:
[0009] (1)诱导信息是人工保存在数据库中的信息,不同的机械系统需要输入不同的诱 导信息;
[0010] (2)现有的方法均是以语音和键盘作为输入方式,操作者不能把全部注意力集中 在拆装操作上,因此是以计算机为中心的;
[0011] (3)由于设备拆装过程中拆装场景变化大,并且手的运动会引起特征点的遮挡,造 成特征点匹配对的减少,大大降低了传统的基于自然特征点的光学跟踪法的鲁棒性,因此 现有的拆装诱导方法均是通过专用设备人为设置标识点实现增强现实注册的。
[0012] 以上三个问题限制了复杂机械设备拆装诱导系统的普适性、便携性和人机交互 性。
发明内容
[0013] 基于以上所述现有技术存在的问题和不足,本发明的目的在于提供一种机械设备 拆装3D在线诱导系统的诱导方法,只需向本发明的系统提供机械设备的3D CAD模型,本发 明的方法即可向设备拆装人员在线提供3D诱导信息,并叠加在真实拆装场景上。
[0014] 该方法将机械设备的CAD模型转化为虚拟装配模型,通过识别设备拆卸过程中操 作者的拆装意图,从虚拟装配模型中提取操作者急需的诱导信息;该系统还可以通过三维 重建对物体进行识别,进而从虚拟装配模型提取已装配(处于装配位置)零件的位置和零 件上特征的坐标,从而可以存在大量遮挡和场景变化的情况下实现基于自然特征点注册算 法的初始化和失效后的重新初始化。该方法完全依赖设备的CAD模型和场景分析即可实现 装配拆装过程中的增强现实诱导,可提高相应系统的高普适性、人机交互性和便携性。
[0015] 为达到上述目的,本发明采用以下技术方案实现:
[0016] 一种机械设备拆装3D在线诱导系统的诱导方法,所述诱导系统包括一个增强现 实头盔、手部位置跟踪器、计算机,所述增强现实头盔上带有两块显示屏和2个摄像头,增 强现实头盔、位置跟踪器与计算机之间可实现无线通信,实现所述机械设备拆装3D在线诱 导系统的诱导方法的步骤如下:
[0017] 第一,虚拟装配模型转换:通过对CAD系统二次开发,将产品CAD格式装配模型转 化为虚拟装配模型,其中包括各零件模型和零件间的装配约束模型;
[0018] 第二,诱导系统的初始化:机械设备拆装3D在线诱导系统在加载上述虚拟装配模 型后,并考虑到重力支撑约束、工具拆卸空间约束和拆卸过程中碰撞的基础上,系统自动建 立零件间的拆卸约束优先关系树模型;建立零件装配约束操作的自由带转化-归约模型和 装配工具选择模型;
[0019] 第三,拆装意图的识别:在机械设备拆装3D在线诱导系统的运行过程中,实时重 建三维拆装场景,并进行零件识别,根据重建场景中心区域的零件、操作者手部的运动、手 部的位置识别操作者关注的焦点零件;并根据产品的拆卸约束优先关系树模型向操作者下 提示一步将要拆装的零件;
[0020] 第四,诱导信息的生成:基于自由带转化-归约模型和装配工具选择模型,系统根 据识别到的下一步将要拆卸的零件、拆卸约束优先关系树模型,以动画的形式自动生成机 械设备拆装3D诱导信息,以向操作者表达零件的拆装方向和所使用的拆装工具等;
[0021] 第五,诱导信息的叠加:基于重建场景中已装配零件上的机械特征在(XD坐标系 中的坐标及其在装配模型中的相对于世界坐标系的坐标,建立观察虚拟信息的虚拟视点的 位置,从而将3D虚拟诱导信息准确地叠加在真实环境中,并将虚拟诱导信息和CCD拍摄的 真实场景发送到头盔显示器上显示给操作者;
[0022] 第六,重复第三步骤至第五步骤,直至完成机械设备拆装的在线诱导。
[0023] 进一步地,第一步骤的具体步骤如下:通过对商业CAD软件二次开发,提取设备中 各零件的信息和零件间的装配约束信息,其中零件信息包括:零件名称、零件三维模型、零 件拓扑信息即零件-设计特征-面-线-点的连接关系、零件上特征点和特征线等在零件 坐标系中的坐标等;装配约束信息包括,约束名称、约束类型、约束参数、该约束涉及的零件 名称,该约束涉及的特征的名称和涉及零件在装配体中的位置等。除将每个零件的三维模 型保存为一个三角面片格式的文件外,其它信息均保存在数据库中,以便拆装诱导过程中 查询。
[0024] 进一步地,第三步骤的具体步骤如下:两个(XD各同时采集一副图像,采用图像特 征提取算法分别提取两幅图像上的特征,在CCD坐标系中,通过特征的匹配实现三维拆装 场景的重建;将3D重建场景和虚拟装配模型中的产品3D模型进行特征尺寸、拓扑关系和装 配位置等的匹配实现零件的识别;3D拆装在线诱导系统识通过3D重建场景中心附近的零 件识别操作者关注的焦点零件;通过位置跟踪器实时测量操作者手部的位置,通过操作者 手部运动、位置识别操作者的意图,如当操作者的手伸向或移动某一个零件时,系统可以识 别出操作者关注该焦点零件,进而可以提示与焦点零件有关的装配诱导信息。
[0025] 进一步地,第二步骤和第三步骤相结合实现拆装顺序诱导功能的具体步骤如下: 在第二步骤中考虑到重力支撑约束、工具拆卸空间约束和拆卸过程中碰撞的基础上,自动 建立零件间的拆卸约束优先关系树模型;在操作者交互拆装过程中,当一零件拆装完成后 拆卸约束优先关系树模型自动更新,以表达当前的拆装状态;基于植物枯萎仿生原理,根据 产品的拆卸约束优先关系树模型向操作者下提示一步可能将要拆装的零件,实现拆装顺序 的诱导。
[0026] 进一步地,第四步骤的具体步骤如下:将当前拆装任务转化为拆装语义,利用自 由度转化规约模型对将要拆装的目标零部件进行自由度转化和归约得到零部件拆装方向; 利用工具选择模型,根据拆装约束的形式选择合适的工具,最后生成拆装虚拟动画,以演示 如何将零部件从装配体上拆卸下来,或如何安装在装配体上,从而向操作者输出3D诱导信 息。
[0027] 进一步地,在第五步骤中:使用图像特征检测算法检测当前视频图像1上的自然 特征点(角点),基于特征匹配算法实现当前图像与参考图像间的特征点匹配,根据特征点 匹配对的在世界坐标系中的三维坐标,利用校正后的摄像机模型,计算C⑶方位,从而实现 基于自然特征点的增强现实注册算法。
[0028] 由于拆装过程中存在大量的遮挡和零部件的移动,因此随着拆装的进行特征点匹 配对的数量会迅速减少,从而使增强现实注册失效,无法跟踪CCD的方位。在初始化或特征 点匹配对数量小于某一阈值的情况下,本发明的方法利用立体视觉算法对三维拆装场景重 建,提取处于装配位置(或者运动自由度为零)的零件的机械特征及特征在CCD坐标系中 的坐标,结合零件识别的结果从产品的数字化装配模型读取、计算已装配零件上机械特征 在世界坐标系中的三维坐标,进而利用(XD成像模型计算当前图像上所有自然特征点(包 括零件上的机械特征点和非机械特征点如零件上斑点、油污点等)在世界坐标系中的三维 坐标,并把当前图像设为参考图像,从而快速恢复增强现实跟踪,提高注册算法的鲁棒性和 跟踪范围。其中关于零件是否为已装配零件可以从当前拆卸约束优先关系树模型中得到。
[0029] 与现有技术相比,本发明具有以下有益的效果:
[0030] (1)本发明完全从设备的CAD模型中提取诱导信息,而不是人工输入到数据库中, 减少了数据库输入量,提高了普适性,可以实现机械产品设计和3D拆装诱导的一体化。
[0031] (2)本发明是以操作者为中心的,计算机通过自动识别操作者的操作意图(主要 是识别操作者关注的焦点零件和下一步将要拆装的零件)生成诱导信息,而不是通过操作 者手动或者语音输入,这样操作者可以将精力集中到设备拆装操作中,而不是查询诱导信 息上,提1¾ 了拆装的速度和诱导效率,提1¾ 了人机受互性。
[0032] (3)虽然机械设备拆装场景中存在大量的遮挡且拆装场景变化大,本发明仍然能 够通过识别处于装配装配位置的零件上的机械特征在CCD坐标系中的坐标,结合该特征在 虚拟装配模型中的装配方位关系实现基于自然特征点的增强现实注册算法,无需繁琐的人 工设置标志点,提高了 3D诱导系统的通用性和便携性。
[0033] 需要特别指出的是,本发明识别到操作者的拆装意图后,同样可以根据识别到的 下一步将要拆装零件的名称从数据库中查询诱导信息,而不是通过语音或者交互设备向数 据库提供要查询的信息,因此也能够提高基于数据库的诱导系统的人机交互性。
附图说明:
[0034] 图1本发明结构框图;
[0035] 图2虚拟装配模型转换框图;
[0036] 图3拆卸约束优先关系树模型示意图;
[0037] 图4拆装目标识别示意图;
[0038] 图5增强现实注册示意图。
具体实施方式
[0039] 下面结合附图对本发明的实施例作详细说明,本实施例在以本发明技术方案为前 提下进行实施,给出了详细的实施方式和具体的操作过程,但本发明的保护范围不限于下 述实施例。
[0040] 如图1所示,一种机械设备拆装3D在线诱导系统包括便携式计算机、增强现实头 盔显示器HMD (其上包含2个(XD)、手部位置跟踪器2个,计算机与HMD和手部位置跟踪器之 间可以实现无线通信。本发明的系统的诱导方法的步骤则包括虚拟装配模型转换;诱导系 统的初始化;拆装意图的识别;诱导信息的生成;诱导信息的叠加;以下将分别进行说明:
[0041] 第一、虚拟装配模型的转换
[0042] 虚拟装配模型的转换,是通过对SolidWorks系统二次开发,将产品SolidWorks 格式装配模型转化为虚拟装配模型,而包括各零件的信息和零件间的装配约束信息如图 2所示。其中零件信息又包括:零件名称、零件三维模型、零件拓扑信息:即零件-设计特 征-面-线-点的连接关系、零件上特征点和特征线在零件坐标系中的坐标等;装配约束 信息包括,约束名称、约束类型、约束参数、该约束涉及的零件名称,该约束涉及的特征的名 称和涉及零件在装配体中的位置等。除将每个零件的三维模型保存为一个WRL格式的文件 夕卜,其它信息均保存在Access数据库中,以便拆装诱导过程中查询。
[0043] 第二、诱导系统的初始化
[0044] 所设计的3D拆装在线诱导系统在初始化的时候加载上述虚拟装配模型,在考虑 重力支撑约束、工具拆卸空间约束和拆卸过程中碰撞等几何、物理约束的基础上,按照以下 步骤自动建立零件间的拆卸约束优先关系树模型:
[0045] ①根据零件间的装配约束关系和各零件在装配体中的方位,求解零件(不含螺栓 等装配连接件)间的重力支撑约束图,并对约束图分层,成为树状结构;模型结构如图3(a) 所示,图中的圆圈顶点表示零件,圆圈中的数字表示零件的营养指数,圆圈间的有向实线段 表示零件间的支撑关系,如(P - K)表示零件K的重力传递到零件P上,即零件K需要优先 于零件P拆卸;按照零件间的支撑关系将零件分层,分层原则为:第1层为整个装配体的基 础件,第k(k > 1)层零件的重力可以完全传递到第1至k-Ι层零件上,并最终传递到基础 件上,其中必须能够传递到第k-Ι层零件上。
[0046] ②对每一个零件P,从整个装配体上删除掉该零件所支撑或间接支撑的所有零件, 然后自动仿真拆卸零件P的操作,利用虚拟模型间的碰撞检测,判断拆卸过程中与零件P或 者拆卸工具碰撞的零件集Qi,将Qi中的所有零件设为零件P的拆卸优先零件,连接边用虚 线表示,如图3(b)所示。建立拆卸树模型时,给每一个零件节点的营养指数p k(k = 1-n)统 一赋值100。
[0047] 产品拆卸将从叶子节点(图3(b)中的填充圆圈)开始,到目标零件或基础件为 止,随着拆卸过程的进行,叶子节点零件逐渐被拆除,并更新生成新的拆卸树模型,以表达 当前的拆装状态。
[0048] 第三、拆装意图的识别
[0049] 拆装意图识别模块的功能是根据重建场景中心区域的零件、操作者手部的运动、 手部的位置、设备当前的拆装状态等识别操作者的关注的焦点零件,并可以向操作者提示 下一步将要拆装的零件,以便根据该拆装意图生成相关诱导信息。具体步骤如下:
[0050] 两个CCD各采集一副图像,采用图像特征提取算法分别提取两幅图像上的特征点 和线,通过特征点和线的匹配实现三维拆装场景的重建,该重建以两CCD基线的中心点为 坐标原点、以两C⑶的基线为X轴,以过原点且垂直于(XD平面的方向为Y轴;将3D重建场 景中的零件模型和装配模型中零件的3D模型进行特征尺寸、拓扑关系和装配位置的匹配 实现零件的识别;3D拆装在线诱导系统识通过3D重建场景中心附近的零件识别操作者关 注的焦点零件,将两个FOB位置跟踪器固定在操作者两个手腕上,实时跟踪操作者手部的 位置和运动,当操作者向某一零件运动或者拿着某一零件的时候表示操作者有操作该零件 的意图。
[0051] 有些时候操作者不知道下一步该拆装那一个零件,因此需要诱导系统自动向其提 示,本发明根据设备当前的拆卸约束优先关系树模型识别操作者下一步该拆装的零件。上 述基于拆卸优先关系树模型的拆卸目标感知方法基于如下仿生原理:自然界同一棵树上脱 落叶子的分布和脱落顺序对判断树的非自然枯萎方向和枯萎扩散具有一定的导向作用,本 发明提出基于拆卸优先关系树模型的拆卸目标感知方法,该方法在第二步骤的初始化阶段 自动建立产品的拆卸优先关系树模型,在拆卸诱导阶段,根据操作者的拆卸顺序感知拆卸 目标,因此所述的基于拆卸优先关系树模型的拆卸目标感知方法的具体实现方法如下:
[0052] ①在交互式拆卸过程中,每拆卸完一个叶子零件后,以数值扩散的方式修改该零 件到基础件路径上所有零件的营养指数,扩散方向由被拆卸零件向基础件反向传播,若传 播路径上存在边(j - i),则零件i和零件j的营养指数均减1,零件被拆卸后不再有营养 指数值。如图4所示,将被拆卸件拆除后,扩散路径上各零件的营养指数均改变。
[0053] ②随着交互拆卸过程的进行,拆卸目标零件和到达拆卸目标零件路径上的零件的 营养指数均会减小,因此可以通过比较各零件的营养指数,识别拆卸目标零件,进而在需要 的时候结合拆卸工具使用的聚合性、拆卸方向的聚合性及其它物理约束向操作者输送拆卸 顺序。
[0054] ③引入营养指数修复机制,S卩如果连续η次拆卸均没有传播到某个零件,则适当 提高该零件的营养指数,避免上述算法陷入局部最优,从而能够根据操作者最新操作及时 识别当前拆卸装目标零件。
[0055] 第四、诱导信息的生成
[0056] 建立自由带转化归约模型装配工具选择模型,根据识别到的拆装意图(下一步将 要拆卸的零件)、表达当前拆卸进程的拆卸树模型和设备的虚拟装配装配模型,以动画的形 式生成设备拆装3D诱导信息。具体步骤如下:
[0057] ①建立自由度转化归约模型:将零件之间的装配约束关系,转化为零件之间的相 对运动自由度关系,并对涉及多个装配约束关系的零件进行自由度归约,求出零件可行的 运动自由度。
[0058] ②建立装配工具选择模型:首先建立不同类型、不同尺寸的装配工具模型(开口 扳手、呆扳手、螺丝刀等)的3D虚拟模型,并将各自的尺寸参数保存在工具数据库中;定义 规则库,定义零件之间的不同装配连接约束所使用的工具,以及工具的定位规则。
[0059] ③根据识别到的拆装意图(待拆卸的零件)和表达当前拆卸进程的拆卸树模型, 对待拆卸的零件进行自由度转化和归约,并根据装配连接类型按照工具选择模型选择合适 和工具,并对选择工具进行初始定位,最终生成3D拆装动画。
[0060] 第五、诱导信息的叠加
[0061] 基于已装配零件上的自然特征点及其在装配模型中的坐标,通过跟踪观察者头部 CCD相对于世界坐标系的方位建立观察虚拟信息的虚拟视点的位置,从而将虚拟模型、虚拟 信息准确地叠加在真实环境中,实现虚拟场景和真实场景视觉上位置的一致性。本发明在 基于自然特征的增强现实注册算法的基础上,根据已装配零件之间具有确定的位置关系的 特点提出一种增强现实注册快速恢复算法,其具体步骤如下:
[0062] 如图5所示,使用FAST算法检测当前视频图像1上的自然特征点(角点),研究基 于SIFT的角点匹配算法,实现当前图像1与参考图像间的特征点的匹配,根据特征点匹配 对在世界坐标系中的三维坐标,利用校正后的摄像机模型,计算CCD方位,实现基于自然特 征点的增强现实注册算法。
[0063] 在初始化阶段或特征点匹配对数量小于某一阈值的情况下,利用立体视觉算法对 三维拆装场景重建,提取零件的机械特征,计算该特征在CCD坐标系中的坐标,结合零件识 别的结果从产品的数字化装配模型读取对应特征在世界坐标系中的三维坐标,进而利用 C⑶成像模型(如仿射模型)计算图像1上所有自然特征点在世界坐标上的的三维坐标,并 把当前图像1设为参考图像,从而快速恢复增强现实跟踪,提高注册算法的鲁棒性和跟踪 范围。其中关于零件是否为已装配零件可以从当前拆卸约束优先关系树模型中得到。
[0064] 第六,重复第三步骤至第五步骤,直至完成机械设备拆装的在线诱导。
[0065] 本实施例与国内外现有的拆装诱导系统和方法相比,本实施例通过识别操作者的 意图向操作者提供诱导信息,因此更以操作者为中心,而不是以计算机为中心;本实施例通 过定义规则库完全依靠机械设备的CAD模型生成拆装诱导信息,而不是人工输入到数据库 中的信息,可以实现机械产品设计和3D拆装诱导的一体化;另外,虽然拆装场景变化大且 存在大量的遮挡,本实施例可以实现基于自然特征点的增强现实注册算法,不需要人工添 加标志点,提高了系统的通用性和便携性。
[0066] 本发明所涉及的方法在复杂机械设备(如发动机、汽车)维修、培训、教学等领域 具有广泛的应用前景。

Claims (5)

1. 一种机械设备拆装3D在线诱导系统的诱导方法,所述诱导系统包括一个眼镜式增 强现实头盔、手部位置跟踪器、计算机,所述增强现实头盔上带有两块显示屏和2个摄像 头,增强现实头盔、位置跟踪器与计算机之间可实现无线通信,其特征在于,实现所述机械 设备拆装3D在线诱导系统的诱导方法的步骤如下: 第一,虚拟装配模型转换:通过对CAD系统二次开发,将产品CAD格式的装配模型转化 为虚拟装配模型,其中包括各零件模型和零件间的装配约束模型; 第二,诱导系统的初始化:机械设备拆装3D在线诱导系统在加载上述虚拟装配模型, 并考虑到重力支撑约束、工具拆卸空间约束和拆卸过程中碰撞的基础上,按照以下步骤建 立零件间的拆卸约束优先关系树模型; ① 根据零件间的装配约束关系和各零件在装配体中的方位,求解零件间的重力支撑约 束图,并对约束图分层,成为树状结构;并按照零件间的支撑关系将零件分层; ② 对每一个零件,从整个装配体上删除掉该零件所支撑或间接支撑的所有零件,然后 自动仿真拆卸该零件的操作,利用虚拟模型间的碰撞检测,判断拆卸过程中与该零件或者 拆卸工具碰撞的零件集,将零件集中的所有零件设为该零件的拆卸优先零件; ③ 产品拆卸将从叶子节点开始,到目标零件或基础件为止,随着拆卸过程的进行,叶子 节点零件逐渐被拆除,并更新生成新的拆卸树模型,以表达当前的拆装状态; 第三,拆装意图的识别:在机械设备拆装3D在线诱导系统的运行过程中,实时重建三 维拆装场景,并进行零件识别,根据重建场景中心区域的零件、操作者手部的运动、手部的 位置识别操作者关注的焦点零件;根据产品的拆卸约束优先关系树模型向操作者提示下一 步将要拆装的零件; 第四,诱导信息的生成:建立零件装配约束操作的自由度转化归约模型和装配工具选 择模型;并基于建立的自由度转化归约模型和装配工具选择模型,系统根据识别到的下一 步将要拆卸的零件、拆卸约束优先关系树模型,以动画的形式生成机械设备拆装3D诱导信 息,以向操作者表达零件的拆装方向和所使用的拆装工具; 第五,诱导信息的叠加:基于重建场景中已装配零件上的机械特征在CCD坐标系中的 坐标及其在装配模型中的相对于世界坐标系的坐标,实时计算观察者头部CCD相对于世界 坐标系的方位,建立观察虚拟信息的虚拟视点的位置,从而将3D虚拟诱导信息准确地叠加 在真实环境中,并将虚拟诱导信息和CCD拍摄的真实场景发送到头盔显示器上显示给操作 者; 第六,重复第三步骤至第五步骤,直至完成机械设备拆装的在线诱导。
2. 根据权利要求1所述的诱导方法,其特征在于,第一步骤的具体步骤为:通过对商业 CAD软件二次开发,提取设备中各零件的信息和零件间的装配约束信息,其中零件信息包 括:零件名称、零件三维模型、零件拓扑信息:零件-设计特征-面-线-点的连接关系、零 件上特征点和特征线的坐标;装配约束信息包括,约束名称、约束类型、约束参数、该约束涉 及的零件名称,该约束涉及零件特征的名称和涉及零件在装配体中的位置。
3. 根据权利要求1所述的诱导方法,其特征在于,第三步骤的具体步骤为:在机械设 备拆装3D在线诱导系统的运行过程中,3D拆装在线诱导系统通过增强现实头盔上安装的 两个摄像头采集拆装场景图像,并对拆装系统在CCD坐标系中进行3D重建,装配模型中的 零件的3D模型和3D重建模型对比,进行零件识别;3D拆装在线诱导系统通过操作者手部 运动、位置和重建场景的中心区零件识别操作者关注的零件;建立拆卸优先关系树模型的 拆卸目标感知方法,3D拆装在线诱导系统使用拆卸约束优先关系树模型,基于植物枯萎仿 生原理向操作者提示下一步将要拆装的零件;上述基于拆卸优先关系树模型的拆卸目标感 知方法基于如下植物枯萎仿生原理:自然界同一棵树上脱落叶子的分布和脱落顺序对判断 树的非自然枯萎方向和枯萎扩散具有一定的导向作用,基于拆卸优先关系树模型的拆卸目 标感知方法在第二步骤的初始化阶段自动建立产品的拆卸优先关系树模型,在拆卸诱导阶 段,根据操作者的拆卸顺序感知拆卸目标,所述的基于拆卸优先关系树模型的拆卸目标感 知方法的具体实现方法如下 : ① 在交互式拆卸过程中,每拆卸完一个叶子零件后,以数值扩散的方式修改该零件到 基础件路径上所有零件的营养指数,扩散方向由被拆卸零件向基础件反向传播,零件被拆 卸后不再有营养指数值; ② 随着交互拆卸过程的进行,拆卸目标零件和到达拆卸目标零件路径上的零件的营养 指数均会减小,通过比较各零件的营养指数,识别拆卸目标零件,进而在需要的时候结合拆 卸工具使用的聚合性、拆卸方向的聚合性及其它物理约束向操作者输送拆卸顺序; ③ 引入营养指数修复机制,即如果连续η次拆卸均没有传播到某个零件,则适当提高 该零件的营养指数。
4. 根据权利要求1所述的方法,其特征在于,第四步骤的具体步骤如下:将当前拆装任 务转化为拆装语义,利用规则库对将要拆装的目标零部件进行自由度转化和归约得到零部 件拆装方向,根据拆装约束的形式选择合适的工具,最后生成拆装虚拟动画,以演示如何将 零部件从装配体上拆卸下来,或如何安装在装配体上,从而向操作者输出诱导信息。
5. 根据权利要求1所述的方法,其特征在于,第五步骤的具体步骤如下:对已装配零件 进行在C⑶坐标系中进行三维重建,提取重建模型上已装配零件上的机械特征的坐标,将 所述机械特征相对于CCD坐标系的重建坐标与其在虚拟装配模型中相对于世界坐标系的 装配坐标比对,利用矩阵换算关系得到CCD在世界坐标性中的方位,从而实现基于无人工 标识的增强现实注册。
CN201210117308.5A 2012-04-20 2012-04-20 一种机械设备拆装3d在线诱导系统的诱导方法 CN102789514B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210117308.5A CN102789514B (zh) 2012-04-20 2012-04-20 一种机械设备拆装3d在线诱导系统的诱导方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210117308.5A CN102789514B (zh) 2012-04-20 2012-04-20 一种机械设备拆装3d在线诱导系统的诱导方法

Publications (2)

Publication Number Publication Date
CN102789514A CN102789514A (zh) 2012-11-21
CN102789514B true CN102789514B (zh) 2014-10-08

Family

ID=47154917

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210117308.5A CN102789514B (zh) 2012-04-20 2012-04-20 一种机械设备拆装3d在线诱导系统的诱导方法

Country Status (1)

Country Link
CN (1) CN102789514B (zh)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105279750B (zh) * 2014-07-09 2019-02-01 中国人民解放军装甲兵工程学院 一种基于ir-uwb和图像矩的装备展示导览系统
CN104484523B (zh) * 2014-12-12 2017-12-08 西安交通大学 一种增强现实诱导维修系统的实现设备与方法
CN104794940B (zh) * 2015-04-03 2018-02-23 福建省纳金网信息技术有限公司 一种通过移动终端对机械维修教学的方法
CN105227912B (zh) * 2015-09-23 2018-11-30 中广核核电运营有限公司 一种基于标准化3d模型的视频智能纠错系统及方法
US10334076B2 (en) * 2016-02-22 2019-06-25 Google Llc Device pairing in augmented/virtual reality environment
CN106325494B (zh) * 2016-03-25 2019-01-29 深圳增强现实技术有限公司 基于智能穿戴设备的工作辅助系统和方法
CN106504055A (zh) * 2016-10-14 2017-03-15 深圳前海火元素视觉科技有限公司 汽车配件虚拟升级方法和装置
CN106504629B (zh) * 2016-11-04 2019-05-24 快创科技(大连)有限公司 一种基于增强现实技术的汽车组装演示记忆系统
CN106530293B (zh) * 2016-11-07 2019-05-28 上海交通大学 手工装配视觉检测防错方法及系统
CN106817568A (zh) * 2016-12-05 2017-06-09 网易(杭州)网络有限公司 一种增强现实显示方法和装置
CN106845502B (zh) * 2017-01-23 2020-07-07 东南大学 一种用于设备检修的穿戴式辅助装置及设备检修可视化指导方法
CN106933574B (zh) * 2017-02-24 2020-05-12 深圳国泰安教育技术有限公司 一种拆安装仿真程序生成方法和装置
CN107168531B (zh) * 2017-05-02 2019-11-05 武汉理工大学 基于头戴显示器的船舶辅机拆装系统及拆装方法
CN107168537B (zh) * 2017-05-19 2020-07-07 山东万腾电子科技有限公司 一种协同式增强现实的可穿戴作业指导方法及系统
CN107608507A (zh) * 2017-09-05 2018-01-19 清华大学 弱光条件下机车部件的选定方法及机车辅助维修系统
CN107707627A (zh) * 2017-09-06 2018-02-16 珠海格力电器股份有限公司 一种工程接线的引导方法及客户端
CN107856878B (zh) * 2017-11-01 2019-08-06 北京星航机电装备有限公司 一种大尺寸小厚度耐高温结构拆装方法
CN108109208A (zh) * 2017-12-01 2018-06-01 同济大学 一种海上风电场增强现实方法
CN107977080A (zh) * 2017-12-05 2018-05-01 北京小米移动软件有限公司 产品使用展示方法及装置
CN109032348A (zh) * 2018-06-26 2018-12-18 亮风台(上海)信息科技有限公司 基于增强现实的智能制造方法与设备
CN109189213A (zh) * 2018-08-15 2019-01-11 华中科技大学 一种基于可移动计算机的产品装配工艺增强现实指导方法
CN110175681A (zh) * 2018-09-13 2019-08-27 中国国际海运集装箱(集团)股份有限公司 用于机场地面设备的维保方法及装置
CN109491497A (zh) * 2018-10-19 2019-03-19 华中科技大学 一种基于增强现实技术的人工辅助装配应用系统
CN110162179A (zh) * 2019-05-24 2019-08-23 北京理工大学 一种智能感知虚拟装配系统
CN110264818A (zh) * 2019-06-18 2019-09-20 国家电网有限公司 一种基于增强现实的机组进水阀拆装训练方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1851575A (zh) * 2006-05-24 2006-10-25 北京理工大学 一种面向生产现场的半沉浸式装配工艺规划方法
CN101727508A (zh) * 2008-10-13 2010-06-09 机械科学研究总院先进制造技术研究中心 一种基于虚拟现实技术的大型装备研发方法
CN101739478A (zh) * 2008-11-17 2010-06-16 北京卫星环境工程研究所 基于航天器装配仿真技术的虚拟装配系统和虚拟装配方法
CN102123137A (zh) * 2010-12-28 2011-07-13 北京航空航天大学 一种多人虚实融合协同拆装系统及方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2382300A (en) * 1998-12-23 2000-07-12 National Institute Of Standards And Technology ("Nist") Method and system for a virtual assembly design environment

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1851575A (zh) * 2006-05-24 2006-10-25 北京理工大学 一种面向生产现场的半沉浸式装配工艺规划方法
CN101727508A (zh) * 2008-10-13 2010-06-09 机械科学研究总院先进制造技术研究中心 一种基于虚拟现实技术的大型装备研发方法
CN101739478A (zh) * 2008-11-17 2010-06-16 北京卫星环境工程研究所 基于航天器装配仿真技术的虚拟装配系统和虚拟装配方法
CN102123137A (zh) * 2010-12-28 2011-07-13 北京航空航天大学 一种多人虚实融合协同拆装系统及方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
赵新灿.增强现实维修诱导系统关键技术研究.《中国博士学位论文全文数据库(工程科技II辑)》.2009,(第06期), *
陈成军.基于力觉/触觉反馈的虚拟装配系统相关技术研究.《中国博士学位论文全文数据库(信息科技辑)》.2009,(第05期), *

Also Published As

Publication number Publication date
CN102789514A (zh) 2012-11-21

Similar Documents

Publication Publication Date Title
US10929980B2 (en) Fiducial marker patterns, their automatic detection in images, and applications thereof
Mekni et al. Augmented reality: Applications, challenges and future trends
Zollmann et al. Augmented reality for construction site monitoring and documentation
EP3035164B1 (en) Wearable sensor for tracking articulated body-parts
Bottani et al. Augmented reality technology in the manufacturing industry: A review of the last decade
Chatzopoulos et al. Mobile augmented reality survey: From where we are to where we go
Zhang et al. Real-time human motion tracking using multiple depth cameras
CN105164726B (zh) 用于3d重构的相机姿态估计
Yao et al. Contour model-based hand-gesture recognition using the Kinect sensor
CN103703758B (zh) 移动增强现实系统
CN103460256B (zh) 在扩增现实系统中将虚拟图像锚定到真实世界表面
US20150302650A1 (en) Methods and Systems for Providing Procedures in Real-Time
JP5920352B2 (ja) 情報処理装置、情報処理方法及びプログラム
US8860760B2 (en) Augmented reality (AR) system and method for tracking parts and visually cueing a user to identify and locate parts in a scene
KR101865655B1 (ko) 증강현실 상호 작용 서비스 제공 장치 및 방법
CN102722249B (zh) 操控方法、操控装置及电子装置
CN109084746A (zh) 用于具有辅助传感器的自主平台引导系统的单目模式
Sanna et al. A Kinect-based natural interface for quadrotor control
Rabbi et al. A survey on augmented reality challenges and tracking
US8751969B2 (en) Information processor, processing method and program for displaying a virtual image
US10380469B2 (en) Method for tracking a device in a landmark-based reference system
CN102854983B (zh) 一种基于手势识别的人机交互方法
Westeyn et al. Georgia tech gesture toolkit: supporting experiments in gesture recognition
US9424371B2 (en) Click to accept as built modeling
Chi et al. Research trends and opportunities of augmented reality applications in architecture, engineering, and construction

Legal Events

Date Code Title Description
PB01 Publication
C06 Publication
SE01 Entry into force of request for substantive examination
C10 Entry into substantive examination
GR01 Patent grant
C14 Grant of patent or utility model
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20141008

Termination date: 20150420

EXPY Termination of patent right or utility model