CN110221692A - 一种装配控制的方法、ar眼镜和系统 - Google Patents

一种装配控制的方法、ar眼镜和系统 Download PDF

Info

Publication number
CN110221692A
CN110221692A CN201910409348.9A CN201910409348A CN110221692A CN 110221692 A CN110221692 A CN 110221692A CN 201910409348 A CN201910409348 A CN 201910409348A CN 110221692 A CN110221692 A CN 110221692A
Authority
CN
China
Prior art keywords
accessory
assembled
assembly
glasses
identity information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910409348.9A
Other languages
English (en)
Inventor
粟振中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toptop Technology (wuhan) Co Ltd
Original Assignee
Toptop Technology (wuhan) Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toptop Technology (wuhan) Co Ltd filed Critical Toptop Technology (wuhan) Co Ltd
Publication of CN110221692A publication Critical patent/CN110221692A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404Methods for optical code recognition
    • G06K7/1408Methods for optical code recognition the method being specifically adapted for the type of code
    • G06K7/14131D bar codes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition

Abstract

本发明涉及装配领域,尤其公开了一种装配控制的方法、AR眼镜和系统,其中,方法包括:增强现实AR眼镜获取待装配配件的身份信息;AR眼镜根据所述待装配配件的身份信息确定所述待装配配件的装配位置信息;AR眼镜根据所述装配位置信息指示装配工具对待装配配件进行装配。本发明方案可以保证按工艺规定的顺序进行装配,避免了不正确的装配顺序引起的问题。

Description

一种装配控制的方法、AR眼镜和系统
技术领域
本发明涉及装配领域,具体为一种装配控制的方法、AR眼镜和系统。
背景技术
在列车机车大修维护的过程中,常需要对几百个重要螺栓进行拧紧装配。这些螺栓的装配必须遵循严格的顺序以及恰当的扭矩大小。传统的装配过程管理的流程是:工艺工程师制定装配作业指导书,在作业指导书中严格规定螺栓的装配顺序、每个螺栓的装配作业步骤及拧紧扭矩;车间装配作业工程师按规定的装配工艺对机车进行“二次装配”;质检人员对装配的螺栓进行检测,测定拧紧扭矩并记录。
传统的装配过程管理,虽然装配作业指导书中严格定义了螺栓装配的工艺规范,但缺少技术手段来保障对装配顺序及拧紧扭矩的严格执行,机车装配质量的可靠性一直难以得到提升。主要表现在:是否严格按装配工艺作业,依赖于装配作业工程师的责任心,装配质量的可靠性需要进一步的质检来保障;质检人员对螺栓进行复检,有较大的工作量;质检是否严格执行,也依赖于质检人员的责任心;人工记录复检数据然后录入系统,存在误记、漏记以及误录的风险。因此,传统装配过程管理的装配质量存在一定的不可控性。
目前,在汽车、家电等行业的装配过程管理中,借助一些过程控制元件、以及射频识别(RFID)、扫码等技术,实现了装配的数字化、柔性化。在检修行业中,也出现了新的技术方案:通过软件规划好工艺流程,再通过人工操作电脑、或直接扫码来选择作业内容,软件系统把作业内容的工艺扭矩值传给智能扳手,智能扳手对螺栓进行拧紧,并把拧紧结果反馈给软件系统。但该技术方案仍存在一个较大的缺陷:即不能保证工人实际操作的螺栓与工艺流程中规定的一致,以及不能保证工人是按照工艺流程规定的顺序进行拧紧的。例如,在平面上呈圆周分布的螺栓,要求按照对角拧紧的方法来操作,但实践中难以保证工人是根据要求来操作的。
发明内容
鉴于上述问题,提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种螺栓按顺序装配控制方法及系统。
根据本发明的一个方面,提供了一种装配控制方法,包括:增强现实AR眼镜获取待装配配件的身份信息;AR眼镜根据所述待装配配件的身份信息确定所述待装配配件的装配位置信息;AR眼镜根据所述装配位置信息指示装配工具对所述待装配配件进行装配。
可选的,所述AR眼镜获取待装配配件的身份信息具体为:所述AR眼镜采集所述待装配配件所在场景的场景图像,根据所述场景图像获取所述待装配配件的身份信息。
可选的,所述根据所述场景图像获取所述待装配配件的身份信息具体为:根据所述场景图像获取待装配配件的编码信息,根据所述编码信息确定待装配配件的身份信息。
可选的,所述方法还包括:所述AR眼镜获取装配工具的身份信息,根据所述装配工具的身份信息及待装配配件的身份信息获取预设的装配参数,以使所述装配工具根据所述预设的装配参数装配所述配件。
可选的,所述方法还包括:配件装配完成后,AR眼镜获取所述装配工具的实际装配参数,判断所述实际装配参数与预设的装配参数是否相符,并记录不相符的装配操作信息。
根据本发明的另一方面,提供了一种AR眼镜,用于装配控制,所述AR眼镜包括处理器模块和显示器,其中:所述处理器模块用于获取待装配配件的身份信息,根据所述待装配配件的身份信息确定所述待装配配件的装配位置信息;所述显示器用于根据所述装配位置信息指示装配工具对待装配配件进行装配。
可选的,所述AR眼镜还包括采集模块,所述采集模块用于采集所述待装配配件所在场景的场景图像,所述处理器模块还用于根据所述场景图像获取所述待装配配件的身份信息。
可选的,所述处理器模块根据所述场景图像获取所述待装配配件的身份信息具体为:所述处理器根据所述场景图像获取待装配配件的编码信息,根据所述编码信息确定待装配配件的身份信息。
可选的,所述处理器模块还用于获取装配工具的身份信息,根据所述装配工具的身份信息及待装配配件的身份信息获取预设的装配参数,以使所述装配工具根据所述预设的装配参数装配所述配件。
可选的,所述处理器模块还用于在所述配件装配完成后获取所述装配工具的实际装配参数,判断所述实际装配参数与预设的装配参数是否相符,并记录不相符的装配操作信息。
根据本发明的另一方面,提供了一种装配控制系统,包括AR眼镜和服务器,其中:所述服务器用于获取待装配配件的身份信息;所述服务器还用于根据所述待装配配件的身份信息确定所述待装配配件的装配位置信息;所述AR眼镜用于根据所述装配位置信息指示装配工具对待装配配件进行装配。
可选的,所述AR眼镜还用于采集所述待装配配件所在场景的场景图像,所述服务器还用于根据所述场景图像获取所述待装配配件的身份信息。
可选的,所述服务器根据所述场景图像获取所述待装配配件的身份信息具体为:所述服务器根据所述场景图像获取待装配配件的编码信息,根据所述编码信息确定待装配配件的身份信息。
可选的,所述服务器还用于获取装配工具的身份信息,根据所述装配工具的身份信息及待装配配件的身份信息获取预设的装配参数,以使所述装配工具根据所述预设的装配参数装配所述配件。
可选的,所述服务器还用于在所述配件装配完成后获取所述装配工具的实际装配参数,判断所述实际装配参数与预设的装配参数是否相符,并记录不相符的装配操作信息。
本发明通过识别实际待装配配件,并要求实际待装配配件的身份与待装配配件的一致,确保实际待装配配件即为待装配配件,保证了按工艺规定的顺序进行装配,避免了不正确的装配顺序引起的问题。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的螺栓。在附图中:
图1示出了本发明装配控制方法第一实施例的流程图;
图2示出了本发明AR眼镜第一实施例的结构框图;
图3示出了本发明AR眼镜第二实施例的结构框图;
图4示出了本发明装配控制系统第一实施例的结构框图;
图5示出了本发明装配控制系统第二实施例中服务器402的结构框图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整地传达给本领域的技术人员。
图1为本发明装配控制方法第一实施例的流程图。如图1所示,该装配控制方法包括以下步骤:
步骤101:增强现实AR眼镜获取待装配配件的身份信息。
增强现实(Augmented Reality,AR)是一种基于真实环境的交互式体验。AR设备可产生虚拟的感官信息,如视觉的、听觉的、触觉的、体感的、嗅觉的,使用户获得一种扩大了的或增强了的真实世界的感受。AR眼镜,也称智能眼镜,其佩戴方式如同眼镜,可在真实景象上叠加显示有关信息。
在本发明实施例中,装配场景是待维修的机车的一部分,装配场景中的多个待装配的部件为待拧紧的螺栓。在一些实施例中,待装配的部件还可以是螺柱、螺钉、螺母、垫圈、销等。所有待拧紧螺栓均为同种螺栓,同种螺栓为同一类别下同一型号的螺栓,从外形上难以区分。在一些实施例中,待拧紧螺栓为同类螺栓,同类螺栓为同一类别下不同型号的螺栓,外形上较接近。在另一些实施例中,待拧紧螺栓不是同种或同类螺栓,外形上差异较大。每个螺栓有唯一的编号。AR眼镜中储存有装配顺序数据。AR眼镜被佩戴上后,获取装配顺序中的第一个待装配螺栓的编号。
步骤102:AR眼镜根据所述待装配配件的身份信息确定所述待装配配件的装配位置信息。
在本发明实施例中,AR眼镜中储存有场景模型库。场景模型库包含一些已识别的场景照片数据。AR眼镜在场景模型库中查找到该编号的螺栓,得到该螺栓的位置。
步骤103:AR眼镜根据所述装配位置信息指示装配工具对待装配配件进行装配。
AR眼镜将装配作业的指导图文叠加在装配场景上。AR眼镜根据获取的装配顺序数据,按顺序对各螺栓进行指示。指示的方式为在下一个待装配的螺栓上方显示闪动的箭头,箭头指向该螺栓,并在螺栓位置显示一个虚拟的扳手。AR眼镜还可以显示螺栓装配的参数等信息,以辅助、指导拧紧操作。
在本发明实施例中,装配工具为智能扳手。智能扳手内有电机和控制器,电机的输出端串接一个应变式扭矩传感器,该传感器可将实时扭矩值反馈到控制器。智能扳手可接收服务器发送的目标扭矩值,并启动电机。电机旋转时,控制器不断比较实时扭矩值与目标扭矩值,并根据控制逻辑适时使电机停止或减速。完成后,智能扳手将拧紧结果数据发送给服务器存档。智能扳手上有标志其身份的条码。当智能扳手被套在AR眼镜所指示的待拧紧螺栓上时,AR眼镜扫描该智能扳手的条码以识别该智能扳手,即得知其编号。在一些实施例中,智能扳手上有二维码标志其身份。在另一些实施例中,智能扳手上有其编号,AR眼镜拍摄其编号的照片并进行识别。在本发明实施例中,AR眼镜根据预先接收工艺工程师输入的机车装配作业工艺数据,检查该智能扳手是否与该螺栓匹配,即该智能扳手是否为拧紧该螺栓所应使用的工具。若匹配,则将该螺栓的预设扭矩值发送给该智能扳手,否则,即该智能扳手放置在其他螺栓上时,不会将该螺栓的预设扭矩值发送给该智能扳手。智能扳手接收后,自动按预设扭矩值对该螺栓进行拧紧。如果操作的螺栓不是AR眼镜所指示的,AR眼镜将发出报警提示,同时将该错误操作记录存档。拧紧操作完成后,智能扳手将该螺栓编号、操作工人工牌编号、拧紧完成时间、实际扭矩值等作业数据上传至AR眼镜存档。AR眼镜收到后,即已完成对当前螺栓的拧紧后,继续对下一个待拧紧的螺栓进行指示。如此往复,直到完成对全部螺栓的拧紧。
在一些实施例中,装配工具是带有显示屏的扳手,显示屏可显示拧紧扭矩值。AR眼镜拍摄该扳手显示屏照片并识别显示屏照片中的读数,并判断识别的扭矩值是否符合当前螺栓预设扭矩值,若不符合则将本次装配操作的作业数据存档,AR眼镜发出提示,即当前扭矩值偏大或偏小,以提示修正对该螺栓的拧紧。
在本发明实施例中,通过识别实际待装配螺栓,并要求实际待装配螺栓的编号与待装配螺栓的一致,确保实际待装配螺栓即为待装配螺栓,保证了按工艺规定的顺序进行装配,避免了不正确的装配顺序引起的问题。
在一些实施例中,AR眼镜获取待装配配件的身份信息具体为:AR眼镜采集待装配配件所在场景的场景图像,根据场景图像获取待装配配件的身份信息。
在一些实施例中,根据场景图像获取待装配配件的身份信息具体为:根据场景图像获取待装配配件的编码信息,根据编码信息确定待装配配件的身份信息。
在一些实施例中,AR眼镜获取装配工具的身份信息,根据装配工具的身份信息及待装配配件的身份信息获取预设的装配参数,以使装配工具根据预设的装配参数装配配件。AR眼镜确认待装配配件的身份信息与装配工具的身份信息匹配,即该装配工具是装配该待装配配件所应使用的装配工具,然后将装配参数发送给装配工具。若不匹配,则不会将装配参数发送给装配工具。AR眼镜也可显示装配参数,如预设扭矩值,装配工人设置装配工具为预设扭矩值,装配工具完成装配,或装配工人使用装配工具按预设扭矩值进行装配。
在一些实施例中,配件装配完成后,AR眼镜获取装配工具的实际装配参数,判断实际装配参数与预设的装配参数是否相符,并记录不相符的装配操作信息。
图2为本发明AR眼镜第一实施例的结构框图。如图2所示,AR眼镜20包括处理器模块201和显示器202。
处理器模块201用于获取待装配配件的身份信息,根据待装配配件的身份信息确定待装配配件的装配位置信息。
显示器202用于根据装配位置信息指示装配工具对待装配配件进行装配。
在本发明实施例中,AR眼镜20按上述装配控制方法第一实施例的方法进行装配。
在本发明实施例中,通过识别实际待装配螺栓,并要求实际待装配螺栓的编号与待装配螺栓的一致,确保实际待装配螺栓即为待装配螺栓,保证了按工艺规定的顺序进行装配,避免了不正确的装配顺序引起的问题。
图3为本发明AR眼镜第二实施例的结构框图。如图3所示,AR眼镜30包括采集模块301、处理器模块302、以及显示器303。
采集模块301用于采集待装配配件所在场景的场景图像。处理器模块302用于获取待装配配件的身份信息、根据待装配配件的身份信息确定待装配配件的装配位置信息、以及根据场景图像获取待装配配件的身份信息。显示器303用于根据装配位置信息指示装配工具对待装配配件进行装配。
在一些实施例中,处理器模块302根据场景图像获取待装配配件的身份信息具体为:处理器模块302根据场景图像获取待装配配件的编码信息,根据编码信息确定待装配配件的身份信息。
在一些实施例中,处理器模块302还用于获取装配工具的身份信息,根据装配工具的身份信息及待装配配件的身份信息获取预设的装配参数,以使装配工具根据预设的装配参数装配该配件。
在一些实施例中,处理器模块302还用于在配件装配完成后获取装配工具的实际装配参数,判断实际装配参数与预设的装配参数是否相符,并记录不相符的装配操作信息。
图4为本发明装配控制系统第一实施例的结构框图。如图4所示,装配控制系统40包括AR眼镜401和服务器402。
服务器402用于获取待装配配件的身份信息。
服务器402还用于根据待装配配件的身份信息确定待装配配件的装配位置信息。
AR眼镜401用于根据装配位置信息指示装配工具对待装配配件进行装配。
在本发明实施例中,AR眼镜401通过无线网络与服务器402互联。AR眼镜401从服务器402获取第一个待装配螺栓的身份信息,并将第一个待装配螺栓作为当前待装配螺栓,执行以下步骤:
步骤1:AR眼镜401根据当前待装配螺栓的身份信息获取当前待装配螺栓的位置信息。
AR眼镜401将当前待装配螺栓的身份信息发送到服务器402。服务器402在场景模型库中根据当前待装配螺栓的身份信息获取当前待装配螺栓的位置信息,并将当前待装配螺栓的位置信息发送给AR眼镜401。
步骤2:AR眼镜401按当前待装配螺栓的位置信息对当前待装配螺栓进行指示。
步骤3:AR眼镜401获取实际待装配螺栓的身份信息,并判断实际待装配螺栓的身份信息是否与当前待装配螺栓的身份信息一致,若是,则继续执行步骤4,否则返回执行步骤2,其中实际待装配螺栓位于AR眼镜401当前视野范围内。
AR眼镜401采集实际待装配螺栓所在场景的图像,并将场景的图像发送给服务器402。AR眼镜401对拍摄的装配场景照片进行Base64编码后,用线程异步的方式上传到服务器402。
服务器402在场景模型库中根据AR眼镜401发送的场景的图像获取实际待装配螺栓的身份信息,并将实际待装配螺栓的身份信息发送给AR眼镜401。服务器402将该场景的照片与预先生成的场景模型库进行比对,从而识别出该场景,即得知该场景的编号。场景模型库包含一些已识别的场景照片数据。服务器402还可以识别出场景中待装配的螺栓,得知每个螺栓的编号和位置信息。
步骤4:装配工具对当前待装配螺栓进行装配。
步骤5:若当前装配螺栓为最后一个待装配螺栓,则停止执行本方法,否则AR眼镜401根据当前装配螺栓的身份信息获取下一个待装配螺栓的身份信息,将下一个待装配螺栓作为新的当前待装配螺栓,并重复步骤1。服务器402预先接收工艺工程师设定的对该场景中的螺栓进行装配的顺序数据。AR眼镜401从服务器获取该顺序数据。
服务器402储存有对当前待装配螺栓进行装配的预设扭矩值,装配工具为智能扳手,智能扳手上有编码,编码包含智能扳手的身份信息。
智能扳手接近当前待装配螺栓后,AR眼镜401采集智能扳手上的编码的图像。
AR眼镜401对编码的图像进行识别得到识别结果,并将识别结果发送给服务器402。识别结果包含智能扳手的身份信息。在一些实施例中,AR眼镜401将编码的图像发送给服务器402,服务器402对编码的图像进行识别得到识别结果。
服务器402根据识别结果判断当前待装配螺栓的身份信息是否与智能扳手的身份信息匹配,若匹配则将对当前待装配螺栓进行装配的预设扭矩值发送给智能扳手。
智能扳手按照预设扭矩值对当前待装配螺栓进行装配。
在一些实施例中,服务器402储存有对当前待装配螺栓进行装配的预设扭矩值,装配工具为带有显示屏的扳手,显示屏用于显示扳手的实际扭矩值。扳手对当前待装配螺栓进行装配后,AR眼镜401采集扳手的显示屏的图像,并将显示屏的图像发送给服务器402。服务器402对扳手的图像进行识别得到识别结果,识别结果包含扳手对当前待装配螺栓进行装配的实际扭矩值。服务器402根据识别结果判断扳手对当前待装配螺栓进行装配的实际扭矩值是否与对当前待装配螺栓进行装配的预设扭矩值相符,若不相符则记录装配操作信息,装配操作信息包括扳手对当前待装配螺栓进行装配的实际扭矩值。
在本发明实施例中,AR眼镜401从服务器402获取螺栓装配顺序,并根据当前装配螺栓的身份信息和螺栓装配顺序获取下一个待装配螺栓的身份信息。在一些实施例中,AR眼镜401将当前装配螺栓的身份信息发送到服务器402,服务器402根据当前装配螺栓的身份信息和螺栓装配顺序获取下一个待装配螺栓的身份信息,并将下一个待装配螺栓的身份信息发送给AR眼镜401。
在本发明实施例中,通过识别实际待装配螺栓,并要求实际待装配螺栓的编号与待装配螺栓的一致,确保实际待装配螺栓即为待装配螺栓,保证了按工艺规定的顺序进行装配,避免了不正确的装配顺序引起的问题。
在一些实施例中,AR眼镜401还用于采集待装配配件所在场景的场景图像,服务器402还用于根据场景图像获取待装配配件的身份信息。
在一些实施例中,服务器402根据场景图像获取待装配配件的身份信息具体为:服务器402根据场景图像获取待装配配件的编码信息,根据编码信息确定待装配配件的身份信息。
在一些实施例中,服务器402还用于在配件装配完成后获取装配工具的身份信息,根据装配工具的身份信息及待装配配件的身份信息获取预设的装配参数,以使装配工具根据预设的装配参数装配配件。
图5为本发明装配控制系统第二实施例中服务器402的结构框图。如图5所示,服务器402包括图像识别服务器4021和工艺数据库服务器4022。
图像识别服务器4021可以对AR眼镜所采集的装配场景图像、仪器仪表显示屏、以及条码或二维码图像进行识别。优选的,图像识别服务器4021中的GPU性能不低于GTX 1080显卡的性能,并使用深度学习算法进行图像识别。
图像识别服务器4021预先对场景进行学习。对一个场景进行学习的方法如下。首先在工艺数据库服务器4022添加该场景的档案。然后在车间用AR眼镜采集该场景的图像,尽可能从多个角度、在不同光照条件下进行采集。对采集的图像进行Base64编码后,用线程异步的方式上传到工艺数据库服务器4022,添加到该场景的档案中。图像识别服务器4021接收工艺工程师输入的对该场景图像进行标注:对场景图像中的每个螺栓,从给定的清单中选择,设定一个唯一的编号。图像识别服务器4021运用深度学习算法对该场景档案中的图像进行学习。学习结束后,提供采集的场景图像对学习成果进行验证。要求响应时间小于1秒,识别场景的正确率大于98%,识别场景中任意螺栓的正确率大于99%,给定编号指示螺栓位置的正确率大于99%,否则继续采集场景图像进行学习。
对场景进行识别的算法包括:场景特征点提取、场景定位、与样本对比,若对比成功,则输出场景名称、编号以及置信度,否则重新采集场景图像进行识别。
对场景中的螺栓进行识别的算法包括:螺栓定位、图像分割、与样本对比,若对比成功,则计算螺栓位置并输出置信度,否则重新采集图像进行识别。在实际装配的过程中,AR眼镜可能距离螺栓很近,且螺栓较大,AR眼镜所拍摄的图像可能只是螺栓本身或部分。若待装配的多个螺栓为同种或同类的,则难以识别区分。本发明中识别螺栓的算法具体为:在进入装配场景时,即开始结合螺栓所在位置的背景进行识别,并持续采集装配场景图像、以及跟踪图像的变化,如果变化是连续的,则继承上一张图像所识别的结果。
对显示屏照片进行光学字符识别(Optical Character Recognition,OCR)的算法包括:显示屏区域定位算法、字符定位与分割算法、以及字符识别算法。扳手的位置、方向可以是任意的。要求响应时间小于1秒,准确率大于99%。
对条码识别进行识别的算法包括:拍摄条码图像、图像二值化、定位、图像分割;若条码定位成功,则对条码进行旋转矫正然后提取条码数据,否则重新拍摄条码图像进行识别。要求响应时间小于50毫秒,识别率大于99.5%。条码要求印刷清晰,长度大于3厘米,宽度大于2厘米,条码中白边和黑边宽度均大于2毫米。
工艺数据库服务器4022储存有车型、场景、螺栓、工具等的基本数据,包括车型名称、编号、厂商、以及场景、螺栓的编号等。可以对车型、场景、螺栓、工具等的数据进行管理维护,包括对数据进行新增、删除、修改、查询等操作。工艺数据库服务器4022预先接收工艺工程师录入的装配作业任务、装配作业工艺要求,包括每个螺栓的预设扭矩值、以及多个螺栓的装配顺序。
使用装配过程管理系统40进行机车维修的业务作业的过程如下。在转向架车间,装配工人按照AR眼镜的指示,逐步完成装配作业。车间应有良好的光照条件。工人上班后,到班组长处领取扳手等工具,并用工牌刷卡获取一副AR眼镜。服务器在后台将该工人的工牌与该AR眼镜绑定,并使AR眼镜进入识别台架条码的工作状态。工人佩戴上AR眼镜后,按照显示的提示,走到待工作的台架前,扫描台架条码并上传到服务器。工人应尽量正视条码,左、右视角不超过20度。AR眼镜与条码的距离应在一定范围内,如大于10厘米且小于40厘米。服务器检查该条码是否与待作业台架的编号匹配,若匹配,则服务器使AR眼镜进入识别场景的模式,否则AR眼镜显示错误提示且仍处于识别条码的状态。工人进入装配场景后,AR眼镜对所处场景进行识别。工人应尽量正视场景,左、右视角不超过40度。若所处场景是待装配场景,AR眼镜将指示工人执行当前场景的任务。当前场景中的所有任务完成后,AR眼镜指示引导工人到下一个场景。在当前台架的所有任务完成后,AR眼镜指示引导工人到下一个台架。工人只有在完成一个台架的任务后,才能转到下一个台架进行作业,不能在两个台架间来回作业。工人可以随时结束工作,下次工作时,佩戴的AR眼镜可以与上次的不同,系统会自动从该工人上次未完成的任务开始。
本发明装配过程管理方法及系统将AR眼镜、服务器、智能扳手与人结合,构成了增强的人工作业系统。AR眼镜增强了工人的视觉——工人佩戴AR眼镜可以看到任务提示信息。服务器增强了工人的大脑——服务器储存记忆所有工艺流程及作业规范并发出指示。智能扳手增强了工人的双手——智能扳手接收服务器发送的扭矩值并自动完成拧紧操作。本发明装配过程管理系统,运用AR、图像识别、物联网等技术,改进了传统的紧固件安装手段,从手动挑选工具、设定扭力到智能选取工具、设定扭力,从传统的图纸、指导手册到AR眼镜显示提示,实现了装配场景识别、装配作业指示、装配作业控制、装配作业反馈、装配作业驱动的闭环控制,有助于提升装配工作的质量、减轻装配工人的负担、提升装配作业效率,可用于机车检修的“二次装配”等装配过程管理。

Claims (15)

1.一种装配控制方法,其特征在于,包括:
增强现实AR眼镜获取待装配配件的身份信息;
AR眼镜根据所述待装配配件的身份信息确定所述待装配配件的装配位置信息;
AR眼镜根据所述装配位置信息指示装配工具对所述待装配配件进行装配。
2.根据权利要求1所述的方法,其特征在于,所述AR眼镜获取待装配配件的身份信息具体为:
所述AR眼镜采集所述待装配配件所在场景的场景图像,根据所述场景图像获取所述待装配配件的身份信息。
3.根据权利要求2所述的方法,其特征在于,所述根据所述场景图像获取所述待装配配件的身份信息具体为:根据所述场景图像获取待装配配件的编码信息,根据所述编码信息确定待装配配件的身份信息。
4.根据权利要求1-3任一项所述的方法,其特征在于,所述方法还包括:
所述AR眼镜获取装配工具的身份信息,根据所述装配工具的身份信息及待装配配件的身份信息获取预设的装配参数,以使所述装配工具根据所述预设的装配参数装配所述配件。
5.根据权利要求1-4任一项所述的方法,其特征在于,所述方法还包括:
配件装配完成后,AR眼镜获取所述装配工具的实际装配参数,判断所述实际装配参数与预设的装配参数是否相符,并记录不相符的装配操作信息。
6.一种AR眼镜,用于装配控制,其特征在于,所述AR眼镜包括处理器模块和显示器,其中:
所述处理器模块用于获取待装配配件的身份信息,根据所述待装配配件的身份信息确定所述待装配配件的装配位置信息;
所述显示器用于根据所述装配位置信息指示装配工具对待装配配件进行装配。
7.根据权利要求6所述的AR眼镜,其特征在于,所述AR眼镜还包括采集模块,所述采集模块用于采集所述待装配配件所在场景的场景图像,所述处理器模块还用于根据所述场景图像获取所述待装配配件的身份信息。
8.根据权利要求7所述的AR眼镜,其特征在于,所述处理器模块根据所述场景图像获取所述待装配配件的身份信息具体为:所述处理器根据所述场景图像获取待装配配件的编码信息,根据所述编码信息确定待装配配件的身份信息。
9.根据权利要求6-8任一项所述的AR眼镜,其特征在于,所述处理器模块还用于获取装配工具的身份信息,根据所述装配工具的身份信息及待装配配件的身份信息获取预设的装配参数,以使所述装配工具根据所述预设的装配参数装配所述配件。
10.根据权利要求6-9任一项所述的AR眼镜,其特征在于,所述处理器模块还用于在所述配件装配完成后获取所述装配工具的实际装配参数,判断所述实际装配参数与预设的装配参数是否相符,并记录不相符的装配操作信息。
11.一种装配控制系统,其特征在于,包括AR眼镜和服务器,其中:
所述服务器用于获取待装配配件的身份信息;
所述服务器还用于根据所述待装配配件的身份信息确定所述待装配配件的装配位置信息;
所述AR眼镜用于根据所述装配位置信息指示装配工具对待装配配件进行装配。
12.根据权利要求11所述的装配控制系统,其特征在于,所述AR眼镜还用于采集所述待装配配件所在场景的场景图像,所述服务器还用于根据所述场景图像获取所述待装配配件的身份信息。
13.根据权利要求12所述的装配控制系统,其特征在于,所述服务器根据所述场景图像获取所述待装配配件的身份信息具体为:所述服务器根据所述场景图像获取待装配配件的编码信息,根据所述编码信息确定待装配配件的身份信息。
14.根据权利要求11-13任一项所述的装配控制系统,其特征在于,所述服务器还用于获取装配工具的身份信息,根据所述装配工具的身份信息及待装配配件的身份信息获取预设的装配参数,以使所述装配工具根据所述预设的装配参数装配所述配件。
15.根据权利要求11-14任一项所述的装配控制系统,其特征在于,所述服务器还用于在所述配件装配完成后获取所述装配工具的实际装配参数,判断所述实际装配参数与预设的装配参数是否相符,并记录不相符的装配操作信息。
CN201910409348.9A 2019-03-06 2019-05-16 一种装配控制的方法、ar眼镜和系统 Pending CN110221692A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910168855 2019-03-06
CN2019101688558 2019-03-06

Publications (1)

Publication Number Publication Date
CN110221692A true CN110221692A (zh) 2019-09-10

Family

ID=67821268

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910409348.9A Pending CN110221692A (zh) 2019-03-06 2019-05-16 一种装配控制的方法、ar眼镜和系统

Country Status (1)

Country Link
CN (1) CN110221692A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116301390A (zh) * 2023-05-24 2023-06-23 中科航迈数控软件(深圳)有限公司 机床装配指导方法、装置、ar眼镜及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170301137A1 (en) * 2016-04-15 2017-10-19 Superd Co., Ltd. Method, apparatus, and smart wearable device for fusing augmented reality and virtual reality
CN107391984A (zh) * 2017-06-19 2017-11-24 全球能源互联网研究院 一种电力作业处理方法及系统
CN107730589A (zh) * 2017-08-18 2018-02-23 珠海格力电器股份有限公司 一种电器的装配方法、装置、存储设备、移动终端及电器
CN108550190A (zh) * 2018-04-19 2018-09-18 腾讯科技(深圳)有限公司 增强现实数据处理方法、装置、计算机设备和存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170301137A1 (en) * 2016-04-15 2017-10-19 Superd Co., Ltd. Method, apparatus, and smart wearable device for fusing augmented reality and virtual reality
CN107391984A (zh) * 2017-06-19 2017-11-24 全球能源互联网研究院 一种电力作业处理方法及系统
CN107730589A (zh) * 2017-08-18 2018-02-23 珠海格力电器股份有限公司 一种电器的装配方法、装置、存储设备、移动终端及电器
CN108550190A (zh) * 2018-04-19 2018-09-18 腾讯科技(深圳)有限公司 增强现实数据处理方法、装置、计算机设备和存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116301390A (zh) * 2023-05-24 2023-06-23 中科航迈数控软件(深圳)有限公司 机床装配指导方法、装置、ar眼镜及存储介质
CN116301390B (zh) * 2023-05-24 2023-09-15 中科航迈数控软件(深圳)有限公司 机床装配指导方法、装置、ar眼镜及存储介质

Similar Documents

Publication Publication Date Title
CN110223393A (zh) 一种ar眼镜以及一种装配过程管理系统和方法
US9329594B2 (en) Verification methods and systems for use in computer directed assembly and manufacture
US20160334777A1 (en) Numerical controller capable of checking mounting state of tool used for machining
US9823649B2 (en) Vehicle build information system
CN106228744A (zh) 一种装配线电动拧紧枪防错系统
JP5394771B2 (ja) 工程管理システム及びicタグ
CN107423650A (zh) 一种投影式增强现实装配诱导与监测系统及其实现方法
CN110570316A (zh) 训练损伤识别模型的方法及装置
JP2008235504A (ja) 組立品検査装置
CN109414807A (zh) 凸缘的紧固管理方法、紧固管理系统、紧固管理程序和紧固管理装置
CN111045388A (zh) 切削刀具的匹配辨识方法与系统
CN208366871U (zh) 检测系统
CN110221692A (zh) 一种装配控制的方法、ar眼镜和系统
CN110315529A (zh) 机器视觉和机器人安装系统及方法
CN112949457A (zh) 基于增强现实技术的维修方法、装置及系统
CN110224994A (zh) 一种按对角装配控制的方法、ar眼镜和系统
DE102015209896B3 (de) Ermittlung der Roboterachswinkel und Auswahl eines Roboters mit Hilfe einer Kamera
CN110014305A (zh) 一种零件加工的控制方法及装置、系统
US20210035333A1 (en) Operator characteristic-based visual overlays
JP2861014B2 (ja) 物体認識装置
US9842303B2 (en) Method for coupling quality control data of a subassembly of components to a main product assembly
US11717972B2 (en) Workbench system
JP2021086219A (ja) 協調作業システム、解析収集装置および解析プログラム
CN115631525B (zh) 基于人脸边缘点识别的保险即时匹配方法
JP2020194281A (ja) 読取システム、読取方法、プログラム、記憶媒体、及び移動体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190910

RJ01 Rejection of invention patent application after publication