CN114323000A - 线缆ar引导装配系统及方法 - Google Patents

线缆ar引导装配系统及方法 Download PDF

Info

Publication number
CN114323000A
CN114323000A CN202111549431.XA CN202111549431A CN114323000A CN 114323000 A CN114323000 A CN 114323000A CN 202111549431 A CN202111549431 A CN 202111549431A CN 114323000 A CN114323000 A CN 114323000A
Authority
CN
China
Prior art keywords
cable
information
real
assembly
position information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111549431.XA
Other languages
English (en)
Other versions
CN114323000B (zh
Inventor
吴钱昊
张红旗
魏一雄
周红桥
郭磊
谢伶俐
郭黎
李广
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CETC 38 Research Institute
Original Assignee
CETC 38 Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CETC 38 Research Institute filed Critical CETC 38 Research Institute
Priority to CN202111549431.XA priority Critical patent/CN114323000B/zh
Publication of CN114323000A publication Critical patent/CN114323000A/zh
Application granted granted Critical
Publication of CN114323000B publication Critical patent/CN114323000B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Landscapes

  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明提供一种线缆AR引导装配系统及方法,涉及线缆装配技术领域。本发明的线缆AR引导装配系统通过AR技术引导装配线缆,当线缆处于摄像头拍摄范围时,通过定位追踪模块获取第二线缆实时位置信息;当线缆处于摄像头拍摄范围外时或摄像头获取信息环境较差时,则通过惯性测量模块对线缆进行运动感测追踪,获取第一线缆实时位置信息,实时路径规划模块根据线缆基础信息、线缆位置变化信息和装配工艺信进行装配路径规划,并将规划完成的路径返回至AR终端设备进行显示,有效减少了装配误差,在狭小的环境对安装过程进行辅助,大大提升了装配效率。

Description

线缆AR引导装配系统及方法
技术领域
本发明涉及线缆装配技术领域,具体涉及一种线缆AR引导装配系统及方法。
背景技术
线缆在工业领域作为产品能量和信号传输的载体,地位至关重要。航天精密产品由很多控制元器件组成,这些元器件涉及线缆和电连接器。在航天产品的装配过程中,存在大量各类型号的线缆,如何确保这些线缆能够正确的被安装到合适的位置至关重要。
现有的线缆装配一般通过技术人员根据装配指导书进行安装。然而在现实环境中,由于空间大小以及光照的限制,线缆装配过程步骤繁琐,以及技术人员对于线缆和插座的熟悉程度等因素,线缆的安装的质量因人而异,良莠不齐,在装配过程中往往存在各种误差,导致装配效率低。
发明内容
(一)解决的技术问题
针对现有技术的不足,本发明提供了一种线缆AR引导装配系统及方法,解决了现有的线缆装配效率低的技术问题。
(二)技术方案
为实现以上目的,本发明通过以下技术方案予以实现:
第一方面,本发明提供一种线缆AR引导装配系统,包括AR终端、识别计算追踪终端和通信模块,所述AR终端和识别计算追踪终端通过所述通信模块进行数据传输,其中:
所述AR终端包括:
摄像头,用于采集含线缆位置信息的图像;
惯性测量模块,用于对线缆进行运动感测追踪,得到第一线缆实时位置信息;
AR显示,用于显示线缆装配的规划路径;
所述识别计算追踪终端包括:
识别模块,用于获取图像中线缆基础信息;
定位追踪模块,用于获取第二线缆实时位置信息;
线缆装配工艺库,用于记录装配工艺信息;
实时路径规划模块,线缆处于摄像头拍摄范围时,实时路径规划模块用于接收所述线缆基础信息、第二线缆实时位置信息和装配工艺信息,并获取规划路径,并所述规划路径传输至AR终端设备进行显示;当线缆处于摄像头拍摄范围外时,实时路径规划模块用于接收所述线缆基础信息、第一线缆实时位置信息和装配工艺信息,并获取规划路径,并所述规划路径传输至AR终端设备进行显示。
优选的,所述定位追踪模块获取第二线缆实时位置信息的过程包括:
读取含线缆位置信息的图像中的图像像素信息,提取图像纹理特征点信息,将纹理特征点信息与目标信息进行匹配,当稳定达到匹配阈值即成功匹配,并根据特征点群的位置变化,实时计算并更新AR终端设备在坐标系中的位置,通过算法提取出图片纹理特征点,包括特征点群及位置关系等信息,构建x坐标范围在[l,r]、y坐标范围在[b,t]、z坐标范围在[n,f]的视域体,采集若干个特征点群,设定出一个原点,确定每个特征点群和这个原点的位置和角度,得到第二线缆实时位置信息。
优选的,所述惯性测量模块安装于装配人员的手套中。
优选的,所述实时路径规划模块进行路径规划的具体过程为:
根据线缆基础信息、第一线缆实时位置信息和装配工艺信息,或者线缆基础信息、第二线缆实时位置信息和装配工艺信息,通过虚拟包围盒方式,将装配人员的手和线缆头位置进行处理,得到运动路径中可通过的最小范围,同时将装配环境中其他物体位置放置虚拟包围盒,当装配环境中虚拟包围盒面之间的距离小于运动路径中可通过的最小范围,则该位置视为装配不可通过部分,同时利用路径规划算法,得到规划路径。
优选的,所述AR显示还用于显示装配结果。
优选的,所述别计算追踪终端还包括匹配反馈模块,
所述匹配反馈模块包括数据处理单元、记忆定位单元、判断单元、报警反馈单元,所述数据处理单元用于接受整合线缆的颜色、直径、标签、第一线缆实时位置信息、第二线缆实时位置信息并将信息发送至记忆定位单元,所述记忆定位单元用于记录数据处理单元发送来的信息,所述判断单元根据记忆定位单元中的信息综合对比分析实际装配的线缆和装配工艺要求中的线缆是否一致,所述判断单元结果为“YES”则将评估结果进行储存,所述判断单元结果为“NO”则生成报警提示信息,通过AR显示部分显示报警信息。
第二方面,本发明提供一种线缆AR引导装配方法,所述方法包括:
S1、控制AR终端设备,利用摄像头、惯性测量模块采集线缆的含线缆位置信息的图像、第一线缆实时位置信息并通过通信模块发送给识别计算追踪终端;
S2、基于含线缆位置信息的图像,识别计算追踪终端的识别模块获取线缆的基础信息,定位追踪模块获取第二线缆实时位置信息;
S3、当线缆处于摄像头拍摄范围时,实时路径规划模块将线缆装配工艺库信息、第二线缆实时位置信息和线缆的基础信息,利用虚拟包围盒和路径规划算法,实时得到线缆的规划路径,并将规划路径回至AR终端设备,通过动画实时显示引导;当线缆处于摄像头拍摄范围外时,实时路径规划模块用于接收所述线缆基础信息、第一线缆实时位置信息和装配工艺信息,利用虚拟包围盒和路径规划算法,实时得到线缆的规划路径,并将规划路径回至AR终端设备,通过动画实时显示引导。
优选的,所述定位追踪模块获取第二线缆实时位置信息,包括:
读取含线缆位置信息的图像中的图像像素信息,提取图像纹理特征点信息,将纹理特征点信息与目标信息进行匹配,当稳定达到匹配阈值即成功匹配,并根据特征点群的位置变化,实时计算并更新AR终端设备在坐标系中的位置,通过算法提取出图片纹理特征点,包括特征点群及位置关系等信息,构建x坐标范围在[l,r]、y坐标范围在[b,t]、z坐标范围在[n,f]的视域体,采集若干个特征点群,设定出一个原点,确定每个特征点群和这个原点的位置和角度,得到第二线缆实时位置信息。
优选的,所述S3包括:
根据线缆基础信息、第一线缆实时位置信息和装配工艺信息,或者线缆基础信息、第二线缆实时位置信息和装配工艺信息,通过虚拟包围盒方式,将装配人员的手和线缆头位置进行处理,得到运动路径中可通过的最小范围,同时将装配环境中其他物体位置放置虚拟包围盒,当装配环境中虚拟包围盒面之间的距离小于运动路径中可通过的最小范围,则该位置视为装配不可通过部分,同时利用路径规划算法,得到规划路径。
优选的,所述方法还包括:
S4、当装配人员将线缆头装配至插头位置并将手离开线缆时,匹配反馈模块判断对比线缆的基础信息和线缆装配工艺库信息,判断单元结果为相匹配则将评估结果进行储存,判断单元结果不匹配则生成报警提示信息,通过AR显示部分显示报警信息。
(三)有益效果
本发明提供了一种线缆AR引导装配系统及方法。与现有技术相比,具备以下有益效果:
本发明的线缆AR引导装配系统通过AR技术引导装配线缆,当线缆处于摄像头拍摄范围时,通过定位追踪模块获取第二线缆实时位置信息;当线缆处于摄像头拍摄范围外时或摄像头获取信息环境较差时,则通过惯性测量模块对线缆进行运动感测追踪,获取第一线缆实时位置信息,实时路径规划模块根据线缆基础信息、线缆位置变化信息(第一线缆实时位置信息、第二线缆实时位置信息)和装配工艺信进行装配路径规划,并将规划完成的路径返回至AR终端设备进行显示,有效减少了装配误差,在狭小的环境对安装过程进行辅助,大大提升了装配效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例一种线缆AR引导装配系统的框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本申请实施例通过提供一种线缆AR引导装配系统,解决了现有的线缆装配效率低的技术问题,实现实时精确规划装配路径引导,减少装配误差,提升装配效率。
本申请实施例中的技术方案为解决上述技术问题,总体思路如下:
本发明实施例的线缆AR引导装配系统,可以根据线缆装配工艺要求,识别线缆位置,并通过实时装配引导动画对装配人员进行装配引导。在装配的过程中,系统通过视觉定位和传感器两种方式对线缆位置进行定位,从而实现实时精确规划装配路径引导。在装配结束阶段,通过视觉检测方法对线缆装配正确性进行检测,能够有效减少装配误差,极大提升了装配效率。
为了更好的理解上述技术方案,下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。
本发明实施例提供一种线缆AR引导装配系统,包括AR终端、识别计算追踪终端以及实现AR终端和识别计算追踪终端通数据传输的通信模块。AR终端包括:摄像头、惯性测量模块和AR显示,上述摄像头用于采集含线缆位置信息的图像,上述惯性测量模块用于对线缆进行运动感测追踪,得到第一线缆实时位置信息,上述AR显示用于线缆装配的规划路径的显示。
识别计算追踪终端包括:识别模块、定位追踪模块、线缆装配工艺库和实时路径规划模块,上述识别模块用于识别图像中线缆基础信息,定位追踪模块用于获取第二线缆实时位置信息,线缆装配工艺库用于记录装配工艺信息;实时路径规划模块用于接收所述线缆基础信息、第一线缆实时位置信息、第二线缆实时位置信息和装配工艺信息,根据这些信息进行装配路径规划,并将规划完成的路径返回至AR终端设备进行显示。
本发明实施例的线缆AR引导装配系统通过AR技术引导装配线缆,当线缆处于摄像头拍摄范围时,通过定位追踪模块获取第二线缆实时位置信息;当线缆处于摄像头拍摄范围外时或摄像头获取信息环境较差时,则通过惯性测量模块对线缆进行运动感测追踪,获取第一线缆实时位置信息,实时路径规划模块根据线缆基础信息、线缆位置变化信息和装配工艺信进行装配路径规划,并将规划完成的路径返回至AR终端设备进行显示,有效减少了装配误差,在狭小的环境对安装过程进行辅助,大大提升了装配效率。
下面对线缆AR引导装配系统各个组成部分进行详细描述。
如图1所示,本发明实施例的线缆AR引导装配系统包括三大部分:
(1)AR终端
AR终端主要包括摄像头、惯性测量模块和AR显示。
摄像头包括常规摄像头和深度相机,可以获得RGB图像和深度图像,能够得到位置信息。
惯性测量模块对线缆进行运动感测追踪,获取第一线缆实时位置信息,惯性测量模块可装于装配人员的手套中。当线缆处于摄像头拍摄范围时,通过定位追踪模块获取线缆特征点信息,并将特征点位置从二维图像映射至三维空间中;当线缆处于摄像头拍摄范围外时或摄像头获取信息环境较差时,则通过惯性测量模块对线缆进行运动感测追踪,获取线缆的实时位置信息。
AR显示主要包括AR眼镜,用于线缆装配的规划路径及装配结果显示。
(2)识别计算追踪终端
识别计算追踪终端包括识别模块、定位追踪模块、线缆装配工艺库、实时路径规划模块以及匹配反馈模块。
识别模块包括颜色识别单元、直径识别单元、标签识别单元,所述颜色识别单元用于识别图像中线缆的颜色,所述直径识别单元用于识别图像中线缆的直径,所述标签识单元块用于识别线缆上的标签信息。线缆的颜色、直径和标签信息均为线缆基础信息。
定位追踪模块用于根据含线缆位置信息的图像获取第二线缆实时位置信息。具体为:读取含线缆位置信息的图像中的图像像素信息,提取图像纹理特征点信息,将纹理特征点信息与目标信息进行匹配,当稳定达到匹配阈值即成功匹配,并根据特征点群的位置变化,实时计算并更新AR终端设备在坐标系中的位置,通过算法提取出图片纹理特征点,包括特征点群及位置关系等信息,构建x坐标范围在[l,r]、y坐标范围在[b,t]、z坐标范围在[n,f]的视域体,采集若干个特征点群,设定出一个原点,确定每个特征点群和这个原点的位置和角度,构建特征点目标信息,即第二线缆实时位置信息。需要说明的是,由于线缆具有一定的长度,在本发明实施例中选择线缆插头的位置作为线缆位置。
上述目标信息的获取过程包括:
采用基于深度学习的目标检测方法进行目标信息识别,其过程主要包括:获取需要识别的线缆的数据集,一般通过在实际应用场景中对线缆从不同角度和形状进行拍摄图片,考虑到工人在真的工作环境中一次只能组装一根电缆,所以在每幅图像中只拍摄了一条电缆。然后利用数据集进行网络训练,网络训练采用随机梯度下降优化算法。最后利用训练完成的深度学习网络进行线缆目标识别。
线缆装配工艺库用于记录线缆的装配序列、装配要求及装配位置等装配工艺信息。
实时路径规划模块与识别模块、定位追踪模块、线缆装配工艺库连接,接收线缆基础信息、第一线缆实时位置信息、第二线缆实时位置信息和装配工艺信息,根据这些信息进行装配路径规划,并将规划完成的路径返回至AR终端设备进行显示。具体包括:根据线缆基础信息、第一线缆实时位置信息、第二线缆实时位置信息和装配工艺信息,通过虚拟包围盒方式(采用虚拟的几何体将装配人员的手和线缆插头部分进行包裹,根据深度相机获取目标的点云数据信息,根据点云数据中最大的X、Y、Z轴的最大数据确定虚拟包围盒的大小,该技术为现有技术,此处不再赘述),将装配人员的手和线缆头位置进行处理,得到运动路径中可通过的最小范围,同时将装配环境中其他物体位置放置虚拟包围盒,当装配环境中虚拟包围盒面之间的距离小于运动路径中可通过的最小范围,则该位置视为装配不可通过部分,同时利用路径规划算法,得到实时最佳线缆装配路径。
路径规划算法具体包括:利用深度相机对装配环境进行构建,将线缆位置作为起始位置,线缆目标装配位置作为结束位置,通过搜索算法,得到最小距离的装配人员手部和线缆可通行的线缆装配路径,同时,线缆位置由于实时更新,路径规划算法也会根据新的起始位置进行计算搜索。
匹配反馈模块包括数据处理单元、记忆定位单元、判断单元和报警反馈单元。数据处理单元用于接受整合线缆的颜色、直径、标签、第一线缆实时位置信息、第二线缆实时位置信息并将这些信息发送至记忆定位单元,所述记忆定位单元用于记录数据处理单元发送过来的信息,所述判断单元根据颜色、直径、标签、位置各方面信息综合对比分析实际装配的线缆和线缆装配工艺库中装配工艺要求中的线缆是否一致,所述判断单元结果为“YES”则将评估结果进行储存,所述判断单元结果为“NO”则生成报警提示信息并将报警提示信息发送至报警单元,报警单元接受报警提示信息并常亮提示灯警示,通过AR显示部分显示报警信息,包括但不限于装配线缆头部分进行高亮、闪光、报警灯、报警铃声等方法对装配人员进行提醒。
(3)通信模块
通信模块通过无线通信连接AR终端和识别计算追踪终端,实现AR终端和识别计算追踪终端的数据传输。
本发明实施例还提供一种线缆AR引导装配方法,包括步骤S1~S4:
S1、控制AR终端设备,利用摄像头、惯性测量模块采集线缆的含线缆位置信息的图像、第一线缆实时位置信息并通过通信模块发送给识别计算追踪终端;
S2、基于含线缆位置信息的图像,识别计算追踪终端的识别模块获取线缆的基础信息,定位追踪模块获取第二线缆实时位置信息;
S3、实时路径规划模块将线缆装配工艺库信息与第一线缆实时位置信息、第二线缆实时位置信息和线缆的基础信息,利用虚拟包围盒和路径规划算法,实时得到线缆的规划路径,并将规划路径回至AR终端设备,通过动画实时显示引导。
S4、当装配人员将线缆头装配至插头位置并将手离开线缆时,匹配反馈模块判断对比线缆的基础信息和线缆装配工艺库信息,判断单元结果为相匹配则将评估结果进行储存,判断单元结果不匹配则生成报警提示信息,通过AR显示部分显示报警信息。
理解的是,本发明实施例提供的线缆AR引导装配方法与上述基于线缆AR引导装配系统相对应,其有关内容的解释、举例、有益效果等部分可以参考线缆AR引导装配方法中的相应内容,此处不再赘述。
综上所述,与现有技术相比,具备以下有益效果:
本发明实施例的线缆AR引导装配系统通过AR技术引导装配线缆,当线缆处于摄像头拍摄范围时,通过定位追踪模块获取第二线缆实时位置信息;当线缆处于摄像头拍摄范围外时或摄像头获取信息环境较差时,则通过惯性测量模块对线缆进行运动感测追踪,获取第一线缆实时位置信息,实时路径规划模块根据线缆基础信息、线缆位置变化信息(第一线缆实时位置信息、第二线缆实时位置信息)和装配工艺信进行装配路径规划,并将规划完成的路径返回至AR终端设备进行显示,有效减少了装配误差,在狭小的环境对安装过程进行辅助,大大提升了装配效率。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种线缆AR引导装配系统,其特征在于,包括AR终端、识别计算追踪终端和通信模块,所述AR终端和识别计算追踪终端通过所述通信模块进行数据传输,其中:
所述AR终端包括:
摄像头,用于采集含线缆位置信息的图像;
惯性测量模块,用于对线缆进行运动感测追踪,得到第一线缆实时位置信息;
AR显示,用于显示线缆装配的规划路径;
所述识别计算追踪终端包括:
识别模块,用于获取图像中线缆基础信息;
定位追踪模块,用于获取第二线缆实时位置信息;
线缆装配工艺库,用于记录装配工艺信息;
实时路径规划模块,线缆处于摄像头拍摄范围时,实时路径规划模块用于接收所述线缆基础信息、第二线缆实时位置信息和装配工艺信息,并获取规划路径,并所述规划路径传输至AR终端设备进行显示;当线缆处于摄像头拍摄范围外时,实时路径规划模块用于接收所述线缆基础信息、第一线缆实时位置信息和装配工艺信息,并获取规划路径,并所述规划路径传输至AR终端设备进行显示。
2.如权利要求1所述的线缆AR引导装配系统,其特征在于,所述定位追踪模块获取第二线缆实时位置信息的过程包括:
读取含线缆位置信息的图像中的图像像素信息,提取图像纹理特征点信息,将纹理特征点信息与目标信息进行匹配,当稳定达到匹配阈值即成功匹配,并根据特征点群的位置变化,实时计算并更新AR终端设备在坐标系中的位置,通过算法提取出图片纹理特征点,包括特征点群及位置关系等信息,构建x坐标范围在[l,r]、y坐标范围在[b,t]、z坐标范围在[n,f]的视域体,采集若干个特征点群,设定出一个原点,确定每个特征点群和这个原点的位置和角度,得到第二线缆实时位置信息。
3.如权利要求1所述的线缆AR引导装配系统,其特征在于,所述惯性测量模块安装于装配人员的手套中。
4.如权利要求1所述的线缆AR引导装配系统,其特征在于,所述实时路径规划模块进行路径规划的具体过程为:
根据线缆基础信息、第一线缆实时位置信息和装配工艺信息,或者线缆基础信息、第二线缆实时位置信息和装配工艺信息,通过虚拟包围盒方式,将装配人员的手和线缆头位置进行处理,得到运动路径中可通过的最小范围,同时将装配环境中其他物体位置放置虚拟包围盒,当装配环境中虚拟包围盒面之间的距离小于运动路径中可通过的最小范围,则该位置视为装配不可通过部分,同时利用路径规划算法,得到规划路径。
5.如权利要求1所述的线缆AR引导装配系统,其特征在于,所述AR显示还用于显示装配结果。
6.如权利要求1~5任一所述的线缆AR引导装配系统,其特征在于,所述别计算追踪终端还包括匹配反馈模块,
所述匹配反馈模块包括数据处理单元、记忆定位单元、判断单元、报警反馈单元,所述数据处理单元用于接受整合线缆的颜色、直径、标签、第一线缆实时位置信息、第二线缆实时位置信息并将信息发送至记忆定位单元,所述记忆定位单元用于记录数据处理单元发送来的信息,所述判断单元根据记忆定位单元中的信息综合对比分析实际装配的线缆和装配工艺要求中的线缆是否一致,所述判断单元结果为“YES”则将评估结果进行储存,所述判断单元结果为“NO”则生成报警提示信息,通过AR显示部分显示报警信息。
7.一种线缆AR引导装配方法,其特征在于,所述方法包括:
S1、控制AR终端设备,利用摄像头、惯性测量模块采集线缆的含线缆位置信息的图像、第一线缆实时位置信息并通过通信模块发送给识别计算追踪终端;
S2、基于含线缆位置信息的图像,识别计算追踪终端的识别模块获取线缆的基础信息,定位追踪模块获取第二线缆实时位置信息;
S3、当线缆处于摄像头拍摄范围时,实时路径规划模块将线缆装配工艺库信息、第二线缆实时位置信息和线缆的基础信息,利用虚拟包围盒和路径规划算法,实时得到线缆的规划路径,并将规划路径回至AR终端设备,通过动画实时显示引导;当线缆处于摄像头拍摄范围外时,实时路径规划模块用于接收所述线缆基础信息、第一线缆实时位置信息和装配工艺信息,利用虚拟包围盒和路径规划算法,实时得到线缆的规划路径,并将规划路径回至AR终端设备,通过动画实时显示引导。
8.如权利要求7所述的线缆AR引导装配方法,其特征在于,所述定位追踪模块获取第二线缆实时位置信息,包括:
读取含线缆位置信息的图像中的图像像素信息,提取图像纹理特征点信息,将纹理特征点信息与目标信息进行匹配,当稳定达到匹配阈值即成功匹配,并根据特征点群的位置变化,实时计算并更新AR终端设备在坐标系中的位置,通过算法提取出图片纹理特征点,包括特征点群及位置关系等信息,构建x坐标范围在[l,r]、y坐标范围在[b,t]、z坐标范围在[n,f]的视域体,采集若干个特征点群,设定出一个原点,确定每个特征点群和这个原点的位置和角度,得到第二线缆实时位置信息。
9.如权利要求7~8任一所述的线缆AR引导装配方法,其特征在于,所述S3包括:
根据线缆基础信息、第一线缆实时位置信息和装配工艺信息,或者线缆基础信息、第二线缆实时位置信息和装配工艺信息,通过虚拟包围盒方式,将装配人员的手和线缆头位置进行处理,得到运动路径中可通过的最小范围,同时将装配环境中其他物体位置放置虚拟包围盒,当装配环境中虚拟包围盒面之间的距离小于运动路径中可通过的最小范围,则该位置视为装配不可通过部分,同时利用路径规划算法,得到规划路径。
10.如权利要求7~8任一所述的线缆AR引导装配方法,其特征在于,所述方法还包括:
S4、当装配人员将线缆头装配至插头位置并将手离开线缆时,匹配反馈模块判断对比线缆的基础信息和线缆装配工艺库信息,判断单元结果为相匹配则将评估结果进行储存,判断单元结果不匹配则生成报警提示信息,通过AR显示部分显示报警信息。
CN202111549431.XA 2021-12-17 2021-12-17 线缆ar引导装配系统及方法 Active CN114323000B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111549431.XA CN114323000B (zh) 2021-12-17 2021-12-17 线缆ar引导装配系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111549431.XA CN114323000B (zh) 2021-12-17 2021-12-17 线缆ar引导装配系统及方法

Publications (2)

Publication Number Publication Date
CN114323000A true CN114323000A (zh) 2022-04-12
CN114323000B CN114323000B (zh) 2023-06-09

Family

ID=81052057

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111549431.XA Active CN114323000B (zh) 2021-12-17 2021-12-17 线缆ar引导装配系统及方法

Country Status (1)

Country Link
CN (1) CN114323000B (zh)

Citations (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103678828A (zh) * 2013-12-31 2014-03-26 北京理工大学 一种柔性线缆的自动布局方法及装置
CN104820764A (zh) * 2015-05-26 2015-08-05 中国电子科技集团公司第三十八研究所 电子装联工艺文件的制作方法和装置
WO2018102772A1 (en) * 2016-12-01 2018-06-07 FLIR Belgium BVBA System and method for augmented reality comprising labels
CN108235735A (zh) * 2017-12-20 2018-06-29 深圳前海达闼云端智能科技有限公司 一种定位方法、装置及电子设备、计算机程序产品
CN108664722A (zh) * 2018-05-04 2018-10-16 北京卫星环境工程研究所 基于增强现实的卫星电缆铺设导引系统及导引方法
CN108759815A (zh) * 2018-04-28 2018-11-06 温州大学激光与光电智能制造研究院 一种用于全局视觉定位方法中的信息融合组合导航方法
CN109584361A (zh) * 2018-12-08 2019-04-05 中国科学院长春光学精密机械与物理研究所 一种装备电缆虚拟预装和轨迹测量方法及系统
CN109597410A (zh) * 2018-11-28 2019-04-09 北京航天自动控制研究所 一种自主路径规划的可移动测试台及自主寻路方法
CN208766661U (zh) * 2018-08-22 2019-04-19 广州供电局有限公司 电缆路径规划装置
US10366521B1 (en) * 2017-03-15 2019-07-30 Amazon Technologies, Inc. Augmented reality assembly assistance and monitoring
US20190251356A1 (en) * 2015-11-13 2019-08-15 FLIR Belgium BVBA Augmented reality labels systems and methods
CN110253570A (zh) * 2019-05-27 2019-09-20 浙江工业大学 基于视觉的工业机械臂人机安全系统
CN110553648A (zh) * 2018-06-01 2019-12-10 北京嘀嘀无限科技发展有限公司 一种用于室内导航的方法和系统
CN110866332A (zh) * 2019-10-29 2020-03-06 中国电子科技集团公司第三十八研究所 一种复杂线缆组件装配方法及系统
CN110928418A (zh) * 2019-12-11 2020-03-27 北京航空航天大学 一种基于mr的航空线缆辅助装配方法及系统
KR20200098918A (ko) * 2019-02-13 2020-08-21 한국항공우주산업 주식회사 케이블 어셈블리용 증강 현실 시스템
CN111582274A (zh) * 2020-05-11 2020-08-25 南京航空航天大学 一种基于标识物的导线布线虚拟引导方法
CN111968228A (zh) * 2020-06-28 2020-11-20 成都飞机工业(集团)有限责任公司 一种基于航空装配的增强现实自定位方法
CN112356851A (zh) * 2020-04-22 2021-02-12 青岛慧拓智能机器有限公司 一种无人驾驶矿车骑坑规划方法
CN112734945A (zh) * 2021-03-30 2021-04-30 上海交大智邦科技有限公司 一种基于增强现实的装配引导方法、系统及应用
US11029671B1 (en) * 2018-08-22 2021-06-08 Automated Wiring Systems, LLC Integrated wire harness batch production using augmented reality
US20210206459A1 (en) * 2018-09-20 2021-07-08 FLIR Belgium BVBA Video sensor fusion and model based virtual and augmented reality systems and methods
CN113298003A (zh) * 2021-06-03 2021-08-24 北京安达维尔科技股份有限公司 一种基于ar的航空电缆装配系统及方法
CN113516779A (zh) * 2021-06-17 2021-10-19 北京机械设备研究所 一种面向增强现实的电缆铺设工艺设计与引导系统及方法

Patent Citations (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103678828A (zh) * 2013-12-31 2014-03-26 北京理工大学 一种柔性线缆的自动布局方法及装置
CN104820764A (zh) * 2015-05-26 2015-08-05 中国电子科技集团公司第三十八研究所 电子装联工艺文件的制作方法和装置
US20190251356A1 (en) * 2015-11-13 2019-08-15 FLIR Belgium BVBA Augmented reality labels systems and methods
WO2018102772A1 (en) * 2016-12-01 2018-06-07 FLIR Belgium BVBA System and method for augmented reality comprising labels
US10366521B1 (en) * 2017-03-15 2019-07-30 Amazon Technologies, Inc. Augmented reality assembly assistance and monitoring
CN108235735A (zh) * 2017-12-20 2018-06-29 深圳前海达闼云端智能科技有限公司 一种定位方法、装置及电子设备、计算机程序产品
CN108759815A (zh) * 2018-04-28 2018-11-06 温州大学激光与光电智能制造研究院 一种用于全局视觉定位方法中的信息融合组合导航方法
CN108664722A (zh) * 2018-05-04 2018-10-16 北京卫星环境工程研究所 基于增强现实的卫星电缆铺设导引系统及导引方法
CN110553648A (zh) * 2018-06-01 2019-12-10 北京嘀嘀无限科技发展有限公司 一种用于室内导航的方法和系统
CN208766661U (zh) * 2018-08-22 2019-04-19 广州供电局有限公司 电缆路径规划装置
US11029671B1 (en) * 2018-08-22 2021-06-08 Automated Wiring Systems, LLC Integrated wire harness batch production using augmented reality
US20210206459A1 (en) * 2018-09-20 2021-07-08 FLIR Belgium BVBA Video sensor fusion and model based virtual and augmented reality systems and methods
CN109597410A (zh) * 2018-11-28 2019-04-09 北京航天自动控制研究所 一种自主路径规划的可移动测试台及自主寻路方法
CN109584361A (zh) * 2018-12-08 2019-04-05 中国科学院长春光学精密机械与物理研究所 一种装备电缆虚拟预装和轨迹测量方法及系统
KR20200098918A (ko) * 2019-02-13 2020-08-21 한국항공우주산업 주식회사 케이블 어셈블리용 증강 현실 시스템
CN110253570A (zh) * 2019-05-27 2019-09-20 浙江工业大学 基于视觉的工业机械臂人机安全系统
CN110866332A (zh) * 2019-10-29 2020-03-06 中国电子科技集团公司第三十八研究所 一种复杂线缆组件装配方法及系统
CN110928418A (zh) * 2019-12-11 2020-03-27 北京航空航天大学 一种基于mr的航空线缆辅助装配方法及系统
CN112356851A (zh) * 2020-04-22 2021-02-12 青岛慧拓智能机器有限公司 一种无人驾驶矿车骑坑规划方法
CN111582274A (zh) * 2020-05-11 2020-08-25 南京航空航天大学 一种基于标识物的导线布线虚拟引导方法
CN111968228A (zh) * 2020-06-28 2020-11-20 成都飞机工业(集团)有限责任公司 一种基于航空装配的增强现实自定位方法
CN112734945A (zh) * 2021-03-30 2021-04-30 上海交大智邦科技有限公司 一种基于增强现实的装配引导方法、系统及应用
CN113298003A (zh) * 2021-06-03 2021-08-24 北京安达维尔科技股份有限公司 一种基于ar的航空电缆装配系统及方法
CN113516779A (zh) * 2021-06-17 2021-10-19 北京机械设备研究所 一种面向增强现实的电缆铺设工艺设计与引导系统及方法

Non-Patent Citations (17)

* Cited by examiner, † Cited by third party
Title
ANDREY V.KUDRYAVTSEV等: "Stereovision-based control for automated MOEMS assembly", 2015 IEEE/RSJ INTERNATIONAL CONFERENCE ON INTELLIGENT ROBOTS AND SYSTEMS(IROS) *
BLESER G,DAMEN D,BEHERA A等: "Cognitive learning,monitoring and assistance of industrial workflows using egocentric sensor networks", PLO S ONE *
HAILONG YANG等: "Research on Satellite Cable Laying and Assembly Guidance Technology Based on Augmented Reality", 2021 40TH CHINESE CONTROL CONFERENCE(CCC) *
J.Y.CHANG等: "Machine Vision Assistance for Flex Cable-Actuator Comb Manufacturing in Hard Disk Drives", 2008 15TH INTERNATIONAL CONFERENCE ON MECHATRONICS AND MACHINE VISION IN PRACTICE *
YAQIONG GONG等: "An Interactive Task Modeling Method for the Development of Augmented Reality Maintenance Guiding System", 2019 11TH INTERNATIONAL CONFERENCE ON INTELLIGENT HUMAN-MACHINE SYSTEMS AND CYBERNETICS(IHMSC) *
丁红宇等: "机械产品虚拟装配标准研究", 机械工业标准化与质量 *
于海霞;王家骐;: "虚拟装配技术的研究综述", 电脑知识与技术 *
刘检华;万毕乐;宁汝新;: "虚拟环境下基于离散控制点的线缆装配规划技术", 机械工程学报 *
刘睿;范秀敏;尹旭悦;王磊;: "面向手工装配的线缆目标图像分割方法", 计算机辅助设计与图形学学报 *
尹旭悦;范秀敏;王磊;邱凯;刘睿;: "航天产品装配作业增强现实引导训练系统及应用", 航空制造技术 *
李正睿等: "基于增强现实的航天产品装调指导系统", 电子工艺技术 *
王发麟;郭宇;查珊珊;: "复杂机电产品线缆虚实融合装配体系构建及其关键技术", 图学学报 *
范志鹏: "面向线缆装配引导的AR跟踪注册方法研究", 中国优秀硕士学位论文全文数据库 (工程科技Ⅱ辑) *
赵新灿;左洪福;: "基于自然特征的增强现实注册算法", 华南理工大学学报(自然科学版) *
陈华俊;陈畅宇;孙刚;万毕乐;: "增强现实在航天器电缆装配中的应用技术研究", 科技与创新 *
魏一雄等: "面向运维服务的增强/混合现实远程标注技术", 中国科技信息 *
黄丽琼;周立勇;尚婷婷;: "基于图像和惯性的头盔组合跟踪原理", 火力与指挥控制 *

Also Published As

Publication number Publication date
CN114323000B (zh) 2023-06-09

Similar Documents

Publication Publication Date Title
US9448758B2 (en) Projecting airplane location specific maintenance history using optical reference points
CN109074085B (zh) 一种自主定位和地图建立方法、装置和机器人
CN109934093B (zh) 一种识别货架商品的方法、计算机可读介质及识别系统
CN108647553A (zh) 模型训练用图像的快速扩充方法、系统、设备及存储介质
CN111325796A (zh) 用于确定视觉设备的位姿的方法和装置
CN106162144A (zh) 一种用于夜视环境的视觉图像处理设备、系统和智能机器
CN110136186B (zh) 一种用于移动机器人目标测距的检测目标匹配方法
KR102075844B1 (ko) 다종 센서 기반의 위치인식 결과들을 혼합한 위치 측위 시스템 및 방법
CN110555879B (zh) 一种空间定位方法、其装置、其系统及计算机可读介质
CN115752462A (zh) 楼宇内重点巡检目标巡检方法、系统、电子设备和介质
US10109111B2 (en) Providing mounting information for assembly of connectable components
CN115719436A (zh) 模型训练方法、目标检测方法、装置、设备以及存储介质
CN112987002A (zh) 一种障碍物危险性识别方法、系统及装置
CN109903308B (zh) 用于获取信息的方法及装置
CN114323000A (zh) 线缆ar引导装配系统及方法
JP7432078B2 (ja) 仮想情報がオーバーレイされたポータブルディスプレイデバイス
CN111882601B (zh) 定位方法、装置及设备
CN112153320B (zh) 一种物品尺寸的测量方法、装置、电子设备和存储介质
EP4016384A1 (en) Method, apparatus and system for identifying item on shelf
EP3751371A1 (en) Alignment of plant models in augmented reality
US20220088784A1 (en) Method and Apparatus for Monitoring Robot System
Nguyen et al. An algorithm using YOLOv4 and DeepSORT for tracking vehicle speed on highway
CN111928852A (zh) 一种基于led位置编码的室内机器人定位方法及系统
CN112578338B (zh) 声源定位方法、装置、设备及存储介质
CN111310585B (zh) 用于生成信息的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant