CN110032279A - 一种计算机视觉和增强现实眼镜辅助的航空导线插头装配方法与系统 - Google Patents

一种计算机视觉和增强现实眼镜辅助的航空导线插头装配方法与系统 Download PDF

Info

Publication number
CN110032279A
CN110032279A CN201910264338.0A CN201910264338A CN110032279A CN 110032279 A CN110032279 A CN 110032279A CN 201910264338 A CN201910264338 A CN 201910264338A CN 110032279 A CN110032279 A CN 110032279A
Authority
CN
China
Prior art keywords
aviation
plug
wire
image
conducting wire
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201910264338.0A
Other languages
English (en)
Inventor
郑联语
李树飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN201910264338.0A priority Critical patent/CN110032279A/zh
Publication of CN110032279A publication Critical patent/CN110032279A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/538—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5846—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using extracted text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63—Scene text, e.g. street names
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种计算机视觉和增强现实眼镜辅助的航空导线插头装配方法与系统，包括以下步骤：工业相机在现场场景下捕获航空导线图像，对于成像质量好的图像，采用视觉导线编号检测识别模块识别导线编号内容，对于成像质量差的图像，采用语音识别技术识别导线编号内容，根据识别的编号内容在增强现实眼镜上可视化展示导线插头的装配过程，导线插头安装完成后，采集航空插头图像进行插头孔位识别与编号，检验航空插头的安装状态并可视化展示插头的装配校验结果。该计算机视觉和增强现实眼镜辅助的航空导线插头装配方法与系统设计合理，可视化效果直观，提高了航空导线插头的装配效率。

Description

一种计算机视觉和增强现实眼镜辅助的航空导线插头装配方 法与系统
技术领域
本发明涉及飞机制造智能装配领域，尤其涉及一种计算机视觉和增强现实眼镜辅助的航空导线插头装配方法与系统。
背景技术
在飞机制造中，飞机装配成本和装配工作量约占全机成本与工作量的一半，飞机装配中航空导线插头装配占有较大比重，航空导线插头主要用来连接不同设备之间的电气通信，飞机上航空导线和航空插头种类和数量繁多，每一种航空插头有其独立的安装状态结果。传统的导线插头安装过程中采用手工安装的方法，过程为任取一根导线进行人工识别，然后查找该导线编号对应的航空插头及该航空导线在航空插头上的孔位信息，将导线从航空插头背面安装至航空插头的孔位内中，并对安装完成后的航空插头的孔位装配结果进行检测。该过程繁琐复杂、效率低下，并且容易发生航空导线错装、漏装在航空插头的孔位中，难以适应飞机批量的快速生产需求。
发明内容
本发明提供了一种计算机视觉和增强现实眼镜辅助的航空导线插头装配方法与系统。
为了实现上述目的，本发明采用了如下工作流程：
S1、启动工业相机并初始化，在现场场景下捕获航空导线的图像。
S2、判断航空导线在工业相机下的成像质量。
S3、对于成像质量好的航空导线图像，送入导线编号检测识别模块识别复杂工业场景图像下的导线编号内容。
S4、对于工业相机难以拍摄清晰和成像质量差的航空导线，通过语音识别模块识别导线编号内容。
S5、根据识别的导线编号内容，在数据库中检索该航空导线在航空插头上对应的安装孔位，根据检索结果在增强现实眼镜上展示航空插头的型谱图，可视化指导航空导线在航空插头上的安装位置。
S6、重复执行步骤S1-S5完成该航空插头与航空导线的装配操作。
S7、启动增强现实眼镜的相机并初始化，采集该航空插头的插头正面的图像。
S8、将拍摄的航空插头图像送入插头孔位检测模块，检测复杂工业场景图像中的航空插头、插头孔位和防错销钉，根据识别的防错销钉的阵列特征对识别的插头孔位进行多目标排序并编号，判别每个插头孔位中是否安装航空导线，识别航空插头的真实安装状态。
S9、航空插头的真实安装状态匹配数据库中存储的航空插头的安装状态，判别二者是否保持一致，在增强现实眼镜上可视化展示航空插头的安装检验结果。
优选地，所述S3步骤中的导线编号检测识别模块包括：
S31、采集复杂工业场景下的航空导线的图像制作数据集，训练基于实例分割网络的导线编号检测算法，检测图像中航空导线的编号区域，输出导线编号在图像中所对应的预测编号框。
S32、矫正导线编号的预测编号框，预测编号框的面积向外部扩张2-3倍获得扩展编号框，旋转扩展编号框所包围的倾斜导线编号使其平行于水平方向，从航空导线图像中将旋转后的扩展编号框裁剪下来，针对扩展编号框中的导线编号分别进行水平像素投影和竖直像素投影，根据像素投影的区段以及起始波谷细化导线编号在图像中的位置，得到矫正编号框。
S33、对矫正编号框中的导线编号图像进行像素填充策略，在导线编号图像的两侧填充空值的像素边界，将边界填充后的导线编号图像送入基于深度神经网络的导线编号识别算法，输出航空导线的导线编号内容。
优选地，所述S5步骤中的航空插头的型谱图上方显示航空导线的导线编号内容，型谱图中高亮显示该航空导线对应的安装孔位。
优选地，所述S9步骤中的航空插头的安装检验结果包括两种情况，一是航空导线错误装配到航空插头的插头孔位，二是航空导线未安装到航空插头的插头孔位，在航空插头型谱图中高亮显示错装孔位与漏装孔位。
该发明的有益之处是，采用计算机视觉技术和增强现实眼镜辅助航空导线插头的装配过程，通过视觉识别及语音识别技术识别航空导线的编号内容，根据识别的导线编号内容在数据库中搜寻该航空导线对应的航空插头孔位，增强现实眼镜展示该航空插头的型谱图并高亮安装孔位，可视化指引导线插头安装操作，效果直观且提高了装配效率；航空导线插头装配完成后，捕获航空插头的图像进行插头孔位识别与编号，得知航空插头的真实安装状态，增强现实眼镜展示航空插头中的错装孔位与漏装孔位完成航空插头安装检验，保证了航空导线插头装配的准确性与可靠性，提高了使用性能；航空导线编号检测算法输出的预测编号框难免不够准确精细，导线编号校正算法优化了导线编号的定位精度，设计合理，导线编号像素填充策略保证导线编号位于图像中的中间位置，有利于提高导线编号识别算法的准确率。
附图说明
图1为本发明的辅助航空导线插头装配方法与系统的流程图；
图2为本发明的典型航空插头的展示型谱图；
图3为本发明的典型航空导线插头的装配示意图；
图4为本发明的航空导线编号检测识别模块的流程图；
图5为本发明的航空导线编号矫正算法的示意图。
图中，1、插头正面，2、插头孔位，3、防错销钉，4、航空插头，5、航空导线，11、扩展编号框，12、预测编号框，13、矫正编号框，14、像素边界，31、导线编号内容，32、安装孔位，33、错装孔位，34、漏装孔位。
从图2中可看出典型航空插头型谱图的可视化展示形式与内容。
从图3中可看出典型航空导线插头的装配方式与形状结构。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
在本发明的描述中，需要理解的是，术语“上”、“下”、“前”、“后”、“左”、“右”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
实施例1：
参照图1，一种计算机视觉和增强现实眼镜辅助的航空导线插头装配方法与系统，采用了如下工作流程：
S1、启动工业相机并初始化，参考图3，在现场场景下捕获航空导线5的图像。
S2、判断航空导线5在工业相机下的成像质量。
S3、对于成像质量好的航空导线图像，送入导线编号检测识别模块识别复杂工业场景图像下的导线编号内容31。
S4、对于工业相机难以拍摄清晰和成像质量差的航空导线5，通过语音识别模块识别导线编号内容31。
S5、根据识别的导线编号内容31，在数据库中检索该航空导线5在航空插头4上对应的安装孔位32，参考图2，根据检索结果在增强现实眼镜上展示航空插头4的型谱图，可视化指导航空导线5在航空插头4上的安装位置。
S6、重复执行步骤S1-S5完成该航空插头4与航空导线5的装配操作。
S7、启动增强现实眼镜的相机并初始化，采集该航空插头4的插头正面1的图像。
S8、将拍摄的航空插头图像送入插头孔位检测模块，检测复杂工业场景图像中的航空插头4、插头孔位2和防错销钉3，根据识别的防错销钉3的阵列特征对识别的插头孔位2进行多目标排序并编号，判别每个插头孔位2中是否安装航空导线5，识别航空插头4的真实安装状态。
S9、航空插头4的真实安装状态匹配数据库中存储的航空插头4的安装状态，判别二者是否保持一致，在增强现实眼镜上可视化展示航空插头4的安装检验结果。
为解决航空导线5的导线编号识别问题，参考图4，采集复杂工业场景下的航空导线5的图像制作数据集，训练基于实例分割网络的导线编号检测算法，检测图像中航空导线5的编号区域，输出导线编号在图像中所对应的预测编号框12；参考图5，矫正导线编号的预测编号框12，预测编号框12的面积向外部扩张2-3倍获得扩展编号框11，旋转扩展编号框11所包围的倾斜导线编号使其平行于水平方向，从航空导线图像中将旋转后的扩展编号框11裁剪下来，针对扩展编号框11中的导线编号分别进行水平像素投影和竖直像素投影，根据像素投影的区段以及起始波谷细化导线编号在图像中的位置，得到矫正编号框13；参考图4，对矫正编号框13中的导线编号图像进行像素填充策略，在导线编号图像的两侧填充空值的像素边界14，将边界填充后的导线编号图像送入基于深度神经网络的导线编号识别算法，输出航空导线5的导线编号内容31。
为进一步展示导线插头装配操作的可视化效果与航空插头安装校验操作，所述S5步骤中的航空插头4的型谱图上方显示航空导线5的导线编号内容31，型谱图中高亮显示该航空导线5对应的安装孔位32；所述S9步骤中的航空插头4的安装检验结果包括两种情况，一是航空导线5错误装配到航空插头4的插头孔位2，二是航空导线5未安装到航空插头4的插头孔位2，在航空插头型谱图中高亮显示错装孔位33与漏装孔位34，该发明设计合理，值得大范围推广。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (4)

1.一种基于计算机视觉和增强现实眼镜辅助的航空导线插头装配方法与系统，其特征在于，该方法包含：
S1、启动工业相机并初始化，在现场场景下捕获航空导线的图像；
S2、判断航空导线在工业相机下的成像质量；
S3、对于成像质量好的航空导线图像，送入导线编号检测识别模块识别复杂工业场景图像下的导线编号内容；
S4、对于工业相机难以拍摄清晰和成像质量差的航空导线，通过语音识别模块识别导线编号内容；
S5、根据识别的导线编号内容，在数据库中检索该航空导线在航空插头上对应的安装孔位，根据检索结果在增强现实眼镜上展示航空插头的型谱图，可视化指导航空导线在航空插头上的安装位置；
S6、重复执行步骤S1-S5完成该航空插头与航空导线的装配操作；
S7、启动增强现实眼镜的相机并初始化，采集该航空插头的插头正面的图像；
S8、将拍摄的航空插头图像送入插头孔位检测模块，检测复杂工业场景图像中的航空插头、插头孔位和防错销钉，根据识别的防错销钉的阵列特征对识别的插头孔位进行多目标排序并编号，判别每个插头孔位中是否安装航空导线，识别航空插头的真实安装状态；
S9、航空插头的真实安装状态匹配数据库中存储的航空插头的安装状态，判别二者是否保持一致，在增强现实眼镜上可视化展示航空插头的安装检验结果。
2.如权利要求1所述的一种基于计算机视觉和增强现实眼镜辅助的航空导线插头装配方法与系统，其特征在于，所述S3步骤中的导线编号检测识别模块包括：
S31、采集复杂工业场景下的航空导线的图像制作数据集，训练基于实例分割网络的导线编号检测算法，检测图像中航空导线的编号区域，输出导线编号在图像中所对应的预测编号框；
S32、矫正导线编号的预测编号框，预测编号框的面积向外部扩张2-3倍获得扩展编号框，旋转扩展编号框所包围的倾斜导线编号使其平行于水平方向，从航空导线图像中将旋转后的扩展编号框裁剪下来，针对扩展编号框中的导线编号分别进行水平像素投影和竖直像素投影，根据像素投影的区段以及起始波谷细化导线编号在图像中的位置，得到矫正编号框；
S33、对矫正编号框中的导线编号图像进行像素填充策略，在导线编号图像的两侧填充空值的像素边界，将边界填充后的导线编号图像送入基于深度神经网络的导线编号识别算法，输出航空导线的导线编号内容。
3.如权利要求1所述的一种基于计算机视觉和增强现实眼镜辅助的航空导线插头装配方法与系统，其特征在于：所述S5步骤中的航空插头的型谱图上方显示航空导线的导线编号内容，型谱图中高亮显示该航空导线对应的安装孔位。
4.如权利要求1所述的一种基于计算机视觉和增强现实眼镜辅助的航空导线插头装配方法与系统，其特征在于：所述S9步骤中的航空插头的安装检验结果包括两种情况，一是航空导线错误装配到航空插头的插头孔位，二是航空导线未安装到航空插头的插头孔位，在航空插头型谱图中高亮显示错装孔位与漏装孔位。
CN201910264338.0A 2019-04-03 2019-04-03 一种计算机视觉和增强现实眼镜辅助的航空导线插头装配方法与系统 Withdrawn CN110032279A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910264338.0A CN110032279A (zh) 2019-04-03 2019-04-03 一种计算机视觉和增强现实眼镜辅助的航空导线插头装配方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910264338.0A CN110032279A (zh) 2019-04-03 2019-04-03 一种计算机视觉和增强现实眼镜辅助的航空导线插头装配方法与系统

Publications (1)

Publication Number Publication Date
CN110032279A true CN110032279A (zh) 2019-07-19

Family

ID=67237351

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910264338.0A Withdrawn CN110032279A (zh) 2019-04-03 2019-04-03 一种计算机视觉和增强现实眼镜辅助的航空导线插头装配方法与系统

Country Status (1)

Country Link
CN (1) CN110032279A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110503809A (zh) * 2019-07-26 2019-11-26 北京讯腾智慧科技股份有限公司 一种基于ar设备的燃气浓度检测系统
CN110543149A (zh) * 2019-07-22 2019-12-06 国营芜湖机械厂 一种基于智能眼镜的航空座椅装退弹辅助系统及使用方法
CN110967530A (zh) * 2019-10-15 2020-04-07 国网山东省电力公司电力科学研究院 一种带深度探头的全自动插线装置
CN111242130A (zh) * 2020-01-06 2020-06-05 北京航空航天大学 一种航空插头型谱图自动生成方法
CN112084346A (zh) * 2020-09-11 2020-12-15 上海飞机制造有限公司 用于航空线缆连接器的孔位信息采集装置及采集方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110543149A (zh) * 2019-07-22 2019-12-06 国营芜湖机械厂 一种基于智能眼镜的航空座椅装退弹辅助系统及使用方法
CN110503809A (zh) * 2019-07-26 2019-11-26 北京讯腾智慧科技股份有限公司 一种基于ar设备的燃气浓度检测系统
CN110967530A (zh) * 2019-10-15 2020-04-07 国网山东省电力公司电力科学研究院 一种带深度探头的全自动插线装置
CN110967530B (zh) * 2019-10-15 2021-10-08 国网山东省电力公司电力科学研究院 一种带深度探头的全自动插线装置的使用方法
CN111242130A (zh) * 2020-01-06 2020-06-05 北京航空航天大学 一种航空插头型谱图自动生成方法
CN111242130B (zh) * 2020-01-06 2023-03-03 北京航空航天大学 一种航空插头型谱图自动生成方法
CN112084346A (zh) * 2020-09-11 2020-12-15 上海飞机制造有限公司 用于航空线缆连接器的孔位信息采集装置及采集方法

Similar Documents

Publication Publication Date Title
CN110032279A (zh) 一种计算机视觉和增强现实眼镜辅助的航空导线插头装配方法与系统
CN112534470B (zh) 用于基于图像的目标对象检验的系统及方法
US20180350056A1 (en) Augmented reality application for manufacturing
CN109800697B (zh) 基于VGG-net风格迁移的变压器目标检测与外观缺陷识别方法
CN112990310A (zh) 服务于电力机器人的人工智能系统及方法
CN109409272B (zh) 基于机器视觉的电缆验收系统和方法
CN109559320A (zh) 基于空洞卷积深度神经网络实现视觉slam语义建图功能的方法及系统
JP6516558B2 (ja) 位置情報処理方法
CN110059676B (zh) 一种基于深度学习与多目标分布排序的航空插头孔位识别方法
CN106226325A (zh) 一种基于机器视觉的座椅表面缺陷检测系统及其方法
CN109638959B (zh) 基于ar和深度学习的电力设备遥信功能调试方法及系统
CN107907775A (zh) 接线检测方法及接线检测装置
CN110269550A (zh) 一种门位置识别方法以及移动机器人
CN106254860A (zh) 照相机的校准装置、照相机系统、以及照相机的校准方法
CN103065520A (zh) 倒车入库检测系统及其检测方法
CN112528979B (zh) 变电站巡检机器人障碍物判别方法及系统
WO2018223038A1 (en) Augmented reality application for manufacturing
CN103076007A (zh) 侧方位停车检测系统及其检测方法
CN105096305A (zh) 绝缘子状态分析的方法及装置
CN111064935B (zh) 一种智慧工地人员姿态检测方法及系统
CN112967221A (zh) 一种盾构管片生产与拼装信息管理系统
CN116385421A (zh) 光伏面板检测方法、无人机和计算机可读存储介质
CN113706496B (zh) 一种基于深度学习模型的飞行器结构裂纹检测方法
CN117115063A (zh) 一种多源数据融合应用方法
CN115239893B (zh) 一种用于仓库顶棚太阳能板缺陷检测的图像重建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20190719

WW01 Invention patent application withdrawn after publication