CN107016396B - 一种装配连接件图像特征深度学习与识别方法 - Google Patents

一种装配连接件图像特征深度学习与识别方法 Download PDF

Info

Publication number
CN107016396B
CN107016396B CN201710230640.5A CN201710230640A CN107016396B CN 107016396 B CN107016396 B CN 107016396B CN 201710230640 A CN201710230640 A CN 201710230640A CN 107016396 B CN107016396 B CN 107016396B
Authority
CN
China
Prior art keywords
sample
deep learning
stage
matrix
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710230640.5A
Other languages
English (en)
Other versions
CN107016396A (zh
Inventor
林镇秋
黄瑛娜
杨锦波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Huajie Electronic Technology Co ltd
Original Assignee
Guangzhou Huajie Electronic Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Huajie Electronic Technology Co ltd filed Critical Guangzhou Huajie Electronic Technology Co ltd
Priority to CN201710230640.5A priority Critical patent/CN107016396B/zh
Publication of CN107016396A publication Critical patent/CN107016396A/zh
Application granted granted Critical
Publication of CN107016396B publication Critical patent/CN107016396B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种装配连接件图像特征深度学习与识别方法，包括样本采集阶段、样本深度学习阶段、识别阶段，所述样本采集阶段采集合格图像，由检测人员指定检测样本范围、样本类型，计算水平、垂直最大位移，构建协训练矩阵，获取协样本集；所述样本深度学习阶段，将协样本集输入卷积神经网络进行训练，并计算协样本集的偏差矩阵，修改协训练矩阵并多次迭代使协偏差矩阵满足阈值要求；所述识别阶段，将欲识别的样本输入深度学习阶段得到的卷积神经网络，将可输出其类别。本方法可以实现装配工序的各种连接件自动识别，由人工指定样本位置与类型即可自动学习后进行识别，实现面向不同工件的智能、综合装配质量检测。

Description

一种装配连接件图像特征深度学习与识别方法
技术领域
本发明涉及装配连接件识别方法，尤其涉及一种装配连接件图像特征深度学习与识别方法。
背景技术
装配指按规定的技术要求，将零件或部件进行配合连接，使之成为半成品或成品的工艺过程。装配是产品制造工艺的重要工序，装配的好坏，对产品的质量起决定性作用。讨论装配质量，是在所有装配零件均为合格品、安装正确的前提条件下进行的，故在检测产品装配质量之前，必须检查有无错装和漏装的零件。由于装配零件、联接件多，装配检测对象多样化，对检测技术的准确性、一致性与实时性提出了更高的要求与挑战。
实现装配零部件、连接件检测的经典机器视觉检测方法主要有：基于固有特征的识别方法与基于匹配的检测方法。基于固有特征的识别方法专用性强、灵活性较差，若改变应用对象，则必须由专业视觉检测人员设置检测特征，如汽车活塞装配质量视觉检测系统(ZL201010543006.5)可一次性自动对汽车活塞顶面字符，活塞环装配，石墨层完整性等内容进行基于数字图像的视觉检测；视觉检测方法(201610496560.X)使得在检测待检品的图像上的圆时可以提高圆心和半径提取的准确度以及速度，进而提高提取效率；汽车刹车主缸活塞表面质量机器视觉检测装置(201210348279.3)能实现自动完成活塞表面质量缺陷的快速检测，给出表面质量的检测结果。基于固有特征的识别方法对特定的零部件检测效果好，若对象变化，则必须由专业视觉检测人员重新检测特征，灵活性较差。基于匹配的检测方法可以灵活性较强，对于未提前设定好的情况无法检出，限制了其使用范围。本发明专利利用深度学习提取装配连接件图像特征，可以实现装配工序的各种连接件自动识别，由人工指定样本位置与类型即可自动学习后进行识别，实现面向不同工件的智能、综合装配质量检测。
发明内容
为解决上述技术问题，本发明的目的是提供一种装配连接件图像特征深度学习与识别方法。
本发明的目的通过以下的技术方案来实现：
一种装配连接件图像特征深度学习与识别方法，包括以下步骤：
步骤A样本采集阶段，包括采集合格图像序列(I1,I2…In)，由检测人员指定检测样本范围sc、样本类型C(sc)，计算水平方向最大位移
Figure BDA0001266557710000021
与垂直方向最大位移
Figure BDA0001266557710000022
构建协训练矩阵MX、MY，获取协样本集Sc；
步骤B样本深度学习阶段，包括将协样本集Sc输入卷积神经网络进行训练，并计算协样本集的偏差矩阵Pc，修改协训练矩阵
Figure BDA0001266557710000023
并多次迭代使协偏差矩阵P(i)满足阈值要求；并记录下卷积神经网络结构及各层权重；
步骤C识别阶段，包括将欲识别的样本s输入深度学习阶段得到的卷积神经网络，并可输出其类别C(s)。
与现有技术相比，本发明的一个或多个实施例可以具有如下优点：
本发明提供的方法可以实现装配工序的各种连接件自动识别，由人工指定样本位置与类型即可自动学习后进行识别，实现面向不同工件的智能、综合装配质量检测。
附图说明
图1是装配连接件图像特征深度学习与识别方法流程图；
图2是装配连接件图像特征深度学习程序流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合实施例及附图对本发明作进一步详细的描述。
如图1所示，为装配连接件图像特征深度学习与识别方法流程，所述方法包括如下步骤：
步骤1样本采集阶段，采集合格图像序列(I1,I2…In)，由检测人员指定检测样本范围sc、样本类型C(sc)，计算水平方向最大位移
Figure BDA0001266557710000031
与垂直方向最大位移
Figure BDA0001266557710000032
构建协训练矩阵MX、MY，获取协样本集Sc。
步骤2样本深度学习阶段，将协样本集Sc输入卷积神经网络进行训练，并计算协样本集的偏差矩阵Pc，修改协训练矩阵
Figure BDA0001266557710000033
并多次迭代使协偏差矩阵P(i)满足阈值要求；记录下这时候的卷积神经网络结构及各层权重。
步骤3识别阶段，将欲识别的样本s输入深度学习阶段得到的卷积神经网络，将可输出其类别C(s)。
如图2所示，上述步骤1样本采集阶段具体包括：
采集合格图像序列(I1,I2…In)指设计合适的图像采集装置与限位装置，使采集到的图像序列(I1,I2…In)清晰且定位误差符合设计要求。
水平方向最大位移
Figure BDA0001266557710000034
与垂直方向最大位移
Figure BDA0001266557710000035
采用Canny边缘检测算子对样本sc进行边缘检测，检测到边缘的最小外接矩形到样本左、右、下、上边缘的最小距离即分别为水平方向最大位移
Figure BDA0001266557710000036
与垂直方向最大位移
Figure BDA0001266557710000037
若协样本集Sc样本有I×J个，则在(-1,1)的范围内随机取I×J个权重
Figure BDA0001266557710000038
Figure BDA0001266557710000039
生成协训练矩阵MX、MY，分别为：
Figure BDA00012665577100000310
则样本集Sc为：
Figure BDA00012665577100000311
上述步骤2样本深度学习阶段具体包括：
对于训练完成后的卷积神经网络，输入样本s′C_ij输出的激励向量VC_ij，则样本s′C_ij的偏差pc_ij为：
Figure BDA0001266557710000041
Figure BDA0001266557710000042
样本集Sc的偏差矩阵Pc为：
Figure BDA0001266557710000043
当Pc中所有的元素均符合阈值要求，即认为学习完毕，记录下这时候的卷积神经网络结构及各层权重。
虽然本发明所揭露的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (2)

1.一种装配连接件图像特征深度学习与识别方法，其特征在于，所述方法包括以下步骤：
步骤A样本采集阶段，包括采集合格图像序列(I1,I2…In)，由检测人员指定检测样本范围sc、样本类型C(sc)，计算水平方向最大位移
Figure FDA0002447783980000011
与垂直方向最大位移
Figure FDA0002447783980000012
构建协训练矩阵MX、MY，获取协样本集Sc；
步骤B样本深度学习阶段，包括将协样本集Sc输入卷积神经网络进行训练，并计算协样本集的偏差矩阵Pc，修改协训练矩阵
Figure FDA0002447783980000013
并多次迭代使协偏差矩阵P(i)满足阈值要求；并记录下卷积神经网络结构及各层权重；
步骤C识别阶段，包括将欲识别的样本s输入深度学习阶段得到的卷积神经网络，并可输出其类别C(s)；
所述步骤A具体包括：
所述采集合格图像序列(I1,I2…In)指设计图像采集装置与限位装置，并使采集到的图像序列(I1,I2…In)清晰且定位误差符合设计要求；
所述水平方向最大位移
Figure FDA0002447783980000014
与垂直方向最大位移
Figure FDA0002447783980000015
采用Canny边缘检测算子对样本sc进行边缘检测，检测到边缘的最小外接矩形到样本左、右、下、上边缘的最小距离即分别为水平方向最大位移
Figure FDA0002447783980000016
与垂直方向最大位移
Figure FDA0002447783980000017
若协样本集Sc样本有I×J个，则在(-1,1)的范围内随机取I×J个权重
Figure FDA0002447783980000018
Figure FDA0002447783980000019
生成协训练矩阵MX、MY，分别为：
Figure FDA00024477839800000110
则样本集Sc为：
Figure FDA0002447783980000021
2.如权利要求1所述的装配连接件图像特征深度学习与识别方法，其特征在于，所述步骤B具体包括：
对于训练完成后的卷积神经网络，输入样本s′C_ij输出的激励向量VC_ij，则样本s′C_ij的偏差pc_ij为：
Figure FDA0002447783980000022
Figure FDA0002447783980000023
样本集Sc的偏差矩阵Pc为：
Figure FDA0002447783980000024
当Pc中所有的元素均符合阈值要求，即认为学习完毕，记录下这时候的卷积神经网络结构及各层权重。
CN201710230640.5A 2017-04-11 2017-04-11 一种装配连接件图像特征深度学习与识别方法 Active CN107016396B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710230640.5A CN107016396B (zh) 2017-04-11 2017-04-11 一种装配连接件图像特征深度学习与识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710230640.5A CN107016396B (zh) 2017-04-11 2017-04-11 一种装配连接件图像特征深度学习与识别方法

Publications (2)

Publication Number Publication Date
CN107016396A CN107016396A (zh) 2017-08-04
CN107016396B true CN107016396B (zh) 2020-06-02

Family

ID=59446210

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710230640.5A Active CN107016396B (zh) 2017-04-11 2017-04-11 一种装配连接件图像特征深度学习与识别方法

Country Status (1)

Country Link
CN (1) CN107016396B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109117715B (zh) * 2018-06-27 2021-10-29 淮阴工学院 一种基于ssd模型的建筑图纸非构件识别方法
CN109190721A (zh) * 2018-09-13 2019-01-11 深圳增强现实技术有限公司 紧固件识别方法、系统及电子设备
CN109190575A (zh) * 2018-09-13 2019-01-11 深圳增强现实技术有限公司 装配场景识别方法、系统及电子设备
CN111489356B (zh) * 2020-05-25 2024-01-30 南京航空航天大学苏州研究院 基于视觉的汽车门锁弹簧有无检测方法
CN113049600A (zh) * 2021-03-31 2021-06-29 上汽通用五菱汽车股份有限公司 一种基于视觉检测的发动机零件错漏装检测方法及系统
CN113706506B (zh) * 2021-08-27 2023-07-28 创新奇智(重庆)科技有限公司 一种装配状态检测的方法、装置、电子设备及存储介质
CN117151549B (zh) * 2023-10-31 2023-12-22 南通鸿图健康科技有限公司 健身器材生产质量多维检测方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BR102013004141A2 (pt) * 2013-02-22 2014-10-21 Inst Fed De Educacao Ciencia E Tecnologia Do Ceara Aparato e método para obtenção e interpretação de imagens digitais de superfície e método de monitoramento de efeitos da corrosão em superfícies
CN105809219A (zh) * 2016-03-14 2016-07-27 上海大学 一种隧道预制管片生产线的预制管片质量检测统计系统和方法
CN105891215A (zh) * 2016-03-31 2016-08-24 浙江工业大学 基于卷积神经网络的焊接视觉检测方法及装置
CN106504238A (zh) * 2016-10-31 2017-03-15 成都交大光芒科技股份有限公司 基于图像处理和卷积神经网络的铁路接触网缺陷检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BR102013004141A2 (pt) * 2013-02-22 2014-10-21 Inst Fed De Educacao Ciencia E Tecnologia Do Ceara Aparato e método para obtenção e interpretação de imagens digitais de superfície e método de monitoramento de efeitos da corrosão em superfícies
CN105809219A (zh) * 2016-03-14 2016-07-27 上海大学 一种隧道预制管片生产线的预制管片质量检测统计系统和方法
CN105891215A (zh) * 2016-03-31 2016-08-24 浙江工业大学 基于卷积神经网络的焊接视觉检测方法及装置
CN106504238A (zh) * 2016-10-31 2017-03-15 成都交大光芒科技股份有限公司 基于图像处理和卷积神经网络的铁路接触网缺陷检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
DETECTING CELL ASSEMBLY INTERACTION PATTERNS VIA BAYESIAN BASED CHANGE-POINT DETECTION AND GRAPH INFERENCE MODEL;Zhichao Lian1,Xiang Li, Hongmiao Zhang, Hui Kuang, Kun Xie, Jian;《2014 IEEE 11th International Symposium on Biomedical Imaging (ISBI)》;20140502;17-20 *
基于CNN的工件缺陷检测方法研究及系统设计;乔丽;《中国优秀硕士学位论文全文数据库 信息科技辑 2017 年 第 02 期》;20170215;I138-3469 *
基于机器视觉的发送机活塞装配防错检测技术研究;韩冰;《中国优秀硕士学位论文全文数据库 信息科技辑 2010 年 第 05 期》;20100515;I140-285 *

Also Published As

Publication number Publication date
CN107016396A (zh) 2017-08-04

Similar Documents

Publication Publication Date Title
CN107016396B (zh) 一种装配连接件图像特征深度学习与识别方法
CN107657279B (zh) 一种基于少量样本的遥感目标检测方法
CN111062915A (zh) 一种基于改进YOLOv3模型的实时钢管缺陷检测方法
CN109816725A (zh) 一种基于深度学习的单目相机物体位姿估计方法及装置
CN110473173A (zh) 一种基于深度学习语义分割的缺陷检测方法
CN105574550A (zh) 一种车辆识别方法及装置
CN106610969A (zh) 基于多模态信息的视频内容审查系统及方法
CN108921120B (zh) 一种适应广泛零售场景下的香烟识别方法
CN105574527A (zh) 一种基于局部特征学习的快速物体检测方法
CN103903013A (zh) 一种无标记平面物体识别的优化算法
CN106355579A (zh) 烟条表面褶皱的缺陷检测方法
CN111127417B (zh) 一种基于sift特征匹配和改进ssd算法的印刷缺陷检测方法
CN108875819B (zh) 一种基于长短期记忆网络的物体和部件联合检测方法
CN108052909B (zh) 一种基于心血管oct影像的薄纤维帽斑块自动检测方法和装置
DK2447884T3 (en) A method for the detection and recognition of an object in an image and an apparatus and a computer program therefor
CN105469402B (zh) 基于空间形状上下文特征的汽车零件识别方法
CN113158969A (zh) 一种苹果外观缺陷识别系统及方法
CN111914902A (zh) 一种基于深度神经网络的中药识别与表面缺陷检测方法
CN111126494A (zh) 基于各向异性卷积的图像分类方法及系统
CN101013126A (zh) 用计算机预测木质人造板强度的方法
CN115599844A (zh) 一种飞机翼面连接件错装漏装可视化检测方法
CN110443303B (zh) 基于图像分割和分类的煤岩显微组分智能识别方法
CN111539931A (zh) 一种基于卷积神经网络和边界限定优化的外观异常检测方法
CN113269234B (zh) 一种基于目标检测的连接件装配检测方法和系统
CN111178405A (zh) 一种融合多种神经网络的相似物体识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: A deep learning and recognition method of assembly connector image features

Effective date of registration: 20201215

Granted publication date: 20200602

Pledgee: Bank of China Limited Guangzhou Development Zone Branch

Pledgor: GUANGZHOU HUAJIE ELECTRONIC TECHNOLOGY Co.,Ltd.

Registration number: Y2020440000403

PE01 Entry into force of the registration of the contract for pledge of patent right
PC01 Cancellation of the registration of the contract for pledge of patent right

Date of cancellation: 20211227

Granted publication date: 20200602

Pledgee: Bank of China Limited Guangzhou Development Zone Branch

Pledgor: GUANGZHOU HUAJIE ELECTRONIC TECHNOLOGY Co.,Ltd.

Registration number: Y2020440000403

PC01 Cancellation of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: A depth learning and recognition method for image features of assembly connector

Effective date of registration: 20211229

Granted publication date: 20200602

Pledgee: Bank of China Limited Guangzhou Development Zone Branch

Pledgor: GUANGZHOU HUAJIE ELECTRONIC TECHNOLOGY Co.,Ltd.

Registration number: Y2021980017049

PE01 Entry into force of the registration of the contract for pledge of patent right
PC01 Cancellation of the registration of the contract for pledge of patent right

Date of cancellation: 20230720

Granted publication date: 20200602

Pledgee: Bank of China Limited Guangzhou Development Zone Branch

Pledgor: GUANGZHOU HUAJIE ELECTRONIC TECHNOLOGY Co.,Ltd.

Registration number: Y2021980017049

PC01 Cancellation of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: A deep learning and recognition method for image features of assembly connectors

Effective date of registration: 20230724

Granted publication date: 20200602

Pledgee: Bank of Guangzhou branch of the Bank of Guangzhou Science City Branch

Pledgor: GUANGZHOU HUAJIE ELECTRONIC TECHNOLOGY Co.,Ltd.

Registration number: Y2023980049514

PE01 Entry into force of the registration of the contract for pledge of patent right