CN114119489A - 一种电连接器多余物及缩针倒针缺陷自动化检测方法 - Google Patents

一种电连接器多余物及缩针倒针缺陷自动化检测方法 Download PDF

Info

Publication number
CN114119489A
CN114119489A CN202111271995.1A CN202111271995A CN114119489A CN 114119489 A CN114119489 A CN 114119489A CN 202111271995 A CN202111271995 A CN 202111271995A CN 114119489 A CN114119489 A CN 114119489A
Authority
CN
China
Prior art keywords
image
pin
electric connector
defects
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111271995.1A
Other languages
English (en)
Inventor
王冠
王伟
李璨
刘巧珍
吉彬
朱骋
王潇宇
刘存秋
范浩鑫
余锋祥
何巍
续堃
徐西宝
王筱宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Astronautical Systems Engineering
Original Assignee
Beijing Institute of Astronautical Systems Engineering
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Astronautical Systems Engineering filed Critical Beijing Institute of Astronautical Systems Engineering
Priority to CN202111271995.1A priority Critical patent/CN114119489A/zh
Publication of CN114119489A publication Critical patent/CN114119489A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种电连接器多余物及缩针倒针缺陷自动化检测方法，该方法包括如下步骤：步骤一：在光源照射下，利用CMOS摄像头对电连接器孔腔内图像进行采集得到电连接器孔腔内图像；步骤二：将步骤一中采集到的电连接器孔腔内图像生成原始码流，经控制系统传输进入接收解压模块，接收解压模块对原始码流解压得到图像/视频数据；步骤三：对步骤二中得到的图像/视频数据进行视频图像数据预处理，并将预处理后的图像/视频数据进行格式转换，最终生成能够被检测网络接受的转换格式后的图像/视频数据。本发明提高了测试效率、测试准确性与可追溯性，提高了测试的自动化测试水平与电连接器的可靠性。

Description

一种电连接器多余物及缩针倒针缺陷自动化检测方法
技术领域
本发明属于自动化检测技术领域，尤其涉及一种电连接器多余物及缩针倒针缺陷自动化检测方法。
背景技术
电连接器作为电气线路互联系统的重要部件在航天型号产品上广泛使用，用以实现电信号的传输和控制以及电子与电气设备之间的电连接，其可靠性与质量管控水平直接影响到航天产品能否稳定工作以及火箭的安全飞行。而在院质量信息系统中，连接器缩针缩孔、弯针倒针、孔腔多余物等共性质量问题屡见不鲜，加强电连接器质量控制措施、提高自动化测试水平迫在眉睫。
当前型号配套产品在出厂验收测试、综合试验以及各项大型试验前开展的设备外观检查，多媒体记录检查、连接器缩针检查等检查工作均依赖人肉眼进行判断识别，检查效率低、且存在部分场景卡片机不易拍摄、针孔阴影干扰判断、人员个体判断差异与漏检的情况，属于“手模耳听”类测试项目，测试的有效性与覆盖性存在差距且自动化程度低、可追溯性差，由此带来的教训十分让人痛心。
发明内容
本发明解决的技术问题是：克服现有技术的不足，提供了一种电连接器多余物及缩针倒针缺陷自动化检测方法，提高了测试效率、测试准确性与可追溯性，提高了测试的自动化测试水平与电连接器的可靠性。
本发明目的通过以下技术方案予以实现：一种电连接器多余物及缩针倒针缺陷自动化检测方法，所述方法包括如下步骤：步骤一：在光源照射下，利用CMOS摄像头对电连接器孔腔内图像进行采集得到电连接器孔腔内图像；步骤二：将步骤一中采集到的电连接器孔腔内图像生成原始码流，经控制系统传输进入接收解压模块，接收解压模块对原始码流解压得到图像/视频数据；步骤三：对步骤二中得到的图像/视频数据进行视频图像数据预处理，并将预处理后的图像/视频数据进行格式转换，最终生成能够被检测网络接受的转换格式后的图像/视频数据。
上述电连接器多余物及缩针倒针缺陷自动化检测方法中，还包括：步骤四：采用Faster R-CNN神经网络模型进行训练，将电连接器孔腔内图像作为输入，训练后得到权重参数以及分类结果；步骤五：将步骤三中得到的转换格式后的图像/视频数据进行数据特征值提取，得到不同类型的数据特征信息；步骤六：采用主成分分析对步骤五提取的数据特征信息确定主成分元素，并对主成分元素进行数据信息挖掘得到数据挖掘模型；步骤七：对步骤三中的转换格式后的图像/视频数据中的特征区域进行2D位姿调整，分割并提取电连接器插针的信息；步骤八：通过Faster R-CNN神经网络模型对步骤七中的电连接器插针的信息进行训练，并对训练的结果进行处理，得到具有更好鲁棒性以及更精确精度的神经网络模型；步骤九：对于步骤四得到的权重参数以及分类结果，根据步骤六的数据挖掘模型以及步骤八的神经网络模型，最终输出电连接器的检测结果。
上述电连接器多余物及缩针倒针缺陷自动化检测方法中，在步骤三中，图像数据预处理包括如下步骤：视频片段截取、系统校正、视频单帧采集、图像数据扩充、灰度二值化、图像增强、图像滤波和滑动窗口图像分割。
上述电连接器多余物及缩针倒针缺陷自动化检测方法中，在步骤四中，利用KMeans均值聚类确定先验框，再依次构建CNN深度卷积神经网络层、ROI池化层、全连接层。
上述电连接器多余物及缩针倒针缺陷自动化检测方法中，在步骤五中，数据特征提取的方法包括：区域色彩饱和度分析、区域灰度值分析、插针区域分布信息提取。
上述电连接器多余物及缩针倒针缺陷自动化检测方法中，在步骤六中，主成分分析是一种应用广泛的数据降维算法，是将n维特征映射到k维上，这k维是全新的正交特征，是在原有n维特征的基础上重新构造出来的k维特征。
上述电连接器多余物及缩针倒针缺陷自动化检测方法中，在步骤七中，位姿调整的数学模型如下所示：
Figure BDA0003329050360000031
e(q)＝f(q))f
J(qk+1)＝J(qk)+[Δe(qk)-J(qk)Δqk]
其中，J为图像的雅可比矩阵，e(q)为图像的特征图偏差；f为不同像素点位姿调整关系函数，q为视频流不同图像，m为需要进行位姿调整的像素点数量，n为视频流图像数量，f(q)为某一张图像进行位姿调整后后形成的特征图，J(qk+1)为第k+1张图像经过雅可比矩阵变换后的形成的矩阵，J(qk)为第k张图像经过雅可比矩阵变换后的形成的矩阵，Δe(qk)为第k张图像的特征图偏差，Δqk为第k张图像的偏差，qk+1为第k+1张图像，qk为第k张图像。
上述电连接器多余物及缩针倒针缺陷自动化检测方法中，在步骤八中，利用绝对误差总和算法、序贯相似性检测、平方差总和算法和归一化相关系数匹配算法对训练的结果进行处理。
上述电连接器多余物及缩针倒针缺陷自动化检测方法中，在步骤八中，将FasterR-CNN神经网络模型的初始的浮点数参数xf归一化到[0,1]之间得到归一化数值N(xf)；将归一化数值N(xf)被量化至最近的整数点xq。
上述电连接器多余物及缩针倒针缺陷自动化检测方法中，归一化公式为：
Figure BDA0003329050360000032
其中，wmin和wmax是每层网络权重的最小和最大值；N(xf)为归一化数值；xf为FasterR-CNN神经网络模型的初始的浮点数参数；
量化公式为：
Figure BDA0003329050360000041
其中，
Figure BDA0003329050360000042
代表归约至最近整数，k是量化位数。
本发明与现有技术相比具有如下有益效果：
(1)本发明结合系统校正，灰度二值化，图像增强，图像滤波等算法能够快速准确的完成对图像的前期处理，预先提取出电连接器缩针倒针存在的可能区域，减轻后续网络识别的负担；
(2)本发明的网络识别模块采用Faster R-CNN的神经网络模型，并采用张量分解等方式加快模型训练推理速度，能够高效准确地完成对筛选出的可能区域中缩针倒针的识别，以此对缺陷进行识别和分类；
(3)本发明的数据特征提取算法能够得到针对小目标样本进行特征提取，插针区域分布信息提取算法得到的像素信息，能够准确映射出电连接器内腔的缺陷区域；
(4)本发明利用Softmax函数对网络的输出进行后处理，利用概率统计的思想保证识别的准确性；
(5)本发明对预处理后的图像进行2D位姿调整，利用雅可比矩阵及其迭代方程进行计算，便于后续的分割以及提取电连接器的插针信息；
(6)本发明的电连接器的检测输出结果结合神经网络模型匹配以及数据挖掘辅助判别，确保了检测结果的准确性；
(7)本发明调整网络结构能够加快训练速度，减少网络消耗资源，减轻部署难度和硬件要求。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1是本发明实施例提供的基于计算机视觉的电连接器多余物及缩针倒针缺陷自动化检测技术方法的流程图；
图2是本发明实施基于计算机视觉的电连接器多余物及缩针倒针缺陷自动化检测技术方法的检测仪器。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
图2是本发明实施基于计算机视觉的电连接器多余物及缩针倒针缺陷自动化检测技术方法的检测仪器。如图2所示，该检测仪器包括夹持机构，用于固定待检测元件；图像采集部分，用于采集电连接器内腔的图像信号；后端操作处理系统：用于进行图像数据的分析识别以及用户的操作控制。每部分的详细元件构成如下：
A.夹持机构
1.自适应直径固定夹具：由于不同型号的电连接器尺寸差异较大，因此在整体仪器的最外端设计有固定夹具，通过夹具底部的吸盘贴合住待检测电连接的外表面。上部配有两个活动铰链，以实现夹具的自由运动，调整角度实现不同直径待检测元件的固定。
B.图像采集部分
2.采集腔壳体：壳体外侧与固定夹具相连，腔体形状呈喇叭状，可供内部探灯和摄像头能够多角度安装，能够清楚的拍摄电连接器内部各个细节。
3.COMS摄像头：采用CMOS图像传感器的摄像头。多角度布置于检测仪器内腔，由于仪器整体尺寸较小，因此选择微型的CMOS摄像机做到多角度，高精度拍摄电连接器内腔插针和插头具体状况。
4.医用多角度无影灯：多角度布置于检测仪器内腔，能够清晰将光源投射到电连接器内腔各个角落，同时使用无影灯产生的光源使得电连接器内部的插针和插头不会产生阴影，从而有助于采集更为清晰的图像信号。
C.后端操作处理系统
5.LED指示灯：用于显示当前系统的情况，包括所检测的电连接器是否有缺陷、系统电源情况、个人操作知识等。
6.TF数据存储卡：数据存储卡能够记录系统的关键操作信息，同时保存每次的电连接器元件的检测结果，供用户查看追溯，并且用于计算整批电连接器元件的故障率。
7.微型CPU中央处理器：CPU将用户的操作信息转化成机器语言，同时连接着用户操作界面、存储卡、电源、核心计算芯片，是后端操作系统的信息传输中心。
8.AMOLED电容式显示屏：该显示屏是可触控式的，用户可以通过内置的操作系统所拥有的用户操作界面来进行整个仪器的控制。
9.NLP智能语音模块：用于智能播报每次检测结果、系统的运行状况、用户的关键操作信息等，更加明了清晰地展示操作结果。
10.系统供电电源：电源连接着语音模块、中央处理器、散热系统等，向这个系统提供功耗支持。
11.预留蓝牙VR接口：作为系统中的预留功能，后期可以开发VR虚拟观察功能，进一步观察电连接器内腔的具体情况。
12.超导VC液冷散热系统：采用VC液冷均热板、高导热凝胶、多层石墨散热膜，针对高计算量、高输出场景能够自动开启散热功能，减小系统功耗，保证各个电子元器件的安全运行。
13.Intel NCS2神经网络计算棒：专用深度神经网络硬件加速器，提高人工智能芯片的神经网络训练算力，有效提高整个系统的图像检测、数据分析性能。
14.人工智能芯片：集成数据处理、图像分析、深度学习等人工智能计算的核心芯片元器件。芯片上的主要模块有：
a.高并发线程池单元：提供多线程处理功能，控制高算力要求的深度学习计算的多线程并发，充分利用芯片上的算力资源，有助于快速高效地完成各项耗时的网络训练、数据挖掘算法。
b.GPU图形处理器：对于计算资源要求较高的算法，可以调用GPU内存模块进行加速计算，有效提供神经网络算法的模型训练速度。
c.片上电子元器件：集成有芯片正常工作所需的电阻、电容、布线等相关电子元器件。
d.芯片变压供电电源：芯片的拓展供电单元。并且将外界供电电压转换成芯片工作所需的电压大小。
e.Eyeriss深度神经网络加速器：目前较为先进的深度卷积神经网络的加速器，通过重新配置体系结构来优化整个系统的能源效率，包括加速器芯片和片外DRAM。该芯片模块能够有效提高用于图像处理的深度卷积神经网络的计算速度。
f.图片预处理模块：将前端采集腔所获取的图片信号进行初步的预处理与转化，形成神经网络模型计算的输入量。
g.数据处理驱动单元：用于进行数据预处理，为其进行数据挖掘、数据分析、神经网络模型训练做准备。
h.深度学习计算单元：用于进行深度神经网络模型训练，是人工智能芯片中的核心计算单元。
i.片外随机存储器SRAM：动态存储计算过程中的一些变量、模型参数等中间量信息，以支持计算芯片快速访问到所需的参数。
j.Socket无线通信模块：继承蓝牙、无线WiFi等无线通信单元，使得人工智能芯片能够实时与手机客户端进行通信。
k.数据挖掘计算单元：用于进行数据挖掘计算，高效地分析所检测的电连接器检测数据，分析出其健康状况与各项参数之间的关系。
图1是本发明实施例提供的基于计算机视觉的电连接器多余物及缩针倒针缺陷自动化检测技术方法的流程图。如图1所示，该方法包括如下步骤：
步骤一：采集缺陷图像，在光源照射下，利用CMOS摄像头对电连接器孔腔内图像进行采集，并将采集到的数据传输到图像采集卡中；其中，所有像素点组成颗粒物像素点集合；
步骤二：针对步骤一中采集到的电连接器孔腔内图像生成原始码流，经控制系统传输进入接收解压模块，并解压得到图像/视频数据。其中视频中的原始码流常用H.264编码。
步骤三：对步骤二中得到的图像/视频数据进行视频图像数据预处理，主要包括视频片段截取，系统校正，视频单帧采集，图像数据扩充，灰度二值化，图像增强，图像滤波，滑动窗口图像分割等步骤，并将处理后的图像数据进行格式转换，最终生成能够被检测网络接受的数据信号。
步骤四：采用Faster R-CNN神经网络模型进行训练，将缺陷图像数据集作为输入，训练后得到各网络的权重参数以及分类结果；
步骤五：将步骤三中得到的图像视频数据进行数据特征值提取，得到不同类型的数据特征信息；
步骤六：采用主成分分析(PCA)对步骤五提取的数据特征信息确定主成分元素，并对其进行数据信息挖掘；
步骤七：对步骤三中的图像视频数据中的特征区域进行2D位姿调整，分割并提取电连接器插针的信息；
步骤八：通过FastR-CNN网络对步骤七中的电连接器插针的信息进行训练，并利用绝对误差总和算法(SAD)，序贯相似性检测(SSDA)，平方差总和算法(SAD)，归一化相关系数匹配算法(NCC)对训练的结果进行处理，得到具有更好鲁棒性以及更精确精度的模型；
步骤九：对于步骤四网络得到的结果，辅助步骤六的数据挖掘模型判别以及步骤八的神经网络模型匹配，最终输出电连接器的检测结果。
在步骤三中，图像数据预处理应包括如下步骤：将原始图片视频以码流的形式存入后，首先进行数据采集，采用视频分帧，视频片段截取，图像数据扩充等得到更精确有效的数据；接着对图像视频数据进行修复优化，可以采用灰度处理，图像增强等方式对特征进行提取和放大，并通过滤波模块筛选出我们需要的特征。图像灰度化处理可以作为图像处理的预处理步骤，为之后的图像分割、图像识别和图像分析等上层操作做准备，可将彩色图像中的三分量的亮度作为三个灰度图像的灰度值，根据应用需要选取一种灰度图像。浮点转换算法如下所示：
Gray＝R×0.3+G×0.59+B×0.11
其中R、G、B表示图像的三基色；图像增强可以改善图像的视觉效果或使图像更适合于人或机器的分析处理，其线性变换的数学模型如下所示：
Figure BDA0003329050360000091
其中[a,b]为图像的灰度范围，f(x,y)为输入图像，c,d为参数；图像滤波即在尽量保留图像细节特征的条件下对目标图像的噪声进行抑制，是图像预处理中不可缺少的操作，其处理效果的好坏将直接影响到后续图像处理和分析的有效性和可靠性。对一个数字图像上，使用的滤波器，在每个点处，滤波器在该点处的响应是滤波模板所限定的相应邻域像素与滤波器系数的乘积结果的累加，如下式所示：
Figure BDA0003329050360000092
其中，w(s,t)是滤波器系数。
在步骤四中，Faster R-CNN神经网络由R-CNN和Fast R-CNN发展而来，使用selective search算法获取目标候选区域(region proposal)，然后将每个候选区域缩放到同样尺寸，接着将它们都输入CNN提取特征后再用SVM进行分类，最后再对分类结果进行回归。模型应包括如下步骤：首先利用KMeans均值聚类确定先验框，再依次构建CNN深度卷积神经网络层，ROI池化层，全连接层。检测部分主要包括对边框进行回归处理以及将分类结果通过Softmax层以确保分类的准确性。Softmax函数采用概率的思想，在多分类场景中有广泛的应用，其函数形式为：
Figure BDA0003329050360000101
在步骤五中，数据特征提取的方法包括：区域色彩饱和度分析，区域灰度值分析，插针区域分布信息提取等；饱和度可定义为彩度除以明度，与彩度同样表征彩色偏离同亮度灰色的程度，也称色彩的纯度。饱和度取决于该色中含色成分和消色成分(灰色)的比例。含色成分越大，饱和度越大；消色成分越大，饱和度越小。灰度使用黑色调表示物体,即用黑色为基准色，不同的饱和度的黑色来显示图像。每个灰度对象都具有从0％(白色)到100％(黑色)的亮度值。使用黑白或灰度扫描仪生成的图像通常以灰度显示。
在步骤六中，主成分分析(Principal components analysis)是一种应用广泛的数据降维算法，其主要思想是将n维特征映射到k维上，这k维是全新的正交特征，是在原有n维特征的基础上重新构造出来的k维特征。PCA的工作就是从原始的空间中顺序地找一组相互正交的坐标轴，新的坐标轴的选择与数据本身是密切相关的。其中，第一个新坐标轴选择是原始数据中方差最大的方向，第二个新坐标轴选取是与第一个坐标轴正交的平面中使得方差最大的，第三个轴是与第1,2个轴正交的平面中方差最大的。依次类推，可以得到n个这样的坐标轴。通过这种方式获得的新的坐标轴，我们发现，大部分方差都包含在前面k个坐标轴中，后面的坐标轴所含的方差几乎为0。于是，我们可以忽略余下的坐标轴，只保留前面k个含有绝大部分方差的坐标轴。事实上，这相当于只保留包含绝大部分方差的维度特征，而忽略包含方差几乎为0的特征维度，实现对数据特征的降维处理。
在步骤七中，位姿调整的数学模型如下所示：
Figure BDA0003329050360000111
e(q)＝f(q)-f
J(qk+1)＝J(qk)+[Δe(qk)-J(qk)Δqk]
其中J为图像的雅可比矩阵，e(q)为图像的特征图偏差；通过上述模型可迭代计算出图像的位姿变化量。
在步骤八中，为了消除浮点数参数之间量纲的影响，需要进行数据标准化处理，以解决数据指标之间的可比性。将卷积神经网络的初始的浮点数参数xf将其归一化到[0,1之间：
Figure BDA0003329050360000112
其中，wmin和wmax是每层网络权重的最小和最大值；N(xf)为归一化数值；
将归一化数值N(xf)被量化至最近的整数点xq：
Figure BDA0003329050360000113
其中，
Figure BDA0003329050360000114
代表归约至最近整数，k是量化位数。
本发明基于Fast R-CNN算法能够快速地完成对图像的检测与书别，预先对图像视频进行解压和编码，减轻后续图像分类识别的负担。本发明对于壳体缺陷检测,通过对工业相机采集的电连接器壳体的图像进行滤波、去噪等预处理，得到每一个缺陷区域的图像，再利用高斯混合分类器对每个缺陷的图像进行分类，识别壳体存在的缺陷，可以极大的提高检测的精度。对于缩针倒针和多余物缺陷,基于图像识别的缩针倒针和多余物检测系统，可以实现快速准确的检测插针接触件的位置，计算其偏差距离，并有效的识别存在于插头与孔腔中的多余物。本发明通过以上检测算法实现及测试样机构建验证，得到一套有效的缺陷自动化检测算法、从而提高测试效率、测试准确性与可追溯性，提高测试的自动化测试水平与电连接器的可靠性。
本发明结合计算机视觉、人工智能芯片、深度学习等技术，开展电连接器多余物及缩针倒针缺陷自动化检测技术研究及基于嵌入式人工智能芯片的手持通用型电连接器自动测试产品样机研制，可以有效解决上述困扰型号已久的问题。“便携，通用，快速，准确”的产品特点，可适应出厂验收测试、综合试验以及各项大型试验不同场景与环境的需求，识别涵盖：缩针、弯帧、倒针、划痕缺陷、孔腔多余物等情况，从而提升测试效率、测试准确性与可追溯性，提高测试的自动化测试水平与电连接器的可靠性。
本发明结合系统校正，灰度二值化，图像增强，图像滤波等算法能够快速准确的完成对图像的前期处理，预先提取出电连接器缩针倒针存在的可能区域，减轻后续网络识别的负担；本发明的网络识别模块采用Faster R-CNN的神经网络模型，并采用张量分解等方式加快模型训练推理速度，能够高效准确地完成对筛选出的可能区域中缩针倒针的识别，以此对缺陷进行识别和分类；本发明的数据特征提取算法能够得到针对小目标样本进行特征提取，插针区域分布信息提取算法得到的像素信息，能够准确映射出电连接器内腔的缺陷区域；本发明利用Softmax函数对网络的输出进行后处理，利用概率统计的思想保证识别的准确性；本发明对预处理后的图像进行2D位姿调整，利用雅可比矩阵及其迭代方程进行计算，便于后续的分割以及提取电连接器的插针信息；本发明的电连接器的检测输出结果结合神经网络模型匹配以及数据挖掘辅助判别，确保了检测结果的准确性；本发明调整网络结构能够加快训练速度，减少网络消耗资源，减轻部署难度和硬件要求。
本发明虽然已以较佳实施例公开如上，但其并不是用来限定本发明，任何本领域技术人员在不脱离本发明的精神和范围内，都可以利用上述揭示的方法和技术内容对本发明技术方案做出可能的变动和修改，因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化及修饰，均属于本发明技术方案的保护范围。

Claims (10)

1.一种电连接器多余物及缩针倒针缺陷自动化检测方法，其特征在于，所述方法包括如下步骤：
步骤一：在光源照射下，利用CMOS摄像头对电连接器孔腔内图像进行采集得到电连接器孔腔内图像；
步骤二：将步骤一中采集到的电连接器孔腔内图像生成原始码流，经控制系统传输进入接收解压模块，接收解压模块对原始码流解压得到图像/视频数据；
步骤三：对步骤二中得到的图像/视频数据进行视频图像数据预处理，并将预处理后的图像/视频数据进行格式转换，最终生成能够被检测网络接受的转换格式后的图像/视频数据。
2.根据权利要求1所述的电连接器多余物及缩针倒针缺陷自动化检测方法，其特征在于还包括：
步骤四：采用Faster R-CNN神经网络模型进行训练，将电连接器孔腔内图像作为输入，训练后得到权重参数以及分类结果；
步骤五：将步骤三中得到的转换格式后的图像/视频数据进行数据特征值提取，得到不同类型的数据特征信息；
步骤六：采用主成分分析对步骤五提取的数据特征信息确定主成分元素，并对主成分元素进行数据信息挖掘得到数据挖掘模型；
步骤七：对步骤三中的转换格式后的图像/视频数据中的特征区域进行2D位姿调整，分割并提取电连接器插针的信息；
步骤八：通过Faster R-CNN神经网络模型对步骤七中的电连接器插针的信息进行训练，并对训练的结果进行处理，得到具有更好鲁棒性以及更精确精度的神经网络模型；
步骤九：对于步骤四得到的权重参数以及分类结果，根据步骤六的数据挖掘模型以及步骤八的神经网络模型，最终输出电连接器的检测结果。
3.根据权利要求1所述的电连接器多余物及缩针倒针缺陷自动化检测方法，其特征在于：在步骤三中，图像数据预处理包括如下步骤：视频片段截取、系统校正、视频单帧采集、图像数据扩充、灰度二值化、图像增强、图像滤波和滑动窗口图像分割。
4.根据权利要求2所述的电连接器多余物及缩针倒针缺陷自动化检测方法，其特征在于：在步骤四中，利用KMeans均值聚类确定先验框，再依次构建CNN深度卷积神经网络层、ROI池化层、全连接层。
5.根据权利要求2所述的电连接器多余物及缩针倒针缺陷自动化检测方法，其特征在于：在步骤五中，数据特征提取的方法包括：区域色彩饱和度分析、区域灰度值分析、插针区域分布信息提取。
6.根据权利要求2所述的电连接器多余物及缩针倒针缺陷自动化检测方法，其特征在于：在步骤六中，主成分分析是一种应用广泛的数据降维算法，是将n维特征映射到k维上，这k维是全新的正交特征，是在原有n维特征的基础上重新构造出来的k维特征。
7.根据权利要求2所述的电连接器多余物及缩针倒针缺陷自动化检测方法，其特征在于：在步骤七中，位姿调整的数学模型如下所示：
Figure FDA0003329050350000021
e(q)＝f(q)-f
J(qk+1)＝J(qk)+[Δe(qk)-J(qk)Δqk]
其中，J为图像的雅可比矩阵，e(q)为图像的特征图偏差；f为不同像素点位姿调整关系函数，q为视频流不同图像，m为需要进行位姿调整的像素点数量，n为视频流图像数量，f(q)为某一张图像进行位姿调整后后形成的特征图，J(qk+1)为第k+1张图像经过雅可比矩阵变换后的形成的矩阵，J(qk)为第k张图像经过雅可比矩阵变换后的形成的矩阵，Δe(qk)为第k张图像的特征图偏差，Δqk为第k张图像的偏差，qk+1为第k+1张图像，qk为第k张图像。
8.根据权利要求2所述的电连接器多余物及缩针倒针缺陷自动化检测方法，其特征在于：在步骤八中，利用绝对误差总和算法、序贯相似性检测、平方差总和算法和归一化相关系数匹配算法对训练的结果进行处理。
9.根据权利要求2所述的电连接器多余物及缩针倒针缺陷自动化检测方法，其特征在于：在步骤八中，将Faster R-CNN神经网络模型的初始的浮点数参数xf归一化到[0，1]之间得到归一化数值N(xf)；
将归一化数值N(xf)被量化至最近的整数点xq。
10.根据权利要求9所述的电连接器多余物及缩针倒针缺陷自动化检测方法，其特征在于：归一化公式为：
Figure FDA0003329050350000031
其中，wmin和wmax是每层网络权重的最小和最大值；N(xf)为归一化数值；xf为Faster R-CNN神经网络模型的初始的浮点数参数；
量化公式为：
Figure FDA0003329050350000032
其中，
Figure FDA0003329050350000033
代表归约至最近整数，k是量化位数。
CN202111271995.1A 2021-10-29 2021-10-29 一种电连接器多余物及缩针倒针缺陷自动化检测方法 Pending CN114119489A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111271995.1A CN114119489A (zh) 2021-10-29 2021-10-29 一种电连接器多余物及缩针倒针缺陷自动化检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111271995.1A CN114119489A (zh) 2021-10-29 2021-10-29 一种电连接器多余物及缩针倒针缺陷自动化检测方法

Publications (1)

Publication Number Publication Date
CN114119489A true CN114119489A (zh) 2022-03-01

Family

ID=80379606

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111271995.1A Pending CN114119489A (zh) 2021-10-29 2021-10-29 一种电连接器多余物及缩针倒针缺陷自动化检测方法

Country Status (1)

Country Link
CN (1) CN114119489A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115979589A (zh) * 2023-03-21 2023-04-18 陕西中信机电有限公司 一种可靠性检测方法、系统、存储介质及智能终端
CN116563280A (zh) * 2023-07-07 2023-08-08 深圳市鑫典金光电科技有限公司 一种基于数据分析的复合铜散热底板加工检测方法及系统
CN117830319A (zh) * 2024-03-06 2024-04-05 陕西星辰电子技术有限责任公司 基于图像处理的电源适配器产品检测方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115979589A (zh) * 2023-03-21 2023-04-18 陕西中信机电有限公司 一种可靠性检测方法、系统、存储介质及智能终端
CN115979589B (zh) * 2023-03-21 2023-07-07 陕西中信机电有限公司 一种可靠性检测方法、系统、存储介质及智能终端
CN116563280A (zh) * 2023-07-07 2023-08-08 深圳市鑫典金光电科技有限公司 一种基于数据分析的复合铜散热底板加工检测方法及系统
CN116563280B (zh) * 2023-07-07 2023-09-12 深圳市鑫典金光电科技有限公司 一种基于数据分析的复合铜散热底板加工检测方法及系统
CN117830319A (zh) * 2024-03-06 2024-04-05 陕西星辰电子技术有限责任公司 基于图像处理的电源适配器产品检测方法

Similar Documents

Publication Publication Date Title
CN114119489A (zh) 一种电连接器多余物及缩针倒针缺陷自动化检测方法
CN109344701B (zh) 一种基于Kinect的动态手势识别方法
CN106875373B (zh) 基于卷积神经网络剪枝算法的手机屏幕mura缺陷检测方法
US8805018B2 (en) Method of detecting facial attributes
CN112052831B (zh) 人脸检测的方法、装置和计算机存储介质
CN111445459B (zh) 一种基于深度孪生网络的图像缺陷检测方法及系统
US20150193649A1 (en) Enhanced face detection using depth information
CN109871780B (zh) 一种人脸质量判决方法、系统及人脸识别方法、系统
CN109684925A (zh) 一种基于深度图像的人脸活体检测方法及设备
CN106297755B (zh) 一种用于乐谱图像识别的电子设备及识别方法
CN106991364B (zh) 人脸识别处理方法、装置以及移动终端
CN112052730B (zh) 一种3d动态人像识别监控设备及方法
Baek et al. Multimodal camera-based gender recognition using human-body image with two-step reconstruction network
CN111681215A (zh) 卷积神经网络模型训练方法、加工件缺陷检测方法及装置
CN113409355A (zh) 一种基于fpga的运动目标识别系统及方法
CN112308128A (zh) 一种基于注意力机制神经网络的图像匹配方法
CN114140373A (zh) 一种基于LabVIEW深度学习的开关缺陷检测方法
KR20220026439A (ko) 인쇄회로기판의 부품 미실장 검출 방법 및 그 장치
Sivaraman et al. Object recognition under lighting variations using pre-trained networks
CN116994049A (zh) 全自动针织横机及其方法
CN111950452A (zh) 一种人脸识别方法
CN114913086B (zh) 基于生成对抗网络的人脸图像质量增强方法
CN110458097A (zh) 一种人脸图片识别方法、装置、电子设备及存储介质
CN112508891B (zh) 基于手机的ai智能识别缺陷的磁粉探伤系统及其方法
CN113792807B (zh) 皮肤病分类模型训练方法、系统、介质和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination