CN107392890A - 一种fpc铜线表面氧化缺陷检测方法及其检测系统 - Google Patents

一种fpc铜线表面氧化缺陷检测方法及其检测系统 Download PDF

Info

Publication number
CN107392890A
CN107392890A CN201710491626.0A CN201710491626A CN107392890A CN 107392890 A CN107392890 A CN 107392890A CN 201710491626 A CN201710491626 A CN 201710491626A CN 107392890 A CN107392890 A CN 107392890A
Authority
CN
China
Prior art keywords
color
mrow
copper line
oxidation
line surface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710491626.0A
Other languages
English (en)
Other versions
CN107392890B (zh
Inventor
罗家祥
李璐
胡跃明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN201710491626.0A priority Critical patent/CN107392890B/zh
Publication of CN107392890A publication Critical patent/CN107392890A/zh
Application granted granted Critical
Publication of CN107392890B publication Critical patent/CN107392890B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30141—Printed circuit board [PCB]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明公开了一种FPC铜线表面氧化缺陷检测方法及其检测系统，包括图像采集装置和图像处理单元，首先采集一定数目的FPC样本图像，提取出铜线表面氧化缺陷ROI，人工标注氧化程度等级，分别选取出各氧化程度等级的铜线表面氧化缺陷ROI，作为训练样本；提取出各训练样本的颜色特征；将各训练样本的颜色特征输入DAG‑SVMS模型训练到DAG‑SVMS分类器；采集待检测的FPC样本图像，提取出铜线表面氧化缺陷ROI，作为测试样本；提取出测试样本的颜色特征，将测试样本的颜色特征输入至DAG‑SVMS分类器中，通过分类器确定出测试样本所属的氧化程度等级。本发明能够实现对FPC铜线表面氧化缺陷和氧化程度的精确检测。

Description

一种FPC铜线表面氧化缺陷检测方法及其检测系统
技术领域
本发明属于机器视觉表面缺陷检测技术领域，特别涉及一种FPC铜线表面氧化缺陷检测方法及其检测系统。
背景技术
FPC(柔性电路板，Flexible Printed Circuit)是一种在聚酰亚胺基材表面使用铜箔腐蚀形成线路的印刷线路板，具有重量轻、体积小、可弯曲、高可靠和方便安装等特点。它改变了传统的互连技术，实现了三维任意互连，能在三维立体空间内自由地移动及伸缩，形变自如，从而达到电子元件和印制板导线的一体化连接。FPC应用广泛，目前一部智能手机或平板电脑内所使用FPC的数量是8～10片；一台液晶显示器的用量约为2～4片，等离子显示器更是高达20片左右；FPC在高端电子产品中的用量比重也将越来越大，如军工产品、航空航天产品、医疗产品和汽车产品。
但是，随着人们对电子产品微型化的要求，对FPC制造过程中质量和缺陷的控制越来越严格。铜线是FPC的基本组成部分，但由于铜在潮湿的空气中极易发生氧化变色，铜线的好坏直接影响着FPC的质量。因而铜线氧化检测对监控FPC制造质量有着重要的意义。目前，工厂对FPC铜线表面氧化缺陷及其氧化程度的检测，主要采用人工目检的方式，不仅极大的增加了劳动量，误检率高，且检测结果受主观因素影响较大。因此，采用机器视觉系统对FPC表面铜线氧化检测是十分必要的。
发明内容
本发明的第一目的在于克服现有技术的缺点与不足，提供一种FPC铜线表面氧化缺陷检测方法，该检测方法能够实现对FPC铜线表面氧化缺陷和氧化程度的精确检测。
本发明的第二目的在于提供一种用于实现上述检测方法的FPC铜线表面氧化缺陷检测系统。
本发明的第一目的通过下述技术方案实现：一种FPC铜线表面氧化缺陷检测方法，步骤如下：
S1、首先采集一定数目的FPC样本图像，然后人工提取出这些FPC样本图像的铜线表面氧化缺陷ROI，同时人为的标记上述提取的铜线表面氧化缺陷ROI所属氧化程度等级；针对于每个氧化程度等级，分别选取出一定数目的属于该氧化程度等级的铜线表面氧化缺陷ROI，作为该氧化程度等级的训练样本，获取到训练样本集；
S2、针对于各训练样本，分别基于RGB颜色空间、HSI颜色空间与分块策略获取到各训练样本的颜色特征；其中获取到的训练样本的颜色特征包括RGB颜色空间特征、HSI颜色空间特征以及氧化代表色和氧化代表色分布概率；
S3、分别将步骤S2获取到的属于各氧化程度等级的各训练样本对应的颜色特征作为DAG-SVMS模型的输入，根据一对一多分类原则对DAG-SVMS模型进行训练，得到DAG-SVMS分类器；
S4、采集待检测的FPC样本图像，然后通过图像分割方法提取出其中的铜线表面氧化缺陷ROI，作为测试样本；
S5、针对于各测试样本，分别基于RGB颜色空间、HSI颜色空间与分块策略获取到各测试样本的颜色特征；其中获取到的测试样本的颜色特征包括RGB颜色空间特征、HSI颜色空间特征以及氧化代表色和氧化代表色分布概率；
S6、将步骤S5中获取到的测试样本的颜色特征输入至DAG-SVMS分类器中，通过DAG-SVMS分类器最终确定出测试样本所属的氧化程度等级。
优选的，步骤S3中训练得到的DAG-SVMS分类器包括k(k-1)/2个SVM子分类器，k为FPC样本图像中铜线表面氧化缺陷ROI的氧化程度等级总数；其中每两类氧化程度等级中对应的训练样本训练得到一个SVM子分类器。
优选的，所述步骤S2和S5中，针对于训练样本和测试样本，获取到其颜色特征中的RGB颜色空间特征的具体过程如下：
Sa、首先针对于作为训练样本和测试样本的铜线表面氧化缺陷ROI，获取到RGB颜色直方图，根据RGB颜色直方图计算出铜线表面氧化缺陷ROI在RGB颜色空间的颜色距：
其中μi为RGB颜色空间铜线表面氧化缺陷ROI在颜色通道i分量上的一阶矩特征，表示在颜色通道i分量上的均值；σi为RGB颜色空间铜线表面氧化缺陷ROI在颜色通道i分量上的二阶矩特征，表示在颜色通道i分量上的方差；P(i,j)表示RGB颜色空间铜线表面氧化缺陷ROI第j个像素在颜色通道i分量上的亮度值，N表示铜线表面氧化缺陷ROI的像素个数；其中RGB颜色空间，当i＝1时，颜色通道i对应为颜色通道R；当i＝2时，颜色通道i对应为颜色通道G；当i＝3时，颜色通道i对应为颜色通道B；
Sb、根据步骤Sa中得到的铜线表面氧化缺陷ROI在各颜色通道分量上的一阶矩特征，通过RGB分量均值加权的方式来描述RGB颜色空间铜线表面氧化缺陷ROI的一阶矩加权和特征，并将其归一化，得到：
其中ωi为RGB颜色空间铜线表面氧化缺陷ROI在颜色通道i分量上的权重；μ为RGB颜色空间铜线表面氧化缺陷ROI的一阶矩加权和特征；
Sc、根据上述求取的RGB颜色空间铜线表面氧化缺陷ROI的一阶矩加权和特征μ以及铜线表面氧化缺陷ROI在各颜色通道分量上的二阶矩特征σ1、σ2和σ3构建得到RGB颜色空间特征为：{μ、σ1、σ2、σ3}。
优选的，所述步骤S2和S5中，针对于训练样本和测试样本，获取到其颜色特征中的HSI颜色空间特征的具体过程如下：
Sd、针对于作为训练样本和测试样本的铜线表面氧化缺陷ROI，将其从RGB颜色空间转换到HSI颜色空间，其中利用的转换公式如下：
其中H、S和I分别为HSI颜色空间中的色调、饱和度和亮度；R、G和B分别为RGB颜色空间的红、绿、蓝三个颜色通道分量；
Se、针对于作为训练样本和测试样本的铜线表面氧化缺陷ROI，当通过步骤Sd从RGB颜色空间转换到HSI颜色空间后，获取到HSI颜色直方图，并且对HSI颜色直方图中的H分量进行翻转，然后根据H分量翻转后的HSI颜色直方图计算铜线表面氧化缺陷ROI在HSI颜色空间的颜色矩：
其中μ′i为HSI颜色空间铜线表面氧化缺陷ROI在颜色通道i分量上的一阶矩特征，表示在颜色通道i分量上的均值；σ′i为HSI颜色空间铜线表面氧化缺陷ROI在颜色通道i分量上的二阶矩特征，表示在颜色通道i分量上的方差；P′(i,j)表示HSI颜色空间铜线表面氧化缺陷ROI第j个像素在颜色通道i分量上的亮度值，N表示铜线表面氧化缺陷ROI的像素总数；其中HSI颜色空间，当i＝1时，颜色通道i对应为颜色通道H；当i＝2时，颜色通道i对应为颜色通道S；
Sf、根据步骤Se中得到的铜线表面氧化缺陷ROI在各颜色通道分量上的一阶矩特征，通过HS分量均值加权的方式来描述HSI颜色空间铜线表面氧化缺陷ROI的一阶矩加权和特征，并将其归一化，得到：
其中ω′i为HSI颜色空间铜线表面氧化缺陷ROI在颜色通道i分量上的权重；μ′为HSI颜色空间铜线表面氧化缺陷ROI的一阶矩加权和特征；
Sj、根据上述求取的HSI颜色空间铜线表面氧化缺陷ROI的一阶矩加权和特征μ′以及铜线表面氧化缺陷ROI在各颜色通道分量上的二阶矩特征σ′1和σ′2构建得到HSI颜色空间特征为：{μ′、σ′1、σ′2}。
优选的，所述步骤S2和S5中，针对于训练样本和测试样本，获取到其颜色特征中的氧化代表色和氧化代表色分布概率的过程如下：
Sh、将作为训练样本和测试样本的铜线表面氧化缺陷ROI以九宫格的形式平均分为九块；
Si、针对于铜线表面氧化缺陷ROI每一块分别计算出其在RGB颜色空间的颜色距：
其中μik为RGB颜色空间铜线表面氧化缺陷ROI第k块在颜色通道i分量上的一阶矩特征，表示在颜色通道i分量上的均值；σik为RGB颜色空间铜线表面氧化缺陷ROI第k块在颜色通道i分量上的二阶矩特征，表示在颜色通道i分量上的方差；Pk(i,j)表示RGB颜色空间铜线表面氧化缺陷ROI第k块第j个像素在颜色通道i分量上的亮度值，M表示铜线表面氧化缺陷ROI各块的像素个数；其中RGB颜色空间中，当i＝1时，颜色通道i对应为颜色通道R；当i＝2时，颜色通道i对应为颜色通道G；当i＝3时，颜色通道i对应为颜色通道B；
Sj、根据步骤Si中得到铜线表面氧化缺陷ROI各块在各颜色通道分量上的一阶矩特征，通过RGB分量均值加权和的方式来描述RGB颜色空间铜线表面氧化缺陷ROI各块的一阶矩加权和特征，得到：
其中ωi为RGB颜色空间铜线表面氧化缺陷ROI各块在颜色通道i分量上的权重；μk为RGB颜色空间铜线表面氧化缺陷ROI第k块的一阶矩特征；
Sk、从铜线表面氧化缺陷ROI的9块中选取出颜色最深即在RGB颜色空间中一阶矩加权和的特征值最小的一块，将该块作为铜线表面氧化缺陷ROI的氧化代表块，同时将该块的一阶矩特征作为铜线表面氧化缺陷ROI的氧化代表色C；其中：
C＝min(μ1，μ2，…μ9)；
Sl、建立铜线表面氧化缺陷ROI的氧化代表色区间：[C-σ，C+σ]，其中σ为铜线表面氧化缺陷ROI的氧化代表块在颜色通道R、G和B三个分量的方差的均值；
Sm、计算出RGB颜色空间铜线表面氧化缺陷ROI中各像素的颜色加权特征值，判断各像素的颜色加权特征值是否落在铜线表面氧化缺陷ROI的氧化代表色区间中；然后统计出颜色加权特征值落在铜线表面氧化缺陷ROI的氧化代表色区间的像素个数，计算出颜色加权特征值落在铜线表面氧化缺陷ROI的氧化代表色区间的像素个数占铜线表面氧化缺陷ROI中像素总数的比例P，作为氧化代表色分布概率；
其中RGB颜色空间铜线表面氧化缺陷ROI中各像素的颜色加权特征值为：
其中ωi为RGB颜色空间铜线表面氧化缺陷ROI各像素在颜色通道i分量上的权重；μ′j为RGB颜色空间铜线表面氧化缺陷ROI第j个像素的颜色加权特征值，P(i,j)表示RGB颜色空间铜线表面氧化缺陷ROI第j个像素在颜色通道i分量上的亮度值；N表示铜线表面氧化缺陷ROI的像素总数。
优选的，所述步骤S4针对于待检测的FPC样本图像，通过基于彩色分层技术的图像分割方法从中提取出铜线表面氧化缺陷ROI，具体过程如下：
S41、计算出待检测的FPC样本图像的颜色直方图，从颜色直方图中统计出铜线氧化部分的颜色区间；然后获取RGB颜色空间待检测的FPC样本图像中各像素在各颜色通道分量上的亮度值，将各颜色通道分量上的亮度值均落在颜色区间的像素标记为氧化像素，从FPC样本图像的背景中分割出来；
S42、获取待检测的FPC样本图像中氧化像素连通域；针对于每个氧化像素连通域，判断其中像素的总个数是否超过定值S；若是，则将其标记为氧化种子点，进入步骤S43；其中氧化像素连通域指的是其中所有像素均为氧化像素的区域；
S43、针对于每个氧化种子点，通过欧几里得距离判断出氧化种子点周围的离散像素以及周围的其他氧化像素连通域是否包括在氧化种子点所在的氧化区域中；然后计算出氧化种子点所在氧化区域中的氧化像素总个数，若大于定值S′，则将该氧化种子点所在氧化区域判定为待检测的FPC样本图像的铜线表面氧化缺陷ROI，并标记出位置。
更进一步的，所述定值S为500～600中的其中一个整数值，所述定值S′为800～1000中的其中一个整数值。
本发明的第二目的通过下述技术方案实现：一种用于上述所述FPC铜线表面氧化缺陷检测方法的FPC铜线表面氧化缺陷检测系统，包括图像采集装置和图像处理单元，所述图像采集装置连接图像处理单元，用于采集FPC样本图像，然后将采集到的FPC样本图像发送至图像处理单元；其特征在于，所述图像处理单元中包括：
训练样本数据库，用于存储属于各氧化程度等级作为训练样本的铜线表面氧化缺陷ROI；
铜线表面氧化缺陷ROI提取模块，用于通过图像分割方法从待检测的FPC样本图像中提取出铜线表面氧化缺陷ROI，作为测试样本；
颜色特征提取模块，用于提取训练样本和测试样本的颜色特征，包括RGB颜色空间特征、HSI颜色空间特征以及氧化代表色和氧化代表色分布概率；
DAG-SVMS分类器建立模块，用于根据各氧化程度等级的训练样本对应的颜色特征，运用一对一多分类原则对DAG-SVMS模型进行训练，得到DAG-SVMS分类器；
以及分类模块，用于从颜色特征提取模块提取出测试样本的颜色特征，然后将测试样本的颜色特征输入至DAG-SVMS分类器中，通过DAG-SVMS分类器最终确定出测试样本所属的氧化程度等级。
优选的，还包括计算机，所述图像处理单元的输出端连接计算机，将图像处理单元中分类模块最终确定出的测试样本所属的氧化程度等级信息发送至计算机。
优选的，所述图像采集装置包括同轴光光源、光学显微镜和工业相机，所述同轴光光源、光学显微镜和工业相机分别自下而上布置，所述同轴光光源布置于FPC上方，所述光学显微镜安装在工业相机镜头前面，所述工业相机连接图像处理单元。
本发明相对于现有技术具有如下的优点及效果：
(1)本发明FPC铜线表面氧化缺陷检测方法，首先采集一定数目的FPC样本图像，针对这些FPC样本图像人工提取出铜线表面氧化缺陷ROI，并且人工标注出氧化程度等级，分别选取出各氧化程度等级的铜线表面氧化缺陷ROI，作为训练样本；提取出各训练样本的颜色特征；将各训练样本对应的颜色特征作为DAG-SVMS模型的输入训练得到DAG-SVMS分类器；采集待检测的FPC样本图像，通过图像分割方法提取出铜线表面氧化缺陷ROI，作为测试样本；提取出测试样本的颜色特征，将测试样本的颜色特征输入至DAG-SVMS分类器中，通过DAG-SVMS分类器最终确定出测试样本所属的氧化程度等级。本发明在FPC铜线表面氧化缺陷的检测过程中，只要获取到FPC样本图像后即可自动确定出FPC上铜线表面氧化缺陷并得到缺陷氧化等级，具有检测精度高、检测速度快以及鲁棒性强和实时性高的优点，有效的提高了劳动效率，降低了成本。
(2)本发明FPC铜线表面氧化缺陷检测方法中最终对测试样本进行分类的分类器为DAG-SVMS分类器，由DAG-SVMS模型训练得到，这种分类器采用有向无环的原则进行分类，分类的整个过程中总共只调用k-1(k为氧化程度等级总数)个子分类器即可完成测试样本的类别判定，分类速度快，且没有分类重叠和不可分现象，因此进一步提高了本发明检测方法的检测精度。
(3)本发明FPC铜线表面氧化缺陷检测方法在获取训练样本和测试样本的RGB颜色空间特征时，通过RGB分量均值加权的方式来描述RGB颜色空间铜线表面氧化缺陷ROI的一阶矩加权和特征；由于铜线表面氧化缺陷ROI颜色随着氧化程度的加深而逐渐变化，其中红色变化程度最少，其次是绿色，蓝色变化最明显，因此B通道的一阶矩对颜色特征的贡献最多，权值最大，其次是G通道，R通道一阶矩特征对颜色特征的贡献最少，权值最小；本发明检测方法采用一阶矩加权和特征方式能够有效减少颜色特征参数，并更好地表示颜色特征。
(4)本发明FPC铜线表面氧化缺陷检测方法在获取训练样本和测试样本的HSI颜色空间特征时，将铜线表面氧化缺陷ROI从RGB颜色空间转换成HSI颜色空间后，针对获取到的HSI颜色直方图中的H分量进行翻转，然后再根据H分量翻转后的HSI颜色直方图计算出铜线表面氧化缺陷ROI在HSI颜色空间的颜色矩；本发明检测方法针对HSI颜色直方图中的H分量进行翻转，避免了由于H分量的直方图呈中间低两边高形式而带来铜线表面氧化缺陷ROI在颜色通道H分量上的二阶矩特征值偏大的问题，对特征进行了优化。另外由于铜线表面氧化缺陷ROI颜色主要由淡黄色-黄褐色-赤褐色逐渐变化，颜色越深，氧化程度越严重，本发明将铜线表面氧化缺陷ROI从RGB颜色空间转换成HSI颜色空间，能够很好地描述颜色渐变的过程，克服由于RGB分量线性相关导致色差变化呈非线性，而不能很好地描述颜色渐变的过程的技术问题。
(5)本发明FPC铜线表面氧化缺陷检测方法在获取训练样本和测试样本颜色特征时，通过九宫格分块的策略提取出氧化代表色和氧化代表色分布概率，改善了使用全局直方图导致的空间分布信息缺失问题，克服了铜线表面氧化缺陷ROI由于氧化像素分布不均匀导致无法获取局部精确颜色特征的问题。
(6)本发明FPC铜线表面氧化缺陷检测系统中包括图像采集装置和图像处理单元，由图像采集装置采集FPC样本图像，并且发送至图像处理单元，由图像处理单元建立DAG-SVMS分类器，然后针对测试样本进行氧化程度等级的分类，有效提高了FPC铜线表面氧化缺陷的检测精度和检测速度，具有较强的实时性和鲁棒性。
(7)本发明FPC铜线表面氧化缺陷检测系统中，图像采集装置包括同轴光光源、光学显微镜和工业相机，通过同轴光光源可以提高FPC图像采集时的亮度，通过光学显微镜可以对FPC进行光学放大，使得FPC中微米级别的铜线也清晰可见，有效提高FPC样本图像的采集质量。
附图说明
图1a至图1d分别是一级氧化程度等级训练样本图。
图1e至图1h分别是二级氧化程度等级训练样本图。
图1i至图1l分别是三级氧化程度等级训练样本图。
图2为本发明方法获取到的待检测的FPC样本图像。
图3为本发明方法中DAG-SVMS分类器的有向无环分类原则图。
图4a和4b分别为本发明方法中HSI颜色直方图中H分量在翻转前和翻转后的直方图。
图5a为本发明中如图2所示的待检测的FPC样本图像的灰度直方图。
图5b至5d分别是待检测的FPC样本图像的R分量、G分量和B分量直方图。
图6是本发明检测方法中提取出的如图2所示的待检测的FPC样本图像中的铜线表面氧化缺陷ROI及位置标记图。
图7是本发明检测系统的结构示意图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
实施例
本实施例公开了一种FPC铜线表面氧化缺陷检测方法，步骤如下：
S1、首先采集一定数目的FPC样本图像，然后人工提取出这些FPC样本图像的铜线表面氧化缺陷ROI(感兴趣区域)，同时人为的标记上述提取的铜线表面氧化缺陷ROI所属氧化程度等级；针对于每个氧化程度等级，分别选取出一定数目的属于该氧化程度等级的铜线表面氧化缺陷ROI，作为该氧化程度等级的训练样本，获取到训练样本集；
在本实施例中铜线表面氧化缺陷ROI的氧化程度等级总数为3个，在本实施例中，针对于每个氧化程度等级，分别选取出30个属于该氧化程度等级的铜线表面氧化缺陷ROI，作为该氧化程度等级的训练样本。如图1a至1d所示为一级氧化程度等级的训练样本，如图1e至1h所示为二级氧化程度等级的训练样本，如图1i至1l所示为三级氧化程度等级的训练样本。
S2、针对于各训练样本，分别基于RGB颜色空间、HSI颜色空间与分块策略获取到各训练样本的颜色特征；其中获取到的训练样本的颜色特征包括RGB颜色空间特征、HSI颜色空间特征以及氧化代表色和氧化代表色分布概率；
S3、分别将步骤S2获取到的属于各氧化程度等级的各训练样本对应的颜色特征作为DAG-SVMS模型的输入，根据一对一多分类原则对DAG-SVMS模型进行训练，得到DAG-SVMS分类器；
本步骤中根据一对一多分类原则训练得到k(k-1)/2个SVM子分类器，k为铜线表面氧化缺陷ROI的氧化程度等级总数；其中每两类氧化程度等级中对应的训练样本训练得到一个SVM子分类器。当本实施例中铜线表面氧化缺陷ROI的氧化程度等级总数k为3时，则本步骤中根据一对一多分类原则训练得到3个SVM子分类器，其中第一个子分类器“1 vs 3”由属于第一氧化程度等级的训练样本和属于第三氧化程度等级的训练样本训练得到，第二个子分类器“1 vs 2”由属于第一氧化程度等级的训练样本和属于第二氧化程度等级的训练样本训练得到，第三个子分类器“2 vs 3”由属于第二氧化程度等级的训练样本和属于第三氧化程度等级的训练样本训练得到。
S4、采集待检测的FPC样本图像，然后通过图像分割方法提取出其中的铜线表面氧化缺陷ROI，作为测试样本；如图2所示为本实施例中采集的待检测的FPC样本图像；
S5、针对于各测试样本，分别基于RGB颜色空间、HSI颜色空间与分块策略获取到各测试样本的颜色特征；其中获取到的测试样本的颜色特征包括RGB颜色空间特征、HSI颜色空间特征以及氧化代表色和氧化代表色分布概率；
S6、将步骤S5中获取到的测试样本的颜色特征输入至DAG-SVMS分类器中，通过DAG-SVMS分类器最终确定出测试样本所属的氧化程度等级。其中本实施例中DAG-SVMS分类器对测试样本进行分类的原则如图3所示采用有向无环图的方式，具体为：首先调用由两个氧化程度等级相差最大的训练样本训练得到的第一个子分类器“1 vs 3”对测试样本的氧化程度等级进行判定；如果测试样本被第一个子分类器“1 vs 3”判定为一级氧化程度等级，则接下来调用第二个子分类器“1 vs 2”对测试样本进行判定，通过第二个子分类器“1vs 2”判定出测试样本是属于一级氧化程度等级还是二级氧化程度等级；如果测试样本被第一个子分类器“1 vs 3”判定为三级氧化程度等级，则接下来调用第三个子分类器“2 vs3”对测试样本进行判定，通过第三个子分类器“2vs 3”判定出测试样本是属于二级氧化程度等级还是三级氧化程度等级。
本实施例上述步骤S2和S5中，针对于训练样本和测试样本，获取到其颜色特征中的RGB颜色空间特征的具体过程如下：
Sa、首先针对于作为训练样本和测试样本的铜线表面氧化缺陷ROI，获取到RGB颜色直方图，根据RGB颜色直方图计算出铜线表面氧化缺陷ROI在RGB颜色空间的颜色距：
其中μi为RGB颜色空间铜线表面氧化缺陷ROI在颜色通道i分量上的一阶矩特征，表示在颜色通道i分量上的均值；σi为RGB颜色空间铜线表面氧化缺陷ROI在颜色通道i分量上的二阶矩特征，表示在颜色通道i分量上的方差；P(i,j)表示RGB颜色空间铜线表面氧化缺陷ROI第j个像素在颜色通道i分量上的亮度值，N表示铜线表面氧化缺陷ROI的像素个数；其中RGB颜色空间，当i＝1时，颜色通道i对应为颜色通道R；当i＝2时，颜色通道i对应为颜色通道G；当i＝3时，颜色通道i对应为颜色通道B；
Sb、根据步骤Sa中得到的铜线表面氧化缺陷ROI在各颜色通道分量上的一阶矩特征，通过RGB分量均值加权的方式来描述RGB颜色空间铜线表面氧化缺陷ROI的一阶矩加权和特征，并将其归一化，得到：
其中ωi为RGB颜色空间铜线表面氧化缺陷ROI在颜色通道i分量上的权重；μ为RGB颜色空间铜线表面氧化缺陷ROI的一阶矩加权和特征；本实施例中设置RGB颜色空间铜线表面氧化缺陷ROI在各颜色通道分量上的权重分别为ωR＝10％、ωG＝40％和ωB＝50％。
Sc、根据上述求取的RGB颜色空间铜线表面氧化缺陷ROI的一阶矩加权和特征μ以及铜线表面氧化缺陷ROI在各颜色通道分量上的二阶矩特征σ1、σ2和σ3构建得到RGB颜色空间特征为：{μ、σ1、σ2、σ3}。
本实施例上述步骤S2和S5中，针对于训练样本和测试样本，获取到其颜色特征中的HSI颜色空间特征的具体过程如下：
Sd、针对于作为训练样本和测试样本的铜线表面氧化缺陷ROI，将其从RGB颜色空间转换到HSI颜色空间，其中利用的转换公式如下：
其中H、S和I分别为HSI颜色空间中的色调、饱和度和亮度；R、G和B分别为RGB颜色空间的红、绿、蓝三个颜色通道分量；
Se、针对于作为训练样本和测试样本的铜线表面氧化缺陷ROI，当通过步骤Sd从RGB颜色空间转换到HSI颜色空间后，获取到HSI颜色直方图，并且对HSI颜色直方图中的H分量进行翻转，如图4a所示为HSI颜色直方图中的H分量在翻转前的直方图，如图4b所示为HSI颜色直方图中的H分量在翻转后的直方图，然后根据H分量翻转后的HSI颜色直方图计算铜线表面氧化缺陷ROI在HSI颜色空间的颜色矩：
其中μ′i为HSI颜色空间铜线表面氧化缺陷ROI在颜色通道i分量上的一阶矩特征，表示在颜色通道i分量上的均值；σ′i为HSI颜色空间铜线表面氧化缺陷ROI在颜色通道i分量上的二阶矩特征，表示在颜色通道i分量上的方差；P′(i,j)表示HSI颜色空间铜线表面氧化缺陷ROI第j个像素在颜色通道i分量上的亮度值，N表示铜线表面氧化缺陷ROI的像素总数；其中HSI颜色空间，当i＝1时，颜色通道i对应为颜色通道H；当i＝2时，颜色通道i对应为颜色通道S；
Sf、根据步骤Se中得到的铜线表面氧化缺陷ROI在各颜色通道分量上的一阶矩特征，通过HS分量均值加权的方式来描述HSI颜色空间铜线表面氧化缺陷ROI的一阶矩加权和特征，得到：
其中ω′i为HSI颜色空间铜线表面氧化缺陷ROI在颜色通道i分量上的权重；μ′为HSI颜色空间铜线表面氧化缺陷ROI的一阶矩加权和特征；在本实施例中设置HSI颜色空间铜线表面氧化缺陷ROI在各颜色通道分量上的权重分别为ωH＝40％和ωS＝60％。
Sg、根据上述求取的HSI颜色空间铜线表面氧化缺陷ROI的一阶矩加权和特征μ′以及铜线表面氧化缺陷ROI在各颜色通道分量上的二阶矩特征σ′1和σ′2构建得到HSI颜色空间特征为：{μ′、σ′1、σ′2}。
本实施例上述步骤S2和S5中，针对于训练样本和测试样本，获取到其颜色特征中的氧化代表色和氧化代表色分布概率的过程如下：
Sh、将作为训练样本和测试样本的铜线表面氧化缺陷ROI以九宫格的形式平均分为九块；
Si、针对于铜线表面氧化缺陷ROI每一块分别计算出其在RGB颜色空间的颜色距：
其中μik为RGB颜色空间铜线表面氧化缺陷ROI第k块在颜色通道i分量上的一阶矩特征，表示在颜色通道i分量上的均值；σik为RGB颜色空间铜线表面氧化缺陷ROI第k块在颜色通道i分量上的二阶矩特征，表示在颜色通道i分量上的方差；Pk(i,j)表示RGB颜色空间铜线表面氧化缺陷ROI第k块第j个像素在颜色通道i分量上的亮度值，M表示铜线表面氧化缺陷ROI各块的像素个数；其中RGB颜色空间中，当i＝1时，颜色通道i对应为颜色通道R；当i＝2时，颜色通道i对应为颜色通道G；当i＝3时，颜色通道i对应为颜色通道B；
Sj、根据步骤Si中得到铜线表面氧化缺陷ROI各块的各颜色通道分量的一阶矩特征，通过RGB分量均值加权和的方式来描述RGB颜色空间铜线表面氧化缺陷ROI各块的一阶矩加权和特征，得到：
其中ωi为RGB颜色空间铜线表面氧化缺陷ROI各块在颜色通道i分量上的权重；μk为RGB颜色空间铜线表面氧化缺陷ROI第k块的一阶矩加权和特征；
Sk、从铜线表面氧化缺陷ROI的9块中选取出颜色最深，即在RGB颜色空间中一阶矩加权和的特征值最小的一块，将该块作为铜线表面氧化缺陷ROI的氧化代表块，同时将该块的一阶矩加权和特征作为铜线表面氧化缺陷ROI的氧化代表色C；其中：
C＝min(μ1，μ2，…μ9)。
Sl、建立铜线表面氧化缺陷ROI的氧化代表色区间：[C-σ，C+σ]，其中σ为铜线表面氧化缺陷ROI的氧化代表块在颜色通道R、G和B三个分量的方差的均值；
Sm、计算出RGB颜色空间铜线表面氧化缺陷ROI中各像素的颜色加权特征值，判断各像素的颜色加权特征值是否落在铜线表面氧化缺陷ROI的氧化代表色区间中；然后统计出颜色加权特征值落在铜线表面氧化缺陷ROI的氧化代表色区间的像素个数，计算出颜色加权特征值落在铜线表面氧化缺陷ROI的氧化代表色区间的像素个数占铜线表面氧化缺陷ROI中像素总数的比例P，作为氧化代表色分布概率；
其中RGB颜色空间铜线表面氧化缺陷ROI中各像素的颜色加权特征值为：
其中ωi为RGB颜色空间铜线表面氧化缺陷ROI各个像素颜色通道i分量的权重；μ′j为RGB颜色空间铜线表面氧化缺陷ROI第j个像素的颜色加权特征值，P(i,j)表示RGB颜色空间铜线表面氧化缺陷ROI第j个像素在颜色通道i分量上的亮度值；N表示铜线表面氧化缺陷ROI的像素总数。
本实施例中k为3的情况下，获取到的训练样本的RGB颜色空间特征、HSI颜色空间特征以及氧化代表色和氧化代表色分布概率如下表1所示；
表1
本实施例步骤S4中，针对于待检测的FPC样本图像，通过基于彩色分层技术的图像分割方法从中提取出铜线表面氧化缺陷ROI，具体过程如下：
S41、计算出待检测的FPC样本图像的RGB颜色直方图，从RGB颜色直方图中统计出铜线氧化部分的颜色区间；然后获取RGB颜色空间待检测的FPC样本图像中各像素在各颜色通道分量上的亮度值，将各颜色通道分量上的亮度值均落在颜色区间的像素标记为氧化像素，从FPC样本图像的背景中分割出来；本实施例中根据RGB颜色直方图中各分量直方图可以求出铜线氧化部分在各颜色通道分量上的颜色区间，即取两峰值之间的区域为颜色区间；如图5a所示为本实施例待检测的FPC样本图像的灰度直方图，根据如图5b所示的R分量直方图确定出铜线氧化部分在R颜色通道分量上的颜色区间为：(83，253)，根据如图5c所示的G分量直方图确定出铜线氧化部分在G颜色通道分量上的颜色区间为：(52，253)，根据如图5d所示B分量直方图确定出铜线氧化部分在B颜色通道分量上的颜色区间为：(62，253)。
S42、获取待检测的FPC样本图像中氧化像素连通域；针对于每个氧化像素连通域，判断其中像素的总个数是否超过定值S；若是，则将其标记为氧化种子点，进入步骤S43；其中氧化像素连通域指的是其中所有像素均为氧化像素的区域；
S43、针对于每个氧化种子点，通过欧几里得距离判断出氧化种子点周围的离散像素以及周围的其他氧化像素连通域是否包括在氧化种子点所在的氧化区域中，以获取到氧化种子点所在氧化区域中包括的所有氧化像素；然后计算出氧化种子点所在氧化区域中的氧化像素总个数，若大于定值S′，则将该氧化种子点所在的氧化区域判定为待检测的FPC样本图像的铜线表面氧化缺陷ROI，并标记出位置，如图6中方框所述即为标记出的FPC样本图像的铜线表面氧化缺陷ROI的位置。
其中上述步骤S43中通过欧几里得距离判断出氧化种子点周围的离散像素以及周围的其他氧化像素连通域是否包括在氧化种子点所在的氧化区域中的具体过程如下：
S431、计算出氧化像素连通域中心位置(x0，y0)：
x0＝(x1+x2+x3+···+xn)/n；
y0＝(y1+y2+y3+···+yn)/n；
其中x1，x2，x3，···，xn分别为氧化像素连通域中第1，2，3，…，n个像素的x坐标，y1，y2，y3，···，yn分别为氧化像素连通域中第1，2，3，…，n个像素的y坐标，n为氧化像素连通域中像素的总数；
S432、获取氧化种子点周围的离散像素位置以及计算出氧化种子点周围其他氧化像素连通域的中心位置；然后计算出氧化种子点周围的离散像素位置与氧化种子点中心之间的欧几里得距离，若计算出的欧几里得距离小于d，则判断对应氧化种子点周围的离散像素包括在氧化种子点所在氧化区域；同时计算出氧化种子点与其周围的其他氧化像素连通域中心之间的欧几里得距离，若计算的欧几里得距离小于d，则判断对应氧化种子点周围的其他氧化像素连通域包括在该氧化种子点所在氧化区域；其中d＝n/10；
其中定值S可为500～600中的其中一个整数值，定值S′可为800～1000中的其中一个整数值，本实施例中定值S为600，定值S′为800。
本实施例还公开了一种用于实现上述FPC铜线表面氧化缺陷检测方法的FPC铜线表面氧化缺陷检测系统，如图7所示，包括图像采集装置1、图像处理单元2和计算机3；其中：
本实施例中图像采集装置连接图像处理单元，用于采集FPC样本图像，然后将采集到的FPC样本图像发送至图像处理单元；
在本实施例中图像采集装置包括同轴光光源11、光学显微镜12和工业相机13，同轴光光源、光学显微镜和工业相机分别自下而上布置，同轴光光源布置于FPC上方，光学显微镜安装在工业相机镜头前面，工业相机连接图像处理单元。本实施例中同轴光光源采用卤素灯，白光加蓝色滤光片，强蓝光照射电路板，使金属面反光呈白色，氧化面漫反射呈黄褐色；本实施例中光学显微镜安装在工业相机镜头前面，用于将电路板进行光学放大，使微米级别的铜线清晰可见，放大倍率可根据实际情况进行调节。本实施例中图像采集装置置于一个密闭的壳体中，以保证图像采集时的亮度稳定，壳体上设置有一个与工业相机输出端连接的外部接口，工业相机通过该外部接口连接图像处理单元。
本实施例中图像处理单元中包括：
训练样本数据库，用于存储属于各氧化程度等级作为训练样本的铜线表面氧化缺陷ROI；
铜线表面氧化缺陷ROI提取模块，用于通过图像分割方法从待检测的FPC样本图像中提取出铜线表面氧化缺陷ROI，作为测试样本；
颜色特征提取模块，用于提取训练样本和测试样本的颜色特征，包括RGB颜色空间特征、HSI颜色空间特征以及氧化代表色和氧化代表色分布概率；
DAG-SVMS分类器建立模块，用于根据各氧化程度等级的训练样本对应的颜色特征，运用一对一多分类原则对DAG-SVMS模型进行训练，得到DAG-SVMS分类器；
以及分类模块，用于从颜色特征提取模块提取出测试样本的颜色特征，然后将测试样本的颜色特征输入至DAG-SVMS分类器中，通过DAG-SVMS分类器最终确定出测试样本所属的氧化程度等级。
本实施例图像处理单元的输出端连接计算机，将图像处理单元中分类模块最终确定出的测试样本所属的氧化程度等级信息发送至计算机。通过计算机能够显示铜线表面氧化缺陷ROI的位置和氧化程度等级，并方便人机交互，用户可以输入操作指令对参数进行修改设定。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (10)

1.一种FPC铜线表面氧化缺陷检测方法，其特征在于，步骤如下：
S1、首先采集一定数目的FPC样本图像，然后人工提取出这些FPC样本图像的铜线表面氧化缺陷ROI，同时人为的标记上述提取的铜线表面氧化缺陷ROI所属氧化程度等级；针对于每个氧化程度等级，分别选取出一定数目的属于该氧化程度等级的铜线表面氧化缺陷ROI，作为该氧化程度等级的训练样本，获取到训练样本集；
S2、针对于各训练样本，分别基于RGB颜色空间、HSI颜色空间与分块策略获取到各训练样本的颜色特征；其中获取到的训练样本的颜色特征包括RGB颜色空间特征、HSI颜色空间特征以及氧化代表色和氧化代表色分布概率；
S3、分别将步骤S2获取到的属于各氧化程度等级的各训练样本对应的颜色特征作为DAG-SVMS模型的输入，根据一对一多分类原则对DAG-SVMS模型进行训练，得到DAG-SVMS分类器；
S4、采集待检测的FPC样本图像，然后通过图像分割方法提取出其中的铜线表面氧化缺陷ROI，作为测试样本；
S5、针对于各测试样本，分别基于RGB颜色空间、HSI颜色空间与分块策略获取到各测试样本的颜色特征；其中获取到的测试样本的颜色特征包括RGB颜色空间特征、HSI颜色空间特征以及氧化代表色和氧化代表色分布概率；
S6、将步骤S5中获取到的测试样本的颜色特征输入至DAG-SVMS分类器中，通过DAG-SVMS分类器最终确定出测试样本所属的氧化程度等级。
2.根据权利要求1所述的FPC铜线表面氧化缺陷检测方法，其特征在于，步骤S3中训练得到的DAG-SVMS分类器包括k(k-1)/2个SVM子分类器，k为FPC样本图像中铜线表面氧化缺陷ROI的氧化程度等级总数；其中每两类氧化程度等级中对应的训练样本训练得到一个SVM子分类器。
3.根据权利要求1所述的FPC铜线表面氧化缺陷检测方法，其特征在于，所述步骤S2和S5中，针对于训练样本和测试样本，获取到其颜色特征中的RGB颜色空间特征的具体过程如下：
Sa、首先针对于作为训练样本和测试样本的铜线表面氧化缺陷ROI，获取到RGB颜色直方图，根据RGB颜色直方图计算出铜线表面氧化缺陷ROI在RGB颜色空间的颜色距：
<mrow> <msub> <mi>&amp;mu;</mi> <mi>i</mi> </msub> <mo>=</mo> <mfrac> <mn>1</mn> <mi>N</mi> </mfrac> <msubsup> <mi>&amp;Sigma;</mi> <mrow> <mi>j</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </msubsup> <mi>P</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>,</mo> <mi>i</mi> <mo>&amp;Element;</mo> <mo>{</mo> <mn>1</mn> <mo>,</mo> <mn>2</mn> <mo>,</mo> <mn>3</mn> <mo>}</mo> <mo>;</mo> </mrow>
<mrow> <msub> <mi>&amp;sigma;</mi> <mi>i</mi> </msub> <mo>=</mo> <msup> <mrow> <mo>(</mo> <mfrac> <mn>1</mn> <mi>N</mi> </mfrac> <msubsup> <mi>&amp;Sigma;</mi> <mrow> <mi>j</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </msubsup> <msup> <mrow> <mo>(</mo> <mrow> <mi>P</mi> <mrow> <mo>(</mo> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> <mo>)</mo> </mrow> <mo>-</mo> <msub> <mi>&amp;mu;</mi> <mi>i</mi> </msub> </mrow> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mo>)</mo> </mrow> <mfrac> <mn>1</mn> <mn>2</mn> </mfrac> </msup> <mo>;</mo> </mrow>
其中μi为RGB颜色空间铜线表面氧化缺陷ROI在颜色通道i分量上的一阶矩特征，表示在颜色通道i分量上的均值；σi为RGB颜色空间铜线表面氧化缺陷ROI在颜色通道i分量上的二阶矩特征，表示在颜色通道i分量上的方差；P(i,j)表示RGB颜色空间铜线表面氧化缺陷ROI第j个像素在颜色通道i分量上的亮度值，N表示铜线表面氧化缺陷ROI的像素个数；其中RGB颜色空间，当i＝1时，颜色通道i对应为颜色通道R；当i＝2时，颜色通道i对应为颜色通道G；当i＝3时，颜色通道i对应为颜色通道B；
Sb、根据步骤Sa中得到的铜线表面氧化缺陷ROI在各颜色通道分量上的一阶矩特征，通过RGB分量均值加权的方式来描述RGB颜色空间铜线表面氧化缺陷ROI的一阶矩加权和特征，并将其归一化，得到：
<mrow> <mi>&amp;mu;</mi> <mo>=</mo> <mfrac> <mrow> <msubsup> <mi>&amp;Sigma;</mi> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mn>3</mn> </msubsup> <msub> <mi>&amp;omega;</mi> <mi>i</mi> </msub> <msub> <mi>&amp;mu;</mi> <mi>i</mi> </msub> </mrow> <mn>256</mn> </mfrac> <mo>;</mo> </mrow>
其中ωi为RGB颜色空间铜线表面氧化缺陷ROI在颜色通道i分量上的权重；μ为RGB颜色空间铜线表面氧化缺陷ROI的一阶矩加权和特征；
Sc、根据上述求取的RGB颜色空间铜线表面氧化缺陷ROI的一阶矩加权和特征μ以及铜线表面氧化缺陷ROI在各颜色通道分量上的二阶矩特征σ1、σ2和σ3构建得到RGB颜色空间特征为：{μ、σ1、σ2、σ3}。
4.根据权利要求1所述的FPC铜线表面氧化缺陷检测方法，其特征在于，所述步骤S2和S5中，针对于训练样本和测试样本，获取到其颜色特征中的HSI颜色空间特征的具体过程如下：
Sd、针对于作为训练样本和测试样本的铜线表面氧化缺陷ROI，将其从RGB颜色空间转换到HSI颜色空间，其中利用的转换公式如下：
<mrow> <mi>S</mi> <mo>=</mo> <mn>1</mn> <mo>-</mo> <mfrac> <mn>3</mn> <mrow> <mi>R</mi> <mo>+</mo> <mi>G</mi> <mo>+</mo> <mi>B</mi> </mrow> </mfrac> <mi>m</mi> <mi>i</mi> <mi>n</mi> <mrow> <mo>(</mo> <mi>R</mi> <mo>,</mo> <mi>G</mi> <mo>,</mo> <mi>B</mi> <mo>)</mo> </mrow> <mo>;</mo> </mrow>
<mrow> <mi>I</mi> <mo>=</mo> <mfrac> <mrow> <mi>R</mi> <mo>+</mo> <mi>G</mi> <mo>+</mo> <mi>B</mi> </mrow> <mn>3</mn> </mfrac> <mo>;</mo> </mrow>
其中H、S和I分别为HSI颜色空间中的色调、饱和度和亮度；R、G和B分别为RGB颜色空间的红、绿、蓝三个颜色通道分量；
Se、针对于作为训练样本和测试样本的铜线表面氧化缺陷ROI，当通过步骤Sd从RGB颜色空间转换到HSI颜色空间后，获取到HSI颜色直方图，并且对HSI颜色直方图中的H分量进行翻转，然后根据H分量翻转后的HSI颜色直方图计算铜线表面氧化缺陷ROI在HSI颜色空间的颜色矩：
<mrow> <msub> <msup> <mi>&amp;mu;</mi> <mo>&amp;prime;</mo> </msup> <mi>i</mi> </msub> <mo>=</mo> <mfrac> <mn>1</mn> <mi>N</mi> </mfrac> <msubsup> <mi>&amp;Sigma;</mi> <mrow> <mi>j</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </msubsup> <msup> <mi>P</mi> <mo>&amp;prime;</mo> </msup> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>,</mo> <mi>i</mi> <mo>&amp;Element;</mo> <mo>{</mo> <mn>1</mn> <mo>,</mo> <mn>2</mn> <mo>}</mo> <mo>;</mo> </mrow>
<mrow> <msub> <msup> <mi>&amp;sigma;</mi> <mo>&amp;prime;</mo> </msup> <mi>i</mi> </msub> <mo>=</mo> <msup> <mrow> <mo>(</mo> <mfrac> <mn>1</mn> <mi>N</mi> </mfrac> <msubsup> <mi>&amp;Sigma;</mi> <mrow> <mi>j</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </msubsup> <msup> <mrow> <mo>(</mo> <mrow> <msup> <mi>P</mi> <mo>&amp;prime;</mo> </msup> <mrow> <mo>(</mo> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> <mo>)</mo> </mrow> <mo>-</mo> <msub> <msup> <mi>&amp;mu;</mi> <mo>&amp;prime;</mo> </msup> <mi>i</mi> </msub> </mrow> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mo>)</mo> </mrow> <mfrac> <mn>1</mn> <mn>2</mn> </mfrac> </msup> <mo>,</mo> <mi>i</mi> <mo>&amp;Element;</mo> <mo>{</mo> <mn>1</mn> <mo>,</mo> <mn>2</mn> <mo>}</mo> <mo>;</mo> </mrow>
其中μ′i为HSI颜色空间铜线表面氧化缺陷ROI在颜色通道i分量上的一阶矩特征，表示在颜色通道i分量上的均值；σ′i为HSI颜色空间铜线表面氧化缺陷ROI在颜色通道i分量上的二阶矩特征，表示在颜色通道i分量上的方差；P′(i,j)表示HSI颜色空间铜线表面氧化缺陷ROI第j个像素在颜色通道i分量上的亮度值，N表示铜线表面氧化缺陷ROI的像素总数；其中HSI颜色空间，当i＝1时，颜色通道i对应为颜色通道H；当i＝2时，颜色通道i对应为颜色通道S；
Sf、根据步骤Se中得到的铜线表面氧化缺陷ROI在各颜色通道分量上的一阶矩特征，通过HS分量均值加权的方式来描述HSI颜色空间铜线表面氧化缺陷ROI的一阶矩加权和特征，并将其归一化，得到：
<mrow> <msup> <mi>&amp;mu;</mi> <mo>&amp;prime;</mo> </msup> <mo>=</mo> <msubsup> <mi>&amp;Sigma;</mi> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mn>2</mn> </msubsup> <msub> <msup> <mi>&amp;omega;</mi> <mo>&amp;prime;</mo> </msup> <mi>i</mi> </msub> <msub> <msup> <mi>&amp;mu;</mi> <mo>&amp;prime;</mo> </msup> <mi>i</mi> </msub> <mo>;</mo> </mrow>
其中ω′i为HSI颜色空间铜线表面氧化缺陷ROI在颜色通道i分量上的权重；μ′为HSI颜色空间铜线表面氧化缺陷ROI的一阶矩加权和特征；
Sj、根据上述求取的HSI颜色空间铜线表面氧化缺陷ROI的一阶矩加权和特征μ′以及铜线表面氧化缺陷ROI在各颜色通道分量上的二阶矩特征σ′1和σ′2构建得到HSI颜色空间特征为：{μ′、σ′1、σ′2}。
5.根据权利要求1所述的FPC铜线表面氧化缺陷检测方法，其特征在于，所述步骤S2和S5中，针对于训练样本和测试样本，获取到其颜色特征中的氧化代表色和氧化代表色分布概率的过程如下：
Sh、将作为训练样本和测试样本的铜线表面氧化缺陷ROI以九宫格的形式平均分为九块；
Si、针对于铜线表面氧化缺陷ROI每一块分别计算出其在RGB颜色空间的颜色距：
<mrow> <msub> <mi>&amp;mu;</mi> <mrow> <mi>i</mi> <mi>k</mi> </mrow> </msub> <mo>=</mo> <mfrac> <mn>1</mn> <mi>N</mi> </mfrac> <msubsup> <mi>&amp;Sigma;</mi> <mrow> <mi>j</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </msubsup> <msub> <mi>P</mi> <mi>k</mi> </msub> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>,</mo> <mi>i</mi> <mo>&amp;Element;</mo> <mo>{</mo> <mn>1</mn> <mo>,</mo> <mn>2</mn> <mo>,</mo> <mn>3</mn> <mo>}</mo> <mo>,</mo> <mi>k</mi> <mo>&amp;Element;</mo> <mo>{</mo> <mn>1</mn> <mo>,</mo> <mn>2</mn> <mo>,</mo> <mo>...</mo> <mo>,</mo> <mn>9</mn> <mo>}</mo> <mo>;</mo> </mrow>
<mrow> <msub> <mi>&amp;sigma;</mi> <mrow> <mi>i</mi> <mi>k</mi> </mrow> </msub> <mo>=</mo> <msup> <mrow> <mo>(</mo> <mfrac> <mn>1</mn> <mi>M</mi> </mfrac> <msubsup> <mi>&amp;Sigma;</mi> <mrow> <mi>j</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>M</mi> </msubsup> <msup> <mrow> <mo>(</mo> <mrow> <msub> <mi>P</mi> <mi>k</mi> </msub> <mrow> <mo>(</mo> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> <mo>)</mo> </mrow> <mo>-</mo> <msub> <mi>&amp;mu;</mi> <mi>i</mi> </msub> </mrow> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mo>)</mo> </mrow> <mfrac> <mn>1</mn> <mn>2</mn> </mfrac> </msup> <mo>,</mo> <mi>i</mi> <mo>&amp;Element;</mo> <mo>{</mo> <mn>1</mn> <mo>,</mo> <mn>2</mn> <mo>,</mo> <mn>3</mn> <mo>}</mo> <mo>,</mo> <mi>k</mi> <mo>&amp;Element;</mo> <mo>{</mo> <mn>1</mn> <mo>,</mo> <mn>2</mn> <mo>,</mo> <mo>...</mo> <mo>,</mo> <mn>9</mn> <mo>}</mo> <mo>;</mo> </mrow>
其中μik为RGB颜色空间铜线表面氧化缺陷ROI第k块在颜色通道i分量上的一阶矩特征，表示在颜色通道i分量上的均值；σik为RGB颜色空间铜线表面氧化缺陷ROI第k块在颜色通道i分量上的二阶矩特征，表示在颜色通道i分量上的方差；Pk(i,j)表示RGB颜色空间铜线表面氧化缺陷ROI第k块第j个像素在颜色通道i分量上的亮度值，M表示铜线表面氧化缺陷ROI各块的像素个数；其中RGB颜色空间中，当i＝1时，颜色通道i对应为颜色通道R；当i＝2时，颜色通道i对应为颜色通道G；当i＝3时，颜色通道i对应为颜色通道B；
Sj、根据步骤Si中得到铜线表面氧化缺陷ROI各块在各颜色通道分量上的一阶矩特征，通过RGB分量均值加权和的方式来描述RGB颜色空间铜线表面氧化缺陷ROI各块的一阶矩加权和特征，得到：
<mrow> <msub> <mi>&amp;mu;</mi> <mi>k</mi> </msub> <mo>=</mo> <msubsup> <mi>&amp;Sigma;</mi> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mn>3</mn> </msubsup> <msub> <mi>&amp;omega;</mi> <mi>i</mi> </msub> <msub> <mi>&amp;mu;</mi> <mrow> <mi>i</mi> <mi>k</mi> </mrow> </msub> <mo>,</mo> <mi>k</mi> <mo>&amp;Element;</mo> <mo>{</mo> <mn>1</mn> <mo>,</mo> <mn>2</mn> <mo>,</mo> <mo>...</mo> <mo>,</mo> <mn>9</mn> <mo>}</mo> <mo>;</mo> </mrow>
其中ωi为RGB颜色空间铜线表面氧化缺陷ROI各块在颜色通道i分量上的权重；μk为RGB颜色空间铜线表面氧化缺陷ROI第k块的一阶矩特征；
Sk、从铜线表面氧化缺陷ROI的9块中选取出颜色最深即在RGB颜色空间中一阶矩加权和的特征值最小的一块，将该块作为铜线表面氧化缺陷ROI的氧化代表块，同时将该块的一阶矩特征作为铜线表面氧化缺陷ROI的氧化代表色C；其中：
C＝min(μ1，μ2，…μ9)；
Sl、建立铜线表面氧化缺陷ROI的氧化代表色区间：[C-σ，C+σ]，其中σ为铜线表面氧化缺陷ROI的氧化代表块在颜色通道R、G和B三个分量的方差的均值；
Sm、计算出RGB颜色空间铜线表面氧化缺陷ROI中各像素的颜色加权特征值，判断各像素的颜色加权特征值是否落在铜线表面氧化缺陷ROI的氧化代表色区间中；然后统计出颜色加权特征值落在铜线表面氧化缺陷ROI的氧化代表色区间的像素个数，计算出颜色加权特征值落在铜线表面氧化缺陷ROI的氧化代表色区间的像素个数占铜线表面氧化缺陷ROI中像素总数的比例P，作为氧化代表色分布概率；
其中RGB颜色空间铜线表面氧化缺陷ROI中各像素的颜色加权特征值为：
<mrow> <msub> <msup> <mi>&amp;mu;</mi> <mo>&amp;prime;</mo> </msup> <mi>j</mi> </msub> <mo>=</mo> <msubsup> <mi>&amp;Sigma;</mi> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mn>3</mn> </msubsup> <msub> <mi>&amp;omega;</mi> <mi>i</mi> </msub> <mi>P</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>,</mo> <mi>i</mi> <mo>&amp;Element;</mo> <mo>{</mo> <mn>1</mn> <mo>,</mo> <mn>2</mn> <mo>,</mo> <mn>3</mn> <mo>}</mo> <mo>,</mo> <mi>j</mi> <mo>&amp;Element;</mo> <mo>{</mo> <mn>1</mn> <mo>,</mo> <mn>2</mn> <mo>,</mo> <mo>...</mo> <mo>,</mo> <mi>N</mi> <mo>}</mo> <mo>;</mo> </mrow>
其中ωi为RGB颜色空间铜线表面氧化缺陷ROI各个像素在颜色通道i分量上的权重；μ′j为RGB颜色空间铜线表面氧化缺陷ROI第j个像素的颜色加权特征值，P(i,j)表示RGB颜色空间铜线表面氧化缺陷ROI第j个像素在颜色通道i分量上的亮度值；N表示铜线表面氧化缺陷ROI的像素总数。
6.根据权利要求1所述的FPC铜线表面氧化缺陷检测方法，其特征在于，所述步骤S4针对于待检测的FPC样本图像，通过基于彩色分层技术的图像分割方法从中提取出铜线表面氧化缺陷ROI，具体过程如下：
S41、计算出待检测的FPC样本图像的颜色直方图，从颜色直方图中统计出铜线氧化部分的颜色区间；然后获取RGB颜色空间待检测的FPC样本图像中各像素在各颜色通道分量上的亮度值，将各颜色通道分量上的亮度值均落在颜色区间的像素标记为氧化像素，从FPC样本图像的背景中分割出来；
S42、获取待检测的FPC样本图像中氧化像素连通域；针对于每个氧化像素连通域，判断其中像素的总个数是否超过定值S；若是，则将其标记为氧化种子点，进入步骤S43；其中氧化像素连通域指的是其中所有像素均为氧化像素的区域；
S43、针对于每个氧化种子点，通过欧几里得距离判断出氧化种子点周围的离散像素以及周围的其他氧化像素连通域是否包括在氧化种子点所在的氧化区域中；然后计算出氧化种子点所在氧化区域中的氧化像素总个数，若大于定值S′，则将该氧化种子点所在氧化区域判定为待检测的FPC样本图像的铜线表面氧化缺陷ROI，并标记出位置。
7.根据权利要求6所述的FPC铜线表面氧化缺陷检测方法，其特征在于，所述定值S为500～600中的其中一个整数值，所述定值S′为800～1000中的其中一个整数值。
8.一种用于实现权利要求1至7中任一项所述的FPC铜线表面氧化缺陷检测方法的FPC铜线表面氧化缺陷检测系统，包括图像采集装置和图像处理单元，所述图像采集装置连接图像处理单元，用于采集FPC样本图像，然后将采集到的FPC样本图像发送至图像处理单元；其特征在于，所述图像处理单元中包括：
训练样本数据库，用于存储属于各氧化程度等级作为训练样本的铜线表面氧化缺陷ROI；
铜线表面氧化缺陷ROI提取模块，用于通过图像分割方法从待检测的FPC样本图像中提取出铜线表面氧化缺陷ROI，作为测试样本；
颜色特征提取模块，用于提取训练样本和测试样本的颜色特征，包括RGB颜色空间特征、HSI颜色空间特征以及氧化代表色和氧化代表色分布概率；
DAG-SVMS分类器建立模块，用于根据各氧化程度等级的训练样本对应的颜色特征，运用一对一多分类原则对DAG-SVMS模型进行训练，得到DAG-SVMS分类器；
以及分类模块，用于从颜色特征提取模块提取出测试样本的颜色特征，然后将测试样本的颜色特征输入至DAG-SVMS分类器中，通过DAG-SVMS分类器最终确定出测试样本所属的氧化程度等级。
9.根据权利要求1所述的FPC铜线表面氧化缺陷检测系统，其特征在于，还包括计算机，所述图像处理单元的输出端连接计算机，将图像处理单元中分类模块最终确定出的测试样本所属的氧化程度等级信息发送至计算机。
10.根据权利要求1所述的FPC铜线表面氧化缺陷检测系统，其特征在于，所述图像采集装置包括同轴光光源、光学显微镜和工业相机，所述同轴光光源、光学显微镜和工业相机分别自下而上布置，所述同轴光光源布置于FPC上方，所述光学显微镜安装在工业相机镜头前面，所述工业相机连接图像处理单元。
CN201710491626.0A 2017-06-20 2017-06-20 一种fpc铜线表面氧化缺陷检测方法及其检测系统 Active CN107392890B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710491626.0A CN107392890B (zh) 2017-06-20 2017-06-20 一种fpc铜线表面氧化缺陷检测方法及其检测系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710491626.0A CN107392890B (zh) 2017-06-20 2017-06-20 一种fpc铜线表面氧化缺陷检测方法及其检测系统

Publications (2)

Publication Number Publication Date
CN107392890A true CN107392890A (zh) 2017-11-24
CN107392890B CN107392890B (zh) 2020-05-19

Family

ID=60333076

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710491626.0A Active CN107392890B (zh) 2017-06-20 2017-06-20 一种fpc铜线表面氧化缺陷检测方法及其检测系统

Country Status (1)

Country Link
CN (1) CN107392890B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108090897A (zh) * 2017-12-18 2018-05-29 川亿电脑(深圳)有限公司 印刷线路板缺陷的检测方法、检测装置及存储介质
CN109086672A (zh) * 2018-07-05 2018-12-25 襄阳矩子智能科技有限公司 一种基于强化学习自适应分块的行人再识别方法
CN109284759A (zh) * 2018-07-24 2019-01-29 五邑大学 一种基于支持向量机（svm）的魔方颜色识别方法
CN109300119A (zh) * 2018-09-11 2019-02-01 石家庄铁道大学 钢结构表面锈蚀区域的检测方法、检测装置及终端设备
CN110415214A (zh) * 2019-06-26 2019-11-05 北京迈格威科技有限公司 摄像头模组的外观检测方法、装置、电子设备及存储介质
CN112730249A (zh) * 2020-12-29 2021-04-30 苏州天准科技股份有限公司 一种光学系统及柔性电路板自动视觉检测装置
CN113036240A (zh) * 2021-02-26 2021-06-25 广东电网有限责任公司韶关供电局 一种配网自动化设备电池极柱的氧化情况监测方法
CN114037667A (zh) * 2021-10-28 2022-02-11 北京科技大学 一种基于机器视觉的铜表面氧化检测及氧化程度判断方法
CN114972357A (zh) * 2022-08-03 2022-08-30 南通恒立机械设备有限公司 一种基于图像处理的轧辊表面缺陷检测方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102663357A (zh) * 2012-03-28 2012-09-12 北京工业大学 基于颜色特征的停车场车位检测算法
CN102938052A (zh) * 2011-08-16 2013-02-20 汪建 一种基于计算机视觉的甘蔗分割与识别方法
CN105389556A (zh) * 2015-11-10 2016-03-09 中南大学 一种顾及阴影区域的高分辨率遥感影像车辆检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102938052A (zh) * 2011-08-16 2013-02-20 汪建 一种基于计算机视觉的甘蔗分割与识别方法
CN102663357A (zh) * 2012-03-28 2012-09-12 北京工业大学 基于颜色特征的停车场车位检测算法
CN105389556A (zh) * 2015-11-10 2016-03-09 中南大学 一种顾及阴影区域的高分辨率遥感影像车辆检测方法

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108090897A (zh) * 2017-12-18 2018-05-29 川亿电脑(深圳)有限公司 印刷线路板缺陷的检测方法、检测装置及存储介质
CN109086672A (zh) * 2018-07-05 2018-12-25 襄阳矩子智能科技有限公司 一种基于强化学习自适应分块的行人再识别方法
CN109284759A (zh) * 2018-07-24 2019-01-29 五邑大学 一种基于支持向量机（svm）的魔方颜色识别方法
CN109300119A (zh) * 2018-09-11 2019-02-01 石家庄铁道大学 钢结构表面锈蚀区域的检测方法、检测装置及终端设备
CN109300119B (zh) * 2018-09-11 2020-10-30 石家庄铁道大学 钢结构表面锈蚀区域的检测方法、检测装置及终端设备
CN110415214A (zh) * 2019-06-26 2019-11-05 北京迈格威科技有限公司 摄像头模组的外观检测方法、装置、电子设备及存储介质
CN112730249A (zh) * 2020-12-29 2021-04-30 苏州天准科技股份有限公司 一种光学系统及柔性电路板自动视觉检测装置
CN113036240A (zh) * 2021-02-26 2021-06-25 广东电网有限责任公司韶关供电局 一种配网自动化设备电池极柱的氧化情况监测方法
CN114037667A (zh) * 2021-10-28 2022-02-11 北京科技大学 一种基于机器视觉的铜表面氧化检测及氧化程度判断方法
CN114972357A (zh) * 2022-08-03 2022-08-30 南通恒立机械设备有限公司 一种基于图像处理的轧辊表面缺陷检测方法及系统

Also Published As

Publication number Publication date
CN107392890B (zh) 2020-05-19

Similar Documents

Publication Publication Date Title
CN107392890A (zh) 一种fpc铜线表面氧化缺陷检测方法及其检测系统
CN106127702B (zh) 一种基于深度学习的图像去雾方法
CN108021938A (zh) 一种冷轧带钢表面缺陷在线检测方法以及检测系统
CN109683360A (zh) 液晶面板缺陷检测方法及装置
CN108334847A (zh) 一种真实场景下的基于深度学习的人脸识别方法
CN109584227A (zh) 一种基于深度学习目标检测算法的焊点质量检测方法及其实现系统
CN105612249B (zh) 图像处理装置、程序、信息存储介质和图像处理方法
CN107610123A (zh) 一种基于深度卷积神经网络的图像美学质量评价方法
CN107844770A (zh) 一种基于视频的电熔镁炉异常工况自动识别系统
CN107229929A (zh) 一种基于r‑cnn的车牌定位方法
CN107657603A (zh) 一种基于智能视觉的工业外观检测方法
CN110378232B (zh) 改进的ssd双网络的考场考生位置快速检测方法
CN108615046A (zh) 一种储粮害虫检测识别方法及装置
CN109559310A (zh) 基于显著性检测的输变电巡检图像质量评价方法及系统
CN107064079A (zh) 用于识别全血样品中的血小板的方法和设备
WO2018010386A1 (zh) 元件反件检测方法和系统
CN112634257B (zh) 一种真菌荧光检测方法
CN107330455A (zh) 图像评价方法
CN110188730A (zh) 基于mtcnn的人脸检测与对齐方法
CN116091505B (zh) 一种蓝宝石衬底自动缺陷检测分类的方法和系统
CN107290345A (zh) 一种基于aoi的显示面板缺陷分类方法及装置
CN111199194A (zh) 基于机器视觉和深度学习的汽车智能座舱仪表测试方法
Karthigadevi et al. Speed Limit Signboard Recognition and Audio Alert for Driver Using CNN
CN110263608A (zh) 基于图像特征空间变阈值度量的电子元器件自动识别方法
CN102938052A (zh) 一种基于计算机视觉的甘蔗分割与识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant