CN111965197B - 一种基于多特征融合的缺陷分类方法 - Google Patents

一种基于多特征融合的缺陷分类方法 Download PDF

Info

Publication number
CN111965197B
CN111965197B CN202010715328.7A CN202010715328A CN111965197B CN 111965197 B CN111965197 B CN 111965197B CN 202010715328 A CN202010715328 A CN 202010715328A CN 111965197 B CN111965197 B CN 111965197B
Authority
CN
China
Prior art keywords
feature
sample image
support vector
vector machine
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010715328.7A
Other languages
English (en)
Other versions
CN111965197A (zh
Inventor
杨海东
朱成就
徐康康
印四华
李凡
胡罗克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN202010715328.7A priority Critical patent/CN111965197B/zh
Publication of CN111965197A publication Critical patent/CN111965197A/zh
Application granted granted Critical
Publication of CN111965197B publication Critical patent/CN111965197B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956—Inspecting patterns on the surface of objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956—Inspecting patterns on the surface of objects
    • G01N2021/95638—Inspecting patterns on the surface of objects for PCB's
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30141—Printed circuit board [PCB]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Chemical & Material Sciences (AREA)
  • Software Systems (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明提供一种基于多特征融合的缺陷分类方法，包括以下步骤：S1：获取PCB图像作为样本图像；S2：提取样本图像的形状特征、纹理特征和颜色特征；S3：使用支持向量机分类器将样本图像按照三种特征进行预分类；S4：根据支持向量机分类器的分类准确率计算各种特征的权重，并融合得到特征向量；S5：采用有向无环图支持向量机对特征向量进行分类，实现对多种复杂缺陷的分类。本发明提供一种基于多特征融合的缺陷分类方法，从PCB图像中提取并融合形状、纹理、颜色三种特征，结合有向无环图支持向量机对实现对多种复杂缺陷分类，解决了目前的PCB检测方法不能准确识别复杂缺陷的问题。

Description

一种基于多特征融合的缺陷分类方法
技术领域
本发明涉及PCB检测技术领域，更具体的，涉及一种基于多特征融合的缺陷分类方法。
背景技术
随着图像处理、模式识别、工业自动化和计算机技术的不断发展，计算机视觉技术在制造业的应用受到人们越来越广泛的关注，其中自动光学检测(AOI)技术在印刷电路板(PCB)生产行业的应用取得了显著的成效。
在PCB生产过程中，印刷电路板因其生产流程复杂会产生多种类型的缺陷，且同一类型的缺陷还会呈现出不同的样式。
现有技术中，很多PCB检测方法通过提取PCB缺陷的特征实现特定缺陷的识别，但是都不能准确识别如污渍、气泡、划痕、鼠咬、毛刺等复杂缺陷。如一种PCB焊点缺陷检测方法，公开号为CN109859181A，能够检测出PCB的焊点缺陷，但是不能准确识别如污渍、气泡、划痕、鼠咬、毛刺等复杂缺陷。
发明内容
本发明为克服目前的PCB检测方法不能准确识别复杂缺陷的技术缺陷，提供一种基于多特征融合的缺陷分类方法。
为解决上述技术问题，本发明的技术方案如下：
一种基于多特征融合的缺陷分类方法，包括以下步骤：
S1：获取PCB图像作为样本图像；
S2：提取样本图像的形状特征、纹理特征和颜色特征；
S3：使用支持向量机分类器将样本图像按照三种特征进行预分类；
S4：根据支持向量机分类器的分类准确率计算各种特征的权重，并融合得到特征向量；
S5：采用有向无环图支持向量机对特征向量进行分类，实现对多种复杂缺陷的分类。
优选的，在步骤S2中，使用边缘检测Canny算子从样本图像中提取缺陷图形的轮廓，通过计算其Hu不变矩来表示样本图像的形状特征。
优选的，在步骤S2中，从样本图像中提取缺陷图形的尺度不变特征描述子，并通过聚类生成视觉词袋来表示样本图像的纹理特征。
优选的，从样本图像中提取缺陷图形的尺度不变特征描述子具体包括以下步骤：
S2.1.1：使用不同尺度空间的高斯差分函数与样本图像进行卷积，获取候选特征点；
S2.1.2：通过设定阈值条件剔除对比度低的候选特征点，从而确定关键特征点；
S2.1.3：通过关键特征点邻域像素梯度方向的分布特征来确定主方向；
S2.1.4：计算关键特征点周围的每个子区域的梯度直方图作为尺度不变特征描述子。
优选的，通过聚类生成视觉词袋具体包括以下步骤：
S2.2.1：在尺度不变特征描述子集合{x1,x2,K,xn}中随机选取k个聚类中心Oj,j＝1,2,K,k；其中，聚类数量k表示视觉单词的个数；
S2.2.2：计算尺度不变特征描述子xi到中心Oj的欧式距离d(xi,oj)，并将xi归类到距离最近的一簇Cj中；欧式距离d(xi,oj)的计算公式为：
Figure BDA0002597958700000021
其中，m为对象的维度，xik为xi的第k个属性；
S2.2.3：计算每一簇新的聚类中心Oj，计算公式为：
Figure BDA0002597958700000022
S2.2.4：重复步骤S2.2.2和步骤S2.2.3，直到聚类中心收敛或迭代次数上限；
S2.2.5：通过统计样本图像中每种类别中元素出现的次数，将词袋映射为直方图来表示样本图像的纹理特征的统计。
优选的，在步骤S2中，先将样本图像从RGB模式转换到HSV模式，然后对样本图像进行色彩分析和处理，通过颜色矩表示样本图像的颜色特征。
优选的，在步骤S4中，支持向量机分类器的分类准确率通过输入具有不同复杂缺陷的PCB图像对支持向量机分类器训练得到。
优选的，在步骤S4中，特征向量M为：
M＝FhWh+FsWs+FcWc
其中，Fh表示形状特征向量，Wh表示形状特征权重，Fs表示纹理特征向量，Ws表示纹理特征权重，Fc表示颜色特征向量，Wc表示颜色特征权重。
优选的，在步骤S5中，有向无环图支持向量机是通过将图论中的有向无环图层次化拓扑结构引入到支持向量机得到。
优选的，采用节点优化的方式构造有向无环图支持向量机，具体包括以下步骤：
S5.1：对于k分类问题，两两训练支持向量机，生成k(k-1)/2二分类器；其中，将分类正确率最高的子分类器作为层次结构的根节点；
S5.2：从不包含第i类但包含第j类的分类器和不包含第j类但包含第i类的二分类器中各找出一个，并计算它们的正确率平均值，将平均值最高的两个二分类器作为根节点的子节点；
S5.3：将新选出的子节点作为新的根节点，并为新的根节点按照步骤S5.2的方式选取子节点；
S5.4：重复步骤S5.3，直到完成有向无环图支持向量机的构造。
与现有技术相比，本发明技术方案的有益效果是：
本发明提供了一种基于多特征融合的缺陷分类方法，从PCB图像中提取并融合形状、纹理、颜色三种特征，结合有向无环图支持向量机对实现对多种复杂缺陷分类，提高分类准确性和适用性。
附图说明
图1为本发明的技术方案实施步骤流程图；
图2为本发明中采用节点优化的方式构造有向无环图支持向量机的示意图。
具体实施方式
附图仅用于示例性说明，不能理解为对本专利的限制；
为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；
对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
下面结合附图和实施例对本发明的技术方案做进一步的说明。
实施例1
如图1所示，一种基于多特征融合的缺陷分类方法，包括以下步骤：
S1：获取PCB图像作为样本图像；
S2：提取样本图像的形状特征、纹理特征和颜色特征；
S3：使用支持向量机分类器将样本图像按照三种特征进行预分类；
S4：根据支持向量机分类器的分类准确率计算各种特征的权重，并融合得到特征向量；
S5：采用有向无环图支持向量机对特征向量进行分类，实现对多种复杂缺陷的分类。
在实施过程中，从PCB图像中提取并融合形状、纹理、颜色三种特征，结合有向无环图支持向量机对实现对多种复杂缺陷分类，提高分类准确性和适用性。
更具体的，在步骤S2中，使用边缘检测Canny算子从样本图像中提取缺陷图形的轮廓，通过计算其Hu不变矩来表示样本图像的形状特征。
在实施过程中，Hu不变矩具有旋转、平移和尺度不变性。
更具体的，在步骤S2中，从样本图像中提取缺陷图形的尺度不变特征描述子，并通过聚类生成视觉词袋来表示样本图像的纹理特征。
更具体的，从样本图像中提取缺陷图形的尺度不变特征描述子具体包括以下步骤：
S2.1.1：使用不同尺度空间的高斯差分函数与样本图像进行卷积，获取候选特征点；
S2.1.2：通过设定阈值条件剔除对比度低的候选特征点，从而确定关键特征点；
S2.1.3：通过关键特征点邻域像素梯度方向的分布特征来确定主方向；
S2.1.4：计算关键特征点周围的每个子区域的梯度直方图作为尺度不变特征描述子。
在实施过程中，在步骤S2.1.2中，高斯差分函数在图像边缘会有很强的响应，为了精确确定关键特征点的位置，需要剔除对比度低的候选特征点和边缘特征点，对比度低的候选特征点通过设定阈值条件将其剔除，而边缘点则使用2×2的Hessian矩阵来消除。在步骤S2.1.4中，将坐标轴旋转为关键特征点的主方向来保证旋转不变性，然后在关键特征点周围取16×16的领域像素，并划分为4×4的子区域，计算每个子区域的梯度直方图，作为尺度不变特征描述子；其中，每个区域有8个方向的梯度直方图。
更具体的，通过聚类生成视觉词袋具体包括以下步骤：
S2.2.1：在尺度不变特征描述子集合{x1,x2,K,xn}中随机选取k个聚类中心Oj,j＝1,2,K,k；其中，聚类数量k表示视觉单词的个数；
S2.2.2：计算尺度不变特征描述子xi到中心Oj的欧式距离d(xi,oj)，并将xi归类到距离最近的一簇Cj中；欧式距离d(xi,oj)的计算公式为：
Figure BDA0002597958700000051
其中，m为对象的维度，xik为xi的第k个属性；
S2.2.3：计算每一簇新的聚类中心Oj，计算公式为：
Figure BDA0002597958700000052
S2.2.4：重复步骤S2.2.2和步骤S2.2.3，直到聚类中心收敛或迭代次数上限；
S2.2.5：通过统计样本图像中每种类别中元素出现的次数，将词袋映射为直方图来表示样本图像的纹理特征的统计。
在实施过程中，尺度不变特征描述子为128维，无法直接与Hu矩的一维特征融合，需要使用k-means算法对提取的特征进行无监督聚类，将尺度不变特征描述子具有较强相似度的归为一类，类中心就是图像的“单词”，类别的数量即为视觉词典的大小，从而构建视觉词袋模型(Bag of Visual Words,BOVW)来表述纹理特征。
更具体的，在步骤S2中，先将样本图像从RGB模式转换到HSV模式，然后对样本图像进行色彩分析和处理，通过颜色矩表示样本图像的颜色特征。
在实施过程中，彩色印刷电路板会出现印刷偏色、颜色不匀、气泡斑点、线路异色、污染、大面积氧化等缺陷，若将图像转化为二值图只能获得形状信息，转化为灰度图将会丢失颜色信息，容易出现漏检。使用RGB颜色空间不能很好地反应人类视觉对色彩的感知，并且RGB颜色空间各通道直方图分布有断层。而HSV色彩空间对应于人类视觉特性的三要素：色调、饱和度、亮度，适合对彩色图像进行色彩分析和处理。颜色矩方法认为颜色信息集中的图像色彩的低阶矩中，仅使用颜色矩阵中的一阶原点矩、二阶中心距、三阶中心距就足以描述图像的颜色分布，其中，一阶原点矩反应了每个颜色通道的平均值，二阶中心距反应了围绕均值的散步程度，三阶中心距是反应了随机变量不对称程度；在HSV颜色空间下，分别提取颜色的主色调H、饱和度S、亮度V三分量的颜色矩可获取9个特征参数。
更具体的，在步骤S4中，支持向量机分类器的分类准确率通过输入具有不同复杂缺陷的PCB图像对支持向量机分类器训练得到。
在实施过程中，对支持向量机分类器训练的训练样本包括鼠咬、毛刺、划痕、孔堵塞这四种复杂缺陷各100个和污渍、气泡这两种复杂缺陷各50个。
更具体的，在步骤S4中，特征向量M为：
M＝FhWh+FsWs+FcWc
其中，Fh表示形状特征向量，Wh表示形状特征权重，Fs表示纹理特征向量，Ws表示纹理特征权重，Fc表示颜色特征向量，Wc表示颜色特征权重。
在实施过程中，不同的特征对缺陷分类准确性的贡献不同，在进行多特征融合时分类准确率高的特征要有更高的权重。
更具体的，在步骤S5中，有向无环图支持向量机是通过将图论中的有向无环图层次化拓扑结构引入到支持向量机得到。
更具体的，如图2所示，采用节点优化的方式构造有向无环图支持向量机，具体包括以下步骤：
S5.1：对于k分类问题，两两训练支持向量机，生成k(k-1)/2二分类器；其中，将分类正确率最高的子分类器作为层次结构的根节点；
S5.2：从不包含第i类但包含第j类的分类器和不包含第j类但包含第i类的二分类器中各找出一个，并计算它们的正确率平均值，将平均值最高的两个二分类器作为根节点的子节点；
S5.3：将新选出的子节点作为新的根节点，并为新的根节点按照步骤S5.2的方式选取子节点；
S5.4：重复步骤S5.3，直到完成有向无环图支持向量机的构造。
在实施过程中，有向无环图支持向量机存在累计误差问题，通过节点优化的方式来构造层次结构，减少累计误差对准确率的影响。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (3)

1.一种基于多特征融合的缺陷分类方法，其特征在于，包括以下步骤：
S1：获取PCB图像作为样本图像；
S2：提取样本图像的形状特征、纹理特征和颜色特征；
在步骤S2中，使用边缘检测Canny算子从样本图像中提取缺陷图形的轮廓，通过计算其Hu不变矩来表示样本图像的形状特征；
在步骤S2中，从样本图像中提取缺陷图形的尺度不变特征描述子，并通过聚类生成视觉词袋来表示样本图像的纹理特征；
从样本图像中提取缺陷图形的尺度不变特征描述子具体包括以下步骤：
S2.1.1：使用不同尺度空间的高斯差分函数与样本图像进行卷积，获取候选特征点；
S2.1.2：通过设定阈值条件剔除对比度低的候选特征点，从而确定关键特征点；
S2.1.3：通过关键特征点邻域像素梯度方向的分布特征来确定主方向；
S2.1.4：计算关键特征点周围的每个子区域的梯度直方图作为尺度不变特征描述子；
通过聚类生成视觉词袋具体包括以下步骤：
S2.2.1：在尺度不变特征描述子集合{x1,x2,...,xn}中随机选取k个聚类中心Oj,j＝1,2,...,k；其中，聚类数量k表示视觉单词的个数；
S2.2.2：计算尺度不变特征描述子xi到聚类中心Oj的欧式距离d(xi,oj)，并将xi归类到距离最近的一簇Cj中；欧式距离d(xi,oj)的计算公式为：
Figure FDA0004075152350000011
其中，m为对象的维度，xik为xi的第k个属性；
S2.2.3：计算每一簇新的聚类中心Oj，计算公式为：
Figure FDA0004075152350000012
S2.2.4：重复步骤S2.2.2和步骤S2.2.3，直到聚类中心收敛或迭代次数上限；
S2.2.5：通过统计样本图像中每种类别中元素出现的次数，将词袋映射为直方图来表示样本图像的纹理特征的统计；
在步骤S2中，先将样本图像从RGB模式转换到HSV模式，然后对样本图像进行色彩分析和处理，通过颜色矩表示样本图像的颜色特征；
S3：使用支持向量机分类器将样本图像按照三种特征进行预分类；
S4：根据支持向量机分类器的分类准确率计算各种特征的权重，并融合得到特征向量；
在步骤S4中，特征向量M为：
M＝FhWh+FsWs+FcWc
其中，Fh表示形状特征向量，Wh表示形状特征权重，Fs表示纹理特征向量，Ws表示纹理特征权重，Fc表示颜色特征向量，Wc表示颜色特征权重；
S5：采用有向无环图支持向量机对特征向量进行分类，实现对多种复杂缺陷的分类；
采用节点优化的方式构造有向无环图支持向量机，具体包括以下步骤：
S5.1：对于k分类问题，两两训练支持向量机，生成k(k-1)/2二分类器；其中，将分类正确率最高的子分类器作为层次结构的根节点；
S5.2：从不包含第i类但包含第j类的分类器和不包含第j类但包含第i类的二分类器中各找出一个，并计算它们的正确率平均值，将平均值最高的两个二分类器作为根节点的子节点；
S5.3：将新选出的子节点作为新的根节点，并为新的根节点按照步骤S5.2的方式选取子节点；
S5.4：重复步骤S5.3，直到完成有向无环图支持向量机的构造。
2.根据权利要求1所述的一种基于多特征融合的缺陷分类方法，其特征在于，在步骤S4中，支持向量机分类器的分类准确率通过输入具有不同复杂缺陷的PCB图像对支持向量机分类器训练得到。
3.根据权利要求1所述的一种基于多特征融合的缺陷分类方法，其特征在于，在步骤S5中，有向无环图支持向量机是通过将图论中的有向无环图层次化拓扑结构引入到支持向量机得到。
CN202010715328.7A 2020-07-23 2020-07-23 一种基于多特征融合的缺陷分类方法 Active CN111965197B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010715328.7A CN111965197B (zh) 2020-07-23 2020-07-23 一种基于多特征融合的缺陷分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010715328.7A CN111965197B (zh) 2020-07-23 2020-07-23 一种基于多特征融合的缺陷分类方法

Publications (2)

Publication Number Publication Date
CN111965197A CN111965197A (zh) 2020-11-20
CN111965197B true CN111965197B (zh) 2023-04-07

Family

ID=73362395

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010715328.7A Active CN111965197B (zh) 2020-07-23 2020-07-23 一种基于多特征融合的缺陷分类方法

Country Status (1)

Country Link
CN (1) CN111965197B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112001909B (zh) * 2020-08-26 2023-11-24 北京科技大学 基于图像特征融合的粉末床缺陷视觉检测方法
CN113469981B (zh) * 2021-07-09 2022-07-08 数坤(北京)网络科技股份有限公司 图像处理方法、装置及存储介质
CN114397929B (zh) * 2022-01-18 2023-03-31 中山东菱威力电器有限公司 一种可以改善冲洗水初始温度的智能马桶盖控制系统
CN117147570A (zh) * 2023-10-30 2023-12-01 深圳硬之城信息技术有限公司 基于机器视觉的制造控制方法、装置、设备及存储介质
CN118521839B (zh) * 2024-07-24 2024-10-08 国网山东省电力公司微山县供电公司 基于色彩分布和神经网络的光伏板缺陷分类方法及系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5544256A (en) * 1993-10-22 1996-08-06 International Business Machines Corporation Automated defect classification system
CN102622607B (zh) * 2012-02-24 2013-09-25 河海大学 一种基于多特征融合的遥感图像分类方法
CN109002851B (zh) * 2018-07-06 2021-04-02 东北大学 一种基于图像多特征融合的水果分类方法及应用

Also Published As

Publication number Publication date
CN111965197A (zh) 2020-11-20

Similar Documents

Publication Publication Date Title
CN111965197B (zh) 一种基于多特征融合的缺陷分类方法
CN108562589B (zh) 一种对磁路材料表面缺陷进行检测的方法
CN109255344B (zh) 一种基于机器视觉的数显式仪表定位与读数识别方法
US20180268257A1 (en) Surface defect detection
Wan et al. Industrial image anomaly localization based on Gaussian clustering of pretrained feature
CN103077389B (zh) 一种结合字符级分类和字符串级分类的文本检测和识别方法
CN111832659B (zh) 一种基于特征点提取算法检测的激光标刻系统及方法
CN108334881B (zh) 一种基于深度学习的车牌识别方法
Zheng et al. HLU 2-Net: a residual U-structure embedded U-Net with hybrid loss for tire defect inspection
CN111582294A (zh) 一种构建用于表面缺陷检测的卷积神经网络模型的方法及其利用
CN107305691A (zh) 基于图像匹配的前景分割方法及装置
CN113516619B (zh) 一种基于图像处理技术的产品表面瑕疵识别方法
EP4388496A1 (en) Methods and systems for generating segmentation masks
Kim et al. Deep learning based automatic defect classification in through-silicon Via process: FA: Factory automation
Lizarraga-Morales et al. On the use of binary features in a rule-based approach for defect detection on patterned textiles
CN114445410A (zh) 基于图像识别的电路板检测方法、计算机及可读存储介质
Caliskan et al. Design and realization of an automatic optical inspection system for PCB solder joints
Pasunuri et al. A comparison of neural networks for pcb component segmentation
CN113822836B (zh) 标记图像的方法
Xu et al. Tolerance Information Extraction for Mechanical Engineering Drawings–A Digital Image Processing and Deep Learning-based Model
CN116664540A (zh) 基于高斯线检测的橡胶密封圈表面缺陷检测方法
CN115063578B (zh) 芯片图像中目标对象检测与定位方法、装置及存储介质
Al-Shemarry et al. Identifying License Plates in Distorted Vehicle Images: Detecting Distorted Vehicle Licence Plates Using a Novel Preprocessing Methods With Hybrid Feature Descriptors
Jia et al. Character identification for integrated circuit components on printed circuit boards using deep learning
CN111353538B (zh) 基于深度学习的相似图像匹配方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant