CN108447051B - 一种基于计算机视觉的金属产品表面缺陷等级评定方法 - Google Patents

一种基于计算机视觉的金属产品表面缺陷等级评定方法 Download PDF

Info

Publication number
CN108447051B
CN108447051B CN201810195806.9A CN201810195806A CN108447051B CN 108447051 B CN108447051 B CN 108447051B CN 201810195806 A CN201810195806 A CN 201810195806A CN 108447051 B CN108447051 B CN 108447051B
Authority
CN
China
Prior art keywords
image
marked
histogram
sample
sample library
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201810195806.9A
Other languages
English (en)
Other versions
CN108447051A (zh
Inventor
陈大力
李政
马宇航
刘士新
张鑫
刘养颐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northeastern University China
Original Assignee
Northeastern University China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northeastern University China filed Critical Northeastern University China
Priority to CN201810195806.9A priority Critical patent/CN108447051B/zh
Publication of CN108447051A publication Critical patent/CN108447051A/zh
Application granted granted Critical
Publication of CN108447051B publication Critical patent/CN108447051B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G06V10/464—Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/758—Involving statistics of pixels or of feature values, e.g. histogram matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30136—Metal

Abstract

本发明公开了一种基于计算机视觉的金属产品表面缺陷等级评定方法，具体包括以下步骤：S1：输入所有钢铁表面的样本库图像，其中样本库图像包括少数有标记样本和大量无标记样本，利用BOW模型生成词包；S2：获取有标记样本图像的相应的特征直方图；S3：对于一张待标记图像获取该图像的特征直方图，计算其与样本库图像特征直方图的相似度；S4：根据待标记图像与已标记图像的相似度大小推荐待标记图像中钢铁表面缺陷的严重等级，再经人工修改标记其最终缺陷等级，完成标记后将其放入有标记样本库中；S5：更新有标记样本库图像，重复上述步骤至所有样本库图像全部标记完成。

Description

一种基于计算机视觉的金属产品表面缺陷等级评定方法
技术领域
本发明涉及钢铁表面缺陷检测技术领域，尤其涉及一种基于计算机视觉的金属产品表面缺陷等级评定方法。
背景技术
根据调查研究可知，钢铁缺陷等级判定是钢铁质量好坏评定的重要一环，对钢卷是否放行至关重要，而构建钢铁缺陷等级样本库是完成后续实时自动进行钢铁缺陷等级评定的基础，目前构建样本库的主流方式是通过专业人员人工挑选，耗时费力。
发明内容
根据现有技术存在的问题，本发明公开了一种基于计算机视觉的金属产品表面缺陷等级评定方法，具体包括以下步骤：
S1：输入所有钢铁表面的样本库图像，其中样本库图像包括少数有标记样本和大量无标记样本，利用BOW模型生成词包；
S2：获取有标记样本图像的相应的特征直方图；
S3：对于一张待标记图像获取该图像的特征直方图，计算其与样本库图像特征直方图的相似度；
S4：根据待标记图像与已标记图像的相似度大小推荐待标记图像中钢铁表面缺陷的严重等级，再经人工修改标记其最终缺陷等级，完成标记后将其放入有标记样本库中；
S5：更新有标记样本库图像，重复上述步骤至所有样本库图像全部标记完成。
S1具体采用如下方式：
S11：令样本库图像集合为X，对每张样本图像xi(xi∈X),提取xi的sift特征向量vi，获得所有样本库图像的sift特征向量集合V(vi∈V)；
S12：以sift特征向量集合V作为输入，设定聚类中心数为10，利用kmeans聚类算法，得到聚类中心集合作为词包。
S21：令有标记样本库图像集合为B，对每一张有标记的样本图像bi(bi∈B)，统计该图像的sift特征向量vi分布在词包的每个聚类中心ci上的计数，得到以聚类中心ci为横坐标，相应计数作为纵坐标的词包直方图，并进行归一化，记归一化后的词包直方图为hi1；
S22：对图像bi以0至255的灰度范围作为横坐标，以图像中像素不同灰度值出现的频数作为纵坐标，得到图像bi的灰度直方图，并进行归一化，记归一化后的灰度直方图为hi2；
S23：对每一张有标记的样本图像bi，记其词包直方图hi1与灰度直方图hi2并集为hi，将hi作为bi的特征直方图，对所有bi∈B，得到有标记样本的特征直方图集合H(hi∈H)。
S3具体方式如下：
S31：对于一张待标记样本图片d，同样按照S2的方法获取其特征直方图hd；
S32：采用如下公式计算hd与集合H中每个元素hi的相似度，
其中，N为直方图长度，j表示直方图位置，为下标是k的图像的直方图均值。
由于采用了上述技术方案，本发明提供的一种基于计算机视觉的金属产品表面缺陷等级评定方法，本方法主要以钢铁表面缺陷的灰度颜色与钢铁背景灰度颜色对比明显，以及sift特征主要分布在缺陷周边为依据，将其灰度特征以及sift特征结合在一起，快速准确的实现了图片相似度计算，为钢铁表面缺陷等级评定提供依据。与现有技术中需要大量样本的其它计算机视觉技术相比，本方法不需要大量样本，在少量样本的前提下，便可实现高精度的钢铁表面缺陷等级评定，满足了工业生产的实际需要。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的整体流程结构示意图；
图2为本发明的钢铁表面缺陷等级评定系统图；
图3为本发明系统相似度查询结果图。
具体实施方式
为使本发明的技术方案和优点更加清楚，下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚完整的描述：
如图1-图2所示的一种基于计算机视觉的金属产品表面缺陷等级评定方法，具体包括一下步骤：
S1：输入所有钢铁表面的样本库图像，其中样本库图像包括少数有标记样本和大量无标记样本，利用BOW模型生成词包；
S2：获取有标记样本图像的相应的特征直方图；
S3：对于一张待标记图像获取该图像的特征直方图，计算其与样本库图像特征直方图的相似度；
S4：根据待标记图像与已标记图像的相似度大小推荐待标记图像中钢铁表面缺陷的严重等级，再经人工修改标记其最终缺陷等级，完成标记后将其放入有标记样本库中；
S5：更新有标记样本库图像，重复上述步骤至所有样本库图像全部标记完成。
进一步的，S1具体采用如下方式：
S11：令样本库图像集合为X，对每张样本图像xi(xi∈X),提取xi的sift特征向量vi，获得所有样本库图像的sift特征向量集合V(vi∈V)；
S12：以sift特征向量集合V作为输入，设定聚类中心数为10，利用kmeans聚类算法，得到聚类中心集合作为词包。
进一步的，S2具体采用如下方式：
S21：令有标记样本库图像集合为B，对每一张有标记的样本图像bi(bi∈B)，统计该图像的sift特征向量vi分布在词包的每个聚类中心ci上的计数，得到以聚类中心ci为横坐标，相应计数作为纵坐标的词包直方图，并进行归一化，记归一化后的词包直方图为hi1；
S22：对图像bi以0至255的灰度范围作为横坐标，以图像中像素不同灰度值出现的频数作为纵坐标，得到图像bi的灰度直方图，并进行归一化，记归一化后的灰度直方图为hi2；
S23：对每一张有标记的样本图像bi，记其词包直方图hi1与灰度直方图hi2并集为hi，将hi作为bi的特征直方图，对所有bi∈B，得到有标记样本的特征直方图集合H(hi∈H)。
进一步的，S3具体方式如下：
S31：对于一张待标记样本图片d，同样按照S2的方法获取其特征直方图hd；
S32：采用如下公式计算hd与集合H中每个元素hi的相似度，
其中，N为直方图长度，j表示直方图位置，为下标是k的图像的直方图均值。
实施例：
S1：根据查询条件，显示某个物料号缺陷列表和该类缺陷不同严重程度的样本图片，其中中间的缺陷列表中等级为空的表示该图片未经处理；
S2：双击缺陷列表中任一缺陷记录，在中间上部分显示该缺陷的图片，同时左下角(如图3)会显示该缺陷图片与样本图片中相似度的记录，并将右侧栏样本图片按相似度从高到低排序，且据此在中间的缺陷等级判定栏进行等级判定或修改，并将等级写入缺陷记录中；
S3：对于等级待定的缺陷图片，可人工修正，同时可将该样本添加到样本库，完善该类缺陷样本。
本方法主要以钢铁表面缺陷的灰度颜色与钢铁背景灰度颜色对比明显，以及sift特征主要分布在缺陷周边为依据，将其灰度特征以及sift特征结合在一起，快速准确的实现了图片相似度计算，为钢铁表面缺陷等级评定提供依据；与需要大量样本的其它计算机视觉技术相比，本方法不需要大量样本，在少量样本的前提下，便可实现高精度的钢铁表面缺陷等级评定，满足了工业生产的实际需要。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (3)

1.一种基于计算机视觉的金属产品表面缺陷等级评定方法，其特征在于：包括以下步骤：
S1：输入所有钢铁表面的样本库图像，其中样本库图像包括少数有标记样本和大量无标记样本，利用BOW模型生成词包；
S2：获取有标记样本图像的相应的特征直方图；
S3：对于一张待标记图像获取该图像的特征直方图，计算其与样本库图像特征直方图的相似度；
S4：根据待标记图像与已标记图像的相似度大小推荐待标记图像中钢铁表面缺陷的严重等级，再经人工修改标记其最终缺陷等级，完成标记后将其放入有标记样本库中；
S5：更新有标记样本库图像，重复上述步骤至所有样本库图像全部标记完成；
S2具体采用如下方式：
S21：令有标记样本库图像集合为B，对每一张有标记的样本图像bi,bi∈B，统计该图像的sift特征向量vi分布在词包的每个聚类中心cm上的计数，得到以聚类中心cm为横坐标，相应计数作为纵坐标的词包直方图，并进行归一化，记归一化后的词包直方图为hi1；
S22：对图像bi以0至255的灰度范围作为横坐标，以图像中像素不同灰度值出现的频数作为纵坐标，得到图像bi的灰度直方图，并进行归一化，记归一化后的灰度直方图为hi2；
S23：对每一张有标记的样本图像bi，记其词包直方图hi1与灰度直方图hi2并集为hi，将hi作为bi的特征直方图，对所有bi∈B，得到有标记样本的特征直方图集合H,hi∈H。
2.根据权利要求1所述的一种基于计算机视觉的金属产品表面缺陷等级评定方法，其特征在于：S1具体采用如下方式：
S11：令样本库图像集合为X，对每张样本图像xi,xi∈X,提取xi的sift特征向量vi，获得所有样本库图像的sift特征向量集合V,vi∈V；
S12：以sift特征向量集合V作为输入，设定聚类中心数为10，利用kmeans聚类算法，得到聚类中心集合作为词包。
3.根据权利要求1所述的一种基于计算机视觉的金属产品表面缺陷等级评定方法，其特征在于：S3具体方式如下：
S31：对于一张待标记样本图片d，同样按照S2的方法获取其特征直方图hd；
S32：采用如下公式计算hd与集合H中每个元素hi的相似度，
其中，N为直方图长度，j表示直方图位置，为下标是k的图像的直方图均值。
CN201810195806.9A 2018-03-09 2018-03-09 一种基于计算机视觉的金属产品表面缺陷等级评定方法 Expired - Fee Related CN108447051B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810195806.9A CN108447051B (zh) 2018-03-09 2018-03-09 一种基于计算机视觉的金属产品表面缺陷等级评定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810195806.9A CN108447051B (zh) 2018-03-09 2018-03-09 一种基于计算机视觉的金属产品表面缺陷等级评定方法

Publications (2)

Publication Number Publication Date
CN108447051A CN108447051A (zh) 2018-08-24
CN108447051B true CN108447051B (zh) 2019-12-24

Family

ID=63194424

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810195806.9A Expired - Fee Related CN108447051B (zh) 2018-03-09 2018-03-09 一种基于计算机视觉的金属产品表面缺陷等级评定方法

Country Status (1)

Country Link
CN (1) CN108447051B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103699902A (zh) * 2013-12-24 2014-04-02 南京信息工程大学 一种地基可见光云图的分类方法
CN104361352A (zh) * 2014-11-13 2015-02-18 东北林业大学 基于压缩感知的实木板材缺陷分选方法
CN104866862A (zh) * 2015-04-27 2015-08-26 中南大学 一种带钢表面面积型缺陷识别分类的方法
CN105404657A (zh) * 2015-11-04 2016-03-16 北京工业大学 一种基于cedd特征和phog特征的图像检索方法
CN106097360A (zh) * 2016-06-17 2016-11-09 中南大学 一种带钢表面缺陷识别方法及装置
CN106934803A (zh) * 2017-03-13 2017-07-07 珠海格力智能装备有限公司 电子器件表面缺陷的检测方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103699902A (zh) * 2013-12-24 2014-04-02 南京信息工程大学 一种地基可见光云图的分类方法
CN104361352A (zh) * 2014-11-13 2015-02-18 东北林业大学 基于压缩感知的实木板材缺陷分选方法
CN104866862A (zh) * 2015-04-27 2015-08-26 中南大学 一种带钢表面面积型缺陷识别分类的方法
CN105404657A (zh) * 2015-11-04 2016-03-16 北京工业大学 一种基于cedd特征和phog特征的图像检索方法
CN106097360A (zh) * 2016-06-17 2016-11-09 中南大学 一种带钢表面缺陷识别方法及装置
CN106934803A (zh) * 2017-03-13 2017-07-07 珠海格力智能装备有限公司 电子器件表面缺陷的检测方法及装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Image classification with Bag-of-Words model based on improved SIFT algorithm;Huilin Gao 等;《2013 9th Asian Control Conference (ASCC)》;20130626;1-6 *
基于视觉注意力和PLSA模型的钢轨表面缺陷检测;王军;《铁道科学与工程学报》;20150630;第12卷(第3期);509-514 *
改进型SIFT算法在BOW模型图像分类中的应用研究;殷贺贺 等;《蚌埠学院学报》;20170228;第6卷(第1期);第3节，图2 *
面向带钢表面缺陷图像的特征提取算法研究;周青山;《中国优秀硕士学位论文全文数据库信息科技辑》;20180115;第2018年卷(第1期);第3.4.1-3.4.3节，图3-11 *

Also Published As

Publication number Publication date
CN108447051A (zh) 2018-08-24

Similar Documents

Publication Publication Date Title
CN111612763B (zh) 手机屏幕缺陷检测方法、装置及系统、计算机设备及介质
CN108960245B (zh) 轮胎模具字符的检测与识别方法、装置、设备及存储介质
CN106875381B (zh) 一种基于深度学习的手机外壳缺陷检测方法
CN108562589B (zh) 一种对磁路材料表面缺陷进行检测的方法
CN109523518B (zh) 一种轮胎x光病疵检测方法
CN110766095B (zh) 基于图像灰度特征的缺陷检测方法
CN113362306B (zh) 一种基于深度学习的封装芯片缺陷检测方法
CN111709909A (zh) 基于深度学习的通用印刷缺陷检测方法及其模型
CN110956581B (zh) 一种基于双通道生成-融合网络的图像模态变换方法
CN111915704A (zh) 一种基于深度学习的苹果分级识别方法
CN108181316B (zh) 一种基于机器视觉的竹条缺陷检测方法
CN111860439A (zh) 一种无人机巡检图像缺陷检测方法、系统及设备
CN111161222B (zh) 一种基于视觉显著性的印刷辊筒缺陷检测方法
CN111639629B (zh) 一种基于图像处理的猪只体重测量方法、装置及存储介质
WO2020052352A1 (zh) 用于对车辆损伤图像进行损伤分割的方法及装置
CN111667475B (zh) 一种基于机器视觉的大枣分级检测方法
CN113298809B (zh) 基于深度学习和超像素分割的复材超声图像缺陷检测方法
CN110717492B (zh) 基于联合特征的图纸中字符串方向校正方法
WO2018072333A1 (zh) 一种元件错件检测方法和装置
CN110648330B (zh) 摄像头玻璃的缺陷检测方法
CN111046872A (zh) 一种光学字符识别方法
CN109598681B (zh) 一种对称唐卡修复后图像的无参考质量评价方法
CN115829995A (zh) 基于像素级的多尺度特征融合的布匹瑕疵检测方法及系统
CN112862744A (zh) 一种基于超声图像的电容内部缺陷智能检测方法
CN115147418A (zh) 缺陷检测模型的压缩训练方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20191224