CN107798674B - 一种金属工件表面结构误检结果的排除方法 - Google Patents

一种金属工件表面结构误检结果的排除方法 Download PDF

Info

Publication number
CN107798674B
CN107798674B CN201710830063.3A CN201710830063A CN107798674B CN 107798674 B CN107798674 B CN 107798674B CN 201710830063 A CN201710830063 A CN 201710830063A CN 107798674 B CN107798674 B CN 107798674B
Authority
CN
China
Prior art keywords
image
defect
false detection
metal workpiece
surface structure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201710830063.3A
Other languages
English (en)
Other versions
CN107798674A (zh
Inventor
黄茜
严科
胡志辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Wincom Technology & Engineering Developing Co ltd
South China University of Technology SCUT
Original Assignee
Guangdong Wincom Technology & Engineering Developing Co ltd
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Wincom Technology & Engineering Developing Co ltd, South China University of Technology SCUT filed Critical Guangdong Wincom Technology & Engineering Developing Co ltd
Priority to CN201710830063.3A priority Critical patent/CN107798674B/zh
Publication of CN107798674A publication Critical patent/CN107798674A/zh
Application granted granted Critical
Publication of CN107798674B publication Critical patent/CN107798674B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G06T7/45—Analysis of texture based on statistical description of texture using co-occurrence matrix computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30136—Metal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Quality & Reliability (AREA)
  • Other Investigation Or Analysis Of Materials By Electrical Means (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种金属工件表面结构误检结果的排除方法，包括步骤：采用传统缺陷识别方法检测得到初始缺陷图像集；计算当前缺陷图像的信息熵Hp；计算当前缺陷图像四个方0°、45°、90°和135°的灰度共生矩阵G；计算能量ASM、图像局部相关度COR、反差CON、边缘比率Re；计算图像的复杂度CP，通过实验获取经验阈值，在当前检测的图像复杂度大于阈值时，则认为当前图像为正常图像，从初始缺陷图像集中排除。本发明可以在R‑CNN检测缺陷后，排除掉误检的结构区域，提高缺陷检测的准确率，使在线缺陷检测可以高效和高质量地进行。

Description

一种金属工件表面结构误检结果的排除方法
技术领域
本发明涉及目标识别研究领域，特别涉及一种金属工件表面结构误检结果的排除方法。
背景技术
金属工件弧形表面在生产阶段不可避免地会出现表面缺陷，这些缺陷会严重影响设备的外观，甚至影响设备的使用寿命，需要进行重新加工或报废处理。以往金属工件弧形表面在加工完成后基本上是经过人工检测，合格后才进入后续的加工或装配环节。目前的人工检测存在以下的缺点：(1)检测标准受人主观影响较大，不同的工人对同一缺陷的判断不一定相同；(2)检测的准确率不稳定，金属工件弧形表面上的缺陷尺寸小且不明显，人眼长期观察极易出现视觉疲劳，影响判断的准确度；(3)检测效率低，工人需要手动调整金属工件表面的位置来观察工件的每个角落，同时检测时间的长短还受熟练程度的影响。随着计算机性能的不断提升，计算机视觉技术凭借着高效率和智能化的优点，已经在众多领域取代了人工操作。
卷积神经网络(Convolutional Neural Network,CNN)相比于传统图像处理算法有检测时间短、无需人为设计特征以及要求用户输入的参数少等优点，而基于区域的CNN模型(Regions with CNN feature,R-CNN)更是在目标检测问题上取得了突破。但是卷积神经网络检测金属工件表面的效果与训练样本的数量和质量有着直接关系，实际应用中需要为每种型号的金属工件表面采集足够多的含缺陷的样本图像，这一过程所需时间周期过长，同时缺陷形态多样，导致样本收集困难。另外，该方法对于图1中的C类和D类区域有较好的识别效果，但是对于A类、B类区域，由于这类区域中存在金属工件表面固有的花纹、硬件等信息，采用该检测方法时往往被误判为是缺陷图像，造成误检。
为此，研究一种能够解决现有的缺陷识别方法尤其是R-CNN方法存在的误判多检问题，具有重要的实用价值。
发明内容
为了克服R-CNN检测金属弧形表面时存在误检的问题，本发明的目的在于提供一种金属工件表面结构误检结果的排除方法，在R-CNN检测缺陷后，利用该方法可以排除掉误检的结构区域，提高缺陷检测的准确率，使在线缺陷检测可以高效和高质量地进行。
本发明的目的通过以下的技术方案实现：一种金属工件表面结构误检结果的排除方法，包括步骤：
(1)采用R-CNN缺陷识别方法检测得到初始缺陷图像集；
(2)计算当前缺陷图像的信息熵Hp；
(3)计算当前缺陷图像四个方向0°、45°、90°和135°的灰度共生矩阵G，定义当前灰度级为R；
根据灰度共生矩阵计算能量ASM、图像局部相关度COR、反差CON、边缘比率Re；
(4)计算图像的复杂度Cp＝Hp-ASM-COR+CON+Re；
(5)通过实验获取经验阈值thc，当检测的图像复杂度大于thc时，则认为当前图像为工件结构的正常图像，将其从R-CNN检测出来的初始缺陷图像集中排除。
优选的，所述步骤(2)中，信息熵Hp的计算公式是：
Figure BDA0001408505160000021
其中，gray-level range表示图像的灰度范围，mi表示灰度值i对应的像素点个数，rows和cols分别表示图像的行数和列数。
优选的，所述步骤(3)中，能量ASM的计算公式是：
Figure BDA0001408505160000022
R表示灰度共生矩阵的阶，即当前图像的灰度级。
优选的，所述步骤(3)中，图像局部相关度COR的计算公式是：
Figure BDA0001408505160000023
其中，μx，μy，σx，σy计算方法为：
Figure BDA0001408505160000024
Figure BDA0001408505160000031
Figure BDA0001408505160000032
Figure BDA0001408505160000033
优选的，所述步骤(3)中，图像的反差CON的计算公式是：
Figure BDA0001408505160000034
优选的，所述步骤(3)中，图像的边缘比率Re的计算公式是：
Figure BDA0001408505160000035
其中，Ne表示图像边缘点的数量，Npixels表示像素点总数。
更进一步的，所述图像边缘点通过Canny算子求出。
本发明与现有技术相比，具有如下优点和有益效果：
本发明针对R-CNN存在的误判多检问题，提出了基于复杂度的金属工件表面结构误检区域排除方法，通过统计一系列与图像复杂程度有关的信息，计算出图像的复杂度，最后根据图像复杂度的高低用阈值将R-CNN检测中的金属工件表面结构误检区域排除，以提高金属工件表面检测准确。
附图说明
图1为现有技术中金属工件表面不同区域的示例图。
图2为本实施例方法的流程图。
图3为检测结果示意图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
实施例1
如图1所示，本发明将A类、B类区域统称为金属工件表面结构误检区域，而C类、D类区域统称为金属工件表面的表面区域。如图2所示，本实施例金属工件表面结构误检结果的排除方法，包括以下步骤：
(1)根据R-CNN检测的图像结果，获取区域图像并存储至内存。
(2)计算当前图像的信息熵
Figure BDA0001408505160000041
gray-levelrange表示图像的灰度范围，mi表示灰度值i对应的像素点数，rows和cols分别表示图像的行数和列数。
(3)计算当前灰度级为R的图像的四个方向0°、45°、90°和135°的灰度共生矩阵G。
(4)根据灰度共生矩阵计算能量
Figure BDA0001408505160000042
R表示灰度共生矩阵的阶，即当前图像的灰度级。
(5)根据灰度共生矩阵G计算图像局部相关度：
Figure BDA0001408505160000043
其中μx，μy，σx，σy计算方法为：
Figure BDA0001408505160000044
Figure BDA0001408505160000045
(6)根据灰度共生矩阵G计算图像的反差
Figure BDA0001408505160000046
(7)计算图像的边缘比率
Figure BDA0001408505160000047
Ne表示图像边缘点的数量，Npixels表示像素点总数，图像边缘点通过常用的Canny算子求出。
(8)根据图像信息熵Hp，能量ASM，相关度COR，反差CON，边缘比率Re，计算图像的复杂度Cp＝Hp-ASM-COR+CON+Re。
(9)如图3所示，图a)到图p)为实际金属工件表面，方框为检测结果，每个区域计算得到的复杂度如表1。
表1图3中每个区域计算得到的复杂度
Figure BDA0001408505160000048
通过实验，将thc设置为3.63，可以有效排除误检为缺陷区域的图g)到图p)。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (7)

1.一种金属工件表面结构误检结果的排除方法，其特征在于，包括步骤：
(1)采用传统缺陷识别方法检测得到初始缺陷图像集；
(2)计算当前缺陷图像的信息熵Hp；
(3)计算当前缺陷图像四个方向0°、45°、90°和135°的灰度共生矩阵G，定义当前灰度级为R；
根据灰度共生矩阵计算能量ASM、图像局部相关度COR、反差CON、边缘比率Re；
(4)计算图像的复杂度Cp＝Hp-ASM-COR+CON+Re；
(5)通过实验获取经验阈值thc，当检测的图像复杂度大于thc时，则认为当前图像为工件结构的正常图像，将其从R-CNN检测出来的初始缺陷图像集中排除。
2.根据权利要求1所述的金属工件表面结构误检结果的排除方法，其特征在于，所述步骤(2)中，信息熵Hp的计算公式是：
Figure FDA0001408505150000011
其中，gray-level range表示图像的灰度范围，mi表示灰度值i对应的像素点个数，rows和cols分别表示图像的行数和列数。
3.根据权利要求1所述的金属工件表面结构误检结果的排除方法，其特征在于，所述步骤(3)中，能量ASM的计算公式是：
Figure FDA0001408505150000012
R表示灰度共生矩阵的阶，即当前图像的灰度级。
4.根据权利要求1所述的金属工件表面结构误检结果的排除方法，其特征在于，所述步骤(3)中，图像局部相关度COR的计算公式是：
Figure FDA0001408505150000013
其中，μx，μy，σx，σy计算方法为：
Figure FDA0001408505150000014
Figure FDA0001408505150000015
Figure FDA0001408505150000016
Figure FDA0001408505150000017
5.根据权利要求1所述的金属工件表面结构误检结果的排除方法，其特征在于，所述步骤(3)中，图像的反差CON的计算公式是：
Figure FDA0001408505150000021
6.根据权利要求1所述的金属工件表面结构误检结果的排除方法，其特征在于，所述步骤(3)中，图像的边缘比率Re的计算公式是：
Figure FDA0001408505150000022
其中，Ne表示图像边缘点的数量，Npixels表示像素点总数。
7.根据权利要求6所述的金属工件表面结构误检结果的排除方法，其特征在于，所述图像边缘点通过Canny算子求出。
CN201710830063.3A 2017-09-15 2017-09-15 一种金属工件表面结构误检结果的排除方法 Expired - Fee Related CN107798674B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710830063.3A CN107798674B (zh) 2017-09-15 2017-09-15 一种金属工件表面结构误检结果的排除方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710830063.3A CN107798674B (zh) 2017-09-15 2017-09-15 一种金属工件表面结构误检结果的排除方法

Publications (2)

Publication Number Publication Date
CN107798674A CN107798674A (zh) 2018-03-13
CN107798674B true CN107798674B (zh) 2021-04-23

Family

ID=61531836

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710830063.3A Expired - Fee Related CN107798674B (zh) 2017-09-15 2017-09-15 一种金属工件表面结构误检结果的排除方法

Country Status (1)

Country Link
CN (1) CN107798674B (zh)

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6753965B2 (en) * 2001-01-09 2004-06-22 The University Of Hong Kong Defect detection system for quality assurance using automated visual inspection
CN101002682A (zh) * 2007-01-19 2007-07-25 哈尔滨工程大学 用于身份识别的手背静脉特征提取和匹配方法
CN101330030A (zh) * 2007-06-21 2008-12-24 中芯国际集成电路制造(上海)有限公司 检测数据中异常点的去除方法
CN101615252A (zh) * 2008-06-25 2009-12-30 中国科学院自动化研究所 一种自适应图像文本信息提取方法
CN101930069A (zh) * 2010-05-10 2010-12-29 中国人民解放军理工大学 基于虚拟仪器的合成孔径聚焦超声成像检测系统及其方法
CN102917227A (zh) * 2012-10-29 2013-02-06 山东省计算中心 基于压缩感知的自适应视频信息隐藏方法
CN103218619A (zh) * 2013-03-15 2013-07-24 华南理工大学 一种图像美学评价方法
CN103824259A (zh) * 2013-11-01 2014-05-28 华南理工大学 一种基于视觉区域比重平衡法则的图像构图美化方法和系统
CN104103082A (zh) * 2014-06-06 2014-10-15 华南理工大学 一种基于区域描述和先验知识的图像显著性检测方法
CN104112122A (zh) * 2014-07-07 2014-10-22 叶茂 基于交通视频的车标自动识别方法
CN105300998A (zh) * 2015-09-30 2016-02-03 陕西科技大学 一种基于位平面的纸病检测方法
CN106097380A (zh) * 2016-08-03 2016-11-09 中国电力科学研究院 一种基于图像的绝缘子芯棒缺陷在线检测的系统和方法
CN106645418A (zh) * 2017-01-26 2017-05-10 中国特种设备检测研究院 履带式磁声复合检测机器人及检测方法和装置
CN106780449A (zh) * 2016-12-06 2017-05-31 嘉兴学院 一种基于纹理特征的无参考图像质量评价方法
CN106872473A (zh) * 2017-02-21 2017-06-20 中国矿业大学 一种基于机器视觉的马铃薯缺陷检测识别系统设计
CN107067397A (zh) * 2017-04-27 2017-08-18 北京环境特性研究所 一种基于红外图像复杂度的图像分级方法

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6753965B2 (en) * 2001-01-09 2004-06-22 The University Of Hong Kong Defect detection system for quality assurance using automated visual inspection
CN101002682A (zh) * 2007-01-19 2007-07-25 哈尔滨工程大学 用于身份识别的手背静脉特征提取和匹配方法
CN101330030A (zh) * 2007-06-21 2008-12-24 中芯国际集成电路制造(上海)有限公司 检测数据中异常点的去除方法
CN101615252A (zh) * 2008-06-25 2009-12-30 中国科学院自动化研究所 一种自适应图像文本信息提取方法
CN101930069A (zh) * 2010-05-10 2010-12-29 中国人民解放军理工大学 基于虚拟仪器的合成孔径聚焦超声成像检测系统及其方法
CN102917227A (zh) * 2012-10-29 2013-02-06 山东省计算中心 基于压缩感知的自适应视频信息隐藏方法
CN103218619A (zh) * 2013-03-15 2013-07-24 华南理工大学 一种图像美学评价方法
CN103824259A (zh) * 2013-11-01 2014-05-28 华南理工大学 一种基于视觉区域比重平衡法则的图像构图美化方法和系统
CN104103082A (zh) * 2014-06-06 2014-10-15 华南理工大学 一种基于区域描述和先验知识的图像显著性检测方法
CN104112122A (zh) * 2014-07-07 2014-10-22 叶茂 基于交通视频的车标自动识别方法
CN105300998A (zh) * 2015-09-30 2016-02-03 陕西科技大学 一种基于位平面的纸病检测方法
CN106097380A (zh) * 2016-08-03 2016-11-09 中国电力科学研究院 一种基于图像的绝缘子芯棒缺陷在线检测的系统和方法
CN106780449A (zh) * 2016-12-06 2017-05-31 嘉兴学院 一种基于纹理特征的无参考图像质量评价方法
CN106645418A (zh) * 2017-01-26 2017-05-10 中国特种设备检测研究院 履带式磁声复合检测机器人及检测方法和装置
CN106872473A (zh) * 2017-02-21 2017-06-20 中国矿业大学 一种基于机器视觉的马铃薯缺陷检测识别系统设计
CN107067397A (zh) * 2017-04-27 2017-08-18 北京环境特性研究所 一种基于红外图像复杂度的图像分级方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Image Complexity Measure: a Human Criterion Free;Mario I. Chacon M.et.al.;《NAFIPS 2005 - 2005 Annual Meeting of the North American Fuzzy Information Processing Society》;20051231;第241-246页 *
金属管器件表面缺陷实时检测技术研究;党领茹等;《制造业自动化》;20140531;第36卷(第5期);第39-43页 *

Also Published As

Publication number Publication date
CN107798674A (zh) 2018-03-13

Similar Documents

Publication Publication Date Title
CN107845087B (zh) 液晶面板亮度不均匀缺陷的检测方法和系统
CN105067638B (zh) 基于机器视觉的轮胎胎膜表面字符缺陷检测方法
CN108256394A (zh) 一种基于轮廓梯度的目标跟踪方法
CN109461141A (zh) 一种工件缺胶检测方法
CN110443778B (zh) 一种检测工业品不规则缺陷的方法
CN116664559B (zh) 基于机器视觉的内存条损伤快速检测方法
CN108388885A (zh) 面向大型直播场景的多人特写实时识别与自动截图方法
CN107490582B (zh) 一种流水线工件检测系统
CN112419298B (zh) 一种螺栓节点板锈蚀检测方法、装置、设备及存储介质
CN107389693A (zh) 一种基于机器视觉的印刷品缺陷自动检测方法
CN111753794B (zh) 水果品质分类方法、装置、电子设备及可读存储介质
CN101739556A (zh) 钢坯号自动识别方法
CN114612469A (zh) 产品缺陷检测方法、装置、设备及可读存储介质
CN112686890A (zh) 一种基于奇异值分解的人造板表面缺陷检测方法
CN111415339A (zh) 一种复杂纹理工业产品图像缺陷检测方法
CN113034464A (zh) 一种多背景下的液晶显示器缺陷视觉实时检测方法
CN108257153B (zh) 一种基于方向梯度统计特征的目标跟踪方法
Niu et al. Data augmentation on defect detection of sanitary ceramics
CN114332079A (zh) 基于图像处理的塑料餐盒裂缝检测方法、装置及介质
CN114627089A (zh) 缺陷识别方法、装置、计算机设备及计算机可读存储介质
CN110334775B (zh) 一种基于宽度学习的无人机线路故障识别方法和装置
CN115330646A (zh) 一种用于健身器材喷漆工艺的金属构件检查方法
CN105300302A (zh) 布氏硬度压痕圆直径的测量方法
Lin et al. A new prediction method for edge detection based on human visual feature
CN108615039A (zh) 基于计算机视觉的弹壳表面缺陷自动检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210423

Termination date: 20210915

CF01 Termination of patent right due to non-payment of annual fee