CN111210419B - 基于人类视觉特性的微型磁瓦表面缺陷检测方法 - Google Patents
基于人类视觉特性的微型磁瓦表面缺陷检测方法 Download PDFInfo
- Publication number
- CN111210419B CN111210419B CN202010022294.3A CN202010022294A CN111210419B CN 111210419 B CN111210419 B CN 111210419B CN 202010022294 A CN202010022294 A CN 202010022294A CN 111210419 B CN111210419 B CN 111210419B
- Authority
- CN
- China
- Prior art keywords
- image
- magnetic shoe
- area
- region
- matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000007547 defect Effects 0.000 title claims abstract description 72
- 238000001514 detection method Methods 0.000 title claims abstract description 30
- 230000000007 visual effect Effects 0.000 title claims abstract description 22
- 230000009466 transformation Effects 0.000 claims abstract description 40
- 238000000034 method Methods 0.000 claims abstract description 35
- 230000011218 segmentation Effects 0.000 claims abstract description 15
- 239000011159 matrix material Substances 0.000 claims description 49
- 238000004364 calculation method Methods 0.000 claims description 26
- 238000001914 filtration Methods 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 9
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 8
- 238000004891 communication Methods 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 7
- 238000004458 analytical method Methods 0.000 claims description 5
- 238000009826 distribution Methods 0.000 claims description 4
- 238000012216 screening Methods 0.000 claims description 3
- 238000000926 separation method Methods 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 238000012937 correction Methods 0.000 claims description 2
- 230000001788 irregular Effects 0.000 claims description 2
- 230000035945 sensitivity Effects 0.000 claims description 2
- 238000004519 manufacturing process Methods 0.000 abstract description 11
- 238000004422 calculation algorithm Methods 0.000 abstract description 10
- 230000004438 eyesight Effects 0.000 abstract description 5
- 238000005286 illumination Methods 0.000 abstract description 3
- 230000006872 improvement Effects 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 5
- 239000000696 magnetic material Substances 0.000 description 4
- 230000002950 deficient Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 238000009499 grossing Methods 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000000227 grinding Methods 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 206010067484 Adverse reaction Diseases 0.000 description 1
- 201000004384 Alopecia Diseases 0.000 description 1
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 230000006838 adverse reaction Effects 0.000 description 1
- 231100000360 alopecia Toxicity 0.000 description 1
- 208000003464 asthenopia Diseases 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 208000002173 dizziness Diseases 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000007373 indentation Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000009740 moulding (composite fabrication) Methods 0.000 description 1
- 238000010248 power generation Methods 0.000 description 1
- 239000002994 raw material Substances 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 238000005245 sintering Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于人类视觉特性的微型磁瓦表面缺陷检测方法：包括以下步骤：(1)图像采集，得到图像Image；执行步骤2；(2)通过阈值分割从图像Image得到磁瓦图像Region；执行步骤3；(3)磁瓦图像Region屏蔽边缘区域，得到屏蔽后的图像；执行步骤4；(4)屏蔽后的图像结构张量计算；执行步骤5；(5)缺陷区域提取。本发明从人体视觉的本质出发，结合尺度变换与结构张量完成对磁瓦表面多种缺陷的检测。相比传统检测算法只能针对单一的缺陷，本系统检测算法不仅可以同时检测掉块、磕边和划痕的缺陷，而且还能适应光照在一定范围内变化的情形。此外，本发明检测方法能够满足企业生产的精度与速度需求，且能够稳定的运行，可以进行生产应用。
Description
技术领域
本发明涉及一种微型磁瓦表面缺陷检测方法，具体是基于人类视觉特性的微型磁瓦表面缺陷检测方法。
背景技术
微型磁瓦是永磁微型直流电机的关键部件，与电磁式电机通过励磁线圈产生磁势源不同，永磁电机是以永磁材料产生恒定磁势源。永磁磁瓦具有使电机结构简单、维修方便、重量轻、体积小、使用可靠、用铜量少、铜耗低、能耗小等诸多特点。磁瓦的性能直接影响到直流无刷电机的性能，但在磁瓦的生产制造过程中，由于原料成分、设备使用情况、加工工艺以及工人操作等因素的影响，在其表面不可避免地会出现一些加工缺陷，例如裂纹、崩烂、压痕、砂眼以及漏磨等。缺陷的存在会对磁瓦的磁性能、使用寿命等带来非常大的影响，有缺陷的磁瓦如果在风力发电、新能源汽车、航空航天等领域使用会产生巨大的安全隐患，甚至直接造成灾难性后果。因此，在磁瓦出厂前必须对其进行质量检测，将含有缺陷的磁瓦剔除出去。
磁瓦的缺陷特征是随机发生的并且没有规律可寻，目前采用人工目测检测缺陷。人工检测方法主要依靠进行过一定培训的质检人员根据自身的经验通过观察、量具测量和触摸等手段来进行磁瓦质量的判定，存在很多局限性和缺点：(1)由于工人的自身能力差异，存在一定的偶然性，评判的标准不一；(2)检测速度非常慢，难以满足目前的生产速度和要求。一般一个娴熟的质检人员检测一个磁材需时三秒左右，而且还需进行下一轮复检，而一般厂家要求5-6个/s。如果要提高检测速度，只能设置多个工位，耗费大量的劳力；(3)检测的结果易受质检人员视觉疲劳、熟练水平、情绪波动等因素的影响，在精度和稳定性上都难以保证，从而导致误判、漏判、错判的情况发生；(4)人为的接触也有一定的几率损坏磁材，直接导致企业的经济损失；(5)检测人员长时间接触磁性材料会对人身体产生头晕、眼花、智力损坏、脱发等不良反应，一般两年后就不能再从事该工作，企业招工非常困难。因此，如何快速精确检验微型磁瓦零件的表面缺陷成为急需解决的问题。
随着“工业4.0”以及“中国制造2025”的提出，高效率、自动化、智能化的生产线将是未来制造业发展的重点。机器视觉检测技术具有非接触式的特点，可以自动、快速、高效地检测出产品的表面缺陷，在产品缺陷检测中的应用越来越广泛。但是，截至目前，利用机器视觉的方法进行微型磁瓦缺陷检测的研究还很少，市场上的微型磁瓦缺陷检测设备更是鲜有报道。通过研究分析现有磁瓦缺陷检测的研究成果，发现存在的主要技术难题如下：
(1)磁瓦的表面图像具有形状非平、颜色暗淡、对比度低等特点，且型号具有多样性，造成算法适应性不强；
(2)成型、烧结和磨加工过程造成磁瓦表面具有复杂的纹理，影响缺陷及其特征的提取，造成误判率高；
(3)微型磁瓦一些表面划痕、裂纹非常细微，成像后的宽度可能还不到一个像素，容易受到干扰，很难检测；
(4)算法缺乏通用性，大多数方法都是针对特定缺陷，而不能同时检测所有类型或几种类型的缺陷。而且大多处理时间较长，不适宜在线使用；
(5)光源复杂，不同的表面、不同的缺陷需不同的光照形式。
微型磁瓦表面缺陷的在线高精度检测往往要求在高生产线速度下，能较准确检出表面的各种类型的缺陷和微小缺陷，因而对机器视觉系统的性能提出了高分辨率、高速、高准确率、鲁棒性强的要求；但另一方面，在计算机视觉中，图像分析与处理算法对效率、鲁棒性、准确性的兼顾往往是难题。正是微型磁瓦表面缺陷在线视觉检测的技术性能要求，使图像处理与分析的算法成为磁瓦表面缺陷视觉检测系统的核心技术。
因此，需要对现有技术进行改进。
发明内容
本发明要解决的技术问题是提供一种高效的基于人类视觉特性的微型磁瓦表面缺陷检测方法。
为解决上述技术问题，本发明提供一种基于人类视觉特性的微型磁瓦表面缺陷检测方法：包括以下步骤：
(1)图像采集，得到图像Image；执行步骤2；
(2)通过阈值分割从图像Image得到磁瓦图像Region；执行步骤3；
(3)磁瓦图像Region屏蔽边缘区域，得到屏蔽后的图像；执行步骤4；
(4)屏蔽后的图像结构张量计算；执行步骤5；
(5)缺陷区域提取。
作为对本发明基于人类视觉特性的微型磁瓦表面缺陷检测方法的改进：步骤3包括：
3.1)、对磁瓦图像Region进行打散操作对远离磁瓦部分的干扰过滤掉，进行闭运算操作以减少磁瓦边缘部分干扰，得到过滤后图像；
令A代表被操作区域的集合，B为闭运算的结构元，则闭运算表示为：
3.2)、尺度变换完成边缘区域屏蔽，得到屏蔽后的图像；
对过滤后图像进行仿射变换；仿射变换包括两部分：水平变换和旋转变换，主要按照一个对应点和两个同位角进行变换并将其返回为齐次变换矩阵，表示为：
其中，HomMat2D为上述齐次变换矩阵，R为旋转变换矩阵，T为平移系数；
最后将变换后的图像作为掩模，通过不断地微调整直至尺度变换后的图像与步骤3.1得到的过滤后图像作差后分割出的区域为一整个连通区域，设此时尺度变换函数数ξ发生了n次运算；当尺度变换函数数ξ发生了次运算后，可以认为是完成了对磁瓦边缘以及四角的屏蔽，得到屏蔽后的图像。
作为对本发明基于人类视觉特性的微型磁瓦表面缺陷检测方法的进一步改进：步骤4包括：
4.1)对于给定的步骤3.2得到的屏蔽后的图像进行缩放，将其尺寸变换至期望显著图的尺寸，得到缩放后的图像；
4.2)计算缩放后的图像中每一个位置的线性结构张量Jσ:
其中，Kσ为标准差σ的高斯核函数，*为卷积运算；
4.3)对所有的线性结构张量Jσ，求其特征值λ1和λ2，进而计算图像中所有像素位置的|λ1-λ2|，构成矩阵A；计算图像中所有像素位置的|λ1+λ2|，构成矩阵B；
对于任一结构张量，将其表示为则可以分别计算出该矩阵的特征值λ1和λ2：G、F、H分别代表上述线性结构张量Jσ中的/>
4.4)对矩阵A进行归一化，所的矩阵作为边缘显著图；对矩阵B进行归一化，所得矩阵为角点显著图；
4.5)最终显著图由各通道的显著图的线性组合而获得；
其中，S代表最终显著图，ψ表示图像的规范化，ψ(CL)、ψ(f)和ψ(O)分别表示灰度、边缘以及角点规范化后的显著图。
作为对本发明基于人类视觉特性的微型磁瓦表面缺陷检测方法的进一步改进：步骤5包括：
为了描述图像的纹理等属性，提出以不均匀性(Inhomogeneity)以及各向同性(Isotropy)对图像的特征进行描述，两者计算步骤如下：
Inhomogeneity＝Trace(Jσ)
Trace代表计算矩阵的迹，Det代表计算矩阵行列式的值；
设某个像素点的不均匀性为PInhomo，各向同性为PIsotropy，在实际计算中只有同时满足以下两个条件的像素点才能继续进行计算：
ThreshInhom、ThreshShape是人为设定的参数，通过调整这两项参数可以得到不同的处理结果。
作为对本发明基于人类视觉特性的微型磁瓦表面缺陷检测方法的进一步改进：在步骤5中：
经过不均匀性、各向同性计算得到相应的协方差矩阵，通过分析协方差矩阵可以得到感兴趣区域点的具体点坐标；遍历协方差矩阵中的点，检测是否存在符合条件的特征点，只要检测到有特征点的存在，就说明存在缺陷点，那么就可以确定这是一个缺陷磁瓦，反之则为正常磁瓦。
作为对本发明基于人类视觉特性的微型磁瓦表面缺陷检测方法的进一步改进：若要对步骤5剩下的区域进行更加精细的特征计算并且定位特征点，需要将计算的区域返回至原有的灰度值，这样就必须估计输入图像的噪声质量以及将协方差矩阵的所有分量与噪声方差相乘，噪声均值(Mean)与偏差(Deviation)的具体计算公式如下：
其中p为图像区域(Region)R(步骤3.2得到的屏蔽后的图像)中的任意一个像素，g(p)为区域的灰度值函数；F是图像区域(Region)R中的任意一个像素块区域。
作为对本发明基于人类视觉特性的微型磁瓦表面缺陷检测方法的进一步改进：
对于偏差精度要求高的情况下，可采用更加详细的计算公式：
其中F是图像区域(Region)R中的任意一个像素块区域，(r′,c′)为图像区域的中心，α、β和μ为图像平面的参数。
本发明基于人类视觉特性的微型磁瓦表面缺陷检测方法的技术优势为：
本发明从人体视觉的本质出发，结合尺度变换与结构张量完成对磁瓦表面多种缺陷的检测。相比传统检测算法只能针对单一的缺陷，本系统检测算法不仅可以同时检测掉块、磕边和划痕的缺陷，而且还能适应光照在一定范围内变化的情形。此外，本发明检测方法能够满足企业生产的精度与速度需求，且能够稳定的运行，可以进行生产应用。
本发明的具体优势为：
1)、本发明能够对大多数磁瓦表面微缺陷进行检测，具有较高的普适性。
2)、本发明对打光要求有着相对较大的容错范围，在实际应用中对调试提供了较大的方便。
3)、本发明不仅能够检测磁瓦表面微缺陷，而且能够检测磁瓦在形状和大小方面的缺陷。
4)、本发明能够稳定运行，且便于调试。
附图说明
下面结合附图对本发明的具体实施方式作进一步详细说明。
图1为本发明基于人类视觉特性的微型磁瓦表面缺陷检测方法原理流程图；
图2为本发明采集到的磁瓦图像；
图3为本发明截取区域并边缘已屏蔽示意图；
图4为本发明缺陷区域提取方法流程；
图5为本发明磁瓦图像缺陷提取结果示意图。
具体实施方式
下面结合具体实施例对本发明进行进一步描述，但本发明的保护范围并不仅限于此。
实施例1、基于人类视觉特性的微型磁瓦表面缺陷检测方法，如图1-5所示，包括
(1)图像采集；执行步骤2；
磁瓦的表面有着复杂的纹理，而且诸多可能出现的缺陷中大多数是微型缺陷甚至某些缺陷的大小与纹理相似，因此对相机的成像要求较高。此外，鉴于实际检测的情况，磁瓦是被放置在快速转动的转盘上的，因此相机是在相对运动中进行图像获取的。综合考虑采用DALSA相机，该型号相机拥有高端CCD/CMOS成像传感器的研发能力，能为用户提供多个系列的面阵数字相机以满足不同层次的视觉应用需要，能满足在高速运动情况下进行清晰抓拍的需要。本型号的相机能够满足200万像素的高分成像要求或百万像素分辨率下60fps的高速成像要求。记获取的图像为图像Image。
(2)区域截取，得到磁瓦图像Region；执行步骤3；
通过阈值分割将磁瓦图像(有灰度分布的)从背景区域(全白，没有灰度分布的)中提取出来；
通过二值化快速从图像Image的白色背景中取出磁瓦图像Region并对采集到的图像中定位磁瓦的坐标记作Region(Area,Row,Column,Phi，Length1,Length2)
其中，Area为提取区域的面积，Row、Column分别代表区域中心的横纵坐标，Phi为最小外接矩形的角度，Length1、Length2为最小外接矩形的长、宽。通过最小外接矩形对磁瓦区域进行位置信息提取，方便下一步对磁瓦区域进行更多的位置操作。
(3)边缘区域屏蔽；执行步骤4；
由于磁瓦四角存在倒角，而且出现缺陷的可能性比较小，在实际检测过程中需要对四角进行屏蔽，否则很容易产生误判并且干扰正常区域的分离以及缺陷区域的提取。此外，由于磁瓦特殊的半圆弧形状，其在二维平面上的投影(即相机捕捉到的图像)是两边为圆弧的矩形，并且圆弧边具有分层灰度梯度的特点，再加上磁瓦实际内表面不统一，因此难以对两边的圆弧和直线统一进行屏蔽。为了解决这一问题，本文提出动态掩模与尺度变换相结合的方法进行磁瓦内表面的提取，具体操作步骤如下：
3.1)、背景区域干扰的屏蔽；在步骤2先进行快速阈值分割，然后进行打散操作对远离磁瓦部分的干扰过滤掉，进行闭运算操作以减少磁瓦边缘部分干扰，得到过滤后图像；
在对步骤1采集到的图像进行快速阈值分割的时候由于背景区域可能带来的灰度干扰，需要进行滤波。灰度干扰分为两种，一种是存在于背景远离磁瓦部分的干扰，一种是邻近磁瓦部分的干扰。前者在进行阈值分割后进行打散操作(打散操作是用来计算输入区域中的所有连通域)，可以把磁瓦部分与这类区域分割开来，在做特征筛选操作可以完成对第一类干扰部分的屏蔽；后者由于与磁瓦部分相邻，在打算操作后不能完全保证分隔开，因此需进行闭运算操作。令A代表被操作区域的集合，B为闭运算的结构元，则闭运算表示为：
考虑到磁瓦形状类矩形的特点，采用矩形结构元对目标区域进行元素，运算时的复杂度为：
其中F1为快速阈值分割得到的区域图像的面积，H为矩形结构元的高，O是代表的是复杂度函数，ld为软件内置系数。
3.2)、尺度变换完成边缘区域屏蔽，得到屏蔽后的图像。
对过滤后图像进行仿射变换。首先要对处理后的图像即提取出的磁瓦区域进行凸型转换，将原本边缘较为不规则的磁瓦区域转为凸型区域(convex)。这是为了方便下一步进行尺度变换时整体区域的规则，更加便于计算。接着将变换后的凸型磁瓦区域做图像旋转，这样有利于磁瓦姿态的矫正以及边缘区域的屏蔽。仿射变换包括两部分：水平变换和旋转变换，主要按照一个对应点和两个同位角进行变换并将其返回为齐次变换矩阵，表示为：
其中，HomMat2D为上述齐次变换矩阵，R为旋转变换矩阵，T为平移系数。
最后将变换后的图像作为掩模，通过不断地微调整直至尺度变换后的图像与原来图像(步骤3.1得到的过滤后图像)作差后分割出的区域为一整个连通区域，设此时尺度变换函数数ξ发生了n次运算。磁瓦区域作差不能为一整个连通区域是因为磁瓦本身特殊形状所导致的，这也是磁瓦检测中具有较大难度的一个问题。而作差区域为一整个连通区域时并不能立即停止尺度变换，这是因为在磁瓦边缘区域的灰度值与其余地方相差较大，两个区域连接处的灰度值变化梯度较大，根据显著性原理即对梯度变化较大区域具有强敏感性可以很容易的想到这部分区域会对检测造成很大干扰，因此当尺度变换函数数ξ发生了次运算后，可以认为是完成了对磁瓦边缘以及四角的屏蔽，得到屏蔽后的图像。
尺度变换函数ξ其实就是将磁瓦按照横向和纵向方向上的等比例放缩，微调整实质上就是尺度变换函数ξ的循环。
(4)结构张量计算；执行步骤五；
由于磁瓦表面具有复杂的纹理，要对图像进行出滤波，结构张量相比于Gabor滤波器相比计算效率更高，可以有效提取边缘、角点、纹理等信息。具体步骤如下：
4.1)对于给定的图像f(x,y)(步骤3.2得到的屏蔽后的图像)进行缩放，将其尺寸变换至期望显著图的尺寸，得到缩放后的图像；
4.2)计算缩放后的图像中每一个位置的线性结构张量Jσ:
其中，Kσ为标准差σ的高斯核函数，*为卷积运算。
需要注意的是Kσ所代表的高斯滤波也可换成均值滤波，当滤波方式改为均值滤波时参与卷积的是3×3的Sobel滤波器。
4.3)对所有的线性结构张量Jσ，求其特征值λ1和λ2，进而计算图像中所有像素位置的|λ1-λ2|，构成矩阵A；计算图像中所有像素位置的|λ1+λ2|，构成矩阵B。
对于任一结构张量，将其表示为则可以分别计算出该矩阵的特征值λ1和λ2：G、F、H分别代表上述线性结构张量Jσ中的/>
4.4)对矩阵A进行归一化，所的矩阵作为边缘显著图；对矩阵B进行归一化，所得矩阵为角点显著图。
4.5)最终显著图可由各通道的显著图的线性组合而获得。在通道特征显著图生成后，一般还需要对特征图进行规范化，以消除不同通道图像像素取值范围之差的影响，并利于不同通道特征显著图组合成最终的视觉显著图。
一般磁瓦输入图像都是单通道的，这是因为一般打光的光源都是白色的，直接归一化即可得到灰度显著图，但是实际实验中磁瓦采用其他的颜色的光(如偏红光)进行打光时其表面的部分缺陷更加突出，可能更适合一些简单的方法，这里说各通道就是说明对于具有多通道的图像本发明也可以使用。
其中，S代表最终显著图，ψ表示图像的规范化，ψ(CL)、ψ(f)和ψ(O)分别表示颜色(灰度)、亮度(边缘)以及轮廓(角点)规范化后的显著图。
(5)缺陷区域提取；
为了描述图像的纹理等属性，提出以不均匀性(Inhomogeneity)以及各向同性(Isotropy)对图像的特征进行描述，两者计算步骤如下；
Inhomogene ity＝Trace(Jσ)
Trace代表计算矩阵的迹，Det代表计算矩阵行列式的值；
设某个像素点的不均匀性为PInhomo，各向同性为PIsotropy，在实际计算中只有同时满足以下两个条件的像素点才能继续进行计算：
ThreshInhom、ThreshShape是人为设定的参数，通过调整这两项参数可以得到不同的处理结果。
经过上述计算(不均匀性、各向同性)，计算得到相应的协方差矩阵(协方差矩阵就是现有的计算方法)，通过分析协方差矩阵可以得到感兴趣区域点的具体点坐标。遍历协方差矩阵中的点，检测是否存在符合条件的特征点，只要检测到有特征点的存在(检测为1)，就说明存在缺陷点，那么就可以确定这是一个缺陷磁瓦，反之则为正常磁瓦。
若要对剩下的区域进行更加精细的特征计算并且定位特征点，需要将计算的区域返回至原有的灰度值，这样就必须估计输入图像的噪声质量以及将协方差矩阵的所有分量与噪声方差相乘，噪声均值(Mean)与偏差(Deviation)的具体计算公式如下：
其中p为图像区域(Region)R(步骤3.2得到的屏蔽后的图像)中的任意一个像素，g(p)为区域的灰度值函数。F是图像区域(Region)R中的任意一个像素块区域。
对于偏差精度要求高的情况下，可采用更加详细的计算公式：
其中F是图像区域(Region)R中的任意一个像素块区域，(r′,c′)为图像区域的中心，α、β和μ为图像平面的参数。这种偏差计算方式相比于一般的算法差别之处在于前者对于倾斜的图像平面也能够返回0灰度值。
实验一：
1、利用图像采集装置采集磁瓦图像；
2、对采集到的磁瓦图像进行区域截取。
截取磁瓦图像的坐标函数：
Region(Area,Row,Column,Phi，Length1,Length2)
其中，旋转中心任意选取，旋转角度Phi设置为0度，截取矩形区域长宽自定义，但要满足以下条件：
0<Length1<Column
0<Length2<Row
Column为采集到的磁瓦图像的列坐标，Row为采集到的磁瓦图像的行坐标。
3.对边缘区域的屏蔽操作主要采用了仿射变换和尺度变换的方法，具体操作如下：
(1)先通过快速二值化阈值分割，对图像进行分割并进行打散，分割函数：
屏蔽掉远离磁瓦区域的背景后就要采用矩形结构元进行闭运算来对第二类干扰背景进行屏蔽，本实验中采用11×11的矩形结构元。
(2)对尺度变换后的边缘区域进行屏蔽；
凸型区域进行仿射变换后进行均值滤波以减少表面纹理对实验结果的影响，对所有输入图像的灰度值进行线性平滑，对于边界处理，灰度值反映在图像边缘上，通过构造一个3×3的滤波掩模对变换后的磁瓦区域进行均值滤波。
4.对图像进行结构张量的计算：
通过上述原理中所提出的结构张量计算方法对图像中的每个点进行计算，最终得到每个点的特征值。第二步，为了计算最终的结果点构建两个优化函数。实质上，对于待计算的磁瓦区域，这些优化函数计算每个点到边缘方向的距离(即角点)和梯度方向的平均值。接着由优化函数的局部极小值所提取到的点作为目标点即特征点，最后得到这些点所对应的亚像素精确值的坐标数据。
5.缺陷区域的提取：
本文提出的检测算法中有两部分参数可以进行调整：滤波参数与特征参数。滤波参数包括高斯导数大小(SigmaGrad)以及高斯平滑参数(SigmaInt)；特征参数包括不均匀度(Inhomogene ity)和各向同性(Isotropy)阈值。通过调节滤波参数可以获得不同滤波效果，对图像进行不同程度的高斯平滑，完成对纹理因子不同程度的抑制，为后续的特征点计算提供不同复杂度的计算环境。
最后，还需要注意的是，以上列举的仅是本发明的若干个具体实施例。显然，本发明不限于以上实施例，还可以有许多变形。本领域的普通技术人员能从本发明公开的内容直接导出或联想到的所有变形，均应认为是本发明的保护范围。
Claims (4)
1.基于人类视觉特性的微型磁瓦表面缺陷检测方法，其特征在于：包括以下步骤：
(1)采用DALSA相机进行图像采集，得到图像Image；执行步骤(2)；
(2)通过阈值分割从图像Image得到磁瓦图像Region；执行步骤(3)；
具体包括如下：
通过阈值分割将有灰度分布的磁瓦图像从全白且没有灰度分布的背景区域中提取出来；
通过二值化快速从图像Image的白色背景中取出磁瓦图像Region并对采集到的图像中定位磁瓦的坐标记作Region(Area,Row,Column,Phi，Length1,Length2)；
其中，Area为提取区域的面积，Row、Column分别代表区域中心的横纵坐标，Phi为最小外接矩形的角度，Length1、Length2为最小外接矩形的长、宽；通过最小外接矩形对磁瓦区域进行位置信息提取，方便下一步对磁瓦区域进行更多的位置操作；
(3)磁瓦图像Region屏蔽边缘区域，得到屏蔽后的图像；执行步骤(4)；
具体包括以下：
3.1)、背景区域干扰的屏蔽；在步骤(2)先进行快速阈值分割，然后进行打散操作对远离磁瓦部分的干扰过滤掉，进行闭运算操作以减少磁瓦边缘部分干扰，得到过滤后图像；
在对步骤(1)采集到的图像进行快速阈值分割的时候由于背景区域可能带来的灰度干扰，需要进行滤波；灰度干扰分为两种，一种是存在于背景远离磁瓦部分的干扰，一种是邻近磁瓦部分的干扰；前者在进行阈值分割后进行打散操作，打散操作是用来计算输入区域中的所有连通域，可以把磁瓦部分与这类区域分割开来，在做特征筛选操作可以完成对第一类干扰部分的屏蔽；后者由于与磁瓦部分相邻，在打算操作后不能完全保证分隔开，因此需进行闭运算操作；令A代表被操作区域的集合，B为闭运算的结构元，则闭运算表示为：
考虑到磁瓦形状类矩形的特点，采用矩形结构元对目标区域进行元素，运算时的复杂度为：
其中F1为快速阈值分割得到的区域图像的面积，H为矩形结构元的高，O是代表的是复杂度函数，ld为软件内置系数；
3.2)、尺度变换完成边缘区域屏蔽，得到屏蔽后的图像；
对过滤后图像进行仿射变换；首先要对处理后的图像即提取出的磁瓦区域进行凸型转换，将原本边缘较为不规则的磁瓦区域转为凸型区域；这是为了方便下一步进行尺度变换时整体区域的规则，更加便于计算；接着将变换后的凸型磁瓦区域做图像旋转，这样有利于磁瓦姿态的矫正以及边缘区域的屏蔽；仿射变换包括两部分：水平变换和旋转变换，主要按照一个对应点和两个同位角进行变换并将其返回为齐次变换矩阵，表示为：
其中，HomMat2D为上述齐次变换矩阵，R为旋转变换矩阵，T为平移系数；
最后将变换后的图像作为掩模，通过不断地微调整直至尺度变换后的图像与原来图像作差后分割出的区域为一整个连通区域，所述原来图像为步骤3.1得到的过滤后图像；设此时尺度变换函数数ξ发生了n次运算；磁瓦区域作差不能为一整个连通区域是因为磁瓦本身特殊形状所导致的，而作差区域为一整个连通区域时并不能立即停止尺度变换，这是因为在磁瓦边缘区域的灰度值与其余地方相差较大，两个区域连接处的灰度值变化梯度较大，根据显著性原理即对梯度变化较大区域具有强敏感性可以很容易的想到这部分区域会对检测造成很大干扰，因此当尺度变换函数数ξ发生了次运算后，可以认为是完成了对磁瓦边缘以及四角的屏蔽，得到屏蔽后的图像；
尺度变换函数ξ其实就是将磁瓦按照横向和纵向方向上的等比例放缩，微调整实质上就是尺度变换函数ξ的循环；
(4)屏蔽后的图像结构张量计算；执行步骤(5)；
具体包括以下：
4.1)对于给定的步骤3.2得到的屏蔽后的图像进行缩放，将其尺寸变换至期望显著图的尺寸，得到缩放后的图像；
4.2)计算缩放后的图像中每一个位置的线性结构张量Jσ:
其中，Ks为标准差σ的高斯核函数，*为卷积运算；
4.3)对所有的线性结构张量Jσ，求其特征值λ1和λ2，进而计算图像中所有像素位置的|λ1-λ2|，构成矩阵A；计算图像中所有像素位置的|λ1+λ2|，构成矩阵B；
对于任一结构张量，将其表示为则可以分别计算出该矩阵的特征值λ1和λ2：G、F、H分别代表上述线性结构张量Jσ中的/>
4.4)对矩阵A进行归一化，所的矩阵作为边缘显著图；对矩阵B进行归一化，所得矩阵为角点显著图；
4.5)最终显著图由各通道的显著图的线性组合而获得；
其中，S代表最终显著图，ψ表示图像的规范化，ψ(CL)、ψ(f)和ψ(O)分别表示灰度、边缘以及角点规范化后的显著图；
(5)缺陷区域提取；
包括以下：
为了描述图像的纹理属性，提出以不均匀性Inhomogeneity以及各向同性Isotropy对图像的特征进行描述，两者计算步骤如下：
Inhomogeneity＝Trace(Jσ)
Trace代表计算矩阵的迹，Det代表计算矩阵行列式的值；
设某个像素点的不均匀性为PInhomo，各向同性为PIsotropy，在实际计算中只有同时满足以下两个条件的像素点才能继续进行计算：
ThreshInhom、ThreshShape是人为设定的参数，通过调整这两项参数可以得到不同的处理结果。
2.根据权利要求1所述的基于人类视觉特性的微型磁瓦表面缺陷检测方法，其特征在于：在步骤5中：
经过不均匀性、各向同性计算得到相应的协方差矩阵，通过分析协方差矩阵可以得到感兴趣区域点的具体点坐标；遍历协方差矩阵中的点，检测是否存在符合条件的特征点，只要检测到有特征点的存在，就说明存在缺陷点，那么就可以确定这是一个缺陷磁瓦，反之则为正常磁瓦。
3.根据权利要求2所述的基于人类视觉特性的微型磁瓦表面缺陷检测方法，其特征在于：
若要对步骤5剩下的区域进行更加精细的特征计算并且定位特征点，需要将计算的区域返回至原有的灰度值，这样就必须估计输入图像的噪声质量以及将协方差矩阵的所有分量与噪声方差相乘，噪声均值Mean与偏差Deviation的具体计算公式如下：
其中p为图像区域R中的任意一个像素，图像为步骤3.2得到的屏蔽后的图像，g(p)为区域的灰度值函数；F是图像区域R中的任意一个像素块区域。
4.根据权利要求3所述的基于人类视觉特性的微型磁瓦表面缺陷检测方法，其特征在于：
对于偏差精度要求高的情况下，可采用更加详细的计算公式：
其中F是图像区域Regions中的任意一个像素块区域，(r′,c′)为图像区域的中心，α、β和μ为图像平面的参数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010022294.3A CN111210419B (zh) | 2020-01-09 | 2020-01-09 | 基于人类视觉特性的微型磁瓦表面缺陷检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010022294.3A CN111210419B (zh) | 2020-01-09 | 2020-01-09 | 基于人类视觉特性的微型磁瓦表面缺陷检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111210419A CN111210419A (zh) | 2020-05-29 |
| CN111210419B true CN111210419B (zh) | 2023-10-20 |
Family
ID=70785174
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010022294.3A Active CN111210419B (zh) | 2020-01-09 | 2020-01-09 | 基于人类视觉特性的微型磁瓦表面缺陷检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111210419B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112738532A (zh) * | 2020-12-29 | 2021-04-30 | 哈尔滨工业大学芜湖机器人产业技术研究院 | 一种基于高斯滤波的dct块效应现象消除方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104700412A (zh) * | 2015-03-17 | 2015-06-10 | 苏州大学 | 一种视觉显著图的计算方法 |
| CN105719266A (zh) * | 2014-12-02 | 2016-06-29 | 马鞍山森格电子科技有限公司 | 基于纹理特征聚类的磁瓦表面缺陷检测方法 |
| CN106093066A (zh) * | 2016-06-24 | 2016-11-09 | 安徽工业大学 | 一种基于改进的机器视觉注意机制的磁瓦表面缺陷检测方法 |
| JP2017166929A (ja) * | 2016-03-15 | 2017-09-21 | 株式会社リコー | シート状の被検査体の欠陥検査装置、欠陥検査方法及び欠陥検査システム |
| CN108230324A (zh) * | 2018-01-31 | 2018-06-29 | 浙江理工大学 | 磁瓦表面微缺陷视觉检测方法 |
| CN109727244A (zh) * | 2019-01-18 | 2019-05-07 | 深圳至汉装备科技有限公司 | 一种磁瓦表面裂纹检测方法 |
| CN110599470A (zh) * | 2019-08-30 | 2019-12-20 | 武汉科技大学 | 一种磁瓦表面缺陷检测系统和方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7536036B2 (en) * | 2004-10-28 | 2009-05-19 | Fotonation Vision Limited | Method and apparatus for red-eye detection in an acquired digital image |
| US10867382B2 (en) * | 2018-05-24 | 2020-12-15 | Keysight Technologies, Inc. | Detecting mura defects in master panel of flat panel displays during fabrication |
-
2020
- 2020-01-09 CN CN202010022294.3A patent/CN111210419B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105719266A (zh) * | 2014-12-02 | 2016-06-29 | 马鞍山森格电子科技有限公司 | 基于纹理特征聚类的磁瓦表面缺陷检测方法 |
| CN104700412A (zh) * | 2015-03-17 | 2015-06-10 | 苏州大学 | 一种视觉显著图的计算方法 |
| JP2017166929A (ja) * | 2016-03-15 | 2017-09-21 | 株式会社リコー | シート状の被検査体の欠陥検査装置、欠陥検査方法及び欠陥検査システム |
| CN106093066A (zh) * | 2016-06-24 | 2016-11-09 | 安徽工业大学 | 一种基于改进的机器视觉注意机制的磁瓦表面缺陷检测方法 |
| CN108230324A (zh) * | 2018-01-31 | 2018-06-29 | 浙江理工大学 | 磁瓦表面微缺陷视觉检测方法 |
| CN109727244A (zh) * | 2019-01-18 | 2019-05-07 | 深圳至汉装备科技有限公司 | 一种磁瓦表面裂纹检测方法 |
| CN110599470A (zh) * | 2019-08-30 | 2019-12-20 | 武汉科技大学 | 一种磁瓦表面缺陷检测系统和方法 |
Non-Patent Citations (4)
| Title |
|---|
| Surface defect saliency of magnetic tile;Yibin Huang et al.;《The Vusual Computer》;85-96 * |
| 基于机器视觉的微小零件表面缺陷检测研究;王东;黎万义;孙佳;郝高明;王鹏;;应用科技(04);137-142 * |
| 小磁瓦微缺陷可视化检测系统研发;胡浩;《中国优秀硕士学位论文全文数据库工程科技Ⅱ辑》;C030-75 * |
| 张露滨等.微型磁瓦表面线缺陷视觉检测方法研究.《光电子激光》.2019,951-959页. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111210419A (zh) | 2020-05-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108921176B (zh) | 一种基于机器视觉的指针式仪表定位与识别方法 | |
| Li et al. | Detection of surface crack defects on ferrite magnetic tile | |
| TWI664390B (zh) | 用於堆疊晶圓之檢測和計量之系統及方法 | |
| CN108230324B (zh) | 磁瓦表面微缺陷视觉检测方法 | |
| CN109900711A (zh) | 基于机器视觉的工件缺陷检测方法 | |
| EP1995553B1 (en) | System and method for identifying a feature of a workpiece | |
| Tao et al. | Weak scratch detection and defect classification methods for a large-aperture optical element | |
| KR101882511B1 (ko) | 웨이퍼 정합 방법 및 시스템 | |
| CN102496161B (zh) | 一种印刷电路板图像的轮廓提取方法 | |
| JP6899189B2 (ja) | ビジョンシステムで画像内のプローブを効率的に採点するためのシステム及び方法 | |
| CN106780526A (zh) | 一种铁氧体圆片表面裂痕识别方法 | |
| CN115096206B (zh) | 一种基于机器视觉的零件尺寸高精度测量方法 | |
| CN114881915A (zh) | 一种基于对称性的手机玻璃盖板视窗区缺陷检测方法 | |
| CN112489042A (zh) | 基于超分辨重建的金属品印刷缺陷与表面损伤的检测方法 | |
| CN102980659B (zh) | 一种单色紧密织物表面颜色的数字化表征方法 | |
| CN111210419B (zh) | 基于人类视觉特性的微型磁瓦表面缺陷检测方法 | |
| Lin et al. | Surface defect detection of machined parts based on machining texture direction | |
| CN115345821A (zh) | 基于主动视觉成像的钢卷捆带松动异常检测及量化方法 | |
| CN103337067B (zh) | 单针扫描式螺纹测量仪探针x轴旋转偏差的视觉检测方法 | |
| Feng et al. | Image processing of the grinding wheel surface | |
| Wang et al. | Structured-light three-dimensional scanning for process monitoring and quality control in precast concrete production. | |
| CN111539951B (zh) | 一种陶瓷砂轮头轮廓尺寸视觉检测方法 | |
| CN115829981A (zh) | 一种退役轴承端面损伤的视觉检测方法 | |
| CN110728061B (zh) | 基于朗伯体反射建模的陶瓷表面气孔检测方法 | |
| KR20130087984A (ko) | 확장 커널을 이용한 비등방성 확산 모델 기반의 마이크로 크랙의 검사 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |