CN112541884A - 缺陷检测方法及设备、计算机可读存储介质 - Google Patents

缺陷检测方法及设备、计算机可读存储介质 Download PDF

Info

Publication number
CN112541884A
CN112541884A CN202011192922.9A CN202011192922A CN112541884A CN 112541884 A CN112541884 A CN 112541884A CN 202011192922 A CN202011192922 A CN 202011192922A CN 112541884 A CN112541884 A CN 112541884A
Authority
CN
China
Prior art keywords
defect
image
model
target object
segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011192922.9A
Other languages
English (en)
Inventor
金侠挺
郑佳
潘华东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202011192922.9A priority Critical patent/CN112541884A/zh
Publication of CN112541884A publication Critical patent/CN112541884A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30136—Metal

Abstract

本申请公开了一种缺陷检测方法及设备、计算机可读存储介质。其中，所述缺陷检测方法包括：获取关于目标对象表面的基础图像；对所述基础图像进行预分割处理，获取包含连通域的质心坐标的预分割结果；利用表面缺陷预测模型对所述基础图像进行预测，获取缺陷的矩形感兴趣区域；基于所述预分割结果和所述缺陷的矩形感兴趣区域的对应关系，筛选出所述目标对象表面的真阳性缺陷。上述方案，能够精准的检测出目标对象表面的缺陷。

Description

缺陷检测方法及设备、计算机可读存储介质
技术领域
本申请涉及图像处理技术领域，特别是涉及一种缺陷检测方法及设 备、计算机可读存储介质。
背景技术
产品表面缺陷的产生往往是不可避免的，而表面缺陷不仅影响产品 的美观和舒适度，还可能对其使用性能造成不良影响。以高速铁路轨道 为例，高速铁路轨道的健康状况涉及列车行驶秩序和旅客人身安全，工 程机构会定期监测钢轨缺陷和维护铁道质量，以预防运营专线的重大公 共灾害。
然而，传统的人工巡检和电磁式、线圈涡流式、超声波式等无损检 测技术仍被用于伤损判断，存在着仪器与被测工件接触、报警错误及遗 漏、工程耗时低效、技术人员主观臆断的几大缺点，不足以满足当前先 进铁路系统的需求。
发明内容
本申请主要解决的技术问题是提供一种缺陷检测方法及设备、计算 机可读存储介质，能够精准的检测出目标对象表面的缺陷。
为了解决上述问题，本申请第一方面提供了一种缺陷检测方法，所 述方法包括：获取关于目标对象表面的基础图像；对所述基础图像进行 预分割处理，获取包含连通域的质心坐标的预分割结果；利用表面缺陷 预测模型对所述基础图像进行预测，获取缺陷的矩形感兴趣区域；基于 所述预分割结果和所述缺陷的矩形感兴趣区域的对应关系，筛选出所述 目标对象表面的真阳性缺陷。
为解决上述问题，本申请第二方面提供了一种缺陷检测设备，所述 缺陷检测装置包括相互连接的处理器和存储器，所述存储器用于存储程 序指令，所述处理器用于执行所述程序指令以实现上述第一方面的方 法。
为解决上述问题，本申请第三方面提供了一种计算机可读存储介 质，其上存储有程序指令，所述程序指令被处理器执行时实现上述第一 方面的方法。
本发明的有益效果是：区别于现有技术的情况，本申请在获取到关 于目标对象表面的基础图像后，对基础图像进行预分割处理，获取包含 连通域的质心坐标的预分割结果，另外利用表面缺陷预测模型对基础图 像进行预测，获取缺陷的矩形感兴趣区域，然后基于预分割结果和缺陷 的矩形感兴趣区域的对应关系，筛选出目标对象表面的真阳性缺陷。通 过上述方式，对关于目标对象表面的基础图像采用双路并行的检测方 法，既可以获得图像的预分割结果，又可以获得目标物的定位信息，其 中目标物为缺陷，其定位信息为矩形感兴趣区域，而基于所述预分割结 果和所述缺陷的矩形感兴趣区域的对应关系，利用相应的判别规则可以 筛选出目标对象表面的真阳性缺陷，从而排除了假阳性干扰物，使目标 对象表面的缺陷的检测的精确性更高。
附图说明
图1是本申请缺陷检测方法一实施例的流程示意图；
图2是图1中步骤S12一实施例的流程示意图；
图3是采用本申请的图像分割模型和其他模型在不同钢轨图像上的 分割结果的对比示意图；
图4是本申请缺陷检测方法另一实施例的流程示意图；
图5是本申请缺陷检测方法一应用场景的处理流程示意图；
图6是本申请缺陷检测设备一实施例的结构示意图；
图7是本申请缺陷检测设备另一实施例的结构示意图；
图8是本申请计算机可读存储介质一实施例的结构示意图。
具体实施方式
下面结合说明书附图，对本申请实施例的方案进行详细说明。
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、 接口、技术之类的具体细节，以便透彻理解本申请。
本文中术语“系统”和“网络”在本文中常被可互换使用。本文中术语 “和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系， 例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在 B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种 “或”的关系。此外，本文中的“多”表示两个或者多于两个。
请参阅图1，图1是本申请缺陷检测方法一实施例的流程示意图。 本实施例中的缺陷检测方法，包括以下步骤：
S11：获取关于目标对象表面的基础图像。
本申请的目标对象可以是钢材、电路板、玻璃或者其他需要对其表 面进行缺陷检测的产品。以目标对象包括钢轨为例，采集钢轨的表面情 况，形成钢轨表面的基础图像；可以理解的是，在钢轨表面的基础图像 中，无关的背景总会占据基础图像的相当一部分，而铁轨表面只占基础 图像的一部分，如果直接对整个基础图像进行处理，则会导致缺陷检测的时间过长，因此，在获取到钢轨表面的基础图像之后，可以对其进行 前处理操作，将无关部分剔除掉，从而可以大大提高后续的缺陷检测速 度。
S12：对所述基础图像进行预分割处理，获取包含连通域的质心坐 标的预分割结果。
请结合图2，图2是图1中步骤S12一实施例的流程示意图。在一 实施例中，上述步骤S12具体包括：
S121：采用图像分割模型对所述基础图像进行预分割处理，获得包 含缺陷和假阳性干扰项的二值图像。
S122：利用连通域分析算法获得连通域的集合，并计算得到各个连 通域的质心坐标。
可以理解的是，将钢轨表面的基础图像输入图像分割模型进行预分 割处理，可以得到钢轨表面的二值图像，然后可以进行二值图像分析， 例如采用连通域分析算法对二值图像中的目标进行连通域标记，通过对 二值图像中白色像素(目标)的标记，让每个单独的连通域形成一个被 标识的块，进一步就可以获取这些块的质心坐标等几何参数，即可以获取到包含连通域的质心坐标的预分割结果。由于二值图像中包含有钢轨 表面的真阳性缺陷和假阳性干扰项，因此预分割结果包含有钢轨表面的 真阳性缺陷和假阳性干扰项。
具体地，将钢轨表面的基础图像输入到图像分割模型，可以获取包 含有钢轨表面的真阳性缺陷和假阳性干扰项的预分割结果，得到二值图 像Binary_GMM。然后利用快速连通域分析算法可以从二值图像Binary_GMM中提取连通域集合Blob＝{blob_1,blob_2,…,blob_n}，进 而可以求解出每个单连通域的质心坐标Circle＝{c1,c2,…,cn}，其中， 第i个质心ci为数据对结构，即ci＝(xi,yi)，其中xi为质心ci的横坐标，yi是质心ci的纵坐标。
S13：利用表面缺陷预测模型对所述基础图像进行预测，获取缺陷 的矩形感兴趣区域。
在对钢轨表面的基础图像进行预分割处理的同时，可以利用表面缺 陷预测模型对基础图像进行目标预测，得到目标物的位置，由于缺陷作 为目标物，即可以得到钢轨表面的缺陷的矩形感兴趣区域。
具体地，将钢轨表面的基础图像输入到表面缺陷预测模型，可以获 取钢轨表面的缺陷的感兴趣区域范围，得到预测缺陷位置的矩形框集合 Rectangle＝{rect_1,rect_2,…,rect_m}，其中，第j个矩形框rect_j为数 据元组rect_j＝(xj,yj,wj,hj)，其中xj和yj为矩形框左上角点的横坐标和 纵坐标，wj和hj为矩形框的长和宽。
S14：基于所述预分割结果和所述缺陷的矩形感兴趣区域的对应关 系，筛选出所述目标对象表面的真阳性缺陷。
具体地，根据步骤S12和S13分别输出的结果，即包含单连通域的 质心坐标集合Circle的预分割结果以及预测缺陷位置的矩形框集合 Rectangle，于是，利用质心坐标集合Circle和矩形框集合Rectangle的判 别规则可以判断预分割结果中的二值连通域是否击中预测缺陷位置的 矩形框，从而可以筛选出钢轨表面的真阳性缺陷，从而排除假阳性干扰 物，得到真阳性缺陷集合Defect。
上述方案，通过对关于目标对象表面的基础图像采用双路并行的检 测方法，既可以获得图像的预分割结果，又可以获得目标物的定位信息， 其中目标物为缺陷，其定位信息为矩形感兴趣区域，而基于所述预分割 结果和所述缺陷的矩形感兴趣区域的对应关系，利用相应的判别规则可 以筛选出目标对象表面的真阳性缺陷，从而排除了假阳性干扰物，使目 标对象表面的缺陷的检测的精确性更高。
在一实施例中，上述步骤S14具体包括：根据所述预分割结果和所 述缺陷的矩形感兴趣区域，筛选出质心坐标处于任意矩形感兴趣区域内 的连通域，作为所述目标对象表面的真阳性缺陷。
可以理解的是，由于步骤S12得到包含单连通域的质心坐标集合 Circle的预分割结果，而预分割结果中包含有钢轨表面的真阳性缺陷和 假阳性干扰项，而步骤S13得到预测缺陷位置的矩形框集合Rectangle， 因此，若预分割结果中某单连通域的质心坐标位于矩形框内，则可以认 为该单连通域为真阳性缺陷对象，从而排除假阳性干扰物。
具体地，真阳性缺陷的筛选规则为：|ci.x-rect_j.x|<＝rect_j.w且 |ci.y-rect_j.y|<＝rect_j.h。其中，ci.x为第i个单连通域的质心横坐标，ci.y为纵坐标，rect_j.x为第j个矩形框的横坐标，rect_j.y为纵坐标，rect_j.w和rect_j.h分别为第j个矩形框的长宽值。因此，通过遍历i＝1,2,...,n和 j＝1,2,...,m，若符合筛选规则，则可以判定第i个单连通域为真阳性缺陷。
进一步地，本申请的图像分割模型是利用马尔可夫随机场对高斯混 合模型进行改进得到的。在一实施例中，在上述步骤S121之前，缺陷 检测方法还包括对图像分割模型的获取，具体可以包括：
S1201：引入马尔可夫随机场对高斯混合模型进行空间约束，得到 初始的图像分割模型。
作为样本聚类器，高斯混合模型将由N个像素点组成的图像分割 (聚类)成K个簇，其中某个像素点xi的概率密度表达为：
Figure BDA0002753236720000051
其中，φ(xi|Θj)为混合成分的高斯分布，Θj＝{μj,∑j},j＝{1,2,...,K}，μj为向量均值，∑j为协方差矩阵，∏＝{πij},i＝{1,2,...,N},j＝{1,2,...,K}是先验分布 的数据集合。该先验项是由像素点xi在标签Ωj上的概率建模成的，满足 以下约束：
Figure BDA0002753236720000061
根据贝叶斯规则，后验概率(在混合模型的期望最大化算法求解中， 也称为隐变量的条件期望值)的定义如下：
Figure BDA0002753236720000062
其中，t为期望最大化算法的迭代次数，πij (t)为第t次迭代时像素点xi在标签Ωj上的先验分布，φ(xi|Θj)(t)为第t次迭代时像素点xi在标签Ωj上 的高斯分布。期望最大化算法迭代的目标即为求解混合模型的参数 {Π,Θ}。
由于高斯混合模型假设二维图像的每个像素点xi,i＝{1,2,...,N}是独立 于相邻像素及其标签值Ωj,j＝{1,2,...,K}且j≠i，导致高斯混合模型忽略 相邻像素之间的空间关联性，从而在图像分割应用中对于光照或噪声的 复杂场景极不敏感。因此，本申请通过引入马尔可夫随机场对高斯混合 模型进行空间约束，从而得到初始的图像分割模型。
具体地，可以对高斯混合模型的先验分布进行马尔可夫分布约束， 即对上述的先验项增加约束条件，即马尔可夫分布，以合并标签值之间 的空间信息，从而可以解决传统的高斯混合模型忽略相邻像素空间关联 性的不足，可以增强图像分割的噪声鲁棒性。其中，马尔可夫分布的定 义如下：
Figure BDA0002753236720000063
其中，∏＝{πij},i＝{1,2,...,N},j＝{1,2,...,K}是先验分布的数据集合，Z为正态常数，T为温度常数，U(Π)为平滑先验项。
需要注意的是，不同形式的平滑先验项U(Π)将直接决定不同类型的 混合模型，这一方面有利于克服传统高斯混合模型的忽略相邻像素关联 性的缺点，但另一方面将增加模型优化的计算复杂度。为此，本申请定 义一种新的平滑先验项U(Π)，如下形式：
Figure BDA0002753236720000071
其中，t为期望最大化算法的迭代次数，Gij (t)是参数因子，πij (t+1)为第 t+1次迭代时邻域像素点xi在标签Ωj的先验分布。可以发现，在某次迭 代中，例如t+1次迭代步骤中，平滑先验项U(Π)对于先验分布πij (t+1)的导 数仅仅与πij (t+1)有关，即在进行迭代优化时，平滑先验项与先验分布相关； 于是，对于本申请的图像分割模型，期望最大化算法可以直接应用于先 验分布πij的优化求解，从而可以减少最大化阶段的额外计算量，增强了 图像分割应用的实时性。
另外，本申请引入新的参数因子Gij来定义马尔可夫分布中的平滑先 验项U(Π)，其被描述为后验概率和先验分布的乘积的形式。具体而言， 某个像素点xi,i＝{1,2,...,N}在标签Ωj,j＝{1,2,...,K}上的参数因子Gij通过其邻 域
Figure BDA0002753236720000072
内(包括该像素点自身)所有像素点的后验概率zmj，
Figure BDA0002753236720000073
和先验分 布πmj，
Figure BDA0002753236720000074
实现这个定义，即像素点xi,i＝{1,2,...,N}在标签Ωj,j＝{1,2,...,K}上 的参数因子Gij与该像素点的邻域内的所有像素点的后验概率和先验分 布相关。需要注意的是，该定义直接决定了本申请的图像分割模型是有 利于局部空间信息的合并的，从而可以增强相邻像素间的空间关联性和 图像分割应用的噪声鲁棒性。参数因子Gij的表达式如下所示：
Figure RE-GDA0002927966060000075
其中，zmj (t-1)为第t-1次迭代时邻域像素点xm在标签Ωj的后验概率， πmj (t-1)为第t-1次迭代时邻域像素点xm在标签Ωj的先验分布，β为控制 平滑先验项的温度系数，
Figure BDA0002753236720000076
为第i个像素点的包括自身在内的邻域，Ni是 邻域
Figure BDA0002753236720000077
内的像素总数。在一实施例中，可以使用5×5大小的窗口，此时Ni＝25。由于Gij (t)只依赖于第t 1次迭代中先验分布和后验概率的数值大 小，因此上述的平滑先验项U(Π)关于先验分布πij (t+1)的导数仅关联到πij (t+1)项，与参数因子Gij (t)无关，从而没有引入额外的计算量。因此对于本申 请的图像分割模型，通过期望最大化算法可以实现直接求解先验分布， 从而增强图像分割应用的实时性。
S1202：利用期望最大化算法对所述初始的图像分割模型进行迭代 优化，得到最终的图像分割模型。
期望最大化算法是面向含有隐变量的混合模型的一种极大似然估 计解法，其本质是优化参数集合{Π,Θ}以最大化目标函数J(Π,Θ|X)，现有 目标函数的表达式为：
Figure BDA0002753236720000081
其中，X为像素点集合X＝(x1,x2,...,xN)，zij为隐变量的条件期望值或 后验概率，正态常数Z和温度常数T均设置为1。
考虑在t+1次迭代后，当微分方程
Figure BDA0002753236720000082
则在t+1次迭代后μj取 到最小值：
Figure BDA0002753236720000083
考虑在t+1次迭代后，当微分方程
Figure BDA0002753236720000084
则在t+1次迭代后
Figure BDA0002753236720000085
取 到最小值：
Figure BDA0002753236720000086
考虑在t+1次迭代后，当微分方程
Figure RE-GDA0002927966060000087
则在t+1次迭代后πij取 到最小值：
Figure BDA0002753236720000088
最终，当图像分割模型的模型参数{μj,∑j,πij}完成参数收敛后， 即得到最终的图像分割模型。
于是，利用最终的图像分割模型可以进行图像分割应用，其中，图 像分割应用描述为每个像素点xi在最终的图像分割模型下将被分配给满 足最大后验概率zij的标签Ωj，表达如下：
xi∈Ωj:IF zij≥zik j,k＝{1,2,...,K} (11)
在一应用场景中，图像分割模型可以通过如下的伪代码实现图像分 割应用：
Figure BDA0002753236720000091
Figure BDA0002753236720000102
利用本申请的图像分割模型进行图像预分割，噪声鲁棒性更强，计 算速度更快，物体边缘分割的细粒度更大。
请结合图3，图3是采用本申请的图像分割模型和其他模型在不同 钢轨图像上的分割结果的对比示意图。图3中展示了几种先进的混合模 型和本申请的图像分割模型在不同钢轨图像上的对比结果，其中，字母 a-f表征钢轨图像I-VI，数字1-9表征不同的模型，即(a1-a9)为图像I， (b1-b9)为图像II，(c1-c9)为图像III，(d1-d9)为图像IV，(e1-e9) 为图像V，(f1-f9)为图像VI；(a1-f1)为输入的基础图像，(a2-f2) 为真实标签(GT)，(a3-f3)为K-means模型，(a4-f4)为高斯混合 模型，(a5-f5)为空间变异有限混合模型(Spatiallyvariant finite mixture model,SVFMM)，(a6-f6)为模拟场模型(Simulated field,SIMF)， (a7-f7)为平均场模型(Mean field,MEANF)，(a8-f8)为Student-T 混合模型，(a9-f9)为本申请的图像分割模型。可以发现，利用本申请 的图像分割模型对输入的基础图像(a1-f1)进行预分割处理，所得到的 预分割结果(a9-f9)与图像(a2-f2)的真实标签的之间的准确性高，验 证了本申请的图像分割模型的有效性。
进一步地，本申请的表面缺陷预测模型是基于残差金字塔池化网络 对YOLOv3网络进行改进得到的。在一实施例中，以YOLOv3网络为 基础，结合残差金字塔池化网络，构建得到本申请的表面缺陷预测模型， 于是本申请的表面缺陷预测模型包括特征提取模块和预测输出模块，在 模型的输入端口，钢轨表面的基础图像作为表面缺陷预测模型的输入层(0层)，然后在特征提取模块，即残差金字塔池化网络，实现多尺度 特征提取，然后在经过预测输出模块后得到预测结果。
具体地，表面缺陷预测模型可以包括若干个卷积层、残差集成块、 shortcut层、BN层和yolo层。在一实施例中，表面缺陷预测模型总共包 括110层(从0层算起)，其中有55层为卷积层，有16个残差集成块， 有16层为shortcut层，有35层为BN层，有4层为yolo层。在输入端 口，钢轨表面的基础图像利用尺度变换到448*448*3作为模型的输入 层(0层)，然后在特征提取模块实现多尺度特征提取；进入预测输出 模块后，在103层进行第1次yolo层输出，输出维度为28*28*512， 在104层进行第2次yolo层输出，输出维度为28*28*512，同样地， 在105层进行第3次yolo层输出，输出维度为14*14*512，在106层 进行第4次yolo层输出，输出维度为7*7*512。本实施例的卷积层主 要使用1*1和3*3卷积核，使用1*1卷积层的目的是改变通道数以 减少参数量，使用3*3卷积层的目的是特征映射；残差集成块沿用残差网络ResNet的bottleneck结构，shortcut层沿用残差网络ResNet的 shortcut连接方式，将跨越bottleneck内的3个卷积层的首尾特征融合， 以降低深层网络的训练难度和提高预测精度；yolo层沿用YOLO v3网 络的yolo预测方法输出目标矩形框的横纵坐标、长宽尺度、类别置信度。
在一实施例中，上述特征提取模块，即残差金字塔池化网络的部分 层顺序可以是：输入层[448,448,3]，卷积层[224,224,64]，BN层，卷 积层[224,224,64]，BN层，卷积层[224,224,64]，BN层，残差集成块 #1{卷积层[224,224,64]，BN层，卷积层[112,112,64]，卷积层[112,112, 256]，BN层}，残差集成块#2{卷积层[112,112,128]，BN层，卷积层 [56,56,128]，卷积层[56,56,512]，BN层}，残差集成块#3{卷积层[56, 56,256]，BN层，卷积层[28,28,256]，卷积层[28,28,1024]，BN层}， 残差集成块#4{卷积层[28,28,512]，BN层，卷积层[28,28,512]，卷积层 [28,28,1024]，BN层}，金字塔池化(4路)层{卷积层[28,28,512]， 卷积层[14,14,512]，卷积层[7,7,512]，卷积层[1,1,512]}。
使用本申请的表面缺陷预测模型进行目标物定位，深度学习技术的 实时性更好且准确率更高。
请参阅图4，图4是本申请缺陷检测方法另一实施例的流程示意图。 本实施例中的缺陷检测方法，包括以下步骤：
S41：获取关于目标对象表面的基础图像。
S42：对所述基础图像进行预分割处理，获取包含连通域的质心坐 标的预分割结果。
S43：利用表面缺陷预测模型对所述基础图像进行预测，获取缺陷 的矩形感兴趣区域。
S44：基于所述预分割结果和所述缺陷的矩形感兴趣区域的对应关 系，筛选出所述目标对象表面的真阳性缺陷。
本实施例中的步骤S41至S44与本申请的缺陷检测方法的上一实施 例的步骤S11至S14基本类似，此处不再赘述。
S45：获取所述真阳性缺陷的连通域的最小外接矩形，基于所述最 小外接矩形的长宽比与预设阈值的大小关系，确定所述真阳性缺陷的缺 陷类型。
对于真阳性缺陷集合Defect，可以计算第k个真阳性缺陷的最小外 接矩形，获得其长宽比值p_k。然后根据最小外接矩形的长宽比与预设 阈值的大小关系，可以确定该真阳性缺陷的缺陷类型。在一实施例中， 可以设置第一预设阈值T1＝2.5，第二预设阈值T2＝5；若满足条件1<＝p _k<T1，则认为第k个真阳性缺陷属于塌陷类型；若满足条件T1<＝p_k<T2，则认为第k个真阳性缺陷属于侧磨类型；若满足条件p_k>＝T2， 则认为第k个真阳性缺陷属于裂缝类型。
上述方式，通过计算真阳性缺陷的二值连通域的最小外接矩形，利 用尺度特征和设定预设阈值的判别条件，可以挖掘出缺陷类型，功能性 更好。
请结合图5，图5是本申请缺陷检测方法一应用场景的处理流程示 意图，在一应用场景中，利用缺陷检测设备进行钢轨表面的缺陷检测， 首先输入钢轨图像序列Seq＝{Img_i,1<＝i<＝T}；然后，对于第i帧图 像Img_i，一方面，使用基于马尔可夫随机场的改进高斯混合模型进行 图像预分割，获得包含钢轨表面缺陷和假阳性干扰项的二值图像 Binary_GMM，然后利用二值图像的连通域分析算法获得连通区域集合 Blob＝{blob_1,blob_2,…,blob_n}，继而求解每个单连通域的质心坐标 Circle＝{c1,c2,…,cn}，另一方面，使用基于残差金字塔池化网络的改 进YOLO v3模型预测目标的矩形框，获得钢轨表面缺陷的定位信息， 然后提取检测对象的矩形框集合Rectangle＝{rect_1,rect_2,…,rect_m}， 其中各矩形框包含参数：横纵坐标x,y和长宽值w,h。接着，判断连通区 域的质心是否在预测矩形框内，即判断|ci.x-rect_j.x|<＝rect_j.w且 |ci.y-rect_j.y|<＝rect_j.h是否成立，其中，ci.x为第i个单连通域的质心横 坐标，ci.y为纵坐标，rect_j.x为第j个矩形框的横坐标，rect_j.y为纵坐 标，rect_j.w和rect_j.h分别为第j个矩形框的长宽值；若成立，则判断 二值连通域ci为真阳性钢轨缺陷，获取该凸多边形轮廓的最小外接矩 形，并计算最小外接矩形的长和宽的比值p。设置第一预设阈值T1，第 二预设阈值T2；判断比值p与预设阈值之间的大小，若满足条件1<＝p< T1，则认为真阳性缺陷ci属于塌陷；若满足条件T1<＝p<T2，则认为 真阳性缺陷ci属于侧磨；若满足条件p>＝T2，则认为真阳性缺陷ci属 于裂缝。
请参阅图6，图6是本申请缺陷检测设备一实施例的结构示意图。 本实施例中的缺陷检测设备60包括相互连接的处理器600和存储器 602；存储器602用于存储程序指令，处理器600用于执行所述程序指 令以实现上述任一实施例中的缺陷检测方法的步骤。
请参阅图7，图7是本申请缺陷检测设备另一实施例的结构示意图。 本实施例中的缺陷检测设备70包括：图像获取模块700，用于获取关于 目标对象表面的基础图像；预分割模块702，用于对所述基础图像进行 预分割处理，获取包含连通域的质心坐标的预分割结果；目标预测模块 704，用于利用表面缺陷预测模型对所述基础图像进行预测，获取缺陷的矩形感兴趣区域；缺陷筛选模块706，用于基于所述预分割结果和所 述缺陷的矩形感兴趣区域的对应关系，筛选出所述目标对象表面的真阳 性缺陷。
另外，缺陷检测设备70中的各功能模块还可以用于实现上述任一 实施例中的缺陷检测方法的步骤。
关于本申请缺陷检测设备实现缺陷检测方法的具体内容请参阅上 述缺陷检测方法实施例中的内容，此处不再赘述。
请参阅图8，图8是本申请计算机可读存储介质一实施例的结构示 意图。本申请计算机可读存储介质80，其上存储有程序指令800，程序 指令800被处理器执行时实现上述任一缺陷检测方法的实施例中的步 骤。
该计算机可读存储介质80具体可以为U盘、移动硬盘、只读存储 器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等可以存储程序指令800的介质，或者也可以 为存储有该程序指令800的服务器，该服务器可将存储的程序指令800 发送给其他设备运行，或者也可以自运行该存储的程序指令800。
在本申请所提供的几个实施例中，应该理解到，所揭露的方法、设 备和装置，可以通过其它的方式实现。例如，以上所描述的设备和装置 实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑 功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可 以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。 另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是 通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械 或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作 为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地 方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中 的部分或者全部单元来实现本实施方式方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单 元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集 成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以 采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销 售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理 解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该 技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件 产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备 (可以是个人计算机，服务器，或者网络设备等)或处理器(processor) 执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包 括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机 存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可 以存储程序代码的介质。

Claims (11)

1.一种缺陷检测方法，其特征在于，所述方法包括：
获取关于目标对象表面的基础图像；
对所述基础图像进行预分割处理，获取包含连通域的质心坐标的预分割结果；
利用表面缺陷预测模型对所述基础图像进行预测，获取缺陷的矩形感兴趣区域；
基于所述预分割结果和所述缺陷的矩形感兴趣区域的对应关系，筛选出所述目标对象表面的真阳性缺陷。
2.根据权利要求1所述的方法，其特征在于，所述对所述基础图像进行预分割处理，获取包含连通域的质心坐标的预分割结果的步骤，包括：
采用图像分割模型对所述基础图像进行预分割处理，获得包含缺陷和假阳性干扰项的二值图像；
利用连通域分析算法获得连通域的集合，并计算得到各个连通域的质心坐标。
3.根据权利要求2所述的方法，其特征在于，所述图像分割模型是利用马尔可夫随机场对高斯混合模型进行改进得到的；
在所述采用图像分割模型对所述基础图像进行预分割处理，获得包含缺陷和假阳性干扰项的二值图像的步骤之前，所述方法包括：
引入马尔可夫随机场对高斯混合模型进行空间约束，得到初始的图像分割模型；
利用期望最大化算法对所述初始的图像分割模型进行迭代优化，得到最终的图像分割模型。
4.根据权利要求3所述的方法，其特征在于，所述引入马尔可夫随机场对高斯混合模型进行空间约束，得到初始的图像分割模型的步骤，包括：
对所述高斯混合模型的先验分布进行马尔可夫分布约束，得到所述初始的图像分割模型；
其中，所述马尔可夫分布为：
Figure FDA0002753236710000021
其中，∏＝{πij},i＝{1,2,...,N},j＝{1,2,...,K}是先验分布的数据集合，Z为正态常数，T为温度常数，U(Π)为平滑先验项。
5.根据权利要求4所述的方法，其特征在于，在进行迭代优化时，平滑先验项与先验分布相关；
其中，所述平滑先验项为：
Figure FDA0002753236710000022
其中，t为期望最大化算法的迭代次数，Gij (t)是参数因子，πij (t+1)为第t+1次迭代时邻域像素点xi在标签Ωj的先验分布。
6.根据权利要求5所述的方法，其特征在于，像素点xi,i＝{1,2,...,N}在标签Ωj,j＝{1,2,...,K}上的参数因子Gij与该像素点的邻域内的所有像素点的后验概率和先验分布相关；
其中，所述参数因子为：
Figure RE-FDA0002927966050000023
其中，zmj (t-1)为第t-1次迭代时邻域像素点xm在标签Ωj的后验概率，πmj (t-1)为第t-1次迭代时邻域像素点xm在标签Ωj的先验分布，β为控制平滑先验项的温度系数，
Figure RE-FDA0002927966050000024
为第i个像素点的包括自身在内的邻域，Ni是邻域
Figure RE-FDA0002927966050000025
内的像素总数。
7.根据权利要求1所述的方法，其特征在于，所述表面缺陷预测模型是基于残差金字塔池化网络对YOLOv3网络进行改进得到的；
所述表面缺陷预测模型包括若干个卷积层、残差集成块、shortcut层、BN层和yolo层。
8.根据权利要求1所述的方法，其特征在于，所述基于所述预分割结果和所述缺陷的矩形感兴趣区域的对应关系，筛选出所述目标对象表面的真阳性缺陷的步骤，包括：
根据所述预分割结果和所述缺陷的矩形感兴趣区域，筛选出质心坐标处于任意矩形感兴趣区域内的连通域，作为所述目标对象表面的真阳性缺陷。
9.根据权利要求1所述的方法，其特征在于，在所述基于所述预分割结果和所述缺陷的矩形感兴趣区域的对应关系，筛选出所述目标对象表面的真阳性缺陷的步骤之后，所述方法还包括：
获取所述真阳性缺陷的连通域的最小外接矩形，基于所述最小外接矩形的长宽比与预设阈值的大小关系，确定所述真阳性缺陷的缺陷类型。
10.一种缺陷检测设备，其特征在于，所述缺陷检测装置包括相互连接的处理器和存储器，所述存储器用于存储程序指令，所述处理器用于执行所述程序指令以实现如权利要求1-9任一项所述的方法。
11.一种计算机可读存储介质，其特征在于，其上存储有程序指令，所述程序指令被处理器执行时实现如权利要求1-9任一项所述的方法。
CN202011192922.9A 2020-10-30 2020-10-30 缺陷检测方法及设备、计算机可读存储介质 Pending CN112541884A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011192922.9A CN112541884A (zh) 2020-10-30 2020-10-30 缺陷检测方法及设备、计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011192922.9A CN112541884A (zh) 2020-10-30 2020-10-30 缺陷检测方法及设备、计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN112541884A true CN112541884A (zh) 2021-03-23

Family

ID=75014922

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011192922.9A Pending CN112541884A (zh) 2020-10-30 2020-10-30 缺陷检测方法及设备、计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN112541884A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113643233A (zh) * 2021-07-01 2021-11-12 深圳市格灵精睿视觉有限公司 油性涂层检测方法、系统及设备、计算机可读存储介质
CN114332132A (zh) * 2021-12-31 2022-04-12 联影智能医疗科技(成都)有限公司 图像分割方法、装置和计算机设备
CN115797314A (zh) * 2022-12-16 2023-03-14 哈尔滨耐是智能科技有限公司 零件表面缺陷检测方法、系统、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106485203A (zh) * 2016-09-19 2017-03-08 天津大学 颈动脉超声图像内中膜厚度测量方法及系统
CN108846397A (zh) * 2018-05-31 2018-11-20 浙江科技学院 一种基于图像处理的电缆半导电层自动检测方法
WO2019104767A1 (zh) * 2017-11-28 2019-06-06 河海大学常州校区 基于深度卷积神经网络与视觉显著性的织物缺陷检测方法
CN110208858A (zh) * 2019-06-27 2019-09-06 中国石油大学(华东) 基于叠前反演的“甜点”概率直接估算方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106485203A (zh) * 2016-09-19 2017-03-08 天津大学 颈动脉超声图像内中膜厚度测量方法及系统
WO2019104767A1 (zh) * 2017-11-28 2019-06-06 河海大学常州校区 基于深度卷积神经网络与视觉显著性的织物缺陷检测方法
CN108846397A (zh) * 2018-05-31 2018-11-20 浙江科技学院 一种基于图像处理的电缆半导电层自动检测方法
CN110208858A (zh) * 2019-06-27 2019-09-06 中国石油大学(华东) 基于叠前反演的“甜点”概率直接估算方法及系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113643233A (zh) * 2021-07-01 2021-11-12 深圳市格灵精睿视觉有限公司 油性涂层检测方法、系统及设备、计算机可读存储介质
CN114332132A (zh) * 2021-12-31 2022-04-12 联影智能医疗科技(成都)有限公司 图像分割方法、装置和计算机设备
CN115797314A (zh) * 2022-12-16 2023-03-14 哈尔滨耐是智能科技有限公司 零件表面缺陷检测方法、系统、设备及存储介质
CN115797314B (zh) * 2022-12-16 2024-04-12 哈尔滨耐是智能科技有限公司 零件表面缺陷检测方法、系统、设备及存储介质

Similar Documents

Publication Publication Date Title
CN107657279B (zh) 一种基于少量样本的遥感目标检测方法
Li et al. Automatic pavement crack detection by multi-scale image fusion
CN113160192B (zh) 复杂背景下基于视觉的压雪车外观缺陷检测方法及装置
CN109146921B (zh) 一种基于深度学习的行人目标跟踪方法
CN107784288B (zh) 一种基于深度神经网络的迭代定位式人脸检测方法
CN112541884A (zh) 缺陷检测方法及设备、计算机可读存储介质
Nguyen et al. Gaussian-mixture-model-based spatial neighborhood relationships for pixel labeling problem
CN107424171B (zh) 一种基于分块的抗遮挡目标跟踪方法
CN113592845A (zh) 一种电池涂布的缺陷检测方法及装置、存储介质
CN111709416B (zh) 车牌定位方法、装置、系统及存储介质
CN108038435B (zh) 一种基于卷积神经网络的特征提取与目标跟踪方法
CN110415260B (zh) 基于字典与bp神经网络的烟雾图像分割与识别方法
CN111738164B (zh) 一种基于深度学习的行人检测方法
CN113538331A (zh) 金属表面损伤目标检测识别方法、装置、设备及存储介质
CN112149665A (zh) 一种基于深度学习的高性能多尺度目标检测方法
CN107784284B (zh) 人脸识别方法及系统
Liang et al. Automatic defect detection of texture surface with an efficient texture removal network
CN115019133A (zh) 基于自训练和标签抗噪的图像中弱目标的检测方法及系统
Xia et al. Improved faster R-CNN based surface defect detection algorithm for plates
CN113609895A (zh) 基于改进Yolov3的获取道路交通信息方法
Singh et al. Digit recognition system using back propagation neural network
Mi et al. Research on steel rail surface defects detection based on improved YOLOv4 network
Yin et al. Detection of steel surface defect based on faster R-CNN and FPN
CN112926592B (zh) 一种基于改进Fast算法的商标检索方法及装置
CN115345902A (zh) 基于机器学习的红外图像弱小目标检测跟踪方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination