CN107644417B - 应变片外观缺损检测方法 - Google Patents

应变片外观缺损检测方法 Download PDF

Info

Publication number
CN107644417B
CN107644417B CN201710864151.5A CN201710864151A CN107644417B CN 107644417 B CN107644417 B CN 107644417B CN 201710864151 A CN201710864151 A CN 201710864151A CN 107644417 B CN107644417 B CN 107644417B
Authority
CN
China
Prior art keywords
image
strain gauge
wire grid
area
defect
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710864151.5A
Other languages
English (en)
Other versions
CN107644417A (zh
Inventor
卫保国
何兴建
赵思同
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwestern Polytechnical University
Original Assignee
Northwestern Polytechnical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwestern Polytechnical University filed Critical Northwestern Polytechnical University
Priority to CN201710864151.5A priority Critical patent/CN107644417B/zh
Publication of CN107644417A publication Critical patent/CN107644417A/zh
Application granted granted Critical
Publication of CN107644417B publication Critical patent/CN107644417B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种应变片外观缺损检测方法，采集应变片图像，对图像进行预处理，得出预处理后的应变片图像；并提取其中的应变片感兴趣区域；对应变片感兴趣区域进行预检测，分割出丝栅头，并得到丝栅头的坐标信息及数量信息，若预检测的应变片的丝栅头数量与标准无损的应变片丝栅头的数量相同，则继续检测，否则，返回产品为不合格品并保存；根据丝栅头坐标信息及应变片尺寸设计信息，得出去除了丝栅区的图像，并通过去除了丝栅区的图像，分割得到焊接区图像；对得到的丝栅区域图像和焊接区图像进行缺损检测，并根据检测结果判定应变片为合格品或不合格品；本发明解决了目前企业中对应变片缺损检测的成本高、效率低、检测结果不稳定的问题。

Description

应变片外观缺损检测方法
【技术领域】
本发明属于机器视觉检测技术领域，具体涉及一种应变片外观缺损检测方法。
【背景技术】
电阻应变计在工业生产、桥梁工程、铁路工程、建筑结构工程和航空航天等领域内都具有非常广泛的应用。应变片是应变计的核心部件，其外观缺损会降低应变计的测量精度，甚至会造成无法预料的后果，所以对应变片的外观缺损进行检测具有重要的意义。
目前，通过机器视觉技术对应变片图像进行缺损检测方面并没有什么研究，而企业中现大多采用人工目视方法来检测应变片的外观缺损，该方法成本高、不能实时在线检测、受人的主观因素的影响较大，检测结果不稳定。
【发明内容】
本发明的目的是提供一种应变片外观缺损检测方法，以解决目前企业中对应变片缺损检测的成本高、效率低、检测结果不稳定的问题。
本发明采用以下技术方案：一种应变片外观缺损检测方法，具体包括以下步骤：
步骤一、通过图像采集系统对应变片进行图像采集，得出初始应变片图像Iorig；
步骤二、对步骤一中的图像Iorig进行预处理，得出预处理后的应变片图像Ifilt；
步骤三、根据步骤二中的图像Ifilt，提取其中的应变片感兴趣区域IROI；
步骤四、对步骤三得到的应变片感兴趣区域IROI进行预检测，分割出丝栅头，并得到丝栅头的坐标信息及数量信息，若预检测的应变片的丝栅头数量与标准无损的应变片丝栅头的数量相同，则继续执行步骤五，否则，返回产品为不合格品并保存；
步骤五、根据步骤四中得到的丝栅头坐标信息，分割得到丝栅区域图像；
步骤六、根据步骤四中得到的丝栅头坐标信息及应变片尺寸设计信息，得出去除了丝栅区的图像，并通过去除了丝栅区的图像，分割得到焊接区图像；
步骤七、对步骤五中得到的丝栅区域图像和步骤六中得出的焊接区图像进行缺损检测，并根据检测结果判定应变片为合格品或不合格品。
进一步地，步骤二中预处理过程包括图像的尺寸调整、颜色空间变换、滤波；
图像的尺寸调整，采用双线性插值法，通过如下公式进行调整：
Ires(x，y)＝Iorig(x*0.25，y*0.25)，
其中，Ires表示调整尺寸后得到的图像，Ires(x，y)表示图像Ires在坐标(x，y)处的像素值，Iorig(x*0.25，y*0.25)表示图像Iorig在坐标(x*0.25，y*0.25)处的像素值；
颜色空间变换具体方法为：将原始的三通道RGB图像Iorig转换成单通道的灰度图像，具体通过以下公式得出：
Figure BDA0001415708690000021
其中，Ipre(x，y)代表颜色空间变换后的单通道灰度图像在(x，y)处的像素值，
Figure BDA0001415708690000031
代表图像Ires在(x，y)点的通道R上的像素值，
Figure BDA0001415708690000032
代表图像Ires在(x，y)点的通道G上的像素值，
Figure BDA0001415708690000033
代表图像Ires在(x，y)点的通道B上的像素值；
滤波的具体方法为：采用双边滤波器对图像Ipre进行滤波，双边滤波器通过以下公式计算：
Figure BDA0001415708690000034
其中，Ifilt(x，y)表示滤波后的图像Ifilt在(x，y)点的像素值，w(x，y，i，j)为权重系数。
进一步地，步骤三的具体方法为：
步骤3.1、通过改进的Canny边缘检测分割方法，对图像Ifilt进行处理，得到其边缘图像Icanny；
步骤3.2、通过公式u(x)＝∑yIcanny(x，y)对边缘图像Icanny进行水平投影，得出行向量u(x)，其中Icanny(x，y)为图像Icanny中(x，y)点的像素值，通过行向量u(x)得出左右丝栅密集区位置在水平方向上的大致位置；
步骤3.3、通过步骤3.2中得出的x1和x2，结合应变片的设计信息，并通过公式xl＝x1-50+(x2-x1)*3/16和xr＝x1-50-(x2-x1)*3/16计算得出应变片感兴趣区域左右边界的横坐标xl、xr；
步骤3.4、采用基于丝栅区填充的方法，结合上述所得的左右边界范围内的图像，求取应变片感兴趣区的上下边界yu和yd；
步骤3.5、通过步骤3.4得到的上下边界yu和yd，并结合步骤3.3中得到的左右边界坐标xl和xr，得出应变片感兴趣区域IROI。
进一步地，步骤四具体方法为：
步骤4.1、通过改进的大津阈值法，对应变片感兴趣区域IROI进行二值化，得到图像Io；
步骤4.2、使用7*7矩形窗逐行从左到右对图像Io中的每个点进行滑动过滤，使用的公式为：
∑x，yP(x，y)≤0.3*S7*7，
当7*7矩形窗内像素值之和∑x，yP(x，y)小于等于0.3倍的矩形窗面积S7*7时将7*7矩形窗内小块滤除，过滤后得到图像Iblur1；
步骤4.3、对图像Iblur1进行纵向膨胀，得到图像Iblur2；
步骤4.4、计算图像Iblur2中每个连通区域的尺寸，其尺寸大于预设阈值的保留，其它的舍去，得到图像Iblur3；
步骤4.5、将图像Iblur3与图像Iblur1对应像素点做相乘运算，得出丝栅头图像Isst，同时可得出丝栅头图像Isst在应变片感兴趣区域IROI中的坐标信息Wn；
步骤4.6、通过Wn提取丝栅头数量，若提取的丝栅头数量与标准无缺损应变片丝栅头的数量相同，则进行预检测的应变片合格，继续执行步骤五；否则，返回产品为不合格品并保存。
进一步地，步骤4.1中的改进的大津阈值法具体为：
对应变片感兴趣区域IROI中的每个点(x，y)，计算其5*5邻域内的像素均值P1(x，y)，且同时计算出应变片感兴趣区域IROI中所有点的像素均值PT，通过公式
Figure BDA0001415708690000051
计算得出点(x，y)的阈值PT(x，y)，其中，Potsu为通过大津法得到的阈值；
大津法阈值的具体步骤为：通过g=ω0ω1(μ0-μ1)2得到应变片感兴趣区域IROI的类方差g，其中，ω0为前景的像素点个数占整幅图像像素点个数的比例，ω1为背景的像素点个数占整幅图像像素点个数的比例，μ0为图像中前景像素点的平均灰度，μ1为图像中背景像素点的平均灰度，通过遍历阈值得到使类间方差g最大的阈值Potsu。
进一步地，步骤六具体方法为：
步骤6.1、将图像Ifilt中丝栅区区域Sssq中的所有像素点的值全部置为255，得到去除了丝栅区的图像Ih1；
步骤6.2、通过改进的大津阈值法将图像Ih1进行阈值化，得到图像Ih2；
步骤6.3、对图像Ih2查找轮廓，得出一组轮廓Cn，Cn中每个轮廓均由多个点构成，通过公式xmax-xmin≥300和ymax-ymin≥100对Cn进行筛选，得出上下焊接区的轮廓C1和C2，比较组成轮廓的点的纵坐标，纵坐标大的是下轮廓，小的是上轮廓，其中，xmax和xmin分别为组成当前轮廓的所有点中横坐标最大值和最小值，ymax和ymin分别为组成当前轮廓的所有点中纵坐标最大值和最小值；
步骤6.4、将轮廓C1和C2所包围区域内的所有像素点的像素均置为255，得到图像Ic，并将图像Ic和图像Io对应点的像素做相乘操作，得出焊接区图像Ihjq。
进一步地，步骤七具体方法为：
步骤7.1、根据应变片的形状特征，检测应变片的右基底区是否存在焊片，若无，则判断该应变片为上片；否则，判断该应变片为下片；
步骤7.2、对于步骤6.4得出焊接区图像Ihjq，进行焊接区缺损检测；若不合格，则保存缺陷和位置信息，若合格，继续步骤7.3；
步骤7.3、分别采用基于丝栅区背景标准化的图像处理方法和基于最小化滤波的丝栅像素值的波形分析方法，对丝栅区断栅进行检测；
当两种检测方法均检测为合格品时，则得出检测的应变片为合格品，继续执行步骤7.4，否则，记录检测信息并判断检测的应变片为不合格品；
步骤7.4、通过基于丝栅区背景标准化的图像处理方法，对丝栅区连桥缺损进行检测，当检测到缺损时，保存缺损信息，当无缺损信息时，返回产品合格信息并保存。
本发明的有益效果是：本发明通过机器视觉技术对应变片图像的处理，对应变片图像的丝栅区连桥、断栅缺损及焊接区缺损进行检测和定位，并结合特定算法进行对应变片全自动的缺损检测，该方法不仅检测准确率高，而且自动化程度高，提高了检测效率和检测精度，能够很好地满足其对可靠性、高效性和灵敏度等的要求，具有很强的实用性和广阔的应用前景。
【附图说明】
图1为本发明一种应变片外观缺损检测方法的工作流程图；
图2为本发明实施例中通过特定成像设备获取的较清晰的应变片上片图像；
图3为本发明实施例中通过特定成像设备获取的较清晰的应变片下片图像；
图4为本发明实施例中经改进的Canny边缘检测方法分割得到的边缘图像；
图5为本发明实施例中对左丝栅区进行填充的结果图；
图6为本发明实施例中最终分割得到的应变片感兴趣区域图；
图7为本发明实施例中对图6采用自适应阈值法阈值化后的结果图；
图8为本发明实施例中对图7使用矩形窗过滤后的结果图；
图9为本发明实施例中对图8纵向膨胀的结果图；
图10为本发明实施例中对图9中区域块过滤后的结果图；
图11为本发明实施例中将图10与图8相乘得到的结果图；
图12为本发明实施例中分割所得的丝栅区区域图像；
图13为本发明实施例中对焊接区大致区域局部阈值化后所得的焊接区边界图像；
图14为实施例中据图13的边界信息分割所得应变片上片的焊接区域图像；
图15为实施例中据图13的边界信息分割所得应变片下片的焊接区域图像；
图16为标准无缺损的应变片图像；
图17为焊接区针孔缺损图像；
图18为丝栅区断栅缺损图像；
图19为丝栅区连桥缺损图像；
图20为本发明实施例中应变片下片的焊接区轮廓分割示意图；
图21为本发明实施例中应变片上片的焊接区轮廓分割示意图；
图22为本发明实施例中归一化后图像与分割所得的应变片区域图像相乘所得的结果图像；
图23为本发明实施例中将图22最小值滤波后所得的结果图；
图24为本发明实施例中图23与图22相减所得的结果图；
图25为本发明实施例中对图24阈值化后的结果图；
图26为本发明实施例中待处理的丝栅区；
图27为本发明实施例中将图26背景标准化并取反后的图像；
图28为本发明实施例中将图27二值化后的图像；
图29为本发明实施例中连接丝栅头外边界形成的模板；
图30为本发明实施例中将图29与图28相乘后进行形态学闭运算后得到的图像；
图31为本发明实施例中对应变片图像进行最小化滤波后得到的结果图像。
【具体实施方式】
下面结合附图和具体实施方式对发明进行详细说明。
本发明公开了一种应变片外观缺损检测方法，如图1所示，为本发明的工作流程图，如图2和图3所示，分别为本实施例中获取的较清晰的应变片上片和下片图像。具体包括以下步骤：
步骤一、通过图像采集系统对应变片进行图像采集，得出初始应变片图像Iorig。图像采集系统可采用现有系统，其主要包括光路系统、高速面阵工业相机、光学镜头、CameraLink连接线缆、图像采集卡、PLC、计算机等，采集的图像优选的均采用5120*3840的bmp图像。
另外，对于本发明还支持处理多种格式的图片，例如：“.jpeg”、“.jpg”、“.jpe”、“.jp2”、“.png”、“.pbm”、“.pgm”、“.ppm”、“.sr”、“.ras”、“.tiff”、“.tif”、“.dib”等格式的图片，本发明均支持，且图像的尺寸以应变片的缺陷可显示的分辨率为标准。
步骤二、对步骤一中的初始应变片图像Iorig进行预处理，得出预处理后的应变片图像Ifilt。
预处理过程包括图像的尺寸调整、颜色空间变换、滤波三个过程，其中图像的尺寸调整、颜色空间变换顺序不分先后，可先进行任一个流程，在进行另外一个流程，但滤波过程，必须进行完图像的尺寸调整和颜色空间变换流程之后才能进行。
对于图像的尺寸调整流程，采用双线性插值法，通过如下公式进行调整：
Ires(x，y)=Iorig(x*0.25，y*0.25)，
其中，以原始图像的左上角为坐标原点，向下方延伸为y轴正方向，向右方延伸为x轴正方向，则Ires表示调整尺寸后得到的图像，调整尺寸后得到的图像Ires在(x，y)点的像素值等于原始获取的图像Iorig中(x*0.25，y*0.25)点的像素值，即将图像Iorig缩小4倍，式中Ires(x，y)表示图像Ires在坐标(x，y)处的像素值，Iorig(x*0.25，y*0.25表示图像Iorig在坐标(x*0.25，y*0.25)处的像素值。本发明中优选的采集图片像素为5120*3840，缩小4倍后为图片像素标准1280*960，所以说，优选的图片像素大小为1280*960。
对于颜色空间变换流程，即将原始的三通道RGB图像Iorig转换成单通道的灰度图像，具体通过以下公式得出：
Figure BDA0001415708690000101
其中，Ipre(x，y)代表颜色空间变换后的单通道灰度图像在(x，y)处的像素值，
Figure BDA0001415708690000102
代表图像Ires在(x，y)点的通道R上的像素值，
Figure BDA0001415708690000103
代表图像Ires在(x，y)点的通道G上的像素值，
Figure BDA0001415708690000104
代表图像Ires在(x，y)点的通道B上的像素值，即颜色空间转换后某点的像素值等于转换前某点的三通道像素值的加权。因此，可以得出，颜色空间变换流程后，图像中的每一点的像素值，即得出颜色空间变换流程后的图像Ipre。
对于滤波过程，本发明中采用双边滤波器对图像Ipre进行滤波，可以在最大限度的保留图像细节的情况下，滤除在图像采集过程中带来的多种噪声。双边滤波器通过以下公式计算：
Figure BDA0001415708690000111
其中，Ifilt(x，y)表示滤波后的图像Ifilt在(x，y)点的像素值，w(x，y，i，j)为权重系数，权重系数由定义域核和值域核的乘积决定，定义域核为：
Figure BDA0001415708690000112
其中δd 2为定义域核方差；
值域核为
Figure BDA0001415708690000113
其中δr 2为值域核方差。权重系数w(x，y，i，j)等于定义域核与值域核的乘积，即：
Figure BDA0001415708690000114
本发明中，选择定义域核方差δd 2为24、值域核方差δr 2为6时，滤波效果最好。i，j分别为图像Ipre内(i，j)点的横纵坐标。
步骤三、根据步骤二中的图像Ifilt，提取其中的应变片感兴趣区域IROI。
对于步骤二中获取的图像Ifilt，其四周是有其他的不需要进行处理的区域，所以，为了提高处理效率，对图像Ifilt进行处理，去除其四周不需要进行处理的区域，最后得出的区域，即为应变片感兴趣区域IROI。具体步骤如下：
步骤3.1、通过改进的Canny边缘检测分割方法，对图像Ifilt进行处理，得到其边缘图像，具体包括以下步骤：
步骤3.1.1、对图像Ifilt进行高斯滤波：
a、利用二维高斯函数公式计算得到3*3的二维高斯模板Gn，公式如下：
Figure BDA0001415708690000121
其中，x和y分别表示高斯模板Gn的横纵坐标，x和y的取值均为1、2或3，G(x，y)分别对应二维高斯模版Gn中(x，y)点的值，也就是说3*3的二维高斯模板是固定的一个矩阵，σ为二维高斯函数的标准差。
b、利用步骤a中得到的二维高斯模版Gn和图像Ifilt做卷积，得到高斯滤波后的图像I1。
步骤3.1.2、利用sobel算子计算图像I1水平方向上的梯度值。
所用的sobel算子为
Figure BDA0001415708690000122
用该算子与图像I1做卷积，得到由图像I1水平方向上的梯度值组成的幅值图像。
步骤3.1.3、对步骤3.1.2中得到的幅值图像进行非极大值抑制操作，得到抑制后的幅值图像。
步骤3.1.4、使用高低两个阈值Th和Tl，对步骤3.1.3中得到的抑制后的幅值图像检测边缘，其中Th取150，Tl取100。边缘检测方法如下：
对于图像中所有低于低阈值Tl的像素点，将其像素值置为0，即认为它不是边缘；高于高阈值Th的像素点，保留其原有像素值，即认为它是边缘；对于低于高阈值Th且高于低阈值Tl的像素点，通过判断其3*3邻域内像素值的大小来决定，若邻域中的所有像素值都小于高阈值，则认为该点不是边缘点，即将其置为0，若其3*3邻域中有任何一个像素值大于高阈值，则认为该点是边缘点；将所有的边缘点连接成一个闭合区域，如图4所示，即为边缘图像Icanny。
步骤3.2、通过公式u(x)＝∑yIcanny(x，y)对边缘图像Icanny进行水平投影，即纵向求和，得出一个行向量u(x)，其中Icanny(x，y)为图像Icanny中(x，y)点的像素值，且行向量u(x)会有两个峰值，两个峰值对应的坐标为x1和x2，为左右丝栅密集区位置在水平方向上的大致位置。
步骤3.3、通过步骤3.2中得出的x1和x2，结合应变片的设计信息，并通过公式xl＝x1-50+(x2-x1)*3/16和xr＝x1-50-(x2-x1)*3/16计算得出应变片感兴趣区域左右边界的横坐标xl、xr。
其中，设计信息指的是应变片在设计的时候要满足的设计指标，该设计指标为：在标准应变片图像中，左右丝栅密集区在整个应变片中的位置，这里特指水平方向上的比例位置。
步骤3.4、采用基于丝栅区填充的方法，结合上述所得的左右边界范围内的图像，求取应变片感兴趣区域的上下边界。其中，基于丝栅区填充的方法具体步骤如下：
步骤3.4.1、在图像Icanny中，步骤3.3中得出了应变片左右边界范围内的区域，即为Icanny(xl～xr，y)，对Icanny(xl～xr，y)中的每个点(x,y)的5*5邻域，计算包括该点在内的所有点像素之和S(x，y)。
步骤3.4.2、对区域Icanny(xl～xr，y)进行阈值化处理，具体为：当S(x，y)大于预设阈值ST时，将Icanny(xl～xr，y)中的对应点(x,y)的像素值，置为255；否则，置为0。
此时，如图5所示，得到了左丝栅区填充后的图像Ist。在处理丝栅区填充时，可将左右丝栅区分开处理，以避免图像倾斜造成的误差。
步骤3.4.3、通过公式v(y)＝∑xIst(x，y)对步骤3.4.2中得到的图像Ist进行垂直投影，即横向求和，得出结果v(y)，v(y)为一列向量，对做阈值化处理，得到0、1序列v0(y)，通过公式v1(y)＝v0(y)-v0(y-1)对v0(y)做差分处理，得到差分处理结果v1(y)，在υ1(y)中，非零点所在的位置即为丝栅段可能开始和结束的位置。
对于v1(y)中所有的非零点，两两组合得到一对数值，分别表示开始和结束，每个数值都有其对应的y值，每对数值之间的距离就是每对数值的y值相减得到的差值，当一对数值差值最大时，所对应的那对数yu和yd，即为丝栅区的上下边界。
步骤3.5、通过步骤3.4.3中得到的上下边界yu和yd，并结合步骤3.3中得到的左右边界坐标xl和xr，如图6所示，得出应变片感兴趣区域IROI。
步骤四、对步骤三得到的应变片感兴趣区域IROI进行预检测，分割出丝栅头，并得到丝栅头的坐标信息及数量信息，若预检测的应变片的丝栅头数量与标准无损的应变片丝栅头的数量相同，则继续执行步骤五，否则，返回产品为不合格品并保存。
步骤4.1、通过改进的大津阈值法，对应变片感兴趣区域IROI进行二值化，具体方法为：
对应变片感兴趣区域IROI中的每个点(x，y)，计算其5*5邻域内的像素均值P1(x，y)，且同时计算出应变片感兴趣区域IROI中所有点的像素均值PT，并通过公式
Figure BDA0001415708690000151
计算得出点(x，y)的阈值PT(x，y)，其中，Potsu为通过大津法得到的阈值。
大津法阈值的思想是使阈值化之后的图像前景和背景间的类间方差最大，其中前景为像素灰度值小于阈值的像素点，背景为像素灰度值大于阈值的像素点。
大津法阈值的具体步骤为：通过g＝ω0ω1(μ0-μ1)2得到应变片感兴趣区域IROI的类方差g，其中，ω0为前景的像素点个数占整幅图像像素点个数的比例，ω1为背景的像素点个数占整幅图像像素点个数的比例，μ0为图像中前景像素点的平均灰度，μ1为图像中背景像素点的平均灰度，通过遍历阈值得到使类间方差g最大的阈值即为大津法所求得的阈值Potsu。
应变片感兴趣区域IROI二值化后，如图7所示，得到图像Io。
步骤4.2、使用7*7矩形窗逐行从左到右对图像Io中的每个点进行滑动过滤，使用的公式为：
Σx，yP(x，y)≤0.3*S7*7，
当7*7矩形窗内像素值之和Σx，yP(x，y)小于等于0.3倍的矩形窗面积S7*7时将7*7矩形窗内小块滤除，如图8所示，过滤后得到图像Iblur1。
步骤4.3、对图像Iblur1进行纵向的形态学膨胀，如图9所示，得到图像Iblur2。
步骤4.4、计算图像Iblur2中每个连通区域的尺寸，其尺寸大于预设阈值的保留，其它的舍去，如图10所示，得到图像Iblur3。
步骤4.5、将图像Iblur3与图像Iblur1对应像素点做相乘运算，得出丝栅头图像Isst，如图11所示，同时可得出丝栅头图像Isst在应变片感兴趣区域IROI中的坐标信息Wn。
步骤4.6、通过Wn提取丝栅头数量，标准无缺损的应变片的丝栅头数量从左到右依次为25、26、25、25，若提取的丝栅头数量与标准无缺损应变片丝栅头的数量相同，则认为进行预检测的应变片合格，继续执行步骤五；否则，返回产品为不合格品并保存。
步骤五、根据步骤四中得到的丝栅头坐标信息，分割得到丝栅区域图像。
根据丝栅头坐标信息Wn，在图像Ifilt中，如图12所示，连接丝栅头的外边界形成的区域Sssq得到的丝栅区区域图像Issq。
步骤六、根据步骤四中得到的丝栅头坐标信息及应变片尺寸设计信息，得出去除了丝栅区的图像，对去除了丝栅区的图像进行局部阈值化，得出焊接区边界图像及焊接区边界坐标信息，通过焊接区边界坐标信息，分割得到焊接区图像。具体步骤如下：
步骤6.1、将图像Ifilt中丝栅区区域Sssq中的所有像素点的值全部置为255，得到去除了丝栅区的图像Ih1；
步骤6.2、通过改进的大津阈值法
Figure BDA0001415708690000171
将图像Ih1进行阈值化，得到图像Ih2；
步骤6.3、利用Opencv中的函数cvFindContours()对图像Ih2查找轮廓，得出一组轮廓Cn，Cn中每个轮廓均由多个点构成，通过公式xmax-xmin≥300和ymax-ymin≥100对Cn进行筛选，如图13所示，得出上下焊接区的轮廓C1和C2，比较组成轮廓的点的纵坐标，纵坐标大的是下轮廓，小的是上轮廓，其中，xmax和xmin分别为组成当前轮廓的所有点中横坐标最大值和最小值，ymax和ymin分别为组成当前轮廓的所有点中纵坐标最大值和最小值。
步骤6.4、将轮廓C1和C2所包含区域内的所有像素点的像素均置为255，得到图像IC，并将图像IC和图像Io对应点的像素做相乘操作，如图14和图15所示，得出焊接区图像Ihjq。
步骤七、对步骤五中得到的丝栅区域图像和步骤六中得出的焊接区图像进行缺损检测，并根据检测结果判定应变片是否存在缺损。
如图16、图17、图18、图19所示，分别为标准无缺损应变片图像、焊接区针孔缺损图像、丝栅区断栅缺损图像、丝栅区连桥缺损图像。
步骤7.1、由于应变片分为上片和下片，且其设计坐标均不相同，在后续的缺陷检测处理中会稍有不同，因此，需要判断该应变片图像Ifilt是属于上片还是下片。
在判断时，根据应变片的形状特征，即上片左右基底区空白，下片左基底区空白，右基底区有焊片。因此，检测应变片的右基底区是否存在焊片，若无，则判断该应变片为上片；否则，判断该应变片为下片。
右基底区是否有焊片，根据左右基底区中部的垂直投影的平均值来判断是否有焊片。通过以下步骤得出：
通过步骤6.3中得到的上下焊接区轮廓C1和C2，找到下焊接区轮廓C2的最左侧的点的横坐标xl和最右侧的点的横坐标xr，通过xz＝0.65*(xl+xr)对横坐标为xz处垂直投影，得到横坐标为xz的一列点的像素值的平均值xm，当大于预设阈值，则判断有焊片存在，即该图像Ifilt为下片，否则，判断无焊片存在，即该图像Ifilt为上片。
步骤7.2、对于步骤6.4得出焊接区图像Ihjq，进行焊接区缺损检测，具体分为焊接区边缘缺损检测和焊接区内部针孔缺损检测，焊接区边缘缺损检测采用边缘方向单调性分析的方法进行检测，焊接区内部针孔缺损检测是根据焊接区内的点的像素值及其周围的点的像素值来判断该点是否是针孔。
步骤7.2.1、通过步骤6.4得到的焊接区图像Ihjq，其包含上下两个焊接区，如图20所示(应变片下片)，将上焊接区的轮廓C1分为h1、h2两部分，针对h1和h2分别从左向右对其纵坐标做差分得到Δy1和Δy2，即：
Figure BDA0001415708690000191
无缺损的焊接区边缘轮廓坐标在x方向和y方向存在单调变化的特征，即差分结果应始终为正值或负值，若同时出现正值和负值，则说明焊接区边缘存在缺损问题，反之，则说明当前焊接区边缘无缺损问题。
下焊接区的边缘缺损检测方法与上焊接区的边缘缺损检测方法相同，其中，如图20所示，下焊接区的轮廓分为八部分，方框标记区域由于属于上片的丝栅区，所以不进行检测，下焊接区的右侧两个三角区域位置是固定的，根据所得的丝栅头坐标信息可得出两三角区域的准确位置，将其屏蔽不做检测。然后按照与上焊接区相同的缺损检测方法对每部分轮廓进行检测；若检测到缺陷存在，则保存缺陷所在位置信息并在原图Iorig中对应位置进行标注。
另外，对于应变片上片的轮廓分隔，如图21所示，按照上述相同方法进行检测。
步骤7.2.2、焊接区内部的缺损按照如下步骤进行检测：
将步骤6.4中所得的焊接区图像Ihig归一化得到Ihjq1，归一化公式为：
Ihjq1＝Ihjq/255；
将归一化后图像Ihjq1与应变片感兴趣区域Iy相乘，如图22所示，得到Ihjq2。对图像Ihjq2的每个像素点与其6*6邻域内的像素点进行灰度值的比较，找到6*6邻域内灰度值的最小值，使当前像素点的像素值等于此最小值，此过程称之为最小值滤波，最小值滤波后得到图像Ihjq3，如图23所示。
将Ihjq2与Ihjq3相减，得到Ihjq4，如图24所示，再将Ihjq4以40为阈值进行阈值化得到Ihjq5，如图25所示。
然后，利用Opencv中的函数cvFindContours()对图像Ihjq5查找轮廓，并对轮廓进行过滤，过滤方法如下：
xmax-xmin≥300，ymax-ymin≥100，
式中，xmax和xmin分别为组成当前轮廓的点的横坐标最大值和最小值，ymax和ymin分别为组成当前轮廓的点的纵坐标最大值和最小值。将满足上两式的轮廓滤除，若过滤后仍存在轮廓，则为焊接区内部针孔缺陷的轮廓，保存缺陷和位置信息。若过滤后无轮廓存在，则继续步骤7.3。
步骤7.3、针对丝栅区断栅的检测，分别采用基于丝栅区背景标准化的图像处理方法和基于最小化滤波的丝栅像素值的波形分析方法，当两种检测方法均检测为合格品时，则得出检测的应变片为合格品，继续执行步骤7.4，否则记录检测信息并判断检测的应变片为不合格品。
步骤7.3.1、基于丝栅区背景标准化的图像处理方法具体为：
将步骤五中得到的丝栅区区域图像Issp的背景区标准化，标准化后，如图26所示。
根据步骤四中得出的坐标信息Wn，对于每个丝栅头分别取丝栅头中心处点x1，及当前丝栅另一端的上下丝栅头的中心处点x2，将线段x1x2赋值为255。将图像取反得到Is1如图27所示，再对Is1二值化得到Is2如图28所示，二值化方法为步骤四中的改进的大津阈值法。
连接丝栅头的外边界形成一个四边形区域图像Is3作为模板如图29所示，将Is3与Is2相乘，取出精确的丝栅区域，再通过形态学闭运算，得到只包含断栅缺损的图像Ids1即图30，得到缺损的大小和位置信息并保存，若无缺损信息，返回产品合格信息并保存。
步骤7.3.2、基于最小化滤波的丝栅像素值的波形分析方法具体为：
对提取出的应变片感兴趣区域IROI进行最小值滤波以拓展丝栅宽度，最小值滤波步骤与步骤7.2中的最小值滤波步骤相同，最小值滤波后结果如图31所示。通过步骤四所得的丝栅头坐标信息Wn，取得每一条丝栅的像素Pn，其中每条丝栅只取一个像素宽度，对每条丝栅的像素从左到右做差分得到差分结果Dn，若差分结果Dn中出现大于60的值并在三个像素点后出现了小于-60的值，则认为是存在断栅，并保存，否则，返回产品合格信息并保存。
步骤7.4、丝栅区连桥缺损检测方法与丝栅区断栅缺损检测中的基于丝栅区背景标准化的图像处理方法相同，当检测到缺损时，保存缺损信息，当无缺损信息时，返回产品合格信息并保存。
另外，以上各步骤中所涉及到的对图像的阈值化方法均采用步骤四中的改进的大津阈值法。

Claims (5)

1.一种应变片外观缺损检测方法，其特征在于，具体包括以下步骤：
步骤一、通过图像采集系统对应变片进行图像采集，得出初始应变片图像Iorig；
步骤二、对步骤一中的所述图像Iorig进行预处理，得出预处理后的应变片图像Ifilt；
步骤三、根据步骤二中的图像Ifilt，提取其中的应变片感兴趣区域IROI；
步骤四、对步骤三得到的应变片感兴趣区域IROI进行预检测，分割出丝栅头，并得到丝栅头的坐标信息及数量信息，若预检测的应变片的丝栅头数量与标准无损的应变片丝栅头的数量相同，则继续执行步骤五，否则，返回产品为不合格品并保存；
步骤五、根据步骤四中得到的丝栅头坐标信息，分割得到丝栅区域图像；
步骤六、根据步骤四中得到的丝栅头坐标信息及应变片尺寸设计信息，得出去除了丝栅区的图像，并通过所述去除了丝栅区的图像，分割得到焊接区图像；
步骤六具体方法为：
步骤6.1、将图像Ifilt中丝栅区区域Sssq中的所有像素点的值全部置为255，得到去除了丝栅区的图像Ih1；
步骤6.2、通过改进的大津阈值法将图像Ih1进行阈值化，得到图像Ih2；
步骤6.3、对图像Ih2查找轮廓，得出一组轮廓Cn，Cn中每个轮廓均由多个点构成，通过公式xmax-xmin≥300和ymax-ymin≥100对Cn进行筛选，得出上下焊接区的轮廓C1和C2，比较组成轮廓的点的纵坐标，纵坐标大的是下轮廓，小的是上轮廓，其中，xmax和xmin分别为组成当前轮廓的所有点中横坐标最大值和最小值，ymax和ymin分别为组成当前轮廓的所有点中纵坐标最大值和最小值；
步骤6.4、将轮廓C1和C2所包围区域内的所有像素点的像素均置为255，得到图像IC，并将图像IC和图像Io对应点的像素做相乘操作，得出焊接区图像Ihjq；
步骤七、对步骤五中得到的丝栅区域图像和步骤六中得出的焊接区图像进行缺损检测，并根据检测结果判定应变片为合格品或不合格品；
步骤七具体方法为：
步骤7.1、根据应变片的形状特征，检测应变片的右基底区是否存在焊片，若无，则判断该应变片为上片；否则，判断该应变片为下片；
步骤7.2、对于步骤6.4得出焊接区图像Ihjq，进行焊接区缺损检测；若不合格，则保存缺陷和位置信息，若合格，继续步骤7.3；
步骤7.3、分别采用基于丝栅区背景标准化的图像处理方法和基于最小化滤波的丝栅像素值的波形分析方法，对丝栅区断栅进行检测；
当两种检测方法均检测为合格品时，则得出检测的应变片为合格品，继续执行步骤7.4，否则，记录检测信息并判断检测的应变片为不合格品；
步骤7.4、通过基于丝栅区背景标准化的图像处理方法，对丝栅区连桥缺损进行检测，当检测到缺损时，保存缺损信息，当无缺损信息时，返回产品合格信息并保存。
2.如权利要求1所述的应变片外观缺损检测方法，其特征在于，步骤二中所述预处理过程包括图像的尺寸调整、颜色空间变换、滤波；
所述图像的尺寸调整，采用双线性插值法，通过如下公式进行调整：
Ires(x，y)＝Iorig(x*0.25，y*0.25)，
其中，Ires表示调整尺寸后得到的图像，Ires(x，y)表示图像Ires在坐标(x，y)处的像素值，Iorig(x*0.25，y*0.25)表示图像Iorig在坐标(x*0.25，y*0.25)处的像素值；
所述颜色空间变换具体方法为：将原始的三通道RGB图像Iorig转换成单通道的灰度图像，具体通过以下公式得出：
Figure FDA0002512761850000031
其中，Ipre(x，y)代表颜色空间变换后的单通道灰度图像在(x，y)处的像素值，
Figure FDA0002512761850000032
代表图像Ires在(x，y)点的通道R上的像素值，
Figure FDA0002512761850000033
代表图像Ires在(x，y)点的通道G上的像素值，
Figure FDA0002512761850000034
代表图像Ires在(x，y)点的通道B上的像素值；
所述滤波的具体方法为：采用双边滤波器对图像Ipre进行滤波，双边滤波器通过以下公式计算：
Figure FDA0002512761850000035
其中，Ifilt(x，y)表示滤波后的图像Ifilt在(x，y)点的像素值，w(x，y，i，j)为权重系数。
3.如权利要求1所述的应变片外观缺损检测方法，其特征在于，步骤三的具体方法为：
步骤3.1、通过改进的Canny边缘检测分割方法，对图像Ifilt进行处理，得到其边缘图像Icanny；
步骤3.2、通过公式u(x)＝∑yIcanny(x，y)对边缘图像Icanny进行水平投影，得出行向量u(x)，其中Icanny(x，y)为图像Icanny中(x，y)点的像素值，通过行向量u(x)得出左右丝栅密集区位置在水平方向上的大致位置；
步骤3.3、通过步骤3.2中得出的x1和x2，结合应变片的设计信息，并通过公式χl＝x1-50+(x2-x1)*3/16和xr＝x1-50-(x2-x1)*3/16计算得出应变片感兴趣区域左右边界的横坐标xl、xr；
步骤3.4、采用基于丝栅区填充的方法，结合上述所得的左右边界范围内的图像，求取应变片感兴趣区的上下边界yu和yd；
步骤3.5、通过步骤3.4得到的上下边界yu和yd，并结合步骤3.3中得到的左右边界坐标xl和xr，得出应变片感兴趣区域IROI。
4.如权利要求1所述的应变片外观缺损检测方法，其特征在于，步骤四具体方法为：
步骤4.1、通过改进的大津阈值法，对应变片感兴趣区域IROI进行二值化，得到图像Io；
步骤4.2、使用7*7矩形窗逐行从左到右对图像Io中的每个点进行滑动过滤，使用的公式为：
∑x，yP(x，y)≤0.3*S7*7，
当7*7矩形窗内像素值之和∑x，yP(x，y)小于等于0.3倍的矩形窗面积S7*7时将7*7矩形窗内小块滤除，过滤后得到图像Iblur1；
步骤4.3、对图像Iblur1进行纵向膨胀，得到图像Iblur2；
其中，形态学膨胀所用的结构元素为12行4列的值全为255的矩阵；
步骤4.4、计算图像Iblur2中每个连通区域的尺寸，其尺寸大于预设阈值的保留，其它的舍去，得到图像Iblur3；
步骤4.5、将图像Iblur3与图像Iblur1对应像素点做相乘运算，得出丝栅头图像Isst，同时可得出丝栅头图像Isst在应变片感兴趣区域IROI中的坐标信息Wn；
步骤4.6、通过Wn提取丝栅头数量，若提取的丝栅头数量与标准无缺损应变片丝栅头的数量相同，则进行预检测的应变片合格，继续执行步骤五；否则，返回产品为不合格品并保存。
5.如权利要求4所述的应变片外观缺损检测方法，其特征在于，步骤4.1中所述的改进的大津阈值法具体为：
对应变片感兴趣区域Iy中的每个点(x，y)，计算其5*5邻域内的像素均值P1(x，y)，且同时计算出应变片感兴趣区域IROI中所有点的像素均值PT，并通过公式
Figure FDA0002512761850000061
计算得出点(x，y)的阈值PT(x，y)，其中，Potsu为通过大津法得到的阈值；
大津法阈值的具体步骤为：通过g＝ω0ω1(μ0-μ1)2得到应变片感兴趣区域IROI的类方差g，其中，ω0为前景的像素点个数占整幅图像像素点个数的比例，ω1为背景的像素点个数占整幅图像像素点个数的比例，μ0为图像中前景像素点的平均灰度，μ1为图像中背景像素点的平均灰度，通过遍历阈值得到使类间方差g最大的阈值Potsu。
CN201710864151.5A 2017-09-22 2017-09-22 应变片外观缺损检测方法 Active CN107644417B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710864151.5A CN107644417B (zh) 2017-09-22 2017-09-22 应变片外观缺损检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710864151.5A CN107644417B (zh) 2017-09-22 2017-09-22 应变片外观缺损检测方法

Publications (2)

Publication Number Publication Date
CN107644417A CN107644417A (zh) 2018-01-30
CN107644417B true CN107644417B (zh) 2020-08-14

Family

ID=61111797

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710864151.5A Active CN107644417B (zh) 2017-09-22 2017-09-22 应变片外观缺损检测方法

Country Status (1)

Country Link
CN (1) CN107644417B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108876851A (zh) * 2018-07-16 2018-11-23 哈尔滨理工大学 一种应变片图像定位方法
CN111964549B (zh) * 2020-07-08 2022-06-17 航天科工防御技术研究试验中心 一种判定大体积独石电容器缺损的检测方法
CN112184746A (zh) * 2020-08-27 2021-01-05 西北工业大学 一种输电线绝缘子缺陷分析方法
CN114581742B (zh) * 2021-10-26 2023-01-24 中科慧远视觉技术(北京)有限公司 基于线性度的连通域聚类融合方法、装置、系统及介质
CN117607155B (zh) * 2024-01-24 2024-04-19 山东大学 一种应变片外观缺陷检测方法及系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6721461B1 (en) * 1997-11-24 2004-04-13 Cognex Technology And Investment Corporation Method and apparatus using image subtraction and dynamic thresholding
US6167150A (en) * 1998-07-24 2000-12-26 Cognex Corporation Method and apparatus for detecting extended defects in an object
US6526165B1 (en) * 1998-11-30 2003-02-25 Cognex Corporation Methods and apparatuses for refining a geometric description of an object having a plurality of extensions
US6697535B1 (en) * 1999-04-30 2004-02-24 Cognex Technology And Investment Corporation Method for refining a parameter of a contour in an image
US9189670B2 (en) * 2009-02-11 2015-11-17 Cognex Corporation System and method for capturing and detecting symbology features and parameters
CN201749088U (zh) * 2010-04-13 2011-02-16 精量电子（深圳）有限公司 一种半导体硅应变片传感器的检测设备
CN102589431B (zh) * 2012-02-07 2014-01-15 中国地震局地质研究所 多应变片精确位置和方向的自动化检测方法
CN105436103A (zh) * 2015-12-31 2016-03-30 陕西理工学院 大阵列电阻式应变片自动检测、修形、分选装置及方法

Also Published As

Publication number Publication date
CN107644417A (zh) 2018-01-30

Similar Documents

Publication Publication Date Title
CN107644417B (zh) 应变片外观缺损检测方法
CN106934803B (zh) 电子器件表面缺陷的检测方法及装置
CN110866924B (zh) 一种线结构光中心线提取方法及存储介质
CN109507192B (zh) 一种基于机器视觉的磁芯表面缺陷检测方法
CN112308832B (zh) 一种基于机器视觉的轴承质量检测方法
CN108629775B (zh) 一种热态高速线材表面图像处理方法
CN105913415B (zh) 一种具有广泛适应性的图像亚像素边缘提取方法
CN109035273B (zh) 一种免疫层析试纸卡的图像信号快速分割方法
CN114529459B (zh) 一种对图像边缘进行增强处理的方法和系统及介质
CN115096206B (zh) 一种基于机器视觉的零件尺寸高精度测量方法
CN112233067A (zh) 一种热轧钢卷端面质量检测方法及系统
CN111354047B (zh) 一种基于计算机视觉的摄像模组定位方法及系统
CN112085700B (zh) X射线图像中焊缝区域的自动化提取方法、系统及介质
CN111798423B (zh) 一种混凝土裂缝图片拼接与检测方法
CN114881915A (zh) 一种基于对称性的手机玻璃盖板视窗区缺陷检测方法
CN106934806A (zh) 一种基于结构清晰度的无参考图失焦模糊区域分割方法
CN110276759B (zh) 一种基于机器视觉的手机屏坏线缺陷诊断方法
CN112017109B (zh) 一种在线铁谱视频图像气泡的消除方法
CN112669295A (zh) 一种基于二次阈值分割理论的锂电池极片缺陷检测方法
CN112381751A (zh) 一种基于图像处理算法的在线智能检测系统及方法
CN116704516A (zh) 一种用于水溶肥料包装的视觉检测方法
CN116612125A (zh) 基于人工智能的食药品胶囊质量检测方法
CN105427276A (zh) 一种基于图像局部边缘特征的摄像头检测方法
CN115496754B (zh) Ssd的弯曲度检测方法、装置、可读存储介质及电子设备
CN116824294A (zh) 一种基于小目标识别的焊料缺陷检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant