CN115861226A - 基于特征值梯度变化的深度神经网络智能识别表面缺陷方法 - Google Patents
基于特征值梯度变化的深度神经网络智能识别表面缺陷方法 Download PDFInfo
- Publication number
- CN115861226A CN115861226A CN202211511040.3A CN202211511040A CN115861226A CN 115861226 A CN115861226 A CN 115861226A CN 202211511040 A CN202211511040 A CN 202211511040A CN 115861226 A CN115861226 A CN 115861226A
- Authority
- CN
- China
- Prior art keywords
- image
- neural network
- deep neural
- gradient change
- characteristic value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007547 defect Effects 0.000 title claims abstract description 97
- 238000000034 method Methods 0.000 title claims abstract description 68
- 230000008859 change Effects 0.000 title claims abstract description 36
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 30
- 230000002950 deficient Effects 0.000 claims description 27
- 230000006870 function Effects 0.000 claims description 26
- 238000003062 neural network model Methods 0.000 claims description 16
- 238000012549 training Methods 0.000 claims description 16
- 238000011176 pooling Methods 0.000 claims description 9
- 238000001914 filtration Methods 0.000 claims description 8
- 238000010606 normalization Methods 0.000 claims description 8
- 238000012795 verification Methods 0.000 claims description 8
- 238000013135 deep learning Methods 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 238000010330 laser marking Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 5
- 230000003044 adaptive effect Effects 0.000 claims description 5
- 230000002708 enhancing effect Effects 0.000 claims description 5
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 241000282326 Felis catus Species 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 238000003708 edge detection Methods 0.000 claims description 2
- 238000007493 shaping process Methods 0.000 claims 1
- 238000001514 detection method Methods 0.000 abstract description 61
- 238000004422 calculation algorithm Methods 0.000 abstract description 53
- 238000012545 processing Methods 0.000 abstract description 14
- 238000005516 engineering process Methods 0.000 abstract description 6
- 238000009776 industrial production Methods 0.000 abstract description 6
- 238000003709 image segmentation Methods 0.000 abstract description 5
- 238000013527 convolutional neural network Methods 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 8
- 239000000463 material Substances 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 238000013136 deep learning model Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 5
- 238000010191 image analysis Methods 0.000 description 5
- 230000005291 magnetic effect Effects 0.000 description 5
- 238000002474 experimental method Methods 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 230000005855 radiation Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000009792 diffusion process Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 239000006249 magnetic particle Substances 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000005674 electromagnetic induction Effects 0.000 description 1
- 239000003302 ferromagnetic material Substances 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000007373 indentation Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 239000006247 magnetic powder Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 239000011148 porous material Substances 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 239000000941 radioactive substance Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000010845 search algorithm Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 239000002023 wood Substances 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明涉及表面缺陷检测技术领域，具体涉及一种改进的基于特征值梯度变化的深度神经网络智能识别表面缺陷方法。本发明的目的在于克服现有识别表面缺陷的方法都具有一定的缺陷，没有一种快速、准确识别产品表面缺陷区域的方法，从而无法解决在工业生产中快速、准确检验汽车装饰配件出厂是否合格的问题。本发明提供了一种基于特征值梯度变化的深度神经网络智能识别表面缺陷方法，该方法基于卷积神经网络的机器图像识别方法，融合了神经网络中目标检测算法和图像分割算法，同时利用图像处理技术，根据输出的特征值信息与缺陷处梯度变化，智能检测产品表面缺陷，从而解决了工业生产中快速、准确检验汽车装饰配件出厂是否合格的问题。
Description
技术领域
本发明涉及表面缺陷检测技术领域，具体涉及一种改进的基于特征值梯度变化的深度神经网络智能识别表面缺陷方法。
背景技术
产品表面检测是工业生产中商品质量检测必不可少的环节，在产品表面质量检测中，通过检测产品表面是否有缺陷，如表面是否光滑、均匀、完整等，判断产品是否符合质量标准。例如在汽车配件厂某一配件产品人工检测流水线上，图1中显示产品表面红色圈住处有凸起的瑕疵，不符合质量标准，是不合格商品。
在人工质量检测过程中，主要根据产品表面的光滑程度和均匀完整性，裸眼识别产品是否有缺陷。人工处理过程费时费力，并且容易疏忽遗漏，准确率容易受人为的主观因素影响，变化比较大。
利用图像处理技术具有自动化程度高、识别率高和非接触式测量等优点。但是采集产品图像时，容易受周围环境影响，例如光照、背景、设备运作噪音等，一定程度上影响数字图像品质，影响提取图像特征值的准确性，进而影响产品的检测精度和性能。如何全面、准确、快速地获取缺陷产品的表面特征，提高产品质量检测的准确率是目前智能识别表面缺陷需要解决的一个问题。目前识别表面缺陷的方法主要接触式检测和非接触式检测，接触式检测主要有磁粉检测法、渗透检测法等。
磁粉检测法主要是通过比较缺陷处磁导率与正常磁导率的差异，根据缺陷处的磁场引起磁粉聚集特征，获取缺陷处的信息。渗透检测法将恰当的渗透剂加在检测区域，经适当的渗透时间之后，处理表面后再添加显像剂，从而可得到一个清晰的缺陷区域。但是，接触式检测的磁粉检测法只适用于铁磁通材料，渗透检测法不适用于多孔材料，并且这些检测方法接触产品表面，容易破坏产品的完成性，主要适合抽检极少样本检测，不合适工业产品出厂批量检测。
非接触式检测主要有超声波检测法、射线检测法、涡流检测法、机器图像识别法等。超声波检测法是利用超声波的反射波检测，当发出的超声波遇到有缺陷表面时就会产生与正常表面不一样的反射波，根据反射波的脉冲波形，从而可以分析出缺陷位置、大小等相关信息。涡流检测法是根据电磁感原理来侦测缺陷位置与形状大小，当导电材料通过探测线圈磁场激励后，材料中产生一定的涡电流，根据涡电流的差异量，可以计算出缺陷处的具体信息。射线检测法是利用X射线照射，根据产品吸收X射产生的差异，利用成像技术分析出材料缺陷的位置、大小等信息。X射线检测法可以检测物体的内部缺陷，但是也存在一定的辐射风险。尽管这些非接触式检测方法在特定材料检测方面能达到很好的效果，但是，还存在一定的局限性，例如涡流检测方法对被检样本的材料与形状要求较高，超声波检测对复杂构件检测精度低，X射线检测法存在放射性物质辐射危害，而且这些检测方向需要专业的工作人员操作，在检测过程中很难批量快速检测，存在智能化程度不高等局限性。
机器图像识别法可以避免以上问题，既不需要接触产品，也不会对身体健康危害。机器图像识别法主要是通过采集产品图像，利用计算机算法分析图像，获取产品的缺陷信息。在图像采集流程中，主要利用专业相机对样本进行图片采集；在计算机算法分析过程，主要通过计算机程序智能对采集的图像去噪、增强等措施。去除无效或者干扰信息，充分保留图像特征信息，利用计算机智能算法进行分类识别，进而识别出缺陷产品。这种方法检测速度快，检测精度和智能化程度比较高，很适合工厂批量产品检测。机器图像识别法主要包括传统的图像分析识别法和基于深度学习模型识别方法。
传统的图像分析识别法主要通过特征提取，然后对图像去噪、增强、边缘检测，进而对缺陷信息进行模板匹配，符合条件的图像为缺陷产品。在特征提取方面有Harris算法，AKAZE算法、KAZE算法、BRISK算法、ORB算法、HOG算法、SIFT算法等。这些算法在处理图像旋转、平移、放射、反射、放缩等情况，具有一定的鲁棒性，特征提取的有效性和配准速度也不同程度的提高。例如在医学病变光片中检测病灶点，在磁共振采集中可以很好追踪观察目标对象，都有很好的辅助诊断作用，提高了人工识别的速度。
但是，传统的图像分析识别法主要缺点是不能进行自动的特征提取，方法局限性较大，通用性比较差，没有泛化性，只适合单一的缺陷产品识别，很容易把识别模板之外的不合格产品误判成合格产，或者把非瑕疵的部分作为特征识别出来，造成判断错误的概率增大。例如图2所示，利用传统的图像分析识别法识别汽车装饰配件缺陷，常见的几种特征提取方法AKAZE算法、KAZE算法、BRISK算法和SIFT算法容易把非瑕疵的部分作为特征识别出来，造成判断错误的概率增大。由于表面纹理及其相似，利用纹理分析算法很难识别出特征区域。并且处理图片时间花销比较长，不适合在工业流水线上采用。此外在识别一些木质材料表面缺陷时，传统的图像分析识别法很容易把缺陷产品误判为合格产品，并且无法检测出产品的多类缺陷。
基于深度学习模型的机器图像识别方法主要包括卷积神经网络法、生成对抗网络法、深度信念网络法、自编码器法等方法。这些方法都是基于神经网络超大规模智能计算利用无监督学习、半监督或监督学习方式在数据集上进行训练，找出最佳的识别缺陷特征的神经网络参数，进而高准确率预测出不合格产品。目前已有基于深度学习模型的机器图像识别方法在材料的缺陷检测中，无论是对材料的缺陷种类分类，还是对材料缺陷的定位与分割都取得了不错的成果。
但是，随着神经网络深度增加，参数增多，计算越复杂。基于卷积神经网络的检测法很大程度上依赖于候选框，如果缺陷区域的目标较小，会导致无法生成候选框，也无法精准定位缺陷位置等问题。例如对图像中的细节信息不敏感，边缘分割较为模糊，模型收敛速度较慢，因此需要优化候选框生成和小尺寸目标特征来校正识别误差。深度信念网络检测法虽然扩展性强，在图像分类、识别方面应用广泛，但是没有考虑到图像的二维结构信息，网络参数的设置受经验的限制，存在识别精度波动比较大，检测结果不稳定问题。
自编码器机器图像识别方法虽然具有较好去噪和目标信息表示能力，可很好地提取出复杂背景中的前景区域，但是那些有周期性背景纹理的图像缺陷检测存在一定的局限性。生成对抗网络法GAN网络在图像生成领域取得了非凡的成果，但是对产品缺陷的分类、定位与分割方面存在精度不高、执行时间过长、效率低等问题。一般情况下基于深度学习模型的非接触式机器图像识别方法是无监督或半监督或监督学习的深度学习方式,针对训练样本不足的小数据集分类问题，除了可以利用无监督的深度学习方法进行数据扩充外，也可以做迁移学习。例如利用ImageNet数据集的预训练权重进行迁移学习，减少对训练样本的依赖，实现对金属零件表面的压痕、划痕和麻点三种不同缺陷的分类。但是现有的深度学习模型的非接触式机器图像识别方法应用到实际生产过程中会产生一些实时性问题，模型的训练速度、准确度上有待进一步提升。因此在保证生产流水线上产品检测精度和效率的情况下，如何提高检测方法的准确性与实时性也是目前需要考虑的问题。
发明内容
本发明的目的在于克服现有识别表面缺陷的方法都具有一定的缺陷，没有一种快速、准确识别产品表面缺陷区域的方法，从而无法解决在工业生产中快速、准确检验汽车装饰配件出厂是否合格的问题。
为达到上述目的，本发明解决其技术问题所采用的技术方案为：提供一种基于特征值梯度变化的深度神经网络智能识别表面缺陷方法，该方法基于卷积神经网络的机器图像识别方法，融合了神经网络中目标检测算法和图像分割算法，同时利用图像处理技术，根据输出的特征值信息与缺陷处梯度变化，智能检测产品表面缺陷，从而解决了工业生产中快速、准确检验汽车装饰配件出厂是否合格的问题。具体步骤如下：
基于特征值梯度变化的深度神经网络智能识别表面缺陷方法，进一步的，包括以下步骤：
S1.构建数据集：收集缺陷产品的样本图像，对该图像进行存储，生成训练数据集和验证数据集；
S2.深度神经网络模型构建：采用Torch深度学习框架，按照特定的网络结构搭建基于特征值梯度变化的深度神经网络模型；
S3.深度神经网络模型训练与验证：利用步骤S1中的训练数据集和验证数据集，训练步骤S2中的基于特征值梯度变化的深度神经网络模型，生成准确率最优的模型权重参数文件；
S4.缺陷识别：利用步骤S3获取的准确率最优的模型权重参数文件，以及步骤S2搭建的基于特征值梯度变化的深度神经网络模型对图像进行缺陷识别，标识出瑕疵区域。
进一步的，步骤S2中特定的网络结构包括：梯度处理层：采用XY方向的梯度变化加和操作；
卷积模块：卷积核为kernel_size＝3*3,stride＝1,padding＝0,dilation＝1；
规范化层：采用批规范化BatchNorm；
激活函数：采用ReLU()上采样层；
池化层：采用3*3区域最大值池化，MaxPool2d()；
叠加层：采用层加法操作，torch.cat()；
损失函数：采用二分类的交叉损失函数BCEWithLogitsLoss()；
优化器：采用自适应矩估计优化器Adam，学习率为lr＝1e。
进一步的，所述步骤S4具体包括：
S41.利用步骤S3获取的准确率最优的模型权重参数文件，对图像瑕疵区域进行提取，得到图像瑕疵区域特征值。
进一步的，所述步骤S4具体包括：
S42.对步骤S41中得到的图像瑕疵区域特征值进行过滤，得到处理后的图像数据；首先，上采样，对图像进行尺寸变化，然后对特征值进行整型转换，对于小于特征阈值的像素进行置换操作，过滤掉干扰像素。
进一步的，所述步骤S4具体包括：
S43.利用步骤S42得到的处理后的图像数据，提取特征区域中的目标对象，将目标对象进行排序，判断目标对象是否符合标准条件，如果是，则进行图像绘制输出，得到输出图像。
进一步的，所述步骤S4具体包括：
S44.根据步骤S43得到的输出图像中目标特征值的面积和中心点坐标，触发激光打标机，对产品进行激光打标签，标识出瑕疵区域。
进一步的，其特征在于，所述步骤S42中，对特征值进行整型转换具体包括：对图像int8整型转换。
进一步的，所述步骤S42中，对于小于特征阈值的像素进行置换操作具体包括：进行过滤操作，把图像像素小于特征值120的像素置0，保留特征值区域，增强瑕疵区域边界。
进一步的，所述步骤S43中提取特征区域中的边缘具体包括：利用Canny函数，设置threshold1＝10,threshold2＝100,apertureSize＝3,L2gradient＝True进行边缘检测；构造图像特征区域边缘集合。
本发明的有益效果是：
本发明提供的基于特征值梯度变化的深度神经网络智能识别表面缺陷方法，该方法结合深度神经网络中目标检测算法和图像分割算法，同时利用图像处理技术的识别产品表面瑕疵的人工智能方法，可以很好识别出瑕疵点个数，达到准确无误，识别速度也适合用于工厂流水线产品检测上。
附图说明
图1是表面有缺陷产品片段图；
图2是传统机器图像识实验结果比较图；
图3是ssd_mobilenet目标检测模型检测结果图；
图4是SINet模型算法检测结果图；
图5是样本1处理过程图；
图6是样本2处理过程图；
图7是样本3处理过程图；
图8是样本4处理过程图；
图9是基于特征值梯度变化的深度神经网络模型的具体结构图。
具体实施方式
下面将参照附图1-9更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
实施例：
一.本发明的具体方法：
本发明提出基于卷积神经网络模型的非接触式机器图像识别方法是根据产品表面特征值梯度变化，经过数据处理、模型预测、特征值计算，对产品的缺陷进行区域定位，最终识别出缺陷区域大小与特征，实现检测产品质量是否合格的目标，该方法的具体步骤如下：
S1.构建数据集：收集缺陷产品的样本图像，对该图像进行存储，生成神经网络的训练数据集和验证数据集。
S2.深度神经网络模型构建：用Torch深度学习框架，构建深度卷积神经网络，以下涉及的函数都属于该Torch深度学习框架内函数名和参数名。该网络主要由图像预处理，梯度处理层，卷积层，规范化层，激活函数，上采样层，全连接层，池化层，叠加层，损失函数，优化器等组成，具体的：
梯度处理层：采用XY方向的梯度变化加和操作：在模型的开始，提取原始图像x,y方向的数据，然后进行Add(x,y)操作，增加图像中特征值的梯度变化量；
卷积模块：卷积核为kernel_size＝3*3,stride＝1,padding＝0,dilation＝1；
规范化层：采用批规范化BatchNorm；
激活函数：采用ReLU()上采样层；
池化层：采用3*3区域最大值池化，MaxPool2d()；
叠加层：采用层加法操作，torch.cat()：更改Multi-convolution层，对图像进行乘积运算的合并操作，增强图像位置处的特征值量；
损失函数：采用二分类的交叉损失函数BCEWithLogitsLoss()：利用二分类的交叉熵损失函数，计算出瑕疵区域与真实瑕疵区域的误差信息，保存最优参数；
优化器：采用自适应矩估计优化器Adam，学习率为lr＝1e。
S3.深度神经网络模型训练与验证：利用步骤1中的数据集训练步骤2的网络模型，生成准确率最优的模型权重参数文件。最优标准是通过损失函数计算得出的，损失函数可以计算每次训练损失最值。每一轮回训练完，程序会自动把各个神经元节点参数记录下来，做为参数文件保存。
S4.缺陷识别：利用步骤S3获取的准确率最优的模型权重参数文件，以及步骤S2搭建的基于特征值梯度变化的深度神经网络模型对图像进行缺陷识别，标识出瑕疵区域。
S41.利用步骤S3获取的准确率最优的模型权重参数文件，对图像瑕疵区域进行提取，得到图像瑕疵区域特征值。
S42.对步骤S41中得到的图像瑕疵区域特征值进行过滤，得到处理后的图像数据：首先，上采样，对图像进行尺寸变化，由于神经网络模型的输入图片尺寸为352*352，而经过池化层操作后(MaxPool2d)，输出的图片尺寸不是352*352。因此，需要进行上采样操作，将输出的图片尺寸调整到352*352。具体操作采用Torch中的nn.functional.upsample()函数。然后对特征值进行整型转换，对于小于特征阈值的像素进行置换操作，过滤掉干扰像素，起到降噪作用。
S43.利用步骤S42处理后的图像数据，提取特征区域中的目标对象，将目标对象进行排序，把目标半径值大于阈值threshold的图像，进行图像绘制输出，得到输出图像。
S44.根据步骤S43得到的输出图像中目标特征值的面积和中心点坐标，判断特征区域面积，当特征区域面积大于阈值minThreshold＝80时，触发激光打标机，对产品进行激光打标签，标识出瑕疵区域。
本发明中图像瑕疵区域特征值识别算法具体如下：
具体的int8整型转换是利用numpy库中的int8()进行量化转换，把图像的浮点类型的像素值变成整型值，具体换成方法。就是把图像的float值分布排列，然后把这个排列范围按比例给映射到0-255的范围内来。
本发明中提取图像瑕疵区域特征值时，采用基于特征值梯度变化的深度神经网络，具体结构图如图9所示。
二.性能分析与实验结果
样本1是一张分辨率448×625，24位真彩色，大小159K的摄像机采集图片。图像瑕疵区域只要1块，经过该发明算法处理后，得到图5中的d图效果，图片中红色圆圈为产品的瑕疵区域。
样本2是一张分辨率990×1125，24位真彩色，大小524K的摄像机采集图片。图像瑕疵区域只要2块，经过该发明算法处理后，得到图6中的d图效果，图片中红色圆圈为产品的瑕疵区域。
样本3是一张分辨率1704×2217，24位真彩色，大小1.33M的摄像机采集图片。图像瑕疵区域为3块，经过该发明算法处理后，得到图7中的d图效果，图片中红色圆圈为产品的瑕疵区域。
样本4是一张分辨率4032×3024，24位真彩色，大小1.84M的摄像机采集图片。图像的像素比较高，图像尺寸比较大，像素也比较高，图像瑕疵区域为1块，经过该发明算法处理后，得到图8中的d图效果，图片中红色圆圈为产品的瑕疵区域。
三.对比实验：
1.实验环境：
操作系统OS:Win10,开发平台:
PyCharm+Python3.8+Opencv+Torch1.12+cu116+Numpy，CPU:16核Core(TM)_i7，GPU:GeForce RTX 3060，内存：16G，外存：1T
2.算法对比：(SIFT算法，KAZE算法，ssd_mobilenet3算法，SINet算法)
通过实验比较该发明和局部特征识别算法、其它深度神经网络算法。在提取瑕疵点特征方面，局部特征识别算法提取特征值过多，把产品表面非瑕疵点也作为特征提取出，从而导致无法正确识别出来瑕疵区域，无法准确定位瑕疵区域，如图2所示。具体如下：
SIFT算法是对图像进行降采样，生成尺度空间连续的图像金字塔，SIFT算法主要由6步骤组成：
(1)生成图像金字塔，大小为前一层的一半。如果原图像大小为m*n，那么最多可以生成的图像金字塔层数为：log2min(m,n)。
(2)生成高斯图像金字塔G(x,y,σ)，对每一层进行不同尺度的高斯采样，构成了一个八度，然后对该八度下倒数第三张图片进行下采样，组成高斯图像金字塔组Octave。
(3)生成近似于LOG的DOG空间，连续的DOG(Difference of Gausissan)空间为连续尺度的高斯卷积图像尺度空间进行减法操作ΔG(x,y,σ)。
(4)尺度空间极点检测，获取局部极值点A(x,y,σ)是离散情况下的一个极值点，落在了A点的附近(Δx,Δy,Δσ)，求一阶导数为0，可以得到。
(5)关键点精确定位，对步骤4进行多次迭代(最多5次)得到最终候选点的精确位置。(偏移超过0.5时更新当前像素点，若没有超过0.5，则当前像素加上偏移就是精确点。
(6)确定关键点特征值大小和方向，生成特征向量。
KAZE算法与SIFT算法不一样，它采用的是非线性扩散滤波法。KAZE算法是比SIFT更稳定的特征检测算法，非线性扩散滤波法是将图像亮度(L)在不同尺度上的变化视为某种形式的流动函数(flow function)的散度(divergence)，可以通过非线性偏微分方程来描述：
通过设置合适的传导函数c(x,y,t)，可以使得扩散自适应于图像的局部结构。时间t作为尺度参数，其值越大、则图像的表示形式越简单。传导函数
其中函数g保留高对比度的边缘或宽度较大的区域或在有效平滑区域内部而保留边界信息。(KAZE代码中默认采用函数优先保留宽度较大的区域)。随着时间t的推移，图像L(x,y,t)也在进行变化，由此构成非线性尺度空间，相比于线性尺度空间，非线性尺度空间并不会模糊原图像。KAZE中采用AOS(Additive OperatorSplitting)算法对结果进行收敛，对方程就行求解，KAZE的检测时间比SIFT快。
如果采用目标检测的深度神经网络算法，例如采用目标检测的深度神经网络算法ssd_mobilenet3。把产品表面瑕疵部分作为计算机视觉识别目标，由于产品上的瑕疵点纹理与背景纹理极相似，无法准确识别出瑕疵区域。
ssd_mobilenet3算法的主要内容：
(1)构建网络模型，网络从卷积层Conv、批归一化BatchNorm、激活层ReLU块开始，构建多个MobileNet块(3*3Conv--BN--ReLU--1*1Conv—BN--ReLU)。它最终以一个平均池和一个完全连接的层结束，并激活Softmax。
(2)采用互补搜索算法减少了计算开销；改变了计算特征的方法(特征提取的3*3卷积替换为1*1卷积，将其前面的平均池化去除，减少了计算开销)；网络深层使用h-swith激活函数，提高了精度，减小了延时；
根据ssd_mobilenet3模型结构，通过PyCharm平台构建，运行缺陷产品数据集，实验显示无法准确识别出来瑕疵区域，识别出来的面积过大，准确率也不高，瑕疵点的定位粒度太粗，位置信息不够准确，容易把无瑕疵部分作为目标，如图3所示。如果把识别图像进行分割成分辨率990×1125，24位真彩色，大小524K图像，如样本1，ssd_mobilenet3算法无法找到目标，因此该类算法也无法识别出瑕疵区域。
如果采用图像分割算法的神经网络模型SINet(Search Identification Net)，能够聚合不同区域的上下文信息，获取全局信息的能力。由于瑕疵点纹理与背景纹理极相似，目标特征不明显，在不同层次上特征值达不到语义和细节的融合，容易把非瑕疵区域定义为目标，也无法正确识别出产品瑕疵区域，如图4所示。
SINet模型算法主要内容：
(1)模型采用搜索模块，Search Module,SM)和识别模块(IdentificationModule,IM)。前者负责搜索被伪装的物体，后者则用于精确检测物体。浅层的卷积层中的低级特征保留了用于构建物体边缘的空间信息，深层的深层卷积层的特征保留了用于定位目标的语义信息。识别模块采用密集连接方式对部分解码组件进行了扩展，整合了来自SM层的特征。
(2)引入搜索注意力(Search Attention，SA)模块，注意力机制可以有效地消除无关特征的干扰。
(3)损失函数为交叉熵损失函数，平均绝对误差M指标(MAE(M))来评估预测图像C和真值图像G之间的像素级精度。
四.总结：
本发明一种融合了神经网络中目标检测算法和图像分割算法，同时利用图像处理技术的识别产品表面瑕疵的人工智能方法，可以很好识别出瑕疵点个数，达到准确无误。无论是分割后的低分辨率样本图片(样本1：大小159K，分辨率448×625)，还是摄像机采集后的高分辨率样本图片(样本4：大小1.84M，分辨率4032×3024))。也无论图像瑕疵区域是1块，还是2块，3块，经过该发明算法处理后，都能很好的识别出瑕疵区域(图片中红色圆圈为产品的瑕疵区域)经过测试，调控流水线速度，该算法的识别速度也能匹配工厂流水线产品检测。
Claims (9)
1.基于特征值梯度变化的深度神经网络智能识别表面缺陷方法，其特征在于，包括以下步骤：
S1.构建数据集：收集缺陷产品的样本图像，对该图像进行存储，生成训练数据集和验证数据集；
S2.深度神经网络模型构建：采用Torch深度学习框架，按照特定的网络结构搭建基于特征值梯度变化的深度神经网络模型；
S3.深度神经网络模型训练与验证：利用步骤S1中的训练数据集和验证数据集，训练步骤S2中的基于特征值梯度变化的深度神经网络模型，生成准确率最优的模型权重参数文件；
S4.缺陷识别：利用步骤S3获取的准确率最优的模型权重参数文件，以及步骤S2搭建的基于特征值梯度变化的深度神经网络模型对图像进行缺陷识别，标识出瑕疵区域。
2.根据权利要求1所述的基于特征值梯度变化的深度神经网络智能识别表面缺陷方法，其特征在于：步骤S2中特定的网络结构包括：梯度处理层：采用XY方向的梯度变化加和操作；
卷积模块：卷积核为kernel_size＝3*3,stride＝1,padding＝0,dilation＝1；
规范化层：采用批规范化BatchNorm；
激活函数：采用ReLU()上采样层；
池化层：采用3*3区域最大值池化，MaxPool2d()；
叠加层：采用层加法操作，torch.cat()；
损失函数：采用二分类的交叉损失函数BCEWithLogitsLoss()；
优化器：采用自适应矩估计优化器Adam，学习率为lr＝1e。
3.根据权利要求1所述的基于特征值梯度变化的深度神经网络智能识别表面缺陷方法，其特征在于，所述步骤S4具体包括：
S41.利用步骤S3获取的准确率最优的模型权重参数文件，对图像瑕疵区域进行提取，得到图像瑕疵区域特征值。
4.根据权利要求3所述的基于特征值梯度变化的深度神经网络智能识别表面缺陷方法，其特征在于，所述步骤S4具体包括：
S42.对步骤S41中得到的图像瑕疵区域特征值进行过滤，得到处理后的图像数据；首先，上采样，对图像进行尺寸变化，然后对特征值进行整型转换，对于小于特征阈值的像素进行置换操作，过滤掉干扰像素。
5.根据权利要求4所述的基于特征值梯度变化的深度神经网络智能识别表面缺陷方法，其特征在于，所述步骤S4具体包括：
S43.利用步骤S42得到的处理后的图像数据，提取特征区域中的目标对象，将目标对象进行排序，判断目标对象是否符合标准条件，如果是，则进行图像绘制输出，得到输出图像。
6.根据权利要求5所述的基于特征值梯度变化的深度神经网络智能识别表面缺陷方法，其特征在于，所述步骤S4具体包括：
S44.根据步骤S43得到的输出图像中目标特征值的面积和中心点坐标，触发激光打标机，对产品进行激光打标签，标识出瑕疵区域。
7.根据权利要求4所述的基于特征值梯度变化的深度神经网络智能识别表面缺陷方法，其特征在于，所述步骤S42中，对特征值进行整型转换具体包括：对图像int8整型转换。
8.根据权利要求4所述的基于特征值梯度变化的深度神经网络智能识别表面缺陷方法，其特征在于，所述步骤S42中，对于小于特征阈值的像素进行置换操作具体包括：进行过滤操作，把图像像素小于特征值120的像素置0，保留特征值区域，增强瑕疵区域边界。
9.根据权利要求5所述的基于特征值梯度变化的深度神经网络智能识别表面缺陷方法，其特征在于，所述步骤S43中提取特征区域中的边缘具体包括：利用Canny函数，设置threshold1＝10,threshold2＝100,apertureSize＝3,L2gradient＝True进行边缘检测；构造图像特征区域边缘集合。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211511040.3A CN115861226A (zh) | 2022-11-29 | 2022-11-29 | 基于特征值梯度变化的深度神经网络智能识别表面缺陷方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211511040.3A CN115861226A (zh) | 2022-11-29 | 2022-11-29 | 基于特征值梯度变化的深度神经网络智能识别表面缺陷方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115861226A true CN115861226A (zh) | 2023-03-28 |
Family
ID=85667726
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211511040.3A Pending CN115861226A (zh) | 2022-11-29 | 2022-11-29 | 基于特征值梯度变化的深度神经网络智能识别表面缺陷方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115861226A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115115926A (zh) * | 2022-08-30 | 2022-09-27 | 南通宏大实验仪器有限公司 | 基于计算机视觉的试管缺陷检测方法与设备 |
| CN117808741A (zh) * | 2023-11-28 | 2024-04-02 | 深圳市捷超行模具有限公司 | 一种基于神经网络模型的一体化硅胶表带成型检测方法 |
| CN118501159A (zh) * | 2024-07-16 | 2024-08-16 | 大连山丘科技有限公司 | 基于机器视觉的汽车零件缺陷检测方法及系统 |
| CN118501159B (zh) * | 2024-07-16 | 2024-10-01 | 大连山丘科技有限公司 | 基于机器视觉的汽车零件缺陷检测方法及系统 |
-
2022
- 2022-11-29 CN CN202211511040.3A patent/CN115861226A/zh active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115115926A (zh) * | 2022-08-30 | 2022-09-27 | 南通宏大实验仪器有限公司 | 基于计算机视觉的试管缺陷检测方法与设备 |
| CN117808741A (zh) * | 2023-11-28 | 2024-04-02 | 深圳市捷超行模具有限公司 | 一种基于神经网络模型的一体化硅胶表带成型检测方法 |
| CN118501159A (zh) * | 2024-07-16 | 2024-08-16 | 大连山丘科技有限公司 | 基于机器视觉的汽车零件缺陷检测方法及系统 |
| CN118501159B (zh) * | 2024-07-16 | 2024-10-01 | 大连山丘科技有限公司 | 基于机器视觉的汽车零件缺陷检测方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Ali et al. | Structural crack detection using deep convolutional neural networks | |
| Yi et al. | An end‐to‐end steel strip surface defects recognition system based on convolutional neural networks | |
| Liu et al. | An adaptive and robust edge detection method based on edge proportion statistics | |
| CN113592845A (zh) | 一种电池涂布的缺陷检测方法及装置、存储介质 | |
| Wan et al. | Ceramic tile surface defect detection based on deep learning | |
| Guo et al. | BARNet: Boundary aware refinement network for crack detection | |
| CN109101897A (zh) | 水下机器人的目标检测方法、系统及相关设备 | |
| CN115861226A (zh) | 基于特征值梯度变化的深度神经网络智能识别表面缺陷方法 | |
| CN109801305B (zh) | 基于深度胶囊网络的sar图像变化检测方法 | |
| AU2020272936B2 (en) | Methods and systems for crack detection using a fully convolutional network | |
| Zheng et al. | Tire defect classification using a deep convolutional sparse-coding network | |
| CN115953666B (zh) | 一种基于改进Mask-RCNN的变电站现场进度识别方法 | |
| Avola et al. | Real-time deep learning method for automated detection and localization of structural defects in manufactured products | |
| CN115829942A (zh) | 基于非负性约束稀疏自编码器的电子电路缺陷检测方法 | |
| CN117011274A (zh) | 自动化玻璃瓶检测系统及其方法 | |
| Mi et al. | Research on steel rail surface defects detection based on improved YOLOv4 network | |
| Ghamisi et al. | Anomaly detection in automated fibre placement: Learning with data limitations | |
| Jayaraju et al. | A Deep Learning-Image Based Approach for Detecting Cracks in Buildings. | |
| CN112164024B (zh) | 一种基于领域自适应的混凝土表面裂缝检测方法及系统 | |
| Kalai Selvi et al. | An industrial inspection approach for weld defects using machine learning algorithm | |
| Dakak | Automatic defect detection in industrial CT volumes of casting | |
| Yang et al. | Two-step surface damage detection scheme using convolutional neural network and artificial neural network | |
| Vengaloor et al. | Deep Learning Based Feature Discriminability Boosted Concurrent Metal Surface Defect Detection System Using YOLOv-5s-FRN | |
| Saenthon et al. | Development of new edge-detection filter based on genetic algorithm: an application to a soldering joint inspection | |
| Rao et al. | Markov random field classification technique for plant leaf disease detection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |