CN112991287A - 一种基于全卷积神经网络的自动压痕测量方法 - Google Patents

一种基于全卷积神经网络的自动压痕测量方法 Download PDF

Info

Publication number
CN112991287A
CN112991287A CN202110252383.1A CN202110252383A CN112991287A CN 112991287 A CN112991287 A CN 112991287A CN 202110252383 A CN202110252383 A CN 202110252383A CN 112991287 A CN112991287 A CN 112991287A
Authority
CN
China
Prior art keywords
indentation
external frame
convolution
neural network
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110252383.1A
Other languages
English (en)
Other versions
CN112991287B (zh
Inventor
李泽贤
舒镇洋
李云燕
唐璇
刘嘉诚
卢佳佳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiangtan University
Original Assignee
Xiangtan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiangtan University filed Critical Xiangtan University
Priority to CN202110252383.1A priority Critical patent/CN112991287B/zh
Publication of CN112991287A publication Critical patent/CN112991287A/zh
Application granted granted Critical
Publication of CN112991287B publication Critical patent/CN112991287B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N3/00—Investigating strength properties of solid materials by application of mechanical stress
    • G01N3/40—Investigating hardness or rebound hardness
    • G01N3/42—Investigating hardness or rebound hardness by performing impressions under a steady load by indentors, e.g. sphere, pyramid
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2203/00—Investigating strength properties of solid materials by application of mechanical stress
    • G01N2203/0058—Kind of property studied
    • G01N2203/0076—Hardness, compressibility or resistance to crushing
    • G01N2203/0078—Hardness, compressibility or resistance to crushing using indentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20032—Median filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Geometry (AREA)
  • Quality & Reliability (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于全卷积神经网络的自动压痕测量方法，包括以下步骤：步骤一：对压痕图像进行预处理，得到其二值图像；步骤二：在二值图像中寻找最大连通域，确定最大连通域的外接框；对该外接框进行拓展，裁剪下二值图像上拓展后的外接框区域；步骤三：将裁剪后的图像输入训练好的全卷积神经网络，输出二值化的压痕像素遮罩图片，由此得到输入图片上精确的压痕形状与位置信息。本发明鲁棒性高，能提取出压痕具体形状。

Description

一种基于全卷积神经网络的自动压痕测量方法
技术领域
本发明涉及一种硬度压痕测量方法，尤其涉及一种基于全卷积神经网络的自动压痕测量方法。
背景技术
在布氏、维氏硬度试验中，为了检测被测材料的硬度，需要按照国标使用对应的压头，施加指定压力在被测材料表面，而后通过测量压痕的对角线长度，计算出被测材料的硬度。在大部分测量中，被测材料的表面压痕对角线长度单位以微米计算。由人工通过显微镜调整刻度板以对齐压痕边缘的方法，较为复杂且难以消除测量误差。同时在多次对同一硬度材料测量的过程中，往往容易产生因人工长度测量调整的偏差而导致获得不同的硬度数值结果，导致较高的重复性误差。为此，引入自动化算法进行压痕图像测量是一种极大提升测量精度、解放劳动力的方法。但现有的自动压痕运算方法往往使用的是数学或图像解析方法，这种方式对于一些较为复杂的压痕表面往往难以发挥作用。在一些边缘、尖角处因材料自身特性等原因而产生形变的压痕图像上，往往会产生较大误差，算法的鲁棒性较差。同时，现有的技术方法对于压痕图像仅能获取压痕对角线长度数据，无法提取图像中压痕的具体形状，不便于后期对材料破裂、塌陷情况进行分析。因此，有必要设计一种使用更加方便，拥有更高鲁棒性，能提取压痕具体形状的压痕测量方法。
发明内容
本发明所解决的技术问题是，针对现有技术的不足，提供一种基于全卷积神经网络的自动压痕测量方法，鲁棒性高，能提取出压痕具体形状。
为了实现上述目的，本发明采用如下技术方案：
一种基于全卷积神经网络的自动压痕测量方法，其特征在于，包括以下步骤：
步骤一：对压痕图像进行预处理，得到其二值图像；
步骤二：压痕图像裁剪：在二值图像中寻找最大连通域，确定最大连通域的外接框(作为裁剪的参考)；以该外接框作为裁剪的参考，对该外接框进行拓展，裁剪下二值图像上拓展后的外接框区域；
步骤三：将裁剪后的图像输入训练好的全卷积神经网络，输出二值化的压痕像素遮罩图片(压痕像素点和非压痕像素点分别显示为白色和黑色)，由此得到输入图片上精确的压痕形状与位置信息。
更进一步，所述步骤一中的对压痕图像进行预处理包括对压痕图像进行全图直方图均衡、滤波和二值化处理；
更进一步，所述步骤二中对外接框进行拓展采用如下方法：
设外接框的长与宽为(w,h)，压痕图像的长与宽为(wi,hi)，通过如下公式计算得到拓展后的外接框的长与宽(we,he)：
Figure BDA0002966583460000021
其中，p为比例系数，p≥1；p的取值为经验值，可以根据实际压痕大小进行调整，以尽可能减少复杂背景的干扰。
进一步地，所述步骤三中全卷积神经网络的训练过程如下：采集多种压痕图片，人工将压痕图片上的像素点分类为压痕像素点和非压痕像素点；使用采集到的压痕图片及其上像素点分类标签数据，对全卷积神经网络进行训练，得到优化后的全卷积神经网络即训练好的全卷积神经网络。
更进一步，所述步骤三中全卷积神经网络包括三种基础运算块：卷积块、卷积池化块、卷积上采样块；包括依次连接的一个卷积块、N个卷积池化块、N个卷积上采样块和一个卷积块；第一个卷积块的输入为输入图像；N个卷积池化块的输入分别为其前一个模块输出的特征图；第i个卷积上采样块的输入为由其前一个模块输出的特征图x2与输入第N-i+1个(前部对称位置)卷积池化块的特征图x1拼接而成的特征图x；最后一个卷积块的输入为第N个卷积上采样块的输出的特征图；其中卷积块包括依次连接的第一卷积层、第一归一化层、第一激活层、第二卷积层、第二归一化层和第二激活层；其中，两个卷积层的滤波器大小均为3×3，填补大小与步长都被设为1，以尽可能的提取压痕图像中的细节部分；作为一个整体，每一个卷积块的输入与输出通道数都是单独设置的；所述卷积池化块是在卷积块的前部添加一个滤波器大小为2×2的最大池化层得来；卷积上采样块是在卷积块的前部添加一个双线性插值层得来。该全卷积神经网络结构简单，每个卷积块只包含两个3×3的卷积操作，参数较少易于训练；卷积池化块与卷积上采样块都是通过在卷积块的前部添加无需训练的运算得来，没有添加额外训练参数；含有最大池操作的卷积池化块可以有效的降低特征提取后的数据量，起到编码作用；含有双线性插值的卷积上采样块可以将卷积操作后的特征图进行上采样，将特征图进行放大，最终得到与原图尺寸相似的像素遮罩图片。
更进一步，所述拼接操作中，对于两特征图尺寸不相同的情况，使用填充的方式对特征图进行拓展，特征图x2与特征图x1拼接得到特征图x的运算流程如下：
1)对x1进行双线性插值操作，放大x1；
2)计算放大后的x1与x2的高度差diff_y和宽度差diff_x：
diff_y＝height(x2)-height(x1)
diff_x＝width(x2)-width(x1)
其中，height()和width()分别表示图像的高度和宽度；
3)对放大后的x1的左、右、上、下用空值0进行填充，左、右、上、下填充的宽度分别为
Figure BDA0002966583460000031
和
Figure BDA0002966583460000032
Figure BDA0002966583460000033
其中round()为四舍五入取整函数；
4)将填充后的x1堆叠至x2特征维度通道上，得到拼接后的特征图x。
进一步地，对于需要进行压痕对角线测量或硬度计算的场合，首先寻找压痕像素遮罩图片中压痕像素区域的目标外接框，然后将该目标外接框的宽与高作为压痕的两对角线长度。由于图像上压痕不一定为正方向，即压痕对角线不一定与外接框边缘(画布坐标系坐标轴)垂直，在压痕对角线不与画布坐标系垂直的情况下，使用边缘平行于画布坐标系的外接框的宽与高作为压痕的两对角线长度是不准确的。因此，本发明将压痕像素遮罩图片进行旋转，以使压痕对角线与目标外接框边缘垂直，再以该目标外接框的宽与高作为压痕的两对角线长度。由于维氏压痕为正棱形，因此在寻找目标外接框时，使得压痕各角点处于外接框各边缘中心点即可求得所需的目标外接框。具体地，寻找目标外接框的方法如下：
1)确定压痕像素遮罩图片中，压痕像素区域的外接框(外接框的两对边缘始终平行于画布坐标系的坐标轴，)；
2)顺时针方向旋转压痕像素遮罩图片，求解旋转后压痕像素遮罩图片中压痕像素区域的外接框，记录当前旋转角度、当前外接框的面积、压痕像素区域各角点与各自所在的外接框边缘的中心点的距离；
3)重复步骤2)，直至压痕像素遮罩图片旋转一周；在此过程中，若存在一外接框，满足压痕像素区域各角点都位于各自所在的外接框边缘的中心点，则以该外接框作为目标外接框输出；若不存在，则以此过程中面积最大的外接框作为目标外接框输出。
更进一步，考虑到当前外接框中心点必然是在压痕的中心附近，所述步骤2)中，以当前外接框的中心点为圆心，顺时针方向旋转压痕像素遮罩图片，以保证压痕不会越出画布范围，便于后面继续寻找外接框。
更进一步，建立画布坐标系(可将初始图像所在位置的高和长所在方向分别作为画布坐标系的y轴和x轴方向)；确定图像上某一区域的外接框的方法为：构造两对与该区域x轴和y轴方向四个端点相切的切线，由这四条切线构成外接框；所述四个端点即最大横坐标点Pxmax、最小横坐标点Pxmin、最大纵坐标点Pymax、最小纵坐标点Pymin，与Pxmax和Pxmin相切的两条切线与画布坐标系的y轴平行，与Pymax和Pymin相切的两条切线与画布坐标系的x轴平行。
通过上述对发明的描述可知，和现有技术相比，本发明的优点在于：
本发明对比传统压痕识别方法，采用神经网络进行压痕推演，拥有更强的鲁棒性。本发明使用全卷积神经网络作为主体，可以使用任意分辨率的图像作为输入。本发明可以运算得出压痕的准确形状与位置信息，提高了压痕缺陷检出率。
上述仅为本发明的具体实施方式，但本发明的设计构思并不仅局限于此，凡是利用此构思对本发明进行非实质性地改进，均应该属于侵犯本发明保护范围的行为。
有益效果：
本发明设计了一种基于全卷积神经网络的自动压痕测量方法，使用方便，使用全卷积神经网络进行检测，对于待检测的压痕图像没有分辨率要求，可以对任意分辨率图片进行预测，极大的方便了实际部署应用，适用范围广；同时该方法鲁棒性好，测量精度高，并且可以获得压痕的准确形状，解决了现有自动压痕测量算法无法提取压痕具体形状的问题，便于后期处理分析，如质量检测人员根据压痕形状判断产品的材料特性。
附图说明
图1为本发明的处理流程图
图2为本发明中，图像预处理算法流程图
图3为本发明中全卷积神经网络卷积块架构
图4为本发明中特征图拼接算法流程图
图5为本发明中全卷积神经网络架构
图6为本发明中计算最大外接框算法流程图
具体实施方式
以下结合附图和具体实施方式对本发明进行进一步具体说明。
本实施例提供的一种基于全卷积神经网络的自动压痕测量方法，包括以下步骤：
步骤一：对压痕图像进行预处理，得到其二值图像；
步骤二：压痕图像裁剪：在二值图像中寻找最大连通域，确定最大连通域的外接框(作为裁剪的参考)；以该外接框作为裁剪的参考，对该外接框进行拓展，裁剪下二值图像上拓展后的外接框区域；
步骤三：将裁剪后的图像输入训练好的全卷积神经网络，输出二值化的压痕像素遮罩图片(压痕像素点和非压痕像素点分别显示为白色和黑色)，由此得到输入图片上精确的压痕形状与位置信息；所述全卷积神经网络可以对任意分辨率图片进行预测。
更进一步，所述压痕图像是采用图像采集设备采集的压痕表面图像。
更进一步，所述步骤一中的对压痕图像进行预处理包括对压痕图像进行全图直方图均衡、滤波和二值化处理；本实施例中对图像使用CLAHE算法进行全图直方图均衡，使用中值滤波对图像进行滤波，对图像使用OTSU算法进行二值化处理。
更进一步，所述步骤二中对外接框进行拓展采用如下方法：
设外接框的长与宽为(w,h)，压痕图像的长与宽为(wi,hi)，通过如下公式计算得到拓展后的外接框的长与宽(we,he)：
Figure BDA0002966583460000051
其中，p为比例系数，p≥1；p的取值为经验值，可以根据实际压痕大小进行调整，以尽可能减少复杂背景的干扰。
进一步地，所述步骤三中全卷积神经网络的训练过程如下：采集多种压痕图片，人工将压痕图片上的像素点分类为压痕像素点和非压痕像素点；使用采集到的压痕图片及其上像素点分类标签数据，对全卷积神经网络进行训练，得到优化后的全卷积神经网络即训练好的全卷积神经网络。
更进一步，所述步骤三中全卷积神经网络包括三种基础运算块：卷积块、卷积池化块、卷积上采样块；包括依次连接的一个卷积块、N个卷积池化块、N个卷积上采样块和一个卷积块；第一个卷积块的输入为输入图像；N个卷积池化块的输入分别为其前一个模块输出的特征图；第i个卷积上采样块的输入为由其前一个模块输出的特征图x2与输入第N-i+1个(前部对称位置)卷积池化块的特征图x1拼接而成的特征图x；最后一个卷积块的输入为第N个卷积上采样块的输出的特征图；其中卷积块包括依次连接的第一卷积层、第一归一化层、第一激活层、第二卷积层、第二归一化层和第二激活层；其中，两个卷积层的滤波器大小均为3×3，填补大小与步长都被设为1，以尽可能的提取压痕图像中的细节部分；作为一个整体，每一个卷积块的输入与输出通道数都是单独设置的；所述卷积池化块是在卷积块的前部添加一个滤波器大小为2×2的最大池化层得来；卷积上采样块是在卷积块的前部添加一个双线性插值层得来。该全卷积神经网络结构简单，每个卷积块只包含两个3×3的卷积操作，参数较少易于训练；卷积池化块与卷积上采样块都是通过在卷积块的前部添加无需训练的运算得来，没有添加额外训练参数；含有最大池操作的卷积池化块可以有效的降低特征提取后的数据量，起到编码作用；含有双线性插值的卷积上采样块可以将卷积操作后的特征图进行上采样，将特征图进行放大，最终得到与原图尺寸相似的像素遮罩图片。
更进一步，所述拼接操作中，对于两特征图尺寸不相同的情况，使用填充的方式对特征图进行拓展，特征图x2与特征图x1拼接得到特征图x的运算流程如下：
1)对x1进行双线性插值操作，放大x1；
2)计算放大后的x1与x2的高度差diff_y和宽度差diff_x：
diff_y＝height(x2)-height(x1)
diff_x＝width(x2)-width(x1)
其中，height()和width()分别表示图像的高度和宽度；
3)对放大后的x1的左、右、上、下用空值0进行填充，左、右、上、下填充的宽度分别为
Figure BDA0002966583460000071
和
Figure BDA0002966583460000072
Figure BDA0002966583460000073
其中round()为四舍五入取整函数；
4)将填充后的x1堆叠至x2特征维度通道上，得到拼接后的特征图x。
进一步地，对于需要进行压痕对角线测量或硬度计算的场合，首先寻找压痕像素遮罩图片中压痕像素区域的目标外接框，然后将该目标外接框的宽与高作为压痕的两对角线长度。由于图像上压痕不一定为正方向，即压痕对角线不一定与外接框边缘(画布坐标系坐标轴)垂直，在压痕对角线不与画布坐标系垂直的情况下，使用边缘平行于画布坐标系的外接框的宽与高作为压痕的两对角线长度是不准确的。因此，本发明将压痕像素遮罩图片进行旋转，以使压痕对角线与目标外接框边缘垂直，再以该目标外接框的宽与高作为压痕的两对角线长度。由于维氏压痕为正棱形，因此在寻找目标外接框时，使得压痕各角点处于外接框各边缘中心点即可求得所需的目标外接框。具体地，寻找目标外接框的方法如下：
1)确定压痕像素遮罩图片中，压痕像素区域的外接框(外接框的两对边缘始终平行于画布坐标系的坐标轴，)；
2)顺时针方向旋转压痕像素遮罩图片，求解旋转后压痕像素遮罩图片中压痕像素区域的外接框，记录当前旋转角度、当前外接框的面积、压痕像素区域各角点与各自所在的外接框边缘的中心点的距离；
3)重复步骤2)，直至压痕像素遮罩图片旋转一周；在此过程中，若存在一外接框，满足压痕像素区域各角点都位于各自所在的外接框边缘的中心点，则以该外接框作为目标外接框输出；若不存在，则以此过程中面积最大的外接框作为目标外接框输出。
更进一步，考虑到当前外接框中心点必然是在压痕的中心附近，所述步骤2)中，以当前外接框的中心点为圆心，顺时针方向旋转压痕像素遮罩图片，以保证压痕不会越出画布范围，便于后面继续寻找外接框。
更进一步，建立画布坐标系(可将初始图像所在位置的高和长所在方向分别作为画布坐标系的y轴和x轴方向)；确定图像上某一区域的外接框的方法为：构造两对与该区域x轴和y轴方向四个端点相切的切线，由这四条切线构成外接框；所述四个端点即最大横坐标点Pxmax、最小横坐标点Pxmin、最大纵坐标点Pymax、最小纵坐标点Pymin，与Pxmax和Pxmin相切的两条切线与画布坐标系的y轴平行，与Pymax和Pymin相切的两条切线与画布坐标系的x轴平行。
上述基于全卷积神经网络的自动压痕测量方法，使用全卷积神经网络进行检测，可以使用任意分辨率的压痕图片作为输入，处理后可以得到压痕在图片中的准确形状；使用操作简便，测量精度高。

Claims (8)

1.一种基于全卷积神经网络的自动压痕测量方法，其特征在于，包括以下步骤：
步骤一：对压痕图像进行预处理，得到其二值图像；
步骤二：在二值图像中寻找最大连通域，确定最大连通域的外接框；对该外接框进行拓展，裁剪下二值图像上拓展后的外接框区域；
步骤三：将裁剪后的图像输入训练好的全卷积神经网络，输出二值化的压痕像素遮罩图片，由此得到输入图片上精确的压痕形状与位置信息。
2.根据权利要求1所述的基于全卷积神经网络的自动压痕测量方法，其特征在于，所述步骤一中的预处理包括全图直方图均衡、滤波和二值化处理。
3.根据权利要求1所述的基于全卷积神经网络的自动压痕测量方法，其特征在于，所述步骤二中对外接框进行拓展采用如下方法：
设外接框的长与宽为(w,h)，压痕图像的长与宽为(wi,hi)，通过如下公式计算得到拓展后的外接框的长与宽(we,he)：
Figure FDA0002966583450000011
其中，p为比例系数，p≥1。
4.根据权利要求1所述的基于全卷积神经网络的自动压痕测量方法，其特征在于，所述步骤三中全卷积神经网络的训练过程如下：采集多种压痕图片，人工将压痕图片上的像素点分类为压痕像素点和非压痕像素点；以采集到的压痕图片为输入，以图片上各个像素点的分类标签为输出，对全卷积神经网络进行训练，得到优化后的全卷积神经网络。
5.根据权利要求1所述的基于全卷积神经网络的自动压痕测量方法，其特征在于，所述步骤三中全卷积神经网络包括依次连接的一个卷积块、N个卷积池化块、N个卷积上采样块和一个卷积块；第一个卷积块的输入为输入图像；N个卷积池化块的输入分别为其前一个模块输出的特征图；第i个卷积上采样块的输入为由其前一个模块输出的特征图x2与输入第N-i+1个卷积池化块的特征图x1拼接而成的特征图x；最后一个卷积块的输入为第N个卷积上采样块的输出的特征图；其中卷积块包括依次连接的第一卷积层、第一归一化层、第一激活层、第二卷积层、第二归一化层和第二激活层；所述卷积池化块是在卷积块的前部添加一个最大池化层得来；卷积上采样块是在卷积块的前部添加一个双线性插值层得来。
6.根据权利要求5所述的基于全卷积神经网络的自动压痕测量方法，其特征在于，特征图x2与特征图x1拼接得到特征图x的运算流程如下：
1)对x1进行双线性插值操作，放大x1；
2)计算放大后的x1与x2的高度差diff_y和宽度差diff_x：
3)对放大后的x1的左、右、上、下用空值0进行填充，左、右、上、下填充的宽度分别为
Figure FDA0002966583450000021
和
Figure FDA0002966583450000022
Figure FDA0002966583450000023
其中round()为四舍五入取整函数；
4)将填充后的x1堆叠至x2特征维度通道上，得到拼接后的特征图x。
7.根据权利要求1所述的基于全卷积神经网络的自动压痕测量方法，其特征在于，对于需要进行压痕对角线测量场合，首先寻找压痕像素遮罩图片中压痕像素区域的目标外接框，然后将该目标外接框的宽与高作为压痕的两对角线长度；其中寻找目标外接框的方法如下：
1)确定压痕像素遮罩图片中，压痕像素区域的外接框；
2)顺时针方向旋转压痕像素遮罩图片，求解旋转后压痕像素遮罩图片中压痕像素区域的外接框，记录当前旋转角度、当前外接框的面积、压痕像素区域各角点与各自所在的外接框边缘的中心点的距离；
3)重复步骤2)，直至压痕像素遮罩图片旋转一周；在此过程中，若存在一外接框，满足压痕像素区域各角点都位于各自所在的外接框边缘的中心点，则以该外接框作为目标外接框输出；若不存在，则以此过程中面积最大的外接框作为目标外接框输出。
8.根据权利要求1所述的基于全卷积神经网络的自动压痕测量方法，其特征在于，建立画布坐标系；确定图像上某一区域的外接框的方法为：构造两对与该区域x轴和y轴方向四个端点相切的切线，由这四条切线构成外接框；所述四个端点即最大横坐标点Pxmax、最小横坐标点Pxmin、最大纵坐标点Pymax、最小纵坐标点Pymin，与Pxmax和Pxmin相切的两条切线与画布坐标系的y轴平行，与Pymax和Pymin相切的两条切线与画布坐标系的x轴平行。
CN202110252383.1A 2021-03-08 2021-03-08 一种基于全卷积神经网络的自动压痕测量方法 Active CN112991287B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110252383.1A CN112991287B (zh) 2021-03-08 2021-03-08 一种基于全卷积神经网络的自动压痕测量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110252383.1A CN112991287B (zh) 2021-03-08 2021-03-08 一种基于全卷积神经网络的自动压痕测量方法

Publications (2)

Publication Number Publication Date
CN112991287A true CN112991287A (zh) 2021-06-18
CN112991287B CN112991287B (zh) 2022-09-16

Family

ID=76335453

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110252383.1A Active CN112991287B (zh) 2021-03-08 2021-03-08 一种基于全卷积神经网络的自动压痕测量方法

Country Status (1)

Country Link
CN (1) CN112991287B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113409290A (zh) * 2021-06-29 2021-09-17 北京兆维电子(集团)有限责任公司 一种液晶屏外观缺陷检测方法、装置及存储介质
CN113996554A (zh) * 2021-10-28 2022-02-01 中国航空工业集团公司北京长城计量测试技术研究所 一种硬度计无人值守系统及方法
CN114217267A (zh) * 2021-12-10 2022-03-22 湘潭大学 基于全卷积神经网络的多基站无线定位方法
CN114549551A (zh) * 2022-02-15 2022-05-27 Oppo广东移动通信有限公司 图像的裁剪方法与装置、终端及可读存储介质
CN115063646A (zh) * 2022-05-13 2022-09-16 沈阳铸造研究所有限公司 一种融合几何先验知识的维氏硬度图像测量方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180260975A1 (en) * 2017-03-13 2018-09-13 Adobe Systems Incorporated Illumination estimation from a single image
US10140544B1 (en) * 2018-04-02 2018-11-27 12 Sigma Technologies Enhanced convolutional neural network for image segmentation
CN109035219A (zh) * 2018-07-10 2018-12-18 华南理工大学 基于bp神经网络的fics金手指缺陷检测系统及检测方法
CN110033437A (zh) * 2019-03-12 2019-07-19 福建三钢闽光股份有限公司 一种基于卷积神经网络的中厚板压痕智能识别方法
CN111398287A (zh) * 2019-11-29 2020-07-10 合肥国轩高科动力能源有限公司 一种电池极片划痕检测系统及检测方法
CN111598856A (zh) * 2020-05-08 2020-08-28 浙江工商大学 基于缺陷导向多点定位神经网络的芯片表面缺陷自动检测方法及系统
CN111784673A (zh) * 2020-06-30 2020-10-16 创新奇智(上海)科技有限公司 缺陷检测模型训练和缺陷检测方法、设备及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180260975A1 (en) * 2017-03-13 2018-09-13 Adobe Systems Incorporated Illumination estimation from a single image
US10140544B1 (en) * 2018-04-02 2018-11-27 12 Sigma Technologies Enhanced convolutional neural network for image segmentation
CN109035219A (zh) * 2018-07-10 2018-12-18 华南理工大学 基于bp神经网络的fics金手指缺陷检测系统及检测方法
CN110033437A (zh) * 2019-03-12 2019-07-19 福建三钢闽光股份有限公司 一种基于卷积神经网络的中厚板压痕智能识别方法
CN111398287A (zh) * 2019-11-29 2020-07-10 合肥国轩高科动力能源有限公司 一种电池极片划痕检测系统及检测方法
CN111598856A (zh) * 2020-05-08 2020-08-28 浙江工商大学 基于缺陷导向多点定位神经网络的芯片表面缺陷自动检测方法及系统
CN111784673A (zh) * 2020-06-30 2020-10-16 创新奇智(上海)科技有限公司 缺陷检测模型训练和缺陷检测方法、设备及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
VIJAY BADRINARAYANAN ET AL.: "SegNet: A Deep Convolutional Encoder-Decoder Architecture for Image Segmentation", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 *
YUKIMI TANAKA ET AL.: "Automated Vickers hardness measurement using convolutional neural networks", 《THE INTERNATIONAL JOURNAL OF ADVANCED MANUFACTURING TECHNOLOGY》 *
胡环星: "基于机器视觉的磁瓦表面缺陷检测技术研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113409290A (zh) * 2021-06-29 2021-09-17 北京兆维电子(集团)有限责任公司 一种液晶屏外观缺陷检测方法、装置及存储介质
CN113409290B (zh) * 2021-06-29 2023-12-15 北京兆维电子(集团)有限责任公司 一种液晶屏外观缺陷检测方法、装置及存储介质
CN113996554A (zh) * 2021-10-28 2022-02-01 中国航空工业集团公司北京长城计量测试技术研究所 一种硬度计无人值守系统及方法
CN114217267A (zh) * 2021-12-10 2022-03-22 湘潭大学 基于全卷积神经网络的多基站无线定位方法
CN114549551A (zh) * 2022-02-15 2022-05-27 Oppo广东移动通信有限公司 图像的裁剪方法与装置、终端及可读存储介质
CN115063646A (zh) * 2022-05-13 2022-09-16 沈阳铸造研究所有限公司 一种融合几何先验知识的维氏硬度图像测量方法
CN115063646B (zh) * 2022-05-13 2024-04-19 沈阳铸造研究所有限公司 一种融合几何先验知识的维氏硬度图像测量方法

Also Published As

Publication number Publication date
CN112991287B (zh) 2022-09-16

Similar Documents

Publication Publication Date Title
CN112991287B (zh) 一种基于全卷积神经网络的自动压痕测量方法
CN107798672B (zh) 烟丝或梗丝的宽度测定方法、系统及具有该系统的服务器
CN109580630B (zh) 一种机械零部件缺陷的视觉检测方法
CN106228161B (zh) 一种指针式表盘自动读数方法
CN110431404A (zh) 表面缺陷检查方法及表面缺陷检查装置
CN109886939B (zh) 基于张量投票的桥梁裂缝检测方法
CN112651968B (zh) 一种基于深度信息的木板形变与凹坑检测方法
CN108186051B (zh) 一种从超声图像中自动测量胎儿双顶径长度的图像处理方法及处理系统
CN108876860B (zh) 一种用于管水准器气泡偏移量测量的图像标定方法
CN114240845B (zh) 一种应用于切削工件的光切法表面粗糙度测量方法
CN108257125B (zh) 一种基于自然场景统计的深度图像质量无参考评价方法
CN111598869B (zh) 一种对显示屏幕的Mura进行检测的方法、设备及存储介质
CN108335310B (zh) 一种便携式粒形粒度检测方法及系统
CN116165216B (zh) 一种液晶显示屏微划伤瑕疵3d检测方法、系统及计算设备
CN109409290A (zh) 一种温度表检定读数自动识别系统及方法
CN115096206A (zh) 一种基于机器视觉的零件尺寸高精度测量方法
CN112489042A (zh) 基于超分辨重建的金属品印刷缺陷与表面损伤的检测方法
US6813377B1 (en) Methods and apparatuses for generating a model of an object from an image of the object
US20040213445A1 (en) Method and apparatus for separating an object from an ultrasound image
CN117274251B (zh) 基于图像数据的药品生产过程中药片质量检测方法
CN113205553A (zh) 一种基于三通道特征融合的光条纹中心提取方法
CN102840835A (zh) 基于欧氏距离和图像分块的羊毛直径检测方法
CN115641326A (zh) 用于陶瓷天线pin针图像的亚像素尺寸检测方法及系统
CN115588196A (zh) 基于机器视觉的指针型仪表读数方法和装置
CN113554688B (zh) 一种基于单目视觉的o型密封圈尺寸测量方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant