CN115601332A - 一种基于语义分割的嵌入式指纹模块外观检测方法 - Google Patents

一种基于语义分割的嵌入式指纹模块外观检测方法 Download PDF

Info

Publication number
CN115601332A
CN115601332A CN202211284937.7A CN202211284937A CN115601332A CN 115601332 A CN115601332 A CN 115601332A CN 202211284937 A CN202211284937 A CN 202211284937A CN 115601332 A CN115601332 A CN 115601332A
Authority
CN
China
Prior art keywords
defect
fingerprint module
segmentation
image
semantic segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211284937.7A
Other languages
English (en)
Inventor
宋瑞超
卢坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Jingchuang Technology Co ltd
Original Assignee
Shenzhen Jingchuang Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Jingchuang Technology Co ltd filed Critical Shenzhen Jingchuang Technology Co ltd
Priority to CN202211284937.7A priority Critical patent/CN115601332A/zh
Publication of CN115601332A publication Critical patent/CN115601332A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/64—Analysis of geometric attributes of convexity or concavity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Geometry (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于语义分割的嵌入式指纹模块外观检测方法，包括：采集指纹模块样本图像，进行溢胶、凸点的定位、标注；缺陷语义分割网络模型搭建；建立缺陷等级质量评估模块；以及指纹模块产品缺陷在线逻辑检测，采集实际待检测的指纹模块产品图像，通过全局固定阈值分割和局部动态阈值定位待检测产品缺陷区域，调用指纹模块语义分割检测模型文件，预测输出溢胶、凸点缺陷，引入缺陷等级质量评估指标判定OK/NG品。该方法综合分析溢胶、凸点两种不同缺陷的特征体现，搭建深度学习神经网络分割网络，高精度提取溢胶、凸点两类缺陷的发生区域，最后应用缺陷等级质量评估模块对当前产品进行全面分析，提高指纹模组外观质量安全稳定性。

Description

一种基于语义分割的嵌入式指纹模块外观检测方法
技术领域
本发明涉及一种指纹模块外观缺陷检测方法，具体涉及一种基于语义分割的嵌入式指纹模块外观检测方法。
背景技术
指纹识别技术在各种智能识别以及身份认证领域中得到了广泛的应用，具备高精度比对准确率和易于应用等优势，例如手机侧面嵌入式装配的指纹识别解锁模块，市面上三星、荣耀等众多手机品牌均采用此模块提升用户体验度。作为指纹锁产品的核心部分，指纹模块结构的稳定性和外观整体的安全性直接决定着成品运行的可靠性，在模组部件加工工艺过程中，不同组件粘连过程中胶水的溢出，模组加工技术水平的残差，运输过程中的碰撞磕碰，导致指纹模组出现侧壁溢胶、钢板溢胶、侧壁凸点等多种不良缺陷，此类缺陷会直接影响手机或者指纹锁成品的稳定性的稳定性和安全性，因此对于缺陷的检测也是尤为重要，目前行业内使用2D视觉定位分析技术对指纹模块的外观进行缺陷检测，但是基于溢胶、凸点两种缺陷发生概率以及发生位置的随机性，2D视觉定位分析技术由于匹配模板的精度问题则无法达到较高的缺陷检出精度，以致检测效果不佳，稳定性差。
发明内容
鉴于以上，本发明提供一种基于语义分割的嵌入式指纹模块外观检测方法，综合分析溢胶、凸点两种不同缺陷的特征体现，搭建深度学习神经网络分割网络，高精度提取溢胶、凸点两类缺陷的发生区域，最后应用缺陷等级质量评估模块对当前产品进行全面分析，提高指纹模组外观质量安全稳定性。具体技术方案如下。
一种基于语义分割的嵌入式指纹模块外观检测方法，其特征在于，包括：
采集指纹模块样本图像，进行溢胶、凸点的定位、标注：使用面阵相机采集指纹模块的样本图像，获取数据集，指纹模块包括相同型号颜色、不同型号相同颜色和同型号不同颜色的样本，先采用全局固定阈值分割对样本图像初步定位缺陷区域，再采用局部动态阈值分割进行精确定位，分割出待检测缺陷ROI区域；
缺陷语义分割网络模型搭建：进行特征提取网络和缺陷分类预测网络的搭建，完成后导出作为指纹模块语义分割检测模型文件；
建立缺陷等级质量评估模块：对溢胶、凸点语义分割缺陷区域进行包括面积、周长、圆度等参数的量化指标分析，设定缺陷量化等级评估阈值；
指纹模块产品缺陷在线逻辑检测：采集实际待检测的指纹模块产品图像，通过全局固定阈值分割和局部动态阈值定位待检测产品缺陷区域，调用指纹模块语义分割检测模型文件，预测输出溢胶、凸点缺陷，引入缺陷等级质量评估指标判定OK/NG品。
进一步，采用全局固定阈值分割方法对待检测缺陷区域进行初步定位，灰度图像固定阈值分割操作可用公式一描述，公式一：
Figure 677609DEST_PATH_IMAGE001
，
公式一中thresh1和thresh2为初步定位分割阈值上下限定，对于采集的样本图像Image在(x,y)像素横纵坐标位置上的像素值，其落在分割阈值范围内的设置为255，其余设置为0，初步定位分割后得到对应裁剪图像CropImage1。
进一步，在得到裁剪图像CropImage1后，对于不同型号或者同型号不同颜色的样本图像，采用局部动态阈值分割方法再次提取待检测缺陷区域，对应操作方法可用公式二描述，公式二：
Figure 532432DEST_PATH_IMAGE002
，公式二中Thresh(x,y)为动态阈值分割后的图像，(x,y)对应图像中的像素横纵坐标位置，Refer为无产品纯背景图像，动态阈值分割后对原始样本图像进行第二次裁剪得到CropImage2，即待检测缺陷ROI区域，记录为图像数据集。
进一步，分割出待检测缺陷ROI区域后，以像素涂抹方式进行溢胶、凸点缺陷类别划分标识，得到对应分割Mask图像。
进一步，样本图像中至少包括一张纯背景无指纹模块产品的图像。
进一步，特征提取网络包括两个卷积层提取缺陷特征信息，设计三次下采样通道信息的并行操作，同一个分辨率的通道信息复制三次，最后对于低分辨率通道采用双线性上采样，对于高分辨率通道采用跨步卷积，将原始通道信息和三次下采样通道信息进行特征融合，多尺度提取不同尺寸的溢胶、凸点缺陷信息，特征融合操作最大化保留原始缺陷特征信息，适用于小尺寸凸点缺陷的特征提取分析。
进一步，缺陷分类预测网络包括两个分支，第一个分支由卷积层以及三个最大池化层串联而成，三个最大化池化层融合后输入到卷积层获取尺寸特征图，尺度特征图上每个二维点对应输入图像中的网格部分，每个网格获得目标预测信息包括预测缺陷位置坐标和宽高以及预测概率，第二个分支将不同分辨率的通道信息经过反卷积操作进行融合后采取Softmax操作获取缺陷预测区域，预测网络综合提供溢胶、凸点缺陷对应分割区域和缺陷ROI区域坐标信息。
进一步，网络特征提取模块和分类预测模块搭建完成后，设置模型最大训练迭代次数以及loss回归拟合阈值，当模型训练周期次数达到最大设置数值或者模型训练计算loss小于设置阈值后，训练停止并保存固化模型网络中每层信息，导出为指纹模块语义分割检测模型文件。
进一步，缺陷区域的面积量化指标计算公式为：
Figure 499120DEST_PATH_IMAGE003
；
缺陷区域的轮廓周长量化指标计算公式为：
Figure 832012DEST_PATH_IMAGE004
，
其中Y对应缺陷区域轮廓的二维像素点坐标，ɵ为像素坐标对角矩阵；
获取区域面积和轮廓周长后，圆度量化指标计算公式为：
Figure 646385DEST_PATH_IMAGE005
，regionArea为闭合区域面积。
本发明的提供的基于语义分割的嵌入式指纹模块外观检测方法，主要针对溢胶、凸点两大危险程度较高的缺陷进行综合分析，搭建适用于小目标缺陷的语义分割网络模型，对应输出预测缺陷分割轮廓区域和对应坐标信息，采用缺陷等级质量评估模块对预测缺陷信息进行分析，进而判定当前待检测产品是否为OK/NG品，综合采用视觉定位分析和深度学习智能分割技术，提高指纹模块产品外观质量检测可靠性，保障产品检测兼容性的同时提高嵌入式指纹模组产品质量的安全可靠性，具有较好的产品缺陷兼容特征和检出能力。
本发明附加的方面和优点将在下面的描述中进一步给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
图1所示为本发明基于语义分割的嵌入式指纹模块外观检测方法流程图；
图2所示为指纹模块产品溢胶、凸点缺陷标注效果图；
图3所示为溢胶、凸点缺陷语义分割网络模型框架图；
图4所示为指纹模块产品溢胶缺陷效果；
图5所示为指纹模块产品凸点缺陷效果；
图6所示为图4、5中溢胶、凸点缺陷量化等级评估指标数据表格；
图7所示为在线监测优化过程流程图。
具体实施方式
下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
参照图1，本实施例的一种基于语义分割的嵌入式指纹模块外观检测方法，包括：
S1：采集指纹模块样本图像，进行溢胶、凸点的定位、标注：在视觉采集工作台上使用面阵相机采集指纹模块的样本图像，样本图像中至少包括一张纯背景无指纹模块产品的图像，获取数据集，指纹模块包括相同型号颜色、不同型号相同颜色和同型号不同颜色的样本，先采用全局固定阈值分割对样本图像初步定位缺陷区域，再采用局部动态阈值分割进行精确定位，分割出待检测缺陷ROI区域。
在本实施例中，先搭建嵌入式指纹模块产品缺陷采集平台，左右对称两个视觉工位分别采集M1张含溢胶和凸点缺陷的样本图像，M1>100，以及M2张无缺陷样本图像，M2>20，最后采集一张纯背景无指纹模块产品图像，纯背景图像一方面可以获取放置指纹模块产品前后的对应位置的像素变化，对应局部像素变换，另一方面有无指纹模块产品前后整张图的灰度变换也可以得到，最后将M1+M2张图像放置同一文件夹目录下并以时间序列进行排序，文件夹内前M1张作为NG缺陷图像，后M2张为OK图像。
进一步，采用全局固定阈值分割方法对样本图像的待检测缺陷区域进行初步定位，灰度图像固定阈值分割操作可用公式一描述：
Figure 655798DEST_PATH_IMAGE001
，公式一中thresh1和thresh2为初步定位分割阈值上下限定，对于采集的样本图像Image在(x,y)像素横纵坐标位置上的像素值，其落在分割阈值范围内的设置为255，其余设置为0，初步定位分割后得到对应裁剪图像CropImage1。
在得到裁剪图像CropImage1后，因为对于不同型号或者同型号不同颜色的样本，其在黑白相机下成像对应灰度值变化梯度存在差异，所以采用局部动态阈值分割方法进一步提取待检测缺陷区域，对应操作方法可用公式二描述：
Figure 860514DEST_PATH_IMAGE002
，公式二中Thresh(x,y)为动态阈值分割后的图像，(x,y)对应图像中的像素横纵坐标位置，Refer为无产品纯背景图像，动态阈值分割后对原始样本图像进行第二次裁剪得到CropImage2，即待检测缺陷ROI区域。
在本实施例中根据采集图像灰度值分布设置产品全局固定阈值分割数值为thesh1=5，thresh=60，参考纯背景图像获取有无工件前后状态下采集图像像素分布变化，调用局部动态阈值分割方法得到M1+M2张裁剪图像CropImage2，记录对应文件夹为训练验证图像数据集DataSet_TrainVal。
如图2所示，记录溢胶、凸点缺陷索引分类分别为1和2，即背景记作第一类缺陷Class0，像素值为0，溢胶记作第二类缺陷Class1，像素值为1，凸点记作第三类缺陷Class2，像素值为2，即图像中某一个像素位置上存在着预测为背景0，溢胶1和凸点2三种像素值的可能，使用Colabeler V2.3.0软件以不同颜色对溢胶和凸点进行像素涂抹标识，训练验证图像数据集DataSet_TrainVal中所有图像标识完毕后，对应每张裁剪后的待检测缺陷ROI区域生成一张空白纯黑图像mask，对应像素值全部为0，对应溢胶标注区域像素值设置为1，凸点标注区域像素值设置为2，得到对应分割标签图像数据集Mask_TrainVal；
按照0.7和0.3的比例对图像数据集DataSet_TrainVal和标签数据集Mask_TrainVal进行训练集和验证集的划分，训练集数据集表示为DataSet_Train和Mask_Train，验证数据集则表示为DataSet_Val和Mask_Val，在划分数据集的时候保证数据的随机性，以及数据集中既有OK又有NG样本图像。
S2：缺陷语义分割网络模型搭建：进行特征提取网络和缺陷分类预测网络的搭建，完成后导出作为指纹模块语义分割检测模型文件。
如图3，特征提取网络包括两个卷积层提取缺陷特征信息，设计三次下采样通道信息的并行操作，同一个分辨率的通道信息复制三次，最后对于低分辨率通道采用双线性上采样，对于高分辨率通道采用跨步卷积，将原始通道信息和三次下采样通道信息进行特征融合，多尺度提取不同尺寸的溢胶、凸点缺陷信息，特征融合操作最大化保留原始缺陷特征信息，适用于小尺寸凸点缺陷的特征提取分析。
缺陷分类预测网络包括两个分支，第一个分支由卷积层以及三个最大池化层串联而成，三个最大化池化层融合后输入到卷积层获取尺寸特征图，尺度特征图上每个二维点对应输入图像中的网格部分，每个网格获得目标预测信息包括预测缺陷位置坐标和宽高以及预测概率，第二个分支将不同分辨率的通道信息经过反卷积操作进行融合后采取Softmax操作获取缺陷预测区域，预测网络综合提供溢胶、凸点缺陷对应分割区域和缺陷ROI区域坐标信息。
网络特征提取模块和分类预测模块搭建完成后，对于m张NG缺陷样本图像和n张OK正常样本图像，设置训练裁剪图像尺寸crop_size，模型迭代周期次数total_epoches以及loss回归拟合阈值min_loss，在GTX 1660 Ti 6G设备上开始缺陷数据模型训练进程，同时关注训练损失回归趋势曲线，当模型训练周期次数达到最大设置数值或者模型训练计算loss小于设置阈值后，训练停止并保存固化模型网络中每层信息，导出为指纹模块语义分割检测模型文件。在本实施例中，设置嵌入式指纹模块外观质量语义分割模型训练的最大迭代周期total_epoches=1000，训练裁剪图像尺寸crop_size=512，在模型训练过程中会自动裁剪该尺寸进行批量计算，有效解决图像数据集中原始图像尺寸不统一的问题，最小损失计算阈值min_loss=1e-5。训练进程期间验证数据集会计算当前预测IOU指标变化曲线，IOU参数指标变化情况由刚开始训练的逐步上升到后续阶段的稳定，以判断当前模型的训练推理能力。
其中loss函数采用交叉熵损失函数，如下
Figure 246365DEST_PATH_IMAGE006
，其中Number_Class为分割缺陷类别，对于溢胶、凸点两类缺陷，Number_Class还应该包括背景类别，则Number_Class设置为3，yic为当前预测为类别c的特征信息矩阵，pic则对应预测为第c类的概率值，N对应计算图像数量。
预测指标IOU计算方式可通过如下公式进行描述，
Figure 852927DEST_PATH_IMAGE007
,
其中Target对应原始标注缺陷区域，即在样本上进行的人工标识区域，Predict对应该标注缺陷的预测区域，即系统模型预测的缺陷区域，也就是待检测缺陷ROI区域，对应数值变化范围为0.0-1.0。
S3：建立缺陷等级质量评估模块：对溢胶、凸点语义分割缺陷区域进行包括面积、周长、圆度等参数的量化指标分析，设定缺陷量化等级评估阈值。
进一步，缺陷区域的面积量化指标计算公式为：
Figure 33241DEST_PATH_IMAGE003
。
缺陷区域的轮廓周长量化指标计算公式为：
Figure 725254DEST_PATH_IMAGE004
，其中Y对应缺陷区域轮廓的二维像素点坐标，ɵ为像素坐标对角矩阵。
获取区域面积和轮廓周长后，圆度量化指标计算公式为：
Figure 649216DEST_PATH_IMAGE005
，regionArea为闭合区域面积。
本发明的深度学习模型可以对缺陷信息进行量化，圆度Roundness可描述为区域面积regionArea和轮廓周长arcLength的计算比值，采用上述计算方法获取溢胶、凸点预测区域相关量化指标后，设置最小面积过滤值minArea屏蔽小区域溢胶缺陷，设置最小圆度参数值minRoundness屏蔽部分凸点缺陷。由于胶水这种缺陷是流动性的和模型预测计算的客观性，模型预测输出缺陷较产品真实缺陷会有略微差别，以及模型已预测输出的缺陷区域在真实产品上呈现缺陷形态较为微弱，即对于指纹模块产品而言已达到判定通过标准的细微缺陷也会预测出来，对于这两类缺陷检测信息，根据量化评估作为参考，可以更精确的对产品的合格与否进行判定。
S4：指纹模块产品缺陷在线逻辑检测：采集实际待检测的指纹模块产品图像，通过全局固定阈值分割和局部动态阈值定位待检测产品缺陷区域，调用指纹模块语义分割检测模型文件，预测输出溢胶、凸点缺陷，引入缺陷等级质量评估指标判定OK/NG品。OK品为合格品，NG品为不合格品。
在本实施例中，在嵌入式指纹模块产品缺陷采集平台左右对称两个工位上，新采集一组在线检测产品图像，此组产品大于10张，依次调用S1步骤中的待检测缺陷ROI区域定位算法，以及指纹模块语义分割检测模型文件得到溢胶、凸点预测分割图像，设置与预测图像中对应像素点位置类别为1且预测概率>0.85的为溢胶缺陷，类别为2且预测概率>0.90的为凸点缺陷，由于凸点干扰较多，所以凸点缺陷预测概率阈值较为严苛，也可根据实际情况进行调整，在得到当前测试图像对应溢胶、凸点缺陷区域后，引入缺陷质量等级评估模块计算对应缺陷区域的面积、周长和圆度指标，针对实际缺陷发生形态设置最小阈值，即卡控数值。对照图4、图5的指纹模块产品预测效果图和图6的量化指标数据表格，缺陷质量等级评估模块过滤的缺陷区域不显示，直观显示当前产品缺陷预测区域，超过卡控数值判定当前测试产品为NG品，不超的为OK品，在具体实施中卡控数值标准可根据实际需要具体规定。
小批量跑料测试稳定后，此检测方法部署于产品检测产线中，检测流程包含样本图像的采集，待检测缺陷区域ROI区域的提取，指纹模块产品语义分割模型的调用，预测缺陷区域的等级质量评估，OK/NG结果的判定，语义分割缺陷检测模型提供当前预测区域以及缺陷位置的标识显示，包含区域轮廓、区域ROI坐标以及预测概率值，在大批量跑料测试过程中，设置模型验证方式为某一时间段内缺陷检测OK/NG比例，具体应用为对于某一段时间内测试的所有指纹模组产品，统计计算判定为OK和NG产品的数量，参考经过人工复盘的OK和NG产品数量，以相对误差对语义分割检测模型能力进行实际测试评估。
在产品检测人工复盘过程中，收集预测结果和人工判定结果存在差异的产品，还可以通过修改对应产品采集图像标注Mask标签后添加优化模型训练，通过人工干预操作使得嵌入式指纹模块外观质量检测模型逐步趋向于人工判定标准，提高产品安全质量性能，如图7。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (9)

1.一种基于语义分割的嵌入式指纹模块外观检测方法，其特征在于，包括：
采集指纹模块样本图像，进行溢胶、凸点的定位、标注：使用面阵相机采集指纹模块的样本图像，获取数据集，指纹模块包括相同型号颜色、不同型号相同颜色和同型号不同颜色的样本，先采用全局固定阈值分割对样本图像初步定位缺陷区域，再采用局部动态阈值分割进行精确定位，分割出待检测缺陷ROI区域；
缺陷语义分割网络模型搭建：进行特征提取网络和缺陷分类预测网络的搭建，完成后导出作为指纹模块语义分割检测模型文件；
建立缺陷等级质量评估模块：对溢胶、凸点语义分割缺陷区域进行包括面积、周长、圆度参数的量化指标分析，设定缺陷量化等级评估阈值；
指纹模块产品缺陷在线逻辑检测：采集实际待检测的指纹模块产品图像，通过全局固定阈值分割和局部动态阈值定位待检测产品缺陷区域，调用指纹模块语义分割检测模型文件，预测输出溢胶、凸点缺陷，引入缺陷等级质量评估指标判定OK/NG品。
2.根据权利要求1所述的基于语义分割的嵌入式指纹模块外观检测方法，其特征在于，采用全局固定阈值分割方法对待检测缺陷区域进行初步定位，灰度图像固定阈值分割操作可用公式一描述，公式一：
Figure 232687DEST_PATH_IMAGE001
，
公式一中thresh1和thresh2为初步定位分割阈值上下限定，对于采集的样本图像Image在(x,y)像素横纵坐标位置上的像素值，其落在分割阈值范围内的设置为255，其余设置为0，初步定位分割后得到对应裁剪图像CropImage1。
3.根据权利要求2所述的基于语义分割的嵌入式指纹模块外观检测方法，其特征在于，在得到裁剪图像CropImage1后，对于不同型号或者同型号不同颜色的样本图像，采用局部动态阈值分割方法再次提取待检测缺陷区域，对应操作方法可用公式二描述，公式二：
Figure 884074DEST_PATH_IMAGE002
，公式二中Thresh(x,y)为动态阈值分割后的图像，(x,y)对应图像中的像素横纵坐标位置，Refer为无产品纯背景图像，动态阈值分割后对原始样本图像进行第二次裁剪得到CropImage2，即待检测缺陷ROI区域，记录为图像数据集。
4.根据权利要求3所述的基于语义分割的嵌入式指纹模块外观检测方法，其特征在于，分割出待检测缺陷ROI区域后，以像素涂抹方式进行溢胶、凸点缺陷类别划分标识，得到对应分割Mask图像。
5.根据权利要求4所述的基于语义分割的嵌入式指纹模块外观检测方法，其特征在于，样本图像中至少包括一张纯背景无指纹模块产品的图像。
6.根据权利要求1所述的基于语义分割的嵌入式指纹模块外观检测方法，其特征在于，特征提取网络包括两个卷积层提取缺陷特征信息，设计三次下采样通道信息的并行操作，同一个分辨率的通道信息复制三次，最后对于低分辨率通道采用双线性上采样，对于高分辨率通道采用跨步卷积，将原始通道信息和三次下采样通道信息进行特征融合，多尺度提取不同尺寸的溢胶、凸点缺陷信息。
7.根据权利要求6所述的基于语义分割的嵌入式指纹模块外观检测方法，其特征在于，缺陷分类预测网络包括两个分支，第一个分支由卷积层以及三个最大池化层串联而成，三个最大化池化层融合后输入到卷积层获取尺寸特征图，尺度特征图上每个二维点对应输入图像中的网格部分，每个网格获得目标预测信息包括预测缺陷位置坐标和宽高以及预测概率，第二个分支将不同分辨率的通道信息经过反卷积操作进行融合后采取Softmax操作获取缺陷预测区域，预测网络综合提供溢胶、凸点缺陷对应分割区域和缺陷ROI区域坐标信息。
8.根据权利要求7所述的基于语义分割的嵌入式指纹模块外观检测方法，其特征在于，网络特征提取模块和分类预测模块搭建完成后，设置模型最大训练迭代次数以及loss回归拟合阈值，当模型训练周期次数达到最大设置数值或者模型训练计算loss小于设置阈值后，训练停止并保存固化模型网络中每层信息，导出为指纹模块语义分割检测模型文件。
9.根据权利要求1所述的基于语义分割的嵌入式指纹模块外观检测方法，其特征在于，缺陷区域的面积量化指标计算公式为：
Figure 207608DEST_PATH_IMAGE003
；
缺陷区域的轮廓周长量化指标计算公式为：
Figure 532279DEST_PATH_IMAGE004
，
其中Y对应缺陷区域轮廓的二维像素点坐标，ɵ为像素坐标对角矩阵；
获取区域面积和轮廓周长后，圆度量化指标计算公式为：
Figure 853539DEST_PATH_IMAGE005
，regionArea为闭合区域面积。
CN202211284937.7A 2022-10-20 2022-10-20 一种基于语义分割的嵌入式指纹模块外观检测方法 Pending CN115601332A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211284937.7A CN115601332A (zh) 2022-10-20 2022-10-20 一种基于语义分割的嵌入式指纹模块外观检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211284937.7A CN115601332A (zh) 2022-10-20 2022-10-20 一种基于语义分割的嵌入式指纹模块外观检测方法

Publications (1)

Publication Number Publication Date
CN115601332A true CN115601332A (zh) 2023-01-13

Family

ID=84848236

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211284937.7A Pending CN115601332A (zh) 2022-10-20 2022-10-20 一种基于语义分割的嵌入式指纹模块外观检测方法

Country Status (1)

Country Link
CN (1) CN115601332A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115830403A (zh) * 2023-02-22 2023-03-21 厦门微亚智能科技有限公司 一种基于深度学习的自动缺陷分类系统及方法
CN115861323A (zh) * 2023-02-28 2023-03-28 泉州装备制造研究所 基于精细化分割网络的皮革缺陷检测方法
CN116152245A (zh) * 2023-04-19 2023-05-23 苏州鑫信腾科技有限公司 一种基于人工智能的胶线缺陷检测系统
CN116482104A (zh) * 2023-02-10 2023-07-25 中恒永创(北京)科技有限公司 热转印胶片检测方法
CN116630242A (zh) * 2023-04-28 2023-08-22 广东励图空间信息技术有限公司 一种基于实例分割的管道缺陷评估方法及装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116482104A (zh) * 2023-02-10 2023-07-25 中恒永创(北京)科技有限公司 热转印胶片检测方法
CN116482104B (zh) * 2023-02-10 2023-12-05 中恒永创(北京)科技有限公司 热转印胶片检测方法
CN115830403A (zh) * 2023-02-22 2023-03-21 厦门微亚智能科技有限公司 一种基于深度学习的自动缺陷分类系统及方法
CN115861323A (zh) * 2023-02-28 2023-03-28 泉州装备制造研究所 基于精细化分割网络的皮革缺陷检测方法
CN116152245A (zh) * 2023-04-19 2023-05-23 苏州鑫信腾科技有限公司 一种基于人工智能的胶线缺陷检测系统
CN116630242A (zh) * 2023-04-28 2023-08-22 广东励图空间信息技术有限公司 一种基于实例分割的管道缺陷评估方法及装置
CN116630242B (zh) * 2023-04-28 2024-01-12 广东励图空间信息技术有限公司 一种基于实例分割的管道缺陷评估方法及装置

Similar Documents

Publication Publication Date Title
CN115601332A (zh) 一种基于语义分割的嵌入式指纹模块外观检测方法
CN111027547B (zh) 一种针对二维图像中的多尺度多形态目标的自动检测方法
EP3343440A1 (en) Identifying and excluding blurred areas of images of stained tissue to improve cancer scoring
CN110458301A (zh) 一种车辆部件的定损方法、装置、计算机设备及存储介质
CN113920107A (zh) 一种基于改进yolov5算法的绝缘子破损检测方法
CN113240626A (zh) 一种基于神经网络的玻璃盖板凹凸型瑕疵检测与分类方法
CN110853005A (zh) 一种免疫组化膜染色切片诊断方法及装置
CN101877127A (zh) 基于梯度剖面的图像无参考质量评价方法及系统
CN111507426B (zh) 基于视觉融合特征的无参考图像质量分级评价方法及装置
CN113240623B (zh) 一种路面病害检测方法及装置
CN110473201A (zh) 一种刹车片表面缺陷的自动检测方法及装置
CN106355579A (zh) 烟条表面褶皱的缺陷检测方法
CN115131283A (zh) 目标对象的缺陷检测、模型训练方法、装置、设备及介质
CN113221881B (zh) 一种多层级的智能手机屏幕缺陷检测方法
CN111126393A (zh) 车辆外观改装判断方法、装置、计算机设备及存储介质
CN111932511A (zh) 一种基于深度学习的电子元器件质量检测方法与系统
Llopis-Castelló et al. Automatic classification and quantification of basic distresses on urban flexible pavement through convolutional neural networks
CN110660049A (zh) 一种基于深度学习的轮胎缺陷检测方法
CN117392042A (zh) 缺陷检测方法、缺陷检测设备及存储介质
CN115170548A (zh) 基于无监督学习的皮革缺陷自动检测方法及装置
CN113393414A (zh) 基于深度学习的冷轧带钢磨后辊印缺陷检测方法及系统
CN117392097A (zh) 基于改进YOLOv8算法的增材制造工艺缺陷检测方法和系统
CN116580232A (zh) 一种图像自动标注方法、系统及电子设备
CN112906707B (zh) 一种表面缺陷图像的语义分割方法、装置及计算机设备
CN114219073A (zh) 属性信息的确定方法、装置、存储介质及电子装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination