CN114170168A - 显示模组缺陷检测方法、系统及计算机可读存储介质 - Google Patents

显示模组缺陷检测方法、系统及计算机可读存储介质 Download PDF

Info

Publication number
CN114170168A
CN114170168A CN202111443264.0A CN202111443264A CN114170168A CN 114170168 A CN114170168 A CN 114170168A CN 202111443264 A CN202111443264 A CN 202111443264A CN 114170168 A CN114170168 A CN 114170168A
Authority
CN
China
Prior art keywords
image
gray
value
inner layer
layer defect
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111443264.0A
Other languages
English (en)
Inventor
赵同印
王涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou HYC Technology Co Ltd
Original Assignee
Suzhou HYC Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou HYC Technology Co Ltd filed Critical Suzhou HYC Technology Co Ltd
Priority to CN202111443264.0A priority Critical patent/CN114170168A/zh
Publication of CN114170168A publication Critical patent/CN114170168A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30121—CRT, LCD or plasma display

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明揭示了一种显示模组缺陷检测方法、系统及计算机可读存储介质，所述方法包括：接收检测图像，调用预设模板图像执行特征匹配，生成表层缺陷图像和内层缺陷图像；分割并检测所述内层缺陷图像，生成至少一个内层缺陷区，并计算所述内层缺陷区的边缘清晰度值；若所述边缘清晰度值大于预设清晰度阈值，则标记所述内层缺陷区，并生成第一内层缺陷图像；若所述边缘清晰度值小于预设清晰度阈值，则对应生成第二内层缺陷图像。本发明提供的显示模组缺陷检测方法，通过先后执行特征匹配和边缘清晰度计算和标记，实现对显示模组表层和内层，以及多个内层之间的缺陷的分别检测和输出，如此降低漏检概率，便于后续检修。

Description

显示模组缺陷检测方法、系统及计算机可读存储介质
技术领域
本发明涉及计算机视觉及目标检测技术领域，尤其涉及一种显示模组缺陷检测方法、系统及计算机可读存储介质。
背景技术
现有显示模组多采用三层贴合结构，主要包括CG(Cover Glass，玻璃盖板层)、TP(Touch Panel，触控层)以及LCM(Liquid Crystal Display Module，液晶显示层)，生产过程中，诸如灰尘、划痕、擦伤等的缺陷，往往会存在于三层贴合结构中的两两结合处，以及CG的表层处。现有技术中多采用表面光源打光，通过检测凹陷和突起不同的漫反射情况，从而区分不同缺陷并进行对应处理，但此种实施方式往往通过亮度作为评价参数，基于缺陷类型和CG、TP优秀的透过性，内在结构两两结合处的非突起异物难以反射形成区分亮度，如此会导致存在不良状况的显示模组发生漏检，同时也无法对缺陷在三层构造的显示模组中的具体位置进行区分，给后续维修处理造成了障碍。
发明内容
本发明的目的之一在于提供一种显示模组缺陷检测方法，以解决现有技术中显示模组的表层缺陷和多种内层缺陷混淆而导致漏检和后续处理困难的技术问题。
本发明的目的之一在于提供一种显示模组缺陷检测系统。
本发明的目的之一在于提供一种计算机可读存储介质。
为实现上述发明目的之一，本发明一实施方式提供一种显示模组缺陷检测方法，所述方法包括：接收检测图像，调用预设模板图像执行特征匹配，生成表层缺陷图像和内层缺陷图像；分割并检测所述内层缺陷图像，生成至少一个内层缺陷区，并计算所述内层缺陷区的边缘清晰度值；若所述边缘清晰度值大于预设清晰度阈值，则标记所述内层缺陷区，并生成第一内层缺陷图像；若所述边缘清晰度值小于预设清晰度阈值，则对应生成第二内层缺陷图像。
作为本发明一实施方式的进一步改进，所述方法具体包括：遍历所述内层缺陷图像的像素灰度值，按照预设灰度阈值对所述像素灰度值进行分类，生成至少两类像素灰度集合；计算所述像素灰度集合的灰度子均值，以及所述像素灰度值的灰度总体均值，并以所述灰度子均值为变量计算灰度方差；分析得到并遍历所述内层缺陷图像的灰度级，求取使所述灰度方差最大的标准灰度级；根据所述标准灰度级对所述内层缺陷图像执行二值化分割，生成中间内层图像。
作为本发明一实施方式的进一步改进，所述方法具体包括：遍历所述中间内层图像中所有像素，计算得到所述所有像素的融合近似值；根据所述融合近似值，分析提取所有边缘像素；根据所述所有边缘像素，对所述中间内层图像进行分割，生成至少一个内层缺陷区。
作为本发明一实施方式的进一步改进，所述方法具体包括：根据预设的离散差分算子，对所述中间内层图像中第一像素，在至少两个方向上做平面卷积，得到至少两个差分近似值；根据所述至少两个差分近似值，计算融合近似值；若所述融合近似值大于预设的标准梯度值，则判定所述第一像素为边缘像素。
作为本发明一实施方式的进一步改进，所述方法具体包括：遍历所述所有边缘像素，根据所述边缘像素，以及与所述边缘像素相邻的相邻像素的灰度值，计算得到所述内层缺陷区的所有边缘灰度评价值；叠加所有所述边缘灰度评价值，计算得到所述内层缺陷区的边缘清晰度值。
作为本发明一实施方式的进一步改进，所述方法具体包括：获取第一边缘像素的第一边缘灰度值，以及与所述第一边缘像素相邻像素的第一相邻灰度值和第二相邻灰度值；其中，所述第一相邻灰度值和第二相邻灰度值所表征的相邻像素，分别位于所述第一边缘像素的不同方向上；计算所述第一相邻灰度值和所述第一边缘灰度值的差的平方，与所述第二相邻灰度值和所述第一边缘灰度值的差的平方之和，得到第一边缘灰度评价值。
作为本发明一实施方式的进一步改进，所述方法还包括：获取至少一幅表层缺陷特征图和至少一幅内层缺陷特征图，形成缺陷图像训练集合，并对所述缺陷图像训练集合执行预处理；构建深度卷积神经网络，并对预处理后的缺陷图像训练集合执行训练，生成表层模板图像和内层模板图像至少其中之一作为所述预设模板图像。
作为本发明一实施方式的进一步改进，所述方法具体包括：接收所述检测图像，并调用所述预设模板图像；对所述检测图像执行行列遍历，计算所述检测图像中的所有前景特征与所述预设模板图像的相似度值；若所述相似度值符合预设条件，则标记所述相似度值及所述相似度值对应的前景特征在所述检测图像中的位置，并对应生成所述表层缺陷图像和所述内层缺陷图像至少其中之一；对所述检测图像执行特征过滤，对应生成所述表层缺陷图像和所述内层缺陷图像其中另一。
为实现上述发明目的之一，本发明一实施方式提供一种显示模组缺陷检测系统，用于执行上述任一种技术方案所述的显示模组缺陷检测方法。
为实现上述发明目的之一，本发明一实施方式提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如上述任一种技术方案所述的显示模组缺陷检测方法的步骤。
与现有技术相比，本发明提供的显示模组缺陷检测方法，通过调用模板图像区分表层缺陷和内层缺陷，并进一步通过边缘清晰度值对内层缺陷进行评价，以区分两个内层中的缺陷情况，利用两次迭代过程将三层显示模组中每一层的缺陷分布情况进行提取并输出，从而达到了减小漏检概率，区分缺陷分布层级，以及方便后续检修处理的技术效果。
附图说明
图1是本发明一实施方式中显示模组缺陷检测系统的结构示意图；
图2是本发明一实施方式中显示模组缺陷检测方法的步骤示意图；
图3是本发明一实施方式中显示模组缺陷检测方法的第一实施例的步骤示意图；
图4是本发明一实施方式中显示模组缺陷检测方法的第二实施例的步骤示意图；
图5是本发明一实施方式中显示模组缺陷检测方法的第二实施例的部分步骤示意图；
图6是本发明一实施方式中显示模组缺陷检测方法的第二实施例的另一部分步骤示意图；
图7是本发明一实施方式中显示模组缺陷检测方法的第三实施例的步骤示意图；
图8是本发明一实施方式中显示模组缺陷检测方法的第四实施例的步骤示意图。
具体实施方式
以下将结合附图所示的具体实施方式对本发明进行详细描述。但这些实施方式并不限制本发明，本领域的普通技术人员根据这些实施方式所做出的结构、方法、或功能上的变换均包含在本发明的保护范围内。
需要说明的是，术语“包括”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。此外，术语“第一”、“第二”、“第三”、“第四”等仅用于描述目的，而不能理解为指示或暗示相对重要性。
现如今的显示模组，为了满足更高的显示要求和其他功能拓展要求，通常配置为多层贴合的形式，典型的触摸显示屏即包括依次贴合的CG、TP和LCM三层结构，在每一层制备以及多层间贴合过程中，往往会在单层表面出现划痕、擦伤、污渍、突起等缺陷，和/或在多层之间出现气泡、污渍、灰尘、颗粒等缺陷，如何在装配完成的显示模组中检测出这些缺陷，并且进一步确定这些缺陷所处的位置，方便后续检修，是本领域亟待解决的问题，也是本发明的目的。
本发明一实施方式未解决上述技术问题以及潜在或相关的其他技术问题，提供一种计算机可读存储介质，设置于计算机中并存储有计算机程序，所述计算机可读存储介质可以是计算机能够存取的任何可用介质，或可以是包含一个或多个可用介质集成的服务器、数据中心等存储设备。所述可用介质可以是例如软盘、硬盘、磁带等的磁性介质，或例如DVD(Digital Video Disc，高密度数字视频光盘)等的光介质，或例如SSD(Solid StateDisk，固态硬盘)等的半导体介质。所述计算机程序被计算机中任一处理器执行时，实施一种显示模组缺陷检测方法，以对显示模组相关检测系统、设备，或直接对显示模组执行：接收检测图像，处理并生成表层缺陷图像和内层缺陷图像，处理所述内层缺陷图像，生成第一内层缺陷图像和/或第二内层缺陷图像。
本发明一实施方式进一步提供一种，如图1所示的显示模组缺陷检测系统，所述显示模组缺陷检测系统用于执行一种显示模组缺陷检测方法，以对显示模组执行：接收检测图像，处理并生成表层缺陷图像和内层缺陷图像，处理所述内层缺陷图像，生成第一内层缺陷图像和/或第二内层缺陷图像。
所述显示模组缺陷检测系统可以具体包括，依次连接的图像采集模块11、一阶分析模块12和二阶分析模块13。其中，图像采集模块11可以用于采集显示模组的检测图像，一阶分析模块12可以用于处理所述检测图像，并对检测图像中的表层缺陷和内层缺陷进行区分，二阶分析模块13可以用于处理包含有所述内层缺陷的内层缺陷图像，并对位于不同层级的内层缺陷进行区分。
由此可见，本发明中涉及的第一内层缺陷图像和第二内层缺陷图像，其所包含的内层缺陷实际上是位于显示模组上不同层级的缺陷；而所述表层缺陷图像，实际上表征的是显示模组上暴露于外界的表面，表层缺陷则对应表示位于显示模组暴露表面上的缺陷。
如此，实施本发明上述计算机可读存储介质和显示模组缺陷检测系统其中任一，均可将所述表层缺陷和所述内层缺陷进行区分，并进一步将内层缺陷中位于至少两个不同层级的缺陷进行细分，检测结果精确、也更便于后续检修排查。
进一步地，本发明提供的显示模组缺陷检测系统，还可以进一步包括训练学习模块21，用于训练形成足以识别所述表层缺陷和所述内层缺陷的预设匹配模型或预设模板图像。所述预设匹配模型或所述预设模板图像的建立过程，在一种实施方式中可以配置为：根据显示模组缺陷检测系统中所存储的历史缺陷信息作为训练集合，在历史缺陷被添加上至少两种缺陷标签后，构建深度学习网络并运用分类算法进行模型训练。
所述深度学习网络可以包括无监督预训练网络(Unsupervised PretrainingNetwork)、卷积神经网络(Convolutional Neural Network)、循环神经网络(RecurrentNeural Network)和递归神经网络(Recursive Neural Network)。在其中任一种或多种深度学习网络中，还可以进一步搭载反向传播算法(微分解析法、有限差分法)、随机梯度下降算法、学习率衰减算法(线性衰减、指数衰减)、神经元随机丢弃算法(Dropout)、最大池化算法、批量标准化算法、长短期记忆网络、跳字模型(Skip-gram)、连续词袋模型和迁移学习算法中的一种或多种。
在一种实施方式中，所述深度学习网络包括深度卷积神经网络210，其可以独立存储于一存储模块或处理器分区中，并与训练学习模块21建立连接关系，也可以内嵌于训练学习模块21中。
当然，所述预设匹配模型或所述预设模板图像的建立，还可以依托于外部输入的孤立缺陷样本信息，所述孤立缺陷样板信息可以包括至少一种表层缺陷样本和至少一种内层缺陷样本，孤立缺陷样本信息可以根据操作者的需求进行有选择地输入。基于此，本实施方式提供的显示模组缺陷检测系统还可以进一步包括外设输入装置22，用于接收来自操作者、上位机或其他外部信息输出端的信息，以此作为所述预设匹配模型或所述预设模板图像建立的基础，和/或用于辅助、干预训练学习模块21的动作。
本发明一实施方式进一步提供一种显示模组缺陷检测方法，如图2所示，包括：
步骤31，接收检测图像，调用预设模板图像执行特征匹配，生成表层缺陷图像和内层缺陷图像；
步骤32，分割并检测内层缺陷图像，生成至少一个内层缺陷区，并计算内层缺陷区的边缘清晰度值；
步骤33，判断边缘清晰度值是否大于预设清晰度阈值，若大于，则(步骤331)标记内层缺陷区，并生成第一内层缺陷图像，若小于，则(步骤332)对应生成第二内层缺陷图像。
表层缺陷和内层缺陷之间往往存在如下区别点：
(1)焦点距离差异，检测相机通常将焦点锁定于内层，具体而言将焦点锁定于TP层，如此在检测过程中，内层缺陷的位态更低，距离焦点更近，表层的位态更高，距离焦点更远；
(2)尺寸和覆盖面积，表层缺陷裸露于显示模组的外侧，不受外界挤压，而内层缺陷在贴合过程中会收到相邻两层显示模组结构的挤压，高度方向的分量会形变而分摊为宽度和长度方向的延伸长度，从而内层缺陷较表层缺陷而言具有更大的尺寸和延展面积；
(3)遮挡情况和形状，表层缺陷直接接受来自外界的直射光并进行漫反射，因而检测图像中的表层缺陷形状较为规则，且不会受到层叠物的遮挡而发生亮度不均匀的问题，内层缺陷由于受到挤压以及其他层级缺陷的叠加而具有不规则的显示形状，同时在其上方(靠近检测相机一侧)层叠有其他内层缺陷或表层缺陷时，还会影响其亮度均匀性，呈现出例如光斑内部存在黑斑的形态特征。
如此，可以根据上述区别进行模型训练，得到所述预设模板图像，以完成对表层缺陷和内层缺陷的区分，并对应生成两种缺陷图像。进一步地，特征匹配过程还可以进一步包括：建立结果图像；调用预设模板图像矩阵，并将所述检测图像矩阵、所述结果图像矩阵、所述预设模板图像矩阵和匹配算法导入模板匹配函数中；对所述结果图像执行线性归一化处理，对所述检测图像和所述模板图像按照匹配算法，以字符串向量为对象执行模板匹配，并将结果输入所述结果图像中；新建文件夹，根据预设模板图像的类型命名，并分配一个图像存储空间，将符合所述预设模板图像记载特征的所述结果图像，存入所述图像存储空间中。
上述匹配过程还可以进一步包括一种前置处理步骤：调用支持向量机(SVM，Support Vector Machines)，并将检测图像矩阵和预设字符串路径导入所述支持向量机的分类函数中；根据所述预设字符串路径加载预设匹配模型；判断所述检测图像的通道类型(单通道或多通道)，并对所述检测图像执行灰度彩色通道转换；将转换后的检测图像进行预设尺寸的归一化处理并修改其浮点数类型(在一种实施方式中修改为32位)，根据预设匹配模型对处理后的检测图像执行特征匹配。
模板匹配过程可以是设定一个判断条件，符合该判断条件的认定其为表层缺陷，不符合自动认定为内层缺陷，当然在一种实施方式中，也可以设定两个判断条件，符合第一判断条件的认定其为表层缺陷，将筛选后的剩余特征或图像继续进行第二判断条件的判断，符合第二判断条件的认定其为内层缺陷，而将既不符合表层缺陷也不符合内层缺陷的其他特征或图像筛去。
对于内层缺陷图像中，位于不同层级的第一内层缺陷和第二内层缺陷而言，由于均具备区分于表层缺陷的特征，因而需要通过对焦和高度差异进行判断，本发明中优选通过边缘提取和边缘清晰度识别进行区分，从而能够分析得到至少三个层级的缺陷情况，不仅能够提供更为全面的检测报告，也更便于后续对显示模组上缺陷的维修工作。
本发明进一步提供基于该实施方式的显示模组缺陷检测方法的第一实施例，如图3所示，包括：
步骤31，接收检测图像，调用预设模板图像执行特征匹配，生成表层缺陷图像和内层缺陷图像；
步骤32，分割并检测内层缺陷图像，生成至少一个内层缺陷区，并计算内层缺陷区的边缘清晰度值，具体可以包括，
步骤321，遍历内层缺陷图像的像素灰度值，按照预设灰度阈值对像素灰度值进行分类，生成至少两类像素灰度集合；
步骤322，计算像素灰度集合的灰度子均值，以及像素灰度值的灰度总体均值，并以灰度子均值为变量计算灰度方差；
步骤323，分析得到并遍历内层缺陷图像的灰度级，求取使灰度方差最大的标准灰度级；
步骤324，根据标准灰度级对内层缺陷图像执行二值化分割，生成中间内层图像；
步骤33，判断边缘清晰度值是否大于预设清晰度阈值，若大于，则(步骤331)标记内层缺陷区，并生成第一内层缺陷图像，若小于，则(步骤332)对应生成第二内层缺陷图像。
第一实施方式具体提供了一种对内层缺陷图像进行二值化分割的方式，通过对内层缺陷图像的像素灰度值进行一次预分类，并在预分类后计算使类间方差最大的灰度级作为阈值，并再次对内层缺陷图像进行二次分类，从而实现对前景图像和背景图像的二值化分割，配合后续的边缘清晰度值计算过程，能够将第一内层缺陷和第二内层缺陷的差异尽可能地放大，从而提升区分准确度。
值得注意地，步骤324生成中间内层图像，放大第一内层缺陷和第二内层缺陷之后，还需要进一步进行缺陷特征的提取，进行边缘清晰度值计算，并按照预设的分类标准(可以是调用支持向量机的分类函数)，比较数值大小，从而对应生成第一内层缺陷图像和第二内层缺陷图像。此过程，可以根据本领域技术人员的需要进行调整和添加，足以实现步骤32和步骤33的技术效果即可。
下面以公式推导的角度进一步描述上述二值化分割过程，定义预设灰度阈值为TH，将内层缺陷图像的像素灰度值中大于预设灰度阈值TH的部分定义为第一类像素灰度集合C1，并将小于预设灰度阈值TH的部分定义为第二类像素灰度集合C2，计算第一类像素灰度集合C1的像素灰度值的均值，得到第一灰度子均值m1，计算第二类像素灰度集合C2的像素灰度值的均值，得到第二灰度子均值m2，并计算内层缺陷图像整体的像素灰度值的均值，得到灰度总体均值mG，基于此，上述数据满足：
p1×m1+p2×m2＝mG；
p1+p2＝1；
其中，像素被分到第一类像素灰度集合C1的概率为第一概率p1，像素被分到第二类像素灰度集合C2的概率为第二概率p2。继续地，定义灰度方差δ，以第一灰度子均值m1和第二灰度子均值m2为变量，计算灰度方差δ，则有：
δ2＝p1(m1-mG)2+p2(m2-mG)2；
进一步化简可得：
δ2＝p1p2(m1-m2)2；
又因为第一概率p1和第二概率p2存在数量关系，且第一概率p1、第一灰度子均值m1和第二灰度子均值m2满足下式，从而，遍历内层缺陷图像的0-255个灰度级，求取使得灰度方差δ最大的灰度级即为标准灰度级k。
Figure BDA0003384287940000101
Figure BDA0003384287940000102
Figure BDA0003384287940000103
其中，i为灰度级，满足i＝0,1,2,...,L-1。灰度级i的获取可以通过计算内层缺陷图像的归一化直方图得到。而对于步骤324中的二值化分割，可以利用工作平台中的过滤器实现，具体而言，可以利用OpenCV中的THRESH_BINARY、THRESH_BINARY_INV、THRESH_TRUNC、THRESH_TOZERO、THRESH_TOZERO_INV等逻辑进行处理，以得到中间内层图像。
为了进一步实现对中间图像的处理，足以分割形成更为准确的内层缺陷区，从而实现边缘清晰度值的计算和评价，本发明进一步提供一种基于第一实施例的第二实施例，如图4所示，包括：
步骤31，接收检测图像，调用预设模板图像执行特征匹配，生成表层缺陷图像和内层缺陷图像；
步骤32，分割并检测内层缺陷图像，生成至少一个内层缺陷区，并计算内层缺陷区的边缘清晰度值，在上述步骤324之后，还可以具体包括，
步骤325，遍历中间内层图像中所有像素，计算得到所有像素的融合近似值；
步骤326，根据融合近似值，分析提取所有边缘像素；
步骤327，根据所有边缘像素，对中间内层图像进行分割，生成至少一个内层缺陷区；
步骤328，遍历所有边缘像素，根据边缘像素，以及与边缘像素相邻的相邻像素的灰度值，计算得到内层缺陷区的所有边缘灰度评价值；
步骤329，叠加所有边缘灰度评价值，计算得到内层缺陷区的边缘清晰度值；
步骤33，判断边缘清晰度值是否大于预设清晰度阈值，若大于，则(步骤331)标记内层缺陷区，并生成第一内层缺陷图像，若小于，则(步骤332)对应生成第二内层缺陷图像。
通过计算评估中间内层像素中每个像素的融合近似值，确定该像素是否处于边缘位置，若是，则提取该像素为边缘像素，当完成对所有边缘像素的提取后，根据边缘像素对中间内层图像执行分割，边缘像素围设形成的空间即定义为内层缺陷区，并对其边缘清晰度值进行计算和评估。值得注意地，步骤325至步骤329虽然被限定为对中间内层图像执行分割，但如此形成的实施方式欲达成的技术效果，在于以二值化分割后的图像进行边缘提取和分割，能够进一步提高分割的准确度，由此可见，本领域技术人员当然可以直接将步骤325至步骤329配置为以内层缺陷图像为对象进行。
其中，融合近似值用于表征内层缺陷图像中单一像素亮度梯度近似值或称亮度差分近似值，通过亮度梯度变化情况评价该像素是否位于边缘位置，在图像经过二值化处理后，亮度梯度变化可以通过灰度值梯度变化反映出来。边缘清晰度值的计算，在本实施方式中，通过对与边缘像素相邻的相邻像素的灰度值进行计算，评估边缘像素与相邻像素灰度值的差异，以此作为判断边缘是否清晰的标准。
单个像素与其相邻像素的灰度差异单一，为了评估内层缺陷区整体边缘清晰度情况，可以如本实施方式中所述，通过简单叠加的方式计算得到边缘清晰度值，当然也可以通过求均值、方差、标准差等方式进行，本发明并不对边缘清晰度值的具体运算方式加以限制。
对于上述第二实施例中，步骤325至步骤326的融合近似值计算过程和边缘像素提取过程，本发明进一步提供一具体实施方式，如图5所示，包括：
步骤3251，根据预设的离散差分算子，对中间内层图像中第一像素，在至少两个方向上做平面卷积，得到至少两个差分近似值；
步骤3252，根据至少两个差分近似值，计算融合近似值；
步骤3261，若融合近似值大于预设的标准梯度值，则判定第一像素为边缘像素。
所述离散差分算子在本实施方式中配置为，缩合一条坐标轴上的最优平滑和另一条坐标轴上的最优差分，从而在两个方向上进行平面卷积，以此作为运算得到用以评估灰度梯度变化情况的融合近似值的基础，优选地，所述至少两个方向包括水平方向x和垂直方向y。定义第一像素值为I，在水平方向上的第一差分近似值为Gx，在垂直方向上的第二差分近似值为Gy，第一像素的融合近似值为G，则有：
Figure BDA0003384287940000121
Figure BDA0003384287940000131
Figure BDA0003384287940000132
由此可见，本实施方式在计算差分近似值的过程中，对位于第一像素四周的相邻像素赋予了不同的权重，并定义第一差分近似值为第一方向一侧的相邻灰度值与第一方向另一侧的相邻灰度值之差，定义第二差分近似值为第二方向一侧的相邻灰度值与第二方向另一侧的相邻灰度值之差，从而进一步提高了边缘像素判断准确率。
值得注意地，上述步骤公开了步骤325至步骤326中内置的循环嵌套算法，所述第一像素可以是中间内层图像中的任一像素，上述步骤自身可以形成一个循环，直至遍历完成对中间内层图像中所有像素的处理后跳出。同时，上述详细步骤仅作为步骤325和步骤326的较优实施方式，并不限定本发明的保护范围，本领域技术人员可以替换现有技术中任何融合近似值的算法和边缘像素提取算法，以达成类似的技术效果。
对于上述第二实施例中，步骤328的边缘灰度评价值的计算过程，本发明进一步提供一具体实施方式，如图6所示，包括：
步骤3281，获取第一边缘像素的第一边缘灰度值，以及与第一边缘像素相邻像素的第一相邻灰度值和第二相邻灰度值；
步骤3282，计算第一相邻灰度值和第一边缘灰度值的差的平方，与第二相邻灰度值和第一边缘灰度值的差的平方之和，得到第一边缘灰度评价值。
其中，第一相邻灰度值和第二相邻灰度值所表征的相邻像素，分别位于第一边缘像素的不同方向上。
从像素的空间分布角度来说明上述步骤，定义位于(x,y)的第一边缘灰度值f(x,y)，位于(x+1,y)的第一相邻灰度值f(x+1,y)，位于(x,y+1)的第二相邻灰度值f(x,y+1)，则第一边缘灰度评价值d(x,y)满足：
d(x,y)＝(|f(x+1,y)-f(x,y)|2+|f(x,y+1)-f(x,y)|2)；
对每个边缘像素的边缘灰度评价值分别进行两个方向上的叠加，得到该内层缺陷区的边缘清晰度值D(f)，其满足：
D(f)＝∑y∑xd(x,y)＝∑y∑x(|f(x+1,y)-f(x,y)|2+|f(x,y+1)-f(x,y)|2)；
若边缘清晰度值D(f)大于预设清晰度阈值，则表示该内层缺陷区的清晰度高，该内层缺陷区所表征的内层缺陷位于检测相机的焦点的距离近，若边缘清晰度值D(f)小于预设清晰度阈值，则表示该内层缺陷区的清晰度低，该内层缺陷区所表征的内层缺陷位于检测相机的焦点的距离远，如此可以将显示模组内层缺陷所处层级进行区分。
若显示模组为CG、TP和LCM三层结构，则利用本实施方式，首先可以将CG上的表层缺陷区分出来，生成表层缺陷图像，而后通过边缘清晰度值判断内层缺陷的位置。以检测相机聚焦于TP为例，若内层缺陷区的边缘清晰度值大于预设清晰度值，边缘清晰度高，则该内层缺陷区所表征的内层缺陷位于TP和LCM贴合部位(贴合介质)处，若内层缺陷区的边缘清晰度值小于预设清晰度值，边缘清晰度低，则该内层缺陷区所表征的内层缺陷位于CG和TP贴合部位(贴合介质)处。
可以理解地，本实施方式并不限于三层结构的显示模组，本领域技术人员可以通过设定多个所述预设清晰度值，以适应多层结构显示模组缺陷检测的需求。同时，本实施方式并不限定于“边缘清晰度高则缺陷位态低，边缘清晰度低则缺陷位态高”这一结论，边缘清晰度值与层级高度的对应关系取决于相机聚焦的位置，因此本实施方式还可以进一步包括步骤：获取检测相机的焦点位置；接收所述第一内层缺陷图像，判定所述第一内层缺陷图像中所述内层缺陷区，位于显示模组靠近所述焦点位置一层；接收所述第二内层缺陷图像，判定所述第二内层缺陷图像中所述内层缺陷区，位于显示模组远离所述焦点位置一层。
为了进一步实现对检测图像的处理，足以识别表层缺陷和内层缺陷，从而对应生成更为准确的表层缺陷图像和内层缺陷图像，本发明进一步提供一种基于上述实施方式的第三实施例，如图7所示，包括：
步骤311，接收检测图像，并调用预设模板图像；
步骤312，对检测图像执行行列遍历，计算检测图像中的所有前景特征与预设模板图像的相似度值；
步骤313，若相似度值符合预设条件，则标记相似度值及相似度值对应的前景特征在检测图像中的位置，并对应生成表层缺陷图像和内层缺陷图像至少其中之一；
步骤314，对检测图像执行特征过滤，对应生成表层缺陷图像和内层缺陷图像其中另一；
步骤32，分割并检测内层缺陷图像，生成至少一个内层缺陷区，并计算内层缺陷区的边缘清晰度值；
步骤33，判断边缘清晰度值是否大于预设清晰度阈值，若大于，则(步骤331)标记内层缺陷区，并生成第一内层缺陷图像，若小于，则(步骤332)对应生成第二内层缺陷图像。
其中，行列遍历可以先逐行遍历，再逐列遍历，也可以是先逐列遍历，再逐行遍历，也可以是逐行逐列同时遍历。本实施例中，为了简化模板图像的数量，将其定义为用于匹配表层缺陷图像和匹配内层缺陷图像中的一种，并将匹配失败的图像直接定义为另一种。当然，本领域技术人员可以如上文所述地，定义两种模板图像分别匹配表层缺陷和内层缺陷。
当然，本发明提供的实施方式的技术路线在于，利用支持向量机进行两步判断，首先对表层缺陷和内层缺陷进行区分，在对不同内层的内层缺陷进行区分，如此可以简化算法架构和层级数量，进行快速便捷的判断区分。当然，本领域技术人员可以设计更为复杂的卷积神经网络或深度学习算法，来对本发明提供的实施方式进行变化地实施。
同时，本发明在不同需求和应用场景下，可以具有不同的技术效果和附加步骤，例如，对表层缺陷和内层缺陷的区分，可以用于排查表层是否包含灰尘颗粒，将表层上的灰尘和内层的真实缺陷(内层的灰尘或划伤等)进行区分，从而辅助检修，基于此，还可以在后续步骤中新增判断步骤：若根据检测图像并未生成内层缺陷图像，则输出显示模组内层无缺陷信号，和/或若根据检测图像并未生成表层缺陷图像，则输出显示模组表层无灰尘信号，和/或若根据检测图像生成有表层缺陷图像但未生成内层缺陷图像，则输出显示模组需除尘信号。
为了更好地搭建预设匹配模型并进行训练，以生成更为准确的预设模板图像，辅助后续特征匹配过程，以及表层缺陷图像和内层缺陷图像的区分过程，本发明进一步提供一种基于上述实施方式的第四实施例，如图8所示，包括：
步骤301，获取至少一幅表层缺陷特征图和至少一幅内层缺陷特征图，形成缺陷图像训练集合，并对缺陷图像训练集合执行预处理；
步骤302，构建深度卷积神经网络，并对预处理后的缺陷图像训练集合执行训练，生成表层模板图像和内层模板图像至少其中之一作为预设模板图像；
步骤31，接收检测图像，调用预设模板图像执行特征匹配，生成表层缺陷图像和内层缺陷图像；
步骤32，分割并检测内层缺陷图像，生成至少一个内层缺陷区，并计算内层缺陷区的边缘清晰度值；
步骤33，判断边缘清晰度值是否大于预设清晰度阈值，若大于，则(步骤331)标记内层缺陷区，并生成第一内层缺陷图像，若小于，则(步骤332)对应生成第二内层缺陷图像。
在一种实施方式中，上述训练可以基于支持向量机进行，具体还可以包括：创建分类器并设置参数；设定分类器核函数；根据缺陷图像训练集合对分类器执行训练，得到并存储为预设匹配模型。
当分类器通过深度卷积神经网络进行训练时，所述深度卷积神经网络可以进一步包括卷积层、池化层和全连接层，并执行：对检测图像执行一次卷积和/或扫描卷积；将提取得到的特征图执行降维操作，保留特征图中的主要特征；将仅包括主要特征的特征图映射为一个固定长度的特征向量，存储并进行分类。分类之前如前所述，可以新建独立的文件夹或分区便于存储，该文件夹还可以定义为样本集，并通过标签对样本集进行标记，生成正样本和负样本。
如前所述，本实施例还可以匹配形成分别符合表层缺陷和内层缺陷的两种预设模板图像以进行分别匹配，本发明并不限制预设模板图像的数量。
综上所述，本发明提供的显示模组缺陷检测方法，通过调用模板图像区分表层缺陷和内层缺陷，并进一步通过边缘清晰度值对内层缺陷进行评价，以区分两个内层中的缺陷情况，利用两次迭代过程将三层显示模组中每一层的缺陷分布情况进行提取并输出，从而达到了减小漏检概率，区分缺陷分布层级，以及方便后续检修处理的技术效果。
应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施方式中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。
上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明，它们并非用以限制本发明的保护范围，凡未脱离本发明技艺精神所作的等效实施方式或变更均应包含在本发明的保护范围之内。

Claims (10)

1.一种显示模组缺陷检测方法，其特征在于，所述方法包括：
接收检测图像，调用预设模板图像执行特征匹配，生成表层缺陷图像和内层缺陷图像；
分割并检测所述内层缺陷图像，生成至少一个内层缺陷区，并计算所述内层缺陷区的边缘清晰度值；
若所述边缘清晰度值大于预设清晰度阈值，则标记所述内层缺陷区，并生成第一内层缺陷图像；
若所述边缘清晰度值小于预设清晰度阈值，则对应生成第二内层缺陷图像。
2.根据权利要求1所述的显示模组缺陷检测方法，其特征在于，所述方法具体包括：
遍历所述内层缺陷图像的像素灰度值，按照预设灰度阈值对所述像素灰度值进行分类，生成至少两类像素灰度集合；
计算所述像素灰度集合的灰度子均值，以及所述像素灰度值的灰度总体均值，并以所述灰度子均值为变量计算灰度方差；
分析得到并遍历所述内层缺陷图像的灰度级，求取使所述灰度方差最大的标准灰度级；
根据所述标准灰度级对所述内层缺陷图像执行二值化分割，生成中间内层图像。
3.根据权利要求2所述的显示模组缺陷检测方法，其特征在于，所述方法具体包括：
遍历所述中间内层图像中所有像素，计算得到所述所有像素的融合近似值；
根据所述融合近似值，分析提取所有边缘像素；
根据所述所有边缘像素，对所述中间内层图像进行分割，生成至少一个内层缺陷区。
4.根据权利要求3所述的显示模组缺陷检测方法，其特征在于，所述方法具体包括：
根据预设的离散差分算子，对所述中间内层图像中第一像素，在至少两个方向上做平面卷积，得到至少两个差分近似值；
根据所述至少两个差分近似值，计算融合近似值；
若所述融合近似值大于预设的标准梯度值，则判定所述第一像素为边缘像素。
5.根据权利要求3所述的显示模组缺陷检测方法，其特征在于，所述方法具体包括：
遍历所述所有边缘像素，根据所述边缘像素，以及与所述边缘像素相邻的相邻像素的灰度值，计算得到所述内层缺陷区的所有边缘灰度评价值；
叠加所有所述边缘灰度评价值，计算得到所述内层缺陷区的边缘清晰度值。
6.根据权利要求5所述的显示模组缺陷检测方法，其特征在于，所述方法具体包括：
获取第一边缘像素的第一边缘灰度值，以及与所述第一边缘像素相邻像素的第一相邻灰度值和第二相邻灰度值；其中，所述第一相邻灰度值和第二相邻灰度值所表征的相邻像素，分别位于所述第一边缘像素的不同方向上；
计算所述第一相邻灰度值和所述第一边缘灰度值的差的平方，与所述第二相邻灰度值和所述第一边缘灰度值的差的平方之和，得到第一边缘灰度评价值。
7.根据权利要求1所述的显示模组缺陷检测方法，其特征在于，所述方法还包括：
获取至少一幅表层缺陷特征图和至少一幅内层缺陷特征图，形成缺陷图像训练集合，并对所述缺陷图像训练集合执行预处理；
构建深度卷积神经网络，并对预处理后的缺陷图像训练集合执行训练，生成表层模板图像和内层模板图像至少其中之一作为所述预设模板图像。
8.根据权利要求1所述的显示模组缺陷检测方法，其特征在于，所述方法具体包括：
接收所述检测图像，并调用所述预设模板图像；
对所述检测图像执行行列遍历，计算所述检测图像中的所有前景特征与所述预设模板图像的相似度值；
若所述相似度值符合预设条件，则标记所述相似度值及所述相似度值对应的前景特征在所述检测图像中的位置，并对应生成所述表层缺陷图像和所述内层缺陷图像至少其中之一；
对所述检测图像执行特征过滤，对应生成所述表层缺陷图像和所述内层缺陷图像其中另一。
9.一种显示模组缺陷检测系统，其特征在于，用于执行权利要求1-8任一项所述的显示模组缺陷检测方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如权利要求1-8中任一项所述的显示模组缺陷检测方法的步骤。
CN202111443264.0A 2021-11-30 2021-11-30 显示模组缺陷检测方法、系统及计算机可读存储介质 Pending CN114170168A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111443264.0A CN114170168A (zh) 2021-11-30 2021-11-30 显示模组缺陷检测方法、系统及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111443264.0A CN114170168A (zh) 2021-11-30 2021-11-30 显示模组缺陷检测方法、系统及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN114170168A true CN114170168A (zh) 2022-03-11

Family

ID=80482133

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111443264.0A Pending CN114170168A (zh) 2021-11-30 2021-11-30 显示模组缺陷检测方法、系统及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN114170168A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115049643A (zh) * 2022-08-11 2022-09-13 武汉精立电子技术有限公司 近眼显示模组夹层异物检测方法、装置、设备及存储介质
CN116310424A (zh) * 2023-05-17 2023-06-23 青岛创新奇智科技集团股份有限公司 基于图像识别的设备质量评估方法、装置、终端和介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115049643A (zh) * 2022-08-11 2022-09-13 武汉精立电子技术有限公司 近眼显示模组夹层异物检测方法、装置、设备及存储介质
CN116310424A (zh) * 2023-05-17 2023-06-23 青岛创新奇智科技集团股份有限公司 基于图像识别的设备质量评估方法、装置、终端和介质
CN116310424B (zh) * 2023-05-17 2023-08-18 青岛创新奇智科技集团股份有限公司 基于图像识别的设备质量评估方法、装置、终端和介质

Similar Documents

Publication Publication Date Title
CN109613002B (zh) 一种玻璃缺陷检测方法、装置和存储介质
CN109342456B (zh) 一种焊点缺陷检测方法、装置、设备及可读存储介质
CN113592845A (zh) 一种电池涂布的缺陷检测方法及装置、存储介质
CN107437243B (zh) 基于x光图像的轮胎杂质检测方法及装置
CN111292305A (zh) 一种改进型yolo-v3的金属加工表面缺陷检测方法
US7460732B2 (en) Method and system for object recognition using fractal maps
CN110781885A (zh) 基于图像处理的文本检测方法、装置、介质及电子设备
CN114170168A (zh) 显示模组缺陷检测方法、系统及计算机可读存储介质
JP2013167596A (ja) 欠陥検査装置、欠陥検査方法及びプログラム
JP2011214903A (ja) 外観検査装置、外観検査用識別器の生成装置及び外観検査用識別器生成方法ならびに外観検査用識別器生成用コンピュータプログラム
CN113205063A (zh) 一种输电导线缺陷的视觉识别及定位方法
CN110706224B (zh) 基于暗场图像的光学元件弱划痕检测方法、系统和装置
JP2019061484A (ja) 画像処理装置及びその制御方法及びプログラム
CN116990323B (zh) 一种高精密印刷版视觉检测系统
CN111815564A (zh) 一种检测丝锭的方法、装置及丝锭分拣系统
US7062079B2 (en) Method and system for image segmentation
CN115731228B (zh) 一种镀金芯片缺陷检测系统和方法
CN114359245A (zh) 一种工业场景下产品表面缺陷检测方法
CN115187544A (zh) 基于DR-RSBU-YOLOv5的织物瑕疵检测方法
JP3020973B2 (ja) 画像処理方法
CN116363136B (zh) 一种机动车部件自动化生产在线筛选方法及系统
TWI822968B (zh) 濾色器檢查裝置、檢查裝置、濾色器檢查方法及檢查方法
CN117036314A (zh) 一种高密度柔性ic基板氧化区域检测方法
CN116797602A (zh) 一种用于工业产品检测的表面缺陷鉴定方法和装置
CN116245882A (zh) 电路板电子元件检测方法、装置及计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination