CN111524100A - 一种缺陷图像样本生成方法、装置及面板缺陷检测方法 - Google Patents

一种缺陷图像样本生成方法、装置及面板缺陷检测方法 Download PDF

Info

Publication number
CN111524100A
CN111524100A CN202010275924.8A CN202010275924A CN111524100A CN 111524100 A CN111524100 A CN 111524100A CN 202010275924 A CN202010275924 A CN 202010275924A CN 111524100 A CN111524100 A CN 111524100A
Authority
CN
China
Prior art keywords
defect
image
defect image
gradient map
image sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010275924.8A
Other languages
English (en)
Other versions
CN111524100B (zh
Inventor
袁飞杨
张胜森
马卫飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Jingce Electronic Group Co Ltd
Wuhan Jingli Electronic Technology Co Ltd
Original Assignee
Wuhan Jingce Electronic Group Co Ltd
Wuhan Jingli Electronic Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Jingce Electronic Group Co Ltd, Wuhan Jingli Electronic Technology Co Ltd filed Critical Wuhan Jingce Electronic Group Co Ltd
Priority to CN202010275924.8A priority Critical patent/CN111524100B/zh
Publication of CN111524100A publication Critical patent/CN111524100A/zh
Application granted granted Critical
Publication of CN111524100B publication Critical patent/CN111524100B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0006—Industrial image inspection using a design-rule based approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/181—Segmentation; Edge detection involving edge growing; involving edge linking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种缺陷图像样本处理方法、装置以及面板缺陷检测方法。其中方法包括：在原始缺陷图像样本上提取缺陷特征区域，对其进行纹理抑制获取第一模拟缺陷图像；再从背景图像样本中提取与缺陷特征区域面积大小相等的ROI区域；提取背景纹理特征并将其叠加至第一模拟缺陷图像中获取第二模拟缺陷图像；最后对第二模拟缺陷图像和背景图像样本进行融合生成缺陷图像样本。本发明提出了一种模拟任意场景下合成缺陷图像样本的有效方法，通过背景纹理特征的提取与覆盖方法，使缺陷区域带有现有背景的纹理，像素分布与背景区域更接近，图像更自然；使得所生成的缺陷图像样本能满足深度学习模型训练要求，解决了训练样本不足的问题。

Description

一种缺陷图像样本生成方法、装置及面板缺陷检测方法
技术领域
本发明涉及显示面板自动化缺陷检测的图像数据处理领域，尤其涉及一种缺陷图像样本生成方法及装置。
背景技术
深度学习模型又称神经网络模型是由大量的、简单的处理单元广泛地互相连接而形成的高度复杂的非线性动力学习系统。目前，已经可以通过采用训练数据进行模型训练，以得到具有特定功能的深度学习数据模型。特别是，针对特定显示面板自动化缺陷检测场景的缺陷识别或检测需求，可以基于训练样本采用相应的算法进行深度学习模型训练，以构建特定检测场景的缺陷区域识别或检测模型。因此，在基于深度学习的面板缺陷检测中，足够数量和质量的缺陷图像样本至关重要。然而在一些情况下，由于检测场景无法获得大量带有缺陷的负例图像样本，只有带有背景的正例图像样本，这样训练的深度学习模型无法有效的检测缺陷区域。
因此，需要通过合成方法获得带有缺陷的负例图像样本。传统方法是直接截取现有缺陷图像的缺陷区域，再提取其中的灰阶差值矩阵并叠加到背景图像中，但将缺陷图像与背景区域直接简单叠加合成的图像缺陷区域与背景区域的交界处非常明显，模拟缺陷图像样本的缺陷边缘过渡不够自然，此外缺陷图像未经过去纹理、覆盖背景纹理的处理，会使模拟样本缺陷区域像素与背景部分分布差异过大，使得图像整体效果不够真实，达不到深度学习的训练要求。因此亟待设计出一种生成更接近真实缺陷图像样本的工作方案。
发明内容
有鉴于此，本发明提供一种缺陷图像样本处理方法及装置。其中，本发明一种模拟任意场景下合成缺陷图像样本的有效方法，将现有背景纹理特征的提取，覆盖至缺陷区域，使其带有背景的纹理。不仅如此，本发明同时设计了缺陷图像纹理抑制使缺陷与背景的像素分布保持一致，并基于泊松融合的原理将缺陷样本与背景图像样本自然的融合一体，可以最大程度的模拟真实的缺陷图像样本。所生成的缺陷图像样本能够满足该场景下的深度学习模型训练要求，解决了训练样本不足的问题。此外，本发明基于上述方法还提出了一种面板缺陷检测方法，该方法可以利用缺陷图像样本集得到缺陷区域识别模型，来满足显示面板缺陷区域识别的检测需求，其检测方法实时、智能、检测精确高。
为实现上述目的，本发明第一方面提供一种缺陷图像样本生成方法，包括：
在采集的原始缺陷图像样本上提取单个缺陷特征区域，对所述缺陷特征区域进行纹理抑制，剔除噪声以获取第一模拟缺陷图像；
从背景图像样本中提取与所述单个缺陷特征区域面积大小相等的ROI区域；提取所述ROI区域的背景纹理特征，将所述背景纹理特征叠加至所述第一模拟缺陷图像中，以获取第二模拟缺陷图像；
基于泊松融合对所述第二模拟缺陷图像和背景图像样本进行融合，以生成缺陷图像样本。
优选地，所述提取所述ROI区域的背景纹理特征，将所述背景纹理特征叠加至所述第一模拟缺陷图像中，以获取第二模拟缺陷图像包括：
计算ROI区域的平均灰度值矩阵；
提取ROI区域中所有像素点的灰度值矩阵；
将所有像素点的灰度值矩阵与平均灰度值矩阵相减输出灰度差值矩阵；
将灰度差值矩阵与第一模拟缺陷图像的像素点值矩阵叠加生成第二模拟缺陷图像。
优选地，所述基于泊松融合对所述第二模拟缺陷图像和背景图像样本进行融合，以生成缺陷图像样本包括：
获取所述第二模拟缺陷图像的水平方向梯度图和垂直方向梯度图；
获取所述背景图像样本的水平方向梯度图和垂直方向梯度图；
将所述第二模拟缺陷图像的水平方向梯度图和垂直方向梯度图与所述背景图像样本的水平方向梯度图和垂直方向梯度图分别进行合成，获得合成图像水平方向梯度图和合成图像垂直方向梯度图；
根据所述合成图像水平方向梯度图和所述合成图像垂直方向梯度图获得缺陷图像散度图，并利用散度图对确定的重建区域进行泊松重建。
优选地，将所述第二模拟缺陷图像的水平方向梯度图和垂直方向梯度图与所述背景图像样本的水平方向梯度图和垂直方向梯度图分别进行融合包括：
利用所述第二模拟缺陷图像水平梯度图代替所述背景图像样本的水平方向梯度图中的ROI区域部分，利用所述第二模拟缺陷图像垂直梯度图代替背景图像样本的垂直方向梯度图中的ROI区域部分。
优选地，所述根据所述合成图像水平方向梯度图和所述合成图像垂直方向梯度图获得缺陷图像散度图包括：
利用水平方向卷积核对合成图像水平方向梯度图进行卷积，获得卷积后的合成图像水平方向梯度图；
利用垂直方向卷积核对合成图像垂直方向梯度图进行卷积，获得卷积后的合成图像垂直方向梯度图；
将所述卷积后的合成图像水平方向梯度图与卷积后的合成图像垂直方向梯度图进行叠加，获得缺陷图像散度图。
优选地，所述并利用散度图对与所述ROI区域对应的重建区域进行泊松重建包括：
在所述缺陷图像散度图中提取与所述ROI区域对应的重建区域；提取所述重建区域的散度矩阵和区域边缘的像素点值，构建泊松方程；
结合所述区域边缘的像素点值对所述重建区域中的所有像素点值进行求解，根据所述所有像素点值合成缺陷图像样本。
优选地，所述重建区域包括所述ROI区域，且所述重建区域图像面积大于或者等于所述ROI区域。
本发明第二方面提供一种面板缺陷检测方法，包括：
采用如上述方法获取缺陷图像样本集；
基于深度学习构建缺陷区域识别模型，利用所述缺陷图像样本集训练缺陷区域识别模型；
使用训练后的缺陷区域识别模型识别待检测的显示面板，获取显示面板缺陷检测结果。
本发明第三方面提供一种缺陷图像样本生成装置，包括：
第一处理模块，用于对采集的原始缺陷图像样本上提取单个缺陷特征区域，对所述缺陷特征区域进行纹理抑制，剔除噪声以获取第一模拟缺陷图像；
第二处理模块，用于从背景图像样本中提取与所述单个缺陷特征区域面积大小相等的ROI区域；提取所述ROI区域的背景纹理特征，将所述背景纹理特征叠加至所述第一模拟缺陷图像中，以获取第二模拟缺陷图像；
第三处理模块，用于基于泊松融合对所述第二模拟缺陷图像和背景图像样本进行融合，以生成缺陷图像样本。
本发明第四方面提供一种计算机可读介质，其特征在于，其存储电子设备执行的计算机程序，当所述计算机程序在电子设备上运行时，使得所述电子设备执行上述方法。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，具有以下有益效果：
1)本发明提出了一种模拟任意场景下合成缺陷图像样本的有效方法，本发明设计了现有背景纹理特征的提取与覆盖方法，使缺陷区域带有现有背景的纹理，像素分布与背景区域更接近，图像更自然；
2)本发明在保留原始视觉缺陷特征时，针对原始缺陷图像样本中存在的原始背景纹理特征和噪声区域，设计了对应的纹理抑制方法，使缺陷区域的视觉缺陷特征更加突出，融合成图效果更好；
3)本发明基于泊松融合原理，有效的解决了传统方法中图像样本中缺陷区域与背景区域边缘过渡不自然的问题，较好的提高了模拟的缺陷图像样本真实性；只需要现有缺陷图像样本与背景图像，无需其他条件，即可快速生成样本，节省了人力与设备成本且图像精度高；
4)本发明基于上述方法还提出了一种面板缺陷检测方法，该方法可以利用缺陷图像样本集得到缺陷区域识别模型，来满足显示面板缺陷区域识别的检测需求，其检测方法实时、智能、检测精确高。
5)本发明基于上述方法还提出了相应的缺陷图像样本生成装置及计算机可读介质，可以执行上述方法最大程度的模拟真实的缺陷图像样本，使得所生成的缺陷图像样本能够满足该场景下的深度学习模型训练要求，解决了训练样本不足的问题。
附图说明
图1为按照现有方法实现的缺陷图像样本的示例图；
图2为按照现有方法实现的缺陷图像样本的流程示意图；
图3为按照本发明实现的缺陷图像样本生成方法的流程示意图；
图4为按照本发明实现的缺陷图像样本生成方法中背景纹理特征叠加的流程示意图；
图5为按照本发明实现的缺陷图像样本生成方法中提取的ROI区域背景纹理特征的示例图；
图6为按照本发明实现的缺陷图像样本生成方法中在原始缺陷图像样本上提取单个缺陷特征区域的流程示例图；
图7为按照本发明实现的缺陷图像样本生成方法中获得合成图像水平方向梯度图和合成图像垂直方向梯度图的流程示例图；
图8为按照本发明实现的缺陷图像样本生成方法中确定的重建区域进行泊松重建的流程示例图；
图9为按照本发明实现的缺陷图像样本的示例图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
需要说明的是，本发明涉及的术语“第一\第二”仅仅是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二”在允许的情况下可以互换特定的顺序或先后次序。应该理解“第一\第二”区分的对象在适当情况下可以互换，以使这里描述的本发明的实施例能够以除了在这里描述或图示的那些以外的顺序实施。
众所周知，在基于深度学习的面板缺陷区域检测中，在某些情况某个检测场景下无法获得大量带有缺陷的负例样本，现有技术方法是直接截取现有缺陷图像样本中的缺陷区域，提取其中的灰阶差值矩阵并叠加至背景图像中；具体方法包括缺陷提取、生成mask、背景预处理、图像叠加和生成样本五个步骤，如图2所示。最终生成的效果图如图1所示，可以看到缺陷与背景的交界处明显，达不到深度学习模型训练的要求。本发明针对这些不足进行了改进，有效的满足了处理后缺陷图像样本的需求。
根据本发明一种实施例，如图3所示，提供一种缺陷图像样本生成方法，用于处理一个或多个原始缺陷图像样本，原始缺陷图像样本至少包括一个缺陷特征区域，包括：在采集的原始缺陷图像样本上提取单个缺陷特征区域，对缺陷特征区域进行纹理抑制，剔除噪声以获取第一模拟缺陷图像；从背景图像样本中提取与单个缺陷特征区域面积大小相等的ROI区域；提取ROI区域的背景纹理特征，将背景纹理特征叠加至第一模拟缺陷图像中，以获取第二模拟缺陷图像；基于泊松融合对第二模拟缺陷图像和背景图像样本进行融合，以生成缺陷图像样本。
进一步地，如图4所示，提取ROI区域的背景纹理特征，将背景纹理特征叠加至第一模拟缺陷图像中，以获取第二模拟缺陷图像包括：计算ROI区域的平均灰度值矩阵；提取ROI区域中所有像素点的灰度值矩阵；将所有像素点的灰度值矩阵与平均灰度值矩阵相减输出灰度差值矩阵，即为ROI区域背景纹理特征，如图5所示；将灰度差值矩阵与第一模拟缺陷图像的像素点值矩阵叠加生成第二模拟缺陷图像。
进一步地，基于泊松融合对第二模拟缺陷图像和背景图像样本进行融合编辑，以获取缺陷图像样本包括：采用向量为[-1,1,0]和[-1,1,0]T的卷积核对第二模拟缺陷图像进行卷积，获取第二模拟缺陷图像的水平方向梯度图和垂直方向梯度图；再采用向量为[-1,1,0]和[-1,1,0]T的卷积核对背景图像样本进行卷积，获取背景图像样本的水平方向梯度图和垂直方向梯度图；将第二模拟缺陷图像的水平方向梯度图和垂直方向梯度图与背景图像样本的水平方向梯度图和垂直方向梯度图分别进行合成，获得合成图像水平方向梯度图和合成图像垂直方向梯度图；根据合成图像水平方向梯度图和合成图像垂直方向梯度图获得缺陷图像散度图，并利用散度图对与ROI区域对应的重建区域进行泊松重建。
进一步地，将第二模拟缺陷图像的水平方向梯度图和垂直方向梯度图与背景图像样本的水平方向梯度图和垂直方向梯度图分别进行融合包括：如图7所示，利用原始缺陷图像样本获取图像融合位置信息；根据图像融合位置信息利用第二模拟缺陷图像水平梯度图直接取代背景图像样本的水平方向梯度图的对应区域部分；同样根据图像融合位置信息利用第二模拟缺陷图像垂直梯度图直接取代背景图像样本的垂直方向梯度图的对应区域部分。
进一步地，根据合成图像水平方向梯度图和合成图像垂直方向梯度图获得缺陷图像散度图包括：利用向量为[-1,1,0]水平方向卷积核对合成图像水平方向梯度图进行卷积，获得卷积后的合成图像水平方向梯度图；利用向量为[-1,1,0]T垂直方向卷积核对合成图像垂直方向梯度图进行卷积，获得卷积后的合成图像垂直方向梯度图；将卷积后的合成图像水平方向梯度图与卷积后的合成图像垂直方向梯度图进行叠加，获得缺陷图像散度图。
进一步地，并利用散度图对与ROI区域对应的重建区域进行泊松重建包括：如图8所示，在缺陷图像散度图中提取与ROI区域对应的重建区域；提取重建区域的散度矩阵和区域边缘的像素点值，通过拉普拉斯卷积核对散度矩阵进行卷积，构建泊松方程；结合区域边缘的像素点值对重建区域中的所有像素点值进行求解，根据所有像素点值合成缺陷图像样本，最终合成的缺陷图像样本如图9所示。
其中，重建区域包括第二模拟缺陷图像嵌入区域，且重建区域图像面积大于第二模拟缺陷图像。
根据本发明一种具体实施例，如图3所示，提供一种缺陷图像样本生成方法，用于处理一个或多个原始缺陷图像样本，原始缺陷图像样本至少包括一个缺陷特征区域，具体方法包括：
步骤1：在采集的原始缺陷图像样本上提取单个缺陷特征区域，对缺陷特征区域进行纹理抑制，剔除噪音以获取第一模拟缺陷图像；
进一步地，步骤1中，对原始缺陷图像样本上提取单个缺陷特征区域就是裁剪为仅含有缺陷特征区域的小图，在对仅含有缺陷特征区域的小图采用中值滤波的方法，根据缺陷特征区域的大小设置滤波的卷积核尺寸从而调节抑制强度；同时采取多个中值滤波连续执行的方法，具体执行次数根据纹理强度而定。
步骤2：从背景图像样本中提取与单个缺陷特征区域面积大小相等的ROI区域；提取ROI区域的背景纹理特征，将背景纹理特征叠加至第一模拟缺陷图像中，以获取第二模拟缺陷图像；
进一步地，步骤2中，考虑到需要在第一模拟缺陷图像(含有缺陷特征区域的小图)中加入背景图像样本的像素分布特点，让融合更加自然。其中，将背景纹理特征映射至第一模拟缺陷图像中，主要采取在含有缺陷特征区域的小图中叠加背景纹理，如图4所示，其具体方法包括：
步骤2-1：在背景图像样本中指定区域内选取一块与第一模拟缺陷图像(含有缺陷特征区域的小图)尺寸相同的ROI区域；
更进一步地，步骤2-1中，在背景图像样本中指定区域内可以依照原始缺陷图像样本上的缺陷特征区域确定图像融合位置信息来选取一块ROI；或者可以在指定区域内随机选取一块ROI区域。
步骤2-2：提取ROI区域的背景纹理特征；
具体获得背景纹理特征的方式为：提取ROI区域中所有像素点的灰度值矩阵，计算该ROI区域的平均灰度值，将灰度值矩阵中的每个像素点与平均灰度值做差，获得灰度差值矩阵，将该灰度差值矩阵作为背景纹理特征，形成的背景纹理特征如图5所示。
步骤2-3：将背景纹理特征融合至第一模拟缺陷图像中，以获取第二模拟缺陷图像；
具体的融合方法为，将灰度差值矩阵与第一模拟缺陷图像的像素点灰度矩阵相加输出第二模拟缺陷图像。
步骤3：基于泊松融合对第二模拟缺陷图像和背景图像样本进行融合，以获取缺陷图像样本。
进一步地，步骤3中，将处理后的第二模拟缺陷图像与原始缺陷图像样本上的缺陷特征区域相同的区域进行泊松融合。如图7所示，首先分别用[-1,1,0]和[-1,1,0]T的卷积核对第二模拟缺陷图像和背景图像样本卷积，得到第二模拟缺陷图像水平和垂直两个方向的像素梯度图以及背景图像样本的水平和垂直两个方向的梯度图。分别将第二模拟缺陷图像水平和垂直方向的像素梯度图与背景图像样本的水平和垂直两个方向的梯度图进行合成，分别得到合成图像水平方向梯度图和合成图像垂直方向梯度图，具体的合成方法为利用第二模拟缺陷图像水平梯度图直接取代背景图像样本的水平方向梯度图的对应区域部分，利用第二模拟缺陷图像垂直梯度图直接取代背景图像样本的垂直方向梯度图的对应区域部分。需要说明的是，在获得背景图像的水平方向梯度图和垂直方向梯度图时，背景图像中的ROI区域可以不需要获得相应的梯度图。此外，图7中箭头表示方向，合成梯度图过程中包括水平和垂直两个方向，此处将两个方向合于一体。
再次使用卷积核[-1,1,0]对合成图像水平方向梯度图进行卷积，得到卷积后的合成图像水平方向梯度图，利用卷积核[-1,1,0]T对合成图像垂直梯度图进行卷积，得到卷积后的合成图像垂直方向梯度图，将卷积后的水平图像梯度图和卷积后的垂直图像梯度图进行叠加得到散度图。再在散度图中选取包含了第二模拟缺陷图像的区域，如图8所示，对区域中的像素进行泊松方程求解，得到最终的合成图。其具体方法包括：
步骤3-1：梯度图合成
步骤3-1-1：采用向量为[-1,1,0]和[-1,1,0]T的卷积核对第二模拟缺陷图像进行卷积，获取第二模拟缺陷图像的水平方向梯度图和垂直方向梯度图；
步骤3-1-2：采用向量为[-1,1,0]和[-1,1,0]T的卷积核对背景图像样本进行卷积，获取背景图像样本的水平方向梯度图和垂直方向梯度图；
步骤3-1-3：利用原始缺陷图像样本获取图像融合位置信息；
步骤3-1-4：根据图像融合位置信息利用第二模拟缺陷图像水平梯度图直接取代背景图像样本的水平方向梯度图的对应区域部分；
步骤3-1-5：根据图像融合位置信息利用第二模拟缺陷图像垂直梯度图直接取代背景图像样本的垂直方向梯度图的对应区域部分。
步骤3-2：散度图合成
步骤3-2-1：利用向量为[-1,1,0]水平方向卷积核对合成图像水平方向梯度图进行卷积，获得卷积后的合成图像水平方向梯度图；
步骤3-2-2：利用向量为[-1,1,0]T垂直方向卷积核对合成图像垂直方向梯度图进行卷积，获得卷积后的合成图像垂直方向梯度图；
步骤3-2-3：将卷积后的合成图像水平方向梯度图与卷积后的合成图像垂直方向梯度图进行叠加，获得缺陷图像散度图。
步骤3-3：泊松融合
步骤3-3-1：如图8所示，在缺陷图像散度图中提取与ROI区域对应的重建区域；步骤3-3-2：提取重建区域的散度矩阵和区域边缘的像素点值，图8中方框区域为选取的重建区域；
步骤3-3-3：通过拉普拉斯卷积核对散度矩阵进行卷积，构建泊松方程；
步骤3-3-4：结合区域边缘的像素点值对融合区域中的所有像素点值进行求解，根据所有像素点值合成缺陷图像样本，如图9所示；
更进一步地，泊松融合主要基于泊松重建方程。例如有一张4*4的图像，X＝
Figure BDA0002444778250000081
通过拉普拉斯卷积核
Figure BDA0002444778250000082
卷积有如下方程：
x2+x5+x7+x10-4x6＝div(x6)
x3+x6+x8+x11-4x7＝div(x7)
x6+x9+x11+x14-4x10＝div(x10)
x7+x10+x12+x15-4x11＝div(x11)
其中div(x6),div(x7),div(x10),div(x11)和区域边缘的像素点值已知，则4个方程可以求出x6,x7,x10,x114个未知数的值，也就是内部像素值。
根据上述的实施例提供一种面板缺陷检测方法，包括：采用如上述的方法获取缺陷图像样本集；基于深度学习构建缺陷区域识别模型，利用缺陷图像样本集训练缺陷区域识别模型；使用训练后的缺陷区域识别模型识别待检测的显示面板，获取显示面板检测结果。
本发明提供的一种缺陷图像样本生成方法，可以通过现有背景纹理特征的提取，覆盖至缺陷区域，再基于泊松融合的原理将缺陷样本与背景图像样本自然的融合一体，可以最大程度的模拟真实的缺陷图像样本。所生成的缺陷图像样本能够满足该场景下的深度学习模型训练要求，解决了训练样本不足的问题。以下建立了该方法的运行装置和计算机可读介质，可以有效执行该方法。本发明一实施例提供一种缺陷图像样本生成装置，包括：
第一处理模块，用于对采集的原始缺陷图像样本上提取单个缺陷特征区域，对缺陷特征区域进行纹理抑制，剔除噪音以获取第一模拟缺陷图像；
第二处理模块，用于裁剪背景图像样本，提取与第一模拟缺陷图像面积大小相等的ROI区域；并提取ROI的背景纹理特征，将背景纹理特征映射至第一模拟缺陷图像中，以获取第二模拟缺陷图像；
第三处理模块，用于基于泊松融合对第二模拟缺陷图像和背景图像样本进行融合编辑，以获取缺陷图像样本。
进一步地，第二处理模块包括：
纹理特征提取模块，用于计算ROI区域的平均灰度值矩阵；提取ROI区域中所有像素点的灰度值矩阵；将所有像素点的灰度值矩阵与平均灰度值矩阵相减输出灰度差值矩阵；
纹理特征叠加模块，用于将灰度差值矩阵与第一模拟缺陷图像的像素点值矩阵叠加生成第二模拟缺陷图像。
进一步地，第三处理模块包括：
梯度图合成模块，用于分别采用向量为[-1,1,0]和[-1,1,0]T的卷积核对第二模拟缺陷图像和背景图像样本进行卷积，构建二者在水平、垂直方向的像素梯度图；根据图像融合位置信息将第二模拟缺陷图像梯度图嵌入至背景图像样本梯度图中，获取缺陷图像合成梯度图；
散度图合成模块，用于分别采用向量为[-1,1,0]和[-1,1,0]T的卷积核对缺陷图像合成梯度图进行卷积，将堆卷积处理后的图像进行堆叠以获取缺陷图像散度图；
泊松融合模块，用于在缺陷图像散度图中提取融合区域；通过拉普拉斯卷积核对融合区域的散度矩阵进行卷积，构建泊松方程；结合区域边缘的像素点值对融合区域中的所有像素点值进行求解，根据所有像素点值合成缺陷图像样本。
发明另一实施例提供一种计算机可读介质，其存储电子设备执行的计算机程序，当计算机程序在电子设备上运行时，使得电子设备执行上述缺陷图像样本生成方法。
应当理解，本发明的方法、流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。本发明的范围由所附权利要求及其等同限定。

Claims (10)

1.一种缺陷图像样本生成方法，其特征在于，包括：
在采集的原始缺陷图像样本上提取单个缺陷特征区域，对所述缺陷特征区域进行纹理抑制，剔除噪声以获取第一模拟缺陷图像；
从背景图像样本中提取与所述单个缺陷特征区域面积大小相等的ROI区域；提取所述ROI区域的背景纹理特征，将所述背景纹理特征叠加至所述第一模拟缺陷图像中，以获取第二模拟缺陷图像；
基于泊松融合对所述第二模拟缺陷图像和背景图像样本进行融合，以生成缺陷图像样本。
2.根据权利要求1所述的缺陷图像样本生成方法，其特征在于，所述提取所述ROI区域的背景纹理特征，将所述背景纹理特征叠加至所述第一模拟缺陷图像中，以获取第二模拟缺陷图像包括：
计算ROI区域的平均灰度值矩阵；
提取ROI区域中所有像素点的灰度值矩阵；
将所有像素点的灰度值矩阵与平均灰度值矩阵相减输出灰度差值矩阵；
将灰度差值矩阵与第一模拟缺陷图像的像素点值矩阵叠加生成第二模拟缺陷图像。
3.根据权利要求1所述的缺陷图像样本生成方法，其特征在于，所述基于泊松融合对所述第二模拟缺陷图像和背景图像样本进行融合，以生成缺陷图像样本包括：
获取所述第二模拟缺陷图像的水平方向梯度图和垂直方向梯度图；
获取所述背景图像样本的水平方向梯度图和垂直方向梯度图；
将所述第二模拟缺陷图像的水平方向梯度图和垂直方向梯度图与所述背景图像样本的水平方向梯度图和垂直方向梯度图分别进行合成，获得合成图像水平方向梯度图和合成图像垂直方向梯度图；
根据所述合成图像水平方向梯度图和所述合成图像垂直方向梯度图获得缺陷图像散度图，并利用散度图对确定的重建区域进行泊松重建。
4.根据权利要求3所述的缺陷图像样本生成方法，其特征在于，将所述第二模拟缺陷图像的水平方向梯度图和垂直方向梯度图与所述背景图像样本的水平方向梯度图和垂直方向梯度图分别进行融合包括：
利用所述第二模拟缺陷图像水平梯度图代替所述背景图像样本的水平方向梯度图中的ROI区域部分，利用所述第二模拟缺陷图像垂直梯度图代替背景图像样本的垂直方向梯度图中的ROI区域部分。
5.根据权利要求2所述的缺陷图像样本生成方法，其特征在于，所述根据所述合成图像水平方向梯度图和所述合成图像垂直方向梯度图获得缺陷图像散度图包括：
利用水平方向卷积核对合成图像水平方向梯度图进行卷积，获得卷积后的合成图像水平方向梯度图；
利用垂直方向卷积核对合成图像垂直方向梯度图进行卷积，获得卷积后的合成图像垂直方向梯度图；
将所述卷积后的合成图像水平方向梯度图与卷积后的合成图像垂直方向梯度图进行叠加，获得缺陷图像散度图。
6.根据权利要求3所述的缺陷图像样本生成方法，其特征在于，所述并利用散度图对与所述ROI区域对应的重建区域进行泊松重建包括：
在所述缺陷图像散度图中提取与所述ROI区域对应的重建区域；提取所述重建区域的散度矩阵和区域边缘的像素点值，构建泊松方程；
结合所述区域边缘的像素点值对所述重建区域中的所有像素点值进行求解，根据所述所有像素点值合成缺陷图像样本。
7.根据权利要求2所述的缺陷图像样本生成方法，其特征在于，所述重建区域包括所述ROI区域，且所述重建区域图像面积大于或者等于所述ROI区域。
8.一种面板缺陷检测方法，其特征在于，包括：
采用如权利要求1至7任一项所述的方法获取缺陷图像样本集；
基于深度学习构建缺陷区域识别模型，利用所述缺陷图像样本集训练缺陷区域识别模型；
使用训练后的缺陷区域识别模型识别待检测的显示面板，获取显示面板缺陷检测结果。
9.一种缺陷图像样本生成装置，其特征在于，包括：
第一处理模块，用于对采集的原始缺陷图像样本上提取单个缺陷特征区域，对所述缺陷特征区域进行纹理抑制，剔除噪声以获取第一模拟缺陷图像；
第二处理模块，用于从背景图像样本中提取与所述单个缺陷特征区域面积大小相等的ROI区域；提取所述ROI区域的背景纹理特征，将所述背景纹理特征叠加至所述第一模拟缺陷图像中，以获取第二模拟缺陷图像；
第三处理模块，用于基于泊松融合对所述第二模拟缺陷图像和背景图像样本进行融合，以生成缺陷图像样本。
10.一种计算机可读介质，其特征在于，其存储电子设备执行的计算机程序，当所述计算机程序在电子设备上运行时，使得所述电子设备执行如权利要求1至8任一项所述的方法。
CN202010275924.8A 2020-04-09 2020-04-09 一种缺陷图像样本生成方法、装置及面板缺陷检测方法 Active CN111524100B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010275924.8A CN111524100B (zh) 2020-04-09 2020-04-09 一种缺陷图像样本生成方法、装置及面板缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010275924.8A CN111524100B (zh) 2020-04-09 2020-04-09 一种缺陷图像样本生成方法、装置及面板缺陷检测方法

Publications (2)

Publication Number Publication Date
CN111524100A true CN111524100A (zh) 2020-08-11
CN111524100B CN111524100B (zh) 2023-04-18

Family

ID=71911279

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010275924.8A Active CN111524100B (zh) 2020-04-09 2020-04-09 一种缺陷图像样本生成方法、装置及面板缺陷检测方法

Country Status (1)

Country Link
CN (1) CN111524100B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112862826A (zh) * 2021-04-26 2021-05-28 聚时科技(江苏)有限公司 一种表面缺陷检测任务的正常样本无损生成方法
CN113077454A (zh) * 2021-04-19 2021-07-06 凌云光技术股份有限公司 一种图像缺陷拟合方法、系统和存储介质
CN113642597A (zh) * 2021-06-23 2021-11-12 北京航空航天大学 固体火箭发动机衬层缺陷图像数据集自制方法
CN113658167A (zh) * 2021-08-24 2021-11-16 凌云光技术股份有限公司 一种含缺陷的训练图像生成方法及装置
CN114155244A (zh) * 2022-02-10 2022-03-08 北京阿丘科技有限公司 缺陷检测方法、装置、设备及存储介质
CN114445309A (zh) * 2020-10-20 2022-05-06 斗山重工业建设有限公司 深度学习用缺陷图像生成方法以及用于深度学习用缺陷图像生成方法的系统
CN115222737A (zh) * 2022-09-20 2022-10-21 中科视语(北京)科技有限公司 超晶板底漆检测方法、装置、电子设备及存储介质
CN115424128A (zh) * 2022-09-30 2022-12-02 哈尔滨市科佳通用机电股份有限公司 一种货车转向架下拉杆故障图像检测方法及系统

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7605821B1 (en) * 2005-09-29 2009-10-20 Adobe Systems Incorporated Poisson image-editing technique that matches texture contrast
US20130127903A1 (en) * 2009-02-26 2013-05-23 Sylvain Paris System and Method for Reducing the Appearance of Residuals in Gradient-Based Image Compositing
CN104063888A (zh) * 2014-06-19 2014-09-24 云南大学 一种基于非真实感的波谱艺术风格绘制方法
CN105096287A (zh) * 2015-08-11 2015-11-25 电子科技大学 一种改进的多次泊松图像融合方法
CN107767411A (zh) * 2017-11-24 2018-03-06 河南理工大学 一种基于样图的纹理合成方法
CN108932735A (zh) * 2018-07-10 2018-12-04 广州众聚智能科技有限公司 一种生成深度学习样本的方法
US20190080484A1 (en) * 2017-09-11 2019-03-14 Autodesk, Inc. Method and apparatus for a seamless texture unit generator
CN110163285A (zh) * 2019-05-23 2019-08-23 阳光保险集团股份有限公司 票证识别训练样本合成方法和计算机存储介质
CN110288614A (zh) * 2019-06-24 2019-09-27 睿魔智能科技(杭州)有限公司 图像处理方法、装置、设备及存储介质
CN110334612A (zh) * 2019-06-19 2019-10-15 上海交通大学 具有自学习能力的电力巡检图像目标检测方法
CN110390657A (zh) * 2018-04-20 2019-10-29 北京中科晶上超媒体信息技术有限公司 一种图像融合方法
CN110889824A (zh) * 2019-10-12 2020-03-17 北京海益同展信息科技有限公司 一种样本生成方法、装置、电子设备及计算机可读存储介质

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7605821B1 (en) * 2005-09-29 2009-10-20 Adobe Systems Incorporated Poisson image-editing technique that matches texture contrast
US20130127903A1 (en) * 2009-02-26 2013-05-23 Sylvain Paris System and Method for Reducing the Appearance of Residuals in Gradient-Based Image Compositing
CN104063888A (zh) * 2014-06-19 2014-09-24 云南大学 一种基于非真实感的波谱艺术风格绘制方法
CN105096287A (zh) * 2015-08-11 2015-11-25 电子科技大学 一种改进的多次泊松图像融合方法
US20190080484A1 (en) * 2017-09-11 2019-03-14 Autodesk, Inc. Method and apparatus for a seamless texture unit generator
CN107767411A (zh) * 2017-11-24 2018-03-06 河南理工大学 一种基于样图的纹理合成方法
CN110390657A (zh) * 2018-04-20 2019-10-29 北京中科晶上超媒体信息技术有限公司 一种图像融合方法
CN108932735A (zh) * 2018-07-10 2018-12-04 广州众聚智能科技有限公司 一种生成深度学习样本的方法
CN110163285A (zh) * 2019-05-23 2019-08-23 阳光保险集团股份有限公司 票证识别训练样本合成方法和计算机存储介质
CN110334612A (zh) * 2019-06-19 2019-10-15 上海交通大学 具有自学习能力的电力巡检图像目标检测方法
CN110288614A (zh) * 2019-06-24 2019-09-27 睿魔智能科技(杭州)有限公司 图像处理方法、装置、设备及存储介质
CN110889824A (zh) * 2019-10-12 2020-03-17 北京海益同展信息科技有限公司 一种样本生成方法、装置、电子设备及计算机可读存储介质

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
SHI JINTAO 等: "Data Expansion for Foreign Object Detection in Power Grid", 《2019 IEEE PES ASIA-PACIFIC POWER AND ENERGY ENGINEERING CONFERENCE (APPEEC)》 *
XINLI CHEN 等: "Detection of Weak Defects in Weld Joints Based on Poisson Fusion and Deep Learning", 《CYBERDI 2019, CYBERLIFE 2019: CYBERSPACE DATA AND INTELLIGENCE, AND CYBER-LIVING, SYNDROME, AND HEALTH》 *
史晋涛 等: "基于样本扩充的Faster R-CNN电网异物监测技术" *
史晋涛等: "基于样本扩充的Faster R-CNN电网异物监测技术", 《电网技术》 *
黄寅: "基于深度学习网络模型与大数据自动训练的工件缺陷识别算法研究", 《齐齐哈尔大学学报(自然科学版)》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114445309A (zh) * 2020-10-20 2022-05-06 斗山重工业建设有限公司 深度学习用缺陷图像生成方法以及用于深度学习用缺陷图像生成方法的系统
CN113077454A (zh) * 2021-04-19 2021-07-06 凌云光技术股份有限公司 一种图像缺陷拟合方法、系统和存储介质
CN112862826A (zh) * 2021-04-26 2021-05-28 聚时科技(江苏)有限公司 一种表面缺陷检测任务的正常样本无损生成方法
CN112862826B (zh) * 2021-04-26 2021-07-30 聚时科技(江苏)有限公司 一种表面缺陷检测任务的正常样本无损生成方法
CN113642597A (zh) * 2021-06-23 2021-11-12 北京航空航天大学 固体火箭发动机衬层缺陷图像数据集自制方法
CN113658167A (zh) * 2021-08-24 2021-11-16 凌云光技术股份有限公司 一种含缺陷的训练图像生成方法及装置
CN113658167B (zh) * 2021-08-24 2024-03-26 凌云光技术股份有限公司 一种含缺陷的训练图像生成方法及装置
CN114155244A (zh) * 2022-02-10 2022-03-08 北京阿丘科技有限公司 缺陷检测方法、装置、设备及存储介质
CN115222737A (zh) * 2022-09-20 2022-10-21 中科视语(北京)科技有限公司 超晶板底漆检测方法、装置、电子设备及存储介质
CN115424128A (zh) * 2022-09-30 2022-12-02 哈尔滨市科佳通用机电股份有限公司 一种货车转向架下拉杆故障图像检测方法及系统

Also Published As

Publication number Publication date
CN111524100B (zh) 2023-04-18

Similar Documents

Publication Publication Date Title
CN111524100B (zh) 一种缺陷图像样本生成方法、装置及面板缺陷检测方法
CN109615611B (zh) 一种基于巡检影像的绝缘子自爆缺陷检测方法
Sieberth et al. Automatic detection of blurred images in UAV image sets
CN108154105B (zh) 水下生物检测与识别方法、装置、服务器及终端设备
Abdollahi et al. Improving road semantic segmentation using generative adversarial network
CN110033475B (zh) 一种高分辨率纹理生成的航拍图运动物体检测与消除方法
CN111738045B (zh) 一种图像检测方法、装置、电子设备及存储介质
CN110276831B (zh) 三维模型的建构方法和装置、设备、计算机可读存储介质
CN111179196B (zh) 一种基于分而治之的多分辨率深度网络图像去高光方法
JP6914734B2 (ja) シルエット抽出装置、方法およびプログラム
CN111612886B (zh) 室内三维模型生成方法及系统
CN114972646B (zh) 一种实景三维模型独立地物的提取与修饰方法及系统
CN112819726A (zh) 一种光场渲染伪影去除方法
WO2020020445A1 (en) A method and a system for processing images to obtain foggy images
CN117315210B (zh) 一种基于立体成像的图像虚化方法及相关装置
CN114612352A (zh) 多聚焦图像融合方法、存储介质和计算机
Hua et al. Background extraction using random walk image fusion
CN113792600A (zh) 一种基于深度学习的视频抽帧方法和系统
Chien et al. Detecting nonexistent pedestrians
CN114529689B (zh) 基于对抗神经网络的陶瓷杯缺陷样本扩增方法及系统
CN114862695A (zh) 一种基于场景深度的单图像去雨雾方法、设备及存储介质
CN114219757A (zh) 一种基于改进Mask R-CNN的车辆智能定损方法
CN116415019A (zh) 虚拟现实vr图像识别方法及装置、电子设备、存储介质
Onmek et al. Evaluation of underwater 3D reconstruction methods for Archaeological Objects: Case study of Anchor at Mediterranean Sea
CN117252834A (zh) 一种配电网巡检数据对抗扩充方法、系统、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant