CN110378887A - 屏幕缺陷检测方法、装置及系统、计算机设备及介质 - Google Patents

屏幕缺陷检测方法、装置及系统、计算机设备及介质 Download PDF

Info

Publication number
CN110378887A
CN110378887A CN201910660118.XA CN201910660118A CN110378887A CN 110378887 A CN110378887 A CN 110378887A CN 201910660118 A CN201910660118 A CN 201910660118A CN 110378887 A CN110378887 A CN 110378887A
Authority
CN
China
Prior art keywords
image
learning network
enhancing learning
screen picture
defect
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910660118.XA
Other languages
English (en)
Inventor
彭项君
王云奇
陈丽莉
张�浩
赵晨曦
薛亚冲
李纲
吕耀宇
张硕
何惠东
丁亚东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Beijing BOE Optoelectronics Technology Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Beijing BOE Optoelectronics Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd, Beijing BOE Optoelectronics Technology Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201910660118.XA priority Critical patent/CN110378887A/zh
Publication of CN110378887A publication Critical patent/CN110378887A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30121—CRT, LCD or plasma display

Landscapes

  • Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种屏幕缺陷检测方法、装置及系统、计算机设备及介质。该方法的一具体实施方式包括：将待检测屏幕图像输入增强学习网络以生成中间图像；将由无缺陷屏幕图像形成的目标训练集和中间图像输入生成对抗式网络的判别器以生成判别结果，其中判别结果被反馈给增强学习网络作为其回报值，直到判别结果满足预设收敛条件，从而得到背景重建图像；对待检测屏幕图像和背景重建图像进行差分，得到缺陷图像。该实施方式可基于相互约束的增强学习网络和生成式对抗网络进行待检测屏幕图像的背景重建，由此得到可清晰呈现缺陷位置及缺陷量化等级的缺陷图像，实现直观精确的缺陷检测。

Description

屏幕缺陷检测方法、装置及系统、计算机设备及介质
技术领域
本发明涉及图像处理技术领域。更具体地，涉及一种屏幕缺陷检测方法、装置及系统、计算机设备及介质。
背景技术
常见的显示屏的屏幕缺陷分为点缺陷、线缺陷和mura缺陷。其中，点缺陷种类复杂多样，几何形状不固定，尺寸、亮度或灰度上与噪声相接近，所以对具有点缺陷的图像做一般的预处理，极有可能把点缺陷的特征“模糊”，甚至是把它当作噪声去除掉；mura缺陷专门用来表示一类对比度低、亮度不均匀、面积大于一个像素的面缺陷，是最为复杂同时也是最难检测的一类缺陷，因此实现缺陷图像的有效分割十分困难。
目前，显示屏，特别是VR设备的显示模组，对于PPI的要求越来越高，对于工艺要求的也越来越高，传统的人工屏幕缺陷检测方法存在难度大、检测效率低、漏检率高，且对资材及产能造成极大浪费等问题。而现有的更先进的通过机器视觉进行屏幕缺陷检测的方法易受规律背景纹理干扰，因此还是会产生误检、漏检及缺陷定位不准的问题。
因此，需要提供一种新的屏幕缺陷检测方法、装置及系统、计算机设备及介质。
发明内容
本发明的目的在于提供一种屏幕缺陷检测方法、装置及系统、计算机设备及介质，以解决现有技术存在的问题中的至少一个。
为达到上述目的，本发明采用下述技术方案：
本发明第一方面提供了一种屏幕缺陷检测方法，包括：
将待检测屏幕图像输入增强学习网络以生成中间图像；
将由无缺陷屏幕图像形成的目标训练集和所述中间图像输入生成对抗式网络的判别器以生成判别结果，其中所述判别结果被反馈给所述增强学习网络作为其回报值，直到所述判别结果满足预设收敛条件，从而得到背景重建图像；
对所述待检测屏幕图像和所述背景重建图像进行差分，得到缺陷图像。
本发明第一方面提供的屏幕缺陷检测方法，可基于相互约束的增强学习网络和生成式对抗网络进行待检测屏幕图像的背景重建，避免了背景纹理对缺陷检测的干扰，可得到清晰呈现缺陷位置及缺陷量化等级的缺陷图像，实现直观精确的缺陷检测。
可选地，所述将待检测屏幕图像输入增强学习网络以生成中间图像进一步包括
将待检测屏幕图像输入增强学习网络，获取所述增强学习网络基于当前图像处理策略进行图像处理后输出的中间图像，其中所述图像处理为所述增强学习网络的当前时刻的行为，所述中间图像为所述增强学习网络的对应当前时刻的行为的当前状态；
所述将由无缺陷屏幕图像形成的目标训练集和所述中间图像输入生成对抗式网络的判别器，其中所述判别结果被反馈给所述增强学习网络作为其回报值，直到所述判别结果满足预设收敛条件，从而得到背景重建图像进一步包括：
所述判别器计算所述中间图像与所述目标训练集的距离，将所述距离反馈给所述增强学习网络作为其回报值，直到所述距离满足所述预设收敛条件，从而将满足所述预设收敛条件时刻的中间图像作为背景重建图像。
此可选方式可有效实现增强学习网络和生成式对抗网络的相互约束及网络基于判别结果的高效准确的收敛，从而可精确高效地实现待检测屏幕图像的背景重建。
可选地，
所有图像处理操作构成行为集合A；
所述图像处理策略为π；
待检测屏幕图像和所有中间图像构成状态集合S；
所述增强学习网络根据所述策略π选择第i时刻的行为：ai＝π(S)；
状态转换表示为：si+1＝π(si，ai)，其中，si代表第i时刻的状态；
利用下式对策略π进行评估：
其中，E代表期望，J(π)代表策略π的回报值，t表示时刻，代表第i时刻的状态si的回报值。
可选地，
所述策略π采用卷积神经网络进行训练以使得策略π的回报值最大。
可选地，
所述判别结果为值域为(0,1)的相似度；
所述判别结果满足预设收敛条件为所述相似度靠近1。
本发明第二方面提供了一种屏幕缺陷检测装置，包括
增强学习网络，用于根据输入的待检测屏幕图像，生成中间图像；
生成对抗式网络的判别器，用于根据输入的由无缺陷屏幕图像形成的目标训练集和所述中间图像，生成判别结果，其中所述判别结果被反馈给所述增强学习网络作为其回报值，直到所述判别结果满足预设收敛条件，从而得到背景重建图像；
差分器，用于对所述待检测屏幕图像和所述背景重建图像进行差分，得到缺陷图像。
本发明第二方面提供的屏幕缺陷检测装置，可基于相互约束的增强学习网络和生成式对抗网络进行待检测屏幕图像的背景重建，避免了背景纹理对缺陷检测的干扰，可得到清晰呈现缺陷位置及缺陷量化等级的缺陷图像，实现直观精确的缺陷检测。
可选地，
所述增强学习网络被进一步配置为获取所述增强学习网络基于当前图像处理策略进行图像处理后输出的中间图像，其中所述图像处理为所述增强学习网络的当前时刻的行为，所述中间图像为所述增强学习网络的对应当前时刻的行为的当前状态；
所述判别器被进一步配置为计算所述中间图像与所述目标训练集的距离，将所述距离反馈给所述增强学习网络作为其回报值，直到所述距离满足所述预设收敛条件，从而将满足所述预设收敛条件时刻的中间图像作为背景重建图像。
可选地，
所有图像处理操作构成行为集合A；
所述图像处理策略为π；
待检测屏幕图像和所有中间图像构成状态集合S；
所述增强学习网络根据所述策略π选择第i时刻的行为：ai＝π(S)；
状态转换表示为：si+1＝π(si，ai)，其中，si代表第i时刻的状态；
利用下式对策略π进行评估：
其中，E代表期望，J(π)代表策略π的回报值，t表示时刻，代表第i时刻的状态si的回报值。
可选地，
所述策略π采用卷积神经网络进行训练以使得策略π的回报值最大。
本发明第三方面提供了一种屏幕缺陷检测系统，包括本发明第二方面提供的装置和用于采集所述屏幕的图像的图像采集设备。
本发明第四方面提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现本发明第一方面提供的方法。
本发明第五方面提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明第一方面提供的方法。
本发明的有益效果如下：
本发明所述技术方案可基于相互约束的增强学习网络和生成式对抗网络进行待检测屏幕图像的背景重建，避免了背景纹理对缺陷检测的干扰，可得到清晰呈现缺陷位置及缺陷量化等级的缺陷图像，实现直观精确的缺陷检测。
附图说明
下面结合附图对本发明的具体实施方式作进一步详细的说明；
图1示出本发明实施例提供的屏幕缺陷检测方法的流程图。
图2中，2a示出待检测屏幕图像，2b示出背景重建图像，2c示出缺陷图像
图3示出增强学习网络的网络结构示意图。
图4示出本发明实施例提供的屏幕缺陷检测系统的示意图。
图5示出本发明实施例提供的屏幕缺陷检测系统中屏幕缺陷检测装置的结构示意图。
具体实施方式
为了更清楚地说明本发明，下面结合优选实施例和附图对本发明做进一步的说明。附图中相似的部件以相同的附图标记进行表示。本领域技术人员应当理解，下面所具体描述的内容是说明性的而非限制性的，不应以此限制本发明的保护范围。
如图1所示，本发明的一个实施例提供了一种屏幕缺陷检测方法，包括：
将待检测屏幕图像输入增强学习网络(Reinforcement learning algorithm,RL)以生成中间图像；
将由无缺陷屏幕图像形成的目标训练集和所述中间图像输入生成对抗式网络(Generating Antagonistic Network,GAN)的判别器(Discriminator)以生成判别结果，其中所述判别结果被反馈给所述增强学习网络作为其回报值，直到所述判别结果满足预设收敛条件，从而得到背景重建图像；
对所述待检测屏幕图像和所述背景重建图像进行差分(或者说用待检测屏幕图像减去背景重建图像)，得到缺陷图像。
本实施例提供的屏幕缺陷检测方法，可基于相互约束的增强学习网络和生成式对抗网络进行待检测屏幕图像的背景重建，避免了背景纹理对缺陷检测的干扰，可得到清晰呈现缺陷位置及缺陷量化等级的缺陷图像，实现直观精确的缺陷检测。解决了现有的通过机器视觉等方式进行屏幕缺陷检测时易受规律背景纹理干扰而产生误检、漏检及缺陷定位不准的问题。
在一个具体示例中，待检测屏幕图像为利用图像采集装置采集(或者说拍摄)处于待检测状态的待检测屏幕(即显示例如纯色等测试画面的待检测屏幕)得到的图像；不包含缺陷的屏幕图像为利用图像采集装置采集处于待检测状态的已知无缺陷的屏幕得到的图像，即去除缺陷的背景图像。本示例中，待检测屏幕图像如图2中2a所示，背景重建图像如图2中2b所示，缺陷图像如图2中2c所示的。
在本实施例的一些可选的实现方式中，所述将待检测屏幕图像输入增强学习网络以生成中间图像进一步包括
将待检测屏幕图像输入增强学习网络，获取所述增强学习网络基于当前图像处理策略进行图像处理后输出的中间图像，其中所述图像处理为所述增强学习网络的当前时刻的行为，所述中间图像为所述增强学习网络的对应当前时刻的行为的当前状态；
所述将由无缺陷屏幕图像形成的目标训练集和所述中间图像输入生成对抗式网络的判别器，其中所述判别结果被反馈给所述增强学习网络作为其回报值，直到所述判别结果满足预设收敛条件，从而得到背景重建图像进一步包括：
所述判别器计算所述中间图像与所述目标训练集的距离，将所述距离反馈给所述增强学习网络作为其回报值，直到所述距离满足所述预设收敛条件，从而将满足所述预设收敛条件时刻的中间图像作为背景重建图像。
此实现方式可有效实现增强学习网络和生成式对抗网络的相互约束及网络基于判别结果的高效准确的收敛，从而可精确高效地实现待检测屏幕图像的背景重建。具体而言，增强学习网络以表征中间图像与目标训练集中的不包含缺陷的屏幕图像的距离(或者说差距，可以代表相似度)的判别结果作为回报值，可使得调整后的策略下的图像处理操作趋向于使得中间图像更加接近目标训练集中的不包含缺陷的屏幕图像，从而在网络收敛时输出精确的背景重建图像。
在本实施例的一些可选的实现方式中，所述判别结果为值域为(0,1)的相似度；
所述判别结果满足预设收敛条件为所述相似度靠近1(例如所述相似度大于0.8)。此实现方式可实现网络基于判别结果的高效准确的收敛。
在本实施例的一些可选的实现方式中，对于增强学习网络，
所有图像处理操作构成行为集合A；
所述图像处理策略为π；
待检测屏幕图像和所有中间图像构成状态集合S；
所述增强学习网络根据所述策略π选择第i时刻的行为：ai＝π(S)；
状态转换表示为：si+1＝π(si，ai)，其中，si代表第i时刻的状态；
利用下式对策略π进行评估：
其中，E代表期望，J(π)代表策略π的回报值，t表示时刻，代表第i时刻的状态si的回报值。
在本实施例的一些可选的实现方式中，所述策略π采用卷积神经网络进行训练以使得策略π的回报值最大。
其中，结合图3所示的增强学习网络的网络结构，增强学习网络的术语解释如下：
Agent—智能体：在本实施例中是指所使用的增强学习算法和参数的集合；
Action—行为：对图像进行的操作，例如滤波、图像增强；
State—状态：图像经过某一时刻的行为例如滤波后的图像状态，所有状态组成状态集合S；
Reward—回报值：增强学习算法在一个策略的情况下进行各个行为所具有的价值；
Environment—环境：增强学习算法所要解决的问题：在本实施例中即输入一个带有缺陷的图像，输出一个无缺陷的重建背景纹理图像。
本实施例中，基于相互约束的增强学习网络和生成式对抗网络进行待检测屏幕图像的背景重建的大致原理为：
增强学习网络是机器学习的一种，其中，Agent通过在Environment中不断地尝试，根据获得的Reward调整策略，最终生成一个回报值足够大(中间图像与目标训练集中的不包含缺陷的屏幕图像的相似度满足收敛调件)的策略。本实施例中，为了使增强学习网络处理后的中间图像更接近于目标训练集中的不包含缺陷的屏幕图像所采用的生成式对抗网络包括生成器与判别器，其中，增强学习网络作为生成式对抗网络的生成器。生成器(即增强学习网络)的作用是学习不包含缺陷的屏幕图像的分布从而让自身生成的图像(即中间图像)更加真实(即更加接近于不包含缺陷的屏幕图像)，以骗过判别器；判别器则需要对图像进行真假判别。在整个过程中，生成器(即增强学习网络)尽量让生成的图像(即中间图像)更加真实(即更加接近于不包含缺陷的屏幕图像)，而判别器则尽量识别出图像的真假，最终两个网络达到一个动态均衡。生成式对抗网络的判别器计算每个状态si与目标训练集的相似度(或者说距离)，将表征该值的判别结果反馈给增强学习网络作为其回报值直到状态si与目标训练集的距离满足收敛条件，此时的状态si即作为最终得到并输出的背景重建图像。
如图4所示，本发明的另一个实施例提供了一种屏幕缺陷检测系统，包括屏幕缺陷检测装置20和用于采集屏幕的图像的图像采集装置10，
其中，屏幕缺陷检测装置20包括：
增强学习网络211，用于根据输入的待检测屏幕图像，生成中间图像；
生成对抗式网络的判别器212，用于根据输入的由无缺陷屏幕图像形成的目标训练集和所述中间图像，生成判别结果，其中所述判别结果被反馈给所述增强学习网络作为其回报值，直到所述判别结果满足预设收敛条件，从而得到背景重建图像；
差分器22，用于对所述待检测屏幕图像和所述背景重建图像进行差分，得到缺陷图像。
本实施例提供的屏幕缺陷检测系统，可基于相互约束的增强学习网络和生成式对抗网络进行待检测屏幕图像的背景重建，避免了背景纹理对缺陷检测的干扰，可得到清晰呈现缺陷位置及缺陷量化等级的缺陷图像，实现直观精确的缺陷检测。
在一个具体示例中，由多个不包含缺陷的屏幕图像组成的目标训练集可存储于屏幕缺陷检测装置20的存储器中，不包含缺陷的屏幕图像优选采用与采集待检测屏幕图像的图像采集装置10规格相同的图像采集装置采集，且优选的方式是采集不包含缺陷的屏幕图像与采集待检测屏幕图像时的采集环境、采集角度等参数均相同，这样可提升判别结果的精确性和有效性。
在一个具体示例中，屏幕缺陷检测装置20为电子设备，该电子设备可以是各种终端设备，包括但不限于个人电脑、智能手机、平板电脑、个人数字助理等等。该电子设备与图像采集装置10通过网络进行通信，该网络可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
在本实施例的一些可选的实现方式中，所述增强学习网络211被进一步配置为获取所述增强学习网络基于当前图像处理策略进行图像处理后输出的中间图像，其中所述图像处理为所述增强学习网络的当前时刻的行为，所述中间图像为所述增强学习网络的对应当前时刻的行为的当前状态；
所述判别器212被进一步配置为计算所述中间图像与所述目标训练集的距离，将所述距离反馈给所述增强学习网络作为其回报值，直到所述距离满足所述预设收敛条件，从而将满足所述预设收敛条件时刻的中间图像作为背景重建图像。
在本实施例的一些可选的实现方式中，
所有图像处理操作构成行为集合A；
所述图像处理策略为π；
待检测屏幕图像和所有中间图像构成状态集合S；
所述增强学习网络根据所述策略π选择第i时刻的行为：ai＝π(S)；
状态转换表示为：si+1＝π(si，ai)，其中，si代表第i时刻的状态；
利用下式对策略π进行评估：
其中，E代表期望，J(π)代表策略π的回报值，t表示时刻，代表第i时刻的状态si的回报值。
在本实施例的一些可选的实现方式中，
所述策略π采用卷积神经网络进行训练以使得策略π的回报值最大。
在本实施例的一些可选的实现方式中，图像采集装置10为CCD相机。
在本实施例的一些可选的实现方式中，屏幕缺陷检测装置20还包括用于显示缺陷图像的显示模块和/或传输缺陷图像的传输模块。
需要说明的是，本实施例提供的屏幕缺陷检测系统的原理及工作流程与上述屏幕缺陷检测方法相似，相关之处可以参照上述说明，在此不再赘述。
如图5所示，适于用来实现本实施例提供的屏幕缺陷检测系统中电子设备的计算机系统，包括中央处理模块(CPU)，其可以根据存储在只读存储器(ROM)中的程序或者从存储部分加载到随机访问存储器(RAM)中的程序而执行各种适当的动作和处理。在RAM中，还存储有计算机系统操作所需的各种程序和数据。CPU、ROM以及RAM通过总线被此相连。输入/输入(I/O)接口也连接至总线。
以下部件连接至I/O接口:包括键盘、鼠标等的输入部分；包括诸如液晶显示器(LCD)等以及扬声器等的输出部分；包括硬盘等的存储部分；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分。通信部分经由诸如因特网的网络执行通信处理。驱动器也根据需要连接至I/O接口。可拆卸介质，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器上，以便于从其上读出的计算机程序根据需要被安装入存储部分。
特别地，根据本实施例，上文流程图描述的过程可以被实现为计算机软件程序。例如，本实施例包括一种计算机程序产品，其包括有形地包含在计算机可读介质上的计算机程序，上述计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分从网络上被下载和安装，和/或从可拆卸介质被安装。
附图中的流程图和示意图，图示了本实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或示意图中的每个方框可以代表一个模块、程序段或代码的一部分，上述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，示意图和/或流程图中的每个方框、以及示意和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器，包括增强学习网络、生成对抗式网络的判别器和差分器。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定。例如，差分器还可以被描述为“缺陷图像获取器”。
作为另一方面，本实施例还提供了一种非易失性计算机存储介质，该非易失性计算机存储介质可以是上述实施例中上述装置中所包含的非易失性计算机存储介质，也可以是单独存在，未装配入终端中的非易失性计算机存储介质。上述非易失性计算机存储介质存储有一个或者多个程序，当上述一个或者多个程序被一个设备执行时，使得上述设备：将待检测屏幕图像输入增强学习网络以生成中间图像；将由无缺陷屏幕图像形成的目标训练集和所述中间图像输入生成对抗式网络的判别器以生成判别结果，其中所述判别结果被反馈给所述增强学习网络作为其回报值，直到所述判别结果满足预设收敛条件，从而得到背景重建图像；对所述待检测屏幕图像和所述背景重建图像进行差分，得到缺陷图像。
需要说明的是，在本发明的描述中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定，对于本领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动，这里无法对所有的实施方式予以穷举，凡是属于本发明的技术方案所引伸出的显而易见的变化或变动仍处于本发明的保护范围之列。

Claims (12)

1.一种屏幕缺陷检测方法，其特征在于，包括：
将待检测屏幕图像输入增强学习网络以生成中间图像；
将由无缺陷屏幕图像形成的目标训练集和所述中间图像输入生成对抗式网络的判别器以生成判别结果，其中所述判别结果被反馈给所述增强学习网络作为其回报值，直到所述判别结果满足预设收敛条件，从而得到背景重建图像；
对所述待检测屏幕图像和所述背景重建图像进行差分，得到缺陷图像。
2.根据权利要求1所述的方法，其特征在于，
所述将待检测屏幕图像输入增强学习网络以生成中间图像进一步包括
将待检测屏幕图像输入增强学习网络，获取所述增强学习网络基于当前图像处理策略进行图像处理后输出的中间图像，其中所述图像处理为所述增强学习网络的当前时刻的行为，所述中间图像为所述增强学习网络的对应当前时刻的行为的当前状态；
所述将由无缺陷屏幕图像形成的目标训练集和所述中间图像输入生成对抗式网络的判别器，其中所述判别结果被反馈给所述增强学习网络作为其回报值，直到所述判别结果满足预设收敛条件，从而得到背景重建图像进一步包括：
所述判别器计算所述中间图像与所述目标训练集的距离，将所述距离反馈给所述增强学习网络作为其回报值，直到所述距离满足所述预设收敛条件，从而将满足所述预设收敛条件时刻的中间图像作为背景重建图像。
3.根据权利要求2所述的方法，其特征在于，
所有图像处理操作构成行为集合A；
所述图像处理策略为π；
待检测屏幕图像和所有中间图像构成状态集合S；
所述增强学习网络根据所述策略π选择第i时刻的行为：ai＝π(S)；
状态转换表示为：si+1＝π(si，ai)，其中，si代表第i时刻的状态；
利用下式对策略π进行评估：
其中，E代表期望，J(π)代表策略π的回报值，t表示时刻，代表第i时刻的状态si的回报值。
4.根据权利要求3所述的方法，其特征在于，
所述策略π采用卷积神经网络进行训练以使得策略π的回报值最大。
5.根据权利要求1-4中任一项所述的方法，其特征在于，
所述判别结果为值域为(0,1)的相似度；
所述判别结果满足预设收敛条件为所述相似度靠近1。
6.一种屏幕缺陷检测装置，其特征在于，包括
增强学习网络，用于根据输入的待检测屏幕图像，生成中间图像；
生成对抗式网络的判别器，用于根据输入的由无缺陷屏幕图像形成的目标训练集和所述中间图像，生成判别结果，其中所述判别结果被反馈给所述增强学习网络作为其回报值，直到所述判别结果满足预设收敛条件，从而得到背景重建图像；
差分器，用于对所述待检测屏幕图像和所述背景重建图像进行差分，得到缺陷图像。
7.根据权利要求6所述的装置，其特征在于，
所述增强学习网络被进一步配置为获取所述增强学习网络基于当前图像处理策略进行图像处理后输出的中间图像，其中所述图像处理为所述增强学习网络的当前时刻的行为，所述中间图像为所述增强学习网络的对应当前时刻的行为的当前状态；
所述判别器被进一步配置为计算所述中间图像与所述目标训练集的距离，将所述距离反馈给所述增强学习网络作为其回报值，直到所述距离满足所述预设收敛条件，从而将满足所述预设收敛条件时刻的中间图像作为背景重建图像。
8.根据权利要求7所述的装置，其特征在于，
所有图像处理操作构成行为集合A；
所述图像处理策略为π；
待检测屏幕图像和所有中间图像构成状态集合S；
所述增强学习网络根据所述策略π选择第i时刻的行为：ai＝π(S)；
状态转换表示为：si+1＝π(si，ai)，其中，si代表第i时刻的状态；
利用下式对策略π进行评估：
其中，E代表期望，J(π)代表策略π的回报值，t表示时刻，代表第i时刻的状态si的回报值。
9.根据权利要求8所述的装置，其特征在于，
所述策略π采用卷积神经网络进行训练以使得策略π的回报值最大。
10.一种屏幕缺陷检测系统，其特征在于，包括如权利要求6-9中任一项所述的装置和用于采集所述屏幕的图像的图像采集设备。
11.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-5中任一项所述的方法。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-5中任一项所述的方法。
CN201910660118.XA 2019-07-22 2019-07-22 屏幕缺陷检测方法、装置及系统、计算机设备及介质 Pending CN110378887A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910660118.XA CN110378887A (zh) 2019-07-22 2019-07-22 屏幕缺陷检测方法、装置及系统、计算机设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910660118.XA CN110378887A (zh) 2019-07-22 2019-07-22 屏幕缺陷检测方法、装置及系统、计算机设备及介质

Publications (1)

Publication Number Publication Date
CN110378887A true CN110378887A (zh) 2019-10-25

Family

ID=68254574

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910660118.XA Pending CN110378887A (zh) 2019-07-22 2019-07-22 屏幕缺陷检测方法、装置及系统、计算机设备及介质

Country Status (1)

Country Link
CN (1) CN110378887A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111476759A (zh) * 2020-03-13 2020-07-31 深圳市鑫信腾机器人科技有限公司 一种屏幕表面检测方法、装置、终端及存储介质
CN111553929A (zh) * 2020-05-12 2020-08-18 重庆邮电大学 基于融合网络的手机屏幕缺陷分割方法、装置及设备
CN111563883A (zh) * 2020-04-22 2020-08-21 惠州旭鑫智能技术有限公司 屏幕视觉定位方法、定位设备及存储介质
CN114354623A (zh) * 2021-12-30 2022-04-15 苏州凌云视界智能设备有限责任公司 弱印痕提取算法、装置、设备和介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108724182A (zh) * 2018-05-23 2018-11-02 苏州大学 基于多类别模仿学习的端到端游戏机器人生成方法及系统
CN108734690A (zh) * 2018-03-02 2018-11-02 苏州汉特士视觉科技有限公司 一种视觉缺陷检测设备及其检测方法
CN108961217A (zh) * 2018-06-08 2018-12-07 南京大学 一种基于正例训练的表面缺陷检测方法
CN109829891A (zh) * 2019-01-02 2019-05-31 浙江大学 一种基于密集生成对抗神经网络的磁瓦表面缺陷检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108734690A (zh) * 2018-03-02 2018-11-02 苏州汉特士视觉科技有限公司 一种视觉缺陷检测设备及其检测方法
CN108724182A (zh) * 2018-05-23 2018-11-02 苏州大学 基于多类别模仿学习的端到端游戏机器人生成方法及系统
CN108961217A (zh) * 2018-06-08 2018-12-07 南京大学 一种基于正例训练的表面缺陷检测方法
CN109829891A (zh) * 2019-01-02 2019-05-31 浙江大学 一种基于密集生成对抗神经网络的磁瓦表面缺陷检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YUANMING HU等: "Exposure: A White-Box Photo Post-Processing Framework", 《ARXIV》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111476759A (zh) * 2020-03-13 2020-07-31 深圳市鑫信腾机器人科技有限公司 一种屏幕表面检测方法、装置、终端及存储介质
CN111476759B (zh) * 2020-03-13 2022-03-25 深圳市鑫信腾机器人科技有限公司 一种屏幕表面检测方法、装置、终端及存储介质
CN111563883A (zh) * 2020-04-22 2020-08-21 惠州旭鑫智能技术有限公司 屏幕视觉定位方法、定位设备及存储介质
CN111563883B (zh) * 2020-04-22 2023-05-05 惠州旭鑫智能技术有限公司 屏幕视觉定位方法、定位设备及存储介质
CN111553929A (zh) * 2020-05-12 2020-08-18 重庆邮电大学 基于融合网络的手机屏幕缺陷分割方法、装置及设备
CN111553929B (zh) * 2020-05-12 2022-08-09 重庆邮电大学 基于融合网络的手机屏幕缺陷分割方法、装置及设备
CN114354623A (zh) * 2021-12-30 2022-04-15 苏州凌云视界智能设备有限责任公司 弱印痕提取算法、装置、设备和介质

Similar Documents

Publication Publication Date Title
CN110378887A (zh) 屏幕缺陷检测方法、装置及系统、计算机设备及介质
CN107507173B (zh) 一种全切片图像的无参考清晰度评估方法及系统
WO2023077404A1 (zh) 缺陷检测方法、装置和系统
CN111815564B (zh) 一种检测丝锭的方法、装置及丝锭分拣系统
CN109507192A (zh) 一种基于机器视觉的磁芯表面缺陷检测方法
CN110728681B (zh) 一种Mura缺陷检测方法及装置
CN114926407A (zh) 一种基于深度学习的钢材表面缺陷检测系统
CN116363140B (zh) 一种中硼硅玻璃缺陷的检测方法、系统、装置及存储介质
CN113469233B (zh) 基于深度学习的烟叶自动定级方法及系统
CN111950812A (zh) 一种自动识别与预测雨量的方法及其装置
CN109341524A (zh) 一种基于机器视觉的光纤几何参数检测方法
CN113256570A (zh) 基于人工智能的视觉信息处理方法、装置、设备及介质
CN116385758A (zh) 基于YOLOv5网络对传送带表面损伤的检测方法
CN110458809B (zh) 一种基于亚像素边缘检测的纱线条干均匀度检测方法
CN115266732A (zh) 基于机器视觉的碳纤维丝束缺陷检测方法
CN113780484B (zh) 工业产品缺陷检测方法和装置
CN116563276B (zh) 一种化纤长丝在线缺陷检测方法及检测系统
CN107300360A (zh) 一种杂粮作物籽粒三轴尺寸快速检测算法
CN117351472A (zh) 烟叶信息检测方法、装置及电子设备
CN112488986A (zh) 基于Yolo卷积神经网络的布匹表面瑕疵识别方法、装置及系统
CN117330582A (zh) 一种高分子pe薄膜表面晶点检测系统
CN107767372B (zh) 一种分层并行计算的芯片管脚在线视觉检测系统及其方法
CN110174063A (zh) 一种基于机器视觉的中性笔墨水高度检测系统及检测方法
CN107123105A (zh) 基于fast算法的图像匹配缺陷检测方法
CN112686851A (zh) 一种图像检测方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20191025

RJ01 Rejection of invention patent application after publication