CN110211122A - 一种检测图像处理方法及装置 - Google Patents
一种检测图像处理方法及装置 Download PDFInfo
- Publication number
- CN110211122A CN110211122A CN201910508006.2A CN201910508006A CN110211122A CN 110211122 A CN110211122 A CN 110211122A CN 201910508006 A CN201910508006 A CN 201910508006A CN 110211122 A CN110211122 A CN 110211122A
- Authority
- CN
- China
- Prior art keywords
- image
- filter
- detected
- detection
- target data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 60
- 238000012545 processing Methods 0.000 title claims abstract description 34
- 238000003672 processing method Methods 0.000 title claims abstract description 29
- 230000007547 defect Effects 0.000 claims abstract description 53
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 39
- 230000002708 enhancing effect Effects 0.000 claims abstract description 38
- 238000000034 method Methods 0.000 claims description 27
- 238000005457 optimization Methods 0.000 claims description 12
- 238000005070 sampling Methods 0.000 claims description 7
- 238000012937 correction Methods 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 4
- 241000208340 Araliaceae Species 0.000 claims 2
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 claims 2
- 235000003140 Panax quinquefolius Nutrition 0.000 claims 2
- 235000008434 ginseng Nutrition 0.000 claims 2
- 230000008569 process Effects 0.000 description 10
- 238000013527 convolutional neural network Methods 0.000 description 8
- 238000012549 training Methods 0.000 description 8
- 238000001914 filtration Methods 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 235000000332 black box Nutrition 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000000227 grinding Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000011017 operating method Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30121—CRT, LCD or plasma display
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本申请提供了一种检测图像处理方法及装置，所述检测图像处理方法包括：获取待检测图像；在增强学习算法中对待检测图像进行滤波处理，生成第一中间图像；计算第一中间图像以及预先获得的目标数据集之间的第一相似度，目标数据集中包括多个增强后的缺陷图像；当第一相似度满足预设条件时，将第一中间图像作为增强后的待检测图像，以进行缺陷检测。通过增强学习算法对待检测图像进行滤波处理，生成第一中间图像，然后计算生成的第一中间图像与目标数据集之间的第一相似度，当第一相似度满足预设条件时，确定第一中间图形为匹配目标数据集风格的图像，并以其作为增强后的待检测图像，对增强后的待检测图像进行缺陷检测，可以降低漏检率。
Description
技术领域
本发明涉及机器视觉技术领域，特别是涉及一种检测图像处理方法及装置。
背景技术
相关技术中采用基于机器视觉的检测图像处理方法，大多是对CCD相机采集到的屏幕缺陷图像进行图像预处理、图像分割、特征提取和缺陷等级量化等，最终输出检测结果。
常见的屏幕缺陷分为点缺陷、mura缺陷等，点缺陷种类复杂多样，几何形状不固定，尺寸、亮度或灰度上与噪声相接近，所以相关技术中对具有点缺陷的图像做一般的预处理，极有可能把点缺陷的特征“模糊”，甚至是把它当作噪声去除掉，导致点缺陷漏检；Mura缺陷专门用来表示一类对比度低、亮度不均匀、面积大于一个像素的面缺陷，导致Mura缺陷是最易漏检的一类缺陷。
发明内容
本发明提供一种检测图像处理方法及装置，以降低漏检率。
为了解决上述问题，本发明公开了一种检测图像处理方法，所述方法包括：
获取待检测图像；
在增强学习算法中对所述待检测图像进行滤波处理，生成第一中间图像；
计算所述第一中间图像以及预先获得的目标数据集之间的第一相似度，所述目标数据集中包括多个增强后的缺陷图像；
当所述第一相似度满足预设条件时，将所述第一中间图像作为增强后的待检测图像，以进行缺陷检测。
可选地，所述在增强学习算法中对所述待检测图像进行滤波处理，生成第一中间图像的步骤，包括：
根据所述待检测图像，在增强学习算法中确定第一滤波器以及所述第一滤波器的参数；
采用所述第一滤波器以及所述第一滤波器的参数对所述待检测图像进行处理，得到第一中间图像。
可选地，所述根据所述待检测图像，在增强学习算法中确定第一滤波器以及所述第一滤波器的参数的步骤，包括：
对所述待检测图像进行下采样处理，得到所述待检测图像的低分辨率图像；
将所述低分辨率图像输入所述增强学习算法中，对多个滤波器以及对应的滤波器参数分别进行迭代优化，并计算迭代优化后的回报值，将最大回报值对应的滤波器及滤波器参数确定为第一滤波器及第一滤波器参数，其中，所述回报值为采用各所述滤波器以及对应的滤波器参数对所述低分辨率图像进行处理得到的图像与所述目标数据集之间的第二相似度。
可选地，所述计算所述第一中间图像以及预先获得的目标数据集之间的第一相似度的步骤，包括：
采用生成对抗网络的判别器，计算所述第一中间图像以及预先获得的目标数据集之间的距离；
所述当所述第一相似度满足预设条件时，将所述第一中间图像作为增强后的待检测图像，以进行缺陷检测的步骤包括：
当所述距离小于预设阈值时，将所述第一中间图像作为增强后的待检测图像，以进行缺陷检测。
可选地，所述第一滤波器包括对比度增强滤波器、曝光调节滤波器、gamma校正滤波器或白平衡调整滤波器。
可选地，所述方法还包括：
当所述第一相似度不满足所述预设条件时，将所述第一中间图像作为更新后的待检测图像，并重复执行所述在增强学习算法中对所述待检测图像进行滤波处理，生成第一中间图像的步骤、以及所述计算所述第一中间图像以及预先获得的目标数据集之间的第一相似度的步骤，直至得到的第一相似度满足所述预设条件。
为了解决上述问题，本发明还公开了一种检测图像处理装置，所述装置包括：
获取模块，被配置为获取待检测图像；
生成模块，被配置为在增强学习算法中对所述待检测图像进行滤波处理，生成第一中间图像；
计算模块，被配置为计算所述第一中间图像以及预先获得的目标数据集之间的第一相似度，所述目标数据集中包括多个增强后的缺陷图像；
确定模块，被配置为当所述第一相似度满足预设条件时，将所述第一中间图像作为增强后的待检测图像，以进行缺陷检测。
可选地，所述生成模块还被配置为：
根据所述待检测图像，在增强学习算法中确定第一滤波器以及所述第一滤波器的参数；
采用所述第一滤波器以及所述第一滤波器的参数对所述待检测图像进行处理，得到第一中间图像。
可选地，所述装置还包括：
循环模块，被配置为当所述第一相似度不满足所述预设条件时，将所述第一中间图像作为更新后的待检测图像，并重复调用所述生成模块，以及所述计算模块，直至所述计算模块得到的第一相似度满足所述预设条件。
为了解决上述问题，本发明还公开了一种装置，包括：
一个或多个处理器；和
其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得所述装置执行任一项所述的检测图像处理方法。
为了解决上述问题，本发明还公开了一种存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行任一实施例所述的检测图像处理方法。
与现有技术相比，本发明包括以下优点：
本申请技术方案，通过增强学习算法对待检测图像进行滤波处理，生成第一中间图像，然后计算生成的第一中间图像与目标数据集之间的第一相似度，当第一相似度满足预设条件时，确定第一中间图形为匹配目标数据集风格的图像，并以其作为增强后的待检测图像，对增强后的待检测图像进行缺陷检测，可以降低漏检率。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1示出了本申请实施例提供的一种检测图像处理方法的步骤流程图；
图2示出了本申请实施例提供的一种检测图像处理方法的流程示意图；
图3示出了本申请实施例提供的一种生成第一中间图像方法的步骤流程图；
图4示出了本申请实施例提供的一种图像增强算法的交互式处理方法示意图；
图5示出了本申请实施例提供的一种滤波器处理的过程示意图；
图6示出了本申请实施例提供的一种RL网络结构示意图；
图7示出了本申请实施例提供的一种GAN网络结构示意图；
图8示出了本申请实施例提供的一种检测图像处理装置的结构框图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
本申请一实施例提供了一种检测图像处理方法，参照图1，该方法包括：
步骤101：获取待检测图像。
具体地，可以通过CCD相机等获取待检测屏幕上的图像，即待检测图像。
步骤102：在增强学习算法中对待检测图像进行滤波处理，生成第一中间图像。
具体地，对待检测图像进行图像增强或图像滤波处理的过程可以包含一系列连续的操作步骤，如曝光调整、白平衡调整、对比度增强等等，下一步的操作类型需要根据上一步的处理结果确定，且每一步的参数也需要调整，也就是对待检测图像的每一步操作都需要根据实时的处理结果进行下一步的处理，如图4所示。因此，对待检测图像进行图像增强处理的过程可以等效为一系列决策问题，采用增强学习(RL)网络中对对待检测图像进行增强处理，生成第一中间图像。
步骤103：计算第一中间图像以及预先获得的目标数据集之间的第一相似度，目标数据集中包括多个增强后的缺陷图像。
具体地，可以采用生成对抗网络的判别器，计算第一中间图像(中间结果)以及预先获得的目标数据集之间的距离，并将计算结果反馈给增强学习算法，参照图2。
为了使增强后的图像更接近于目标数据集，例如可以引入生成式对抗网络(GAN,Generative Adversarial Networks)进行第一中间图像与目标数据集之间的距离计算，其中距离可以用来表征第一中间图像与目标数据集之间的相似度。
GAN包括生成器generator与判别器discriminator。生成器一般用来学习真实图像分布从而让自身生成的图像更加真实，以骗过判别器；判别器则需要对接收的图片进行真假判别。在整个过程中，生成器努力地让生成的图像更加真实，而判别器则努力地去识别出图像的真假，最终两个网络达到一个动态均衡：生成器生成的图像接近于真实图像分布，而判别器识别不出真假图像。
本实施例中，参照图7，将预先获得的目标训练集(即目标数据集，相当于真实图像)输入GAN中，增强学习算法作为GAN的生成器生成第一中间图像(相当于假图像)，并将第一中间图像输入至GAN中，由判别器根据目标数据集中的真实图像对第一中间图像进行真假判别，获得第一中间图像与目标数据集之间的距离或相似概率值等，用来表征第一中间图像与目标数据集之间的第一相似度。
需要说明的是，凡是能够计算第一中间图像与目标数据集之间的相似度的方法都在本实施例的保护范围之内，本实施例对具体的计算方法不作限定。
步骤104：当第一相似度满足预设条件时，将第一中间图像作为增强后的待检测图像，以进行缺陷检测。
具体地，当距离小于预设阈值或相似概率值大于指定阈值时，将第一中间图像作为增强后的待检测图像，以进行缺陷检测。增强后的待检测图像去除了待检测图像中的背景纹理等，从而可以增大图像的对比度，提高检测准确率。
其中，预设条件、预设阈值以及指定阈值等都可以根据实际情况进行设定，本申请对其具体数值不作限定。
本实施例提供了一种检测图像处理方法，通过增强学习算法对待检测图像进行滤波处理，生成第一中间图像，然后计算生成的第一中间图像与目标数据集之间的第一相似度，当第一相似度满足预设条件时，确定第一中间图形为匹配目标数据集风格的图像，并以其作为增强后的待检测图像，对增强后的待检测图像进行缺陷检测，可以降低漏检率。
进一步地，通过将目标数据集输入GAN，然后将相机采集到的原始屏幕图像(待检测图像)输入RL网络中，两个网络相互作用，确定每一步滤波处理的类型及参数，最终RL网络输出匹配目标数据集风格的增强后的缺陷图像。通过使用GAN结构，能够在没有图像对的情况下学习图像处理，而一般的机器学习算法需要获取特定图像处理操作之前和之后的图像对来组成训练数据，而配对的图像数据通常难以获取，因为在处理之前的图像通常是不可用的。
在实际应用中，本实施例提供的检测图像处理方法还可以包括：
步骤105：当第一相似度不满足预设条件时，将第一中间图像作为更新后的待检测图像，并重复执行在增强学习算法中对待检测图像进行滤波处理，生成第一中间图像的步骤、以及计算第一中间图像以及预先获得的目标数据集之间的第一相似度的步骤，直至得到的第一相似度满足预设条件。
具体地，当距离大于或等于预设阈值，或者相似概率值小于或等于指定阈值时，可以将第一中间图像作为更新后的待检测图像输入至增强学习算法中，重复上述步骤102和步骤103，直到步骤103计算得到的第一相似度满足预设条件。
本实施例提供的检测图像处理方法，可以应用于VR显示模组的高效率、高准确度的在线检测，能够淘汰那些不合格的VR显示模组，为修复某些类型的缺陷提供依据，并通过分析缺陷的特点以及产生原因，达到提高生产工艺水平的目的。
本实施例的一种实现方式中，参照图3，步骤102可以进一步包括：
步骤301：根据待检测图像，在增强学习算法中确定第一滤波器以及第一滤波器的参数。
具体地，对待检测图像进行下采样处理，得到待检测图像的低分辨率图像；将低分辨率图像输入增强学习算法中，对多个滤波器以及对应的滤波器参数分别进行迭代优化，并计算迭代优化后的回报值，将最大回报值对应的滤波器及滤波器参数确定为第一滤波器及第一滤波器参数，其中，回报值为采用各滤波器以及对应的滤波器参数对低分辨率图像进行处理得到的图像与目标数据集之间的第二相似度。
由于工业CCD相机以高分辨率(如3000×4000pixel)捕获屏幕图像(待检测图像)，这会给增强学习算法带来极大的计算量，因此可以对待检测图像进行下采样处理，也就是在对待检测图像下采样得到的低分辨率图像上确定第一滤波器及其参数，然后在原始高分辨率图像(待检测图像)上应用。
滤波器可以包括对比度增强滤波器、曝光调节滤波器、gamma校正滤波器或白平衡调整滤波器。第一滤波器可以为对比度增强滤波器、曝光调节滤波器、gamma校正滤波器或白平衡调整滤波器。
增强学习算法的结构可以为卷积神经网络，为了适应CNN的网络结构，滤波器需要满足以下特性，分别为可微性、分辨率独立性和可理解性。由于在增强学习算法中通常使用梯度下降法最大化回报值确定网络参数，所以滤波器需要相对于其滤波器参数是可微分的；由于工业CCD相机以高分辨率(如3000×4000pixel)捕获屏幕图像，这会给CNN带来极大的计算量，因此滤波器需要能对下采样的屏幕图像进行操作，即我们在下采样的RAW图像上确定滤波器及其参数，然后在原始高分辨率图像上应用，因此需要满足分辨率独立性；可视性要求滤波器应表示具有直观含义的操作，以便研究者可以理解生成的操作序列，对于研究者而言，这比“black-box”结果更有趣和更有启发性，还可以使他们在需要时进一步调整参数，如图5所示。
本实施例中，对待检测图像的各种图像增强处理操作被公式化为一系列独立的滤波器，部分滤波器如下表1所示。
表1滤波器公式
| 图像处理操作 | 滤波器参数 | 滤波器公式 |
| 曝光调节 | e(曝光值) | F<sub>o</sub>＝2<sup>e</sup>F<sub>I</sub> |
| 白平衡调节 | W<sub>r</sub>,W<sub>g</sub>,W<sub>b</sub> | F<sub>o</sub>＝(W<sub>r</sub>r<sub>I</sub>,W<sub>g</sub>g<sub>I</sub>,W<sub>b</sub>b<sub>I</sub>) |
| gamma校正 | gamma | F<sub>o</sub>＝F<sub>I</sub><sup>gamma</sup> |
通过生成对抗网络(Generative Adversarial Networks，GAN)引导的增强学习(Reinforcement Learning，RL)网络确定待检测图像的第一滤波器及其参数。
为了生成可视的图像处理序列(包括多个第一中间图像)，本申请引入RL网络。RL是机器学习的一种，agent通过在环境中不断地尝试(即对待检测图像的滤波处理)，根据获得的反馈信息(第一相似度)调整策略，最终生成一个回报值最大的策略，agent根据这个策略便能知道在什么状态下应该执行什么动作。其网络结构如图6所示，其基本术语如下：
agent是指训练当中的个体，就是指算法和参数的集合；environment是指agent所处的环境；state是指agent在每个时刻所面临的状态(如待检测图像)，所有状态组成状态集合S；action是指采取的操作(如第一滤波器)，所有操作组成行为集合A；value是指采取的各个动作，所具有的价值(如回报值)。
本实施例中，缺陷图像(如待检测图像)组成了状态集合S，多次滤波器操作组成了行为集合A，根据策略π来选择下一刻的行为：
A＝π(S)
状态转换(滤波处理)可以表示为：
si+1＝π(si,ai)
定义回报值J(π)来评估策略：
其中，s0代表输入图像，S0代表输入图片集，E代表期望，该式代表策略π下的回报值，代表每个状态s0的回报值，γ∈[0,1]，agent的目的是最大化该回报值，使图像质量最好。其中，策略π包含多次滤波器操作构成的序列。
在我们的网络模型中，行为集合A包括两部分：滤波器选择和滤波器参数选择，对应的策略为π＝(π1,π2)，π1根据状态选择滤波器，π2根据π1选择的滤波器和当前状态(待检测图像)确定滤波器的参数。策略π可以用CNN训练，通过训练CNN，使其对应最大的回报值，设策略π1和π2的CNN网络中的参数分别为θ1和θ2，通过优化θ＝(θ1,θ2)使回报值J(πθ)最大，那么参数为θ1和θ2的CNN网络即为最终的策略。
具体地，假设有5种滤波器操作，可以对包含5种滤波器以及滤波器参数的的CNN网络进行多次迭代优化，并计算每次迭代优化后的回报值，将回报值最大的滤波器及其对应的滤波器参数确定为第一滤波器和第一滤波器的参数，每一步操作都重复上述迭代优化的过程，就可以得到最优的滤波器序列及对应的参数其中，回报值例如可以采用GAN的判别器计算，可以为各滤波器及每次迭代优化对应的滤波器参数对待检测图像进行处理得到的图像与目标数据集之间的第二相似度，第二相似度可以用距离或相似概率值等来表征。
GAN的判别器可以计算每个状态s0(如待检测图像)与目标数据集的距离，将该值反馈给RL作为状态s0的回报值直到状态s0与目标数据集的距离满足收敛条件(如距离小于或等于预设阈值等)，此时的状态s0即为最终缺陷图像增强的结果。
本实施例中，通过生成式对抗网络引导增强学习算法，能够根据给定的目标数据集的风格，确定待检测图像的滤波器操作序列及对应的参数，将CCD相机采集到的待检测图像进行增强，自动生成匹配训练集风格的增强后的缺陷图像，基于增强后的图像，可以实现直接的缺陷定位和缺陷等级量化，实现端到端的缺陷图像检测，解决了缺陷检测中屏幕缺陷图像的缺陷目标和缺陷背景对比度较小造成的漏检问题，同时解决了传统缺陷检测中多步骤处理造成的整体优化困难的问题。
步骤302：采用第一滤波器以及第一滤波器的参数对待检测图像进行处理，得到第一中间图像。
本实施例提供的基于神经网络的检测图像处理方法，通过生成对抗式网络引导的增强学习算法RL，自动输出匹配训练集风格的增强后的缺陷图像。
本实施例使用GAN结构，能够在没有图像对的情况下学习图像处理；而传统的机器学习算法需要获取特定图像处理操作之前和之后的图像对来组成训练数据，而配对的图像数据通常难以获取，因为在处理之前的图像通常是不可用的。
本实施例使用RL结构，能够生成可视的图像处理序列，使用户能够理解其处理过程，而不仅仅是输出黑盒结果，并且解决了传统的多步骤处理方法无法整体优化和检测效率低的问题。
本实施例模型尺寸小，可以方便地随移动应用程序或CCD相机一起移动，能在CCD相机取景器中实时产生检测后的缺陷图像，为后续分析缺陷产生的原因，改进工业生产方法，提高屏幕生产的良品率奠定良好基础。
本申请另一实施例还提供了一种检测图像处理装置，参照图8，所述装置包括：
获取模块801，被配置为获取待检测图像；
生成模块802，被配置为在增强学习算法中对所述待检测图像进行滤波处理，生成第一中间图像；
计算模块803，被配置为计算所述第一中间图像以及预先获得的目标数据集之间的第一相似度，所述目标数据集中包括多个增强后的缺陷图像；
确定模块804，被配置为当所述第一相似度满足预设条件时，将所述第一中间图像作为增强后的待检测图像，以进行缺陷检测。
所述装置还可以包括：
循环模块805，被配置为当所述第一相似度不满足所述预设条件时，将所述第一中间图像作为更新后的待检测图像，并重复调用所述生成模块，以及所述计算模块，直至所述计算模块得到的第一相似度满足所述预设条件。
在一种可选地实现方式中，生成模块802还被配置为：
根据所述待检测图像，在增强学习算法中确定第一滤波器以及所述第一滤波器的参数；
采用所述第一滤波器以及所述第一滤波器的参数对所述待检测图像进行处理，得到第一中间图像。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
本申请另一实施例还提供了一种装置，所述装置包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现任一实施例所述的检测图像处理方法。
本申请另一实施例还提供了一种存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行任一实施例所述的检测图像处理方法。
本申请另一实施例还提供了一种计算机程序产品，当所述计算机程序产品中的指令由电子设备的处理器执行时，使得所述电子设备能够执行任一实施例所述的检测图像处理方法。
本申请实施例提供了一种检测图像处理方法及装置，其中检测图像处理方法包括：获取待检测图像；在增强学习算法中对所述待检测图像进行滤波处理，生成第一中间图像；计算所述第一中间图像以及预先获得的目标数据集之间的第一相似度，所述目标数据集中包括多个增强后的缺陷图像；当所述第一相似度满足预设条件时，将所述第一中间图像作为增强后的待检测图像，以进行缺陷检测。通过增强学习算法对待检测图像进行滤波处理，生成第一中间图像，然后计算生成的第一中间图像与目标数据集之间的第一相似度，当第一相似度满足预设条件时，确定第一中间图形为匹配目标数据集风格的图像，可以其作为增强后的待检测图像，对增强后的待检测图像进行缺陷检测，可以降低漏检率。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上对本发明所提供的一种检测图像处理方法及装置进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种检测图像处理方法，其特征在于，所述方法包括：
获取待检测图像；
在增强学习算法中对所述待检测图像进行滤波处理，生成第一中间图像；
计算所述第一中间图像以及预先获得的目标数据集之间的第一相似度，所述目标数据集中包括多个增强后的缺陷图像；
当所述第一相似度满足预设条件时，将所述第一中间图像作为增强后的待检测图像，以进行缺陷检测。
2.根据权利要求1所述的检测图像处理方法，其特征在于，所述在增强学习算法中对所述待检测图像进行滤波处理，生成第一中间图像的步骤，包括：
根据所述待检测图像，在增强学习算法中确定第一滤波器以及所述第一滤波器的参数；
采用所述第一滤波器以及所述第一滤波器的参数对所述待检测图像进行处理，得到第一中间图像。
3.根据权利要求2所述的检测图像处理方法，其特征在于，所述根据所述待检测图像，在增强学习算法中确定第一滤波器以及所述第一滤波器的参数的步骤，包括：
对所述待检测图像进行下采样处理，得到所述待检测图像的低分辨率图像；
将所述低分辨率图像输入所述增强学习算法中，对多个滤波器以及对应的滤波器参数分别进行迭代优化，并计算迭代优化后的回报值，将最大回报值对应的滤波器及滤波器参数确定为第一滤波器及第一滤波器参数，其中，所述回报值为采用各所述滤波器以及对应的滤波器参数对所述低分辨率图像进行处理得到的图像与所述目标数据集之间的第二相似度。
4.根据权利要求1所述的检测图像处理方法，其特征在于，所述计算所述第一中间图像以及预先获得的目标数据集之间的第一相似度的步骤，包括：
采用生成对抗网络的判别器，计算所述第一中间图像以及预先获得的目标数据集之间的距离；
所述当所述第一相似度满足预设条件时，将所述第一中间图像作为增强后的待检测图像，以进行缺陷检测的步骤包括：
当所述距离小于预设阈值时，将所述第一中间图像作为增强后的待检测图像，以进行缺陷检测。
5.根据权利要求1所述的检测图像处理方法，其特征在于，所述第一滤波器包括对比度增强滤波器、曝光调节滤波器、gamma校正滤波器或白平衡调整滤波器。
6.根据权利要求1至5任一项所述的检测图像处理方法，其特征在于，所述方法还包括：
当所述第一相似度不满足所述预设条件时，将所述第一中间图像作为更新后的待检测图像，并重复执行所述在增强学习算法中对所述待检测图像进行滤波处理，生成第一中间图像的步骤、以及所述计算所述第一中间图像以及预先获得的目标数据集之间的第一相似度的步骤，直至得到的第一相似度满足所述预设条件。
7.一种检测图像处理装置，其特征在于，所述装置包括：
获取模块，被配置为获取待检测图像；
生成模块，被配置为在增强学习算法中对所述待检测图像进行滤波处理，生成第一中间图像；
计算模块，被配置为计算所述第一中间图像以及预先获得的目标数据集之间的第一相似度，所述目标数据集中包括多个增强后的缺陷图像；
确定模块，被配置为当所述第一相似度满足预设条件时，将所述第一中间图像作为增强后的待检测图像，以进行缺陷检测。
8.根据权利要求7所述的检测图像处理装置，其特征在于，所述生成模块还被配置为：
根据所述待检测图像，在增强学习算法中确定第一滤波器以及所述第一滤波器的参数；
采用所述第一滤波器以及所述第一滤波器的参数对所述待检测图像进行处理，得到第一中间图像。
9.根据权利要求7或8所述的检测图像处理装置，其特征在于，所述装置还包括：
循环模块，被配置为当所述第一相似度不满足所述预设条件时，将所述第一中间图像作为更新后的待检测图像，并重复调用所述生成模块，以及所述计算模块，直至所述计算模块得到的第一相似度满足所述预设条件。
10.一种装置，其特征在于，包括：
一个或多个处理器；和
其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得所述装置执行如权利要求1至6任一项所述的检测图像处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910508006.2A CN110211122A (zh) | 2019-06-12 | 2019-06-12 | 一种检测图像处理方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910508006.2A CN110211122A (zh) | 2019-06-12 | 2019-06-12 | 一种检测图像处理方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110211122A true CN110211122A (zh) | 2019-09-06 |
Family
ID=67792285
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910508006.2A Pending CN110211122A (zh) | 2019-06-12 | 2019-06-12 | 一种检测图像处理方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110211122A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110766079A (zh) * | 2019-10-24 | 2020-02-07 | 南京纳贝信息技术有限公司 | 用于屏幕异常画面检测的训练数据的生成方法与装置 |
| CN113361583A (zh) * | 2021-06-01 | 2021-09-07 | 珠海大横琴科技发展有限公司 | 一种对抗样本检测方法和装置 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102236883A (zh) * | 2010-04-27 | 2011-11-09 | 株式会社理光 | 图像增强方法和装置、物体检测方法和装置 |
| CN106446927A (zh) * | 2016-07-07 | 2017-02-22 | 浙江大学 | 一种自步增强图像分类方法及系统 |
| CN108197700A (zh) * | 2018-01-12 | 2018-06-22 | 广州视声智能科技有限公司 | 一种生成式对抗网络建模方法及装置 |
| CN108776834A (zh) * | 2018-05-07 | 2018-11-09 | 上海商汤智能科技有限公司 | 系统增强学习方法和装置、电子设备、计算机存储介质 |
| CN109118445A (zh) * | 2018-07-27 | 2019-01-01 | 杭州电子科技大学 | 一种基于多分支生成对抗网络的水下图像增强方法 |
| CN109242000A (zh) * | 2018-08-09 | 2019-01-18 | 百度在线网络技术（北京）有限公司 | 图像处理方法、装置、设备及计算机可读存储介质 |
-
2019
- 2019-06-12 CN CN201910508006.2A patent/CN110211122A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102236883A (zh) * | 2010-04-27 | 2011-11-09 | 株式会社理光 | 图像增强方法和装置、物体检测方法和装置 |
| CN106446927A (zh) * | 2016-07-07 | 2017-02-22 | 浙江大学 | 一种自步增强图像分类方法及系统 |
| CN108197700A (zh) * | 2018-01-12 | 2018-06-22 | 广州视声智能科技有限公司 | 一种生成式对抗网络建模方法及装置 |
| CN108776834A (zh) * | 2018-05-07 | 2018-11-09 | 上海商汤智能科技有限公司 | 系统增强学习方法和装置、电子设备、计算机存储介质 |
| CN109118445A (zh) * | 2018-07-27 | 2019-01-01 | 杭州电子科技大学 | 一种基于多分支生成对抗网络的水下图像增强方法 |
| CN109242000A (zh) * | 2018-08-09 | 2019-01-18 | 百度在线网络技术（北京）有限公司 | 图像处理方法、装置、设备及计算机可读存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| YUANMING HU，HAO HE，CHENXI XU，BAOYUAN WANG，STEPHEN LIN: "Exposure: A White-Box Photo Post-Processing Framework", 《ARXIV:1709.09602V1 [CS.GR]》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110766079A (zh) * | 2019-10-24 | 2020-02-07 | 南京纳贝信息技术有限公司 | 用于屏幕异常画面检测的训练数据的生成方法与装置 |
| CN113361583A (zh) * | 2021-06-01 | 2021-09-07 | 珠海大横琴科技发展有限公司 | 一种对抗样本检测方法和装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109685152B (zh) | 一种基于dc-spp-yolo的图像目标检测方法 | |
| Talebi et al. | Learned perceptual image enhancement | |
| CN108664893B (zh) | 一种人脸检测方法及存储介质 | |
| CN109583483B (zh) | 一种基于卷积神经网络的目标检测方法和系统 | |
| CN108416266B (zh) | 一种利用光流提取运动目标的视频行为快速识别方法 | |
| CN109903331B (zh) | 一种基于rgb-d相机的卷积神经网络目标检测方法 | |
| CN111259940B (zh) | 一种基于空间注意力地图的目标检测方法 | |
| CN106683048A (zh) | 一种图像超分辨率方法及设备 | |
| CN109711401A (zh) | 一种基于Faster Rcnn的自然场景图像中的文本检测方法 | |
| CN109711268B (zh) | 一种人脸图像筛选方法及设备 | |
| CN111626176A (zh) | 一种遥感图像的地物目标检测方法及系统 | |
| CN110796018A (zh) | 一种基于深度图像和彩色图像的手部运动识别方法 | |
| CN114757904A (zh) | 一种基于ai深度学习算法的表面缺陷检测方法 | |
| CN110211122A (zh) | 一种检测图像处理方法及装置 | |
| CN112749675A (zh) | 一种基于卷积神经网络的马铃薯病害识别方法 | |
| CN111126155B (zh) | 一种基于语义约束生成对抗网络的行人再识别方法 | |
| CN114581486A (zh) | 基于全卷积孪生网络多层特征的模板更新目标跟踪算法 | |
| CN112561801A (zh) | 基于se-fpn的目标检测模型训练方法、目标检测方法及装置 | |
| CN116402769A (zh) | 一种兼顾大小目标的高精度纺织品瑕疵智能检测方法 | |
| CN111340011A (zh) | 一种自适应时序移位神经网络时序行为识别方法及系统 | |
| WO2020001046A1 (zh) | 一种基于自适应层次化运动建模的视频预测方法 | |
| CN111368637B (zh) | 一种基于多掩模卷积神经网络的搬运机器人识别目标方法 | |
| JPWO2021181627A5 (ja) | 画像処理装置、画像認識システム、画像処理方法および画像処理プログラム | |
| CN116524062A (zh) | 一种基于扩散模型的2d人体姿态估计方法 | |
| Chen et al. | Classification of rice appearance quality based on LS-SVM using machine vision |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |