CN113272857A - 缺陷图像生成装置及方法 - Google Patents

缺陷图像生成装置及方法 Download PDF

Info

Publication number
CN113272857A
CN113272857A CN202080008470.6A CN202080008470A CN113272857A CN 113272857 A CN113272857 A CN 113272857A CN 202080008470 A CN202080008470 A CN 202080008470A CN 113272857 A CN113272857 A CN 113272857A
Authority
CN
China
Prior art keywords
image
defect
defect image
parameter
mura
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080008470.6A
Other languages
English (en)
Inventor
丁在虎
尹基旭
秋渊学
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LAONPEOPLE Inc
Original Assignee
LAONPEOPLE Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LAONPEOPLE Inc filed Critical LAONPEOPLE Inc
Publication of CN113272857A publication Critical patent/CN113272857A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30121—CRT, LCD or plasma display

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

根据本发明实施例的由缺陷图像生成装置执行的缺陷图像生成方法，包括：从包括虚拟mura的样本图像生成边界图，使用样本图像和边界图来生成包括关于mura的微变化的假图像，从具有预定倍率的多个层中对假图像和包括实际mura的真实图像进行下采样，基于下采样的真实图像更新下采样的假图像，以学习用于生成缺陷图像的第一参数，以及重复执行生成边界图的步骤至学习第一参数的步骤，直至完成对第一参数的学习。

Description

缺陷图像生成装置及方法
技术领域
在本说明书中公开的实施例涉及缺陷图像生成装置及方法。更详细地，涉及为检查产品中的缺陷而生成所需的缺陷图像的缺陷图像生成装置及方法。
背景技术
最近，在制造各种产品的过程中，由于各种原因，产品表面可能会出现缺陷。在这些产品中，在有机发光二极管(OLED：Organic Light Emitting Diode)面板等面板产品的情况下，其表面产生的缺陷，如mura(或斑点)，可能会影响通过使用面板批量生产的产品本身的性能。因此，当生产面板等产品时，需要检测由mura引起的缺陷。
与此相关，在现有技术文献第10-2015-0078838号中记载了如下方法：基于有关采样的像素的补偿数据和用于补偿细斑点的细斑点补偿数据生成补偿数据，通过补偿数据调制输入图像的像素数据，以同时补偿斑点区域和细斑点。如现有技术文献，以往测量面板本身产生的斑点，生成用于补偿所测量的斑点的补偿数据来补偿面板的斑点。
像这样，为了检查面板本身产生的mura，通过一一比较面板屏幕中心的像素等特定像素与待检查像素之间的亮度来进行判定。这种方式的mura判定需要大量时间和处理工序。为了防止这种情况，越来越多地尝试通过使用人工智能来检查产品上产生的斑点。然而，使用人工智能进行检查需要用于检测斑点的缺陷数据，即，缺陷图像。
但是，斑点是不定型的，因此具有在获取多个缺陷试样或多个缺陷图像上存在限制的问题点。并且，为了提高缺陷检测的性能，需要足够数量的缺陷图像，但是具有在获取缺陷图像上存在限制的问题点。
因此，需要为了解决如上所述的问题点的技术。
另一方面，前述的背景技术是发明人为推导本发明而拥有的，或者是推导本发明的过程中学到的技术信息，不能说一定是在申请本发明前向公众公开的公知技术。
发明内容
发明要解决的问题
在本说明书中公开的实施例的目的在于，提供一种可获得包括不定型的斑点(mura)的多个缺陷图像的缺陷图像生成装置及方法。
在本说明书中公开的实施例的目的在于，提供一种可确保足够数量的缺陷图像而能够提高缺陷检测性能的缺陷图像生成装置及方法。
用于解决问题的手段
作为用于解决上述技术问题的技术手段，根据一实施例，一种由缺陷图像生成装置执行的缺陷图像生成方法，包括如下步骤：从包括虚拟mura的样本图像生成边界图，使用所述样本图像和所述边界图来生成包括关于所述mura的微变化的假图像，在具有预定倍率的多个层中对所述假图像和包括实际mura的真实图像进行下采样，基于下采样的真实图像更新下采样的假图像，以学习用于生成缺陷图像的第一参数，以及重复执行生成所述边界图的步骤至学习所述第一参数的步骤，直至完成对所述第一参数的学习。
根据再一实施例，一种缺陷图像生成装置，包括：边界图生成器，从包括虚拟mura的样本图像生成边界图，缺陷图像生成器，使用所述样本图像和所述边界图来生成包括关于所述mura的微变化的假图像，以及下采样器，在具有预定倍率的多个层中对所述假图像和实际包括所述mura的真实图像进行下采样；所述缺陷图像生成器，基于下采样的真实图像更新下采样的假图像，以学习用于生成缺陷图像的第一参数，在生成所述边界图后，重复执行学习所述第一参数的操作，直至完成对所述第一参数的学习。
根据另一实施例，一种记录有用于执行缺陷图像生成方法的程序的计算机可读记录介质，所述缺陷图像生成方法包括如下步骤：从包括虚拟mura的样本图像生成边界图，使用所述样本图像和所述边界图来生成包括关于所述mura的微变化的假图像，在具有预定倍率的多个层中对所述假图像和包括实际mura的真实图像进行下采样，基于下采样的真实图像更新下采样的假图像，以学习用于生成缺陷图像的第一参数，以及重复执行生成所述边界图的步骤至学习所述第一参数的步骤，直至完成对所述第一参数的学习。
根据还有一实施例，一种存储于介质中的用于执行缺陷图像生成方法的计算机程序，所述计算机程序由缺陷图像生成装置执行，所述缺陷图像生成方法包括如下步骤：从包括虚拟mura的样本图像生成边界图，使用所述样本图像和所述边界图来生成包括关于所述mura的微变化的假图像，在具有预定倍率的多个层中对所述假图像和包括实际mura的真实图像进行下采样，基于下采样的真实图像更新下采样的假图像，以学习用于生成缺陷图像的第一参数，以及重复执行生成所述边界图的步骤至学习所述第一参数的步骤，直至完成对所述第一参数的学习。
发明的效果
根据前述的本发明的任一问题解决手段，可以提供一种可获取包括不定型的斑点(mura)的多个缺陷图像的缺陷图像生成装置及方法。
根据本发明的任一问题解决手段，可确保足够数量的缺陷图像而能够提高缺陷检测性能的缺陷图像生成装置及方法。
在本发明中可以获得的效果不限于在以上提及的效果，本领域普通技术人员可以从以下描述中清楚地理解未提及的其他效果。
附图说明
图1为示出根据一实施例的缺陷图像生成装置的框图。
图2为示出在根据一实施例的缺陷图像生成装置中建模的各种mura模型的图。
图3为示出根据一实施例的包括mura的样本图像的生成的图。
图4为示出在根据一实施例的缺陷图像生成装置中使用或生成的图像的图。
图5为用于描述根据一实施例的下采样操作的图。
图6为示出在根据一实施例的缺陷图像生成装置中用于生成缺陷图像的学习操作的流程图。
图7为示出在根据一实施例的缺陷图像生成装置中用于生成缺陷图像的操作的流程图。
具体实施方式
下面，参照附图详细描述各种实施例。下面描述的实施例还可以以各种不同的形式修改并实施。为了更清楚地描述实施例的特征，以下实施例所属的本领域普通技术人员公知的事项的详细描述将被省略。而且，在附图中，省略了与实施例的描述无关的部分，并且在整个说明书中对于相似的部分赋予相似的附图标记。
在整个说明书中，当描述一个组件与另一个组件“连接”时，它不仅包括“直接连接”的情况，还包括“其中间隔着其他组件而连接”的情况。并且，当描述一个组件“包括”另一个组件时，除非另有说明，否则意味着还可以包括其他组件，而不是排除其他组件。
参照以下附图详细描述实施例。
但是在进行描述之前，先定义下面使用的术语的含义。
“样本图像(sample image)”是包括对应于虚拟mura(或者，斑点)的信息的图像，可包括随机形状的mura。例如，样本图像可以是可分为黑色和白色的二值化掩蔽图像(masking image)。
“假图像(fake image)”是使用样本图像生成的图像，是包括斑点的图像。假图像包括与样本图像类似的mura，但与样本图像相比，是进一步包括有关mura的细微变化的信息的图像。
“真实图像(real image)”是拍摄实际mura的图像。
图1为示出根据一实施例的缺陷图像生成装置的框图。
如图1所示，缺陷图像生成装置100可包括边界图生成器110、缺陷图像生成器120、下采样器130及鉴别器140。
在下文中，分别描述为了在缺陷图像生成装置100中生成缺陷图像而学习缺陷图像生成器120的操作，以及使用完成学习的缺陷图像生成器120来生成缺陷图像的操作。
首先，描述缺陷图像生成装置100学习缺陷图像生成器120的操作。
边界图生成器110可通过将样本图像作为输入来生成边界图。样本图像是包括虚拟mura的图像。样本图像是分为黑色和白色的二值化掩蔽图像。边界图生成器110可使用超像素从样本图像生成边界图。超像素可以指在图像中具有相同的性质(如红绿蓝(RGB)等颜色)的区域的集合。
边界图生成器110可通过使用超像素来区分mura的边界，可生成在图像中区分mura的边界而显示的边界图。例如，边界图生成器110可以将图像划分为网格形态后，基于划分的区域，显示能够区分具有相似RGB值的区域的边界。此时，边界图生成器110可通过逐渐减小用于区分边界的区域尺寸来区分图像中的mura的边界，并生成已区分边界的边界图。
另一方面，在缺陷图像生成装置100中直接生成样本图像的情况下，用于生成样本图像的样本图像生成器(未示出)还可位于边界图生成器110的前端。
缺陷图像生成器120可通过使用样本图像和边界图来生成假图像。缺陷图像生成器120作为基于样本图像的图像，包括与样本图像类似形状的mura，但可包括有关mura的微变化。因此，缺陷图像生成器120可以生成包括mura的假图像，其mura形状接近实际mura。
下采样器130可以接收假图像和真实图像。下采样器130可判断是否对真实图像执行下采样。下采样器130可以以预定倍率对真实图像进行下采样。
例如，下采样器130可以以预定倍率对假图像和真实图像进行下采样。下采样器130可以以多个倍率中的每个倍率对假图像和真实图像进行下采样来重现细微的mura细节。
下采样器130可使用人工神经网络，如卷积神经网络(CNN：Convolutional NeuralNetwork)。当在下采样器130中通过对真实图像进行下采样并使用CNN等深度学习算法时，可以增加感受域(Receptive Field)。即，下采样器130可通过使用能够减小图像尺寸的下采样来增加感受域，而不是深度调节人工神经网络的深度(depth)。由此，下采样器130可防止参数数量增加或对学习数据过度学习的过度拟合(over-fitting)。为此，下采样器130为了进行下采样可使用双线性插值法(Bilinear Interpolation)，但也可以使用最小邻域算法(Nearest Neighborhood Sampling)。
下采样器130可包括以多个倍率中的每个倍率进行下采样的多个下采样部131、132、133。例如，第一下采样部131可以以2倍的倍率对输入的假图像和真实图像中的每一者进行下采样并输出。第二下采样部132可以以4倍的倍率对输入的假图像和真实图像中的每一者进行下采样并输出。并且，第n下采样部133可以以n倍的倍率对输入的假图像和真实图像中的每一者进行下采样并输出。
在多个下采样部131、132、133中分别将用于下采样的倍率实现为预定倍数，如2的倍数(2倍、4倍、6倍、8倍等)的情况下，在多个下采样部131、132、133中的每一者中可并行地对假图像和真实图像中的每一者进行下采样。
与此不同，多个下采样部131、132、133还可以串联，将上一个的下采样器的输出作为输入，以2倍的倍率对假图像和真实图像中的每一者进行下采样，并输出到下一个下采样器。例如，串联的下采样部131、132、133还均可以以2倍的倍率对假图像和真实图像中的每一者进行下采样。
另一方面，每个下采样部131、132、133中也可以均设置为不同的倍率。下采样部131、132、133之一也可以以1倍的倍率对假图像和真实图像进行下采样并输出。因此，为了下采样而在下采样部131、132、133设置的倍率可以是自然数。
鉴别器140可鉴别由下采样器130下采样的假图像和下采样的真实图像。鉴别器140可包括对应于多个下采样部131、132、133中的每一者的多个鉴别部141、142、143，以鉴别下采样的假图像和下采样的真实图像。
针对下采样的假图像和下采样的真实图像，鉴别部141、142、143可通过使用人工神经网络(卷积神经网络(CNN))来计算具有0至1值的概率值。当完成概率值计算时，鉴别部141、142、143在接近概率值1的方向上反向传播(Back Propagation)下采样的真实图像，并在接近0的方向上反向传播下采样的假图像，从而更新在该鉴别部设置的第二参数。
鉴别部141、142、143可区分下采样的假图像和下采样的真实图像并向缺陷图像生成器120输出。
缺陷图像生成器120可以在接近概率值1的方向上反向传播下采样的假图像来更新在缺陷图像生成器120设置的第一参数。
由此，缺陷图像生成器120可接收下采样的假图像和下采样的真实图像，基于下采样的真实图像更新下采样的假图像。由此，缺陷图像生成器120可将下采样的假图像校正成接近下采样的真实图像的形态。
另一方面，缺陷图像生成器120和鉴别器140可配置为人工神经网络结构，如卷积神经网络结构。因此，缺陷图像生成器120和鉴别器140的参数(第一参数和第二参数)中的每一者可以是卷积滤波器的核值、偏置(bias)值、归一化(normalization)γ值和β值。其中，在缺陷图像生成器120设置的第一参数是用于生成缺陷图像的参数。
并且，当进行学习操作时，在缺陷图像生成器120设置的第一参数起到使得可以在鉴别器140中与真实图像一起鉴别假图像的作用，在鉴别器140设置的第二参数起到用于区分假图像和真实图像的作用。
缺陷图像生成器120可将校正的假图像输出到下采样器130，以更新第一参数和第二参数，可重复执行接收样本图像并更新第一参数和第二参数的操作。由此，缺陷图像生成器120可学习缺陷图像生成器120，以生成与真实图像几乎类似的形状的假图像。
若真实图像与假图像的相似度大于或等于预定基准值，则缺陷图像生成器120可决定结束学习操作，还可将其他样本图像作为输入来重复执行学习操作。
然后，对在完成缺陷图像生成器120的学习后生成缺陷图像的操作进行描述。
边界图生成器110可将样本图像作为输入来生成边界图，使用超像素从样本图像生成边界图的整体操作与如上所述的内容相似，因此，有关边界图生成器110的详细描述请参照上述内容。
此时，在缺陷图像生成装置100中直接生成样本图像的情况下，生成样本图像的样本图像生成器(未示出)还可位于边界图生成器110的前端。
缺陷图像生成器120可使用样本图像和边界图来生成缺陷图像。其中，缺陷图像生成器120可拥有通过完成学习而学习到的数据，如第一参数。缺陷图像生成器120可使用学习到的数据来生成缺陷图像。
另一方面，当缺陷图像生成器120生成缺陷图像时，可使用特征图。缺陷图像生成器120通过接收在下采样器130的层，即，在每个下采样部131、132、133生成的特征图，对缺陷图像生成还可反映包括在特征图中的信息。
如上所述，为了学习缺陷图像，缺陷图像生成装置100可使用边界图生成器110、缺陷图像生成器120、下采样器130及鉴别器140，当完成学习后生成缺陷图像时，可使用边界图生成器110和缺陷图像生成器120。
因此，在使用完成学习的缺陷图像生成器120的情况下，缺陷图像生成装置110可仅由边界图生成器110和缺陷图像生成器120来实现。
构成这种缺陷图像生成装置100的组件的至少一部分可通过处理器(例如，具有中央处理装置(CPU)等处理器功能的控制部)来实现。
上述缺陷图像生成装置100可使用缺陷图像生成器120来生成大量的缺陷图像，对所述缺陷图像生成器120进行学习以能够生成与包括实际斑点(mura)的真实图像相似形态的斑点的缺陷图像。由此，缺陷图像生成装置100可生成足够量的缺陷图像而能够提高缺陷检测性能。
图2为示出在根据一实施例的缺陷图像生成装置中建模的各种mura模型的图。
参照图2，缺陷图像生成装置100是示出将在图1中所示的缺陷图像生成装置100中生成的各种mura模型的图
第一mura模型210是包括线mura 211的模型。其中，线mura 211形成为具有预定方向并且是具有预定长度和厚度的线形状的mura。线mura 211可根据mura的长度、厚度及方向被不同地区分。
第二mura模型220是包括点(Spot)mura 221的模型。其中，点mura 221是形成为预定宽度或面积的点形状的mura。点mura 221可根据尺寸和形状被不同地区分。
第三mura模型230是包括边缘mura 231的模型。其中，边缘mura 231是形成于边缘部分的mura。以附图为基准，边缘mura 231在第三mura模型230形成于边缘部分，可位于左侧、右侧、上侧或下侧边缘部分。这种边缘mura 231可位于上侧、下侧、左侧及右侧中的至少一个边缘，可位于边缘部分中的全部或一部分。
第四mura模型240是包括漏光(Light Leak)mura 241的模型。其中，漏光mura 241是根据漏光现象的形状的mura。
第五mura模型250是包括蝴蝶(Butterfly)mura 251的模型。其中，蝴蝶mura 251是存在于图像的边角部分的mura，包括与图像的边缘形成对比的亮或暗的mura。
第六mura模型260是包括污点(stain)mura 261的模型。其中，污点mura261表示斑点，是由于亮度或色度的可见缺陷而使边界模糊的形状的mura。
第七mura模型270是包括不均匀(un-uniform)mura 271的模型。其中，不均匀mura271是非定型的mura，其形状没有被指定从而无法找到均匀的规则或图案。
第八mura模型280是包括云(cloud)mura 281的模型。其中，云mura 281是云状的成团出现的形状的mura。
第九mura模型290是包括地形(terrain)mura 291的模型。其中，地形mura291是以等高线形态形成形状(层)的mura。
像这样，缺陷图像生成装置100可通过使用各种mura模型210～290，对良品图像应用各种类型的mura建模来生成包括学习所需的mura的各种样本图像。
图3为示出包括根据一实施例的包括mura的样本图像的生成的图。
如图3所示，第一样本图像310是用于在缺陷图像生成装置100中应用第五mura模型250生成蝴蝶mura 311的样本图像。
第二样本图像320是用于在缺陷图像生成装置100中应用第二mura模型220生成点状mura 321的样本图像。
第三样本图像330是用于在缺陷图像生成装置100中应用第三mura模型220生成线状mura 331的样本图像。
图4为示出在根据一实施例的缺陷图像生成装置中使用或生成的图像的图。
参照图4，缺陷图像生成装置100可接收样本图像410来生成边界图420。
样本图像410是用于生成mura的样本图像，并且表示分为黑色(黑)和白色(白)颜色的二值化掩蔽图像。在样本图像410中，将对应于mura的部分由白色区域表示。
边界图420是可以区分mura的区域的图，例如，可使用超像素等区分mura的区域。边界图420表示将图像划分为网格形态后，用于以划分的区域为基准区分具有相似RGB值的区域的边界。
缺陷图像生成装置100可通过使用样本图像410和边界图420来生成假图像430。假图像430为使用样本图像410和边界图420生成的图像，可包括有关mura的微变化。
缺陷图像生成装置100可以在以预定倍率对真实图像440进行下采样后，针对下采样的真实图像和假图像430，使用人工神经网络并基于0和1的概率值执行用于更新第一参数的学习操作。真实图像440是包括实际mura的图像。
缺陷图像生成装置100可以生成假图像，并且重复执行将假图像校正成接近下采样的真实图像的形态的学习操作。由此，缺陷图像生成装置100可使生成内部缺陷图像的模块(例如，缺陷图像生成器120)进行学习。
在缺陷图像生成装置100中，当使用生成缺陷图像的模块输入样本图像时，可使用对应于样本图像的边界图来生成相应的缺陷图像450。这种缺陷图像450是使用样本图像来包括各种形态的非定型mura的图像。因此，缺陷图像生成装置100可通过生成缺陷图像来确保足够数量的缺陷图像以能够提高缺陷检测性能。
图5为用于描述根据一实施例的下采样操作的图。
如图5所示，下采样器30可执行多个下采样操作。
例如，缺陷图像生成装置100可执行对假图像和真实图像进行下采样的操作。
第一下采样部131以1倍的倍率对假图像511和真实图像512进行下采样，即，在不单独执行下采样的情况下，原始真实图像512和原始假图像511可被输出到鉴别器140(例如，第一鉴别部141)。
第二下采样部132可以以2倍的倍率对假图像511和真实图像512进行下采样来生成下采样的假图像521和下采样的真实图像522。第二下采样部132可将下采样的假图像521和下采样的真实图像522输出到鉴别器140(例如，第二鉴别部142)。
第三下采样部133可以以4倍的倍率对真实图像531进行下采样来生成下采样的假图像531和下采样的真实图像532。第三下采样部133可将下采样的假图像531和下采样的真实图像532输出到鉴别器140(例如，第三鉴别部143)。
在图示的第二下采样部132和第三下采样部133中的每一者中，可以确认假图像和真实图像以预定倍率被下采样，使得图像的尺寸减小。
图6为示出在根据一实施例的缺陷图像生成装置中用于生成缺陷图像的学习操作的流程图。
如图6所示，缺陷图像生成装置100可通过使用样本图像来生成边界图S610。
缺陷图像生成装置100可使用样本图像和边界图来生成假图像S620。
缺陷图像生成装置100判断是否要执行下采样S630。例如，缺陷图像生成装置110可以判断是否需要扩展深度学习算法的感受域，在需要扩展感受域的情况下，执行下采样。
在步骤S630的判断结果为缺陷图像生成装置100执行下采样的情况下，进行到步骤S640。缺陷图像生成装置100以预定倍率对为更新假图像而输入的真实图像执行下采样S640，并进行到步骤S650。
在步骤S630的判断结果为缺陷图像生成装置100不执行下采样的情况下，进行到步骤S650。此时，可以认为缺陷图像生成装置100以1倍的倍率对假图像和真实图像进行下采样。
缺陷图像生成装置100可基于下采样的真实图像更新下采样的假图像S650。缺陷图像生成装置100可通过使用人工神经网络来更新下采样的假图像，例如，可以通过基于使用卷积神经网络(CNN)计算的预定的概率值(例如，0或1)反向传播下采样的真实图像和下采样的假图像中的每一者，执行对下采样的假图像的校正操作。
缺陷图像生成装置100可生成校正的假图像S660。
缺陷图像生成装置100可通过校正假图像来更新参数(第一参数和第二参数)S670。
缺陷图像生成装置100可以确认是否从校正的假图像完成了学习S680。例如，缺陷图像生成装置100可通过确认是否因真实图像与校正的假图像相似而像素之间几乎没有变化，或者真实图像和校正的假图像之间的相似度是否大于或等于预定基准值等，判断是否结束学习。
在步骤S680的判断结果为缺陷图像生成装置100未完成学习的情况下，可进行到步骤S620。
在步骤S680的判断结果为缺陷图像生成装置100完成学习的情况下，可结束操作。
缺陷图像生成装置100可执行用于生成缺陷图像的参数(第一参数)学习等，可以更新在具有缺陷图像生成功能的模块(例如，缺陷图像生成器120)设置的参数(第一参数)等。
图7为示出在根据一实施例的缺陷图像生成装置中用于生成缺陷图像的操作的流程图。
如图7所示，缺陷图像生成装置100可使用样本图像来生成边界图S710。
缺陷图像生成装置100可使用样本图像和边界图来生成缺陷图像S720。缺陷图像生成装置100可使用通过在图6中描述的学习操作学习的数据，例如，更新的第一参数等来生成缺陷图像S720。
步骤S720的判断结果，缺陷图像生成装置100可使用缺陷图像来生成样本图像。
缺陷图像生成装置100判断是否结束缺陷图像的生成S730。
在步骤S730的判断结果为结束缺陷图像的生成的情况下，可结束缺陷图像的生成。
在不结束缺陷图像的生成的情况下，缺陷图像生成装置100可以进行到步骤S710，变更样本图像来生成缺陷图像。
在结束缺陷图像的生成的情况下，缺陷图像生成装置100可结束操作。
在本实施例中使用的术语“～部”是指软件或现场可编程门阵列(fieldprogrammable gate array，FPGA)或专用集成电路(ASIC)等硬件组件，“～部”可执行某种角色。但是“～部”并不限定于软件或硬件。“～部”可以配置成驻留在可寻址的存储介质，还可以配置成运行一个或多个处理器。因此，作为一例，“～部”包括：如软件组件、面向对象的软件组件、类组件及任务组件的组件；进程；函数；属性；程序；子程序；程序专有代码段；驱动程序；固件；微代码；电路；数据；数据库；数据结构；表；数组；以及变量。
组件和“～部”中提供的功能可以组合成较少数量的构成要素和“～部”，或者与附加组件和“～部”分开。
不仅如此，组件和“～部”也可以被实现为运行装置或安全多媒体卡中的一个或多个中央处理器。
此外，根据本发明一实施例的缺陷图像生成方法也可以被实现为包括可通过计算机执行的指令的计算机程序(或计算机程序产品)。计算机程序包括由处理器处理的可编程机械指令，并且可以用高级编程语言(High-level Programming Language)、面向对象的编程语言(Object-oriented Programming Language)、汇编语言或机器语言来实现。此外，计算机程序可以记录在有形的计算机可读记录介质(例如，存储器、硬盘、磁/光介质或固态驱动器(Solid-State Drive，SSD)等)。
因此，根据本发明一实施例的缺陷图像生成方法可通过由计算装置执行如上所述的计算机程序来实现。计算装置还可包括处理器、存储器、存储装置、连接到存储器和高速扩展端口的高速接口以及连接到低速总线和存储装置的低速接口中的至少一部分。这些组件中的每一个都使用各种总线相互连接，可以安装在共同主板上或以任何其他合适的方式安装。
其中，处理器可以在计算装置中处理指令，这些指令可包括存储在存储器或存储装置中以在外部输入或输出装置(例如连接到高速接口的显示器)上显示用于提供图形用户接口(Graphic User Interface，GUI)的图形信息的指令。例如，作为另一实施例，多个处理器和(或)多个总线可以与多个存储器和存储器形态一起适当地使用。并且，处理器可以实现为由包括多个独立模拟和(或)数字处理器的芯片组成的芯片组。
并且，存储器在计算装置中存储信息。作为一例，存储器可以配置为易失性存储器单元或其集合。作为另一例，存储器可以配置为非易失性存储器单元或其集合。并且，存储器也可以是另一种形式的计算机可读介质，例如磁盘或光盘。
而且，存储装置可以为计算装置提供大容量的存储空间。存储装置可以是计算机可读介质或包含这种介质的组件，例如，也可包括存储区域网络(Storage Area Network，SAN)中的装置或其他组件，可以是软盘装置、硬盘装置、光盘装置或磁带装置、闪存或其他类似的半导体存储装置或装置阵列。
以上对本发明的描述是用于例示，本发明所属领域的普通技术人员可以理解，在不改变本发明的技术构思或必要特征的情况下，可以很容易地将其修改为其他具体形式。因此，应当理解，上述实施例在所有方面都是示例性的而不是限制性的。例如，描述为单一型的每个组件可以以分散的形式实现，同样描述为分布式的组件可以以组合的形式实现。
本发明的范围由所附权利要求而不是以上详细说明来表示，凡因权利要求的含义和范围及其等同物而衍生的变化或修改均应理解为包含在本发明的范围内。

Claims (15)

1.一种缺陷图像生成方法，由缺陷图像生成装置执行，其中，
所述缺陷图像生成方法包括如下步骤：
从包括虚拟mura的样本图像生成边界图，
使用所述样本图像和所述边界图来生成包括关于所述mura的微变化的假图像，
在具有预定倍率的多个层中对所述假图像和包括实际mura的真实图像进行下采样，
基于下采样的真实图像更新下采样的假图像，以学习用于生成缺陷图像的第一参数，以及
重复执行生成所述边界图的步骤至学习所述第一参数的步骤，直至完成对所述第一参数的学习。
2.根据权利要求1所述的缺陷图像生成方法，其中，还包括如下步骤：
当完成对所述第一参数的学习时，从包括虚拟mura的样本图像生成边界图，以及
基于所述边界图、所述样本图像及完成学习的所述第一参数生成缺陷图像。
3.根据权利要求2所述的缺陷图像生成方法，其中，
在所述多个层中进行下采样的步骤包括执行如下的一个以上下采样操作的步骤：在设置了彼此不同的预定倍率的各层中，根据设置的倍率对所述假图像和所述真实图像进行下采样，以减小所述假图像和所述真实图像中的每一者的尺寸；
执行所述一个以上下采样操作的步骤包括如下步骤：在所述各层中生成特征图。
4.根据权利要求3所述的缺陷图像生成方法，其中，
生成所述缺陷图像的步骤包括如下步骤：通过反映所述特征图中所含的信息来生成所述缺陷图像。
5.根据权利要求1所述的缺陷图像生成方法，其中，
生成所述边界图的步骤包括如下步骤：使用超像素从所述样本图像生成所述边界图。
6.根据权利要求1所述的缺陷图像生成方法，其中，
学习所述第一参数的步骤包括如下步骤：基于使用人工神经网络生成的概率值并通过反向传播学习第一参数。
7.根据权利要求6所述的缺陷图像生成方法，其中，
通过反向传播学习所述第一参数的步骤包括如下步骤：在接近概率值0的方向上反向传播下采样的所述真实图像，并在接近概率值1的方向上反向传播下采样的所述假图像，以更新所述第一参数。
8.根据权利要求6所述的缺陷图像生成方法，其中，
在学习所述第一参数的步骤之前，还包括如下步骤：基于使用所述人工神经网络生成的概率值并通过反向传播学习第二参数。
9.根据权利要求8所述的缺陷图像生成方法，其中，
学习所述第二参数的步骤包括如下步骤，在接近概率值1的方向上反向传播下采样的所述真实图像，在接近概率值0的方向上反向传播下采样的所述假图像，以更新所述第二参数。
10.一种缺陷图像生成装置，其中，
包括：
边界图生成器，从包括虚拟mura的样本图像生成边界图，
缺陷图像生成器，使用所述样本图像和所述边界图来生成包括关于所述mura的微变化的假图像，以及
下采样器，在具有预定倍率的多个层中对所述假图像和实际包括所述mura的真实图像进行下采样；
所述缺陷图像生成器，基于下采样的真实图像更新下采样的假图像，以学习用于生成缺陷图像的第一参数，在生成所述边界图后，重复执行学习所述第一参数的操作，直至完成对所述第一参数的学习。
11.根据权利要求10所述的缺陷图像生成装置，其中，
所述缺陷图像生成器，在完成所述第一参数的学习时，基于从包括虚拟mura的样本图像生成的边界图、所述样本图像及完成学习的所述第一参数生成缺陷图像。
12.根据权利要求11所述的缺陷图像生成装置，其中，
所述下采样器包括一个以上下采样部，所述一个以上下采样部分别对应于设置了彼此不同的预定倍率的层，所述一个以上下采样部根据设置的倍率对所述假图像和所述真实图像进行下采样，以减小所述假图像和所述真实图像中的每一者的尺寸，
所述一个以上下采样部分别在各所述层中生成特征图。
13.根据权利要求10所述的缺陷图像生成装置，其中，
所述边界图生成器使用超像素来从所述样本图像生成所述边界图。
14.根据权利要求10所述的缺陷图像生成装置，其中，
所述缺陷图像生成器基于使用人工神经网络生成的概率值，通过反向传播学习第一参数。
15.一种计算机可读记录介质，其中，
所述计算机可读记录介质记录有用于执行根据权利要求1所述的方法的程序。
CN202080008470.6A 2019-05-17 2020-05-14 缺陷图像生成装置及方法 Pending CN113272857A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020190058326A KR102225099B1 (ko) 2019-05-17 2019-05-17 불량 이미지 생성 장치 및 방법
KR10-2019-0058326 2019-05-17
PCT/KR2020/006324 WO2020235854A1 (ko) 2019-05-17 2020-05-14 불량 이미지 생성 장치 및 방법

Publications (1)

Publication Number Publication Date
CN113272857A true CN113272857A (zh) 2021-08-17

Family

ID=73458671

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080008470.6A Pending CN113272857A (zh) 2019-05-17 2020-05-14 缺陷图像生成装置及方法

Country Status (3)

Country Link
KR (1) KR102225099B1 (zh)
CN (1) CN113272857A (zh)
WO (1) WO2020235854A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115346091A (zh) * 2022-10-14 2022-11-15 深圳精智达技术股份有限公司 一种Mura缺陷图像数据集的生成方法和生成装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113689383B (zh) * 2021-07-27 2024-04-16 南京旭锐软件科技有限公司 一种图像处理方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101688458B1 (ko) * 2016-04-27 2016-12-23 디아이티 주식회사 깊은 신경망 학습 방법을 이용한 제조품용 영상 검사 장치 및 이를 이용한 제조품용 영상 검사 방법
CN108961217A (zh) * 2018-06-08 2018-12-07 南京大学 一种基于正例训练的表面缺陷检测方法
CN109360232A (zh) * 2018-09-10 2019-02-19 南京邮电大学 基于条件生成对抗网络的室内场景布局估计方法和装置
CN109583474A (zh) * 2018-11-01 2019-04-05 华中科技大学 一种用于工业大数据处理的训练样本生成方法
US20190139213A1 (en) * 2017-11-08 2019-05-09 Omron Corporation Data generation apparatus, data generation method, and data generation program

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011257262A (ja) * 2010-06-09 2011-12-22 Toppan Printing Co Ltd カラーフィルタ基板のムラ検査装置
KR20140082335A (ko) * 2012-12-24 2014-07-02 엘지디스플레이 주식회사 평판디스플레이의 얼룩 검사 방법 및 장치
KR102090706B1 (ko) * 2012-12-28 2020-03-19 삼성디스플레이 주식회사 디스플레이 장치, 광학 보상 시스템 및 광학 보상 방법
JP6572269B2 (ja) * 2017-09-06 2019-09-04 株式会社東芝 学習装置、学習方法、およびプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101688458B1 (ko) * 2016-04-27 2016-12-23 디아이티 주식회사 깊은 신경망 학습 방법을 이용한 제조품용 영상 검사 장치 및 이를 이용한 제조품용 영상 검사 방법
US20190139213A1 (en) * 2017-11-08 2019-05-09 Omron Corporation Data generation apparatus, data generation method, and data generation program
CN108961217A (zh) * 2018-06-08 2018-12-07 南京大学 一种基于正例训练的表面缺陷检测方法
CN109360232A (zh) * 2018-09-10 2019-02-19 南京邮电大学 基于条件生成对抗网络的室内场景布局估计方法和装置
CN109583474A (zh) * 2018-11-01 2019-04-05 华中科技大学 一种用于工业大数据处理的训练样本生成方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
KAMYAR NAZERI ET AL.: ""EdgeConnect: Generative Image Inpainting with Adversarial Edge Learning"", 《ARXIV》 *
刘玉杰等: ""基于条件生成对抗网络的手绘图像检索"", 《计算机辅助设计与图形学学报》, vol. 29, no. 12 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115346091A (zh) * 2022-10-14 2022-11-15 深圳精智达技术股份有限公司 一种Mura缺陷图像数据集的生成方法和生成装置

Also Published As

Publication number Publication date
KR20200132580A (ko) 2020-11-25
KR102225099B1 (ko) 2021-03-09
WO2020235854A1 (ko) 2020-11-26

Similar Documents

Publication Publication Date Title
CN111553929B (zh) 基于融合网络的手机屏幕缺陷分割方法、装置及设备
US11830153B2 (en) Generating an augmented reality image using a blending factor
CN110705583B (zh) 细胞检测模型训练方法、装置、计算机设备及存储介质
US10825184B2 (en) Maximum connected domain marking method, target tracking method, and augmented reality/virtual reality apparatus
WO2018223882A1 (en) Methods and devices for processing images of traffic light
WO2023015755A1 (zh) 一种抠图网络训练方法及抠图方法
CN111968095B (zh) 一种产品表面缺陷检测方法及系统及装置及介质
KR20220016245A (ko) 불량 이미지 생성 장치 및 방법
CN111860207B (zh) 基于多尺度的遥感影像地物分类方法、系统、装置及介质
CN113272857A (zh) 缺陷图像生成装置及方法
CN111768415A (zh) 一种无量化池化的图像实例分割方法
CN110136052A (zh) 一种图像处理方法、装置和电子设备
CN111860208B (zh) 基于超像素的遥感影像地物分类方法、系统、装置及介质
CN115880288B (zh) 电子元件焊接的检测方法、系统及计算机设备
CN113744142A (zh) 图像修复方法、电子设备及存储介质
CN111325728B (zh) 产品缺陷检测方法、装置、设备及存储介质
CN110874170A (zh) 一种图像区域修正方法、图像分割方法及装置
CN114241344B (zh) 一种基于深度学习的植物叶片病虫害严重程度评估方法
CN113159035B (zh) 图像处理方法、装置、设备及存储介质
CN111178200A (zh) 一种仪表盘指示灯的识别方法及计算设备
WO2024087163A1 (zh) 坏点检测模型训练方法、坏点检测方法以及坏点修复方法
KR20200044227A (ko) 이미지에 대한 기계 학습을 수행하기 위한 방법 및 장치
CN115619678A (zh) 一种图像变形的矫正方法、装置、计算机设备及存储介质
CN116109523B (zh) 一种智能设计的图像缺陷点自动修复方法及系统
CN114359115B (zh) 一种提高缺陷检测准确性的方法、计算机设备及可读介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination