CN110189289A - 用于利用预处理进行线缺陷检测的系统及方法 - Google Patents

用于利用预处理进行线缺陷检测的系统及方法 Download PDF

Info

Publication number
CN110189289A
CN110189289A CN201910132663.1A CN201910132663A CN110189289A CN 110189289 A CN110189289 A CN 110189289A CN 201910132663 A CN201910132663 A CN 201910132663A CN 110189289 A CN110189289 A CN 110189289A
Authority
CN
China
Prior art keywords
image
line
candidate target
binary
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910132663.1A
Other languages
English (en)
Inventor
李章焕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Display Co Ltd
Original Assignee
Samsung Display Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Display Co Ltd filed Critical Samsung Display Co Ltd
Publication of CN110189289A publication Critical patent/CN110189289A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/10—Pre-processing; Data cleansing
    • G06F18/15—Statistical pre-processing, e.g. techniques for normalisation or restoring missing data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06T5/92—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/006—Electronic inspection or testing of displays and display drivers, e.g. of LED or LCD displays
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G09G5/026—Control of mixing and/or overlay of colours in general
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30121—CRT, LCD or plasma display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/02—Recognising information on displays, dials, clocks
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/029—Improving the quality of display appearance by monitoring one or more pixels in the display panel, e.g. by monitoring a fixed reference pixel
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2330/00—Aspects of power supply; Aspects of display protection and defect management
    • G09G2330/10—Dealing with defective pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/14—Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/145—Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light originating from the display screen

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Testing Of Optical Devices Or Fibers (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Detection And Prevention Of Errors In Transmission (AREA)
  • Maintenance And Management Of Digital Transmission (AREA)

Abstract

一种用于利用预处理进行线缺陷检测的系统及方法。该系统被配置为通过使用至少一个滤波器对显示器的输入图像进行预处理来生成滤波图像。然后，该系统通过将滤波图像转换为二进制图像，对二进制图像中的沿着斜率的线分量进行计数，并且当沿着斜率的线分量的计数数量超过线阈值时对潜在候选对象位置进行标记，从而对线Mura候选对象进行识别。然后，生成图像斑块，其中候选对象位置位于每个图像斑块的中心。然后，使用机器学习分类器来对图像斑块进行分类。

Description

用于利用预处理进行线缺陷检测的系统及方法
相关申请的交叉引用
本申请要求2018年2月22日提交的美国临时专利申请第62/634,125号的优先权及权益，其内容通过引用整体被并入本文。
技术领域
本公开的一些实施例总体上涉及显示器缺陷检测系统及方法。
背景技术
随着显示器分辨率及像素密度的增加，执行缺陷检测的难度也有所增加。对于现代制造设施而言，手动缺陷检测太过耗时，而自动检查技术通常无效。例如，在自动表面检查中，当局部异常与其规则的周围邻域具有鲜明对比时，可以容易地对均匀(例如，非纹理的)表面中的缺陷进行识别。然而，当缺陷与其周围不具有清晰边缘并且背景呈现不均匀照明时，难以对低对比度图像中的缺陷进行检测。
显示器缺陷的一种常见类型为“Mura”。Mura是具有局部亮度不均匀性的缺陷的一大类别。根据Mura的大小和大体形状，可以将Mura粗略地分类为线Mura、点Mura以及区域Mura。每种类型的Mura可以没有明显的边缘，并且在图像中可能并不是显而易见的。因此，以往使用自动化测试系统对Mura进行识别已被证明是困难的。故而需要一种对Mura缺陷进行识别的新方法。
以上信息仅用于增强对本公开的实施例的背景的理解，并且因此，可以包含不构成现有技术的信息。
发明内容
本公开的一些实施例提供了一种用于在显示器中进行缺陷检测的系统及方法。在各种实施例中，该系统包括存储器、以及被配置为执行在存储器上存储的指令的处理器。在各种实施例中，指令使处理器：通过使用至少一个滤波器对显示器的输入图像进行预处理来生成滤波图像；以及对线Mura候选对象进行识别。在各种实施例中，该系统可以通过将滤波图像转换为二进制图像，并对二进制图像中的沿着斜率的线分量进行计数，并且当沿着斜率的线分量的计数数量超过线阈值时对候选对象位置进行标记，从而对线Mura候选对象进行识别。在各种实施例中，指令还使处理器：生成图像斑块，其中候选对象位置位于图像斑块的中心；以及使用机器学习分类器来对图像斑块进行分类。
在各种实施例中，至少一个滤波器包括Gabor滤波器和金字塔滤波器中的至少一个。
在各种实施例中，将滤波图像转换为二进制图像包括：确定滤波图像的平均图像强度和标准偏差；基于平均图像强度和标准偏差来计算二进制阈值；以及根据二进制阈值来将滤波图像转换为二进制图像。
在各种实施例中，线阈值等于沿着斜率的线分量的总数量的70％。
在各种实施例中，图像斑块是使用输入图像生成的。
在各种实施例中，机器学习分类器包括支持向量机。
在各种实施例中，指令进一步使处理器从图像斑块中提取特征向量，其中特征向量包括至少一个图像矩。
在各种实施例中，指令进一步使处理器将输入图像归一化。
在各种实施例中，一种用于对显示器中的缺陷进行识别的方法包括：通过使用至少一个滤波器对显示器的输入图像进行预处理来生成滤波图像；以及对线Mura候选对象进行识别。在各种实施例中，对线Mura候选对象进行识别包括：将滤波图像转换为二进制图像；对二进制图像中的沿着斜率的线分量进行计数；以及当沿着斜率的线分量的计数数量超过线阈值时，对候选对象位置进行标记。在各种实施例中，该方法还包括：生成图像斑块，其中候选对象位置位于图像斑块的中心；以及使用机器学习分类器来对图像斑块进行分类。
在各种实施例中，至少一个滤波器包括Gabor滤波器和金字塔滤波器中的至少一个。
在各种实施例中，将滤波图像转换为二进制图像包括：确定滤波图像的平均图像强度和标准偏差；基于平均图像强度和标准偏差来计算二进制阈值；以及根据二进制阈值来将滤波图像转换为二进制图像。
在各种实施例中，线阈值等于沿着斜率的线分量的总数量的70％。
在各种实施例中，图像斑块是使用输入图像生成的。
在各种实施例中，机器学习分类器包括支持向量机。
在各种实施例中，该方法还包括：提取图像斑块的特征向量，其中特征向量包括至少一个图像矩。
在各种实施例中，一种用于对显示器中的缺陷进行识别的方法包括：将显示器的输入图像归一化到所期望的数据范围；通过使用Gabor滤波器和金字塔滤波器中的至少一个对归一化后的输入图像进行预处理来生成滤波图像；以及对线Mura候选对象进行识别。在各种实施例中，对线Mura候选对象进行识别包括：根据二进制阈值来将滤波图像转换为二进制图像；对二进制图像中的沿着至少一个斜率的线分量进行计数；以及当沿着至少一个斜率的线分量的计数数量超过线阈值时，对候选对象位置进行标记。在各种实施例中，该方法还包括：生成至少一个图像斑块，其中候选对象位置位于图像斑块的中心；以及使用机器学习分类器来对至少一个图像斑块进行分类。
在各种实施例中，将滤波图像转换为二进制图像包括：确定滤波图像的平均图像强度和标准偏差；基于平均图像强度和标准偏差来计算二进制阈值；以及根据二进制阈值来将滤波图像转换为二进制图像。
在各种实施例中，二进制阈值等于在标准偏差除以1.5而得到的值上加上平均图像强度。
在各种实施例中，机器学习分类器包括支持向量机。
在各种实施例中，该方法还包括：提取图像斑块的特征向量，其中特征向量包括至少一个图像矩。
附图说明
根据以下结合附图的描述，可以更加详细地理解一些实施例，其中：
图1A描绘了根据本公开的各种实施例的系统概述；
图1B描绘了根据本公开的各种实施例的用于对分类器进行训练的系统概述；
图2描绘了根据本公开的各种实施例的对图像进行分类的方法；
图3A描绘了根据本公开的各种实施例的系统概述；
图3B描绘了根据本公开的各种实施例的使用图3A的系统对图像进行分类的方法；
图4描绘了根据本公开的各种实施例的预处理器；
图5A描绘了根据本公开的各种实施例的候选对象检测器，并且图5B描绘了根据本公开的各种实施例的候选对象检测方法。
具体实施方式
通过参考下述实施例的详细描述及附图，本发明构思的特征及其实现方法可更加易于理解。在下文中，将参考附图来更加详细地描述实施例，其中相同的附图标记始终指代相同的元件。然而，本公开可以以各种不同的形式来体现，并且不应被认为仅限于本文所示出的实施例。相反，提供这些实施例以作为示例是为了使本公开充分且完整，并且向本领域技术人员充分地传达本公开的方面及特征。因此，对于本领域普通技术人员来说，对于完整理解本公开的这些方面及特征而言并非必须的工艺、元件和技术可以不被描述。除非另外说明，否则在整个附图及书面描述中，相同的附图标记表示相同的元件，因而其描述将不再重复。在图中，为了清楚起见，元件、层和区域的相对尺寸可能被夸大。
在下面的描述中，为了解释的目的，阐述了许多具体细节以提供对各种实施例的透彻理解。然而，显而易见的是，可以在没有这些具体细节或者具有一个或多个等同布置的情况下对各种实施例加以实践。在其他实例中，以框图形式示出了公知的结构及设备，以免不必要地混淆各种实施例。
本文使用的术语仅用于描述特定的实施例，并不旨在限制本公开。如本文所使用的，单数形式“一”旨在也包括复数形式，除非上下文另有明确指示。将进一步理解的是，当在此说明书中使用时，术语“包括”、“具有”和“包含”指定存在所陈述的特征、整数、步骤、操作、元件和/组件，但并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。如本文所使用的，术语“和/或”包括相关联的所列项目中的一个或多个的任意和所有组合。
如本文所用，当描述本公开的实施例时，使用“可以”指的是“本公开的一个或多个实施例”。如本文所用，术语“使用”和“被使用”可以被认为分别与术语“利用”和“被利用”同义。另外，术语“示例性”意指示例或例示。
当特定实施例可以以不同方式实现时，具体的处理顺序可以与所描述的顺序不同地执行。例如，两个连续描述的处理可以基本上同时执行，或者以与所描述的顺序相反的顺序来执行。
根据本文中描述的本公开的实施例的电子设备或电气设备和/或任何其他相关设备或组件可以利用任何适当的硬件、固件(例如专用集成电路)、软件、或软件、固件和硬件的组合来实现。例如，这些设备的各种组件可以被形成在一个集成电路(IC)芯片上或者单独的IC芯片上。此外，这些设备的各种组件可以被实现在柔性印刷电路膜、带载封装(TCP)、印刷电路板(PCB)上，或者被形成在一个基板上。此外，这些设备的各种组件可以是在一个或多个计算设备中在一个或多个处理器上运行的、执行计算机程序指令并与其他系统组件交互以执行本文所描述的各种功能的进程或线程。计算机程序指令被存储在可用标准存储设备在计算设备中实现的存储器中，诸如例如随机存取存储器(RAM)。计算机程序指令还可以被存储在其他的非暂时性计算机可读介质中，诸如例如CD-ROM、闪存驱动器等。此外，本领域技术人员应认识到各种计算设备的功能可以被组合或集成到单个计算设备，或特定计算设备的功能可以跨一个或多个其他计算设备分布，而不脱离本公开的示例实施例的精神和范围。
除非另有定义，否则本文所使用的所有术语(包括技术术语和科学术语)具有与本公开所属的技术领域的普通技术人员所通常理解的含义相同的含义。将进一步理解，例如那些在常用字典中定义的术语应该被解释为具有与它们在相关领域的上下文和/或本说明书中的含义一致的含义，而不应以理想化或过于正式的意义来解释，除非在本文中明确地如此定义。本公开的实施例包括用于在显示器上进行Mura检测的系统及方法。在各种实施例中，该系统被配置为对水平线Mura的实例进行识别。在各种实施例中，接收用于对测试图像进行显示的显示器的输入图像。然后，将输入图像划分为图像斑块。在各种实施例中，该系统可以使用候选对象检测器来对图像进行预处理，该候选对象检测器对显示器的具有缺陷候选对象(例如，水平线)的区域进行识别，并且基于缺陷候选对象的位置来生成图像斑块。然后，系统使用机器学习分类器来将图像斑块分类为具有或不具有水平线Mura的实例。
图1A描绘了根据本公开的各种实施例的系统概述。图1B描绘了根据本公开的各种实施例的用于对分类器进行训练的系统概述。图2描绘了根据本公开的各种实施例的对图像进行分类的方法。
参考图1A、图1B和图2，在各种实施例中，Mura检测系统在预处理器100处接收输入图像(步骤200)。输入图像可以例如包括对测试图像进行显示的显示器的图像。可以使用相机以通过拍摄对测试图像进行显示的OLED的照片来生成输入图像。在各种实施例中，测试图像可以包括可能会导致显示器展现水平线Mura的实例的图像。例如，测试图像可以是展现低水平对比度的均匀图像。输入图像也可以具有足够高的分辨率，以示出正被检查缺陷(例如，线Mura)的显示器的各个像素。在各种实施例中，预处理器100可以被配置为接收输入图像并对输入图像执行平滑以减少图像中的噪声。在减少输入图像中的噪声之后，预处理器100可以被配置为将图像划分为多个图像斑块(步骤210)。然后可以将图像斑块中的每个图像斑块供应给特征提取器110。
在各种实施例中，特征提取器110被配置为对被供应的图像斑块的各种统计学特征进行计算(步骤220)。例如，统计学特征可以包括：一个或多个图像矩(例如，像素强度的加权平均值)、一个或多个纹理测量结果(例如，使用灰度共生矩阵(GLCM)的纹理分析)或者输入图像的任何其他统计学特征。例如，在各种实施例中，通过特征提取器110来提取对比度、相关性、能量、来自GLCM的均匀性、以及诸如mu03、mu10、hu1、hu5等的矩。
在各种实施例中，将提取出的每个图像斑块的统计学特征作为输入而供应给分类器120(230)。在各种实施例中，分类器120是机器学习分类器，该机器学习分类器使用提取出的特征(例如，特征向量)以及标签分类信息来对缺陷(例如，Mura)的实例进行识别(240)。在各种实施例中，通过对分类器进行训练来供应分类信息。
在各种实施例中，分类器120采用监督学习模型，并因此在起作用之前进行训练。在一些实施例中，分类器120中所使用的监督学习模型是支持向量机。可以通过在训练阶段期间向分类器120提供人工输入130来对监督学习模型(例如，支持向量机)进行训练。例如，对于每个图像斑块，人们可以在视觉上对该斑块进行检查并且对白点Mura的任何实例进行标记。图像斑块也被提供给特征提取器110。针对图像斑块而提取的特征向量以及对应的被人工检查并标记的斑块都被提供给分类器120。分类器120利用所提供的这些斑块来生成分类信息(即，构建模型)，以便稍后用于分类。
图3A描绘了根据本公开的各种实施例的系统概述。图3B描绘了根据本公开的各种实施例的使用图3A的系统对图像进行分类的方法。
参考图3A和图3B，在各种实施例中，线Mura分类系统可以为了对线Mura的潜在实例进行识别而采用预处理以及候选对象检测。进行预处理并且使用候选对象检测器可以减少通过分类器进行分析的图像斑块的总数量，代价是增加预分类处理时间。尽管增加了预分类处理时间，但是由于后续的分类时间减少，因此整体运行时间可以被显著降低。例如，当与滑动窗口图像斑块生成技术相比较时，由于需要进行分类的图像斑块的数量减少，因此总的处理时间可以按数量级减少。另外，采用预处理以及候选对象检测还可以改善分类器训练。例如，在各种实施例中，图像斑块的减少会允许减少训练期间的人为干预，从而减少提供给分类器的人为错误。
在各种实施例中，系统在归一化模块300处接收输入图像。在各种实施例中，将输入图像归一化到所期望的数据范围(步骤350)。例如，在各种实施例中，归一化可以是如公式1所描述的线性归一化。
其中gMax和gMin分别是针对整个图像数据集的全局最大值和最小值，Iinput是输入图像，并且Inorm是归一化图像。在该示例中，归一化会导致图像强度被反转。
在各种实施例中，归一化图像被提供给预处理器310，该预处理器310使用一个或多个滤波器来对归一化图像进行滤波，以使任何缺陷实例(例如水平线Mura)变得更加明显，同时还降低图像噪声(步骤360)。例如，在各种实施例中，一个或多个滤波器可以被配置为使图像中的能量朝向中心线会聚。在各种实施例中，预处理图像被提供给Mura候选对象检测器320，该Mura候选对象检测器320对潜在的Mura候选对象进行识别(步骤370)并且在候选对象位置处生成图像斑块(步骤380)。在各种实施例中，生成图像斑块，其中潜在的Mura候选对象位于每个斑块的中心。图像斑块被提供给特征提取器330，该特征提取器330针对每个图像斑块生成特征向量(例如，如上所述)并且分类器340使用每个特征向量来对每个图像斑块进行分类(步骤390)。
图4描绘了根据本公开的各种实施例的预处理器。
参考图4，在各种实施例中，预处理器400被配置为对归一化图像进行滤波以增强线Mura特征，从而有助于候选对象检测以及分类。例如，在各种实施例中，预处理器400可以被配置为去除噪声并使能量朝向中心线会聚。在各种实施例中，预处理器400包括Gabor滤波器410和金字塔滤波器420。Gabor滤波器410被用于分析特定方向(例如角度θ)上的图像频率含量。在各种实施例中，可以使用不同的θ值来调整Gabor滤波器410，以对线Mura的不同角度进行检测。例如，线Mura可以不限于完全的水平或垂直的方向。因此，Gabor滤波器410可以对图像使用不止一次并且使用不同的参数。例如，水平线可以倾斜超过1度。在各种实施例中，Gabor滤波器410可以包括θ为1度的值以及包括σ等于4、λ等于19并且γ等于0.5的值。还可以进一步对Gabor滤波器410的参数(例如，θ、σ、λ和γ)进行调整，以滤除不同的频率或其他因素。在各种实施例中，还可以对滤波器大小进行调整。例如，在各种实施例中，Gabor滤波器410可以具有31×31个像素的大小。对滤波器参数的调整可以通过迭代过程自动完成或者通过用户来进行修改。
在各种实施例中，金字塔滤波器420可以被配置为以图像分辨率为代价来增加图像平滑。在各种实施例中，金字塔滤波器420是高斯金字塔滤波器(例如，多分辨率高斯金字塔滤波器)。例如，在各种实施例中，高斯金字塔滤波器420可被用于针对预处理后的输入图像生成四层的高斯金字塔。然后可以将5×5的窗口滤波器应用于每层，并且可以将各层合并回到单个的过滤图像。在各种实施例中，可以根据输入图像大小来调整窗口滤波器的层数及大小。在各种其他实施例中，可以使用其他类型的金字塔滤波器。例如，在各种其他实施例中，金字塔滤波器420可以是拉普拉斯金字塔滤波器、可操纵金字塔滤波器或其他类型的金字塔滤波器。在各种其他实施例中，金字塔滤波器420可以由对输入图像具有类似效果的一个或多个其他滤波器来代替。例如，在各种实施例中，金字塔滤波器420可以由多个高斯平滑滤波器来代替。高斯平滑滤波器中的每个高斯平滑滤波器可以具有彼此不同的分布，并且对高斯平滑滤波器中的每个高斯平滑滤波器的输出进行平均。
图5A描绘了根据本公开的各种实施例的候选对象检测器，并且图5B描绘了根据本公开的各种实施例的候选对象检测方法。
参考图5A和图5B，候选对象检测器500可被用于对线Mura(例如，水平线Mura)的潜在实例进行识别。在各种实施例中，候选对象检测器500被配置为对沿着线的二进制图像分量进行计数。当沿着线的分量数量大于线阈值时，识别出线Mura的潜在实例。在各种实施例中，候选对象检测器500可以包括平均和标准偏差模块510，该平均和标准偏差模块510对平均图像强度和标准偏差进行确定(步骤501)。在各种实施例中，二进制转换模块520将输入图像转换为二进制图像(步骤502)。二进制转换模块520可以使用以由标准偏差修改的平均值来设置的二进制阈值。例如，在各种实施例中，阈值可以通过公式2来定义。
在各种实施例中，候选对象检测器500可以使用二进制图像来对线Mura的潜在实例进行识别。例如，线分量计数模块530可以对沿着斜率的线分段的长度(例如，沿着斜率被标记为“1”的分量)进行计数(步骤503)。例如，在各种实施例中，对于输入图像中的每条线，线分量计数模块530可以对二进制图像中的沿着斜率0(例如，水平线)被标记为“1”的分段的数量进行计数。在另一示例中，线分量计数模块530可以沿±0.5、±1.0、±1.5等斜率来进行计数。在各种实施例中，当沿着斜率计数的线分段的数量超过线阈值时，可以检测出候选对象。在各种实施例中，阈值比较模块540将计数的线分量的每个数量与针对相关斜率的对应的线阈值进行比较(步骤504)。例如，线阈值可以被设置为沿着斜率的线分量的总数量的70％。QHD显示器具有2560×1440的分辨率。因此，在该示例中，对于水平线(例如，斜率为0)，线阈值可以被设置为1000个分量。在各种实施例中，候选对象标记器550对每个识别出的候选对象的位置和方向进行标记(步骤505)。然后可以使用原始图像来针对每个识别出的候选对象生成图像斑块，并如上所述将该图像斑块提供给特征提取器110和330以及分类器120和340。在各种实施例中，可以基于显示器尺寸来确定图像斑块的大小。例如，在各种实施例中，显示器可以是具有2560×1440的分辨率的QHD显示器，并且图像斑块可以具有43×1408个像素的大小。在其他实施例中，显示器可以具有1480×720的分辨率，并且图像斑块可以具有21×704个像素的大小。
因此，本公开的上述实施例提供了用于对显示面板上的线Mura的实例进行识别的系统及方法。在各种实施例中，预处理和候选对象检测可以减少将要进行分类的候选对象图像斑块的数量，从而减少总的处理时间，同时提高检测精度。可以生成图像斑块，其中Mura候选对象位于斑块的中心，并且通过创建斑块，其中线位于该斑块中心处，系统提供用于训练和分类的清晰数据集。
前述内容是对示例实施例的说明，而不应被解释为对其进行限制。尽管已经描述了几个示例实施例，但是本领域技术人员将容易地理解，在实质上不脱离示例实施例的新颖性教导和优点的情况下，可以对示例实施例进行许多修改。因此，所有这些修改旨在包括在如权利要求中限定的示例实施例的范围内。在权利要求中，装置加功能的小句旨在覆盖本文所描述为执行所述功能的结构，而不仅仅是结构等同物，而且还包括等同结构。因此，应当理解，上述内容是对示例实施例的说明，并且不应被解释为限于所公开的特定实施例，并且对所公开的示例实施例的修改以及其他示例实施例旨在包括在所附权利要求的范围内。本发明构思由所附权利要求限定，其中包括权利要求的等同物。

Claims (20)

1.一种用于对显示器中的缺陷进行识别的系统，所述系统包括：
存储器；
处理器，被配置为执行在所述存储器上存储的指令，所述指令当由所述处理器执行时，使所述处理器：
通过使用至少一个滤波器对所述显示器的输入图像进行预处理来生成滤波图像；
通过以下方式对线Mura候选对象进行识别：
将所述滤波图像转换为二进制图像；
对所述二进制图像中的沿着斜率的线分量进行计数；及
当沿着所述斜率的所述线分量的计数数量超过线阈值时，对候选对象位置进行标记；
生成图像斑块，其中所述候选对象位置位于所述图像斑块的中心；以及
使用机器学习分类器来对所述图像斑块进行分类。
2.根据权利要求1所述的系统，其中，
所述至少一个滤波器包括Gabor滤波器和金字塔滤波器中的至少一个。
3.根据权利要求1所述的系统，其中，将所述滤波图像转换为二进制图像包括：
确定所述滤波图像的平均图像强度和标准偏差；
基于所述平均图像强度和所述标准偏差来计算二进制阈值；以及
根据所述二进制阈值来将所述滤波图像转换为所述二进制图像。
4.根据权利要求1所述的系统，其中，
所述线阈值等于沿着所述斜率的所述线分量的总数量的70％。
5.根据权利要求1所述的系统，其中，
所述图像斑块是使用所述输入图像生成的。
6.根据权利要求1所述的系统，其中，
所述机器学习分类器包括支持向量机。
7.根据权利要求1所述的系统，其中，所述指令进一步使所述处理器从所述图像斑块中提取特征向量，其中所述特征向量包括至少一个图像矩。
8.根据权利要求1所述的系统，其中，所述指令进一步使所述处理器将所述输入图像归一化。
9.一种用于对显示器中的缺陷进行识别的方法，包括：
通过使用至少一个滤波器对所述显示器的输入图像进行预处理来生成滤波图像；
对线Mura候选对象进行识别，其中对线Mura候选对象进行识别包括：
将所述滤波图像转换为二进制图像；
对所述二进制图像中的沿着斜率的线分量进行计数；及
当沿着所述斜率的所述线分量的计数数量超过线阈值时，对候选对象位置进行标记；
生成图像斑块，其中所述候选对象位置位于所述图像斑块的中心；以及
使用机器学习分类器来对所述图像斑块进行分类。
10.根据权利要求9所述的方法，其中，
所述至少一个滤波器包括Gabor滤波器和金字塔滤波器中的至少一个。
11.根据权利要求9所述的方法，其中，将所述滤波图像转换为二进制图像包括：
确定所述滤波图像的平均图像强度和标准偏差；
基于所述平均图像强度和所述标准偏差来计算二进制阈值；以及
根据所述二进制阈值来将所述滤波图像转换为所述二进制图像。
12.根据权利要求9所述的方法，其中，
所述线阈值等于沿着所述斜率的所述线分量的总数量的70％。
13.根据权利要求9所述的方法，其中，
所述图像斑块是使用所述输入图像生成的。
14.根据权利要求9所述的方法，其中，
所述机器学习分类器包括支持向量机。
15.根据权利要求9所述的方法，进一步包括：
提取所述图像斑块的特征向量，其中所述特征向量包括至少一个图像矩。
16.一种用于对显示器中的缺陷进行识别的方法，包括：
将所述显示器的输入图像归一化到所期望的数据范围；
通过使用Gabor滤波器和金字塔滤波器中的至少一个对归一化后的输入图像进行预处理来生成滤波图像；
对线Mura候选对象进行识别，其中，对线Mura候选对象进行识别包括：
根据二进制阈值来将所述滤波图像转换为二进制图像；
对所述二进制图像中的沿着至少一个斜率的线分量进行计数；及
当沿着所述至少一个斜率的所述线分量的计数数量超过线阈值时，对候选对象位置进行标记；
生成至少一个图像斑块，其中所述候选对象位置位于所述图像斑块的中心；以及
使用机器学习分类器来对所述至少一个图像斑块进行分类。
17.根据权利要求16所述的方法，其中，将所述滤波图像转换为二进制图像包括：
确定所述滤波图像的平均图像强度和标准偏差；
基于所述平均图像强度和所述标准偏差来计算所述二进制阈值；以及
根据所述二进制阈值来将所述滤波图像转换为所述二进制图像。
18.根据权利要求17所述的方法，其中，
所述二进制阈值等于在所述标准偏差除以1.5而得到的值上加上所述平均图像强度。
19.根据权利要求16所述的方法，其中，
所述机器学习分类器包括支持向量机。
20.根据权利要求16所述的方法，进一步包括：
提取所述图像斑块的特征向量，其中所述特征向量包括至少一个图像矩。
CN201910132663.1A 2018-02-22 2019-02-22 用于利用预处理进行线缺陷检测的系统及方法 Pending CN110189289A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201862634125P 2018-02-22 2018-02-22
US62/634,125 2018-02-22
US15/956,667 US10755133B2 (en) 2018-02-22 2018-04-18 System and method for line Mura detection with preprocessing
US15/956,667 2018-04-18

Publications (1)

Publication Number Publication Date
CN110189289A true CN110189289A (zh) 2019-08-30

Family

ID=65365888

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910132663.1A Pending CN110189289A (zh) 2018-02-22 2019-02-22 用于利用预处理进行线缺陷检测的系统及方法

Country Status (6)

Country Link
US (1) US10755133B2 (zh)
EP (1) EP3531407B1 (zh)
JP (1) JP7274885B2 (zh)
KR (1) KR102611224B1 (zh)
CN (1) CN110189289A (zh)
TW (1) TWI797262B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3489892B1 (en) * 2017-11-24 2022-01-05 Ficosa Adas, S.L.U. Determining clean or dirty captured images
KR102528980B1 (ko) * 2018-07-18 2023-05-09 삼성디스플레이 주식회사 표시 장치 및 이의 얼룩 보정 방법
EP3841557A4 (en) * 2018-11-02 2022-04-06 Hewlett-Packard Development Company, L.P. PRINT QUALITY RATINGS
US11948292B2 (en) 2019-07-02 2024-04-02 MakinaRocks Co., Ltd. Systems and methods for detecting flaws on panels using images of the panels
CN111340752A (zh) * 2019-12-04 2020-06-26 京东方科技集团股份有限公司 屏幕的检测方法、装置、电子设备及计算机可读存储介质
TWI748344B (zh) * 2020-02-14 2021-12-01 聚積科技股份有限公司 發光二極體調屏標準判定模型建立方法
US11244548B2 (en) * 2020-03-03 2022-02-08 Beijing Jingdong Shangke Information Technology Co., Ltd. System and method for anti-shoplifting in self-checkout

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5917935A (en) * 1995-06-13 1999-06-29 Photon Dynamics, Inc. Mura detection apparatus and method
US6154561A (en) * 1997-04-07 2000-11-28 Photon Dynamics, Inc. Method and apparatus for detecting Mura defects
JP4258041B2 (ja) 1998-10-06 2009-04-30 凸版印刷株式会社 ムラ欠陥検査装置及び方法並びにムラ欠陥検査プログラムを記録した記録媒体
JP3431075B2 (ja) * 2001-08-27 2003-07-28 科学技術振興事業団 液晶ディスプレイパネルムラの分類処理方法、その装置及びプログラム
FR2841423A1 (fr) * 2002-06-25 2003-12-26 Koninkl Philips Electronics Nv Procede de detection d'artefacts de bloc
US7308157B2 (en) * 2003-02-03 2007-12-11 Photon Dynamics, Inc. Method and apparatus for optical inspection of a display
JP2005140655A (ja) 2003-11-07 2005-06-02 Seiko Epson Corp シミ欠陥の検出方法及びその検出装置
KR100554578B1 (ko) 2003-11-29 2006-03-03 주식회사 쓰리비 시스템 플랫패널용 광관련판요소의 정형성 얼룩 검출방법
US8184923B2 (en) * 2004-04-19 2012-05-22 Semiconductor Energy Laboratory Co., Ltd. Image analysis method, image analysis program, pixel evaluation system having the image analysis method, and pixel evaluation system having the image analysis program
JP2005331929A (ja) 2004-04-19 2005-12-02 Semiconductor Energy Lab Co Ltd 画像解析方法、画像解析プログラム、及びそれらを有する画素評価システム
JP4583155B2 (ja) * 2004-12-13 2010-11-17 Ｈｏｙａ株式会社 欠陥検査方法及びシステム、並びにフォトマスクの製造方法
TWI354100B (en) 2006-06-01 2011-12-11 Dainippon Screen Mfg Unevenness inspecting method, unevenness inspectin
US8026927B2 (en) * 2007-03-29 2011-09-27 Sharp Laboratories Of America, Inc. Reduction of mura effects
KR101587176B1 (ko) * 2007-04-18 2016-01-20 마이크로닉 마이데이타 에이비 무라 검출 및 계측을 위한 방법 및 장치
US8780097B2 (en) 2011-10-20 2014-07-15 Sharp Laboratories Of America, Inc. Newton ring mura detection system
KR101977647B1 (ko) 2012-11-15 2019-05-14 엘지디스플레이 주식회사 표시장치의 얼룩 검출 장치 및 방법
KR101958634B1 (ko) * 2012-12-13 2019-03-15 엘지디스플레이 주식회사 디스플레이 장치의 무라 검출 장치 및 방법
WO2014140047A2 (en) * 2013-03-12 2014-09-18 Micronic Mydata AB Method and device for writing photomasks with reduced mura errors
US9607403B2 (en) * 2014-10-28 2017-03-28 Ppg Industries Ohio, Inc. Pigment identification of complex coating mixtures with sparkle color
TW201711634A (zh) * 2015-09-17 2017-04-01 國立中央大學 腦功能成像辨識的方法及系統
JP2018005639A (ja) * 2016-07-04 2018-01-11 タカノ株式会社 画像分類装置、画像検査装置、及び、プログラム

Also Published As

Publication number Publication date
KR20190101874A (ko) 2019-09-02
US20190258890A1 (en) 2019-08-22
EP3531407B1 (en) 2024-05-08
JP2019144245A (ja) 2019-08-29
TWI797262B (zh) 2023-04-01
JP7274885B2 (ja) 2023-05-17
EP3531407A1 (en) 2019-08-28
KR102611224B1 (ko) 2023-12-07
TW201945719A (zh) 2019-12-01
US10755133B2 (en) 2020-08-25

Similar Documents

Publication Publication Date Title
US10681344B2 (en) System and method for mura detection on a display
CN110189289A (zh) 用于利用预处理进行线缺陷检测的系统及方法
US10643576B2 (en) System and method for white spot Mura detection with improved preprocessing
Işık A comparative evaluation of well-known feature detectors and descriptors
Vonikakis et al. On the evaluation of illumination compensation algorithms
Feng et al. Camouflage texture evaluation using saliency map
CN111915704A (zh) 一种基于深度学习的苹果分级识别方法
CN111539957B (zh) 一种用于目标检测的图像样本生成方法、系统及检测方法
Zhong et al. A semantic no-reference image sharpness metric based on top-down and bottom-up saliency map modeling
CN109716355A (zh) 微粒边界识别
Lee 16‐4: Invited Paper: Region‐Based Machine Learning for OLED Mura Defects Detection
DE102014108492A1 (de) Verfahren zum Detektieren eines blickwinkelabhängigen Merkmals eines Dokumentes
Zukal et al. Evaluation of interest point detectors for scenes with changing lightening conditions
Lailesh et al. A Pre-trained YOLO-v5 model and an Image Subtraction Approach for Printed Circuit Board Defect Detection
Taban et al. Different shape and color targets detection using auto indexing images in computer vision system
Mohamed et al. Seeing Signs of Danger: Attention-Accelerated Hazmat Label Detection
Varga et al. Gradient-based region of interest selection for faster pedestrian detection
Janousek et al. Algorithms for Flying Object Detection
Alsam et al. Validating the visual saliency model
Titijaroonroj et al. Spatial-Frequency Redistribution-based Saliency Region Detection for Thai Text Localisation
Tică et al. A System for Automatic Coin Identification and Classification
Njogu et al. Automation of Defect Detection in Digital Radiographic Images
Schrider Histogram-based template matching object detection in images with varying brightness and contrast
Sammouda Sensitivity analysis of Hopfield neural network in classifying natural RGB color space
Manohar et al. Object identification by multispectral fusion and Haar classification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination