CN106200047B - 一种基于GPU的TFT-LCD Mura缺陷检测的方法 - Google Patents
一种基于GPU的TFT-LCD Mura缺陷检测的方法 Download PDFInfo
- Publication number
- CN106200047B CN106200047B CN201610761614.0A CN201610761614A CN106200047B CN 106200047 B CN106200047 B CN 106200047B CN 201610761614 A CN201610761614 A CN 201610761614A CN 106200047 B CN106200047 B CN 106200047B
- Authority
- CN
- China
- Prior art keywords
- image
- point
- double
- data
- coefficient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 69
- 230000007547 defect Effects 0.000 title claims abstract description 51
- 238000001514 detection method Methods 0.000 title claims abstract description 51
- 238000012545 processing Methods 0.000 claims abstract description 31
- 230000011218 segmentation Effects 0.000 claims abstract description 26
- 241001269238 Data Species 0.000 claims abstract description 14
- 238000009826 distribution Methods 0.000 claims abstract description 10
- 230000000877 morphologic effect Effects 0.000 claims abstract description 8
- 230000007797 corrosion Effects 0.000 claims abstract description 6
- 238000005260 corrosion Methods 0.000 claims abstract description 6
- 238000001914 filtration Methods 0.000 claims description 18
- 238000013480 data collection Methods 0.000 claims description 9
- 238000005530 etching Methods 0.000 claims description 7
- 238000000611 regression analysis Methods 0.000 claims description 5
- HPTJABJPZMULFH-UHFFFAOYSA-N 12-[(Cyclohexylcarbamoyl)amino]dodecanoic acid Chemical compound OC(=O)CCCCCCCCCCCNC(=O)NC1CCCCC1 HPTJABJPZMULFH-UHFFFAOYSA-N 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 4
- 238000010586 diagram Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 description 14
- 230000008569 process Effects 0.000 description 9
- 238000003745 diagnosis Methods 0.000 description 6
- 239000000047 product Substances 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 4
- 239000004973 liquid crystal related substance Substances 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000007717 exclusion Effects 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000007323 disproportionation reaction Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000032258 transport Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/006—Electronic inspection or testing of displays and display drivers, e.g. of LED or LCD displays
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G02—OPTICS
- G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
- G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
- G02F1/01—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour
- G02F1/13—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour based on liquid crystals, e.g. single liquid crystal display cells
- G02F1/1306—Details
- G02F1/1309—Repairing; Testing
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- G—PHYSICS
- G02—OPTICS
- G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
- G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
- G02F1/01—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour
- G02F1/13—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour based on liquid crystals, e.g. single liquid crystal display cells
- G02F1/133—Constructional arrangements; Operation of liquid crystal cells; Circuit arrangements
- G02F1/136—Liquid crystal cells structurally associated with a semi-conducting layer or substrate, e.g. cells forming part of an integrated circuit
- G02F1/1362—Active matrix addressed cells
- G02F1/1368—Active matrix addressed cells in which the switching element is a three-electrode device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/155—Segmentation; Edge detection involving morphological operators
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
- G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
- G09G3/36—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using liquid crystals
- G09G3/3611—Control of matrices with row and column drivers
- G09G3/3648—Control of matrices with row and column drivers using an active matrix
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
- H04N25/671—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
- H04N25/677—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction for reducing the column or line fixed pattern noise
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
- H04N25/683—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects by defect estimation performed on the scene signal, e.g. real time or on the fly detection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
-
- G—PHYSICS
- G02—OPTICS
- G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
- G02F2203/00—Function characteristic
- G02F2203/69—Arrangements or methods for testing or calibrating a device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20032—Median filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20036—Morphological image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30121—CRT, LCD or plasma display
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Nonlinear Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Chemical & Material Sciences (AREA)
- Signal Processing (AREA)
- Crystallography & Structural Chemistry (AREA)
- Multimedia (AREA)
- Optics & Photonics (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Immunology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Analytical Chemistry (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Pathology (AREA)
- Biochemistry (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Liquid Crystal (AREA)
- Testing Of Optical Devices Or Fibers (AREA)
- Liquid Crystal Display Device Control (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
- Devices For Indicating Variable Information By Combining Individual Elements (AREA)
Abstract
本发明公开了一种基于GPU的TFT‑LCD Mura缺陷检测的方法,包括下述步骤:(1)基于原始图像数据建立基于学生化残差的双二阶回归诊断模型,获得双二阶回归背景图像数据;(2)根据原始图像数据和所述双二阶回归背景图像数据获得各组数据点对拟合值的影响量;(3)根据所述影响量排除原始图像数据中的奇异点和影响点,获得新的像素点集;(4)根据新的像素点集建立双N阶多项式曲面拟合模型,获得双N阶背景图像数据;(5)根据所述双N阶背景图像数据和原始图像数据获得残差图像R并对残差图像进行阈值分割处理,获得阈值分割图像;(6)对阈值分割图像进行形态学处理,获得腐蚀膨胀后的图像,实现对亮度分布不均的Mura缺陷进行有效的分割。
Description
技术领域
本发明属于液晶显示器显示缺陷检测技术领域,更具体地,涉及一种基于GPU的TFT-LCD Mura缺陷检测的方法。
背景技术
TFT-LCD(薄膜晶体管液晶显示器)以其低功耗、大尺寸化、高清晰化等特点成为当前最主流的显示设备,并广泛应用于液晶电视、手机移动终端等显示领域,特别是在高清、3D等高端显示领域,TFT-LCD具有绝对的优势。
TFT-LCD的广泛应用,以及消费者对于高性能显示器件的需求日益提高,使得TFT-LCD制作工艺和流程越来越复杂,而在TFT-LCD大批量的生成过程中,不可避免地会产生一定的不良产品。根据缺陷形态和背景对比度的不同,TFT-LCD的显示缺陷主要分为:点缺陷,线缺陷,Mura缺陷。而Mura缺陷因具有对比度低,背景亮度不均匀等特点,加之背景纹理和复杂噪声的干扰,使得对Mura缺陷的检测和修复成为企业竞争力的重要依据。
目前,国内外各大TFT-LCD面板厂商对Mura缺陷的检测主要依靠经验丰富的检测人员用肉眼来进行判定,具有成本高、不稳定、效率低等特点。机器视觉缺陷检测是一种非接触式的检验方式,因具有自动化程度高、鲁棒性好等特性而受到广泛应用。然而,通过CCD相机等设备采集到的缺陷图像由于TFT-LCD材料不均匀、视场偏差、外界光源不均匀等原因使得图像背景亮度不均匀混杂在Mura缺陷本身的不均匀中,从而导致自动光学检测方法不能准确检测出Mura缺陷甚至差于人工的检测方法。
现有技术的主要问题是自动光学检测自适应差,误检和漏检率较高,如针对不同型号的产品以及具有一定差异的同型号产品,其检测自适应欠佳,设备调试和可操作性较差。另一方面,目前自动光学检测主要采用线上检测方式,而现有技术多采用CPU等开发环境,检测时间长,尤其是对于大幅面、多张图像同时检测的情况,现有技术严重影响工序效率。
中国专利《基于B样条曲面拟合的TFT-LCDMura缺陷机器视觉检测方法》(专利号CN201310405884.4),采用对原始图像数据进行B样条曲面拟合,然后用原始图像减去背景图像的方法。该方法对亮度不均匀面积较大或者噪声大的Mura缺陷的检测效果不理想,且运算量较大,较难满足实际应用的要求。
发明内容
针对现有技术的缺陷,本发明的目的在于提供一种基于GPU的TFT-LCD Mura缺陷检测的方法,旨在解决现有技术对亮度不均匀面积较大或者噪声大的Mura缺陷的检测效果不理想,检测精度低且运算量较大的问题。
本发明提供了一种基于GPU的TFT-LCD Mura缺陷检测的方法,包括下述步骤:
(1)基于原始图像数据建立基于学生化残差的双二阶回归诊断模型,并计算所述双二阶回归诊断模型的第一系数,并将所述第一系数进行拟合处理,获得双二阶回归背景图像数据;
(2)根据所述原始图像数据和所述双二阶回归背景图像数据获得各组数据点对拟合值的影响量WK;
其中,第i组数据点对于拟合值的影响量 WKi越大表示第i个数据点对曲面拟合的影响也就越大,反之,则第i个数据点对曲面拟合的影响也就越小;
(3)根据所述影响量WK排除所述原始图像数据中的奇异点和影响点,获得新的像素点集ΦB;
(4)根据新的像素点集ΦB建立双N阶多项式曲面拟合模型,计算双N阶多项式曲面拟合模型的第二系数,并根据所述第二系数估计双N阶背景图像数据;
(5)根据所述双N阶背景图像数据和所述原始图像数据获得残差图像并对所述残差图像进行阈值分割处理,获得阈值分割图像;
(6)对所述阈值分割图像进行形态学处理,获得腐蚀膨胀后的图像,实现对亮度分布不均的Mura缺陷进行有效的分割。
在本发明中,第一系数是指双二阶回归诊断模型系数,第二系数是指双四阶多项式模型系数。
更进一步地,步骤(1)具体为:
(1.1)建立基于学生化残差的双二阶回归诊断模型:Z=Xβ+ε=p00+p10x+p01y+p20x 2+p11xy+p02y2+ε;
(1.2)根据最小二乘法计算所述双二阶回归诊断模型的第一系数的估计值
(1.3)将所述第一系数的估计值进行拟合处理,获得双二阶回归背景图像数据
其中,X表示二维图像的横轴和纵轴坐标的矩阵表示形式;Z为X中对应坐标位置处的像素灰度值;p00,p01,…,p20为双二阶回归诊断模型系数;ε为残差值,满足ε~(0,σ2I);β为回归模型系数的向量表示形式,β的水平为1-α的置信域可表示为如下形式: p为双二阶回归诊断模型系数个数;n为图像像素点总数;和为模型系数β和方差σ的最小二乘估计;F(p,n-p)为F分布。
更进一步地,在步骤(1.1)之前还包括如下步骤:对所述原始图像数据进行Gabor滤波,去除摩尔纹和CCD采集的原始图像中的纹理栅格;
其中,Gabor滤波算子包括: xr=xcosθ+ysinθ,yr=-xsinθ+ycosθ,f为滤波频率,θ为滤波器方向;f为1/2T,T为纹理单元的宽度。
更进一步地,所述滤波器方向θ分别为0°、45°、90°、135°;由于更多的方向可以增强滤波效果,但是会大大的增加计算量,在一般的纹理分析中,四个方向的滤波器是足够的。本发明中经过Gabor滤波后的图像,纹理栅格得到很好的抑制。
更进一步地,步骤(3)具体为:
(3.1)对影响量WK按照从小到大进行排序,取出前γ%的点视为奇异区域,并将其像素值置为1,其余像素的像素值置为0,获得二值化图像Φuv,
(3.2)对所述二值化图像进行中值滤波,获得滤波后的奇异点图像Φf;
(3.3)对残差图像E按照从大到小进行排序,取出前ω%的点视为影响点区域,并将其像素值置为1,其余像素的像素值置为0,获得影响点图像Φg;
(3.4)由原始图像像素点集Φ,扣除具有影响力的影响点图像Φg和奇异点图像Φf后得到新的像素点集ΦB;
其中,γ为奇异阈值,取值范围为0-100;残差图像z和的意义同上,ω取2-10;ΦB=Φ-Φg-Φ.*Φf;.*为点乘操作,ΦB为从原始图像像素点集Φ中扣除影响点和奇异点后的像素集;奇异点是指因建立的模型不能有好的回归分析解释并且远离了整体的数据点;影响点是指会使回归模型产生很大变化的点。
更进一步地,由于多项式拟合可以近似估计图像整体的亮度变化趋势,而拟合的成败很大程度上取决于对于多项式阶次的选取,阶次太低,拟合的效果较差,而且会出现明显的区块效应,阶次太高,一方面耗时随阶次成几何倍数增长,另一方面易产生过拟合现象,综合考虑各种因素,N可以取值为4或5;当N为4时,步骤(4)具体为:
(4.1)建立双四阶多项式曲面拟合模型:Z=Xβ+ε=p00+p10x+p01y+p20x2+p11xy+p02y2+p30x3+p21x2y+p12xy2+p03y3+p40x4+p31x3y+p22x2y2+p13xy3+p04y4+ε;
(4.2)根据最小二乘法计算所述双四阶多项式曲面拟合模型的第二系数估计值
(4.3)对所述第二系数估计值进行拟合处理,获得双N阶背景图像数据
其中,X和Z分别为扣除奇异点后的新的像素点集ΦB对应的坐标数据集和灰度数据集,p00,p01,…,p40为双四阶多项式模型系数,为由原始图像最终拟合的背景图像。
更进一步地,在步骤(5)中,所述阈值分割处理具体为:
将残差图像R与二值化图像取反后作像素点乘,扣除属于奇异区域的残差RES=(1-Φf).*R;
根据所述残差RES、背景区域的平均值uΦ和方差σΦ获得阈值分割图像T(u,v);
其中,阈值分割图像背景区域的平均值背景区域的方差阈值Thresh的取值范围为:0.6~3。
更进一步地,在步骤(6)中,所述形态学处理具体为:采用腐蚀操作消除所述阈值分割图像中较小的连通区域,并对腐蚀操作后的图像进行膨胀操作,将相邻目标区域连接起来,获得腐蚀膨胀后的图像。
更进一步地,步骤(1)-(6)均是基于图形处理单元的并行处理实现的,具体包括:GPU显存和线程分配,将存入GPU显存中的CUDA数组与纹理内存绑定,分配共享存储器,启动Kernel内核并进行GPU粗粒度和细粒度协同并行计算,将计算结果由GPU回传给CPU。
步骤(1)-(6)中GPU并行处理实现粗粒度和细粒度算法加速,所谓细粒度是指在算法的每个阶段分别以最小的粒度来开发数据并行;粗粒度是指算法在每个阶段以线程块为单位进行数据共享。在GPU上采用二维的线程块(Block)组织二维的线程网格(Grid),而每个线程块又由若干个线程(Thread)组成,线程网格中第i个线程计算本次图像迭代数据的第i个像素点,各Blcok之间并行执行且相互之间不能通信,保证了数据块之间的独立性和稳定性;同时,同一个线程块中的线程通过共享存储器交换数据,并通过栅栏同步保证线程间正确的共享数据。
通过本发明所构思的以上技术方案,与现有技术相比,由于采用了一种新的背景重构方法,能够取得如下的有益效果:
(1)本发明通过将回归诊断方法和曲面拟合方法进行有效结合,拟合中排除奇异点和影响点区域,避免因奇异点和影响点的干扰使得回归曲线往奇异点的方向移动,从而使得背景拟合的精度更高,本发明对亮度不均匀面积较大或者噪声大的Mura缺陷也能有较好的检测效果。
(2)本发明将低阶回归诊断同高阶多项式拟合结合起来进行背景估计,低阶回归诊断属于粗拟合,便于在原始图像中寻找奇异点;高阶多项式拟合为细拟合,是对低阶拟合的一种修正和补充。粗细两种拟合有效结合,可以避免分别采用两种拟合带来的拟合精度差的缺陷。
(3)本发明有效利用图形处理单元GPU进行并行加速,极大的降低方法的处理时间。此外,利用共享存储器和纹理存储器进一步降低GPU内存访问时间,实现线程间高速低延迟通信,从而极大的提高检测工序的效率。
(4)本发明可以适用于液晶显示领域目前市面上所有规格尺寸,各种形态Mura缺陷的检测,通用性较强。
附图说明
图1为本发明提出的基于回归诊断和多项式曲面拟合的TFT-LCD Mura缺陷检测方法流程图;
图2为基于回归诊断和多项式曲面拟合的TFT-LCD Mura缺陷检测方法示意图。其中,图2(a)为图像预处理Gabor滤波后的图像,图2(b)为双二阶回归诊断拟合的背景图像,图2(c)为回归诊断图像经过二值化处理和中值滤波后的图像,图2(d)为双四阶多项式拟合的背景图像,图2(e)为原始图像与双四阶多项式拟合的背景图像经相减后的残差图像,图2(f)为残差值图像经Niblack’s算法阈值分割后的图像。
图3为GPU并行处理的流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本发明涉及液晶显示器显示缺陷检测领域,特别涉及TFT-LCD上的Mura缺陷的机器视觉缺陷检测的方法,本发明开发了一套检测效率高、检测准确率高的方法。同时,由于随着GPU(图形处理器)通用性的增强和性能的提升,其作为通用并行处理单元的巨大潜力在机器视觉、图形处理等领域表现的越来越明显。曲面拟合和回归诊断方法中涉及到很多并行处理,这为在GPU上并行实现提供了可能。因此,本发明致力于利用GPU强大的并行计算能力对回归诊断方法和曲面拟合方法进行优化加速。
本发明提供了一种高精度、高速度、高稳定的Mura缺陷自动光学检测方法。该方法首先建立一个基于学生残差的低阶回归诊断模型,并以此回归模型根据Welsch’sdistance来预测分析TFT-LCD图像中的奇异点和影响点;将奇异点区域与正常区域进行二值化处理和中值滤波,然后从原始图像中排除中值滤波后的奇异点区域;对上述已排除奇异点区域的图像进行高阶曲面拟合,从而拟合出背景影像,并以此作为原始图像的有效背景区域;将估计的背景图像与原始图像进行相减得到背景均匀的残差图像,从而有效解决亮度分布不均的问题。在此基础上,应用Niblack’s阈值分割方法可以将各种Mura缺陷从残差图像中分割开来。
针对现有的B样条、多项式等曲面拟合方法,每次都要对大量的数据进行控制点反演和正向拟合,因而拟合速度较慢,本发明实施例提供了一种基于GPU加速的背景拟合方法,合理利用GPU粗粒度和细粒度并行协同处理。此外,GPU共享存储器可以实现线程间高速低延迟通信,纹理存储器对较大数据的随机访问具有很好的加速效果,利用共享存储器和纹理存储器可以进一步降低GPU内存访问时间,从而极大提高方法的处理效率。
本发明提供的基于GPU的TFT-LCD Mura缺陷检测的方法,包括:
(1)图像预处理:对原始图像做滤波处理,主要为去除摩尔纹和纹理栅格的影响。滤波方法包括但不限于Gabor滤波器、傅里叶变换等方法。
(2)建立双二阶回归诊断模型,计算二阶回归诊断模型系数,并由回归模型诊断系数拟合出一个能近似反映图像背景基本变化趋势的回归曲面。
(3)奇异点和影响点计算和排除。包括:①计算诊断量测值,并从大到小排序全部的诊断量测值,取诊断量测值前γ%的像素且将其像素值置为1,其余像素的像素值置为0;②对①中的二值化图像进行中值滤波处理,其中滤波后的像素为1的区域为奇异点区域;③对残差图像取绝对值后进行从大到小排序,并取出前ω%的点视为影响点区域④从双二阶回归诊断模型中扣除奇异点和影响点区域。
(4)建立四阶多项式模型,计算四阶多项式模型系数,并估计出背景模型。
(5)将四阶背景模型与原图做差得到背景亮度均匀的残差图像,对残差图像进行归一化处理。
(6)Niblack’s阈值分割。阈值分割方法包括但不限于Niblack’s阈值方法。
在本发明实施例中,步骤(1)-(6)均是基于图形处理单元(GPU)的并行处理。GPU协同并行计算主要包括:GPU显存和线程分配,将存入GPU显存中的CUDA数组与纹理内存绑定,分配共享存储器,启动Kernel内核并进行GPU粗粒度和细粒度协同并行计算,将计算结果由GPU回传给CPU。
GPU以其高速的浮点数并行运算能力,在速度和带宽上远远高于目前主流的CPU处理器,在向量计算方面能够获得比CPU高出几十倍的计算效率,而计算机视觉图像处理中涉及到大量的并行运算,非常适合使用GPU进行并行处理。因此,本发明利用图形处理单元GPU对算法进行并行加速,可以极大的降低算法处理时间,从而提高检测工序的效率。
作为本发明的一个实施例,步骤(6)还包括数学形态学处理方法,主要为去除阈值分割后图像中的噪点或比较小的干扰块,从而将缺陷部分完整的呈现出来,而不会造成过检现象。
本发明提供了一种简单高效的TFT-LCD Mura缺陷检测的方法,具有检测精度高、检测速度快,能够克服人工缺陷检测所具有的不稳定、效率低等缺点,同时也可以克服传统的B样条曲面拟合、多项式曲面拟合等拟合偏差大,方法速度慢等缺点。具体来讲:
(1)本发明可以适用于液晶显示领域目前市面上所有规格尺寸,各种形态Mura缺陷的检测,通用性较强。
(2)本发明通过将回归诊断思想和曲面拟合方法进行有效结合,拟合中排除奇异点和影响点区域,避免因奇异点和影响点的干扰使得回归曲线往奇异点的方向移动,从而使得背景拟合的精度更高,本发明对亮度不均匀面积较大或者噪声大的Mura缺陷也能有较好的检测效果。
(3)本发明将低阶回归诊断同高阶多项式拟合结合起来进行背景估计,低阶回归诊断属于粗拟合,便于在原始图像中寻找奇异点;高阶多项式拟合为细拟合,是对低阶拟合的一种修正和补充。粗细两种拟合有效结合,可以避免分别采用两种拟合带来的拟合精度差的缺陷。
(4)本发明有效利用图形处理单元GPU进行并行加速,极大的降低算法的处理时间。此外,利用共享存储器和纹理存储器进一步降低GPU内存访问时间,实现线程间高速低延迟通信,从而极大的提高检测工序的效率。
为了更进一步说明本发明实施例提供的基于GPU的TFT-LCD Mura缺陷检测的方法,现结合附图详述如下:图1示出了本发明实施例提供的一种基于GPU的TFT-LCD Mura缺陷检测方法流程图,该方法包括以下步骤:
步骤S101:根据目标图像的大小分配GPU端内存空间并初始化;将原始图像数据从CPU拷贝到GPU显存中,并将GPU显存中的CUDA数组与纹理内存绑定,并合理分配线程和共享存储器,每个像素对应一个线程。启动Kernel内核并进行GPU粗粒度和细粒度协同并行计算,GPU并行计算见图3所示。
步骤S102:图像预处理,对原始图像进行Gabor滤波,从而去除摩尔纹(摩尔纹是数码相机等设备上由于感光元件出现的高频干扰而在采集的图片上出现的高频率条纹现象)和CCD采集的原始图像中的纹理栅格(纹理栅格为TFT基板中水平和垂直扫描线经相机图像采集后出现的规则排列的重复纹理背景),Gabor滤波采用GPU并行卷积运算处理。
其中Gabor滤波算子包括:
xr=xcosθ+ysinθ,yr=-xsinθ+ycosθ,f为滤波频率,θ为滤波器方向。中心频率f的取值范围为[1/16T,1/2T],本文选择f为1/2T,T为纹理单元的宽度。基于运算时间和性能的考虑,本文选取四个滤波器方向θ分别为0°、45°、90°、135°,更多的方向可以增强滤波效果,但是会大大的增加计算量,在一般的纹理分析中,四个方向的滤波器是足够的。将不同方向的滤波图像进行融合,得到最终的滤波图像,滤波结果图像见图2(a)所示,经过Gabor滤波后的图像,纹理栅格基本得到抑制。
步骤S103:建立一个基于学生化残差的双二阶回归诊断模型,并计算双二阶回归诊断模型系数,由回归模型系数拟合出一个能近似反映图像背景基本变化趋势的回归曲面,见图2(b)所示。回归分析模型是一种研究多个变量之间关系的统计模型,利用回归分析模型可以侦测出TFT-LCD中可能的奇异点和影响点。多项式拟合可以近似估计图像的背景信息,但在实际应用中,多项式拟合的精度易受原始图像中奇异点和影响点的干扰而偏离正常的拟合方向,因此,需要在多项式拟合之前进行基于双二阶回归诊断模型的奇异点和影响点排除,从而使得多项式拟合的精度更高。
(1)建立基于学生化残差的双二阶回归诊断模型
基于学生化残差的双二阶回归诊断模型可表示为:
Z=Xβ+ε=p00+p10x+p01y+p20x2+p11xy+p02y2+ε
其中X表示二维图像的横轴和纵轴坐标的矩阵表示形式;Z为X中对应坐标位置处的像素灰度值;p00,p01,…,p20为双二阶回归诊断模型系数;ε为残差值,满足ε~(0,σ2I);β为回归模型系数的向量表示形式,β的水平为1-α的置信域可表示为如下形式:
上式中p为双二阶回归诊断模型系数个数;n为图像像素点总数;和为模型系数β和方差σ的最小二乘估计;F(p,n-p)为F分布。
(2)由双二阶回归诊断模型根据最小二乘法(LSM)计算回归模型系数估计值,最小二乘意义下的系数估计值为:
(3)双二阶回归背景拟合
由回归模型系数估计值拟合的双二阶回归背景图像为:
步骤S104:奇异点(Outliers)和影响点(Influential point)回归诊断。奇异点是指因建立的模型不能有好的回归分析解释并且远离了整体的数据点。在TFT-LCD中,Outliers可能是图像中亮度不均或色彩不均的Mura缺陷等,Outliers的存在会造成估计的回归曲面往奇异点的方向移动,使得所建立的回归模型产生很大的残差。影响点是指会使回归模型产生很大变化的点,通常导致分析的结果有很大的不同。因此,实际中应当诊断并排除奇异点和影响点的干扰。
第i组数据点的数据删除模型可表示为Z(i)=X(i)β+ε(i),其中,X(i)和Z(i)分别为坐标数据集X和灰度数据集Z去掉第i行和zi后的数据集,zi为第i个数据点的灰度值,为第i个数据点的坐标向量。模型Z=Xβ+ε中β和δ2的最小二乘估计值和与Z(i)=X(i)β+ε(i)中相应的估计值和有如下关系:
其中pii为X生成的投影阵P=X(XTX)-1XT的对角元素,为第i个数据点的残差值,ri为标准化残差,其它参数同上。
则第i组数据点对于拟合值的影响定义为:
WKi为Welsch-Kuh距离,简称WK统计量,WKi越大表示第i个数据点对曲面拟合的影响也就越大,反之,则第i个数据点对曲面拟合的影响也就越小。
步骤S105:奇异点和影响点的排除。
(1)对WK进行从小到大排序,并取出前γ%的点视为奇异区域,且将其像素值置为1,其余像素的像素值置为0。
其中γ为奇异阈值,取值范围为0-100。
(2)对二值化图像进行中值滤波,利用中值滤波将分散的奇异点视为不具有影响力的奇异点并加以滤出,滤波后的奇异点图像表示为Φf。诊断量测值二值化处理和中值滤波后的图像见图2(c)所示。
(3)对残差图像E取绝对值后进行从大到小排序,并取出前ω%的点视为影响点区域,且将其像素值置为1,其余像素的像素值置为0,影响点图像表示为Φg。残差图像E为:
z和的意义同上,经试验ω取2-10效果较好。
(4)由原始图像像素点集Φ,扣除具有影响力的影响点图像Φg和奇异点图像Φf得到新的像素点集ΦB。
ΦB=Φ-Φg-Φ.*Φf;其中.*为点乘操作,ΦB为从原始图像像素点集Φ中扣除影响点和奇异点后的像素集,对ΦB进一步拟合可以有效排除奇异点和影响点的干扰,拟合的精度更高。
步骤S106:建立双四阶多项式曲面拟合模型,并由新的像素点集计算双四阶多项式模型系数,根据四阶多项式模型系数估计背景图像,见图2(d)所示。多项式拟合可以近似估计图像整体的亮度变化趋势,而拟合的成败很大程度上取决于对于多项式阶次的选取,阶次太低,拟合的效果较差,而且会出现明显的区块效应,阶次太高,一方面耗时随阶次成几何倍数增长,另一方面易产生过拟合现象,综合考虑各种因素,实际的拟合多项式的最高阶次选为4或5比较合适。
(1)建立双四阶多项式曲面拟合模型
其中X和Z为扣除奇异点后的新的像素点集ΦB对应的坐标数据集和灰度数据集,p00,p01,…,p40为双四阶多项式模型系数。
(2)由双四阶多项式模型根据最小二乘法计算模型系数估计值,最小二乘意义下的系数估计值为:四阶多项式模型系数共有15个,二阶回归模型系数共有6个,分别对应不同回归诊断和多项式基函数的权重。
(3)由双四阶多项式模型估计系数可得背景图像为:
为由原始图像最终拟合的背景图像,反映了整体图像亮度的基本变化趋势。
步骤S107:图像差值法,将双四阶多项式模型估计的背景图像与原始图像Z做差,得到残差图像R。由于相减之后的像素值可能会小于0,通常大于0的位置表示此处是一个亮Mura,而小于0的位置表示此处是一个暗Mura,直接取整则会损失一部分信息,因此在原残差图像基础上加上一个正的偏移τ,将所有像素归一化到大于0的范围。利用此残差图像可以有效解决背景亮度不均的问题,而且亮或暗Mura可以一步检出,不需要对亮或暗Mura分别处理。由步骤S107得到差值图像见图2(e)所示。
步骤S108:Niblack’s阈值分割。选择合适的阈值Thresh,经反复试验,Thresh取0.6~3效果较好,将大于阈值Thresh的像素灰度值置为1,而小于阈值Thresh的像素灰度值置为0。
Niblack’s阈值分割方法的原理为:将残差图像R与二值化图像取反后作像素点乘,扣除属于奇异区域的残差为:RES=(1-Φf).*R;则残差图像中属于背景区域的平均值和方差计算如下:平均值方差从而,Niblack’s阈值分割法则可表示为:T为阈值分割后的图像。
步骤S109:形态学处理。形态学中先腐蚀后膨胀称为开运算,开运算可以消除散点和毛刺,即对图像进行平滑;先膨胀后腐蚀称为闭运算,通过选择适当的元素结构可以通过闭运算将两个邻近的目标连接起来。经过阈值分割后得到的二值图像,在缺陷边界周围或内部会存在一些小的呈“犬牙状”和“孔洞”的点或线,因此,对步骤S108中阈值分割图像进行形态学处理,具体方法为先用腐蚀操作消除图像中较小的连通区域,再对腐蚀操作后的图像进行膨胀操作,将相邻目标区域连接起来,腐蚀膨胀后的图像见图2(f)所示,由图2(f)可见,本发明方法能对亮度分布不均的Mura缺陷进行有效的分割。
步骤S1010:将GPU端最终的形态学处理后的图像拷贝到CPU内存中,解除纹理绑定,并及时释放GPU和CPU内存。
利用本发明方法与CPU串行实现方法进行对比,对3幅测试图像2048×2048、3560×4288、3240×5760分别用CPU和GPU进行处理,并将处理时间记录于表1中。
表1 CPU和GPU处理时间
从表1可以看出,本发明方法所需的处理时间较传统的CPU方法大大缩短,并且GPU并行实现较CPU加速了55-85倍。更为重要的是,本发明方法在分辨率3560×4288,甚至在3240×5760的超高分辨率下所需的处理时间均小于1s,无论对于线上或线下处理,本发明方法均能达到实时处理的要求。这表明本发明方法运用GPU加速的有效性以及实时处理的性能。
本领域的技术人员容易理解,以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
Claims (8)
1.一种基于GPU的TFT-LCD Mura缺陷检测的方法,其特征在于,包括下述步骤:
(1)基于原始图像数据建立基于学生化残差的双二阶回归诊断模型,并计算所述双二阶回归诊断模型的第一系数,并将所述第一系数进行拟合处理,获得双二阶回归背景图像数据;
(2)根据所述原始图像数据和所述双二阶回归背景图像数据获得各组数据点对拟合值的影响量WK;其中,第i组数据点对于拟合值的影响量
第i组数据点的数据删除模型表示为Z(i)=X(i)β+ε(i),其中,X(i)和Z(i)分别为坐标数据集X和灰度数据集Z去掉第i行和zi后的数据集,zi为第i个数据点的灰度值,为第i个数据点的坐标向量;pii为X生成的投影阵P=X(XTX)-1XT的对角元素;
(3)根据所述影响量WK排除所述原始图像数据中的奇异点和影响点,获得新的像素点集ΦB;
(4)根据新的像素点集ΦB建立双N阶多项式曲面拟合模型,重新计算双N阶多项式曲面拟合模型的第二系数,并根据所述第二系数估计双N阶背景图像数据;
(5)根据所述双N阶背景图像数据和所述原始图像数据获得残差图像并对所述残差图像进行阈值分割处理,获得阈值分割图像;为由原始图像最终拟合的双N阶背景图像数据;
(6)对所述阈值分割图像进行形态学处理,获得腐蚀膨胀后的图像;步骤(1)具体为:
(1.1)建立基于学生化残差的双二阶回归诊断模型:Z=Xβ+ε=p00+p10x+p01y+p20x2+p11xy+p02y2+ε;
(1.2)根据最小二乘法计算所述双二阶回归诊断模型的第一系数的估计值
(1.3)将所述第一系数的估计值进行拟合处理,获得双二阶回归背景图像数据
其中,X表示二维图像的横轴和纵轴坐标的矩阵表示形式;Z为X中对应坐标位置处的像素灰度值;p00,p01,…,p20为双二阶回归诊断模型的第一系数;ε为残差值,满足ε~(0,σ2I),I为单位矩阵,β为第一系数的向量表示形式,β的水平为1-α的置信域可表示为如下形式:p为双二阶回归诊断模型系数个数;n为图像像素点总数;和为第一系数β和方差σ的最小二乘估计;F(p,n-p)为F分布。
2.如权利要求1所述的TFT-LCD Mura缺陷检测的方法,其特征在于,在步骤(1.1)之前还包括如下步骤:对所述原始图像数据进行Gabor滤波,去除摩尔纹和CCD采集的原始图像中的纹理栅格;
其中,Gabor滤波算子包括: xr=xcosθ+ysinθ,yr=-xsinθ+ycosθ,f为滤波频率,θ为滤波器方向;f为1/2T,T为纹理单元的宽度。
3.如权利要求2所述的TFT-LCD Mura缺陷检测的方法,其特征在于,所述滤波器方向θ分别为0°、45°、90°、135°。
4.如权利要求1-3任一项所述的TFT-LCD Mura缺陷检测的方法,其特征在于,步骤(3)具体为:
(3.1)对影响量WK按照从小到大进行排序,取出前γ%的点视为奇异区域,并将其像素值置为1,其余像素的像素值置为0,获得二值化图像Φuv,
(3.2)对所述二值化图像进行中值滤波,获得滤波后的奇异点图像Φf;
(3.3)对残差图像E按照从大到小进行排序,取出前ω%的点视为影响点区域,并将其像素值置为1,其余像素的像素值置为0,获得影响点图像Φg;
(3.4)由原始图像像素点集Φ,扣除具有影响力的影响点图像Φg和奇异点图像Φf后得到新的像素点集ΦB;
其中,γ为奇异阈值,取值范围为0-100;残差图像z和的意义同上,ω取2-10;ΦB=Φ-Φg-Φ.*Φf,其中,Φf为奇异点图像;.*为点乘操作,ΦB为从原始图像像素点集Φ中扣除影响点和奇异点后的像素集;奇异点是指因建立的模型不能有好的回归分析解释并且远离了整体的数据点;影响点是指会使回归模型产生很大变化的点。
5.如权利要求1所述的TFT-LCD Mura缺陷检测的方法,其特征在于,N为4或5;若N为4时,步骤(4)具体为:
(4.1)建立双四阶多项式曲面拟合模型:Z=Xβ+ε=p00+p10x+p01y+p20x2+p11xy+p02y2+p30x3+p21x2y+p12xy2+p03y3+p40x4+p31x3y+p22x2y2+p13xy3+p04y4+ε;
(4.2)根据最小二乘法计算所述双四阶多项式曲面拟合模型的第二系数估计值
(4.3)对所述第二系数估计值进行拟合处理,获得双N阶背景图像数据
其中,X和Z分别为扣除奇异点后的新的像素点集ΦB对应的坐标数据集和灰度数据集,p00,p01,…,p40为双四阶多项式模型的第二系数,为由原始图像最终拟合的背景图像。
6.如权利要求4所述的TFT-LCD Mura缺陷检测的方法,其特征在于,在步骤(5)中,所述阈值分割处理具体为:
将残差图像R与二值化图像取反后作像素点乘,扣除属于奇异区域的残差RES=(1-Φf).*R;
根据所述残差RES、背景区域的平均值uΦ和方差σΦ获得阈值分割图像T(u,v),u,v分别为图像水平和垂直方向坐标;
其中,阈值分割图像背景区域的平均值背景区域的方差阈值Thresh的取值范围为:0.6~3。
7.如权利要求1所述的TFT-LCD Mura缺陷检测的方法,其特征在于,在步骤(6)中,所述形态学处理具体为:
采用腐蚀操作消除所述阈值分割图像中较小的连通区域,并对腐蚀操作后的图像进行膨胀操作,将相邻目标区域连接起来,获得腐蚀膨胀后的图像。
8.如权利要求1所述的TFT-LCD Mura缺陷检测的方法,其特征在于,步骤(1)-(6)均是基于图形处理单元的并行处理实现的,包括:GPU显存和线程分配,将存入GPU显存中的CUDA数组与纹理内存绑定,分配共享存储器,启动Kernel内核并进行GPU粗粒度和细粒度协同并行进行步骤(1)-(6)的计算,将计算结果由GPU回传给CPU。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610761614.0A CN106200047B (zh) | 2016-08-29 | 2016-08-29 | 一种基于GPU的TFT-LCD Mura缺陷检测的方法 |
US16/327,857 US10552952B2 (en) | 2016-08-29 | 2016-09-07 | GPU-based TFT-LCD Mura defect detection method |
JP2019511360A JP6738484B2 (ja) | 2016-08-29 | 2016-09-07 | Gpuに基づくtft−lcdムラ欠陥検出方法 |
KR1020197004875A KR102047409B1 (ko) | 2016-08-29 | 2016-09-07 | GPU 기반 TFT-LCD Mura 결함 탐지 방법 |
PCT/CN2016/098265 WO2018040118A1 (zh) | 2016-08-29 | 2016-09-07 | 一种基于GPU的TFT-LCD Mura缺陷检测的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610761614.0A CN106200047B (zh) | 2016-08-29 | 2016-08-29 | 一种基于GPU的TFT-LCD Mura缺陷检测的方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106200047A CN106200047A (zh) | 2016-12-07 |
CN106200047B true CN106200047B (zh) | 2019-03-22 |
Family
ID=58089391
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610761614.0A Active CN106200047B (zh) | 2016-08-29 | 2016-08-29 | 一种基于GPU的TFT-LCD Mura缺陷检测的方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US10552952B2 (zh) |
JP (1) | JP6738484B2 (zh) |
KR (1) | KR102047409B1 (zh) |
CN (1) | CN106200047B (zh) |
WO (1) | WO2018040118A1 (zh) |
Families Citing this family (48)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107024485B (zh) * | 2017-04-10 | 2019-11-26 | 青岛海信电器股份有限公司 | 曲面显示屏的缺陷检测方法和装置 |
CN107316303B (zh) * | 2017-08-25 | 2021-11-02 | 深圳市华星光电半导体显示技术有限公司 | 显示面板Mura区域侦测方法 |
CN108345503A (zh) * | 2018-01-18 | 2018-07-31 | 杭州电子科技大学 | 基于cpu-gpu的b样条曲面并行刀轨规划方法 |
CN108760746A (zh) * | 2018-04-17 | 2018-11-06 | 苏州富鑫林光电科技有限公司 | 一种基于机器视觉的微纳米缺陷检测装置 |
US10867382B2 (en) * | 2018-05-24 | 2020-12-15 | Keysight Technologies, Inc. | Detecting mura defects in master panel of flat panel displays during fabrication |
CN109166092A (zh) * | 2018-07-05 | 2019-01-08 | 深圳市国华光电科技有限公司 | 一种图像缺陷检测方法及系统 |
CN111369491B (zh) * | 2018-12-25 | 2023-06-30 | 宁波舜宇光电信息有限公司 | 图像污点检测方法、装置、系统及存储介质 |
CN109978824B (zh) * | 2019-02-19 | 2023-07-07 | 深圳大学 | 一种透明薄膜缺陷形态测量方法及系统 |
CN109884727B (zh) * | 2019-03-15 | 2022-03-04 | Oppo广东移动通信有限公司 | 异物检测方法、异物检测装置和电子设备 |
CN110059700B (zh) * | 2019-03-18 | 2021-04-30 | 深圳神目信息技术有限公司 | 图像摩尔纹识别方法、装置、计算机设备及存储介质 |
CN110610496B (zh) * | 2019-04-24 | 2023-09-26 | 广东工业大学 | 一种对光照变化鲁棒的荧光胶缺陷分割方法 |
CN109903717B (zh) * | 2019-04-26 | 2022-06-21 | 京东方科技集团股份有限公司 | 显示面板的亮斑区域的识别方法、补偿方法及装置 |
CN110148098B (zh) * | 2019-05-28 | 2023-01-17 | 易诚高科(大连)科技有限公司 | 一种针对OLED屏DeMURA的奇异点处理方法 |
US11948292B2 (en) * | 2019-07-02 | 2024-04-02 | MakinaRocks Co., Ltd. | Systems and methods for detecting flaws on panels using images of the panels |
US11145246B2 (en) * | 2019-08-26 | 2021-10-12 | Synaptics Incorporated | Field recalibration of displays |
CN110530883B (zh) * | 2019-09-30 | 2022-08-02 | 凌云光技术股份有限公司 | 一种缺陷检测方法 |
CN110837717B (zh) * | 2019-11-06 | 2022-09-06 | 成都数之联科技股份有限公司 | 一种基于Map图的玻璃面板多元缺陷根因分析方法 |
CN111080582B (zh) * | 2019-12-02 | 2023-06-02 | 易思维(杭州)科技有限公司 | 工件内外表面缺陷检测方法 |
CN111340752A (zh) * | 2019-12-04 | 2020-06-26 | 京东方科技集团股份有限公司 | 屏幕的检测方法、装置、电子设备及计算机可读存储介质 |
CN110992879B (zh) * | 2019-12-11 | 2022-07-15 | 易诚高科(大连)科技有限公司 | 一种基于OLED电气特性评估的DeMURA数据采集寻优方法 |
TWI759669B (zh) | 2019-12-23 | 2022-04-01 | 中強光電股份有限公司 | 顯示畫面檢測方法與顯示畫面檢測系統 |
CN111815520B (zh) * | 2020-04-14 | 2023-11-07 | 桂林电子科技大学 | 一种基于gpu-cuda编码模型的遥感影像快速处理方法 |
CN111598801B (zh) * | 2020-05-11 | 2023-04-28 | 苏州佳智彩光电科技有限公司 | 一种用于微弱Mura缺陷的识别方法 |
CN111667475B (zh) * | 2020-06-09 | 2023-04-18 | 陕西科技大学 | 一种基于机器视觉的大枣分级检测方法 |
CN111932506B (zh) * | 2020-07-22 | 2023-07-14 | 四川大学 | 一种提取图像中非连续直线的方法 |
CN114124340A (zh) * | 2020-08-28 | 2022-03-01 | 京东方科技集团股份有限公司 | 物联网节点的时间同步方法、装置、存储介质及电子设备 |
CN112200789B (zh) * | 2020-10-16 | 2023-11-21 | 中国铁道科学研究院集团有限公司 | 一种图像识别的方法及装置、电子设备和存储介质 |
CN114464127A (zh) * | 2020-11-02 | 2022-05-10 | 鸿富泰精密电子(烟台)有限公司 | 显示面板Mura补偿方法、系统、电子装置及存储介质 |
CN112950598B (zh) * | 2021-03-09 | 2024-03-19 | 深圳棱镜空间智能科技有限公司 | 工件的瑕疵检测方法、装置、设备及存储介质 |
CN112802020B (zh) * | 2021-04-06 | 2021-06-25 | 中国空气动力研究与发展中心计算空气动力研究所 | 基于图像修补和背景估计的红外弱小目标检测方法 |
CN112862826B (zh) * | 2021-04-26 | 2021-07-30 | 聚时科技(江苏)有限公司 | 一种表面缺陷检测任务的正常样本无损生成方法 |
CN113706607B (zh) * | 2021-08-18 | 2023-10-20 | 广东江粉高科技产业园有限公司 | 一种基于圆环阵列图的亚像素定位方法、计算机设备与装置 |
CN113901975A (zh) * | 2021-10-18 | 2022-01-07 | 吉林大学 | 一种用于剔除周期信号缺陷的选择性回归循优拟合算法 |
CN113804702A (zh) * | 2021-10-28 | 2021-12-17 | 江西电信信息产业有限公司 | 一种基于视觉智能分析的铜线排线检测方法 |
CN114549448B (zh) * | 2022-02-17 | 2023-08-11 | 中国空气动力研究与发展中心超高速空气动力研究所 | 一种基于红外热成像数据分析的复杂多类型缺陷检测评估方法 |
CN114782888B (zh) * | 2022-04-01 | 2023-06-23 | 中国铁路兰州局集团有限公司 | 轨道咽喉区异常检测的方法及系统 |
CN114757913A (zh) * | 2022-04-15 | 2022-07-15 | 电子科技大学 | 一种显示屏缺陷检测方法 |
CN115797342B (zh) * | 2023-02-06 | 2023-04-21 | 深圳市鑫旭飞科技有限公司 | 一种工业控制电容触摸lcd显示总成缺陷检测方法 |
CN116071387B (zh) * | 2023-03-06 | 2023-06-16 | 曲阜市巨力铁路轨道工程股份有限公司 | 基于机器视觉的枕轨生产质量检测方法 |
CN116503388B (zh) * | 2023-06-25 | 2023-11-14 | 广东利元亨智能装备股份有限公司 | 缺陷检测方法、装置及存储介质 |
CN116596922B (zh) * | 2023-07-17 | 2023-09-12 | 山东龙普太阳能股份有限公司 | 一种太阳能热水器生产质量检测方法 |
CN116630328B (zh) * | 2023-07-25 | 2023-09-29 | 深圳市鑫冠亚科技有限公司 | 一种散热底板的在线检测方法及系统 |
CN116645372B (zh) * | 2023-07-27 | 2023-10-10 | 汉克威(山东)智能制造有限公司 | 一种制动气室外观图像智能检测方法及系统 |
CN117056148B (zh) * | 2023-08-30 | 2024-02-09 | 昆山迈致治具科技有限公司 | 一种检测屏幕显示异常的方法 |
CN116993718B (zh) * | 2023-09-25 | 2023-12-22 | 深圳市东陆科技有限公司 | 基于机器视觉的tft阵列基板缺陷检测方法 |
CN116993722B (zh) * | 2023-09-26 | 2023-12-08 | 山东奥斯登房车有限公司 | 一种拖挂式房车车身缺陷视觉检测方法 |
CN117576089B (zh) * | 2024-01-15 | 2024-03-22 | 山东恒力源精密机械制造有限公司 | 一种活塞环缺陷检测方法及系统 |
CN117764992B (zh) * | 2024-02-22 | 2024-04-30 | 山东乔泰管业科技有限公司 | 基于图像处理的塑料管材质量检测方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103792699A (zh) * | 2013-09-09 | 2014-05-14 | 中华人民共和国四川出入境检验检疫局 | 基于B样条曲面拟合的TFT-LCD Mura缺陷机器视觉检测方法 |
CN104408691A (zh) * | 2014-11-17 | 2015-03-11 | 南昌大学 | 一种基于gpu并行选择式掩模平滑方法 |
CN105158942A (zh) * | 2015-09-24 | 2015-12-16 | 昆山龙腾光电有限公司 | 一种Mura自动检测方法及系统 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005164565A (ja) * | 2003-11-28 | 2005-06-23 | 3B System Inc | 低解像度および高解像度映像におけるフラットパネル用光関連板要素の欠陥検出方法 |
EP2147296A1 (en) * | 2007-04-18 | 2010-01-27 | Micronic Laser Systems Ab | Method and apparatus for mura detection and metrology |
US9519164B2 (en) * | 2012-06-08 | 2016-12-13 | Apple Inc. | Systems and methods for mura calibration preparation |
KR101958634B1 (ko) * | 2012-12-13 | 2019-03-15 | 엘지디스플레이 주식회사 | 디스플레이 장치의 무라 검출 장치 및 방법 |
KR102209953B1 (ko) * | 2014-09-11 | 2021-02-02 | 엘지디스플레이 주식회사 | 무라 검출 장치 |
-
2016
- 2016-08-29 CN CN201610761614.0A patent/CN106200047B/zh active Active
- 2016-09-07 JP JP2019511360A patent/JP6738484B2/ja active Active
- 2016-09-07 KR KR1020197004875A patent/KR102047409B1/ko active IP Right Grant
- 2016-09-07 US US16/327,857 patent/US10552952B2/en active Active
- 2016-09-07 WO PCT/CN2016/098265 patent/WO2018040118A1/zh active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103792699A (zh) * | 2013-09-09 | 2014-05-14 | 中华人民共和国四川出入境检验检疫局 | 基于B样条曲面拟合的TFT-LCD Mura缺陷机器视觉检测方法 |
CN104408691A (zh) * | 2014-11-17 | 2015-03-11 | 南昌大学 | 一种基于gpu并行选择式掩模平滑方法 |
CN105158942A (zh) * | 2015-09-24 | 2015-12-16 | 昆山龙腾光电有限公司 | 一种Mura自动检测方法及系统 |
Non-Patent Citations (1)
Title |
---|
TFT-LCD Mura 缺陷机器视觉检测方法;毕昕 等;《机械工程学报》;20100630;第46卷(第12期);第13-19页 |
Also Published As
Publication number | Publication date |
---|---|
WO2018040118A1 (zh) | 2018-03-08 |
US10552952B2 (en) | 2020-02-04 |
KR20190028794A (ko) | 2019-03-19 |
US20190197678A1 (en) | 2019-06-27 |
KR102047409B1 (ko) | 2019-11-21 |
JP6738484B2 (ja) | 2020-08-12 |
JP2019536069A (ja) | 2019-12-12 |
CN106200047A (zh) | 2016-12-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106200047B (zh) | 一种基于GPU的TFT-LCD Mura缺陷检测的方法 | |
CN107657606B (zh) | 一种显示装置的亮度缺陷检测方法与装置 | |
CN105976382B (zh) | 一种基于缺陷区预判和水平集的TFT-LCD Mura缺陷检测方法 | |
Fan et al. | Robust feature-preserving mesh denoising based on consistent subneighborhoods | |
Wang et al. | Curvature-guided adaptive T-spline surface fitting | |
Yang et al. | Research and analysis of Image edge detection algorithm Based on the MATLAB | |
Zhang et al. | Point Cloud Denoising With Principal Component Analysis and a Novel Bilateral Filter. | |
CN102521870A (zh) | 一种微多边形光线跟踪的着色重用方法 | |
CN112017130B (zh) | 基于自适应各向异性全变分正则化的图像复原方法 | |
Li et al. | A novel digital method for weave pattern recognition based on photometric differential analysis | |
Baozhong et al. | Overview of image noise reduction based on non-local mean algorithm | |
CN114612318B (zh) | 基于文物ct图像轮廓线的三维建模方法、系统及设备 | |
Pan et al. | FPGA-accelerated textured surface defect segmentation based on complete period Fourier reconstruction | |
CN117557565B (zh) | 一种锂电池极片的检测方法及其装置 | |
CN112396618B (zh) | 一种基于图像处理的晶界提取及晶粒度测量方法 | |
CN108507476B (zh) | 用于材料表面的位移场测量方法、装置、设备及存储介质 | |
Feng et al. | A novel spatial pooling method for 3D mesh quality assessment based on percentile weighting strategy | |
Dong et al. | Lightweight and edge-preserving speckle matching network for precise single-shot 3D shape measurement | |
CN110264556A (zh) | 一种无重复随机复杂纹理的生成方法 | |
Cao et al. | Orienting raw point sets by global contraction and visibility voting | |
CN109615617A (zh) | 一种保凸间接正则水平集的图像分割方法 | |
Ye et al. | A sparsity-promoting image decomposition model for depth recovery | |
Huang et al. | An novel image de-noising model based on gradient and adaptive curvature features and its application | |
Liu et al. | Patch size adaptive image inpainting. | |
Shi | A Geometric Structure Based Non Local Mean Image Denoising Algorithm |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information |
Address after: 430070 Hubei City, Hongshan Province, South Lake Road, No. 53, Hongshan Venture Center, building on the four floor, No. Applicant after: Wuhan fine test electronics group Limited by Share Ltd Address before: 430070 Hubei City, Hongshan Province, South Lake Road, No. 53, Hongshan Venture Center, building on the four floor, No. Applicant before: Wuhan Jingce Electronic Technology Co., Ltd. |
|
CB02 | Change of applicant information | ||
GR01 | Patent grant | ||
GR01 | Patent grant |