CN105424726A - 基于机器视觉的发光面板检测方法 - Google Patents

Abstract

本发明涉及一种基于机器视觉的发光面板检测方法，其特点是：通过建立背景模型集来获取待检测产品图像，从而获得预处理图像。之后，通过地形等高线模型、辐射能量模型，对产品图像进行独立处理。最终，采用同步汇总处理数据，获取缺陷区域。由此，能够满足适各类常见发光面板的检测。同时，依托于各类模型的相互配合，可有效通过机器视觉来求解发光面板的各类缺陷，弥补对MURA缺陷收敛效果不佳的问题。再者，可配合常规图像采集系统、检测软件以及相关的机械机构来实现，易于推广。

Description

基于机器视觉的发光面板检测方法

技术领域

本发明涉及一种检测方法，尤其涉及一种基于机器视觉的发光面板检测方法。

背景技术

就现有技术来看，机器视觉就是用机器代替人眼来做测量和判断。具体来说，机器视觉系统是指通过机器视觉产品(即图像摄取装置，分CMOS和CCD两种)将被摄取目标转换成图像信号，传送给专用的图像处理系统，得到被摄目标的形态信息，根据像素分布和亮度、颜色等信息，转变成数字化信号；图像系统对这些信号进行各种运算来抽取目标的特征，进而根据判别的结果来控制现场的设备动作。

具体来说，以TFT-LCD为例，其生产过程中要经过100多道生产工艺，生产工艺繁多复杂，尽管大部分生产工艺都已经十分成熟且每个生产工序都有严格的质量控制，但是在TFT-LCD量产过程中还是不可避免地会出现一定数量的显示缺陷。TFT-LCD的显示缺陷种类繁多，按照缺陷和背景的对比度的不同，可以将这些缺陷分为以下几类：亮点缺陷、暗点缺陷、亮线缺陷、暗线缺陷、Mura缺陷(Mura是日本语，本意为脏污、玷污的意思，现为平板显示行业专用术语，Mura缺陷表示平板显示器的区块显示缺陷、显示不完美现象)。亮点缺陷、暗点缺陷、亮线缺陷、暗线缺陷一般都是因为TFT-LCD生产过程中的电气特性引起的，比如TFT阵列短路、断路或者背光灯的损坏等。而Mura缺陷是由于玻璃基板的不均匀、玻璃基板内外的压力分布不均匀、液晶分子分布不均匀等因素引起的。

在TFT-LCD的各类的显示缺陷中，由于亮点缺陷、暗点缺陷、亮线缺陷、暗线缺陷都有较高的对比度、边缘清晰、形状规则，能很容易地被人工或者机器视觉检测出来。而Mura缺陷具有边缘模糊、对比度低、形状不规则、大小变化多端、位置不固定等特点，是所有显示缺陷中最难检测的一类缺陷。目前，大多数TFT-LCD生产厂家都是使用熟练的工人用肉眼检测Mura缺陷的，判断缺陷的严重程度是通过工人感觉Mura缺陷的面积和Mura缺陷的对比度等做出的主观判定，缺乏客观评判依据。

一般情况下，在采用机器视觉检测缺陷时，只需经过滤波等预处理即可采用不同的缺陷分割方法将缺陷目标分割出来。然而，通过CCD相机采集到的TFT-LCD图像会由于外界光照的不均、TFT-LCD本身材料的不均匀、CCD相机距离TFT-LCD不同位置的距离不同等原因产生图像的整体亮度不均匀，图像背景的亮度不均匀会与Mura缺陷的亮度不均匀混在一起，即Mura缺陷的灰度变化趋势和背景的灰度变化趋势保持一致，会使得Mura缺陷淹没在背景中，从而导致不能准确地检测出Mura缺陷甚至是检测失败。

同时，现有技术的主要问题是工程化适应性较差，如对不同型号产品的差异特性(屏幕分辨率、缺陷类别和状态等方面差异)的适应性较差。同时，设备调试和可操作性较差，在综合考虑过检率等指标情况下对MURA类缺陷检测效果不理想。

并且，现有技术往往采用诸如“小波变换”、“最小二乘的B样条拟合”等一般意义上的通用处理方法，未能建立起针对检测对象的有效模型。

更为重要的是，现有的常规检测方法，其对成像硬件的要求极为苛刻，不具有工程应用价值。

举例来说，“小波变换”作为一种针对傅立叶变换进行改进的基本方法，在通用信号处理较为有效，但在本案发光面板的缺陷检测中(尤其针对MURA缺陷)，无法用这种基本方法达到预期效果。如针对模组复杂背景无法进行有效抑制，主要表现在像素纹理干扰、摩尔纹干扰。特别是模组分辨率变化时，像素纹理干扰、摩尔纹干扰呈现不规律强烈变化，“小波变换”对这种变化的适应性较差，使检测效果强烈依赖于机种属性，不具有工程价值。

“最小二乘的B样条拟合”是一种常用的数据拟合方法，专利CN101655614B采用了该方法。使用该方法进行MURA缺陷检测的主要问题表现在：当MURA缺陷面积大，对比度低时，采用“最小二乘的B样条拟合”方法处理时，会把缺陷特征“拟合”进背景中，而无法实现“拟合”的目的。换句话说，其无法区分背景和真实缺陷。另一方面，当模组分辨率变化时，拟合效果跟随着变化，直至无法有效区分背景与特征。

由此可见，上述方法(包括类似方法)表现出的共性问题为：所涉及的各种“方法”是基于一些特定的数据之上的处理，只针对几个特定数据集有效，表现出检测性能即鲁棒性差，机种适应性差，无法满足实际工程需求。

有鉴于上述的缺陷，本设计人，积极加以研究创新，以期创设一种基于机器视觉的发光面板检测方法，使其更具有产业上的利用价值。

发明内容

为解决上述技术问题，本发明的目的是提供一种基于机器视觉的发光面板检测方法。

本发明的基于机器视觉的发光面板检测方法，其包括以下步骤：步骤一，建立背景模型集；步骤二，获取待检测产品图像，获得预处理图像；步骤三，通过地形等高线模型、辐射能量模型，对预处理图像进行独立处理；步骤四，同步汇总处理数据，获取缺陷区域。

进一步地，上述的基于机器视觉的发光面板检测方法，其中，所述建立背景模型集的过程为：通过图像采集系统，针对待检测产品的类别，采集随机样本；通过前后处理后，对每个样本进行频谱分析，将所获取的数据建立频谱数据库；通过主成分分析对频谱数据库进行分析，提取背景特征；利用背景特征建立背景模型集，将数据写入检测软件。

更进一步地，上述的基于机器视觉的发光面板检测方法，其中，所述前后处理为进入关键处理步骤的前处理、后处理，所述前处理至少包括对图像进行坏样本剔除、图像校正、基本滤波去噪中的一种或是多种，所述后处理至少包括对数据进行拟合、去噪、归一化中的一种或是多种。

更进一步地，上述的基于机器视觉的发光面板检测方法，其中，所述步骤一中，加入附属参考因素，所述附属参考因素包括曝光差异、镜头性中的一种或是多种。

更进一步地，上述的基于机器视觉的发光面板检测方法，其中，所述获取待检测产品图像过程为：通过图像采集系统获取待检测产品图像；利用频域滤波对待检测产品图像进行初步预处理，获得预处理图像；建立图像尺度空间后进行归一化处理；调用背景模型集，获取缺陷疑似区域并在预处理图像中进行标注。

更进一步地，上述的基于机器视觉的发光面板检测方法，其中，所述初步预处理过程包含图像异常判别、图像滤波、亮度校正、几何校正、感兴趣区域检测中的一种或是多种。

更进一步地，上述的基于机器视觉的发光面板检测方法，其中，所述地形等高线模型处理过程为：在预处理图像中建立灰度地形等高线，构成地形图；通过灰度定义地形高低，即灰度值小，则地形低，灰度值高，则地形高，灰度梯度小，则地形平坦，灰度梯度大，则地形陡峭；进行检测判断，即地形等高线密集，构成疑似区域，地形等高线稀疏的为其他区域。

更进一步地，上述的基于机器视觉的发光面板检测方法，其中，所述地形等高线模型中的地形图内，随机分布有点质量小球，作为求解初始种子点，用于建立粗糙度表面重力势场下的点质量小球动力学模型，通过数值迭代优化方法，求解点质量小球稳定收敛的地形底部区域，获得缺陷区域。之后，将地形图翻转一次，令山峰翻转成谷底，进行二次求解，获得缺陷区域，两次过程得到的缺陷分别为暗区和亮区。

再进一步地，上述的基于机器视觉的发光面板检测方法，其中，所述辐射能量模型中，将灰度值设为黑体温度，获取黑体辐射模型，采用黑体辐射模型获得灰度能量，通过耦合背景模型集获得相对辐射强度，当该值达到判定阈值即判为缺陷，通过翻转进行二次求解，分别获得亮区和暗区缺陷。

借由上述方案，本发明至少具有以下优点：

1、本方法对待检测产品的分辨不敏感，对待检测对产品的尺寸亦不敏感。同时，对相机分辨率要求不高。

2、可用于检测背光板、液晶模组、液晶CELL和OLED显示器等对应的发光面板，实施范围广泛。

3、通过背景模型集来描述发光面板成像背景，便于检测数据库的完善。

4、依托于地形等高线模型、粗糙度表面重力势场下的点质量小球动力学模型、辐射能量模型的相互配合，可有效通过机器视觉来求解发光面板的各类缺陷，弥补对MURA缺陷收敛效果不佳的问题。

5、整个处理流程顺畅便利，可配合常规图像采集系统、检测软件以及相关的机械机构来实现，易于推广。

6、整体实施成本低，可操作性强。

最为重要的是，本发明的方法摆脱了现有技术中，采用一般图像处理方法解决MURA检测，而是利用物理学的基本理论去解决该问题，整体实施的思路和方法新创而独特。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，并可依照说明书的内容予以实施，以下以本发明的较佳实施例并配合附图详细说明如后。

附图说明

图1是基于机器视觉的发光面板检测方法的流程示意图。

图2是辐射能量模型示意图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

如图1的基于机器视觉的发光面板检测方法，其特征在于包括以下步骤：首先，建立背景模型集。之后，获取待检测产品图像，获得预处理图像。接着，通过地形等高线模型、辐射能量模型，对预处理图像进行独立处理。最终，同步汇总先前的处理数据，获取缺陷区域。

如图2所示，本发明所涉及的辐射能量模型，以常见的FLUENT软件配合来看，主要有5种辐射模型：DTRM模型、P1模型、Rosseland模型、P1模型、S2S模型。具体来说，各个模型的优势及限制如下：

DTRM模型

优势：(1)模型较为简单。(2)可以通过增加射线数量来提高计算精度。(3)可以用于光学深度非常广的情况下。

限制：(1)假定所有表面都是散射的。意味着表面的入射辐射是关于入射角各向同性反射的。(2)不包括散射效应。(3)基于灰体辐射假定。(4)对于大数目的射线问题，非常耗费CPU时间。(5)不能与非共形交界面或滑移网格同时使用。(6)不能用于并行计算中。

P1模型

优势：(1)辐射模型为一个扩散方程，求解需要较少的CPU时间。(2)考虑了扩散效应。(3)对于光学深度比较大(如燃烧应用中)，P-1模型表现非常好。(4)P-1模型使用曲线坐标很容易处理复杂几何限制：(1)假定所有的表面均为散射。(2)基于灰体辐射假定。(3)在光学深度很小时，可能会丧失精度。(4)倾向于预测局部热源或接收器的辐射通量。

Rosseland模型

优势：相对于P-1模型，它不求解额外的关于入射辐射的传输方程，因此比P-1模型计算要快，且更节省内存。

限制：只能用于光学深度比较大的情况，推荐用于光学深度大于3的情况下；不能用于密度基求解器。

DO模型

优势：能够求解所有光学深度区间的辐射问题；能求解燃烧问题中的面对面辐射问题，内存和计算开销都比较适中。DO模型能用于计算半透明介质辐射。

S2S辐射模型

优势：非常适用于封闭空间中没有介质的辐射问题(如航天器的排热系统、太阳能收集系统、辐射供热装置等)。

限制：(1)假定所有表面均为散射的。(2)灰体辐射假设。(3)内存和存储量需求在表面增加时，增长得非常快。(4)不能用于participatingradiation问题。(5)不能用于存在周期边界的模型中。(6)不能用于存在对称边界问题中。(7)不支持非共形交界面、悬挂节点或网格自适应中。

并且，DTRM模型使用的是“射线跟踪”方法可用来计算各个表面之间的辐射传热，而却不需要去计算表面角系数。其主要思想是用单一的辐射设限代替从辐射表面沿摸个立体角的所有辐射效应，把体积微元向周围辐射均匀的李三成有限能束，每份能束的能量都集中与单一的特征射线中，当这些射线通过空间周围介质时，各辐射能束沿特征线发射，在路径上被周围的介质吸收，该模型的精度主要依据跟踪射线的数目和计算网格疏密程度。对于流动入(出)口的外部区域温度与内部区域温度相差很大时，这种方法效果较好。

P1模型是PN模型中最简单的一种，PN模型主要思想是把辐射强度展开为正交球谐函数进行求解计算。对于流动入(出)口的外部区域温度与内部区域温度相差很大时，这种方法效果较好。

Rosseland模型的主要思想是不计算介质辐射强度的输运方程，而是引入了温度三次方的传热系数来计算辐射热流量。当光学深度大于3时，建议使用Rosseland辐射模型。

离散坐标DO模型，是从有限个立体角发出的传播方程出发进行求解，每个立体角对应着坐标系下的固定的方向角。立体角的离散精度有用户确定，类似DTRM模型中的射线数目，但是DO模型不进行射线跟踪而将模型把方程转化成空间坐标系下的辐射输运方程。

facetoface模型仅考虑表面与面之间的辐射传热，忽略介质之间的吸收，发射和散射，多数情况都不适合模拟计算。

实际实施的时候，需要根据实际数据的处理，选择较为合适的辐射能量模型。

结合本发明一较佳的实施方式来看，为了实现较佳的数据采集，建立行之有效的模型，为后续的比对判断提供贴切的对比数据，采用的建立背景模型集的过程如下：

首先，通过图像采集系统，针对待检测产品的类别(如TFT-LCD)，采集随机样本(如10000片)。接着，进行前后处理。实际实施的时候，该前后处理为进入关键处理步骤的前处理、后处理。具体来说，前处理至少包括对图像进行坏样本剔除、图像校正、基本滤波去噪中的一种或是多种，所述后处理至少包括对数据进行拟合、去噪、归一化中的一种或是多种。

之后，对每个样本进行频谱分析，将所获取的数据建立频谱数据库。紧接着，通过主成分分析(PCA)对频谱数据库进行分析，提取背景特征。由此，利用背景特征建立背景模型集。在此期间，为了便于后续的机器视觉处理便利，可将数据写入检测软件。同时，为了提高数据采集效率，避免造成网路数据阻塞的同时，有效利用本地系统的数据处理能力，可通过图像采集系统离线完成上述数据处理过程。并且，为了让背景模型提供更为客观的对比参数，可加入适当的附属参考因素，其可以包括曝光差异、镜头性中的一种或是多种。

进一步来看，为了提高图像获取进度，优化机器视觉的处理，采用获取待检测产品图像过程如下：

首先，通过图像采集系统获取待检测产品图像。之后，利用频域滤波对待检测产品图像进行初步预处理，获得预处理图像。同时，考虑到对数据实现统一规整处理，避免出现比对差异，建立图像尺度空间后需要进行归一化处理。接着，调用背景模型集，获取缺陷疑似区域并在预处理图像中进行标注。这样，能够有效提高后续步骤的处理效率，实现有效的预标注。结合本发明的实际实施来看，为了满足进行一般性去噪，同时减轻摩尔纹的信号强度，采用的初步预处理过程为图像异常判别、图像滤波、亮度校正、几何校正、感兴趣区域检测中的一种或是多种。

再进一步来看，本发明所采用的地形等高线模型处理过程为，在预处理图像中建立灰度地形等高线，构成地形图。之后，可有效利用现有技术中的灰度定义特性，采用灰度来定义地形高低。具体来说，灰度值小，则地形低，灰度值高，则地形高，灰度梯度小，则地形平坦，灰度梯度大，则地形陡峭。由此，通过检测判断，可令地形等高线密集的构成疑似区域即疑似MURA区域，地形等高线稀疏的为其他区域。在实际处理中，可以将区域普通的区域归结为其他区域，减少后续处理量。以此，通过灰度地形等高线的存在，为后续点质量小球动力学模型提供了必要的运动环境。这样，能够利用地形等高线模型模拟MURA成像图片，通过点质量小球动力学模型，模拟求解方式。

具体来说，可通过下述的文章理解点质量小球动力学模型。

《地球重力场球冠谐模型的分层构造和分析》，其根据球冠谐系数与点质量模型的关系，提出一种基于多层点质量模型分层构造球冠谐系数的方法。以32°N～34°N，102°E～104°E为计算区域，利用EGM2008模型和实测观测值构造三层球冠谐模型系数，逼近该区域的重力异常场。结果表明，使用本方法构造的球冠谐模型和实测观测值的误差平均值小于0.5×10-5ms-2，当拟合区域的球冠半角为0.71°时，模型的内符合精度为±4.65×10-5ms-2。

《局部重力场的点质量模型》，其以地面离散的测量数据，通过建立点质量模型的方法，求解物理大地测量边值问题的基本原理。比较和分析了该方法与积分方法以及最小二乘配置方法的联系，根据试验数据探讨点质量模型的密度、深度的选择及其表征扰动重力场的特点，提出了一种适于计算的模型构成方法。通过实际试算说明了在点质量模型基础上计算重力场中有关量的效果是好的。其优点是可选择少量的参数，公式简单，但需要求解较大阶数的方程组和确定模型的最优结构。

本发明在实施的时候，可通过建立粗糙度表面重力势场下的点质量小球动力学模型，实现模拟求解。具体来说，通过数值迭代优化方法，求解点质量小球稳定收敛的地形底部区域，获得缺陷区域。在此期间，灰度梯度越大，求解收敛就越快。接着，将地形图翻转一次，令山峰翻转成谷底，进行二次求解，获得缺陷区域，两次过程得到的缺陷分别为暗区和亮区。结合实际实施来看，粗糙度系数就是小球模型中的描述地形的粗糙度系数，可用于计算力平衡，其为需要重点优化的变量。并且，该模型对“半岛型”MURA缺陷收敛效果不佳。需要提供有效的辅助方式来检查MURA缺陷。

正因如此，本发明有效引入了辐射能量模型的参与，在实施过程中将灰度值设为黑体温度，获取黑体辐射模型。之后，采用黑体辐射模型获得灰度能量，通过耦合背景模型集获得相对辐射强度，当该值达到判定阈值即判为缺陷，通过翻转进行二次求解，分别获得亮区和暗区缺陷。结合实际处理来看，所采用的判定阈值为MURA区域的“力”平衡值，理想状况为零，实际操作指达到一定值时即判断为力平衡。同时，为了提高判断的准确性，判定阈值还包括辐射模型中值温度的局部极值，当达到该值时即判定为MURA区域。

由此，利用本模型的特性，可用来辅助求解大面积MURA缺陷，完善本发明中对于发光面板的缺陷检测。

通过上述的文字表述并结合附图可以看出，采用本发明后，拥有如下优点：

1、本方法对待检测产品的分辨不敏感，对待检测对产品的尺寸亦不敏感。同时，对相机分辨率要求不高。

2、可用于检测背光板、液晶模组、液晶CELL和OLED显示器等对应的发光面板，实施范围广泛。

3、通过背景模型集来描述发光面板成像背景，便于检测数据库的完善。

4、依托于地形等高线模型、粗糙度表面重力势场下的点质量小球动力学模型、辐射能量模型的相互配合，可有效通过机器视觉来求解发光面板的各类缺陷，弥补对MURA缺陷收敛效果不佳的问题。

5、整个处理流程顺畅便利，可配合常规图像采集系统、检测软件以及相关的机械机构来实现，易于推广。

6、整体实施成本低，可操作性强。

最为重要的是，本发明的方法摆脱了现有技术中，采用一般图像处理方法解决MURA检测，而是利用物理学的基本理论去解决该问题，整体实施的思路和方法新创而独特。

以上所述仅是本发明的优选实施方式，并不用于限制本发明，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变型，这些改进和变型也应视为本发明的保护范围。

Claims (9)

1.基于机器视觉的发光面板检测方法，其特征在于包括以下步骤：

步骤一，建立背景模型集；

步骤二，获取待检测产品图像，获得预处理图像；

步骤三，通过地形等高线模型、辐射能量模型，对预处理图像进行独立处理；

步骤四，同步汇总处理数据，获取缺陷区域。

2.根据权利要求1所述的基于机器视觉的发光面板检测方法，其特征在于：所述建立背景模型集的过程为，

通过图像采集系统，针对待检测产品的类别，采集随机样本；

通过前后处理后，对每个样本进行频谱分析，将所获取的数据建立频谱数据库；

通过主成分分析对频谱数据库进行分析，提取背景特征；

利用背景特征建立背景模型集，将数据写入检测软件。

3.根据权利要求2所述的基于机器视觉的发光面板检测方法，其特征在于：所述前后处理为进入关键处理步骤的前处理、后处理，所述前处理至少包括对图像进行坏样本剔除、图像校正、基本滤波去噪中的一种或是多种，所述后处理至少包括对数据进行拟合、去噪、归一化中的一种或是多种。

4.根据权利要求1所述的基于机器视觉的发光面板检测方法，其特征在于：所述步骤一中，加入附属参考因素，所述附属参考因素包括曝光差异、镜头性中的一种或是多种。

5.根据权利要求1所述的基于机器视觉的发光面板检测方法，其特征在于：所述获取待检测产品图像过程为，

通过图像采集系统获取待检测产品图像；

利用频域滤波对待检测产品图像进行初步预处理，获得预处理图像；

建立图像尺度空间后进行归一化处理；

调用背景模型集，获取缺陷疑似区域并在预处理图像中进行标注。

6.根据权利要求5所述的基于机器视觉的发光面板检测方法，其特征在于：所述初步预处理过程包含图像异常判别、图像滤波、亮度校正、几何校正、感兴趣区域检测中的一种或是多种。

7.根据权利要求1所述的基于机器视觉的发光面板检测方法，其特征在于：所述地形等高线模型处理过程为，

在预处理图像中建立灰度地形等高线，构成地形图；

通过灰度定义地形高低，即灰度值小，则地形低，灰度值高，则地形高，灰度梯度小，则地形平坦，灰度梯度大，则地形陡峭；

进行检测判断，即地形等高线密集，构成疑似区域，地形等高线稀疏的为其他区域。

8.根据权利要求1所述的基于机器视觉的发光面板检测方法，其特征在于：所述地形等高线模型中的地形图内，随机分布有点质量小球，作为求解初始种子点，用于建立粗糙度表面重力势场下的点质量小球动力学模型，通过数值迭代优化方法，求解点质量小球稳定收敛的地形底部区域，获得缺陷区域，之后，将地形图翻转一次，令山峰翻转成谷底，进行二次求解，获得缺陷区域，两次过程得到的缺陷分别为暗区和亮区。

9.根据权利要求1所述的基于机器视觉的发光面板检测方法，其特征在于：所述辐射能量模型中，将灰度值设为黑体温度，获取黑体辐射模型，采用黑体辐射模型获得灰度能量，通过耦合背景模型集获得相对辐射强度，当该值达到判定阈值即判为缺陷，通过翻转进行二次求解，分别获得亮区和暗区缺陷。