CN110517614B - 一种液晶模组导电粒子不良的检测方法 - Google Patents

Abstract

一种液晶模组导电粒子不良的检测方法，一：设置每一行粒子区域左侧起始点和右侧终止点，求出当前图像起始点和终止点；二：确定粒子检测范围水平方向位置，自动分割出粒子检测区域；步骤三：待检测的粒子区域如包含多个不同灰度范围的区域，通过多次设置分割区域的方式进行分割；步骤四：采用深度学习并行处理各个粒子区域的同时，获得阴极和阳极分割结果；步骤五：采用二进制分析方法计算各个粒子区域特征量，给出最终粒子检测结果；步骤六：采用二值化方法并经面积、灰度等特征量判别条件下进行气泡、划伤和脏污缺陷检出。本发明误差小，同时可以进行脏污、划伤和气泡等缺陷检测，检测结果更为真实有效，提高了检测速度以及效果。

Description

一种液晶模组导电粒子不良的检测方法

技术领域

本发明涉及液晶模组导电粒子检测技术领域，特别是一种液晶模组导电粒子不良的检测方法。

背景技术

液晶模组的导电粒子等缺陷检测，主要用于液晶LCD及OLED产品在COG(驱动IC集成电路搭载在玻璃面板上)、FOG(驱动IC集成电路搭载在柔性电路板上)、COF(驱动IC集成电路固定于柔性线路板的晶粒软膜上)绑定贴合后，在生产中对产品导电粒子的粒径分布和分布均匀性进行检测。通常导电粒子必须具有良好的粒径均一性和真圆度，确保电极与导电粒子间的接触面积一致，以维持相同的导电电阻，同时避免部分电极未接触到导电粒子，导致开路的现象发生；其检测基本原理是利用线阵相机对液晶面板COG、FOG、COF上Bump区域(封装区域)进行图像采集、通过算法分析最终得到该目标检测对象是否合格。

目前，现有的粒子检查方法包含设置检查区域和粒子检测两个步骤，其中设置检查区域是通过手动框取或者从文件读取要进行检查的粒子区域，然后通过加上设置检查区域时的参考图像和当前图像上mark标记之间的位置偏移、作为当前图像的检查区域(如图2所示)，由于粒子图像分辨率很高(达到1um/pixel)，机械运动过程中很难保证图像精度、会产生一定误差，经过误差累积此种方式设置的检查区域经常会出现偏移(图2所示)，从而造成过检的现象。另一方面现有的粒子检查方法实际检测中，由于线阵相机拍摄到的每个粒子区域包含亮暗(阴极和阳极)两部分(图3所示)，阴极和阳极在图像中是临近的两部分，因此当粒子连接紧密或者存在脏污和异物干扰的情况，传统算法就无法准确的识别出阴极和阳极，一些常规的粒子区域缺陷如脏污、划伤、气泡等就会被误检成粒子，对正确检测结果带来影响。由于现有检测方法是人工拖动ROI(检测区域)操作，设置检测参数的时间一般需要2-4小时，存在检测速度慢的问题。最后，现有检测方法无法依赖具体的特征量区分粒子与缺陷的问题，存在检测精度低的问题。

发明内容

为了克服现有液晶模组COG以及FOG、COF绑定贴合后，导电粒子等缺陷检测中存在的各种弊端，本发明提供了基于自动分割算法，只利用mark标记位置附近的位置信息就可以准确分割出粒子检查区域，使检测的结果误差小，基于传统算法与深度学习相结合的方式来分割出粒子阳极和阴极区域，同时可以进行脏污、划伤和气泡等得缺陷检测，并通过传统算法给出精确特征量，检测结果更为真实有效，检测中自动分割粒子所在区域，省掉人工手动拖动ROI(检测区域)操作，减少了为液晶模组设置检测参数的时间(由以往的2-4小时，缩减为30分钟以内)，基于UNet(深入理解深度学习分割网络)的粒子分割方法，解决了传统方法难以依赖具体的特征量区分粒子与缺陷问题，具有更高的分割精度，少量样本就具有普遍分割效果，提高了检测速度以及效果的一种液晶模组导电粒子不良的检测方法。

本发明解决其技术问题所采用的技术方案是：

一种液晶模组导电粒子不良的检测方法，其特征在于采用线阵相机、PC机作为检测工具，线阵相机和PC机经数据线连接，并和PC内系统软件信息交互，检测步骤分为六个步骤，步骤一：系统软件设置每一行粒子区域的左侧起始点和右侧终止点，然后根据产品上面标记的相对偏移求出当前图像的起始点和终止点，标记的位置与起始点和终止点的位置很近，累积误差不会造成影响；步骤二：系统软件在起始点、终止点位置左侧区域和右侧区域所构成的连接线区域进行自动阈值二值化，确定粒子区域的水平位置，再通过设置周期，处理区域宽度和高度等特征量作为过滤条件则可以确定粒子检测范围的水平方向位置，此水平位置带入起始点和终止点的连线即可自动分割出粒子检测区域；步骤三：如果待检测的粒子区域包含多个不同灰度范围的区域，系统软件可以通过多次设置分割区域的方式进行分割；步骤四：粒子区域被分割为一块块小区域，系统软件对每个区域的处理并行进行，采用深度学习的方式，并行处理各个粒子区域的同时，又能获得阴极和阳极分割结果，处理及分割各个粒子区域采用基于深入理解深度学习分割网络进行；步骤五：系统软件对由基于深入理解深度学习分割网络分割得到的结果采用现有的二进制(二值图像连通区域)分析方法计算各个粒子区域的特征量，以这些特征量作为是或不是的判定条件，进而给出最终的粒子检测结果；步骤六：气泡、划伤和脏污缺陷由于无法短时间内搜索到足够的样本、用于深度学习训练，系统软件采用传统的二值化方法并通过面积、灰度等特征量判别条件进行检出。

进一步地，所述步骤二中，自动阈值二值化方法选用大津法，方法如下，对图像(x,y)前景和背景的分割阈值记作T，前景像素点数占整幅图像的比例为w0，其平均灰度u0；背景像素点数占整幅图像的比例为w1，其平均灰度u1；图像的总平均灰度记作u＝w0*u0+w1*u1；类间方差记为g；假设图像大小为M*N，图像中像素灰度值小于阈值T的像素个数记作N0，像素灰度值大于阈值T的像素个数记作N1，则有如下结果：

w0＝N0/(M*N)

w1＝N1/(M*N)

w0+w1＝1

u＝w0*u0+w1*u1

g＝w0(u0-u)²+w1(u1-u)²

化简得类间方差g＝w0*w1*(u0-u1)²，通过遍历可以得到二值化阈值。

进一步地，所述步骤三中，不同灰度范围包括黑和白两种不同灰度的区域。

进一步地，所述步骤六中，二值化方法是属于局部阈值二值化的一种，局部窗口的宽和高可以作为变量进行设置，方法如下，设为w*h假设当前像素位置为(r,c)，则当前位置的二值化阈值为：

其中u(r,c)表示此窗口范围内的平均灰度值，σ(r，c)是相应的标准差，R代表可能的最大标准差。

本发明有益效果是：本发明基于自动分割算法，只利用标记位置附近的位置信息就可以准确分割出粒子检查区域，使检测的结果误差小。基于传统算法与深度学习相结合的方式来分割出粒子阳极和阴极区域，同时可以进行脏污、划伤和气泡等得缺陷检测，并通过传统算法给出精确特征量，检测结果更为真实有效。检测中自动分割粒子所在区域，省掉人工手动拖动ROI操作，减少了为液晶模组设置检测参数的时间(由以往的2-4小时，缩减为30分钟以内)，基于深入理解深度学习分割网络的粒子分割方法，解决了传统方法难以依赖具体的特征量区分粒子与缺陷的问题，具有更高的分割精度，少量样本就具有普遍分割效果，提高了检测速度以及效果。克服了现有技术中，因为过检会产生检测误差，无法准确的识别出粒子阴极和阳极，一些常规的粒子区域缺陷如脏污、划伤、气泡等会被误检成粒子，对正确检测结果带来影响，存在检测速度慢，检测精度低的问题。基于上述，所以明具有好的应用前景。

附图说明

图1是本发明的整个检测方法流程框图。

图2是现有检测技术设置区域时的偏移累积示意图。

图3是本发明单个粒子区域包含阳极和阴极示意图。

图4是本发明设置粒子区域的起始位置示意图。

图5由上至下是本发明起始点和终止点连线围城的区域、自动阈值二值化的结果、最终得到的分割结果示意图。

图6是本发明存在黑白不同灰度的粒子区域分割示意图，由上至下分别为原图、白色区域分割结果、黑色区域分割结果、合并结果。

图7是本发明应用的典型UNet网络模型示意图。

图8是本发明粒子检测结果示意图。

具体实施方式

图1、4所示，一种液晶模组导电粒子不良的检测方法，采用线阵相机、PC机作为检测工具，线阵相机和PC机经数据线连接，并和PC内系统软件信息交互，检测步骤分为六个步骤，步骤一：系统软件设置每一行粒子区域的左侧起始点和右侧终止点，然后根据产品上面mark标记(如图4中的十字标记，用于辅助检测和对位用)的相对偏移求出当前图像的起始点和终止点，由于mark标记的位置与起始点和终止点的位置很近，所以累积误差不会造成影响。

图1、5所示，步骤二：系统软件在起始点、终止点位置左侧区域和右侧区域所构成的连接线区域进行自动阈值二值化，即可以确定粒子区域的水平位置，再通过设置周期，处理区域宽度和高度等特征量作为过滤条件则可以确定粒子检测范围的水平方向位置，此水平位置带入起始点和终止点的连线即可自动分割出粒子检测区域。步骤二中，自动阈值二值化方法可以选用大津法，方法如下，对图像(x,y)前景和背景的分割阈值记作T，前景像素点数占整幅图像的比例为w0，其平均灰度u0；背景像素点数占整幅图像的比例为w1，其平均灰度u1；图像的总平均灰度记作u＝w0*u0+w1*u1；类间方差记为g；假设图像大小为M*N，图像中像素灰度值小于阈值T的像素个数记作N0，像素灰度值大于阈值T的像素个数记作N1，则有如下结果：

w0＝N0/(M*N)

w1＝N1/(M*N)

w0+w1＝1

u＝w0*u0+w1*u1

g＝w0(u0-u)²+w1(u1-u)²

化简得类间方差g＝w0*w1*(u0-u1)²，通过遍历可以得到二值化阈值。

图1、6所示，步骤三：如果待检测的粒子区域包含多个不同灰度范围的区域，系统软件可以通过多次设置分割区域的方式进行分割；步骤三中，不同灰度范围包括黑和白两种不同灰度的区域。图7中所示，步骤四：由于粒子区域被分割为一块块小区域，系统软件对每个区域的处理可以并行进行，传统算法无法很好的求出每个粒子区域的阴极和阳极部分，本实施例采用深度学习的方式，并行处理各个粒子区域的同时，又能获得很好的阴极和阳极分割结果，处理及分割各个粒子区域采用基于深入理解深度学习分割网络(UNet)进行。

图1、8所示，步骤五：系统软件对由基于深入理解深度学习分割网络(UNet)分割得到的结果采用现有的二进制(二值图像连通区域)分析方法(blob)计算各个粒子区域的特征量，以这些特征量作为是(OK)或不是(NG)的判定条件，进而给出最终的粒子检测结果。步骤六：气泡、划伤和脏污缺陷由于无法短时间内搜索到足够的样本、用于深度学习训练，系统软件采用传统的二值化(sauvola)方法并通过面积、灰度等特征量判别条件进行检出。步骤六中，二值化方法是属于局部阈值二值化的一种，局部窗口的宽和高可以作为变量进行设置，方法如下，设为w*h假设当前像素位置为(r,c)，则当前位置的二值化阈值为：

其中u(r,c)表示此窗口范围内的平均灰度值，σ(r，c)是相应的标准差，R代表可能的最大标准差。

图1、4、5、6、7、8中所示，本发明具体操作中检测方法如下。A：利用线扫描相机拍摄液晶模组清晰的导电粒子图像，由于图像竖直方向很长、为方便操作可以对图像进行90度旋转，以得到宽高比大于1的图像(如算法流程图1所示)。B：搜索产品上面mark标记，由于导电粒子区域的处理范围很小，采集到的图像往往只占整幅图像的一部分，为了降低内存消耗，可以选择对图像进行裁剪，利用Mark标记相关信息裁剪出需要检测区域的外接矩形部分的图像，如图4中Mark标记可以算出检测区域(ROI)。C：设置待检查行的起始和终止位置，此起始位置相对于Mark标记距离很近，不会因为图像的畸变累积造成较大的误差(如图4所示)。D：对起始和终止位置所围成的区域进行自动阈值二值化，如果存在多个不同灰度区域则进行多次自动阈值二值化(如图5和图6所示，图6存在两个不同灰度的粒子区域，所以需要进行两次自动阈值二值化)。E：将由第4步二值化分割出来的区域传入UNet网络得到分割出的粒子区域，UNet是提前采用手动标记的粒子区域训练的，由于每幅图像中都包含很多(700-5000)个粒子ROI区域，并且UNet对较少的图像样本就有很好的分割效果，所以只需要采集较少的图像进行标记训练就能达到比较理想的检测效果。F：将由第5步中分割得到的粒子区域掩膜掉，经由UNet分割出粒子阴极和阳极之后，可以从检测区域中掩膜掉粒子区域，然后再进行缺陷检查，这样就排除了粒子造成的干扰。G：将由第6步中掩膜掉粒子之后的区域进行sauvola二值化来检测脏污、划伤、气泡等缺陷。I：将由第6，7步分割得到的区域进行blob分析得到各个分割区域的特征量。H：根据第8步得到的特征量，代入不同的检测参数判定最终结果。

图1、4、5、6、7、8中所示，本发明基于自动分割算法，只利用标记位置附近的位置信息就可以准确分割出粒子检查区域，使检测的结果误差小。基于传统算法与深度学习相结合的方式来分割出粒子阳极和阴极区域，同时可以进行脏污、划伤和气泡等得缺陷检测，并通过传统算法给出精确特征量，检测结果更为真实有效。检测中自动分割粒子所在区域，省掉人工手动拖动ROI操作，减少了为液晶模组设置检测参数的时间(由以往的2-4小时，缩减为30分钟以内)，基于深入理解深度学习分割网络的粒子分割方法，解决了传统方法难以依赖具体的特征量区分粒子与缺陷问题，具有更高的分割精度，少量样本就具有普遍分割效果，提高了检测速度以及效果。克服了现有技术中，因为过检会产生检测误差，无法准确的识别出粒子阴极和阳极，一些常规的粒子区域缺陷如脏污、划伤、气泡等会被误检成粒子，对正确检测结果带来影响，存在检测速度慢，检测精度低的问题。本发明中的自动分割找出粒子检查区域的方式与传统手工设定检查区域相比更加简单、方便、准确，采用深度学习方式来进行粒子检查，结果更准确，并且可以利用GPU多核优势，提高检查速度。

以上显示和描述了本发明的基本原理和主要特征及本发明的优点，对于本领域技术人员而言，显然本本发明限于上述示范性实施例的细节，而且在不背离本本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (4)

1.一种液晶模组导电粒子不良的检测方法，其特征在于采用线阵相机、PC机作为检测工具，线阵相机和PC机经数据线连接，并和PC内系统软件信息交互，检测步骤分为六个步骤，步骤一：系统软件设置每一行粒子区域的左侧起始点和右侧终止点，然后根据产品上面标记的相对偏移求出当前图像的起始点和终止点，标记的位置与起始点和终止点的位置很近，累积误差不会造成影响；步骤二：系统软件在起始点、终止点位置左侧区域和右侧区域所构成的连接线区域进行自动阈值二值化，确定粒子区域的水平位置，再通过设置周期，处理区域宽度和高度等特征量作为过滤条件则能确定粒子检测范围的水平方向位置，此水平位置带入起始点和终止点的连线即可自动分割出粒子检测区域；步骤三：如果待检测的粒子区域包含多个不同灰度范围的区域，系统软件通过多次设置分割区域的方式进行分割；步骤四：粒子区域被分割为一块块小区域，系统软件对每个区域的处理并行进行，采用深度学习的方式，并行处理各个粒子区域的同时，又能获得阴极和阳极分割结果，处理及分割各个粒子区域采用基于深入理解深度学习分割网络进行；步骤五：系统软件对由基于深入理解深度学习分割网络分割得到的结果采用现有的二进制分析方法计算各个粒子区域的特征量，以这些特征量作为是或不是的判定条件，进而给出最终的粒子检测结果；步骤六：气泡、划伤和脏污缺陷由于无法短时间内搜索到足够的样本、用于深度学习训练，系统软件采用传统的二值化方法并通过面积、灰度等特征量判别条件进行检出。

2.根据权利要求1所述的一种液晶模组导电粒子不良的检测方法，其特征在于，所述步骤二中，自动阈值二值化方法选用大津法，方法如下，对图像(x，y)前景和背景的分割阈值记作T，前景像素点数占整幅图像的比例为w0，其平均灰度u0；背景像素点数占整幅图像的比例为w1，其平均灰度u1；图像的总平均灰度记作u＝w0*u0+w1*u1；类间方差记为g；假设图像大小为M*N，图像中像素灰度值小于阈值T的像素个数记作N0，像素灰度值大于阈值T的像素个数记作N1，则有如下结果：

w0＝N0/(M*N)

w1＝N1/(M*N)

w0+w1＝1

u＝w0*u0+w1*u1

g＝w0(u0-u)²+w1(u1-u)²

化简得类间方差g＝w0*w1*(u0-u1)²，通过遍历就能得到二值化阈值。

3.根据权利要求1所述的一种液晶模组导电粒子不良的检测方法，其特征在于，步骤三中，不同灰度范围包括黑和白两种不同灰度的区域。

4.根据权利要求1所述的一种液晶模组导电粒子不良的检测方法，其特征在于，步骤六中，二值化方法是属于局部阈值二值化的一种，局部窗口的宽和高作为变量进行设置，方法如下，设为w*h假设当前像素位置为(r，c)，则当前位置的二值化阈值为：

其中u(r，c)表示此窗口范围内的平均灰度值，σ(r，c)是相应的标准差，R代表可能的最大标准差。

Images