CN104360501B - 一种液晶屏幕缺陷视觉检测方法及装置 - Google Patents

Abstract

一种液晶屏幕缺陷视觉检测方法及检测装置，根据待测样品按键排布情况，调整矩阵电磁开关按钮盘按钮位置，使其与待测样品按键排布相吻合；离线采集各按钮模板图像；利用与嵌入式处理器相连的CCD与镜头实时采集液晶屏幕图像；捕捉一帧待测图像并对该图像进行彩色图像灰度化、二值化、中值滤波及投影法定位4步预处理操作；利用滑动模板匹配法对预处理后的图像与模板图像进行模板匹配计算，得到缺陷视觉检测结果并对无缺陷结果进行字符识别；本发明还提供了相应的系统装置，本发明使用的方法速度高，精确度高，解决了液晶屏幕人工缺陷检测效率低、成本高、一致性差的缺陷，同时还实现了检测与识别一体化。

Description

一种液晶屏幕缺陷视觉检测方法及装置

技术领域

本发明属于机器视觉图像测量与自动控制技术领域，特别涉及一种液晶屏幕缺陷视觉检测方法及装置。

技术背景

近年来，随着图像处理与模式识别技术的飞速发展，工业生产的智能化与自动化程度在逐步加深。虽然生产自动化领域已相当广泛，但针对产品的缺陷检测，目前现有的检测机只能对产品表面划痕、斑点、凹坑等外观特征进行检测。对于像万用表这类带有液晶显示屏的仪器，无法在识别其屏幕显示信息的同时对其进行视觉缺陷检测及标注，因此，该类产品的出厂校验仍然只能依靠人工检测。这种检测方法不仅使检验成本增高，更存在人为主观因素造成的错检、漏检、检验精度低、标准化不一等问题。

发明内容

为了克服上述液晶屏幕缺陷人工检测的缺点，本发明的目的在于提供一种液晶屏幕缺陷视觉检测方法及装置，实现对液晶屏幕显示信息的自动识别与自动检测，并对不良位置进行定位标注。

为了达到上述目的，本发明所采用的技术方案是：

一种液晶屏幕缺陷视觉检测方法，其特征在于，包括如下步骤：

根据待测样品按键排布情况，调整矩阵电磁开关按钮盘按钮位置，使其与待测样品按键排布相吻合；

离线采集各个按钮所对应的模板图像，并进行编号存储；

根据所述各种组合工作状态，控制矩阵电磁开关按钮盘按钮按下待测样品的相应按键；

实时采集待测样品每个按键按下时所对应的液晶屏幕图像，并分别选取一帧图像进行预处理；

对预处理后的图像与模板图像进行模板匹配计算，得到缺陷视觉检测结果，并对无缺陷结果进行数字字母识别。

所述的矩阵电磁开关按钮盘的按钮具有平面二自由度，以在按钮盘表面进行符合待测样品按键排布的任意排列。

所述矩阵电磁开关按钮盘由矩阵继电器控制其动作，且控制信号为矩阵形式，如下式所示：

00000

01000

00000

00000

00000

矩阵中每个元素对应按钮盘相应行列的按钮，其中，0表示该位置按钮无动作，1表示该位置按钮动作以按下待测样品的相应按键；

所述编号储存的号码按如下公式确定：

num＝(5×R₁)+C₁

其中，R₁为元素1所在行数，C₁为元素1所在列数；且行与列均从0开始计算。

所述的预处理包括如下4个步骤：

首先，将彩色图像转换为灰度图，转换关系如下：

Gray(x,y)＝R(x,y)×0.299+G(x,y)×0.587+B(x,y)×0.114

其中Gray(x,y)表示得到的灰度图像在位置(x,y)处的灰度值，R(x,y)，G(x,y)，B(x,y)分别表示彩色图像的RGB通道在(x,y)处对应的值。

其次，将灰度图进行Otsu法二值化，该二值化方法将原始灰度级为G，大小为M×N的图像I(x,y)中灰度值为i的像素点的个数记为n_i，则灰度值为i的像素所占的比例为：

$p_i=\frac{n_i}{M\×N},i=\mathrm{0,1,2},...G-1$

对于图像I(x,y)，假设前景和背景的分割阈值为T，属于目标区域的像素的个数在整幅图像中所占的比例记为ω₀，则：

${\mathrm{\ω}}_0=\underset{i==0}{\overset{T}{\mathrm{\Σ}}}{p}_i$

前景的平均灰度记为μ₀，则：

${\mathrm{\μ}}_0=\frac{\underset{i=0}{\overset{T}{\mathrm{\Σ}}}i\×p_i}{{\mathrm{\ω}}_0}$

属于背景区域的像素点的个数在整幅图像中所占的比例记为ω₁，则：

${\mathrm{\ω}}_1=\underset{i=T+1}{\overset{G-1}{\mathrm{\Σ}}}{p}_i$

背景的平均灰度记为μ₁，则：

${\mathrm{\μ}}_1=\frac{\underset{i=T+1}{\overset{G-1}{\mathrm{\Σ}}}i\×p_i}{{\mathrm{\ω}}_1}$

图像总的平均灰度记为μ，则：

μ＝ω₀μ₀+ω₁μ₁

前景和背景的类间方差记为σ²，则：

σ²＝ω₀×(μ₀-μ)²+ω₁(μ₁-μ)²

遍历G个灰度级，使得T为某个值的时候，目标和背景的类间方差最大，以此T值作为自动分割阈值，进行图像二值化；

再次，在得到二值图像后进行中值滤波，用以去掉椒盐噪声，滤波模板大小为3×3；

最后，将滤波后的图像再经水平投影与竖直投影去除多余边框，定位液晶屏幕显示区域，至此完成采集图像的预处理。

所述的滑动模板匹配法是从待匹配图像的左上角像素点开始，依次从左到右从上到下滑动模板图像并保存滑动位置的特征信息，利用平方差匹配法计算相似度，找出最相似的区域并将其取出来；将最相似区域和模板图作差，对作差的结果进行高斯滤波和利用Canny算法进行边缘提取；再将处理过后的图像附加到待匹配图像上。

本发明还提供了一种实现所述检测方法的装置，包括：

矩阵电磁开关7，由矩阵继电器71和按钮盘72组成，按钮盘72上有矩阵形式排布的按钮；

用于采集待测样品液晶屏幕图像的相机采集装置2；

连接相机采集装置2，外部带有显示面板3的嵌入式处理器4，嵌入式处理器4内带有用于执行所述预处理算法及滑动模板匹配法的检测模块；

同嵌入式处理器4的输出端口相通信连接，并控制电机驱动器6的I/O接口5，其中，电机驱动器6通过矩阵继电器71控制各个按钮。

所述装置还可以包括：

放置待测样品的平台1，相机采集装置2的镜头朝向平台1的台面；

由支架底座81、垂直支架2、水平支架3及固定夹84组成的支架，垂直支架2安装在支架底座81上，水平支架3活动连接于垂直支架2的上部，相机采集装置2通过固定夹84安装在水平支架3上。

所述的相机采集装置2包括带有正对平台1的图像采集镜头21和线光源22，图像采集镜头21与CCD24之间通过C接口连接，而CCD24的通信接口通过USB2.0接口同嵌入式处理器4相通信连接。

所述按钮盘72的按钮排列为5×5按钮矩阵，每个按钮有两个平面自由度，可根据待测样品按键的分布进行相应调整，实现对待测样品不同显示效果的切换工作。

所述的液晶屏幕缺陷视觉检测模块分为四个部分，分别为：控制相机开启、关闭的菜单栏；设置检测参数的参数区；进行图像处理及缺陷检测的操作区；采集图像与检测结果实时显示的显示区。

本发明的液晶屏幕缺陷视觉检测方法及视觉测控装置设备简单，易操作。它将屏幕显示信息的识别与检测同时进行，并对视觉缺陷区域进行定位标注，确保在高速、高精度实时检测的前提下，杜绝了视觉缺陷检测判定的人为因素，实现了液晶屏幕缺陷检验的一致性与高效性，为仪表大规模生产的出厂校验自动化检测判定奠定了方法基础，能有效地提高企业的经济效益。

附图说明

图1为本发明的液晶屏幕缺陷视觉检测装置的逻辑结构图。

图2为本发明的图像处理软件平台结构框图。

图3为本发明中液晶屏幕缺陷视觉检测方法流程图。

图4为本发明中矩阵电磁开关按钮盘正面示意图。

具体实施方式

下面结合附图和实施例详细说明本发明的实施方式。

如图1所示，本发明一种液晶屏幕缺陷视觉检测系统装置，包括：

由支架底座81、垂直支架82、水平支架83及固定夹84组成的支架。相机采集装置2通过固定夹安装在水平支架83上，水平支架83与垂直支架82连接并固定于支架底座81。通过上下移动水平支架83可以调节相机采集装置2的垂直高度，通过左右移动固定夹84可以调节相机采集装置2的水平位置。

待测样品包括有键盘区91和液晶屏幕显示区92，相机采集装置2的采集镜头21正对放置于平台1的待测样品液晶屏幕显示区92，镜头21两边设有线光源22，镜头21通过C接口与CCD24相连接。CCD24的通信接口通过USB2.0接口将镜头21所采集的图像进行处理转换后传送至嵌入式处理器4。嵌入式处理器4通过I/O接口5对驱动器6输出控制信号，调控矩阵电磁开关7按压待测样品控制按钮，使液晶屏幕输出对应按钮的显示。嵌入式处理器4内带有液晶屏幕缺陷检测模块，液晶屏幕缺陷检测模块能检测出液晶屏幕显示图像相对于标准图像模板是否有视觉缺陷并对无缺陷的数字与字母显示内容进行识别；液晶屏幕缺陷检测模块根据矩阵电磁开关7按压的按钮从模板库中调取相应的模板图像，将该模板图像与采集来的液晶屏幕显示图像进行模板匹配，判定液晶屏幕是否有视觉缺陷。同嵌入式处理器4通信连接的显示器3显示采集到的图像及检测模块的检测与识别结果。

本发明的缺陷视觉检测软件平台结构框图如图2所示，软件框架即主窗口10包括：

菜单栏11、参数区12、操作区13以及显示区14。其中菜单栏11包括开启图像采集装置2的打开摄像头15、关闭该装置的关闭摄像头16和退出图像软件系统的退出17；参数区12包括设置采集图像二值化手动阈值的图像预处理阈值设置18及控制按钮盘按钮动作与匹配模板型号的矩阵电磁开关参数设置19；操作区13包含可实现液晶屏幕图像采集的采集图像20、对所采集图像进行彩色图像灰度化、Otsu法图像二值化、中值滤波及投影法定位的预处理21、调用当前按钮盘动作所对应标准图像显示模板的打开模板22及对预处理后的图像进行检测的缺陷视觉检测23；显示区14包含4个子区域，分别用于显示：相机实时输入图像及采集结果的采集图像24、图像预处理结果25、当前矩阵电磁开关参数设置19对应的匹配模板26及缺陷视觉检测结果27。

如图3所示，本发明液晶屏幕缺陷视觉检测方法，包括如下步骤：

根据待测样品按键排布情况，在按钮盘平面的二自由度上调整按钮盘72矩阵按钮位置，如图4所示，使其与待测样品按键排布相吻合。

离线采集矩阵电磁开关7分别按压待测样品每个按钮时样品液晶屏幕的标准显示图像，将该图像保存为各按钮对应的模板图像并进行编号存储。

控制信号以5×5矩阵形式传输，如下所示：

00000

01000

00000

00000

00000

矩阵中每个元素对应按钮盘相应行列的按钮；其中，0表示该位置按钮无动作，1表示该位置按钮动作。编号储存的号码按如下公式确定：

num＝(5×R₁)+C₁

R₁为元素1所在行数，C₁为元素1所在列数；且行与列均从0开始计算，上图对应编号为6。

完成模板制作后，将待测样品水平放置在平台1上，启动嵌入式处理器4，调整相机采集装置2在支架的高度，开启图像采集镜头21与线光源22并调节镜头21的光圈与焦距至合适程度，使采集范围包括整个液晶屏幕。随后在软件参数区设置矩阵电磁开关参数，选定当前所检验的按钮编号，液晶屏幕在按钮盘72作用下显示图像，相机采集装置2实时采集液晶屏幕图像，采集图像经CCD24输入嵌入式处理器4，并在显示面板3上实时显示。然后通过软件操作区采集一帧待测图像并对该图像进行预处理，处理方法为：

首先将该彩色图像转换为灰度图，转换关系如下：

Gray(x,y)＝R(x,y)×0.299+G(x,y)×0.587+B(x,y)×0.114

其中Gray(x,y)表示得到的灰度图像在位置(x,y)处的灰度值，R(x,y)，G(x,y)，B(x,y)分别表示彩色图像的RGB通道在(x,y)处对应的值。

其次，将灰度图进行Otsu法二值化，该二值化方法为：

假设原始灰度级为G的图像I(x,y)的大小为M×N，灰度值为i的像素点的个数为n_i，则灰度值为i的像素所占的比例为：

$p_i=\frac{n_i}{M\×N},i=\mathrm{0,1,2},...G-1$

对于图像I(x,y)假设前景和背景的分割阈值为T，属于目标区域的像素的个数在整幅图像中所占的比例记为ω₀，则：

${\mathrm{\ω}}_0=\underset{i==0}{\overset{T}{\mathrm{\Σ}}}{p}_i$

前景的平均灰度记为μ₀，则：

${\mathrm{\μ}}_0=\frac{\underset{i=0}{\overset{T}{\mathrm{\Σ}}}i\×p_i}{{\mathrm{\ω}}_0}$

属于背景区域的像素点的个数在整幅图像中所占的比例记为ω₁，则：

${\mathrm{\ω}}_1=\underset{i=T+1}{\overset{G-1}{\mathrm{\Σ}}}{p}_i$

背景的平均灰度记为μ₁，则：

${\mathrm{\μ}}_1=\frac{\underset{i=T+1}{\overset{G-1}{\mathrm{\Σ}}}i\×p_i}{{\mathrm{\ω}}_1}$

图像总的平均灰度记为μ，则：

μ＝ω₀μ₀+ω₁μ₁

前景和背景的类间方差记为σ²，则：

σ²＝ω₀×(μ₀-μ)²+ω₁(μ₁-μ)²

遍历G个灰度级，使得T为某个值的时候，目标和背景的类间方差最大，则这个T值便是该方法求得的自动分割阈值。

使用该阈值对灰度图二值化，即大于该阈值的像素点赋值255，小于该阈值的像素点赋值0。在得到二值图像后进行中值滤波，用以去掉椒盐噪声，滤波模板大小为3×3。滤波后的图像再经水平投影与竖直投影去除多余边框，定位液晶屏幕显示区域，至此完成采集图像的预处理。

随后调用离线采集到的匹配模板，将预处理结果图像与对应的模板进行滑动模板匹配，该过程为：读取待匹配液晶屏幕图像和模板图像，分别获取待匹配图像和模板图像的宽高；从待匹配图像的左上角像素点开始，依次从左到右从上到下滑动模板图像并保存滑动位置的特征信息，利用平方差匹配法计算相似度，找出最相似的区域并将其取出来；将最相似区域和模板图作差，对作差的结果进行高斯滤波和利用Canny算法进行边缘提取；再将处理过后的图像附加到待匹配图像上。如果待检测液晶屏幕存在视觉缺陷，缺陷位置处将以黑色边缘的空心字符标示出，否则待匹配图像无变化，标示合格字样。以上过程可通过软件操作区的缺陷视觉检测按键一步实现并在图像区显示相应检测结果。

对电磁矩阵开关参数进行不同设置，使其遍历待测样品的每个按钮。在每个参数下，通过以上的步骤，可实现对液晶屏幕显示的缺陷视觉检测。

值得注意的是，上述的具体实施方式用于解释说明本发明，仅为本发明的优选实施方案，而不是对本发明进行限制，在本发明的精神和权利要求的保护范围内，对本发明做出的任何修改、等同替换、改进等，都属于本发明的保护范围。

Claims (5)

1.一种液晶屏幕缺陷视觉检测方法，其特征在于，包括如下步骤：

根据待测样品按键排布情况，调整矩阵电磁开关按钮盘按钮位置，使其与待测样品按键排布相吻合；

离线采集各个按钮所对应的模板图像，并进行编号存储；

根据各种组合工作状态，控制矩阵电磁开关按钮盘按钮按下待测样品的相应按键；

实时采集待测样品每个按键按下时所对应的液晶屏幕图像，并分别选取一帧图像进行预处理；

采用滑动模板匹配法对预处理后的图像与模板图像进行模板匹配计算，得到缺陷视觉检测结果，并对无缺陷结果进行数字字母识别；所述的滑动模板匹配法是从待匹配图像的左上角像素点开始，依次从左到右从上到下滑动模板图像并保存滑动位置的特征信息，利用平方差匹配法计算相似度，找出最相似的区域并将其取出来；将最相似区域和模板图像作差，对作差的结果进行高斯滤波和利用Canny算法进行边缘提取；再将处理过后的图像附加到待匹配图像上；

所述的矩阵电磁开关按钮盘的按钮具有平面二自由度，以在按钮盘表面进行符合待测样品按键排布的任意排列；

所述矩阵电磁开关按钮盘由矩阵继电器控制其动作，且控制信号为矩阵形式，如下式所示：

$\begin{array}{ccccc}0& 0& 0& 0& 0\\ 0& 1& 0& 0& 0\\ 0& 0& 0& 0& 0\\ 0& 0& 0& 0& 0\\ 0& 0& 0& 0& 0\end{array}$

矩阵中每个元素对应按钮盘相应行列的按钮，其中，0表示该位置按钮无动作，1表示该位置按钮动作以按下待测样品的相应按键；

所述编号储存的号码按如下公式确定：

num＝(5×R₁)+C₁

其中，R₁为元素1所在行数，C₁为元素1所在列数；且行与列均从0开始计算。

2.根据权利要求1所述液晶屏幕缺陷视觉检测方法，其特征在于，所述的预处理包括如下4个步骤：

首先，将彩色图像转换为灰度图，转换关系如下：

Gray(x,y)＝R(x,y)×0.299+G(x,y)×0.587+B(x,y)×0.114

其中Gray(x,y)表示得到的灰度图像在位置(x,y)处的灰度值，R(x,y)，G(x,y)，B(x,y)分别表示彩色图像的RGB通道在(x,y)处对应的值。

其次，将灰度图进行Otsu法二值化，该二值化方法将原始灰度级为G，大小为M×N的图像I(x,y)中灰度值为i的像素点的个数记为n_i，则灰度值为i的像素所占的比例为：

$p_i=\frac{n_i}{M\×N},i=0,1,2,...,G-1$

对于图像I(x,y)，假设前景和背景的分割阈值为T，属于目标区域的像素的个数在整幅图像中所占的比例记为ω₀，则：

${\mathrm{\ω}}_0=\underset{i=0}{\overset{T}{\Σ}}{p}_i$

前景的平均灰度记为μ₀，则：

${\mathrm{\μ}}_0=\frac{\underset{i=0}{\overset{T}{\Σ}}i\×p_i}{{\mathrm{\ω}}_0}$

属于背景区域的像素点的个数在整幅图像中所占的比例记为ω₁，则：

${\mathrm{\ω}}_1=\underset{i=T+1}{\overset{G-1}{\Σ}}{p}_i$

背景的平均灰度记为μ₁，则：

${\mathrm{\μ}}_1=\frac{\underset{i=T+1}{\overset{G-1}{\Σ}}i\×p_i}{{\mathrm{\ω}}_1}$

图像总的平均灰度记为μ，则：

μ＝ω₀μ₀+ω₁μ₁

前景和背景的类间方差记为σ²，则：

σ²＝ω₀×(μ₀-μ)²+ω₁(μ₁-μ)²

遍历G个灰度级，使得T为某个值的时候，目标和背景的类间方差最大，以此T值作为自动分割阈值，进行图像二值化；

再次，在得到二值图像后进行中值滤波，用以去掉椒盐噪声，滤波模板大小为3×3；

最后，将滤波后的图像再经水平投影与竖直投影去除多余边框，定位液晶屏幕显示区域，至此完成采集图像的预处理。

3.一种实现权利要求1所述检测方法的装置，其特征在于，包括：

矩阵电磁开关(7)，由矩阵继电器(71)和按钮盘(72)组成，按钮盘(72)上有矩阵形式排布的按钮；

用于采集待测样品液晶屏幕图像的相机采集装置(2)；

连接相机采集装置(2)，外部带有显示面板(3)的嵌入式处理器(4)，嵌入式处理器(4)内带有用于执行所述预处理算法及滑动模板匹配法的检测模块；

同嵌入式处理器(4)的输出端口相通信连接，并控制电机驱动器(6)的I/O接口(5)，其中，电机驱动器(6)通过矩阵继电器(71)控制各个按钮；

所述按钮盘(72)上的按钮具有两个平面自由度，所述按钮盘(72)的按钮排列为5×5按钮矩阵。

4.根据权利要求3所述装置，其特征在于，还包括：

放置待测样品的平台(1)，相机采集装置(2)的镜头朝向平台(1)的台面；

由支架底座(81)、垂直支架(82)、水平支架(83)及固定夹(84)组成的支架，垂直支架(82)安装在支架底座(81)上，水平支架(83)活动连接于垂直支架(82)的上部，相机采集装置(2)通过固定夹(84)安装在水平支架(83)上。

5.根据权利要求4所述装置，其特征在于，所述的相机采集装置(2)包括带有正对平台(1)的图像采集镜头(21)和线光源(22)，图像采集镜头(21)与CCD(24)之间通过C接口连接，而CCD(24)的通信接口通过USB2.0接口同嵌入式处理器(4)相通信连接。