CN110111330B - 手机屏幕检测方法 - Google Patents

手机屏幕检测方法 Download PDF

Info

Publication number
CN110111330B
CN110111330B CN201910417351.5A CN201910417351A CN110111330B CN 110111330 B CN110111330 B CN 110111330B CN 201910417351 A CN201910417351 A CN 201910417351A CN 110111330 B CN110111330 B CN 110111330B
Authority
CN
China
Prior art keywords
image
mobile phone
phone screen
omega
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910417351.5A
Other languages
English (en)
Other versions
CN110111330A (zh
Inventor
张建国
李颖
候慧敏
齐家坤
季甜甜
刘隽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Institute of Technology
Original Assignee
Shanghai Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Institute of Technology filed Critical Shanghai Institute of Technology
Priority to CN201910417351.5A priority Critical patent/CN110111330B/zh
Publication of CN110111330A publication Critical patent/CN110111330A/zh
Application granted granted Critical
Publication of CN110111330B publication Critical patent/CN110111330B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20032—Median filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30121—CRT, LCD or plasma display

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种手机屏幕检测方法，本发明首先对获取的手机屏幕图像使用PatMax算法的模板定位技术进行图像定位，使用基于仿射变换的图像校正技术对手机屏幕图像进行校正，利用3×3中值滤波进行图像滤波，消除噪音影响并保护测试图像的边缘信息。然后，训练模板图像，用测试图像减去模板图像得到差分图，最后利用Blob分析法检测和定位图像中的缺陷特征。本发明方法能够有效的识别手机屏幕的各种缺陷，具有较高的检测效率及精度。

Description

手机屏幕检测方法
技术领域
本发明涉及一种手机屏幕检测方法。
背景技术
智能手机作为当前最畅销的移动终端设备其市场化竞争日趋激烈，在出厂前对手机屏幕进行外观检测具有重要意义。目前，人工目测是最常用的手机屏幕缺陷检测方法，但是，人工检测非常耗时，不同的人甚至同一人在不同的状态下检测的结果也不相同，缺陷容易被漏检或错检。
与人工目测相比，机器视觉采用非接触检测方法，不但具有高效率、稳定性强，高度自动化等特点，而且可以达到很高的分辨精度，安全可靠，在缺陷检测中得到了广泛应用。手机屏幕玻璃经过一系列的加工，不可避免出现缺陷，主要有划痕、表面透光、字符区落墨、崩口等缺陷，由于缺陷种类复杂和表面的打印部分使得缺陷的检测变得更加困难。目前国内针对液晶屏幕的缺陷检测方法只能针对个别缺陷进行检测，达不到工业生产要求。
发明内容
本发明的目的在于提供一种手机屏幕检测方法。
为解决上述问题，本发明提供一种手机屏幕检测方法，包括：
步骤1：获取手机屏幕清晰的像素图像；
步骤2：利用PatMax算法对步骤2获取到的像素图像进行模型训练，以得到带有位姿信息的模型；
步骤3：接收所述模型中的位姿信息，以所述模型为基准建立坐标系，并在所述坐标系上从所述模型输出图像，所述坐标系用于为后续识别提供坐标位置；
步骤4：对从所述步骤3的模型输出的图像进行仿射变换，产生一个矩形输出图像；
步骤5：对所述矩形输出图像进行3×3中值滤波，以得到滤波后的测试图像；
步骤6：选择无缺陷的手机屏幕图像作为训练图像，抓取训练图像与对应的原点，基于所述训练图像与对应的原点设置待进行差分操作的图像的区域和对应的原点，设置运行参数训练模板图像，对步骤3所述模型输出的图像进行训练，并统计训练当前模式，以得到已训练的模板图像，用滤波后的测试图像减去已训练的模板图像，得到差分图；
步骤7：设置分割的模式为软阈值，极性为黑底白点，设置高低阈值，对所述差分图进行Blob分析，得到手机屏幕的缺陷图像。
进一步的，在上述方法中，所述步骤2，包括：
PatMax算法采用模板定位技术，PatMax算法只训练所述像素图像的重要特征
进一步的，在上述方法中，所述步骤4，包括：
平移变换：将模型输出的图像中的每一点移到到(x+tx，y+ty)，变换矩阵为
Figure BDA0002063948870000021
其中，T表示平移参数；
进一步的，在上述方法中，所述步骤4，包括：
缩放变换：将模型输出的图像中的每一点的横坐标放大或缩小Sx倍，并将将模型输出的图像中的每一点的纵坐标放大或缩小到Sy倍，变换矩阵为
Figure BDA0002063948870000022
其中，S表示缩放参数；
进一步的，在上述方法中，所述步骤4，包括：
旋转变换：将模型输出的图像围绕原点顺时针旋转θ弧度，变换矩阵为
Figure BDA0002063948870000031
其中，所述变换矩阵用一个3×3的矩阵M来表示，其最后一行为(0，0，1)，所述变换矩阵将原坐标为(x，y)变换为新坐标(x’，y’)，即
Figure BDA0002063948870000032
θ表示旋转弧度。
进一步的，在上述方法中，所述步骤5，包括：
中值滤波法定义如下：G(x，y)＝median(g(s，t))s，t∈Sxy，其中G(x，y)和g(s，t)分别为所述矩形输出图像和输入的像素灰度值，S为模块窗口，对所述矩形输出图像进行3×3中值滤波，以得到滤波后的测试图像，包括：
step1：对模块窗口S中的每一行进行升序排列，得到3个有序序列；
step2：将step1得到3个有序序列按其中值(12，22，32)的大小进行升序排列；
step3：排除像素点11、12、32、33为中值的可能性，通过比较得出像素点13、21、22、23、31、32的灰度值的中值；
Step4：将所述矩形输出图像中的每一像素点的灰度值设置为step3得到像素点13、21、22、23、31、32的灰度值的中值；
Step5：将所述矩形输出图像中的中的每一像素点的灰度值设置为该像素点某邻域窗口内的所有像素点灰度值的中值。
进一步的，在上述方法中，所述步骤6和步骤7，包括：
差分法的数学表达公式为：f(x，y)＝f1(x，y)-f2(x，y)，其中，f1(x，y)和f2(x，y)为输入图像，f(x，y)为输出图像；
Blob分析通过软阈值分割实现，软阈值的定义如下：
ηs(ω，λ)＝sgn(ω)(|ω|-λ)+，这里ω是变量，λ是阈值(非负值)，符号(|ω|-λ)+表示当(|ω|-λ)＞0时则等于|ω|-λ，当(|ω|-λ)＜0时则等于0，分三种情况来讨论：
情况1(Case1)：ω＞λ＞0，sgn(ω)＝1，|ω|＝ω，(|ω|-λ)一定大于0，(|ω|-λ)+＝|ω|-λ，所以ηs(ω，λ)＝ω-λ；
情况2(Case2)：ω＜-λ＜0，sgn(ω)＝-1，|ω|＝-ω，(|ω|-λ)也一定大于0，(|ω|-λ)+＝|ω|-λ，所以ηs(ω，λ)＝-1×(-ω-λ)＝ω+λ；
情况3(Case3)：|ω|＜λ，(|ω|-λ)一定小于0，则(|ω|-λ)+＝0，soηs(ω，λ)＝0，
因此，ηs表达为：
Figure BDA0002063948870000041
用滤波后的测试图像减去已训练的模板图像，得到差分图，从手机屏幕残差图像的灰度级出发选取高低阈值，对所述差分图进行Blob分析，得到手机屏幕的缺陷图像。
与现有技术相比，本发明首先对获取的手机屏幕图像使用PatMax算法的模板定位技术进行图像定位，使用基于仿射变换的图像校正技术对手机屏幕图像进行校正，利用3×3中值滤波进行图像滤波，消除噪音影响并保护测试图像的边缘信息。然后，训练模板图像，用测试图像减去模板图像得到差分图，最后利用Blob分析法检测和定位图像中的缺陷特征。本发明方法能够有效的识别手机屏幕的各种缺陷，具有较高的检测效率及精度。
附图说明
图1为本发明一实施例的手机屏幕的缺陷检测流程图；
图2为本发明一实施例的四种典型的手机屏幕缺陷图像；
图3为本发明一实施例的利用PatMax算法成功训练的模式图；
图4为本发明一实施例的图2经过仿射变换后的校正图像；
图5为本发明一实施例的中值滤波算法图；
图6为本发明一实施例的手机屏幕缺陷的结果图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
如图1所示，本发明提供一种手机屏幕检测方法，包括：
步骤1：获取手机屏幕清晰的像素图像；
步骤2：利用PatMax算法对步骤2获取到的像素图像进行模型训练，以得到带有位姿信息的模型；
步骤3：接收所述模型中的位姿信息，以所述模型为基准建立坐标系，并在所述坐标系上从所述模型输出图像，所述坐标系用于为后续识别提供坐标位置；
步骤4：对从所述步骤3的模型输出的图像进行仿射变换，产生一个矩形输出图像；
步骤5：对所述矩形输出图像进行3×3中值滤波，以得到滤波后的测试图像；
步骤6：选择无缺陷的手机屏幕图像作为训练图像，抓取训练图像与对应的原点，基于所述训练图像与对应的原点设置待进行差分操作的图像的区域和对应的原点，设置运行参数训练模板图像，对步骤3所述模型输出的图像进行训练，并统计训练当前模式，以得到已训练的模板图像，用滤波后的测试图像减去已训练的模板图像，得到差分图；
步骤7：设置分割的模式为软阈值(固定)，极性为黑底白点，设置高低阈值，对所述差分图进行Blob分析，得到手机屏幕的缺陷图像。
本发明的的手机屏幕检测方法，所述步骤2，包括：
PatMax算法采用模板定位技术，PatMax算法只训练所述像素图像的重要特征，它减少了不必要的特征和图像噪音。
在此，在训练模板和定位过程中，PatMax不是基于像素栅格分析图像，而是基于特征来分析图像，利用图像特征间的空间位置和几何特征信息进行模板训练和图像匹配，可以快速定位发生平移、缩放、旋转，甚至拉伸形变的物体。利用模板定位技术得到的定位图像具有很高定位精度和较强的抗干扰性。
本发明的手机屏幕检测方法一实施例中，所述步骤4，包括如下任一项：
(1)平移变换：将模型输出的图像中的每一点移到到(x+tx，y+ty)，变换矩阵为
Figure BDA0002063948870000061
其中，T表示平移参数；
(2)缩放变换：将模型输出的图像中的每一点的横坐标放大或缩小Sx倍，并将将模型输出的图像中的每一点的纵坐标放大或缩小到Sy倍，变换矩阵为
Figure BDA0002063948870000062
其中，S表示缩放参数；
(3)旋转变换：将模型输出的图像围绕原点顺时针旋转θ弧度，变换矩阵为
Figure BDA0002063948870000063
其中，所述变换矩阵用一个3×3的矩阵M来表示，其最后一行为(0，0，1)，所述变换矩阵将原坐标为(x，y)变换为新坐标(x’，y’)，即
Figure BDA0002063948870000064
θ表示旋转弧度。
本发明的手机屏幕检测方法一实施例中，所述步骤5，包括：
中值滤波法定义如下：G(x，y)＝median(g(s，t))s，t∈Sxy，其中G(x，y)和g(s，t)分别为所述矩形输出图像和输入的像素灰度值，S为模块窗口，对所述矩形输出图像进行3×3中值滤波，以得到滤波后的测试图像，包括：
step1：对模块窗口S中的每一行进行升序排列，得到3个有序序列；
step2：将step1得到3个有序序列按其中值(12，22，32)的大小进行升序排列；
step3：排除像素点11、12、32、33为中值的可能性，通过比较得出像素点13、21、22、23、31、32的灰度值的中值；
Step4：将所述矩形输出图像中的每一像素点的灰度值设置为step3得到像素点13、21、22、23、31、32的灰度值的中值；
Step5：将所述矩形输出图像中的中的每一像素点的灰度值设置为该像素点某邻域窗口内的所有像素点灰度值的中值。
本发明的手机屏幕检测方法一实施例中，所述步骤6和步骤7，包括：
差分法的数学表达公式为：f(x，y)＝f1(x，y)-f2(x，y)，其中，f1(x，y)和f2(x，y)为输入图像，f(x，y)为输出图像；
Blob分析通过软阈值分割实现，软阈值的定义如下：
ηs(ω，λ)＝sgn(ω)(|ω|-λ)+，这里ω是变量，λ是阈值(非负值)，符号(|ω|-λ)+表示当(|ω|-λ)＞0时则等于|ω|-λ，当(|ω|-λ)＜0时则等于0，分三种情况来讨论：
情况1(Case1)：ω＞λ＞0，sgn(ω)＝1，|ω|＝ω，(|ω|-λ)一定大于0，(|ω|-λ)+＝|ω|-λ，所以ηs(ω，λ)＝ω-λ；
情况2(Case2)：ω＜-λ＜0，sgn(ω)＝-1，|ω|＝-ω，(|ω|-λ)也一定大于0，(|ω|-λ)+＝|ω|-λ，所以ηs(ω，λ)＝-1×(-ω-λ)＝ω+λ；
情况3(Case3)：|ω|＜λ，(|ω|-λ)一定小于0，则(|ω|-λ)+＝0，soηs(ω，λ)＝0，
因此，ηs表达为：
Figure BDA0002063948870000071
用滤波后的测试图像减去已训练的模板图像，得到差分图，从手机屏幕残差图像的灰度级出发选取高低阈值，对所述差分图进行Blob分析，得到手机屏幕的缺陷图像。
本发明提出的基于差分法和Blob分析法相结合的手机屏幕检测方法适用于各种手机屏幕缺陷检测且具有较高的检测精度和效率。
下面，对本发明提出的一种基于差分法和Blob分析法相结合的手机屏幕检测方法进行详细说明，具体包括以下步骤：
步骤1：获取手机屏幕清晰的像素图像，其中四种典型的手机屏幕缺陷图像如图2；
步骤2：抓取训练图像，设置训练区域与原点，设置运行参数及搜索区域，在输入图像上选取一个合适的位置及明显的特征，利用PatMax算法对步骤1中的图像进行模式训练，成功训练的模式如图3所示。PatMax算法采用模板定位技术，PatMax算法只训练图案的重要特征，它减少了不必要的特征和图像噪音。在训练模板和定位过程中，PatMax不是基于像素栅格分析图像，而是基于特征来分析图像，利用图像特征间的空间位置和几何特征信息进行模板训练和图像匹配，可以快速定位发生平移、缩放、旋转，甚至拉伸形变的物体。利用模板定位技术得到的定位图像具有很高定位精度和较强的抗干扰性。
步骤3：接收步骤2模型的位姿信息，以此模型为基准建立坐标系，为后续识别提供坐标位置；
步骤4：对步骤3的输出图像进行仿射变换，将仿射矩形内的图像区域转换为直角矩形，产生一个矩形的输出图像，如图4所示，通过仿射变换，实现了图像的校正。典型的仿射变换主要有以下几种：
(1)平移变换：将每一点移到到(x+tx，y+ty)，变换矩阵为
Figure BDA0002063948870000081
(2)缩放变换：将每一点的横坐标放大或缩小Sx倍，纵坐标放大(缩小)到Sy倍，变换矩阵为
Figure BDA0002063948870000082
(3)旋转变换：目标图形围绕原点顺时针旋转θ弧度，变换矩阵为
Figure BDA0002063948870000083
这类变换可以用一个3×3的矩阵M来表示，其最后一行为(0，0，1)。该变换矩阵将原坐标为(x，y)变换为新坐标(x’，y’)，即
Figure BDA0002063948870000084
步骤5：对步骤4的矩形输出图像进行3×3中值滤波，中值滤波法定义如下：G(x，y)＝median(g(s，t))s，t∈Sxy，其中G(x，y)和g(s，t)分别为输出图像和输入的像素灰度值，S为模块窗口。如图5，3×3中值滤波算法如下：
step1：对模板窗口中的每一行进行升序排列，得到三个序列；
step2：将step1得到3个有序序列按其中值(12，22，32)大小进行升序排列；
step3：排除11，12，32，33为中值的可能性，通过比较得出元素13，21，22，23，31，32的中值；
Step4：将图像中的每一像素点的灰度值设置为step3得到的像素点灰度值的中值。
将图像中的每一像素点的灰度值设置为该点某邻域窗口内的所有像素点灰度值的中值；
步骤6：选择无缺陷的手机屏幕图像作为训练图像，抓取训练图像与原点，设置需要进行差分操作的图像区域和原点，设置运行参数训练模板图像，对步骤3的输出图像进行训练，并统计训练当前模式，得到已训练的模板图像，用滤波后的测试图像减去已训练的模板图像，得到差分图；
步骤7：设置分割的模式：软阈值(固定)、极性：黑底白点，设置合适的高低阈值，对差分图进行Blob分析，得到手机屏幕的缺陷图像。
步骤6和步骤7结合检测法，具体通过以下过程实现：
差分法的数学表达公式为：f(x，y)＝f1(x，y)-f2(x，y)，其中，f1(x，y)和f2(x，y)为输入图像，f(x，y)为输出图像。
Blob分析主要通过软阈值分割实现，软阈值的定义如下：
ηs(ω，λ)＝sgn(ω)(|ω|-λ)+，这里ω是变量，λ是阈值(非负值)，符号(|ω|-λ)+表示当(|ω|-λ)＞0时则等于|ω|-λ，当(|ω|-λ)＜0时则等于0.分三种情况来讨论：
Case1：ω＞λ＞0，sgn(ω)＝1，|ω|＝ω，(|ω|-λ)一定大于0，(|ω|-λ)+＝|ω|-λ，所以ηs(ω，λ)＝ω-λ；
Case2：ω＜-λ＜0，sgn(ω)＝-1，|ω|＝-ω，(|ω|-λ)也一定大于0，(|ω|-λ)+＝|ω|-λ，所以ηs(ω，λ)＝-1×(-ω-λ)＝ω+λ；
Case3：|ω|＜λ，(|ω|-λ)一定小于0，则(|ω|-λ)+＝0，soηs(ω，λ)＝0.
因此，ηs可以表达为：
Figure BDA0002063948870000101
用滤波后的测试图像减去已训练的模板图像，得到差分图，再手机屏幕残差图像的灰度级出发选取高低阈值，对差分图进行Blob分析，得到手机屏幕的缺陷图像，如图6所示。
本发明首先对获取的手机屏幕图像使用PatMax算法的模板定位技术进行图像定位，使用基于仿射变换的图像校正技术对手机屏幕图像进行校正，利用3×3中值滤波进行图像滤波，消除噪音影响并保护测试图像的边缘信息。然后，训练模板图像，用测试图像减去模板图像得到差分图，最后利用Blob分析法检测和定位图像中的缺陷特征。本发明方法能够有效的识别手机屏幕的各种缺陷，具有较高的检测效率及精度。
本发明的目的是针对背景技术的不足，提出一种基于差分法和Blob分析法相结合的手机屏幕检测方法，从而达到可以检测各种手机屏幕缺陷，操作简单，检测效率高，检测准确度高的目的。
本发明提供的技术方案为一种基于差分法和Blob分析法相结合的手机屏幕检测方法，该方法包括以下步骤：
步骤1：获取手机屏幕清晰的像素图像，其中四种典型的手机屏幕缺陷图像如图2；
步骤2：在输入图像上选取一个合适的位置及明显的特征，利用PatMax算法对步骤1中的图像进行模式训练，成功训练的模式如图3所示；
步骤3：接收步骤2模型的位姿信息，以此模型为基准建立坐标系，为后续识别提供坐标位置；
步骤4：对步骤3的输出图像进行仿射变换，将仿射矩形内的图像区域转换为直角矩形，产生一个矩形的输出图像，如图4所示；
步骤5：对步骤4的矩形输出图像进行3×3中值滤波；
步骤6：选择无缺陷的手机屏幕图像作为训练图像，抓取训练图像与原点，设置需要进行差分操作的图像的区域和原点，设置运行参数训练模板图像，对步骤3的输出图像进行训练，并统计训练当前模式，得到已训练的模板图像，用滤波后的测试图像减去已训练的模板图像，得到差分图；
步骤7：设置分割的模式：软阈值(固定)、极性：黑底白点，设置合适的高低阈值，对差分图进行Blob分析，得到手机屏幕的缺陷图像。
所述步骤2，具体为：PatMax算法采用模板定位技术，只训练图案的重要特征，它减少了不必要的特征和图像噪音。在训练模板和定位过程中，PatMax算法不是基于像素栅格分析图像，而是基于特征来分析图像，利用图像特征间的空间位置和几何特征信息进行模板训练和图像匹配，可以快速定位发生平移、缩放、旋转，甚至拉伸形变的物体。利用模板定位技术得到的定位图像具有很高定位精度和较强的抗干扰性。
所述步骤4，具体通过以下过程实现：
典型的仿射变换主要有以下几种：
(1)平移变换：将每一点移到到(x+tx，y+ty)，变换矩阵为
Figure BDA0002063948870000111
(2)缩放变换：将每一点的横坐标放大或缩小Sx倍，纵坐标放大(缩小)到Sy倍，变换矩阵为
Figure BDA0002063948870000112
(3)旋转变换：目标图形围绕原点顺时针旋转θ弧度，变换矩阵为
Figure BDA0002063948870000113
这类变换可以用一个3×3的矩阵M来表示，其最后一行为(0，0，1)。该变换矩阵将原坐标为(x，y)变换为新坐标(x’，y’)，即
Figure BDA0002063948870000121
所述步骤5，具体通过以下过程实现：
中值滤波法定义如下：G(x，y)＝median(g(s，t))s，t∈Sxy，其中G(x，y)和g(s，t)分别为输出图像和输入的像素灰度值，S为模块窗口。如图5，3×3中值滤波算法如下：
step1：对模板窗口中的每一行进行升序排列，得到三个序列；
step2：将step1得到3个有序序列按其中值(12，22，32)大小进行升序排列；
step3：排除11，12，32，33为中值的可能性，通过比较得出元素13，21，22，23，31，32的中值；
Step4：将图像中的每一像素点的灰度值设置为step3得到的像素点灰度值的中值。
将图像中的每一像素点的灰度值设置为该点某邻域窗口内的所有像素点灰度值的中值。
所述步骤6和步骤7结合检测法，具体通过以下过程实现：
差分法的数学表达公式为：f(x，y)＝f1(x，y)-f2(x，y)，其中，f1(x，y)和f2(x，y)为输入图像，f(x，y)为输出图像。
Blob分析主要通过软阈值分割实现，软阈值的定义如下：
ηs(ω，λ)＝sgn(ω)(|ω|-λ)+，这里ω是变量，λ是阈值(非负值)，符号(|ω|-λ)+表示当(|ω|-λ)＞0时则等于|ω|-λ，当(|ω|-λ)＜0时则等于0.分三种情况来讨论：
Case1：ω＞λ＞0，sgn(ω)＝1，|ω|＝ω，(|ω|-λ)一定大于0，(|ω|-λ)+＝|ω|-λ，所以ηs(ω，λ)＝ω-λ；
Case2：ω＜-λ＜0，sgn(ω)＝-1，|ω|＝-ω，(|ω|-λ)也一定大于0，(|ω|-λ)+＝|ω|-λ，所以ηs(ω，λ)＝-1×(-ω-λ)＝ω+λ；
Case3：|ω|＜λ，(|ω|-λ)一定小于0，则(|ω|-λ)+＝0，soηs(ω，λ)＝0.
因此，，ηs可以表达为：
Figure BDA0002063948870000131
用滤波后的测试图像减去已训练的模板图像，得到差分图，再手机屏幕残差图像的灰度级出发选取高低阈值，对差分图进行Blob分析，得到手机屏幕的缺陷图像，如图6。
综上所述，本发明涉及一种基于差分法和Blob分析法相结合的手机屏幕检测方法，该方法首先对获取的手机屏幕图像使用PatMax算法的模板定位技术进行图像定位，使用基于仿射变换的图像校正技术对手机屏幕图像进行校正，利用3×3中值滤波进行图像滤波，消除噪音影响并保护测试图像的边缘信息。然后，训练模板图像，用测试图像减去模板图像得到差分图，最后利用Blob分析法检测和定位图像中的缺陷特征。本发明方法能够有效的识别手机屏幕的各种缺陷，具有较高的检测效率及精度。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
显然，本领域的技术人员可以对发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包括这些改动和变型在内。

Claims (7)

1.一种手机屏幕检测方法，其特征在于，包括：
步骤1：获取手机屏幕清晰的像素图像；
步骤2：利用PatMax算法对步骤1获取到的像素图像进行模型训练，以得到带有位姿信息的模型；
步骤3：接收所述模型中的位姿信息，以所述模型为基准建立坐标系，并在所述坐标系上从所述模型输出图像，所述坐标系用于为后续识别提供坐标位置；
步骤4：对从所述步骤3的模型输出的图像进行仿射变换，产生一个矩形输出图像；
步骤5：对所述矩形输出图像进行3×3中值滤波，以得到滤波后的测试图像；
步骤6：选择无缺陷的手机屏幕图像作为训练图像，抓取训练图像与对应的原点，基于所述训练图像与对应的原点设置待进行差分操作的图像的区域和对应的原点，设置运行参数训练模板图像，对步骤3所述模型输出的图像进行训练，并统计训练当前模式，以得到已训练的模板图像，用滤波后的测试图像减去已训练的模板图像，得到差分图；
步骤7：设置分割的模式为软阈值，极性为黑底白点，设置高低阈值，对所述差分图进行Blob分析，得到手机屏幕的缺陷图像。
2.如权利要求1所述的手机屏幕检测方法，其特征在于，所述步骤2，包括：
PatMax算法采用模板定位技术，PatMax算法只训练所述像素图像的重要特征。
3.如权利要求1所述的手机屏幕检测方法，其特征在于，所述步骤4，包括：
平移变换：将模型输出的图像中的每一点移到(x+Tx，y+Ty)，变换矩阵为
Figure FDA0004023362420000021
其中，Tx为x轴上的平移参数，Ty为y轴上的平移参数。
4.如权利要求1所述的手机屏幕检测方法，其特征在于，所述步骤4，包括：
缩放变换：将模型输出的图像中的每一点的横坐标放大或缩小Sx倍，并将模型输出的图像中的每一点的纵坐标放大或缩小到Sy倍，变换矩阵为
Figure FDA0004023362420000022
其中，Sx为x轴上的平移参数，Sy为y轴上的平移参数。
5.如权利要求1所述的手机屏幕检测方法，其特征在于，所述步骤4，包括：
旋转变换：将模型输出的图像围绕原点顺时针旋转θ弧度，变换矩阵为
Figure FDA0004023362420000023
其中，所述变换矩阵用一个3×3的矩阵M来表示，其最后一行为(0，0，1)，所述变换矩阵将原坐标为(x,y)变换为新坐标(x',y')，即
Figure FDA0004023362420000024
θ表示旋转弧度。
6.如权利要求1所述的手机屏幕检测方法，其特征在于，所述步骤5，包括：
中值滤波法定义如下：G(x,y)＝median(g(s,t)),其中s,t∈Sxy，G(x,y)和g(s,t)分别为所述矩形输出图像和输入的像素灰度值，S为模块窗口，对所述矩形输出图像进行3×3中值滤波，以得到滤波后的测试图像，包括：
step1：对模块窗口S中的每一行进行升序排列，得到3个有序序列；
step2：将step1得到3个有序序列按其中值(12,22,32)的大小进行升序排列；
step3：排除像素点11、12、32、33为中值的可能性，通过比较得出像素点13、21、22、23、31、32的灰度值的中值；
Step4：将所述矩形输出图像中的每一像素点的灰度值设置为step3得到像素点13、21、22、23、31、32的灰度值的中值；
Step5：将所述矩形输出图像中的中的每一像素点的灰度值设置为该像素点某邻域窗口内的所有像素点灰度值的中值。
7.如权利要求1所述的手机屏幕检测方法，其特征在于，所述步骤6和步骤7，包括：
差分法的数学表达公式为：f(x,y)＝f1(x,y)-f2(x,y)，其中，f1(x,y)和f2(x,y)为输入图像，f(x,y)为输出图像；
Blob分析通过软阈值分割实现，软阈值的定义如下：
ηs(ω,λ)＝sgn(ω)(|ω|-λ)+，这里ω是变量,λ是阈值为非负值，符号(|ω|-λ)+表示当(|ω|-λ)>0时则等于|ω|-λ,当(|ω|-λ)<0时则等于0，分三种情况来讨论：
情况1:ω＞λ＞0,sgn(ω)＝1,|ω|＝ω,(|ω|-λ)一定大于0，(|ω|-λ)+＝|ω|-λ,所以ηs(ω,λ)＝ω-λ；
情况2:ω<-λ<0,sgn(ω)＝-1,|ω|＝-ω,(|ω|-λ)也一定大于0，(|ω|-λ)+＝|ω|-λ,所以ηs(ω,λ)＝-1×(-ω-λ)＝ω+λ；
情况3:|ω|<λ,(|ω|-λ)一定小于0，则(|ω|-λ)+＝0,所以ηs(ω,λ)＝0；
因此,ηs表达为:
Figure FDA0004023362420000031
用滤波后的测试图像减去已训练的模板图像，得到差分图，从手机屏幕残差图像的灰度级出发选取高低阈值，对所述差分图进行Blob分析，得到手机屏幕的缺陷图像。
CN201910417351.5A 2019-05-17 2019-05-17 手机屏幕检测方法 Active CN110111330B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910417351.5A CN110111330B (zh) 2019-05-17 2019-05-17 手机屏幕检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910417351.5A CN110111330B (zh) 2019-05-17 2019-05-17 手机屏幕检测方法

Publications (2)

Publication Number Publication Date
CN110111330A CN110111330A (zh) 2019-08-09
CN110111330B true CN110111330B (zh) 2023-02-21

Family

ID=67491015

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910417351.5A Active CN110111330B (zh) 2019-05-17 2019-05-17 手机屏幕检测方法

Country Status (1)

Country Link
CN (1) CN110111330B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111311687B (zh) * 2020-01-21 2022-12-02 上海万物新生环保科技集团有限公司 一种手机屏幕像素点的空间位置检测方法及设备
CN111583211A (zh) * 2020-04-29 2020-08-25 广东利元亨智能装备股份有限公司 缺陷检测方法、装置及电子设备
CN111563860A (zh) * 2020-05-29 2020-08-21 长沙学院 一种基于计算机视觉的手机屏贴合系统及方法
CN111724375B (zh) * 2020-06-22 2023-05-09 中国科学院大学 一种屏幕检测方法及系统
CN111696106A (zh) * 2020-07-31 2020-09-22 上海帆声图像科技有限公司 一种显示设备的屏幕质量检测方法、装置及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102663425A (zh) * 2012-03-29 2012-09-12 浙江大学 基于形状稀疏表示的联合目标分割和识别方法
CN105103164A (zh) * 2013-03-21 2015-11-25 皇家飞利浦有限公司 基于视图分类的模型初始化
CN107194919A (zh) * 2017-05-18 2017-09-22 南京大学 基于规律纹理背景重建的手机屏幕缺陷检测方法
CN109492592A (zh) * 2018-11-15 2019-03-19 杭州芯影科技有限公司 毫米波成像图像处理方法
CN109658376A (zh) * 2018-10-24 2019-04-19 哈尔滨工业大学 一种基于图像识别的表面缺陷识别方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102663425A (zh) * 2012-03-29 2012-09-12 浙江大学 基于形状稀疏表示的联合目标分割和识别方法
CN105103164A (zh) * 2013-03-21 2015-11-25 皇家飞利浦有限公司 基于视图分类的模型初始化
CN107194919A (zh) * 2017-05-18 2017-09-22 南京大学 基于规律纹理背景重建的手机屏幕缺陷检测方法
CN109658376A (zh) * 2018-10-24 2019-04-19 哈尔滨工业大学 一种基于图像识别的表面缺陷识别方法
CN109492592A (zh) * 2018-11-15 2019-03-19 杭州芯影科技有限公司 毫米波成像图像处理方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Automatic surface defect detection for mobile phone screen glass based on machine vision;Chuanxia Jian, Jian Gao, Yinhui Ao;《Applied Soft Computing》;20161025;全文 *
基于机器视觉的手机壳表面划痕缺陷检测;王武，叶明，陆永华;《机械制造与自动化》;20190220;全文 *

Also Published As

Publication number Publication date
CN110111330A (zh) 2019-08-09

Similar Documents

Publication Publication Date Title
CN110111330B (zh) 手机屏幕检测方法
CN107808161B (zh) 一种基于光视觉的水下目标识别方法
CN105913093A (zh) 一种用于文字识别处理的模板匹配方法
CN104568986A (zh) 基于surf算法的遥控器面板印刷缺陷自动检测方法
CN111833303A (zh) 产品的检测方法、装置、电子设备及存储介质
CN102938077A (zh) 基于双阈值二值化的在线式aoi图像检索方法
CN116152261B (zh) 一种印刷制品质量的视觉检测系统
CN108709500B (zh) 一种电路板元件定位匹配方法
CN106127193A (zh) 一种人脸图像识别方法
CN111223078B (zh) 瑕疵等级判定的方法及存储介质
Chen et al. Classification and positioning of circuit board components based on improved YOLOv5
CN107248151B (zh) 一种基于机器视觉的液晶片智能检测方法及系统
Abbas Recovering homography from camera captured documents using convolutional neural networks
CN105844260A (zh) 一种多功能智能清洁机器人装置
CN113487569B (zh) 基于频域和空域结合的复杂背景图像缺陷检测方法及系统
CN112987356B (zh) 液晶面板底部异物滤除装置
CN115512381A (zh) 文本识别方法、装置、设备、存储介质及作业机械
CN103837098A (zh) 屏幕检测装置及方法
Xie et al. Defect detection of printed circuit board based on small target recognition network
CN113870342A (zh) 外观缺陷检测方法、智能终端以及存储装置
Chen et al. Applying Image Processing Technology to Automatically Detect and Adjust Paper Benchmark for Printing Machine.
Xibin et al. Mobile phone label online detection system based on machine vision
CN110874837A (zh) 一种基于局部特征分布的缺陷自动检测方法
CN112270323B (zh) 智能医疗复检控制方法、系统、介质、计算机设备及应用
Wang et al. Image Enhancement and Detection of Courier Slips Based on Affine Transform

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant