CN107194919B - 基于规律纹理背景重建的手机屏幕缺陷检测方法 - Google Patents
基于规律纹理背景重建的手机屏幕缺陷检测方法 Download PDFInfo
- Publication number
- CN107194919B CN107194919B CN201710352745.8A CN201710352745A CN107194919B CN 107194919 B CN107194919 B CN 107194919B CN 201710352745 A CN201710352745 A CN 201710352745A CN 107194919 B CN107194919 B CN 107194919B
- Authority
- CN
- China
- Prior art keywords
- image
- background
- spectrum
- fourier transform
- mobile phone
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
Landscapes
- Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于规律纹理背景重建的手机屏幕缺陷检测方法，首先对图像进行傅里叶变换，求出图像频谱的幅度谱，通过对二值化的幅度谱进行霍夫直线拟合得到滤波模板，用模板对图像的实部和虚部分别进行滤波，再进行傅里叶反变换并归一化得到不含缺陷的背景重建图，最后用原图减去背景重建图并进行自适应二值化得到只包含缺陷的二值图。本发明方法能有效定位规律纹理背景下的屏幕缺陷。
Description
技术领域
本发明涉及机器视觉与视频图像处理技术领域，具体为基于规律纹理背景重建的手机屏幕缺陷检测方法。
背景技术
通过人工视觉来完成对手机屏幕缺陷检测，存着工作量大、漏检率高、误检率高、受主观感觉影响等多种问题，基于机器视觉的手机屏幕缺陷自动检测能有效解决这一问题。为突出缺陷的特征，去除手机屏幕的规律的背景纹理是进行缺陷检测的关键。
现有技术中，通过寻找手机屏幕上缺陷部分和正常部分的特征来进行缺陷检测的方法如线性回归和梯度直方图等，方案为先计算缺陷区域和邻近区域像素的灰度值的差异，然后设定一个阈值，当差异大于这个阈值的时候就判定为缺陷。为了有效、准确地定位缺陷，这些在空间域进行图像处理的方法需要先去除规律背景纹理的干扰。然而线性回归和梯度直方图都无法有效地去除规律背景纹理的干扰。离散傅里叶变换是一种描述图像频谱的算法。本发明提出通过拟合手机屏幕背景的横向纹理和纵向纹理在频谱的分布来设计滤波器，滤除缺陷的频谱，保留背景纹理的频谱，来重建背景并检测缺陷。
发明内容
本发明要解决的问题是：现有通过机器视觉进行手机屏幕缺陷检测的方法易受规律背景纹理干扰，往往产生误检或漏检，定位不准。
本发明的技术方案为：一种基于规律纹理背景重建的手机屏幕缺陷检测方法，采用离散傅里叶变换重建手机屏幕的背景纹理，之后再通过背景差分进行缺陷检测，所述缺陷检测方法包括三个阶段：
1)离散傅里叶变换获取模板阶段，采用离散傅里叶变换，获得手机屏幕图像的频谱实部和虚部，并计算频谱的幅度谱，通过对二值化的幅度谱进行霍夫直线拟合得到滤波模板；
2)模板滤波阶段，用滤波模板分别和频谱的实部和虚部进行矩阵点乘，得到滤波后的实部和虚部；
3)离散傅里叶反变换并检测缺陷阶段，对滤波后的实部和虚部进行离散傅里叶反变换并归一化，得到不包含缺陷的手机屏幕背景重建图像，将手机屏幕图像的原图像减去得到的背景重建图像，得到不包含背景的缺陷图像，对新得到的缺陷图像自适应二值化，得到包含缺陷的二值图，即可检测出手机屏幕的缺陷。
步骤1)具体为：
11)利用频谱的实部和虚部计算幅度谱：
其中，Gu,v表示幅度谱，Ru,v表示频谱的实部，Iu,v表示频谱的虚部；
12)通过快速排序算法获取幅度谱的前百分之h的像素的灰度值t，将幅度谱中灰度值大于t的像素的值置为255，小于t的像素的值置为0，得到二值化的幅度谱：
其中，M(u,v)表示二值化的幅度谱，G(u,v)为幅度谱，t为阈值化的阈值，
对得到的二值化的幅度谱进行霍夫直线拟合，并对拟合得到的每条直线往左右分别拓展10个像素，形成宽为20像素的灰度值为255的矩形，所有拟合出的直线形成的矩形组成一个滤波模板M′(u,v)。
步骤2)具体为：将模板和频谱的实部和虚部分别进行矩阵的点乘，去掉代表缺陷的频率成分，得到滤波后的包含背景频谱的实部和虚部：
其中，R(u,v)表示频谱的实部，R’(u,v)表示滤波后的实部，I(u,v)表示频谱的虚部，I’(u,v)表示滤波后的虚部，M’(u,v)表示滤波模板。
步骤3)具体为：
31)用傅里叶反变换的结果的均值除以原图的均值得到缩放系数r，将傅里叶反变换后的结果图中的每个像素的灰度值除以缩放系数，使得傅里叶反变换的结果归一化到0～255：
其中，g(x,y)为离散傅里叶反变换的结果图，f(x,y)为原图，fnew(x,y)为归一化后的背景重建图；
32)用原图减去背景重建图得到不包含背景的缺陷图，对缺陷图进行自适应二值化得到只包含缺陷的二值图：
d(x,y)＝f(x,y)-fnew(x,y) (6)
其中d(x,y)为原图和背景图的差分图，对差分图进行阈值为Th的自适应二值化：
d’(x,y)表示只包含缺陷的二值图，mean(around(d(x,y)))表示以d(x,y)为中心的15*15的区域的像素的均值，Th表示自适应二值化的阈值，一般设置为经验值20。
本发明经实验发现，手机屏幕图像在空间域的背景纹理，变换到频域后呈现为规则的横竖亮线纹理，在此基础上提出通过拟合频域纹理实现背景重建。本发明提出的采用离散傅里叶变换去除手机屏幕规律背景纹理的方法，在得到图像的频谱的基础上，通过纹理拟合获得频谱实部和虚部的滤波模板，实现了自适应的滤波。由于图像周期性的纹理，对频谱的滤波能够很好地去除规律背景纹理。本发明创新点在于：
1)针对现有方法不能去除手机屏幕的规律背景纹理，提出通过频谱滤波重建背景，并用原图减去背景图来去除规律背景纹理；
2)通过对幅度谱进行阈值化，并对二值化的幅度谱进行霍夫直线拟合自适应地得到了频谱的滤波模板，能够有效针对规律背景纹理；
3)对滤波后的频谱图进行离散傅里叶反变换，通过差分操作直接得到缺陷图，具有较高的检测精度。
附图说明
图1为本发明方法的流程框图。
图2为本发明实施例待检测手机屏幕图像。
图3为本发明实施例傅里叶变换得到幅度谱
图4为本发明实施例的滤波模板图
图5为本发明实施例的重建背景图
图6为本发明实施例瑕疵检测结果图。
具体实施方式
本发明方法主要包括离散傅里叶变换获取模板、模板滤波和离散傅里叶反变换并检测缺陷三个步骤。具体实施方式如下：
1、离散傅里叶变换获取模板阶段：对需要检测的手机屏幕图像A进行离散傅里叶变换，获得图像A的频谱，包括实部和虚部，进一步可以计算出频谱的幅度谱。通过快速排序获取幅度谱的前百分之h的像素的灰度值t,将幅度谱中灰度值大于t的像素的值置为255，小于t的像素的值置为0，h设置为经验值，如10～20。通过对二值化的幅度谱进行霍夫直线拟合得到滤波模板。
离散傅里叶变换获取滤波模板的方法为：
11)利用频谱的实部和虚部计算幅度谱：
其中，Gu,v表示幅度谱，Ru,v表示频谱的实部，Iu,v表示频谱的虚部。
12)通过快速排序算法获取幅度谱的前百分之h的像素的灰度值t，将幅度谱中灰度值大于t的像素的值置为255，小于t的像素的值置为0，得到二值化的幅度谱：
其中，M(u,v)表示二值化的幅度谱，G(u,v)为幅度谱，t为阈值化的阈值，
对得到的二值化的幅度谱进行霍夫直线拟合，并对拟合得到的每条直线往左右分别拓展10个像素，形成宽为20像素的灰度值为255的矩形，所有拟合出的直线形成的矩形组成一个滤波模板M′(u,v)。
2、模板滤波：从步骤1获得的滤波模板，将模板和频谱的实部和虚部分别进行矩阵的点乘，得到滤波后的实部和虚部。
模板滤波的方法为将模板和频谱的实部和虚部分别进行矩阵的点乘，去掉代表缺陷的频率成分，得到滤波后的包含背景频谱的实部和虚部。
其中，R(u,v)表示频谱的实部，R’(u,v)表示滤波后的实部，I(u,v)表示频谱的虚部，I’(u,v)表示滤波后的虚部，M’(u,v)表示滤波模板。
3、离散傅里叶反变换并检测缺陷：对滤波后的频谱的实部和虚部进行离散傅里叶反变换并归一化到0～255，得到不包含缺陷的背景重建图。用原图减去背景重建图并对结果进行阈值为Th的自适应二值化得到包含缺陷的二值图。
离散傅里叶反变换并检测缺陷的方法为：
31)对傅里叶反变换的结果进行归一化，方法为用傅里叶反变换的结果的均值除以原图的均值得到缩放系数r，将傅里叶反变换后的结果图中的每个像素的灰度值除以缩放系数：
其中，g(x,y)为离散傅里叶反变换的结果图，f(x,y)为原图，fnew(x,y)为归一化后的背景重建图。
32)用原图减去背景重建图得到不包含背景的缺陷图，对缺陷图进行自适应二值化得到只包含缺陷的二值图。原图减去背景图的求取方法为：
d(x,y)＝f(x,y)-fnew(x,y) (6)
其中d(x,y)为原图和背景图的差分图，对差分图进行阈值为Th的自适应二值化的求取方法为：
d’(x,y)表示只包含缺陷的二值图，mean(around(d(x,y)))表示以d(x,y)为中心的15*15的区域的像素的均值，Th表示自适应二值化的阈值，一般设置为经验值20。
图2、3、4、5、6为本发明实施效果图，其中获取模板的自适应二值化的百分比阈值h取10，检测缺陷的自适应二值化的阈值Th取20。图3为本发明实施例傅里叶变换得到幅度谱，图4为本发明实施例的滤波模板图，图5为本发明实施例的重建背景图，图6为本发明实施例瑕疵检测结果图。由图可见，采用本方法可以很好地去除规律背景纹理的干扰，能较好地检测出规律纹理背景下的缺陷。
Claims (2)
1.一种基于规律纹理背景重建的手机屏幕缺陷检测方法，其特征是采用离散傅里叶变换重建手机屏幕的背景纹理，之后再通过背景差分进行缺陷检测，所述缺陷检测方法包括三个阶段：
1)离散傅里叶变换获取模板阶段，采用离散傅里叶变换，获得手机屏幕图像的频谱实部和虚部，并计算频谱的幅度谱，通过对二值化的幅度谱进行霍夫直线拟合得到滤波模板；具体为：
11)利用频谱的实部和虚部计算幅度谱：
其中，Gu,v表示幅度谱，Ru,v表示频谱的实部，Iu,v表示频谱的虚部；
12)通过快速排序算法获取幅度谱的前百分之h的像素的灰度值t，将幅度谱中灰度值大于t的像素的值置为255，小于t的像素的值置为0，得到二值化的幅度谱：
其中，M(u,v)表示二值化的幅度谱，G(u,v)为幅度谱，t为阈值化的阈值，
对得到的二值化的幅度谱进行霍夫直线拟合，并对拟合得到的每条直线往左右分别拓展10个像素，形成宽为20像素的灰度值为255的矩形，所有拟合出的直线形成的矩形组成一个滤波模板M′(u,v)；
2)模板滤波阶段，用滤波模板分别和频谱的实部和虚部进行矩阵点乘，得到滤波后的实部和虚部；
3)离散傅里叶反变换并检测缺陷阶段，对滤波后的实部和虚部进行离散傅里叶反变换并归一化，得到不包含缺陷的手机屏幕背景重建图像，将手机屏幕图像的原图像减去得到的背景重建图像，得到不包含背景的缺陷图像，对新得到的缺陷图像自适应二值化，得到包含缺陷的二值图，即可检测出手机屏幕的缺陷；具体为：
31)用傅里叶反变换的结果的均值除以原图的均值得到缩放系数r，将傅里叶反变换后的结果图中的每个像素的灰度值除以缩放系数，使得傅里叶反变换的结果归一化到0～255：
其中，g(x,y)为离散傅里叶反变换的结果图，f(x,y)为原图，fnew(x,y)为归一化后的背景重建图；
32)用原图减去背景重建图得到不包含背景的缺陷图，对缺陷图进行自适应二值化得到只包含缺陷的二值图：
d(x,y)＝f(x,y)-fnew(x,y) (6)
其中d(x,y)为原图和背景图的差分图，对差分图进行阈值为Th的自适应二值化：
d’(x,y)表示只包含缺陷的二值图，mean(around(d(x,y)))表示以d(x,y)为中心的15*15的区域的像素的均值，Th表示自适应二值化的阈值，设置为经验值20。
2.根据权利要求1所述的基于规律纹理背景重建的手机屏幕缺陷检测方法，其特征是步骤2)具体为：将模板和频谱的实部和虚部分别进行矩阵的点乘，去掉代表缺陷的频率成分，得到滤波后的包含背景频谱的实部和虚部：
其中，R(u,v)表示频谱的实部，R’(u,v)表示滤波后的实部，I(u,v)表示频谱的虚部，I’(u,v)表示滤波后的虚部，M′(u,v)表示滤波模板。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710352745.8A CN107194919B (zh) | 2017-05-18 | 2017-05-18 | 基于规律纹理背景重建的手机屏幕缺陷检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710352745.8A CN107194919B (zh) | 2017-05-18 | 2017-05-18 | 基于规律纹理背景重建的手机屏幕缺陷检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107194919A CN107194919A (zh) | 2017-09-22 |
| CN107194919B true CN107194919B (zh) | 2021-07-30 |
Family
ID=59875289
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710352745.8A Active CN107194919B (zh) | 2017-05-18 | 2017-05-18 | 基于规律纹理背景重建的手机屏幕缺陷检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107194919B (zh) |
Families Citing this family (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109801322B (zh) * | 2017-11-16 | 2021-11-09 | 合肥欣奕华智能机器有限公司 | 一种漏光检测方法及装置 |
| US10740889B2 (en) | 2017-12-29 | 2020-08-11 | Huizhou China Star Optoelectronics Technology Co., Ltd. | Method and system for detection of in-panel mura based on hough transform and gaussian fitting |
| CN108074238B (zh) * | 2017-12-29 | 2020-07-24 | 惠州市华星光电技术有限公司 | 基于霍夫变换及高斯拟合的面内mura检测方法及检测系统 |
| CN108288260A (zh) * | 2018-01-30 | 2018-07-17 | 苏州亚相素自动化科技有限公司 | 实时浓淡补正的图像预处理方法 |
| CN108387553B (zh) * | 2018-02-09 | 2021-04-13 | 重庆东渝中能实业有限公司 | 针对白细胞与血小板共存全息图的分块重建与分类计数方法 |
| CN109345528B (zh) * | 2018-09-28 | 2021-06-18 | 凌云光技术股份有限公司 | 一种基于人眼视觉特性的显示屏缺陷检测方法及装置 |
| CN111325707B (zh) * | 2018-12-13 | 2021-11-30 | 深圳中科飞测科技股份有限公司 | 一种图像处理方法和系统、检测方法和系统 |
| CN109872304B (zh) | 2019-01-17 | 2022-12-02 | 京东方科技集团股份有限公司 | 图像缺陷检测方法及装置、电子设备、存储介质 |
| CN109829899B (zh) * | 2019-01-18 | 2020-08-07 | 创新奇智(广州)科技有限公司 | 一种针对钢卷端面缺陷检测的背景抑制算法 |
| CN109827504B (zh) * | 2019-01-18 | 2020-08-14 | 创新奇智(南京)科技有限公司 | 一种基于机器视觉的钢卷端面局部径向检测方法 |
| CN109886952B (zh) * | 2019-02-25 | 2021-04-23 | 京东方科技集团股份有限公司 | 一种屏幕缺陷点检测方法及其装置、计算机可读介质 |
| CN110111330B (zh) * | 2019-05-17 | 2023-02-21 | 上海应用技术大学 | 手机屏幕检测方法 |
| CN110288565B (zh) * | 2019-05-22 | 2021-06-25 | 国网江苏省电力有限公司电力科学研究院 | 碳纤维复合芯导线的缺陷识别方法、装置及存储介质 |
| CN110276759B (zh) * | 2019-06-28 | 2023-04-28 | 东北大学 | 一种基于机器视觉的手机屏坏线缺陷诊断方法 |
| CN110530883B (zh) * | 2019-09-30 | 2022-08-02 | 凌云光技术股份有限公司 | 一种缺陷检测方法 |
| CN111476759B (zh) * | 2020-03-13 | 2022-03-25 | 深圳市鑫信腾机器人科技有限公司 | 一种屏幕表面检测方法、装置、终端及存储介质 |
| CN111563883B (zh) * | 2020-04-22 | 2023-05-05 | 惠州旭鑫智能技术有限公司 | 屏幕视觉定位方法、定位设备及存储介质 |
| CN113643271A (zh) * | 2021-08-24 | 2021-11-12 | 凌云光技术股份有限公司 | 一种基于频域滤波的图像瑕疵检测方法及装置 |
| CN114322841B (zh) * | 2021-12-06 | 2022-11-18 | 重庆邮电大学 | 一种投影光栅相移生成动态三维测量方法及系统 |
| CN114240920A (zh) * | 2021-12-24 | 2022-03-25 | 苏州凌云视界智能设备有限责任公司 | 一种外观缺陷检测方法 |
| CN115188304B (zh) * | 2022-09-07 | 2023-01-03 | 苏州佳智彩光电科技有限公司 | 一种lcd和oled屏幕缺陷修复方法及装置 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103413288A (zh) * | 2013-08-27 | 2013-11-27 | 南京大学 | 一种lcd总体检测缺陷方法 |
| CN106650770A (zh) * | 2016-09-29 | 2017-05-10 | 南京大学 | 一种基于样本学习和人眼视觉特性的mura缺陷检测方法 |
-
2017
- 2017-05-18 CN CN201710352745.8A patent/CN107194919B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103413288A (zh) * | 2013-08-27 | 2013-11-27 | 南京大学 | 一种lcd总体检测缺陷方法 |
| CN106650770A (zh) * | 2016-09-29 | 2017-05-10 | 南京大学 | 一种基于样本学习和人眼视觉特性的mura缺陷检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 傅里叶重建图像法检测磁片表面刀纹缺陷;左博;《计算机工程与应用》;20141014;第52卷(第3期);第256-260页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107194919A (zh) | 2017-09-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107194919B (zh) | 基于规律纹理背景重建的手机屏幕缺陷检测方法 | |
| CN107808378B (zh) | 基于垂直纵横线轮廓特征的复杂结构铸件潜在缺陷检测方法 | |
| CN109410230B (zh) | 一种可抗噪声的改进Canny图像边缘检测方法 | |
| CN110766736B (zh) | 缺陷检测方法、装置、电子设备以及存储介质 | |
| CN106780486B (zh) | 一种钢板表面缺陷图像提取方法 | |
| CN109507192B (zh) | 一种基于机器视觉的磁芯表面缺陷检测方法 | |
| Sun et al. | Automated pavement distress detection using advanced image processing techniques | |
| CN109727244B (zh) | 一种磁瓦表面裂纹检测方法 | |
| CN109472788B (zh) | 一种飞机铆钉表面的伤痕检测方法 | |
| CN107490582B (zh) | 一种流水线工件检测系统 | |
| CN105158258A (zh) | 一种基于计算机视觉的竹条表面缺陷检测方法 | |
| CN104063848A (zh) | 一种低照度图像增强方法和装置 | |
| CN112669265B (zh) | 基于傅里叶变换和图像梯度特征实现表面缺陷检测的方法 | |
| CN109801322B (zh) | 一种漏光检测方法及装置 | |
| CN110070523B (zh) | 一种用于瓶底的异物检测方法 | |
| CN113592782B (zh) | 一种复合材料碳纤维芯棒x射线图像缺陷提取方法及系统 | |
| CN105447489B (zh) | 一种图片ocr识别系统的字符与背景粘连噪声消除方法 | |
| CN112365448B (zh) | 一种经编织造过程中的织物疵点检测方法 | |
| CN107230200A (zh) | 一种提取电机转子中线圈轮廓特征的方法 | |
| CN112529853A (zh) | 一种用于水下养殖网箱的网衣破损检测方法及装置 | |
| CN117745799B (zh) | 近海海域油污染面积遥测方法及装置 | |
| CN116128873A (zh) | 一种基于图像识别的轴承保持器检测方法、设备及介质 | |
| CN114332081A (zh) | 基于图像处理的纺织品表面异常判定方法 | |
| CN117808799A (zh) | 基于人工智能的倒角设备加工质量检测方法 | |
| CN104102911A (zh) | 一种基于aoi的子弹表观缺陷检测系统的图像处理算法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |