CN115452845B - 一种基于机器视觉的led屏幕表面损伤检测方法 - Google Patents

一种基于机器视觉的led屏幕表面损伤检测方法 Download PDF

Info

Publication number
CN115452845B
CN115452845B CN202211417333.5A CN202211417333A CN115452845B CN 115452845 B CN115452845 B CN 115452845B CN 202211417333 A CN202211417333 A CN 202211417333A CN 115452845 B CN115452845 B CN 115452845B
Authority
CN
China
Prior art keywords
crack
region
image
local
complete
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211417333.5A
Other languages
English (en)
Other versions
CN115452845A (zh
Inventor
龚文
封亮廷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Kinglight Optoelectronics Co ltd
Original Assignee
Shenzhen Jingtai Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Jingtai Co ltd filed Critical Shenzhen Jingtai Co ltd
Priority to CN202211417333.5A priority Critical patent/CN115452845B/zh
Publication of CN115452845A publication Critical patent/CN115452845A/zh
Application granted granted Critical
Publication of CN115452845B publication Critical patent/CN115452845B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01MTESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M11/00Testing of optical apparatus; Testing structures by optical methods not otherwise provided for
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques

Landscapes

  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及LED屏幕表面损伤检测技术领域,具体涉及一种基于机器视觉的LED屏幕表面损伤检测方法。方法包括:根据LED屏幕灰度图像,得到各光照角度下的LED屏幕灰度图像对应的各完整裂纹区域和各完整裂纹区域的裂纹位置序号;根据完整裂纹区域和完整裂纹区域的裂纹位置序号,得到各光照角度下的LED屏幕灰度图像对应的各完整裂纹区域的成像质量;对于任一裂纹位置序号,根据该裂纹位置序号对应的各完整裂纹区域的成像质量和该裂纹位置序号对应的各完整裂纹区域的光照角度,得到最佳光照角度;根据各裂纹位置对应的最佳光照角度,得到待检测LED屏幕对应的裂纹区域。本发明能够更加准确和完整的得到LED屏幕上的裂纹缺陷区域。

Description

一种基于机器视觉的LED屏幕表面损伤检测方法
技术领域
本发明涉及LED屏幕表面损伤检测技术领域,具体涉及一种基于机器视觉的LED屏幕表面损伤检测方法。
背景技术
LED屏幕在生产完成后,需要进行表面损伤检测,因为如果LED屏幕厂商所出厂的产品质量不合格,则会影响厂家的声誉,即导致厂家口碑下降,影响工厂收益。
现有技术中的LED屏幕表面损伤检测方法一般是基于固定光源角度下采集的LED屏幕图像来实现LED屏幕的表面损伤检测,但是LED屏幕是玻璃材质,所以LED屏幕上的同一区域在不同光源角度下的LED屏幕图像上可能会呈现出不同的形态,若仅仅基于固定光源角度下采集的LED屏幕图像来实现LED屏幕的表面损伤检测,则可能使得得到的缺陷区域不完整,即基于固定光源角度下采集的LED屏幕图像来实现LED屏幕的表面损伤检测不能较准确的得到LED屏幕上的缺陷区域。
发明内容
本发明提供一种基于机器视觉的LED屏幕表面损伤检测方法,用于解决现有方法中不能准确得到LED屏幕上缺陷区域的问题,所采用的技术方案具体如下:
本发明实施例提供了一种基于机器视觉的LED屏幕表面损伤检测方法,包括以下步骤:
获取待检测LED屏幕在各光照角度下的LED屏幕灰度图像;
根据所述LED屏幕灰度图像,得到各光照角度下的LED屏幕灰度图像对应的各局部裂纹区域;
根据所述各局部裂纹区域,得到各光照角度下的LED屏幕灰度图像对应的各完整裂纹区域,并得到各光照角度下的LED屏幕灰度图像对应的各完整裂纹区域的裂纹位置序号;
根据所述完整裂纹区域以及所述完整裂纹区域的裂纹位置序号,得到各光照角度下的LED屏幕灰度图像对应的各完整裂纹区域的成像质量;
对于任一裂纹位置序号,根据该裂纹位置序号对应的各完整裂纹区域的成像质量以及该裂纹位置序号对应的各完整裂纹区域的光照角度,得到该裂纹位置对应的最佳光照角度;
根据各裂纹位置对应的最佳光照角度,得到各裂纹位置对应的裂纹最佳显示区域;将各裂纹位置对应的裂纹最佳显示区域记为待检测LED屏幕对应的裂纹区域。
优选的,根据所述LED屏幕灰度图像,得到各光照角度下的LED屏幕灰度图像对应的各局部裂纹区域的方法,包括:
对于任一光照角度下的LED屏幕灰度图像:
将该LED屏幕灰度图像中梯度值大于预设梯度阈值的像素点记为裂纹像素点;
利用DBSCAN密度聚类方法对该LED屏幕灰度图像上的所有裂纹像素点进行聚类,得到该LED屏幕灰度图像对应的各聚类簇,并将聚类簇对应的区域记为局部裂纹区域。
优选的,根据所述各局部裂纹区域,得到各光照角度下的LED屏幕灰度图像对应的各完整裂纹区域的方法,包括:
对于任意两个光照角度下的LED屏幕灰度图像:
将任意两个光照角度下的LED屏幕灰度图像分别记为第一光照角度下的第一图像和第二光照角度下的第二图像;
根据第一图像和第二图像对应的局部裂纹区域,得到第二图像对应的各局部裂纹区域与第一图像对应的各局部裂纹区域属于同一裂纹的可能性指标;
根据所述可能性指标,得到第一图像对应的各初始裂纹区域和第二图像对应的各初始裂纹区域;
根据第一图像对应的各初始裂纹区域和第一图像上除初始裂纹区域之外的其他局部裂纹区域,以及第二图像对应的各初始裂纹区域和第二图像上除初始裂纹区域之外的其他局部裂纹区域,得到第一图像对应的各完整裂纹区域和第二图像对应的各完整裂纹区域。
优选的,根据第一图像和第二图像对应的局部裂纹区域,得到第二图像对应的各局部裂纹区域与第一图像对应的各局部裂纹区域属于同一裂纹的可能性指标的方法,包括:
对于第一图像对应的第a个局部裂纹区域和第二图像对应的第b个局部裂纹区域:
将第一图像对应的第a个局部裂纹区域与第二图像对应的第b个局部裂纹区域重合的像素点数量,记为特征重合像素点数量;
将特征重合像素点数量与第一图像对应的第a个局部裂纹区域中像素点数量的比值,记为第一比值;将特征重合像素点数量与第二图像对应的第b个局部裂纹区域中像素点数量的比值,记为第二比值;
将第一比值和第二比值中的较大值记为第二图像对应的第b个局部裂纹区域与第一图像对应的第a个局部裂纹区域属于同一裂纹的可能性指标。
优选的,根据所述可能性指标,得到第一图像对应的各初始裂纹区域和第二图像对应的各初始裂纹区域的方法,包括:
对于第一图像对应的第a个局部裂纹区域:
根据第二图像对应的所有局部裂纹区域与所述第a个局部裂纹区域属于同一裂纹的可能性指标,构建得到第a个局部裂纹区域对应的可能性指标集合,所述a为正整数;
利用k-means算法对所述第a个局部裂纹区域对应的可能性指标集合中的各可能性指标进行聚类,得到各可能性类别;将所述可能性类别中的各可能性指标的均值中的最大均值对应的可能性类别,记为高可能性类别;将第a个局部裂纹区域对应的高可能性类别中的所有局部裂纹区域构成的区域记为第二图像对应的第一初始裂纹区域;
将第二图像对应的第一初始裂纹区域中的各局部裂纹区域记为第一特征区域,计算得到各第一特征区域对应的高可能性类别;并将第一图像中属于各第一特征区域对应的高可能性类别的所有局部裂纹区域构成的区域记为第一图像对应的第一初始裂纹区域;
将第一图像中除第一初始裂纹区域之外的其他局部裂纹区域,记为第三区域;将第二图像中除第一初始裂纹区域之外的其他局部裂纹区域记为第四区域;
对于第一图像对应的任一第三区域:计算得到该第三区域对应的高可能性类别,将该第三区域对应的高可能性类别中的所有第四区域构成的区域记为第二图像对应的第二初始裂纹区域;并将第二图像对应的第二初始裂纹区域中的各局部裂纹区域记为第二特征区域;
计算得到各第二特征区域对应的高可能性类别;并将第一图像中属于各第二特征区域对应的高可能性类别的所有第三区域构成的区域记为第一图像对应的第二初始裂纹区域,以此类推,直至第一图像对应的局部裂纹区域遍历完为止,得到第一图像对应的各初始裂纹区域和第二图像对应的各初始裂纹区域。
优选的,根据第一图像对应的各初始裂纹区域和第一图像上除初始裂纹区域之外的其他局部裂纹区域,得到第一图像对应的各完整裂纹区域的方法,包括:
计算得到第一图像中的任意两个局部裂纹区域对应的质心坐标点之间的距离;
利用最小二乘法对第一图像中的各局部裂纹区域中的各像素点坐标进行线性拟合,得到第一图像中的各局部裂纹区域对应的拟合直线;
计算得到第一图像中的任意两个局部裂纹区域对应的拟合直线之间的余弦距离值;
对于第一图像中的任意两个局部裂纹区域,分别将两个局部裂纹区域记为第一目标区域和第二目标区域,根据如下公式计算第一目标区域和第二目标区域属于同一裂纹的可能性:
Figure DEST_PATH_IMAGE001
其中,
Figure 519710DEST_PATH_IMAGE002
为第一目标区域和第二目标区域属于同一裂纹的可能性,
Figure 868783DEST_PATH_IMAGE003
为第一目标区域和第二目标区域对应的拟合直线之间的余弦距离值,
Figure 837876DEST_PATH_IMAGE004
为第一目标区域和第二目标区域对应的质心坐标点之间的距离,exp( )为以自然常数e为底的指数函数;
对于第一图像中的任一初始裂纹区域:
计算该初始裂纹区域中任意两个局部裂纹区域属于同一裂纹的可能性的均值,记为该初始裂纹区域对应的评判值;
将第一图像上除各初始裂纹区域的所有局部裂纹区域记为单独区域;
对于第一图像对应的任一单独区域:获取该单独区域与该初始裂纹区域中所有局部裂纹区域属于同一裂纹的可能性中的最大可能性,判断所述最大可能性是否大于该初始裂纹区域对应的评判值,若是,则将该单独区域记为该初始裂纹区域对应的相同裂纹区域;
若该单独区域与各初始裂纹区域中所有局部裂纹区域属于同一裂纹的可能性中的最大可能性均小于等于对应初始裂纹区域对应的评判值,则将该单独区域记为第一图像对应的完整裂纹区域。
优选的,得到各光照角度下的LED屏幕灰度图像对应的各完整裂纹区域的裂纹位置序号的方法,包括:
将各光照角度下的LED屏幕灰度图像对应的各完整裂纹区域中存在重合像素点的完整裂纹区域标记为同一个序号,记为裂纹位置序号。
优选的,根据所述完整裂纹区域以及所述完整裂纹区域的裂纹位置序号,得到各光照角度下的LED屏幕灰度图像对应的各完整裂纹区域的成像质量的方法,包括:
对于任一裂纹位置序号:对该裂纹位置序号对应的各完整裂纹区域进行叠加,得到该裂纹位置序号对应的各完整裂纹区域进行叠加后的区域,并记为该裂纹位置序号对应的叠加区域;
对于任一光照角度下的LED屏幕灰度图像对应的任一完整裂纹区域:
将该完整裂纹区域中的各局部裂纹区域中的像素点数量与该完整裂纹区域的裂纹位置序号对应的叠加区域中的像素点数量的比值,记为该完整裂纹区域中的各局部裂纹区域对应的完整性指标;
将该完整裂纹区域中的各局部裂纹区域中的各像素点对应的窗口中的最大梯度值与最小梯度值的差值,记为所述各局部裂纹区域中的各像素点对应的梯度差异值;
利用k-means聚类算法对所述各局部裂纹区域中的各像素点对应的梯度差异值进行聚类,得到两个梯度差异值类别,将两个梯度差异值类别对应的平均值的差值的绝对值,记为所述各局部裂纹区域对应的梯度变化量差异程度;
对于该完整裂纹区域中的第t个局部裂纹区域,根据如下公式计算该完整裂纹区域中的第t个局部裂纹区域对应的成像质量:
Figure 163553DEST_PATH_IMAGE005
其中,
Figure DEST_PATH_IMAGE006
为该完整裂纹区域中的第t个局部裂纹区域对应的成像质量,
Figure 370543DEST_PATH_IMAGE007
为该完整裂纹区域中的第t个局部裂纹区域对应的完整性指标,
Figure 890518DEST_PATH_IMAGE008
为该完整裂纹区域中的第t个局部裂纹区域对应的梯度变化量差异程度,exp( )为以自然常数e为底的指数函数;
计算得到该完整裂纹区域中的所有局部裂纹区域与其最近的局部裂纹区域的中心点坐标之间的距离,并记为该完整裂纹区域中的各局部裂纹区域与其最近的局部裂纹区域之间的第一特征值;
根据所述各局部裂纹区域的边缘连通域边缘的像素点、各局部裂纹区域对应的最近的局部裂纹区域的连通域边缘的像素点,得到所述各局部裂纹区域的连通域边缘与其最近的局部裂纹区域的连通域边缘之间的最小值,并记为该完整裂纹区域中的各局部裂纹区域与其最近的局部裂纹区域之间的第二特征值;
将所述各局部裂纹区域与其最近的局部裂纹区域之间的第二特征值与对应第一特征值的比值记为所述各局部裂纹区域与其最近的局部裂纹区域之间的断裂程度指标;
根据如下公式计算得到该完整裂纹区域对应的成像质量:
Figure 346907DEST_PATH_IMAGE009
其中,
Figure 977739DEST_PATH_IMAGE010
为该完整裂纹区域对应的成像质量,
Figure 100002_DEST_PATH_IMAGE011
为该完整裂纹区域中的局部裂纹区域的数量,
Figure 493033DEST_PATH_IMAGE012
为该完整裂纹区域中的第t个局部裂纹区域与其最近的局部裂纹区域之间的断裂程度指标。
优选的,对于任一裂纹位置序号,根据该裂纹位置序号对应的各完整裂纹区域的成像质量以及该裂纹位置序号对应的各完整裂纹区域的光照角度,得到该裂纹位置对应的最佳光照角度的方法,包括:
对于任一裂纹位置序号,根据该裂纹位置序号对应的各完整裂纹区域的成像质量以及该裂纹位置序号对应的各完整裂纹区域的光照角度对应的欧拉角方位,利用最二小乘法进行多项式插值,将插值后最大成像质量对应的欧拉角方位对应的光照角度记为该裂纹位置对应的最佳光照角度。
优选的,根据各裂纹位置对应的最佳光照角度,得到各裂纹位置对应的裂纹最佳显示区域的方法,包括:
对于任一裂纹位置序号,根据各裂纹位置对应的最佳光照角度下的LED屏幕灰度图像上的梯度值,得到该裂纹位置对应的最佳光照角度下的LED屏幕灰度图像对应的各裂纹区域,记为第一区域,将所有第一区域中与该裂纹位置序号对应的各完整裂纹区域存在重合像素点的第一区域构成的区域记为该裂纹位置对应的裂纹最佳显示区域。
有益效果:本发明首先获取待检测LED屏幕在不同光照角度下的LED屏幕灰度图像,然后对LED屏幕灰度图像进行分析,能够较准确的获取各光照角度下的LED屏幕灰度图像对应的各完整裂纹区域以及各光照角度下的LED屏幕灰度图像对应的各完整裂纹区域的裂纹位置序号;然后基于完整裂纹区域以及完整裂纹区域的裂纹位置序号来分析各光照角度下的LED屏幕灰度图像对应的各完整裂纹区域的成像质量,所述各完整裂纹区域的成像质量是后续获取各裂纹位置对应的最佳光照角度的依据,而各裂纹位置对应的最佳光照角度又是得到各裂纹位置对应的裂纹最佳显示区域的依据,因此紧接着本发明依据各裂纹位置序号对应的各完整裂纹区域的成像质量以及各裂纹位置序号对应的各完整裂纹区域的光照角度,得到各裂纹位置对应的最佳光照角度;并根据各裂纹位置对应的最佳光照角度,得到各裂纹位置对应的裂纹最佳显示区域;最后根据各裂纹位置对应的裂纹最佳显示区域能够较准确和完整的得到待检测LED屏幕对应的裂纹区域。本发明相对于固定光源角度来实现LED屏幕的裂纹区域检测的方法来说,本发明提供的一种基于机器视觉的LED屏幕表面损伤检测方法,根据LED屏幕上的同一位置区域的裂纹在不同光照角度下的成像质量,来获取该位置区域的裂纹对应的最佳光照角度,基于最佳光照角度能够得到较准确且较完整的裂纹区域,即本发明能够更加准确和完整的得到LED屏幕上的裂纹缺陷区域。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它附图。
图1为本发明一种基于机器视觉的LED屏幕表面损伤检测方法的流程图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整的描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例,基于本发明实施例,本领域普通技术人员所获得的所有其它实施例,都属于本发明实施例保护的范围。
除非另有定义,本文所使用的所有的技术和科学技术术语与属于本发明的技术人员通常理解的含义相同。
本实施例提供了一种基于机器视觉的LED屏幕表面损伤检测方法,详细说明如下:
如图1所示,该基于机器视觉的LED屏幕表面损伤检测方法,包括以下步骤:
步骤S001,获取待检测LED屏幕在各光照角度下的LED屏幕灰度图像。
本实施例主要是对LED屏幕上的裂纹缺陷区域进行检测,由于LED屏幕上的同一裂纹区域在不同光照角度下的LED屏幕图像上会呈现出不同的形态,若仅仅基于固定光源角度下采集的LED屏幕图像来实现LED屏幕的表面裂纹区域的检测,可能使得得到的缺陷区域不完整,例如当LED屏幕上的某一区域存在裂纹缺陷时,但是可能由于光照角度的问题导致获取的LED屏幕图像上并不能在该区域位置检测到裂纹缺陷,因此当仅仅基于固定光照角度下采集的LED屏幕图像来实现LED屏幕的裂纹区域检测时并不能较准确和完整的得到LED屏幕上的裂纹缺陷区域;因此本实施例提出了一种基于机器视觉的LED屏幕表面损伤检测方法,该方法主要是根据LED屏幕上的同一位置区域的裂纹在不同光照角度下的成像质量,来获取该位置裂纹对应的最佳光照角度,基于最佳光照角度较准确且完整的得到裂纹区域,即该方法能够较准确和完整的得到LED屏幕上的裂纹缺陷区域,并且基于得到裂纹缺陷区域能够更加准确的对LED屏幕进行评估分析,所述评估分析的结果可以用于后续生产LED屏幕时的工艺改良。
本实施例在led屏幕损伤检测生产线的上方,布置相机和光源,光源安装在机械臂上,用于对led屏幕进行打光,并且光源安装在多个机械臂上,即光照角度可以改变;因此获取同一LED屏幕在不同光照角度下的图像,记为各光照角度下的LED屏幕图像,并且一个光照角度对应一张LED屏幕图像;然后对LED屏幕图像进行灰度化处理,得到各光照角度下的LED屏幕灰度图像;具体应用中可以根据实际情况设置采集图像时的光照角度数量和相邻的两个光照角度之间的差异,本实施例可以设置采集图像时光照角度的数量为30,因此本实施例将得到30张LED屏幕灰度图像。
步骤S002,根据所述LED屏幕灰度图像,得到各光照角度下的LED屏幕灰度图像对应的各局部裂纹区域;根据所述各局部裂纹区域,得到各光照角度下的LED屏幕灰度图像对应的各完整裂纹区域,并得到各光照角度下的LED屏幕灰度图像对应的各完整裂纹区域的裂纹位置序号。
接下来本实施例将对各LED屏幕灰度图像进行分析,基于分析的结果得到各光照角度下的LED屏幕灰度图像对应的各完整裂纹区域以及各光照角度下的LED屏幕灰度图像对应的各完整裂纹区域的裂纹位置序号,后续将依据分析得到的同裂纹位置序号对应的各完整裂纹区域的成像质量,得到各裂纹位置对应的最佳光照角度;具体过程为:
若LED屏幕表面没有裂纹,则得到的LED屏幕灰度图像呈现均匀光照的现象,即不存在裂纹缺陷;若LED屏幕表面有裂纹但是采集图像时光照角度不合适,则可能会使得采集的LED屏幕灰度图像出现裂纹缺陷局部丢失的情况,并且此时将所采集得到LED屏幕图像灰度化后,会有局部的像素点灰度值发生变化,产生灰度梯度,并且梯度值越大表明对应位置存在裂纹的概率越大;因此接下来获取各光照角度下的LED屏幕灰度图像对应的各局部裂纹区域,所述局部裂纹区域为后续得到完整裂纹区域的依据,具体为:
对于任一光照角度下的LED屏幕灰度图像上的任一像素点:
以该像素点为中心像素点,得到该像素点对应的窗口,所述窗口的尺寸为3*3,将该像素点对应的窗口内的最大灰度值与最小灰度值的差值记为该像素点对应的梯度值;由于当梯度值过大时,表明该像素点为裂纹区域像素点的概率越大,因此本实施例中设置预设梯度阈值,当该像素点对应的梯度值大于预设梯度阈值时,则将该像素点记为裂纹像素点;具体应用中可以根据实际情况设置预设梯度阈值,本实施例设置预设梯度阈值为10。
至此,通过上述过程得到了各光照角度下的LED屏幕灰度图像上的各裂纹像素点。
对于任一光照角度下的LED屏幕灰度图像:
利用DBSCAN密度聚类算法对该LED屏幕灰度图像上的所有裂纹像素点进行聚类,得到该LED屏幕灰度图像对应的各聚类簇,并将聚类簇对应的区域记为局部裂纹区域;并且由于DBSCAN密度聚类方法的特性,在进行聚类的过程中可以将裂纹像素点坐标相近的聚为一类,从而使得每一个聚类簇,都为一个裂纹区域,进而得到了该LED屏幕灰度图像对应的各局部裂纹区域。在具体应用中可以根据实际情况设置密度聚类算法在聚类过程中邻域半径和邻域中数据对象数目阈值,本实施例设置密度聚类算法寻找局部裂纹区域时的邻域半径 Eps=3,邻域中数据对象数目阈值MinPts=3。
至此,得到了各光照角度下的LED屏幕灰度图像对应的各局部裂纹区域。
虽然LED屏幕上的裂纹形态一般不会在裂纹检测过程中发生改变,所以在不同光照角度下的裂纹的成像位置不变,但是由于在不同角度下,裂纹会呈现有不同的形态,而且还可能使得裂纹区域出现局部丢失或者一个完整的裂纹区域可能在图像上会呈现分裂的情况,通常情况下LED屏幕上的某个裂纹区域不会在图像上完全消失,因此使得不同光照角度下的裂纹区域的形态不一样,即LED屏幕上的同一裂纹区域在不同光源角度下所采集的LED屏幕图像上可能会呈现不同的形态;因此上述得到的局部裂纹区域可能仅仅是某个完整裂纹区域的一部分,因此接下来本实施例将基于各光照角度下的LED屏幕灰度图像对应的各局部裂纹区域,得到完整裂纹区域和对应的裂纹位置序号,相同裂纹位置序号对应的各完整裂纹区域在LED屏幕上的位置相同,即相同裂纹位置序号对应的各完整裂纹区域为相同裂纹,只不过是由于光照角度的原因使得检测出来的形态不同,得到完整裂纹区域和完整裂纹区域的裂纹位置序号的具体过程为:
对于任意两个光照角度下的LED屏幕灰度图像:
将任意两个光照角度下的LED屏幕灰度图像分别记为第一光照角度下的第一图像和第二光照角度下的第二图像;对于第一图像对应的第a个局部裂纹区域和第二图像对应的第b个局部裂纹区域:获取第一图像对应的第a个局部裂纹区域与第二图像对应的第b个局部裂纹区域重合的像素点数量,并记为特征重合像素点数量,所述重合是指像素点坐标一致;将特征重合像素点数量与第一图像对应的第a个局部裂纹区域中像素点数量的比值,记为第一比值;将特征重合像素点数量与第二图像对应的第b个局部裂纹区域中像素点数量的比值,记为第二比值。
将第一比值和第二比值中的较大值记为第二图像对应的第b个局部裂纹区域与第一图像对应的第a个局部裂纹区域属于同一裂纹的可能性指标,并且可能性指标越大,表明属于同一个裂纹的可能性越大。
因此,通过上述过程得到了第二图像对应的所有局部裂纹区域与第一图像对应的第a个局部裂纹区域属于同一裂纹的可能性指标,并根据第二图像对应的所有局部裂纹区域与第一图像对应的第a个局部裂纹区域属于同一裂纹的可能性指标,构建得到可能性指标集合,记为第一图像对应的第a个局部裂纹区域对应的可能性指标集合,且第一图像对应的第a个局部裂纹区域对应的可能性指标集合中的一个可能性指标对应第二图像的一个局部裂纹区域;由于不同光照角度下的裂纹区域的形态不一样,并且一个完整的裂纹可能在图像上会呈现分裂的情况,因此接下来本实施例设置k-means算法的K为2,利用k-means算法对第一图像对应的第a个局部裂纹区域对应的可能性指标集合中的可能性指标进行聚类,得到第一图像对应的第a个局部裂纹区域对应的高可能性类别和低可能性类别;所述第a个局部裂纹区域对应的高可能性类别和低可能性类别中的一个可能性指标对应第二图像的一个局部裂纹区域,并且高可能性类别中的所有可能性指标的均值大于低可能性类别中的所有可能性指标的均值;并将第二图像中属于第a个局部裂纹区域对应的高可能性类别的所有局部裂纹区域,判定为与第一图像对应的第a个局部裂纹区域属于同一裂纹,因此第a个局部裂纹区域对应的高可能性类别中的所有局部裂纹区域与第a个局部裂纹区域属于同一裂纹,因此将第a个局部裂纹区域对应的高可能性类别中的所有局部裂纹区域构成的区域记为第二图像对应的第一初始裂纹区域;并将第二图像对应的第一初始裂纹区域中的各局部裂纹区域记为第一特征区域。
对于第二图像对应的任一第一特征区域:按照上述方法计算得到第一图像对应的所有局部裂纹区域与该第一特征区域属于同一裂纹的可能性指标,并根据第一图像对应的所有局部裂纹区域与该第一特征区域属于同一裂纹的可能性指标,构建得到可能性指标集合,并记为该第一特征区域对应的可能性指标集合;利用k-means算法对该第一特征区域对应的可能性指标集合进行聚类,设置K=2,得到该第一特征区域对应的高可能性类别和低可能性类别,所述该第一特征区域对应的高可能性类别和低可能性类别中的一个可能性指标对应第一图像中的一个局部裂纹区域;且将第一图像中属于高可能性类别的所有局部裂纹区域判定为与该第一特征区域属于同一裂纹。
因此,通过上述过程得到了该第一特征区域对应的高可能性类别和低可能性类别,又因为第一特征区域对应的高可能性类别和低可能性类别中的一个可能性指标对应第一图像中的一个局部裂纹区域,因此统计第一图像中属于各第一特征区域对应的高可能性类别的所有局部裂纹区域,并将第一图像中属于各第一特征区域对应的高可能性类别的所有局部裂纹区域构成的区域记为第一图像对应的第一初始裂纹区域,所述第一图像对应的第一初始裂纹区域中包含第一图像对应的第a个局部裂纹区域,且第一图像对应的第一初始裂纹区域与第二图像对应的第一初始裂纹区域为LED屏幕上的同一裂纹。
然后将第一图像中除第一初始裂纹区域之外的其他局部裂纹区域记为第三区域;将第二图像中除第一初始裂纹区域之外的其他局部裂纹区域记为第四区域;对于第一图像对应的任一第三区域:计算得到第二图像对应的各第四区域与该第三区域属于同一裂纹的可能性指标,构建得到该第三区域对应的可能性指标集合,根据该第三区域对应的可能性指标集合,得到该第三区域对应的高可能性类别,该第三区域对应的高可能性类别中的一个值对应第二图像的一个第四区域;所述第二图像对应的各第四区域与该第三区域属于同一裂纹的可能性指标和该第三区域对应的高可能性类别的计算方法与上述第二图像对应的所有局部裂纹区域与第一图像对应的第a个局部裂纹区域属于同一裂纹的可能性指标的计算方法和第a个局部裂纹区域对应的高可能性类别的计算方法均相同,因此不再详细描述。
然后将该第三区域对应的高可能性类别中的所有第四区域构成的区域记为第二图像对应的第二初始裂纹区域;并将第二图像对应的第二初始裂纹区域中的各局部裂纹区域记为第二特征区域。
对于第二图像对应的任一第二特征区域:按照上述得到第一特征区域对应的高可能性类别的方法,得到该第二特征区域对应的高可能性类别;具体为:计算得到第一图像对应的各第三区域与该第二特征区域属于同一裂纹的可能性指标,并构建得到该第二特征区域对应的可能性指标集合;根据该第二特征区域对应的可能性指标集合,得到该第二特征区域对应的高可能性类别,所述该第二特征区域对应的高可能性类别中的一个值对应第一图像中的一个第三区域。
因此,通过上述过程可以得到各第二特征区域对应的高可能性类别,然后统计第一图像中属于各第二特征区域对应的高可能性类别的所有第三区域,并将第一图像中属于各第二特征区域对应的高可能性类别的所有第三区域构成的区域记为第一图像对应的第二初始裂纹区域,且第一图像对应的第二初始裂纹区域与第二图像对应的第二初始裂纹区域位LED屏幕上的同一裂纹,以此类推,直至第一图像对应的局部裂纹区域遍历完为止,得到第一图像对应的各初始裂纹区域和第二图像对应的各初始裂纹区域。
但是由于在利用共同像素点判断同一个裂纹时,如果同一个裂纹区域有一部分消失的话可能使得上述得到的初始裂纹区域并不完整,例如第一图像对应的第一初始裂纹区域是由第一图像上的局部裂纹区域1和2构成的,而第二图像对应的第一初始裂纹区域是由第二图像上的局部裂纹区域1构成的,并且此时第一图像上除了局部裂纹区域1和2之外还有局部裂纹区域3也和局部裂纹区域1和2属于同一裂纹,但是由于第二光照角度的原因导致第二图像上的所有裂纹像素点中与第一图像上的局部裂纹区域3中并无重合的像素点,这种现象就会导致得到的初始裂纹区域并不完整,即遍历结束后第一图像和第二图像上可能还存在单独的局部裂纹区域,记为单独区域,第一图像上含有单独区域的原因是第二图像对应的所有局部裂纹区域中没有与第一图像对应的单独区域像素点重合的局部裂纹区域,第二图像上含有单独区域的原因是第一图像上对应的所有局部裂纹区域中没有与第二图像对应的单独区域像素点重合的局部裂纹区域;但是这些单独区域可能与初始裂纹区域属于同一裂纹,因此需要再次对上述遍历完成后的第一图像和第二图像进行分析,判断单独区域属于初始裂纹区域的可能性大小,本实施例将基于初始裂纹区域中的各局部裂纹区域之间属于同一裂纹的可能性大小作为后续评判单独区域属于初始裂纹区域的可能性,这种方式能更加准确的获取完整裂纹区域,具体为:
对于第一图像:由于裂纹大部分呈现为近似直线型,若两个局部裂纹区域属于同一裂纹,则这两个区域之间的整体方向差异应当比较小,因此利用最小二乘法对第一图像中的各局部裂纹区域中的各像素点坐标进行线性拟合,得到第一图像中的各局部裂纹区域对应的拟合直线;如果两个局部裂纹区域对应的拟合直线的方向差异较大,则属于同一裂纹的可能性比较低;因此本实施例利用余弦距离计算公式,计算第一图像中的任意两个局部裂纹区域对应的拟合直线之间的余弦距离值,所述余弦距离值可以用来衡量拟合直线方向之间的差异大小;且余弦距离值越大,表示两条拟合直线之间的夹角越大,两直线方向差异越大,就越不可能属于同一个裂纹。
由于两个局部裂纹区域之间的质心坐标差异越小时,越有可能属于同一裂纹,因此本实施例通过连通域提取算法,获取第一图像对应的各裂纹局部区域的质心坐标点;然后通过两点之间的距离公式计算得到第一图像中的任意两个局部裂纹区域对应的质心坐标点之间的距离。
对于第一图像中的任意两个局部裂纹区域,分别将两个局部裂纹区域记为第一目标区域和第二目标区域,然后根据第一目标区域和第二目标区域对应的质心坐标点之间的距离,以及第一目标区域和第二目标区域对应的拟合直线之间的余弦距离值,得到第一目标区域和第二目标区域属于同一裂纹的可能性;根据如下公式计算第一目标区域和第二目标区域属于同一裂纹的可能性:
Figure 308542DEST_PATH_IMAGE001
其中,
Figure 127593DEST_PATH_IMAGE002
为第一目标区域和第二目标区域属于同一裂纹的可能性,
Figure 890013DEST_PATH_IMAGE003
为第一目标区域和第二目标区域对应的拟合直线之间的余弦距离值,
Figure 602754DEST_PATH_IMAGE004
为第一目标区域和第二目标区域对应的质心坐标点之间的距离,exp( )为以自然常数e为底的指数函数;
Figure 995689DEST_PATH_IMAGE013
越大,表明第一目标区域和第二目标区域属于同一裂纹的可能性越大;
Figure 302037DEST_PATH_IMAGE014
越大,则
Figure 399306DEST_PATH_IMAGE013
越小;
Figure 606034DEST_PATH_IMAGE004
的值越大,在进行判断时可信度越低,即若
Figure 497767DEST_PATH_IMAGE004
的值足够大,即使两个区域之间比较近,则属于同一裂纹的可能性也较小,即
Figure 291410DEST_PATH_IMAGE004
越大,则
Figure 192370DEST_PATH_IMAGE013
越小。
对于第一图像中的任一初始裂纹区域:计算该初始裂纹区域中任意两个局部裂纹区域属于同一裂纹的可能性的均值,并记为该初始裂纹区域对应的评判值;将第一图像上除各初始裂纹区域的所有局部裂纹区域记为单独区域;对于第一图像对应的任一单独区域:获取该单独区域与该初始裂纹区域中所有局部裂纹区域属于同一裂纹的可能性中的最大可能性,判断所述最大可能性是否大于该初始裂纹区域对应的评判值,若是,则将该单独区域记为该初始裂纹区域对应的相同裂纹区域,且判定该单独区域与该初始裂纹区域属于同一裂纹。
至此,获得了第一图像上该初始裂纹区域对应的所有相同裂纹区域,将该初始裂纹区域和该初始裂纹区域对应的所有相同裂纹区域构成的区域记为第一图像对应的完整裂纹区域。
若存在单独区域与第一图像上所有的初始裂纹区域均不属于同一裂纹,则将该单独区域也记为第一图像对应的完整裂纹区域。至此,通过上述过程得到了第一图像对应的各完整裂纹区域。
然后按照上述方法得到第二图像对应的各完整裂纹区域。
至此,得到了待检测LED屏幕在各光照角度下的LED屏幕灰度图像对应的各完整裂纹区域。
由于后续需要分析同一位置区域的裂纹在不同光照角度下的成像质量,而为了便于后续分析,需要对各光照角度下的LED屏幕灰度图像上的各完整裂纹区域进行标记,将各光照角度下的LED屏幕灰度图像对应的各完整裂纹区域中存在重合像素点的完整裂纹区域标记为同一个序号,即将各光照角度下的LED屏幕灰度图像对应的各完整裂纹区域中属于同一裂纹的完整裂纹区域标记为同一个序号,记为裂纹位置序号;并且同一张图像对应的任一两个完整裂纹区域不存在重合的像素点。
步骤S003,根据所述完整裂纹区域以及所述完整裂纹区域的裂纹位置序号,得到各光照角度下的LED屏幕灰度图像对应的各完整裂纹区域的成像质量。
通过上述过程得到了各光照角度下的图像上的各完整裂纹区域和各完整裂纹区域的裂纹位置序号,相同裂纹位置序号对应的完整裂纹区域属于一个裂纹,只不过是由于光照角度的原因使得屏幕上的同一位置处的裂纹在不同光照角度下所采集的图像上呈现了不用的形态,而本实施例的目的是得到LED屏幕上不同位置的最佳显示结果,因此接下来本实施例将对各光照角度下的灰度图像上的各完整裂纹区域进行分析,得到各完整裂纹区域的成像质量;后续将基于成像质量获取裂纹最佳显示区域,具体为:
由于成像质量可以用裂纹区域的完整度和梯度值的变化来衡量,而所述完整度越大表明成像质量越好,梯度值的变化量越一致表明成像质量越好;因此对于任一裂纹位置序号:获取该裂纹位置序号对应的各完整裂纹区域,对该裂纹位置序号对应的各完整裂纹区域进行叠加,得到该裂纹位置序号对应的各完整裂纹区域进行叠加后的区域,并记为该裂纹位置序号对应的叠加区域。
至此,得到了各裂纹位置序号对应的叠加区域。
对于任一光照角度下的LED屏幕灰度图像对应的任一完整裂纹区域:
将该完整裂纹区域中的第t个局部裂纹区域中的像素点数量与该完整裂纹区域的裂纹位置序号对应的叠加区域中的像素点数量的比值,记为该完整裂纹区域中的第t个局部裂纹区域对应的完整性指标,所述完整性指标越大,表明该光照角度下的第t个局部裂纹区域的成像质量越好,表示观测时该局部裂纹呈现的相对完整。然后获取第t个局部裂纹区域中的各像素点对应的窗口中的最大梯度值与最小梯度值的差值,并记为第t个局部裂纹区域中的各像素点对应的梯度差异值;利用k-means聚类算法对第t个局部裂纹区域中的各像素点对应的梯度差异值进行聚类,得到各梯度差异值类别,聚类时设置的k-means聚类算法的k为2,因此一共得到了两个梯度差异值类别,将两个梯度差异值类别对应的平均值的差值的绝对值,记为第t个局部裂纹区域对应的梯度变化量差异程度,第t个局部裂纹区域对应的梯度变化量差异程度的值越小,表明该光照角度下的第t个局部裂纹区域的成像质量越好,即第t个局部裂纹区域对应的梯度差异值变化较为一致,没有部分变弱部分变强的情况;因此本实施例根据该完整裂纹区域中的各局部裂纹区域对应的完整性指标和各局部裂纹区域对应的梯度变化量差异程度,得到该完整裂纹区域中的各局部裂纹区域对应的成像质量;对于该完整裂纹区域中的第t个局部裂纹区域,根据如下公式计算该完整裂纹区域中的第t个局部裂纹区域对应的成像质量:
Figure 489490DEST_PATH_IMAGE015
其中,
Figure 552124DEST_PATH_IMAGE006
为该完整裂纹区域中的第t个局部裂纹区域对应的成像质量,
Figure 567485DEST_PATH_IMAGE007
为该完整裂纹区域中的第t个局部裂纹区域对应的完整性指标,
Figure 537715DEST_PATH_IMAGE008
为该完整裂纹区域中的第t个局部裂纹区域对应的梯度变化量差异程度,exp( )为以自然常数e为底的指数函数;
Figure 453456DEST_PATH_IMAGE006
越大,表明该完整裂纹区域中的第t个局部裂纹区域对应的成像质量越好,即在观测时的观测效果越好;
Figure 686991DEST_PATH_IMAGE007
越大,
Figure 455227DEST_PATH_IMAGE008
越小,则
Figure 697990DEST_PATH_IMAGE006
越大。
至此,得到了该完整裂纹区域中的各局部裂纹区域对应的成像质量,接下来根据该完整裂纹区域中的各局部裂纹区域对应的成像质量,得到该完整裂纹区域对应的成像质量;具体为:
由于LED屏幕上的一个完整的裂纹区域基于光照角度的不同可能在图像上呈现出来的不是一个完整的区域而是被断裂成了多个局部区域,即当LED屏幕上的一个完整的裂纹区域由于光照角度的原因导致这个完整的裂纹区域被分裂的局部区域越多,并且局部区域之间的断裂越严重,表明此时的光照角度对于对应光照角度下对应位置处的完整裂纹区域的成像质量越不好,并且当完整裂纹区域中的所有局部裂纹区域的成像质量越不好时,也同样的表明对应光照角度下对应位置处的完整裂纹区域的成像质量越不好;因此得到该完整裂纹区域的成像质量的具体过程为:
计算该完整裂纹区域中的所有局部裂纹区域的中心点坐标,利用最近邻搜索算法得到该完整裂纹区域中的所有局部裂纹区域对应的最近的局部裂纹区域;计算得到该完整裂纹区域中的所有局部裂纹区域与其最近的局部裂纹区域的中心点坐标之间的距离,并记为该完整裂纹区域中的各局部裂纹区域与其最近的局部裂纹区域之间的第一特征值;然后利用边缘检测算子获取各光照角度下的LED屏幕灰度图像的边缘图像,得到各光照角度下的LED屏幕灰度图像上的各边缘像素点;根据该完整裂纹区域中的各局部裂纹区域的边缘连通域边缘的像素点、各局部裂纹区域对应的最近的局部裂纹区域的连通域边缘的像素点以及蛮力法,得到该完整裂纹区域中的各局部裂纹区域的连通域边缘与对应的最近的局部裂纹区域的连通域边缘之间的最小值,并记为该完整裂纹区域中的各局部裂纹区域与其最近的局部裂纹区域之间的第二特征值;所述第一特征值和第二特征值可以衡量该完整裂纹区域中的各局部裂纹区域与其最近的局部裂纹区域之间的断裂程度;并且当该完整裂纹区域中的各局部裂纹区域与其最近的局部裂纹区域之间的第二特征值与第一特征值的比值越小时,表明当该完整裂纹区域中的各局部裂纹区域与其最近的局部裂纹区域之间断裂越不严重,成像质量越好,因此将该完整裂纹区域中的各局部裂纹区域与其最近的局部裂纹区域之间的第二特征值与第一特征值的比值记为该完整裂纹区域中的各局部裂纹区域与其最近的局部裂纹区域之间的断裂程度指标;所述最近邻搜索算法和蛮力法为公知技术,因此不再详细描述。
因此本实施例根据该完整裂纹区域中的局部裂纹区域的数量、该完整裂纹区域中的各局部裂纹区域与其最近的局部裂纹区域之间的断裂程度指标以及该完整裂纹区域中的各局部裂纹区域对应的成像质量,得到该完整裂纹区域对应的成像质量;根据如下公式计算得到该完整裂纹区域对应的成像质量:
Figure 704123DEST_PATH_IMAGE016
其中,
Figure 374139DEST_PATH_IMAGE010
为该完整裂纹区域对应的成像质量,
Figure 364091DEST_PATH_IMAGE011
为该完整裂纹区域中的局部裂纹区域的数量,
Figure 144966DEST_PATH_IMAGE012
为该完整裂纹区域中的第t个局部裂纹区域与其最近的局部裂纹区域之间的断裂程度指标,
Figure 35299DEST_PATH_IMAGE017
为该完整裂纹区域中的第t个局部裂纹区域对应的成像质量,exp( )为以自然常数e为底的指数函数;
Figure 876216DEST_PATH_IMAGE018
为该完整裂纹区域中的所有局部裂纹区域与其最近的局部裂纹区域之间的断裂程度指标的均值,
Figure 353465DEST_PATH_IMAGE019
为该完整裂纹区域中的所有局部裂纹区域对应的成像质量的均值;
Figure 938030DEST_PATH_IMAGE010
越大,表明该完整裂纹区域对应的成像质量越好;并且
Figure 184335DEST_PATH_IMAGE011
越小,
Figure 196153DEST_PATH_IMAGE018
的值越小,
Figure 895119DEST_PATH_IMAGE019
的值越大,表明
Figure 283375DEST_PATH_IMAGE010
越大,表明在该光照角度下去观测该完整裂纹区域的效果越好。
因此,通过上述过程可以得到各光照角度下的LED屏幕灰度图像上的各完整裂纹区域对应的成像质量;即也得到了相同裂纹位置序号对应的各完整裂纹区域的成像质量。
步骤S004,对于任一裂纹位置序号,根据该裂纹位置序号对应的各完整裂纹区域的成像质量以及该裂纹位置序号对应的各完整裂纹区域的光照角度,得到该裂纹位置对应的最佳光照角度;根据该裂纹位置对应的最佳光照角度,得到该裂纹位置对应的裂纹最佳显示区域;将各裂纹位置对应的裂纹最佳显示区域记为待检测LED屏幕对应的裂纹区域。
接下来基于上述各完整裂纹区域的成像质量,得到最佳光照角度,并基于最佳光照角度得到裂纹最佳显示区域;具体为:
对于任一裂纹位置序号,根据该裂纹位置序号对应的各完整裂纹区域的成像质量以及该裂纹位置序号对应的各完整裂纹区域的光照角度对应的欧拉角方位,利用最二小乘法进行多项式插值,将插值后最大成像质量对应的欧拉角方位对应的光照角度记为该裂纹位置对应的最佳光照角度;并且光照角度对应的欧拉角方位是由机械臂上的三轴位姿传感器检测得到,其中机械臂的方向表示为光照方向,具体获取过程为公知技术,因此不再详细描述。然后获取该裂纹位置对应的最佳光照角度下的LED屏幕灰度图像,并基于该裂纹位置对应的最佳光照角度下的LED屏幕灰度图像上的梯度值,得到该裂纹位置对应的最佳光照角度下的LED屏幕灰度图像对应的各裂纹区域,记为第一区域,将所有第一区域中与该裂纹位置序号对应的各完整裂纹区域存在重合像素点的第一区域构成的区域记为该裂纹位置对应的裂纹最佳显示区域;所述依据梯度值获取裂纹区域与上述依据梯度值获取进局部裂纹区域的方法相同。
然后按照上述得到的各裂纹位置对应的裂纹最佳显示区域,将各裂纹位置对应的裂纹最佳显示区域记为待检测LED屏幕对应的裂纹区域。
本实施例首先获取待检测LED屏幕在不同光照角度下的LED屏幕灰度图像,然后对LED屏幕灰度图像进行分析,能够较准确的获取各光照角度下的LED屏幕灰度图像对应的各完整裂纹区域以及各光照角度下的LED屏幕灰度图像对应的各完整裂纹区域的裂纹位置序号;然后基于完整裂纹区域以及完整裂纹区域的裂纹位置序号来分析各光照角度下的LED屏幕灰度图像对应的各完整裂纹区域的成像质量,所述各完整裂纹区域的成像质量是后续获取各裂纹位置对应的最佳光照角度的依据,而各裂纹位置对应的最佳光照角度又是得到各裂纹位置对应的裂纹最佳显示区域的依据,因此紧接着本实施例依据各裂纹位置序号对应的各完整裂纹区域的成像质量以及各裂纹位置序号对应的各完整裂纹区域的光照角度,得到各裂纹位置对应的最佳光照角度;并根据各裂纹位置对应的最佳光照角度,得到各裂纹位置对应的裂纹最佳显示区域;最后根据各裂纹位置对应的裂纹最佳显示区域能够较准确和完整的得到待检测LED屏幕对应的裂纹区域。本实施例相对于固定光源角度来实现LED屏幕的裂纹区域检测的方法来说,本实施例提供的一种基于机器视觉的LED屏幕表面损伤检测方法,根据LED屏幕上的同一位置区域的裂纹在不同光照角度下的成像质量,来获取该位置区域的裂纹对应的最佳光照角度,基于最佳光照角度得到较准确且较完整的裂纹区域,即本实施例能够更加准确和完整的得到LED屏幕上的裂纹缺陷区域。
以上所述实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围,均应包含在本申请的保护范围之内。

Claims (7)

1.一种基于机器视觉的LED屏幕表面损伤检测方法,其特征在于,该方法包括如下步骤:
获取待检测LED屏幕在各光照角度下的LED屏幕灰度图像;
根据所述LED屏幕灰度图像,得到各光照角度下的LED屏幕灰度图像对应的各局部裂纹区域;
根据所述各局部裂纹区域,得到各光照角度下的LED屏幕灰度图像对应的各完整裂纹区域,并得到各光照角度下的LED屏幕灰度图像对应的各完整裂纹区域的裂纹位置序号;
根据所述完整裂纹区域以及所述完整裂纹区域的裂纹位置序号,得到各光照角度下的LED屏幕灰度图像对应的各完整裂纹区域的成像质量;
对于任一裂纹位置序号,根据该裂纹位置序号对应的各完整裂纹区域的成像质量以及该裂纹位置序号对应的各完整裂纹区域的光照角度,得到该裂纹位置对应的最佳光照角度;
根据各裂纹位置对应的最佳光照角度,得到各裂纹位置对应的裂纹最佳显示区域;将各裂纹位置对应的裂纹最佳显示区域记为待检测LED屏幕对应的裂纹区域;
根据所述各局部裂纹区域,得到各光照角度下的LED屏幕灰度图像对应的各完整裂纹区域的方法,包括:
对于任意两个光照角度下的LED屏幕灰度图像:
将任意两个光照角度下的LED屏幕灰度图像分别记为第一光照角度下的第一图像和第二光照角度下的第二图像;
根据第一图像和第二图像对应的局部裂纹区域,得到第二图像对应的各局部裂纹区域与第一图像对应的各局部裂纹区域属于同一裂纹的可能性指标;
根据所述可能性指标,得到第一图像对应的各初始裂纹区域和第二图像对应的各初始裂纹区域;
根据第一图像对应的各初始裂纹区域和第一图像上除初始裂纹区域之外的其他局部裂纹区域,以及第二图像对应的各初始裂纹区域和第二图像上除初始裂纹区域之外的其他局部裂纹区域,得到第一图像对应的各完整裂纹区域和第二图像对应的各完整裂纹区域;
根据第一图像和第二图像对应的局部裂纹区域,得到第二图像对应的各局部裂纹区域与第一图像对应的各局部裂纹区域属于同一裂纹的可能性指标的方法,包括:
对于第一图像对应的第a个局部裂纹区域和第二图像对应的第b个局部裂纹区域:其中a和b均为正整数;
将第一图像对应的第a个局部裂纹区域与第二图像对应的第b个局部裂纹区域重合的像素点数量,记为特征重合像素点数量;
将特征重合像素点数量与第一图像对应的第a个局部裂纹区域中像素点数量的比值,记为第一比值;将特征重合像素点数量与第二图像对应的第b个局部裂纹区域中像素点数量的比值,记为第二比值;
将第一比值和第二比值中的较大值记为第二图像对应的第b个局部裂纹区域与第一图像对应的第a个局部裂纹区域属于同一裂纹的可能性指标;
根据所述可能性指标,得到第一图像对应的各初始裂纹区域和第二图像对应的各初始裂纹区域的方法,包括:
对于第一图像对应的第a个局部裂纹区域:
根据第二图像对应的所有局部裂纹区域与所述第a个局部裂纹区域属于同一裂纹的可能性指标,构建得到第a个局部裂纹区域对应的可能性指标集合;
利用k-means算法对所述第a个局部裂纹区域对应的可能性指标集合中的各可能性指标进行聚类,得到各可能性类别;将所述可能性类别中的各可能性指标的均值中的最大均值对应的可能性类别,记为高可能性类别;将第a个局部裂纹区域对应的高可能性类别中的所有局部裂纹区域构成的区域记为第二图像对应的第一初始裂纹区域;
将第二图像对应的第一初始裂纹区域中的各局部裂纹区域记为第一特征区域,计算得到各第一特征区域对应的高可能性类别;并将第一图像中属于各第一特征区域对应的高可能性类别的所有局部裂纹区域构成的区域记为第一图像对应的第一初始裂纹区域;
将第一图像中除第一初始裂纹区域之外的其他局部裂纹区域,记为第三区域;将第二图像中除第一初始裂纹区域之外的其他局部裂纹区域记为第四区域;
对于第一图像对应的任一第三区域:计算得到该第三区域对应的高可能性类别,将该第三区域对应的高可能性类别中的所有第四区域构成的区域记为第二图像对应的第二初始裂纹区域;并将第二图像对应的第二初始裂纹区域中的各局部裂纹区域记为第二特征区域;
计算得到各第二特征区域对应的高可能性类别;并将第一图像中属于各第二特征区域对应的高可能性类别的所有第三区域构成的区域记为第一图像对应的第二初始裂纹区域,以此类推,直至第一图像对应的局部裂纹区域遍历完为止,得到第一图像对应的各初始裂纹区域和第二图像对应的各初始裂纹区域。
2.如权利要求1所述的一种基于机器视觉的LED屏幕表面损伤检测方法,其特征在于,根据所述LED屏幕灰度图像,得到各光照角度下的LED屏幕灰度图像对应的各局部裂纹区域的方法,包括:
对于任一光照角度下的LED屏幕灰度图像:
将该LED屏幕灰度图像中梯度值大于预设梯度阈值的像素点记为裂纹像素点;
利用DBSCAN密度聚类方法对该LED屏幕灰度图像上的所有裂纹像素点进行聚类,得到该LED屏幕灰度图像对应的各聚类簇,并将聚类簇对应的区域记为局部裂纹区域。
3.如权利要求1所述的一种基于机器视觉的LED屏幕表面损伤检测方法,其特征在于,根据第一图像对应的各初始裂纹区域和第一图像上除初始裂纹区域之外的其他局部裂纹区域,得到第一图像对应的各完整裂纹区域的方法,包括:
计算得到第一图像中的任意两个局部裂纹区域对应的质心坐标点之间的距离;
利用最小二乘法对第一图像中的各局部裂纹区域中的各像素点坐标进行线性拟合,得到第一图像中的各局部裂纹区域对应的拟合直线;
计算得到第一图像中的任意两个局部裂纹区域对应的拟合直线之间的余弦距离值;
对于第一图像中的任意两个局部裂纹区域,分别将两个局部裂纹区域记为第一目标区域和第二目标区域,根据如下公式计算第一目标区域和第二目标区域属于同一裂纹的可能性:
Figure 56574DEST_PATH_IMAGE001
其中,
Figure 989895DEST_PATH_IMAGE002
为第一目标区域和第二目标区域属于同一裂纹的可能性,
Figure 127616DEST_PATH_IMAGE003
为第一目标区域 和第二目标区域对应的拟合直线之间的余弦距离值,
Figure 589821DEST_PATH_IMAGE004
为第一目标区域和第二目标区域对 应的质心坐标点之间的距离,exp( )为以自然常数e为底的指数函数;
对于第一图像中的任一初始裂纹区域:
计算该初始裂纹区域中任意两个局部裂纹区域属于同一裂纹的可能性的均值,记为该初始裂纹区域对应的评判值;
将第一图像上除各初始裂纹区域的所有局部裂纹区域记为单独区域;
对于第一图像对应的任一单独区域:获取该单独区域与该初始裂纹区域中所有局部裂纹区域属于同一裂纹的可能性中的最大可能性,判断所述最大可能性是否大于该初始裂纹区域对应的评判值,若是,则将该单独区域记为该初始裂纹区域对应的相同裂纹区域;
若该单独区域与各初始裂纹区域中所有局部裂纹区域属于同一裂纹的可能性中的最大可能性均小于等于对应初始裂纹区域对应的评判值,则将该单独区域记为第一图像对应的完整裂纹区域。
4.如权利要求1所述的一种基于机器视觉的LED屏幕表面损伤检测方法,其特征在于,得到各光照角度下的LED屏幕灰度图像对应的各完整裂纹区域的裂纹位置序号的方法,包括:
将各光照角度下的LED屏幕灰度图像对应的各完整裂纹区域中存在重合像素点的完整裂纹区域标记为同一个序号,记为裂纹位置序号。
5.如权利要求1所述的一种基于机器视觉的LED屏幕表面损伤检测方法,其特征在于,根据所述完整裂纹区域以及所述完整裂纹区域的裂纹位置序号,得到各光照角度下的LED屏幕灰度图像对应的各完整裂纹区域的成像质量的方法,包括:
对于任一裂纹位置序号:对该裂纹位置序号对应的各完整裂纹区域进行叠加,得到该裂纹位置序号对应的各完整裂纹区域进行叠加后的区域,并记为该裂纹位置序号对应的叠加区域;
对于任一光照角度下的LED屏幕灰度图像对应的任一完整裂纹区域:
将该完整裂纹区域中的各局部裂纹区域中的像素点数量与该完整裂纹区域的裂纹位置序号对应的叠加区域中的像素点数量的比值,记为该完整裂纹区域中的各局部裂纹区域对应的完整性指标;
将该完整裂纹区域中的各局部裂纹区域中的各像素点对应的窗口中的最大梯度值与最小梯度值的差值,记为所述各局部裂纹区域中的各像素点对应的梯度差异值;
利用k-means聚类算法对所述各局部裂纹区域中的各像素点对应的梯度差异值进行聚类,得到两个梯度差异值类别,将两个梯度差异值类别对应的平均值的差值的绝对值,记为所述各局部裂纹区域对应的梯度变化量差异程度;
对于该完整裂纹区域中的第t个局部裂纹区域,根据如下公式计算该完整裂纹区域中的第t个局部裂纹区域对应的成像质量:
Figure 812992DEST_PATH_IMAGE005
其中,
Figure 18845DEST_PATH_IMAGE006
为该完整裂纹区域中的第t个局部裂纹区域对应的成像质量,
Figure 745493DEST_PATH_IMAGE007
为该完整裂纹 区域中的第t个局部裂纹区域对应的完整性指标,
Figure 958693DEST_PATH_IMAGE008
为该完整裂纹区域中的第t个局部裂 纹区域对应的梯度变化量差异程度,exp( )为以自然常数e为底的指数函数;
计算得到该完整裂纹区域中的所有局部裂纹区域与其最近的局部裂纹区域的中心点坐标之间的距离,并记为该完整裂纹区域中的各局部裂纹区域与其最近的局部裂纹区域之间的第一特征值;
根据所述各局部裂纹区域的边缘连通域边缘的像素点、各局部裂纹区域对应的最近的局部裂纹区域的连通域边缘的像素点,得到所述各局部裂纹区域的连通域边缘与其最近的局部裂纹区域的连通域边缘之间的最小值,并记为该完整裂纹区域中的各局部裂纹区域与其最近的局部裂纹区域之间的第二特征值;
将所述各局部裂纹区域与其最近的局部裂纹区域之间的第二特征值与对应第一特征值的比值记为所述各局部裂纹区域与其最近的局部裂纹区域之间的断裂程度指标;
根据如下公式计算得到该完整裂纹区域对应的成像质量:
Figure 669160DEST_PATH_IMAGE009
其中,
Figure 413125DEST_PATH_IMAGE010
为该完整裂纹区域对应的成像质量,
Figure DEST_PATH_IMAGE011
为该完整裂纹区域中的局部裂纹区域的 数量,
Figure 492814DEST_PATH_IMAGE012
为该完整裂纹区域中的第t个局部裂纹区域与其最近的局部裂纹区域之间的断裂 程度指标。
6.如权利要求1所述的一种基于机器视觉的LED屏幕表面损伤检测方法,其特征在于,对于任一裂纹位置序号,根据该裂纹位置序号对应的各完整裂纹区域的成像质量以及该裂纹位置序号对应的各完整裂纹区域的光照角度,得到该裂纹位置对应的最佳光照角度的方法,包括:
对于任一裂纹位置序号,根据该裂纹位置序号对应的各完整裂纹区域的成像质量以及该裂纹位置序号对应的各完整裂纹区域的光照角度对应的欧拉角方位,利用最二小乘法进行多项式插值,将插值后最大成像质量对应的欧拉角方位对应的光照角度记为该裂纹位置对应的最佳光照角度。
7.如权利要求1所述的一种基于机器视觉的LED屏幕表面损伤检测方法,其特征在于,根据各裂纹位置对应的最佳光照角度,得到各裂纹位置对应的裂纹最佳显示区域的方法,包括:
对于任一裂纹位置序号,根据各裂纹位置对应的最佳光照角度下的LED屏幕灰度图像上的梯度值,得到该裂纹位置对应的最佳光照角度下的LED屏幕灰度图像对应的各裂纹区域,记为第一区域,将所有第一区域中与该裂纹位置序号对应的各完整裂纹区域存在重合像素点的第一区域构成的区域记为该裂纹位置对应的裂纹最佳显示区域。
CN202211417333.5A 2022-11-14 2022-11-14 一种基于机器视觉的led屏幕表面损伤检测方法 Active CN115452845B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211417333.5A CN115452845B (zh) 2022-11-14 2022-11-14 一种基于机器视觉的led屏幕表面损伤检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211417333.5A CN115452845B (zh) 2022-11-14 2022-11-14 一种基于机器视觉的led屏幕表面损伤检测方法

Publications (2)

Publication Number Publication Date
CN115452845A CN115452845A (zh) 2022-12-09
CN115452845B true CN115452845B (zh) 2023-01-13

Family

ID=84295432

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211417333.5A Active CN115452845B (zh) 2022-11-14 2022-11-14 一种基于机器视觉的led屏幕表面损伤检测方法

Country Status (1)

Country Link
CN (1) CN115452845B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118310719A (zh) * 2024-04-15 2024-07-09 深圳市咏华宇电子有限公司 基于图像处理的发光二极管照明质量检测方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006118913A (ja) * 2004-10-20 2006-05-11 West Japan Railway Co ひび割れ検出方法及び装置
JP2011058939A (ja) * 2009-09-09 2011-03-24 Panasonic Electric Works Co Ltd 外観検査装置、外観検査方法
CN105761271A (zh) * 2016-03-16 2016-07-13 武汉大学 核安全壳表面缺陷自动检测方法及系统
CN113109368A (zh) * 2021-03-12 2021-07-13 浙江华睿科技有限公司 玻璃裂纹检测方法、装置、设备及介质
CN114544659A (zh) * 2022-02-16 2022-05-27 上海应用技术大学 一种高光洁度表面最优的缺陷检测装置及方法
CN114723701A (zh) * 2022-03-31 2022-07-08 南通博莹机械铸造有限公司 基于计算机视觉的齿轮缺陷检测方法和系统
CN114894804A (zh) * 2022-04-22 2022-08-12 江苏名欧精密机械有限公司 一种精密标准件表面裂纹检测方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006118913A (ja) * 2004-10-20 2006-05-11 West Japan Railway Co ひび割れ検出方法及び装置
JP2011058939A (ja) * 2009-09-09 2011-03-24 Panasonic Electric Works Co Ltd 外観検査装置、外観検査方法
CN105761271A (zh) * 2016-03-16 2016-07-13 武汉大学 核安全壳表面缺陷自动检测方法及系统
CN113109368A (zh) * 2021-03-12 2021-07-13 浙江华睿科技有限公司 玻璃裂纹检测方法、装置、设备及介质
CN114544659A (zh) * 2022-02-16 2022-05-27 上海应用技术大学 一种高光洁度表面最优的缺陷检测装置及方法
CN114723701A (zh) * 2022-03-31 2022-07-08 南通博莹机械铸造有限公司 基于计算机视觉的齿轮缺陷检测方法和系统
CN114894804A (zh) * 2022-04-22 2022-08-12 江苏名欧精密机械有限公司 一种精密标准件表面裂纹检测方法

Also Published As

Publication number Publication date
CN115452845A (zh) 2022-12-09

Similar Documents

Publication Publication Date Title
CN112699876B (zh) 一种用于集气站多类型仪表自动读数方法
US6954550B2 (en) Image processing method and apparatus
CN109900711A (zh) 基于机器视觉的工件缺陷检测方法
Liu et al. An improved online dimensional measurement method of large hot cylindrical forging
CN110766095B (zh) 基于图像灰度特征的缺陷检测方法
CN108520514B (zh) 基于计算机视觉的印刷电路板电子元器一致性检测方法
US20140029019A1 (en) Method and device for detecting defects in material distribution in transparent containers
CN110675376A (zh) 一种基于模板匹配的pcb缺陷检测方法
CN109829911B (zh) 一种基于轮廓超差算法的pcb板表面检测方法
CN110959114A (zh) 缺陷检查方法及缺陷检查装置
JP2002508069A (ja) 測定マークおよび測定マークの検出方法並びに物体測量方法
KR101782363B1 (ko) 데이터 밸런싱을 통한 학습기반의 비전검사 방법
CN116563279B (zh) 基于计算机视觉的量测开关检测方法
CN116993744B (zh) 一种基于阈值分割的焊缝缺陷检测方法
CN115452845B (zh) 一种基于机器视觉的led屏幕表面损伤检测方法
CN116109635B (zh) 复合悬式绝缘子表面质量检测方法、装置、设备及介质
CN115861307B (zh) 基于人工智能的筋膜枪供电驱动板焊接故障检测方法
CN113643276A (zh) 一种基于统计分析的纺织物纹理缺陷自动检测方法
CN114005108A (zh) 一种基于坐标变换的指针式仪表度数识别方法
CN113902894B (zh) 一种基于图像处理的条式水平仪自动读数识别方法
CN113614774A (zh) 用于目标涂层的图像数据中的缺陷检测的方法和系统
KR101782364B1 (ko) 케이평균군집화를 통한 학습기반의 비전검사 방법
JP7058170B2 (ja) タイヤ金型サイドプレートの検査方法
CN116740053B (zh) 一种锻造加工智能生产线的管理系统
CN112036391B (zh) 一种基于页岩气田生产站场的电子巡检方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230529

Address after: 215637 east side of Guotai North Road, yangshe Town, Zhangjiagang City, Suzhou City, Jiangsu Province

Patentee after: SUZHOU KINGLIGHT OPTOELECTRONICS CO.,LTD.

Address before: 518100 Runheng Industrial Factory 501, Fuyuan 1st Road, Heping Community, Fuhai Street, Bao'an District, Shenzhen, Guangdong

Patentee before: SHENZHEN JINGTAI Co.,Ltd.