CN117218125A - 显示屏缺陷的检测方法、设备、存储介质、装置及系统 - Google Patents
显示屏缺陷的检测方法、设备、存储介质、装置及系统 Download PDFInfo
- Publication number
- CN117218125A CN117218125A CN202311482669.4A CN202311482669A CN117218125A CN 117218125 A CN117218125 A CN 117218125A CN 202311482669 A CN202311482669 A CN 202311482669A CN 117218125 A CN117218125 A CN 117218125A
- Authority
- CN
- China
- Prior art keywords
- small
- image
- view
- display screen
- field
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000007547 defect Effects 0.000 title claims abstract description 218
- 238000001514 detection method Methods 0.000 title claims abstract description 47
- 230000002159 abnormal effect Effects 0.000 claims abstract description 113
- 239000000428 dust Substances 0.000 claims abstract description 71
- 238000000034 method Methods 0.000 claims abstract description 47
- 239000011521 glass Substances 0.000 claims abstract description 38
- 230000011218 segmentation Effects 0.000 claims description 45
- 238000013528 artificial neural network Methods 0.000 claims description 32
- 238000012545 processing Methods 0.000 claims description 31
- 238000013527 convolutional neural network Methods 0.000 claims description 22
- 238000012549 training Methods 0.000 claims description 20
- 230000000007 visual effect Effects 0.000 claims description 14
- 230000005856 abnormality Effects 0.000 claims description 11
- 238000001914 filtration Methods 0.000 claims description 11
- 238000007781 pre-processing Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 7
- 230000002950 deficient Effects 0.000 claims description 6
- 230000001131 transforming effect Effects 0.000 claims description 6
- 238000004891 communication Methods 0.000 claims description 3
- 238000003475 lamination Methods 0.000 claims 1
- 239000006059 cover glass Substances 0.000 description 23
- 238000010586 diagram Methods 0.000 description 11
- 230000000694 effects Effects 0.000 description 11
- 238000000605 extraction Methods 0.000 description 6
- 238000010276 construction Methods 0.000 description 5
- 230000009466 transformation Effects 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000003672 processing method Methods 0.000 description 3
- 238000013145 classification model Methods 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 238000010030 laminating Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000002203 pretreatment Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005498 polishing Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Landscapes
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本申请提供了一种显示屏缺陷的检测方法、设备、存储介质、装置及系统。该方法基于大视野相机和小视野相机配合作业的方式,先利用大视野相机拍摄获得包括显示屏的全局大视野图像,基于全局大视野图像进行处理,初步确定可能存在缺陷的异常区域,然后在确定异常区域后,利用小视野相机聚焦在异常区域的像素层、玻璃层上方、玻璃层下方,分别进行精准拍摄,得到三幅对应不同图层的高分辨率图像,最终基于小视野相机拍摄的三幅不同图层的高分辨率图像进行缺陷检测,从而可以精准地识别出异常区域存在的是缺陷,还是灰尘。
Description
技术领域
本申请涉及屏幕检测技术领域,尤其涉及一种显示屏缺陷的检测方法、设备、存储介质、装置及系统。
背景技术
电子设备,如手机的显示屏生产工艺复杂,容易产生各种显示缺陷,如像素缺失缺陷、贴合异物缺陷等。而手机显示屏的质量直接关系到用户的使用体验,因此手机出厂前,手机厂商都会对显示屏进行缺陷检测。
然而,目前的检测方式容易把贴合异物缺陷当作灰尘,进而漏检,导致最终投入市场的显示屏依旧存在缺陷。因此,亟需提供一种能够高效且精准地检测出影响显示屏显示的缺陷的检测方法。
发明内容
为了解决上述技术问题,本申请提供一种显示屏缺陷的检测方法、设备、存储介质、装置及系统,旨在高效且精准地检测出影响显示屏显示的缺陷。
第一方面,本申请提供一种显示屏缺陷的检测方法。该方法包括:获取大视野相机拍摄的全局大视野图像,全局大视野图像包括待检测的显示屏的图像,全局大视野图像为大视野相机在显示屏处于亮屏状态时拍摄的图像;根据全局大视野图像,确定显示屏包括的异常区域;获取小视野相机拍摄的异常区域的第一小视野图像、第二小视野图像和第三小视野图像,第一小视野图像为小视野相机聚焦在显示屏的像素层拍摄的图像,第二小视野图像为小视野相机聚焦在显示屏的玻璃层下方拍摄的图像,第三小视野图像为小视野相机聚焦在显示屏的玻璃层上方拍摄的图像;根据第一小视野图像、第二小视野图像和第三小视野图像,确定异常区域是否存在缺陷。
其中,大视野相机为视角大,但分辨率低的相机;小视野相机为视角小,但分辨率高的相机。
由此,基于大视野相机和小视野相机配合作业的方式,先利用大视野相机拍摄获得包括显示屏的全局大视野图像,基于全局大视野图像进行处理,初步确定可能存在缺陷的异常区域,然后在确定异常区域后,利用小视野相机聚焦在异常区域的像素层、玻璃层上方、玻璃层下方,分别进行精准拍摄,得到三幅对应不同图层的高分辨率图像,最终基于小视野相机拍摄的三幅不同图层的高分辨率图像进行缺陷检测,从而可以精准地识别出异常区域存在的是缺陷,还是灰尘。
根据第一方面,根据第一小视野图像、第二小视野图像和第三小视野图像,确定异常区域是否存在缺陷,包括:分别对第一小视野图像、第二小视野图像和第三小视野图像进行去纹理预处理,得到去纹理的第一去纹理小视野图像、第二去纹理小视野图像和第三去纹理小视野图像;将第一去纹理小视野图像、第二去纹理小视野图像和第三去纹理小视野图像组合为一幅三通道图像;根据三通道图像,确定异常区域是否存在缺陷。
其中,小视野相机拍摄的小视野图像为像素级的高分辨率图像,因此在图像背景中会存在红(R)、绿(G)、蓝(B)子像素,以及R、G、B子像素相互之间的像素沟壑干扰。
由此,通过对小视野图像进行去纹理预处理,具体为过滤掉背景中存在的R、G、B子像素,以及它们之间的像素沟壑干扰,从而保证了基于小视野图像确定的缺陷的精准度。
根据第一方面,或者以上第一方面的任意一种实现方式,第一小视野图像、第二小视野图像和第三小视野图像均为彩色图像;分别对第一小视野图像、第二小视野图像和第三小视野图像进行去纹理预处理,得到去纹理的第一去纹理小视野图像、第二去纹理小视野图像和第三去纹理小视野图像,包括:将彩色的第一小视野图像分解为三幅单通道的第一小视野灰度图像;将彩色的第二小视野图像分解为三幅单通道的第二小视野灰度图像;将彩色的第三小视野图像分解为三幅单通道的第三小视野灰度图像;基于傅里叶变换,将每一幅第一小视野灰度图像、每一幅第二小视野灰度图像和每一幅第三小视野灰度图像,从时域变换到频域;分别对频域下的每一幅第一小视野灰度图像、每一幅第二小视野灰度图像和每一幅第三小视野灰度图像的纹理分量进行过滤;基于傅里叶逆变换,将过滤纹路分量后的每一幅第一小视野灰度图像、每一幅第二小视野灰度图像和每一幅第三小视野灰度图像,从频域变换回时域;将去纹理的三幅单通道的第一小视野灰度图像,融合为一幅单通道灰度图像,得到去纹理的第一去纹理小视野图像;将去纹理的三幅单通道的第二小视野灰度图像,融合为一幅单通道灰度图像,得到去纹理的第二去纹理小视野图像;将去纹理的三幅单通道的第三小视野灰度图像,融合为一幅单通道灰度图像,得到去纹理的第三去纹理小视野图像。
由此,通过将小视野相机聚焦在显示屏的不同层,如像素层、玻璃层上方、玻璃层下方的每一幅彩色的小视野图像分解为三幅单通道的灰度图像,进而基于傅里叶变换,将每一幅单通道的灰度图像从时域转换到频域,从而可以在频域更好的分析和处理每一幅单通道的灰度图像对应的信号,实现对每一幅单通道灰度图像的去纹理处理,最终再基于傅里叶逆变换从频域转换回时域,然后将同一图层的三幅去纹理的单通道图像融合为一幅单通道的灰度图像,便可以得到每一个图层各自对应的去纹理的灰度图像。
根据第一方面,或者以上第一方面的任意一种实现方式,异常区域为显示屏存在缺陷的区域,或者为显示屏存在灰尘的区域,灰尘不属于显示屏的缺陷;根据三通道图像,确定异常区域是否存在缺陷,包括:基于卷积神经网络训练获得的小视野分层模型,对三通道图像进行分析处理,确定异常区域是否是存在灰尘的区域;如果异常区域是存在灰尘的区域,确定异常区域不存在缺陷;如果异常区域不是存在灰尘的区域,确定异常区域存在缺陷。
其中,缺陷包括像素缺失缺陷和贴合异物缺陷。像素缺失缺陷存在于显示屏的像素层,贴合异物缺陷存在于显示屏的玻璃层下方。
灰尘存在于显示屏的玻璃层上方。
由此,基于预先训练好的小视野分层模型,通过对小视野相机聚焦在显示屏不同层拍摄的小视野图像进行分层特征的识别,从而可以精准地确定异常发生在哪一层,进而根据灰尘、缺陷与显示屏各层之间的关系,便可以快速、精准地确定第一区域是否存在缺陷。
根据第一方面,或者以上第一方面的任意一种实现方式,基于卷积神经网络训练获得小视野分层模型,包括:构建小视野分层数据集,小视野分层数据集中的每对数据由小视野相机聚焦在像素层拍摄的图像、聚焦在玻璃层下方拍摄的图像、聚焦在玻璃层上方拍摄的图像经去纹理预处理后得到的样本三通道图像,以及样本三通道图像对应的标签组成,标签包括灰尘标签或缺陷标签;基于卷积神经网络,搭建三通道输入的二分类神经网络;基于小视野分层数据集中的数据,对三通道输入的二分类神经网络进行反向传播学习缺陷识别特征,至三通道输入的二分类神经网络收敛;将收敛的三通道输入的二分类神经网络作为小视野分层模型。
其中,缺陷识别特征可以理解为是判定可能存在缺陷的异常区域中,异常(缺陷或灰尘)在像素层、玻璃层上方、玻璃层下方的清晰程度。
由此,通过基于卷积神经网络和构建的小视野分层数据集中的数据不断地进行迭代训练,直到三通道输入的二分类神经网络满足预设的收敛条件,从而使得最终进行缺陷检测的小视野分层模型能够快速、精准地识别出异常区域是否存在缺陷。
根据第一方面,或者以上第一方面的任意一种实现方式,在确定异常区域存在缺陷之后,方法还包括:将第一去纹理小视野图像和第二去纹理小视野图像组合为一幅二通道图像;基于卷积神经网络训练获得的小视野分割模型,对二通道图像进行分析处理,提取异常区域中的缺陷信息,缺陷信息包括缺陷尺寸和缺陷位置。
由此,基于预先训练好的小视野分割模型,对确定为存在缺陷的异常区域进一步进行分割识别处理,从而可以快速、精准地从异常区域中提取出缺陷的具体尺寸和位置信息。
根据第一方面,或者以上第一方面的任意一种实现方式,基于卷积神经网络训练获得小视野分割模型,包括:构建小视野分割数据集,小视野分割数据集中的每对数据由小视野相机聚焦在像素层拍摄的图像、聚焦在玻璃层下方拍摄的图像经去纹理预处理后得到的样本二通道图像,以及样本二通道图像对应的分割标签组成;基于卷积神经网络,搭建二通道输入的分割神经网络;基于小视野分割数据集中的数据,对二通道输入的分割神经网络进行反向传播学习缺陷尺寸识别特征和缺陷位置识别特征,至二通道输入的分割神经网络收敛;将收敛的二通道输入的分割神经网络作为小视野分割模型。
由此,通过基于卷积神经网络和构建的小视野分割数据集中的数据不断地进行迭代训练,直到二通道输入的分割神经网络满足预设的收敛条件,从而使得最终进行缺陷信息提取的小视野分割模型能够快速、精准地识别出异常区域中缺陷的具体位置信息和尺寸信息。
根据第一方面,或者以上第一方面的任意一种实现方式,根据全局大视野图像,确定显示屏包括的异常区域,包括:提取全局大视野图像中显示屏的图像;对显示屏的图像进行预处理;对预处理后的显示屏的图像进行阈值分割,提取灰度值小于预设阈值的区域,得到异常区域。
其中,对从全局大视野图像中提取的显示屏的图像进行的预处理,例如为高斯滤波处理,这样可以实现对图像的平滑和降噪处理等。
根据第一方面,或者以上第一方面的任意一种实现方式,显示屏包括第一区域和第二区域;获取大视野相机拍摄的全局大视野图像,包括:获取大视野相机拍摄的第一区域的大视野图像,以及第二区域的大视野图像;根据第一区域的大视野图像和第二区域的大视野图像,得到全局大视野图像。
根据第一方面,或者以上第一方面的任意一种实现方式,显示屏的缺陷包括像素缺失缺陷和贴合异物缺陷,像素缺失缺陷发生于像素层,贴合异物缺陷发生于玻璃层和像素层。
第二方面,本申请提供了一种电子设备。该电子设备包括:存储器和处理器,存储器和处理器耦合;存储器存储有程序指令,程序指令由处理器执行时,使得所述电子设备执行第一方面或第一方面的任意可能的实现方式中的方法的指令。
第二方面以及第二方面的任意一种实现方式分别与第一方面以及第一方面的任意一种实现方式相对应。第二方面以及第二方面的任意一种实现方式所对应的技术效果可参见上述第一方面以及第一方面的任意一种实现方式所对应的技术效果,此处不再赘述。
第三方面,本申请提供了一种计算机可读介质,用于存储计算机程序,该计算机程序包括用于执行第一方面或第一方面的任意可能的实现方式中的方法的指令。
第三方面以及第三方面的任意一种实现方式分别与第一方面以及第一方面的任意一种实现方式相对应。第三方面以及第三方面的任意一种实现方式所对应的技术效果可参见上述第一方面以及第一方面的任意一种实现方式所对应的技术效果,此处不再赘述。
第四方面,本申请提供了一种计算机程序,该计算机程序包括用于执行第一方面或第一方面的任意可能的实现方式中的方法的指令。
第四方面以及第四方面的任意一种实现方式分别与第一方面以及第一方面的任意一种实现方式相对应。第四方面以及第四方面的任意一种实现方式所对应的技术效果可参见上述第一方面以及第一方面的任意一种实现方式所对应的技术效果,此处不再赘述。
第五方面,本申请提供了一种芯片,该芯片包括处理电路、收发管脚。其中,该收发管脚、和该处理电路通过内部连接通路互相通信,该处理电路执行第一方面或第一方面的任一种可能的实现方式中的方法,以控制接收管脚接收信号,以控制发送管脚发送信号。
第五方面以及第五方面的任意一种实现方式分别与第一方面以及第一方面的任意一种实现方式相对应。第五方面以及第五方面的任意一种实现方式所对应的技术效果可参见上述第一方面以及第一方面的任意一种实现方式所对应的技术效果,此处不再赘述。
第六方面,本申请提供了一种显示屏缺陷的检测装置。该装置包括:驱动单元、大视野相机和小视野相机;大视野相机,用于拍摄全局大视野图像,全局大视野图像包括待检测的显示屏的图像,全局大视野图像为大视野相机在显示屏处于亮屏状态时拍摄的图像;其中,全局大视野图像用于确定显示屏包括的异常区域;驱动单元,用于驱动小视野相机在水平内移动至异常区域;小视野相机,用于拍摄异常区域的第一小视野图像、第二小视野图像和第三小视野图像,第一小视野图像为小视野相机聚焦在显示屏的像素层拍摄的图像,第二小视野图像为小视野相机聚焦在显示屏的玻璃层下方拍摄的图像,第三小视野图像为小视野相机聚焦在显示屏的玻璃层上方拍摄的图像;其中,第一小视野图像、第二小视野图像和第三小视野图像用于确定异常区域是否存在缺陷。
由于灰尘和贴合异物都会在除尘曝光图中被打亮。为了解决单纯利用大视野相机拍摄的图像无法区分灰尘和贴合异物的问题,通过增加小视野相机,并设置驱动小视野相机在水平面移动的驱动单元,从而可以拍摄到异常区域对应的高分辨率图像。这样,基于高分辨率的图像进行缺陷检测,有效保证了检测结果的精准度。
可理解地,所谓除尘曝光图是指熄灭显示屏,即使显示屏处于灭屏状态后,通过从显示屏的侧边进行打光,然后基于大视野相机对显示屏进行拍摄获得的图像。
第七方面,本申请提供了一种显示屏缺陷的检测系统。该系统包括第二方面提供的电子设备和第六方面提供的显示屏缺陷的检测装置,电子设备与显示屏缺陷的检测装置通信连接;当电子设备接收到显示屏缺陷的检测装置中的大视野相机拍摄的全局大视野图像时,执行第一方面或第一方面的任意可能的实现方式中的方法的指令,根据全局大视野图像确定待检测的显示屏包括的异常区域,并通过显示屏缺陷的检测装置中的驱动单元驱动小视野相机移动至异常区域;当电子设备接收到小视野相机拍摄的第一小视野图像、第二小视野图像和第三小视野图像时,执行第一方面或第一方面的任意可能的实现方式中的方法的指令,根据第一小视野图像、第二小视野图像和第三小视野图像确定异常区域是否存在缺陷。
第七方面以及第七方面的任意一种实现方式分别与第一方面以及第一方面的任意一种实现方式相对应。第七方面以及第七方面的任意一种实现方式所对应的技术效果可参见上述第一方面以及第一方面的任意一种实现方式所对应的技术效果,此处不再赘述。
附图说明
图1为示例性示出的基于大视野相机拍摄的亮屏状态下的显示屏的大视野图像的示意图;
图2A为示例性示出的基于大视野相机拍摄的灭屏状态下的显示屏的除尘曝光图的示意图;
图2B为示例性示出的大视野图像中可能存在缺陷的区域的截图与除尘曝光图中对应可能存在缺陷的区域的截图的示意图;
图3为示例性示出的基于本申请实施例提供的显示屏缺陷的检测装置对显示屏进行拍摄的示意图;
图4为示例性示出的本申请实施例提供的显示屏缺陷的检测方法的流程示意图;
图5为示例性示出的全局大视野图像的示意图;
图6A为示例性示出的小视野相机分别聚焦在显示屏的像素层拍摄的第一小视野图像、聚焦在显示屏的玻璃层下方拍摄的第二小视野图像、聚焦在显示屏的玻璃层上方拍摄的第三小视野图像的示意图;
图6B为示例性示出的对图6A中的第一小视野图像、第二小视野图像和第三小视野图像去纹理后得到的第一去纹理小视野图像、第二去纹理小视野图像和第三去纹理小视野图像的示意图;
图7为示例性示出的基于小视野分层模型确定缺陷的示意图;
图8为示例性示出的基于小视野分割模型提取缺陷信息的示意图;
图9为示例性示出的本申请实施例提供的显示屏缺陷的检测方法中各环节的走向示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。
本申请实施例的说明书和权利要求书中的术语“第一”和“第二”等是用于区别不同的对象,而不是用于描述对象的特定顺序。例如,第一目标对象和第二目标对象等是用于区别不同的目标对象,而不是用于描述目标对象的特定顺序。
在本申请实施例中,“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其他实施例或设计方案更优选或更具优势。确切而言,使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
在本申请实施例的描述中,除非另有说明,“多个”的含义是指两个或两个以上。例如,多个处理单元是指两个或两个以上的处理单元;多个系统是指两个或两个以上的系统。
电子设备,如手机的显示屏生产工艺复杂,容易产生各种显示缺陷,如像素缺失缺陷、贴合异物缺陷等。而手机显示屏的质量直接关系到用户的使用体验,因此手机出厂前,手机厂商都会对显示屏进行缺陷检测。
目前,业界普遍的做法是将显示屏点亮,例如通过触碰显示屏,使显示屏处于亮屏状态,然后利用大视野相机对电子设备的显示屏进行拍照,进而获得包含显示屏的大视野图像。
需要说明的是,对电子设备的显示屏进行拍照的大视野相机为一个固定不可移动的相机,其拍摄视角较大。在一种可能的实现方式中,大视野相机一次拍摄可以拍摄到包含一半(可以更多,也可以更少)显示屏的图像。为了便于说明,以大视野相机一次拍摄可以拍摄到包含显示屏的第一区域(如一半)的大视野图像(如图1中(1)),或者包含显示屏的第二区域(如一半)的大视野图像(如图1中(2))为例。
示例性的,以电子设备为手机为例,在检测手机的显示屏是否存在缺陷时,首先可以将手机的显示屏点亮,然后将手机放置在大视野相机下方,并且使处于亮屏状态的显示屏的第一区域位于大视野相机的视角内。接着,控制大视野相机完成对显示屏的第一区域的拍摄,进而获得包含显示屏的第一区域的大视野图像,即获得图1中(1)示出的大视野图像。
接着,移动手机,使处于亮屏状态的显示屏的第二区域位于大视野相机的视角内。接着,控制大视野相机完成对显示屏的第二区域的拍摄,进而获得包含显示屏的第二区域的大视野图像,即获得图1中(2)示出的大视野图像。
接着,在获得如图1中(1)和(2)示出的两幅大视野图像后,基于图像处理方法,根据人为设计的算子,提取每幅大视野图像中的异常信息,如异常尺寸和异常位置等,便可以实现对手机的显示屏的缺陷检测。
但是,基于图像处理方法确定的异常,可能是因为显示屏表面的灰尘造成的,也可能是因为显示屏本身的质量缺陷,如像素缺失缺陷、贴合异物缺陷等。对于灰尘而言,可以通过擦拭去除,因此不属于显示屏的缺陷。这样就需要在图像处理过程中对灰尘和缺陷进行判别。目前通常采用的方式是熄灭显示屏,即使显示屏处于灭屏状态,然后从显示屏的侧边进行打光,基于大视野相机对显示屏的第一区域进行拍摄,进而获得包含显示屏的第一区域的图像(后续称为:除尘曝光图),即获得图2A中(1)示出的除尘曝光图。接着,移动手机,使处于灭屏状态的显示屏的第二区域位于大视野相机的视角内。接着,控制大视野相机完成对显示屏的第二区域的拍摄,进而获得包含显示屏的第二区域的除尘曝光图,即获得图2A中(2)示出的除尘曝光图。
需要说明的是,存在灰尘的区域,在除尘曝光图中会被打亮。而存在像素缺失缺陷的区域,在除尘曝光图中则不会被打亮。这样,根据除尘曝光图,就可以确定大视野图像中被判定为异常区域的区域是因为灰尘造成的,还是像素缺失缺陷造成的。但是,由于贴合异物缺陷靠近显示屏的玻璃层(玻璃盖板层)。因此,在除尘曝光图中同样会被打亮。
需要说明的是,对于灰尘、像素缺失缺陷、贴合异物缺陷这三种异常,在显示屏处于亮屏状态时,存在这三种异常的区域均无法显示内容,表现在大视野图像中可能是黑点,如图2B中灰尘、像素缺失缺陷、贴合异物缺陷对应的大视野图像中可能存在缺陷的区域的截图。
继续参见图2B,示例性的,在除尘曝光图中存在灰尘的区域的截图中,灰尘是被打亮的;在除尘曝光图中存在像素缺失缺陷的区域的截图中,存在像素缺失缺陷的区域不会被打亮;在除尘曝光图中存在贴合异物缺陷的区域的截图中,存在贴合异物缺陷的区域是被打亮的。
也就是说,通过侧边打光进行除尘的方式,往往会把贴合异物缺陷当作灰尘,进而导致贴合异物缺陷的漏检,导致最终投入市场的显示屏依旧存在缺陷,影响用户使用体验。
有鉴于此,本申请实施例提供了一种显示屏缺陷的检测方法,针对灰尘和贴合异物在除尘曝光图中都会被打亮,在大视野相机拍摄的除尘曝光图上无法区分的问题,通过增加可以在水平面内移动的小视野相机(视角小,但分辨率高的相机),基于大视野相机和小视野相机配合作业的方式,先利用大视野相机拍摄获得包括显示屏的全局大视野图像,基于全局大视野图像进行处理,初步确定可能存在缺陷的异常区域,然后在确定异常区域后,利用小视野相机聚焦在异常区域的像素层、玻璃层上方、玻璃层下方,分别进行精准拍摄,得到三幅对应不同图层的高分辨率图像,最终基于小视野相机拍摄的三幅不同图层的高分辨率图像进行更加精准地灰尘和缺陷的判别,以及缺陷信息的提取,保证检测结果的精准度。
为了更好地理解本申请实施例提供的技术方案,在对本申请实施例的技术方案说明之前,首先对进行大视野图像和小视野图像采集的装置(后续称为:显示屏缺陷的检测装置)进行说明。
参见图3,示例性的,在一种可能的实现方式中,显示屏缺陷的检测装置可包括驱动单元(图3中为示出)、大视野相机和小视野相机。
其中,大视野相机用于拍摄全局大视野图像。
具体到本申请实施例中,全局大视野图像为大视野相机在显示屏处于亮屏状态时,拍摄的包括待检测的显示屏的图像。
可理解地,由于大视野相机的拍摄视角较大,因此拍摄少量,如2幅大视野图像,就可以组合得到包括完整显示屏的全局大视野图像,从而减少了拍摄次数。
此外,还应当理解地,由于大视野相机拍摄的图像分辨率较低,故而在本申请实施例提供的技术方案中,基于全局大视野图像仅用来确定显示屏可能存在缺陷的区域。为了便于后续描述,将根据全局大视野图像中确定的显示屏可能存在缺陷的区域称为异常区域。
此外,还应当理解地,本申请实施例中所说的全局大视野图像为基于大视野相机对显示屏首次拍摄的N幅大视野图像(如2幅,一幅是包含显示屏的第一区域的大视野图像,一幅是包含显示屏的第二区域的大视野图像)确定的包含完整的显示屏的大视野图像。
应当理解地是,上述说明仅是为了更好地理解本实施例的技术方案而列举的示例,不作为对本实施例的唯一限制。
其中,驱动单元用于驱动小视野相机在水平内移动至异常区域,如根据全局大视野图像确定的异常区域。
其中,小视野相机用于拍摄异常区域的第一小视野图像、第二小视野图像和第三小视野图像。
继续参见图3,示例性的,对于待检测的显示屏,从上至下可以包括玻璃盖板(cover glass,CG)层(后续描述为玻璃层)和彩色滤光片(colorfilter,CF)层(后续描述为像素层)。
继续参见图3,示例性的,灰尘存在于CG层上方,贴合异物存在于CG层下方,像素缺失存在于CF层。因此,为了基于小视野相机拍摄的小视野图像精准地进行缺陷和灰尘的判别,以及缺陷信息的提取,可以通过调整小视野相机的光圈,使得小视野相机分别聚焦在显示屏的CF层、CG层下方(后续用CG层表示)和CG层上方(后续用Dust层表示),进而拍摄获得对应CF层的第一小视野图像,对应CG层的第二小视野图像,以及对应Dust层的第三小视野图像。这样,就可以通过高分辨率的第一小视野图像、第二小视野图像和第三小视野图像确定异常区域对应的异常究竟是灰尘,还是缺陷造成的。
此外,还需要说明的是,在显示屏缺陷的检测装置中,大视野相机的位置固定,即不可以在水平面内移动,也不可以在垂直面内移动。此外,大视野相机距离显示屏的距离也为固定的。该距离可以根据大视野相机的光圈、型号等确定,本实施例以270mm为例。
此外,还需要说明的是,在显示屏缺陷的检测装置中,小视野相机距离显示屏的距离固定,但可以在水平面内移动。该距离可以根据小视野相机的光圈、型号等确定,本实施例以65mm为例。
此外,还需要说明的是,显示屏缺陷的检测装置除了需要包括驱动单元、大视野相机和小视野相机,还可以包括遮光罩、显示屏固定装置等。
其中,遮光罩用于将大视野相机、小视野相机,以及待检测的显示屏覆盖,以避免外界环境对拍摄效果的干扰。
其中,显示屏固定装置用于固定待检测的显示屏。
应当理解地是,上述说明仅是为了更好地理解本实施例的技术方案而列举的示例,不作为对本实施例的唯一限制。
此外,还需要说明的是,在一种可能的实现方式中,显示屏缺陷的检测装置还可以包括处理装置。其中,该处理装置用于根据全局大视野图像确定待检测的显示屏包括的异常区域,并控制驱动单元驱动小视野相机移动至异常区域,并根据小视野相机拍摄的第一小视野图像、第二小视野图像和第三小视野图像确定异常区域是否存在缺陷。
示例性的,在另一种可能的实现方式中,上述处理装置也可以独立于显示屏缺陷的检测装置。该处理装置例如可以是具备处理能力的电子设备,如笔记本电脑、个人计算机等,此处不再一一列举,本申请对此不作限制。
针对处理装置独立于显示屏缺陷的检测装置的方案,可以通过有线连接或者无线连接的方式,将电子设备与显示屏缺陷的检测装置建立通信连接。
应当理解地是,上述说明仅是为了更好地理解本实施例的技术方案而列举的示例,不作为对本实施例的唯一限制。
基于上述实施例中所说的包括大视野相机和小视野相机的显示屏缺陷的检测装置,本申请实施例提供的显示屏缺陷的检测方法的实现流程可以如图4所示,具体包括:
S101,获取大视野相机拍摄的全局大视野图像。
具体地说,本申请实施例提供的显示屏缺陷的检测方法是由上述实施例中所说的显示屏缺陷的检测装置中的处理装置实现,或者由上述实施例中所说的独立于显示屏缺陷的检测装置的电子设备实现。
通过上述实施例的描述可知,大视野相机一次拍摄的图像中可能无法完整的包括整个显示屏。故而,在一些可能的实现方式中,可以通过移动待检测的显示屏,使显示屏的不同区域位于大视野相机的视角内,进而实现对该区域的拍摄,最终根据多个区域对应的大视野图像来确定包括完整显示屏的全局大视野图像。
为了便于说明,本实施例以显示屏包括第一区域和第二区域两部分为例。示例性的,针对该结构的显示屏,可以通过获取大视野相机拍摄第一区域的大视野图像(如图1中(1)所示的图像),以及拍摄第二区域的大视野图像(如图1中(2)所示的图像)。然后,根据第一区域的大视野图像和第二区域的大视野图像,组合得到包含完整显示屏的全局大视野图像,如图5所示。
S102,根据全局大视野图像,确定显示屏包括的异常区域。
需要说明的是,利用大视野相机拍摄的显示屏的第一区域和第二区域的大视野图像,组合得到的全局大视野图像中不仅会包括完整的显示屏,还会包括显示屏固定装置,如放置显示屏的平台,如图5中显示屏周围的黑色背景。故而,在根据全局大视野图像,确定显示屏包括的异常区域时,可以先基于预设的区域提取算法,如感兴趣区域(Region ofInterest,ROI)算法,从全局大视野图像中提取预设的感兴趣区域。具体到本申请实施例中,为提取显示屏的图像,即图5中灰色的显示屏。
也就是说,在根据全局大视野图像,确定显示屏包括的异常区域时需要先过滤掉全局大视野图像中的背景。
接着,在过滤掉全局大视野图像中的背景,得到完整的显示屏图像后,还可以利用高斯滤波方法,对提取出的图像进行平滑处理和降噪处理,以抑制噪声,平滑图像。
接着,在基于高斯滤波方法完成对显示屏的图像的预处理后,就可以根据预设的阈值,对预处理后的图像进行阈值分割,进而从预处理后的图像中提取出灰度值小于预设阈值的区域,即可能存在缺陷的异常区域。
可理解地,灰度值可以划分为0~255这256个灰度级别。其中,0为黑色,255为白色。对于异常区域,如果存在像素缺失缺陷,或贴合异物缺陷,会导致该区域无法正常显示内容;如果存在灰尘,则会因为灰尘的遮挡,导致显示的内容无法看到。因此,不论是灰尘,还是缺陷,在全局大视野图像中呈现的异常区域的颜色都会较暗。故而,在一种可能的实现方式中,进行阈值分割时所使用的预设阈值,例如可以为150这一灰度值。
应当理解地是,上述说明仅是为了更好地理解本实施例的技术方案而列举的示例,不作为对本实施例的唯一限制。
S103,获取小视野相机拍摄的异常区域的第一小视野图像、第二小视野图像和第三小视野图像。
可理解地,大视野相机为视角大,但分辨率低的相机,小视野相机为视角小,但分辨率高的相机。因此,相比于大视野相机,小视野相机拍摄的小视野图像的区域更小,只覆盖每个可能存在缺陷的区域,即异常区域。但是由于分辨率较高(像素级图像),因此所呈现的特征信息也更加精准。故而,在根据全局大视野图像,确定显示屏包括的异常区域,如图5中标注的异常区域后,可以发送该异常区域在显示屏的位置信息给驱动单元,进而使得驱动单元能够驱动小视野相机在水平面内移动,直到移动到该位置的上方。
示例性的,当小视野相机移动到对应异常区域的位置后,分别拍摄聚焦在CF层的第一小视野图像、聚焦在CG层的第二小视野图像,以及聚焦在Dust层的第三小视野图像。
由此,就可以获取到小视野相机拍摄的异常区域的第一小视野图像、第二小视野图像和第三小视野图像。
S104,根据第一小视野图像、第二小视野图像和第三小视野图像,确定异常区域是否存在缺陷。
需要说明的是,由于小视野相机拍摄的高分辨率的小视野图像均为像素级图像,如图6A中(1)示出的对应CF层的第一小视野图像,图6A中(2)示出的对应CG层的第二小视野图像,以及如图6A中(3)示出的对应Dust层的第三小视野图像。因此第一小视野图像、第二小视野图像和第三小视野图像的背景中均存在R、G、B子像素,以及它们之间的像素沟壑干扰。
故而,在根据第一小视野图像、第二小视野图像和第三小视野图像,确定异常区域是否存在缺陷时,需要先对这三幅小视野图像进行去纹理预处理,以滤除这三幅小视野图像中存在的干扰。
关于对第一小视野图像、第二小视野图像和第三小视野图像进行的去纹理预处理,例如可以是:先将每一幅彩色的小视野图像分解为三幅单通道的灰度图,即将彩色的第一小视野图像分解为三幅单通道的第一小视野灰度图像;将彩色的第二小视野图像分解为三幅单通道的第二小视野灰度图像;将彩色的第三小视野图像分解为三幅单通道的第三小视野灰度图像;然后,将每一幅第一小视野灰度图像、每一幅第二小视野灰度图像和每一幅第三小视野灰度图像,从时域变换到频域;接着,分别对频域下的每一幅第一小视野灰度图像、每一幅第二小视野灰度图像和每一幅第三小视野灰度图像的纹理分量进行过滤;接着,基于傅里叶逆变换,将过滤纹路分量后的每一幅第一小视野灰度图像、每一幅第二小视野灰度图像和每一幅第三小视野灰度图像,从频域变换回时域;最后,将去纹理的三幅单通道的第一小视野灰度图像,融合为一幅单通道灰度图像,得到去纹理的第一去纹理小视野图像;将去纹理的三幅单通道的第二小视野灰度图像,融合为一幅单通道灰度图像,得到去纹理的第二去纹理小视野图像;将去纹理的三幅单通道的第三小视野灰度图像,融合为一幅单通道灰度图像,得到去纹理的第三去纹理小视野图像。这样,就可以得到去纹理后的第一小视野图像(如图6B中(1))、第二小视野图像(如图6B中(2))和第三小视野图像(如图6B中(3)),即过滤掉背景中存在的R、G、B子像素,以及它们之间的像素沟壑干扰的图像。
由于去纹理的三幅单通道的灰度图像去除了R、G、B子像素间的沟壑干扰,因此基于去纹理的三幅单通道的灰度图像,确定第一区域是否存在缺陷时,就可以保证基于小视野图像确定的缺陷的精准度。
为了便于描述,将去纹理后的第一小视野图像描述为第一去纹理小视野图像,将去纹理后的第二小视野图像描述为第二去纹理小视野图像,将去纹理后的第三小视野图像描述为第三去纹理小视野图像。
由此,通过将小视野相机聚焦在显示屏的不同层,如CF层、CG层、Dust层的三幅彩色的小视野图像分解为三幅单通道的灰度图像,进而基于傅里叶变换,将三幅单通道的灰度图像从时域转换到频域,从而可以在频域更好的分析和处理三幅单通道的灰度图像对应的信号,实现对三幅单通道灰度图像的去纹理处理,最终再基于傅里叶逆变换从频域转换回时域,便可以得到去纹理的三幅单通道的灰度图像。
具体地说,在本申请实施例提供的技术方案中,具体是基于卷积神经网络训练获得的网络模型(后续称为:小视野分层模型),自动对小视野相机拍摄的高分辨率的图像进行识别处理,进而确定第一区域是存在灰尘,还是缺陷。而小视野分层模型是根据卷积神经网络搭建的三通道输入的分类神经网络训练获得的。因此,需要将第一去纹理小视野图像、第二去纹理小视野图像和第三去纹理小视野图像组合为一幅三通道图像,这样将三通道图像输入小视野分层模型,就可以得到最终的判别结果。
关于基于卷积神经网络训练获得小视野分层模型的过程,可以分为小视野分层数据集的构建环节、网络模型的搭建环节,以及模型的训练环节。
其中,在小视野分层数据集的构建环节中,可以基于相同的显示屏缺陷的检测装置中的小视野相机,拍摄大量已知异常原因(灰尘或缺陷)的异常区域的CF层、CG层和Dust层对应的小视野图像,并采用上述所说的去纹理预处理方法进行去纹理预处理,进而得到样本三通道图像,并根据该样本三通道图像对应的实际异常原因,为该样本三通道图像添加标签,如灰尘标出或缺陷标签。
也就是说,小视野分层数据集中的每对数据由小视野相机聚焦在CF层拍摄的图像、聚焦在CG拍摄的图像、聚焦在Dust层拍摄的图像经去纹理预处理后得到的样本三通道图像,以及样本三通道图像对应的标签组成。
其中,在网络模型的搭建环节中,可以基于卷积神经网络,搭建三通道输入的二分类神经网络。
其中,在模型的训练环节中,可以基于小视野分层数据集中的数据,对三通道输入的二分类神经网络进行反向传播学习缺陷识别特征,至三通道输入的二分类神经网络收敛,进而将收敛的三通道输入的二分类神经网络作为小视野分层模型即可。
需要说明的是,由于像素缺失缺陷存在于CF层,贴合异物缺陷存在于CG层,灰尘存在于Dust层,所以三者分别在CF层、CG层和Dust层对应的图像上最为清晰。基于此,根据造成异常的黑色斑点/线条,在CF层、CG层和Dust层各自对应的小视野图像上显示的清晰程度,就可以进行像素缺失缺陷、贴合异物缺陷和灰尘的判别。具体地,如果在CF层或CG层最清晰,则可以判别为缺陷,如果在Dust层最清晰,则可以判别为灰尘。故而,在训练小视野分层模型时,根据输入的样本三通道图像和标注的标签进行反向传播学习的缺陷识别特征,即为识别造成异常的黑色斑点/线条,在CF层、CG层和Dust层各自对应的小视野图像上显示的清晰程度。
相应地,最终收敛的条件,可以为设置输入样本三通道图像到三通道输入的二分类模型后,该三通道输入的二分类模型就可以快速、精准地输出该样本三通道图像对应的缺陷识别结果,且该识别结果与该样本三通道图像对应的标签匹配度大于预设概率。
示例性的,关于小视野分层模型,其可以包括图7所示的卷积层和全连接层。如图7所示,基于小视野分层模型确定异常区域是否存在缺陷时,通过将三通道图像作为输入参数,输入到小视野分层模型,经小视野分层模型对三通道图像进行分析处理,便可以输出最终的判别结果,如灰尘或缺陷。
示例性的,如果小视野分层模型输出的判别结果指示异常发生在CF层或CG层,即在CF层或CG层最清晰,表明异常区域存在缺陷。
示例性的,如果小视野分层模型输出的判别结果指示异常发生在Dust层,即在Dust层最清晰,表明异常区域存在灰尘,不存在缺陷。
需要说明的是,由于基于小视野分层模型确定的是异常区域是否存在缺陷,对于缺陷的具体位置和尺寸,则可以基于预先构建的小视野分割模型进行识别提取。
关于小视野分割模型,同样可以基于卷积神经网络训练获得。关于基于卷积神经网络训练获得小视野分割模型的过程,可以分为小视野分割数据集的构建环节、网络模型的搭建环节,以及模型的训练环节。
需要说明的是,对于判别为缺陷的异常区域,因为Dust层对应的图像现象(灰尘)与真实缺陷有较大偏差,所以在构建小视野分割数据集时,可以丢弃Dust层对应的图像,进而避免对最终训练的小视野分割模型提取精准度的干扰。示例性的,在一种可能的实现方式中,可以基于相同的显示屏缺陷的检测装置中的小视野相机,拍摄大量在CF层存在像素缺失缺陷的图像,以及在CG层存在贴合异物缺陷的图像,并采用上述所说的去纹理预处理方法进行去纹理预处理,进而得到样本二通道图像,并根据该样本二通道图像中缺陷的具体位置信息和尺寸信息,为该样本二通道图像添加分割标签。
也就是说,视野分割数据集中的每对数据由小视野相机聚焦在CF层拍摄的图像、聚焦在CG层拍摄的图像经去纹理预处理后得到的样本二通道图像,以及样本二通道图像对应的分割标签组成。
其中,在网络模型的搭建环节中,可以基于卷积神经网络,搭建二通道输入的分割神经网络。
其中,在模型的训练环节中,可以基于小视野分割数据集中的数据,对二通道输入的分割神经网络进行反向传播学习缺陷尺寸识别特征和缺陷位置识别特征,至二通道输入的分割神经网络收敛,进而将收敛的二通道输入的分割神经网络作为小视野分割模型。
示例性的,关于小视野分割模型,其可以包括图8所示的卷积层和全连接层。如图8所示,基于小视野分割模型提取缺陷信息时,通过将二通道图像作为输入参数,输入到小视野分割模型,经小视野分割模型对二通道图像进行非线性细粒度分割,便可以输出从存在缺陷的异常区域中提取的缺陷信息,如缺陷尺寸和缺陷位置。
由此,基于大视野相机和小视野相机配合作业的方式,先利用大视野相机拍摄获得包括显示屏的全局大视野图像,基于全局大视野图像进行处理,初步确定可能存在缺陷的异常区域,然后在确定异常区域后,利用小视野相机聚焦在异常区域的像素层、玻璃层上方、玻璃层下方,分别进行精准拍摄,得到三幅对应不同图层的高分辨率图像,最终基于小视野相机拍摄的三幅不同图层的高分辨率图像进行缺陷检测,从而可以精准地识别出异常区域存在的是缺陷,还是灰尘,避免了贴合异物这一缺陷被当作灰尘被漏检。
关于图4所示显示屏缺陷的检测方法实际处理逻辑的走向,可以如图9所示。具体地,首先点亮待检测的显示屏,然后使用大视野相机拍摄,获得包含显示屏的全局大视野图像。接着,通过对全局大视野图像进行预处理、阈值分割等处理,进而确定全局大视野图像中可能存在缺陷的异常区域。接着,移动小视野相机到每一个可能存在缺陷的异常区域的上方,分别聚焦在CF层、CG层和Dust层,对异常区域进行拍照,这样就可以获得3幅高分辨率的小视野图像。接着,对3幅小视野图像进行去纹理预处理,这样就可以得到一幅三通道图像。接着,将三通道图像输入到由卷积神经网络自主学校充分的分层特征获得的小视野分层模型中进行分析处理,就可以输出造成异常区域的异常原因究竟是缺陷还是灰尘。
继续参见图9,示例性的,对于因为灰尘导致的异常区域对应的三通道图像,将其过滤掉。对于缺陷导致的异常区域的三通道图像,提取三通道图像中CF层和CG层的图像组合得到二通道图像。接着,将二通道图像输入到由卷积神经网络进行非线性细粒度分割获得的小视野分割模型进行分割处理,就可以输出异常区域存在的区域的具体缺陷信息,如缺陷位置和缺陷尺寸。
本申请实施例提供的显示屏缺陷的检测方法,通过基于大视野相机和小视野相机配合作业的方式,可以对贴合异物和灰尘实现更精准地判别,并且对真实缺陷信息的提取也更加准确。相比于图1、图2A和图2B示出的显示屏缺陷的检测方式,本申请实施例提供的显示屏缺陷的检测方法,检测精度提升了30%,能够将贴合异物缺陷漏检率从50%降低到20%以下,并将灰尘误测降低50%以上。
此外,相比于传统图像处理方法人为设计的特征算子,本申请实施例提供的显示屏缺陷的检测方法中基于神经网络(如卷积神经网络)的小视野图像分层算法可以学习到更加充分的分层特征,对缺陷和灰尘进行更精准地判别。基于神经网络(如卷积神经网络)的小视野分割模型可以学习到更加充分的缺陷信息特征,对真实缺陷信息,如缺陷位置和缺陷尺寸的提取也更加完整和准确。
此外,还需要说明的是,在实际应用中,小视野分层模型和小视野分割模型的训练,也可以基于其他能够进行自主学习的网络算法、机器学习算法,本申请对此不作限制。
此外,可以理解地是,电子设备为了实现上述功能,其包含了执行各个功能相应的硬件和/或软件模块。结合本文中所公开的实施例描述的各示例的算法步骤,本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。本领域技术人员可以结合实施例对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
此外,需要说明的是,在实际的应用场景中由电子设备实现的上述各实施例提供的显示屏缺陷的检测方法,也可以由电子设备中包括的一种芯片系统来执行,其中,该芯片系统可以包括处理器。该芯片系统可以与存储器耦合,使得该芯片系统运行时调用该存储器中存储的计算机程序,实现上述电子设备执行的步骤。其中,该芯片系统中的处理器可以是应用处理器也可以是非应用处理器的处理器。
另外,本申请实施例还提供一种计算机可读存储介质,该计算机存储介质中存储有计算机指令,当该计算机指令在电子设备上运行时,使得电子设备执行上述相关方法步骤实现上述实施例中的显示屏缺陷的检测方法。
另外,本申请实施例还提供了一种计算机程序产品,当该计算机程序产品在电子设备上运行时,使得电子设备执行上述相关步骤,以实现上述实施例中的显示屏缺陷的检测方法。
另外,本申请的实施例还提供一种芯片(也可以是组件或模块),该芯片可包括一个或多个处理电路和一个或多个收发管脚;其中,所述收发管脚和所述处理电路通过内部连接通路互相通信,所述处理电路执行上述相关方法步骤实现上述实施例中的显示屏缺陷的检测方法,以控制接收管脚接收信号,以控制发送管脚发送信号。
此外,通过上述描述可知,本申请实施例提供的电子设备、计算机可读存储介质、计算机程序产品或芯片均用于执行上文所提供的对应的方法,因此,其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果,此处不再赘述。
以上所述,以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细地说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。
Claims (14)
1.一种显示屏缺陷的检测方法,其特征在于,所述方法包括:
获取大视野相机拍摄的全局大视野图像,所述全局大视野图像包括待检测的显示屏的图像,所述全局大视野图像为所述大视野相机在所述显示屏处于亮屏状态时拍摄的图像;
根据所述全局大视野图像,确定所述显示屏包括的异常区域;
获取小视野相机拍摄的所述异常区域的第一小视野图像、第二小视野图像和第三小视野图像,所述第一小视野图像为所述小视野相机聚焦在所述显示屏的像素层拍摄的图像,所述第二小视野图像为所述小视野相机聚焦在所述显示屏的玻璃层下方拍摄的图像,所述第三小视野图像为所述小视野相机聚焦在所述显示屏的玻璃层上方拍摄的图像;
根据所述第一小视野图像、所述第二小视野图像和所述第三小视野图像,确定所述异常区域是否存在缺陷。
2.根据权利要求1所述的方法,其特征在于,所述根据所述第一小视野图像、所述第二小视野图像和所述第三小视野图像,确定所述异常区域是否存在缺陷,包括:
分别对所述第一小视野图像、所述第二小视野图像和所述第三小视野图像进行去纹理预处理,得到去纹理的第一去纹理小视野图像、第二去纹理小视野图像和第三去纹理小视野图像;
将所述第一去纹理小视野图像、所述第二去纹理小视野图像和所述第三去纹理小视野图像组合为一幅三通道图像;
根据所述三通道图像,确定所述异常区域是否存在缺陷。
3.根据权利要求2所述的方法,其特征在于,所述第一小视野图像、所述第二小视野图像和所述第三小视野图像均为彩色图像;
所述分别对所述第一小视野图像、所述第二小视野图像和所述第三小视野图像进行去纹理预处理,得到去纹理的第一去纹理小视野图像、第二去纹理小视野图像和第三去纹理小视野图像,包括:
将彩色的所述第一小视野图像分解为三幅单通道的第一小视野灰度图像;
将彩色的所述第二小视野图像分解为三幅单通道的第二小视野灰度图像;
将彩色的所述第三小视野图像分解为三幅单通道的第三小视野灰度图像;
基于傅里叶变换,将每一幅所述第一小视野灰度图像、每一幅所述第二小视野灰度图像和每一幅所述第三小视野灰度图像,从时域变换到频域;
分别对频域下的每一幅所述第一小视野灰度图像、每一幅所述第二小视野灰度图像和每一幅所述第三小视野灰度图像的纹理分量进行过滤;
基于傅里叶逆变换,将过滤纹路分量后的每一幅所述第一小视野灰度图像、每一幅所述第二小视野灰度图像和每一幅所述第三小视野灰度图像,从频域变换回时域;
将去纹理的三幅单通道的所述第一小视野灰度图像,融合为一幅单通道灰度图像,得到去纹理的所述第一去纹理小视野图像;
将去纹理的三幅单通道的所述第二小视野灰度图像,融合为一幅单通道灰度图像,得到去纹理的所述第二去纹理小视野图像;
将去纹理的三幅单通道的所述第三小视野灰度图像,融合为一幅单通道灰度图像,得到去纹理的所述第三去纹理小视野图像。
4.根据权利要求2所述的方法,其特征在于,所述异常区域为所述显示屏存在缺陷的区域,或者为所述显示屏存在灰尘的区域,灰尘不属于所述显示屏的缺陷;
所述根据所述三通道图像,确定所述异常区域是否存在缺陷,包括:
基于卷积神经网络训练获得的小视野分层模型,对所述三通道图像进行分析处理;
在所述小视野分层模型的输出指示所述异常区域对应的异常发生在所述像素层,或者发生在所述玻璃层下方时,确定所述异常区域存在缺陷;
在所述小视野分层模型的输出指示所述异常区域对应的异常发生在所述玻璃层上方时,确定所述异常区域存在灰尘。
5.根据权利要求4所述的方法,其特征在于,基于所述卷积神经网络训练获得所述小视野分层模型,包括:
构建小视野分层数据集,所述小视野分层数据集中的每对数据由所述小视野相机聚焦在所述像素层拍摄的图像、聚焦在所述玻璃层下方拍摄的图像、聚焦在所述玻璃层上方拍摄的图像经去纹理预处理后得到的样本三通道图像,以及所述样本三通道图像对应的标签组成,所述标签包括灰尘标签或缺陷标签;
基于卷积神经网络,搭建三通道输入的二分类神经网络;
基于所述小视野分层数据集中的数据,对所述三通道输入的二分类神经网络进行反向传播学习缺陷识别特征,至所述三通道输入的二分类神经网络收敛;
将收敛的所述三通道输入的二分类神经网络作为所述小视野分层模型。
6.根据权利要求4所述的方法,其特征在于,在所述确定所述异常区域存在缺陷之后,所述方法还包括:
将所述第一去纹理小视野图像和所述第二去纹理小视野图像组合为一幅二通道图像;
基于卷积神经网络训练获得的小视野分割模型,对所述二通道图像进行分析处理,提取所述异常区域中的缺陷信息,所述缺陷信息包括缺陷尺寸和缺陷位置。
7.根据权利要求6所述的方法,其特征在于,基于所述卷积神经网络训练获得所述小视野分割模型,包括:
构建小视野分割数据集,所述小视野分割数据集中的每对数据由所述小视野相机聚焦在所述像素层拍摄的图像、聚焦在所述玻璃层下方拍摄的图像经去纹理预处理后得到的样本二通道图像,以及所述样本二通道图像对应的分割标签组成;
基于卷积神经网络,搭建二通道输入的分割神经网络;
基于所述小视野分割数据集中的数据,对所述二通道输入的分割神经网络进行反向传播学习缺陷尺寸识别特征和缺陷位置识别特征,至所述二通道输入的分割神经网络收敛;
将收敛的所述二通道输入的分割神经网络作为所述小视野分割模型。
8.根据权利要求1所述的方法,其特征在于,所述根据所述全局大视野图像,确定所述显示屏包括的异常区域,包括:
提取所述全局大视野图像中所述显示屏的图像;
对所述显示屏的图像进行预处理;
对预处理后的所述显示屏的图像进行阈值分割,提取灰度值小于预设阈值的区域,得到所述异常区域。
9.根据权利要求1至8任一项所述的方法,其特征在于,所述显示屏包括第一区域和第二区域;
所述获取大视野相机拍摄的全局大视野图像,包括:
获取所述大视野相机拍摄的所述第一区域的大视野图像,以及所述第二区域的大视野图像;
根据所述第一区域的大视野图像和所述第二区域的大视野图像,得到所述全局大视野图像。
10.根据权利要求1至8任一项所述的方法,其特征在于,所述显示屏的缺陷包括像素缺失缺陷和贴合异物缺陷,所述像素缺失缺陷发生于所述像素层,所述贴合异物缺陷发生于所述玻璃层和所述像素层。
11.一种电子设备,其特征在于,所述电子设备包括:存储器和处理器,所述存储器和所述处理器耦合;所述存储器存储有程序指令,所述程序指令由所述处理器执行时,使得所述电子设备执行如权利要求1至10任意一项所述的显示屏缺陷的检测方法。
12.一种计算机可读存储介质,其特征在于,包括计算机程序,当所述计算机程序在电子设备上运行时,使得所述电子设备执行如权利要求1至10任意一项所述的显示屏缺陷的检测方法。
13.一种显示屏缺陷的检测装置,其特征在于,包括:驱动单元、大视野相机和小视野相机;
所述大视野相机,用于拍摄全局大视野图像,所述全局大视野图像包括待检测的显示屏的图像,所述全局大视野图像为所述大视野相机在所述显示屏处于亮屏状态时拍摄的图像;其中,所述全局大视野图像用于确定所述显示屏包括的异常区域;
所述驱动单元,用于驱动所述小视野相机在水平内移动至所述异常区域;
所述小视野相机,用于拍摄所述异常区域的第一小视野图像、第二小视野图像和第三小视野图像,所述第一小视野图像为所述小视野相机聚焦在所述显示屏的像素层拍摄的图像,所述第二小视野图像为所述小视野相机聚焦在所述显示屏的玻璃层下方拍摄的图像,所述第三小视野图像为所述小视野相机聚焦在所述显示屏的玻璃层上方拍摄的图像;其中,所述第一小视野图像、所述第二小视野图像和所述第三小视野图像用于确定所述异常区域是否存在缺陷。
14.一种显示屏缺陷的检测系统,其特征在于,包括如权利要求11所述的电子设备和如权利要求13所述的显示屏缺陷的检测装置;
所述电子设备与所述显示屏缺陷的检测装置通信连接;
当所述电子设备接收到所述显示屏缺陷的检测装置中的大视野相机拍摄的全局大视野图像时,执行如权利要求1至10任一项所述的显示屏缺陷的检测方法,根据所述全局大视野图像确定待检测的显示屏包括的异常区域,并通过显示屏缺陷的检测装置中的驱动单元驱动小视野相机移动至所述异常区域;
当所述电子设备接收到所述小视野相机拍摄的第一小视野图像、第二小视野图像和第三小视野图像时,执行如权利要求1至10任一项所述的显示屏缺陷的检测方法,根据所述第一小视野图像、所述第二小视野图像和所述第三小视野图像确定所述异常区域是否存在缺陷。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311482669.4A CN117218125B (zh) | 2023-11-09 | 2023-11-09 | 显示屏缺陷的检测方法、设备、存储介质、装置及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311482669.4A CN117218125B (zh) | 2023-11-09 | 2023-11-09 | 显示屏缺陷的检测方法、设备、存储介质、装置及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117218125A true CN117218125A (zh) | 2023-12-12 |
CN117218125B CN117218125B (zh) | 2024-05-03 |
Family
ID=89035657
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311482669.4A Active CN117218125B (zh) | 2023-11-09 | 2023-11-09 | 显示屏缺陷的检测方法、设备、存储介质、装置及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117218125B (zh) |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005164565A (ja) * | 2003-11-28 | 2005-06-23 | 3B System Inc | 低解像度および高解像度映像におけるフラットパネル用光関連板要素の欠陥検出方法 |
CN105300308A (zh) * | 2015-11-26 | 2016-02-03 | 凌云光技术集团有限责任公司 | 一种基于浅景深成像的深度测量方法及系统 |
CN109752394A (zh) * | 2019-01-28 | 2019-05-14 | 凌云光技术集团有限责任公司 | 一种显示屏缺陷高精度检测方法及系统 |
US20200141879A1 (en) * | 2017-06-14 | 2020-05-07 | Camtek Ltd. | Migdal Haemeq |
US20200349875A1 (en) * | 2018-07-02 | 2020-11-05 | Beijing Baidu Netcom Science Technology Co., Ltd. | Display screen quality detection method, apparatus, electronic device and storage medium |
CN113269762A (zh) * | 2021-05-31 | 2021-08-17 | 苏州华兴源创科技股份有限公司 | 屏幕不良检测方法、系统及计算机存储介质 |
CN115713491A (zh) * | 2022-11-02 | 2023-02-24 | 深圳市鑫信腾科技股份有限公司 | 液晶显示面板缺陷检测方法、装置及电子设备 |
CN116402797A (zh) * | 2023-04-10 | 2023-07-07 | 宜宾显微智能科技有限公司 | 基于双精度成像模组的大幅面微小缺陷检测系统及方法 |
CN116912475A (zh) * | 2023-09-11 | 2023-10-20 | 深圳精智达技术股份有限公司 | 一种显示屏异物检测方法、装置、电子设备和存储介质 |
-
2023
- 2023-11-09 CN CN202311482669.4A patent/CN117218125B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005164565A (ja) * | 2003-11-28 | 2005-06-23 | 3B System Inc | 低解像度および高解像度映像におけるフラットパネル用光関連板要素の欠陥検出方法 |
CN105300308A (zh) * | 2015-11-26 | 2016-02-03 | 凌云光技术集团有限责任公司 | 一种基于浅景深成像的深度测量方法及系统 |
US20200141879A1 (en) * | 2017-06-14 | 2020-05-07 | Camtek Ltd. | Migdal Haemeq |
US20200349875A1 (en) * | 2018-07-02 | 2020-11-05 | Beijing Baidu Netcom Science Technology Co., Ltd. | Display screen quality detection method, apparatus, electronic device and storage medium |
CN109752394A (zh) * | 2019-01-28 | 2019-05-14 | 凌云光技术集团有限责任公司 | 一种显示屏缺陷高精度检测方法及系统 |
CN113269762A (zh) * | 2021-05-31 | 2021-08-17 | 苏州华兴源创科技股份有限公司 | 屏幕不良检测方法、系统及计算机存储介质 |
CN115713491A (zh) * | 2022-11-02 | 2023-02-24 | 深圳市鑫信腾科技股份有限公司 | 液晶显示面板缺陷检测方法、装置及电子设备 |
CN116402797A (zh) * | 2023-04-10 | 2023-07-07 | 宜宾显微智能科技有限公司 | 基于双精度成像模组的大幅面微小缺陷检测系统及方法 |
CN116912475A (zh) * | 2023-09-11 | 2023-10-20 | 深圳精智达技术股份有限公司 | 一种显示屏异物检测方法、装置、电子设备和存储介质 |
Non-Patent Citations (1)
Title |
---|
亓宁宁 等: "基于机器视觉的玻璃缺陷检测", 光学仪器, vol. 42, no. 01, 15 February 2020 (2020-02-15), pages 25 - 31 * |
Also Published As
Publication number | Publication date |
---|---|
CN117218125B (zh) | 2024-05-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110659660B (zh) | 利用深度学习系统的自动光学检测分类设备及其训练设备 | |
KR102166458B1 (ko) | 인공신경망 기반의 영상 분할을 이용한 불량 검출 방법 및 불량 검출 장치 | |
CN110060237B (zh) | 一种故障检测方法、装置、设备及系统 | |
KR20200004825A (ko) | 디스플레이 장치 품질 검사 방법, 장치, 전자 장치 및 저장 매체 | |
CN112862770A (zh) | 一种基于人工智能的缺陷分析诊断系统、方法、装置 | |
CN112465706A (zh) | 一种闸口集装箱自动验残方法 | |
CN112150460A (zh) | 检测方法、检测系统、设备和介质 | |
KR20140091916A (ko) | 디스플레이 패널 검사방법 | |
CN111077150A (zh) | 一种基于计算机视觉和神经网络的大便智能分析方法 | |
CN116071315A (zh) | 一种基于机器视觉的产品可视缺陷检测方法及系统 | |
CN111724375A (zh) | 一种屏幕检测方法及系统 | |
US20240095983A1 (en) | Image augmentation techniques for automated visual inspection | |
CN113706496B (zh) | 一种基于深度学习模型的飞行器结构裂纹检测方法 | |
CN113283439B (zh) | 基于图像识别的智能计数方法、装置及系统 | |
KR102355997B1 (ko) | 스마트글래스 기반의 콘크리트 구조물 건전도 모니터링 방법 | |
CN105229665A (zh) | 对基于图像的蛇形带子磨损评估的增强分析 | |
CN115689970A (zh) | 显示面板的缺陷检测方法、装置、电子设备及存储介质 | |
CN117218125B (zh) | 显示屏缺陷的检测方法、设备、存储介质、装置及系统 | |
CN111563869B (zh) | 用于摄像模组质检的污点测试方法 | |
Kuo et al. | Automated inspection of micro-defect recognition system for color filter | |
CN114226262A (zh) | 瑕疵检测方法、瑕疵分类方法及其系统 | |
CN115131355B (zh) | 利用电子设备数据检测防水布异常的智能方法 | |
CN116152191A (zh) | 基于深度学习的显示屏裂纹缺陷检测方法、装置及设备 | |
CN114219758A (zh) | 缺陷检测方法、系统、电子设备和计算机可读存储介质 | |
JP5239275B2 (ja) | 欠陥検出方法および欠陥検出装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |