CN115222653B - 测试方法和装置 - Google Patents
测试方法和装置 Download PDFInfo
- Publication number
- CN115222653B CN115222653B CN202210521113.0A CN202210521113A CN115222653B CN 115222653 B CN115222653 B CN 115222653B CN 202210521113 A CN202210521113 A CN 202210521113A CN 115222653 B CN115222653 B CN 115222653B
- Authority
- CN
- China
- Prior art keywords
- image
- convolution
- characteristic image
- layer
- characteristic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000010998 test method Methods 0.000 title claims description 14
- 238000012360 testing method Methods 0.000 claims abstract description 295
- 230000007547 defect Effects 0.000 claims abstract description 228
- 238000000034 method Methods 0.000 claims abstract description 125
- 239000000428 dust Substances 0.000 claims abstract description 41
- 239000000284 extract Substances 0.000 claims abstract description 25
- 238000012545 processing Methods 0.000 claims description 252
- 238000010606 normalization Methods 0.000 claims description 68
- 230000006870 function Effects 0.000 claims description 55
- 230000004913 activation Effects 0.000 claims description 44
- 230000015654 memory Effects 0.000 claims description 32
- 238000003860 storage Methods 0.000 claims description 30
- 238000011176 pooling Methods 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 11
- 238000013527 convolutional neural network Methods 0.000 claims description 10
- 238000003384 imaging method Methods 0.000 abstract description 3
- 238000012549 training Methods 0.000 description 67
- 238000010586 diagram Methods 0.000 description 19
- 238000004891 communication Methods 0.000 description 17
- 238000004364 calculation method Methods 0.000 description 11
- 238000003062 neural network model Methods 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 7
- 238000001514 detection method Methods 0.000 description 7
- 239000011521 glass Substances 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 230000008034 disappearance Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000001681 protective effect Effects 0.000 description 4
- 230000003068 static effect Effects 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 239000000835 fiber Substances 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 2
- 239000006059 cover glass Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/32—Normalisation of the pattern dimensions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30121—CRT, LCD or plasma display
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例提供一种测试方法和装置,涉及计算机技术领域,方法包括:测试设备获取第一图像以及第二图像;测试设备利用第一预设模型提取第一图像中存在缺陷的缺陷图像;缺陷包括:灰尘、异物缺陷、以及像素缺陷;测试设备在第一图像中提取包括缺陷图像部分,得到第一目标图像;测试设备在第二图像中提取与第一目标图像的位置相对应的部分,得到第二目标图像;测试设备根据第一目标图像以及第二目标图像,得到测试结果。这样,终端设备可以利用第一预设模型实现对于第一图像中的缺陷图像的精准识别,捕捉不同缺陷之间成像的细微差别,使得测试设备可以根据包含缺陷的第一目标图像以及第二目标图像,对缺陷进行准确的识别。
Description
本申请要求于2021年12月17日提交中国专利局、申请号为202111556594.0、申请名称为“测试方法和装置”的中国专利申请的优先权,其全部内容通过引用结合在本申请中。
技术领域
本申请涉及计算机技术领域,尤其涉及一种测试方法和装置。
背景技术
随着终端技术的发展,显示屏作为一种图文显示工具被广泛应用到各行各业。终端设备(或可以理解为待测试设备)的显示屏在生产过程中,很难避免其内部出现缺陷,而显示屏内部一旦出现缺陷,则可能对显示屏的清晰度造成影响,影响用户的使用体验。因此,针对显示屏内部的缺陷检测成为终端设备出厂前必不可少的质检程序。其中,该缺陷可以包括异物缺陷以及像素缺陷。
通常情况下,测试设备可以通过检测终端设备的显示屏分别在亮屏状态以及灭屏状态的显示内容,确定是否检测到缺陷,例如当显示屏存在亮屏状态为黑点且灭屏状态为发亮的缺陷时,则可以确定识别到异物缺陷;或者,当显示屏存在亮屏状态为黑点且灭屏状态为不发亮的缺陷时,则可以确定识别到像素缺陷。
然而,由于掉落在显示屏的玻璃盖板内部的灰尘也会使得,显示屏中出现上述亮屏状态为黑点且灭屏状态为发亮的情况,因此上述测试方法的准确性较低。
发明内容
本申请实施例提供一种测试方法和装置,使得测试设备可以获取终端设备的显示屏分别在亮屏状态以及灭屏状态下的图像,并基于一定规则区分灰尘以及异物缺陷,实现对缺陷的精准识别。
第一方面,本申请实施例提供一种测试方法,方法包括:测试设备获取第一图像以及第二图像;其中,第一图像为无光源状态下待测试设备处于亮屏时拍摄得到的图像,第二图像为有光源状态下待测试设备处于灭屏时拍摄得到的图像;测试设备利用第一预设模型提取第一图像中存在缺陷的缺陷图像;缺陷包括:灰尘、异物缺陷、以及像素缺陷;测试设备在第一图像中提取包括缺陷图像部分,得到第一目标图像;测试设备在第二图像中提取与第一目标图像的位置相对应的部分,得到第二目标图像;测试设备根据第一目标图像以及第二目标图像,得到测试结果。这样,终端设备可以利用第一预设模型实现对于第一图像中的缺陷图像的精准识别,捕捉不同缺陷之间成像的细微差别,使得测试设备可以根据包含缺陷的第一目标图像以及第二目标图像,对缺陷进行准确的识别。
其中,第一图像为本申请实施例中描述的白屏图像;第二图像为本申请实施例中描述的灭屏图像;第一目标图像为本申请实施例中描述的白屏图像块;第二目标图像为本申请实施例中描述的灭屏图像块。
在一种可能的实现方式中,测试设备根据第一目标图像以及第二目标图像,得到测试结果,包括:测试设备利用第二预设模型识别第一目标图像以及第二目标图像,得到测试结果。这样,使得测试设备可以获取终端设备的显示屏分别在亮屏状态以及灭屏状态下的图像,并基于第二预设模型区分灰尘以及异物缺陷,实现对缺陷的精准识别。
在一种可能的实现方式中,第二预设模型中包括:置于第二预设模型中第一层的第一卷积层、置于第二预设模型中最后一层的第二卷积层、以及置于第一卷积层与第二卷积层中间的至少一个瓶颈层。这样,测试设备可以基于第二预设模型中的至少一个瓶颈层降低特征图像的纬度,减少算法的计算量。
其中,第一卷积层为本申请实施例中描述的conv8-1;第二卷积层为本申请实施例中描述的conv9-1;至少一个瓶颈层可以包括本申请实施例中描述的:瓶颈层1、瓶颈层2、瓶颈层3、瓶颈层4、瓶颈层5以及瓶颈层6。
在一种可能的实现方式中,测试设备利用第二预设模型识别第一目标图像以及第二目标图像,得到测试结果,包括:测试设备利用第一卷积层,对由第一目标图像以及第二目标图像构成的特征图像进行卷积处理,得到第一特征图像;测试设备利用至少一个瓶颈层对第一特征图像进行至少一次处理,得到经过至少一个瓶颈层处理后的第二特征图像;测试设备利用第二卷积层,对第二特征图像进行卷积处理,得到测试结果。这样,测试设备可以基于第二预设模型中的至少一个瓶颈层降低特征图像的纬度,减少算法的计算量。
其中,第一特征图像可以为图7中的经过conv-1处理得到的特征图像;第二特征图像可以为经过瓶颈层1-瓶颈层6的处理得到的特征图像。
在一种可能的实现方式中,第二预设模型中还包括:用于对特征图像进行均值处理的中间层,测试设备利用第二卷积层,对第二特征图像进行卷积处理,得到测试结果之前,方法还包括:测试设备利用中间层,对第二特征图像进行全局均值处理,得到第三特征图像;测试设备利用第二卷积层,对第二特征图像进行卷积处理,得到测试结果,包括:测试设备利用第二卷积层,对第三特征图像进行卷积处理,得到测试结果。这样,测试设备可以基于全局均值处理,减少输出图像的大小,减少模型中的计算量。
其中,第三特征图像可以为经过全局均值处理得到的特征图像。
在一种可能的实现方式中,任一瓶颈层中包括:至少一个卷积层、至少一个批归一化层、以及至少一个激活函数。这样,在瓶颈层中,测试设备可以基于批归一化层防止模型使用过程中梯度消失导致收敛速度下降,从而提高模型的收敛速度;并利用激活函数加快模型的处理速度,增加网络的非线性,提高模型的表达能力。
在一种可能的实现方式中,瓶颈层包括:第一瓶颈层,至少一个卷积层包括:第三卷积层以及第四卷积层,至少一个批归一化层包括:第一批归一化层以及第二批归一化层,至少一个激活函数包括:第一激活函数以及第二激活函数,测试设备利用至少一个瓶颈层对第一特征图像进行至少一次处理,得到经过至少一个瓶颈层处理后得到的第二特征图像,包括:在第一瓶颈层中,测试设备利用第三卷积层对第一特征图像进行卷积处理,得到第四特征图像,并且利用第四卷积层对第一特征图像进行卷积处理,得到第五特征图像;测试设备利用第一批归一化层对第四特征图像进行归一化处理,得到第六特征图像;测试设备利用第一激活函数对第六特征图像进行处理,得到第七特征图像;测试设备利用第二批归一化层对第五特征图像进行归一化处理,得到第八特征图像;测试设备对第七特征图像以及第八特征图像进行相加,得到第九特征图像;测试设备利用第二激活函数对第九特征图像进行处理,得到第二特征图像。这样,在瓶颈层中,测试设备可以基于批归一化层防止模型使用过程中梯度消失导致收敛速度下降,从而提高模型的收敛速度;并利用激活函数加快模型的处理速度,增加网络的非线性,提高模型的表达能力。
其中,第三卷积层可以为图8中的S801中的卷积层,第一批归一化层可以为图8中的S801中的批;第一激活函数可以为图8中的S801中的激活函数RELU;第四卷积层可以为图8中的S804中的卷积层;第二批归一化层可以为图8中的S804中的批归一化层,第二激活函数可以为对相加后的特征图像进行处理时用到的激活函数。
第四特征图像为图8中的S801中经过卷积处理的特征图像;第五特征图像为图8中的S804中经过卷积处理的特征图像;第六特征图像为图8中的S801中经过批归一化层的处理的特征图像;第七特征图像为图8中的S801输出的特征图像;第八特征图像为S804中经过批归一化层的处理的特征图像;第九特征图像为图8中经过图像相加处理输出的图像。这样,在瓶颈层中,测试设备可以基于批归一化层防止模型使用过程中梯度消失导致收敛速度下降,从而提高模型的收敛速度;并利用激活函数加快模型的处理速度,增加网络的非线性,提高模型的表达能力。
在一种可能的实现方式中,至少一个卷积层还包括:第五卷积层以及第六卷积层,至少一个批归一化层还包括:第三批归一化层以及第四批归一化层,至少一个激活函数还包括:第三激活函数以及第四激活函数,测试设备对第七特征图像以及第八特征图像进行相加,得到第九特征图像之前,方法还包括:测试设备利用第五卷积层对第七特征图像进行卷积处理,得到第十特征图像;测试设备利用第三批归一化层对第十特征图像进行归一化处理,得到第十一特征图像;测试设备利用第三激活函数对第十一特征图像进行处理,得到第十二特征图像;测试设备利用第六卷积层对第十二特征图像进行卷积处理,得到第十三特征图像;测试设备利用第四批归一化层对第十三特征图像进行归一化处理,得到第十四特征图像;测试设备利用第四激活函数对第十四特征图像进行处理,得到第十五特征图像;测试设备对第七特征图像以及第八特征图像进行相加,得到第九特征图像,包括:测试设备对第十五特征图像以及第八特征图像进行相加,得到第九特征图像。这样,在瓶颈层中,测试设备可以基于批归一化层防止模型使用过程中梯度消失导致收敛速度下降,从而提高模型的收敛速度;并利用激活函数加快模型的使用速度,增加网络的非线性,提高模型的表达能力。
其中,第五卷积层为图8中的S802中的卷积层;第六卷积层为图8中的S803中的卷积层;第三批归一化层为图8中的S802中的批归一化层;第四批归一化层为图8中的S803中的批归一化层;第三激活函数为图8中的S802中的激活函数RELU;第四激活函数为图8中的S803中的激活函数RELU。
在一种可能的实现方式中,第一预设模型为全卷积神经网络模型;在第一预设模型中,当第一预设模型的输入图像的尺寸为M*N*1时,第一预设模型的输出图像的尺寸为(M-28)*(N-28)*2。这样,测试设备可以利用全卷积神经网络模型实现对于任意大小的图像的识别。
在一种可能的实现方式中,测试设备利用第一预设模型提取第一图像中存在缺陷的缺陷图像,包括:测试设备利用第一预设模型对第一图像分别进行多次卷积处理,并将基于多次卷积处理分别得到的特征图像进行通道叠加,得到第十六特征图像;测试设备利用第一预设模型对第十六特征图像进行第一次裁剪处理,得到第十七特征图像,以及对第十六特征图像进行第一次池化处理,得到第十八特征图像;测试设备利用第一预设模型对第十八特征图像进行第一次反卷积处理,得到第十九特征图像;测试设备利用第一预设模型对第十七特征图像以及第十九特征图像进行通道叠加,得到第二十特征图像;测试设备利用第一预设模型对第二十特征图像进行多次卷积处理,得到缺陷图像。这样,在第一预设模型中,测试设备可以基于多次卷积处理提取图像更多的特征提高识别图像中的缺陷的准确性、基于池化处理调整特征图像的深度、并基于反卷积层填充图像内容,使得输出图像的内容变的变得丰富。
其中,以输入图像数据为64*64*1为例,第十六特征图像可以为图5中的尺寸为60*60*16的图像;第十七特征图像可以为经过剪裁处理的尺寸为40*40*16的特征图像;第十八特征图像可以经过池化处理的尺寸为30*30*16的特征图像;第十九特征图像可以为经过反卷积处理的尺寸为40*40*32的特征图像;第二十特征图像可以为尺寸为40*40*48的特征图像;缺陷图像可以为36*36*2。
在一种可能的实现方式中,测试设备利用第一预设模型对第二十特征图像进行多次卷积处理,得到缺陷图像,包括:测试设备利用第一预设模型对第二十特征图像进行第一次卷积处理,得到第二十一特征图像;测试设备利用第一预设模型对第二十一特征图像进行第二次卷积处理,得到缺陷图像;其中,第一次卷积处理以及第二次卷积处理中,均包括两次基于相同卷积核宽度、相同卷积核高度、以及相同填充值的卷积处理。这样,在第一预设模型中,测试设备可以基于多次卷积处理提取图像更多的特征,进而提高识别图像中的缺陷的准确性。
其中,第一次卷积处理可以为图5中的conv6-1;第二十一图像可以为尺寸为36*36*16的特征图像;第二次卷积处理可以为图5中的conv7-1。
在一种可能的实现方式中,测试设备利用第一预设模型对第十八特征图像进行第一次反卷积处理,得到第十九特征图像之前,方法还包括:测试设备利用第一预设模型对第十八特征图像进行第三次卷积处理,得到第二十二特征图像;测试设备利用第一预设模型对第二十二特征图像进行第二次裁剪处理,得到第二十三特征图像,以及对第二十二特征图像进行第二次池化处理,得到第二十四特征图像;第二次裁剪处理中的规则与第一次裁剪处理中的规则不同;测试设备利用第一预设模型对第二十四特征图像进行第四次卷积处理,得到第二十五特征图像;测试设备利用第一预设模型对第二十五特征图像进行第二次反卷积处理,得到第二十六特征图像;测试设备利用第一预设模型对第二十三特征图像以及第二十六特征图像进行通道叠加,得到第二十七特征图像;测试设备利用第一预设模型对第二十七特征图像进行第五次卷积处理,得到第二十八特征图像;其中,第五次卷积处理中包括两次基于相同卷积核宽度、相同卷积核高度、以及相同填充值的卷积处理;测试设备利用第一预设模型对第十八特征图像进行第一次反卷积处理,得到第十九特征图像,包括:测试设备利用第一预设模型对第二十八特征图像进行第一次反卷积处理,得到第十九特征图像。这样,在第一预设模型中,测试设备可以基于多次卷积处理提取图像更多的特征提高识别图像中的缺陷的准确性、基于池化处理调整特征图像的深度、并基于反卷积层填充图像内容,使得输出图像的内容变的变得丰富。
其中,图5中的第一次池化后30*30*16-通道叠加前的步骤;第三次卷积处理可以为图5中的conv3-1;第二十二图像可以为尺寸为28*28*32的特征图像;第二十三图像可以为尺寸为24*24*32的特征图像;第二十四图像可以为尺寸为14*14*32的特征图像;第四次卷积处理可以为图5中的conv4-1;第二十五图像可以为尺寸为12*12*64的特征图像;第二十六图像可以为尺寸为24*24*64的特征图像;第二十七特征图像可以为尺寸为24*24*96的特征图像;第五次卷积处理可以为图5中的conv5-1;第二十八特性图像可以为尺寸为20*20*32的特征图像。
在一种可能的实现方式中,测试设备利用第一预设模型对第一图像分别进行多次卷积处理,并将基于多次卷积处理分别得到的特征图像进行通道叠加,得到第十六特征图像,包括:测试设备利用第一预设模型中的第一参数,对第一图像进行第六次卷积处理,得到第二十九特征图像;测试设备利用第一预设模型中的第二参数,对第二十九特征图像进行第七次卷积处理,得到第三十特征图像;测试设备利用第一预设模型中的第三参数,对第一图像进行第八次卷积处理,得到第三十一特征图像;测试设备利用第一预设模型中的第四参数,对第一图像进行第九次卷积处理,得到第三十二特征图像;测试设备利用第一预设模型对第三十特征图像、第三十一特征图像、以及第三十二特征图像进行通道叠加,得到第十六特征图像;其中,第一参数、第二参数、第三参数或第四参数中的任一参数中包括卷积核尺寸以及填充值。这样,在第一预设模型中,测试设备可以基于多次卷积处理提取图像更多的特征,进而提高识别图像中的缺陷的准确性。
其中,第六次卷积处理可以为图5中的conv1-1;第二十九特征图像可以为尺寸为62*62*4的特征图像;第七次卷积处理可以为图5中的conv2-1;第三十特征图像可以为尺寸为60*60*8的特征图像;第八次卷积处理可以为图5中的conv1-2;第三十一特征图像可以为尺寸为60*60*4的特征图像;第九次卷积处理可以为图5中的conv1-3;第三十二特征图像可以为尺寸为60*60*4的特征图像。
在一种可能的实现方式中,测试设备根据第一目标图像以及第二目标图像,得到测试结果,包括:当第一目标图像中的缺陷的面积小于第二目标图像中的缺陷的面积时,测试设备确定测试结果为灰尘;或者,当第一目标图像中的缺陷的面积大于或等于第二目标图像中的缺陷的面积时,测试设备确定测试结果为异物缺陷。当光源照射在待测试设备的保护玻璃上时,保护玻璃上方的灰尘会产生光晕现象;而异物由于受到保护玻璃的遮挡,不会出现上述光晕现象,因此测试设备可以通过缺陷的面积进一步区分异物缺陷以及灰尘。
第二方面,本申请实施例提供一种测试装置,通信单元,用于获取第一图像以及第二图像;其中,第一图像为无光源状态下待测试设备处于亮屏时拍摄得到的图像,第二图像为有光源状态下待测试设备处于灭屏时拍摄得到的图像;处理单元,用于利用第一预设模型提取第一图像中存在缺陷的缺陷图像;缺陷包括:灰尘、异物缺陷、以及像素缺陷;处理单元,还用于在第一图像中提取包括缺陷图像部分,得到第一目标图像;处理单元,还用于在第二图像中提取与第一目标图像的位置相对应的部分,得到第二目标图像;处理单元,还用于根据第一目标图像以及第二目标图像,得到测试结果。
在一种可能的实现方式中,处理单元,具体用于利用第二预设模型识别第一目标图像以及第二目标图像,得到测试结果。
在一种可能的实现方式中,第二预设模型中包括:置于第二预设模型中第一层的第一卷积层、置于第二预设模型中最后一层的第二卷积层、以及置于第一卷积层与第二卷积层中间的至少一个瓶颈层。
在一种可能的实现方式中,处理单元,具体用于利用第一卷积层,对由第一目标图像以及第二目标图像构成的特征图像进行卷积处理,得到第一特征图像;处理单元,还具体用于利用至少一个瓶颈层对第一特征图像进行至少一次处理,得到经过至少一个瓶颈层处理后的第二特征图像;处理单元,还具体用于利用第二卷积层,对第二特征图像进行卷积处理,得到测试结果。
在一种可能的实现方式中,第二预设模型中还包括:用于对特征图像进行均值处理的中间层,处理单元,具体用于利用中间层,对第二特征图像进行全局均值处理,得到第三特征图像;处理单元,还具体用于利用第二卷积层,对第三特征图像进行卷积处理,得到测试结果。
在一种可能的实现方式中,任一瓶颈层中包括:至少一个卷积层、至少一个批归一化层、以及至少一个激活函数。
在一种可能的实现方式中,瓶颈层包括:第一瓶颈层,至少一个卷积层包括:第三卷积层以及第四卷积层,至少一个批归一化层包括:第一批归一化层以及第二批归一化层,至少一个激活函数包括:第一激活函数以及第二激活函数,在第一瓶颈层中,处理单元,具体用于利用第三卷积层对第一特征图像进行卷积处理,得到第四特征图像,并且利用第四卷积层对第一特征图像进行卷积处理,得到第五特征图像;处理单元,还具体用于利用第一批归一化层对第四特征图像进行归一化处理,得到第六特征图像;处理单元,还具体用于利用第一激活函数对第六特征图像进行处理,得到第七特征图像;处理单元,还具体用于利用第二批归一化层对第五特征图像进行归一化处理,得到第八特征图像;处理单元,还具体用于对第七特征图像以及第八特征图像进行相加,得到第九特征图像;处理单元,还具体用于利用第二激活函数对第九特征图像进行处理,得到第二特征图像。
在一种可能的实现方式中,至少一个卷积层还包括:第五卷积层以及第六卷积层,至少一个批归一化层还包括:第三批归一化层以及第四批归一化层,至少一个激活函数还包括:第三激活函数以及第四激活函数,处理单元,还用于利用第五卷积层对第七特征图像进行卷积处理,得到第十特征图像;处理单元,还用于利用第三批归一化层对第十特征图像进行归一化处理,得到第十一特征图像;处理单元,还用于利用第三激活函数对第十一特征图像进行处理,得到第十二特征图像;处理单元,还用于利用第六卷积层对第十二特征图像进行卷积处理,得到第十三特征图像;处理单元,还用于利用第四批归一化层对第十三特征图像进行归一化处理,得到第十四特征图像;处理单元,还用于利用第四激活函数对第十四特征图像进行处理,得到第十五特征图像;处理单元,还用于对第十五特征图像以及第八特征图像进行相加,得到第九特征图像。
在一种可能的实现方式中,第一预设模型为全卷积神经网络模型;在第一预设模型中,当第一预设模型的输入图像的尺寸为M*N*1时,第一预设模型的输出图像的尺寸为(M-28)*(N-28)*2。
在一种可能的实现方式中,处理单元,具体用于利用第一预设模型对第一图像分别进行多次卷积处理,并将基于多次卷积处理分别得到的特征图像进行通道叠加,得到第十六特征图像;处理单元,还具体用于利用第一预设模型对第十六特征图像进行第一次裁剪处理,得到第十七特征图像,以及对第十六特征图像进行第一次池化处理,得到第十八特征图像;处理单元,还具体用于利用第一预设模型对第十八特征图像进行第一次反卷积处理,得到第十九特征图像;处理单元,还具体用于利用第一预设模型对第十七特征图像以及第十九特征图像进行通道叠加,得到第二十特征图像;处理单元,还具体用于利用第一预设模型对第二十特征图像进行多次卷积处理,得到缺陷图像。
在一种可能的实现方式中,处理单元,具体用于利用第一预设模型对第二十特征图像进行第一次卷积处理,得到第二十一特征图像;处理单元,还具体用于利用第一预设模型对第二十一特征图像进行第二次卷积处理,得到缺陷图像;其中,第一次卷积处理以及第二次卷积处理中,均包括两次基于相同卷积核宽度、相同卷积核高度、以及相同填充值的卷积处理。
在一种可能的实现方式中,处理单元,还用于利用第一预设模型对第十八特征图像进行第三次卷积处理,得到第二十二特征图像;处理单元,还用于利用第一预设模型对第二十二特征图像进行第二次裁剪处理,得到第二十三特征图像,以及对第二十二特征图像进行第二次池化处理,得到第二十四特征图像;第二次裁剪处理中的规则与第一次裁剪处理中的规则不同;处理单元,还用于利用第一预设模型对第二十四特征图像进行第四次卷积处理,得到第二十五特征图像;处理单元,还用于利用第一预设模型对第二十五特征图像进行第二次反卷积处理,得到第二十六特征图像;处理单元,还用于利用第一预设模型对第二十三特征图像以及第二十六特征图像进行通道叠加,得到第二十七特征图像;处理单元,还用于利用第一预设模型对第二十七特征图像进行第五次卷积处理,得到第二十八特征图像;其中,第五次卷积处理中包括两次基于相同卷积核宽度、相同卷积核高度、以及相同填充值的卷积处理;处理单元,还用于利用第一预设模型对第二十八特征图像进行第一次反卷积处理,得到第十九特征图像。
在一种可能的实现方式中,处理单元,具体用于利用第一预设模型中的第一参数,对第一图像进行第六次卷积处理,得到第二十九特征图像;处理单元,还具体用于利用第一预设模型中的第二参数,对第二十九特征图像进行第七次卷积处理,得到第三十特征图像;处理单元,还具体用于利用第一预设模型中的第三参数,对第一图像进行第八次卷积处理,得到第三十一特征图像;处理单元,还具体用于利用第一预设模型中的第四参数,对第一图像进行第九次卷积处理,得到第三十二特征图像;处理单元,还具体用于利用第一预设模型对第三十特征图像、第三十一特征图像、以及第三十二特征图像进行通道叠加,得到第十六特征图像;其中,第一参数、第二参数、第三参数或第四参数中的任一参数中包括卷积核尺寸以及填充值。
在一种可能的实现方式中,当第一目标图像中的缺陷的面积小于第二目标图像中的缺陷的面积时,处理单元,具体用于确定测试结果为灰尘;或者,当第一目标图像中的缺陷的面积大于或等于第二目标图像中的缺陷的面积时,处理单元,还具体用于确定测试结果为异物缺陷。
第三方面,本申请实施例提供一种测试系统,测试系统包括:待测试设备、测试设备、图像采集设备、以及光源发射设备,测试设备用于执行如第一方面或第一方面的任一种实现方式中描述的方法。
第四方面,本申请实施例提供一种测试设备,包括存储器和处理器,存储器用于存储计算机程序,处理器用于调用计算机程序,以执行执行如第一方面或第一方面的任一种实现方式中描述的方法。
第五方面,本申请实施例提供一种计算机可读存储介质,计算机可读存储介质存储有指令,当指令被执行时,使得计算机执行如第一方面或第一方面的任一种实现方式中描述的方法。
附图说明
图1为本申请实施例提供的一种显示屏缺陷的示意图;
图2为一种测试方法示意图;
图3为本申请实施例提供的一种异物识别系统的结构示意图;
图4为本申请实施例提供的一种测试方法的流程示意图;
图5为本申请实施例提供的一种基于第一预设模型提取缺陷位置的示意图;
图6为本申请实施例提供的一种白屏图像以及灭屏图像的示意图;
图7为本申请实施例提供的一种基于第二预设模型进行缺陷识别的示意图;
图8为本申请实施例提供的一种瓶颈层处理过程的示意图;
图9为本申请实施例提供的一种测试装置的结构示意图;
图10为本申请实施例提供的一种测试设备的硬件结构示意图;
图11为本申请实施例提供的一种芯片的结构示意图。
具体实施方式
为了便于清楚描述本申请实施例的技术方案,在本申请的实施例中,采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。例如,第一值和第二值仅仅是为了区分不同的值,并不对其先后顺序进行限定。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定,并且“第一”、“第二”等字样也并不限定一定不同。
需要说明的是,本申请中,“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其他实施例或设计方案更优选或更具优势。确切而言,使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
本申请中,“至少一个”是指一个或者多个,“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B的情况,其中A,B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达,是指的这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a,b,或c中的至少一项(个),可以表示:a,b,c,a和b,a和c,b和c,或a、b和c,其中a,b,c可以是单个,也可以是多个。
通常情况下,终端设备的显示屏可以出现三种情况,包括:灰尘情况、异物缺陷(或称为贴合异物类缺陷)情况、以及像素缺陷情况。针对灰尘情况,由附着在屏幕保护玻璃的上方的灰尘形成;针对异物缺陷情况,由附着在屏幕保护玻璃与屏幕之间的灰尘形成;针对像素缺陷情况,由屏幕上的存在问题的像素点形成。
其中,该异物缺陷情况以及像素缺陷均可以理解为显示屏存在缺陷,因此测试设备可以通过对上述两种缺陷以及灰尘的检测,对终端设备的显示屏进行测试。
示例性的,测试设备可以基于检测终端设备的显示屏分别在亮屏状态以及灭屏状态的显示内容,确定是否检测到缺陷。
示例性的,图1为本申请实施例提供的一种显示屏缺陷的示意图,在图1对应的实施例中,以终端设备为手机为例进行示例说明,该示例并不构成对本申请实施例的限定。
如图1所示,该终端设备的显示屏中可能存在:缺陷101、缺陷102、缺陷103、缺陷104以及缺陷105等,因此测试设备可以基于图2对应的实施例中描述的测试方法,检测到该终端设备的显示屏中的缺陷。其中,该缺陷101、缺陷102、以及缺陷103均可以为灰尘,该缺陷104可以为异物缺陷、该缺陷105可以为像素缺陷。
示例性的,图2为一种测试方法示意图。如图2所示,测试设备可以分别获取手机的显示屏在亮屏状态下的白屏图像,如图2中的a所示的图像,以及手机的显示屏在灭屏状态下的灭屏图像,如图2中的b所示的图像。
针对同一个终端设备的显示屏,由于亮屏状态下的像素缺陷、异物缺陷以及灰尘均可以呈现出黑点的情况,因此如图2中的a所示的白屏图像中可以检测到可能的缺陷,如:缺陷201、缺陷202、缺陷203、缺陷204以及缺陷205。由于灭屏状态下的异物缺陷以及灰尘均可以发亮,而灭屏状态下的像素缺陷不发亮,因此如图2中的b所示的灭屏图像中可以检测到:确定没有发亮的为像素缺陷,而发亮的可以为异物缺陷或者灰尘,例如缺陷211、缺陷212、缺陷213、以及缺陷214。
进一步的,测试设备可以通过将如图2中的a所示的白屏图像与如图2中的b所示的灭屏图像相减的方法,得到显示屏的测试结果。例如,将如图2中的a所示的白屏图像与如图2中的b所示的灭屏图像相减,得到如图2中的c所示的图像,该图像中可以显示识别到的像素缺陷为缺陷225;且测试设备无法区分缺陷221、缺陷222、缺陷223、以及缺陷224。
可以理解的是,由于大部分异物均可以在灭屏状态下被光源打亮,使得测试设备可以在灭屏状态下检测到灰尘以及发亮的异物缺陷,因此测试设备难以利用上述白屏图像与灭屏图像相减的方法,区分灰尘以及异物,进而难以准确的检测出显示屏中的全部缺陷。
有鉴于此,本申请实施例提供一种测试方法,测试设备获取第一图像以及第二图像;其中,第一图像为无光源状态下待测试设备处于亮屏时拍摄得到的图像,第二图像为有光源状态下待测试设备处于灭屏时拍摄得到的图像;测试设备利用第一预设模型提取第一图像中存在缺陷的缺陷图像;通过第一预设模型实现对于第一目标图像的精准检测;测试设备在第一图像中提取包括缺陷图像部分,得到第一目标图像;测试设备在第二图像中提取与第一目标图像的位置相对应的部分,得到第二目标图像;测试设备根据第一目标图像以及第二目标图像,得到测试结果,使得测试设备可以基于神经网络模型实现对缺陷的精准识别,进而提高测试效率。
可以理解的是,上述测试设备可以为手机(mobile phone)、平板电脑(Pad)、电脑、或者服务器等,本申请实施例中对测试设备所采用的具体技术的具体形态不做限定。
可以理解的是,上述终端设备也可以称为终端,(terminal)、用户设备(userequipment,UE)、移动台(mobile station,MS)、移动终端(mobile terminal,MT)等。终端设备可以为拥有显示屏的手机、智能电视、穿戴式设备、平板电脑、带无线收发功能的电脑、虚拟现实(virtual reality,VR)终端设备、增强现实(augmented reality,AR)终端设备、智慧家庭(smart home)中的无线终端等等。本申请的实施例对终端设备所采用的具体技术和具体设备形态不做限定。
因此,为了能够更好地理解本申请实施例,下面对应用于测试方法的系统进行介绍。示例性的,图3为本申请实施例提供的一种测试系统的结构示意图。
如图3所示,该测试系统可以包括:待测试设备(或称为终端设备)的待测试显示屏301、图像采集设备302、测试设备303以及光源发射设备304。
待测试显示屏301可以为任一终端设备的待测试屏幕。
图像采集设备302可以用于采集待测试显示屏301在不同状态时的图像,例如采集显示屏在亮屏状态以及灭屏状态下的图像。该图像采集设备302可以为相机、或摄像头等。图像采集设备302可移动,例如图像采集设备302可以在待测试显示屏301不同方向上对其进行拍照,如图像采集设备302在待测试显示屏301的正上方、侧上方等对其进行拍照。
图像采集设备302可以设置为一个或多个。
测试设备303可以通过对图像采集设备302获得的图像进行检测,以找到图像上的异物缺陷、灰尘以及像素缺陷,实现精准判别。例如,该测试设备可以基于预设的模型,如神经网络模型对图像上的异物缺陷、灰尘以及像素缺陷进行识别,进而准确的检测出显示屏中的全部缺陷。
可能的实现方式中,测试设备303可以直接或者间接与图像采集设备302相连,例如测试设备303可以通过有线或者无线的方式与图像采集设备302相连。测试设备303还可以控制图像采集设备302的移动方向,以及图像采集操作等。测试设备303也可以与光源发射设备304相连,以控制光源发射设备304的开启、关闭、和移动等,以及其他控制光源发射设备304发射光源的操作。基于此,测试设备303可以实现本系统的自动化控制和运行。
光源发射设备304可以用于提供光源,例如该光源发射设备304可以提供不同方向上的光源,如光源发射设备304可以通过移动提供不同方向上的光源。光源发射设备304可以设置为一个或多个。
可能的实现方式中,上述光源发射设备304、图像采集设备302以及测试设备303也可以集成为一个综合设备,该综合设备可以实现上述光源发射设备304、图像采集设备302以及测试设备303中的所有功能,本申请实施例中对此不做限定。
下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以独立实现,也可以相互结合,对于相同或相似的概念或过程可能在某些实施例中不再赘述。
示例性的,图4为本申请实施例提供的一种测试方法的流程示意图。如图4所示,该测试方法可以包括如下步骤:
S401、测试设备获取白屏图像以及灭屏图像。
本申请实施例中,白屏图像可以为终端设备在无光源状态下处于亮屏时拍摄得到的图像,灭屏图像(或也可以称为除尘图像)可以为终端设备在有光源状态下处于灭屏时拍摄得到的图像。
示例性的,在图3对应的测试系统中,针对白屏图像,终端设备可以开启待测试显示屏301的白屏界面,如该测试显示屏301可以显示白色图像,此时关闭光源发射设备304,使得测试系统处于无光源状态,进而利用图像采集设备302拍摄得到白屏图像;针对灭屏图像,终端设备可以关闭待测试显示屏301的界面,此时开启光源发射设备304,使得测试系统处于有光源状态,进而利用图像采集设备302拍摄得到灭屏图像。进一步的,图像采集设备302可以将白屏图像以及灭屏图像输入测试设备,使得测试设备可以基于获取的白屏图像以及灭屏图像进行后续处理。
S402、测试设备利用第一预设模型提取白屏图像中可能的缺陷位置。
本申请实施例中,该可能的缺陷位置可以包括:灰尘位置、异物缺陷位置、以及像素缺陷位置等。可以理解的是,由于灰尘、异物缺陷以及像素缺陷均可以在白屏图像中呈现为黑点(或黑线)等形状,因此可以通过检测白屏图像中的黑点(或黑线)等形状,将可能的缺陷位置检测出来,后续可以通过对该黑点(或黑线)等形状的进一步检测得到测试结果。
示例性的,使得测试设备可以基于第一预设模型,如神经网络模型等提取白屏图像中可能的缺陷位置。其中,该第一预设模型可以为训练设备基于白屏图像样本数据训练得到的。例如,训练设备训练可以提取白屏图像中的缺陷位置的第一预设模型的过程可以参见图5对应的实施例。
示例性的,图5为本申请实施例提供的一种基于第一预设模型提取缺陷位置的示意图。在如图5对应的实施例中,该第一预设模型可以为全卷积神经网络(fullyconvolutional network,FCN)模型。可以理解的是,相比于卷积神经网络(convolutionalneural networks,CNN),FCN模型可以将CNN模型中常用的全连接层替换为卷积层,实现对于任意大小的图像的识别,并输出目标图像,如白屏图像中可能的缺陷位置所属的像素范围。
如图5所示的第一预设模型中可以包括多个卷积层,任一卷积层都具有卷积核以及卷积处理时相应的参数,如卷积核大小(kernel size,或简称k)、填充值(padding,或简称p)、以及卷积步长(stride,或简称s)等参数。其中,卷积核是一种滤波器,用于提取图像的特征图,卷积核的尺寸包括宽度、高度和通道数,且卷积核的通道数与输入图像的通道数相等;s指的是卷积核在输入图像上进行滑动提取该输入图像的特征图的过程中,该卷积核在高度方向和宽度方向执行两次卷积处理之间滑动的距离;p指的是在输入图像的边缘填充的像素值为0的像素的层数。例如,当k=3、且卷积层的输入图像的通道数为1时,则卷积核的尺寸可以为3*3*1。
可以理解的是,第一预设模型是基于白屏图像样本数的训练得到的,该白屏图像样本数据中可以包括:带有缺陷的白屏图像样本数据、以及不带有缺陷到白屏图像样本数据。
如图5所示,在进行第一预设模型的训练时,训练设备可以向未训练好的模型中输入尺寸为64*64*1的白屏图像样本数据。在第1-1层卷积(如conv1-1)计算中,训练设备基于卷积核尺寸为3*3*1、以及p为0,对64*64*1的白屏图像样本进行卷积处理,得到尺寸为62*62*4的特征图像;在第2-1层卷积(如conv2-1)计算中,训练设备基于卷积核尺寸为3*3*4、以及p为0,对基于1-1层卷积处理得到的尺寸为62*62*4的特征图像进行卷积处理,得到尺寸为60*60*8的特征图像。在第1-2层卷积(如conv1-2)计算中,训练设备基于卷积核尺寸为5*5*1、以及p为1,对64*64*1的白屏图像样本进行卷积处理,得到尺寸为60*60*4的特征图像。在第1-3层卷积(如conv1-3)计算中,训练设备基于卷积核尺寸为7*7*1、以及p为2,对64*64*1的白屏图像样本进行卷积处理,得到尺寸为60*60*4的特征图像。进一步的,将基于2-1层卷积处理得到的尺寸为60*60*8的特征图像、基于1-2层卷积处理得到的尺寸为60*60*4的特征图像、以及基于1-3层卷积处理得到的尺寸为60*60*4的特征图像进行通道叠加,得到尺寸为60*60*16的特征图像。
如图5所示,训练设备对尺寸为60*60*16的特征图像进行池化处理,得到尺寸为30*30*16的特征图像。
示例性的,两种常见的池化处理可以包括:均值池化(average pooling)和最大值池化(max pooling),上两种池化处理均是在特征图像的宽度和高度这两个维度进行处理,并不影响输出特征图的深度。其中,本申请实施例是采用最大值池化方式对特征图像进行池化处理。
如图5所示,训练设备对尺寸为60*60*16的特征图像进行剪裁处理,得到尺寸为40*40*16的特征图像。
示例性的,训练设备对尺寸为60*60*16的特征图像进行剪裁处理可以理解为,训练设备将尺寸为60*60*16的特征图像中的边缘为20的像素剪裁掉,并保留60*60*16的特征图像中处于中心位置处的40*40*16的特征图像。
如图5所示,在第3-1层卷积(如conv3-1)计算中,训练设备基于卷积核尺寸为3*3*16、以及p为0,对30*30*16的特征图像进行卷积处理,得到尺寸为28*28*32的特征图像。
如图5所示,训练设备对尺寸为28*28*32的特征图像进行剪裁处理,得到尺寸为24*24*32的特征图像;并对尺寸为28*28*32的特征图像进行池化处理,得到尺寸为14*14*32的特征图像。在第4-1层卷积(如conv4-1)计算中,训练设备基于卷积核尺寸为3*3*32、以及p为0,对14*14*32的白屏图像样本进行卷积处理,得到尺寸为12*12*64的特征图像;训练设备对尺寸为12*12*64的特征图像进行反卷积处理,得到尺寸为24*24*64的特征图像。进一步的,训练设备对经过剪裁处理的尺寸为24*24*32的特征图像、以及基于第4-1层卷积中进行卷积处理的尺寸为24*24*64的特征图像进行通道叠加处理,得到24*24*96的特征图像。
示例性的,反卷积处理中的反卷积核为原卷积核的转置矩阵,训练设备可以利用反卷积层填充图像内容,使得输出图像的内容变的变得丰富,例如反卷积层处理后得到的特征图像的宽度和高度都提高至输入的特征图像的两倍,且反卷积处理后的特征图像的通道数可以与反卷积处理前的特征图像的通道数相同。
如图5所示,在第5-1层卷积(如conv5-1)计算中,训练设备基于卷积核尺寸为3*3*输入图像的通道数、以及p为0,对尺寸为24*24*96的特征图像进行二次卷积处理,得到尺寸为20*20*32的特征图像。训练设备对尺寸为20*20*32的特征图像进行反卷积处理,得到尺寸为40*40*32的特征图像。进一步的,训练设备将经过裁剪处理的尺寸为40*40*16的特征图像、以及经过反卷积处理的尺寸为40*40*32的特征图像进行通道叠加,得到尺寸为40*40*48的特征图像。
如图5所示,在第6-1层卷积(如conv6-1)计算中,训练设备基于卷积核尺寸为3*3*输入图像的通道数、以及p为0,对40*40*48的特征图像进行2次卷积处理,得到尺寸为36*36*16的特征图像。进一步的,在第7-1层卷积(如conv7-1)计算中,训练设备基于卷积核尺寸为1*1*输入图像的通道数、以及p为0,对尺寸为36*36*16的特征图像进行2次卷积处理,得到尺寸为36*36*2的特征图像。
可以理解的是,在如图5所示的训练第一预设模型的过程中,输入数据可以为尺寸为64*64*1的白屏图像样本,输出预测识别结果可以为36*36*2,可以理解36*36*2中包含两个类别,如确定输出图像识别为缺陷、或者输出图像未识别出缺陷。例如,在训练设备识别输入图像中包括缺陷的情况下,输出缺陷图像、以及缺陷图像位置。进而,训练设备利用损失函数比较预测识别结果与真实识别结果的差距,当该模型输出的预测识别结果与真实识别结果的差距不满足损失函数,则调整该模型参数,继续训练;直到模型输出的预测识别结果与真实识别结果的差距满足损失函数,则模型训练结束,得到能够识别白屏图像中的缺陷的第一预设模型。
可以理解的是,图5对应的第一预设模型中包括多个卷积层,最开始的卷积层往往提取较多的一般特征,一般特征也可以称为低级别的特征,越往后的卷积层提取到的特征越来越复杂,越复杂的特征更容易实现对缺陷的识别,因此当第一预设模型中的卷积层的数量越多时,可使得图像检测结果更加准确。
在训练设备训练得到如图5所示的第一预设模型的情况下,测试设备可以将该训练好的第一预设模型内置在本设备中,进而将S401所示的步骤中拍摄得到的白屏图像输入至第一预设模型中,并输出带有缺陷位置的缺陷图像。其中,该输入的白屏图像的图像大小可以为任意大小,例如当输入的白屏图像的图像大小为N*N*1时,则输出的缺陷图像可以为(N-28)*(N-28)*2;或者当输入的白屏图像的图像大小为M*N*1时,则输出的缺陷图像可以为(M-28)*(N-28)*2。
可以理解的是,当输入至测试设备的第一预设模型的白屏图像的图像大小为64*64*1时,则输出的缺陷图像可以为32*32*2,且测试设备对输入图像64*64*1的图像处理过程可以参见图5对应的实施例中训练设备对输入图像进行处理的过程,在此不再赘述。
可以理解的是,该第一预设模型的训练过程可以在训练设备中进行,例如该训练设备可以为电脑、或服务器等设备;该第一预设模型的使用过程可以在测试设备中进行。
可能的实现方式中,测试设备也可以通过图像处理的方法提取白屏图像中的可能的缺陷位置。例如,测试设备可以对白屏图像进行特征提取,如测试设备可以基于加速分段试验(features from accelerated segment test,FAST)特征检测算法、哈里斯(harris)特征检测算法、尺寸不变特征转换(scale-invariant feature transform,SIFT)特征检测算法、或加速稳健特征(speeded up robust features,SURF)特征检测算法等,根据白屏图像中的灰度值、尺寸、形状、和/或位置等特征进行特征提取,进而得到白屏图像中的可能的缺陷位置。
可以理解的是,测试设备也可以基于其他方法提取白屏图像中的可能的缺陷位置,本申请实施例中对此不做限定。
S403、测试设备获取白屏图像中的可能的缺陷位置所对应的、白屏图像块以及灭屏图像块,得到待识别图像。
本申请实施例中,该白屏图像块可以为测试设备以基于S402所示的步骤中获取的白屏图像中的可能的缺陷位置的中心裁剪出的预设大小的图像块;该灭屏图像块在灭屏图像中的位置,可以与白屏图像块在白屏图像中的位置相同的;该待识别图像中可以包括:至少一组白屏图像块以及灭屏图像块。
示例性的,图6为本申请实施例提供的一种白屏图像以及灭屏图像的示意图。如图6所示,测试设备检测到的白屏图像中可能的缺陷位置可以包括:缺陷601、缺陷602、缺陷603、缺陷604以及缺陷605。测试设备可以在白屏图像以及灭屏图像中分别裁剪出基于该可能的缺陷位置得到的图像块,例如该缺陷601(或缺陷602或缺陷603)对应的待识别图像可以为图像组511,该缺陷604对应的待识别图像可以为图像组512,该缺陷605对应的待识别图像可以为图像组513。可以理解的是,如图6所示,当该白屏图像中的可能的缺陷位置为5个时,则测试设备可以分别获取该5个测试位置上对应的白屏图像块以及灭屏图像块,得到5组待识别图像。
S404、测试设备利用第二预设模型以及待识别图像,得到识别结果。
本申请实施例中,测试设备可以基于第二预设模型对该待识别图像进行检测;或者,测试设备也可以基于待识别图像中的缺陷的明暗情况以及缺陷的面积,对待识别图像进行识别。
一种实现中,测试设备也可以基于待识别图像中的缺陷的明暗情况以及缺陷的面积对待识别图像进行识别,得到识别结果。
示例性的,待识别图像中包括白屏图像块以及灭屏图像块。当测试设备确定该白屏图像块中指示缺陷为黑点,且对应的该灭屏图像块中指示缺陷不发亮(例如亮度阈值低于第一亮度阈值)时,则测试设备可以确定识别结果为像素缺陷;当测试设备确定该白屏图像块中指示缺陷为黑点,且对应的该灭屏图像块中指示缺陷发亮(例如亮度阈值高于第二亮度阈值)时,则测试设备可以确定识别结果为异物缺陷、或者灰尘。其中,第二亮度阈值大于第一亮度阈值。
进一步的,在识别结果为异物缺陷或者灰尘的情况下,测试设备可以基于缺陷的面积进行再次识别。例如,当测试设备确定该白屏图像块中指示的缺陷的面积,大于或等于对应的该灭屏图像块中指示的缺陷的面积时,则测试设备可以确定识别结果为异物缺陷;或者,当测试设备确定该白屏图像块中指示的缺陷的面积,小于对应的该灭屏图像块中指示的缺陷的面积时,则测试设备可以确定识别结果为灰尘。
可以理解的是,在图3对应的测试系统中,当光源照射在保护玻璃上时,保护玻璃上方的灰尘会产生光晕现象;而异物由于受到保护玻璃的遮挡,不会出现上述光晕现象。因此测试设备可以通过缺陷的面积进一步区分异物缺陷以及灰尘。
可能的实现方式中,测试设备可以虽然可以通过缺陷的面积粗略地对异物缺陷和灰尘进行区分,但由于成像环境的干扰以及图像噪声的影响,使得这种方法的识别精度较低,因此测试设备可以利用第二预设模型,提取待识别图像中的图像特征,并实现对于待识别图像中的缺陷的精准识别。
另一种实现中,测试设备利用第二预设模型、以及待识别图像,得到识别结果。可以理解的是,由于神经网络模型可以利用灰尘、以及异物缺陷之间成像的细微差别提取特征,并对其进行区分,因此具有较好的识别效果。
本申请实施例中,第二预设模型可以为神经网络模型,如CNN等模型。其中,第二预设模型可以为训练设备基于图像样本数据的训练得到的,该图像样本数据中可以包括多组由白屏图像块以及灭屏图像块构成的样本数据。示例性的,训练设备利用白屏图像块以及灭屏图像块,训练可以识别异物缺陷、灰尘、以及像素缺陷的第二预设模型的过程可以参见图7对应的实施例。
示例性的,图7为本申请实施例提供的一种基于第二预设模型进行缺陷识别的示意图。如图7所示,该第二预设模型中可以包括2个卷积层以及多个瓶颈层,该2个卷积层可以分别位于第二预设模型的第一层、以及第二预设模型的最后一层。其中,瓶颈层主要作用是使用1x1的卷积降低特征图像的维度,减少算法的计算量。
如图7所示,c可以理解为卷积核数量、e可以理解为通道的膨胀系数、o可以理解为输出通道数。在训练设备进行第二预设模型的训练时,可以向未训练好的模型中输入包含白屏图像块以及灭屏图像块的64*64*2的样本。在第8-1层卷积(如conv8-1)计算中,训练设备基于c为8、卷积核尺寸为3*3*2、p为0、以及s为2,对64*64*2的特征图像进行卷积处理,得到尺寸为32*32*8的特征图像。
如图7所示,在瓶颈层1中,训练设备可以基于e为64、o为24、以及s为2,对32*32*8的特征图像进行处理,得到尺寸为16*16*24的特征图像。在瓶颈层2中,训练设备可以基于e为72、o为24、以及s为1,对16*16*24的特征图像进行处理,得到尺寸为16*16*24的特征图像。在瓶颈层3中,训练设备可以基于e为96、o为40、以及s为1,对16*16*24的特征图像进行处理,得到尺寸为8*8*24的特征图像。在瓶颈层4中,训练设备可以基于e为120、o为48、以及s为2,对8*8*24的特征图像进行处理,得到尺寸为8*8*24的特征图像。在瓶颈层5中,训练设备可以基于e为240、o为48、以及s为1,对8*8*24的特征图像进行处理,得到尺寸为8*8*24的特征图像。在瓶颈层6中,训练设备可以基于e为480、o为96、以及s为2,对8*8*24的特征图像进行处理,得到尺寸为4*4*24的特征图像。
在进行如图7所示瓶颈层处理后,对4*4*24的特征图像进行全局均值处理,得到尺寸为1*1*24的特征图像。进一步的,在第9-1层卷积(如conv9-1)计算中,训练设备基于c为3、卷积核尺寸为1*1*24、p为0、以及s为1,对1*1*24的特征图像进行卷积处理,得到尺寸为1*1*3的识别结果。其中,该识别结果可以包括:用于指示识别出灰尘的标识,如标签为0;用于指示识别出异物缺陷的标识,如标签为1;以及用于指示识别出像素缺陷的标识,如标签为2。进而,训练设备利用损失函数比较预测的识别结果与真实的识别结果的差距,当该模型输出的预测的识别结果与真实的识别结果的差距不满足损失函数,则调整该模型参数,继续训练;直到模型输出的预测的识别结果与真实的识别结果的差距满足损失函数,则模型训练结束,得到能够识别灰尘、异物缺陷、以及像素缺陷的第二预设模型。
在训练设备训练得到如图7所示的第二预设模型的情况下,测试设备可以将该训练好的第二预设模型内置在本设备中,进而测试设备可以将包含白屏图像块以及灭屏图像块的特征图像输入至第二预设模型中,并输出测试结果。
可以理解的是,当输入至测试设备的第二预设模型的特征图像的尺寸为64*64*2时,则输出测试结果可以为1*1*3;且测试设备对输入图像64*64*2的图像处理过程可以参见图7对应的实施例中训练设备对输入图像进行处理的过程,在此不再赘述。
可能的实现方式中,在图7对应的实施例的基础上,针对任一瓶颈层,图8为本申请实施例提供的一种瓶颈层处理过程的示意图。如图8中的a所示,任一瓶颈层中,训练设备可以基于e、o、以及s,对N*N*C的特征图像进行卷积处理。在S801中,训练设备基于k为1、以及c为e,对N*N*C的特征图像进行卷积处理,得到S801的卷积处理结果;将S801的卷积处理结果输入至批归一化(batch normalization,BN)层进行归一化处理,得到S801的归一化结果;利用激活函数,如线性整流函数(rectified linear unit,RELU)等对S801的归一化结果进行处理,得到S801对应的特征图像。
示例性的,BN层用于防止训练过程中梯度消失导致收敛速度下降,从而提高模型的收敛速度;激活函数可以用于加快网络训练速度,增加网络的非线性,提高模型的表达能力。
在S802中,训练设备基于k为3、c为e、s、以及p为1,对S801对应的特征图像进行卷积处理,得到S802的卷积处理结果;将S802的卷积处理结果输入BN层进行归一化处理,得到S802的归一化结果;利用激活函数RELU对S802的归一化结果进行处理,得到S802对应的特征图像。
在S803中,训练设备基于k为1、以及c为o,对S802对应的特征图像进行卷积处理,得到S803的卷积处理结果;将S802的卷积处理结果输入至BN层进行归一化处理,得到S803的归一化结果;利用激活函数RELU对S803的归一化结果进行处理,得到S803对应的特征图像。
在S804中,训练设备基于k为1、c为o、s、以及p为1,对尺寸为N*N*C的特征图像进行卷积处理,得到S804的卷积处理结果;将S804的卷积处理结果输入BN层进行归一化处理,得到S804的归一化结果。
进一步的,对S803对应的特征图像以及S804的归一化结果进行相加,并利用激活函数对相加得到的结果进行处理,得到瓶颈层的输出结果。
示例性的,参见图8中的a对应的瓶颈层的处理过程,以瓶颈层中的参数为:e=8、o=16、以及s=2为例,对输入瓶颈层的尺寸为64*64*2的特征图像进行处理的过程进行说明。
如图8中的b所示,在S8011中,训练设备基于k为1、以及c为8,对尺寸为64*64*2的特征图像进行卷积处理,并对卷积处理后的图像进行归一化处理、以及基于激活函数RELU的图像处理,得到尺寸为64*64*8的特征图像。在S8021中,训练设备基于k为3、c为8、s为2、以及p为1,对尺寸为64*64*8的特征图像进行卷积处理,并对卷积处理后的图像进行归一化处理、以及基于激活函数RELU的图像处理,得到尺寸为32*32*8的特征图像。在S8031中,训练设备基于k为1、以及c为16,对尺寸为32*32*8的特征图像进行卷积处理,并对卷积处理后的图像进行归一化处理、以及基于激活函数RELU的图像处理,得到尺寸为32*32*16的特征图像。在S8041中,训练设备基于k为1、c为16、s为2、以及p为1,对尺寸为64*64*2的特征图像进行卷积处理,并对卷积处理后的图像进行归一化处理,得到尺寸为32*32*16的特征图像。
进一步的,对基于S8031得到的尺寸为32*32*16的特征图像、以及基于S8041得到的尺寸为32*32*16的特征图像进行相加,并利用激活函数对相加得到的结果进行处理,得到瓶颈层中的参数为:e=8、o=16、以及s=2时的输出结果,如尺寸为32*32*16的特征图像。
可以理解的是,测试设备在第二预设模型的瓶颈层中对特征图像的图像处理过程,可以参见图8对应的实施例中训练设备在瓶颈层中对特征图像的图像处理过程,在此不再赘述。
可能的实现方式中,终端设备也可以基于待识别图像中的缺陷的明暗情况、缺陷的面积、以及神经网络模型中对于缺陷的识别结果等,共同确定缺陷类型。
可以理解的是,由于神经网络模型可以对灰尘以及异物缺陷之间成像的细微差别提取特征并对其进行区分,因此神经网络模型可以实现对于缺陷的精准识别;并且,基于待识别图像得到测试结果的方法可以不限于上述两种,本申请实施例中对此不作具体限定。
可能的实现方式中,该第一预设模型以及第二预设模型也可以包含在一个预设的模型中,使得测试设备可以基于预设模型执行S402-S404所示的步骤。
基于此,测试设备可以通过将终端设备的显示屏分别在亮屏状态以及灭屏状态下的图像输入到预设的模型中,实现对缺陷的精准识别,区分出异物缺陷、灰尘以及像素缺陷。
上面结合图3-图8,对本申请实施例提供的方法进行了说明,下面对本申请实施例提供的执行上述方法的装置进行描述。如图9所示,图9为本申请实施例提供的一种测试装置的结构示意图,该测试装置可以是本申请实施例中的测试设备,也可以是测试设备内的芯片或芯片系统。
如图9所示,测试装置90可以用于通信设备、电路、硬件组件或者芯片中,该测试装置包括:处理单元901以及通信单元902。其中,处理单元901用于支持测试装置执行信息处理的步骤,例如该处理单元901可以用于对获取的图像进行处理并输出测试结果;通信单元902用于支持测设装置执行数据的接收和发送步骤,例如测试设备用于接收第一图像以及第二图像。
具体的,本申请实施例提供一种测试装置90,通信单元902,用于获取第一图像以及第二图像;其中,第一图像为无光源状态下待测试设备处于亮屏时拍摄得到的图像,第二图像为有光源状态下待测试设备处于灭屏时拍摄得到的图像;
处理单元901,用于利用第一预设模型提取第一图像中存在缺陷的缺陷图像;缺陷包括:灰尘、异物缺陷、以及像素缺陷;
处理单元901,还用于在第一图像中提取包括缺陷图像部分,得到第一目标图像;
处理单元901,还用于在第二图像中提取与第一目标图像的位置相对应的部分,得到第二目标图像;
处理单元901,还用于根据第一目标图像以及第二目标图像,得到测试结果。
在一种可能的实施例中,通信单元902可以是输入或者输出接口、管脚或者电路等。
在一种可能的实施例中,测试装置还可以包括:存储单元903。存储单元903可以存储终端设备中的方法的计算机执行指令,以使处理单元901执行上述实施例中的方法。处理单元901、存储单元903通过线路相连。存储单元903可以包括一个或者多个存储器,存储器可以是一个或者多个设备、电路中用于存储程序或者数据的器件。存储单元903可以独立存在,通过通信线路与测试装置具有的处理单元901相连。存储单元903也可以和处理单元901集成在一起。
存储单元903可以是寄存器、缓存或者RAM等,存储单元903可以和处理单元901集成在一起。存储单元903可以是只读存储器(read-only memory,ROM)或者可存储静态信息和指令的其他类型的静态存储设备,存储单元903可以与处理单元901相独立。
图10为本申请实施例提供的一种测试设备的硬件结构示意图,如图10所示,该测试设备包括处理器1001,通信线路1004以及至少一个通信接口(图10中示例性的以通信接口1003为例进行说明)。
处理器1001可以是一个通用中央处理器(central processing unit,CPU),微处理器,特定应用集成电路(application-specific integrated circuit,ASIC),或一个或多个用于控制本申请方案程序执行的集成电路。
通信线路1004可包括在上述组件之间传送信息的电路。
通信接口1003,使用任何收发器一类的装置,用于与其他设备或通信网络通信,如以太网,无线局域网(wireless local area networks,WLAN)等。
可能的,该测试设备还可以包括存储器1002。
存储器1002可以是只读存储器(read-only memory,ROM)或可存储静态信息和指令的其他类型的静态存储设备,随机存取存储器(random access memory,RAM)或者可存储信息和指令的其他类型的动态存储设备,也可以是电可擦可编程只读存储器(electrically erasable programmable read-only memory,EEPROM)、只读光盘(compactdisc read-only memory,CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。存储器可以是独立存在,通过通信线路1004与处理器相连接。存储器也可以和处理器集成在一起。
其中,存储器1002用于存储执行本申请方案的计算机执行指令,并由处理器1001来控制执行。处理器1001用于执行存储器1002中存储的计算机执行指令,从而实现本申请实施例所提供的测试方法。
可能的,本申请实施例中的计算机执行指令也可以称之为应用程序代码,本申请实施例对此不作具体限定。
在具体实现中,作为一种实施例,处理器1001可以包括一个或多个CPU,例如图10中的CPU0和CPU1。
在具体实现中,作为一种实施例,测试设备可以包括多个处理器,例如图10中的处理器1001和处理器1005。这些处理器中的每一个可以是一个单核(single-CPU)处理器,也可以是一个多核(multi-CPU)处理器。这里的处理器可以指一个或多个设备、电路、和/或用于处理数据(例如计算机程序指令)的处理核。
示例性的,图11为本申请实施例提供的一种芯片的结构示意图。芯片1100包括一个或两个以上(包括两个)处理器1120和通信接口1130。
在一些实施方式中,存储器1140存储了如下的元素:可执行模块或者数据结构,或者他们的子集,或者他们的扩展集。
本申请实施例中,存储器1140可以包括只读存储器和随机存取存储器,并向处理器1120提供指令和数据。存储器1140的一部分还可以包括非易失性随机存取存储器(non-volatile random access memory,NVRAM)。
本申请实施例中,存储器1140、通信接口1130以及存储器1140通过总线系统1110耦合在一起。其中,总线系统1110除包括数据总线之外,还可以包括电源总线、控制总线和状态信号总线等。为了便于描述,在图11中将各种总线都标为总线系统1110。
上述本申请实施例描述的方法可以应用于处理器1120中,或者由处理器1120实现。处理器1120可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器1120中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器1120可以是通用处理器(例如,微处理器或常规处理器)、数字信号处理器(digitalsignal processing,DSP)、专用集成电路(application specific integrated circuit,ASIC)、现成可编程门阵列(field-programmable gate array,FPGA)或者其他可编程逻辑器件、分立门、晶体管逻辑器件或分立硬件组件,处理器1120可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。
结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。其中,软件模块可以位于随机存储器、只读存储器、可编程只读存储器或带电可擦写可编程存储器(electricallyerasable programmable read only memory,EEPROM)等本领域成熟的存储介质中。该存储介质位于存储器1140,处理器1120读取存储器1140中的信息,结合其硬件完成上述方法的步骤。
在上述实施例中,存储器存储的供处理器执行的指令可以以计算机程序产品的形式实现。其中,计算机程序产品可以是事先写入在存储器中,也可以是以软件形式下载并安装在存储器中。
计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时,全部或部分地产生按照本申请实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一计算机可读存储介质传输,例如,计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line,DSL)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包括一个或多个可用介质集成的服务器、数据中心等数据存储设备。例如,可用介质可以包括磁性介质(例如,软盘、硬盘或磁带)、光介质(例如,数字通用光盘(digital versatile disc,DVD))、或者半导体介质(例如,固态硬盘(solid state disk,SSD))等。
本申请实施例还提供了一种计算机可读存储介质。上述实施例中描述的方法可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。计算机可读介质可以包括计算机存储介质和通信介质,还可以包括任何可以将计算机程序从一个地方传送到另一个地方的介质。存储介质可以是可由计算机访问的任何目标介质。
作为一种可能的设计,计算机可读介质可以包括紧凑型光盘只读储存器(compactdisc read-only memory,CD-ROM)、RAM、ROM、EEPROM或其它光盘存储器;计算机可读介质可以包括磁盘存储器或其它磁盘存储设备。而且,任何连接线也可以被适当地称为计算机可读介质。例如,如果使用同轴电缆,光纤电缆,双绞线,DSL或无线技术(如红外,无线电和微波)从网站,服务器或其它远程源传输软件,则同轴电缆,光纤电缆,双绞线,DSL或诸如红外,无线电和微波之类的无线技术包括在介质的定义中。如本文所使用的磁盘和光盘包括光盘(CD),激光盘,光盘,数字通用光盘(digital versatile disc,DVD),软盘和蓝光盘,其中磁盘通常以磁性方式再现数据,而光盘利用激光光学地再现数据。
上述的组合也应包括在计算机可读介质的范围内。以上,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。
Claims (15)
1.一种测试方法,其特征在于,所述方法包括:
测试设备获取第一图像以及第二图像;其中,所述第一图像为无光源状态下待测试设备处于亮屏时拍摄得到的图像,所述第二图像为有光源状态下所述待测试设备处于灭屏时拍摄得到的图像;
所述测试设备利用第一预设模型提取所述第一图像中存在缺陷的缺陷图像;所述缺陷包括:灰尘、异物缺陷、以及像素缺陷;
所述测试设备在所述第一图像中提取包括所述缺陷图像部分,得到第一目标图像;
所述测试设备在所述第二图像中提取与所述第一目标图像的位置相对应的部分,得到第二目标图像;
所述测试设备根据所述第一目标图像以及所述第二目标图像,得到测试结果;
所述测试设备根据所述第一目标图像以及所述第二目标图像,得到测试结果,包括:
所述测试设备利用第二预设模型识别所述第一目标图像以及所述第二目标图像,得到所述测试结果;
或者,
当所述第一目标图像中的缺陷的面积小于所述第二目标图像中的缺陷的面积时,所述测试设备确定所述测试结果为灰尘;
当所述第一目标图像中的缺陷的面积大于或等于所述第二目标图像中的缺陷的面积时,所述测试设备确定所述测试结果为异物缺陷。
2.根据权利要求1所述的方法,其特征在于,所述第二预设模型中包括:置于所述第二预设模型中第一层的第一卷积层、置于所述第二预设模型中最后一层的第二卷积层、以及置于所述第一卷积层与所述第二卷积层中间的至少一个瓶颈层。
3.根据权利要求2所述的方法,其特征在于,所述测试设备利用第二预设模型识别所述第一目标图像以及所述第二目标图像,得到所述测试结果,包括:
所述测试设备利用所述第一卷积层,对由所述第一目标图像以及所述第二目标图像构成的特征图像进行卷积处理,得到第一特征图像;
所述测试设备利用所述至少一个瓶颈层对所述第一特征图像进行至少一次处理,得到经过所述至少一个瓶颈层处理后的第二特征图像;
所述测试设备利用所述第二卷积层,对所述第二特征图像进行卷积处理,得到所述测试结果。
4.根据权利要求3所述的方法,其特征在于,所述第二预设模型中还包括:用于对特征图像进行均值处理的中间层,所述测试设备利用所述第二卷积层,对所述第二特征图像进行卷积处理,得到所述测试结果之前,所述方法还包括:
所述测试设备利用所述中间层,对所述第二特征图像进行全局均值处理,得到第三特征图像;
所述测试设备利用所述第二卷积层,对所述第二特征图像进行卷积处理,得到所述测试结果,包括:所述测试设备利用所述第二卷积层,对所述第三特征图像进行卷积处理,得到所述测试结果。
5.根据权利要求4所述的方法,其特征在于,任一所述瓶颈层中包括:至少一个卷积层、至少一个批归一化层、以及至少一个激活函数。
6.根据权利要求5所述的方法,其特征在于,所述瓶颈层包括:第一瓶颈层,所述至少一个卷积层包括:第三卷积层以及第四卷积层,所述至少一个批归一化层包括:第一批归一化层以及第二批归一化层,所述至少一个激活函数包括:第一激活函数以及第二激活函数,所述测试设备利用所述至少一个瓶颈层对所述第一特征图像进行至少一次处理,得到经过所述至少一个瓶颈层处理后得到的第二特征图像,包括:
在所述第一瓶颈层中,所述测试设备利用所述第三卷积层对所述第一特征图像进行卷积处理,得到第四特征图像,并且利用所述第四卷积层对所述第一特征图像进行卷积处理,得到第五特征图像;
所述测试设备利用所述第一批归一化层对所述第四特征图像进行归一化处理,得到第六特征图像;
所述测试设备利用所述第一激活函数对所述第六特征图像进行处理,得到第七特征图像;
所述测试设备利用所述第二批归一化层对所述第五特征图像进行归一化处理,得到第八特征图像;
所述测试设备对所述第七特征图像以及所述第八特征图像进行相加,得到第九特征图像;
所述测试设备利用所述第二激活函数对所述第九特征图像进行处理,得到所述第二特征图像。
7.根据权利要求6所述的方法,其特征在于,所述至少一个卷积层还包括:第五卷积层以及第六卷积层,所述至少一个批归一化层还包括:第三批归一化层以及第四批归一化层,所述至少一个激活函数还包括:第三激活函数以及第四激活函数,所述测试设备对所述第七特征图像以及所述第八特征图像进行相加,得到第九特征图像之前,所述方法还包括:
所述测试设备利用第五卷积层对所述第七特征图像进行卷积处理,得到第十特征图像;
所述测试设备利用所述第三批归一化层对所述第十特征图像进行归一化处理,得到第十一特征图像;
所述测试设备利用所述第三激活函数对所述第十一特征图像进行处理,得到第十二特征图像;
所述测试设备利用第六卷积层对所述第十二特征图像进行卷积处理,得到第十三特征图像;
所述测试设备利用所述第四批归一化层对所述第十三特征图像进行归一化处理,得到第十四特征图像;
所述测试设备利用所述第四激活函数对所述第十四特征图像进行处理,得到第十五特征图像;
所述测试设备对所述第七特征图像以及所述第八特征图像进行相加,得到第九特征图像,包括:所述测试设备对所述第十五特征图像以及所述第八特征图像进行相加,得到所述第九特征图像。
8.根据权利要求1-7任一项所述的方法,其特征在于,所述第一预设模型为全卷积神经网络模型;在所述第一预设模型中,当所述第一预设模型的输入图像的尺寸为M*N*1时,所述第一预设模型的输出图像的尺寸为(M-28)*(N-28)*2。
9.根据权利要求8所述的方法,其特征在于,所述测试设备利用第一预设模型提取所述第一图像中存在缺陷的缺陷图像,包括:
所述测试设备利用所述第一预设模型对所述第一图像分别进行多次卷积处理,并将基于所述多次卷积处理分别得到的特征图像进行通道叠加,得到第十六特征图像;
所述测试设备利用所述第一预设模型对所述第十六特征图像进行第一次裁剪处理,得到第十七特征图像,以及对所述第十六特征图像进行第一次池化处理,得到第十八特征图像;
所述测试设备利用所述第一预设模型对所述第十八特征图像进行第一次反卷积处理,得到第十九特征图像;
所述测试设备利用所述第一预设模型对所述第十七特征图像以及所述第十九特征图像进行通道叠加,得到第二十特征图像;
所述测试设备利用所述第一预设模型对所述第二十特征图像进行多次卷积处理,得到所述缺陷图像。
10.根据权利要求9所述的方法,其特征在于,所述测试设备利用所述第一预设模型对所述第二十特征图像进行多次卷积处理,得到所述缺陷图像,包括:
所述测试设备利用所述第一预设模型对所述第二十特征图像进行所述第一次卷积处理,得到第二十一特征图像;
所述测试设备利用所述第一预设模型对所述第二十一特征图像进行第二次卷积处理,得到所述缺陷图像;其中,所述第一次卷积处理以及所述第二次卷积处理中,均包括两次基于相同卷积核宽度、相同卷积核高度、以及相同填充值的卷积处理。
11.根据权利要求9所述的方法,其特征在于,所述测试设备利用所述第一预设模型对所述第十八特征图像进行第一次反卷积处理,得到第十九特征图像之前,所述方法还包括:
所述测试设备利用所述第一预设模型对所述第十八特征图像进行第三次卷积处理,得到第二十二特征图像;
所述测试设备利用所述第一预设模型对所述第二十二特征图像进行第二次裁剪处理,得到第二十三特征图像,以及对所述第二十二特征图像进行第二次池化处理,得到第二十四特征图像;所述第二次裁剪处理中的规则与所述第一次裁剪处理中的规则不同;
所述测试设备利用所述第一预设模型对所述第二十四特征图像进行第四次卷积处理,得到第二十五特征图像;
所述测试设备利用所述第一预设模型对所述第二十五特征图像进行第二次反卷积处理,得到第二十六特征图像;
所述测试设备利用所述第一预设模型对所述第二十三特征图像以及所述第二十六特征图像进行通道叠加,得到第二十七特征图像;
所述测试设备利用所述第一预设模型对所述第二十七特征图像进行第五次卷积处理,得到第二十八特征图像;其中,所述第五次卷积处理中包括两次基于相同卷积核宽度、相同卷积核高度、以及相同填充值的卷积处理;
所述测试设备利用所述第一预设模型对所述第十八特征图像进行第一次反卷积处理,得到第十九特征图像,包括:所述测试设备利用所述第一预设模型对所述第二十八特征图像进行第一次反卷积处理,得到所述第十九特征图像。
12.根据权利要求8所述的方法,其特征在于,所述测试设备利用所述第一预设模型对所述第一图像分别进行多次卷积处理,并将基于所述多次卷积处理分别得到的特征图像进行通道叠加,得到第十六特征图像,包括:
所述测试设备利用所述第一预设模型中的第一参数,对所述第一图像进行第六次卷积处理,得到第二十九特征图像;
所述测试设备利用所述第一预设模型中的第二参数,对所述第二十九特征图像进行第七次卷积处理,得到第三十特征图像;
所述测试设备利用所述第一预设模型中的第三参数,对所述第一图像进行第八次卷积处理,得到第三十一特征图像;
所述测试设备利用所述第一预设模型中的第四参数,对所述第一图像进行第九次卷积处理,得到第三十二特征图像;
所述测试设备利用所述第一预设模型对所述第三十特征图像、所述第三十一特征图像、以及所述第三十二特征图像进行通道叠加,得到所述第十六特征图像;其中,所述第一参数、所述第二参数、所述第三参数或所述第四参数中的任一参数中包括卷积核尺寸以及填充值。
13.一种测试系统,其特征在于,所述测试系统包括:待测试设备、测试设备、图像采集设备、以及光源发射设备,所述测试设备用于执行如权利要求1-12中任一项所述的测试方法。
14.一种测试设备,其特征在于,包括存储器和处理器,所述存储器用于存储计算机程序,所述处理器用于调用所述计算机程序,以执行如权利要求1-12中任一项所述的测试方法。
15.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机程序或指令,当所述计算机程序或指令被运行时,实现如权利要求1-12中任一项所述的测试方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111556594 | 2021-12-17 | ||
CN2021115565940 | 2021-12-17 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115222653A CN115222653A (zh) | 2022-10-21 |
CN115222653B true CN115222653B (zh) | 2023-08-18 |
Family
ID=83608681
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210521113.0A Active CN115222653B (zh) | 2021-12-17 | 2022-05-13 | 测试方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115222653B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117058150B (zh) * | 2023-10-12 | 2024-01-12 | 深圳市信润富联数字科技有限公司 | 灯珠缺陷的检测方法及装置 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108593672A (zh) * | 2018-03-01 | 2018-09-28 | 深圳回收宝科技有限公司 | 一种终端触控屏的检测方法、检测装置以及存储介质 |
CN110445921A (zh) * | 2019-09-06 | 2019-11-12 | 东北大学 | 一种基于机器视觉的手机屏背光异物缺陷诊断方法及装置 |
CN111077166A (zh) * | 2018-10-19 | 2020-04-28 | 北京金山云网络技术有限公司 | 液晶屏的瑕疵检测方法、装置及终端设备 |
CN111445452A (zh) * | 2020-03-23 | 2020-07-24 | Oppo(重庆)智能科技有限公司 | 电子产品的缺陷检测方法、装置及计算机可读存储介质 |
WO2020216091A1 (zh) * | 2019-04-22 | 2020-10-29 | Oppo广东移动通信有限公司 | 图像处理方法及相关装置 |
CN113205474A (zh) * | 2020-01-15 | 2021-08-03 | 华为技术有限公司 | 屏幕检测和屏幕检测模型训练方法、装置及设备 |
CN113781396A (zh) * | 2021-08-11 | 2021-12-10 | 深圳市鑫信腾科技股份有限公司 | 屏幕缺陷检测方法、装置、设备和存储介质 |
-
2022
- 2022-05-13 CN CN202210521113.0A patent/CN115222653B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108593672A (zh) * | 2018-03-01 | 2018-09-28 | 深圳回收宝科技有限公司 | 一种终端触控屏的检测方法、检测装置以及存储介质 |
CN111077166A (zh) * | 2018-10-19 | 2020-04-28 | 北京金山云网络技术有限公司 | 液晶屏的瑕疵检测方法、装置及终端设备 |
WO2020216091A1 (zh) * | 2019-04-22 | 2020-10-29 | Oppo广东移动通信有限公司 | 图像处理方法及相关装置 |
CN110445921A (zh) * | 2019-09-06 | 2019-11-12 | 东北大学 | 一种基于机器视觉的手机屏背光异物缺陷诊断方法及装置 |
CN113205474A (zh) * | 2020-01-15 | 2021-08-03 | 华为技术有限公司 | 屏幕检测和屏幕检测模型训练方法、装置及设备 |
CN111445452A (zh) * | 2020-03-23 | 2020-07-24 | Oppo(重庆)智能科技有限公司 | 电子产品的缺陷检测方法、装置及计算机可读存储介质 |
CN113781396A (zh) * | 2021-08-11 | 2021-12-10 | 深圳市鑫信腾科技股份有限公司 | 屏幕缺陷检测方法、装置、设备和存储介质 |
Non-Patent Citations (1)
Title |
---|
Deep Residual Learning for Image Recognition;He Kaiming 等;《IEEE Conference on Computer Vision and Pattern Recognition (CVPR)》;20160630;第770-778页 * |
Also Published As
Publication number | Publication date |
---|---|
CN115222653A (zh) | 2022-10-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111627009B (zh) | 一种屏幕检测方法、装置及头戴显示设备 | |
CN110060237B (zh) | 一种故障检测方法、装置、设备及系统 | |
CN111681273B (zh) | 图像分割方法、装置、电子设备及可读存储介质 | |
CN107622240B (zh) | 人脸检测方法和装置 | |
CN111325717B (zh) | 手机缺陷位置识别方法及设备 | |
CN109285181B (zh) | 用于识别图像的方法和装置 | |
CN111723815B (zh) | 模型训练方法、图像处理方法、装置、计算机系统和介质 | |
CN111259908A (zh) | 基于机器视觉的钢卷号识别方法、系统、设备及存储介质 | |
KR101842535B1 (ko) | 부호의 광학적 검출 방법 | |
CN111340796A (zh) | 一种缺陷检测方法、装置、电子设备及存储介质 | |
CN117635590B (zh) | 一种笔记本电脑外壳的缺陷检测方法及装置 | |
CN115222653B (zh) | 测试方法和装置 | |
CN114638294A (zh) | 一种数据增强方法、装置、终端设备及存储介质 | |
CN112052702A (zh) | 一种识别二维码的方法和装置 | |
CN112966687B (zh) | 图像分割模型训练方法、装置及通信设备 | |
CN114359160A (zh) | 一种屏幕的检测方法、装置、电子设备及存储介质 | |
CN114399657A (zh) | 车辆检测模型训练方法、装置、车辆检测方法及电子设备 | |
CN117952941A (zh) | 电路板缺陷检测方法及装置 | |
CN111709951B (zh) | 目标检测网络训练方法及系统及网络及装置及介质 | |
WO2019165626A1 (en) | Methods and apparatus to match images using semantic features | |
CN110969640A (zh) | 视频图像的分割方法、终端设备以及计算机可读存储介质 | |
CN112287905A (zh) | 车辆损伤识别方法、装置、设备及存储介质 | |
CN109934185B (zh) | 数据处理方法及装置、介质和计算设备 | |
CN116311290A (zh) | 基于深度学习的手写及打印文本检测方法和装置 | |
CN113743219B (zh) | 运动目标检测方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |