CN115018797A - 屏幕缺陷的检测方法、检测设备以及计算机可读存储介质 - Google Patents

屏幕缺陷的检测方法、检测设备以及计算机可读存储介质 Download PDF

Info

Publication number
CN115018797A
CN115018797A CN202210663380.1A CN202210663380A CN115018797A CN 115018797 A CN115018797 A CN 115018797A CN 202210663380 A CN202210663380 A CN 202210663380A CN 115018797 A CN115018797 A CN 115018797A
Authority
CN
China
Prior art keywords
screen
defect
image
area
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210663380.1A
Other languages
English (en)
Inventor
宋秀峰
胥洁浩
绳庆朋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Goertek Optical Technology Co Ltd
Original Assignee
Goertek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Goertek Inc filed Critical Goertek Inc
Priority to CN202210663380.1A priority Critical patent/CN115018797A/zh
Publication of CN115018797A publication Critical patent/CN115018797A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Geometry (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及屏幕检测技术领域，尤其涉及一种屏幕缺陷的检测方法、检测设备以及计算机可读存储介质，其中，所述方法包括：获取屏幕检测图像，并根据二值化处理后的所述屏幕检测图像确定待检测屏幕的显示区域轮廓；根据所述显示区域轮廓确定所述待检测屏幕对应的待处理区域；将灰度均值和区域面积满足预设条件的所述待处理区域，作为疑似缺陷区域；根据所述疑似缺陷区域对应的局部图像与模板图像之间的匹配度，确定所述待检测屏幕是否存在缺陷，其中，所述模板图像为二值图。提升了屏幕检测的准确度，解决了如何检测屏幕边缘缺陷的问题。

Description

屏幕缺陷的检测方法、检测设备以及计算机可读存储介质
技术领域
本发明涉及屏幕检测技术领域，尤其涉及一种屏幕缺陷的检测方法、检测设备以及计算机可读存储介质。
背景技术
对于VR(Virtual Reality，虚拟现实)设备、AR(Augmented Reality，增强现实)设备，屏幕是实现产品与用户交互的重要渠道，因此屏幕的质量尤为重要。
为了保证屏幕质量，设备在出厂前都需要检测屏幕是否存在缺陷。在相关的屏幕检测技术中，屏幕中心区域的非透明缺陷点通过传统算法可以较好的区分出来。
但越靠近边缘区域的缺陷，由于相机取像后缺陷呈现重影结构，该缺陷所呈现的对比度较小，且呈现重影状态，具有较为分散，与背景粘连等特点，难以区分出来，因此，传统的屏幕检测技术无法识别靠近边缘区域的缺陷，存在检测精确度较低的问题。
上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供一种屏幕缺陷的检测方法，旨在解决如何检测屏幕边缘缺陷的问题。
为实现上述目的，本发明提供的一种屏幕缺陷的检测方法，所述屏幕缺陷的检测方法包括：
获取屏幕检测图像，并根据二值化处理后的所述屏幕检测图像确定待检测屏幕的显示区域轮廓；
根据所述显示区域轮廓确定所述待检测屏幕对应的待处理区域；
将灰度均值和区域面积满足预设条件的所述待处理区域，作为疑似缺陷区域；
根据所述疑似缺陷区域对应的局部图像与模板图像之间的匹配度，确定所述待检测屏幕是否存在缺陷，其中，所述模板图像为二值图。
可选地，所述根据所述疑似缺陷区域对应局部图像与模板图像之间的匹配度，确定所述待检测屏幕是否存在缺陷的步骤之后，包括：
当存在与所述局部图像之间的匹配度大于匹配度阈值的目标模板图像时，判定所述待检测屏幕存在缺陷；
否则，判定所述待检测屏幕不存在缺陷。
可选地，所述当存在与所述局部图像之间的匹配度大于匹配度阈值的目标模板图像时，判定所述待检测屏幕存在缺陷的步骤之后，包括：
确定所述局部图像的最小外接矩形；
获取所述最小外接矩形关联的对比系数，所述对比系数为所述最小外接矩形的长宽之比；
根据所述对比系数确定所述待检测屏幕的所述缺陷类型。
可选地，所述缺陷类型包括屏幕结构缺陷，所述根据所述对比系数确定所述模板图像关联的所述缺陷类型的步骤包括：
获取预设第一对比阈值和预设第二对比阈值，其中，所述第二对比阈值大于所述第一对比阈值；
当所述对比系数小于第一对比阈值，且大于第二对比阈值时，判断所述缺陷类型为结构类屏幕缺陷。
可选地，所述根据所述显示区域轮廓确定所述待检测屏幕对应的待处理区域的步骤包括：
基于神经网络变换模型，确定所述显示区域轮廓中的疑似缺陷点；
获取所述疑似缺陷点关联的截取范围；
根据所述截取范围，确定所述疑似缺陷点对应的所述预处理区域。
可选地，所述根据所述疑似缺陷区域对应的局部图像与模板图像之间的匹配度，确定所述待检测屏幕是否存在缺陷的步骤之前，包括：
剔除所述疑似缺陷区域中的纹理部分，并通过自适应二值化算法获取所述疑似缺陷区域对应的二值图像；
获取所述二值图像的中心位置；
将所述二值图像中位于所述中心位置的部分，作为所述局部图像。
可选地，所述根据二值化处理后的所述屏幕检测图像确定待检测屏幕的显示区域轮廓包括：
获取所述屏幕检测图像中各个区域的局部对比度；
根据所述局部对比度确定所述检测图像中的至少一个显示区域轮廓；
将所述屏幕检测图像中轮廓面积最大的所述显示区域轮廓，作为所述待检测屏幕的显示区域轮廓。
可选地，所述根据所述疑似缺陷区域对应的局部图像与模板图像之间的匹配度，确定所述待检测屏幕是否存在缺陷之后，包括：
根据所述模板图像关联的缺陷类型，确定所述待检测屏幕对应的缺陷类型。
此外，本发明还提供一种检测设备，所述检测设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的屏幕缺陷的检测程序，所述屏幕缺陷的检测程序被所述处理器执行时实现如上任一项所述的屏幕缺陷的检测方法的各个步骤。
此外，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有屏幕缺陷的检测程序，所述屏幕缺陷的检测程序被处理器执行时实现如上实施例所述的屏幕缺陷的检测方法的各个步骤。
本发明实施例提供一种屏幕缺陷的检测方法、检测设备以及计算机可读存储介质，其中，所述方法包括：获取屏幕检测图像，并根据二值化处理后的所述屏幕检测图像确定待检测屏幕的显示区域轮廓；根据所述显示区域轮廓确定所述待检测屏幕对应的待处理区域；将灰度均值和区域面积满足预设条件的所述待处理区域，作为疑似缺陷区域；根据所述疑似缺陷区域对应的局部图像与模板图像之间的匹配度，确定所述待检测屏幕是否存在缺陷，其中，所述模板图像为二值图。通过将屏幕检测图像二值化处理后确定出作为屏幕边缘的显示区域轮廓，再对显示区域轮廓进行屏幕缺陷判定的方式，在现有的自动检测屏幕缺陷方案的基础上提升了屏幕检测的准确度，解决了如何检测屏幕边缘缺陷的问题。
附图说明
图1为本发明实施例涉及的检测设备的硬件架构示意图；
图2为本发明屏幕缺陷的检测方法的第一实施例的流程示意图；
图3为一具体实施方式中相机采集到的原始的屏幕检测图像的示意图；
图4为一具体实施方式中在图3的基础上进行二值化的检测图像的示意图；
图5为一具体实施方式中待检测屏幕的显示区域轮廓示意图；
图6为一具体实施方式中待处理区域示意图；
图7为一具体实施方式中疑似缺陷区域示意图；
图8为一具体实施方式中疑似缺陷区域的局部图像示意图；
图9为本发明屏幕缺陷的检测方法的第二实施例的流程示意图；
图10一具体实施方式中基于ALEXNET模型确定疑似缺陷点的流程示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
现阶段针对组装好的VR一体机，员工都是采用人眼通过透镜来查看VR一体机的屏幕有无缺陷，具体方式是，将VR屏幕用不同颜色的图卡打亮，人眼通过透镜查看不同图卡下是否有缺陷，该缺陷包括但不限于绿屏暗点，绿屏亮点，红屏亮点，红屏暗点，黑屏亮点，白屏暗点，划痕，边缘黑线，透明缺陷等。对于中心区域的非透明缺陷点，通过现阶段的相关算法可以较好的区分出来，但越靠近边缘区域的缺陷，相机取像后其显示的缺陷呈现重影结构，由于该缺陷所呈现的对比度较小，且呈现重影状态，较为分散，与背景粘连等特点，无法区分出来。
针对这一问题，本发明提出了基于神经训练网路算法和传统算法相结合的方式对疑似缺陷区域进行判定。基于传统算法获取疑似缺陷点，然后通过改进的神经训练网路算法进行缺陷区域的判定，再通过面积和对比度相辅助的方式识别出该缺陷的缺陷类型。
应当理解，本发明的附图中显示了本发明的示例性实施例，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
作为一种实现方案，检测设备可以如图1所示。
本发明实施例方案涉及的是检测设备，所述检测设备包括：处理器101，例如CPU，存储器102，通信总线103。其中，通信总线103用于实现这些组件之间的连接通信。
存储器102可以是高速RAM存储器，也可以是稳定的存储器(non-volatilememory)，例如磁盘存储器。如图1所示，作为一种计算机可读存储介质的存储器102中可以包括屏幕缺陷的检测程序；而处理器101可以用于调用存储器102中存储的屏幕缺陷的检测程序，并执行以下操作：
获取屏幕检测图像，并根据二值化处理后的所述屏幕检测图像确定待检测屏幕的显示区域轮廓；
根据所述显示区域轮廓确定所述待检测屏幕对应的待处理区域；
将灰度均值和区域面积满足预设条件的所述待处理区域，作为疑似缺陷区域；
根据所述疑似缺陷区域对应的局部图像与模板图像之间的匹配度，确定所述待检测屏幕是否存在缺陷，其中，所述模板图像为二值图。
在一实施例中，处理器101可以用于调用存储器102中存储的屏幕缺陷的检测程序，并执行以下操作：
当存在与所述局部图像之间的匹配度大于匹配度阈值的模板图像时，判定所述待检测屏幕存在缺陷；
否则，判定所述待检测屏幕不存在缺陷。
在一实施例中，处理器101可以用于调用存储器102中存储的屏幕缺陷的检测程序，并执行以下操作：
确定所述局部图像的最小外接矩形；
获取所述最小外接矩形关联的对比系数，所述对比系数为所述最小外接矩形的长宽之比；
根据所述对比系数确定所述待检测屏幕的所述缺陷类型。
在一实施例中，处理器101可以用于调用存储器102中存储的屏幕缺陷的检测程序，并执行以下操作：
获取预设第一对比阈值和预设第二对比阈值，其中，所述第二对比阈值大于所述第一对比阈值；
当所述对比系数小于第一对比阈值，且大于第二对比阈值时，判断所述缺陷类型为结构类屏幕缺陷。
在一实施例中，处理器101可以用于调用存储器102中存储的屏幕缺陷的检测程序，并执行以下操作：
基于神经网络变换模型，确定所述显示区域轮廓中的疑似缺陷点；
获取所述疑似缺陷点关联的截取范围；
根据所述截取范围，确定所述疑似缺陷点对应的所述预处理区域。
在一实施例中，处理器101可以用于调用存储器102中存储的屏幕缺陷的检测程序，并执行以下操作：
剔除所述疑似缺陷区域中的纹理部分，并通过自适应二值化算法获取所述疑似缺陷区域对应的二值图像；
获取所述二值图像的中心位置；
将所述二值图像中位于所述中心位置的部分，作为所述局部图像。
在一实施例中，处理器101可以用于调用存储器102中存储的屏幕缺陷的检测程序，并执行以下操作：
获取所述屏幕检测图像中各个区域的局部对比度；
根据所述局部对比度确定所述检测图像中的至少一个显示区域轮廓；
将所述屏幕检测图像中轮廓面积最大的所述显示区域轮廓，作为所述待检测屏幕的显示区域轮廓。
在一实施例中，处理器101可以用于调用存储器102中存储的屏幕缺陷的检测程序，并执行以下操作：
根据所述模板图像关联的缺陷类型，确定所述待检测屏幕对应的缺陷类型。
基于上述基于屏幕缺陷检测技术的检测设备的硬件架构，提出本发明屏幕缺陷的检测方法的实施例。
参照图2，在第一实施例中，所述屏幕缺陷的检测方法包括以下步骤：
步骤S10，获取屏幕检测图像，并根据二值化处理后的所述屏幕检测图像确定待检测屏幕的显示区域轮廓；
在本实施例中，将采集到的用于屏幕缺陷检测的检测图像进行二值化处理，在二值化的检测图像中提取作为待检测屏幕的图像的目标显示区域轮廓。需要说明的是，为了便于后续灰度值的计算和统计，初始的检测图像通常为灰度图像，如图3所示，图3为一具体实施方式中相机采集到的原始的屏幕检测图像的灰度图。然而，由于采集到的原始的检测图像中，屏幕边缘的部分与检测图像中的背景部分灰度值较为接近，在检测设备中，设备难以分辨出位于屏幕边缘的屏幕缺陷，因此，在本实施例中将检测图像作二值化处理，如图4所示，图4为一具体实施方式中在图3的基础上二值化的检测图像，在二值化处理之后，由于二值化图像中只存在灰度值为0和/或灰度值为255的区域，这些区域能够很容易的被检测设备识别并区分出来，可以较好的提取出作为待检测屏幕的图像的目标显示区域轮廓。
需要说明的是，图4为较理想情况下拍摄到的二值化的检测图像，由于拍摄的检测图像中可能会存在一些干扰因素，如拍摄镜头上出现污渍、屏幕之外的背景部分存在脏污、磨损等情况，在存在干扰因素的情况下拍摄的检测图像，在二值化处理之后会多个显示区域轮廓，因此，需要从检测图像中的多个显示区域轮廓中确定出作为待检测屏幕的图像的目标显示区域轮廓。可选地，可以通过轮廓面积来确定出目标显示轮廓区域，由于作为干扰部分的显示区域轮廓的面积通常不会大于屏幕的显示区域轮廓面积，因此，将检测图像中轮廓面积最大的显示区域轮廓，作为所述目标显示区域轮廓，即可筛除二值化的检测图像中的作为干扰轮廓的其他显示区域轮廓。可选地，可以通过统计像素点个数sum来确定出轮廓区域的轮廓面积。
步骤S20，根据所述显示区域轮廓确定所述待检测屏幕对应的待处理区域；
在确定出待检测屏幕的目标显示区域轮廓之后，根据显示区域轮廓确定所述待检测屏幕的预处理区域。示例性地，如图5所示，图5为一具体实施方式中显示区域轮廓的示意图，图像中白色像素点部分所构成的区域即为预处理区域，这些像素点均分布于目标显示区域轮廓上，表征为待检测屏幕的边缘区域，这些边缘区域即作为待处理区域。
可选地，可以通过神经网络变换模型算法，从显示区域轮廓中确定出表征为该位置可能存在屏幕缺陷的像素点，作为疑似缺陷点，获取疑似缺陷点关联的截取范围，根据该截取范围确定出疑似缺陷点对应的待处理区域。示例性地，如图6所示，图6为一具体实施例中，基于图5所示的显示区域轮廓中提取出的待处理区域的示意图。
步骤S30，将灰度均值和区域面积满足预设条件的所述待处理区域，作为疑似缺陷区域；
进一步的，由于根据显示区域轮廓确定出的待处理区域中的疑似缺陷点非常多，在进行屏幕缺陷判定之前，需要从待处理区域中提取出作为核心区域的疑似缺陷区域进行判定，从而减小检测过程中的运算量。在本实施例中，通过灰度均值和区域面积作为提取条件从待处理区域中提取出疑似缺陷区域进行判定。灰度均值是区域中各像素点的灰度值之和与像素点总个数之比，通过灰度均值可以识别出预处理区域中与预设条件相匹配的区域，示例性地，假设预处理区域为120*120像素的区域，则灰度均值gray_global_mean＝gray_sum/(120*120)。由于在实际检测过程中，可能会出现由于屏幕本身存在坏点而导致一些区域不发光，因此采集到的检测图像的灰度值可能会低于预设的灰度均值阈值，然而坏点通常不作为屏幕的一种缺陷来作为判定，基于坏点在图像中对应的区域面积很小，根据区域面积的限定，将待处理区域中零散的、面积较小的坏点区域给剔除，从而保留剩下面积较大的区域进行进一步的缺陷判定，区域面积可以根据疑似缺陷点的最小外接矩形的面积所确定。示例性地，如图7所示，图7为基于图6所示的待处理区域后提取出的疑似缺陷区域的示意图。
需要说明的是，从图6中可以明显看到，待处理图像中存在一些波纹干扰，因此在提取疑似缺陷区域时要滤除这些波纹干扰。可选地，可以通过5*5滤波器进行滤波处理。
步骤S40，根据所述疑似缺陷区域对应的局部图像与模板图像之间的匹配度，确定所述待检测屏幕是否存在缺陷。
在确定出疑似缺陷区域之后，将疑似缺陷区域中的局部图像和模板图像之间的匹配度，判断所述待检测屏幕是否存在缺陷。由于提取出的疑似缺陷区域中可能含有多个疑似缺陷点，而部分疑似缺陷点可能在另外的疑似缺陷区域中重复出现(如图7所示)，因此，需要从疑似缺陷区域筛选出只带有目标疑似缺陷点的局部图像来作进一步的屏幕缺陷判断。将局部图像和模板图像进行匹配，根据两者之间的匹配度确定待检测屏幕的检测结果。需要说明的是，传统方式都是采用灰度图像进行模板匹配，因为得到的疑似缺陷区域对应的局部图像为二值图，因此作为参考匹配图像的模板图像也为二值图。
可选地，可以获取疑似缺陷区域中心位置，将位于中心位置的疑似缺陷点作为目标疑似缺陷点。由于疑似缺陷区域是以疑似缺陷点为基准，调用预设截取范围来确定出的疑似缺陷区域的局部图像。示例性地，如图8所示，图8为一具体实施方式中，基于图7的疑似缺陷区域所提取的局部图像的示意图。
可选地，可以根据模板图像关联的缺陷类型，确定所述待检测屏幕对应的缺陷类型，示例性地，当与局部图像匹配度最高的模板图像的缺陷类型为透明缺陷类型，则待检测屏幕对应的缺陷类型即为透明缺陷类型。
在本实施例提供的技术方案中，通过获取屏幕检测图像，并根据二值化处理后的所述屏幕检测图像确定待检测屏幕的显示区域轮廓根据所述显示区域轮廓确定所述待检测屏幕对应的待处理区域，将灰度均值和区域面积满足预设条件的所述待处理区域作为疑似缺陷区域，再根据所述疑似缺陷区域对应的局部图像与模板图像之间的匹配度，确定所述待检测屏幕是否存在缺陷的方式，能够检测位于屏幕边缘的区域是否存在缺陷，从而提高了屏幕检测的精确度。
参照图9，在第二实施例中，基于第一实施例，步骤S40之后，包括：
步骤S50，确定所述局部图像的最小外接矩形；
步骤S60，获取所述最小外接矩形关联的对比系数，所述对比系数为所述最小外接矩形的长宽之比；
步骤S70，根据所述对比系数确定所述待检测屏幕的所述缺陷类型。
可选地，本实施例提供一种屏幕缺陷类型的确定方式。当存在与所述局部图像之间的匹配度大于匹配度阈值的模板图像时，判断检测结果为所述待检测屏幕存在缺陷，否则，判断为不存在缺陷；模板图像可以为50*50像素的图像；可以通过OpenCV开发软件自带的find_shape_model()函数获取带匹配图像的匹配度。当匹配度大于预设的匹配度阈值时，表示匹配成功，判定所述局部图像与表征为缺陷图像的模板图像之间相匹配，则判断局部图像对应的待检测屏幕的存在缺陷。
可选地，针对Pancake镜头模组，在VR一体机的屏幕中采用Pancake镜头模组能降低VR头显的厚度和重量，然而这种结构下的镜头在检测的过程中由于对比度较小，检测区域较为分散，屏幕与背景粘连等特点，传统的屏幕检测方式难以检测出这种类型的镜头屏幕是否存在缺陷，因此将该类型的缺陷分类出来，判断缺陷类型是否属于Pancake类缺陷。在训练作为参考样本的模板图像时，确定模板图像的最小外接矩形，获取最小外接矩形关联的最小外接矩形的长宽之比的对比系数，根据对比系数确定该模板图像关联的缺陷类型，该模板图像的缺陷类型即为待检测屏幕对应的缺陷类型。
示例性地，在一些实施方式中，首先获取两个轮廓的最小外接矩形rect，再获取rect关联的对比系数：Contrast_rect＝rect.height/rect.width，当Contrast_rect<0.5或Contrast_rect>2时，判断该缺陷为pancake类缺陷。
在本实施例提供的技术方案中，通过确定局部图像的最小外接矩形，根据最小外接矩形的对比系数确定出待检测屏幕的缺陷类型，从而确定出适用于Pancake镜头模组下可能出现的缺陷类型，提高了屏幕缺陷检测的精确度。
此外，参照图10，图10为一具体实施方式中基于ALEXNET模型确定疑似缺陷点的流程示意图。下面对基于该模型确定出疑似缺陷点的步骤进行演示：
首先，选择120*120像素区域的大小作为截取范围来进行判定，分为8个阶段，每个阶段的执行流程如下：
(1)在Conv1阶段：
输入数据：120×120×3
卷积核：11×11×3；步长：2；数量(也就是输出个数)：96
卷积后数据：55×55×96(原图N×N，卷积核大小n×n，卷积步长大于1为k，输出维度是(N-n)/k+1)
relu1后的数据：55×55×96
Max pool1的核：3×3，步长：2
Max pool1后的数据：27×27×96
norm1：local_size＝5(LRN(Local Response Normalization)局部响应归一化)
最后的输出：27×27×96。
(2)在Conv2阶段：
输入数据：27×27×96
卷积核：5×5；步长：1；数量(也就是输出个数)：256
卷积后数据：27×27×256(做了Same padding(相同补白)，使得卷积后图像大小不变。)
relu2后的数据：27×27×256
Max pool2的核：3×3，步长：2
Max pool2后的数据：13×13×256((27-3)/2+1＝13)
norm2：local_size＝5(LRN(Local Response Normalization)局部响应归一化)
最后的输出：13×13×256。
(3)在Conv3阶段：
输入数据：13×13×128
卷积核：3×3；步长：1；数量(也就是输出个数)：256
卷积后数据：13×13×256(做了Same padding(相同补白)，使得卷积后图像大小不变。)
relu3后的数据：13×13×256
最后的输出：13×13×256
其中，Conv3层没有Max pool层和norm层
(4)在Conv4阶段：
输入数据：13×13×256
卷积核：3×3；步长：1；数量(也就是输出个数)：256
卷积后数据：13×13×256(做了Same padding(相同补白)，使得卷积后图像大小不变。)
其中，Conv2数据与该层卷积后的数据是按照channel维度相加然后进行relu4后的数据：13×13×256
最后的输出：13×13×256
其中，Conv4层没有Max pool层和norm层。
(5)在Conv5阶段：
输入数据：13×13×256
卷积核：3×3；步长：1；数量(也就是输出个数)：256
卷积后数据：13×13×256(做了Same padding(相同补白)，使得卷积后图像大小不变。)
relu5后的数据：13×13×256
Max pool5的核：3×3，步长：2
Max pool2后的数据：6×6×256((13-3)/2+1＝6)
最后的输出：6×6×256
conv5层有Max pool，没有norm层
(6)在Fc1阶段：
输入数据：6×6×256
全连接输出：4096×1
relu6后的数据：4096×1
drop out6后数据：4096×1
最后的输出：4096×1
(7)在Fc2阶段：
输入数据：4096×1
全连接输出：4096×1
relu7后的数据：4096×1
drop out7后数据：4096×1
最后的输出：4096×1
(8)在Fc3阶段：
输入数据：4096×1
全连接输出：2(即Fc3输出2种分类的概率)
需要说明的是，在该实施例中，在原有的ALXENET模型的基础上，将Conv2层的数据与Conv4层基于通道维度(Channel维度)对所述疑似缺陷点做卷积和处理，能够更好地保留通道间的信息交流，从而提高了分类模型的训练准确率，经开发人员测试，相较于改进前确定出的疑似缺陷点提高了3个百分点的准确率。
此外，本发明还提供一种检测设备，所述检测设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的屏幕缺陷的检测程序，所述屏幕缺陷的检测程序被所述处理器执行时实现如上任一项所述的屏幕缺陷的检测方法的各个步骤
此外，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有屏幕缺陷的检测程序，所述屏幕缺陷的检测程序被处理器执行时实现如上实施例所述的屏幕缺陷的检测方法的各个步骤。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且包括没有明确列出的其他要素，或者是包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个计算机可读存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种屏幕缺陷的检测方法，其特征在于，所述屏幕缺陷的检测方法包括：
获取屏幕检测图像，并根据二值化处理后的所述屏幕检测图像确定待检测屏幕的显示区域轮廓；
根据所述显示区域轮廓确定所述待检测屏幕对应的待处理区域；
将灰度均值和区域面积满足预设条件的所述待处理区域，作为疑似缺陷区域；
根据所述疑似缺陷区域对应的局部图像与模板图像之间的匹配度，确定所述待检测屏幕是否存在缺陷，其中，所述模板图像为二值图。
2.如权利要求1所述的屏幕缺陷的检测方法，其特征在于，所述根据所述疑似缺陷区域对应局部图像与模板图像之间的匹配度，确定所述待检测屏幕的是否存在缺陷的步骤包括：
获取所述模板图像；
将所述局部图像和所述模板图像进行匹配，其中，当存在与所述局部图像之间的匹配度大于匹配度阈值的目标模板图像时，判定所述待检测屏幕存在缺陷；
否则，判定所述待检测屏幕不存在缺陷。
3.如权利要求1所述的屏幕缺陷的检测方法，其特征在于，所述根据所述疑似缺陷区域对应的局部图像与模板图像之间的匹配度，确定所述待检测屏幕的是否存在缺陷的步骤之后，包括：
确定所述局部图像的最小外接矩形；
获取所述最小外接矩形关联的对比系数，所述对比系数为所述最小外接矩形的长宽之比；
根据所述对比系数确定所述待检测屏幕的所述缺陷类型。
4.如权利要求3所述的屏幕缺陷的检测方法，其特征在于，所述缺陷类型包括屏幕结构缺陷，所述根据所述对比系数确定所述模板图像关联的所述缺陷类型的步骤包括：
获取预设第一对比阈值和预设第二对比阈值，其中，所述第二对比阈值大于所述第一对比阈值；
当所述对比系数小于第一对比阈值，且大于第二对比阈值时，判断所述缺陷类型为结构类屏幕缺陷。
5.如权利要求1所述的屏幕缺陷的检测方法，其特征在于，所述根据所述显示区域轮廓确定所述待检测屏幕对应的待处理区域的步骤包括：
基于神经网络变换模型，确定所述显示区域轮廓中的疑似缺陷点；
获取所述疑似缺陷点关联的截取范围；
根据所述截取范围，确定所述疑似缺陷点对应的所述预处理区域。
6.如权利要求1所述的屏幕缺陷的检测方法，其特征在于，所述根据所述疑似缺陷区域对应的局部图像与模板图像之间的匹配度，确定所述待检测屏幕是否存在缺陷的步骤之前，包括：
剔除所述疑似缺陷区域中的纹理部分，并通过自适应二值化算法获取所述疑似缺陷区域对应的二值图像；
获取所述二值图像的中心位置；
将所述二值图像中位于所述中心位置的部分，作为所述局部图像。
7.如权利要求1所述的屏幕缺陷的检测方法，其特征在于，所述根据二值化处理后的所述屏幕检测图像确定待检测屏幕的显示区域轮廓包括：
获取所述屏幕检测图像中各个区域的局部对比度；
根据所述局部对比度确定所述检测图像中的至少一个显示区域轮廓；
将所述屏幕检测图像中轮廓面积最大的所述显示区域轮廓，作为所述待检测屏幕的显示区域轮廓。
8.如权利要求1所述的屏幕缺陷的检测方法，其特征在于，所述根根据所述疑似缺陷区域对应的局部图像与模板图像之间的匹配度，确定所述待检测屏幕的是否存在缺陷的步骤之后，包括：
根据所述模板图像关联的缺陷类型，确定所述待检测屏幕对应的缺陷类型。
9.一种检测设备，其特征在于，所述检测设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的屏幕缺陷的检测程序，所述屏幕缺陷的检测程序被所述处理器执行时实现如权利要求1-8中任一项所述的屏幕缺陷的检测方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有屏幕缺陷的检测程序，所述屏幕缺陷的检测程序被处理器执行时实现如权利要求1-8中任一项所述的屏幕缺陷的检测方法的步骤。
CN202210663380.1A 2022-06-13 2022-06-13 屏幕缺陷的检测方法、检测设备以及计算机可读存储介质 Pending CN115018797A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210663380.1A CN115018797A (zh) 2022-06-13 2022-06-13 屏幕缺陷的检测方法、检测设备以及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210663380.1A CN115018797A (zh) 2022-06-13 2022-06-13 屏幕缺陷的检测方法、检测设备以及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN115018797A true CN115018797A (zh) 2022-09-06

Family

ID=83074457

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210663380.1A Pending CN115018797A (zh) 2022-06-13 2022-06-13 屏幕缺陷的检测方法、检测设备以及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN115018797A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115690102A (zh) * 2022-12-29 2023-02-03 摩尔线程智能科技(北京)有限责任公司 缺陷检测方法、装置、电子设备、存储介质和程序产品
CN116309337A (zh) * 2023-02-11 2023-06-23 广州华盛汇美科技实业有限公司 基于图像识别的包装盒质量检测系统
CN117351011A (zh) * 2023-12-04 2024-01-05 歌尔股份有限公司 屏幕缺陷检测方法、设备和可读存储介质

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115690102A (zh) * 2022-12-29 2023-02-03 摩尔线程智能科技(北京)有限责任公司 缺陷检测方法、装置、电子设备、存储介质和程序产品
CN116309337A (zh) * 2023-02-11 2023-06-23 广州华盛汇美科技实业有限公司 基于图像识别的包装盒质量检测系统
CN116309337B (zh) * 2023-02-11 2023-10-10 广州华盛汇美科技实业有限公司 基于图像识别的包装盒质量检测系统
CN117351011A (zh) * 2023-12-04 2024-01-05 歌尔股份有限公司 屏幕缺陷检测方法、设备和可读存储介质
CN117351011B (zh) * 2023-12-04 2024-03-12 歌尔股份有限公司 屏幕缺陷检测方法、设备和可读存储介质

Similar Documents

Publication Publication Date Title
CN110060237B (zh) 一种故障检测方法、装置、设备及系统
CN109142366B (zh) 球形外壳缺陷检测方法、装置及计算机可读存储介质
CN115018797A (zh) 屏幕缺陷的检测方法、检测设备以及计算机可读存储介质
EP3251088B1 (en) Systems and methods for area-of-interest detection using slide thumbnail images
CN111179243A (zh) 一种基于计算机视觉的小尺寸芯片裂纹检测方法及系统
CN111612781A (zh) 一种屏幕缺陷检测方法、装置及头戴显示设备
US20100260414A1 (en) Detecting redeye defects in digital images
CN111915704A (zh) 一种基于深度学习的苹果分级识别方法
CN109948566B (zh) 一种基于权重融合与特征选择的双流人脸反欺诈检测方法
CN107328776A (zh) 一种免疫层析试纸卡的快速检测方法
CN111325717B (zh) 手机缺陷位置识别方法及设备
CN111259891B (zh) 一种自然场景下身份证识别方法、装置、设备和介质
CN111626249B (zh) 题目图像中几何图形的识别方法、装置和计算机存储介质
CN116503388B (zh) 缺陷检测方法、装置及存储介质
CN113435407B (zh) 一种输电系统的小目标识别方法及装置
US8442348B2 (en) Image noise reduction for digital images using Gaussian blurring
CN113781396A (zh) 屏幕缺陷检测方法、装置、设备和存储介质
CN114495098A (zh) 一种基于显微镜图像的盘星藻类细胞统计方法及系统
CN116071294A (zh) 一种光纤表面缺陷检测方法和装置
CN115170501A (zh) 缺陷检测方法、系统、电子设备及存储介质
JP2006285956A (ja) 赤目検出方法および装置並びにプログラム
CN113283439B (zh) 基于图像识别的智能计数方法、装置及系统
CN117309892B (zh) 一种电池蓝膜的缺陷检测方法、装置及系统和光源控制器
CN113537037A (zh) 路面病害识别方法、系统、电子设备及存储介质
CN111563869B (zh) 用于摄像模组质检的污点测试方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20221128

Address after: 261031 workshop 1, phase III, Geer Photoelectric Industrial Park, 3999 Huixian Road, Yongchun community, Qingchi street, high tech Zone, Weifang City, Shandong Province

Applicant after: GoerTek Optical Technology Co.,Ltd.

Address before: 261031 No. 268 Dongfang Road, hi tech Industrial Development Zone, Shandong, Weifang

Applicant before: GOERTEK Inc.

TA01 Transfer of patent application right