CN108961238A - 显示屏质量检测方法、装置、电子设备及存储介质 - Google Patents

显示屏质量检测方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN108961238A
CN108961238A CN201810709189.XA CN201810709189A CN108961238A CN 108961238 A CN108961238 A CN 108961238A CN 201810709189 A CN201810709189 A CN 201810709189A CN 108961238 A CN108961238 A CN 108961238A
Authority
CN
China
Prior art keywords
defects
loss
display screen
display image
defects detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810709189.XA
Other languages
English (en)
Inventor
文亚伟
冷家冰
刘明浩
徐玉林
郭江亮
李旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201810709189.XA priority Critical patent/CN108961238A/zh
Publication of CN108961238A publication Critical patent/CN108961238A/zh
Priority to KR1020197034482A priority patent/KR102321765B1/ko
Priority to PCT/CN2019/083111 priority patent/WO2020007095A1/zh
Priority to JP2019563542A priority patent/JP6931402B2/ja
Priority to US16/936,806 priority patent/US11380232B2/en
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/006—Electronic inspection or testing of displays and display drivers, e.g. of LED or LCD displays
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956—Inspecting patterns on the surface of objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06395—Quality analysis or management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N2021/9513—Liquid crystal panels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/10—Special adaptations of display systems for operation with variable images
    • G09G2320/103—Detection of image changes, e.g. determination of an index representative of the image change
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2330/00—Aspects of power supply; Aspects of display protection and defect management
    • G09G2330/10—Dealing with defective pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/045—Zooming at least part of an image, i.e. enlarging it or shrinking it

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Chemical & Material Sciences (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Computer Hardware Design (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • Educational Administration (AREA)
  • Signal Processing (AREA)
  • Operations Research (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Game Theory and Decision Science (AREA)
  • Computing Systems (AREA)
  • Marketing (AREA)
  • Evolutionary Computation (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请提供一种显示屏质量检测方法、装置、电子设备及存储介质，其中，该方法包括：接收部署在显示屏生产线上的控制台发送的质量检测请求，该质量检测请求中包含显示屏生产线上的图像采集设备采集的显示屏图像，对该显示屏图像进行图像预处理，并将预处理后的显示屏图像输入到缺陷检测模型中得到缺陷检测结果，该缺陷检测模型是采用深度卷积神经网络结构和实例分割算法对历史缺陷显示屏图像进行训练得到的，根据该缺陷检测结果确定上述显示屏图像对应的显示屏的质量好坏。该技术方案的缺陷检测准确度高、系统性能好，业务扩展能力高。

Description

显示屏质量检测方法、装置、电子设备及存储介质
技术领域
本申请涉及计算机技术领域，尤其涉及一种显示屏质量检测方法、装置、电子设备及存储介质。
背景技术
随着科技的发展，信息显示技术在人们生活中的作用与日俱增，显示屏也因其体积小、重量轻、功率低、分辨率高、亮度高和无几何变形诸多特点被广泛应用。但在显示屏的生产过程中，由于工艺及环境的原因可能导致显示屏存在显示缺陷，例如，点缺陷、线缺陷和面缺陷等。因而，显示屏质量检测是生产过程中的重要环节。
现有技术中，显示屏质量检测主要采用人工检测或机器辅助的人工检测方法。具体的，人工检测方法是指依赖行业专家肉眼观察从生产环境中采集到的图片给出判断；机器辅助的人工检测方法是指首先利用固化有行业专家经验的质检系统对待检测显示屏图像进行检测，其次再由行业专家对疑似存在缺陷的图片进行检测判断。
然而，不管是人工检测方法，还是机器辅助的人工检测方法均受人的主观影响因素较大，检测准确度低、系统性能差，业务扩展能力低。
发明内容
本申请提供一种显示屏质量检测方法、装置、电子设备及存储介质，以克服现有显示屏缺陷检测方法中由于受人的主观影响因素较大，致使检测准确度低、系统性能差、业务扩展能力低的问题。
本申请第一方面提供一种显示屏质量检测方法，包括：
接收部署在显示屏生产线上的控制台发送的质量检测请求，所述质量检测请求中包含所述显示屏生产线上的图像采集设备采集的显示屏图像；
对所述显示屏图像进行图像预处理，其中，所述图像预处理包括下述处理中的一项或多项：
裁边、剪切、旋转、缩小、放大；
将预处理后的所述显示屏图像输入到缺陷检测模型中得到缺陷检测结果，其中，所述缺陷检测模型是采用深度卷积神经网络结构和实例分割算法对历史缺陷显示屏图像进行训练得到的；
根据所述缺陷检测结果确定所述显示屏图像对应的显示屏的质量好坏。
可选的，在第一方面的一种可能实现方式中，所述缺陷检测模型是采用深度卷积神经网络结构和实例分割算法对历史缺陷显示屏图像进行训练得到的，包括：
所述缺陷检测模型是对所述历史缺陷显示屏图像的候选区域损失、区域类别损失、区域边界损失和像素实例损失进行组合训练，以使所述候选区域损失、所述区域类别损失、所述区域边界损失和所述像素实例损失的总损失值满足预设损失阈值的结果；
其中，所述候选区域损失指所述历史缺陷显示屏图像中选定缺陷区域与实际缺陷区域之间的损失值，所述区域类别损失指所述选定缺陷区域中预测缺陷类别与实际缺陷类别之间的损失值，所述区域边界损失指所述选定缺陷区域中预测缺陷边界与实际缺陷边界之间的损失，所述像素实例损失指所述历史缺陷显示屏图像中预测像素实例与实际像素实例之间的损失。
可选的，在第一方面的另一种可能实现方式中，所述将预处理后的所述显示屏图像输入到缺陷检测模型中得到缺陷检测结果，包括：
根据负载均衡策略，确定承载处理资源的检测模型服务器；
将预处理后的所述显示屏图像输入到运行在所述检测模型服务器上的所述缺陷检测模型中得到缺陷检测结果。
可选的，在第一方面的再一种可能实现方式中，所述缺陷检测结果，包括：缺陷类别，和/或，缺陷实例，和/或，缺陷位置；
所述根据所述缺陷检测结果确定所述显示屏图像对应的显示屏的质量好坏，包括：
根据生产阶段信息以及所述缺陷检测结果，确定所述显示屏图像对应的显示屏的质量好坏。
可选的，在第一方面的又一种可能实现方式中，所述根据所述缺陷检测结果确定所述显示屏图像对应的显示屏的质量好坏之后，该方法还包括：
若确定所述显示屏为坏屏，则执行以下一项或多项操作：
通过控制器向生产管理者发送报警信息；
通过控制器将所述缺陷检测结果作为日志存储到生产数据库中；
通过控制器向所述控制台发送生产控制指令以便消除缺陷；
将所述显示屏图像和所述缺陷检测结果输入到所述缺陷检测模型中以便优化所述缺陷检测模型。
本申请第二方面提供一种显示屏质量检测装置，包括：
接收模块，用于接收部署在显示屏生产线上的控制台发送的质量检测请求，所述质量检测请求中包含所述显示屏生产线上的图像采集设备采集的显示屏图像；
处理模块，用于对所述显示屏图像进行图像预处理，将预处理后的所述显示屏图像输入到缺陷检测模型中得到缺陷检测结果，其中，所述图像预处理包括下述处理中的一项或多项：裁边、剪切、旋转、缩小、放大，所述缺陷检测模型是采用深度卷积神经网络结构和实例分割算法对历史缺陷显示屏图像进行训练得到的；
确定模块，用于根据所述缺陷检测结果确定所述显示屏图像对应的显示屏的质量好坏。
可选的，在第二方面的一种可能实现方式中，所述缺陷检测模型是采用深度卷积神经网络结构和实例分割算法对历史缺陷显示屏图像进行训练得到的，包括：
所述缺陷检测模型是对所述历史缺陷显示屏图像的候选区域损失、区域类别损失、区域边界损失和像素实例损失进行组合训练，以使所述候选区域损失、所述区域类别损失、所述区域边界损失和所述像素实例损失的总损失值满足预设损失阈值的结果；
其中，所述候选区域损失指所述历史缺陷显示屏图像中选定缺陷区域与实际缺陷区域之间的损失值，所述区域类别损失指所述选定缺陷区域中预测缺陷类别与实际缺陷类别之间的损失值，所述区域边界损失指所述选定缺陷区域中预测缺陷边界与实际缺陷边界之间的损失，所述像素实例损失指所述历史缺陷显示屏图像中预测像素实例与实际像素实例之间的损失。
可选的，在第二方面的另一种可能实现方式中，所述处理模块，具体用于根据负载均衡策略，确定承载处理资源的检测模型服务器，将预处理后的所述显示屏图像输入到运行在所述检测模型服务器上的所述缺陷检测模型中得到缺陷检测结果。
可选的，在第二方面的再一种可能实现方式中，所述缺陷检测结果，包括：缺陷类别，和/或，缺陷实例，和/或，缺陷位置；
所述确定模块，具体用于根据生产阶段信息以及所述缺陷检测结果，确定所述显示屏图像对应的显示屏的质量好坏。
可选的，在第二方面的又一种可能实现方式中，所述处理模块，还用于在所述确定模块根据所述缺陷检测结果确定所述显示屏图像对应的显示屏的质量好坏之后，若确定所述显示屏为坏屏，则执行以下一项或多项操作：
通过控制器向生产管理者发送报警信息；
通过控制器将所述缺陷检测结果作为日志存储到生产数据库中；
通过控制器向所述控制台发送生产控制指令以便消除缺陷；
将所述显示屏图像和所述缺陷检测结果输入到所述缺陷检测模型中以便优化所述缺陷检测模型。
本申请第三方面提供一种电子设备，包括处理器、存储器及存储在所述存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述第一方面以及第一方面各种可能实现方式中任一项所述的方法。
本申请第四方面提供一种存储介质，所述存储介质中存储有指令，当其在计算机上运行时，使得计算机执行如第一方面以及第一方面各种可能实现方式中任一项所述的方法。
本申请实施例提供的显示屏质量检测方法、装置、电子设备及存储介质，通过接收部署在显示屏生产线上的控制台发送的质量检测请求，该质量检测请求中包含显示屏生产线上的图像采集设备采集的显示屏图像，对该显示屏图像进行图像预处理，以及将预处理后的显示屏图像输入到缺陷检测模型中得到缺陷检测结果，并根据该缺陷检测结果确定显示屏图像对应的显示屏的质量好坏。由于上述缺陷检测模型是采用深度卷积神经网络结构和实例分割算法对历史缺陷显示屏图像进行训练得到的，因而，利用该缺陷检测模型得到的缺陷检测结果的分类精度高，系统性能有所提高，业务可扩展能力高，解决了现有显示屏缺陷检测方法中由于受人的主观影响因素较大，致使检测准确度低、系统性能差、业务扩展能力低的问题。
附图说明
图1为本申请实施例提供的显示屏质量检测系统的结构示意图；
图2为本申请实施例提供的显示屏质量检测方法实施例一的流程示意图；
图3为本申请实施例提供的显示屏质量检测方法实施例二的流程示意图；
图4为本申请实施例提供的显示屏质量检测装置实施例的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请实施例提供的显示屏质量检测方法应用于显示屏质量检测系统中，图1为本申请实施例提供的显示屏质量检测系统的结构示意图。如图1所示，该显示屏质量检测系统包括：部署在显示屏生产线上的图像采集设备11、控制台12、服务器组13、控制器14、数据库15和训练器16等多个不同的设备。
其中，图像采集设备11采集显示屏生产线上的显示屏图像，控制台12接收图像采集设备11采集的显示屏图像，并将该显示屏图像发送给服务器组13中的检测模型服务器130，检测模型服务器130将接收到的显示屏图像输入到本身运行的缺陷检测模型中得到缺陷检测结果，控制器14接收检测模型服务器130的缺陷检测结果，并结合生产阶段信息给出业务响应，控制器14还可以将缺陷检测结果作为日志存储到数据库15中。此外，图像采集设备11采集到的显示屏图像还可以直接存储到数据库15中，作为缺陷检测模型训练的原始数据。训练器16提取数据库中的历史缺陷显示屏图像后，采用深度卷积神经网络结构和实例分割算法对历史缺陷显示屏图像进行训练得到缺陷检测模型。
可选的，上述数据库15可以包括生产数据库151和训练数据库152，生产数据库151可以接收并保存控制器14发送的缺陷检测结果以及图像采集设备11采集到的显示屏图像，训练数据库152可以存储从生产数据库151提取的历史缺陷显示屏图像和对应的原始显示屏图像，以使训练器16训练得到检测准确率高的缺陷检测模型。
可选的，本申请实施例中的训练器16可以是由硬件和/或软件功能实现的训练引擎，其作为缺陷检测模型的训练工具。
本申请实施例的显示屏质量检测系统中还可以包括处理器、存储器等其他实体模块，本实施例不限于此。
下面首先针对本申请实施例所适用的应用场景进行简要说明。
现阶段，3C产业(3C产业是指结合电脑、通讯、和消费性电子三大科技产品整合应用的资讯家电产业)的整体智能自动化程度较低，通过对手机屏等显示屏行业的调研分析可知，大部分生产厂家对手机屏采用的检测方式可以分为两种，即：人工检测方法和机器辅助的人工检测方法。
其中，人工检测方法是指依赖于行业专家肉眼观察从生产环境中采集到的图像进行判断，该方法受人的主观影响因素较大、检测效率较低，且对人眼的伤害较大，此外，由于显示屏的生成车间一般为无尘环境，工作人员进去前需要进行清洁准备，穿戴无尘衣服，其还可能对工作人员的健康和安全会产生不利影响。
机器辅助的人工检测方法也可以称为基于液晶模组检测设备检测方法，具体原理为：首先由具有一定判断能力的质检系统过滤掉不存在缺陷的图像，再由行业专家对疑似存在缺陷的图像进行检测判断。在机器辅助的人工检测方法中，质检系统多为专家系统和特征工程系统发展而来，是指专家将经验固化在质检系统中，使其具有一定的自动化能力。因此，机器辅助的人工检测方法不仅准确率低，系统性能差，无法覆盖厂商所有的检测标准，而且这种方法还效率低，容易漏判误判，检测后的图像数据很难进行二次利用挖掘。此外，在上述质检系统中，特征和判定规则都是基于行业专家的经验固化到机器中的，难以随业务的发展迭代，导致随着生产工艺的发展，质检系统的检测精度越来越低，甚至可能降低到完全不可用的状态。进一步的，质检系统的特征都由第三方供应商预先固化在硬件中，升级时不仅需要对生产线进行重大改造，而且价格昂贵，其在安全性、规范化、可扩展性等方面都存在着明显不足，不利于显示屏生产线的优化升级，业务扩展能力低。
综上所述，人工检测方法和机器辅助的人工检测方法均存在如下缺点：不仅效率低下、容易出现误判，而且这两种方法产生的工业数据不易存储、管理和二次挖掘再利用。
本申请实施例基于人工智能技术在计算机视觉中的最新发展，研发一种自动化、高精度的显示屏质量检测方法，利用图像采集设备在显示屏生产线上实时采集的显示屏图像，实时对显示屏的表面质量进行检测判断，如果检测到当前图像采集设备采集到的显示屏存在质量问题，则确定出该质量问题在图片中所在的位置及其所属的类别以及类别实例。
值得说明的是，本申请实施例可以应用于任何可以利用人眼、计算机视觉进行显示屏检测的场景，本实施例中的显示屏可以包括如下的任意一种：等离子屏幕、液晶显示(liquid crystal display，LCD)屏幕、发光二极管(light emitting diode，LED)屏幕、有机发光二极管(organic light-emitting diode，OLED)屏幕等。本申请实施例并不局限于上述的几种屏幕，其还可能包括其他显示屏幕，此处不再赘述。
可选的，本申请实施例中所述的质量问题可以包括，但是不局限于包括点缺陷、线缺陷、面缺陷和mura等不同类别的缺陷问题。此处不进行一一介绍。可选的，mura是指由于显示屏亮度不均匀，造成的各种痕迹现象。
下面，通过具体实施例对本申请的技术方案进行详细说明。需要说明的是，下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。
本申请实施例中，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
图2为本申请实施例提供的显示屏质量检测方法实施例一的流程示意图。如图2所示，在本申请实施例中，该显示屏质量检测方法可以包括如下步骤：
步骤21：接收部署在显示屏生产线上的控制台发送的质量检测请求，该质量检测请求中包含显示屏生产线上的图像采集设备采集的显示屏图像。
可选的，在本申请实施例中，显示屏生产线上部署有图像采集设备、控制台、服务器组、控制器、数据库等多个不同的设备。图像采集设备可以是高精度图像采集摄像头，在显示屏的生产过程中，通过调整图像采集设备的角度、光线、滤镜、倍镜、聚焦等，可以采集到多张处于显示屏生产线上的显示屏对应的显示屏图像。
当显示屏生产线上的图像采集设备采集到显示屏图像之后，部署在显示屏生产线上的控制台则可以向显示屏生产线上部署有缺陷检测模型的服务器组发送质量检测请求，该质量检测请求中包含上述图像采集设备采集的显示屏图像，以使服务器组中接收到该质量检测请求的服务器对接收到的显示屏图像进行处理。
步骤22：对上述显示屏图像进行图像预处理，其中，该图像预处理包括下述处理中的一项或多项：裁边、剪切、旋转、缩小、放大。
可选的，在本申请的实施例中，通常情况下，部署在显示屏生产线上的图像采集设备一般是高精度摄像头，因而，利用该图像采集设备采集到的显示屏图像可能尺寸较大、或者像素较高、或者位置不合适等。因而，当接收到控制台发送的包含在质量检测请求中的显示屏图像之后，需要根据实际情况对显示屏图像进行预处理。
例如，若显示屏图像的边缘区域较大，此时，可以对显示屏图像进行裁边处理，保留显示屏图像的有用部分，或者，若显示屏图像的尺寸较大，此时，可以对显示屏图像进行剪切、缩小处理，以使送入缺陷检测模型的显示屏图像可以完全被检测，提高显示屏凸显的检测精度。再或者，若需要着重检测显示屏图像中的某一区域，可以对显示屏图像中的该区域进行放大等处理，以使预处理后的显示屏图像符合检测标准。
本申请实施例的显示屏质量检测方法，通过在将显示屏图像输入到缺陷检测模型中得到缺陷检测结果之前，对上述显示屏图像进行裁边、或/和剪切或/和、或/和旋转、或/和缩小、或/和放大等图像预处理，可以使送入到缺陷检测模型的显示屏图像符合检测标准，为后续显示屏图像中的缺陷检测奠定了基础，提高了显示屏质量的检测准确度。
步骤23：将预处理后的上述显示屏图像输入到缺陷检测模型中得到缺陷检测结果，其中，该缺陷检测模型是采用深度卷积神经网络结构和实例分割算法对历史缺陷显示屏图像进行训练得到的。
可选的，接收到质量检测请求的服务器将质量检测请求中的经过预处理后的显示屏图像输入到服务器上运行着的缺陷检测模型中，由缺陷检测模型执行缺陷检测，进而得到缺陷检测结果。
值得说明的是，服务器上运行的缺陷检测模型是采用深度卷积神经网络结构和实例分割算法对历史缺陷显示屏图像进行训练得到的。即，显示屏生产线上的显示屏图像作为缺陷检测模型的输入，利用深度卷积神经网络结构和实例分割算法提取显示屏图像中的特征(即，显示屏图像中存在的缺陷)作为缺陷检测模型的输出，进而对缺陷检测模型进行训练。
具体的，实例分割是指机器可以自动从图像中用目标检测方法确定出不同实例，再用语义分割方法在不同实例区域内进行逐像素标记。值得说明的是，语义分割不区分属于相同缺陷类别的不同实例，而实例分割需要区分出哪些像素具体属于某一类缺陷的哪个实例。因而，在本申请实施例中，缺陷检测模型是基于采用深度卷积神经网络结构和实例分割算法对大量历史缺陷显示屏图像进行训练得到，即首先确定出历史缺陷显示屏图像中存在的不同缺陷实例，再从像素的角度分割出图像中的缺陷，以及缺陷对应的具体实例，并在显示屏图像中标注出来，最后对其进行分类统计、组合训练得到。
作为一种示例，本申请实施例中的缺陷检测模型是采用深度卷积神经网络结构和实例分割算法对历史缺陷显示屏图像进行训练得到的，可以解释如下：
缺陷检测模型是对历史缺陷显示屏图像的候选区域损失、区域类别损失、区域边界损失和像素实例损失进行组合训练，以使该候选区域损失、该区域类别损失、该区域边界损失和该像素实例损失的总损失值满足预设损失阈值的结果。
其中，候选区域损失指历史缺陷显示屏图像中选定缺陷区域与实际缺陷区域之间的损失值，区域类别损失指选定缺陷区域中预测缺陷类别与实际缺陷类别之间的损失值，区域边界损失指选定缺陷区域中预测缺陷边界与实际缺陷边界之间的损失，像素实例损失指历史缺陷显示屏图像中预测像素实例与实际像素实例之间的损失。
在本申请实施例中，缺陷检测模型以卷积神经网络(convolutional neuralnetworks，CNNs)结构为基础，卷积神经网络的结构主要是由卷积层、池化层、全连接层等组成，对于卷积神经网络的粒度和层次选择可以根据实际情况确定，本申请实施例并不对其进行限定。卷积层的卷积操作是指利用权值不同的卷积核对显示屏图像或者经过至少一次卷积处理后得到的图像特征图进行扫描卷积，从中提取出各种类别的特征，并重新得到一个图像特征图的过程。其中，卷积核就是权矩阵，即卷积时使用到的权用一个矩阵表示，该矩阵与对应的图像区域大小相同，其行、列都是奇数，是一个权矩阵。池化层的池化操作则是指对卷积层输出的特征图进行降维操作，保留特征图中的主要特征。在CNN网络中，全连接层将卷积层产生的特征图映射成一个固定长度(一般为输入图像数据集中的图像类别数)的特征向量，这个特征向量包含了输入图像所有特征的组合信息，即将图像中含有最具有特点的图像特征保留了下来以此完成图像分类任务。
本申请实施例可以利用这种具有卷积、池化、全连接操作的深度神经网络模型，对显示屏生产线上由图像采集设备采集到的显示屏图像的变形、模糊、光照变化等特征具有较高的鲁棒性，对于分类任务具有更高的可泛化性。
可选的，在本实施例中，实例分割算法可以是Mask RCNN算法，该MaskRCNN算法是在Faster RCNN算法的基础上，增加了实例分割的网络分支。该网络分支是针对FasterRCNN算法提取的特征图，再基于二分插值的方法将特征图还原到显示屏图像的原图大小，并对每一个像素进行预测其所属的实例，即得到预测像素实例。对于每个像素的预测结果，将其与实际像素实例做交叉熵运算，得到像素实例损失。随后，将该像素实例损失与FasterRCNN算法的损失结合到一起，做组合训练，得到缺陷检测模型。
Faster RCNN算法是Mask RCNN算法的基础，该Faster RCNN算法首先利用卷积神经网络结构的卷积操作，得到其特征图，然后再计算显示屏图像的选定缺陷区域内是否包含特定缺陷，如果包含缺陷，一方面，可以计算选定缺陷区域与实际缺陷区域之间的损失值(候选区域损失)，另一方面，可以利用卷积神经网络进行特征提取，然后预测选定缺陷区域中的缺陷类别和缺陷边界，进而计算出选定缺陷区域中预测缺陷类别与实际缺陷类别之间的损失值(区域类别损失)以及选定缺陷区域中预测缺陷边界与实际缺陷边界之间的损失值(区域边界损失)。如果显示屏图像的选定缺陷区域内不包含特定缺陷，则不进行分类。
综上可知，缺陷检测模型是对历史缺陷显示屏图像的候选区域损失、区域类别损失、区域边界损失和像素实例损失进行组合训练的结果，可以得到包含候选区域损失、区域类别损失、区域边界损失和像素实例损失的损失函数，该损失函数在缺陷检测模型的训练阶段用于评估卷积神经网络输出结果与实际值的差异，然后用损失函数的值更新每个神经元之间的权重值。卷积神经网络的训练目的就是最小化损失函数值。
当缺陷检测模型的输出结果与显示屏图像中标记的缺陷结果之间的误差值小于预设损失阈值时，停止训练。该预设损失阈值是指符合显示屏业务要求的值。
值得说明的是，在本申请实施例中，对于不同的生产场景和显示屏图像的特点，训练上述缺陷检测模型所需要的深度卷积神经网络的深度、每层的神经元数量以及卷积层、池化层的组织方式均可能不同，其可以根据实际情况进行确定，本实施例并不对其进行限定。
步骤24：根据上述缺陷检测结果确定显示屏图像对应的显示屏的质量好坏。
可选的，在本申请的实施例中，当根据缺陷检测模型得出缺陷检测结果之后，可以依据该缺陷检测结果确定上述显示屏图像对应的显示屏的质量好坏。
可选的，在本申请的一实施例中，上述缺陷检测结果，可以包括：缺陷类别，和/或，缺陷实例，和/或，缺陷位置。
可选的，在本实施例中，当显示屏图像中存在缺陷时，该缺陷检测模型可以得出的缺陷检测结果中可以包括缺陷类别(显示屏上共存在几类缺陷)、缺陷实例(显示屏上的缺陷具体属于哪类缺陷中的哪一个，即也可以获知每类缺陷具体有几个)、缺陷位置(每个缺陷的具体位置)。也就是说，本申请实施例的缺陷检测模型可以检测出显示屏图像中存在几类缺陷类型，以及每类缺陷的具体个数。
相应的，该步骤24(根据上述缺陷检测结果确定显示屏图像对应的显示屏的质量好坏)可以替换为如下步骤：
根据生产阶段信息以及上述缺陷检测结果，确定显示屏图像对应的显示屏的质量好坏。
具体的，显示屏的生产厂家不同、显示屏的生产环境、以及显示屏的类型不同等多种不同的生产阶段信息均可能在显示屏质量检测过程中得到不同的缺陷检测结果。例如，对于液晶显示屏，其一般要经过薄膜晶体管加工、彩色滤光器加工、单元装配和模块装配等生产阶段。对于LED屏，其一般要经过贴片、插件、波峰焊、后焊、测试、模组组装等阶段。对于不同种类的显示屏，所其经历的生产阶段不同，因而，对上述得到的缺陷检测结果进行分析时，需要结合各显示屏的生产阶段信息进行来确定显示屏的质量好坏。
本申请实施例提供的显示屏质量检测方法，通过接收部署在显示屏生产线上的控制台发送的质量检测请求，该质量检测请求中包含显示屏生产线上的图像采集设备采集的显示屏图像，对该显示屏图像进行图像预处理，将预处理后的显示屏图像输入到缺陷检测模型中得到缺陷检测结果，并根据该缺陷检测结果确定显示屏图像对应的显示屏的质量好坏。由于上述缺陷检测模型是采用深度卷积神经网络结构和实例分割算法对历史缺陷显示屏图像进行训练得到的，因而，利用该缺陷检测模型得到的缺陷检测结果的分类精度高，智能化能力强，系统性能有所提高，业务可扩展能力高。
可选的，在上述实施例的基础上，图3为本申请实施例提供的显示屏质量检测方法实施例二的流程示意图。如图3所示，在本实施例中，上述步骤23(将预处理后的上述显示屏图像输入到缺陷检测模型中得到缺陷检测结果)可以通过如下步骤实现：
步骤31：根据负载均衡策略，确定承载处理资源的检测模型服务器。
可选的，在本申请的实施例中，显示屏生产线上部署有一个服务器组，该服务器组中的服务器数量可以为多个，每个服务器上均运行着缺陷检测模型。可选的，每个服务器上运行的缺陷检测模型均是相同的，因此，每个服务器均可接收控制台发送的质量检测请求，进而可以利用自身承载的缺陷检测模型对显示屏图像进行质量检测。
作为一种示例，由于部署在显示屏生产线上的图像采集设备实时采集显示屏图像，因而，控制台也可以实时向服务器组中的任一服务器发送质量检测请求。
可选的，由于服务器组中每个服务器上运行的缺陷检测模型是相同的，因而，为了提高服务器上的缺陷检测模型的检测效率，保证缺陷检测模型的负载均衡，可以根据预先设置的负载均衡策略，从服务器组中确定一个承载处理资源的检测模型服务器，即根据显示屏生产线上缺陷检测模型的部署情况实时进行负载均衡和调度。
步骤32：将预处理后的上述显示屏图像输入到运行在上述检测模型服务器上的缺陷检测模型中得到缺陷检测结果。
可选的，在本申请实施例中，当从服务器组中确定出承载处理资源的检测模型服务器之后，便可以将预处理后的上述显示屏图像输入到该检测模型服务器上运行的缺陷检测模型中，利用该缺陷检测模型对预处理后的显示屏图像上的缺陷进行检测，进而得到缺陷检测结果。可选的，该缺陷检测模型是由训练模块采用深度卷积神经网络结构和实例分割算法对历史缺陷显示屏图像进行训练得到的。
本申请实施例提供的显示屏质量检测方法，通过根据负载均衡策略，确定承载处理资源的检测模型服务器，并且将预处理后的上述显示屏图像输入到运行在上述检测模型服务器上的缺陷检测模型中得到缺陷检测结果，能够实现服务器上的负载均衡，提高显示屏图像的检测效率，提升显示屏质量检测系统的性能。
可选的，在本申请实施例提供的显示屏质量检测方法中，在上述步骤23(根据上述缺陷检测结果确定显示屏图像对应的显示屏的质量好坏)之后，还可以包括如下步骤：
若确定上述显示屏为坏屏，则执行以下一项或多项操作：
通过控制器向生产管理者发送报警信息；
通过控制器将上述缺陷检测结果作为日志存储到生产数据库中；
通过控制器向所述控制台发送生产控制指令以便消除缺陷；
将上述显示屏图像和上述缺陷检测结果输入到上述缺陷检测模型中以便优化上述缺陷检测模型。
可选的，在本申请实施例中，测试人员可以根据显示屏的生产场景和生产阶段信息，预先设置当确定显示屏为坏屏时的解决方案，比如，通过控制器向生产管理者发送报警信息，和/或，通过控制器将上述缺陷检测结果作为日志存储到生产数据库中，和/或，通过控制器向控制台发送生产控制指令以便消除缺陷，和/或，将上述显示屏图像和上述缺陷检测结果输入到上述缺陷检测模型中以便优化上述缺陷检测模型等。
具体的，作为一种示例，当根据上述缺陷检测结果确定出显示屏图像对应的显示屏是坏屏，即显示屏中存在缺陷时，可以发出报警信息，以使生产管理者及时定位缺陷的类别和位置，并且给出解决方案。
作为另一种示例，当根据上述缺陷检测结果确定显示屏中存在缺陷时，可以通过控制器将上述缺陷检测结果作为日志存储到生产数据库中，即将显示屏的缺陷类别，和/或，缺陷实例，和/或，缺陷位置作为日志存储到生产数据库中，进而可以将其筛选到训练数据库中，由训练模块(可以是训练引擎等软件程序)根据存在缺陷的显示屏图像更新上述缺陷检测模型。
作为再一种示例，当根据上述缺陷检测结果确定显示屏中存在缺陷时，还可以通过控制器向控制台发送生产控制指令以便消除缺陷。即，承载缺陷检测模型的检测模型服务器可以通过控制器确定出缺陷出现的原因，进而根据相应的调整生产流程，也即，检测模型服务器通过控制器向控制台发送生产控制指令以消除显示屏上出现的缺陷，以减少坏屏出现的概率。
作为又一种示例，当根据上述缺陷检测结果确定显示屏中存在缺陷时，也可以直接将上述显示屏图像和上述缺陷检测结果输入到上述缺陷检测模型中以便优化上述缺陷检测模型，即直接将坏屏对应的显示屏图像作为缺陷检测模型的输入，坏屏的缺陷检测结果作为缺陷检测模型的输出，以优化该缺陷检测模型，进而提高缺陷检测模型的检测准确度。
值得说明的是，本申请实施例并不限定在确定显示屏为坏屏时检测模型服务器可执行的上述一项或多项操作，其可根据实际情况进行确定，此处不再赘述。
可选的，对于显示屏生产线上部署的图像采集设备、控制台、服务器组、控制器、数据库等多个不同的设备，也可以将显示屏质量检测方法对应的操作步骤分散到上述多个不同的设备来执行。例如，图像采集设备采集显示屏图像，控制台根据负载均衡策略，将图像采集设备采集到的显示屏图像发送给服务器组中的检测模型服务器，由检测模型服务器上运行的缺陷检测模型对显示屏图像进行预设的预处理之后进行缺陷检测，并给出缺陷检测结果。检测模型服务器可以将缺陷检测结果发送给控制器，一方面由控制器结合实际业务场景，并根据业务需求，根据上述缺陷检测结果做出符合实际业务场景要求的响应，如报警、存储日志、控制生产控制指令等，另一方面，控制器还可以将缺陷检测结果及上述响应的处理行为作为日志存储到生产数据库中，以使训练模块根据训练数据库中的显示屏图像和缺陷检测结果更新上述得到的缺陷检测模型，该训练数据库中存储的是从生产数据库中筛选的具有缺陷的显示屏图像和对应的缺陷检测结果等数据。
值得说明的是，对于每一次优化的缺陷检测模型可通过小流量上线的方式逐步取代正在服务器上运行的缺陷检测模型，以达到缺陷检测模型随业务场景和生产阶段信息动态扩展泛化的目的。当本申请实施例中显示屏质量检测方法在显示屏生产线上运行一段时间后，可以人工通过生产数据库中的信息，复查上述缺陷检测和缺陷定位的准确率，然后更新上述训练数据库，重新训练缺陷检测模型，以提高缺陷检测准确率。
下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。
图4为本申请实施例提供的显示屏质量检测装置实施例的结构示意图。如图4所示，本申请实施例提供的显示屏质量检测装置可以包括：接收模块41、处理模块42和确定模块43。
其中，该接收模块41，用于接收部署在显示屏生产线上的控制台发送的质量检测请求，所述质量检测请求中包含所述显示屏生产线上的图像采集设备采集的显示屏图像。
处理模块42，用于对所述显示屏图像进行图像预处理，将预处理后的所述显示屏图像输入到缺陷检测模型中得到缺陷检测结果。
其中，所述图像预处理包括下述处理中的一项或多项：裁边、剪切、旋转、缩小、放大，所述缺陷检测模型是采用深度卷积神经网络结构和实例分割算法对历史缺陷显示屏图像进行训练得到的。
确定模块43，用于根据所述缺陷检测结果确定所述显示屏图像对应的显示屏的质量好坏。
可选的，所述缺陷检测模型是采用深度卷积神经网络结构和实例分割算法对历史缺陷显示屏图像进行训练得到的，包括：
所述缺陷检测模型是对所述历史缺陷显示屏图像的候选区域损失、区域类别损失、区域边界损失和像素实例损失进行组合训练，以使所述候选区域损失、所述区域类别损失、所述区域边界损失和所述像素实例损失的总损失值满足预设损失阈值的结果；
其中，所述候选区域损失指所述历史缺陷显示屏图像中选定缺陷区域与实际缺陷区域之间的损失值，所述区域类别损失指所述选定缺陷区域中预测缺陷类别与实际缺陷类别之间的损失值，所述区域边界损失指所述选定缺陷区域中预测缺陷边界与实际缺陷边界之间的损失，所述像素实例损失指所述历史缺陷显示屏图像中预测像素实例与实际像素实例之间的损失。
可选的，在本申请的一种可能实现方式中，所述处理模块42，具体用于根据负载均衡策略，确定承载处理资源的检测模型服务器，将预处理后的所述显示屏图像输入到运行在所述检测模型服务器上的所述缺陷检测模型中得到缺陷检测结果。
可选的，在本申请的另一种可能实现方式中，所述缺陷检测结果，包括：缺陷类别，和/或，缺陷实例，和/或，缺陷位置；
所述确定模块43，具体用于根据生产阶段信息以及所述缺陷检测结果，确定所述显示屏图像对应的显示屏的质量好坏。
可选的，在本申请的又一种可能实现方式中，所述处理模块42，还用于在所述确定模块43根据所述缺陷检测结果确定所述显示屏图像对应的显示屏的质量好坏之后，若确定所述显示屏为坏屏，则执行以下一项或多项操作：
通过控制器向生产管理者发送报警信息；
通过控制器将所述缺陷检测结果作为日志存储到生产数据库中；
通过控制器向所述控制台发送生产控制指令以便消除缺陷；
将所述显示屏图像和所述缺陷检测结果输入到所述缺陷检测模型中以便优化所述缺陷检测模型。
本实施例的显示屏质量检测装置可用于执行图2和图3所示方法实施例的实现方案，具体实现方式和技术效果类似，这里不再赘述。
本申请实施例还提供一种电子设备，包括处理器、存储器及存储在所述存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述图2和图3所示方法实施例所示的显示屏质量检测方法中的各个步骤。
本申请还提供一种存储介质，所述存储介质中存储有指令，当其在计算机上运行时，使得计算机执行如图2和图3所示方法实施例的方法。
本申请还提供一种程序产品，该程序产品包括计算机程序，该计算机程序存储在存储介质中。显示屏质量检测装置的至少一个处理器可以从存储介质读取该计算机程序，至少一个处理器执行该计算机程序使得显示屏质量检测装置执行图2和图3所示方法实施例的方法。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (12)

1.一种显示屏质量检测方法，其特征在于，包括：
接收部署在显示屏生产线上的控制台发送的质量检测请求，所述质量检测请求中包含所述显示屏生产线上的图像采集设备采集的显示屏图像；
对所述显示屏图像进行图像预处理，其中，所述图像预处理包括下述处理中的一项或多项：
裁边、剪切、旋转、缩小、放大；
将预处理后的所述显示屏图像输入到缺陷检测模型中得到缺陷检测结果，其中，所述缺陷检测模型是采用深度卷积神经网络结构和实例分割算法对历史缺陷显示屏图像进行训练得到的；
根据所述缺陷检测结果确定所述显示屏图像对应的显示屏的质量好坏。
2.根据权利要求1所述的方法，其特征在于，所述缺陷检测模型是采用深度卷积神经网络结构和实例分割算法对历史缺陷显示屏图像进行训练得到的，包括：
所述缺陷检测模型是对所述历史缺陷显示屏图像的候选区域损失、区域类别损失、区域边界损失和像素实例损失进行组合训练，以使所述候选区域损失、所述区域类别损失、所述区域边界损失和所述像素实例损失的总损失值满足预设损失阈值的结果；
其中，所述候选区域损失指所述历史缺陷显示屏图像中选定缺陷区域与实际缺陷区域之间的损失值，所述区域类别损失指所述选定缺陷区域中预测缺陷类别与实际缺陷类别之间的损失值，所述区域边界损失指所述选定缺陷区域中预测缺陷边界与实际缺陷边界之间的损失，所述像素实例损失指所述历史缺陷显示屏图像中预测像素实例与实际像素实例之间的损失。
3.根据权利要求1所述的方法，其特征在于，所述将预处理后的所述显示屏图像输入到缺陷检测模型中得到缺陷检测结果，包括：
根据负载均衡策略，确定承载处理资源的检测模型服务器；
将预处理后的所述显示屏图像输入到运行在所述检测模型服务器上的所述缺陷检测模型中得到缺陷检测结果。
4.根据权利要求1-3任一项所述的方法，其特征在于，所述缺陷检测结果，包括：缺陷类别，和/或，缺陷实例，和/或，缺陷位置；
所述根据所述缺陷检测结果确定所述显示屏图像对应的显示屏的质量好坏，包括：
根据生产阶段信息以及所述缺陷检测结果，确定所述显示屏图像对应的显示屏的质量好坏。
5.根据权利要求1-3任一项所述的方法，其特征在于，所述根据所述缺陷检测结果确定所述显示屏图像对应的显示屏的质量好坏之后，还包括：
若确定所述显示屏为坏屏，则执行以下一项或多项操作：
通过控制器向生产管理者发送报警信息；
通过控制器将所述缺陷检测结果作为日志存储到生产数据库中；
通过控制器向所述控制台发送生产控制指令以便消除缺陷；
将所述显示屏图像和所述缺陷检测结果输入到所述缺陷检测模型中以便优化所述缺陷检测模型。
6.一种显示屏质量检测装置，其特征在于，包括：
接收模块，用于接收部署在显示屏生产线上的控制台发送的质量检测请求，所述质量检测请求中包含所述显示屏生产线上的图像采集设备采集的显示屏图像；
处理模块，用于对所述显示屏图像进行图像预处理，将预处理后的所述显示屏图像输入到缺陷检测模型中得到缺陷检测结果，其中，所述图像预处理包括下述处理中的一项或多项：裁边、剪切、旋转、缩小、放大，所述缺陷检测模型是采用深度卷积神经网络结构和实例分割算法对历史缺陷显示屏图像进行训练得到的；
确定模块，用于根据所述缺陷检测结果确定所述显示屏图像对应的显示屏的质量好坏。
7.根据权利要求6所述的装置，其特征在于，
所述缺陷检测模型是采用深度卷积神经网络结构和实例分割算法对历史缺陷显示屏图像进行训练得到的，包括：
所述缺陷检测模型是对所述历史缺陷显示屏图像的候选区域损失、区域类别损失、区域边界损失和像素实例损失进行组合训练，以使所述候选区域损失、所述区域类别损失、所述区域边界损失和所述像素实例损失的总损失值满足预设损失阈值的结果；
其中，所述候选区域损失指所述历史缺陷显示屏图像中选定缺陷区域与实际缺陷区域之间的损失值，所述区域类别损失指所述选定缺陷区域中预测缺陷类别与实际缺陷类别之间的损失值，所述区域边界损失指所述选定缺陷区域中预测缺陷边界与实际缺陷边界之间的损失，所述像素实例损失指所述历史缺陷显示屏图像中预测像素实例与实际像素实例之间的损失。
8.根据权利要求6所述的装置，其特征在于，
所述处理模块，具体用于根据负载均衡策略，确定承载处理资源的检测模型服务器，将所述显示屏图像输入到运行在所述检测模型服务器上的所述缺陷检测模型中得到缺陷检测结果。
9.根据权利要求6-8任一项所述的装置，其特征在于，所述缺陷检测结果，包括：缺陷类别，和/或，缺陷实例，和/或，缺陷位置；
所述确定模块，具体用于根据生产阶段信息以及所述缺陷检测结果，确定所述显示屏图像对应的显示屏的质量好坏。
10.根据权利要求6-8任一项所述的装置，其特征在于，
所述处理模块，还用于在所述确定模块根据所述缺陷检测结果确定所述显示屏图像对应的显示屏的质量好坏之后，若确定所述显示屏为坏屏，则执行以下一项或多项操作：
通过控制器向生产管理者发送报警信息；
通过控制器将所述缺陷检测结果作为日志存储到生产数据库中；
通过控制器向所述控制台发送生产控制指令以便消除缺陷；
将所述显示屏图像和所述缺陷检测结果输入到所述缺陷检测模型中以便优化所述缺陷检测模型。
11.一种电子设备，包括处理器、存储器及存储在所述存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如上述权利要求1-5任一项所述的方法。
12.一种存储介质，其特征在于，所述存储介质中存储有指令，当其在计算机上运行时，使得计算机执行如权利要求1-5任一项所述的方法。
CN201810709189.XA 2018-07-02 2018-07-02 显示屏质量检测方法、装置、电子设备及存储介质 Pending CN108961238A (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201810709189.XA CN108961238A (zh) 2018-07-02 2018-07-02 显示屏质量检测方法、装置、电子设备及存储介质
KR1020197034482A KR102321765B1 (ko) 2018-07-02 2019-04-17 디스플레이 장치 품질 검사 방법, 장치, 전자 장치 및 저장 매체
PCT/CN2019/083111 WO2020007095A1 (zh) 2018-07-02 2019-04-17 显示屏质量检测方法、装置、电子设备及存储介质
JP2019563542A JP6931402B2 (ja) 2018-07-02 2019-04-17 ディスプレイの品質検出方法、装置、電子機器及び記憶媒体
US16/936,806 US11380232B2 (en) 2018-07-02 2020-07-23 Display screen quality detection method, apparatus, electronic device and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810709189.XA CN108961238A (zh) 2018-07-02 2018-07-02 显示屏质量检测方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN108961238A true CN108961238A (zh) 2018-12-07

Family

ID=64484627

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810709189.XA Pending CN108961238A (zh) 2018-07-02 2018-07-02 显示屏质量检测方法、装置、电子设备及存储介质

Country Status (5)

Country Link
US (1) US11380232B2 (zh)
JP (1) JP6931402B2 (zh)
KR (1) KR102321765B1 (zh)
CN (1) CN108961238A (zh)
WO (1) WO2020007095A1 (zh)

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109856156A (zh) * 2019-01-22 2019-06-07 武汉精立电子技术有限公司 一种基于aoi的显示面板微小缺陷判定方法与装置
CN109978867A (zh) * 2019-03-29 2019-07-05 北京百度网讯科技有限公司 玩具外表质量检测方法及其相关设备
CN110415214A (zh) * 2019-06-26 2019-11-05 北京迈格威科技有限公司 摄像头模组的外观检测方法、装置、电子设备及存储介质
CN110570393A (zh) * 2019-07-31 2019-12-13 华南理工大学 一种基于机器视觉的手机玻璃盖板视窗区缺陷检测方法
WO2020007095A1 (zh) * 2018-07-02 2020-01-09 北京百度网讯科技有限公司 显示屏质量检测方法、装置、电子设备及存储介质
CN111060518A (zh) * 2019-12-20 2020-04-24 重庆大学 一种基于实例分割的冲压件缺陷识别方法
CN111598856A (zh) * 2020-05-08 2020-08-28 浙江工商大学 基于缺陷导向多点定位神经网络的芯片表面缺陷自动检测方法及系统
CN111724375A (zh) * 2020-06-22 2020-09-29 中国科学院大学 一种屏幕检测方法及系统
CN112485260A (zh) * 2020-11-26 2021-03-12 常州微亿智造科技有限公司 工件缺陷检测方法及装置
CN112950604A (zh) * 2021-03-12 2021-06-11 深圳市鑫路远电子设备有限公司 一种精密点胶的信息处理方法及系统
CN113012139A (zh) * 2021-03-29 2021-06-22 南京奥纵智能科技有限公司 一种用于液晶屏的导电粒子缺陷检测的深度学习算法
CN113127272A (zh) * 2019-12-31 2021-07-16 华为技术有限公司 屏幕检测方法和屏幕检测的电子设备
CN113344872A (zh) * 2021-06-01 2021-09-03 上海大学 基于机器视觉的段码液晶屏缺陷检测方法
WO2021237682A1 (zh) * 2020-05-29 2021-12-02 京东方科技集团股份有限公司 显示面板的检测装置、检测方法、电子装置、可读介质
CN114428412A (zh) * 2020-10-29 2022-05-03 中强光电股份有限公司 影像辨识装置以及影像辨识方法
CN114429464A (zh) * 2022-01-25 2022-05-03 众安在线财产保险股份有限公司 终端的碎屏识别方法和相关设备
WO2022160222A1 (zh) * 2021-01-28 2022-08-04 京东方科技集团股份有限公司 缺陷检测方法及装置、模型训练方法及装置及电子设备
CN115018857A (zh) * 2022-08-10 2022-09-06 南昌昂坤半导体设备有限公司 图像分割方法、装置、计算机可读存储介质及计算机设备
CN115147326A (zh) * 2021-03-29 2022-10-04 北京小米移动软件有限公司 色偏检测方法及装置、存储介质
CN116051551A (zh) * 2023-03-29 2023-05-02 深圳市康凌源科技有限公司 基于图像处理的显示屏缺陷检测方法及相关装置
CN116453438A (zh) * 2023-06-19 2023-07-18 深圳市瑞桔电子有限公司 一种显示屏参数检测方法、装置、设备及存储介质
CN117274720A (zh) * 2023-11-16 2023-12-22 深圳市七彩虹禹贡科技发展有限公司 一种计算机硬件异常检测方法及系统
CN117542301A (zh) * 2024-01-10 2024-02-09 深圳清大电子科技有限公司 一种显示屏的检测方法及系统

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108846841A (zh) 2018-07-02 2018-11-20 北京百度网讯科技有限公司 显示屏质量检测方法、装置、电子设备及存储介质
US11875254B2 (en) * 2019-11-14 2024-01-16 Intel Coprporation High resolution interactive video segmentation using latent diversity dense feature decomposition with boundary loss
CN111524101A (zh) * 2020-04-10 2020-08-11 苏州赛腾精密电子股份有限公司 一种基于机器视觉技术的电子屏幕缺陷检测方法
KR102436786B1 (ko) * 2020-04-16 2022-08-26 주식회사 에이비에이치 인공지능 기반 외관 표면 품질 검사 장치 및 방법
CN113751332A (zh) * 2020-06-03 2021-12-07 泰连服务有限公司 视觉检查系统和检查零件的方法
CN112557399B (zh) * 2020-11-30 2022-11-22 河北白沙烟草有限责任公司 一种烟机设备质量检测系统点检方法及装置
CN112967226A (zh) * 2021-01-29 2021-06-15 绍兴隆芙力智能科技发展有限公司 一种基于人工智能的高反光制品检测系统、方法及介质
CN112906551A (zh) * 2021-02-09 2021-06-04 北京有竹居网络技术有限公司 视频处理方法、装置、存储介质及电子设备
KR102516482B1 (ko) * 2021-05-26 2023-04-04 (주)프로젝트노아 불량 검출 장치
CN113469997B (zh) * 2021-07-19 2024-02-09 京东科技控股股份有限公司 平面玻璃的检测方法、装置、设备和介质
CN113569737A (zh) * 2021-07-28 2021-10-29 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 基于自主学习网络模型笔记本屏幕缺陷检测方法及介质
CN113884504A (zh) * 2021-08-24 2022-01-04 湖南云眼智能装备有限公司 一种电容外观检测控制方法及装置
CN113608378B (zh) * 2021-10-08 2021-12-10 深圳市绘晶科技有限公司 一种基于lcd制程的全自动缺陷检测方法和系统
CN113888542B (zh) * 2021-12-08 2022-03-22 常州微亿智造科技有限公司 产品缺陷检测方法和装置
CN114565578B (zh) * 2022-03-01 2023-01-17 人民百业科技有限公司 一种高色域显示屏质量智能检测系统及方法
CN114996310A (zh) * 2022-05-25 2022-09-02 京东方科技集团股份有限公司 一种数据处理方法、装置、服务器及存储介质
CN115526908A (zh) * 2022-09-27 2022-12-27 电子科技大学 一种高速运动滤棒爆珠检测与定位方法
WO2024076223A1 (ko) * 2022-10-05 2024-04-11 민팃(주) 전자 기기 가치 평가 장치 및 이의 동작 방법
CN115841485A (zh) * 2023-02-13 2023-03-24 成都数联云算科技有限公司 一种面板缺陷检测方法、装置、设备及介质
CN117314826A (zh) * 2023-08-28 2023-12-29 广州千筱母婴用品有限公司 一种显示屏的性能检测方法
CN117252851B (zh) * 2023-10-16 2024-06-07 北京石栎科技有限公司 一种基于图像检测识别的标准质量检测管理平台
CN117218125B (zh) * 2023-11-09 2024-05-03 荣耀终端有限公司 显示屏缺陷的检测方法、设备、存储介质、装置及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105812746A (zh) * 2016-04-21 2016-07-27 北京格灵深瞳信息技术有限公司 一种目标检测方法及系统
CN107561738A (zh) * 2017-08-30 2018-01-09 湖南理工学院 基于fcn的tft‑lcd表面缺陷快速检测方法
CN108154508A (zh) * 2018-01-09 2018-06-12 北京百度网讯科技有限公司 产品缺陷检测定位的方法、装置、存储介质及终端设备

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6177955B1 (en) * 1997-10-09 2001-01-23 Westar Corporation Visual display inspection system
US8995747B2 (en) * 2010-07-29 2015-03-31 Sharp Laboratories Of America, Inc. Methods, systems and apparatus for defect detection and classification
JP6371870B2 (ja) * 2014-06-30 2018-08-08 アマゾン・テクノロジーズ・インコーポレーテッド 機械学習サービス
CN106645180A (zh) * 2017-02-06 2017-05-10 东旭科技集团有限公司 检查基板玻璃缺陷的方法、现场终端及服务器
CN106952250B (zh) * 2017-02-28 2021-05-07 北京科技大学 一种基于Faster R-CNN网络的金属板带表面缺陷检测方法及装置
KR101838664B1 (ko) 2017-11-28 2018-03-14 서울전선 주식회사 케이블 표면 검사 장치
CN108230318B (zh) * 2018-01-09 2019-04-16 北京百度网讯科技有限公司 钢包缺陷检测分类方法、装置、设备及计算机可读介质
CN108961238A (zh) * 2018-07-02 2018-12-07 北京百度网讯科技有限公司 显示屏质量检测方法、装置、电子设备及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105812746A (zh) * 2016-04-21 2016-07-27 北京格灵深瞳信息技术有限公司 一种目标检测方法及系统
CN107561738A (zh) * 2017-08-30 2018-01-09 湖南理工学院 基于fcn的tft‑lcd表面缺陷快速检测方法
CN108154508A (zh) * 2018-01-09 2018-06-12 北京百度网讯科技有限公司 产品缺陷检测定位的方法、装置、存储介质及终端设备

Cited By (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020007095A1 (zh) * 2018-07-02 2020-01-09 北京百度网讯科技有限公司 显示屏质量检测方法、装置、电子设备及存储介质
US11380232B2 (en) 2018-07-02 2022-07-05 Beijing Baidu Netcom Science Technology Co., Ltd. Display screen quality detection method, apparatus, electronic device and storage medium
CN109856156A (zh) * 2019-01-22 2019-06-07 武汉精立电子技术有限公司 一种基于aoi的显示面板微小缺陷判定方法与装置
CN109978867A (zh) * 2019-03-29 2019-07-05 北京百度网讯科技有限公司 玩具外表质量检测方法及其相关设备
CN110415214A (zh) * 2019-06-26 2019-11-05 北京迈格威科技有限公司 摄像头模组的外观检测方法、装置、电子设备及存储介质
CN110570393A (zh) * 2019-07-31 2019-12-13 华南理工大学 一种基于机器视觉的手机玻璃盖板视窗区缺陷检测方法
CN111060518A (zh) * 2019-12-20 2020-04-24 重庆大学 一种基于实例分割的冲压件缺陷识别方法
CN113127272B (zh) * 2019-12-31 2024-05-14 华为技术有限公司 屏幕检测方法和屏幕检测的电子设备
CN113127272A (zh) * 2019-12-31 2021-07-16 华为技术有限公司 屏幕检测方法和屏幕检测的电子设备
CN111598856A (zh) * 2020-05-08 2020-08-28 浙江工商大学 基于缺陷导向多点定位神经网络的芯片表面缺陷自动检测方法及系统
CN111598856B (zh) * 2020-05-08 2024-05-10 无锡瑞特思普智能科技有限公司 基于缺陷导向多点定位神经网络的芯片表面缺陷自动检测方法及系统
US11900589B2 (en) 2020-05-29 2024-02-13 Boe Technology Group Co., Ltd. Detection device of display panel and detection method thereof, electronic device and readable medium
WO2021237682A1 (zh) * 2020-05-29 2021-12-02 京东方科技集团股份有限公司 显示面板的检测装置、检测方法、电子装置、可读介质
CN111724375A (zh) * 2020-06-22 2020-09-29 中国科学院大学 一种屏幕检测方法及系统
CN111724375B (zh) * 2020-06-22 2023-05-09 中国科学院大学 一种屏幕检测方法及系统
CN114428412A (zh) * 2020-10-29 2022-05-03 中强光电股份有限公司 影像辨识装置以及影像辨识方法
CN112485260A (zh) * 2020-11-26 2021-03-12 常州微亿智造科技有限公司 工件缺陷检测方法及装置
CN112485260B (zh) * 2020-11-26 2023-01-03 常州微亿智造科技有限公司 工件缺陷检测方法及装置
WO2022160222A1 (zh) * 2021-01-28 2022-08-04 京东方科技集团股份有限公司 缺陷检测方法及装置、模型训练方法及装置及电子设备
CN112950604A (zh) * 2021-03-12 2021-06-11 深圳市鑫路远电子设备有限公司 一种精密点胶的信息处理方法及系统
CN112950604B (zh) * 2021-03-12 2022-04-19 深圳市鑫路远电子设备有限公司 一种精密点胶的信息处理方法及系统
CN115147326A (zh) * 2021-03-29 2022-10-04 北京小米移动软件有限公司 色偏检测方法及装置、存储介质
CN113012139A (zh) * 2021-03-29 2021-06-22 南京奥纵智能科技有限公司 一种用于液晶屏的导电粒子缺陷检测的深度学习算法
CN113344872A (zh) * 2021-06-01 2021-09-03 上海大学 基于机器视觉的段码液晶屏缺陷检测方法
CN114429464A (zh) * 2022-01-25 2022-05-03 众安在线财产保险股份有限公司 终端的碎屏识别方法和相关设备
CN115018857A (zh) * 2022-08-10 2022-09-06 南昌昂坤半导体设备有限公司 图像分割方法、装置、计算机可读存储介质及计算机设备
CN115018857B (zh) * 2022-08-10 2022-11-11 南昌昂坤半导体设备有限公司 图像分割方法、装置、计算机可读存储介质及计算机设备
CN116051551B (zh) * 2023-03-29 2023-06-09 深圳市康凌源科技有限公司 基于图像处理的显示屏缺陷检测方法及相关装置
CN116051551A (zh) * 2023-03-29 2023-05-02 深圳市康凌源科技有限公司 基于图像处理的显示屏缺陷检测方法及相关装置
CN116453438B (zh) * 2023-06-19 2023-08-18 深圳市瑞桔电子有限公司 一种显示屏参数检测方法、装置、设备及存储介质
CN116453438A (zh) * 2023-06-19 2023-07-18 深圳市瑞桔电子有限公司 一种显示屏参数检测方法、装置、设备及存储介质
CN117274720A (zh) * 2023-11-16 2023-12-22 深圳市七彩虹禹贡科技发展有限公司 一种计算机硬件异常检测方法及系统
CN117274720B (zh) * 2023-11-16 2024-05-14 深圳市七彩虹禹贡科技发展有限公司 一种计算机硬件异常检测方法及系统
CN117542301A (zh) * 2024-01-10 2024-02-09 深圳清大电子科技有限公司 一种显示屏的检测方法及系统

Also Published As

Publication number Publication date
JP6931402B2 (ja) 2021-09-01
US20200349875A1 (en) 2020-11-05
WO2020007095A1 (zh) 2020-01-09
US11380232B2 (en) 2022-07-05
JP2020529056A (ja) 2020-10-01
KR20200004825A (ko) 2020-01-14
KR102321765B1 (ko) 2021-11-03

Similar Documents

Publication Publication Date Title
CN108961238A (zh) 显示屏质量检测方法、装置、电子设备及存储介质
CN108846841A (zh) 显示屏质量检测方法、装置、电子设备及存储介质
CN109084955A (zh) 显示屏质量检测方法、装置、电子设备及存储介质
CN108921839A (zh) 连铸坯质量检测方法、装置、电子设备及存储介质
CN109064446A (zh) 显示屏质量检测方法、装置、电子设备及存储介质
US20200380899A1 (en) Method and apparatus for detecting peripheral circuit of display screen, electronic device, and storage medium
CN108961239A (zh) 连铸坯质量检测方法、装置、电子设备及存储介质
CN113597618B (zh) 推理计算装置、模型训练装置、推理计算系统
US20200355627A1 (en) Method for detecting display screen peripheral circuit, apparatus, electronic device and storage medium
CN111401419A (zh) 基于改进RetinaNet的员工着装规范检测方法
CN113642474A (zh) 一种基于yolov5的危险区域人员监控方法
CN109087281A (zh) 显示屏外围电路检测方法、装置、电子设备及存储介质
JP7446060B2 (ja) 情報処理装置、プログラム及び情報処理方法
Song et al. Deformable YOLOX: Detection and rust warning method of transmission line connection fittings based on image processing technology
CN117436295A (zh) 基于数字孪生的物料监测与3d仿真系统及方法
CN116385948A (zh) 一种预警铁路边坡异常的系统和方法
CN115984158A (zh) 缺陷分析方法、装置、电子设备及计算机可读存储介质
JP2021162892A (ja) 評価装置、評価方法及び記憶媒体
Casas et al. An End-to-End Platform for Managing Third-party Risks in Oil Pipelines
JP2019074774A (ja) 工事現場画像判定装置及び工事現場画像判定プログラム
CN113936294A (zh) 建筑工地人员识别方法、可读存储介质和电子设备
CN109087282A (zh) 显示屏外围电路检测方法、装置、电子设备及存储介质
CN111191593A (zh) 图像目标检测方法、装置、存储介质及污水管道检测装置
US20240020956A1 (en) Artificial intelligence camera for visual inspection with neural network training onboard
CN118552832A (zh) 基于标准化流模型的自动训练及部署的产品缺陷检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20181207