CN111080633A - 屏缺陷检测方法、装置、终端设备以及存储介质 - Google Patents

屏缺陷检测方法、装置、终端设备以及存储介质 Download PDF

Info

Publication number
CN111080633A
CN111080633A CN201911333565.0A CN201911333565A CN111080633A CN 111080633 A CN111080633 A CN 111080633A CN 201911333565 A CN201911333565 A CN 201911333565A CN 111080633 A CN111080633 A CN 111080633A
Authority
CN
China
Prior art keywords
algorithm model
screen
pictures
algorithm
terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911333565.0A
Other languages
English (en)
Inventor
肖光曦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oppo Chongqing Intelligent Technology Co Ltd
Original Assignee
Oppo Chongqing Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oppo Chongqing Intelligent Technology Co Ltd filed Critical Oppo Chongqing Intelligent Technology Co Ltd
Priority to CN201911333565.0A priority Critical patent/CN111080633A/zh
Publication of CN111080633A publication Critical patent/CN111080633A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0006—Industrial image inspection using a design-rule based approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30121—CRT, LCD or plasma display

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种屏缺陷检测方法、装置、终端设备以及存储介质，其方法包括：获取被测终端屏幕显示的多张不同颜色的图片；利用AI算法模型对所述多张不同颜色的图片进行检测，所述AI算法模型预先通过深度学习算法训练而得；对图片检测得到的结果进行评估，得到所述被测终端的屏缺陷检测结果。本发明通过AI算法模型检测终端设备的屏缺陷，极大提高了终端产品屏缺陷的检测准确率和检测效率，此外，本方案还可以实现AI算法模型的快速迭代，训练出新的算法模型，有效地截出不良缺陷，尤其可以有效截出传统算法截不出来的缺陷屏，同时可以不断提升屏的不良缺陷识别率，提升产品品质。

Description

屏缺陷检测方法、装置、终端设备以及存储介质
技术领域
本发明涉及显示屏检测技术领域，尤其涉及一种屏缺陷检测方法、装置、终端设备以及存储介质。
背景技术
现有的手机屏检测方案，通常通过LCD测试设备控制手机进入对应的工程模式，显示出不同颜色的图片，通过LCD测试设备的摄像头拍出手机不同颜色的图片，然后对图片通过传统算法进行缺陷识别，和提前维护好的不同缺陷的标准进行匹配，判断是否满足缺陷标准，如果不在标准内，则截出缺陷手机。这种手机屏检测方案，需要针对每个机型、不同缺陷配置相应的标准范围，其只能检测出点、团、线等常见异常缺陷，当出现新的缺陷时，需要频繁地调试验证，因此缺陷产品截出率不佳。
发明内容
本发明的主要目的在于提供一种屏缺陷检测方法、装置、终端设备以及存储介质，旨在提升终端产品屏缺陷的检测准确率和检测效率。
为实现上述目的，本发明提供一种屏缺陷检测方法，包括：
获取被测终端屏幕显示的多张不同颜色的图片；
利用AI算法模型对所述多张不同颜色的图片进行检测，所述AI算法模型预先通过深度学习算法训练而得；
对图片检测得到的结果进行评估，得到所述被测终端的屏缺陷检测结果。
可选地，所述获取被测终端屏幕显示的多张不同颜色的图片的步骤之前还包括：
构建AI算法模型，具体包括：
收集多个终端屏幕显示的图片，得到样本图片集，所述样本图片集包括正常屏显示的正常图片以及不同缺陷的NG屏显示的缺陷图片；
对所述样本图片集中的正常图片和缺陷图片分别进行标记；
对标记后的图片进行深度学习算法的模型训练，得到AI算法模型。
可选地，所述构建AI算法模型的步骤之后还包括：
对所述AI算法模型进行测试验证和评估；
若经过测试验证和评估合格，则对所述AI算法模型进行产线试运行；
若产线试运行成功，则发布所述AI算法模型；
若经过测试验证和评估不合格，则对所述AI算法模型进行重新训练。
可选地，所述若经过测试验证和评估合格，则对所述AI算法模型进行产线试运行的步骤包括：
若经过测试验证和评估合格，则选取预设的产线对所述AI算法模型进行试运行，得到试运行结果；
获取所述预设的产线运行参考算法模型的运行结果，所述预设的产线设定有相应的比对指标；
将所述AI算法模型的试运行结果与参考算法模型的运行结果进行比对；
若所述AI算法模型的试运行结果优于参考算法模型的运行结果，则判定产线试运行成功；否则，判定产线试运行失败。
可选地，所述判定产线试运行失败的步骤之后还包括：
对所述AI算法模型进行重新训练。
可选地，所述方法还包括：
通过预设检验方式获得所述AI算法模型漏检的缺陷图片，作为品质复判图片；
将所述品质复判图片放入原有的样本图片集，作为新的样本图片集，通过深度学习算法训练新的AI算法模型，以此循环迭代，更新AI算法模型。
可选地，所述预设检验方式至少包括：预设的品质检验流程或者人工抽检方式。
此外，本发明实施例还提出一种屏缺陷检测装置，包括：
获取模块，用于获取被测终端屏幕显示的多张不同颜色的图片；
检测模块，用于利用AI算法模型对所述多张不同颜色的图片进行检测，所述AI算法模型预先通过深度学习算法训练而得；
评估模块，用于对图片检测得到的结果进行评估，得到所述被测终端的屏缺陷检测结果。
此外，本发明实施例还提出一种终端设备，所述终端设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的屏缺陷检测程序，所述屏缺陷检测程序被所述处理器执行时实现如上所述的屏缺陷检测方法的步骤。
此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有屏缺陷检测程序，所述屏缺陷检测程序被处理器执行时实现如上所述的屏缺陷检测方法的步骤。
本发明实施例提出的屏缺陷检测方法、装置、终端设备以及存储介质，通过获取被测终端屏幕显示的多张不同颜色的图片；利用AI算法模型对所述多张不同颜色的图片进行检测，所述AI算法模型预先通过深度学习算法训练而得；对图片检测得到的结果进行评估，得到所述被测终端的屏缺陷检测结果。由此，通过AI算法模型检测终端设备的屏缺陷，该AI算法模型预先通过深度学习算法训练而得，极大提高了终端产品屏缺陷的检测准确率和检测效率，此外，本方案还可以实现AI算法模型的快速迭代，不仅可以很好地检测出已知的缺陷，并且针对新缺陷，通过品质人员简单地复判标记，可以快速迭代训练出新的算法模型，有效地截出不良缺陷，尤其可以有效截出传统算法截不出来的缺陷屏，同时可以不断提升屏的不良缺陷识别率，提升产品品质。
附图说明
图1为本发明屏缺陷检测装置所属终端设备的功能模块示意图；
图2为本发明屏缺陷检测方法一示例性实施例的流程示意图；
图3为本发明实施例中的一种屏缺陷在线检测实例的细化流程示意图；
图4为本发明屏缺陷检测方法另一示例性实施例的流程示意图；
图5为本发明屏缺陷检测方法再一示例性实施例的流程示意图；
图6为本发明屏缺陷检测方法又一示例性实施例的流程示意图；
图7为本发明实施例方案中AI模型构建及迭代更新的细化流程示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明实施例的主要解决方案是：通过获取被测终端屏幕显示的多张不同颜色的图片；利用AI算法模型对所述多张不同颜色的图片进行检测，所述AI算法模型预先通过深度学习算法训练而得；对图片检测得到的结果进行评估，得到所述被测终端的屏缺陷检测结果。由此，通过AI算法模型检测终端设备的屏缺陷，该AI算法模型预先通过深度学习算法训练而得，极大提高了终端产品屏缺陷的检测准确率和检测效率，此外，本方案还可以实现AI算法模型的快速迭代，不仅可以很好地检测出已知的缺陷，并且针对新缺陷，通过品质人员简单地复判标记，可以快速迭代训练出新的算法模型，有效地截出不良缺陷，尤其可以有效截出传统算法截不出来的缺陷屏，同时可以不断提升屏的不良缺陷识别率，提升产品品质。
本发明实施例涉及的专业术语包括：
OK屏：符合产品质量要求的、无缺陷的正常屏。
NG屏：不符合产品质量要求的、有缺陷的屏。商品在制造完成后，如果在外观上有些许瑕疵，或者与原设定的规格不符合，称为NG商品，长期积存无法售出的商品也可归类为NG商品。
NG的英文全名是nogood商品，生产商生产的商品中可能会有次品产生，100件商品中可能会有5件商品不合格，那么就是有可能销售不出，还有一种就是积压的产品，也无法进行销售的产品，nogood的英语翻译过来的意思是不好的商品，这类商品无法达到预期的产品样。
本发明实施例考虑到，相关技术在进行屏缺陷检测时，需要针对每个机型、不同缺陷配置相应的标准范围，并只能检测出点、团、线等常见异常缺陷，当出现新的缺陷时，需要频繁地调试验证，因此缺陷产品截出率不佳。
基于此，本发明实施例提出一种解决方案，可以及时有效的检测出各种屏缺陷，提升终端产品屏缺陷的检测准确率和检测效率。
具体地，参照图1，图1为本发明屏缺陷检测装置所属终端设备的功能模块示意图。该屏缺陷检测装置可以为独立于终端设备的、能够进行数据处理的装置，其可以通过硬件或软件的形式承载于终端设备上。该终端设备可以为手机、平板电脑等移动终端，也可以为固定终端，可以为被测终端，也可以为专门的LCD测试设备，本发明实施例中以移动终端进行举例，但并不对此构成限定。
在本实施例中，该屏缺陷检测装置所属终端设备至少包括输出模块110、第一处理器120、第一存储器130以及第一通信模块140。
第一存储器130中存储有第一操作系统以及屏缺陷检测程序，屏缺陷检测装置可以将获取的被测终端屏幕显示的多张不同颜色的图片、AI算法模型，以及利用AI算法模型对多张不同颜色的图片进行检测的结果存储于该第一存储器130中；输出模块110可为显示屏、扬声器等，显示屏可以显示屏缺陷检测结果。第一通信模块140可以包括WIFI模块、移动通信模块以及蓝牙模块等，通过第一通信模块140与外部设备或服务器进行通信。
其中，第一存储器130中的屏缺陷检测程序被处理器执行时实现以下步骤：
获取被测终端屏幕显示的多张不同颜色的图片；
利用AI算法模型对所述多张不同颜色的图片进行检测，所述AI算法模型预先通过深度学习算法训练而得；
对图片检测得到的结果进行评估，得到所述被测终端的屏缺陷检测结果。
进一步地，第一存储器130中的屏缺陷检测程序被处理器执行时还实现以下步骤：
构建AI算法模型，具体包括：
收集多个终端屏幕显示的图片，得到样本图片集，所述样本图片集包括正常屏显示的正常图片以及不同缺陷的NG屏显示的缺陷图片；
对所述样本图片集中的正常图片和缺陷图片分别进行标记；
对标记后的图片进行深度学习算法的模型训练，得到AI算法模型。
进一步地，第一存储器130中的屏缺陷检测程序被处理器执行时还实现以下步骤：
对所述AI算法模型进行测试验证和评估；
若经过测试验证和评估合格，则对所述AI算法模型进行产线试运行；
若产线试运行成功，则发布所述AI算法模型；
若经过测试验证和评估不合格，则对所述AI算法模型进行重新训练。
进一步地，第一存储器130中的屏缺陷检测程序被处理器执行时还实现以下步骤：
若经过测试验证和评估合格，则选取预设的产线对所述AI算法模型进行试运行，得到试运行结果；
获取所述预设的产线运行参考算法模型的运行结果，所述预设的产线设定有相应的比对指标；
将所述AI算法模型的试运行结果与参考算法模型的运行结果进行比对；
若所述AI算法模型的试运行结果优于参考算法模型的运行结果，则判定产线试运行成功；否则，判定产线试运行失败。
进一步地，第一存储器130中的屏缺陷检测程序被处理器执行时还实现以下步骤：
对所述AI算法模型进行重新训练。
进一步地，第一存储器130中的屏缺陷检测程序被处理器执行时还实现以下步骤：
通过预设检验方式获得所述AI算法模型漏检的缺陷图片，作为品质复判图片；
将所述品质复判图片放入原有的样本图片集，作为新的样本图片集，通过深度学习算法训练新的AI算法模型，以此循环迭代，更新AI算法模型。
本实施例通过上述方案，具体通过获取被测终端屏幕显示的多张不同颜色的图片；利用AI算法模型对所述多张不同颜色的图片进行检测，所述AI算法模型预先通过深度学习算法训练而得；对图片检测得到的结果进行评估，得到所述被测终端的屏缺陷检测结果。由此，通过AI算法模型检测终端设备的屏缺陷，该AI算法模型预先通过深度学习算法训练而得，极大提高了终端产品屏缺陷的检测准确率和检测效率，此外，本方案还可以实现AI算法模型的快速迭代，不仅可以很好地检测出已知的缺陷，并且针对新缺陷，通过品质人员简单地复判标记，可以快速迭代训练出新的算法模型，有效地截出不良缺陷，尤其可以有效截出传统算法截不出来的缺陷屏，同时可以不断提升屏的不良缺陷识别率，提升产品品质。
基于上述终端设备架构但不限于上述终端设备架构，提出本发明方法实施例。
参照图2，图2为本发明屏缺陷检测方法一示例性实施例的流程示意图。该实施例中，所述屏缺陷检测方法，包括：
步骤S101，获取被测终端屏幕显示的多张不同颜色的图片；
本实施例方法的执行主体可以为一种独立的LCD测试设备，也可以为被测终端本身，还可以为屏缺陷检测装置，通过上述装置或终端设备实现屏缺陷的在线检测。本实施例以LCD测试设备进行举例。
其中，被测终端可以为手机、平板电脑等具有屏幕显示功能的屏幕终端。
在检测时，首先将被测终端放入LCD测试设备，通过LCD测试设备控制被测终端进入工程模式，被测终端切换不同颜色的图片进行显示，得到不同颜色的图片，然后通过LCD测试设备的摄像头拍出被测终端显示的不同颜色的图片；之后，即可通过AI算法模型对所述多张不同颜色的图片进行检测，判定被测终端屏是否存在缺陷。
步骤S102，利用AI算法模型对所述多张不同颜色的图片进行检测，所述AI算法模型预先通过深度学习算法训练而得；
步骤S103，对图片检测得到的结果进行评估，得到所述被测终端的屏缺陷检测结果。
本实施例预先通过深度学习算法训练有AI算法模型，该AI算法模型可以对各种图片进行检测，识别出各种图片是否存在缺陷，进而可以判定这些图片所对应的被测终端的屏是否为缺陷屏。
本实施例AI算法模型通过深度学习算法训练得到，可以不断提升屏的不良缺陷识别率，而且针对新的缺陷，能快速迭代出新的算法模型，有效截出传统算法截不出来的缺陷屏。
其中，本申请方案的AI(人工智能)主要体现在：该方案不需要人为过多参与，不需要告诉机器复杂的参数、缺陷检测的逻辑描述，只需要标记缺陷，机器自动学习、训练即可识别获得结果。
具体地，在本实施例中，在获取到被测终端显示的不同颜色的图片后，通过AI算法模型对所述多张不同颜色的图片进行检测，判定被测终端屏是否存在缺陷。
其中，作为一种实施方式，可以将AI算法模型加载至专门的GPU服务器，或者其他终端设备，比如下载有该AI算法模型的图像处理器、边缘计算盒子等。
在获取到被测终端显示的不同颜色的图片后，通过LCD测试设备调用AI算法接口，将拍出的被测终端显示的不同颜色的图片发送至上述GPU服务器，或者其他终端设备，通过加载有AI算法模型的GPU服务器，或者其他终端设备，对图片进行缺陷识别，从而判定被测终端屏是否存在缺陷。
作为另一种实施方式，也可以将AI算法模型加载至LCD测试设备本地，通过LCD测试设备调用AI算法接口，调用AI算法模型对拍出的被测终端显示的不同颜色的图片进行缺陷识别，从而判定被测终端屏是否存在缺陷。
本实施例的一种实例细化流程可以参照图3所示，其中，以手机及加载有AI算法模型的GPU服务器为例，具体流程如下：
在检测时，首先将手机放入LCD测试设备，然后，通过LCD测试设备控制手机进入工程模式，手机切换不同颜色的图片进行显示，得到不同颜色的图片；
然后，通过LCD测试设备的摄像头拍出手机显示的不同颜色的图片；
之后，通过LCD测试设备调用AI算法接口，将拍出的手机显示的不同颜色的图片发送至GPU服务器，本实例预先将AI算法模型发布部署到GPU服务器，通过加载有AI算法模型的GPU服务器对图片进行缺陷识别，从而判定手机屏是否存在缺陷。
GPU服务器通过对图片进行缺陷识别后，将缺陷识别结果反馈给LCD测试设备，LCD测试设备根据接收到的缺陷识别结果执行是否允许手机测试过站，其中，如果缺陷识别结果表明手机屏存在缺陷，则将此缺陷屏手机截出，不允许过站，反之，如果缺陷识别结果表明手机屏不存在缺陷，则允许此手机过站。
上述方案中，可以预先设置缺陷识别结果的判定标准，比如是否符合预设产品质量要求，是否存在不允许的屏幕瑕疵等，如果不符合，则判定为缺陷屏。
本实施例通过上述方案，具体通过获取被测终端屏幕显示的多张不同颜色的图片；利用AI算法模型对所述多张不同颜色的图片进行检测，所述AI算法模型预先通过深度学习算法训练而得；对图片检测得到的结果进行评估，得到所述被测终端的屏缺陷检测结果。由此，通过AI算法模型检测终端设备的屏缺陷，该AI算法模型预先通过深度学习算法训练而得，极大提高了终端产品屏缺陷的检测准确率和检测效率，此外，本方案还可以实现AI算法模型的快速迭代，不仅可以很好地检测出已知的缺陷，并且针对新缺陷，通过品质人员简单地复判标记，可以快速迭代训练出新的算法模型，有效地截出不良缺陷，尤其可以有效截出传统算法截不出来的缺陷屏，同时可以不断提升屏的不良缺陷识别率，提升产品品质。
参照图4，图4为本发明屏缺陷检测方法另一示例性实施例的流程示意图。本实施例基于上述图2所示的实施例，在该实施例中，在上述步骤S101，获取被测终端屏幕显示的多张不同颜色的图片之前还包括：
步骤S100，构建AI算法模型。
相比上述图2所示的实施例，本实施例还包括构建AI算法模型的方案。
具体地，在构建AI算法模型时，可以采用如下方案：
首先，收集多个终端屏幕显示的图片，得到样本图片集，所述样本图片集包括正常屏显示的正常图片以及不同缺陷的NG屏显示的缺陷图片；
然后，对所述样本图片集中的正常图片和缺陷图片分别进行标记，标记出正常图片和缺陷图片；具体实现时，可以让品质人员对图片进行标记。
最后，对标记后的图片进行深度学习算法的模型训练，训练得到AI算法模型。后续，即可通过该AI算法模型对缺陷图片进行识别检测。
本实施例通过上述方案，具体通过构建AI算法模型，获取被测终端屏幕显示的多张不同颜色的图片；利用AI算法模型对所述多张不同颜色的图片进行检测，所述AI算法模型预先通过深度学习算法训练而得；对图片检测得到的结果进行评估，得到所述被测终端的屏缺陷检测结果。由此，通过AI算法模型检测终端设备的屏缺陷，该AI算法模型预先通过深度学习算法训练而得，极大提高了终端产品屏缺陷的检测准确率和检测效率，此外，本方案还可以实现AI算法模型的快速迭代，不仅可以很好地检测出已知的缺陷，并且针对新缺陷，通过品质人员简单地复判标记，可以快速迭代训练出新的算法模型，有效地截出不良缺陷，尤其可以有效截出传统算法截不出来的缺陷屏，同时可以不断提升屏的不良缺陷识别率，提升产品品质。
参照图5，图5为本发明屏缺陷检测方法再一示例性实施例的流程示意图。本实施例基于上述图4所示的实施例，在该实施例中，在所述步骤S100，构建AI算法模型之后还包括：
步骤S1001，对所述AI算法模型进行测试验证和评估；
步骤S1002，若经过测试验证和评估合格，则对所述AI算法模型进行产线试运行；
步骤S1003，若产线试运行成功，则发布所述AI算法模型；
步骤S1004，若经过测试验证和评估不合格，则对所述AI算法模型进行重新训练。
相比上述图4所示的实施例，本实施例还包括对构建的AI算法模型进行测试验证和评估的方案。
具体地，在对构建的AI算法模型进行测试验证和评估时，可以采用如下方案：
对所述AI算法模型进行测试验证和评估；若经过测试验证和评估合格，则对所述AI算法模型进行产线试运行；若产线试运行成功，则发布所述AI算法模型；
若经过测试验证和评估不合格，则对所述AI算法模型进行重新训练，直到AI算法模型产线试运行成功，则并发布该AI算法模型。
上述方案中，若经过测试验证和评估合格，则对所述AI算法模型进行产线试运行的步骤可以包括：
若经过测试验证和评估合格，则选取预设的产线对所述AI算法模型进行试运行，得到试运行结果；
获取所述预设的产线运行参考算法模型的运行结果，所述预设的产线设定有相应的比对指标；在通过预设的产线对AI算法模型进行试运行时，以及通过预设的产线运行参考算法模型时，均可以基于上述预设的产线设定的相应的比对指标对相应模型进行试运行测试。
将所述AI算法模型的试运行结果与参考算法模型的运行结果进行比对；
若所述AI算法模型的试运行结果优于参考算法模型的运行结果，则判定产线试运行成功；否则，判定产线试运行失败。其中，若判定产线试运行失败，则对所述AI算法模型进行重新训练，直到AI算法模型产线试运行成功。
本实施例通过上述方案，具体通过深度学习算法训练构建AI算法模型，并对构建的AI算法模型进行测试验证和评估，获取测试验证和评估合格的AI算法模型，获取被测终端屏幕显示的多张不同颜色的图片；利用AI算法模型对所述多张不同颜色的图片进行检测；对图片检测得到的结果进行评估，得到所述被测终端的屏缺陷检测结果。由此，通过AI算法模型检测终端设备的屏缺陷，该AI算法模型预先通过深度学习算法训练而得，极大提高了终端产品屏缺陷的检测准确率和检测效率，此外，本方案还可以实现AI算法模型的快速迭代，不仅可以很好地检测出已知的缺陷，并且针对新缺陷，通过品质人员简单地复判标记，可以快速迭代训练出新的算法模型，有效地截出不良缺陷，尤其可以有效截出传统算法截不出来的缺陷屏，同时可以不断提升屏的不良缺陷识别率，提升产品品质。
参照图6图6为本发明屏缺陷检测方法又一示例性实施例的流程示意图。本实施例基于上述图4所示的实施例，在该实施例中，所述屏缺陷检测方法还包括：
步骤S104，通过预设检验方式获得所述AI算法模型漏检的缺陷图片，作为品质复判图片；
步骤S105，将所述品质复判图片放入原有的样本图片集，作为新的样本图片集，通过深度学习算法训练新的AI算法模型，以此循环迭代，更新AI算法模型。
相比上述图4所示的实施例，本实施例还包括迭代更新AI算法模型的方案。
具体地，在通过AI算法模型对被测终端进行屏缺陷检测后，通过相应的检验方式获得所述AI算法模型漏检的缺陷图片，作为品质复判图片，将所述品质复判图片放入原有的样本图片集，作为新的样本图片集，通过深度学习算法训练新的AI算法模型，以此循环迭代，更新AI算法模型，不断地提升屏的缺陷识别率。
其中，所述预设检验方式至少包括：预设的品质检验流程或者人工抽检方式。
本实施例通过上述方案，具体通过深度学习算法训练构建AI算法模型，获取被测终端屏幕显示的多张不同颜色的图片；利用AI算法模型对所述多张不同颜色的图片进行检测；对图片检测得到的结果进行评估，得到所述被测终端的屏缺陷检测结果。由此，通过AI算法模型检测终端设备的屏缺陷，该AI算法模型预先通过深度学习算法训练而得，极大提高了终端产品屏缺陷的检测准确率和检测效率，此外，本方案还可以实现AI算法模型的快速迭代，不仅可以很好地检测出已知的缺陷，并且针对新缺陷，通过品质人员简单地复判标记，可以快速迭代训练出新的算法模型，有效地截出不良缺陷，尤其可以有效截出传统算法截不出来的缺陷屏，同时可以不断提升屏的不良缺陷识别率，提升产品品质。
需要说明的是，上述各实施例可以根据实际情况组合实施。
其中，作为一种AI模型构建及迭代更新的细化实施例，可以参照图7所示。
如图7所示，具体流程如下：
1、收集OK屏以及各种不同缺陷的NG屏的图片；
2、让品质人员对图片进行标记；
3、对标记的图片进行深度学习算法地模型训练，训练出一个AI算法模型；
4、对训练出的AI算法模型进行内部测试验证评估，如果评估OK，则进入产线试跑阶段，如不合格则重新训练；
5、切换个别拉线试跑新的AI算法模型，对比试跑拉线和正常拉线的整体测试效果，如果试跑拉线的验证效果比正常拉线的算法模型好，则整体发布新的AI算法模型，如试跑效果没有正常拉线的模型好，则重新返回训练。
其中，拉线即产线，产品的生产流程线，可以包括多个产线环节，选择其中一个或多个拉线试跑新的AI算法模型，与正常模型对比测试效果，判断新的算法模型是否可以正式发布。
6、在正式发布后，进入图3所示的正常LCD-AI算法流程，如果碰到新的没有截出的缺陷，则通过品质复判图片，形成新的缺陷训练集；
7、将新的缺陷的复判图片集和原有的图片标记训练集一起训练，通过深度学习算法形成新的AI算法模型，通过循环迭代，不断地提升屏的缺陷识别率。
相比相关技术，本实施例方案针对屏的不良缺陷，构建一套AI系统，实现AI算法模型的快速迭代。此方案可以很好地检测出已知的屏缺陷，并且针对新缺陷，通过品质人员简单地复判标记，可以快速迭代训练出新的AI算法模型，有效地截出不良，提升产品品质。同时可以不断提升屏的不良缺陷识别率，针对新的缺陷，能快速迭代出新的算法模型，有效截出传统算法截不出来的缺陷屏
需要说明的是，本实施例方案不仅可以应用于屏检测，还可以应用于所有类似地图片类缺陷检测，如手机外观、壳料外观、主板电路等。
此外，本发明实施例还提出一种屏缺陷检测装置，包括：
获取模块，用于获取被测终端屏幕显示的多张不同颜色的图片；
检测模块，用于利用AI算法模型对所述多张不同颜色的图片进行检测，所述AI算法模型预先通过深度学习算法训练而得；
评估模块，用于对图片检测得到的结果进行评估，得到所述被测终端的屏缺陷检测结果。
本实施例实现屏缺陷检测的原理及实施过程，请参照上述各实施例，在此不再赘述。
此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有屏缺陷检测程序，所述屏缺陷检测程序被处理器执行时实现如上述实施例所述的屏缺陷检测方法的步骤。
由于本屏缺陷检测报程序被处理器执行时，采用了前述所有实施例的全部技术方案，因此至少具有前述所有实施例的全部技术方案所带来的所有有益效果，在此不再一一赘述。
相比现有技术，本发明实施例提出的屏缺陷检测方法、装置、终端设备以及存储介质，通过获取被测终端屏幕显示的多张不同颜色的图片；利用AI算法模型对所述多张不同颜色的图片进行检测，所述AI算法模型预先通过深度学习算法训练而得；对图片检测得到的结果进行评估，得到所述被测终端的屏缺陷检测结果。由此，通过AI算法模型检测终端设备的屏缺陷，该AI算法模型预先通过深度学习算法训练而得，极大提高了终端产品屏缺陷的检测准确率和检测效率，此外，本方案还可以实现AI算法模型的快速迭代，不仅可以很好地检测出已知的缺陷，并且针对新缺陷，通过品质人员简单地复判标记，可以快速迭代训练出新的算法模型，有效地截出不良缺陷，尤其可以有效截出传统算法截不出来的缺陷屏，同时可以不断提升屏的不良缺陷识别率，提升产品品质。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，被控终端，或者网络设备等)执行本发明每个实施例的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种屏缺陷检测方法，其特征在于，包括：
获取被测终端屏幕显示的多张不同颜色的图片；
利用AI算法模型对所述多张不同颜色的图片进行检测，所述AI算法模型预先通过深度学习算法训练而得；
对图片检测得到的结果进行评估，得到所述被测终端的屏缺陷检测结果。
2.根据权利要求1所述的屏缺陷检测方法，其特征在于，所述获取被测终端屏幕显示的多张不同颜色的图片的步骤之前还包括：
构建AI算法模型，具体包括：
收集多个终端屏幕显示的图片，得到样本图片集，所述样本图片集包括正常屏显示的正常图片以及不同缺陷的NG屏显示的缺陷图片；
对所述样本图片集中的正常图片和缺陷图片分别进行标记；
对标记后的图片进行深度学习算法的模型训练，得到AI算法模型。
3.根据权利要求2所述的屏缺陷检测方法，其特征在于，所述构建AI算法模型的步骤之后还包括：
对所述AI算法模型进行测试验证和评估；
若经过测试验证和评估合格，则对所述AI算法模型进行产线试运行；
若产线试运行成功，则发布所述AI算法模型；
若经过测试验证和评估不合格，则对所述AI算法模型进行重新训练。
4.根据权利要求3所述的屏缺陷检测方法，其特征在于，所述若经过测试验证和评估合格，则对所述AI算法模型进行产线试运行的步骤包括：
若经过测试验证和评估合格，则选取预设的产线对所述AI算法模型进行试运行，得到试运行结果；
获取所述预设的产线运行参考算法模型的运行结果，所述预设的产线设定有相应的比对指标；
将所述AI算法模型的试运行结果与参考算法模型的运行结果进行比对；
若所述AI算法模型的试运行结果优于参考算法模型的运行结果，则判定产线试运行成功；否则，判定产线试运行失败。
5.根据权利要求4所述的屏缺陷检测方法，其特征在于，所述判定产线试运行失败的步骤之后还包括：
对所述AI算法模型进行重新训练。
6.根据权利要求4所述的屏缺陷检测方法，其特征在于，所述方法还包括：
通过预设检验方式获得所述AI算法模型漏检的缺陷图片，作为品质复判图片；
将所述品质复判图片放入原有的样本图片集，作为新的样本图片集，通过深度学习算法训练新的AI算法模型，以此循环迭代，更新AI算法模型。
7.根据权利要求6所述的屏缺陷检测方法，其特征在于，所述预设检验方式至少包括：预设的品质检验流程或者人工抽检方式。
8.一种屏缺陷检测装置，其特征在于，包括：
获取模块，用于获取被测终端屏幕显示的多张不同颜色的图片；
检测模块，用于利用AI算法模型对所述多张不同颜色的图片进行检测，所述AI算法模型预先通过深度学习算法训练而得；
评估模块，用于对图片检测得到的结果进行评估，得到所述被测终端的屏缺陷检测结果。
9.一种终端设备，其特征在于，所述终端设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的屏缺陷检测程序，所述屏缺陷检测程序被所述处理器执行时实现如权利要求1-7中任一项所述的屏缺陷检测方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有屏缺陷检测程序，所述屏缺陷检测程序被处理器执行时实现如权利要求1-7中任一项所述的屏缺陷检测方法的步骤。
CN201911333565.0A 2019-12-20 2019-12-20 屏缺陷检测方法、装置、终端设备以及存储介质 Pending CN111080633A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911333565.0A CN111080633A (zh) 2019-12-20 2019-12-20 屏缺陷检测方法、装置、终端设备以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911333565.0A CN111080633A (zh) 2019-12-20 2019-12-20 屏缺陷检测方法、装置、终端设备以及存储介质

Publications (1)

Publication Number Publication Date
CN111080633A true CN111080633A (zh) 2020-04-28

Family

ID=70316621

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911333565.0A Pending CN111080633A (zh) 2019-12-20 2019-12-20 屏缺陷检测方法、装置、终端设备以及存储介质

Country Status (1)

Country Link
CN (1) CN111080633A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111598152A (zh) * 2020-05-12 2020-08-28 北京阿丘机器人科技有限公司 视觉系统复现方法、设备及计算机可读存储介质
CN112113978A (zh) * 2020-09-22 2020-12-22 成都国铁电气设备有限公司 一种基于深度学习的车载隧道缺陷在线检测系统及方法
CN112712505A (zh) * 2020-12-30 2021-04-27 广东粤云工业互联网创新科技有限公司 基于云端的工件检测方法及系统、计算机可读存储介质
CN114723682A (zh) * 2022-03-22 2022-07-08 厦门微亚智能科技有限公司 产品缺陷管理方法、系统及计算机可读存储介质
CN115100095A (zh) * 2021-12-29 2022-09-23 苏州真目人工智能科技有限公司 一种基于非监督算法的pcb板检测方法
CN115205205A (zh) * 2022-05-20 2022-10-18 苏州汉瑞森光电科技股份有限公司 一种显示效果的智能评估方法及系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120293795A1 (en) * 2010-02-26 2012-11-22 Takahiro Urano Defect inspection device and method of inspecting defect
CN104010190A (zh) * 2014-05-29 2014-08-27 东莞市信太通讯设备有限公司 一种手机屏幕组装前自动检测坏点的方法
CN106875373A (zh) * 2016-12-14 2017-06-20 浙江大学 基于卷积神经网络剪枝算法的手机屏幕mura缺陷检测方法
CN107123111A (zh) * 2017-04-14 2017-09-01 浙江大学 一种用于手机屏幕缺陷检测的深度残差网络构造方法
CN108596226A (zh) * 2018-04-12 2018-09-28 武汉精测电子集团股份有限公司 一种基于深度学习的显示面板缺陷训练方法及系统
US20180330193A1 (en) * 2017-05-11 2018-11-15 Omron Corporation Image processing device, non-transitory computer readable storage medium, and image processing system
CN109064446A (zh) * 2018-07-02 2018-12-21 北京百度网讯科技有限公司 显示屏质量检测方法、装置、电子设备及存储介质
CN109119009A (zh) * 2017-06-26 2019-01-01 深圳回收宝科技有限公司 屏幕缺陷检测方法、检测设备、系统及存储介质
CN110097544A (zh) * 2019-04-25 2019-08-06 武汉精立电子技术有限公司 一种显示面板外观缺陷检测方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120293795A1 (en) * 2010-02-26 2012-11-22 Takahiro Urano Defect inspection device and method of inspecting defect
CN104010190A (zh) * 2014-05-29 2014-08-27 东莞市信太通讯设备有限公司 一种手机屏幕组装前自动检测坏点的方法
CN106875373A (zh) * 2016-12-14 2017-06-20 浙江大学 基于卷积神经网络剪枝算法的手机屏幕mura缺陷检测方法
CN107123111A (zh) * 2017-04-14 2017-09-01 浙江大学 一种用于手机屏幕缺陷检测的深度残差网络构造方法
US20180330193A1 (en) * 2017-05-11 2018-11-15 Omron Corporation Image processing device, non-transitory computer readable storage medium, and image processing system
CN109119009A (zh) * 2017-06-26 2019-01-01 深圳回收宝科技有限公司 屏幕缺陷检测方法、检测设备、系统及存储介质
CN108596226A (zh) * 2018-04-12 2018-09-28 武汉精测电子集团股份有限公司 一种基于深度学习的显示面板缺陷训练方法及系统
CN109064446A (zh) * 2018-07-02 2018-12-21 北京百度网讯科技有限公司 显示屏质量检测方法、装置、电子设备及存储介质
CN110097544A (zh) * 2019-04-25 2019-08-06 武汉精立电子技术有限公司 一种显示面板外观缺陷检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
沈红佳: "基于深度模型的手机屏幕缺陷检测和分类算法研究", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111598152A (zh) * 2020-05-12 2020-08-28 北京阿丘机器人科技有限公司 视觉系统复现方法、设备及计算机可读存储介质
CN112113978A (zh) * 2020-09-22 2020-12-22 成都国铁电气设备有限公司 一种基于深度学习的车载隧道缺陷在线检测系统及方法
CN112712505A (zh) * 2020-12-30 2021-04-27 广东粤云工业互联网创新科技有限公司 基于云端的工件检测方法及系统、计算机可读存储介质
CN115100095A (zh) * 2021-12-29 2022-09-23 苏州真目人工智能科技有限公司 一种基于非监督算法的pcb板检测方法
CN115100095B (zh) * 2021-12-29 2023-08-22 苏州真目人工智能科技有限公司 一种基于非监督算法的pcb板检测方法
CN114723682A (zh) * 2022-03-22 2022-07-08 厦门微亚智能科技有限公司 产品缺陷管理方法、系统及计算机可读存储介质
CN115205205A (zh) * 2022-05-20 2022-10-18 苏州汉瑞森光电科技股份有限公司 一种显示效果的智能评估方法及系统
CN115205205B (zh) * 2022-05-20 2023-09-22 苏州汉瑞森光电科技股份有限公司 一种显示效果的智能评估方法及系统

Similar Documents

Publication Publication Date Title
CN111080633A (zh) 屏缺陷检测方法、装置、终端设备以及存储介质
CN107678935B (zh) 数据生成方法、终端及计算机可读存储介质
CN109060817B (zh) 人工智能复检系统及其方法
CN106326108A (zh) 一种新应用的测试方法及装置
CN110580475A (zh) 基于无人机巡检的线路诊断方法、电子装置及存储介质
CN111045924B (zh) 用户界面视觉验收的处理方法、装置及设备
CN114155244B (zh) 缺陷检测方法、装置、设备及存储介质
CN108415886B (zh) 一种基于生产工序的数据标签纠错方法及装置
CN112069068A (zh) 自动化测试数据处理方法、装置、设备及可读存储介质
WO2021159736A1 (zh) 应用程序兼容性测试的方法、装置及计算机设备
CN111598084B (zh) 缺陷分割网络训练方法、装置、设备及可读存储介质
CN117392042A (zh) 缺陷检测方法、缺陷检测设备及存储介质
CN106528429A (zh) 一种ui界面测试方法及装置
CN110489347A (zh) 基于git的版本管理方法、装置、设备及可读存储介质
CN114266737A (zh) 缺陷检测方法、装置、设备和存储介质
CN114154799A (zh) 物料质量检验方法和装置、来料质量可视化检验系统
CN104615537A (zh) 一种图像处理类ip的可约束随机验证方法和装置
CN111767218A (zh) 一种用于持续集成的自动化测试方法、设备及存储介质
CN111093140A (zh) 检测麦克和听筒防尘网缺陷的方法、装置、设备及存储介质
CN112822487A (zh) 显示设备语音性能检测方法及系统
CN110958346B (zh) 一种手机相机智能测评方法及系统
CN110532186A (zh) 利用验证码进行测试的方法、装置、电子设备和存储介质
CN111767233B (zh) 基于智能快递柜的业务测试方法及装置
CN117349189B (zh) 一种app新版本测试方法、设备及介质
CN109582564A (zh) 一种移动应用软件的测试方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200428