CN116757973A - 一种面板产品自动修补方法、系统、设备及存储介质 - Google Patents

一种面板产品自动修补方法、系统、设备及存储介质 Download PDF

Info

Publication number
CN116757973A
CN116757973A CN202311062086.6A CN202311062086A CN116757973A CN 116757973 A CN116757973 A CN 116757973A CN 202311062086 A CN202311062086 A CN 202311062086A CN 116757973 A CN116757973 A CN 116757973A
Authority
CN
China
Prior art keywords
defect
product
line
panel product
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311062086.6A
Other languages
English (en)
Other versions
CN116757973B (zh
Inventor
请求不公布姓名
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Shuzhilian Technology Co Ltd
Original Assignee
Chengdu Shuzhilian Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Shuzhilian Technology Co Ltd filed Critical Chengdu Shuzhilian Technology Co Ltd
Priority to CN202311062086.6A priority Critical patent/CN116757973B/zh
Publication of CN116757973A publication Critical patent/CN116757973A/zh
Application granted granted Critical
Publication of CN116757973B publication Critical patent/CN116757973B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种面板产品自动修补方法、系统、设备及存储介质，涉及面板自动修补领域，所述方法包括步骤为：构造线路模板，对线路模板进行背景线路区分；对线路模板进行核心部件定位，以获取所有核心部件的矩形框；对待检测的面板产品图像进行模板匹配、缺陷轮廓分割，以定位到待修补产品图，并且获取到缺陷轮廓图；基于所有核心部件的矩形框判定缺陷轮廓图在待修补产品图上的背景线路位置，并且获取背景线路位置对应核心部件的矩形框；基于背景线路位置对应核心部件的矩形框获取产品修补路径，基于产品修补路径对待检测的面板产品进行产品自动修补处理，解决了现有面板产品缺陷修补人力成本较高、修补效率较低的问题。

Description

一种面板产品自动修补方法、系统、设备及存储介质
技术领域
本发明涉及面板质检技术领域，具体而言，涉及一种面板产品自动修补方法、系统、设备及存储介质。
背景技术
面板生产制造复杂且繁琐，制造过程中容易引入各种各样的产品缺陷，特别是针对于面板线路短路的问题；产生缺陷的玻璃基板需要送到面板修补厂进行修补，面板修补厂一般都需要人工手动操作修补机台，以完成修补过程。以最常用的激光修补为例，首先通过修补机台对载台上的玻璃基板进行拍照，然后将需要修补的缺陷部分图像传输到机台自带的修补软件界面，最后由人工通过鼠标选择激光切割的路线，以完成整个修补动作。
由于生产过程中产生的缺陷数量很多，配备的修补机台往往也达到十台以上，这些修补机台也需要配备相应的修补技术人员，人力成本较高，修补效率较低。
发明内容
为了解决现有面板产品缺陷修补人力成本较高、修补效率较低的问题，本发明实施例提供一种面板缺陷定位方法、定位系统、修补方法及修补系统。
在第一方面，本发明实施例中提供一种面板产品自动修补方法，所述方法包括以下步骤：
基于历史的面板产品图构造线路模板，并且对线路模板进行背景线路区分处理，以获取线路mask图；
对线路模板/线路mask图进行核心部件定位处理，以获取所有核心部件的矩形框；
基于缺陷定位模型对待检测的面板产品图进行模板匹配处理，以定位到待修补产品图，并且基于缺陷分割模型对待检测的面板产品图像进行缺陷轮廓分割处理，以获取缺陷轮廓图；
基于所有核心部件对应矩形框的坐标集判定缺陷轮廓图在待修补产品图上的背景线路，并且获取背景线路对应核心部件的矩形框；
基于背景线路对应核心部件的矩形框获取产品修补路径，并且基于产品修补路径对待检测的面板产品进行产品自动修补处理。
于上述实施例中，采用深度学习图像分割技术和计算机视觉（CV）图像处理技术，实现对面板产品图像中缺陷和线路的定位，以及缺陷对线路影响的量化分析，计算出激光切割的路径，从而通过后台激光修补操作，以实现修补过程的自动化，有效减少人力成本，提高面板修补效率。
作为本申请一些可选实施方式，获取线路mask图的流程如下：
对历史的面板产品图进行线路区域截取处理，以得到线路模板；
对线路模板进行背景线路区分处理，并且以不同灰度值填充不同线路区域，以形成线路mask图。
于上述实施例中，由于需要判断缺陷影响的线路位置，因此将不同线路区域进行划分，并且用不同灰度值对不同线路区域进行填充，用于标志不同的线路位置。
作为本申请一些可选实施方式，获取所有核心部件的矩形框的流程如下：
对线路模板/线路mask图进行核心部件定位处理、标注以及记录处理，以得到核心部件的坐标集；
基于核心部件的坐标集对不同线路区域进行划分，以得到所有核心部件对应矩形框的坐标集，其中，每个核心部件对应至少一个矩形框。
于上述实施例中，通过核心部件定位、标注、记录，可以获取线路模板中所有核心部件的位置信息，并且通过对所有核心部件进行区域划分，将若干核心部件的不同区域分别用不同矩形框进行标注，便于后期对待检测的面板产品图进行核心部件、线路区域定位。
作为本申请一些可选实施方式，获取缺陷轮廓图的流程如下：
基于训练后的缺陷定位模型对待检测的面板产品图进行模板匹配处理，以定位到待修补产品图；
基于训练后的缺陷分割模型对待检测的面板产品图像进行缺陷轮廓分割处理，以获取缺陷轮廓图像。
作为本申请一些可选实施方式，获取背景线路对应核心部件的矩形框的流程如下：
将缺陷轮廓图像的坐标集与所有核心部件的矩形框的坐标集比对，以判定缺陷影响的核心部件；
将缺陷轮廓图像填充指定灰度值，并且将灰度值填充后的缺陷轮廓图像与线路mask图像素叠加，基于像素叠加取值判定缺陷影响的线路区域；
基于缺陷影响的核心部件和线路区域获取背景线路对应核心部件的矩形框。
于上述实施例中，通过模板匹配和缺陷轮廓分割处理，并且结合所有核心部件的矩形框的坐标集，可以确定缺陷影响的核心部件位置，并且将灰度值填充后的缺陷轮廓图像与线路mask图像素叠加，通过叠加值的情况即可判定缺陷影响到线路的哪些线路区域。
作为本申请一些可选实施方式，基于背景线路对应核心部件的矩形框获取产品修补路径的流程如下：
以背景线路对应核心部件矩形框的左下角坐标为修补路径的起点坐标；
以缺陷轮廓图像纵向坐标的最小值为终点的纵坐标，并且结合固定的切割夹角，以获得终点的横坐标，即获得产品修补路径的终点坐标。
于上述实施例中，通过对缺陷影响到的线路背景进行定位之后，可以获取到对应的矩形框，通过矩形框的坐标集信息即可制定合理的激光切割路径，以实现面板自动修补。
作为本申请一些可选实施方式，基于产品修补路径对待检测的面板产品进行产品自动修补处理即是基于产品修补路径进行激光切割处理。
于上述实施例中，基于获取的产品修补路径通过捕获桌面鼠标，通过控制鼠标点击激光修补，并划出对应的产品修补路径，即可完成产品自动修补过程。
在第二方面，本发明提供一种面板产品自动修补系统，所述系统包括：
mask图获取单元，所述mask图获取单元基于历史的面板产品图构造线路模板，并且对线路模板进行背景线路区分处理，以获取线路mask图；
矩形框获取单元，所述矩形框获取单元用于对线路模板/线路mask图进行核心部件定位处理，以获取所有核心部件的矩形框；
缺陷轮廓获取单元，所述缺陷轮廓获取单元基于缺陷定位模型对待检测的面板产品图进行模板匹配处理，以定位到待修补产品图，并且基于缺陷分割模型对待检测的面板产品图像进行缺陷轮廓分割处理，以获取缺陷轮廓图；
缺陷定位单元，所述缺陷定位单元基于所有核心部件对应矩形框的坐标集判定缺陷轮廓图在待修补产品图上的背景线路，并且获取背景线路对应核心部件的矩形框；
自动修补单元，所述自动修补单元基于背景线路位置对应核心部件的矩形框获取产品修补路径，并且基于产品修补路径对待检测的面板产品进行产品自动修补处理。
在第三方面，本发明提供一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述一种面板产品自动修补方法。
在第四方面，本发明提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现所述一种面板产品自动修补方法。
本发明的有益效果为：本发明通过采用深度学习图像分割技术和计算机视觉（CV）图像处理技术，实现对面板产品图像中缺陷和线路的定位，以及缺陷对线路影响的量化分析，进而计算出激光切割的路径，从而通过后台激光修补操作，以实现修补过程的自动化，有效减少人力成本，提高面板修补效率。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1是本发明的实施例中面板产品自动修补方法的流程图；
图2是本发明的实施例中未进行二值化处理的线路模板示意图；
图3是本发明的实施例中二值化处理后的线路模板示意图；
图4是本发明的实施例中多边形点集的示意图；
图5是本发明的实施例中线路mask图；
图6是本发明的实施例中核心部件的标注示意图；
图7是本发明的实施例中待修补产品图；
图8是本发明的实施例中缺陷轮廓图像；
图9是本发明的实施例中切割夹角示意图；
图10是本发明的实施例中修补路径示意图；
图11是本发明的实施例中面板产品自动修补系统的框图。
实施方式
为了更好的理解上述技术方案，下面通过附图以及具体实施例对本发明技术方案做详细的说明，应当理解本发明实施例以及实施例中的具体特征是对本发明技术方案的详细的说明，而不是对本发明技术方案的限定，在不冲突的情况下，本发明实施例以及实施例中的技术特征可以相互组合。
同样应当理解的是，为了简化本发明揭示的表述，从而帮助对至少一个发明实施例的理解，前文对本发明实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。但是，这种披露方法并不意味着本发明对象所需要的特征比权利要求中提及的特征多。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。
实施例
本发明提供一种面板产品自动修补方法，,图1为方法的流程图，所述方法包括以下步骤：
基于历史的面板产品图构造线路模板，以实现对面板产品线路区域定位，并且对线路模板进行背景线路区分处理，以获取线路mask图。
具体的，获取线路mask图的流程如下：
（1.1）由于需要对每种面板产品的线路区域进行初步定位，因此需要对历史的面板产品图进行线路区域截取处理，以得到线路模板，其中，所述线路模板可以采用二值化图像，能够有效排除颜色干扰，图2、图3，分别为未进行二值化处理的线路模板示意图以及二值化处理后的线路模板示意图。
（1.2）由于需要对每种面板产品的线路区域进行详细定位，因此需要对线路模板进行背景线路区分处理，构造多边形点集，图4为多边形点集的示意图；并且以不同灰度值填充不同线路区域，以形成线路mask图，图5为线路mask图，线路一共填充5中不同的灰度值。
（2）对线路模板/线路mask图进行核心部件定位处理，以获取所有核心部件的矩形框，其中，核心部件对应的矩形框的数量至少为一个。
具体的，获取核心部件对应矩形框的坐标集的流程如下：
（2.1）对线路模板/线路mask图进行核心部件定位处理、标注、记录处理，以得到所有核心部件的坐标集。
（2.2）基于所有核心部件坐标集对不同线路区域进行划分，以得到所有核心部件对应矩形框的坐标集；图6为核心部件的标注示意图，核心部件为“U”形区域，通过标注软件可以对所有“U”形区域（共计8个）进行标注，每个“U”形区域设置三个矩形框，分别为整体的一个矩形框，上部的一个矩形框，以及下部的一个矩形框，并且将矩形框的坐标集信息进行记录，表1分别记录了对应线路模板上8个“U”形区域，3个矩形框的坐标数据；
表1
其中，(x1，y1)和(x2，y2)为整体的一个矩形框的对角坐标，(Up-x1，Up-y1)和(Up-x2，Up-y2)为上部的一个矩形框的对角坐标，(Lo-x1，Lo-y1)和(Lo-x2，Lo-y2)为下部的一个矩形框的对角坐标。
通过核心部件定位、标注、记录，可以获取线路模板中所有核心部件的位置信息，并且通过对所有核心部件进行区域划分，将若干核心部件的不同区域分别用不同矩形框进行标注，便于后期对待检测的面板产品图进行核心部件、线路区域定位。
（3）基于缺陷定位模型对待检测的面板产品图进行模板匹配处理，以定位到待修补产品图，并且基于缺陷分割模型对待检测的面板产品图像进行缺陷轮廓分割处理，以获取缺陷轮廓图。
具体的，获取缺陷轮廓图的流程如下：
（3.1）基于训练后的缺陷定位模型对待检测的面板产品图进行模板匹配处理，以定位到待修补产品图，图7为待修补产品图。
（3.2）基于训练后的缺陷分割模型对待检测的面板产品图像进行缺陷轮廓分割处理，以获取缺陷轮廓图像，图8为缺陷轮廓图像；其中，所述训练后的缺陷定位模型是将历史的面板产品图的线路模板输入Faster RCNN、YOLO等目标检测算法训练得到；所述训练后的训练后的缺陷分割模型是将历史的面板产品图输入Faster RCNN、YOLO等目标检测算法训练得到。
于本发明实施例中，通过模板匹配和缺陷轮廓分割处理，并且结合核心部件的矩形框的坐标集，可以确定缺陷影响的核心部件位置，并且将灰度值填充后的缺陷轮廓图像与线路mask图像素叠加，通过叠加值的情况即可判定缺陷影响到线路的哪些区域。
（4）基于所有核心部件对应矩形框的坐标集判定缺陷轮廓图在待修补产品图上的背景线路，并且获取背景线路对应核心部件的矩形框。
具体的，获取背景线路对应核心部件的矩形框的流程如下：
（4.1）将缺陷轮廓图像的坐标集与所有核心部件的矩形框的坐标集比对，以判定缺陷影响的核心部件。
（4.2）将缺陷轮廓图像填充指定灰度值，并且将灰度值填充后的缺陷轮廓图像与线路mask图像素叠加，基于像素叠加取值判定缺陷影响的线路区域。
（4.3）基于缺陷影响的核心部件和线路区域获取背景线路对应核心部件的矩形框。
（5）基于背景线路位置对应核心部件的矩形框获取产品修补路径，并且基于产品修补路径对待检测的面板产品进行产品自动修补处理。
具体的，基于背景线路对应核心部件的矩形框获取产品修补路径的流程如下：
（5.1）以核心部件对应矩形框的左下角坐标为修补路径的起点坐标。
（5.2）以缺陷轮廓图像纵向坐标的最小值为终点的纵坐标，并且结合固定的切割夹角，以获得终点的横坐标，即获得产品修补路径的终点坐标。
于本发明实施例中，终点的横坐标计算公式如下：
其中，为修补路径的起点坐标，/>为缺陷轮廓在y方向上的最小值，切割夹角/>为预先设置的固定值，图9为切割夹角示意图，通过以上公式可以获得终点的横坐标/>。
具体的，基于产品修补路径对待检测的面板产品进行产品自动修补处理的流程如下：
（5.3）通过起点坐标和终点坐标确定一条产品修补的直线路径，图10为修补路径。
（5.4）通过捕获桌面鼠标，控制鼠标点击激光修补，并在待检测的面板产品上进行激光切割处理，以实现产品自动修补。
于本发明实施例中，即是解决在特定线路中特殊位置存在缺陷时，导致的线路短路问题；为了解决线路短路问题，需要采用激光切割的方式将线路切割开来，以实现面板自动修补；与此同时，还可以采用面修补的方式进行面板自动修补，即是将缺陷对应的矩形框全部打掉，以解决线路短路问题。
综上，本发明实施例通过采用深度学习图像分割技术和计算机视觉（CV）图像处理技术，实现对面板产品图像中缺陷和线路的定位，以及缺陷对线路影响的量化分析，进而计算出激光切割的路径，从而通过后台激光修补操作，以实现修补过程的自动化，有效减少人力成本，提高面板修补效率。
实施例2
本发明提供一种面板产品自动修补系统，图11为系统框图，所述系统与实施例1的方法一一对应，所述系统包括：
mask图获取单元，所述mask图获取单元基于历史的面板产品图构造线路模板，并且对线路模板进行背景线路区分处理，以获取线路mask图；
矩形框获取单元，所述矩形框获取单元用于对线路模板/线路mask图进行核心部件定位处理，以获取所有核心部件的矩形框；
缺陷轮廓获取单元，所述缺陷轮廓获取单元基于缺陷定位模型对待检测的面板产品图进行模板匹配处理，以定位到待修补产品图，并且基于缺陷分割模型对待检测的面板产品图像进行缺陷轮廓分割处理，以获取缺陷轮廓图；
缺陷定位单元，所述缺陷定位单元基于所有核心部件对应矩形框的坐标集判定缺陷轮廓图在待修补产品图上的背景线路，并且获取背景线路对应核心部件的矩形框；
自动修补单元，所述自动修补单元基于背景线路位置对应核心部件的矩形框获取产品修补路径，并且基于产品修补路径对待检测的面板产品进行产品自动修补处理。
实施例3
本发明提供了一种计算机设备，所述计算机设备包括存储器及处理器，所述存储器存储有计算机程序，所述计算机程序在所述处理器运行时执行实施例1所述的一种面板产品自动修补方法。
本实施例提供的计算机设备可以实现执行实施例1所述的方法，为避免重复，在此不再赘述。
实施例4
本发明提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现实施例1所述的一种面板产品自动修补方法。
本实施例提供的计算机可读存储介质可以实现执行实施例1所述的方法，为避免重复，在此不再赘述。
其中，所述处理器可以是中央处理器（CPU，Central Processing Unit），还可以是其他通用处理器、数字信号处理器（digital signal processor）、专用集成电路（Application Specific Integrated Circuit）、现成可编程门阵列（Field programmablegate array）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的数据，实现发明中面板产品自动修补系统的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序（比如声音播放功能、图像播放功能等）等。此外，存储器可以包括高速随机存取存储器、还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡，安全数字卡，闪存卡、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
面板产品自动修补系统如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序可存储于一计算机可读存介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码、对象代码形式、可执行文件或某些中间形式等。所述计算机可读取介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器、随机存储器、点载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减。
本发明已对基本概念做了描述，显然，对于本领域技术人员来说，上述详细披露仅仅作为示例，而并不构成对本说明书的限定。虽然此处并没有明确说明，本领域技术人员可能会对本说明书进行各种修改、改进和修正。该类修改、改进和修正在本说明书中被建议，所以该类修改、改进、修正仍属于本说明书示范实施例的精神和范围。

Claims (10)

1.一种面板产品自动修补方法，其特征在于，所述方法包括以下步骤：
基于历史的面板产品图构造线路模板，并且对线路模板进行背景线路区分处理，以获取线路mask图；
对线路模板/线路mask图进行核心部件定位处理，以获取所有核心部件的矩形框；
基于缺陷定位模型对待检测的面板产品图进行模板匹配处理，以定位到待修补产品图，并且基于缺陷分割模型对待检测的面板产品图像进行缺陷轮廓分割处理，以获取缺陷轮廓图；
基于所有核心部件对应矩形框的坐标集判定缺陷轮廓图在待修补产品图上的背景线路，并且获取背景线路对应核心部件的矩形框；
基于背景线路对应核心部件的矩形框获取产品修补路径，并且基于产品修补路径对待检测的面板产品进行产品自动修补处理。
2.根据权利要求1所述的一种面板产品自动修补方法，其特征在于，获取线路mask图的流程如下：
对历史的面板产品图进行线路区域截取处理，以得到线路模板；
对线路模板进行背景线路区分处理，并且以不同灰度值填充不同线路区域，以形成线路mask图。
3.根据权利要求1所述的一种面板产品自动修补方法，其特征在于，获取所有核心部件的矩形框的流程如下：
对线路模板/线路mask图进行核心部件定位处理、标注以及记录处理，以得到核心部件的坐标集；
基于核心部件的坐标集对不同线路区域进行划分，以得到所有核心部件对应矩形框的坐标集，其中，每个核心部件对应至少一个矩形框。
4.根据权利要求1所述的一种面板产品自动修补方法，其特征在于，获取缺陷轮廓图的流程如下：
基于训练后的缺陷定位模型对待检测的面板产品图进行模板匹配处理，以定位到待修补产品图；
基于训练后的缺陷分割模型对待检测的面板产品图像进行缺陷轮廓分割处理，以获取缺陷轮廓图像。
5.根据权利要求4所述的一种面板产品自动修补方法，其特征在于，获取背景线路对应核心部件的矩形框的流程如下：
将缺陷轮廓图像的坐标集与所有核心部件的矩形框的坐标集比对，以判定缺陷影响的核心部件；
将缺陷轮廓图像填充指定灰度值，并且将灰度值填充后的缺陷轮廓图像与线路mask图像素叠加，基于像素叠加取值判定缺陷影响的线路区域；
基于缺陷影响的核心部件和线路区域获取背景线路对应核心部件的矩形框。
6.根据权利要求5所述的一种面板产品自动修补方法，其特征在于，基于背景线路对应核心部件的矩形框获取产品修补路径的流程如下：
以背景线路对应核心部件矩形框的左下角坐标为修补路径的起点坐标；
以缺陷轮廓图像纵向坐标的最小值为终点的纵坐标，并且结合固定的切割夹角，以获得终点的横坐标，即获得产品修补路径的终点坐标。
7.根据权利要求1所述的一种面板产品自动修补方法，其特征在于，基于产品修补路径对待检测的面板产品进行产品自动修补处理即是基于产品修补路径进行激光切割处理。
8.一种面板产品自动修补系统，其特征在于，所述系统包括：
mask图获取单元，所述mask图获取单元基于历史的面板产品图构造线路模板，并且对线路模板进行背景线路区分处理，以获取线路mask图；
矩形框获取单元，所述矩形框获取单元用于对线路模板/线路mask图进行核心部件定位处理，以获取所有核心部件的矩形框；
缺陷轮廓获取单元，所述缺陷轮廓获取单元基于缺陷定位模型对待检测的面板产品图进行模板匹配处理，以定位到待修补产品图，并且基于缺陷分割模型对待检测的面板产品图像进行缺陷轮廓分割处理，以获取缺陷轮廓图；
缺陷定位单元，所述缺陷定位单元基于所有核心部件对应矩形框的坐标集判定缺陷轮廓图在待修补产品图上的背景线路，并且获取背景线路对应核心部件的矩形框；
自动修补单元，所述自动修补单元基于背景线路位置对应核心部件的矩形框获取产品修补路径，并且基于产品修补路径对待检测的面板产品进行产品自动修补处理。
9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于：所述处理器执行所述计算机程序时实现权利要求1-7中任一项所述一种面板产品自动修补方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-7中任一项所述一种面板产品自动修补方法。
CN202311062086.6A 2023-08-23 2023-08-23 一种面板产品自动修补方法、系统、设备及存储介质 Active CN116757973B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311062086.6A CN116757973B (zh) 2023-08-23 2023-08-23 一种面板产品自动修补方法、系统、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311062086.6A CN116757973B (zh) 2023-08-23 2023-08-23 一种面板产品自动修补方法、系统、设备及存储介质

Publications (2)

Publication Number Publication Date
CN116757973A true CN116757973A (zh) 2023-09-15
CN116757973B CN116757973B (zh) 2023-12-01

Family

ID=87953819

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311062086.6A Active CN116757973B (zh) 2023-08-23 2023-08-23 一种面板产品自动修补方法、系统、设备及存储介质

Country Status (1)

Country Link
CN (1) CN116757973B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6701003B1 (en) * 2000-04-10 2004-03-02 Innoventions, Inc. Component identification system for electronic board testers
WO2008068894A1 (ja) * 2006-12-04 2008-06-12 Tokyo Electron Limited 欠陥検出装置、欠陥検出方法、情報処理装置、情報処理方法及びそのプログラム
JP2009182993A (ja) * 2009-05-18 2009-08-13 Mega Chips Corp 画像処理装置及び画像処理システム並びに撮像装置
CN103810965A (zh) * 2012-11-07 2014-05-21 上海天马微电子有限公司 一种显示装置及其像素单元的缺陷修复方法
WO2016090311A1 (en) * 2014-12-05 2016-06-09 Kla-Tencor Corporation Apparatus, method and computer program product for defect detection in work pieces
CN115063618A (zh) * 2022-08-17 2022-09-16 成都数之联科技股份有限公司 一种基于模板匹配的缺陷定位方法、系统、设备及介质
CN115082394A (zh) * 2021-08-09 2022-09-20 深圳智检慧通科技有限公司 一种插件缺陷视觉检测识别方法、可读存储介质及设备
CN115880520A (zh) * 2022-11-14 2023-03-31 成都数之联科技股份有限公司 一种基于模板匹配和缺陷分割的缺陷等级分类方法及系统
CN116468680A (zh) * 2023-03-31 2023-07-21 成都数之联科技股份有限公司 一种元器件反极缺陷检测方法、系统、设备及存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6701003B1 (en) * 2000-04-10 2004-03-02 Innoventions, Inc. Component identification system for electronic board testers
WO2008068894A1 (ja) * 2006-12-04 2008-06-12 Tokyo Electron Limited 欠陥検出装置、欠陥検出方法、情報処理装置、情報処理方法及びそのプログラム
JP2009182993A (ja) * 2009-05-18 2009-08-13 Mega Chips Corp 画像処理装置及び画像処理システム並びに撮像装置
CN103810965A (zh) * 2012-11-07 2014-05-21 上海天马微电子有限公司 一种显示装置及其像素单元的缺陷修复方法
WO2016090311A1 (en) * 2014-12-05 2016-06-09 Kla-Tencor Corporation Apparatus, method and computer program product for defect detection in work pieces
CN115082394A (zh) * 2021-08-09 2022-09-20 深圳智检慧通科技有限公司 一种插件缺陷视觉检测识别方法、可读存储介质及设备
CN115063618A (zh) * 2022-08-17 2022-09-16 成都数之联科技股份有限公司 一种基于模板匹配的缺陷定位方法、系统、设备及介质
CN115880520A (zh) * 2022-11-14 2023-03-31 成都数之联科技股份有限公司 一种基于模板匹配和缺陷分割的缺陷等级分类方法及系统
CN116468680A (zh) * 2023-03-31 2023-07-21 成都数之联科技股份有限公司 一种元器件反极缺陷检测方法、系统、设备及存储介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
EMILIA ȘIPOȘ 等: "PCB Quality Check: Optical Inspection Using Color Mask and Thresholding", 《2022 IEEE INTERNATIONAL CONFERENCE ON AUTOMATION, QUALITY AND TESTING, ROBOTICS》, pages 1 - 5 *
JING WEI 等: "Mask-Guided Generation Method for Industrial Defect Images with Non-uniform Structures", 《MACHINES》, pages 1 - 17 *
孙晓婷，陈江红: "基于图像的线路缺陷检测", 《福建工程学院学报》, vol. 11, no. 4, pages 373 - 376 *
王淼 等: "基于红外图像识别的输电线路故障诊断方法", 《红外技术》, vol. 39, no. 4, pages 383 - 386 *

Also Published As

Publication number Publication date
CN116757973B (zh) 2023-12-01

Similar Documents

Publication Publication Date Title
CN103846192B (zh) 自主定位智能点胶系统
CN110502985B (zh) 表格识别方法、装置及表格识别设备
JP3515199B2 (ja) 欠陥検査装置
CN107356213B (zh) 滤光片同心度测量方法及终端设备
US20090226073A1 (en) Method of creating master data used for inspecting concave-convex figure
JP2009211626A (ja) 画像処理装置及び方法
CN109325492B (zh) 字符切割方法、装置、计算机设备及存储介质
CN115063618B (zh) 一种基于模板匹配的缺陷定位方法、系统、设备及介质
CN117152165B (zh) 感光芯片缺陷的检测方法、装置、存储介质及电子设备
CN112102254A (zh) 基于机器视觉的木材表面缺陷检测方法与系统
CN104423142B (zh) 用于光学邻近校正模型的校准数据收集方法和系统
CN115937175A (zh) 一种电路板表面缺陷检测方法、系统、设备及存储介质
CN115272199A (zh) 一种pcb载板缺陷检测方法、系统、电子设备及介质
CN117274246A (zh) 一种焊盘识别方法、计算机设备以及存储介质
CN107194971B (zh) 一种金手指定位方法、装置及计算机可读存储介质
CN112802022B (zh) 智能检测缺陷玻璃图像的方法、电子设备以及存储介质
CN113182701A (zh) 激光加工方法、装置、设备及存储介质
CN116757973B (zh) 一种面板产品自动修补方法、系统、设备及存储介质
CN113538399A (zh) 一种用于获取工件精准轮廓的方法、机床及存储介质
CN115876786B (zh) 楔形焊点的检测方法及运动控制装置
CN116664566A (zh) 一种oled面板丝印质量控制方法及系统及装置及介质
CN113378847B (zh) 字符分割方法、系统、计算机设备和存储介质
CN112256905B (zh) 图像数据集缺陷热点分布显示方法和装置
CN112991284A (zh) 一种温控器导向架缺陷检测方法及系统
CN114627114B (zh) 产品缺陷严重程度测量方法及系统及装置及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20230915

Assignee: Chengdu Shuzhi Innovation Lean Technology Co.,Ltd.

Assignor: Chengdu shuzhilian Technology Co.,Ltd.

Contract record no.: X2024510000014

Denomination of invention: An automatic repair method, system, equipment, and storage medium for panel products

Granted publication date: 20231201

License type: Common License

Record date: 20240723