CN112858318B - 屏幕异物缺陷与灰尘的区分方法、电子设备及存储介质 - Google Patents

屏幕异物缺陷与灰尘的区分方法、电子设备及存储介质 Download PDF

Info

Publication number
CN112858318B
CN112858318B CN202110450764.0A CN202110450764A CN112858318B CN 112858318 B CN112858318 B CN 112858318B CN 202110450764 A CN202110450764 A CN 202110450764A CN 112858318 B CN112858318 B CN 112858318B
Authority
CN
China
Prior art keywords
screen
dust
foreign matter
pixel point
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110450764.0A
Other languages
English (en)
Other versions
CN112858318A (zh
Inventor
苏达顺
周波
王巧彬
李国晓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gaoshi Technology Suzhou Co ltd
Original Assignee
Gaoshi Technology Suzhou Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gaoshi Technology Suzhou Co ltd filed Critical Gaoshi Technology Suzhou Co ltd
Priority to CN202110450764.0A priority Critical patent/CN112858318B/zh
Publication of CN112858318A publication Critical patent/CN112858318A/zh
Application granted granted Critical
Publication of CN112858318B publication Critical patent/CN112858318B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/94—Investigating contamination, e.g. dust
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Analytical Chemistry (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本申请是关于一种屏幕异物缺陷与灰尘的区分方法。该方法包括：在M个方向的光源下分别对待测屏幕进行拍摄，使得异物缺陷和灰尘形成亮点；滤波降噪处理后，目标检测图像中确定亮点位置；获取目标检测图像中各个像素点的像素值；根据像素值获得对应的表面法向量；根据目标检测图像中的像素值以及表面法向量建立待测屏幕表面的三维图像；获取三维图像中具有立体形态数据的区域的位置信息，根据立体形态数据确定灰尘在待测屏幕中的位置；根据灰尘在待测屏幕中的位置与亮点位置区分异物缺陷与灰尘。本申请提供的方案，能够对屏幕的异物缺陷以及表面灰尘加以区分，降低因表面灰尘造成误检的几率，提高屏幕异物缺陷检测的准确度以及检测效率。

Description

屏幕异物缺陷与灰尘的区分方法、电子设备及存储介质
技术领域
本申请涉及屏幕检测技术领域，尤其涉及屏幕异物缺陷与灰尘的区分方法、电子设备及存储介质。
背景技术
液晶屏幕通常会在处于超净环境中的生产车间内部生产而得，即使是在超净环境中，仍难免会引入灰尘污染，尤其在液晶层上下两面各贴合一层偏振片薄膜时，在贴合过程中容易把灰尘等异物引入到屏幕内部，形成异物缺陷。在液晶屏幕成形之后这种异物缺陷无法消除，但是液晶屏幕表面上的灰尘是可以通过清洁手段进行消除的，因此需要对异物缺陷以及表面灰尘加以区分，避免因表面灰尘造成过检率的提升，以达到提升良品率及降低生产成本的目的。
在现有技术中，在公开号为CN112435248A的专利（缺陷检测方法、装置、控制装置和可读存储介质）中，提出了基于光度立体法，根据获取的待测目标的图像集合，确定待测目标得反射率图和高斯率图，根据反射率图和高斯率图，判断待测目标是否存在疑似缺陷，若待测目标存在疑似缺陷，则根据待测目标对应的二值化图像，确定疑似缺陷的种类。
上述现有技术存在以下缺点：
上述技术方案适合用于检测凹陷或划痕类型的缺陷，而在屏幕生产检测中需要检测的是异物缺陷以及表面灰尘缺陷，并将两种缺陷类型加以区分，因此需要研发一种对屏幕内部的异物缺陷与屏幕表面的灰尘作出区分的方法。
发明内容
为克服相关技术中存在的问题，本申请提供一种屏幕异物缺陷与灰尘的区分方法，该屏幕异物缺陷与灰尘的区分方法，能够对屏幕的异物缺陷以及表面灰尘加以区分，降低因表面灰尘造成误检的几率，提高屏幕异物缺陷检测的准确度以及检测效率。
本申请第一方面提供一种屏幕异物缺陷与灰尘的区分方法，包括：
在M个方向的光源下分别对待测屏幕进行拍摄，使得异物缺陷和灰尘形成亮点，得到M个待测图像，M为大于3的整数；
对M个待测图像进行滤波降噪处理，得到M个目标检测图像，在M个目标检测图像中确定亮点位置，亮点位置为异物缺陷和灰尘在待测屏幕中的位置；
获取各个目标检测图像中各个像素点的像素值；
根据各个像素点的像素值获得各个像素点的表面法向量；
根据M个目标检测图像中的各个像素点的像素值以及各个像素点的表面法向量建立待测屏幕表面的三维图像；
获取三维图像中具有立体形态数据的区域的位置信息，根据立体形态数据确定灰尘在待测屏幕中的位置，立体形态数据包括高度数据和曲面梯度；
根据灰尘在待测屏幕中的位置与亮点位置区分异物缺陷与灰尘。
在一种实施方式中，根据各个像素点的像素值获取各个像素点的表面法向量，包括：
根据各个像素点的像素值通过朗伯反射模型获取各个像素点的表面法向量。
在一种实施方式中，根据各个像素点的像素值通过朗伯反射模型获取各个像素点的表面法向量，包括：
设定各个方向的光源的光源强度以及光源方向单位向量；
根据各个像素点的像素值、各个方向的光源的光源强度以及各个光源方向单位向量，通过朗伯反射模型的表达式计算各个像素点所在位置的反射率以及各个像素点的表面法向量，朗伯反射模型的表达式为：
Figure DEST_PATH_IMAGE002
其中，
Figure DEST_PATH_IMAGE004
为第i个像素点在第j个方向的光源照射下的像素值，
Figure DEST_PATH_IMAGE006
为第i个像素点所在位置的反射率，
Figure DEST_PATH_IMAGE008
为第i个像素点所在位置的表面法向量，
Figure DEST_PATH_IMAGE010
为第j个方向的光源的光线方向的单位向量，
Figure DEST_PATH_IMAGE012
为第j个方向的光源的光源强度，i小于像素点总数，j小于M。
在一种实施方式中，根据M个目标检测图像中的各个像素点的像素值以及各个像素点的表面法向量建立待测屏幕表面的三维图像，包括：
根据各个像素点的像素值、各个像素点的表面法向量以及各个像素点所在位置的反射率计算各个像素点所在位置对应的曲面梯度；
根据各个像素点所在位置对应的曲面梯度建立三维图像。
在一种实施方式中，在M个方向的光源下分别对待测屏幕进行拍摄，使得异物缺陷和灰尘形成亮点，包括：
依次切换光源照射方向，每切换一次光源照射方向对待测屏幕拍摄一次，使异物缺陷和灰尘形成对应的亮点能够成像在各个待测图像之中，光源照射方向以待测屏幕的中心点为圆心依次切换。
在一种实施方式中，根据灰尘在待测屏幕中的位置与亮点位置区分异物缺陷与灰尘，包括：
根据灰尘在待测屏幕中的位置确定异物缺陷在待测屏幕中的位置。
在一种实施方式中，根据灰尘在待测屏幕中的位置确定异物缺陷在待测屏幕中的位置，包括：
在亮点位置之中剔除灰尘在待测屏幕中的位置，余下的亮点位置为异物缺陷的位置。
本申请第二方面提供一种电子设备，包括：
处理器；以及
存储器，其上存储有可执行代码，当可执行代码被处理器执行时，使处理器执行如上所述的方法。
本申请第三方面提供一种非暂时性机器可读存储介质，其上存储有可执行代码，当可执行代码被电子设备的处理器执行时，使处理器执行如上所述的方法。
本申请提供的技术方案可以包括以下有益效果：
通过设置多个方向的光源，分别在各个方向的光源下对待测屏幕进行拍摄，使得异物缺陷和灰尘形成亮点，得到与光源方向数量一致的待测图像，将待测图像进行滤波降噪处理后得到目标检测图像，在目标检测图像中确定亮点位置，获取每个目标图像之中的各个像素点的像素值，根据每个像素值获得每个像素点对应的表面法向量，根据每个像素点的像素值以及表面法向量建立待测屏幕表面的三维图像，在三维图像中获取到具有立体特征数据的区域，根据立体形态数据的所在区域确定灰尘在待测屏幕中的位置，从而将异物缺陷与灰尘进行区分。相对于现有技术，本申请技术方案能够根据获得的目标检测图像建立待测屏幕表面的三维图像，将待测屏幕表面的灰尘等立体物通过三维图像呈现出来，而处于待测屏幕内部的异物缺陷则无法在三维图像之中呈现出来，从而能够明确灰尘在屏幕表面的所在位置，因此能够达到对屏幕的异物缺陷以及表面灰尘加以区分的目的，降低因表面灰尘造成误检的几率，提高屏幕异物缺陷检测的准确度以及检测效率。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
通过结合附图对本申请示例性实施方式进行更详细的描述，本申请的上述以及其它目的、特征和优势将变得更加明显，其中，在本申请示例性实施方式中，相同的参考标号通常代表相同部件。
图1是本申请实施例示出的屏幕异物缺陷与灰尘的区分方法实施例一的流程示意图；
图2是本申请实施例示出的屏幕异物缺陷与灰尘的区分方法实施例二的流程示意图；
图3是本申请实施例示出的屏幕异物缺陷与灰尘的区分方法实施例三的流程示意图；
图4是本申请实施例示出的电子设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本申请的优选实施方式。虽然附图中显示了本申请的优选实施方式，然而应该理解，可以以各种形式实现本申请而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本申请更加透彻和完整，并且能够将本申请的范围完整地传达给本领域的技术人员。
在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本申请可能采用术语“第一”、“第二”、“第三”等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
实施例一
液晶屏幕通常会在处于超净环境中的生产车间内部生产而得，即使是在超净环境中，仍难免会引入灰尘污染，尤其在液晶层上下两面各贴合一层偏振片薄膜时，在贴合过程中容易把灰尘等异物引入到屏幕内部，形成异物缺陷。在液晶屏幕成形之后这种异物缺陷无法消除，但是液晶屏幕表面上的灰尘是可以通过清洁手段进行消除的，因此需要对异物缺陷以及表面灰尘加以区分，避免因表面灰尘造成过检率的提升，以达到提升良品率及降低生产成本的目的。在现有技术中，提出了基于光度立体法，根据获取的待测目标的图像集合，确定待测目标得反射率图和高斯率图，根据反射率图和高斯率图，判断待测目标是否存在疑似缺陷，若待测目标存在疑似缺陷，则根据待测目标对应的二值化图像，确定疑似缺陷的种类。但上述现有技术存在缺点，该技术方案适合用于检测凹陷或划痕类型的缺陷，而在屏幕生产检测中需要检测的是异物缺陷以及表面灰尘缺陷，并将两种缺陷类型加以区分，因此需要研发一种对屏幕内部的异物缺陷与屏幕表面的灰尘作出区分的方法。
针对上述问题，本申请实施例提供一种屏幕异物缺陷与灰尘的区分方法，能够对屏幕的异物缺陷以及表面灰尘加以区分，降低因表面灰尘造成误检的几率，提高屏幕异物缺陷检测的准确度以及检测效率。
以下结合附图详细描述本申请实施例的技术方案。
图1是本申请实施例示出的屏幕异物缺陷与灰尘的区分方法实施例一的流程示意图。
请参阅图1，本申请实施例示出的屏幕异物缺陷与灰尘的区分方法实施例一，包括：
101、在M个方向的光源下分别对待测屏幕进行拍摄，使得异物缺陷和灰尘形成亮点；
通过M个方向的光源分别照亮待测屏幕，假设待测屏幕上存在灰尘以及异物缺陷，当其中任意一个方向的光源打在待测屏幕上时，就会有光线投射到灰尘以及异物缺陷之上，异物缺陷以及灰尘会被打亮，形成亮点，而待测屏幕的其他地方则仍为黑色。在灰尘上会发生漫反射现象，漫反射光线的方向以及强度主要与灰尘的表面形态有关，在受光面处的漫反射光线较亮，在背光面的漫反射光线则较暗；在异物缺陷处则不会发生漫反射现象，是由于异物缺陷是位于待测屏幕内部的，在光线投射时不会存在受光面和背光面。在设定的每一个方向的光源的照射下，都对待测屏幕进行拍摄，拍摄设备包括工业相机以及工业镜头，均位于待测屏幕的上方，最终得到数量与光源方向数量一致的待测图像。
在本申请实施例中，M的取值范围是大于3的整数，即至少需要3个方向的光源来满足检测要求，以保证所有方向的光源能够均匀覆盖待测物体表面一周。
102、对M个待测图像进行滤波降噪处理，在得到的M个目标检测图像中确定亮点位置；
对待测图像中的噪声以及非检测目标进行滤除，避免对后续的检测过程造成影响，滤波降噪处理之后可得到M个目标检测图像。
通过光源的照射使得异物缺陷和灰尘形成亮点，在拍摄之后使异物缺陷和灰尘形成对应的亮点能够成像在各个待测图像之中，从而可以通过亮点位置确定异物缺陷和灰尘在待测屏幕中的位置，该位置可以通过在待测屏幕中建立坐标系，通过坐标的形式进行表示。
103、获取各个目标检测图像中各个像素点的像素值；
在本申请实施例中，可以通过图像取色软件来获取各个像素点的像素值，可以理解的是，在实际应用中，获取像素点的像素值的方式是多样的，以上通过图像取色软件获取的方式仅为示例性的，可根据实际应用情况选择其他合适的算法或者软件，此处对获取像素点的像素值的方式不作唯一限定。
104、根据各个像素点的像素值获得各个像素点的表面法向量；
各个像素点的表面法向量是指各像素点所覆盖的区域位置的表面法向量，表面法向量与该区域位置的像素值以及光照参数有关。
105、根据M个目标检测图像中的各个像素点的像素值以及各个像素点的表面法向量建立待测屏幕表面的三维图像；
建立三维图像是指对三维物体建立适合计算机表示和处理的数学模型，是在计算机环境下对其进行处理、操作和分析其性质的基础。在建立的过程中，需要在二维图像中进行特征提取，在本申请实施例中，已获得了目标检测图像中的各像素点的像素值以及表面法向量，将各个目标检测图像所提取的特征之间建立对应关系，即将同一物理空间点在不同的目标检测图像中的成像点进行一一对应起来。在得到准确的匹配结果之后即可建立三维图像。
106、获取三维图像中具有立体形态数据的区域的位置信息，根据立体形态数据确定灰尘在待测屏幕中的位置；
三维图像建立完成之后，能够体现出关于待测物的多种类型的三维数据，其中，在本申请实施例中，立体形态数据是指包括高度数据和曲面梯度在内的立体形态特征参数。在具有立体形态数据的区域中，说明存在着非平面的立体物，在本申请实施例中的待测物是屏幕，在通常情况下，生产出来的屏幕的表面是光滑的，如果在待测屏幕表面的三维图像中检测出具有立体形态数据的区域，则说明该区域中存在立体物，即灰尘。因此在三维图像中获取具有立体形态数据的区域的位置信息，位置信息可以为该区域在三维图像中的坐标数据，将该坐标数据转换为待测屏幕表面的坐标，则可以对应确定出灰尘在待测屏幕中的位置。
107、根据灰尘在待测屏幕中的位置与亮点位置区分异物缺陷与灰尘。
异物缺陷以及灰尘的位置通过亮点来示出，明确了异物缺陷以及灰尘的所处位置，在进一步明确了灰尘的位置之后，即可区分出异物缺陷的位置以及灰尘的位置。
从上述实施例一可以看出以下有益效果：
通过设置多个方向的光源，分别在各个方向的光源下对待测屏幕进行拍摄，使得异物缺陷和灰尘形成亮点，得到与光源方向数量一致的待测图像，将待测图像进行滤波降噪处理后得到目标检测图像，在目标检测图像中确定亮点位置，获取每个目标图像之中的各个像素点的像素值，根据每个像素值获得每个像素点对应的表面法向量，根据每个像素点的像素值以及表面法向量建立待测屏幕表面的三维图像，在三维图像中获取到具有立体特征数据的区域，根据立体形态数据的所在区域确定灰尘在待测屏幕中的位置，从而将异物缺陷与灰尘进行区分。相对于现有技术，本申请技术方案能够根据获得的目标检测图像建立待测屏幕表面的三维图像，将待测屏幕表面的灰尘等立体物通过三维图像呈现出来，而处于待测屏幕内部的异物缺陷则无法在三维图像之中呈现出来，从而能够明确灰尘在屏幕表面的所在位置，因此能够达到对屏幕的异物缺陷以及表面灰尘加以区分的目的，降低因表面灰尘造成误检的几率，提高屏幕异物缺陷检测的准确度以及检测效率。
实施例二
为了便于理解，以下提供了屏幕异物缺陷与灰尘的区分方法的一个实施例进行说明，在实际应用中，会通过朗伯反射模型获取各个像素点的表面法向量，再计算曲面梯度之后建立三维图像，最后通过三维图像确定灰尘位置，达到区分异物缺陷与灰尘的目的。
图2是本申请实施例示出的屏幕异物缺陷与灰尘的区分方法实施例二的流程示意图。
请参阅图2，本申请实施例示出的屏幕异物缺陷与灰尘的区分方法实施例二，包括：
201、根据各个像素点的像素值通过朗伯反射模型获取各个像素点的表面法向量；
设定各个方向的光源的光源强度以及光源方向单位向量，在实际应用中，光源强度可以归一化，用常量1来表示，光源方向单位向量可通过预先标定得到，可以理解为一个预设矢量。
根据各个像素点的像素值、各个方向的光源的光源强度以及各个光源方向单位向量，通过朗伯反射模型的表达式计算各个像素点所在位置的反射率以及各个像素点的表面法向量，朗伯反射模型的表达式为：
Figure DEST_PATH_IMAGE014
其中，
Figure DEST_PATH_IMAGE016
为第i个像素点在第j个方向的光源照射下的像素值，
Figure DEST_PATH_IMAGE018
为第i个像素点所在位置的反射率，
Figure DEST_PATH_IMAGE020
为第i个像素点所在位置的表面法向量，
Figure DEST_PATH_IMAGE022
为第j个方向的光源的光线方向的单位向量，
Figure DEST_PATH_IMAGE024
为第j个方向的光源的光源强度，i小于像素点总数，j小于M。
202、根据各个像素点的像素值、各个像素点的表面法向量以及各个像素点所在位置的反射率计算各个像素点所在位置对应的曲面梯度；
在本申请实施例中，可以根据各个像素点的像素值、各个像素点的表面法向量以及各个像素点所在位置的反射率，通过路径积分法计算各个像素点所在位置对应的曲面梯度，路径积分法是一个从经典力学里的作用原则延伸出来对量子物理的一种概括和公式化的方法，它以包括两点间所有路径的和或泛函积分而得到的量子幅来取代经典力学里的单一路径。在本申请实施例中，可以根据像素值、表面法向量以及反射率等参数通过路径积分法将待测屏幕表面的立体物的曲面梯度进行图像还原。
可以理解的是，在实际应用中，还有其他计算曲面梯度的方法，以上使用路径积分法来进行计算仅为示例性的，不作为计算曲面梯度方法的唯一限定。
203、根据像素点所在位置对应的曲面梯度建立三维图像；
将各个像素点对应位置的曲面梯度信息进行匹配和拼接，建立待测屏幕表面的三维图像。
在本申请实施例中，可以通过3D DeepDream的方式，通过梯度下降编辑图像，利用可微特征提取器和损失函数，通过反向传播和梯度下降，可以建立损失较小的三维图像。可以理解的是，上述关于三维图像的建立方法仅为示例性的，在实际应用中还存在其他根据曲面梯度建立三维图像的实施方法，可根据实际应用需求选择合适的三维图像建立方法，此处不作唯一限定。
204、获取维图像中具有立体形态数据的区域的位置信息，根据立体形态数据确定灰尘在待测屏幕中的位置。
在本申请实施例中，步骤204的具体内容与上述实施例一中的步骤106内容相似，此处不作赘述。
从上述实施例二可以看出以下有益效果：
通过根据每个像素值采用朗伯反射模型获得每个像素点对应的表面法向量，根据每个像素点的像素值、表面法向量以及像素点所在位置的反射率计算得到对应的曲面梯度，根据获得的曲面梯度建立待测屏幕表面的三维图像，在三维图像中获取到具有立体特征数据的区域，根据立体特征数据确定灰尘在待测屏幕中的位置，从而将灰尘区分出来。相对于现有技术，本申请技术方案能够根据获得的目标检测图像建立待测屏幕表面的三维图像，将待测屏幕表面的灰尘等立体物通过三维图像呈现出来，而处于待测屏幕内部的异物缺陷则无法在三维图像之中呈现出来，从而能够明确灰尘在屏幕表面的所在位置，因此能够达到对屏幕的异物缺陷以及表面灰尘加以区分的目的，降低因表面灰尘造成误检的几率，提高屏幕异物缺陷检测的准确度以及检测效率。
实施例三
为了便于理解，以下提供了屏幕异物缺陷与灰尘的区分方法的一个实施例进行说明，在实际应用中，会通过光源照射待测屏幕表面使得异物缺陷和灰尘都形成亮点，在通过三维图像确定灰尘的位置之后，在所有的亮点位置中剔除掉灰尘的位置，所余下的亮点的所在位置即为异物缺陷的所在位置。
图3是本申请实施例示出的屏幕异物缺陷与灰尘的区分方法实施例三的流程示意图。
请参阅图3，本申请实施例示出的屏幕异物缺陷与灰尘的区分方法实施例三，包括：
301、依次切换光源照射方向，每切换一次光源照射方向对待测屏幕拍摄一次；
光源照射方向以待测屏幕的中心点为圆心依次切换，在实际应用中，可以通过以待测屏幕为中心，在待测屏幕的周围设置三个以上光源，分别以不同的照射方向将光源依次投射在待测屏幕上，来实现光源照射方向的切换，也可以通过以待测屏幕为中心，在待测屏幕旁设置一个光源，采用可旋转载物平台来承载待测屏幕，通过旋转该载物平台来实现光源照射方向的切换。
可以理解的是，在实际应用中，切换光源照射方向的方式是多样的，以上关于光源照射方向的切换方式仅为示例性的，可根据实际应用情况选择合适的切换方式，不作为光源照射方向切换方式的唯一限定。
302、在各个目标检测图像中确定亮点位置；
通过光源的照射使得异物缺陷和灰尘形成亮点，在拍摄之后使异物缺陷和灰尘形成对应的亮点能够成像在各个待测图像之中，从而可以通过亮点位置确定异物缺陷和灰尘在待测屏幕中的位置，该位置可以通过在待测屏幕中建立坐标系，通过坐标的形式进行表示。
303、根据灰尘在待测屏幕中的位置确定异物缺陷在待测屏幕中的位置。
灰尘在待测屏幕中的位置已经通过三维图像进行确定，因此可以通过在亮点位置之中剔除灰尘在待测屏幕中的位置，余下的亮点位置即为异物缺陷的位置。
从上述实施例三可以看出以下有益效果：
通过依次切换光源照射方向来依次打亮待测屏幕上的异物缺陷以及灰尘，从而在待测屏幕上的异物缺陷以及灰尘位置能够被确定下来，通过三维图像的建立确定了灰尘在待测屏幕上的位置并将灰尘的位置剔除，剩余的亮点所对应的位置即为异物缺陷对应的位置。相对于现有技术，本申请实施例的技术方案不仅能够将灰尘区分出来，而且还能够通过将灰尘位置剔除来检测出异物缺陷的所在位置，提高屏幕异物缺陷检测的准确度以及检测效率。
与前述应用功能实现方法实施例相对应，本申请还提供了一种执行屏幕异物缺陷与灰尘的区分方法的电子设备及相应的实施例。
图4是本申请实施例示出的电子设备的结构示意图。
参见图4，电子设备1000包括存储器1010和处理器1020。
处理器1020可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器 (Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列 (Field-Programmable Gate Array，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器1010可以包括各种类型的存储单元，例如系统内存、只读存储器（ROM），和永久存储装置。其中，ROM可以存储处理器1020或者计算机的其他模块需要的静态数据或者指令。永久存储装置可以是可读写的存储装置。永久存储装置可以是即使计算机断电后也不会失去存储的指令和数据的非易失性存储设备。在一些实施方式中，永久性存储装置采用大容量存储装置（例如磁或光盘、闪存）作为永久存储装置。另外一些实施方式中，永久性存储装置可以是可移除的存储设备（例如软盘、光驱）。系统内存可以是可读写存储设备或者易失性可读写存储设备，例如动态随机访问内存。系统内存可以存储一些或者所有处理器在运行时需要的指令和数据。此外，存储器1010可以包括任意计算机可读存储媒介的组合，包括各种类型的半导体存储芯片（DRAM，SRAM，SDRAM，闪存，可编程只读存储器），磁盘和/或光盘也可以采用。在一些实施方式中，存储器1010可以包括可读和/或写的可移除的存储设备，例如激光唱片（CD）、只读数字多功能光盘（例如DVD-ROM，双层DVD-ROM）、只读蓝光光盘、超密度光盘、闪存卡（例如SD卡、min SD卡、Micro-SD卡等等）、磁性软盘等等。计算机可读存储媒介不包含载波和通过无线或有线传输的瞬间电子信号。
存储器1010上存储有可执行代码，当可执行代码被处理器1020处理时，可以使处理器1020执行上文述及的方法中的部分或全部。
上文中已经参考附图详细描述了本申请的方案。在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其他实施例的相关描述。本领域技术人员也应该知悉，说明书中所涉及的动作和模块并不一定是本申请所必须的。另外，可以理解，本申请实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减， 本申请实施例装置中的模块可以根据实际需要进行合并、划分和删减。
此外，根据本申请的方法还可以实现为一种计算机程序或计算机程序产品，该计算机程序或计算机程序产品包括用于执行本申请的上述方法中部分或全部步骤的计算机程序代码指令。
或者，本申请还可以实施为一种非暂时性机器可读存储介质（或计算机可读存储介质、或机器可读存储介质），其上存储有可执行代码（或计算机程序、或计算机指令代码），当所述可执行代码（或计算机程序、或计算机指令代码）被电子设备（或电子设备、服务器等）的处理器执行时，使所述处理器执行根据本申请的上述方法的各个步骤的部分或全部。
本领域技术人员还将明白的是，结合这里的申请所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。
附图中的流程图和框图显示了根据本申请的多个实施例的系统和方法的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标记的功能也可以以不同于附图中所标记的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本申请的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (8)

1.一种屏幕异物缺陷与灰尘的区分方法，其特征在于，包括：
在M个方向的光源下分别对待测屏幕进行拍摄，使得异物缺陷和灰尘形成亮点，得到M个待测图像，所述M为大于3的整数；
对所述M个待测图像进行滤波降噪处理，得到M个目标检测图像，在所述M个目标检测图像中确定亮点位置，所述亮点位置为所述异物缺陷和所述灰尘在所述待测屏幕中的位置；
获取各个目标检测图像中各个像素点的像素值；
根据各个像素点的像素值获得各个像素点的表面法向量；
根据所述M个目标检测图像中的各个像素点的像素值以及各个像素点的表面法向量建立待测屏幕表面的三维图像；
所述根据所述M个目标检测图像中的各个像素点的像素值以及各个像素点的表面法向量建立待测屏幕表面的三维图像，包括：
根据各个像素点的像素值、各个像素点的表面法向量以及各个像素点所在位置的反射率计算各个像素点所在位置对应的曲面梯度；
根据各个像素点所在位置对应的曲面梯度建立所述三维图像；
获取所述三维图像中具有立体形态数据的区域的位置信息，根据所述立体形态数据确定所述灰尘在所述待测屏幕中的位置，所述立体形态数据包括高度数据和曲面梯度；
根据所述灰尘在所述待测屏幕中的位置与所述亮点位置区分所述异物缺陷与所述灰尘。
2.根据权利要求1所述的屏幕异物缺陷与灰尘的区分方法，其特征在于，
所述根据各个像素点的像素值获取各个像素点的表面法向量，包括：
根据各个像素点的像素值通过朗伯反射模型获取各个像素点的表面法向量。
3.根据权利要求2所述的屏幕异物缺陷与灰尘的区分方法，其特征在于，
所述根据各个像素点的像素值通过朗伯反射模型获取各个像素点的表面法向量，包括：
设定各个方向的光源的光源强度以及光源方向单位向量；
根据各个像素点的像素值、各个方向的光源的光源强度以及各个光源方向单位向量，通过所述朗伯反射模型的表达式计算各个像素点所在位置的反射率以及各个像素点的表面法向量，所述朗伯反射模型的表达式为：
Figure 699108DEST_PATH_IMAGE001
其中，
Figure 147407DEST_PATH_IMAGE002
为第i个像素点在第j个方向的光源照射下的像素值，
Figure 192724DEST_PATH_IMAGE003
为第i个像素点所在位置的反射率，
Figure 119091DEST_PATH_IMAGE004
为第i个像素点所在位置的表面法向量，
Figure 215354DEST_PATH_IMAGE005
为第j个方向的光源的光线方向的单位向量，
Figure 303396DEST_PATH_IMAGE006
为第j个方向的光源的光源强度，所述i小于像素点总数，所述j小于M。
4.根据权利要求1所述的屏幕异物缺陷与灰尘的区分方法，其特征在于，
所述在M个方向的光源下分别对待测屏幕进行拍摄，使得异物缺陷和灰尘形成亮点，包括：
依次切换光源照射方向，每切换一次光源照射方向对所述待测屏幕拍摄一次，使所述异物缺陷和所述灰尘形成对应的亮点能够成像在各个待测图像之中，所述光源照射方向以所述待测屏幕的中心点为圆心依次切换。
5.根据权利要求1所述的屏幕异物缺陷与灰尘的区分方法，其特征在于，
所述根据所述灰尘在所述待测屏幕中的位置与所述亮点位置区分所述异物缺陷与所述灰尘，包括：
根据所述灰尘在所述待测屏幕中的位置确定所述异物缺陷在所述待测屏幕中的位置。
6.根据权利要求5所述的屏幕异物缺陷与灰尘的区分方法，其特征在于，
所述根据所述灰尘在所述待测屏幕中的位置确定所述异物缺陷在所述待测屏幕中的位置，包括：
在所述亮点位置之中剔除所述灰尘在所述待测屏幕中的位置，余下的亮点位置为所述异物缺陷的位置。
7.一种电子设备，其特征在于，包括：
处理器；以及
存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如权利要求1-6中任一项所述的方法。
8.一种非暂时性机器可读存储介质，其上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如权利要求1-6中任一项所述的方法。
CN202110450764.0A 2021-04-26 2021-04-26 屏幕异物缺陷与灰尘的区分方法、电子设备及存储介质 Active CN112858318B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110450764.0A CN112858318B (zh) 2021-04-26 2021-04-26 屏幕异物缺陷与灰尘的区分方法、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110450764.0A CN112858318B (zh) 2021-04-26 2021-04-26 屏幕异物缺陷与灰尘的区分方法、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN112858318A CN112858318A (zh) 2021-05-28
CN112858318B true CN112858318B (zh) 2021-08-06

Family

ID=75992843

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110450764.0A Active CN112858318B (zh) 2021-04-26 2021-04-26 屏幕异物缺陷与灰尘的区分方法、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN112858318B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113284148B (zh) * 2021-07-23 2021-10-15 苏州高视半导体技术有限公司 一种屏幕灰尘过滤方法
CN113781393B (zh) * 2021-08-04 2023-12-26 深圳市鑫信腾科技股份有限公司 屏幕缺陷检测方法、装置、设备及存储介质
CN114545668B (zh) * 2022-02-23 2024-04-23 深圳市尊绅投资有限公司 屏幕杂质的处理方法、装置、系统和电子设备
CN117011214A (zh) * 2022-08-30 2023-11-07 腾讯科技（深圳）有限公司 一种物体检测方法、装置、设备及存储介质
CN116013189B (zh) * 2022-09-26 2023-10-17 领先光学技术(江苏)有限公司 一种Mini LED/Micro LED屏幕的亮度校正方法和装置
CN115980059B (zh) * 2022-12-21 2023-12-15 中科慧远视觉技术（洛阳）有限公司 表面缺陷检测系统及其检测方法、装置、设备、存储介质
CN117934453B (zh) * 2024-03-18 2024-06-04 深圳市酷童小样科技有限公司 一种手机屏背光异物缺陷诊断方法及系统

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100690027B1 (ko) * 2006-01-02 2007-03-08 에버테크노 주식회사 Ｌｃｄ판넬 검사장치 및 방법
JP2007206797A (ja) * 2006-01-31 2007-08-16 Omron Corp 画像処理方法および画像処理装置
JP6290720B2 (ja) * 2014-06-09 2018-03-07 株式会社キーエンス 検査装置、検査方法およびプログラム
JP6424020B2 (ja) * 2014-06-09 2018-11-14 株式会社キーエンス 画像検査装置、画像検査方法、画像検査プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
CN104359917A (zh) * 2014-11-18 2015-02-18 北京凌云光技术有限责任公司 液晶屏内部灰尘检测方法及装置
CN105842885B (zh) * 2016-03-21 2018-11-27 凌云光技术集团有限责任公司 一种液晶屏缺陷分层定位方法及装置
CN107403449B (zh) * 2017-08-09 2023-11-24 深度创新科技（深圳）有限公司 一种基于光度立体视觉的视觉系统及其三维重建方法
CN107767377B (zh) * 2017-11-09 2024-02-06 高视科技(苏州)股份有限公司 基于双目视觉系统的液晶屏缺陷与灰尘区分法及检测装置
CN109523541A (zh) * 2018-11-23 2019-03-26 五邑大学 一种基于视觉的金属表面细微缺陷检测方法
CN110186937A (zh) * 2019-06-26 2019-08-30 电子科技大学 剔除灰尘影响的镜面物体表面二维缺陷检测方法及系统
CN110308153A (zh) * 2019-08-03 2019-10-08 广西师范大学 基于单目立体视觉的金属工件缺陷检测方法、系统、存储介质、以及装置
CN110445921A (zh) * 2019-09-06 2019-11-12 东北大学 一种基于机器视觉的手机屏背光异物缺陷诊断方法及装置
CN110609039B (zh) * 2019-09-23 2021-09-28 上海御微半导体技术有限公司 一种光学检测装置及其方法
CN111896550A (zh) * 2020-03-31 2020-11-06 广西师范大学 一种表面缺陷检测装置及方法
CN111983874A (zh) * 2020-08-19 2020-11-24 四川迈视崔数字科技有限公司 基于光度立体法获取物体表面纹理的方法及摄影棚
CN112669318B (zh) * 2021-03-17 2021-06-08 上海飞机制造有限公司 表面缺陷检测方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN112858318A (zh) 2021-05-28

Similar Documents

Publication Publication Date Title
CN112858318B (zh) 屏幕异物缺陷与灰尘的区分方法、电子设备及存储介质
CN112701060B (zh) 半导体芯片焊线的检测方法及装置
CN112734760B (zh) 半导体bump缺陷检测方法、电子设备及存储介质
JP2010520622A (ja) ウェーハ上に形成されたアレイ領域のための検査領域のエッジを正確に識別する方法、及び、ウェーハ上に形成されたアレイ領域に検知された欠陥をビニングする方法
CN113030112B (zh) 基于条纹光源的多光场成像方法、电子设备及存储介质
CN112798613B (zh) Lcd异物缺陷彩色成像检测方法、电子设备及存储介质
CN112734756A (zh) 基于光度立体视觉的检测方法及系统
CN114240877A (zh) 一种检测焊接质量的方法及装置
CN113628212B (zh) 不良偏光片识别方法、电子设备和存储介质
CN117252861A (zh) 一种晶圆表面缺陷的检测方法、装置及系统
CN116958058A (zh) 镜头脏污检测方法、装置及图像检测设备
CN113484333B (zh) 多层结构屏幕的异物缺陷区分方法、电子设备及存储介质
CN110441315B (zh) 电子部件测试设备和方法
CN111179248B (zh) 一种透明平滑曲面缺陷识别方法及检测装置
JPH1038542A (ja) 物体認識方法及び装置並びに記録媒体
CN114219758A (zh) 缺陷检测方法、系统、电子设备和计算机可读存储介质
CN112666733B (zh) Lcd灰阶画面下线型缺陷检测方法、电子设备及存储介质
JP2004069673A (ja) 外観検査装置および外観検査方法
CN113348484A (zh) 获得关于对象的区域的信息的计算机化系统及方法
TWI843540B (zh) 粗糙表面影像處理方法及包含其的自動光學檢測系統
CN115980059B (zh) 表面缺陷检测系统及其检测方法、装置、设备、存储介质
CN117576088B (zh) 一种液体杂质智能过滤视觉检测方法和装置
CN114354607B (zh) 一种基于螺旋相衬滤波算法的光度立体瑕疵检测方法
WO2024026932A1 (en) Optimized Path Planning for Defect Inspection based on Effective Region Coverage
Seulin et al. Simulation process for the design and optimization of a machine vision system for specular surface inspection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 215163 rooms 101, 102, 901 and 902, floor 1, building 11, 198 Jialingjiang Road, high tech Zone, Suzhou City, Jiangsu Province

Applicant after: Gaoshi Technology (Suzhou) Co.,Ltd.

Address before: 516000 west side of the fourth floor, building CD, science and technology entrepreneurship center, No.2, South Huatai Road, Huinan hi tech Industrial Park, huiao Avenue, Huicheng District, Huizhou City, Guangdong Province

Applicant before: HUIZHOU GOVION TECHNOLOGY Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20210528

Assignee: Suzhou Gaoshi Semiconductor Technology Co.,Ltd.

Assignor: Gaoshi Technology (Suzhou) Co.,Ltd.

Contract record no.: X2021990000430

Denomination of invention: Method for distinguishing screen foreign matter defect and dust, electronic equipment and storage medium

License type: Common License

Record date: 20210722

EE01 Entry into force of recordation of patent licensing contract
CP03 Change of name, title or address

Address after: 215129 Rooms 101, 102, 901, 902, Floor 9, Building 11, No. 198, Jialing River Road, High tech Zone, Suzhou City, Jiangsu Province

Patentee after: Gaoshi Technology (Suzhou) Co.,Ltd.

Address before: 215163 rooms 101, 102, 901 and 902, floor 1, building 11, 198 Jialingjiang Road, high tech Zone, Suzhou City, Jiangsu Province

Patentee before: Gaoshi Technology (Suzhou) Co.,Ltd.

CP03 Change of name, title or address