CN114693583A - 基于光场相机的缺陷分层检测方法和系统及检测产线 - Google Patents

基于光场相机的缺陷分层检测方法和系统及检测产线 Download PDF

Info

Publication number
CN114693583A
CN114693583A CN202011481669.9A CN202011481669A CN114693583A CN 114693583 A CN114693583 A CN 114693583A CN 202011481669 A CN202011481669 A CN 202011481669A CN 114693583 A CN114693583 A CN 114693583A
Authority
CN
China
Prior art keywords
defect
depth
light field
reference plane
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011481669.9A
Other languages
English (en)
Inventor
李浩天
钱至文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yimu Shanghai Technology Co ltd
Original Assignee
Yimu Shanghai Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yimu Shanghai Technology Co ltd filed Critical Yimu Shanghai Technology Co ltd
Priority to CN202011481669.9A priority Critical patent/CN114693583A/zh
Priority to KR1020237017783A priority patent/KR20230096057A/ko
Priority to PCT/CN2021/079838 priority patent/WO2022126871A1/en
Publication of CN114693583A publication Critical patent/CN114693583A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/22—Measuring arrangements characterised by the use of optical techniques for measuring depth
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/94—Investigating contamination, e.g. dust
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/557—Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8806—Specially adapted optical and illumination features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30121—CRT, LCD or plasma display

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Immunology (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Pathology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明提供了一种基于光场相机的缺陷分层检测方法和系统及检测产线、相应的计算机可读存储介质。本发明根据所述深度参考平面信息、缺陷深度信息，获得缺陷相对于深度参考平面的距离；根据所述缺陷相对于深度参考平面的距离、待检测产品结构信息，得到缺陷在待检测产品中所处的空间位置。本发明利用光场相机实现对屏幕等产品的缺陷的三维检测，能够对缺陷在产品结构中所在位置进行精确判定。

Description

基于光场相机的缺陷分层检测方法和系统及检测产线
技术领域
本发明涉及屏幕缺陷的三维光电检测技术领域，特别涉及一种基于光场相机的缺陷分层检测系统及方法。
背景技术
近年来，随着科技和工业水平的飞速增长，手机、平板电脑、显示器等屏幕的分辨率不断提高，工艺不断进步。生产中对屏幕的品质要求也越来越高。而对屏幕的三维缺陷检测一直都是工业外观检测的最难的议题之一。
光场相机的出现为三维缺陷检测提供了新的解决方向。光场相机在常规相机的传感器和主镜头中间增加了微透镜阵列，进而记录光线的传播方向，形成独特的经过透镜阵列编码的光场图像，对该光场图像进行处理渲染，继而可以得到三维信息。光场相机是一种被动式三维测量方式，因此可以透过透明或半透明介质进行缺陷检测和三维测量。
目前，虽然本领域技术人员已经意识到识别物体缺陷并得到对应的三维信息的三维缺陷检测技术是机器视觉领域和测量领域的一项核心技术，但是工业界对屏幕的缺陷检测仍然多为人眼检测和二维相机检测。二维工业相机仅能检测屏幕上灰尘和缺陷的有无，但是无法区别灰尘和缺陷，且无法定位缺陷在多层结构中的具体位置。
现有技术已经解决的是光场相机如何校准的技术问题。
专利文献CN106303175A公开了一种基于单光场相机多重视角的虚拟现实三维数据采集方法，包含步骤：S101，利用单个光场相机获取微透镜校准图；S102，利用校准图对微透镜中心位置进行定位；S103，获取一幅光场图片；S104，于光场图像中每个微透镜下选出相对位置相同的某一个像素；S105，以选出的像素作为采样点，求出嵌在其中方阵的像素值，进而形成一个视角的图像；S106，选取不同位置的像素，重复步骤S103,至S105，直至选完所有像素。
专利文献CN111351446A公开了一种用于三维形貌测量的光场相机校准方法，其对空间中不同位置的校准板和对应的光场原始图像进行校准，获得光场视差图像和三维空间信息的对应关系；利用光场相机拍摄多张散焦柔光纯色校准板，得到光场白图像；根据光场相机白图像计算得到去渐晕矩阵；并且迭代计算得到光场相机微透镜亚像素级中心坐标矩阵；光场相机拍摄多个已知三维空间位置的圆点校准板并进行去渐晕处理；建立从三维坐标到视差之间的光场数学模型，根据光场三维成像规律及圆点三维空间信息拟合计算得到圆点校准对应的圆点中心坐标及视差值本发明能够高效精确地将光场视差图像转为无主镜头畸变的三维空间信息。
专利文献CN111340888A公开了一种无需白图像的光场相机检校方法及系统，其首先获取光场相机拍摄的电子棋盘格的光场原始图像，然后根据所述光场原始图像进行微透镜阵列的检校，生成所述微透镜阵列的检校结果以及所述微透镜阵列的中心点格网；采用模板匹配方法提取所述光场原始图像的线特征并将所述线特征作为检校数据标定所述光场相机的投影模型的内外参数。其不依赖白图像，只需对棋盘格原始光场进行处理即可获得微透镜中心点格网、阵列姿态以及相机投影模型的内外参数，具有光场相机检校精度高、适应范围广的特点。
但是，现有技术尚没有给出如何将光场相机具体应用于具有多层结构的屏幕等产品的缺陷检测中。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种基于光场相机的缺陷分层检测方法和系统及检测产线。
根据本发明提供的一种基于光场相机的缺陷分层检测方法，包括：
深度参考平面获取步骤：根据光场深度图像，获得深度参考平面信息；
缺陷提取步骤：根据光场多视角图像提取得到缺陷，根据光场深度图像，获得缺陷深度信息；
相对距离获取步骤：根据所述深度参考平面信息、缺陷深度信息，获得缺陷相对于深度参考平面的距离；
缺陷分层信息获取步骤：根据所述缺陷相对于深度参考平面的距离、待检测产品结构信息，得到缺陷在待检测产品中所处的空间位置。
优选地，
所述待检测产品为多层结构产品，所述待检测产品结构信息包括多层结构之间的距离关系；
在所述缺陷分层信息获取步骤中，根据所述缺陷相对于深度参考平面的距离、待检测多层结构产品的多层结构之间的距离关系，得到缺陷在多层结构中的分布。
优选地，
对于一缺陷，所述缺陷深度信息包括该缺陷的最大深度、该缺陷的最小深度，所述缺陷相对于深度参考平面的距离包括该缺陷相对于深度参考平面的最大距离、该缺陷相对于深度参考平面的最小距离；
在所述缺陷分层信息获取步骤中，分别得到缺陷相对于深度参考平面的最大距离处、该缺陷相对于深度参考平面的最小距离处，在待检测产品的多层结构中所位于的层。
优选地，在所述缺陷提取步骤中，首先通过高斯滤波减弱光场多视角图像中像素网格的信息干扰，然后对图像分别进行提取亮点和提取暗点的二值化阈值处理，并分析连通域，去除连通域面积较小的区域，经此处理后得到的点被认为是缺陷点，再到光场深度图像中获取对应像素位置的信息即获得缺陷的深度信息。
根据本发明提供的一种基于光场相机的缺陷分层检测系统，包括：
深度参考平面获取模块：根据光场深度图像，获得深度参考平面信息；
缺陷提取模块：根据光场多视角图像提取得到缺陷，根据光场深度图像，获得缺陷深度信息；
相对距离获取模块：根据所述深度参考平面信息、缺陷深度信息，获得缺陷相对于深度参考平面的距离；
缺陷分层信息获取模块：根据所述缺陷相对于深度参考平面的距离、待检测产品结构信息，得到缺陷在待检测产品中所处的空间位置。
优选地，
所述待检测产品为多层结构产品，所述待检测产品结构信息包括多层结构之间的距离关系；
在所述缺陷分层信息获取模块中，根据所述缺陷相对于深度参考平面的距离、待检测多层结构产品的多层结构之间的距离关系，得到缺陷在多层结构中的分布。
优选地，
对于一缺陷，所述缺陷深度信息包括该缺陷的最大深度、该缺陷的最小深度，所述缺陷相对于深度参考平面的距离包括该缺陷相对于深度参考平面的最大距离、该缺陷相对于深度参考平面的最小距离；
在所述缺陷分层信息获取模块中，分别得到缺陷相对于深度参考平面的最大距离处、该缺陷相对于深度参考平面的最小距离处，在待检测产品的多层结构中所位于的层。
优选地，在所述缺陷提取装置中，首先通过高斯滤波减弱光场多视角图像中像素网格的信息干扰，然后对图像分别进行提取亮点和提取暗点的二值化阈值处理，并分析连通域，去除连通域面积较小的区域，经此处理后得到的点被认为是缺陷点，再到光场深度图像中获取对应像素位置的信息即获得缺陷的深度信息。
根据本发明提供的一种存储有计算机程序的计算机可读存储介质，所述计算机程序被处理器执行时实现所述的基于光场相机的缺陷分层检测方法的步骤。
根据本发明提供的一种产品缺陷检测产线，包括所述的基于光场相机的缺陷分层检测系统，或者包括所述的存储有计算机程序的计算机可读存储介质。
与现有技术相比，本发明具有如下的有益效果：
1、本发明利用光场相机实现对屏幕等产品的缺陷的三维检测，能够对缺陷在产品结构中所在位置进行精确判定。
2、本发明利用光场相机被动式测量的特点，光场相机可以透过透明或半透明介质进行三维成像。因此，不仅可以进行深度参考平面上方缺陷三维测量，也能对深度参考平面下方的缺陷进行三维检测。
3、光场相机的三维检测方法只需单个相机单次拍摄，无需使用移动机构进行扫描，因此具有高效便捷的特点。
4、光场相机可以测量缺陷的深度，从而对缺陷进行分层。
5、根据分层结果能够对屏幕的缺陷和灰尘进行区分。
6、本发明利用屏幕自身发光作为光源，无需外加AOI光源，实施时便捷，且节省空间。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1是根据本发明实施例之一的检测过程流程图。
图2是根据本发明实施例中光场相机拍摄被测手机屏幕的示意图。
图3是根据本发明实施例中计算得到的LCD手机屏幕玻璃的光场中心视角图像。
图4是图3对应的深度图像。
图5是图3对应的分层点云图像的侧视图。
图6是根据本发明实施例中计算得到的OLED手表屏幕的光场中心视角图像。
图7是图6对应的深度图像。
图8是图6对应的分层点云图像的侧视图。
图中示出：
光场相机100
屏幕200
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
根据本发明提供的一种基于光场相机的屏幕缺陷分层检测方法，包括：
光场相机校准步骤：对光场相机进行校准；
缺陷区域深度拍摄步骤：用光场相机对待检测产品的缺陷区域进行拍摄，得到光场多视角图像，并根据光场多视角图像得到光场深度图像；
深度参考平面获取步骤：根据光场深度图像，获得深度参考平面信息；
缺陷提取步骤：根据光场多视角图像提取得到缺陷，根据光场深度图像，获得缺陷深度信息；
相对距离获取步骤：根据所述深度参考平面信息、缺陷深度信息，获得缺陷相对于深度参考平面的距离；
缺陷分层信息获取步骤：根据所述缺陷相对于深度参考平面的距离、待检测产品结构信息，得到缺陷在待检测产品中所处的空间位置。
所述光场相机校准步骤，包括：
步骤A1：用光圈匹配后的光场相机拍摄多张散焦柔光板，进行光场白图像校准，并且完成微透镜中心校准。具体地，根据作为待检测产品的屏幕的测量区域大小、测量深度范围和缺陷尺寸范围，选择相应焦距和放大倍率的光学镜头作为微透镜的镜头。调节微透镜的镜头的光圈，使得微透镜的镜头的光圈与光场相机的主镜头的光圈之间匹配。具体表现为光场相机拍摄散焦柔光纯色校准板图像，该图像中微透镜阵列恰好或接近于相切状态。光场白图像，或者光场相机白图像是指光场相机拍摄的纯白背景图像。调节完毕后，拍摄多张位于光场相机散焦处的光强较为均匀的纯色背景板，即散焦柔光纯色校准板。对多张光场白图像进行平均化及归一化处理后得到去渐晕矩阵
Figure BDA0002838274250000061
其中，u表示像素在图像坐标系下的横坐标值，v表示像素在图像坐标系下的纵坐标值。后续拍摄的全部光场原始图像均需要点除该去渐晕矩阵，从而完成光场白图像校准。这里的光场原始图像是指相对于未经过光场多视角图像算法处理的光场图像。完成光场图像校准步骤后，对光场白图像使用滤波器进行处理，去除光场白图像噪声，并对滤波后的光场图像进行非极大值抑制；进而根据处理后的图像取局部最大值，该最大值恰好为光场相机微透镜的整数级中心；以整数级微透镜中心作为初始迭代值，迭代优化微透镜排列网格，最终获得微透镜排列的角度及间距，获得亚像素级微透镜中心。
步骤A2：进行光场相机尺度校准；
光场相机尺度校准步骤需要装配位移台及尺度校准板：首先固定尺度校准板在光场相机焦平面区域，从焦平面处不断移动尺度校准板到固定空间距离，并进行拍摄，且校准板上点的空间位置已知，因此可以得到整个移动过程中尺寸校准板上点的空间位置。圆点校准点在光场图像上会形成弥散圆，处理得到弥散圆的直径进而计算得到弥散圆的视差值及弥散圆的像素坐标，根据光场相机尺度校准模型，得到空间中三维坐标和光场相机像素坐标和视差值的关系。
步骤A3：根据缺陷类型的不同，使屏幕显示能够突出缺陷的图像。由于屏幕可自身发光照亮屏幕，本发明提供的系统中不需要额外光源，而是令屏幕自身发光。
所述缺陷区域深度拍摄步骤，包括：
步骤A4：使光场相机对焦在缺陷附近，拍摄含有缺陷信息的光场相机原始光场图像。
步骤A5：用光场相机拍摄被测屏幕缺陷区域并处理得到光场多视角图像。进行光场多视角渲染，得到具有缺陷信息的光场多视角图像。光场多视角图像与常规二维相机图像本质上没有区别，可以视为多个不同角度的二维相机拍摄同一个物体，因此可以对该光场多视角图像进行缺陷提取。
步骤A6：得到深度图像，根据尺度校准数据构建图像的三维模型；获取深度参考平面。根据光场相机的拍摄，计算获得光场视差图像；根据光场相机尺度校准结果，将光场视差图像转为光场深度图像。其中，
在所述深度参考平面获取步骤中，根据光场深度图像，获得深度参考平面信息。其中，深度参考平面是指具有一定纹理信息，从而提供稳定深度信息的结构的上表面。对于LCD屏幕，该结构是彩色滤光片；对于OLED屏幕，该结构是有机发光层。由于此类结构提供了图像的纹理信息，光场深度算法可以计算出结构上表面的深度。此类结构在待测对象中的位置是固定的，因此可以作为计算缺陷高度的基准面。通过多项式拟合可以计算得到深度参考平面的平面方程。具体地，通过A2所述的光场相机尺度校准结果，将光场深度图像中各像素点转化为真实尺度坐标(xu,v，yu,v，zu,v)，其中，xu,v，yu,v，zu,v分别表示在图像坐标系下的横纵坐标值为(u,v)的像素在X、Y、Z轴的坐标。深度参考平面的方程为Z＝C1X+C2Y+C3。其中，C1,C2,C3为待定系数。通过光场深度图像中的数据，用线性回归的方法求出待定系数，即得到了深度参考平面的方程。
在所述缺陷提取步骤中，根据光场多视角图像提取得到缺陷，根据光场深度图像，获得缺陷深度信息；具体地，首先通过高斯滤波减弱光场多视角图像中像素网格的信息干扰，然后对图像分别进行提取亮点和提取暗点的二值化阈值处理，并分析连通域，去除连通域面积较小的区域。经此处理后得到的点可以被认为是缺陷点，再到光场深度图像中获取对应像素位置的信息即可获得缺陷的深度信息。
相对距离获取步骤：根据所述深度参考平面信息、缺陷深度信息，获得缺陷相对于深度参考平面的距离。具体地，已知深度参考平面方程、缺陷点坐标，则缺陷点离深度参考平面的距离可通过点到平面的距离公式计算得到。
缺陷分层信息获取步骤：根据所述缺陷相对于深度参考平面的距离、待检测产品结构信息，得到缺陷在待检测产品中所处的空间位置。进一步地，根据空间位置得到缺陷在待检测产品中的层级，即位于哪一个或哪些层，再将层的信息映射至空间坐标系中，最终形成缺陷的分层点云。在一个优选例中，所述待检测产品为多层结构产品，所述待检测产品结构信息包括多层结构之间的距离关系。例如，待检测产品包括屏幕、VR眼镜、光学镜片组中的任一种产品。所述屏幕可以是智能终端、车载屏幕、显示器、电视机中的任一种设备的屏幕。而屏幕的类型可以是LCD屏幕、OLED屏幕、QLED屏幕、MiniLED屏幕、MicroLED屏幕等屏幕类型。
对于屏幕等多层结构的待检测产品，在所述缺陷分层信息获取步骤中，根据所述缺陷相对于深度参考平面的距离、待检测多层结构产品的多层结构之间的距离关系，得到缺陷在多层结构中的分布。具体地，由于深度参考平面对应于多层结构产品中的哪一层是已知的，又因为缺陷相对于深度参考平面的距离已获得，且多层结构中其它各层与对应于深度参考平面的一层的距离也是已知的，因此能够得到缺陷与多层结构的各个层之间的距离关系，例如缺陷与多层结构中的一层的距离是零或者是负数，则该缺陷在该层中有分布。
对于一缺陷，所述缺陷深度信息包括该缺陷的最大深度、该缺陷的最小深度，所述缺陷相对于深度参考平面的距离包括该缺陷相对于深度参考平面的最大距离、该缺陷相对于深度参考平面的最小距离。在所述缺陷分层信息获取步骤中，分别得到缺陷相对于深度参考平面的最大距离处、该缺陷相对于深度参考平面的最小距离处，在待检测产品的多层结构中所位于的层。具体地，对于一个跨层的缺陷而言，其分布在至少两个层中，因此可以通过检测其相对于深度参考平面的最大距离处、该缺陷相对于深度参考平面的最小距离处，分别在待检测产品的多层结构中所位于的层，从而获得该缺陷从哪一层延伸到哪一层。
本发明提供一种基于光场相机的缺陷分层检测系统，可以通过执行所述基于光场相机的缺陷分层检测方法的步骤流程实现，即所述基于光场相机的缺陷分层检测方法是所述基于光场相机的缺陷分层检测系统的一个优选例。
根据本发明提供的一种基于光场相机的缺陷分层检测系统，包括：
深度参考平面获取模块：根据光场深度图像，获得深度参考平面信息；
缺陷提取模块：根据光场多视角图像提取得到缺陷，根据光场深度图像，获得缺陷深度信息；
相对距离获取模块：根据所述深度参考平面信息、缺陷深度信息，获得缺陷相对于深度参考平面的距离；
缺陷分层信息获取模块：根据所述缺陷相对于深度参考平面的距离、待检测产品结构信息，得到缺陷在待检测产品中所处的空间位置。
所述待检测产品为多层结构产品，所述待检测产品结构信息包括多层结构之间的距离关系；
在所述缺陷分层信息获取模块中，根据所述缺陷相对于深度参考平面的距离、待检测多层结构产品的多层结构之间的距离关系，得到缺陷在多层结构中的分布。
对于一缺陷，所述缺陷深度信息包括该缺陷的最大深度、该缺陷的最小深度，所述缺陷相对于深度参考平面的距离包括该缺陷相对于深度参考平面的最大距离、该缺陷相对于深度参考平面的最小距离；
在所述缺陷分层信息获取模块中，分别得到缺陷相对于深度参考平面的最大距离处、该缺陷相对于深度参考平面的最小距离处，在待检测产品的多层结构中所位于的层。
在所述深度参考平面获取模块中，根据光场深度图像，获得深度参考平面信息。其中，深度参考平面是指具有一定纹理信息，从而提供稳定深度信息的结构的上表面。对于LCD屏幕，该结构是彩色滤光片；对于OLED屏幕，该结构是有机发光层。由于此类结构提供了图像的纹理信息，光场深度算法可以计算出结构上表面的深度。此类结构在待测对象中的位置是固定的，因此可以作为计算缺陷高度的基准面。通过多项式拟合可以计算得到深度参考平面的平面方程。具体地，通过A2所述的光场相机尺度校准结果，将光场深度图像中各像素点转化为真实尺度坐标(xu,v，yu,v，zu,v)，其中，xu,v，yu,v，zu,v分别表示在图像坐标系下的横纵坐标值为(u,v)的像素在X、Y、Z轴的坐标。深度参考平面的方程为Z＝C1X+C2Y+C3。其中，C1,C2,C3为待定系数。通过光场深度图像中的数据，用线性回归的方法求出待定系数，即得到了深度参考平面的方程。
在所述缺陷提取模块中，根据光场多视角图像提取得到缺陷，根据光场深度图像，获得缺陷深度信息；具体地，首先通过高斯滤波减弱光场多视角图像中像素网格的信息干扰，然后对图像分别进行提取亮点和提取暗点的二值化阈值处理，并分析连通域，去除连通域面积较小的区域。经此处理后得到的点可以被认为是缺陷点，再到光场深度图像中获取对应像素位置的信息即可获得缺陷的深度信息。
相对距离获取模块：根据所述深度参考平面信息、缺陷深度信息，获得缺陷相对于深度参考平面的距离。具体地，已知深度参考平面方程、缺陷点坐标，则缺陷点离深度参考平面的距离可通过点到平面的距离公式计算得到。
缺陷分层信息获取模块：根据所述缺陷相对于深度参考平面的距离、待检测产品结构信息，得到缺陷在待检测产品中所处的空间位置。进一步地，根据空间位置得到缺陷在待检测产品中的层级，即位于哪一个或哪些层，再将层的信息映射至空间坐标系中，最终形成缺陷的分层点云。在一个优选例中，所述待检测产品为多层结构产品，所述待检测产品结构信息包括多层结构之间的距离关系。例如，待检测产品包括屏幕、VR眼镜、光学镜片组中的任一种产品。所述屏幕可以是智能终端、车载屏幕、显示器、电视机中的任一种设备的屏幕。而屏幕的类型可以是LCD屏幕、OLED屏幕、QLED屏幕、MiniLED屏幕、MicroLED屏幕等屏幕类型。
对于屏幕等多层结构的待检测产品，在所述缺陷分层信息获取模块中，根据所述缺陷相对于深度参考平面的距离、待检测多层结构产品的多层结构之间的距离关系，得到缺陷在多层结构中的分布。具体地，由于深度参考平面对应于多层结构产品中的哪一层是已知的，又因为缺陷相对于深度参考平面的距离已获得，且多层结构中其它各层与对应于深度参考平面的一层的距离也是已知的，因此能够得到缺陷与多层结构的各个层之间的距离关系，例如缺陷与多层结构中的一层的距离是零或者是负数，则该缺陷在该层中有分布。
对于一缺陷，所述缺陷深度信息包括该缺陷的最大深度、该缺陷的最小深度，所述缺陷相对于深度参考平面的距离包括该缺陷相对于深度参考平面的最大距离、该缺陷相对于深度参考平面的最小距离。在所述缺陷分层信息获取模块中，分别得到缺陷相对于深度参考平面的最大距离处、该缺陷相对于深度参考平面的最小距离处，在待检测产品的多层结构中所位于的层。具体地，对于一个跨层的缺陷而言，其分布在至少两个层中，因此可以通过检测其相对于深度参考平面的最大距离处、该缺陷相对于深度参考平面的最小距离处，分别在待检测产品的多层结构中所位于的层，从而获得该缺陷从哪一层延伸到哪一层。
根据本发明提供的一种存储有计算机程序的计算机可读存储介质，所述计算机程序被处理器执行时实现所述的基于光场相机的缺陷分层检测方法的步骤。计算机可读存储介质可以是单片机、DSP、处理器、数据中心、服务器、PC机、智能终端、专用机、光场相机等设备中的磁盘、光盘等只读或读写存储器。
根据本发明提供的一种产品缺陷检测产线，包括所述的基于光场相机的缺陷分层检测系统，或者包括所述的存储有计算机程序的计算机可读存储介质。产品缺陷检测产线可以是手机屏幕检测产线、智能手表屏幕检测产线、平板电脑屏幕检测产线、车载屏幕检测产线、显示器屏幕检测产线、VR眼镜检测产线、光学镜片组检测产线。
下面结合具体的应用场景对本发明进行更为具体的说明，应用场景包括手机LCD屏幕的缺陷分层检测实施例、智能手表OLED屏幕的缺陷分层检测实施例。判断缺陷在屏幕内部所在的层，有助于工厂确定在哪一道工序出现问题，有效改善生产工艺。同时缺陷若出现在屏幕的表面，则可能是灰尘，可以通过清洗去除，从而提高成品率。因此对屏幕缺陷的三维检测，对现有生产有极大裨益。
手机LCD屏幕的缺陷分层检测实施例的具体过程如下：
产品缺陷检测产线首先采用二维相机对点亮的LCD手机屏幕进行整体拍摄，确定缺陷在该图像中的水平方向位置，确定缺陷在手机屏幕上的相对位置；将该信息传输给传输带；传输带将被测样品移动到光场相机下，视野内包含缺陷的位置；本实施例中光场相机采用搭配3.6倍的放大倍率镜头进行拍摄；光场相机搭配合适光圈和焦距的镜头后拍摄散焦柔光纯色校准板，进行光场白图像校准和微透镜中心校准；光场相机拍摄多张空间位置不同的尺度校准板进行光场相机尺度校准；使光场相机对焦在缺陷附近，拍摄含有缺陷信息的光场相机原始光场图像；进行光场多视角渲染及深度计算，得到对应的手机屏幕缺陷二维中心视角图像(图3)及对应的深度图像(图4)；根据光场多视角图像中缺陷形状和颜色信息提取缺陷；通过多项式拟合计算的到像素的平面方程，并计算缺陷与深度参考平面的距离；该手机屏幕共有7层结构，根据缺陷与深度参考平面的距离和已知的屏幕结构信息，可以确定缺陷在结构中所处的层数，将层数信息映射至空间坐标系中，最终形成缺陷的分层点云(图5)。其中，第5层为深度参考平面所在层，故除了缺陷在第6层以外，点云中的点都分布在第5层。
智能手表OLED屏幕的缺陷分层检测实施例的具体过程如下：
产品缺陷检测产线首先采用二维相机对点亮的OLED智能手表屏幕进行整体拍摄，确定缺陷在该图像中的水平方向位置，确定缺陷在屏幕上的相对位置；将该信息传输给传输带；传输带将被测样品移动到光场相机下，视野内包含缺陷的位置；本实施例中光场相机采用搭配2倍的放大倍率镜头进行拍摄；光场相机搭配合适光圈和焦距的镜头后拍摄散焦柔光纯色校准板，进行光场白图像校准和微透镜中心校准；光场相机拍摄多张空间位置不同的尺度校准板进行光场相机尺度校准；使光场相机对焦在缺陷附近，拍摄含有缺陷信息的光场相机原始光场图像；进行光场多视角渲染及深度计算，得到对应的手机屏幕缺陷二维中心视角图像(图6)及对应的深度图像(图7)；根据光场多视角图像中缺陷形状和颜色信息提取缺陷；通过多项式拟合计算的到像素的平面方程，并计算缺陷与深度参考平面的距离；该屏幕只要求区分像素层和表面层，根据缺陷与像素的距离和已知的屏幕厚度，可以确定缺陷所处的层数，将层数信息映射至空间坐标系中，最终形成缺陷的分层点云(图8)。其中，下方一层为像素层，上方一层为玻璃表面。可以看出灰尘被成功检出并被分入上表面层，即玻璃表面。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (10)

1.一种基于光场相机的缺陷分层检测方法，其特征在于，包括：
深度参考平面获取步骤：根据光场深度图像，获得深度参考平面信息；
缺陷提取步骤：根据光场多视角图像提取得到缺陷，根据光场深度图像，获得缺陷深度信息；
相对距离获取步骤：根据所述深度参考平面信息、缺陷深度信息，获得缺陷相对于深度参考平面的距离；
缺陷分层信息获取步骤：根据所述缺陷相对于深度参考平面的距离、待检测产品结构信息，得到缺陷在待检测产品中所处的空间位置。
2.根据权利要求1所述的基于光场相机的缺陷分层检测方法，其特征在于，
所述待检测产品为多层结构产品，所述待检测产品结构信息包括多层结构之间的距离关系；
在所述缺陷分层信息获取步骤中，根据所述缺陷相对于深度参考平面的距离、待检测多层结构产品的多层结构之间的距离关系，得到缺陷在多层结构中的分布。
3.根据权利要求2所述的基于光场相机的缺陷分层检测方法，其特征在于，
对于一缺陷，所述缺陷深度信息包括该缺陷的最大深度、该缺陷的最小深度，所述缺陷相对于深度参考平面的距离包括该缺陷相对于深度参考平面的最大距离、该缺陷相对于深度参考平面的最小距离；
在所述缺陷分层信息获取步骤中，分别得到缺陷相对于深度参考平面的最大距离处、该缺陷相对于深度参考平面的最小距离处，在待检测产品的多层结构中所位于的层。
4.根据权利要求1所述的基于光场相机的缺陷分层检测方法，其特征在于，在所述缺陷提取步骤中，首先通过高斯滤波减弱光场多视角图像中像素网格的信息干扰，然后对图像分别进行提取亮点和提取暗点的二值化阈值处理，并分析连通域，去除连通域面积较小的区域，经此处理后得到的点被认为是缺陷点，再到光场深度图像中获取对应像素位置的信息即获得缺陷的深度信息。
5.一种基于光场相机的缺陷分层检测系统，其特征在于，包括：
深度参考平面获取模块：根据光场深度图像，获得深度参考平面信息；
缺陷提取模块：根据光场多视角图像提取得到缺陷，根据光场深度图像，获得缺陷深度信息；
相对距离获取模块：根据所述深度参考平面信息、缺陷深度信息，获得缺陷相对于深度参考平面的距离；
缺陷分层信息获取模块：根据所述缺陷相对于深度参考平面的距离、待检测产品结构信息，得到缺陷在待检测产品中所处的空间位置。
6.根据权利要求5所述的基于光场相机的缺陷分层检测系统，其特征在于，
所述待检测产品为多层结构产品，所述待检测产品结构信息包括多层结构之间的距离关系；
在所述缺陷分层信息获取模块中，根据所述缺陷相对于深度参考平面的距离、待检测多层结构产品的多层结构之间的距离关系，得到缺陷在多层结构中的分布。
7.根据权利要求6所述的基于光场相机的缺陷分层检测系统，其特征在于，
对于一缺陷，所述缺陷深度信息包括该缺陷的最大深度、该缺陷的最小深度，所述缺陷相对于深度参考平面的距离包括该缺陷相对于深度参考平面的最大距离、该缺陷相对于深度参考平面的最小距离；
在所述缺陷分层信息获取模块中，分别得到缺陷相对于深度参考平面的最大距离处、该缺陷相对于深度参考平面的最小距离处，在待检测产品的多层结构中所位于的层。
8.根据权利要求5所述的基于光场相机的缺陷分层检测系统，其特征在于，在所述缺陷提取装置中，首先通过高斯滤波减弱光场多视角图像中像素网格的信息干扰，然后对图像分别进行提取亮点和提取暗点的二值化阈值处理，并分析连通域，去除连通域面积较小的区域，经此处理后得到的点被认为是缺陷点，再到光场深度图像中获取对应像素位置的信息即获得缺陷的深度信息。
9.一种存储有计算机程序的计算机可读存储介质，其特征在于，所述计算机程序被处理器执行时实现权利要求1至4中任一项所述的基于光场相机的缺陷分层检测方法的步骤。
10.一种产品缺陷检测产线，其特征在于，包括权利要求5至8中任一项所述的基于光场相机的缺陷分层检测系统，或者包括权利要求9所述的存储有计算机程序的计算机可读存储介质。
CN202011481669.9A 2020-12-15 2020-12-15 基于光场相机的缺陷分层检测方法和系统及检测产线 Pending CN114693583A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202011481669.9A CN114693583A (zh) 2020-12-15 2020-12-15 基于光场相机的缺陷分层检测方法和系统及检测产线
KR1020237017783A KR20230096057A (ko) 2020-12-15 2021-03-09 라이트 필드 카메라를 기반으로 한 결함 레이어링 검출 방법과 시스템 및 검출 생산 라인
PCT/CN2021/079838 WO2022126871A1 (en) 2020-12-15 2021-03-09 Defect layer detection method and system based on light field camera and detection production line

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011481669.9A CN114693583A (zh) 2020-12-15 2020-12-15 基于光场相机的缺陷分层检测方法和系统及检测产线

Publications (1)

Publication Number Publication Date
CN114693583A true CN114693583A (zh) 2022-07-01

Family

ID=82059600

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011481669.9A Pending CN114693583A (zh) 2020-12-15 2020-12-15 基于光场相机的缺陷分层检测方法和系统及检测产线

Country Status (3)

Country Link
KR (1) KR20230096057A (zh)
CN (1) CN114693583A (zh)
WO (1) WO2022126871A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116071353B (zh) * 2023-03-06 2023-09-05 成都盛锴科技有限公司 一种螺栓装配检测方法及系统
CN116912475B (zh) * 2023-09-11 2024-01-09 深圳精智达技术股份有限公司 一种显示屏异物检测方法、装置、电子设备和存储介质
CN116958146B (zh) * 2023-09-20 2024-01-12 深圳市信润富联数字科技有限公司 3d点云的采集方法及装置、电子装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105300308B (zh) * 2015-11-26 2017-12-05 凌云光技术集团有限责任公司 一种基于浅景深成像的深度测量方法及系统
CN105842885B (zh) * 2016-03-21 2018-11-27 凌云光技术集团有限责任公司 一种液晶屏缺陷分层定位方法及装置
US10887580B2 (en) * 2016-10-07 2021-01-05 Kla-Tencor Corporation Three-dimensional imaging for semiconductor wafer inspection
CN109765245B (zh) * 2019-02-25 2021-08-13 武汉精立电子技术有限公司 大尺寸显示屏缺陷检测定位方法
CN110349132B (zh) * 2019-06-25 2021-06-08 武汉纺织大学 一种基于光场相机深度信息提取的织物瑕疵检测方法
CN111351446B (zh) * 2020-01-10 2021-09-21 奕目(上海)科技有限公司 一种用于三维形貌测量的光场相机校准方法

Also Published As

Publication number Publication date
KR20230096057A (ko) 2023-06-29
WO2022126871A1 (en) 2022-06-23

Similar Documents

Publication Publication Date Title
CN114693583A (zh) 基于光场相机的缺陷分层检测方法和系统及检测产线
CN105842885B (zh) 一种液晶屏缺陷分层定位方法及装置
CN109859272B (zh) 一种自动对焦双目摄像头标定方法及装置
CN104441650B (zh) 立体打印系统以及立体打印方法
CN107869954B (zh) 一种双目视觉体积重量测量系统及其实现方法
CN113205593B (zh) 一种基于点云自适应修复的高反光表面结构光场三维重建方法
TWI490445B (zh) 用於估計一物件之一三維表面形狀之方法、裝置及機器可讀非暫時性儲存媒體
CN113269762B (zh) 屏幕不良检测方法、系统及计算机存储介质
CN112824881A (zh) 一种基于光场相机的透明或半透明介质缺陷检测系统及方法
CN109883391B (zh) 基于微透镜阵列数字成像的单目测距方法
CN105763870A (zh) 一种十字线立体测试标版及其形成方法
CN109406527B (zh) 一种微型摄像模组镜头精细外观缺陷检测系统及方法
CN112816493A (zh) 一种芯片打线缺陷检测方法及装置
CN114636385A (zh) 基于光场相机的三维成像方法和系统及三维成像测量产线
CN112748071A (zh) 透明或半透明介质缺陷检测系统和方法
CN114820439A (zh) 基于aoi的pcb裸板缺陷的检测系统及方法
CN110322561A (zh) 用于机器人无序分拣的3d相机及其测量方法
TW201741723A (zh) 影像景深測量方法以及應用該方法的影像擷取裝置
CN115839957A (zh) 显示模组夹层缺陷的检测方法、装置、设备及存储介质
Allgeier et al. Reproducibility of two calibration procedures for phase-measuring deflectometry
CN112361989B (zh) 一种通过点云均匀性考量测量系统标定参数的方法
CN113483655A (zh) 一种pcb检测系统及方法
CN113256576A (zh) 基于偏振成像和机器学习的光学元件自动检测系统及方法
CN115371577A (zh) 一种透明件表面发光点提取方法及面形测量方法
CN115218813A (zh) 一种大尺寸反光表面测量方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination