CN116148277A - 一种透明体缺陷三维检测方法、装置、设备及存储介质 - Google Patents

一种透明体缺陷三维检测方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN116148277A
CN116148277A CN202310421889.XA CN202310421889A CN116148277A CN 116148277 A CN116148277 A CN 116148277A CN 202310421889 A CN202310421889 A CN 202310421889A CN 116148277 A CN116148277 A CN 116148277A
Authority
CN
China
Prior art keywords
transparent body
data
defect
defects
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310421889.XA
Other languages
English (en)
Other versions
CN116148277B (zh
Inventor
秦明
罗小安
肖恩桥
高祎梦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Jingyi Microinstrument Co ltd
Original Assignee
Wuhan Jingyi Microinstrument Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Jingyi Microinstrument Co ltd filed Critical Wuhan Jingyi Microinstrument Co ltd
Priority to CN202310421889.XA priority Critical patent/CN116148277B/zh
Publication of CN116148277A publication Critical patent/CN116148277A/zh
Application granted granted Critical
Publication of CN116148277B publication Critical patent/CN116148277B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/958—Inspecting transparent materials or objects, e.g. windscreens
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G01N2021/8874—Taking dimensions of defect into account
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明公开了一种透明体缺陷三维检测方法，该方法包括：光谱共焦传感器扫描透明体，获得透明体各分界面表面点的空间坐标数据，形成点云数据；排除点云数据中作为透明体第一表面的第一特征点和作为透明体第二表面的第二特征点，剩余的点作为第三特征点；在每个深度方向上标记第三特征点所属的层数，并利用第三特征点标记缺陷；提取标记后的缺陷的外轮廓，确定缺陷的坐标与大小。本发明还公开了一种透明体缺陷三维检测装置、相应的设备及存储介质。本发明采用光谱共焦传感器采集透明体多层三维点云数据，并基于三维点云数据，采用三维数据处理和检测方法，实现对透明体内每个缺陷的三维空间定位与几何测量。

Description

一种透明体缺陷三维检测方法、装置、设备及存储介质
技术领域
本发明涉及光学透明体检测技术领域，更具体地，涉及一种透明体缺陷三维检测方法、装置、设备及存储介质。
背景技术
光学透明体被广泛的应用于军事、科研、工业、医疗、防护等各个领域。该透明体包括但不限于光学玻璃与光学塑料，还包括如半导体工业中常用的涂胶，或其他类似的光学介质。光学透明体在加工、生产、使用过程中不可避免的出现缺陷，例如气泡，杂质等人眼不可见或不易观察的缺陷情况。这种微小的缺陷不仅影响各类光学透明体的外观，更严重危害了光学透明体的使用性能。
常见的透明体缺陷检测方式主要采用AOI（Automated OpticalInspection，自动光学检测）检测技术，同时也有一些利用X射线进行检测的设备。AOI方法采用的是高清照相机；X射线方法采用的是X射线照相机，其成像原理是不同密度物质对X射线吸收能力不同。
AOI与X射线两种方法共同的特点是他们都是基于二维图像数据进行处理，因此只能对其进行平面定位，而无法区分在成像平面上同一位置上不同深度或相邻位置但空间大小有重叠的不同缺陷，这种原理性限制导致无法准确检测到透明体内实际的缺陷个数和大小。
以气泡为例，如图1-2所示，对同一位置不同深度大小不同的气泡，只能检测到大气泡的存在；而不同深度但位置相邻且有重叠部分的多个气泡，只能检测到一个整体合成的大气泡，而不能区分。另外，AOI方法对检测环境下的光源条件比较敏感，光源的变化对检测结果有较大的影响；而X射线方法，因为基于放射性射线，对应用场景有较大的限制。
发明内容
针对现有技术的至少一个缺陷或改进需求，本发明提供了一种透明体缺陷三维检测方法、装置、设备及存储介质，采用光谱共焦传感器采集透明体多层三维点云数据，并基于三维点云数据，采用三维数据处理和检测方法，实现对透明体内每个缺陷的三维空间定位与几何测量。
为实现上述目的，按照本发明的第一个方面，提供了一种透明体缺陷三维检测方法，该方法包括：
S1. 光谱共焦传感器扫描所述透明体，获得所述透明体各分界面表面点的空间坐标数据，形成点云数据；
S2. 排除所述点云数据中作为所述透明体第一表面的第一特征点和作为所述透明体第二表面的第二特征点，剩余的点作为第三特征点；
S3. 在每个深度方向上标记所述第三特征点所属的层数，并利用所述第三特征点标记缺陷；其中，所述深度方向是从第一表面指向第二表面的向量方向；
S4. 提取标记后的所述缺陷的外轮廓，确定所述缺陷的坐标与大小；
其中，所述缺陷至少是部分透明的；所述透明体第一表面是所述透明体靠近所述光谱共焦传感器的面，所述透明体第二表面是所述透明体远离所述光谱共焦传感器的面。
进一步地，上述透明体缺陷三维检测方法，所述步骤S2还包括：
S21.提取所述点云数据中第一数据，作为所述透明体第一表面的第一特征点，并排除所述第一特征点；
S22.提取所述点云数据中第二数据，用于计算所述透明体第二表面的参考表面，并排除作为所述透明体第二表面的所述第二特征点；
其中，所述第一数据是所述点云数据中，在每个深度方向上深度值最小的点的数据；所述第二数据是所述点云数据中，在每个深度方向上深度值第二小的点的数据。
进一步地，上述透明体缺陷三维检测方法，还包括：
所述计算所述透明体第二表面，并排除作为所述透明体第二表面的所述第二特征点的方法为：
采用最小二乘平面拟合方式，拟合所述透明体第二表面的参考表面，并排除参考表面附近的点。
进一步地，上述透明体缺陷三维检测方法，还包括：
所述拟合所述透明体第二表面的参考表面，并排除参考表面附近的点具体包括：
S221. 计算所述第二数据的第一深度均值μ1和第一方差σ1；
S222. 排除所述第二数据中深度数据小于第一阈值的点，得到第三数据；其中，所述第一阈值表示为μ1+n*σ1；
S223. 采用最小二乘平面拟合方法，拟合所述第三数据，得到最小二乘拟合面，以该最小二乘拟合面作为所述透明体第二表面的所述参考表面；计算所述第三数据的第二深度均值μ2和第二方差σ2；
S224. 计算所述第三数据中每个点与所述参考表面的距离，所述距离小于第二阈值的点标记为所述参考表面附近的点；其中，所述第二阈值表示为n*σ2。
进一步地，上述透明体缺陷三维检测方法，所述步骤S3还包括：
提取所述第三特征点的坐标，将坐标相邻的所述第三特征点合并，标记为同一所述缺陷表面的点。
进一步地，上述透明体缺陷三维检测方法，所述步骤S4还包括：
对于每一个标记合并后的缺陷，提取其对应所述第三特征点中层数是奇数的点，构成所述缺陷的第一表面；
将所述缺陷的所述第一表面投影到平面方向，作为所述缺陷的投影图像，并将所述投影图像二值化；所述平面方向垂直于所述深度方向；
平滑所述二值化后投影图像的边缘，并提取所述二值化后投影图像的轮廓，作为所述缺陷外接立方体在所述平面方向上的轮廓；
提取所述缺陷对应的所述第三特征点，计算深度方向上最大坐标差，作为所述缺陷的外接立方体在深度方向上的长度。
进一步地，上述透明体缺陷三维检测方法，还包括：
所述光谱共焦传感器是线光谱共焦传感器和/或点光谱共焦传感器。
按照本发明的第二个方面，还提供了一种透明体缺陷三维检测装置，其包括：
光谱共焦传感器，用于扫描所述透明体；
支持件，用于支持所述透明体；
驱动控制器，用于驱动支持件移动，配合所述光谱共焦传感器完成扫描；
计算机，用于接收所述光谱共焦传感器扫描的数据，实施上述任一项所述的方法计算所述透明体的缺陷。
按照本发明的第三个方面，还提供了一种透明体缺陷三维检测设备，其包括至少一个处理单元、以及至少一个存储单元，其中，所述存储单元存储有计算机程序，当所述计算机程序被所述处理单元执行时，使得所述处理单元执行上述任一项所述方法的步骤。
按照本发明的第四个方面，还提供了一种存储介质，其存储有可由访问认证设备执行的计算机程序，当所述计算机程序在访问认证设备上运行时，使得所述访问认证设备执行上述任一项所述方法的步骤。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：
（1）本发明提供的一种透明体缺陷三维检测方法，采用光谱共焦传感器采集透明体多层三维点云数据，并基于三维点云数据，采用三维数据处理和检测方法，可以在空间上准确定位单个缺陷的位置，进而能准确测量其几何参数，并克服了现有技术中无法正确处理缺陷遮挡、重叠的情况，可以精确统计缺陷的个数及透明体内缺陷总体含量；
（2）本发明提供的一种透明体缺陷三维检测方法，采用最小二乘拟合平面的方法，精准提取用于表征所述透明体第二表面的第二特征点，进而分离出点云数据中表征缺陷的第三特征点。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为现有技术中一种气泡检测方法的流程示意图；
图2为现有技术中一种气泡检测方法的缺点示意图；
图3为本发明实施例提供的一种透明体缺陷三维检测方法的流程示意图；
图4为本发明实施例提供的一种透明体缺陷三维检测系统结构示意图；
图5为本发明实施例提供的光谱共焦传感器扫描方式示意图；
图6为本发明实施例提供的一种透明体缺陷三维检测方法中第一表面和第二表面的示意图；
图7为本发明实施例提供的一种透明体缺陷三维检测方法应用于涂胶气泡检测时全流程示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
如图3-图4所示，作为本发明的第一实施例，提供了一种透明体缺陷三维检测方法，该方法包括：
S1. 光谱共焦传感器扫描所述透明体，获得所述透明体各分界面表面点的空间坐标数据，形成点云数据；
S2. 排除所述点云数据中作为所述透明体第一表面的第一特征点和作为所述透明体第二表面的第二特征点，剩余的点作为第三特征点；
S3. 在每个深度方向上标记所述第三特征点所属的层数，并利用所述第三特征点标记缺陷；其中，所述深度方向是从第一表面指向第二表面的向量方向；
S4. 提取标记后的所述缺陷的外轮廓，确定所述缺陷的坐标与大小；
其中，所述缺陷至少是部分透明的；所述透明体第一表面是所述透明体靠近所述光谱共焦传感器的面，所述透明体第二表面是所述透明体远离所述光谱共焦传感器的面。
光学透明体被广泛的应用于军事、科研、工业、医疗、防护等各个领域。光学透明体在加工、生产、使用过程中不可避免的出现缺陷，例如气泡，杂质等人眼不可见或不易观察的缺陷情况。这种微小的缺陷不仅影响各类光学透明体的外观，更严重危害了光学透明体的使用性能。现有技术中采用AOI或X射线方法对透明体缺陷检测，均只能进行平面定位，而无法区分在成像平面上同一位置上不同深度或相邻位置但空间大小有重叠的不同缺陷。
光谱共焦传感器的原理是通过使用特殊的透镜及光学系统，延长不同颜色光的焦点光晕范围，形成特殊放大色差，使其根据不同的被测物体到透镜的距离，会对应一个精确波长的光聚焦到被测物体上。通过测量反射波的波长，就可以得到被测物体到透镜的精确距离及表面三维形貌。
对于不透光的目标体，光谱共焦传感器每次采样获得表面上一条截线数据，对于透明体，如图5所示，每次采样可以同时获得深度方向上不同深度处分界面的所有截线数据。不同深度处分界面就是透明体中透明或半透明缺陷与透明体的分界面，例如玻璃或胶体中空气气泡的表面。在光谱共焦传感器完成一次采样后，移动台沿采样线垂直方向线性移动光谱共焦传感器或者被测物到一个新的位置，再次完成一次线采样，如此扫描一个空间，即可完成三维空间中所有分界表面点的采集。
本发明采用光谱共焦传感器采集透明体多层三维点云数据，并基于三维点云数据，采用三维数据处理和检测方法，可以在空间上准确定位单个缺陷的位置，进而能准确测量其几何参数，并克服了现有技术中无法正确处理缺陷遮挡、重叠的情况，可以精确统计缺陷的个数及透明体内缺陷总体含量。
本发明的基本原理是，利用光谱共焦传感器能够采集透明体不同深度多层分界面数据的特性，对透明体进行扫描后，同时获得透明体第一表面、第二表面和其中所有缺陷的两个表面的数据，从点云数据个排除作为第一表面和第二表面的点云数据后，剩余的点就是缺陷表面的点。利用缺陷的表面数据及其三维空间位置关系，判断各个缺陷的实际位置和大小。
为了实施本发明记载的方法，光谱共焦传感器优选正对透明体的第二表面。若光谱共焦传感器与透明体第二表面呈一定角度，即第二表面存在倾斜，后续计算步骤中计算第二表面的参考表面会出现微小误差，适当调整相应的阈值，或者调整相应的算法，也不影响本发明记载方法的实施。
对于透明体的第一表面，因为光谱共焦传感器检测到的第一数据一定是第一表面的第一特征点，因此，即使第一表面不是平面，本发明记载的方法依然可以正常实施。
进一步地，本实施例包括：
S21.提取所述点云数据中第一数据，作为所述透明体第一表面的第一特征点，并排除所述第一特征点；
S22.提取所述点云数据中第二数据，用于计算所述透明体第二表面的参考表面，并排除作为所述透明体第二表面的所述第二特征点；
其中，所述第一数据是所述点云数据中，在每个深度方向上深度值最小的点的数据；所述第二数据是所述点云数据中，在每个深度方向上深度值第二小的点的数据。
根据光谱共焦传感器的原理，其提取的第一数据，表现为透明体的第一表面上的第一特征点，即最接近光谱共焦传感器这一侧的透明体表面的点，因此，这些特征点并不是需要识别的缺陷表面的特征点，需要排除。
如图6所示，本发明中所述的第二数据，表现为当有缺陷存在时，是最接近第一表面的缺陷第一表面的点，当没有缺陷存在时，则是透明体的第二表面的点。当存在缺陷的堆叠，重合时，远离第一表面的缺陷会部分被遮挡（例如图6中的左，右侧），或者全部被遮挡（例如图6中的中间缺陷）。这是因为，光谱共焦传感器会提取每一个深度方向上不同深度处分界面的所有截线数据。当不存在缺陷时，毫无疑问光谱共焦传感器提取到的分界面是透明体的第一表面和第二表面。当存在缺陷时，理论上光谱共焦传感器至少会提取到透明体的第一表面和第二表面，以及缺陷的第一表面和第二表面。此处定义缺陷的第一表面是其接近透明体第一表面的表面，第二表面是接近透明体第二表面的表面。当同一位置存在多个缺陷时，理论上光谱共焦传感器提取到的数据有透明体的第一、第二表面，还包括每个缺陷的第一、第二表面。
对透明体中缺陷的检测，其中的缺陷一般是肉眼难以分辨的，尺寸较小的缺陷。因此，第二数据中，缺陷第一表面的点是极少数的，透明体第二表面的点是大多数的。因此，基于第二数据，计算透明体第二表面的参考表面，排除作为所述透明体第二表面的所述第二特征点，实际上就是要区分缺陷第一表面的点和透明体第二表面的点。
进一步地，本实施例还包括：
所述计算所述透明体第二表面，并排除作为所述透明体第二表面的所述第二特征点的方法为：
采用最小二乘平面拟合方式，拟合所述透明体第二表面的参考表面，并排除参考表面附近的点。
进一步地，本实施例还包括：
所述拟合所述透明体第二表面的参考表面，并排除参考表面附近的点具体包括：
S221. 计算所述第二数据的第一深度均值μ1和第一方差σ1；
S222. 排除所述第二数据中深度数据小于第一阈值的点，得到第三数据；其中，所述第一阈值表示为μ1+n*σ1；
S223. 采用最小二乘平面拟合方法，拟合所述第三数据，得到最小二乘拟合面，以该最小二乘拟合面作为所述透明体第二表面的所述参考表面；计算所述第三数据的第二深度均值μ2和第二方差σ2；
S224. 计算所述第三数据中每个点与所述参考表面的距离，所述距离小于第二阈值的点标记为所述参考表面附近的点；其中，所述第二阈值表示为n*σ2。
本实施例中给出一种优选的表面计算的方法，采用最小二乘平面拟合。根据上述分析以及实际应用中的情景，在第二数据中，缺陷的第一表面数据是较少的，透明体的第二表面数据是较多的，因此，最小二乘平面拟合，拟合出的平面会非常接近透明体的第二表面。
本实施例中采用两次最小二乘平面拟合，S221-S222是第一次最小二乘平面拟合，通过深度均值和方差排除所述缺陷的第一表面点，可以排除对拟合平面影响较大的点；S223-S224是第二次最小二乘平面拟合，得到了可以代表透明体第二表面的第二特征点。第一次拟合时，直接采用深度数据作为判断是否接近拟合面的依据，计算简便快捷；第二次拟合时，采用点到面的距离作为判断依据，计算更加精确，可以将点云数据中第二特征点和第三特征点剥离的更加精确。
本实施例中所述的拟合方法，在第二表面并非是平面时，最小二乘平面拟合获得的参考平面应当理解为第二表面的近似面，利用该近似面作为参考平面，计算并排除第二特征点，也能起到相同的作用。
如前文中记载，本实施例中所述的拟合方法，在光谱共焦传感器与第二表面存在一定角度时，也可以实施。本实施例中优选如下实施方式：当倾斜角度较小时，对于每个特征点的深度值影响并不大，因此只需要适当调整第一阈值和第二阈值，即可以用相同的方法筛选出第三特征点。当倾斜角度较大，即深度值受角度影响较大时，可以将S222替换为如S224记载的距离计算方法，而非直接计算深度值的差距，也可以起到相同的效果。也即，在光谱共焦传感器与第二表面存在较大倾斜角度时，采用的具体步骤是：
S221’. 采用最小二乘平面拟合方法，拟合所述第二数据，得到最小二乘拟合面A，计算所述第二数据的第一深度均值μ1和第一方差σ1；
S222’. 计算所述第二数据中每个点与所述最小二乘拟合面A的距离，所述距离小于第一阈值的点标记为第三数据；其中，所述第一阈值表示为n*σ1；
S223’. 采用最小二乘平面拟合方法，拟合所述第三数据，得到最小二乘拟合面A’，以该最小二乘拟合面A’作为所述透明体第二表面的所述参考表面；计算所述第三数据的第二深度均值μ2和第二方差σ2；
S224’. 计算所述第三数据中每个点与所述参考表面的距离，所述距离小于第二阈值的点标记为所述参考表面附近的点；其中，所述第二阈值表示为n*σ2。
本发明所述的方法应用于透明体缺陷三维检测，常见的待测透明体，如玻璃、胶体、塑料等，均可以在制作时使其表面是平面。即使表面存在一定的缺陷，其表面大体上也是接近平面的。本发明记载的方法也可以提前将所述透明体与所述光谱共焦传感器正对放置，因此，本实施例优选的拟合和排除方法是S221-S224。
本领域技术人员也容易理解，上述方案是本实施例中的优选方案。在不同情况下，本领域技术人员也可以选择不同的拟合方式以及拟合次数。例如，也可以仅一次拟合，以得到的最小二乘面作为第二表面的参考表面。具体的选择方式可以依据实际需求，例如运算效率和准确度进行调整，此处不再赘述。
上述对透明体中缺陷的分析是分析的透明体内部缺陷。此处进一步分析透明体表面处的缺陷。对于透明体第一表面的缺陷，通过光谱共焦传感器采集的数据可以非常直观的展示，计算方法简单，因此本发明对于该类缺陷不作赘述。对于透明体第二表面的缺陷，其特征是缺陷的第一表面构成了透明体的第二表面，即此时的第二表面并不是理想的平面状态。对于该类缺陷，通过本实施例的方法，该类缺陷的第一表面的部分点会被判定为第二特征点，而另一部分则会因为小于第一阈值或小于第二阈值（相当于距离实际上的第二表面更远）被判定为第三特征点。通过阈值的选取不同，可以尽可能的将该类缺陷对应的点判定为第三特征点。
本发明中，第一阈值和第二阈值中方差的系数n选取相同的系数是一种优选的方案，也可以依据需要对阈值进行调整，包括但不限于调整该系数，或调整第一阈值和第二阈值的计算方法。
进一步地，本实施例中，所述步骤S3还包括：
提取所述第三特征点的坐标，将坐标相邻的所述第三特征点合并，标记为同一所述缺陷表面的点。
第三特征点是所述透明体中所述缺陷的第一和第二表面的点，理想状况下，通过判断其坐标是否相邻，即可以判断是否属于同一缺陷。实际情况下，可能会存在点云数据中第三特征点不完整的情况。对于该种状况，只需在判断相邻时修改判定条件，也可以完成判断、合并、标记步骤。本领域中有多种判断空间中的点是否相邻的方法，本领域技术人员容易理解，任选一种方法，或任选多种方法组合，均是本领域的常规选择。
对于光谱共焦传感器无法探测某些透明体内部缺陷第二表面的情况，此时，该缺陷也可以类比按照理想状况下透明体第二表面的缺陷进行处理。而对于光谱共焦传感器完全没有探测到的缺陷，例如在同一深度方向上存在过多缺陷，导致较深的缺陷无法提取到任何点云数据，可以通过改进光谱共焦传感器的形式重新探测，直到能探测到对应缺陷的分界面上的点后，再实施本发明的方法，此处不再赘述。
进一步地，本实施例中，还包括：
对于每一个标记合并后的缺陷，提取其对应所述第三特征点中层数是奇数的点，构成所述缺陷的第一表面；
将所述缺陷的所述第一表面投影到平面方向，作为所述缺陷的投影图像，并将所述投影图像二值化；所述平面方向垂直于所述深度方向；
平滑所述二值化后投影图像的边缘，并提取所述二值化后投影图像的轮廓，作为所述缺陷外接立方体在所述平面方向上的轮廓；
提取所述缺陷对应的所述第三特征点，计算深度方向上最大坐标差，作为所述缺陷的外接立方体在深度方向上的长度。
对于透明体内部的缺陷，所述缺陷一般是对称存在两个表面；对于透明体第二表面的缺陷，其仅存在第一表面。因此，本实施例中，选择提取奇数层，即可以构成每个缺陷的第一表面。
为了进一步确定所述缺陷的大小和位置，本发明是以缺陷外接立方体的中心坐标作为其空间位置坐标，并以该外接立方体的大小表征缺陷大小。本领域技术人员也容易理解，在点云数据中排除了透明体第一表面和第二表面的第一特征点和第二特征点后，对于剩余的、用于表征缺陷表面的第三特征点的处理方法，可以不限于本实施例中的分层，标记，轮廓提取的方法。利用点云数据进行三维重构是本领域常见的点云数据处理，复现三维模型的方法。透明体中的缺陷对透明体影响较大，因此，本发明选择以其外接立方体的大小和坐标表征，足以满足排查缺陷的需求。
正如前文中的分析，本实施例中采用缺陷的第一表面在平面方向上的投影，并不需要采用缺陷的第一和第二表面共同投影，即可以反映缺陷在平面方向上的大小。后续步骤中，包括图像二值化，边缘提取，边缘平滑等步骤，均是本领域技术人员常见的图像处理步骤，此处不再赘述。外接立方体在深度方向上的长度，以缺陷的最大深度差表征，即该缺陷的第三特征点中深度差的最大值就是外接立方体在深度方向上的长度。对于仅探测到奇数层的缺陷，其外接立方体大小依然以该缺陷对应第三特征点中深度差的最大值为长度。如果该类缺陷较多，则应当考虑更换探测能力更强的光谱共焦传感器。
进一步地，本实施例中，还包括：
所述光谱共焦传感器是线光谱共焦传感器和/或点光谱共焦传感器。
对于光谱共焦传感器，常见的结构是点光谱共焦传感器和线光谱共焦传感器，其中线光谱共焦传感器可以认为是多个点光谱共焦传感器同时使用。本发明中并不限定光谱共焦传感器的选择、使用方式。例如，如图5所示，可以采用一个线光谱共焦传感器，依次扫描每一个截面。也可以采用点光谱共焦传感器，遍历所述透明体。还可以采用多个光谱共焦传感器，分区域扫描后合并相应的点云数据。其余选择方式亦可以依据需要设置。
为了实施本发明的方法，本领域技术人员应当理解，所采用的光谱共焦传感器应当具有足够的分辨率，使得所述第三特征点足够多，以分辨出所述缺陷的轮廓。
如图7所示，作为本发明的第二实施例，提供了一种应用于涂胶中气泡检测的透明体缺陷三维检测方法。涂胶工艺广泛存在于各种工业制造场景中，无论是哪种应用场景，均对胶体中气泡含量有较高要求，气泡的存在会影响到胶的各种物理化学性能，如粘结强度、绝缘性、密闭性、光穿透的均匀性、表面平整性等，进而影响制造工艺的质量。例如，在半导体工业中，涂胶是光刻前的重要步骤，胶体中的气泡会对曝光产生一定的影响。对涂胶后胶体内的气泡进行检测是涂胶工艺进行质控的重要手段。
本实施例中，采用线光谱共焦传感器，将传感器置于涂胶样品的上方，则涂胶样品的第一表面为上表面，第二表面为下表面，其中的气泡也分为上下表面。建立空间坐标系xyz，其中z轴方向是上表面指向下表面的方向，x轴方向是线光谱共焦传感器的展开方向，y轴方向是传感器与胶体相对运动的方向。本实施例的方法如下：
步骤1、从点云数据中提取第一数据和第二数据，即涂胶上表面和第二层表面，以及所有具有两层以上表面的位置坐标。
步骤2、对所提取的第二层表面数据进行最小二乘平面拟合，获取最小二乘面，并计算深度均值μ1和方差σ1。
步骤3、去除第二层表面数据中高于μ1+n*σ1的点，得到新的第二层表面数据，该数据作为涂胶的底面数据。
步骤4、对新的第二层表面数据进行最小二乘平面拟合，获取最小二乘面，并计算方差σ2，该最小二乘面为涂胶底面的近似参考平面。
步骤5、气泡表面采样点检测。在胶体表面以下、底层参考平面大于n*σ2以上，所有的表面采样点均为待分类气泡的上表面或下表面采样点。
步骤6、气泡预检测与分层。将相邻坐标的点标记为同一气泡，并根据气泡定义的限定性条件，完成气泡预检测。
步骤7、对每一层气泡，在与深度垂直的平面上投影生成二值图像。
步骤8、对二值图像进行形态学操作处理，获得气泡在该平面上的投影二值图像。
步骤9、提取气泡投影图像的轮廓。
步骤10、气泡空间定位。依据轮廓位置，及其上、下表面的采样数据，最终完成气泡的三维空间位置定位。
步骤11、根据实际需要，对检测到的气泡进行测量和统计分析，并生成表表输出。
作为本发明的第三实施例，还提供了一种透明体缺陷三维检测装置，其包括：
光谱共焦传感器，用于扫描所述透明体；
支持件，用于支持所述透明体；
驱动控制器，用于驱动支持件移动，配合所述光谱共焦传感器完成扫描；
计算机，用于接收所述光谱共焦传感器扫描的数据，实施上述任一项所述的方法计算所述透明体的缺陷。
本实施例中，所述支持件既可以是传统的载物台，从下方承载透明体，光谱共焦传感器安装在载物台上方，从上往下扫描透明体，光谱共焦传感器也可以安装在侧方，以侧向扫描的方式遍历透明体；支持件还可以是机械手，夹持透明体，光谱共焦传感器设置在透明体下方，从下往上扫描透明体。本领域技术人员可以理解本发明所述支持件的支持方式不限于本实施例中的方式，只需配合光谱共焦传感器完成扫描即可。
作为本发明的第四实施例，还提供了一种透明体缺陷三维检测设备，其包括至少一个处理单元、以及至少一个存储单元，其中，所述存储单元存储有计算机程序，当所述计算机程序被所述处理单元执行时，使得所述处理单元执行上述任一项所述方法的步骤。
本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述方法的步骤。其中，计算机可读存储介质可以包括但不限于任何类型的盘，包括软盘、光盘、DVD、CD-ROM、微型驱动器以及磁光盘、ROM、RAM、EPROM、EEPROM、DRAM、VRAM、闪速存储器设备、磁卡或光卡、纳米系统（包括分子存储器IC），或适合于存储指令和/或数据的任何类型的媒介或设备。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种透明体缺陷三维检测方法，其特征在于，包括：
S1. 光谱共焦传感器扫描所述透明体，获得所述透明体各分界面表面点的空间坐标数据，形成点云数据；
S2. 排除所述点云数据中作为所述透明体第一表面的第一特征点和作为所述透明体第二表面的第二特征点，剩余的点作为第三特征点；
S3. 在每个深度方向上标记所述第三特征点所属的层数，并利用所述第三特征点标记缺陷；其中，所述深度方向是从第一表面指向第二表面的向量方向；
S4. 提取标记后的所述缺陷的外轮廓，确定所述缺陷的坐标与大小；
其中，所述缺陷至少是部分透明的；所述透明体第一表面是所述透明体靠近所述光谱共焦传感器的面，所述透明体第二表面是所述透明体远离所述光谱共焦传感器的面。
2.如权利要求1所述的透明体缺陷三维检测方法，其特征在于：
所述步骤S2还包括：
S21.提取所述点云数据中第一数据，作为所述透明体第一表面的第一特征点，并排除所述第一特征点；
S22.提取所述点云数据中第二数据，用于计算所述透明体第二表面的参考表面，并排除作为所述透明体第二表面的所述第二特征点；
其中，所述第一数据是所述点云数据中，在每个深度方向上深度值最小的点的数据；所述第二数据是所述点云数据中，在每个深度方向上深度值第二小的点的数据。
3.如权利要求2所述的透明体缺陷三维检测方法，其特征在于：
所述计算所述透明体第二表面，并排除作为所述透明体第二表面的所述第二特征点的方法为：
采用最小二乘平面拟合方式，拟合所述透明体第二表面的参考表面，并排除所述参考表面附近的点。
4.如权利要求3所述的透明体缺陷三维检测方法，其特征在于：
所述拟合所述透明体第二表面的参考表面，并排除参考表面附近的点具体包括：
S221. 计算所述第二数据的第一深度均值μ1和第一方差σ1；
S222. 排除所述第二数据中深度数据小于第一阈值的点，得到第三数据；其中，所述第一阈值表示为μ1+n*σ1；
S223. 采用最小二乘平面拟合方法，拟合所述第三数据，得到最小二乘拟合面，以该最小二乘拟合面作为所述透明体第二表面的所述参考表面；计算所述第三数据的第二深度均值μ2和第二方差σ2；
S224. 计算所述第三数据中每个点与所述参考表面的距离，所述距离小于第二阈值的点标记为所述参考表面附近的点；其中，所述第二阈值表示为n*σ2。
5.如权利要求1所述的透明体缺陷三维检测方法，其特征在于：
所述步骤S3还包括：
提取所述第三特征点的坐标，将坐标相邻的所述第三特征点合并，标记为同一所述缺陷表面的点。
6.如权利要求1所述的透明体缺陷三维检测方法，其特征在于：
所述步骤S4还包括：
对于每一个标记合并后的缺陷，提取其对应所述第三特征点中层数是奇数的点，构成所述缺陷的第一表面；
将所述缺陷的所述第一表面投影到平面方向，作为所述缺陷的投影图像，并将所述投影图像二值化；所述平面方向垂直于所述深度方向；
平滑所述二值化后投影图像的边缘，并提取所述二值化后投影图像的轮廓，作为所述缺陷外接立方体在所述平面方向上的轮廓；
提取所述缺陷对应的所述第三特征点，计算深度方向上最大坐标差，作为所述缺陷的外接立方体在深度方向上的长度。
7.如权利要求1所述的透明体缺陷三维检测方法，其特征在于：
所述光谱共焦传感器是线光谱共焦传感器和/或点光谱共焦传感器。
8.一种透明体缺陷三维检测装置，其特征在于，包括：
光谱共焦传感器，用于扫描所述透明体；
支持件，用于支持所述透明体；
驱动控制器，用于驱动支持件移动，配合所述光谱共焦传感器完成扫描；
计算机，用于接收所述光谱共焦传感器扫描的数据，实施如权利要求1~7中任一项所述的方法计算所述透明体的缺陷。
9.一种透明体缺陷三维检测设备，其特征在于，包括至少一个处理单元、以及至少一个存储单元，其中，所述存储单元存储有计算机程序，当所述计算机程序被所述处理单元执行时，使得所述处理单元执行权利要求1～7任一项所述方法的步骤。
10.一种存储介质，其特征在于，其存储有可由访问认证设备执行的计算机程序，当所述计算机程序在访问认证设备上运行时，使得所述访问认证设备执行权利要求1～7任一项所述方法的步骤。
CN202310421889.XA 2023-04-19 2023-04-19 一种透明体缺陷三维检测方法、装置、设备及存储介质 Active CN116148277B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310421889.XA CN116148277B (zh) 2023-04-19 2023-04-19 一种透明体缺陷三维检测方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310421889.XA CN116148277B (zh) 2023-04-19 2023-04-19 一种透明体缺陷三维检测方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN116148277A true CN116148277A (zh) 2023-05-23
CN116148277B CN116148277B (zh) 2023-07-04

Family

ID=86352802

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310421889.XA Active CN116148277B (zh) 2023-04-19 2023-04-19 一种透明体缺陷三维检测方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN116148277B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117152164A (zh) * 2023-11-01 2023-12-01 武汉精一微仪器有限公司 一种透明多层材料的点云数据分层方法、装置及电子设备

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109001207A (zh) * 2018-05-07 2018-12-14 华侨大学 一种透明材料表面及内部缺陷的检测方法和检测系统
WO2020048148A1 (zh) * 2018-09-03 2020-03-12 浙江大学 一种基于光谱共焦传感器的表面疵病测量方法
CN112326673A (zh) * 2020-11-13 2021-02-05 南京航空航天大学 基于机器视觉的注塑件表面缺陷检测方法和装置
CN112611763A (zh) * 2019-09-20 2021-04-06 深圳市腾盛精密装备股份有限公司 一种基于光谱共焦的透明体检测方法及系统
CN112748071A (zh) * 2020-07-17 2021-05-04 奕目(上海)科技有限公司 透明或半透明介质缺陷检测系统和方法
CN112824881A (zh) * 2020-04-28 2021-05-21 奕目(上海)科技有限公司 一种基于光场相机的透明或半透明介质缺陷检测系统及方法
CN113281343A (zh) * 2021-05-31 2021-08-20 中国科学院西安光学精密机械研究所 一种对多层透明材料进行缺陷检测的系统及方法
CN113393464A (zh) * 2021-08-18 2021-09-14 苏州鼎纳自动化技术有限公司 一种平板玻璃缺陷的三维检测方法
CN113720862A (zh) * 2021-08-17 2021-11-30 珠海格力电器股份有限公司 零件异常检测方法、装置、设备及存储介质
CN114295728A (zh) * 2021-11-16 2022-04-08 国标（北京）检验认证有限公司 一种针对复杂曲面工件内部缺陷超声波三维层析成像方法
CN115222730A (zh) * 2022-08-31 2022-10-21 武汉君赢融合信息技术有限公司 一种基于线扫光谱共聚焦相机的缺陷检测算法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109001207A (zh) * 2018-05-07 2018-12-14 华侨大学 一种透明材料表面及内部缺陷的检测方法和检测系统
WO2020048148A1 (zh) * 2018-09-03 2020-03-12 浙江大学 一种基于光谱共焦传感器的表面疵病测量方法
CN112611763A (zh) * 2019-09-20 2021-04-06 深圳市腾盛精密装备股份有限公司 一种基于光谱共焦的透明体检测方法及系统
CN112824881A (zh) * 2020-04-28 2021-05-21 奕目(上海)科技有限公司 一种基于光场相机的透明或半透明介质缺陷检测系统及方法
CN112748071A (zh) * 2020-07-17 2021-05-04 奕目(上海)科技有限公司 透明或半透明介质缺陷检测系统和方法
CN112326673A (zh) * 2020-11-13 2021-02-05 南京航空航天大学 基于机器视觉的注塑件表面缺陷检测方法和装置
CN113281343A (zh) * 2021-05-31 2021-08-20 中国科学院西安光学精密机械研究所 一种对多层透明材料进行缺陷检测的系统及方法
CN113720862A (zh) * 2021-08-17 2021-11-30 珠海格力电器股份有限公司 零件异常检测方法、装置、设备及存储介质
CN113393464A (zh) * 2021-08-18 2021-09-14 苏州鼎纳自动化技术有限公司 一种平板玻璃缺陷的三维检测方法
WO2023019847A1 (zh) * 2021-08-18 2023-02-23 苏州鼎纳自动化技术有限公司 一种平板玻璃缺陷的三维检测方法
CN114295728A (zh) * 2021-11-16 2022-04-08 国标（北京）检验认证有限公司 一种针对复杂曲面工件内部缺陷超声波三维层析成像方法
CN115222730A (zh) * 2022-08-31 2022-10-21 武汉君赢融合信息技术有限公司 一种基于线扫光谱共聚焦相机的缺陷检测算法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MUELLER ET AL: "Measurement of steep edges and undercuts in confocal microscopy", MICRON, no. 84, pages 79 - 95, XP029498790, DOI: 10.1016/j.micron.2016.03.001 *
王鹏: "基于点云信息的手机玻璃盖板缺陷检测方法研究", 中国优秀博硕士学位论文全文数据库（硕士） 信息科技辑, no. 1, pages 21 - 29 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117152164A (zh) * 2023-11-01 2023-12-01 武汉精一微仪器有限公司 一种透明多层材料的点云数据分层方法、装置及电子设备
CN117152164B (zh) * 2023-11-01 2024-02-09 武汉精一微仪器有限公司 一种透明多层材料的点云数据分层方法、装置及电子设备

Also Published As

Publication number Publication date
CN116148277B (zh) 2023-07-04

Similar Documents

Publication Publication Date Title
US11049237B2 (en) Method and device for optical examination of transparent bodies
JP5932110B2 (ja) 原石のインクルージョンを検出／同定する方法および機器
US9704232B2 (en) Stereo vision measurement system and method
JP5218723B2 (ja) 蛍光探傷方法および蛍光探傷装置
US20140376802A1 (en) Wafer Inspection Using Free-Form Care Areas
WO2013061976A1 (ja) 形状検査方法およびその装置
CN107339939B (zh) 光学度量中的测量对象的边缘确定的方法和设备
CN116148277B (zh) 一种透明体缺陷三维检测方法、装置、设备及存储介质
JP7302599B2 (ja) 欠陥判別方法、欠陥判別装置、欠陥判別プログラム及び記録媒体
CN111602177A (zh) 用于生成物体的3d重建的方法和设备
JP2021193400A (ja) アーチファクトを測定するための方法
JP2017040600A (ja) 検査方法、検査装置、画像処理装置、プログラム及び記録媒体
WO2020079567A1 (en) Automated inspection for sheet parts of arbitrary shape from manufactured film
CN105160754A (zh) 基于高度测量的硬币表面质量检测装置及其检测方法
CN110426395B (zh) 一种太阳能el电池硅片表面检测方法及装置
JPH0886716A (ja) レンズ検査のシステムと方法
CN104655041B (zh) 一种附加约束条件的工业零件轮廓线多特征提取方法
CN117252861A (zh) 一种晶圆表面缺陷的检测方法、装置及系统
JP4523310B2 (ja) 異物識別方法及び異物識別装置
Sansoni et al. Combination of 2D and 3D vision systems into robotic cells for improved flexibility and performance
JP4735010B2 (ja) 基板高さ計測方法
JP2020118572A (ja) 表面欠陥検査装置及び表面欠陥検査方法
RU2787314C1 (ru) Автоматизированный способ люминесцентного контроля детали
CN114037705B (zh) 一种基于贝纹线的金属断裂疲劳源检测方法与系统
Zhou et al. Development and Evaluation of a Vision Inspection System for Plastic Bottle Measurement

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant