CN117368210B - 一种基于多维复合成像技术的缺陷检测方法 - Google Patents
一种基于多维复合成像技术的缺陷检测方法 Download PDFInfo
- Publication number
- CN117368210B CN117368210B CN202311679941.8A CN202311679941A CN117368210B CN 117368210 B CN117368210 B CN 117368210B CN 202311679941 A CN202311679941 A CN 202311679941A CN 117368210 B CN117368210 B CN 117368210B
- Authority
- CN
- China
- Prior art keywords
- detected
- product
- defect
- defects
- defect detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000007547 defect Effects 0.000 title claims abstract description 374
- 238000001514 detection method Methods 0.000 title claims abstract description 173
- 238000003384 imaging method Methods 0.000 title claims abstract description 50
- 238000005516 engineering process Methods 0.000 title claims abstract description 42
- 239000002131 composite material Substances 0.000 title claims abstract description 24
- 238000000034 method Methods 0.000 claims abstract description 19
- 238000011156 evaluation Methods 0.000 claims description 32
- 238000004458 analytical method Methods 0.000 claims description 14
- 238000013210 evaluation model Methods 0.000 claims description 10
- 238000004891 communication Methods 0.000 claims description 9
- 239000000463 material Substances 0.000 claims description 7
- 230000002194 synthesizing effect Effects 0.000 claims description 3
- 238000002310 reflectometry Methods 0.000 claims 2
- 238000010191 image analysis Methods 0.000 abstract description 2
- 230000000694 effects Effects 0.000 description 9
- 230000004927 fusion Effects 0.000 description 7
- 150000001875 compounds Chemical class 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 239000007769 metal material Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8854—Grading and classifying of flaws
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8854—Grading and classifying of flaws
- G01N2021/8874—Taking dimensions of defect into account
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本申请公开了一种基于多维复合成像技术的缺陷检测方法，涉及图像分析技术领域，所述方法包括：基于待检测产品的缺陷检测要求，选择对应的缺陷检测模式；基于启动指令，启动相机对所述待检测产品进行拍摄，得到所述待检测产品的图像拍摄结果，并对所述图像拍摄结果进行分析，得到所述待检测产品的缺陷检测结果；其中，启动相机对所述待检测产品进行拍摄，包括：启动2维相机对所述待检测产品在预先设定的多种光源模式下进行拍摄，和/或启动3维相机对所述待检测产品进行拍摄。通过上述技术方案，解决了传统的检测模式单一，缺陷检出率较低的问题。
Description
技术领域
本申请涉及图像分析技术领域，尤其是涉及一种基于多维复合成像技术的缺陷检测方法。
背景技术
在机器视觉领域，3维成像技术和2维成像技术是两个重要的概念，3维成像技术可以显示三维空间中的物体，通过3维成像技术可以看到物体的长度、宽度和高度，具有立体感；而2维成像技术只能显示二维平面上的物体，通过2维成像技术只能看到物体的长度和宽度，没有立体感。
因此，当检测产品表面的缺陷时，2维成像技术可以提供的信息较少，只能检测缺陷的长度、宽度等平面数据，无法检测缺陷处的深度；而3维成像技术可以提供更多的信息，可以检测出缺陷的深度数据，但是处理速度就会降低。
但是，现有的检测方法在检测产品的缺陷时，例如检测手机正面或者盖板的表面缺陷、或者电池外观缺陷等，检测模式比较单一，只能选择单一的2维成像技术或3D成像技术进行检测，缺陷检出率较低。
发明内容
为了提高产品表面缺陷的检出率，本申请提供一种基于多维复合成像技术的缺陷检测方法。
第一方面，本申请提供一种基于多维复合成像技术的缺陷检测方法，采用如下的技术方案：所述方法包括以下步骤：
基于待检测产品的缺陷检测要求，选择对应的缺陷检测模式；
基于启动指令，启动相机对所述待检测产品进行拍摄，得到所述待检测产品的图像拍摄结果；所述启动相机对所述待检测产品进行拍摄，包括：启动2维相机对所述待检测产品在预先设定的多种光源模式下进行拍摄，和/或启动3维相机对所述待检测产品进行拍摄；
对所述图像拍摄结果进行分析，得到所述待检测产品的缺陷检测结果。
通过采用上述技术方案，将2维相机和3维相机集成在一起，根据缺陷检测要求，进入不同的缺陷检测模式，可以覆盖包括棱边在内的全部检测区域，通过多维图像融合、复合判定缺陷的方式，不再单独分开检测，解决了传统的检测模式比较单一，缺陷检出率较低的问题。
在一个具体的可实施方案中，所述缺陷检测模式包括第一缺陷检测子模式，所述第一缺陷检测子模式用于当所述缺陷检测要求为检测缺陷平面信息时，检测所述待检测产品的缺陷，具体包括：
基于启动指令，启动2维相机对所述待检测产品在预先设定的多种光源模式下进行拍摄，得到所述待检测产品的一系列2维图像；
基于所述一系列2维图像，经过分析得到所述待检测产品缺陷的平面信息；所述缺陷的平面信息包括缺陷位置及各缺陷对应的类型。
通过采用上述技术方案，当只需要检测待检测产品缺陷的平面信息且待检缺陷项中不包含凹凸类型缺陷的深度信息时，凹凸类型缺陷即具有深度特征的缺陷，只需要采用2维成像技术便可以直接识别出缺陷位置及对应的类型，缺陷的检测速度较快。
在一个具体的可实施方案中，所述缺陷检测模式包括第二缺陷检测子模式，所述第二缺陷检测子模式用于当所述缺陷检测要求为检测缺陷平面信息且缺陷检测精度高于精度阈值时，检测所述待检测产品的缺陷，具体包括：
基于启动指令，启动2维相机对所述待检测产品在预先设定的多种光源模式下进行拍摄，得到所述待检测产品的一系列2维图像；
基于所述一系列2维图像，经过分析得到所述待检测产品缺陷的平面信息；所述缺陷的平面信息包括缺陷位置及各缺陷对应的类型；
基于所述缺陷的平面信息，将所述待检测产品的缺陷中具有深度特征的缺陷进行标记；
基于所述一系列2维图像，通过合成得到2.5维图像，并对所述2.5维图像进行分析，更新所述具有深度特征的缺陷的检测结果。
通过采用上述技术方案，当需要检测待检测产品缺陷的平面信息，且待检缺陷项中不包含凹凸类型缺陷的深度信息时，凹凸类型缺陷即具有深度特征的缺陷，为了进一步提高检测精度，此时首先采用2维成像技术识别出缺陷位置及对应的类型，再针对具有深度特征的缺陷，采用2.5维成像技术，使得对具有深度特征的缺陷检出效果更加明显，从而得到更精确的判断结果，提高了缺陷的检测精度。
在一个具体的可实施方案中，所述缺陷检测模式包括第三缺陷检测子模式，所述第三缺陷检测子模式用于当所述缺陷检测要求为检测缺陷平面信息和深度值信息时，检测所述待检测产品的缺陷，具体包括：
基于启动指令，启动2维相机对所述待检测产品在预先设定的多种光源模式下进行拍摄，得到所述待检测产品的一系列2维图像；
基于所述一系列2维图像，经过分析得到所述待检测产品缺陷的平面信息；所述平面信息包括缺陷位置及各缺陷对应的类型；
基于所述缺陷的平面信息，将所述待检测产品的缺陷中具有深度特征的缺陷进行标记；
启动3维相机对所述待检测产品进行拍摄，得到所述待检测产品的3维图像，并对所述3维图像进行分析，得到所述具有深度特征的缺陷的深度值信息。
通过采用上述技术方案，当需要检测待检测产品缺陷的平面信息和具体的深度值信息时，此时首先通过2维相机，采用2维成像技术识别出缺陷位置及对应的类型，通过传输缺陷的位置信息发送给3维相机，再针对具有深度特征的缺陷，采用3维成像技术，可以精确识别出缺陷的深度值信息，最终通过多维图像融合，复合判定缺陷，提高缺陷检出率，检测精度较高。
在一个具体的可实施方案中，所述光源模式包括光源类型、光源颜色、光源规格、光源角度中的一种或多种；
所述光源类型包括条形光源、红外光源、环形光源、背光源、同轴光源、多射角无影光源、点光源中的一种或多种；所述光源颜色包括白光、蓝光、红光、绿光、红外光、紫外光中的一种或多种。
通过采用上述技术方案，通过对光源类型、光源颜色、光源规格、光源角度多种因素的任意组合，使得对待检测产品的缺陷检测结果更加精确。
在一个具体的可实施方案中，基于启动指令，启动相机对所述待检测产品进行拍摄之前，包括：
基于所述待检测产品的第一特征信息，设定所述待检测产品的光源模式；所述第一特征信息包括表面反射特性、材质、透明度、纹理、形状、尺寸中的一种或多种。
通过采用上述技术方案，由于不同产品的特征不同，因此针对不同待检测产品的表面反射特性、材质、透明度、纹理、形状、尺寸等信息，合理设定光源模式，可以使得对待检测产品的拍摄效果达到最佳，从而进一步提高缺陷的检测速度和精度。
在一个具体的可实施方案中，得到所述待检测产品的缺陷检测结果之后，还包括：
采用预先构建的评估模型对所述待检测产品各缺陷进行评估，得到所述待检测产品的缺陷评估结果；
基于所述待检测产品的缺陷评估结果，将所述待检测产品划分缺陷等级。
通过采用上述技术方案，当识别出待检测产品的各处缺陷之后，利用缺陷检测结果，采用评估模型对待检测产品的缺陷进行评估，可以将待检测产品进行缺陷等级的划分，便于工作人员根据客户对缺陷容忍度的要求，剔除不合格产品。
第二方面，本申请提供一种基于多维复合成像技术的缺陷检测系统，采用以下技术方案：系统应用上述第一方面或第一方面任一项可实施方案中的基于多维复合成像技术的缺陷检测方法，系统所述包括相机和控制单元；所述相机包括2维相机和3维相机；
所述控制单元，用于基于待检测产品的缺陷检测要求，选择对应的缺陷检测模式；
所述控制单元，还用于基于启动指令，启动相机对所述待检测产品进
行拍摄，得到所述待检测产品的图像拍摄结果，并对所述图像拍摄结果进行分析，得到所述待检测产品的缺陷检测结果；
其中，启动相机对所述待检测产品进行拍摄，包括：启动2维相机对所述待检测产品在预先设定的多种光源模式下进行拍摄，和/或启动3维相机对所述待检测产品进行拍摄。
第三方面，本申请提供一种终端，采用以下技术方案：所述终端包括处理器、存储器及通信总线；所述通信总线用于实现处理器和存储器之间的连接通信，所述处理器用于执行存储器中存储的一个或者多个程序，以实现如上述第一方面或第一方面任一项可实施方案中基于多维复合成像技术的缺陷检测方法。
第四方面，本申请提供一种计算机可读存储介质，采用以下技术方案：所述计算机可读存储介质存储有指令，当所述指令被执行时，执行如上述第一方面或第一方面任一项可实施方案中基于多维复合成像技术的缺陷检测方法。
综上所述，本申请的技术方案至少包括以下有益技术效果：
1、本申请的缺陷检测方法，将2维相机和3维相机集成在一起，根据缺陷检测要求，进入不同的缺陷检测模式，可以覆盖包括棱边在内的全部检测区域，通过多维图像融合、复合判定缺陷的方式，不再单独分开检测，解决了传统的检测模式比较单一，缺陷检出率较低的问题；
2、当只需要检测待检测产品缺陷的平面信息，且待检缺陷项中不包含凹凸类型缺陷的深度信息时，凹凸类型缺陷即具有深度特征的缺陷，只需要采用2维成像技术便可以直接识别出缺陷位置及对应的类型，缺陷的检测速度较快；当需要检测待检测产品缺陷的平面信息，且待检缺陷项中不包含凹凸类型缺陷的深度信息时，为了进一步提高检测精度，此时首先采用2维成像技术识别出缺陷位置及对应的类型，再针对具有深度特征的缺陷，采用2.5维成像技术，对具有深度特征的缺陷检出效果更加明显，从而得到更精确的判断结果；当需要检测待检测产品缺陷的平面信息和具体的深度值信息时，首先采用2维成像技术识别出缺陷位置及对应的类型，再针对具有深度特征的缺陷，采用3维成像技术，可以精确识别出缺陷的深度值信息，最终通过多维图像融合，复合判定缺陷，提高缺陷检出率，检测精度较高。
附图说明
图1是本申请实施例中基于多维复合成像技术的缺陷检测方法的第一流程示意图；
图2是本申请实施例中基于多维复合成像技术的缺陷检测方法的第二流程示意图；
图3是本申请实施例中第一缺陷检测子模式的流程示意图；
图4是本申请实施例中第二缺陷检测子模式的流程示意图；
图5是本申请实施例中第三缺陷检测子模式的流程示意图；
图6是本申请实施例中基于多维复合成像技术的缺陷检测系统的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细说明。
本申请实施例提供一种基于多维复合成像技术的缺陷检测方法，如图1所示，方法包括步骤S1、S3和S4。
S1，基于待检测产品的缺陷检测要求，选择对应的缺陷检测模式。
S3，基于启动指令，启动相机对所述待检测产品进行拍摄，得到所述待检测产品的图像拍摄结果；其中，启动相机对所述待检测产品进行拍摄，包括：启动2维相机对所述待检测产品在预先设定的多种光源模式下进行拍摄，和/或启动3维相机对所述待检测产品进行拍摄。
S4，对所述图像拍摄结果进行分析，得到所述待检测产品的缺陷检测结果。
因此，本申请的缺陷检测方法，将2维相机和3维相机集成在一起，根据缺陷检测要求，进入不同的缺陷检测模式，可以覆盖包括棱边在内的全部检测区域，通过多维图像融合、复合判定缺陷的方式，不再单独分开检测，解决了传统的检测模式比较单一，缺陷检出率较低的问题。另外，在检测不同产品或应对不同缺陷检测要求时，直接进行模式切换即可，更加方便快捷。
在一种可能的实施方式中，上述步骤S3中，所述光源模式包括光源类型、光源颜色、光源规格、光源角度中的一种或多种；
所述光源类型包括条形光源、红外光源、环形光源、背光源、同轴光源、多射角无影光源、点光源中的一种或多种；所述光源颜色包括白光、蓝光、红光、绿光、红外光、紫外光中的一种或多种。
示例性地，所述光源规格包括RQ-18030R-24V-W、RQ-20030L-24V-IR、RQ-178RX-24V-R、RQ-200C-24V-B、RQ-150146FP-24V-G、RQ-MA130-24V-UV、RQ-0803P-5V-W中的一种或多种。
因此，通过对光源类型、光源颜色、光源规格、光源角度多种因素的任意组合，使得对待检测产品的缺陷检测结果更加精确。
在一种可能的实施方式中，如图3所示，所述缺陷检测模式包括第一缺陷检测子模式，所述第一缺陷检测子模式用于当所述缺陷检测要求为检测缺陷平面信息时，检测所述待检测产品的缺陷，具体包括：
基于启动指令，启动2维相机对所述待检测产品在预先设定的多种光源模式下进行拍摄，得到所述待检测产品的一系列2维图像；
基于所述一系列2维图像，经过分析得到所述待检测产品缺陷的平面信息；所述缺陷的平面信息包括缺陷位置及各缺陷对应的类型。
在本实施例中，缺陷的类型包括具有深度特征的缺陷和无深度特征的缺陷。示例性地，具有深度特征的缺陷包括凹坑、凸起、划伤中的一种或多种；无深度特征的缺陷包括表面脏污、异物、油渍中的一种或多种。
因此，当只需要检测待检测产品缺陷的平面信息，且待检缺陷项中不包含凹凸类型缺陷的深度信息，凹凸类型缺陷即具有深度特征的缺陷，如凹、凸、鼓包等类型，也表示此时无需测量缺陷的深度，如划痕深度，只需要采用2维成像技术便可以直接识别出缺陷位置及对应的类型，缺陷的检测速度较快。
在一种可能的实施方式中，如图4所示，所述缺陷检测模式还包括第二缺陷检测子模式，所述第二缺陷检测子模式用于当所述缺陷检测要求为检测缺陷平面信息且缺陷检测精度高于精度阈值时，检测所述待检测产品的缺陷，具体包括：
基于启动指令，启动2维相机对所述待检测产品在预先设定的多种光源模式下进行拍摄，得到所述待检测产品的一系列2维图像；
基于所述一系列2维图像，经过分析得到所述待检测产品缺陷的平面信息；所述缺陷的平面信息包括缺陷位置及各缺陷对应的类型；
基于所述缺陷的平面信息，将所述待检测产品的缺陷中具有深度特征的缺陷进行标记；
基于所述一系列2维图像，通过合成得到2.5维图像，并对所述2.5维图像进行分析，更新所述具有深度特征的缺陷的检测结果。
上述基于所述一系列2维图像，通过合成得到2.5维图像的过程，具体包括：可以采用具有高灵敏度和超宽动态范围的S技术平台对所述待检测产品进行拍摄，通过捕捉所述2维图像的反光率差异，合成得到2.5维图像，实现单帧拍摄下相机参数的实时自适应调整，可以在拍摄不同产品或者同类产品时，能够一站式获取高分辨率的3维数据和高精度、无拜耳矩阵的3CCD真彩图，真正实现了2维和3维的融合检测。
需要说明的是，基于所述一系列2维图像合成出2.5维图像的过程，可以为：基于4张或8张2维图像，合成出一张2.5维图像，2.5维图像是基于多张2维图像构建出的虚拟的立体结构，可以使得对具有深度特征的缺陷的检测判断更加准确。2.5维图像可以看作是伪3维图像的结果。
上述精度阈值，本领域技术人员可以根据实际情况和需求自行设定，当缺陷检测精度高于精度阈值时，表示对缺陷的检测精度要求较高，本申请对此不做限制。
因此，当需要检测待检测产品缺陷的平面信息，且待检缺陷项中不包含凹凸类型缺陷的深度信息时，凹凸类型缺陷即具有深度特征的缺陷，如凹、凸、鼓包等类型，也表示此时无需测量缺陷的深度，如划痕深度，为了进一步提高检测精度，此时首先采用2维成像技术识别出缺陷位置及对应的类型，再针对具有深度特征的缺陷，采用2.5维成像技术，使得对具有深度特征的缺陷检出效果更加明显，从而得到更精确的判断结果，提高了缺陷的检测精度。
在一种可能的实施方式中，如图5所示，所述缺陷检测模式还包括第三缺陷检测子模式，所述第三缺陷检测子模式用于当所述缺陷检测要求为检测缺陷平面信息和深度值信息时，检测所述待检测产品的缺陷，具体包括：
基于启动指令，启动2维相机对所述待检测产品在预先设定的多种光源模式下进行拍摄，得到所述待检测产品的一系列2维图像；
基于所述一系列2维图像，经过分析得到所述待检测产品缺陷的平面信息；所述平面信息包括缺陷位置及各缺陷对应的类型；
基于所述缺陷的平面信息，将所述待检测产品的缺陷中具有深度特征的缺陷进行标记；所述具有深度特征的缺陷包括凹坑、凸起、划伤中的一种或多种；
启动3维相机对所述待检测产品进行拍摄，得到所述待检测产品的3维图像，并对所述3维图像进行分析，得到所述具有深度特征的缺陷的深度值信息。
因此，当需要检测待检测产品缺陷的平面信息和具体的深度值信息时，此时首先通过2维相机，采用2维成像技术识别出缺陷位置及对应的类型，通过传输缺陷的位置信息发送给3维相机，再针对具有深度特征的缺陷，采用3维成像技术，可以精确识别出缺陷的深度值信息，最终通过多维图像融合，复合判定缺陷，提高缺陷检出率，检测精度较高。
在一种可能的实施方式中，如图2所示，步骤S3基于启动指令，启动相机对所述待检测产品进行拍摄之前，还包括步骤S2。
S2，基于所述待检测产品的第一特征信息，设定所述待检测产品的光源模式；所述第一特征信息包括表面反射特性、材质、透明度、纹理、形状、尺寸中的一种或多种。
下面对第一特征信息对产品光源模式设定的影响，进行说明：
所述待检测产品的表面反射特性，影响图像的质量，具体为影响图像的对比度和清晰度；例如，不同的产品表面有不同的反射和吸收特性，光滑的产品可能会产生强烈的镜面反射，而粗糙的产品则可能产生漫反射，选择合适的光源模式可以有效控制反射效果，从而生成高质量的图像。
所述待检测产品的材质，影响图像的质量；例如，对于透明或半透明的产品，可以选择透射性强的光源，如紫外光或红外光；对于金属或非金属材料的产品，可以选择具有特定光谱特性的光源，以更好地适应不同材料的表面反射特性。
所述待检测产品的透明度，影响图像的质量，具体为影响图像的对比度和清晰度；例如，透明度高的产品可能会透过光线，进而影响图像的对比度，选择合适的光源模式可以增强图像的对比度和清晰度。
所述待检测产品的纹理，影响图像的质量；例如，具有纹理的产品可能会产生阴影和反光，进而可能会导致图像失真，选择合适的光源角度可以减少纹理带来的影响。
所述待检测产品的形状，影响图像的质量；待检测产品的形状会影响到光源的位置和角度。例如，对于扁平的产品，可以选择侧面的平行光源；对于圆柱形的产品，可以选择环绕光源等。
所述待检测产品的尺寸，影响图像的质量；例如，大型产品可能需要更强的光源才能照亮整个表面，而小型产品则可能需要更精确的光源定位，选择合适的光源模式可以增强图像的质量。
由于不同产品的特征不同，因此针对不同待检测产品的表面反射特性、材质、透明度、纹理、形状、尺寸等信息，合理设定光源模式，可以使得对待检测产品的拍摄效果达到最佳，从而进一步提高缺陷的检测速度和精度。
在一种可能的实施方式中，如图2所示，步骤S4得到所述待检测产品的缺陷检测结果之后，还包括步骤S5-S6。
S5，采用预先构建的评估模型对所述待检测产品各缺陷进行评估，得到所述待检测产品的缺陷评估结果；
S6，基于所述待检测产品的缺陷评估结果，将所述待检测产品划分缺陷等级。
对于评估模型的评估方法和缺陷等级的划分方式，本领域技术人员可以自行设定，本申请对此不作限制。示例性地，评估模型的评估方法和缺陷等级的划分方式可以采用以下方式：
针对所述待检测产品缺陷中无深度特征的缺陷，根据所述无深度特征的缺陷的面积大小，得到各无深度特征的缺陷对应的第一评估结果；
针对所述待检测产品缺陷中具有深度特征的缺陷，根据所述有深度特征的缺陷的面积大小和深度大小，得到各具有深度特征的缺陷对应的第二评估结果；
基于所述第一评估结果和所述第二评估结果，得到所述待检测产品的缺陷评估结果。
具体地，上述第一评估结果、第二评估结果均可以采用评分的方式，再结合第一评估结果设定的权重系数、第二评估结果设定的权重系数，采用加权和的方式，得到所述待检测产品的缺陷评估结果。
因此，当识别出待检测产品的各处缺陷之后，利用缺陷检测结果，采用评估模型对待检测产品的缺陷进行评估，可以将待检测产品进行缺陷等级的划分，便于工作人员根据客户对缺陷容忍度的要求，剔除不合格产品。
需要说明的是，而申请实施例中，基于所述一系列2维图像，经过分析得到所述待检测产品缺陷的平面信息，和对所述2.5维图像进行分析，更新所述具有深度特征的缺陷的检测结果，以及对所述3维图像进行分析，得到具有深度特征的缺陷的深度值信息中的分析方法，均可以采用现有技术中基于机器视觉识别技术的缺陷检测方法，例如模板匹配方法、特征提取方法、深度学习方法，本领域技术人员根据现有技术，可以根据2维图像、2.5维图像或3维图像，分析出想要的信息，本申请对此不做过多说明。
在一种可能的实施方式中，在步骤S3的数据处理过程中，保证数据物理对齐，为算法提供强有力支持。
本申请实施例提供了一种基于多维复合成像技术的缺陷检测系统，应用上述实施例中所述的基于多维复合成像技术的缺陷检测方法，如图6所示，系统包括相机和控制单元；所述相机包括2维相机和3维相机；
所述控制单元，用于基于待检测产品的缺陷检测要求，选择对应的缺陷检测模式；
所述控制单元，还用于基于启动指令，启动相机对所述待检测产品进行拍摄，得到所述待检测产品的图像拍摄结果，并对所述图像拍摄结果进行分析，得到所述待检测产品的缺陷检测结果；
其中，启动相机对所述待检测产品进行拍摄，包括：启动2维相机对所述待检测产品在预先设定的多种光源模式下进行拍摄，和/或启动3维相机对所述待检测产品进行拍摄。
具体地，所述启动指令可以为人工操作的，也可以为选择对应的缺陷检测模式之后，自行生成的。
本申请实施例提供了一种终端，包括：处理器、存储器及通信总线；所述通信总线用于实现处理器和存储器之间的连接通信，所述处理器用于执行存储器中存储的一个或者多个程序，以实现如上述实施例中所述的基于多维复合成像技术的缺陷检测方法。
本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有指令，当所述指令被执行时，执行如上述实施例中所述的基于多维复合成像技术的缺陷检测方法。
以上均为本申请的较佳实施例，并非依此限制本申请的保护范围，故：凡依本申请的结构、形状、原理所做的等效变化，均应涵盖于本申请的保护范围之内。
Claims (6)
1.一种基于多维复合成像技术的缺陷检测方法，其特征在于，包括以下步骤：
基于待检测产品的缺陷检测要求，选择对应的缺陷检测模式；
基于启动指令，启动相机对所述待检测产品进行拍摄，得到所述待检测产品的图像拍摄结果；所述启动相机对所述待检测产品进行拍摄，包括：启动2维相机对所述待检测产品在预先设定的多种光源模式下进行拍摄，和/或启动3维相机对所述待检测产品进行拍摄；
对所述图像拍摄结果进行分析，得到所述待检测产品的缺陷检测结果；
所述缺陷检测模式包括第一缺陷检测子模式，所述第一缺陷检测子模式用于当所述缺陷检测要求为检测缺陷平面信息时，检测所述待检测产品的缺陷，具体包括：
基于启动指令，启动2维相机对所述待检测产品在预先设定的多种光源模式下进行拍摄，得到所述待检测产品的一系列2维图像；
基于所述一系列2维图像，经过分析得到所述待检测产品缺陷的平面信息；所述缺陷的平面信息包括缺陷位置及各缺陷对应的类型；
所述缺陷检测模式包括第二缺陷检测子模式，所述第二缺陷检测子模式用于当所述缺陷检测要求为检测缺陷平面信息且缺陷检测精度高于精度阈值时，检测所述待检测产品的缺陷，具体包括：
基于启动指令，启动2维相机对所述待检测产品在预先设定的多种光源模式下进行拍摄，得到所述待检测产品的一系列2维图像；
基于所述一系列2维图像，经过分析得到所述待检测产品缺陷的平面信息；所述缺陷的平面信息包括缺陷位置及各缺陷对应的类型；
基于所述缺陷的平面信息，将所述待检测产品的缺陷中具有深度特征的缺陷进行标记；
基于所述一系列2维图像，通过捕捉所述2维图像的反光率差异，合成得到2.5维图像，并对所述2.5维图像进行分析，更新所述具有深度特征的缺陷的检测结果；
所述缺陷检测模式包括第三缺陷检测子模式，所述第三缺陷检测子模式用于当所述缺陷检测要求为检测缺陷平面信息和深度值信息时，检测所述待检测产品的缺陷，具体包括：
基于启动指令，启动2维相机对所述待检测产品在预先设定的多种光源模式下进行拍摄，得到所述待检测产品的一系列2维图像；
基于所述一系列2维图像，经过分析得到所述待检测产品缺陷的平面信息；所述平面信息包括缺陷位置及各缺陷对应的类型；
基于所述缺陷的平面信息，将所述待检测产品的缺陷中具有深度特征的缺陷进行标记；
启动3维相机对所述待检测产品进行拍摄，得到所述待检测产品的3维图像，并对所述3维图像进行分析，得到所述具有深度特征的缺陷的深度值信息；
得到所述待检测产品的缺陷检测结果之后，还包括：
采用预先构建的评估模型对所述待检测产品各缺陷进行评估，得到所述待检测产品的缺陷评估结果；
基于所述待检测产品的缺陷评估结果，将所述待检测产品划分缺陷等级；
其中，采用预先构建的评估模型对所述待检测产品各缺陷进行评估，得到所述待检测产品的缺陷评估结果，具体包括：针对所述待检测产品缺陷中无深度特征的缺陷，根据所述无深度特征的缺陷的面积大小，得到各无深度特征的缺陷对应的第一评估结果；
针对所述待检测产品缺陷中具有深度特征的缺陷，根据所述具有深度特征的缺陷的面积大小和深度大小，得到各具有深度特征的缺陷对应的第二评估结果；
基于所述第一评估结果和所述第二评估结果，得到所述待检测产品的缺陷评估结果。
2.根据权利要求1所述的基于多维复合成像技术的缺陷检测方法，其特征在于，所述光源模式包括光源类型、光源颜色、光源规格、光源角度中的一种或多种；
所述光源类型包括条形光源、红外光源、环形光源、背光源、同轴光源、多射角无影光源、点光源中的一种或多种；所述光源颜色包括白光、蓝光、红光、绿光、红外光、紫外光中的一种或多种。
3.根据权利要求1所述的基于多维复合成像技术的缺陷检测方法，其特征在于，基于启动指令，启动相机对所述待检测产品进行拍摄之前，包括：
基于所述待检测产品的第一特征信息，设定所述待检测产品的光源模式；所述第一特征信息包括表面反射特性、材质、透明度、纹理、形状、尺寸中的一种或多种。
4.一种基于多维复合成像技术的缺陷检测系统，其特征在于，包括相机和控制单元；所述相机包括2维相机和3维相机；
所述控制单元，用于基于待检测产品的缺陷检测要求，选择对应的缺陷检测模式；
所述控制单元，还用于基于启动指令，启动相机对所述待检测产品进行拍摄，得到所述待检测产品的图像拍摄结果，并对所述图像拍摄结果进行分析，得到所述待检测产品的缺陷检测结果；
其中，启动相机对所述待检测产品进行拍摄，包括：启动2维相机对所述待检测产品在预先设定的多种光源模式下进行拍摄，和/或启动3维相机对所述待检测产品进行拍摄；
所述缺陷检测模式包括第一缺陷检测子模式，所述第一缺陷检测子模式用于当所述缺陷检测要求为检测缺陷平面信息时，检测所述待检测产品的缺陷，具体包括：
所述控制单元，基于启动指令，启动2维相机对所述待检测产品在预先设定的多种光源模式下进行拍摄，得到所述待检测产品的一系列2维图像；
所述控制单元，基于所述一系列2维图像，经过分析得到所述待检测产品缺陷的平面信息；所述缺陷的平面信息包括缺陷位置及各缺陷对应的类型；
所述缺陷检测模式包括第二缺陷检测子模式，所述第二缺陷检测子模式用于当所述缺陷检测要求为检测缺陷平面信息且缺陷检测精度高于精度阈值时，检测所述待检测产品的缺陷，具体包括：
所述控制单元，基于启动指令，启动2维相机对所述待检测产品在预先设定的多种光源模式下进行拍摄，得到所述待检测产品的一系列2维图像；
所述控制单元，基于所述一系列2维图像，经过分析得到所述待检测产品缺陷的平面信息；所述缺陷的平面信息包括缺陷位置及各缺陷对应的类型；
所述控制单元，基于所述缺陷的平面信息，将所述待检测产品的缺陷中具有深度特征的缺陷进行标记；
所述控制单元，基于所述一系列2维图像，通过捕捉所述2维图像的反光率差异，合成得到2.5维图像，并对所述2.5维图像进行分析，更新所述具有深度特征的缺陷的检测结果；
所述缺陷检测模式包括第三缺陷检测子模式，所述第三缺陷检测子模式用于当所述缺陷检测要求为检测缺陷平面信息和深度值信息时，检测所述待检测产品的缺陷，具体包括：
所述控制单元，基于启动指令，启动2维相机对所述待检测产品在预先设定的多种光源模式下进行拍摄，得到所述待检测产品的一系列2维图像；
所述控制单元，基于所述一系列2维图像，经过分析得到所述待检测产品缺陷的平面信息；所述平面信息包括缺陷位置及各缺陷对应的类型；
所述控制单元，基于所述缺陷的平面信息，将所述待检测产品的缺陷中具有深度特征的缺陷进行标记；
所述控制单元，启动3维相机对所述待检测产品进行拍摄，得到所述待检测产品的3维图像，并对所述3维图像进行分析，得到所述具有深度特征的缺陷的深度值信息；
所述控制单元，得到所述待检测产品的缺陷检测结果之后，还采用预先构建的评估模型对所述待检测产品各缺陷进行评估，得到所述待检测产品的缺陷评估结果；并基于所述待检测产品的缺陷评估结果，将所述待检测产品划分缺陷等级；
其中，所述控制单元采用预先构建的评估模型对所述待检测产品各缺陷进行评估，得到所述待检测产品的缺陷评估结果，具体包括：
所述控制单元针对所述待检测产品缺陷中无深度特征的缺陷，根据所述无深度特征的缺陷的面积大小，得到各无深度特征的缺陷对应的第一评估结果；所述控制单元针对所述待检测产品缺陷中具有深度特征的缺陷，根据所述具有深度特征的缺陷的面积大小和深度大小，得到各具有深度特征的缺陷对应的第二评估结果；所述控制单元基于所述第一评估结果和所述第二评估结果，得到所述待检测产品的缺陷评估结果。
5.一种终端，其特征在于，包括：处理器、存储器及通信总线；所述通信总线用于实现处理器和存储器之间的连接通信，所述处理器用于执行存储器中存储的一个或者多个程序，以实现如权利要求1-3任一项所述的基于多维复合成像技术的缺陷检测方法。
6.一种计算机可读存储介质，其特征在于：所述计算机可读存储介质存储有指令，当所述指令被执行时，执行如权利要求1-3任一项所述的基于多维复合成像技术的缺陷检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311679941.8A CN117368210B (zh) | 2023-12-08 | 2023-12-08 | 一种基于多维复合成像技术的缺陷检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311679941.8A CN117368210B (zh) | 2023-12-08 | 2023-12-08 | 一种基于多维复合成像技术的缺陷检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117368210A CN117368210A (zh) | 2024-01-09 |
| CN117368210B true CN117368210B (zh) | 2024-02-27 |
Family
ID=89391467
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311679941.8A Active CN117368210B (zh) | 2023-12-08 | 2023-12-08 | 一种基于多维复合成像技术的缺陷检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117368210B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102005059A (zh) * | 2009-08-26 | 2011-04-06 | 索尼公司 | 图像处理设备、图像处理方法及程序 |
| CN103134807A (zh) * | 2011-08-19 | 2013-06-05 | 康耐视公司 | 用于识别材料中的缺陷的系统和方法 |
| CN106153633A (zh) * | 2009-05-12 | 2016-11-23 | 宰体有限公司 | 视觉检测装置及其视觉检测方法 |
| CN114787684A (zh) * | 2019-11-13 | 2022-07-22 | 华盛顿大学 | 具有照明及收集物镜的非正交布置的开顶式光片显微镜 |
| CN116908185A (zh) * | 2023-06-13 | 2023-10-20 | 天王电子（深圳）有限公司 | 物品的外观缺陷检测方法、装置、电子设备及存储介质 |
-
2023
- 2023-12-08 CN CN202311679941.8A patent/CN117368210B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106153633A (zh) * | 2009-05-12 | 2016-11-23 | 宰体有限公司 | 视觉检测装置及其视觉检测方法 |
| CN102005059A (zh) * | 2009-08-26 | 2011-04-06 | 索尼公司 | 图像处理设备、图像处理方法及程序 |
| CN103134807A (zh) * | 2011-08-19 | 2013-06-05 | 康耐视公司 | 用于识别材料中的缺陷的系统和方法 |
| CN114787684A (zh) * | 2019-11-13 | 2022-07-22 | 华盛顿大学 | 具有照明及收集物镜的非正交布置的开顶式光片显微镜 |
| CN116908185A (zh) * | 2023-06-13 | 2023-10-20 | 天王电子（深圳）有限公司 | 物品的外观缺陷检测方法、装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117368210A (zh) | 2024-01-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20230154105A1 (en) | System and method for three-dimensional scanning and for capturing a bidirectional reflectance distribution function | |
| CN111693549B (zh) | 一种手机盖板玻璃缺陷检测与分类方法 | |
| US11270110B2 (en) | Systems and methods for surface modeling using polarization cues | |
| US6455835B1 (en) | System, method, and program product for acquiring accurate object silhouettes for shape recovery | |
| CN111951253B (zh) | 用于锂电池表面缺陷检测的方法、设备及可读存储介质 | |
| CN103644852B (zh) | 镜片膜厚度自动检测系统 | |
| CN107869954B (zh) | 一种双目视觉体积重量测量系统及其实现方法 | |
| WO2012061945A1 (en) | System and method for object searching using spatial data | |
| CN116559183B (zh) | 一种提高缺陷判定效率的方法及系统 | |
| CN114219794B (zh) | 基于机器视觉的刨花板表面质量评估方法及系统 | |
| CN116678826A (zh) | 一种基于快速立体重建的外观缺陷检测系统及方法 | |
| CN113658155A (zh) | 一种基于光度立体的物体表面瑕疵检测分析方法及装置 | |
| CN110992337A (zh) | 一种集装箱残损检测方法及系统 | |
| CN111239142A (zh) | 膏体外观缺陷检测设备及方法 | |
| EP3974817A1 (en) | Non-lambertian surface inspection system for line scan | |
| CN117368210B (zh) | 一种基于多维复合成像技术的缺陷检测方法 | |
| CN113947598A (zh) | 基于图像处理的塑料餐盒缺陷检测方法、装置及系统 | |
| CN106770322A (zh) | 校准点深度检测方法及温控器外观检测方法 | |
| CN116977341B (zh) | 一种尺寸测量方法及相关装置 | |
| CN109785290A (zh) | 基于局部光照归一化的钢板缺陷检测方法 | |
| CN116125489A (zh) | 一种室内物体三维检测方法、计算机设备及存储介质 | |
| CN112798608B (zh) | 手机摄像头支架内腔侧壁的光学检测装置及光学检测方法 | |
| CN114677331A (zh) | 基于灰度图像和深度数据融合的管材缺陷检测方法及装置 | |
| CN114170202A (zh) | 基于面阵结构光3d视觉的焊缝分割与铣削判别方法及装置 | |
| Francken et al. | Fast normal map acquisition using an LCD screen emitting gradient patterns |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |