CN113192015A - 基于深度信息的表面缺陷检测方法和系统 - Google Patents

基于深度信息的表面缺陷检测方法和系统 Download PDF

Info

Publication number
CN113192015A
CN113192015A CN202110415217.9A CN202110415217A CN113192015A CN 113192015 A CN113192015 A CN 113192015A CN 202110415217 A CN202110415217 A CN 202110415217A CN 113192015 A CN113192015 A CN 113192015A
Authority
CN
China
Prior art keywords
detected
image
gradient data
light source
depth information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110415217.9A
Other languages
English (en)
Inventor
朱勇建
谢润林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangxi Normal University
Original Assignee
Guangxi Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangxi Normal University filed Critical Guangxi Normal University
Priority to CN202110415217.9A priority Critical patent/CN113192015A/zh
Publication of CN113192015A publication Critical patent/CN113192015A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956—Inspecting patterns on the surface of objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/155—Segmentation; Edge detection involving morphological operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明涉及表面缺陷检测领域，特别涉及一种基于深度信息的表面缺陷检测方法和系统。采集待测物体在不同方向光源照明下的图像A；根据图像A提取待测物体的表面梯度数据，并根据表面梯度数据重建待测物体的表面三维形貌；根据待测物体的表面三维形貌检测待测物体的表面缺陷；其中在提取到待测物体的表面梯度数据后，通过高通滤波器结合Frankot‑Chellappa全局积分算法对梯度数据进行积分以得到待测物体的表面三维形貌。通过Frankot‑Chellappa全局积分算法结合高通滤波器，能够大幅度的增强图像的高频信息，突出的高频信息可以精确的反映出待测物体表面的微小缺陷，进一步提高了对待测物体表面进行检测时的检测精度。

Description

基于深度信息的表面缺陷检测方法和系统
【技术领域】
本发明涉及表面缺陷检测领域，特别涉及一种基于深度信息的表面缺陷检测方法和系统。
【背景技术】
当前装备制造业正处于蓬勃发展的阶段，而随着装备制造业的快速发展，对零部件之间的配合精度要求也越来越高，其中零部件表面的好坏直接决定了装配时的配合精度，因此对零部件表面进行质量检测显得尤为重要。
目前，常用的检测方式是采用光度立体视觉法通过光度信息来检测物体表面的微小缺陷，但是上述检测方式仍然存在对物体表面的缺陷特征反映不足的现象，特别是在检测物体表面上的微小缺陷时，仍然无法达到较高的检测准确率。
【发明内容】
为解决光度立体视觉法对物体表面的缺陷特征反映不足而无法达到较高的检测准确率的问题，本发明实施例提供了一种基于深度信息的表面缺陷检测方法和系统。
为了解决上述技术问题，本发明实施例提供一种基于深度信息的表面缺陷检测方法，用于检物体表面的缺陷，所述方法包括以下步骤：采集待测物体在不同方向光源照明下的图像A；根据图像A提取待测物体的表面梯度数据，并根据表面梯度数据重建待测物体的表面三维形貌；根据待测物体的表面三维形貌检测待测物体的表面缺陷；其中，在提取到待测物体的表面梯度数据后，通过高通滤波器结合Frankot-Chellappa全局积分算法对梯度数据进行积分以得到待测物体的表面三维形貌。
优选地，对待测物体采集不同方向光源照明下的八幅图像A，并根据八幅图像A来提取物体的表面梯度数据。
优选地，在提取待测物体的表面梯度数据之前还包括求解出各图像A所对应的光源方向参数。
优选地，求解各图像A所对应的光源方向参数的具体步骤为：选取一标定物，将标定物放置于与待测物体相同的位置，在光源的照明下采集一幅用于制作模板的图像B；采集标定物在不同方向的光源照明下的图像，得到对应不同方向光源的多张图像C；对图像B进行分割，得到二值图；根据所分割的二值图对图像B进行裁剪并对所有图像C进行相同尺寸的裁剪；完成裁剪后，寻找每幅图像C上的高光区域，并求解出与各图像A所对应的光源方向参数。
优选地，所述标定物的采集顺序与所述待测物体的采集顺序对应；所述标定物的采集位置与所述待测物体的采集位置对应。
优选地，通过光源方向参数对待测物体的表面梯度数据进行提取时的具体步骤为：通过光源方向参数对待测物体的表面梯度数据进行提取时的具体步骤为：对采集的图像A进行预处理操作；结合光源方向参数，通过梯度表示的偏微分方程计算得到梯度值。
优选地，根据所述表面梯度数据重建待测物体的表面三维形貌的具体步骤为：将梯度数据由空间域转为频率域；将梯度数据由空间域转为频率域；对转换为频率域的梯度数据进行高斯高通滤波并对完成滤波后的数据进行Frankot－Chellappa全局积分；将积分后的数据由频率域再转为空间域，得到待测物体的表面深度图，并建立待测物体的表面三维形貌。
优选地，根据待测物体的表面三维形貌检测待测物体的表面缺陷的具体步骤为：将深度图进行表面高斯曲率处理，得到曲率图；对得到的曲率图进行图像增强，并对增强后的曲率图进行形态学处理；对完成形态学处理后的曲率图进行分析，并判断待测物体表面是否存在缺陷。
优选地，所述高通滤波器结合Frankot-Chellappa全局积分算法为：
Figure BDA0003018814670000031
本发明为解决上述技术问题，提供又一技术方案如下：一种基于深度信息的表面缺陷检测系统，所述基于深度信息的表面缺陷检测系统包括拍摄组件、光源组件及分析组件，所述光源组件提供不同角度的光照以供所述拍摄组件采集不同角度光照下的图像；所述分析组件用于根据图像提取待测物体的表面梯度数据，并根据表面梯度数据重建待测物体的表面三维形貌；以及根据待测物体的表面三维形貌检测待测物体的表面缺陷；其中，在提取到待测物体的表面梯度数据后，通过高通滤波器结合Frankot-Chellappa全局积分算法对梯度数据进行积分以得到待测物体的表面三维形貌。
与现有技术相比，本发明实施例提供的一种基于深度信息的表面缺陷检测方法和系统具有以下优点：
1、通过基于深度信息的表面缺陷检测方法对待测物体进行检测时，检测流程简单，能够实现对待测物体表面缺陷的快速检测。同时，上述检测方式能够大幅度的增强待测物体表面的缺陷信息，可以精确的检测出待测物体表面微小的缺陷，进一步提高了对待测物体表面的检测精度。且，通过Frankot-Chellappa全局积分算法结合高通滤波器，能够大幅度的增强图像的高频信息，避免在图像的处理中高频信息的淹没，突出的高频信息可以精确的反映出待测物体表面的微小缺陷，进一步提高了对待测物体表面进行检测时的检测精度，具有较高的实用性及推广价值。
2、通过采集八幅图像A能够精确的反应待测物体的表面数据，同时仅采集八幅图像减少了图像采集的时间，进一步提高了对待测物体表面缺陷进行检测时的检测效率。
3、通过设置标定物来求解出与各图像A所对应的光源方向参数，求解方式简单，便于操作；同时，通过求解标定物的光源方向能够准确可靠的确定各图像A所对应的光源方向，具有较高的重复精度，进一步提高了对待测物体进行检测时的检测精度。
4、通过对图像A进行预处理，能够消除图像A中的无关信息，恢复有用的真实信息，并增强有关信息的可检测性和最大限度地简化数据，从而改进对图像A特征抽取、匹配和识别的可靠性。
5、在对图像A的噪声进行去噪处理时，在空间域内难以分辨出噪声的模式，将空间域转换到频率域，则更有利于对噪声的模式进行分辨，同时能够高效快速的对噪声进行处理，避免过多的图像噪声干扰检测结果，进一步提高了检测结果的准确性；同时采用高通滤波器让高频成分通过，使低频成分削弱，能够大幅度的增强图像的高频信息，避免在图像的处理中高频信息的淹没。突出的高频信息可以精确的反映出待测物体表面的微小缺陷，进一步提高了对待测物体表面进行检测时的检测精度。
6、通过对曲率图进行形态学处理能够对曲率图进行降噪处理，减少曲率图中的干扰噪点，便于对待测物体表面缺陷的识别，进一步提高了检测的准确度。
7、基于深度信息的表面缺陷检测系统，整体结构简单，检测流程便于操作，能够实现对待测物体表面缺陷的快速检测；同时，能够精确的检测出待测物体表面微小的缺陷，进一步提高了对待测物体表面的检测精度，具有较高的实用性及推广价值。
【附图说明】
图1是本发明第一实施例提供的基于深度信息的表面缺陷检测方法的步骤流程示意图。
图2是本发明第一实施例提供的基于深度信息的表面缺陷检测方法之求解光源方向信息的步骤流程示意图。
图3是本发明第一实施例提供的基于深度信息的表面缺陷检测方法之的提取表面梯度数据的步骤流程示意图。
图4是本发明第一实施例提供的基于深度信息的表面缺陷检测方法之重建表面三维形貌的步骤流程示意图。
图5是本发明第一实施例提供的基于深度信息的表面缺陷检测方法之检测表面缺陷的步骤流程示意图。
图6是本发明第二实施例提供的基于深度信息的表面缺陷检测系统的结构示意图一。
图7是本发明第二实施例提供的基于深度信息的表面缺陷检测系统的结构示意图二。
图8是本发明第二实施例提供的基于深度信息的表面缺陷检测系统之安装平台的结构示意图。
附图标识说明：
1、基于深度信息的表面缺陷检测系统；
11、拍摄组件；12、光源组件；13、基座；14、分析组件；15、标定物；
111、相机；112、镜头；121、照明装置；122、机械手；123、安装支架；131、安装平台；132、安装支架；
1311、安装面；1312、网格定位线。
【具体实施方式】
为了使本发明的目的，技术方案及优点更加清楚明白，以下结合附图及实施实例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
需要说明的是，当元件被称为“固定于”另一个元件，它可以直接在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“连接”另一个元件，它可以是直接连接到另一个元件或者可能同时存在居中元件。本文所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的。
请参阅图1，本发明第一实施例提供一种基于深度信息的表面缺陷检测方法，用于检测物体表面的缺陷，其包括以下步骤：
采集待测物体在不同方向光源照明下的图像A；
根据图像A提取待测物体的表面梯度数据，并根据表面梯度数据重建待测物体的表面三维形貌；
根据待测物体的表面三维形貌检测待测物体的表面缺陷；
其中，在提取到待测物体的表面梯度数据后，通过高通滤波器结合Frankot-Chellappa全局积分算法对梯度数据进行积分以得到待测物体的表面三维形貌。
可以理解的，完成加工制作后物体的表面往往会存在许多肉眼无法察觉的缺陷，在对这些缺陷进行检测时，首先需要采集待测物体在不同方向光源照明下的图像A，不同方向的光源能够照亮待测物体的不同区域，通过对不同方向光源照明下的待测物体进行采集，能够得到携带有待测物体不同区域信息的图像A。当完成图像A的采集时，需要通过图像A提取出待测物体的表面梯度数据，在提取到待测物体的表面梯度数据后，通过高通滤波器和Frankot-Chellappa全局积分算法结合对梯度数据进行积分，并进一步重建待测物体的表面三维形貌。此时，重建的表面三维形貌携带着待测物体表面的相关信息，根据待测物体的表面三维形貌即可检测出待测物体的表面缺陷。
本发明实施例提供的基于深度信息的表面缺陷检测方法，检测流程简单，能够实现待测物体表面缺陷的快速检测；且上述检测方式能够较大程度的增强待测物体表面的缺陷信息，可以精确的检测出待测物体表面微小的缺陷，进一步提高了对待测物体表面的检测精度。同时，通过Frankot-Chellappa全局积分算法结合高通滤波器，能够大幅度的增强图像的高频信息，避免在图像的处理中高频信息的淹没，突出的高频信息可以精确的反映出待测物体表面的微小缺陷，进一步提高了对待测物体表面进行检测时的检测精度，具有较高的实用性及推广价值。
本发明实施例对提取待测物体的表面梯度数据时所需的图像A的数量不做具体限定，可以通过采集不同方向光源照明下的四幅图像A来提取物体的表面梯度数据，也可以通过采集不同方向光源照明下的六幅图像A来提取物体的表面梯度数据，还可以通过采集不同方向光源照明下的十六幅图像A来提取物体的表面梯度数据。作为一种优选，本发明实施例通过采集不同方向光源照明下的八幅图像A来提取物体的表面梯度数据。
可以理解的，当采集的图像A的数量较少时，难以精确的反应待测物体的表面数据，进而影响最终的检测结果；而当采集的图像A的数量过多时，需要对待测物体进行多次采集，则会大大影响对待测物体进行检测时的检测效率。本发明实施例通过采集八幅图像A能够精确的反应待测物体的表面数据，同时仅采集八幅图像减少了图像的采集时间，进一步提高了对待测物体表面缺陷进行检测时的检测效率。
请参阅图2，可以理解的，根据图像A提取待测物体的表面梯度数据时需要利用各图像A所对应的光源方向参数进行求解，因此在提取待测物体的表面梯度数据之前，需要求解出各图像A所对应的光源方向。本发明实施例通过设置标定物，并对标定物在不同方向的光源照明下的图像进行采集来求解各图像A所对应的光源方向，具体步骤如下：
选取一标定物，将标定物放置于与待测物体相同的位置，在光源的照明下采集一幅用于制作模板的图像B；
采集标定物在不同方向的光源照明下的图像，得到对应不同方向光源的多张图像C；
对图像B进行分割，得到二值图；根据所分割的二值图对图像B进行裁剪并对所有图像C进行相同尺寸的裁剪；
完成裁剪后，寻找每幅图像C上的高光区域，并求解出与各图像A所对应的光源方向参数。
其中，在对图像B进行裁剪时根据所分割的二值图的有效范围对图像B进行裁剪；在求解光源方向参数时，根据反射模型，采用了最小二乘法进行求解。
可以理解的，标定物的采集顺序应与待测物体的采集顺序对应，标定物的采集位置应与待测物体的采集位置对应。由于本发明实施例共采集了不同光源方向下的八幅图像A，因此在采集标定物的图像时，应对应八幅图像A的位置分别采集八幅图像C以求解出相应的光源方向参数，通过上述光源方向参数即可对待测物体的表面梯度数据进行求解。
本发明实施例通过标定物来求解出与各图像A所对应的光源方向参数，求解方式简单，便于操作；同时，通过求解标定物的光源方向能够准确可靠的确定各图像A所对应的光源方向，具有较高的重复精度，进一步提高了对待测物体进行检测时的检测精度。
请参阅图3，具体的，通过光源方向参数对待测物体的表面梯度数据进行提取时的具体步骤为：
对采集的图像A进行预处理操作；
结合光源方向参数，通过梯度表示的偏微分方程计算得到梯度值。
具体的，在完成图像A的预处理后，结合光源方向参数构造偏微分方程，然后将偏微分方程转为用梯度表示的方程组，并求解方程组中的梯度值。其中，偏微分方程组是根据灰度图像及物体表面的反射率特性进行构建的，即通过已经标定好的光源方向参数和进行预处理操作后的多幅图像A，可以得到如下所示的偏微分方程组：
Ii(x,y)＝ρ(x,y)LiN(x,y)
Ij(x,y)＝ρ(x,y)LjN(x,y)
其中，偏微分方程组中的Ii(x,y),Ij(x,y)是第i幅图像和第j幅图像在(x,y)处的灰度值。
通过对上述偏微分方程组进行化简可以得到如下所示的方程组二：
Figure BDA0003018814670000111
(Ii(x,y)×LjN(x,y)-Ij(x,y)×LiN(x,y))＝0
然后继续对方程组二进行化简，并转换为用梯度表示的方程组三，即：
Figure BDA0003018814670000112
由上可知每两幅图像A便会得到一组方程组三，本发明实施例共采集了不同方向光源照明下的八幅图像A，一共有
Figure BDA0003018814670000113
组即28组方程组三，然后采用最小二乘法即可求解出方程组三中的梯度值，即有：
G＝(WTW)-1WTU
其中：
Figure BDA0003018814670000121
本发明实施例对图像A进行预处理操作的方式不做具体限定，只要能够消除图像A中的无关信息，并恢复有用的真实信息即可。具体的，本发明实施例对图像A进行预处理操作的具体步骤为：
对每幅图像A进行Gamma值亮度校正，并进行二值化处理，将多幅二值化图像进行叠加，得到一幅二值图；
根据二值图的像素值裁剪出有效区域并对所有原始的图像A进行相同尺寸的裁剪；
对裁剪后的图像A进行Gamma值亮度校正。
通过上述方式对图像A进行预处理，能够消除图像A中的无关信息，恢复有用的真实信息，并增强有关信息的可检测性和最大限度地简化数据，从而改进对图像A特征抽取、匹配和识别的可靠性。
请参阅图4，具体的，根据表面梯度数据重建待测物体的表面三维形貌的具体步骤为：
将梯度数据由空间域转为频率域；
对转换为频率域的梯度数据进行高斯高通滤波并对完成滤波后的数据进行Frankot-Chellappa全局积分；
将积分后的数据由频率域再转为空间域，得到待测物体的表面深度图，并建立待测物体的表面三维形貌。
其中，高通滤波器结合Frankot-Chellappa全局积分算法为：
Figure BDA0003018814670000131
式中的HPF为高通滤波器(High-pass filter)的缩写。
本发明实施例采用傅里叶变换将梯度数据由空间域转为频率域，并采用傅里叶逆变换将积分后的数据由频率域再转为空间域，在对图像A的噪声进行去噪处理时，在空间域内难以分辨出噪声的模式，将空间域转换到频率域，则更有利于对噪声的模式进行分辨，同时能够高效快速的对噪声进行处理，避免过多的图像噪声干扰检测结果，进一步提高了检测结果的准确性。
可以理解的，由于图像A的边缘、细节及缺陷主要位于高频部分，若高频成分比较弱则会影响图像A的清晰度，同时一些微小的缺陷数据也会被淹没。因此采用高通滤波器让高频成分通过，使低频成分削弱，能够大幅度的增强图像的高频信息，避免在图像的处理中高频信息的淹没。突出的高频信息可以精确的反映出待测物体表面的微小缺陷，进一步提高了对待测物体表面进行检测时的检测精度。
同时，通过上述方式对物体的表面三维形貌进行重建时，重建的三维图像不会出现扭曲或翘曲的现象，即使是对于金属平面或具有反光特性的检测物进行三维形貌重建时，亦能够得到真实有效的三维图像，进一步确保了对物体表面三维形貌进行重建时的准确性。
本发明实施例对高通滤波器的类型不做具体限定，可选的高通滤波器有指数高通滤波器、梯形高通滤波器、理想高通滤波器等。
请参阅图5，根据待测物体的表面三维形貌检测待测物体的表面缺陷的具体步骤为：
将深度图进行表面高斯曲率处理，得到曲率图；
对得到的曲率图进行图像增强，并对增强后的曲率图进行形态学处理；
对完成形态学处理后的曲率图进行分析，并判断待测物体表面是否存在缺陷。
本发明实施例对曲率图进行形态学处理时所采用的处理方式不做具体限定，可选的处理方式有阀值分割、二值化、面积大小计算、边界提取等。通过对曲率图进行形态学处理能够对曲率图进行降噪处理，减少曲率图中的干扰噪点，便于对待测物体表面缺陷的识别，进一步提高了检测的准确度。
综上所述，本发明第一实施例提供的基于深度信息的表面缺陷检测方法，能够对待测物体表面的缺陷进行检测。在对待测物体表面进行检测时，首先采集待测物体在不同方向光源照明下的八幅图像A；完成采集后移走待测物体，将标定物放置于与待测物体相同的位置处，并采集一幅用于制作模板的图像B及对应不同方向光源的八幅图像C；根据图像B及八幅图像C解算出标定物的各光源方向参数，即得到八幅图像A所对应的光源方向参数；求解出光源方向参数后，对八幅图像A进行预处理操作，并通过已经求解出的光源方向参数对物体的表面梯度数据进行提取，然后根据物体的表面梯度数据重建物体的表面三维形貌；其中在构建物体的表面三维形貌时，先将梯度数据由空间域转为频率域，并对转换为频率域的梯度数据进行高斯高通滤波并对完成滤波后的数据进行Frankot-Chellappa积分，将积分后的数据由频率域再转为空间域以得到待测物体的表面深度值，并完成物体的表面三维形貌重建；最后，对所得到的表面深度值进行高斯曲率滤波获取曲率图，同时对曲率图进行形态学操作处理，最终得到携带了物体表面信息的图像，通过对图像进行分析，能够实现对待测物体表面缺陷的检测。本发明实施例提供的一种基于深度信息的表面缺陷检测方法，检测流程简单，能够实现待测物体表面缺陷的快速检测；同时，上述检测方式具有较强的抗干扰能力，能够避免因相机标定的精度而造成的物体表面信息的缺失，以及将深度图转为点云图的过程中物体表面信息缺失的问题；且上述检测方式能够大幅度的增强待测物体表面的缺陷信息，可以精确的检测出待测物体表面微小的缺陷，进一步提高了对待测物体表面的检测精度，具有较高的实用性及推广价值。
请参阅图6，本发明第二实施例提供一种基于深度信息的表面缺陷检测系统1，该系统1通过第一实施例的基于深度信息的表面缺陷检测方法对待测物体表面的缺陷进行检测。
其中，系统1包括拍摄组件11、光源组件12及分析组件14，光源组件12提供不同角度的光照以供拍摄组件11采集不同角度光照下的图像。分析组件14用于根据图像提取待测物体的表面梯度数据，并根据表面梯度数据重建待测物体的表面三维形貌，以及根据待测物体的表面三维形貌检测待测物体的表面缺陷。
具体的，在提取到待测物体的表面梯度数据后，通过高通滤波器结合Frankot-Chellappa全局积分算法对梯度数据进行积分以得到待测物体的表面三维形貌。
当采用该系统1对待测物体表面的缺陷进行检测时，将待测物体置于拍摄组件11的拍摄范围内，通过光源组件12为待测物体提供不同角度的光照，并通过拍摄组件11对不同角度的光照下的待测物体进行一一拍摄，得到多幅图像A。拍摄组件11将多幅图像A传输至分析组件14，分析组件14通过对多幅图像A进行分析输出检测结果。
本发明第二实施例提供的系统1，整体结构简单，检测流程便于操作，能够实现对待测物体表面缺陷的快速检测；同时，能够精确的检测出待测物体表面微小的缺陷，进一步提高了对待测物体表面的检测精度，具有较高的实用性及推广价值。
请继续参阅图6，进一步的，为了避免对待测物体进行拍摄时待测物体与拍摄组件11之间发生相对移动，进而影响最终的检测结果，系统进一步包括基座13。其中，基座13设有用以放置待测物体的安装平台131及用以放置拍摄组件11的安装支架132，安装平台131固设于基座13上，拍摄组件11与安装支架132连接，安装支架132可移动设于基座13上。通过移动安装支架132，能够调节安装支架132与安装平台131之间的相对位置，通过调节安装支架132与安装平台131之间的位置能够调整拍摄组件11与待测物体之间的相对位置，并在拍摄组件11对待测物体进行拍摄时保持其相对位置不发生改变。通过安装支架132调整拍摄组件11与待测物体之间的相对位置，进一步提高了系统1的实用性。
本发明第二实施例对拍摄组件11与待测物体之间的距离不做具体限定，拍摄组件11与待测物体之间的距离根据待测物体外轮廓的大小以及拍摄组件11的拍摄能力决定。
本发明对光源组件12发出的光源类型不做具体限定，只要满足能够对待测物体产生一定的照明效果即可，可选的光源类型有LED光源、红外光源、直射光光源等。具体的，本发明实施例光源组件12发出的光源为红外光源，红外光源具有较强的抗干扰能力，能够确保拍摄组件11所采集的图像A的准确性，同时红外光源还具有良好的环境适应能力，能够在多种环境性进行使用，进一步提高了系统1的实用性。
本发明对光源组件12、安装平台131及拍摄组件11之间的位置不做具体限定，只要满足拍摄组件11能够对不同角度的光照下的待测物体进行拍摄即可。
具体的，安装平台131进一步设有放置待测物体的安装面1311，拍摄组件11正对安装平台131的安装面1311，光源组件12投射的光线与安装面1311之间的夹角为45°(如图6中a所示)。本发明实施例光源组件12投射的光线与安装面1311之间的夹角设置为45°，45°的夹角更有利于光源的反射，并且能够最大程度的照亮待测物体相应的区域。同时，拍摄组件11正对安装平台131的安装面1311，与安装面1311相平行的拍摄组件11更易于采集不同角度光照下待测物体的图像，能够最大程度的采集待测物体的表面信息。
本发明实施例对光源组件12如何实现对待测物体不同角度光照的方式不做具体限定，光源组件12可以设置多组定点照明装置依次对待测物体2进行照明，光源组件12也可以将一组照明装置移动至不同的位置对待测物体进行照明。
请继续参阅图6，作为一种实施方式，光源组件12通过移动一组照明装置对待测物体进行照明。具体的，光源组件12进一步包括照明装置121及机械手122，照明装置121设置在机械手122上，机械手122控制照明装置121与安装平台131之间的相对位置。
可以理解的，机械手122能够相对于安装平台131进行转动或移动，将照明装置121设置在机械手122上，通过机械手122的转动或移动能够带动照明装置121的转动或移动，使用者无需设置多组照明装置121，机械手122能够带动一组照明装置121移动至不同的位置，进而实现对不同光源方向的照明，进一步减少了照明装置121的数量。同时，当使用者需要调整采集的图像A的数量时，无需增加或减少照明装置121的数量，通过机械手122来调整照明装置121的照明次数即可实现对图像A采集数量的调整。本发明实施例仅通过设置的一照明装置121即可实现对待测物体不同角度的光照，整体结构简单，便于操作，进一步提高了光源组件12的实用性。
请参阅图7，作为另一种实施方式，光源组件12通过多组照明装置对待测物体进行照明。具体的，光源组件12进一步包括多组照明装置121及安装支架123，照明装置121设置在安装支架123上，安装支架123均布于安装平台131的四周。通过依次打开各安装支架123上的照明装置121，能够实现对待测物体进行不同角度的光照。其中，当任意安装支架123上的照明装置121打开时，其余安装支架123上的照明装置121处于关闭的状态。本发明实施例通过设置多处照明装置121对待测物体进行依次照明，任意一处照明装置121均有固定的安装位置，能够精确的控制照明装置121相对于待测物体的照明方向，进一步提高了拍摄组件11所采集的图像位置的准确性。同时，仅需依次控制照明装置121的开闭即可完成对待测物体不同角度的照明，进一步提高了对待测物体进行拍摄时的工作效率。
进一步的，拍摄组件11进一步包括相机111及设置于相机111上的镜头112，本发明实施例对相机111及镜头112的类型不做具体限定，只要满足能够实现对待测物体2进行拍摄即可。具体的，本发明实施例相机111为4D相机，镜头112为定焦镜头。采用4D相机能够捕捉更大区域内的图像信息，避免待测物体的表面信息的丢失；同时，由于定焦镜头不用考虑变焦，因此采用定焦镜头可以提高对待测物体表面信息的提取能力，进一步提高了拍摄组件11对待测物体的表面信息进行采集时的准确性。
进一步的，为了能够得到图像A所对应的光源方向，系统1进一步设有标定物15。通过对标定物15在不同方向的光源照明下的图像进行采集能够求解出待测物体的图像A所对应的光源方向。
本发明实施例对标定物15的形状不做具体限定，只要满足通过拍摄的照片能够求解出光源的方向即可。
作为一种优选，本发明实施例标定物15为球形，即标定物15为标定球。球形的标定物15具有规则的外轮廓，当光源照射到标定物15时，标定物15上只会存在唯一的高光点，而高光点的法线方向即为光源的照射方向，通过寻找每幅标定物15图像上的高光区域便能准确的求解出光源的方向。通过球形的标定物15来检测光源的方向，检测方式简单，且具有较高的检测精度。
请结合图6及图8，可以理解的，通过对标定物15在不同方向的光源照明下的图像进行采集来求解待测物体的图像A所对应的光源方向时，标定物15在安装平台131上的安装位置应与待测物体在安装平台131上的安装位置相同，为了避免标定物15在安装平台131上的安装位置发生错误，安装平台131进一步设有网格定位线1312。网格定位线1312设置在安装面1311上，使用者根据网格定位线1312可以记录待测物体在安装平台131上的安装位置。当需要对标定物15进行拍摄时，根据记录的安装位置以及网格定位线1312可以快速的定位标定物15的安装位置，进一步提高了标定物15在安装平台131上的安装位置的准确性。
本发明第二实施例提供一种基于深度信息的表面缺陷检测系统1，以对待测物体表面的缺陷进行检测。在对待测物体表面进行检测时，首先将待测物体放置于安装平台131上，通过机械手122带动照明装置121移动，并对待测物体进行不同方向的照明，同时拍摄组件11依次采集不同方向照明下的图像，完成图像采集后移走待测物体，将标定物15放置于与待测物体相同的位置处，并重复上述拍摄顺序；分析组件14接收拍摄组件11所采集的全部图像，根据图像提取待测物体的表面梯度数据，并根据表面梯度数据重建待测物体的表面三维形貌，以及根据待测物体的表面三维形貌检测待测物体的表面缺陷。其中，在提取到待测物体的表面梯度数据后，通过高通滤波器结合Frankot-Chellappa全局积分算法对梯度数据进行积分以得到待测物体的表面三维形貌。本发明第二实施例提供的系统1，整体结构简单，检测流程便于操作，能够实现对待测物体表面缺陷的快速检测；同时，能够精确的检测出待测物体表面微小的缺陷，进一步提高了对待测物体表面的检测精度，具有较高的实用性及推广价值。
与现有技术相比，本发明实施例提供的一种基于深度信息的表面缺陷检测方法和系统具有以下优点：
1、通过基于深度信息的表面缺陷检测方法对待测物体进行检测时，检测流程简单，能够实现对待测物体表面缺陷的快速检测。同时，上述检测方式能够大幅度的增强待测物体表面的缺陷信息，可以精确的检测出待测物体表面微小的缺陷，进一步提高了对待测物体表面的检测精度。且，通过Frankot-Chellappa全局积分算法结合高通滤波器，能够大幅度的增强图像的高频信息，避免在图像的处理中高频信息的淹没，突出的高频信息可以精确的反映出待测物体表面的微小缺陷，进一步提高了对待测物体表面进行检测时的检测精度，具有较高的实用性及推广价值。
2、通过采集八幅图像A能够精确的反应待测物体的表面数据，同时仅采集八幅图像减少了图像采集的时间，进一步提高了对待测物体表面缺陷进行检测时的检测效率。
3、通过设置标定物来求解出与各图像A所对应的光源方向参数，求解方式简单，便于操作；同时，通过求解标定物的光源方向能够准确可靠的确定各图像A所对应的光源方向，具有较高的重复精度，进一步提高了对待测物体进行检测时的检测精度。
4、通过对图像A进行预处理，能够消除图像A中的无关信息，恢复有用的真实信息，并增强有关信息的可检测性和最大限度地简化数据，从而改进对图像A特征抽取、匹配和识别的可靠性。
5、在对图像A的噪声进行去噪处理时，在空间域内难以分辨出噪声的模式，将空间域转换到频率域，则更有利于对噪声的模式进行分辨，同时能够高效快速的对噪声进行处理，避免过多的图像噪声干扰检测结果，进一步提高了检测结果的准确性；同时采用高通滤波器让高频成分通过，使低频成分削弱，能够大幅度的增强图像的高频信息，避免在图像的处理中高频信息的淹没。突出的高频信息可以精确的反映出待测物体表面的微小缺陷，进一步提高了对待测物体表面进行检测时的检测精度。
6、通过对曲率图进行形态学处理能够对曲率图进行降噪处理，减少曲率图中的干扰噪点，便于对待测物体表面缺陷的识别，进一步提高了检测的准确度。
7、基于深度信息的表面缺陷检测系统，整体结构简单，检测流程便于操作，能够实现对待测物体表面缺陷的快速检测；同时，能够精确的检测出待测物体表面微小的缺陷，进一步提高了对待测物体表面的检测精度，具有较高的实用性及推广价值。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的原则之内所作的任何修改，等同替换和改进等均应包含本发明的保护范围之内。

Claims (10)

1.一种基于深度信息的表面缺陷检测方法，用于检测物体表面的缺陷，所述方法包括以下步骤：
采集待测物体在不同方向光源照明下的图像A；
根据图像A提取待测物体的表面梯度数据，并根据表面梯度数据重建待测物体的表面三维形貌；
根据待测物体的表面三维形貌检测待测物体的表面缺陷；
其中，在提取到待测物体的表面梯度数据后，通过高通滤波器结合Frankot-Chellappa全局积分算法对梯度数据进行积分以得到待测物体的表面三维形貌。
2.如权利要求1所述的基于深度信息的表面缺陷检测方法，其特征在于：对待测物体采集不同方向光源照明下的八幅图像A，并根据八幅图像A来提取物体的表面梯度数据。
3.如权利要求1所述的基于深度信息的表面缺陷检测方法，其特征在于：在提取待测物体的表面梯度数据之前还包括求解出各图像A所对应的光源方向参数。
4.如权利要求3所述的基于深度信息的表面缺陷检测方法，其特征在于：求解各图像A所对应的光源方向参数的具体步骤为：
选取一标定物，将标定物放置于与待测物体相同的位置，在光源的照明下采集一幅用于制作模板的图像B；
采集标定物在不同方向的光源照明下的图像，得到对应不同方向光源的多张图像C；
对图像B进行分割，得到二值图；根据所分割的二值图对图像B进行裁剪并对所有图像C进行相同尺寸的裁剪；
完成裁剪后，寻找每幅图像C上的高光区域，并求解出与各图像A所对应的光源方向参数。
5.如权利要求4所述的基于深度信息的表面缺陷检测方法，其特征在于：所述标定物的采集顺序与所述待测物体的采集顺序对应；所述标定物的采集位置与所述待测物体的采集位置对应。
6.如权利要求3所述的基于深度信息的表面缺陷检测方法，其特征在于：通过光源方向参数对待测物体的表面梯度数据进行提取时的具体步骤为：
对采集的图像A进行预处理操作；
结合光源方向参数，通过梯度表示的偏微分方程计算得到梯度值。
7.如权利要求1所述的基于深度信息的表面缺陷检测方法，其特征在于：根据所述表面梯度数据重建待测物体的表面三维形貌的具体步骤为：
将梯度数据由空间域转为频率域；
对转换为频率域的梯度数据进行高斯高通滤波并对完成滤波后的数据进行Frankot－Chellappa全局积分；
将积分后的数据由频率域再转为空间域，得到待测物体的表面深度图，并建立待测物体的表面三维形貌。
8.如权利要求7所述的基于深度信息的表面缺陷检测方法，其特征在于：根据待测物体的表面三维形貌检测待测物体的表面缺陷的具体步骤为：
将深度图进行表面高斯曲率处理，得到曲率图；
对得到的曲率图进行图像增强，并对增强后的曲率图进行形态学处理；
对完成形态学处理后的曲率图进行分析，并判断待测物体表面是否存在缺陷。
9.如权利要求1所述的基于深度信息的表面缺陷检测方法，其特征在于：所述高通滤波器结合Frankot-Chellappa全局积分算法为：
Figure FDA0003018814660000031
10.一种基于深度信息的表面缺陷检测系统，其特征在于：所述基于深度信息的表面缺陷检测系统包括拍摄组件、光源组件及分析组件，所述光源组件提供不同角度的光照以供所述拍摄组件采集不同角度光照下的图像；
所述分析组件用于根据图像提取待测物体的表面梯度数据，并根据表面梯度数据重建待测物体的表面三维形貌；以及根据待测物体的表面三维形貌检测待测物体的表面缺陷；
其中，在提取到待测物体的表面梯度数据后，通过高通滤波器结合Frankot-Chellappa全局积分算法对梯度数据进行积分以得到待测物体的表面三维形貌。
CN202110415217.9A 2021-04-13 2021-04-13 基于深度信息的表面缺陷检测方法和系统 Pending CN113192015A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110415217.9A CN113192015A (zh) 2021-04-13 2021-04-13 基于深度信息的表面缺陷检测方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110415217.9A CN113192015A (zh) 2021-04-13 2021-04-13 基于深度信息的表面缺陷检测方法和系统

Publications (1)

Publication Number Publication Date
CN113192015A true CN113192015A (zh) 2021-07-30

Family

ID=76977348

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110415217.9A Pending CN113192015A (zh) 2021-04-13 2021-04-13 基于深度信息的表面缺陷检测方法和系统

Country Status (1)

Country Link
CN (1) CN113192015A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112683910A (zh) * 2019-10-19 2021-04-20 武汉海川云谷软件技术有限公司 一种基于图像增强算法的汽车遮阳板视觉防错方法
CN113781424A (zh) * 2021-09-03 2021-12-10 苏州凌云光工业智能技术有限公司 一种表面缺陷检测方法、装置及设备
CN114324387A (zh) * 2021-12-14 2022-04-12 北京玖瑞科技有限公司 板材缺陷检测装置及方法
CN115436488A (zh) * 2022-08-31 2022-12-06 南京智慧基础设施技术研究院有限公司 一种基于视觉与声纹融合的自引导自调适移动检测系统及方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102735186A (zh) * 2012-06-25 2012-10-17 长安大学 利用数字图像获取路面三维构造的装置及方法
CN103822581A (zh) * 2014-02-26 2014-05-28 陕西科技大学 一种基于压缩感知的不规则物体体积测量方法
US20190342538A1 (en) * 2018-05-06 2019-11-07 Lu Sun Method and apparatus for measuring characteristics of a surface topology
CN111623713A (zh) * 2020-06-29 2020-09-04 辽宁中冶勘察设计有限公司 基于机器视觉的位移监测系统及其方法
CN111896550A (zh) * 2020-03-31 2020-11-06 广西师范大学 一种表面缺陷检测装置及方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102735186A (zh) * 2012-06-25 2012-10-17 长安大学 利用数字图像获取路面三维构造的装置及方法
CN103822581A (zh) * 2014-02-26 2014-05-28 陕西科技大学 一种基于压缩感知的不规则物体体积测量方法
US20190342538A1 (en) * 2018-05-06 2019-11-07 Lu Sun Method and apparatus for measuring characteristics of a surface topology
CN111896550A (zh) * 2020-03-31 2020-11-06 广西师范大学 一种表面缺陷检测装置及方法
CN111623713A (zh) * 2020-06-29 2020-09-04 辽宁中冶勘察设计有限公司 基于机器视觉的位移监测系统及其方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ON SURFACE TOPOGRAPHY RECONSTRUCTION FROM GRADIENT FIELDS: "On Surface Topography Reconstruction from Gradient Fields", 《2007 IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING》 *
徐庆相: "基于光度立体视觉的表面精细特征三维重建技术研究", 《中国优秀硕士学位论文全文数据库 (信息科技辑)》 *
郭远巍: "重力和重力梯度信息融合的辅助导航方法研究", 《中国优秀硕士学位论文全文数据库 (基础科学辑)》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112683910A (zh) * 2019-10-19 2021-04-20 武汉海川云谷软件技术有限公司 一种基于图像增强算法的汽车遮阳板视觉防错方法
CN113781424A (zh) * 2021-09-03 2021-12-10 苏州凌云光工业智能技术有限公司 一种表面缺陷检测方法、装置及设备
CN113781424B (zh) * 2021-09-03 2024-02-27 苏州凌云光工业智能技术有限公司 一种表面缺陷检测方法、装置及设备
CN114324387A (zh) * 2021-12-14 2022-04-12 北京玖瑞科技有限公司 板材缺陷检测装置及方法
CN115436488A (zh) * 2022-08-31 2022-12-06 南京智慧基础设施技术研究院有限公司 一种基于视觉与声纹融合的自引导自调适移动检测系统及方法
CN115436488B (zh) * 2022-08-31 2023-12-15 南京智慧基础设施技术研究院有限公司 一种基于视觉与声纹融合的自引导自调适移动检测系统及方法

Similar Documents

Publication Publication Date Title
CN113192015A (zh) 基于深度信息的表面缺陷检测方法和系统
JP5443435B2 (ja) タイヤの欠陥検出方法
CN111260640B (zh) 基于cyclegan的树状生成器网络齿轮点蚀图像测量方法及装置
CN110445921A (zh) 一种基于机器视觉的手机屏背光异物缺陷诊断方法及装置
CN102374993B (zh) 集成电路封装片三维引脚外观检测单元的检测方法
CN111009007A (zh) 一种指部多特征全面三维重建方法
CN106442556A (zh) 一种板状带孔工件表面缺陷检测装置和方法
CN109118471A (zh) 一种适用于复杂环境下的打磨工件缺陷检测方法
CN105741244B (zh) 一种室内巡检机器人弱光下去除阴影和光晕的方法
CN112116576A (zh) 基于偏振结构光成像和改进Mask R-CNN的缺陷检测方法
CN113252568A (zh) 基于机器视觉的镜片表面缺陷检测方法、系统、产品、终端
CN113748311B (zh) 涡轮发动机叶片缺陷自动检测系统的训练方法
CN109668904A (zh) 一种光学零件疵病检测装置及方法
CN112734756B (zh) 基于光度立体视觉的检测方法及系统
CN111474179A (zh) 镜片表面清洁度检测装置及方法
CN110189375A (zh) 一种基于单目视觉测量的图像目标识别方法
JP2017040600A (ja) 検査方法、検査装置、画像処理装置、プログラム及び記録媒体
CN106914428A (zh) 一种基于机器视觉的钢球表面缺陷差分检测的新型算法
CN110648301A (zh) 一种消除成像反光的装置及方法
CN108510544B (zh) 一种基于特征聚类的光条定位方法
CN109387524A (zh) 基于线性偏振光的螺纹缺陷检测方法及装置
CN214749873U (zh) 基于深度信息的表面缺陷检测系统
CN113935971A (zh) 一种复合材料表面缺陷的检测方法及装置
CN114688969A (zh) 一种光学镜片尺寸检测装置及方法
Bunda 3D point cloud reconstruction based on the finger vascular pattern

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210730

RJ01 Rejection of invention patent application after publication