CN117115610A - 基于多角度图像曝光融合的金属表面缺陷检测方法及系统 - Google Patents

基于多角度图像曝光融合的金属表面缺陷检测方法及系统 Download PDF

Info

Publication number
CN117115610A
CN117115610A CN202311108070.4A CN202311108070A CN117115610A CN 117115610 A CN117115610 A CN 117115610A CN 202311108070 A CN202311108070 A CN 202311108070A CN 117115610 A CN117115610 A CN 117115610A
Authority
CN
China
Prior art keywords
image
fusion
exposure
images
defect detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311108070.4A
Other languages
English (en)
Inventor
杨刚
罗检
陈景思
刘松杰
孟晓雯
张清华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202311108070.4A priority Critical patent/CN117115610A/zh
Publication of CN117115610A publication Critical patent/CN117115610A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/16—Image acquisition using multiple overlapping images; Image stitching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/96—Management of image or video recognition tasks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30136—Metal

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Vascular Medicine (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于多角度图像曝光融合的金属表面缺陷检测方法及系统，该方法包括：基于多光源补偿从不同角度获取待检测物体的多张不同曝光程度的图像；对多张不同曝光程度的图像进行多角度曝光融合处理，得到一张融合图像；将融合图像加载进训练好的表面缺陷检测网络模型中进行处理，得到缺陷检测结果。该方法既可以高效地排除高反光带来的影响，又不会对表面缺陷的识别造成较大的干扰，使得检测结果更为准确；且易于硬件实现，工业成本较低。

Description

基于多角度图像曝光融合的金属表面缺陷检测方法及系统
技术领域
本发明属于金属表面缺陷检测技术领域，具体涉及一种基于多角度图像曝光融合的金属表面缺陷检测方法及系统。
背景技术
随着工业制造的不断发展，对金属制品的表面质量要求也越来越高。尤其是在汽车、机械、电子等领域，金属制品的表面缺陷会直接影响其使用寿命和品质。因此，金属表面缺陷检测成为工业生产中非常重要的一环。在金属表面缺陷检测技术中，通常会遇到表面不平整的情况，这可能会导致光照不均匀，使得检测结果不准确。因此，需要一种能够解决非平整金属高反光问题以及识别表面缺陷检测的方法。
目前，针对反光问题的研究方案主要有以下几种：第一，采用偏振滤波器或偏振镜，通过选择合适的偏振方向以及偏振镜头装载到工业检测相机上，利用相机硬件，可以直接减少些许反射光的干扰，无需图像处理。第二，采用非反射涂层，在缺陷检测之前将非反射涂层涂在待检测金属表面，然后再对物体进行图像采集，这种涂层可以减少反射光的强度，并提高表面对缺陷检测设备的可见度。第三，采用单光源的高动态响应成像算法(HDRI，High Dynamic Response Imaging)处理，通过在待检测物体顶部装一个光源进行打光，控制光源的光照强度由暗到亮逐渐变化并分别采集不同曝光强度下的图像，利用高动态响应成像算法，平均多个曝光图像可以有效减少部分反光干扰。
然而，在现有的几种方案中，采用偏振滤波器或偏振镜的方法仍然存在大量的反射光线干扰，效果较差；采用非反射涂层的方法需要对待检测物体进行再加工涂装，工业成本较高，而且对于缺陷的识别会产生较大的干扰。采用单光源HDRI算法，由于单光源角度单一，因此只能减少部分反光干扰，且光源对于缺陷的识别会产生较大的干扰，光源所在方向上的缺陷识别干扰最大。
发明内容
为了解决现有技术中存在的上述问题，本发明提供了一种基于多角度图像曝光融合的金属表面缺陷检测方法及系统。本发明要解决的技术问题通过以下技术方案实现：
第一方面，本发明提供了一种基于多角度图像曝光融合的金属表面缺陷检测方法，包括：
基于多光源补偿从不同角度获取待检测物体的多张不同曝光程度的图像；
对所述多张不同曝光程度的图像进行多角度曝光融合处理，得到一张融合图像；
将所述融合图像加载进训练好的表面缺陷检测网络模型中进行处理，得到缺陷检测结果。
第二方面，本发明提供了一种基于多角度图像曝光融合的金属表面缺陷检测系统，用于实现本发明第一方面提供的＝的基于多角度图像曝光融合的金属表面缺陷检测方法，该系统包括多光源补偿模块、图像采集模块、上位机以及图像处理模块；其中，
所述多光源补偿模块设置于待检测物体的斜上方，用于为系统提供曝光补偿；
所述图像采集模块设置于待检测物体的正上方，用于基于多光源补偿从不同角度获取待检测物体的多张不同曝光程度的图像；
所述上位机用于将所述多张不同曝光程度的图像上传至所述图像处理模块；
所述图像处理模块用于对所述多张不同曝光程度的图像进行多角度曝光融合处理，得到一张融合图像；
所述图像处理模块还用于将所述融合图像加载进训练好的表面缺陷检测网络模型中进行处理，得到缺陷检测结果。
本发明的有益效果：
1、本发明通过利用多个光源对待检测物体从不同角度进行补偿，获得多张不同曝光程度的图像，再利用多角度曝光融合算法进行图像融合，自适应合成一张曝光合适的图像，最大程度地保留了待检测图像的不反光部分，对强曝光部分进行了滤除，避免了图像感兴趣区域特征的缺失，最后利用表面缺陷检测网络模型对融合图像进行处理，从而得到了缺陷检测结果；该方法既可以高效地排除高反光带来的影响，又不会对表面缺陷的识别造成较大的干扰，使得检测结果更为准确；且该方法易于硬件实现，工业成本较低；
2、本发明提供的基于多角度图像曝光融合的金属表面缺陷检测方法在进行图像融合时，从对比度、饱和度和亮度三个维度对像素的价值进行评估，充分利用了图像中价值高的部分，最终通过加权融合的方式得到曝光均衡的清晰图像，进一步提升了检测精度；
3、本发明提供的基于多角度图像曝光融合的金属表面缺陷检测方法设计了轻量化的表面缺陷检测网络模型，提升了算法速度，有利于工业化流水线应用。
以下将结合附图及实施例对本发明做进一步详细说明。
附图说明
图1是本发明实施例提供的基于多角度图像曝光融合的金属表面缺陷检测方法的一种流程示意图；
图2是本发明实施例提供的多光源补偿模型示意图；
图3是本发明实施例提供的表面缺陷检测网络模型的结构示意图；
图4是本发明实施例提供的基于多角度图像曝光融合的金属表面缺陷检测系统的结构框图；
图5是本发明实施例提供的基于多角度图像曝光融合的金属表面缺陷检测系统的检测流程图；
图6是采用单光源HDRI算法的检测效果图；
图7是采用本发明的多光源MAEF算法的检测效果图；
图8是采用单光源HDRI算法和多光源MAEF算法的检测灰度直方图对比图。
具体实施方式
下面结合具体实施例对本发明做进一步详细的描述，但本发明的实施方式不限于此。
实施例一
为了解决金属强反光在非平整高反光金属表面缺陷检测过程中的严重干扰问题，本实施例基于多光源补偿思想设计了基于多角度图像曝光融合(MAEF，Multi AngleExposure Fusion)的金属表面缺陷检测方法。请参见图1，图1是本发明实施例提供的一种基于多角度图像曝光融合的金属表面缺陷检测方法的流程示意图。本实施例提供的基于多角度图像曝光融合的金属表面缺陷检测方法包括：
步骤1：基于多光源补偿从不同角度获取待检测物体的多张不同曝光程度的图像。
具体而言，本实施例可以利用多个光源分别从不同角度对待检测物体进行曝光补偿，并针对每个光源分别采集若干张图像；然后从每个光源对应的若干张图像中各选出一张图像，从而获得多张不同曝光程度的图像。
可选的，作为一种实现方式，请参见图2，图2是本发明实施例提供的多光源补偿模型示意图。本实施例采用了三个光源进行曝光补偿。首先将三个光源围绕待检测物体等间隔，也即间隔120°放置在物体斜上方，且与物体在竖直平面上具有相同的夹角(例如可以为45°)，以从不同角度对待检测物体进行曝光补偿。
然后分别利用某一个光源照射待检测物体，并在该光源的照射下，利用面阵相机从待检测物体的正上方采集多张(例如3张)待检测物体的图像，从而得到三个光源对应的三组图像。
最后从三组图像中各选择一张图像用于后续的图像融合。由于中间图像的采集时刻，光源较为稳定，因而可以优选3张图像中的中间一张，作为后续融合用的图像。
步骤2：对多张不同曝光程度的图像进行多角度曝光融合处理，得到一张融合图像。
本实施例设计的MAEF算法主要原理是：对于多角度曝光图像序列，获取每一张待检测图像中最有价值的部分用于合成，最有价值的部分指的是在偏向光源的照射下图像曝光合适，成像比较清晰的部分。例如，图像中往往同时存在着曝光严重的部分以及细节丰富同时噪声水平低的暗区，那么暗区就是有价值的部分。需要一个指标来衡量每张图像中哪些像素有价值，然后通过计算每张图每个像素的价值指标当作对应的权重，最终通过加权融合的方式得到曝光均衡的清晰图像。
可选的，作为一种实现方式，本实施例选取了对比度、饱和度和亮度三个维度对像素的价值进行评估，则步骤2包括：
21)针对每张不同曝光程度的图像，分别计算其对比度、饱和度和亮度。
首先，计算图像对比度。
在本实施定义图像对比度为图像的梯度，对于边缘和纹理等重要的信息分配很大的权重。
具体地，对图像的灰度图执行拉普拉斯滤波，结果取绝对值作为对比度指标，计算公式为：
C(Ik，i，j)＝|Δgray(Ik，i，j)|；
式中，C(Ik，i，j)表示第k张图像的(i，j)位置的对比度，对比度指一幅图像中明暗区域最亮的白和最暗的黑之间不同亮度层级的测量；i，j分别表示输入图像的长和宽，Ik，i，j表示第k张图片的(i，j)像素点处的像素值大小，Δgray(Ik，i，j)表示第k张图像(i，j)像素点处的拉普拉斯滤波计算结果。
然后，计算图像饱和度。
具体而言，在图像饱和度定义中，RGB三通道之间差异大的可视为饱和度高的区域，反之，对于过曝或者欠曝区域RGB三通道的值趋于一致，饱和度较低。因此，可将RGB三个通道之间的标准差作为饱和度指标，即：
式中，
Sk，i，j表示第k张图像的饱和度，饱和度指的是物体的色彩的饱和度，即物体色彩的纯度，它介于灰度和彩色之间，是色彩描述的重要参数；表示图像三个通道中的Blue通道的像素值，/>表示图像三个通道中的Green通道的像素值，/>表示图像三个通道中的Red通道的像素值。
最后，计算图像亮度。
具体的，在图像亮度信息中，对于归一化至0～1范围的图像，将取值在0.5左右的像素视为曝光良好，应该分配很大的权重；接近0和1的分别为欠曝和过曝应该分配很小的权重。像素值与其对应权重的关系符合均值为0.5的高斯分布，即：
式中，Ek.i，j表示第k张图像的亮度，亮度是指图像像素的大小，像素值越大，图像在该像素点越明亮，否则越暗；σ表示高斯分布的标准差，取值为1。
22)根据对比度、饱和度和亮度得到每张图像像素的权重。
在获得了上述三个指标后，即可计算像素对应的权重，计算公式为：
式中，Wk,i,j表示结合对比度、饱和度以及亮度的权重计算结果，默认wc＝ws＝we＝1，为了保证多张图像在同一位置的权重和为1，需要在图像数量维度上对权重进行归一化，且需要保证需要融合的图像之间i,j相同，也就是图像所需要计算的像素点位置需要相同，计算得到(i,j)位置处的融合数值。
23)基于多张不同曝光程度的图像，从图像数量维度上对权重进行归一化处理，得到权重的归一化处理结果。
具体的，为了保证多张图像在同一位置的权重和为1，需要在图像数量维度上对权重进行归一化，即：
式中，表示归一化后的权重，最后通过上述公式中的权重归一化的结果计算得到图像的一个像素点的数值，然后再进行全部像素点的整合就可以获得一张完整且曝光均衡的清晰图像，N表示总共选取N张图片进行融合。
24)基于归一化后的权重，通过加权融合的方式对多张不同曝光程度的图像进行多角度曝光融合处理，得到一张曝光均衡的融合图像。
本实施例利用多个光源对待检测物体从不同角度进行补偿，获得多张不同曝光程度的图像，再利用多角度曝光融合算法进行图像融合，自适应合成一张曝光合适的图像，最大程度地保留了待检测图像的不反光部分，对强曝光部分进行了滤除，避免了图像感兴趣区域特征的缺失，有利于提升后续检测的准确性。
此外，本实施例在对多张不同曝光程度的图像进行图像融合时，从对比度、饱和度和亮度三个维度对像素的价值进行评估，充分利用了图像中价值高的部分，最终通过加权融合的方式得到曝光均衡的清晰图像，进一步提升了检测精度。
步骤3：将融合图像加载进训练好的表面缺陷检测网络模型中进行处理，得到缺陷检测结果。
首先，需要说明的是，由于融合后的图像可能存在边缘锯齿噪声，因此，本实施在将融合图像加载进训练好的表面缺陷检测网络模型中进行处理之前，还包括：
对融合图像进行抗锯齿算法处理，以减少图像边缘锯齿噪声，得到优化后的融合图像。
关于抗锯齿算法的具体实现过程可参考现有相关技术实现，本实施例对此不做详细说明。
然后，构建表面缺陷检测网络模型。
具体的，请参见图3，图3是本发明实施例提供的表面缺陷检测网络模型的结构示意图。该网络模型包括RPN网络、Vovnet网络以及后置网络；
RPN网络用于根据融合图像生成通用候选框和过滤候选框；
Vovnet网络用于对融合图像进行特征提取，得到特征图；
后置网络用于根据通用候选框和过滤候选框对特征图进行检测，得到缺陷检测结果；
其中，后置网络包括池化层、3*3卷积层、1*1卷积层以及全连接层。
本实施例基于Vovnet网络设计了改进型Faster Rcnn深度学习神经网络结构作为表面缺陷检测网络，轻量化的Vovnet网络使得算法速度得以提升，从而有利于工业化流水线应用。
可以理解的是，在构建好网络模型之后，还需要对其进行训练，详细的训练过程可参考现有相关技术实现，本实施例在此不做具体说明。
最后，将优化后的融合图像输入到训练好的网络模型中，得到缺陷类别和位置，从而实现金属表面缺陷检测。
本发明通过利用多个光源对待检测物体从不同角度进行补偿，获得多张不同曝光程度的图像，再利用多角度曝光融合算法进行图像融合，自适应合成一张曝光合适的图像，最大程度地保留了待检测图像的不反光部分，对强曝光部分进行了滤除，避免了图像感兴趣区域特征的缺失，最后利用表面缺陷检测网络模型对融合图像进行处理，从而得到了缺陷检测结果；该方法既可以高效地排除高反光带来的影响，又不会对表面缺陷的识别造成较大的干扰，使得检测结果更为准确；且该方法易于硬件实现，工业成本较低。
实施例二
在上述实施例的一的基础上，基于同一发明构思，本实施例提出了一种基于多角度图像曝光融合的金属表面缺陷检测系统，用于实现上述实施例一提出的方法。请参见图4，图4是本发明实施例提供的基于多角度图像曝光融合的金属表面缺陷检测系统的结构框图，该系统包括多光源补偿模块、图像采集模块、上位机以及图像处理模块；其中，
多光源补偿模块设置于待检测物体的斜上方，用于为系统提供曝光补偿；
图像采集模块设置于待检测物体的正上方，用于基于多光源补偿从不同角度获取待检测物体的多张不同曝光程度的图像；
上位机用于将多张不同曝光程度的图像上传至图像处理模块；
图像处理模块用于对多张不同曝光程度的图像进行多角度曝光融合处理，得到一张融合图像；
图像处理模块还用于将融合图像加载进训练好的表面缺陷检测网络模型中进行处理，得到缺陷检测结果。
具体而言，多光源补偿模块也即照明光源，其包括多个条形光源，多个条形光源均匀环绕设置在待检测物体的斜上方，且与物体在竖直平面上具有相同的夹角；其中，
多个条形光源由FPGA作为控制核心，利用内部时序控制不同条形光源延时一定时间依次点亮；同时，FPGA控制图像采集模块在每个光源被点亮时拍摄若干张待检测物体的图像。
在本实施例中，图像采集模块包括图像采集卡、工业相机、以及相机镜头等，本实施例优选面阵相机采集待检测物体的图像。
其中，工业相机可以为用于图像识别、型号识别的面阵相机，或尺寸检测需要的线阵相机，再配以相应的图像采集卡和相机镜头，组成了一套基本的图像采集模块。
可选的，作为一种实现方式，如图2所示，三个条形光源以120°的间隔环绕设置在待检测物体的斜上方，且与物体在竖直平面上呈45°角。经过相机标定以及实际测试之后，确定面阵相机放置于待检测物体的正上方，距离物体30cm。
进一步的，本实施例使用FPGA作为控制核心，利用内部时序控制条形光源延时100ms依次顺时针点亮，并控制面阵相机根据光源点亮时间依次拍摄三张图片，并通过上位机上传至图像处理模块。
图像处理模块中设有融合单元，用于从不同光源对应的多张图像中各选择一张最优的图像进行融合，得到一张融合图像。具体的融合算法可参考上述实施例一。
图像处理模块中还设有抗锯齿算法单元，用于对融合图像进行进一步的优化处理，以减少图像边缘锯齿噪声。具体的算法实现过程可参考现有技术。
进一步的，图像处理模块中还设有检测单元，其包括一个表面缺陷检测网络模型。表面缺陷检测网络模型的详细结构可参见上述实施例一。
优化后的融合图像输入训练好的表面缺陷检测网络模型中进行处理，即可得到缺陷检测结果。
可以理解是，本实施例提供的基于多角度图像曝光融合的金属表面缺陷检测系统可用于生产流水线上，进行批量产品检测，则系统必然包括一个控制模块。
具体的，请参见图5，图5是本发明实施例提供的基于多角度图像曝光融合的金属表面缺陷检测系统的检测流程图。
首先，系统中有一个感应传感器，用于感知待检测物体是否到来。如果感应到物体已经到来，则进入下一模块中。
然后，多光源补偿模块和图像采集模块在硬件的控制下，采集待检测物体的多张不同曝光程度的图像。具体的，先对多个光源中的其中一个进行点亮，并采集对应的图像帧，然后依次点亮其他光源，并获取对应的图像帧，直至获得所有光源下的若干组图像。
接着，将采集的图像利用上位机上传至PC中的图像处理模块，先进行图像增强处理，再传入训练好参数的改进型Faster Rcnn网络模型中，最终获得缺陷检测结果。
本实施例在多光源补偿的基础上，通过一系列硬件组合去搭建如图4所示的机器视觉检测系统，成为了目前常见的机器视觉图像采集部分的解决方案。首先选择合适的照明光源为待测物体打光，然后选择合适的工业相机，例如图像识别，型号识别等选择面阵相机，尺寸检测需要选择线阵相机，再配以相应的图像采集卡和相机镜头，就组成了一套基本的图像采集系统。在此基础上再设计具有特定功能的运动控制，然后将相机拍摄后的图像经过图像采集卡上传到PC进行图像处理，这就是一套具有金属表面缺陷检测功能的机器视觉检测系统。
本实施例针对现有非平整金属表面缺陷检测设备的不足之处，分别从光源、相机、图像采集模块、图像处理算法等进行分析设计，提出一种多光源下曝光融合的非平整高反光金属表面缺陷视觉检测系统，解决在现有技术上高反光问题难以滤除的问题，最终得以提高金属工业上缺陷检测的效率以及检测的准确率。
为了验证本实施例提出的多光源MAEF算法的有益效果，在本发明的另一个实施例中，将其与现有的单光源HDRI算法进行了仿真比较。首先，分别从光照变化频率、光照亮度、角度三个方面进行了仿真实验，在单光源HDRI算法的条件下，分别从光照变化频率、光照亮度、角度三个方面进行实验，实验结构如图6所示。由图6的实验结果可知，在改变光照变化频率以及亮度时，图像中间部分由明显高反光现象，不利于缺陷检测；在改变单光源角度时，可以发现待检测物体图像对光侧反光明显，而背光侧反光效果减弱。由此，理论上多光源补偿系统配合MAEF算法可以减弱全局的反光效果。
然后，采用本发明的多光源MAEF算法进行仿真实验，结果如图7所示。针对多角度光源的变化频率以及光源强度进行探究，选择合适的变化频率以及光照强度，可以发现100ms的光源变化时间间隔和500lx的光照强度为最佳。在此基础上，拍摄多张不同的角度图像并输入到MAEF算法中，与单光源HDRI算法的输出图像进行灰度直方图对比，结果如图8所示，其中，图8中的左图为单光源HDRI算法的灰度直方图，右图为本发明的多光源MAEF算法的灰度直方图。根据对比结果显示，多光源+MAEF算法的输出图像亮度更加均匀，精度和稳定性更高，有效解决了反光问题，表面缺陷凸显，能有效提高对比度。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (10)

1.一种基于多角度图像曝光融合的金属表面缺陷检测方法，其特征在于，包括：
基于多光源补偿从不同角度获取待检测物体的多张不同曝光程度的图像；
对所述多张不同曝光程度的图像进行多角度曝光融合处理，得到一张融合图像；
将所述融合图像加载进训练好的表面缺陷检测网络模型中进行处理，得到缺陷检测结果。
2.根据权利要求1所述的基于多角度图像曝光融合的金属表面缺陷检测方法，其特征在于，基于多光源补偿从不同角度获取待检测物体的多张不同曝光程度的图像，包括：
利用多个光源分别从不同角度对待检测物体进行曝光补偿，并针对每个光源分别采集若干张图像；
从每个光源对应的若干张图像中各选出一张图像，从而获得多张不同曝光程度的图像。
3.根据权利要求1所述的基于多角度图像曝光融合的金属表面缺陷检测方法，其特征在于，对所述多张不同曝光程度的图像进行多角度曝光融合处理，得到一张融合图像，包括：
针对每张不同曝光程度的图像，分别计算其对比度、饱和度和亮度；
根据所述对比度、饱和度和亮度得到每张图像像素的权重；
基于多张不同曝光程度的图像，从图像数量维度上对所述权重进行归一化处理，得到归一化后的权重；
基于所述归一化后的权重，通过加权融合的方式对所述多张不同曝光程度的图像进行多角度曝光融合处理，得到一张曝光均衡的融合图像。
4.根据权利要求3所述的基于多角度图像曝光融合的金属表面缺陷检测方法，其特征在于，所述对比度定义为图像的梯度，计算方式为：
对图像的灰度图执行拉普拉斯滤波，并对结果取绝对值作为对比度指标，计算公式为：
C(Ik,i,j)＝|Δgray(Ik,i,j)|；
式中，C(Ik,i,j)表示第k张图像的(i,j)位置的对比度，i,j分别表示输入图像的长和宽，Ik,i,j表示第k张图片的(i,j)像素点处的像素值大小，Δgray(Ik,i,j)表示第k张图像(i,j)像素点处的拉普拉斯滤波计算结果。
5.根据权利要求4所述的基于多角度图像曝光融合的金属表面缺陷检测方法，其特征在于，所述饱和度定义为图像RGB三个通道之间的标准差，计算公式为：
式中，
Sk,i,j表示第k张图像的饱和度，表示图像三个通道中的Blue通道的像素值，/>表示图像三个通道中的Green通道的像素值，/>表示图像三个通道中的Red通道的像素值。
6.根据权利要求5所述的基于多角度图像曝光融合的金属表面缺陷检测方法，其特征在于，所述亮度按照图像像素值归一化后的结果分配，并符合均值为0.5的高斯分布，其表达式为：
式中，Ek.i,j表示第k张图像的亮度，σ表示高斯分布的标准差。
7.根据权利要求1所述的基于多角度图像曝光融合的金属表面缺陷检测方法，其特征在于，在将所述融合图像加载进训练好的表面缺陷检测网络模型中进行处理之前，还包括：
对所述融合图像进行抗锯齿算法处理，以减少图像边缘锯齿噪声，得到优化后的融合图像。
8.根据权利要求1所述的基于多角度图像曝光融合的金属表面缺陷检测方法，其特征在于，所述表面缺陷检测网络模型包括RPN网络、Vovnet网络以及后置网络；
所述RPN网络用于根据所述融合图像生成通用候选框和过滤候选框；
所述Vovnet网络用于对所述融合图像进行特征提取，得到特征图；
所述后置网络用于根据所述通用候选框和过滤候选框对所述特征图进行检测，得到缺陷检测结果；
其中，所述后置网络包括池化层、3*3卷积层、1*1卷积层以及全连接层。
9.一种基于多角度图像曝光融合的金属表面缺陷检测系统，用于实现权利要求1-8任一项所述的基于多角度图像曝光融合的金属表面缺陷检测方法，其特征在于，包括多光源补偿模块、图像采集模块、上位机以及图像处理模块；其中，
所述多光源补偿模块设置于待检测物体的斜上方，用于为系统提供曝光补偿；
所述图像采集模块设置于待检测物体的正上方，用于基于多光源补偿从不同角度获取待检测物体的多张不同曝光程度的图像；
所述上位机用于将所述多张不同曝光程度的图像上传至所述图像处理模块；
所述图像处理模块用于对所述多张不同曝光程度的图像进行多角度曝光融合处理，得到一张融合图像；
所述图像处理模块还用于将所述融合图像加载进训练好的表面缺陷检测网络模型中进行处理，得到缺陷检测结果。
10.根据权利要求9所述的基于多角度图像曝光融合的金属表面缺陷检测系统，其特征在于，所述多光源补偿模块包括多个条形光源，所述多个条形光源均匀环绕设置在待检测物体的斜上方，且与物体在竖直平面上具有相同的夹角；其中，
所述多个条形光源由FPGA作为控制核心，利用内部时序控制不同条形光源延时一定时间依次点亮；同时，FPGA控制所述图像采集模块在每个光源被点亮时拍摄若干张待检测物体的图像。
CN202311108070.4A 2023-08-30 2023-08-30 基于多角度图像曝光融合的金属表面缺陷检测方法及系统 Pending CN117115610A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311108070.4A CN117115610A (zh) 2023-08-30 2023-08-30 基于多角度图像曝光融合的金属表面缺陷检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311108070.4A CN117115610A (zh) 2023-08-30 2023-08-30 基于多角度图像曝光融合的金属表面缺陷检测方法及系统

Publications (1)

Publication Number Publication Date
CN117115610A true CN117115610A (zh) 2023-11-24

Family

ID=88801808

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311108070.4A Pending CN117115610A (zh) 2023-08-30 2023-08-30 基于多角度图像曝光融合的金属表面缺陷检测方法及系统

Country Status (1)

Country Link
CN (1) CN117115610A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117726627A (zh) * 2024-02-18 2024-03-19 深圳龙芯半导体科技有限公司 芯片表面缺陷检测方法及设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117726627A (zh) * 2024-02-18 2024-03-19 深圳龙芯半导体科技有限公司 芯片表面缺陷检测方法及设备
CN117726627B (zh) * 2024-02-18 2024-04-16 深圳龙芯半导体科技有限公司 芯片表面缺陷检测方法及设备

Similar Documents

Publication Publication Date Title
CN106770362B (zh) 基于aoi的宏观缺陷检测装置及方法
CN106548467B (zh) 红外图像和可见光图像融合的方法及装置
CN112308832B (zh) 一种基于机器视觉的轴承质量检测方法
JP5647878B2 (ja) 鋼管内部腐食解析装置及び鋼管内部腐食解析方法
CN111598913B (zh) 一种基于机器人视觉的图像分割方法和系统
JP2009524884A (ja) 画像内の照明域を識別する方法及びシステム
CN110161233B (zh) 一种免疫层析试纸卡的快速定量检测方法
CN103914708A (zh) 基于机器视觉的食品品种检测方法及系统
US8913135B2 (en) Method and apparatus for measuring response curve of an image sensor
CN107909562A (zh) 一种基于像素级的快速图像融合算法
CN117115610A (zh) 基于多角度图像曝光融合的金属表面缺陷检测方法及系统
CN110110131B (zh) 一种基于深度学习与双目立体视觉的飞机线缆支架识别与参数获取方法
CN109949725B (zh) 一种aoi系统图像灰度标准化方法及系统
WO2020049779A1 (ja) 色評価装置、色評価方法、および、色評価方法に用いられる表示物
US6577775B1 (en) Methods and apparatuses for normalizing the intensity of an image
CN112200848B (zh) 低光照弱对比复杂环境下的深度相机视觉增强方法及系统
CN117456195A (zh) 基于深度融合的异常图像识别方法及系统
CN109073503B (zh) 不均匀性评价方法和不均匀性评价装置
CN112150392B (zh) 一种低照度图像的修复方法及装置
CN115761611B (zh) 基于图像对比异常检测的多阶段多底图图像差异过滤方法
CN115937093A (zh) 融合hsl空间和改进暗通道技术的烟雾浓度检测方法
CN115484712A (zh) 一种隧道入口处照明系统的控制方法、装置及其存储介质
CN116745696A (zh) 拍摄条件设定系统、拍摄条件设定方法及程序
CN110726536A (zh) 一种彩色数码反射显微镜颜色校正方法
Krasteva et al. A Method for Automatic Color Correction of Images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination