CN116721066A - 一种金属表面缺陷检测方法、装置和存储介质 - Google Patents
一种金属表面缺陷检测方法、装置和存储介质 Download PDFInfo
- Publication number
- CN116721066A CN116721066A CN202310611066.3A CN202310611066A CN116721066A CN 116721066 A CN116721066 A CN 116721066A CN 202310611066 A CN202310611066 A CN 202310611066A CN 116721066 A CN116721066 A CN 116721066A
- Authority
- CN
- China
- Prior art keywords
- image
- object surface
- pyramid
- images
- divergence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007547 defect Effects 0.000 title claims abstract description 75
- 238000001514 detection method Methods 0.000 title claims abstract description 63
- 229910052751 metal Inorganic materials 0.000 title claims abstract description 41
- 239000002184 metal Substances 0.000 title claims abstract description 41
- 230000004927 fusion Effects 0.000 claims abstract description 53
- 238000005286 illumination Methods 0.000 claims abstract description 52
- 238000000034 method Methods 0.000 claims abstract description 51
- 239000011159 matrix material Substances 0.000 claims abstract description 27
- 239000013598 vector Substances 0.000 claims description 38
- 230000006870 function Effects 0.000 claims description 16
- 238000004422 calculation algorithm Methods 0.000 claims description 10
- 238000011176 pooling Methods 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000002310 reflectometry Methods 0.000 claims description 5
- 241000282326 Felis catus Species 0.000 claims description 3
- 230000004913 activation Effects 0.000 claims description 2
- 230000008569 process Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 15
- 230000000694 effects Effects 0.000 description 7
- 238000012360 testing method Methods 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 6
- 238000000605 extraction Methods 0.000 description 5
- 238000005299 abrasion Methods 0.000 description 4
- 230000000052 comparative effect Effects 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 229910052782 aluminium Inorganic materials 0.000 description 3
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000006467 substitution reaction Methods 0.000 description 3
- 229910000831 Steel Inorganic materials 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000010959 steel Substances 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 1
- 238000013434 data augmentation Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000012856 packing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10052—Images from lightfield camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本发明公开了一种金属表面缺陷检测方法、装置和存储介质，属于缺陷检测技术领域。方法包括：使用光度立体图像采集装置采集不同照明方向下高光金属标定球的图像，根据采集到的图像和标定公式获取照明方向矩阵；将待测金属放入所述光度立体图像采集装置，依次点亮各个光源，获得不同照明方向下的物体表面图像序列；将所述物体表面图像序列中的多张物体表面图像进行融合，获得融合图像；根据所述物体表面图像序列和照明方向矩阵计算物体表面的散度图；将融合图像和散度图分别输入预设的双支路特征融合网络中，以提取图像的融合特征，并输出最终的缺陷检测结果。本发明通过提高缺陷与背景的对比度和捕获表面的几何形貌信息，提高了缺陷检测能力。
Description
技术领域
本发明涉及缺陷检测技术领域，尤其涉及一种金属表面缺陷检测方法、装置和存储介质。
背景技术
金属板材、钣金件是现代化生产的重要产品，在机械制造、汽车生产、航空航天等各个领域都有重要应用。然而，在产品制造过程中，不可避免地会产生各类表面缺陷如划痕、擦伤及凹坑凸起等，这些缺陷不仅会影响产品外观，还可能缩短使用寿命甚至造成安全性威胁，因此为了防止缺陷产品流入市场，必须在出厂前进行产品外观检测。传统的人工目测法时间长成本高，且检测效果受主观因素影响，因此亟需一种基于视觉的自动化检测方法。
缺陷检测方法主要包含图像采集和检测算法两大模块，其中，图像采集是整个检测流程的基础，图像质量的好坏是决定最终检测效果的重要因素，如果在成像时尽可能地将缺陷特征突显出来，就可以大大降低后续检测的难度，而这很大程度上取决于照明条件，某些类型的缺陷如划痕、擦伤等，通常表现为细长且具有明显的方向性，只有在特定照明方向和角度下才能呈现高对比度，而目前大部分检测方法仅使用单个光源进行照明，当缺陷方位与照明方向不匹配时，缺陷不能从背景中很好地突显出来，从而导致漏检，而凹坑、凸起等缺陷，仅存在深度起伏，在颜色、反射率等方面与背景并无明显差异，单纯依靠RGB图像检测时也存在检出率不高的困扰。
另外，在检测算法方面，目前主流的方法大部分基于通用的深度学习目标检测框架，由于缺陷形态各异，尺寸不一，部分缺陷与背景极为相似，这类模型并不能很好的捕捉缺陷特征信息，从而造成识别率低、检测精度不高等问题。
发明内容
为至少一定程度上解决现有技术中存在的技术问题之一，本发明的目的在于提供一种基于光度立体成像和双支路特征融合网络的金属表面缺陷检测方法、装置和存储介质。
本发明所采用的技术方案是：
一种金属表面缺陷检测方法，包括以下步骤：
使用光度立体图像采集装置采集不同照明方向下高光金属标定球的图像，根据采集到的图像和标定公式获取照明方向矩阵；其中，所述光度立体图像采集装置包括多个不同方向的光源；
将待测金属放入所述光度立体图像采集装置，依次点亮各个光源，获得不同照明方向下的物体表面图像序列；
将所述物体表面图像序列中的多张物体表面图像进行融合，获得融合图像；
根据所述物体表面图像序列和照明方向矩阵计算物体表面的散度图；
将融合图像和散度图分别输入预设的双支路特征融合网络中，以提取图像的融合特征，并输出最终的缺陷检测结果。
进一步地，所述光度立体图像采集装置，包括：
一个工业相机；
四个光源；
光源框架，用于安装所述光源，且四个所述光源分别安装在所述光源框架四个方向的横梁上；四个所述光源构成一个不相连的光圈；
载物台，设置在所述光圈的中部，用于安放待测金属；
相机支架，用于固定所述工业相机，且所述工业相机位于所述载物台的正上方，并竖直向下拍摄。
进一步地，所述标定公式的表达式为：
L＝2(V·N)N-V
式中，N为高光区域中心点位置的法向量，V为反射光向量，即摄像机观察方向，L为单个光源的照明方向向量，将所有光源的照明方向向量合并成为照明方向矩阵。
进一步地，所述将所述物体表面图像序列中的多张物体表面图像进行融合，包括：
使用对比度金字塔融合算法将多幅图像融合成一幅图像；
其中，所述对比度金字塔融合算法，首先得到图像的拉普拉斯金字塔，计算公式如下：
式中，ω(m,n)为高斯滤波器，Gl(x,y)为高斯金字塔第l层图像，为第l层图像经内插扩充后的图像，Z为拉普拉斯金字塔的最高层数，Ll为拉普拉斯金字塔第l层图像，由同一像素级高斯金字塔相减得到；
将看作Gl(x,y)的背景，则对比度金字塔定义为：
式中，为第k幅图像第l层对比度金字塔位置x处的值，/>分别表示融合后的对比度金字塔及高斯金字塔对应位置的值，取M幅图像在该位置绝对值最大的值构造新的对比度金字塔，取M幅图像高斯金字塔的平均值构造新的高斯金字塔，再利用新的对比度金字塔与高斯金字塔复原出融合图像。
进一步地，所述根据所述物体表面图像序列和照明方向矩阵计算物体表面的散度图，包括：
根据所述物体表面图像序列和照明方向矩阵，利用光度立体法、散度公式和曲率公式计算物体表面的散度图和曲率图；
所述光度立体法的计算公式为：
I＝Lρn
式中，I为图像某个位置的亮度值，L为计算得到的照明方向矩阵，ρ为物体表面反射率，n为该位置的单位法向量；
将ρn看作整体N，则法向量计算公式为：
LTI＝LTLN
N＝(LTL)-1LTI
ρ＝||ρn||＝||N||
进一步地，所述散度公式的表达式为：
所述曲率公式的表达式为：
式中，p为fx，表示物体表面沿x方向的梯度，q为fy，表示表面沿y方向的梯度，Div表示物体各个位置处的散度，Kg表示物体各个位置处的曲率。
进一步地，所述双支路特征融合网络为双支路yolov5s特征融合网络，网络中引入残差空间通道注意力模块，表达式如下：
Mc(F)＝σ(MLP(AvgPool(F))+MLP(MaxPool(F))
Ms(F)＝σ(Conv(Cat[AvgPool(F),MaxPool(F)]))
Fout＝F+F·Mc(F)+F·Ms(F)
式中，Mc、Ms分别表示通道注意力图和空间注意力图，F为输入特征，σ为Sigmoid激活函数，MLP为共享多层感知器，Cat为堆叠操作，AgvPool、MaxPool分别表示平均池化和最大池化，Conv为卷积操作，Fout为输出特征。
进一步地，所述双支路特征融合网络通过以下公式对双支路提取的特征进行特征融合：
Ffus＝Conv(Cat(Fdiv,Fori))
式中，Fdiv为散度图支路提取的特征，Fori为RGB图像支路提取的特征，沿通道维度进行堆叠，Conv为通道数减半的卷积操作，Ffus为双支路融合特征。
本发明所采用的另一技术方案是：
一种金属表面缺陷检测装置，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如上所述方法。
本发明所采用的另一技术方案是：
一种计算机可读存储介质，其中存储有处理器可执行的程序，所述处理器可执行的程序在由处理器执行时用于执行如上所述方法。
本发明的有益效果是：本发明通过在不同照明方向下对待测金属进行拍摄，获得物体表面图像序列，将物体表面图像序列的的缺陷信息融合到一幅图像中，提高缺陷与背景的对比度；同时获取对应的散度图，以捕获物体表面的重要几何形貌信息；将融合而成的增强图像与散度图像共同输入双支路特征融合检测网络中，两条支路充分提取不同图像的有效信息，进行特征级融合，有效地增强缺陷检测能力。
附图说明
为了更清楚地说明本发明实施例或者现有技术中的技术方案，下面对本发明实施例或者现有技术中的相关技术方案附图作以下介绍，应当理解的是，下面介绍中的附图仅仅为了方便清晰表述本发明的技术方案中的部分实施例，对于本领域的技术人员而言，在无需付出创造性劳动的前提下，还可以根据这些附图获取到其他附图。
图1是本发明实施例中一种基于光度立体成像和双支路特征融合网络的缺陷检测方法的步骤流程图；
图2是本发明实施例中标定球高光点处的入射向量、反射向量与法向量关系示意图；
图3是本发明实施例中光度立体图像采集装置的示意图；
图4是本发明实施例中基于深度学习和光度立体的表面缺陷检测方法的示意图；
图5是本发明实施例中改进双支路特征融合检测网络的结构示意图；
图6是本发明实施例中不同照明方向下的金属表面图像和对比度金字塔融合的增强图像的示意图；
图7是本发明实施例中采用光度立体算法、散度和曲率公式计算出的物体表面散度图和曲率图；
图8是本发明实施例中对比试验的部分检测结果图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
在本发明的描述中，需要理解的是，涉及到方位描述，例如上、下、前、后、左、右等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
在本发明的描述中，若干的含义是一个或者多个，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
此外，在本发明的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
本发明的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。
目前大部分基于视觉的表面缺陷检测方法在照明时仅采用单个光源从固定方向打光，然而部分划痕和擦伤缺陷只在特定照明方向下才能清晰呈现，由于划痕与擦伤方向无法事先预知，传统打光方式无法保证它们被有效成像；此外，还有一些诸如凹坑凸起的缺陷，在颜色、反射率等方面与正常表面背景区别较小，在图像中表现出低对比度，即使人眼有时也难以分辨，导致最终检出率低。由于缺陷形态多样，并且受到照明条件、网络特征提取能力的限制，模型无法从单幅图像中获得足够的有效信息，使得最终检测效果不够理想。总的来说，目前主流的基于深度学习的表面缺陷检测存有以下问题：
(1)仅使用RGB图像作为输入，网络只能通过物体的颜色、反射率及照明形成的阴影等来判断是否存在缺陷，由于忽略了检测目标的几何形貌信息，极易造成误检、漏检。
(2)将光度立体法与深度学习结合，但仅是将计算得到的法向量图作为输入，由于忽略了RGB图像中蕴含的灰度信息，模型并不能从法向量图中得到足够的有效信息，对于某些深度变化较小的缺陷容易产生漏检。
(3)将RGB图像与法向量图像简单堆叠作为输入，其本质是将法向量图像作为新的图像通道，但实际测试表明两类不同图像之间容易产生信息串扰，互相削弱了彼此的有效特征信息，也无法达到最佳的检测效果。
为了解决上述问题，本发明提出一种基于光度立体成像和双支路特征融合网络的缺陷检测方法，采用光度立体法从不同方向分别进行打光、成像，可以适应不同方向的划痕与擦伤缺陷成像需要。接着，使用对比度金字塔将四幅图像融合到一幅图像中，可有效增强缺陷与背景的对比度。另一方面，通过光度立体算法得到物体表面法向量后再进一步计算表面散度，从而更有效地捕捉待测表面的几何形貌，突出凹坑凸起类缺陷。最后通过两条支路分别提取RGB图像中的光反射信息和散度量图中的几何形貌信息，解决现有技术无法较好地检出低对比度缺陷的问题。
如图1和图4所示，本实施例提供一种基于光度立体成像和双支路特征融合网络的缺陷检测方法，包括以下步骤：
S1、使用光度立体图像采集装置采集不同照明方向下高光金属标定球的图像，根据采集到的图像和标定公式获取照明方向矩阵。其中，光度立体图像采集装置包括多个不同方向的光源。
标定光源方向。以高光金属球作为光源方向标定标靶，使用光度立体图像采集装置分别采集不同照明方向下标定球的若干幅图像，通过识别图像中高亮点位置结合标定公式，从而计算光源照明方向。
照明方向向量的确定使用的是高光金属球标定法，将金属球放在视野中的合适位置，图像左上端点定为原点，则金属球中心坐标为(Cx,Cy)，按次序点亮每个方向的光源，此时金属球表面出现高亮区域，高亮区域中心点坐标为(Px,Py)，可得到表面法向量N＝(Nx,Ny,Nz)，计算公式为：
式中，R为标定球半径，获得高光点处的单位法向量，反射光向量为摄像机观察方向V＝(0,0,1)。
在本实施例中，该光度立体图像采集装置包括4个光源，但需要注意的是，其他光源个数的光度立体图像采集装置都应该落入本申请的保护范围内。参见图3，该光度立体图像采集装置包括一个工业相机、四个LED光源(即图3中条形光源1、条形光源2、条形光源3和条形光源4，这里需要注意的是，在本实施例中采用的是条形光源，但是其他形状的光源也应落入本申请的保护范围内)，一个用于安装光源的铝型材框架，一个用于固定相机的相机支架，一个载物台。四个光源分别安装在四个方向的铝型材横梁上，载物台置于中央，相机位于载物台正上方竖直向下拍摄。
具体地，将金属球放置在工业相机视野中的合适位置，四个光源从不同方向交替打光，使用相机采集对应照明条件下的图像，识别高光点位置，令图像左上端点坐标为(0,0)，则金属球中心点坐标为(Cx,Cy)，高光点坐标为(Px,Py)，根据公式可求得高光点处的法向量N＝(Nx,Ny,Nz)，如图2所示，根据入射光、反射光及法向量关系可得以下表达式：
L＝2(V·N)N-V
其中反射光向量为相机观察方向(0,0,1)，进而计算出入射光方向向量(Lx,Ly,Lz)，按同样方法计算出所有光源的照明方向向量，将其合并为照明方向矩阵。
S2、将待测金属放入光度立体图像采集装置，依次点亮各个光源，获得不同照明方向下的物体表面图像序列。
标定后，保持相机与光源位置不变，将待测金属放入载物台，依次点亮光源，获得不同打光方向下的物体表面图像序列。
S3、将物体表面图像序列中的多张物体表面图像进行融合，获得融合图像。
在本实施例中，得到不同打光条件下的四幅图像后，使用高斯卷积核对每幅图像进行卷积运算，然后隔行隔列删除进行下采样，得到下一级高斯金字塔层，再接着进行卷积与下采样形成多层高斯金字塔。下级高斯金字塔通过内插扩大，使得分辨率与上级金字塔相同，两者做差则可得到每层拉普拉斯金字塔，表达式如下：
其中下级金字塔的内插放大图像可以看成上一级金字塔Gl的背景，因此对比度金字塔可以定义为如下形式：
即每层拉普拉斯金字塔与高斯金字塔的比值，据此获得四幅图像不同尺度下的三级对比度金字塔。
对于每一级对比度金字塔，将四幅图像中同一像素位置的绝对值进行比较，取绝对值最大的值作为融合图像在该位置的对比度金字塔值，高斯金字塔取四幅图像的高斯金字塔均值，再通过融合的对比度金字塔与高斯金字塔复原出融合增强图像，计算公式如下：
S4、根据物体表面图像序列和照明方向矩阵计算物体表面的散度图。
根据四幅不同照明条件下的金属板图像，结合标定的照明方向矩阵，计算出表面法向量，再根据散度、曲率公式进一步求出表面散度图、曲率图。
具体地，令四幅图像组成的图像序列与照明方向矩阵相对应，将物体视为朗伯体，则根据经典光度立体法得到如下表达式
I＝Lρn
其中L为照明方向向量矩阵，ρ为物体表面反射率,此处假设为定值，I为图像某一位置的亮度。
将ρn看作整体N，则I＝LN，n为单位向量，L矩阵为M×3矩阵，当M>3时矩阵非满秩，采用最小二乘法求得近似解，获得物体表面法向量图。在本实施例中，使用四个光源，L矩阵为4×3矩阵非满秩，采用最小二乘法求得近似解，从而获得物体表面法向量图：
LTI＝LTLN
N＝(LTL)-1LTI
进一步作为可选的实施方式，当曲面方程转化为显函数f(x,y)-z＝0时，法向量N＝(Nx,Ny,Nz)可表示为N＝(fx,fy,-1)，其中获得物体表面沿x方向的梯度和沿y方向上的梯度，再根据散度公式、曲率公式计算对应的散度图及曲率图：
式中，p为fx，q为fy，Div和Kg表示物体各个位置处的散度和曲率，用以描述物体的几何形貌信息。
S5、将融合图像和散度图分别输入预设的双支路特征融合网络中，以提取图像的融合特征，并输出最终的缺陷检测结果。
双支路特征融合网络中，负责特征提取的backbone部分包含两条支路，一条支路输入四幅RGB图像融合成的增强图像，一条支路输入物体表面散度图，采用CSP结构作为骨干网络的信息提取模块，在每个CSP结构后引入残差空间通道注意力模块，使网络自适应地学习特征图不同区域、不同通道的权重值，从而更好地突出有效信息，抑制背景干扰，注意力模块的表达式为：
Mc(F)＝σ(MLP(AvgPool(F))+MLP(MaxPool(F))
Ms(F)＝σ(Conv(Cat[AvgPool(F),MaxPool(F)]))
Fout＝F+F·Mc(F)+F·Ms(F)
式中，Mc为通道注意力图，Ms为空间注意力图，F为输入特征，MLP为共享多层感知器，AgvPool和MaxPool分别表示平均池化和最大池化，Cat为堆叠操作，Conv为卷积操作。
作为一种可选的实施方式，该双支路特征融合网络为改进的双支路yolov5s特征融合网络。在原始的yolov5s网络中，需要将浅层的高分辨率弱语义特征图与深层的低分辨率强语义特征图进行融合，此处改进的双支路网络首先将两条支路提取的特征信息在通道上进行堆叠，再采用通道数减半的CBS结构实现双支路的信息融合，然后在neck部分利用PAnet结构与深层的特征图信息进一步融合，并在检测头head部分整合所有的特征完成最终的检测任务，所述的多任务损失包括分类损失、目标置信度损失和边界框回归损失。
具体地，采集的四幅图像能够呈现不同照明条件下的缺陷形态，融合图像将缺陷特征进一步增强，将融合图像作为其中一条支路的输入，该支路主要为网络提供物体表面的光反射信息，容易受到照明条件的影响，因此在网络骨干部分增加一条支路，输入物体表面散度图，主要负责提供物体表面的几何形貌信息，鲁棒性更强，两条支路能够分别提取各自的有效信息，减少信息串扰。
骨干部分在每个CSP结构后引入残差空间通道注意力模块，参考CBAM结构，空间注意力在通道维度分别进行平均池化和最大池化然后拼接，最拼接后的特征图使用卷积操作得到空间注意力图，通道注意力则是基于宽高进行全局平均池化和全局最大池化，将特征分别送入一个多层感知机，再将输出的特征进行加和得到最终的通道注意力图，将原始特征与空间注意力图、通道注意力图分别相乘，得到加权后的特征再与原始特征加和即为所述的残差空间通道注意力结构。
其中，原始yolov5s网络由CSPDarknet骨干、PAN颈部和多尺度预测头组成，骨干网络主要负责提取和整合浅层特征并形成更深层次、更高级的语义特征，PAN颈部结构则是将浅层位置信息与深层的语义特征融合，增强多个尺度对于目标的的识别和定位能力，本申请的改进网络在骨干部分使用了两条支路，因此在与深层语义特征融合时需要事先将两条支路提取的特征融合，此处将两条支路的特征在通道上堆叠，再采用通道数减半的CBS结构实现双支路的信息融合，接着与后续的深层语义特征进一步融合，最后输入到多尺度检测头中实现最终的缺陷识别和定位。
下面结合附图和具体实例进行详细解释说明。
本实施例以冷轧磷化钢板为检测对象，介绍一种基于光度立体和深度学习的表面缺陷检测方法，包括以下步骤：
步骤1：如图3所示，图3为所述的光度立体图像采集装置，四个条形光源安装在铝型材框架四个方向的横梁上，载物台置于中心区域，工业相机位于载物台正上方，标定球放置在载物台上，将四个条形光源从不同方向按次序点亮，得到相应的四幅图像，识别每幅图像中标定球高光区域的中心点，根据入射光、反射光及法向量的关系式，图2为向量关系示意图，求得照明方向矩阵。
步骤2：保持光源位置和相机位置不变，采集钢板图像156组，其中124组作为训练集，32组作为测试集，每组包含四个打光方向下的图像，图像分辨率为1200×1200，统一调整尺寸为640×640以适应网络模型输入，使用上述的对比度金字塔算法对四幅图像进行融合增强，如图6所示，作为模型其中一条支路的输入。
步骤3：利用经典光度立体算法，根据四幅图像和照明方向矩阵计算物体表面法向量图，进而求得物体表面各个位置的梯度、散度和曲率，如图7所示，图7为物体表面的散度图与高斯曲率图，此处选择物体表面散度图来描述物体表面的几何形貌信息。
步骤4：图5所示为改进的双支路yolov5s特征融合网络结构，将融合图像作为一条支路的输入，散度图像作为另一条支路的输入，输入网络之前采用缩放、翻转及马赛克增强作为数据增广方式以扩充数据集，batchsize设置为8，使用SGD优化器，损失函数包括边界框回归损失、分类损失和目标置信度损失三部分，其中边界框损失采用CIOU损失，分类损失与目标置信度损失采用BCE损失，迭代训练400epoch。改进网络结构如图5所示，骨干部分采用两条支路，每条支路中的Attention模块为残差空间通道注意力，空间注意力在通道维度进行平均池化和最大池化，得到特征图和/>并沿通道堆叠，再使用卷积核为7×7，padding为3的标准卷积和Sigmoid函数得到空间注意力图Ms，通道注意力在空间上进行全局平均池化和全局最大池化得到/>和/>再分别送入一个多层感知机，多层感知机的隐层结点数为C/r，缩减比例r取16，最后合并输出再经Sigmoid函数得到通道注意力图Mc，将原始特征与空间注意力图、通道注意力图分别相乘，得到加权后的特征再与原始特征加和即为所述的残差空间通道注意力结构，表达式为：
Mc(F)＝σ(MLP(AvgPool(F))+MLP(MaxPool(F))
Ms(F)＝σ(Conv(Cat[AvgPool(F),MaxPool(F)]))
Fout＝F+F·Mc(F)+F·Ms(F)
两条支路提取的特征通过Fusion模块进行融合，Fusion模块是将两条支路的特征沿通道堆叠，再采用通道数减半的CBS结构将特征信息合并，公式如下
Ffus＝Conv(Cat(Fdiv,FOri))
颈部PAN结构将浅层位置信息与深层语义特征融合，在最终的预测头部分形成三个预测分支，分别用于检测大目标、中目标和小目标，预测头为1×1的卷积核，将通道数降维成3×(nc+4+1)，其中nc为类别数，4表示边界框的宽高及位置坐标，1表示目标置信度。
为了证实改进网络的有效性和增益，进行了对比试验，实验环境基于windows10系统，显卡为Geforce 3060ti 8g显存，使用Intel i5-11400处理器，运用pytorch1.11.0深度学习库，对比试验配置如下。
(1)单支路
a.单RGB图像作为输入
b.融合图像与散度图堆叠作为输入
(2)双支路
a.融合图像、散度图分两条支路输入
图6展示了对比试验的部分案例图，第一列为单RGB图像单支路输入检测结果，第二列为融合图像与散度图堆叠输入单支路检测结果，第三列为融合图像与散度图输入双支路检测结果。由实验结果可知，单RGB作为输入，检测时可能会将尖凹坑缺陷误检为尖突起缺陷，原因在于网络仅能通过RGB图像中缺陷区域深度变化形成的阴影来判断缺陷类型，而尖凹坑与尖突起周围形成的阴影变化高度相似，因此容易误检，同时由于对比度不高，部分凹坑突起缺陷还会出现漏检现象。而在散度图中，凹坑与突起缺陷则具有较高的对比度且区别明显，如图8所示，因此在融合图像与散度图堆叠输入时，并不会出现误检，但仍有漏检现象，原因在于简单堆叠图像可能导致不同模态图像之间出现信息串扰，互相削弱了彼此之间的有效信息，影响模型对于缺陷特征的提取。本实施例采用的双支路特征融合网络，将散度图与融合图作为输入，两条支路分别对散度图与融合图进行特征提取，获得的检测效果未出现误检和漏检的情况，对于凹坑突起的检测效果要优于前两者。
综上所述，本实施例方法相比于现有技术，至少具有如下优点和增益效果：
(1)本发明提供的方法采用多方向打光以突出缺陷区域，避免传统照明仅采用单一方向导致缺陷隐匿于背景的问题，尤其适应于划痕等具有明显方向性的缺陷。此外，利用光度立体法与散度公式计算的物体表面散度图，能够从几何形貌角度表征缺陷信息，有效增强凹坑、凸起等对比度较低的缺陷，从而降低后续模型检测的难度。
(2)本发明将不同方向照明条件下的图像进行对比度金字塔融合，从而将多幅图像的有效信息提取并融合到一幅图像中，增强了划痕、擦伤类缺陷的对比度，并使得图像整体亮度更均匀，在后续输入时使模型能够充分获取四幅图像的信息同时减少了计算量、提高了模型推理速度。
(3)本发明通过将通用yolov5s网络改进为双支路特征融合网络，将原始RGB图像与散度图输入两条并行支路分别提取图像特征，解决了现有方法直接将图像堆叠用作输入导致的信息串扰问题；同时，引入了残差空间通道注意力模块，使网络自适应地提高缺陷区域的权重并屏蔽背景信息，提高了缺陷检测准确率，减少误检和漏检。
本实施例还提供一种金属表面缺陷检测装置，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如图1所示方法。
本实施例的一种金属表面缺陷检测装置，可执行本发明方法实施例所提供的一种金属表面缺陷检测方法，可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。
本申请实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行图1所示的方法。
本实施例还提供了一种存储介质，存储有可执行本发明方法实施例所提供的一种金属表面缺陷检测方法的指令或程序，当运行该指令或程序时，可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。
在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或所述方框有时能以相反顺序被执行。此外，在本发明的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。
此外，虽然在功能性模块的背景下描述了本发明，但应当理解的是，除非另有相反说明，所述的功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本发明的范围，本发明的范围由所附权利要求书及其等同方案的全部范围来决定。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
在本说明书的上述描述中，参考术语“一个实施方式/实施例”、“另一实施方式/实施例”或“某些实施方式/实施例”等的描述意指结合实施方式或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施方式，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施方式进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
以上是对本发明的较佳实施进行了具体说明，但本发明并不限于上述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。
Claims (10)
1.一种金属表面缺陷检测方法，其特征在于，包括以下步骤：
使用光度立体图像采集装置采集不同照明方向下高光金属标定球的图像，根据采集到的图像和标定公式获取照明方向矩阵；其中，所述光度立体图像采集装置包括多个不同方向的光源；
将待测金属放入所述光度立体图像采集装置，依次点亮各个光源，获得不同照明方向下的物体表面图像序列；
将所述物体表面图像序列中的多张物体表面图像进行融合，获得融合图像；
根据所述物体表面图像序列和照明方向矩阵计算物体表面的散度图；
将融合图像和散度图分别输入预设的双支路特征融合网络中，以提取图像的融合特征，并输出最终的缺陷检测结果。
2.根据权利要求1所述的一种金属表面缺陷检测方法，其特征在于，所述光度立体图像采集装置，包括：
一个工业相机；
四个光源；
光源框架，用于安装所述光源，且四个所述光源分别安装在所述光源框架四个方向的横梁上；四个所述光源构成一个不相连的光圈；
载物台，设置在所述光圈的中部，用于安放待测金属；
相机支架，用于固定所述工业相机，且所述工业相机位于所述载物台的正上方，并竖直向下拍摄。
3.根据权利要求1所述的一种金属表面缺陷检测方法，其特征在于，所述标定公式的表达式为：
L＝2(V·N)N-V
式中，N为高光区域中心点位置的法向量，V为反射光向量，L为单个光源的照明方向向量，将所有光源的照明方向向量合并成为照明方向矩阵。
4.根据权利要求1所述的一种金属表面缺陷检测方法，其特征在于，所述将所述物体表面图像序列中的多张物体表面图像进行融合，包括：
使用对比度金字塔融合算法将多幅图像融合成一幅图像；
其中，所述对比度金字塔融合算法，首先得到图像的拉普拉斯金字塔，计算公式如下：
式中，ω(m,n)为高斯滤波器，Gl(x,y)为高斯金字塔第l层图像，为第l层图像经内插扩充后的图像，Z为拉普拉斯金字塔的最高层数，Ll为拉普拉斯金字塔第l层图像；
将看作Gl(x,y)的背景，则对比度金字塔定义为：
式中，为第k幅图像第l层对比度金字塔位置x处的值，/>分别表示融合后的对比度金字塔及高斯金字塔对应位置的值，取M幅图像在该位置绝对值最大的值构造新的对比度金字塔，取M幅图像高斯金字塔的平均值构造新的高斯金字塔，再利用新的对比度金字塔与高斯金字塔复原出融合图像。
5.根据权利要求1所述的一种金属表面缺陷检测方法，其特征在于，所述根据所述物体表面图像序列和照明方向矩阵计算物体表面的散度图，包括：
根据所述物体表面图像序列和照明方向矩阵，利用光度立体法、散度公式和曲率公式计算物体表面的散度图和曲率图；
所述光度立体法的计算公式为：
I＝Lρn
式中，I为图像某个位置的亮度值，L为照明方向矩阵，ρ为物体表面反射率，n为该位置的单位法向量；
将ρn看作整体N，则法向量计算公式为：
LTI＝LTLN
N＝(LTL)-1LTI
ρ＝||ρn||＝||N||
6.根据权利要求5所述的一种金属表面缺陷检测方法，其特征在于，所述散度公式的表达式为：
所述曲率公式的表达式为：
式中，p为fx，表示物体表面沿x方向的梯度，q为fy，表示表面沿y方向的梯度，Div表示物体各个位置处的散度，Kg表示物体各个位置处的曲率。
7.根据权利要求1所述的一种金属表面缺陷检测方法，其特征在于，所述双支路特征融合网络为双支路yolov5s特征融合网络，网络中引入残差空间通道注意力模块，表达式如下：
Mc(F)＝σ(MLP(AvgPool(F))+MLP(MaxPool(F))
Ms(F)＝σ(Conv(Cat[AvgPool(F),MaxPool(F)]))
Fout＝F+F·Mc(F)+F·Ms(F)
式中，Mc、Ms分别表示通道注意力图和空间注意力图，F为输入特征，σ为Sigmoid激活函数，MLP为共享多层感知器，Cat为堆叠操作，AgvPool、MaxPool分别表示平均池化和最大池化，Conv为卷积操作，Fout为输出特征。
8.根据权利要求1所述的一种金属表面缺陷检测方法，其特征在于，所述双支路特征融合网络通过以下公式对双支路提取的特征进行特征融合：
Ffus＝Conv(Cat(Fdiv,Fori))
式中，Fdiv为散度图支路提取的特征，Fori为RGB图像支路提取的特征，Conv为通道数减半的卷积操作，Ffus为双支路融合特征。
9.一种金属表面缺陷检测装置，其特征在于，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现权利要求1-8任一项所述方法。
10.一种计算机可读存储介质，其中存储有处理器可执行的程序，其特征在于，所述处理器可执行的程序在由处理器执行时用于执行如权利要求1-8任一项所述方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310611066.3A CN116721066A (zh) | 2023-05-26 | 2023-05-26 | 一种金属表面缺陷检测方法、装置和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310611066.3A CN116721066A (zh) | 2023-05-26 | 2023-05-26 | 一种金属表面缺陷检测方法、装置和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116721066A true CN116721066A (zh) | 2023-09-08 |
Family
ID=87867049
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310611066.3A Pending CN116721066A (zh) | 2023-05-26 | 2023-05-26 | 一种金属表面缺陷检测方法、装置和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116721066A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116977341A (zh) * | 2023-09-25 | 2023-10-31 | 腾讯科技（深圳）有限公司 | 一种尺寸测量方法及相关装置 |
| CN117347383A (zh) * | 2023-12-06 | 2024-01-05 | 中材新材料装备科技(天津)有限公司 | 一种硅酸钙板表面缺陷检测与自动修复系统及方法 |
-
2023
- 2023-05-26 CN CN202310611066.3A patent/CN116721066A/zh active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116977341A (zh) * | 2023-09-25 | 2023-10-31 | 腾讯科技（深圳）有限公司 | 一种尺寸测量方法及相关装置 |
| CN116977341B (zh) * | 2023-09-25 | 2024-01-09 | 腾讯科技（深圳）有限公司 | 一种尺寸测量方法及相关装置 |
| CN117347383A (zh) * | 2023-12-06 | 2024-01-05 | 中材新材料装备科技(天津)有限公司 | 一种硅酸钙板表面缺陷检测与自动修复系统及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116721066A (zh) | 一种金属表面缺陷检测方法、装置和存储介质 | |
| EP1462992A2 (en) | System and method for shape reconstruction from optical images | |
| CN110060237A (zh) | 一种故障检测方法、装置、设备及系统 | |
| CN111612737B (zh) | 一种人造板表面瑕疵检测装置及检测方法 | |
| JP2017049974A (ja) | 識別器生成装置、良否判定方法、およびプログラム | |
| CN109613023A (zh) | 一种区域亮度自适应校正的水果表面缺陷快速检测方法 | |
| CN109741307A (zh) | 摄像模组的杂光检测方法、杂光检测装置及杂光检测系统 | |
| CN113538603B (zh) | 一种基于阵列产品的光学检测方法、系统和可读存储介质 | |
| CN112070762A (zh) | 液晶面板的mura缺陷检测方法、装置、存储介质及终端 | |
| CN116777877A (zh) | 电路板缺陷检测方法、装置、计算机设备及存储介质 | |
| CN113706607B (zh) | 一种基于圆环阵列图的亚像素定位方法、计算机设备与装置 | |
| CN114612418A (zh) | 一种鼠标外壳表面缺陷检测方法及装置、系统、电子设备 | |
| CN113176270B (zh) | 一种调光方法、装置及设备 | |
| CN104655041B (zh) | 一种附加约束条件的工业零件轮廓线多特征提取方法 | |
| CN116542963A (zh) | 一种基于机器学习的浮法玻璃缺陷检测系统及检测方法 | |
| CN116912475A (zh) | 一种显示屏异物检测方法、装置、电子设备和存储介质 | |
| CN101236164B (zh) | 用于缺陷检测的方法及系统 | |
| JP6114559B2 (ja) | フラットパネルディスプレイの自動ムラ検出装置 | |
| CN114219758A (zh) | 缺陷检测方法、系统、电子设备和计算机可读存储介质 | |
| CN112987356A (zh) | 液晶面板底部异物误检滤除方法及装置 | |
| US10274711B2 (en) | Microscopic image recognition system and method for detecting protein-based molecule | |
| JP2008096302A (ja) | 欠陥検査装置 | |
| EP4010873B1 (en) | Use of an hdr image in a visual inspection process | |
| CN114354607B (zh) | 一种基于螺旋相衬滤波算法的光度立体瑕疵检测方法 | |
| Meyer et al. | SNR-optimized image fusion for transparent object inspection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |