CN114240969A - 基于条纹多视野卷积网络的多线激光图像缺陷分割方法 - Google Patents

Abstract

本发明公开一种基于条纹多视野卷积网络的多线激光图像缺陷分割方法。该方法包括：将多线激光光条图像输入到基于条纹多视野卷积的激光光条图像缺陷分割模型中，提取特征以分割出多种成像缺陷。条纹多视野卷积层包括四个卷积分支，分别为3*3普通卷积分支、3*3空洞卷积分支、横向条纹卷积分支和纵向条纹卷积分支。普通卷积分支主要提取多线激光图像的细节信息空洞卷积分支恰好是两个条纹卷积的交叉重叠区域，用于提取中心位置的环状范围特征。横向条纹卷积分支用于提取多线激光图像的横向特征，挖掘单光条内部结构信息。纵向条纹卷积分支用于提取多线激光图像的纵向特征，主要挖掘相邻光条间的关联信息。本发明能准确分割常见的激光图像成像缺陷。

Description

基于条纹多视野卷积网络的多线激光图像缺陷分割方法

技术领域

本发明涉及图像分析技术领域，更具体地，涉及一种基于条纹多视野卷积网络的多线激光图像缺陷分割方法。

背景技术

近年来基于深度学习的计算机视觉技术发展迅速，广泛应用于深度估计、图像修复、目标检测等领域。激光光学检测和计算机视觉技术的结合以非接触、高效率的优点在工业检测领域中得到广泛应用。

工业检测领域经常采用多线激光进行光学测量，由于检测时受环境干扰和物体光滑表面反射光的影响，所采集的激光光条图像成像质量差，存在光斑、光条断裂等缺陷，严重影响后续的图像处理和测量精度。为保障基于激光视觉和计算机视觉的工业检测精度，需要利用深度学习在图像分割领域的优势，对多线激光图像中存在的成像缺陷进行分割，以利于后续多线激光的成像缺陷修复从而提高检测精确度。

多线激光图像中的光条细长，纹理特征不明显。将现有的图像分割模型直接用于多线激光图像进行缺陷分割，精度低且效率不高。如何对多线激光图像进行高精度高效率的缺陷分割成为工业检测领域的难点。

发明内容

本发明的目的是克服上述现有技术的缺陷，提供一种基于条纹多视野卷积网络的多线激光图像缺陷分割方法。该方法包括以下步骤：

经线激光投射获取被测物的多线激光光条图像；

将上述多线激光光条图像输入到基于条纹多视野卷积的激光光条图像缺陷模型中，提取特征以分割激光图像中的成像缺陷。其中，条纹多视野卷积层包括四个卷积分支，分别为3*3普通卷积分支，3*3空洞卷积分支、横向条纹卷积分支和纵向条纹卷积分支。3*3普通卷积分支主要提取多线激光图像的细节信息，这对于小面积的成像缺陷尤为重要。3*3空洞卷积分支恰好是两个条纹卷积的交叉重叠区域，用于提取中心位置的环绕特征。横向条纹卷积分支用于提取多线激光图像的横向特征，主要挖掘单光条内部的连接信息。纵向条纹卷积分支用于提取多线激光图像的纵向特征，主要挖掘相邻光条间的关联信息。经过四个卷积分支的组合，条纹多视野卷积层可以获得较大范围的“十字”视野。

与现有技术相比，本发明的优点在于，针对多线激光图像中光条细长的特点，突出了基于条纹多视野卷积的多线激光图像缺陷分割模型，可以高精度高效率的分割常见的成像缺陷(如光斑和光条断裂区域)，显著提高了成像缺陷修复效果以及最终的测量精度。

通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其优点将会变得清楚。

附图说明

被结合在说明书中并构成说明书的一部分的附图示出了本发明的实施例，并且连同其说明一起用于解释本发明的原理。

图1是根据本发明一个实施例的多线激光图像的光斑缺陷和断裂缺陷的示意图；

图2是根据发明一个实施例的基于条纹多视野卷积的激光光条图像缺陷分割模型的结构图；

图3是根据本发明一个实施例的基于条纹多视野卷积的激光光条图像缺陷分割模型的图形示意图；

图4是根据本发明一个实施例的空洞率为2的条纹多视野卷积的视野可视化图；

图5是根据本发明一个实施例的多线激光缺陷分割示意图；

图6是根据本发明一个实施例的激光光条图像缺陷分割模型示意图。

具体实施方式

现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。

在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

参见图1所示，多线激光图像中的光条较狭长，并且通常存在不规则的光斑和断裂的光条。针对多线激光图像的成像特点，本发明设计了条纹卷积，并进一步构建了条纹多视野卷积层。

在一个实施例中，条纹卷积根据长宽比例不同分为纵向条纹卷积分支和横向条纹卷积分支。例如，纵向条纹卷积分支首先利用空洞率为2的1*3的卷积核提取短范围横向的特征，接下来使用空洞率为2的7*1的卷积核在此基础上提取长范围纵向的特征，经过这两个一维空洞卷积核的级联，纵向条纹卷积分支使用较小的参数提取到感受野为13*5的特征。横向条纹卷积分支首先利用空洞率为2的3*1的卷积核提取短范围纵向的特征，接下来使用空洞率为2的1*7的卷积核在此基础上提取长范围横向的特征，经过这两个一维空洞卷积核的级联，横向条纹卷积分支使用较小的参数提取到感受野为5*13的特征。综上，条纹卷积可以在-较少的参数量下提取到-较长范围的横向矩阵特征和纵向矩阵特征，从而捕获单光条内部的结构信息和相邻光条间的关联信息。，条纹卷积不仅构成了较大面积的条带状感受野，并且通过一维卷积核的级联以及输出维度的拆分设计，使条纹卷积在较少的参数下达到了更-好的分割效果。

进一步地，基于所设计的条纹卷积构建条纹多视野卷积层。参见图2和图3所示，多视野卷积层包含四个卷积分支，分别是普通的3*3的卷积分支、空洞率为2的3*3卷积分支、横向条纹卷积分支和纵向条纹卷积分支。横向条纹卷积分支和纵向条纹卷积分支主要提取多线激光的横向特征信息和纵向特征信息，注重多线激光图像的全局特征提取。普通3*3的卷积分支感受野最小，注重提取多线激光图像的细节特征，对小面积的缺陷非常重要。空洞率为2的3*3卷积分支的感受野恰恰是横向条纹卷积感受野和纵向条纹感受野的交叉重叠区域，加强了中心位置附近环绕特征的提取。经过四个卷积分支的组合，条纹多视野卷积层可以获得一个较大范围的“十字”卷积视野，在提取局部3*3感受野的特征的基础上，又综合了其环绕特征以及横纵向的延展特征，充分利用了光条图像的特性。

条纹多视野卷积层可以根据待分割物体的尺寸自行设置空洞卷积分支的空洞率参数。图3实施例展示的是空洞率为2的条纹多视野卷积层，

进一步地，上述设计的条纹多视野卷积层可应用于卷积神经网络，替换其中的部分或全部卷积层对输入的多线激光图像进行特征提取，进而分割图像中的缺陷。卷积神经网络可采用多种类型，包括但不限于ResNet、ResNeXt、DenseNet和Unet3+等。

我们选用Unet3+网络作为激光光条图像缺陷分割模型的基准网络，UNet3+使用全尺度的跳跃连接将不同尺度的特征图相融合，并且通过深度监督从多尺度聚合的特征图中学习特征表达。将Unet3+中编码阶段和解码阶段每一层的第二个卷积层全部替换为条纹多视野卷积层，在本发明中，将其命名为条纹多视野Unet3+模型。

具体地，基于条纹多视野卷积的Unet3+模型分为编码阶段和解码阶段，编码阶段分别经过四次下采样，每次下采样后经过一个传统的3*3卷积层和一个条纹多视野卷积层。解码阶段分别经过四次上采样，每次上采样之后和编码阶段同一层的特征图、上层的特征图，以及解码器下层的特征图结合起来，然后输入到条纹多视野卷积层中进行解码特征提取。图6所示为基于条纹多视野卷积的激光光条图像缺陷分割模型的示意图。

在下文中仅重点说明本发明设计的多视野卷积层，对激光光条图像缺陷分割模型整体的结构不再赘述。条纹多视野卷积层具体包括以下步骤：

步骤S110，使用普通的3*3的卷积核对输入的特征图进行卷积操作，输出维度为输入维度的1/4，将结果特征图暂时保留。

步骤S120，使用3*3的空洞卷积核对输入的特征图进行卷积操作，输出维度为输入维度的1/4，将结果特征图暂时保留。

步骤S130，使用1*3的空洞卷积核对输入特征图进行卷积操作，输出维度为输入维度的1/4，接着使用7*1的空洞卷积核继续卷积操作，输出维度保持不变，将结果特征图暂时保留。

步骤S140，使用3*1的空洞卷积核对输入特征图进行卷积操作，输出维度为输入维度的1/4，接着使用1*7的空洞卷积核继续卷积，输出维度保持不变，将结果特征图暂时保留。

步骤S150，将上述四个分支的结果特征图拼接组合作为条纹多视野卷积层的输出特征图。

通过上述方式，输出的结果包含了四个不同尺度感受野的特征，有效利用了多线激光图像的条纹特性，加强了提取特征的多样性。参见图4示意的最终视野的可视化图。

为进一步验证本发明的效果，进行了实验。经验证，将设计的多视野卷积层替换到Unet3+基准网络中，在降低模型参数量的同时实现了多线激光数据集的缺陷分割精度最优。效果参见图5所示的多线激光图像缺陷分割的示意图。

需说明的是，本发明提供的条纹多视野卷积层中各分支的卷积核大小、空洞率等、分支数目、在卷积神经网络模型中设置的条纹多视野卷积层的数目和位置等，可根据实际需要或待分割对象的大小等因素设置，本发明对具体结构不进行限制。此外，卷积神经网络模型在实际应用中首先根据样本数据集进行预训练，获得模型参数，然后训练后的模型可用于对实际采集的激光图像进行缺陷分割。

本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。

计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是但不限于电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。

这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。

用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++、Python等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本发明的各个方面。

这里参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。

这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。

也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。

附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。对于本领域技术人员来说公知的是，通过硬件方式实现、通过软件方式实现以及通过软件和硬件结合的方式实现都是等价的。

以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。本发明的范围由所附权利要求来限定。

Claims (10)

1.一种基于条纹多视野卷积网络的多线激光图像缺陷分割方法，包括以下步骤：

获取目标的多线激光图像，其中该激光图像是通过将线激光投射到目标物体表面得到目标物体的多线激光光条图像；

将所述多线激光光条图像输入到基于条纹多视野卷积层的激光光条图像缺陷分割模型中，提取特征以分割图像中的成像缺陷，其中，条纹多视野卷积层包括四个卷积分支，分别为3*3普通卷积分支，3*3空洞卷积分支、横向条纹卷积分支和纵向条纹卷积分支，3*3普通卷积分支提取多线激光图像的细节信息，3*3空洞卷积分支是两个条纹卷积的交叉重叠区域，用于提取中心位置的环绕特征，横向条纹卷积分支用于提取多线激光图像的横向特征，以挖掘单光条内部的结构信息，纵向条纹卷积分支用于提取多线激光图像的纵向特征，以挖掘相邻光条间的关联信息，经过四个卷积分支的组合，条纹多视野卷积层能够获得较大范围的“十字”视野。

2.根据权利要求1所述的方法，其中，所述纵向条纹卷积首先利用较小范围的一维空洞卷积核提取短范围的横向特征，然后使用较大范围的一维空洞卷积核提取长范围的纵向特征。

3.根据权利要求1所述的方法，其中，所述横向条纹卷积首先利用较小范围的一维空洞卷积核提取短范围的纵向特征，然后使用较大范围的一维空洞卷积核提取长范围的横向特征。

4.根据权利要求1所述的方法，其特征在于，对于所述条纹多视野卷积层，空洞率的数值选择根据待分割对象的形貌特点设定，针对大尺寸的对象设置较大的空洞率，小面积对象设置较小的空洞率，其中，普通的3*3卷积分支的卷积视野为3*3；空洞率为2的3*3卷积分支，卷积视野为5*5；纵向条纹卷积分支使用空洞率为2的1*3卷积核和7*1卷积核，卷积视野为13*5；横向条纹卷积分支使用空洞率为2的3*1卷积核和1*7卷积核，卷积视野为5*13，通过四个卷积分支的组合，条纹多视野卷积层获得较大范围的“十字”视野。

5.根据权利要求1所述的方法，其特征在于，对于所述条纹多视野卷积层，每一个分支的输出维度为输入维度的1/4，并将四个分支的输出特征按照维度进行拼接，获得包含四个不同尺度感受野的特征，作为提取的输出特征图。

6.根据权利要求4所述的方法，其特征在于，所述缺陷分割模型以unet3+网络为基准搭建。

7.根据权利要求6所述的方法，其特征在于，所述缺陷分割模型的编码阶段和编码阶段每一层的第二个卷积层设置为所述条纹多视野卷积层。

8.根据权利要求7所述的方法，其特征在于，所述缺陷分割模型的编码阶段分别经过四次下采样，每次下采样后经过一个卷积层和一个所述条纹多视野卷积层，解码阶段分别经过四次上采样，每次上采样后和编码阶段同一层特征图、上层特征图、解码阶段下层特征图结合，然后输入到所述条纹多视野卷积层中提取该层解码段的特征。

9.一种计算机可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现根据权利要求1至8中任一项所述方法的步骤。

10.一种计算机设备，包括存储器和处理器，在所述存储器上存储有能够在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至8中任一项所述的方法的步骤。

Images