CN113763382B - 工业质检中的检测装置 - Google Patents

Abstract

本发明提供一种工业质检中的检测装置，包括：分类残差网络，包括：串联的第一至第四阶段分类残差网络，其中，在第二至第四阶段分类残差网络中插入可变形卷积层；特征提取网络，用于提取分类结果为缺陷的图片的特征图；区域提取网络，用于根据特征图生成至少一个候选区域；候选区域处理网络，用于将候选区域归一化固定尺寸的候选区域，以获取固定尺寸的特征图；循环卷积神经网络，用于根据固定尺寸的特征图输出候选区域所属的类别和候选区域在图像中的位置。本发明在分类残差网络中插入可变形卷积层，可以增强对被检测小物体的变形、旋转、放缩等的检测效果，且对于有缺陷的图片进一步输入至目标检测网络进行处理，使提取的特征精度更高。

Description

工业质检中的检测装置

技术领域

本发明涉及工业质检技术领域，具体涉及一种工业质检中的检测装置。

背景技术

在工业质检领域，工业生产制造过程中各种各样的工艺缺陷（裂纹、结痂、卷边、空腔、磨损等），对工业品本身的质量、外观等级以及性能参数有极大的影响。而在“智造大国”的大背景下，缺陷检测的要求越来越高，客户的要求也越来越高，提高检测的精度和性能成为首要任务，意味着客户的满意度提升，商业意义很大。

由于缺陷检测现场复杂的光学环境以及被检测缺陷的尺度和形状的差异较大，对检测模型的适应性要求较高。而相关技术中，检测手段较为单一，对于工业现场的缺陷的尺度变化和形状变化的适应能力、泛化能力较差。

发明内容

为解决上述技术问题，本发明提出一种工业质检中的检测装置，本发明在分类残差网络中插入可变形卷积层，可以增强对被检测小物体的变形、旋转、放缩等的检测效果，从而能够更好的适应检测目标的尺度、姿态、视角的影响，且对于有缺陷的图片进一步输入至目标检测网络进行处理，使提取的特征精度更高、更好的满足现场和客户的要求，对工业现场的缺陷具有非常好的泛化能力和鲁棒性。

本发明采用的技术方案如下：

本发明的实施例提出了一种工业质检中的检测装置，包括：分类残差网络，所述分类残差网络用于获取工业现场图片并对所述工业现场图片进行分类，分类结果包括：缺陷和良品，所述分类残差网络包括：串联的第一至第四阶段分类残差网络，所述第一至第四阶段分类残差网络包括残差单元和下采样单元，其中，在第二至第四阶段分类残差网络中插入可变形卷积层；特征提取网络，所述特征提取网络的输入端与所述分类残差网络相连，所述特征提取网络用于提取所述分类结果为缺陷的图片的特征图；区域提取网络，所述区域提取网络的输入端与所述特征提取网络的输出端相连，所述区域提取网络用于根据所述特征图生成至少一个候选区域；候选区域处理网络，所述候选区域处理网络的输入端与所述区域提取网络的输出端相连，所述候选区域处理网络用于将所述候选区域归一化固定尺寸的候选区域，以获取固定尺寸的特征图；循环卷积神经网络，所述循环卷积神经网络的输入端与所述候选区域处理网络的输出端相连，所述循环卷积神经网络用于根据所述固定尺寸的特征图输出候选区域所属的类别和候选区域在图像中的位置。

本发明上述提出的工业质检中的检测装置还可以具有如下附加技术特征：

根据本发明的一个实施例，所述分类残差网络还包括：下采样模块，所述下采样模块的输入端作为所述分类残差网络的输入端，所述下采样模块的输出端与所述第一阶段分类残差网络的输入端相连，所述第一阶段分类残差网络的输出端与所述第二阶段分类残差网络的输入端相连，所述第二阶段分类残差网络的输出端与所述第三阶段分类残差网络的输入端相连，所述第三阶段分类残差网络的输出端与第四阶段分类残差网络的输入端相连；全连接层模块，所述全连接层模块的输入端与所述第四阶段分类残差网络的输出端相连。

根据本发明的一个实施例，其中，所述第一阶段分类残差网络包括：串联的第一下采样单元、第一残差单元和第二残差单元；所述第二阶段分类残差网络包括：串联的第二下采样单元、第三残差单元、第四残差单元和第五残差单元；所述第三阶段分类残差网络包括：串联的第三下采样单元、第六残差单元、第七残差单元、第八残差单元、第九残差单元和第十残差单元；所述第四阶段分类残差网络包括：串联的第四下采样单元、第十一残差单元和第十二残差单元。

根据本发明的一个实施例，所述特征提取网络包括：四个卷积模块ConvBlock和与卷积模块ConvBlock对应相连四个FPN（Feature Pyramid Networks，特征金字塔），所述四个卷积模块ConvBlock分别与所述第一至第四阶段分类残差网络的输出端相连。

根据本发明的一个实施例，在所述卷积模块ConvBlock中插入有SPP（SpatialPyramid Pooling，空间金字塔池化）模块。

根据本发明的一个实施例，所述卷积模块包括CoordConv（坐标卷积）。

根据本发明的一个实施例，所述循环卷积神经网络包括多个全连接层。

根据本发明的一个实施例，所述下采样模块包括三个3x3卷积和一个最大池化层，且所述3x3卷积的使用步长为2。

本发明的有益效果：

本发明在分类残差网络中插入可变形卷积层，可以增强对被检测小物体的变形、旋转、放缩等的检测效果，从而能够更好的适应检测目标的尺度、姿态、视角的影响，且对于有缺陷的图片进一步输入至目标检测网络进行处理，使提取的特征精度更高、更好的满足现场和客户的要求，对工业现场的缺陷具有非常好的泛化能力和鲁棒性。

附图说明

图1是根据本发明一个实施例的工业质检中的检测装置的结构示意图；

图2是根据本发明一个实施例的工业质检中的检测装置的分类残差网络的结构示意图；

图3是根据本发明一个实施例的工业质检中的检测装置的下采样模块的结构示意图；

图4是根据本发明一个实施例的不插入可变形卷积层DCL的下采样单元的结构示意图；

图5是根据本发明一个实施例的插入可变形卷积层DCL的下采样单元的结构示意图；

图6是根据本发明一个实施例的不插入可变形卷积层DCL的残差单元的结构示意图；

图7是根据本发明一个实施例的插入可变形卷积层DCL的残差单元的结构示意图；

图8是根据本发明另一个实施例的工业质检中的检测装置的结构示意图；

图9是根据本发明另一个实施例的工业质检中的检测装置的卷积模块ConvBlock的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1是根据本发明一个实施例的工业质检中的检测装置的结构示意图，如图1所示，该检测装置包括：分类残差网络1、特征提取网络2、区域提取网络3、候选区域处理网络4和循环卷积神经网络5。

其中，分类残差网络1用于获取工业现场图片并对工业现场图片进行分类，分类结果包括：缺陷和良品，分类残差网络1包括：串联的第一阶段分类残差网络11、第二阶段分类残差网络12、第三阶段分类残差网络13和第四阶段分类残差网络14，第一至第四阶段分类残差网络11-14包括残差单元和下采样单元，其中，在第二至第四阶段分类残差网络12-14中插入可变形卷积层（DCL，Deformable Convolution Layer）；特征提取网络2的输入端与分类残差网络1相连，特征提取网络2用于提取分类结果为缺陷的图片的特征图；区域提取网络3的输入端与特征提取网络2的输出端相连，区域提取网络3用于根据特征图生成至少一个候选区域；候选区域处理网络4的输入端与区域提取网络3的输出端相连，候选区域处理网络4用于将候选区域归一化固定尺寸的候选区域，以获取固定尺寸的特征图；循环卷积神经网络5的输入端与候选区域处理网络4的输出端相连，循环卷积神经网络5用于根据固定尺寸的特征图输出候选区域所属的类别和候选区域在图像中的位置。

具体地，如图1所示，可以通过工业现场摄像头采集工业现场图片，然后将工业现场图片输入到分类残差网络1中，该分类残差网络可以对输入的图片进行打分并从其输出端Output输出，如果分数低于0.3，该图片直接判定为无缺陷，从而有效减少了误判和过检。如果有缺陷，将图片继续送至后续的“目标检测网络”（即特征提取网络2+区域提取网络3+候选区域处理网络4+循环卷积神经网络5）进行分析，目标检测网络可以进一步检测输入图片上是否真正存在缺陷，如果也无缺陷，将最终检测结果为无缺陷，如果有缺陷，目标检测网络将会从循环卷积神经网络5的输出端输出缺陷所属的类别和在图像中的位置（即缺陷的类别和定位框）。

在第二至第四阶段分类残差网络12-14中插入可变形卷积层，可变形卷积层使用一个额外的全连接卷积层来学习目标的偏移量，然后这个学习到的偏移量与输入的特征图片一起作为可变形卷积层的输入，这样采样点通过学习到的偏移量获得偏置，然后与输入的特征图进行卷积，能够更好的适应目标的变形。

目标检测网络中，特征提取网络（Feature Extraction Network）2的输出为图像的特征图，区域提取网络3即为RPN（Region Propose Network），区域提取网络3的输入为特征提取网络2输出的特征图，区域提取网络3的输出为多个候选区域（Region Proposals），具体来说，区域提取网络3可以将输入样本映射成一个概率值（二分类问题）和四个坐标值，其中概率值反映anchors（锚）中有缺陷的概率，四个坐标值用于回归定义缺陷的位置，最后将二分类和坐标回归的损失统一起来，进行区域提取网络3的训练，以获得精确的候选区域。候选区域处理网络4为ROI Pooling层，其中ROI即为Region of Interest（感兴趣区域），ROI Pooling可以综合输入的特征图分块池化得到固定尺寸的特征图，从而可以显著提高后续模型的训练和测试速度，并提高检测精度。循环卷积神经网络（即RCNN）5主要目的是基于固定尺寸的特征图，输出候选区域所属的类别和候选区域在图像中的位置。

由此，先利用分类残差网络实现是否存在缺陷的判别，再利用目标检测网络对缺陷进行进一步地定位与分类，且在分类残差网络中插入可变形卷积层，可以增强对被检测小物体的变形、旋转、放缩等的检测效果，从而能够更好的适应检测目标的尺度、姿态、视角的影响，对于有缺陷的图片进一步输入至目标检测网络进行处理，使提取的特征精度更高、更好的满足现场和客户的要求，对工业现场的缺陷具有非常好的泛化能力和鲁棒性。

根据本发明的一个实施例，如图2所示，分类残差网络1还可以包括：下采样模块15、全连接层模块16，其中，下采样模块15的输入端作为分类残差网络1的输入端Input，下采样模块15的输出端与第一阶段分类残差网络11的输入端相连，第一阶段分类残差网络11的输出端与第二阶段分类残差网络12的输入端相连，第二阶段分类残差网络12的输出端与第三阶段分类残差网络13的输入端相连，第三阶段分类残差网络13的输出端与第四阶段分类残差网络14的输入端相连；全连接层模块16的输入端与第四阶段分类残差网络14的输出端相连。

在本发明中，附图中的Output代表相应模块的输出端，Input代表相应模块的输入端。

进一步地，在本发明的一个实施例中，如图3所示，下采样模块15包括三个3x3卷积和一个最大池化层MaxPool，且3x3卷积的使用步长为2，下采样模块15输出的特征图只有输入的1/2大小。

根据本发明的一个实施例，如图2所示，第一阶段分类残差网络11包括：串联的第一下采样单元111、第一残差单元112和第二残差单元113；第二阶段分类残差网络12包括：串联的第二下采样单元121、第三残差单元122、第四残差单元123和第五残差单元124；第三阶段分类残差网络13包括：串联的第三下采样单元131、第六残差单元132、第七残差单元133、第八残差单元134、第九残差单元135和第十残差单元136；第四阶段分类残差网络14包括：串联的第四下采样单元141、第十一残差单元142和第十二残差单元143。

具体地，在第二至第四阶段分类残差网络12-14中的下采样单元和残差单元中均插入可变形卷积层DCL，第一阶段分类残差网络11中的下采样单元和残差单元不插入可变形卷积层DCL，其中，不插入可变形卷积层DCL的下采样单元可参见图4所示，即第一下采样单元111的结构可参见图4所示；插入可变形卷积层DCL的下采样单元可参见图5所示，即第二下采样单元121、第三下采样单元131和第四下采样单元141的结构可参见图5所示。不插入可变形卷积层DCL的残差单元可参见图6所示，即第一残差单元112和第二残差单元113的结构可参见图6所示；插入可变形卷积层DCL的残差单元的结构可参见图7所示，即第三残差单元122、第四残差单元123、第五残差单元124、第六残差单元132、第七残差单元133、第八残差单元134、第九残差单元135和第十残差单元136、十一残差单元142和第十二残差单元143的结构可参见图7所示。

在本发明的实施例中，如图4-5所示，每个下采样单元采用两条通路构成，第一条通路由2个1×1卷积层（Conv1×1）+1个3×3卷积层（或者2个1×1卷积+DCL层）构成，作用是用来学习输入图片的特征；第二条通路由一个1×1卷积层（Conv1×1）+平均池化层（AvgPooling），作用是把输入图像处理成与另外一条通路完全一样的大小和尺寸。

如图6-7所示，每个残差单元采用两条通路构成，第一条通路由一个1×1卷积层（Conv1×1）和平均池化层（AvgPooling）构成，第二条通路由两个1×1卷积层（Conv1×1）+一个3×3卷积层（或者两个1×1卷积层+ DCL层）构成。其中，不插入可变形卷积层DCL的残差单元的两条通路的输出还经过Relu激活函数将网络线性化。

在本发明的一个实施例中，如图8所示，特征提取网络2可以包括：四个卷积模块ConvBlock和与卷积模块ConvBlock对应相连四个FPN（Feature Pyramid Networks，特征金字塔），四个卷积模块ConvBlock分别与第一至第四阶段分类残差网络11-14的输出端相连，四个FPN的输出端与区域提取网络3的输入端相连。

更进一步地，如图9所示，在卷积模块ConvBlock中插入有SPP模块，卷积模块ConvBlock包括CoordConv。

具体地，如图8所示，第一至第四阶段分类残差网络11-14的还分别连接至特征提取网络2的对应卷积模块ConvBlock，然后再然后输入至FPN。

本发明中，如图9所示，在卷积模块ConvBlock包括：依次串联的CoordConv1×1（坐标卷积）、Conv3×3、CoordConv1×1、SPP、Conv3×3、CoordConv1×1、Conv1×1、上采样。在卷积模块ConvBlock加入SPP能增加不同尺寸大小的缺陷的检测精度，提升多尺度特征提取的效果，并且，本发明中采用CoordConv，CoordConv和一般卷积Conv区别在于：CoordConv输入中添加了两个通道：一个i坐标，一个j坐标，CoordConv解决了卷积时的坐标变换问题，具有更好的泛化能力，训练速度提高150倍，参数比一般卷积少10-100倍，并能极大提升多种视觉任务的表现。

在本发明的一个实施例中，如图8所示，循环卷积神经网络5包括四个全连接层。

综上所述，工业质检中的检测装置，在分类残差网络中插入可变形卷积层，可以增强对被检测小物体的变形、旋转、放缩等的检测效果，从而能够更好的适应检测目标的尺度、姿态、视角的影响，且对于有缺陷的图片进一步输入至目标检测网络进行处理，使提取的特征精度更高、更好的满足现场和客户的要求，对工业现场的缺陷具有非常好的泛化能力和鲁棒性。

在本发明的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必针对相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、 “示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备（如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统）使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例（非穷尽性列表）包括以下：具有一个或多个布线的电连接部（电子装置），便携式计算机盘盒（磁装置），随机存取存储器（RAM），只读存储器（ROM），可擦除可编辑只读存储器（EPROM或闪速存储器），光纤装置，以及便携式光盘只读存储器（CDROM）。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (6)

1.一种工业质检中的检测装置，其特征在于，包括：

分类残差网络，所述分类残差网络用于获取工业现场图片并对所述工业现场图片进行分类，分类结果包括：缺陷和良品，所述分类残差网络包括：串联的第一阶段分类残差网络、第二阶段分类残差网络、第三阶段分类残差网络和第四阶段分类残差网络，第一至第四阶段分类残差网络包括残差单元和下采样单元，其中，在第二至第四阶段分类残差网络中插入可变形卷积层；

特征提取网络，所述特征提取网络的输入端与所述分类残差网络相连，所述特征提取网络用于提取所述分类结果为缺陷的图片的特征图；

区域提取网络，所述区域提取网络的输入端与所述特征提取网络的输出端相连，所述区域提取网络用于根据所述特征图生成至少一个候选区域；

候选区域处理网络，所述候选区域处理网络的输入端与所述区域提取网络的输出端相连，所述候选区域处理网络用于将所述候选区域归一化为固定尺寸的候选区域，以获取固定尺寸的特征图；

循环卷积神经网络，所述循环卷积神经网络的输入端与所述候选区域处理网络的输出端相连，所述循环卷积神经网络用于根据所述固定尺寸的特征图输出候选区域所属的类别和候选区域在图像中的位置；其中，所述分类残差网络还包括：

下采样模块，所述下采样模块的输入端作为所述分类残差网络的输入端，所述下采样模块的输出端与所述第一阶段分类残差网络的输入端相连，所述第一阶段分类残差网络的输出端与所述第二阶段分类残差网络的输入端相连，所述第二阶段分类残差网络的输出端与所述第三阶段分类残差网络的输入端相连，所述第三阶段分类残差网络的输出端与第四阶段分类残差网络的输入端相连；

全连接层模块，所述全连接层模块的输入端与所述第四阶段分类残差网络的输出端相连；

所述第一阶段分类残差网络包括：串联的第一下采样单元、第一残差单元和第二残差单元；

所述第二阶段分类残差网络包括：串联的第二下采样单元、第三残差单元、第四残差单元和第五残差单元；

所述第三阶段分类残差网络包括：串联的第三下采样单元、第六残差单元、第七残差单元、第八残差单元、第九残差单元和第十残差单元；

所述第四阶段分类残差网络包括：串联的第四下采样单元、第十一残差单元和第十二残差单元。

2.根据权利要求1所述的工业质检中的检测装置，其特征在于，所述特征提取网络包括：四个卷积模块ConvBlock和与卷积模块ConvBlock对应相连的四个FPN，所述四个卷积模块ConvBlock分别与所述第一至第四阶段分类残差网络的输出端相连，所述四个FPN的输出端与所述区域提取网络的输入端相连。

3.根据权利要求2所述的工业质检中的检测装置，其特征在于，在所述卷积模块ConvBlock中插入有SPP模块。

4.根据权利要求3所述的工业质检中的检测装置，其特征在于，所述卷积模块包括CoordConv。

5.根据权利要求4所述的工业质检中的检测装置，其特征在于，所述循环卷积神经网络包括多个全连接层。

6.根据权利要求1所述的工业质检中的检测装置，其特征在于，所述下采样模块包括三个3x3卷积和一个最大池化层，且所述3x3卷积的使用步长为2。

Images