CN111882545B - 基于双向信息传递及特征融合的织物疵点检测方法 - Google Patents

Abstract

本发明提出了一种基于双向信息传递及特征融合的织物疵点检测方法，其步骤为：首先，采用改进的VGG16网络提取织物图像的多级多尺度中间深度特征图，并通过双向信息传递模块进行处理，得到多级深度特征图；其次，引入空间邻域对比特征提取模块，对多级深度特征图进行处理，得到局部特征图；最后，采用非局部特征融合模块对局部特征图和多级深度特征图进行有效融合，获取更准确的疵点图像的最终显著图。本发明综合考虑了织物图像背景的复杂性和疵点类型的多样性，通过双向信息传递模块在不同层级间互相传递信息，同时空间邻域对比特征提取模块提升多级多尺度特征对织物图像的表征能力，使得检测结果具有更好的自适应性和检测精度。

Description

基于双向信息传递及特征融合的织物疵点检测方法

技术领域

本发明涉及纺织品图像处理技术领域，特别是指一种基于双向信息传递及特征融合的织物疵点检测方法。

背景技术

织物疵点检测在纺织品制造业中对于产品质量控制起到非常重要的作用。由于织物瑕疵类型的多样性以及纺织品纹理的复杂性，给织物疵点检测带来了诸多困难，使其难以设计一种广义的方法。先前大多工厂通常采用人工视觉的检测方法，但是由于人的观察是有限的，且长时间连续工作的工人可能会因为疲劳而产生误检，漏检等，造成额外的物力和财力的损失。因此，实现织物疵点检测自动化成为纺织品企业必然的发展趋势。

视觉显著性旨在模拟人的视觉系统自动地识别和定位视觉场景中的主要目标。纺织品上的疵点即对应视觉场景中的前景目标，所以将显著模型应用于织物疵点检测是十分可行的。早期的织物疵点检测算法主要通过手工制作的特征去捕捉局部细节和全局背景信息，但由于缺少高级语义信息，限制了其对织物背景复杂的疵点的检测。基于视觉显著性的检测方法有经典的统计分析方法，频域分析方法和字典学习等，虽然取得一定的效果，但是提取特征不能很好的描述复杂的织物纹理，显著度计算方法不能满足工业现场的要求，对疵点与背景差别较小的织物图像检测效果差强人意。

全卷积网络FCN(Fully ConvolutionalNetwork)在语义分割、图像分类、物体检测等视觉类任务方面以其强大的特征提取能力而备受关注。近年来，相关学者提出许多基于FCN的显著目标检测模型。首先大多基于FCN的显著目标检测模型通过堆叠单尺度卷积和池化操作来生成深度显著图，如文献[L.Wang,H.Lu,X.Ruan,and M.Yang.Deep networks forsaliency detection via local estimation and global search[C]//Proceedings ofthe IEEE conference on computer vision and pattern recognition,2015.]。但由于织物疵点的尺寸不同，单尺度卷积无法捕捉到合适的尺寸，有限的接受域使得网络无法学习包含丰富上下文信息的特征，无法准确检测出各种类型的织物疵点。其次许多尝试直接使用深层的高级特征来执行预测任务或者单向地融合不同层次的特征用于生成最终的显著性图，如文献[L.Wang,L.Wang,H.Lu,P.Zhang,and X.Ruan.Saliency detection withrecurrent fully convolutional networks[C]//Proceedings of the IEEE conferenceon computer vision and pattern recognition,2016]。但为了识别织物图像中有缺陷的部分，需要局部和全局的上下文信息。然而，这些单向框架只是从浅层到深层或从深层到浅层执行，忽略了相反方向的信息传输。因此，高层次的输出必然缺少浅层所包含的低层次空间细节。

为了解决单尺度卷积接收域限制和单向信息融合问题，文献[L.Zhang,J.Dai,H.Lu,Y.He,and G.Wang.A bi-directional message passing model for salientobject detection[C]//Proceedings of the IEEE conference on computer visionand pattern recognition.2018.]引入了一个多尺度上下文感知特征提取模块和双向信息传递模块。目前的疵点显著检测算法虽然取得了一定的检测效果，但是仍然存在很多问题，如检测精度、检测速度仍有很大的进步空间。

发明内容

针对现有织物疵点检测技术存在的检测精度低、检测速度慢的技术问题，本发明提出了一种基于双向信息传递及特征融合的织物疵点检测方法，首先利用增强VGGnet网络提取织物图像的多级初步深度特征，随后利用双向信息传递模块提取融合丰富上下文信息的有效特征，然后利用空间邻域特征提取模块增强空间邻域的对比度信息，进一步提升特征的表征能力，最后非局部特征融合模块有效融合局部和全局信息，更好地输出最终显著图，以提升织物疵点检测精度。

本发明的技术方案是这样实现的：

一种基于双向信息传递及特征融合的织物疵点检测方法，其步骤如下：

S1、将大小为M×M的图像X输入改进的VGG16网络，利用改进的VGG16网络的多层卷积结构提取图像X的多级初步深度特征图；

S2、利用双向信息传递模块分别对步骤S1中的多级初步深度特征图进行处理，得到多级深度特征图；

S3、利用空间邻域特征提取模块分别对步骤S2中的多级深度特征图进行处理，得到局部特征图；

S4、利用非局部特征融合模块对步骤S3中的局部特征图和步骤S1中的最后一级初步深度特征图进行融合，获得疵点图像的最终显著图。

所述改进的VGG16网络包括5个阶段，分别为conv1、conv2、conv3、conv4和conv5阶段，阶段conv1与阶段conv2相连接，阶段conv2与阶段conv3相连接，阶段conv3与阶段conv4相连接，阶段conv4与阶段conv5相连接。

所述阶段conv1包括卷积层Conv1_1、Conv1_2和池化层pool1，阶段conv2包括卷积层Conv2_1、Conv2_2和池化层pool2，阶段conv3包括卷积层Conv3_1、Conv3_2、Conv3_3和池化层pool3，阶段conv4包括卷积层Conv4_1、Conv4_2、Conv4_3和池化层pool4，阶段conv5包括卷积层Conv5_1、Conv5_2、Conv5_3和池化层pool5。

图像X依次经改进的VGG16网络的池化层pool1、pool2、pool3、pool4和pool5分别输出图像X的多级初步深度特征图其中，/>为第i级初步深度特征图，i＝1,2,…,5，C_i为第i级初步深度特征图的通道数，H_i为第i级初步深度特征图的高度，W_i为第i级初步深度特征图的宽度。

所述双向信息传递模块包括多尺度上下文感知特征提取块和双向信息传递块，利用双向信息传递模块分别对步骤S1中的多级多尺度初步深度特征图进行处理，得到多级深度特征图的方法为：

S21、将第i级初步深度特征图输入多尺度上下文感知特征提取块中，分别利用卷积层I、卷积层II、卷积层III和卷积层IV对第i级初步深度特征图/>进行卷积得到卷积特征图/>其中，j＝1,2,3,4表示第j个卷积层，C_i,j为第i级初步深度特征图对应的第j个卷积特征图的通道数；

S22、将第i级初步深度特征图对应的所有卷积特征图进行通道叠加，输出第i级中间深度特征图其中，C＝C_i,1+C_i,2+C_i,3+C_i,4；

S23、将步骤S22中的第i级中间深度特征图输入双向信息传递块中，获得多级深度特征图/>其中，/>为双向信息传递块中的浅层侧输出到深层侧输出信息传递方向上输出的深度特征图，/>为双向信息传递块中的深层侧输出到浅层侧输出信息传递方向上输出的深度特征图，/>为双向信息传递块中的双向信息融合输出的深层特征图。

所述双向信息传递块中的浅层侧输出到深层侧输出信息传递方向上输出的深度特征图的获得方法为：

其中，为第i-1级的浅层侧输出到深层侧输出信息传递方向上输出的深度特征图，Conv₁(·)是卷积核大小为3×3、步长为2的卷积操作；

所述双向信息传递块中的深层侧输出到浅层侧输出信息传递方向上输出的深度特征图F_i ²的获得方法为：

其中，为第i+1级的深层侧输出到浅层侧输出信息传递方向上输出的深度特征图，UP(·)是因子为2的上采样操作；

所述双向信息传递块中的双向信息融合输出的深层特征图的获得方法为：

其中，Cat(·)为信道间级联操作，Conv(·)是卷积核大小为3×3、步长为1的卷积操作。

所述利用空间邻域特征提取模块分别对步骤S2中的多级深度特征图进行处理，得到局部特征图的方法为：

S31、利用平均池化函数对双向信息融合输出的深度特征图进行池化后与深度特征图/>进行求差值运算，得到空间邻域对比度增强的深度特征图/>

其中，Avgpool(·)是核大小为3×3的平均池化操作；

S32、通过对双向信息融合输出的深度特征图和空间邻域对比度增强的深度特征图/>进行反卷积操作，生成多级中间局部特征图H_i：

其中，Deconv(·)是卷积核大小为3×3、步长为2的反卷积操作；

S33、采用卷积核大小为1×1的卷积层对中间局部特征图H₁进行卷积操作，生成最终的局部特征图F_L：

F_L＝Conv₂(H₁)，

其中，Conv₂(·)是卷积核大小为1×1的卷积操作。

所述利用非局部特征融合模块对步骤S3中的局部特征图和步骤S1中的最后一级初步深度特征图进行融合，获得疵点图像的最终显著图的方法为：

S41、将步骤S1中得到的第5级初级深度特征图输入卷积网络中进行卷积操作，生成全局特征F_G，其中，卷积网络的结构为：卷积层V-卷积层VI-卷积层VII，卷积层V与卷积层VI相连接，卷积层VI与卷积层VII相连接，且卷积层V的卷积核大小为5×5，卷积层VI的卷积核大小为5×5，卷积层VII的卷积核大小为3×3；

S42、利用卷积核大小为1×1的卷积层VIII分别对局部特征F_L和全局特征F_G进行卷积，并对卷积后的局部特征F_L和全局特征F_G相加，获得最终的显著图S。

本技术方案能产生的有益效果：本发明基于双向信息传递模型，利用增强VGGnet网络输出多级初步深度特征图；利用双向信息传递模块在各级中间深度特征图间编码融合高级语义信息和细节信息，输出多级深度特征图，从而指导低层次特征定位疵点位置，同时增强高层次特征细节表征；利用空间邻域特征模块沿各分辨率轴对各级深度特征图空间邻域对比度信息进行增强，进而提升了特征图的表征能力；利用非局部特征融合模块对局部特征和全局特征进行有效融合，进一步提高了特征的有效性，使织物疵点检测具有良好的检测精度和自适应性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的流程图；

图2(a)～(d)为本发明实施例中常见的原始织物图像；

图3(a)～(d)分别为图3(a)～(d)的真值图；

图4(a)～(d)分别为图3(a)～(d)基于文献[1]方法生成的显著图；

图5(a)～(d)分别为图3(a)～(d)基于文献[2]方法生成的显著图；

图6(a)～(d)分别为图3(a)～(d)基于本发明方法对应生成的显著图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明实施例提供了一种基于双向信息传递及特征融合的织物疵点检测方法，包括双向信息传递模块、空间邻域特征提取模块和非局部特征融合模块，本发明所提模型的训练和测试是在训练图像X_n＝{x_i′,i′＝1,……,n}和其对应的真值图Y_n＝{y_i′,i′＝1,……,n}中的所有像素上计算的，具体步骤如下：

S1、将大小为M×M的图像X输入改进的VGG16网络，利用改进的VGG16网络的多层卷积结构提取图像X的多级初步深度特征图；

所述改进的VGG16网络包括5个阶段，分别为conv1、conv2、conv3、conv4和conv5阶段，阶段conv1与阶段conv2相连接，阶段conv2与阶段conv3相连接，阶段conv3与阶段conv4相连接，阶段conv4与阶段conv5相连接，具体组成如表1所示，输入图像自低向上进行层层卷积和池化，获得多级多尺度的特征图，以提取多级织物纹理特征。所述阶段conv1包括卷积层Conv1_1、Conv1_2和池化层pool1，阶段conv2包括卷积层Conv2_1、Conv2_2和池化层pool2，阶段conv3包括卷积层Conv3_1、Conv3_2、Conv3_3和池化层pool3，阶段conv4包括卷积层Conv4_1、Conv4_2、Conv4_3和池化层pool4，阶段conv5包括卷积层Conv5_1、Conv5_2、Conv5_3和池化层pool5。图像X依次经改进的VGG16网络的池化层pool1、pool2、pool3、pool4和pool5分别输出图像X的多级初步深度特征图其中，/>为第i级初步深度特征图，i＝1,2,…,5，C_i为第i级初步深度特征图的通道数，H_i为第i级初步深度特征图的高度，W_i为第i级初步深度特征图的宽度。

表1主网络的网络配置表

S2、利用双向信息传递模块分别对步骤S1中的多级多尺度初步深度特征图进行处理，得到多级深度特征图；所述双向信息传递模块包括多尺度上下文感知特征提取块和双向信息传递块，其中，对于多尺度上下文感知特征提取块，文献[1]-[Zhang L,Dai J,Lu H,He Y,and Wang G.A Bi-directional Message Passing Model for Salient ObjectDetection[C]//2018IEEE Conference on Computer Vision and Pattern Recognition(CVPR).IEEE,2018.]中为减少计算量，采用四个并行的膨胀卷积，但由于织物疵点属于较小的目标，利用膨胀卷积会丢失很多重要信息，故本发明利用四个并行的标准卷积操作对输入特征图进行卷积生成多级多尺度特征图，随后将特征图连接起来得到多级中间深度特征图/>其中四个并行的卷积层详细信息如表2所示。双向信息传递块对多级中间深度特征图/>在两个方向上进行信息传递，沿低层次到高层次方向上进行信息的编码融合生成深度特征图/>沿高层次到低层次方向上进行信息的编码融合生成深度特征图/>随后对两个方向上生成的深度特征图进行编码融合得到深度特征图/>

表2多尺度上下文感知特征提取块的详细信息

多级深度特征图的获得方法为：

S21、将第i级初步深度特征图输入多尺度上下文感知特征提取块中，分别利用卷积层I、卷积层II、卷积层III和卷积层IV对第i级初步深度特征图/>进行卷积得到卷积特征图/>其中，j＝1,2,3,4表示第j个卷积层，C_i,j＝32为第i级初步深度特征图对应的第j个卷积特征图的通道数；

S22、将第i级初步深度特征图对应的所有卷积特征图进行通道叠加，输出第i级中间深度特征图其中，C＝C_i,1+C_i,2+C_i,3+C_i,4＝128；

S23、将步骤S22中的第i级中间深度特征图输入双向信息传递块中，获得多级深度特征图/>其中，/>为双向信息传递块中的浅层侧输出到深层侧输出信息传递方向上输出的深度特征图，/>为双向信息传递块中的深层侧输出到浅层侧输出信息传递方向上输出的深度特征图，/>为双向信息传递块中的双向信息融合输出的深层特征图。

所述双向信息传递块中的浅层侧输出到深层侧输出信息传递方向上输出的深度特征图的获得方法为：

其中，为第i-1级的浅层侧输出到深层侧输出信息传递方向上输出的深度特征图，Cat(·)为信道间级联操作，Conv₁(·)是卷积核大小为3×3、步长为2的卷积操作；

所述双向信息传递块中的深层侧输出到浅层侧输出信息传递方向上输出的深度特征图的获得方法为：

其中，为第i+1级的深层侧输出到浅层侧输出信息传递方向上输出的深度特征图，UP(·)是因子为2的上采样操作，Conv(·)是卷积核大小为3×3、步长为1的卷积操作；

所述双向信息传递块中的双向信息融合输出的深层特征图的获得方法为：

其中，Conv(·)是卷积核大小为3×3、步长为1的卷积操作。

S3、利用空间邻域特征提取模块分别对步骤S2中的多级深度特征图进行处理，使得多级深度特征图沿着各分辨率轴提升特征的空间邻域对比度信息，得到局部特征图，具体方法为：

S31、利用平均池化函数对双向信息融合输出的深度特征图进行池化后与深度特征图/>进行求差值运算，得到空间邻域对比度增强的深度特征图/>

其中，Avgpool(·)是核大小为3×3的平均池化操作；

S32、通过对双向信息融合输出的深度特征图和空间邻域对比度增强的深度特征图/>进行反卷积操作，生成多级中间局部特征图H_i：

其中，Deconv(·)是卷积核大小为3×3、步长为2的反卷积操作；

S33、采用卷积核大小为1×1的卷积层对中间局部特征图H₁进行卷积操作，生成最终的局部特征图F_L：

F_L＝Conv₂(H₁)，

其中，Conv₂(·)是卷积核大小为1×1的卷积操作。

S4、利用非局部特征融合模块对步骤S3中的局部特征图和步骤S1中的最后一级初步深度特征图进行融合，获得疵点图像的最终显著图，具体方法为：

S41、将步骤S1中得到的第5级初级深度特征图输入卷积网络中进行卷积操作，生成全局特征F_G，其中，卷积网络的结构为：卷积层V-卷积层VI-卷积层VII，卷积层V与卷积层VI相连接，卷积层VI与卷积层VII相连接，且卷积层V的卷积核大小为5×5，卷积层VI的卷积核大小为5×5，卷积层VII的卷积核大小为3×3；

S42、利用卷积核大小为1×1的卷积层VIII分别对局部特征F_L和全局特征F_G进行卷积，并对卷积后的局部特征F_L和全局特征F_G相加，获得最终的显著图S。

具体实例：

在实施例中，从一个包含1600张织物图像的数据库中随机挑选几类常见的疵点图像，如图2(a)～(d)所示，分别为异物，油污，破洞和污渍等，图像大小选为512pixel×512pixel。训练和测试期间，学习速率设为1E-6，Adam参数β₁＝0.9和β₂＝0.999，重量衰减设为0.0005。具体实施例详见图3～图6。

图3(a)～(d)为逐像素标注的ground truth。图4(a)～(d)为采用文献[2]-[LuoZ,Mishra A,Achkar A,et al.Non-local Deep Features for Salient ObjectDetection[C]//2017IEEE Conference on Computer Vision and Pattern Recognition(CVPR).IEEE,2017.]的方法生成的显著图，该方法对大多数织物疵点都有较好的检测效果，但是当疵点的形状为细长型时，对疵点的检测效果一般。图5(a)～(d)为文献[3]-[QinX,Zhang Z,Huang C,Gao C,Dehghan M,and Jagersand M.BASNet:Boundary-awaresalient object detection.[C]//2019IEEE Conference on Computer Vision andPattern Recognition(CVPR).IEEE,2019.]的方法生成的显著图，该方法能检测一般纹理织物的疵点区域，但对于疵点与背景相差较小的图像的检测效果不理想。图6(a)～(d)为本发明方法生成的显著图。可以看出，本发明的方法能够检测出多种织物图像，不仅可以很好的定位出疵点位置，而且较好地还原了疵点轮廓。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种基于双向信息传递及特征融合的织物疵点检测方法，其特征在于，其步骤如下：

S1、将大小为M×M的图像X输入改进的VGG16网络，利用改进的VGG16网络的多层卷积结构提取图像X的多级初步深度特征图；

所述改进的VGG16网络包括5个阶段，分别为conv1、conv2、conv3、conv4和conv5阶段，阶段conv1与阶段conv2相连接，阶段conv2与阶段conv3相连接，阶段conv3与阶段conv4相连接，阶段conv4与阶段conv5相连接；

所述阶段conv1包括卷积层Conv1_1、Conv1_2和池化层pool1，阶段conv2包括卷积层Conv2_1、Conv2_2和池化层pool2，阶段conv3包括卷积层Conv3_1、Conv3_2、Conv3_3和池化层pool3，阶段conv4包括卷积层Conv4_1、Conv4_2、Conv4_3和池化层pool4，阶段conv5包括卷积层Conv5_1、Conv5_2、Conv5_3和池化层pool5；

图像X依次经改进的VGG16网络的池化层pool1、pool2、pool3、pool4和pool5分别输出图像X的多级初步深度特征图其中，/>为第i级初步深度特征图，i＝1,2,…,5，Ci为第i级初步深度特征图的通道数，H_i为第i级初步深度特征图的高度，W_i为第i级初步深度特征图的宽度；

S2、利用双向信息传递模块分别对步骤S1中的多级初步深度特征图进行处理，得到多级深度特征图；

所述双向信息传递模块包括多尺度上下文感知特征提取块和双向信息传递块，利用双向信息传递模块分别对步骤S1中的多级多尺度初步深度特征图进行处理，得到多级深度特征图的方法为：

S21、将第i级初步深度特征图输入多尺度上下文感知特征提取块中，分别利用卷积层I、卷积层II、卷积层III和卷积层IV对第i级初步深度特征图/>进行卷积得到卷积特征图/>其中，j＝1,2,3,4表示第j个卷积层，C_i,j为第i级初步深度特征图对应的第j个卷积特征图的通道数；

S22、将第i级初步深度特征图对应的所有卷积特征图进行通道叠加，输出第i级中间深度特征图其中，C＝C_i,1+C_i,2+C_i,3+C_i,4；

S23、将步骤S22中的第i级中间深度特征图输入双向信息传递块中，获得多级深度特征图/>其中，/>为双向信息传递块中的浅层侧输出到深层侧输出信息传递方向上输出的深度特征图，/>为双向信息传递块中的深层侧输出到浅层侧输出信息传递方向上输出的深度特征图，/>为双向信息传递块中的双向信息融合输出的深层特征图；

所述双向信息传递块中的浅层侧输出到深层侧输出信息传递方向上输出的深度特征图的获得方法为：

其中，为第i-1级的浅层侧输出到深层侧输出信息传递方向上输出的深度特征图，Conv₁(·)是卷积核大小为3×3、步长为2的卷积操作；

所述双向信息传递块中的深层侧输出到浅层侧输出信息传递方向上输出的深度特征图F_i ²的获得方法为：

其中，为第i+1级的深层侧输出到浅层侧输出信息传递方向上输出的深度特征图，UP(·)是因子为2的上采样操作；

所述双向信息传递块中的双向信息融合输出的深层特征图的获得方法为：

其中，Cat(·)为信道间级联操作，Conv(·)是卷积核大小为3×3、步长为1的卷积操作；

S3、利用空间邻域特征提取模块分别对步骤S2中的多级深度特征图进行处理，得到局部特征图；

S4、利用非局部特征融合模块对步骤S3中的局部特征图和步骤S1中的最后一级初步深度特征图进行融合，获得疵点图像的最终显著图。

2.根据权利要求1所述的基于双向信息传递及特征融合的织物疵点检测方法，其特征在于，所述利用空间邻域特征提取模块分别对步骤S2中的多级深度特征图进行处理，得到局部特征图的方法为：

S31、利用平均池化函数对双向信息融合输出的深度特征图进行池化后与深度特征图F_i ³进行求差值运算，得到空间邻域对比度增强的深度特征图/>

其中，Avgpool(·)是核大小为3×3的平均池化操作；

S32、通过对双向信息融合输出的深度特征图和空间邻域对比度增强的深度特征图F_i ^c进行反卷积操作，生成多级中间局部特征图H_i：

其中，Deconv(·)是卷积核大小为3×3、步长为2的反卷积操作；

S33、采用卷积核大小为1×1的卷积层对中间局部特征图H₁进行卷积操作，生成最终的局部特征图_FL：

F_L＝Conv₂(H₁)，

其中，Conv₂(·)是卷积核大小为1×1的卷积操作。

3.根据权利要求2所述的基于双向信息传递及特征融合的织物疵点检测方法，其特征在于，所述利用非局部特征融合模块对步骤S3中的局部特征图和步骤S1中的最后一级初步深度特征图进行融合，获得疵点图像的最终显著图的方法为：

S41、将步骤S1中得到的第5级初级深度特征图输入卷积网络中进行卷积操作，生成全局特征F_G，其中，卷积网络的结构为：卷积层V-卷积层VI-卷积层VII，卷积层V与卷积层VI相连接，卷积层VI与卷积层VII相连接，且卷积层V的卷积核大小为5×5，卷积层VI的卷积核大小为5×5，卷积层VII的卷积核大小为3×3；

S42、利用卷积核大小为1×1的卷积层VIII分别对局部特征F_L和全局特征F_G进行卷积，并对卷积后的局部特征F_L和全局特征F_G相加，获得最终的显著图S。