CN114037833B - 一种苗族服饰图像语义分割方法 - Google Patents
一种苗族服饰图像语义分割方法 Download PDFInfo
- Publication number
- CN114037833B CN114037833B CN202111371509.3A CN202111371509A CN114037833B CN 114037833 B CN114037833 B CN 114037833B CN 202111371509 A CN202111371509 A CN 202111371509A CN 114037833 B CN114037833 B CN 114037833B
- Authority
- CN
- China
- Prior art keywords
- convolution
- feature
- layer
- attention
- scale
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 58
- 238000000034 method Methods 0.000 title claims abstract description 49
- 239000000284 extract Substances 0.000 claims abstract description 6
- 230000000750 progressive effect Effects 0.000 claims description 43
- 238000004364 calculation method Methods 0.000 claims description 30
- 238000000605 extraction Methods 0.000 claims description 20
- 230000004927 fusion Effects 0.000 claims description 20
- 230000017105 transposition Effects 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 11
- 230000002776 aggregation Effects 0.000 claims description 10
- 238000004220 aggregation Methods 0.000 claims description 10
- 230000007246 mechanism Effects 0.000 claims description 9
- 238000010586 diagram Methods 0.000 claims description 7
- VYGQUTWHTHXGQB-FFHKNEKCSA-N Retinol Palmitate Chemical compound CCCCCCCCCCCCCCCC(=O)OC\C=C(/C)\C=C\C=C(/C)\C=C\C1=C(C)CCCC1(C)C VYGQUTWHTHXGQB-FFHKNEKCSA-N 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 6
- 230000004931 aggregating effect Effects 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 6
- 230000010354 integration Effects 0.000 claims description 6
- 238000005286 illumination Methods 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 4
- 239000011717 all-trans-retinol Substances 0.000 claims description 3
- 239000012141 concentrate Substances 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 235000019172 retinyl palmitate Nutrition 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 abstract 1
- 230000009286 beneficial effect Effects 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 230000001788 irregular Effects 0.000 description 3
- 230000015556 catabolic process Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000005034 decoration Methods 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种苗族服饰图像语义分割方法，其特征在于，包括如下步骤：1）数据增强；2）编码；3）解码；4）辅助分支结构；5）实现语义分割。这种方法能提取到少数民族服饰的大尺度高级语义信息，而且提取的特征包含更多低级纹理的重要细节、迁移和融合少数民族服饰之间自相似性与跨尺度相似性的特征，能提高苗族服饰图像语义分割的准确度。
Description
技术领域
本发明涉及图像处理和机器视觉技术，具体是一种苗族服饰图像语义分割方法。
背景技术
少数民族将自己的宗教文化、图腾文化体现在服饰的纹样和建筑的装饰上，这样不仅起到美化自身的作用，还能够传达特殊的文化意义。我国少数民族种类繁多，民族服饰多姿多彩，如何正确、高效地分割少数民族服饰的图案，对于辅助研究人员研究少数民族文化具有重要的意义。
图像语义分割Semantic Segmentation是图像处理和是机器视觉技术中关于图像理解的重要一环，也是AI领域中一个重要的分支。语义分割即是对图像中每一个像素点进行分类，确定每个点的类别，如属于背景、人或车，从而进行区域划分。目前，语义分割已经被广泛应用于自动驾驶、无人机落点判定等场景中。
虽然已经有学者对民族服饰图像进行了研究，但在民族服饰图像分割的自动优化、提取、分类、识别等方面的研究还很少，这影响了从大量民族服饰图像中快速检索和识别。区别于时尚服饰，少数民族服装具有以下特点：(1)服饰图案结构复杂；(2)服饰饰品繁多，同时存在很多小饰品；(3)同一款式服饰饰品之间颜色细节属性差异不大。因此，现有的语义分割模型只能用于时尚服装识别，难于分割出少数民族服饰局部信息。
服饰图像的语义分割侧重于解析细粒度服饰分割项目，消除服饰标签的语义信息混淆歧义。现有技术中基于超像素分割和姿态估计模型，提出了一种分割时尚服饰的方法，该方法对分割结果不断优化，得到了精确的分割结果；基于检索的模型从带有标记的时尚图像数据库进行模版匹配，找到相似的分割服饰样式，进而对服饰进行分割；基于一种图像协同分割的模型，该方法第一阶段使用支持向量机迭代图像和数据库中的服饰一致区域，并细化图像所有区域，第二阶段通过分割区域的顶点，结合服饰图像的上下文信息，细化分割区域。然而上述方法只针对时尚服装分割，并未考虑少数民族服饰结构复杂、佩饰繁多且存在小饰品等因素，影响了少数民族服饰分割图像的语义分割效果。
为了提高语义分割的准确率，近期的研究侧重于采用深度神经网络来对服饰图像进行分割。Liang等基于主动模版回归(ATR)模型，利用深度神经网络学习每个语义区域的位置和可见性，生成掩码系数和服饰分割形状的参数，得到很好地分割结果；Khurana等基于SegNet模型，提出了一种用于时尚服饰图像分割的双阶段深度神经网络架构，该架构第一阶段使用全卷积网络分割出了服饰图像，第二阶段利用Gabor提取服饰纹样特征，确定服饰类型；Guo等利用CPN网络、MFN网络、CRN网络从粗到细分割服饰；Liu等基于K最邻近KNN(k-nearest neighbor，简称KNN)的方法，提出了具有参数匹配的卷积神经网络(M-CNN)来预测图像中特定语义的最佳匹配区域置信度和位置信息。虽然目前基于神经网络的语义分割模型的研究在时尚服饰数据集上取得了一定的成功，但是模型提取的特征向量维度较大，且随着网络的层数增加，不同尺度特征信息存在丢失，底层特征与高层属性间存在语义鸿沟，使得少数民族服饰分割仍然存在以下问题：(1)由于少数民族服饰的结构复杂，现有的服饰分割模型难以描述少数民族服饰的局部细节；(2)少数民族服饰色彩鲜明、纹理图案多样、款式种类繁多、饰品丰富，如何解决高层视觉语义属性与低层特征语义属性鸿沟，成为了提高分割准确率的关键。
发明内容
本发明的目的是针对现有技术的不足，而提供一种苗族服饰图像语义分割方法。这种方法能提取到少数民族服饰的大尺度高级语义信息，而且提取的特征包含更多低级纹理的重要细节、迁移和融合少数民族服饰之间自相似性与跨尺度相似性的特征，能提高苗族服饰图像语义分割的准确度。
实现本发明目的的技术方案是：
一种苗族服饰图像语义分割方法，包括如下步骤：
1)数据增强：采用Mosaic数据增强的方法，将苗族服饰四张图像合成一张图像、提取四张图像特征信息，所述数据增强是指对图片裁剪、翻转、旋转、缩放、扭曲几何变换及像素扰动、添加噪声、光照调节、对比度调节、样本加和或插值、分割补丁，数据增强提高了数据的多样性、增强了模拟的鲁棒性、降低了模型对参数的敏感度，提升了模型的泛化能力；
2)编码：采用基于多尺度渐进式注意力学习金字塔网络模型(Multi-scalepyramidal network of progressive attentional learning，简称MutilPPL)将输入的服饰图片经过卷积的3次下采样操作，每次下采样操作将特征图的长和宽缩小2倍、通道数扩大2倍，然后将卷积输出的特征图逐层传入不同尺度的特征层进行特征融合；
3)解码：将MutilPPL模型中的编码器和解码器的特征层进行密集跨级连接，使MutilPPL模型提取服饰多尺度特征信息，再采用金字塔结构融合特征局部与全局信息，最后在解码器中进行3次转置卷积逐步恢复高分辨率图像，得到语义分割结果，MutilPPL模型中的解码器结构与编码器结构对称，解码器每次采用转置卷积操作，将特征图尺寸扩大2倍、通道数缩小2倍；
4)辅助分支结构：MutilPPL模型的深层卷积感受野大，特征映射具有较强的语义特征信息，有利于分割识别大目标，但是随着网络的加深，在深层卷积映射的特征中小目标特征信息容易丢失，少数苗族服饰分割任务中输入的图片通常包含大小不同的目标，在这种情况下，只使用深层的特征映射进行预测，很可能导致较小的目标分割精度不高，而中层和浅层的特征映射包含更多的特性信息，能让模型学习到更多鉴别信息，有利于小目标的分割，受此启发，基于浅层、中层和深层的特征信息的融合作为分割结果，提出了辅助分支结构，辅助分支结构由Conv-Classes模块、渐进式注意力学习金字塔结构(PPL)模块、Softmax分类器3个部分组成，定义编码器中的Layer6、Layer 7、Layer 8作为辅助分支结构的输入，其中，Conv-Classes模块设有转置卷积和1×1卷积，且在每个1×1卷积后面都会加上实例化归一化(Instance Normalization，简称IN)和ACON激活函数，将Layer6、Layer 7、Layer 8输入到Conv-Classes模块中得到不同类别的置信系数，然后将不同置信系数的通道进行连接并进行1×1卷积操作，并将它们的特征信息交叉输入到两个PPL模块中，每个PPL模块的输出都进行一次1×1卷积操作，最后将PPL模块聚合的多层特征输入到Softmax分类器实现最终的输出，该结构加深了对小目标特征的提取，能够在输出结果的性能改善中起到一定的作用，
具体是：Layer 6和Layer 7对应浅和中层网络，虽然它们只包含较浅的语义信息，但是包含了更多的小目标特征信息，而Layer 8对应深层网络，包含了更多的高语义特征信息，能够对复杂背景的大物体进行分割，在辅助分支结构中，首先，解码器根据不同层次的深度的卷积层Layer 6、Layer 7、Layer 8划分不同的阶段，获得不同语义的特征信息，每个阶段通过转置卷积得到相同大小的特征图，并经过卷积，得到不同阶段的不同类别置信系数；然后，将不同置信系数的通道进行连接，同时将它们的特征信息交叉输入到渐进式注意力学习金字塔结构(PPL)，使网络能够合理利用不同阶段学习的特征，专注有效特征提取，丢弃冗余特征；最后，将渐进式注意力学习金字塔结构聚合的多层特征输入到Softmax分类器实现最终的输出，辅助分支中采用渐进式注意力学习金字塔结构，可以渐进式迁移学习不同分支获得的结果的重要权重，降低了网络深度选择特征的难度，缓解深层网络造成的网络退化，辅助分支结构在解码过程中分别提取三次转置卷积的输出特征，利用1×1卷积层将特征通道减少为7，并将卷积的结果进行融合；
5)实现语义分割：采用Softmax激活函数对特征图进行分类，实现语义分割。
所述MutilPPL模型为中密集跨级连接网络采用两级结构，第一级结构在编码器部分将低尺度和中等尺度的特征图进行融合，第二级结构将融合后的结果作为整体再与高尺度特征图进行融合，密集跨级连接网络具体实现过程为：首先，在编码器路径上将下采样的输入与前特征层输出连接，经过两次卷积运算、并行高语义特征在编码器上；然后，在解码器路径上将编码器路径和解码器路径的特征连接在一起，通过渐进式注意力学习金字塔结构提取自相似性特征，并聚合相似物体外观、位置特征，对于连接不同尺寸和通道数的特征，采用最大池化(3×3、5×5、9×9)和卷积(3×3)，确保分辨率相同和通道数一致，其中，在MutilPPL模型中设有5个渐进式注意力学习金字塔结构，渐进式注意力学习金字塔结构(PPL)由特征提取模块和特征聚合模块组成，定义一对相同大小的跨尺度特征层和作为PPL的输入，其中特征提取模块采用了可变形卷积，可变形卷积可以学习到更多不规则的自相似性特征，计算方式如公式(1)所示：
其中表示可变形卷积运算，F1 m表示当前第m层输入的特征图，/>表示前i层渐进式注意力学习金字塔结构输出的特征图，可变形卷积学习的偏移offset根据输入的F1 m和/>进行计算，计算方式如公式(2)所示：
其中(ΔP)m表示m层的可变卷积偏移，||表示通道连接，表示卷积运算，将计算得到的可变形卷积偏移作用到可变形卷积运算上得到/>然后，采用Softmax生成Mask特征级掩码，Mask用于渐进式注意力学习金字塔结构聚集学习最相关的特征，计算方式如公式(3)所示：
采用Softmax对卷积后F1 m减去卷积后的结果进行计算，得到m层的Mask特征级掩码，所计算的掩码Mask进一步与可变形卷积的输出相乘聚焦更多的相关特征，计算方式如公式(4)所示：
其中表示矩阵元素乘法运算，掩码Mask与/>相乘后与F1 m进行通道连接，再对其得到的结果进行卷积运算后映射到F1 m上得到具有自相似性和跨尺度相似性特征的特征图Fm，至此，模型完成了自相似性和跨尺度相似性特征提取，
特征聚合过程采用像素级运算集成权重和3D卷积计算融合提取的特征，对于像素级运算集成权重，采用空域注意力机制计算权重，计算方式如公式(5)所示：
其中⊙表示点积运算，(Θ)m表示空域注意力机制计算所得的权重，将F1 m的转置与Fm分别卷积后再进行点积运算，然后利用Sigmoid生成权重，利用空域注意力机制计算的权重将输入的特征进行加权融合，并采用额外融合卷积层来聚合注意力调制的特征计算方式如公式(6)公式(7)所示：
采用3D卷积融合特征、并计算融合特征后的空域注意力掩码，通过掩码对融合特征进行最后调制得到最终的输出结果，计算方式如公式(8)所示：
特征聚合模过程在保持通道数不变的情况下利用从粗到细的方式提高了信息聚合的有效性，渐进式注意力学习金字塔结构采用可变形卷积，每个渐进式注意力学习金字塔结构输入包括一对相同大小的跨尺度特征层和，在完成特征信息提取后赋予特征像素级权重，并通过3D卷积聚合所有特征信息。
由于苗族服饰背景复杂度高、拍摄光照不均匀、物体类别之间存在难分类和错误分类的情况，会导致语义分割模型精度低，该结构能对场景中受光照和背景影响大的物体的深度信息区域进行互补，提取到相似外观和相近位置物体特征，降低物体的分割错误率，渐进式注意力学习金字塔结构采用可变形卷积，可变形卷积可以学习到更多不规则的自相似性特征，每个渐进式注意力学习金字塔结构输入包括一对相同大小的跨尺度特征层和，渐进式注意力学习金字塔结构主要利用了金字塔结构渐进式学习自相似性与跨尺度特征信息，在完成特征信息提取后赋予特征像素级权重，并通过3D卷积聚合所有特征信息，在MutilPPL模型中采用不断卷积和转置卷积的方法，有效地使得每一级下采样操作的特征图都通过渐进式注意力学习金字塔结构进行迁移学习，达到提取跨尺度相似性的目的，在苗族服饰分割的实验过程中，发现很多小饰品的轮廓没有被很好地分割、外观相似的物体也存在分类错误等问题，这些问题与模型不同尺度下获得的感受野语境和整体信息都有关，因此，具有合适尺度的模型可以极大增强模型复杂场景下的分割能力，为了对多模态特征进行增强，使模型更加有效地捕获上下文信息，进一步避免丢失不同表征之间关系的语义信息，本技术方案在编码器和解码器的路径上考虑多尺度特征信息，采用密集跨级连接网络来融合不同尺度的特征图，密集跨级连接网络能够通过使用密集跨连接策略达到控制模型对不同尺度特征学习能力的目的。
本技术方案具有以下优点：
1)密集跨级连接网络是将编码器和解码器的网络层中不同尺度的特征进行合并连接，使每一层网络层包含高视觉语义特征和浅语义特征，得到丰富的特征表示；
2)渐进式注意力学习金字塔结构是将转置卷积和卷积操作得到的特征进行物体相似外观和相近位置的特征提取，该方式能融合全局和局部的特征信息，提高对图像全局特征的利用率；
3)辅助分支结构能够学习中层和浅层的浅语义特征，能学习到更多鉴别信息，有利于小目标的分割。
这种方法能提取到少数民族服饰的大尺度高级语义信息，而且提取的特征包含更多低级纹理的重要细节、迁移和融合少数民族服饰之间自相似性与跨尺度相似性的特征，能提高苗族服饰图像语义分割的准确度。
附图说明
图1为实施例中的渐进式注意力学习金字塔结构的示意图；
图2为实施例中的方法流程示意图；
图3为实施例中的基于MutilDeepPPL苗族服饰分割模型，其中，(a)编码器，(b)解码器，(c)辅助分支结构；
图4为实施例中的辅助分支结构的结构示意图。
具体实施方式
下面结合附图和实施例对本发明的内容做进一步的阐述，但不是对本发明的限定。
实施例：
参照图2，一种苗族服饰图像语义分割方法，包括如下步骤：
1)数据增强：采用Mosaic数据增强的方法，将苗族服饰四张图像合成一张图像、提取四张图像特征信息，所述数据增强是指对图片裁剪、翻转、旋转、缩放、扭曲几何变换及像素扰动、添加噪声、光照调节、对比度调节、样本加和或插值、分割补丁，数据增强提高了数据的多样性、增强了模拟的鲁棒性、降低了模型对参数的敏感度，提升了模型的泛化能力；
2)编码：如图3所示，采用基于多尺度渐进式注意力学习金字塔网络模型MutilPPL将输入的服饰图片经过卷积的3次下采样操作，每次下采样操作将特征图的长和宽缩小2倍、通道数扩大2倍，然后将卷积输出的特征图逐层传入不同尺度的特征层进行特征融合；
3)解码：将MutilPPL模型中的编码器和解码器的特征层进行密集跨级连接，使MutilPPL模型提取服饰多尺度特征信息，再采用金字塔结构融合特征局部与全局信息，最后在解码器中进行3次转置卷积逐步恢复高分辨率图像，得到语义分割结果，MutilPPL模型中的解码器结构与编码器结构对称，解码器每次采用转置卷积操作，将特征图尺寸扩大2倍、通道数缩小2倍；
4)辅助分支结构：MutilPPL模型的深层卷积感受野大，特征映射具有较强的语义特征信息，有利于分割识别大目标，但是随着网络的加深，在深层卷积映射的特征中小目标特征信息容易丢失，少数苗族服饰分割任务中输入的图片通常包含大小不同的目标，在这种情况下，只使用深层的特征映射进行预测，很可能导致较小的目标分割精度不高，而中层和浅层的特征映射包含更多的特性信息，能让模型学习到更多鉴别信息，有利于小目标的分割，受此启发，基于浅层、中层和深层的特征信息的融合作为分割结果，提出了辅助分支结构，如图4所示，辅助分支结构由Conv-Classes模块、渐进式注意力学习金字塔结构(PPL)模块、Softmax分类器3个部分组成，定义编码器中的Layer6、Layer 7、Layer 8作为辅助分支结构的输入，其中，Conv-Classes模块设有转置卷积和1×1卷积，且在每个1×1卷积后面都会加上实例化归一化IN和ACON激活函数，如图3所示，将Layer6、Layer 7、Layer 8输入到Conv-Classes模块中得到不同类别的置信系数，然后将不同置信系数的通道进行连接并进行1×1卷积操作，并将它们的特征信息交叉输入到两个PPL模块中，每个PPL模块的输出都进行一次1×1卷积操作，最后将PPL模块聚合的多层特征输入到Softmax分类器实现最终的输出，该结构加深了对小目标特征的提取，能够在输出结果的性能改善中起到一定的作用，
具体是：Layer 6和Layer 7对应浅和中层网络，虽然它们只包含较浅的语义信息，但是包含了更多的小目标特征信息，而Layer 8对应深层网络，包含了更多的高语义特征信息，能够对复杂背景的大物体进行分割，在辅助分支结构中，首先，解码器根据不同层次的深度的卷积层Layer 6、Layer 7、Layer 8划分不同的阶段，获得不同语义的特征信息，每个阶段通过转置卷积得到相同大小的特征图，并经过卷积，得到不同阶段的不同类别置信系数；然后，将不同置信系数的通道进行连接，同时将它们的特征信息交叉输入到渐进式注意力学习金字塔结构(PPL)，使网络能够合理利用不同阶段学习的特征，专注有效特征提取，丢弃冗余特征；最后，将渐进式注意力学习金字塔结构聚合的多层特征输入到Softmax分类器实现最终的输出，辅助分支中采用渐进式注意力学习金字塔结构，可以渐进式迁移学习不同分支获得的结果的重要权重，降低了网络深度选择特征的难度，缓解深层网络造成的网络退化，辅助分支结构在解码过程中分别提取三次转置卷积的输出特征，利用1×1卷积层将特征通道减少为7，并将卷积的结果进行融合；
5)实现语义分割：采用Softmax激活函数对特征图进行分类，实现语义分割。
所述MutilPPL模型为中密集跨级连接网络采用两级结构，第一级结构在编码器部分将低尺度和中等尺度的特征图进行融合，第二级结构将融合后的结果作为整体再与高尺度特征图进行融合，密集跨级连接网络具体实现过程为：首先，在编码器路径上将下采样的输入与前特征层输出连接，经过两次卷积运算、并行高语义特征在编码器上；然后，在解码器路径上将编码器路径和解码器路径的特征连接在一起，通过渐进式注意力学习金字塔结构提取自相似性特征，并聚合相似物体外观、位置特征，对于连接不同尺寸和通道数的特征，采用最大池化(3×3、5×5、9×9)和卷积(3×3)，确保分辨率相同和通道数一致，其中，在MutilPPL模型中设有5个渐进式注意力学习金字塔结构，如图1所示，渐进式注意力学习金字塔结构(PPL)由特征提取模块和特征聚合模块组成，定义一对相同大小的跨尺度特征层和作为PPL的输入，其中特征提取模块采用了可变形卷积，可变形卷积可以学习到更多不规则的自相似性特征，计算方式如公式(1)所示：
其中表示可变形卷积运算，F1 m表示当前第m层输入的特征图，/>表示前i层渐进式注意力学习金字塔结构输出的特征图，可变形卷积学习的偏移offset根据输入的F1 m和/>进行计算，计算方式如公式(2)所示：
其中(ΔP)m表示m层的可变卷积偏移，‖表示通道连接，表示卷积运算，将计算得到的可变形卷积偏移作用到可变形卷积运算上得到/>然后，采用Softmax生成Mask特征级掩码，Mask用于渐进式注意力学习金字塔结构聚集学习最相关的特征，计算方式如公式(3)所示：
采用Softmax对卷积后F1 m减去卷积后的结果进行计算，得到m层的Mask特征级掩码，所计算的掩码Mask进一步与可变形卷积的输出相乘聚焦更多的相关特征，计算方式如公式(4)所示：
其中表示矩阵元素乘法运算，掩码Mask与/>相乘后与F1 m进行通道连接，再对其得到的结果进行卷积运算后映射到F1 m上得到具有自相似性和跨尺度相似性特征的特征图Fm，至此，模型完成了自相似性和跨尺度相似性特征提取，
特征聚合过程采用像素级运算集成权重和3D卷积计算融合提取的特征，对于像素级运算集成权重，采用空域注意力机制计算权重，计算方式如公式(5)所示：
其中⊙表示点积运算，(Θ)m表示空域注意力机制计算所得的权重，将F1 m的转置与Fm分别卷积后再进行点积运算，然后利用Sigmoid生成权重，利用空域注意力机制计算的权重将输入的特征进行加权融合，并采用额外融合卷积层来聚合注意力调制的特征计算方式如公式(6)公式(7)所示：
采用3D卷积融合特征、并计算融合特征后的空域注意力掩码，通过掩码对融合特征进行最后调制得到最终的输出结果，计算方式如公式(8)所示：
特征聚合模过程在保持通道数不变的情况下利用从粗到细的方式提高了信息聚合的有效性，渐进式注意力学习金字塔结构采用可变形卷积，每个渐进式注意力学习金字塔结构输入包括一对相同大小的跨尺度特征层和，在完成特征信息提取后赋予特征像素级权重，并通过3D卷积聚合所有特征信息。
Claims (2)
1.一种苗族服饰图像语义分割方法，其特征在于，包括如下步骤：
1)数据增强：采用Mosaic数据增强的方法，将苗族服饰四张图像合成一张图像、提取四张图像特征信息，所述数据增强是指对图片裁剪、翻转、旋转、缩放、扭曲几何变换及像素扰动、添加噪声、光照调节、对比度调节、样本加和或插值、分割补丁；
2)编码：采用基于多尺度渐进式注意力学习金字塔网络模型MutilPPL将输入的服饰图片经过卷积的3次下采样操作，每次下采样操作将特征图的长和宽缩小2倍、通道数扩大2倍，然后将卷积输出的特征图逐层传入不同尺度的特征层进行特征融合；
3)解码：将MutilPPL模型中的编码器和解码器的特征层进行密集跨级连接，使MutilPPL模型提取服饰多尺度特征信息，再采用金字塔结构融合特征局部与全局信息，最后在解码器中进行3次转置卷积逐步恢复高分辨率图像，得到语义分割结果，MutilPPL模型中的解码器结构与编码器结构对称，解码器每次采用转置卷积操作，将特征图尺寸扩大2倍、通道数缩小2倍；
4)辅助分支结构：辅助分支结构由Conv-Classes模块、渐进式注意力学习金字塔结构(PPL)模块、Softmax分类器3个部分组成，定义编码器中的Layer6、Layer 7、Layer 8作为辅助分支结构的输入，其中，Conv-Classes模块设有转置卷积和1×1卷积，且在每个1×1卷积后面都加上实例化归一化(Instance Normalization，简称IN)和ACON激活函数，将Layer6、Layer 7、Layer 8输入到Conv-Classes模块中得到不同类别的置信系数，然后将不同置信系数的通道进行连接并进行1×1卷积操作，并将它们的特征信息交叉输入到两个PPL模块中，每个PPL模块的输出都进行一次1×1卷积操作，最后将PPL模块聚合的多层特征输入到Softmax分类器实现最终的输出，
具体是：Layer 6和Layer 7对应浅和中层网络，而Layer 8对应深层网络，首先，解码器根据不同层次的深度的卷积层Layer 6、Layer 7、Layer 8划分不同的阶段，获得不同语义的特征信息，每个阶段通过转置卷积得到相同大小的特征图，并经过卷积，得到不同阶段的不同类别置信系数；然后，将不同置信系数的通道进行连接，同时将它们的特征信息交叉输入到渐进式注意力学习金字塔结构(PPL)，使网络能够合理利用不同阶段学习的特征，专注有效特征提取，丢弃冗余特征；最后，将渐进式注意力学习金字塔结构聚合的多层特征输入到Softmax分类器实现最终的输出，辅助分支结构在解码过程中分别提取三次转置卷积的输出特征，利用1×1卷积层将特征通道减少为7，并将卷积的结果进行融合；
5)实现语义分割：采用Softmax激活函数对特征图进行分类，实现语义分割。
2.根据权利要求1所述的苗族服饰图像语义分割方法，其特征在于，所述MutilPPL模型为中密集跨级连接网络采用两级结构，第一级结构在编码器部分将低尺度和中等尺度的特征图进行融合，第二级结构将融合后的结果作为整体再与高尺度特征图进行融合，密集跨级连接网络具体实现过程为：首先，在编码器路径上将下采样的输入与前特征层输出连接，经过两次卷积运算、并行高语义特征在编码器上；然后，在解码器路径上将编码器路径和解码器路径的特征连接在一起，通过渐进式注意力学习金字塔结构提取自相似性特征，并聚合相似物体外观、位置特征，对于连接不同尺寸和通道数的特征，采用最大池化(3×3、5×5、9×9)和卷积(3×3)，确保分辨率相同和通道数一致，其中，在MutilPPL模型中设有5个渐进式注意力学习金字塔结构，渐进式注意力学习金字塔结构(PPL)由特征提取模块和特征聚合模块组成，定义一对相同大小的跨尺度特征层和作为PPL的输入，其中特征提取模块采用了可变形卷积，计算方式如公式(1)所示：
其中表示可变形卷积运算，/>表示当前第m层输入的特征图，/>表示前i层渐进式注意力学习金字塔结构输出的特征图，可变形卷积学习的偏移offset根据输入的/>和进行计算，计算方式如公式(2)所示：
其中(ΔP)m表示m层的可变卷积偏移，‖表示通道连接，表示卷积运算，将计算得到的可变形卷积偏移作用到可变形卷积运算上得到/>然后，采用Softmax生成Mask特征级掩码，Mask用于渐进式注意力学习金字塔结构聚集学习最相关的特征，计算方式如公式(3)所示：
采用Softmax对卷积后减去卷积后/>的结果进行计算，得到m层的Mask特征级掩码，所计算的掩码Mask进一步与可变形卷积的输出相乘聚焦更多的相关特征，计算方式如公式(4)所示：
其中表示矩阵元素乘法运算，掩码Mask与/>相乘后与/>进行通道连接，再对其得到的结果进行卷积运算后映射到/>上得到具有自相似性和跨尺度相似性特征的特征图Fm，至此，模型完成了自相似性和跨尺度相似性特征提取，
特征聚合过程采用像素级运算集成权重和3D卷积计算融合提取的特征，对于像素级运算集成权重，采用空域注意力机制计算权重，计算方式如公式(5)所示：
其中⊙表示点积运算，(Θ)m表示空域注意力机制计算所得的权重，将的转置与Fm分别卷积后再进行点积运算，然后利用Sigmoid生成权重，利用空域注意力机制计算的权重将输入的特征进行加权融合，并采用额外融合卷积层来聚合注意力调制的特征/>计算方式如公式(6)公式(7)所示：
采用3D卷积融合特征、并计算融合特征后的空域注意力掩码，通过掩码对融合特征进行最后调制得到最终的输出结果，计算方式如公式(8)所示：
渐进式注意力学习金字塔结构采用可变形卷积，每个渐进式注意力学习金字塔结构输入包括一对相同大小的跨尺度特征层和，在完成特征信息提取后赋予特征像素级权重，并通过3D卷积聚合所有特征信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111371509.3A CN114037833B (zh) | 2021-11-18 | 2021-11-18 | 一种苗族服饰图像语义分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111371509.3A CN114037833B (zh) | 2021-11-18 | 2021-11-18 | 一种苗族服饰图像语义分割方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114037833A CN114037833A (zh) | 2022-02-11 |
| CN114037833B true CN114037833B (zh) | 2024-03-19 |
Family
ID=80138170
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111371509.3A Active CN114037833B (zh) | 2021-11-18 | 2021-11-18 | 一种苗族服饰图像语义分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114037833B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114445430B (zh) * | 2022-04-08 | 2022-06-21 | 暨南大学 | 轻量级多尺度特征融合的实时图像语义分割方法及系统 |
| CN114973386B (zh) * | 2022-08-01 | 2022-11-04 | 成都市威虎科技有限公司 | 一种深度挖掘混合特征的工地场景人脸目标检测方法 |
| CN116452931B (zh) * | 2023-04-11 | 2024-03-19 | 北京科技大学 | 一种层级敏感的图像特征聚合方法 |
| CN116773534B (zh) * | 2023-08-15 | 2024-03-05 | 宁德思客琦智能装备有限公司 | 一种检测方法及装置、电子设备、计算机可读介质 |
| CN117409208B (zh) * | 2023-12-14 | 2024-03-08 | 武汉纺织大学 | 一种实时服装图像语义分割方法及系统 |
| CN117745745B (zh) * | 2024-02-18 | 2024-05-10 | 湖南大学 | 一种基于上下文融合感知的ct图像分割方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111488475A (zh) * | 2019-01-29 | 2020-08-04 | 北京三星通信技术研究有限公司 | 图像检索方法、装置、电子设备及计算机可读存储介质 |
| CN112287940A (zh) * | 2020-10-30 | 2021-01-29 | 西安工程大学 | 一种基于深度学习的注意力机制的语义分割的方法 |
| CN112669343A (zh) * | 2021-01-04 | 2021-04-16 | 桂林电子科技大学 | 一种基于深度学习的壮族少数民族服饰分割方法 |
| CN112837330A (zh) * | 2021-03-02 | 2021-05-25 | 中国农业大学 | 基于多尺度双注意力机制和全卷积神经网络的叶分割方法 |
| WO2021139062A1 (zh) * | 2020-01-12 | 2021-07-15 | 大连理工大学 | 一种全自动自然图像抠图方法 |
| CN113392711A (zh) * | 2021-05-19 | 2021-09-14 | 中国科学院声学研究所南海研究站 | 一种基于高层语义与噪声抑制的烟雾语义分割方法及系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112884772B (zh) * | 2019-11-29 | 2024-03-19 | 北京四维图新科技股份有限公司 | 语义分割架构 |
-
2021
- 2021-11-18 CN CN202111371509.3A patent/CN114037833B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111488475A (zh) * | 2019-01-29 | 2020-08-04 | 北京三星通信技术研究有限公司 | 图像检索方法、装置、电子设备及计算机可读存储介质 |
| WO2021139062A1 (zh) * | 2020-01-12 | 2021-07-15 | 大连理工大学 | 一种全自动自然图像抠图方法 |
| CN112287940A (zh) * | 2020-10-30 | 2021-01-29 | 西安工程大学 | 一种基于深度学习的注意力机制的语义分割的方法 |
| CN112669343A (zh) * | 2021-01-04 | 2021-04-16 | 桂林电子科技大学 | 一种基于深度学习的壮族少数民族服饰分割方法 |
| CN112837330A (zh) * | 2021-03-02 | 2021-05-25 | 中国农业大学 | 基于多尺度双注意力机制和全卷积神经网络的叶分割方法 |
| CN113392711A (zh) * | 2021-05-19 | 2021-09-14 | 中国科学院声学研究所南海研究站 | 一种基于高层语义与噪声抑制的烟雾语义分割方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| 基于点云数据的分割方法综述;顾军华;李炜;董永峰;;燕山大学学报;20200331(02);35-47 * |
| 结合标签优化和语义分割的服装图像检索;张茜;刘骊;付晓东;刘利军;黄青松;;计算机辅助设计与图形学学报;20201231(09);87-102 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114037833A (zh) | 2022-02-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114037833B (zh) | 一种苗族服饰图像语义分割方法 | |
| CN109598268B (zh) | 一种基于单流深度网络的rgb-d显著目标检测方法 | |
| CN110084850A (zh) | 一种基于图像语义分割的动态场景视觉定位方法 | |
| CN108648233A (zh) | 一种基于深度学习的目标识别与抓取定位方法 | |
| CN110110755B (zh) | 基于ptgan区域差距与多重分支的行人重识别检测方法及装置 | |
| CN109543632A (zh) | 一种基于浅层特征融合引导的深层网络行人检测方法 | |
| CN111368830A (zh) | 基于多视频帧信息和核相光滤波算法的车牌检测识别方法 | |
| CN112132844A (zh) | 基于轻量级的递归式非局部自注意力的图像分割方法 | |
| CN108229319A (zh) | 基于帧间差异与卷积神经网络融合的船舶视频检测方法 | |
| CN107392131A (zh) | 一种基于人体骨骼节点距离的动作识别方法 | |
| CN113408594B (zh) | 一种基于注意力网络尺度特征融合的遥感场景分类方法 | |
| CN110163286A (zh) | 一种基于混合池化的领域自适应图像分类方法 | |
| CN112541460B (zh) | 一种车辆再识别方法及系统 | |
| CN112950477A (zh) | 一种基于双路径处理的高分辨率显著性目标检测方法 | |
| CN113255837A (zh) | 工业环境下基于改进的CenterNet网络目标检测方法 | |
| CN111931792B (zh) | 一种基于目标检测的瑶族纹样符号识别方法 | |
| CN112396655B (zh) | 一种基于点云数据的船舶目标6d位姿估计方法 | |
| CN114724155A (zh) | 基于深度卷积神经网络的场景文本检测方法、系统及设备 | |
| CN112801182A (zh) | 一种基于困难样本感知的rgbt目标跟踪方法 | |
| CN111667465A (zh) | 一种基于远红外图像的金属洗手盆缺陷检测方法 | |
| Hou et al. | Fe-fusion-vpr: Attention-based multi-scale network architecture for visual place recognition by fusing frames and events | |
| CN113763417A (zh) | 一种基于孪生网络和残差结构的目标跟踪方法 | |
| CN117036412A (zh) | 一种融合可变形卷积的孪生网络红外行人目标跟踪方法 | |
| Pei | MSFNet: Multi-scale features network for monocular depth estimation | |
| CN113223006B (zh) | 一种基于深度学习的轻量级目标语义分割方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |