CN112101364B - 基于参数重要性增量学习的语义分割方法 - Google Patents

基于参数重要性增量学习的语义分割方法 Download PDF

Info

Publication number
CN112101364B
CN112101364B CN202010944785.3A CN202010944785A CN112101364B CN 112101364 B CN112101364 B CN 112101364B CN 202010944785 A CN202010944785 A CN 202010944785A CN 112101364 B CN112101364 B CN 112101364B
Authority
CN
China
Prior art keywords
semantic segmentation
neural network
images
incremental
parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010944785.3A
Other languages
English (en)
Other versions
CN112101364A (zh
Inventor
谢雪梅
于凯
李旭阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kunshan Kunpeng Uav Technology Co ltd
Xidian University
Original Assignee
Kunshan Kunpeng Uav Technology Co ltd
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kunshan Kunpeng Uav Technology Co ltd, Xidian University filed Critical Kunshan Kunpeng Uav Technology Co ltd
Priority to CN202010944785.3A priority Critical patent/CN112101364B/zh
Publication of CN112101364A publication Critical patent/CN112101364A/zh
Application granted granted Critical
Publication of CN112101364B publication Critical patent/CN112101364B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

本发明提出了一种基于参数重要性增量学习的语义分割方法，主要解决当今增量学习语义分割精度低且增量训练需要大量存储空间的问题。实现步骤为：构建基础训练数据集和测试数据集；搭建语义分割神经网络并初始化；使用基础训练数据集对语义分割神经网络进行训练，并更新每个参数的重要性权重；构建增量式数据集和增量测试数据集；对训练后的语义分割神经网络模型进行迭代训练；得到语义分割结果。本发明在增量训练过程中使用参数重要性方法，提高增量训练后的语义分割精度，并减少了增量训练所需的存储空间，可用于增量式语义分割。

Description

基于参数重要性增量学习的语义分割方法
技术领域
本发明属于图像识别和计算机视觉技术领域，主要涉及一种增量学习的语义分割方法，可用于自动驾驶、机器人技术领域、前景分割等领域。
背景技术
语义分割是指根据颜色、灰度和纹理等特征，将图像划分成若干个互不相交且具有某种特定语义含义的像素区域，并识别出每个区域的类别，同一区域的像素被赋予相同的颜色，最终获得一幅具有像素语义标注的图像。
在深度学习应用到计算机视觉领域之前，研究人员一般使用纹理基元森林(TextonForest)或是随机森林(Random Forest)等传统方法来构建用于语义分割的分类器。随机森林由多个决策树独立预测出样本的类别，通过对所有预测类别进行投票，票数最高的类别被选举为最终的预测结果。纹理基元森林则结合了图像纹理特征构建分类器，有效地提高了分类的精度。但是传统方法相对复杂，计算量大，其所利用的手工特征需要领域专门知识，耗时耗力，无法实现实时的要求，而且有时太过精细化以致于只能在某个特定的场景下使用，对于拥有复杂、多变细节的图像，很难达到高精度。
目前，基于深度学习的语义分割方法正受到广泛关注，其主要思想是利用提前标注训练样本的真实标签，将图像作为网络的输入，得到网络的语义分割结果，再依据标签对结果进行计算，通过反向传播更新模型参数。基于深度学习的语义分割方法是数据驱动的方法，在没有数据的情况下不能进行学习。而很多时候我们并不能拿到所有的数据，并且对所有数据上的每个点进行标注。所以在新数据和其标注产生时，需要对语义分割网络进行增量式训练，使得语义分割网络在任意时间接受到新数据都可以进行训练。例如，UmbertoMichieli在2019年ICCV会议的Workshop上发表的论文《Incremental learningtechniques for semantic segmentation》公开了一种增量学习语义分割方法，该方法在增量训练过程中复制了原有神经网络，并使用原有神经网络输出的分割结果和图像的语义特征图对增量后的神经网络进行监督，试图在训练过程中保持每幅图像的语义特征图近似不变，并且希望使得原有神经网络的输出分布与增量神经网络在旧类别上的输出分布一致。虽然这个方法提出的语义特征图蒸馏和输出分布蒸馏一定效果上减缓了神经网络的灾难性遗忘问题，实现了增量学习语义分割，但是，该方法仍存在一些不足之处：由于该方法使用图像的语义特征图进行对增量训练进行监督，限制了网络在学习新类别过程中的特征变换，使第一次训练的类别对应的分割精度大幅下降。此外，该方法仍需要一定量的旧数据辅助增量训练，若只适用知识蒸馏算法对神经网络的特征进行保护，在没有旧类别特征激活时，该方法并没有效果，所以为了保证该方法有效，在增量训练时仍需要旧数据来激活相关特征，这大大增加了该方法所需要的存储空间，限制了其应用范围。
发明内容
本发明的目的在于针对上述现有语义分割方法的不足，提出一种基于参数重要性增量学习的语义分割方法，旨在提高语义分割的精度，并减少语义分割增量训练所需的存储空间。
本发明的思路是，构建基础数据集及测试集，搭建语义分割神经网络，对语义分割神经网络模型进行迭代训练，构建增量式数据集和增量式测试集，对训练后的语义分割神经网络模型进行迭代训练，得到语义分割结果，具体包括如下步骤：
(1)构建基础数据集及测试数据集：
对获取的类别数为E且每个类别包含S幅图像中每个类别半数以上的图像进行标注，并将每个类别半数以上的图像及其标签作为基础数据集，将其余部分的图像作为测试数据集，其中10≤E≤500，100≤S；
(2)搭建语义分割神经网络模型W：
搭建包括顺次连接的图像语义特征提取网络、语义特征扩展网络和像素分类网络的语义分割神经网络，其中语义特征提取网络包括多个卷积层和多个池化层，语义特征扩展网络包括多个反卷积层，像素分类网络包括多个卷积层；
(3)对语义分割神经网络模型进行迭代训练：
(3a)初始化服从标准正态分布的(-1,1)之间的随机值θ为语义分割神经网络的权重参数，θ的重要性权重为Wθ，学习速率为α，迭代次数为k，最大迭代次数为K，K≥106，并令k＝0，Wθ＝0，α＝0.001；
(3b)将从基础数据集不放回随机选取的R幅图像作为语义分割神经网络模型的输入进行前向传播，图像语义特征提取网络提取每幅图像的语义特征图，语义特征扩展网络对每幅语义特征图进行扩展，得到与原图像大小相等的R幅像素语义特征图，像素分类网络对每幅像素语义特征图进行分类，得到R幅图像每个像素的分类结果，当基础数据集中图像数量不足R幅时，将之前选取的图像放回基础数据集之后再进行不放回随机选取，其中256≥R≥32；
(3c)采用交叉熵损失函数，通过R幅图像的标签和语义分割神经网络输出的R幅图像上每个像素的分类结果，计算语义分割神经网络的分割损失L，再计算分割损失L对语义分割神经网络的权重参数θ的导数dθ，再将dθ作为参数θ的梯度，使用梯度dθ对参数θ的重要性权重Wθ和参数θ进行更新；
(3d)判断k≥0.5×K是否成立，若是，令α＝0.0002，并执行步骤(3e)，否则，令k＝k+1，并执行步骤(3b)；
(3e)判断k≥K是否成立，若是，得到训练后的语义分割神经网络模型W'，否则，令k＝k+1，并执行步骤(3b)；
(4)构建增量式数据集和增量式测试数据集：
对获取的类别数为N且每个类别包含Z幅图像中每个类别半数以上的图像进行标注，并将每个类别半数以上的图像及其标签作为增量式数据集，将其余部分的图像添加到步骤(1a)所构建的测试数据集中，得到增量式测试数据集，其中2≤N≤100，100≤Z；
(5)对训练后的语义分割神经网络模型W'进行迭代训练：
(5a)对训练后的语义分割神经网络模型W'进行复制，将其中一个作为参考语义分割神经网络模型T'，另一个作为基本语义分割神经网络模型T；
(5b)将N个卷积核添加到基本神经网络模型T的像素分类网络的最后一个卷积层中，构成增量语义分割神经网络模型G,并通过T中像素分类网络的最后一个卷积层中背景类别对应卷积核的参数θb，初始化G中像素分类网络的最后一个卷积层中新添加的N个卷积核的参数
其中，表示基本神经网络模型T的像素分类网络的最后一个卷积层中背景类别对应卷积核的参数的均值，σb表示基本神经网络模型T的像素分类网络的最后一个卷积层中背景类别对应卷积核的参数的方差；
(5c)初始化训练迭代次数为k'，最大迭代次数为K'，107≥K'≥106，增量语义分割神经网络模型G的参数θ'的重要性权重为Wθ2，学习速率为α'，并令k'＝0，α'＝0.001，Wθ2＝Wθ；
(5d)将从增量式数据集中不放回地随机选取的R'幅图像分别作为参考语义分割神经网络模型T'和增量语义分割神经网络模型G的输入进行前向传播，得到T'输出的R'幅图像上每个像素的分类结果和G输出的R'幅图像上每个像素的分类结果，当增量式数据集中图像数量不足R'幅时，将之前选取的图像放回增量式数据集之后再进行不放回随机选取，其中256≥R'≥32；
(5e)使用交叉熵损失函数，并通过R'幅图像的标签和G输出的R'幅图像上每个像素的分类结果，计算G的分割损失Lc，然后使用KL散度，通过T'输出的R'幅图像上每个像素的分类结果和G输出的R'幅图像上每个像素的分类结果，计算G的知识蒸馏损失Lk；
(5f)将分割损失Lc对G参数θ'的导数和蒸馏损失Lk对G参数θ'的导数的和作为θ'的基础梯度dθ'，使用参数重要性权重Wθ2和基础梯度dθ'计算增量语义分割神经网络模型G的参数更新幅度损失La，使用参数的更新幅度损失La得到参数θ'的惩罚梯度dθ'2，使用参数θ'的基础梯度dθ'和参数θ'的惩罚梯度dθ'2对增量语义分割神经网络模型G的参数θ'进行更新，利用参数θ'的基础梯度dθ'更新参数θ'的重要性权重Wθ2；
(5g)判断k'≥0.5×K'是否成立，若是，令α'＝0.0002，并执行步骤(5h)，否则，令k'＝k'+1，并执行步骤(5d)；
(5h)判断k'≥K'是否成立，若是，得到训练后的增量语义分割神经网络模型G，否则，令k'＝k'+1，并执行步骤(5d)；
(6)获得语义分割结果：
将使用测试数据集中的图像作为增量语义分割神经网络模型G的输入进行前向传播，得到图像的语义分割结果。
本发明与现有技术相比，具有以下优点：
第一，本发明在对训练后的语义分割神经网络模型进行迭代训练中，使用梯度对参数重要性进行计算，在先前训练过程中，参数的累计更新越大，说明参数的重要性越高，在增量训练过程中更新就越少，有效保护了第一次训练的类别相关的特征，使得第一次训练的类别对应的分割精度在增量训练后近似不变。本发明使用参数重要性方法实现了增量学习的语义分割，解决了增量学习语义分割精度不足的问题，对比现有方法，本发明使得语义分割神经网络在增量训练之后对第一次训练的类别依然保持较高的精度，提高了增量学习语义分割的精度。
第二，本发明在对训练后的语义分割神经网络模型进行迭代训练中，使用参数重要性方法实现语义分割的增量训练，在增量训练过程中只需要使用增量数据即可完成训练，解决了增量学习的语义分割需要额外存储空间存储旧数据的问题，减少了增量学习语义分割所需的存储空间。
附图说明
图1为本发明的实现流程图。
图2为本发明对训练后的语义分割神经网络模型进行迭代训练的实现流程图。
具体实施方式
下面结合附图和具体实施例，对本发明作进一步详细描述。
参照图1，本发明包括如下步骤。
步骤1.构建基础数据集及测试数据集：
对获取的类别数为E且每个类别包含S幅图像中每个类别半数以上的图像进行标注，并将每个类别半数以上的图像及其标签作为基础数据集，将其余部分的图像作为测试数据集，在本实施例中E＝20，S＝500；
步骤2.搭建语义分割神经网络模型W：
搭建包括顺次连接的图像语义特征提取网络、语义特征扩展网络和像素分类网络的语义分割神经网络。在本实施例中，语义特征提取网络包括十三个卷积层和三个池化层，其结构关系为：第一卷积层→第二卷积层→第三卷积层→第四卷积层→第一池化层→第五卷积层→第六卷积层→第七卷积层→第二池化层→第八卷积层→第九卷积层→第十卷积层→第三池化层→第十一卷积层→第十二卷积层→第十三卷积层，其中具体参数为：
第一卷积层的卷积核大小为7×7，卷积核数量为3，步长为2；
第二卷积层的卷积核大小为3×3，卷积核数量为64，步长为1；
第三卷积层的卷积核大小为3×3，卷积核数量为64，步长为1；
第四卷积层的卷积核大小为3×3，卷积核数量为64，步长为1；
第一池化层是最大池化层，大小为2×2，步长为2；
第五卷积层的卷积核大小为3×3，卷积核数量为128，步长为1；
第六卷积层的卷积核大小为3×3，卷积核数量为128，步长为1；
第七卷积层的卷积核大小为3×3，卷积核数量为128，步长为1；
第二池化层是最大池化层，大小为2×2，步长为2；
第八卷积层的卷积核大小为3×3，卷积核数量为256，步长为1；
第九卷积层的卷积核大小为3×3，卷积核数量为256，步长为1；
第十卷积层的卷积核大小为3×3，卷积核数量为256，步长为1；
第三池化层是平均池化层，大小为2×2，步长为2；
第十一卷积层的卷积核大小为3×3，卷积核数量为256，步长为1；
第十二卷积层的卷积核大小为1×1，卷积核数量为256，步长为1；
第十三卷积层的卷积核大小为3×3，卷积核数量为256，步长为1。
在本实例中，语义特征扩展网络包括六个反卷积层，其结构关系为：第一反卷积层→第二反卷积层→第三反卷积层→第四反卷积层→第五反卷积层→第六反卷积层，其具体参数为：
第一反卷积层的卷积核大小为3×3，卷积核数量为256，步长为2；
第二反卷积层的卷积核大小为3×3，卷积核数量为256，步长为2；
第三反卷积层的卷积核大小为3×3，卷积核数量为128，步长为2；
第四反卷积层的卷积核大小为1×1，卷积核数量为128，步长为1；
第五反卷积层的卷积核大小为3×3，卷积核数量为128，步长为2；
第六反卷积层的卷积核大小为1×1，卷积核数量为128，步长为1。
在本实例中，像素分类网络包括两个卷积层，其结构关系为：第一卷积层→第二卷积层，其具体参数为：
第一卷积层的卷积核大小为3×3，卷积核数量为256，步长为1；
第二卷积层的卷积核大小为1×1，卷积核数量为21，步长为1。
步骤3.对语义分割神经网络模型进行迭代训练：
(3a)初始化服从标准正态分布的(-1,1)之间的随机值θ为语义分割神经网络的权重参数，θ的重要性权重为Wθ，学习速率为α，迭代次数为k，最大迭代次数为K，在本实施例中K＝5×106，并令k＝0，Wθ＝0，α＝0.001；
(3b)将从基础数据集不放回随机选取的R幅图像作为语义分割神经网络模型的输入进行前向传播，图像语义特征提取网络提取每幅图像的语义特征图，语义特征扩展网络对每幅语义特征图进行扩展，得到与原图像大小相等的R幅像素语义特征图，像素分类网络对每幅像素语义特征图进行分类，得到R幅图像每个像素的分类结果，当基础数据集中图像数量不足R幅时，将之前选取的图像放回基础数据集之后再进行不放回随机选取，在本实施例中R＝64；
(3c)采用交叉熵损失函数，通过R幅图像的标签和语义分割神经网络输出的R幅图像上每个像素的分类结果，计算语义分割神经网络的分割损失L：
其中，U表示像素点数量，B表示类别数，是一个向量，元素只有0和1两种取值，如果类别c和第i个像素的类别相同则取1，反之取0，/>表示语义分割神经网络输出的第i个像素点属于类别c的概率。并计算分割损失L对语义分割神经网络的权重参数θ的导数dθ：
再将dθ作为参数θ的梯度，使用梯度dθ对参数θ的重要性权重Wθ和参数θ进行更新，更新公式分别为：
Wθ'＝Wθ+(dθ)2
θ2＝θ-α×dθ
其中，Wθ'是参数θ的重要性权重Wθ的更新值，θ2代表参数θ的更新值，α为语义分割神经网络的学习速率；
(3d)判断k≥0.5×K是否成立，若是，令α＝0.0002，并执行步骤(3e)，否则，令k＝k+1，并执行步骤(3b)；
(3e)判断k≥K是否成立，若是，得到训练后的语义分割神经网络模型W'，否则，令k＝k+1，并执行步骤(3b)；
步骤4.构建增量式数据集和增量式测试数据集：
对获取的类别数为N且每个类别包含Z幅图像中每个类别半数以上的图像进行标注，并将每个类别半数以上的图像及其标签作为增量式数据集，将其余部分的图像添加到步骤(1a)所构建的测试数据集中，得到增量式测试数据集，在本实施例中N＝10，Z＝500；
步骤5.参照图2，对训练后的语义分割神经网络模型W'进行迭代训练包括如下步骤：
(5a)对训练后的语义分割神经网络模型W'进行复制，将其中一个作为参考语义分割神经网络模型T'，另一个作为基本语义分割神经网络模型T；
(5b)将N个卷积核添加到基本神经网络模型T的像素分类网络的最后一个卷积层中，构成增量语义分割神经网络模型G,并通过T中像素分类网络的最后一个卷积层中背景类别对应卷积核的参数θb，初始化G中像素分类网络的最后一个卷积层中新添加的N个卷积核的参数
其中，表示基本神经网络模型T的像素分类网络的最后一个卷积层中背景类别对应卷积核的参数的均值，σb表示基本神经网络模型T的像素分类网络的最后一个卷积层中背景类别对应卷积核的参数的方差；
(5c)初始化训练迭代次数为k'，最大迭代次数为K'，在本实施例中K'＝106，增量语义分割神经网络模型G的参数θ'的重要性权重为Wθ2，学习速率为α'，并令k'＝0，α'＝0.001，Wθ2＝Wθ；
(5d)将从增量式数据集中不放回地随机选取的R'幅图像分别作为参考语义分割神经网络模型T'和增量语义分割神经网络模型G的输入进行前向传播，得到T'输出的R'幅图像上每个像素的分类结果和G输出的R'幅图像上每个像素的分类结果，当增量式数据集中图像数量不足R'幅时，将之前选取的图像放回增量式数据集之后再进行不放回随机选取，在本实施例中R'＝32；
(5e)使用交叉熵损失函数，并通过R'幅图像的标签和G输出的R'幅图像上每个像素的分类结果，计算G的分割损失Lc：
其中，D表示像素点数量，Q表示G输出的类别数，是一个向量，元素只有0和1两种取值，若类别c和第i个像素的类别相同则取1，反之取0，/>表示G输出的第i个像素点属于类别c的概率，然后使用KL散度，通过T'输出的R'幅图像上每个像素的分类结果和G输出的R'幅图像上每个像素的分类结果，计算G的知识蒸馏损失Lk：
其中，D表示像素点数量，M表T'输出的类别数，表示T'输出的第i个像素点属于类别c的概率，/>表示G输出的第i个像素点属于类别c的概率；
(5f)将分割损失Lc对G参数θ'的导数和蒸馏损失Lk对G参数θ'的导数的和作为θ'的基础梯度dθ'，使用参数重要性权重Wθ2和基础梯度dθ'计算增量语义分割神经网络模型G的参数更新幅度损失La：
La＝Wθ2×α'×dθ'
其中，α'为G的学习速率。计算La对参数θ'的导数，得到参数θ'的惩罚梯度dθ'2，使用参数θ'的基础梯度dθ'和参数θ'的惩罚梯度dθ'2对增量语义分割神经网络模型G的参数θ'进行更新：
θ0'＝θ'-α'×(dθ'+dθ'2)
其中，α'为G的学习速率，θ0'是参数θ'的更新值。利用参数θ'的基础梯度dθ'更新参数θ'的重要性权重Wθ2：
Wθ2'＝Wθ2+α'×(dθ')2
其中，Wθ2'是参数θ'的重要性权重Wθ2的更新值；
(5g)判断k'≥0.5×K'是否成立，若是，令α'＝0.0002，并执行步骤(5h)，否则，令k'＝k'+1，并执行步骤(5d)；
(5h)判断k'≥K'是否成立，若是，得到训练后的增量语义分割神经网络模型G，否则，令k'＝k'+1，并执行步骤(5d)；
步骤6.获得语义分割结果：
将使用测试数据集中的图像作为增量语义分割神经网络模型G的输入进行前向传播，得到图像的语义分割结果。
以上描述仅是本发明的一个具体实例，并未构成对本发明的任何限制，显然对于本领域的专业人员来说，在了解了本发明内容和原理后，都可能在不背离本发明原理、结构的情况下，进行形式和细节上的各种修改和改变，但是这些基于本发明思想的修正和改变仍在本发明的权利要求保护范围之内。

Claims (2)

1.一种基于参数重要性增量学习的语义分割方法，其特征在于，包括如下步骤：
(1)构建基础数据集及测试数据集：
对获取的类别数为E且每个类别包含S幅图像中每个类别半数以上的图像进行标注，并将每个类别半数以上的图像及其标签作为基础数据集，将其余部分的图像作为测试数据集，其中10≤E≤500，100≤S；
(2)搭建语义分割神经网络模型W：
搭建包括顺次连接的图像语义特征提取网络、语义特征扩展网络和像素分类网络的语义分割神经网络，其中语义特征提取网络包括多个卷积层和多个池化层，语义特征扩展网络包括多个反卷积层，像素分类网络包括多个卷积层；
(3)对语义分割神经网络模型进行迭代训练：
(3a)初始化服从标准正态分布的(-1,1)之间的随机值θ为语义分割神经网络的权重参数，θ的重要性权重为Wθ，学习速率为α，迭代次数为k，最大迭代次数为K，K≥106，并令k＝0，Wθ＝0，α＝0.001；
(3b)将从基础数据集不放回随机选取的R幅图像作为语义分割神经网络模型的输入进行前向传播，图像语义特征提取网络提取每幅图像的语义特征图，语义特征扩展网络对每幅语义特征图进行扩展，得到与原图像大小相等的R幅像素语义特征图，像素分类网络对每幅像素语义特征图进行分类，得到R幅图像每个像素的分类结果，当基础数据集中图像数量不足R幅时，将之前选取的图像放回基础数据集之后再进行不放回随机选取，其中256≥R≥32；
(3c)采用交叉熵损失函数，通过R幅图像的标签和语义分割神经网络输出的R幅图像上每个像素的分类结果，计算语义分割神经网络的分割损失L，并计算分割损失L对语义分割神经网络的权重参数θ的导数dθ，再将dθ作为参数θ的梯度，使用梯度dθ对参数θ的重要性权重Wθ和参数θ进行更新，其中，重要性权重Wθ和参数θ的更新公式分别为：
Wθ'＝Wθ+(dθ)2
θ2＝θ-α×dθ
其中，Wθ'是参数θ的重要性权重Wθ的更新值，θ2代表参数θ的更新值，α为语义分割神经网络的学习速率；
(3d)判断k≥0.5×K是否成立，若是，令α＝0.0002，并执行步骤(3e)，否则，令k＝k+1，并执行步骤(3b)；
(3e)判断k≥K是否成立，若是，得到训练后的语义分割神经网络模型W'，否则，令k＝k+1，并执行步骤(3b)；
(4)构建增量式数据集和增量式测试数据集：
对获取的类别数为N且每个类别包含Z幅图像中每个类别半数以上的图像进行标注，并将每个类别半数以上的图像及其标签作为增量式数据集，将其余部分的图像添加到步骤(1a)所构建的测试数据集中，得到增量式测试数据集，其中2≤N≤100，100≤Z；
(5)对训练后的语义分割神经网络模型W'进行迭代训练：
(5a)对训练后的语义分割神经网络模型W'进行复制，将其中一个作为参考语义分割神经网络模型T'，另一个作为基本语义分割神经网络模型T；
(5b)将N个卷积核添加到基本神经网络模型T的像素分类网络的最后一个卷积层中，构成增量语义分割神经网络模型G,并通过T中像素分类网络的最后一个卷积层中背景类别对应卷积核的参数θb，初始化G中像素分类网络的最后一个卷积层中新添加的N个卷积核的参数
其中，表示基本神经网络模型T的像素分类网络的最后一个卷积层中背景类别对应卷积核的参数的均值，σb表示基本神经网络模型T的像素分类网络的最后一个卷积层中背景类别对应卷积核的参数的方差；
(5c)初始化训练迭代次数为k'，增量语义分割神经网络模型G的参数θ'的重要性权重为Wθ2，学习速率为α'，最大迭代次数为K'，107≥K'≥106，并令k'＝0，Wθ2＝Wθ，α'＝0.001；
(5d)将从增量式数据集中不放回地随机选取的R'幅图像分别作为参考语义分割神经网络模型T'和增量语义分割神经网络模型G的输入进行前向传播，得到T'输出的R'幅图像上每个像素的分类结果和G输出的R'幅图像上每个像素的分类结果，当增量式数据集中图像数量不足R'幅时，将之前选取的图像放回增量式数据集之后再进行不放回随机选取，其中256≥R'≥32；
(5e)使用交叉熵损失函数，并通过R'幅图像的标签和G输出的R'幅图像上每个像素的分类结果，计算G的分割损失Lc，然后使用KL散度，通过T'输出的R'幅图像上每个像素的分类结果和G输出的R'幅图像上每个像素的分类结果，计算G的知识蒸馏损失Lk；
(5f)将分割损失Lc对G参数θ'的导数和蒸馏损失Lk对G参数θ'的导数的和作为θ'的基础梯度dθ'，使用参数重要性权重Wθ2和基础梯度dθ'计算增量语义分割神经网络模型G的参数更新幅度损失La，将La对G参数θ'的导数作为参数θ'的惩罚梯度dθ'2，使用参数θ'的基础梯度dθ'和参数θ'的惩罚梯度dθ'2对增量语义分割神经网络模型G的参数θ'进行更新，使用参数θ'的基础梯度dθ'更新参数θ'的重要性权重Wθ2，其中，幅度损失La的更新公式如下：
La＝Wθ2×α'×dθ'
其中，Wθ2表示增量语义分割神经网络模型G中的参数重要性权重，α'为G的学习速率；
(5g)判断k'≥0.5×K'是否成立，若是，令α'＝0.0002，并执行步骤(5h)，否则，令k'＝k'+1，并执行步骤(5d)；
(5h)判断k'≥K'是否成立，若是，得到训练后的增量语义分割神经网络模型G，否则，令k'＝k'+1，并执行步骤(5d)；
(6)获得语义分割结果：
将使用测试数据集中的图像作为增量语义分割神经网络模型G的输入进行前向传播，得到图像的语义分割结果。
2.根据权利要求1所述的基于参数重要性增量学习的语义分割方法，其特征在于，(5e)中所述的使用KL散度，通过T'输出的R'幅图像上每个像素的分类结果和G输出的R'幅图像上每个像素的分类结果，计算G的知识蒸馏损失Lk，其公式如下：
其中，D表示像素点数量，M表T'输出的类别数，表示T'输出的第i个像素点属于类别c的概率，/>表示G输出的第i个像素点属于类别c的概率。
CN202010944785.3A 2020-09-10 2020-09-10 基于参数重要性增量学习的语义分割方法 Active CN112101364B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010944785.3A CN112101364B (zh) 2020-09-10 2020-09-10 基于参数重要性增量学习的语义分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010944785.3A CN112101364B (zh) 2020-09-10 2020-09-10 基于参数重要性增量学习的语义分割方法

Publications (2)

Publication Number Publication Date
CN112101364A CN112101364A (zh) 2020-12-18
CN112101364B true CN112101364B (zh) 2023-10-20

Family

ID=73751928

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010944785.3A Active CN112101364B (zh) 2020-09-10 2020-09-10 基于参数重要性增量学习的语义分割方法

Country Status (1)

Country Link
CN (1) CN112101364B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112668579A (zh) * 2020-12-24 2021-04-16 西安电子科技大学 基于自适应亲和力和类别分配的弱监督语义分割方法
CN112766380B (zh) * 2021-01-21 2023-01-03 西安电子科技大学 一种基于特征增益矩阵增量学习的图像分类方法及系统
CN112862840B (zh) * 2021-03-04 2023-07-04 腾讯科技（深圳）有限公司 图像分割方法、装置、设备及介质
CN117078923A (zh) * 2023-07-19 2023-11-17 苏州大学 面向自动驾驶环境的语义分割自动化方法、系统及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109740451A (zh) * 2018-12-17 2019-05-10 南京理工大学 基于重要性加权的道路场景图像语义分割方法
CN110598731A (zh) * 2019-07-31 2019-12-20 浙江大学 一种基于结构化剪枝的高效图像分类方法
WO2020107687A1 (zh) * 2018-11-27 2020-06-04 邦鼓思电子科技（上海）有限公司 一种基于视觉的工作区域边界的检测系统、方法及机器设备
CN111275711A (zh) * 2020-01-08 2020-06-12 西安电子科技大学 基于轻量级卷积神经网络模型的实时图像语义分割方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020107687A1 (zh) * 2018-11-27 2020-06-04 邦鼓思电子科技（上海）有限公司 一种基于视觉的工作区域边界的检测系统、方法及机器设备
CN109740451A (zh) * 2018-12-17 2019-05-10 南京理工大学 基于重要性加权的道路场景图像语义分割方法
CN110598731A (zh) * 2019-07-31 2019-12-20 浙江大学 一种基于结构化剪枝的高效图像分类方法
CN111275711A (zh) * 2020-01-08 2020-06-12 西安电子科技大学 基于轻量级卷积神经网络模型的实时图像语义分割方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
胡蓉 ; 徐蔚鸿 ; .一种带修剪的增量极速学习模糊神经网络.计算机科学.2013,(第05期),全文. *
顾攀 ; 张烽栋 ; .基于神经网络的图像弱监督语义分割算法.计算机应用与软件.2018,(第02期),全文. *

Also Published As

Publication number Publication date
CN112101364A (zh) 2020-12-18

Similar Documents

Publication Publication Date Title
CN112101364B (zh) 基于参数重要性增量学习的语义分割方法
CN108647742B (zh) 基于轻量级神经网络的快速目标检测方法
CN110136154B (zh) 基于全卷积网络与形态学处理的遥感图像语义分割方法
CN111191583B (zh) 基于卷积神经网络的空间目标识别系统及方法
CN109741341B (zh) 一种基于超像素和长短时记忆网络的图像分割方法
CN111582397B (zh) 一种基于注意力机制的cnn-rnn图像情感分析方法
CN109934826A (zh) 一种基于图卷积网络的图像特征分割方法
CN111882040A (zh) 基于通道数量搜索的卷积神经网络压缩方法
CN112489164B (zh) 基于改进深度可分离卷积神经网络的图像着色方法
CN111242841A (zh) 一种基于语义分割和深度学习的图片背景风格迁移方法
CN113269224B (zh) 一种场景图像分类方法、系统及存储介质
CN111476247B (zh) 利用了1xK或Kx1卷积运算的CNN方法及装置
CN111986125A (zh) 一种用于多目标任务实例分割的方法
CN107506792B (zh) 一种半监督的显著对象检测方法
CN111986126B (zh) 一种基于改进vgg16网络的多目标检测方法
CN113705641B (zh) 基于富上下文网络的高光谱图像分类方法
CN111339862B (zh) 一种基于通道注意力机制的遥感场景分类方法及装置
CN112132145B (zh) 一种基于模型扩展卷积神经网络的图像分类方法及系统
CN112837320A (zh) 一种基于并行空洞卷积的遥感影像语义分割方法
CN111027630A (zh) 一种基于卷积神经网络的图像分类方法
CN113902010A (zh) 分类模型的训练方法和图像分类方法、装置、设备和介质
CN114882278A (zh) 一种基于注意力机制和迁移学习的轮胎花纹分类方法和装置
WO2024078112A1 (zh) 一种舾装件智能识别方法、计算机设备
CN113361589A (zh) 基于迁移学习与知识蒸馏的珍稀濒危植物叶片识别方法
CN110222222B (zh) 基于深层主题自编码模型的多模态检索方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant