CN118015346A - 一种基于正交稀疏网络的图像分类方法及装置 - Google Patents

Abstract

本发明提出了一种基于正交网络的图像分类方法及装置，从电子设备获取当前时刻的当前环境下监测到的图像作为待分类图像，并生成该待分类图像的当前分类任务；执行所述当前分类任务，以将所述待分类图像输入至训练完成的分类模型中，以使所述分类模型输出所述待分类图像的类别。本发明训练完成的分类模型具有保存旧知识的固定参数、共享旧知识和新知识的共享参数、学习新知识的自由参数。本发明通过剪枝后的分类模型中的共享参数来解决图像分类模型中的灾难性遗忘问题，以对当前监测到的图像分类可以提高分类的准确性和效率，这是促进图像分类技术的现实应用的关键。

Description

一种基于正交稀疏网络的图像分类方法及装置

技术领域

本发明属于图像识别与分类技术领域，具体涉及一种基于正交稀疏网络的图像分类方法及装置。

背景技术

图像分类任务是计算机视觉中的核心任务，其目标是根据图像信息中所反映的不同特征，把不同类别的图像区分开来。随着人工智能技术的快速发展，基于深度神经网络的图像分类技术在现实中得到了广泛应用。然而深度神经网络往往受制于“灾难性遗忘”困境，导致其缺乏连续地、自适应地从动态的数据流环境中持续识别并准确分类图像的能力。在医学影像分析、自动驾驶和图像搜索引擎等现实场景中，出于节省内存或隐私保护等需求，解决灾难性遗忘问题成为了提升深度学习网络图像分类性能的关键问题。

近年来，研究学者提出了许多用以处理灾难性遗忘的图像分类算法模型。最直接的方法是基于正则化的方法，其限制了分类模型参数在新分类图像数据上的训练。而基于知识重放的方法通过存储或生成有代表性的虚拟数据以辅助新图像的分类任务。基于网络参数扩展的方法通过扩展分类模型的参数量来分类新任务的图像。这些方法在特定的实验设置下表现出色，但是通常会受到限制，例如内存大小或训练效率，并且实际上这些方法处理灾难性遗忘的能力通常十分有限。

目前，为了更有效地解决图像分类中的灾难性遗忘问题，研究学者将参数剪枝的方法应用于图像分类模型中。这样的方法旨在为每个图像分类任务分配一个单独的子网络模型，这个子网络在分类新任务的图像数据时是固定的，以此来解决灾难性遗忘。这样的方法不仅能够出色地解决灾难性遗忘问题，而且模型并不会受到内存或效率方面的限制。然而被剪枝的子网络被特定的旧任务所垄断，这将导致模型分类新任务图像的能力很差。这样的限制会严重地影响图像分类在现实生活中的应用。事实上，产生上述限制的主要原因是参数剪枝的方法通常专注于使用子网络保存从旧图像中学习到的知识，而忽略了子网络对学习新任务的图像数据的潜在贡献，因此导致分类效果较差。

发明内容

为了解决现有技术中存在的上述问题，本发明提供了一种基于正交稀疏网络的图像分类方法及装置。本发明要解决的技术问题通过以下技术方案实现：

第一方面，本发明提供了一种基于正交稀疏网络的图像分类方法，包括：

S100，从电子设备获取当前时刻的当前环境下监测到的图像作为待分类图像，并生成该待分类图像的当前分类任务；

S200，执行所述当前分类任务，以将所述待分类图像输入至训练完成的分类模型中，以使所述分类模型输出所述待分类图像的类别；所述训练完成的分类模型具有保存旧知识的固定参数、共享旧知识和新知识的共享参数、学习新知识的自由参数。

第二方面，本发明提供了一种基于正交稀疏网络的图像分类装置包括：

获取模块，被配置为从电子设备获取当前环境下监测到的图像作为待分类图像，并生成该待分类图像的当前分类任务；

分类模块，被配置为执行所述当前分类任务，以将所述待分类图像输入至训练完成的分类模型中，以使所述分类模型输出所述待分类图像的类别；所述训练完成的分类模型具有保存旧知识的固定参数、共享旧知识和新知识的共享参数、学习新知识的自由参数。

有益效果：

1、本发明通过剪枝后的分类模型中的共享参数来解决图像分类模型中的灾难性遗忘问题，以对当前监测到的图像分类可以提高分类的准确性和效率。这是促进图像分类技术的现实应用的关键。

2、本发明通过选定的重要参数学习共享知识，通过正交投影来更新这些任务共享参数，并对新任务上的未剪枝参数进行无约束梯度下降更新，这可以极大地提高模型在长期分类任务中的性能。

以下将结合附图及实施例对本发明做进一步详细说明。

附图说明

图1是本发明提供的一种基于正交稀疏网络的图像分类方法的流程示意图；

图2是本发明提供的学习参数剪枝的示意图；

图3是本发明提供的与其他剪枝方案的对比示意图。

具体实施方式

下面结合具体实施例对本发明做进一步详细的描述，但本发明的实施方式不限于此。

第一方面，如图1所示，本发明提供了一种基于正交稀疏网络的图像分类方法包括：

S100，从电子设备获取当前时刻的当前环境下监测到的图像作为待分类图像，并生成该待分类图像的当前分类任务；

值得说明的是：如果当前环境是无人机飞行环境，当前执行任务是对周围环境中的目标进行分类，比如建筑物、树木、行人等等。则待分类图像从无人机的摄像头采集来，再进行分类。如果当前环境是字迹检测环境，则前执行任务是对字迹进行分类，比如宋体、楷体等等或者是否为某人的字迹。则待分类图像从摄像电子设备采集来，再进行分类。

S200，执行所述当前分类任务，以将所述待分类图像输入至训练完成的分类模型中，以使所述分类模型输出所述待分类图像的类别；

参考图2和图3，本发明的所述训练完成的分类模型具有保存旧知识的固定参数、共享旧知识和新知识的共享参数、学习新知识的自由参数。

本发明提出了一种基于正交网络的图像分类方法，从电子设备获取当前时刻的当前环境下监测到的图像作为待分类图像，并生成该待分类图像的当前分类任务；执行所述当前分类任务，以将所述待分类图像输入至训练完成的分类模型中，以使所述分类模型输出所述待分类图像的类别。本发明训练完成的分类模型具有旧知识的固定参数、共享旧知识和新知识的共享参数、新知识的自由参数。本发明通过剪枝后的分类模型中的共享参数来解决图像分类模型中的灾难性遗忘问题，以对当前监测到的图像分类可以提高分类的准确性和效率，这是促进图像分类技术的现实应用的关键。

结合图1和图2，在本发明一种具体的实施例中，所述训练完成的分类模型的训练过程包括：

S1，利用多种类别的图像构建数据集，并将所述数据集划分为若干个独立的任务，其中，每个任务包含相同数量的不同类别的图像；

值得说明的是：连续学习的数据集通常由传统的图像分类数据集划分而来，即将原数据集中的包含的所有类别等分为包含若干类别的不同任务。本发明中任务间和任务内的类别均是不同的。连续学习要求模型在所有任务上均具有良好的性能；

示例性的，手写数字识别，一共有10类，如果分成5个任务，那每个任务中都包含2类的数字图像。

S2，针对若干个独立的任务中的任一个任务作为旧任务，执行所述旧任务以利用该旧任务包含的图像训练所述分类模型，以使所述分类模型学习所述旧任务的知识得到第一分类模型；

本步骤初始化模型参数，训练任务数据集中的图像，损失函数为传统交叉熵损失。任务训练完成后，依据给定的参数比例来剪枝模型中的学习参数，以保存从该任务中学习到的知识，即旧知识。

S3，对所述第一分类模型的学习参数作剪枝，以剪除不重要的学习参数；

本步骤依据给定的参数比例对所述第一分类模型的学习参数作剪枝，以剪除不重要的学习参数，从而保存从所述分类模型从该旧任务中学习到的知识；剪枝过程具体表示为：

其中，l和t分别是分类模型的网络层数和任务序数，是交叉熵损失函数，/>则为第t个任务的数据集；/>表示二进制掩码，该二进制掩码通过运算操作⊙(对应位置相乘)来剪枝模型参数/> 即为剪枝后的学习参数或重要参数，/>将在每次学习参数剪枝之后通过霍夫曼编码更新。

S4，利用网络重分区策略在S3剪除后剩余的学习参数中选择共享参数，并将重要的学习参数中其余的学习参数作为自由参数得到剪枝后的分类模型；

本步骤S4包括：S41利用任务感知的网络重分区策略，并基于分类模型在新任务上的训练梯度大小在S3剪除后剩余的学习参数中挑选出用于探索新任务和旧任务知识共享的共享参数；S42将S3中剪除后剩余的学习参数中除共享参数外的其余学习参数作为自由参数，得到剪枝后的分类模型。

其中，S41包括：S411，利用任务感知的网络重分区策略以引入权重重要性评分来定量衡量在任务t上训练时每个学习参数的重要性；S412，根据S3中剪除后剩余的学习参数权重重要性评分挑选出用于探索新任务和旧任务知识共享的共享参数；

值得说明的是，本步骤进一步引入任务感知的网络重分区策略，对被剪枝的参数做分类，目的是挑选出这部分参数中对新任务学习重要的参数，即用于探索新旧任务共享知识的参数。本发明以每个参数在新任务上的训练梯度作为其重要性的标准。这是可靠的，因为梯度可以直接且明显地展示参数变化对最终训练损失的影响。具体地说，本发明引入了一个权重重要性评分c来定量计算在任务t上训练时每个参数的重要性。所述权重重要性评分表示为：

其中，‖·‖₁是L1范数，表示学习参数/>的权重重要性评分，/>为一个二进制掩码，表示具有高权重重要性评分c的相应参数/>在训练新任务时被挑选出来，被挑选出的学习参数由/>和/>的交集表示，记为/>

S5，另选一个任务作为新任务，并执行所述新任务以利用所述新任务包含的图像对剪枝后的分类模型进行再训练，得到利用旧任务和新任务训练的第二分类模型；

本步骤S5包括：S51，选择另一任务作为新任务；S52，执行所述新任务以利用所述新任务包含的图像对剪枝后的分类模型再训练，在训练过程中保留旧任务的固定参数并更新所述共享参数以搜索新任务和旧任务的共享知识，以及学习新任务的自由参数，得到利用旧任务和新任务训练的第二分类模型。

在获取共享参数后，本发明应该将它们应用于学习，并保留旧任务和新任务之间的共享知识，以实现更好的知识迁移和模型的可塑性。因此，本发明在新任务上训练这些选定的参数，并将更新方向投影到旧任务的正交投影空间中。在训练新任务时，在每个训练步骤中更新网络参数的方法是在旧任务输入特征的正交空间中进行，那么网络将保持对所有旧任务的训练损失，并且避免遗忘。因此，本发明将这样的训练策略应用于上述被选中的共享参数，以探索新旧任务的共享知识，S52中更新所述共享参数的更新方式为：

其中，超参数η为学习率，是正交投影矩阵，代表了正交于前t-1个旧任务第l层特征空间的方向；

此外，子网络中那些未被选定的参数被用于学习新知识，而未经剪枝的参数即固定参数，则可以保留旧知识。所述的更新方式为：

S6，对所述第二分类模型的学习参数作剪枝，以剪除不重要的学习参数，保留重要的学习参数；

S7，重复S4至S6的过程直至S1中的所有任务执行完毕，得到训练完成的分类模型。

本步骤S7包括：S71，更新二进制掩码以保存旧任务的知识；S72，重复S4至S6的过程以学习新任务的知识，直至S1中的所有任务执行完毕，得到训练完成的分类模型。

在本发明一种具体的实施例中，在S200之后，所述基于正交稀疏网络的图像分类方法还包括：

对所述训练完成的分类模型的学习参数作剪枝以更新所述训练完成的分类模型；

在一下时刻的下一环境监测到的图像作为新的待分类图像，以利用更新后的分类模型对所述新的待分类图像作分类。

值得说明的是，在具体时序任务中，每一个任务都是当前任务，该当前任务执行完毕下一个时刻的任务为当前任务，如果在下一时刻的下一环境监测到的图像作为当前任务的待分类图像，从而执行分类过程得到该图像的类别。

第二方面，本发明提供了一种基于正交稀疏网络的图像分类装置包括：

获取模块，被配置为从电子设备获取当前环境下监测到的图像作为待分类图像，并生成该待分类图像的当前分类任务；

分类模块，被配置为执行所述当前分类任务，以将所述待分类图像输入至训练完成的分类模型中，以使所述分类模型输出所述待分类图像的类别；所述训练完成的分类模型具有保存旧知识的固定参数、共享旧知识和新知识的共享参数、学习新知识的自由参数。

本发明的装置与方法实施例一一对应，此处不再赘述。

本发明提出了一种基于正交网络的图像分类装置，从电子设备获取当前时刻的当前环境下监测到的图像作为待分类图像，并生成该待分类图像的当前分类任务；执行所述当前分类任务，以将所述待分类图像输入至训练完成的分类模型中，以使所述分类模型输出所述待分类图像的类别。本发明训练完成的分类模型具有保存旧知识的固定参数、共享旧知识和新知识的共享参数、新知识的自由参数。本发明通过剪枝后的分类模型中的共享参数来解决图像分类模型中的灾难性遗忘问题，以对当前监测到的图像分类可以提高分类的准确性和效率。这是促进图像分类技术的现实应用的关键。

下面通过实验来说明本发明的分类效果。

本发明基于PyTorch框架，在单张NVIDIA RTX 2080Ti GPU进行实验。

本发明在几个真实数据集上进行了一系列实验，涵盖了PMNIST、Split CIFAR-100、CIFAR-100Superclass、5-Datasets以及Split TinyImageNet。构建PMNIST时，本发明对原始的MNIST进行了不同的随机排列，生成了10个不同的任务。将CIFAR-100数据集分成了10个不相交的任务，每个任务包含10个不同的类别。CIFAR-100Superclass则是将CIFAR-100分成20个任务，每个任务包含5个语义相关的类别。5-Datasets包括CIFAR-10、MNIST、SVHN、FashionMNIST和notMNIST这五个不同的数据集。TinyImageNet则包含200个类别，每个类别有600张64×64的不同RGB图像。

为了与其他持续学习模型进行比较，本发明使用了两个常见的持续学习评估指标，即平均准确率(ACC)和后向迁移(BWT)。平均准确率是训练后所有任务的平均测试准确率，而后向迁移衡量了在从新任务学习后对旧任务的遗忘程度。

表1在数据集PMNIST的定量指标结果

方法	文献来源	ACC	BWT
				EWC	CoRR’2016	92.01	-0.03
PackNet	CVPR’2018	96.37	0.00
				SupSup	NeurIPS’2020	96.31	0.00
GPM	ICLR’2021	94.96	-0.02
				TRGP	ICLR’2022	96.34	-0.80
WSN	ICML’2022	96.51	0.00
				Ours	-	97.27	0.00

表2在有数据集Split CIFAR-100的定量指标结果

方法	文献来源	ACC	BWT
				EWC	CoRR’2016	68.80	-2.02
PackNet	CVPR’2018	72.39	0.00
				SupSup	NeurIPS’2020	75.47	0.00
La-MaML	CoRR’2021	71.37	-5.39
				FS-DGPM	NeurIPS’2021	74.33	-2.71
GPM	ICLR’2021	72.48	-0.90
				TRGP	ICLR’2022	74.46	-0.90
WSN	ICML’2022	75.86	0.00
				Connector	CVPR’2022	78.10	-0.30
DualGPM	CVPR’2023	71.33	-0.12
				API	CVPR’2023	72.00	0.37
Ours	-	78.23	-0.02

表3在数据集CIFAR-100Superclass的定量指标结果

表4在数据集5-Datasets的定量指标结果

方法	文献来源	ACC	BWT
				EWC	CoRR’2016	88.64	-0.04
PackNet	CVPR’2018	92.81	0.00
				SupSup	NeurIPS’2020	93.28	0.00
GPM	ICLR’2021	91.22	-0.01
				TRGP	ICLR’2022	93.56	-0.04
WSN	ICML’2022	92.30	0.00
				Connector	CVPR’2022	85.50	-2.90
DualGPM	CVPR’2023	88.70	-1.90
				API	CVPR’2023	91.10	-0.50
Ours	-	93.88	-0.08

表5在有数据集Split CIFAR-100的定量指标结果

方法	文献来源	ACC	BWT
				PackNet	CVPR’2018	55.46	0.00
SupSup	NeurIPS’2020	59.60	0.00
				La-MaML	CoRR’2021	66.90	-9.13
FS-DGPM	NeurIPS’2021	70.41	-2.11
				GPM	ICLR’2021	67.39	1.45
TRGP	ICLR’2022	68.32	1.71
				WSN	ICML’2022	71.96	0.00
Ours	-	76.23	-1.24

经过对表1、表2、表3、表4和表5在PMNIST、Split CIFAR-100、CIFAR-100Superclass、5-Datasets以及Split TinyImageNet多种真实数据集上的结果，可以明显观察到本发明所提出的方法在ACC和BWT评价指标方面获得了显著的提升，这些结果强有力地表明，经过本发明的方法处理后的图像在连续学习方面取得了显著的改善，具备更高的质量水平；不仅验证了本发明方法在图像重建任务中的卓越性能，也为本方法在实际应用中的潜在优势提供了有力的支持；在不同实际数据集应用场景中，高ACC和BWT所代表的更出色的平均精度和后向迁移都将为该方法的广泛应用提供实际帮助，促进了图像处理领域的进一步研究和发展。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

尽管在此结合各实施例对本申请进行了描述，然而，在实施所要求保护的本申请过程中，本领域技术人员通过查看所述附图、公开内容、以及所附权利要求书，可理解并实现所述公开实施例的其他变化。在权利要求中，“包括”(comprising)一词不排除其他组成部分或步骤，“一”或“一个”不排除多个的情况。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (10)

1.一种基于正交稀疏网络的图像分类方法，其特征在于，包括：

S100，从电子设备获取当前时刻的当前环境下监测到的图像作为待分类图像，并生成该待分类图像的当前分类任务；

S200，执行所述当前分类任务，以将所述待分类图像输入至训练完成的分类模型中，以使所述分类模型输出所述待分类图像的类别；所述训练完成的分类模型具有保存旧知识的固定参数、共享旧知识和新知识的共享参数、学习新知识的自由参数。

2.根据权利要求1所述基于正交稀疏网络的图像分类方法，其特征在于，所述训练完成的分类模型的训练过程包括：

S1，利用多种类别的图像构建数据集，并将所述数据集划分为若干个独立的任务，其中，每个任务包含相同数量的不同类别的图像；

S2，针对若干个独立的任务中的任一个任务作为旧任务，执行所述旧任务以利用该旧任务包含的图像训练所述分类模型，以使所述分类模型学习所述旧任务的知识得到第一分类模型；

S3，对所述第一分类模型的学习参数作剪枝，以剪除不重要的学习参数；

S4，利用网络重分区策略在S3剪除后剩余的学习参数中选择共享参数，并将重要的学习参数中其余的学习参数作为自由参数得到剪枝后的分类模型；

S5，另选一个任务作为新任务，并执行所述新任务以利用所述新任务包含的图像对剪枝后的分类模型进行再训练，得到利用旧任务和新任务训练的第二分类模型；

S6，对所述第二分类模型的学习参数作剪枝，以剪除不重要的学习参数，保留重要的学习参数；

S7，重复S4至S6的过程直至S1中的所有任务执行完毕，得到训练完成的分类模型。

3.根据权利要求2所述基于正交稀疏网络的图像分类方法，其特征在于，S3包括：

依据给定的参数比例对所述第一分类模型的学习参数作剪枝，以剪除不重要的学习参数，从而保存从所述分类模型从该旧任务中学习到的知识；剪枝过程具体表示为：

其中，l和t分别是分类模型的网络层数和任务序数，是交叉熵损失函数，/>则为第t个任务的数据集；/>表示二进制掩码，该二进制掩码通过运算操作⊙来剪枝模型参数即为剪枝后的学习参数或重要参数，/>将在每次学习参数剪枝之后通过霍夫曼编码更新。

4.根据权利要求2所述基于正交稀疏网络的图像分类方法，其特征在于，S4包括：

S41，利用任务感知的网络重分区策略，并基于分类模型在新任务上的训练梯度大小在S3剪除后剩余的学习参数中挑选出用于探索新任务和旧任务知识共享的共享参数；

S42，将S3中剪除后剩余的学习参数中除共享参数外的其余学习参数作为自由参数，得到剪枝后的分类模型。

5.根据权利要求4所述基于正交稀疏网络的图像分类方法，其特征在于，S41包括：

S411，利用任务感知的网络重分区策略以引入权重重要性评分来定量衡量在任务t上训练时每个学习参数的重要性；

S412，根据S3中剪除后剩余的学习参数权重重要性评分挑选出用于探索新任务和旧任务知识共享的共享参数；

其中，所述权重重要性评分表示为：

其中，‖·‖₁是L1范数，表示学习参数/>的权重重要性评分，/>为一个二进制掩码，表示具有高权重重要性评分c的相应参数/>在训练新任务时被挑选出来，被挑选出的学习参数由/>和/>的交集表示，记为/>

6.根据权利要求5所述基于正交稀疏网络的图像分类方法，其特征在于，所述S5包括：

S51，选择另一任务作为新任务；

S52，执行所述新任务以利用所述新任务包含的图像对剪枝后的分类模型再训练，在训练过程中保留旧任务的固定参数，并更新所述共享参数以搜索新任务和旧任务的共享知识，并更新用于学习新任务的自由参数，得到利用旧任务和新任务训练的第二分类模型。

7.根据权利要求6所述基于正交稀疏网络的图像分类方法，其特征在于，所述S52中更新所述共享参数的更新方式为：

其中，超参数η为学习率，是正交投影矩阵，代表了正交于前t-1个旧任务第l层特征空间的方向；

更新所述固定参数的更新方式为：

8.根据权利要求7所述基于正交稀疏网络的图像分类方法，其特征在于，S7包括：

S71，更新二进制掩码以保存旧任务的知识；

S72，重复S4至S6的过程以学习新任务的知识，直至S1中的所有任务执行完毕，得到训练完成的分类模型。

9.根据权利要求1所述基于正交稀疏网络的图像分类方法，其特征在于，在S200之后，所述基于正交稀疏网络的图像分类方法还包括：

对所述训练完成的分类模型的学习参数作剪枝以更新所述训练完成的分类模型；

在一下时刻的下一环境监测到的图像作为新的待分类图像，以利用更新后的分类模型对所述新的待分类图像作分类。

10.一种基于正交稀疏网络的图像分类装置，其特征在于，包括：

获取模块，被配置为从电子设备获取当前环境下监测到的图像作为待分类图像，并生成该待分类图像的当前分类任务；

分类模块，被配置为执行所述当前分类任务，以将所述待分类图像输入至训练完成的分类模型中，以使所述分类模型输出所述待分类图像的类别；所述训练完成的分类模型具有保存旧知识的固定参数、共享旧知识和新知识的共享参数、学习新知识的自由参数。