CN109523018B - 一种基于深度迁移学习的图片分类方法 - Google Patents

Abstract

本发明请求保护一种基于深度迁移学习的图片分类方法，其中,所述的领域适应至少包含两个领域的数据,分别为源域和目标域，并且源域数据为已标记的样本数据.所述方法主要包括以下步骤:步骤1)数据准备阶段.准备源域数据和目标域数据,确定目标类别集合.步骤2)特征提取模型构建阶段.使用ResNet和自注意力网络构建基础特征提取模型.步骤3)领域对抗模型构建阶段.使用领域对抗模型预测样本类别和样本领域；步骤4)训练阶段.对源域和目标域样本进行领域标记,设置基于样本迁移权重的损失函数.步骤5)预测阶段.对目标域数据进行预测,将类别预测结果作为最终结果.本发明降低标记成本,达到知识迁移的目的。

Description

一种基于深度迁移学习的图片分类方法

技术领域

本发明属于计算机信息处理技术领域,具体涉及人工智能及大数据处理相关领域。

背景技术

随着数据规模和计算资源的日益增长,大数据处理技术也经历着高速的发展.机器学习作为大数据处理技术的有效工具之一，在大数据处理技术中发挥着关键作用，监督学习是机器学习中的一个重要分支,其特点是包含标记信息的学习，在现实生活中，某些任务的标记往往是难以获得的，例如图片数据，需要大量的人力进行标记，现有最大的已标记的图片数据集为ImageNet,包含1500万张已有标记的图片数据.其标记任务由167个国家的48940位工作人员，使用了2年时间完成.因此如何降低标记成本是监督学习的一个主要挑战，使用其他领域已标记的样本数据向目标领域进行领域适应是降低标记成本的有效方法，因此，领域适应也是近期较为火热的技术之一。

在电商系统中,图片是展示产品的主要方法,但是对于电商图片的分类需要大量的标记工作，如何不依赖额外的标记工作,利用其他领域已标记的数据,对电商图片进行分类,达到无标记学习的目的,正是本发明将要解决的问题，另外,本发明不仅仅限于电商图片的分类，对于有相同目标类别的图片分类任务，都可适用。

发明内容

本发明旨在解决以上现有技术的问题。提出了一种解决图片分类中无标记分类问题的基于深度迁移学习的图片分类方法。本发明的技术方案如下：

一种基于深度迁移学习的图片分类方法，其包括以下步骤：

步骤1、数据准备阶段：获取目标域数据，并确定相应的目标类别集合，获取已标记有目标类别的数据，作为源域数据；

步骤2、特征提取模型构建阶段：使用ResNet构建模型基础网络，提取基础特征；将ResNet的输出连接到一个自注意力网络，增强图片的结构信息，减少颜色及纹理对类别的影响；将步骤1准备的数据输入到步骤2的特征提取模型,提取图片的特征,输出特征向量；

步骤3、领域对抗模型构建阶段：将步骤2输出的特征输入到步骤3的领域对抗模型,输出预测的领域及该图片的类别，将特征提取模型的输出连接到一个预测目标类别的全连接层，得到预测的类别信息，将预测的类别信息与特征提取模型的输出进行拼接，输入至领域判别的全连接层，并通过梯度取反逆向更新领域判别全连接层的参数；

步骤4、训练阶段：将源域和目标域数据进行领域标记，使用源域、目标域的领域预测结果分别计算出迁移权重和迁移损失，使用源域的类别预测结果计算出分类损失，将迁移损失和分类损失的和作为反向传播的损失更新模型；

步骤5、预测阶段：将目标域的数据输入模型,将类别输出作为最终的预测结果。

进一步的，所述步骤1数据准备阶段：获取目标域数据，并确定相应的目标类别集合，获取已标记有目标类别的数据，作为源域数据，具体包括：

确定待分类的服装商品图片样本集作为目标域样本数据集D_target,确定将要分为的类别集合C,其中包含的主要类别为<sweet,wet,shirt,...>,下载ImageNet数据集,并选择其中含有Clothing标记的图片样本集合,作为已有标记的源域样本数据集D_source,并将D_source按照样本的类别标记为文件夹名称分别保存。

进一步的，所述步骤2特征提取模型构建阶段的具体操作包括：使用预训练的含有101层的ResNet模型作为基础的特征提取模型，去除ResNet最后一层全连接层,替换为一个包含2048个神经元的自注意力网络，用来增强图片的全局结构特征，注意力网络的注意力权重计算公式如下，其中，x为图片样本,f(x)为ResNet的输出，i、j表示坐标位置,表示第i个位置对于第j个位置的关注度；

其中

特征提取模型的输出为注意力网络加权在ResNet模型上的输出，其计算公式如下；同样,f(x)为ResNet的输出,β为上式所计算出的关注度参数,得到的F(x)为特征提取模型的输出.

F(x)out＝f(x)·β

模型训练参数设置为(batch_size:64,iteration:50000),优化器参数设置为(learning_rate:0.01,momentum:0.8,weight_decay:0.00001,gamma:3).

进一步的，所述步骤3领域适应模型构建阶段的具体操作包括：将特征提取模型的输出连接至一个类别预测的全连接层，其中，该全连接层的神经元个数为类别集合元素数，并对全连接层的输出进行softmax归一化，得到预测的类别概率；

将预测的类别概率与特征提取模型的输出进行横向拼接，此时的单个样本包含两个部分，其一是特征提取模型输出的特征，其二是模型预测的类别概率，将拼接结果作为新的特征输入至包含一个神经元的领域判别的全连接层，并通过梯度取反逆向更新领域判别的全连接层的参数，梯度取反逆向更新计算公式如下所示，其中θ为模型的参数,Δ为损失函数对于θ的导数,t为迭代次数，ɑ为更新步长；

θ_t+1＝θ_t+αΔ

新增全连接层的参数均使用均匀分布进行初始化，初始化方差设置为3^0.5，模型的输出包含两个部分，一部分为softmax输出的预测类别，另一部分是领域判别的全连接层输出的预测领域。

进一步的，所述步骤4模型的运行阶段具体包括：将源域和目标域数据进行领域标记，标记源域的领域标记为1，目标域的领域标记为0，将源域的数据输入到模型中，预测出类别标记和领域标记，使用源域预测出的类别标记与源域的真实的类别标记计算出关于类别学习的损失，类别学习损失计算公式如下，x表示特征提取模型的输出，class表示真实的标记，j表示类别索引；

对源域和目标域的批数据进行纵向拼接，构成混合域数据，使用混合域预测出的领域标记与混合域真实的领域标记计算出关于领域判别的损失，领域判别损失的计算公式如下，其中x表示模型的输出,y表示真实的领域标记.

loss(x，y)_d。main＝-[y·10gx+(1-y)·log(1-x)]

对于每个样本，存在不同的迁移性，通过对抗模型的预测结果得出样本的迁移权重，其迁移权重计算公式如下，其中x为领域对抗模型预测的结果，函数H为熵.

weight＝0.5+H(x)

因此,模型的反向传播的误差包含两个方面,一方面为通过迁移权重进行加权的源域分类损失,另一方面为源域和目标域的领域迁移损失，将两方面的损失进行求和，作为反向传播所用的损失，用来更新模型参数，拟合模型，其计算公式如下,其中,weight是计算出的样本迁移权重,x是特征提取模型的输出,class是图片真实标记,y是图片预测的标记,loss_class为分类损失,loss_domain为迁移损失.

loss_backward＝weight·loss(x，class)_class+loss(x，y)_domain。

附图说明

图1是本发明提供优选实施例一种基于深度迁移学习的图片分类方法的流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。

本发明解决上述技术问题的技术方案是：

图1为本发明提供的一种基于深度迁移学习的图片分类方法的流程图,具体包括:

数据准备阶段.确定待要分类的服装商品图片样本集作为目标域样本数据集D_target,确定将要分为的类别集合C,其中包含的主要类别为<sweet,wet,shirt,...>,下载ImageNet数据集,并选择其中含有Clothing标记的图片样本集合,作为已有标记的源域样本数据集D_source,并将D_source按照样本的类别标记为文件夹名称分别保存.

特征提取模型构建阶段.使用预训练的ResNet50模型作为基础的特征提取模型,去除ResNet50最后的全连接层,替换为一个自注意力网络来提取图片的全局结构特征,特征提取模型的输出为Out_ResNet50.

领域适应模型构建阶段.将特征提取模型的输出Out_ResNet50连接至一个类别预测的全连接层Layer_c,并对全连接层Layer_c的输出Out_{Layer_c}进行Softmax归一化,得到预测的类别概率Probability_c.将预测的类别概率Probability_c与特征提取模型的输出Out_ResNet50进行拼接,作为新的特征量Out_combine输入至领域判别的全连接层Layer_domain,并通过梯度取反逆向更新领域判别的全连接层的参数.因此,模型的输出包含两个部分,一部分为Softmax输出的预测类别Probability_c,另一部分是领域判别的全连接层输出的预测领域Probability_domain.

模型的运行阶段.将源域和目标域数据进行领域标记,标记源域的领域标记全为1,目标域的领域标记全为0.将源域的数据D_source输入到模型中,预测出类别标记Probability_c和领域标记Probability_{domain_source}.使用源域预测出的类别标记与源域的真实的类别标记计算出关于类别学习的损失Loss_{c_source}；使用源域预测出的领域标记与源域真实的领域标记计算出关于领域判别的损失Loss_{domain_source}.将目标域的数据D_target输入到模型,预测出目标域的类别标记和领域标记,并计算目标域的领域判别损失Loss_{domain_target}.将源域和目标域的领域判别损失求和作为领域判别的损失Loss_domain.因此反向传播的误差包含两个方面,一方面为类别标记的拟合损失,另一方面为源域和目标域的领域判别损失,将两方面的损失进行求和,作为反向传播所用的损失Loss_total,用来更新模型参数,拟合模型.

6.模型的测试阶段.使用测试样本集合D_target输入到训练好的模型中,仅获取输出的类别标记Probability_c为模型最终的预测类别结果。

以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。

Claims (4)

1.一种基于深度迁移学习的图片分类方法，其特征在于，包括以下步骤：

步骤1、数据准备阶段：获取目标域数据，并确定相应的目标类别集合，获取已标记有目标类别的数据，作为源域数据；

步骤2、特征提取模型构建阶段：使用ResNet构建模型基础网络，提取基础特征；将ResNet的输出连接到一个自注意力网络，增强图片的结构信息，减少颜色及纹理对类别的影响；将步骤1准备的数据输入到步骤2的特征提取模型,提取图片的特征,输出特征向量；

步骤3、领域对抗模型构建阶段：将步骤2输出的特征输入到步骤3的领域对抗模型,输出预测的领域及该图片的类别，将特征提取模型的输出连接到一个预测目标类别的全连接层，得到预测的类别信息，将预测的类别信息与特征提取模型的输出进行拼接，输入至领域判别的全连接层，并通过梯度取反逆向更新领域判别全连接层的参数；

步骤4、训练阶段：将源域和目标域数据进行领域标记，使用源域、目标域的领域预测结果分别计算出迁移权重和迁移损失，使用源域的类别预测结果计算出分类损失，将迁移损失和分类损失的和作为反向传播的损失更新模型；

步骤5、预测阶段：将目标域的数据输入模型,将类别输出作为最终的预测结果；

所述步骤4模型的训练阶段具体包括：将源域和目标域数据进行领域标记，标记源域的领域标记为1，目标域的领域标记为0，将源域的数据输入到模型中，预测出类别标记和领域标记，使用源域预测出的类别标记与源域的真实的类别标记计算出关于类别学习的损失，类别学习损失计算公式如下，x表示源域预测的类别标记，class表示源域真实类别标记，j表示类别索引；

对源域和目标域的批数据进行纵向拼接，构成混合域数据，使用混合域预测出的领域标记与混合域真实的领域标记计算出关于领域判别的损失，领域判别损失的计算公式如下，其中x表示混合域预测的领域标记,y表示混合域真实的领域标记；

loss(x，y)_domain＝-[y·logx+(1-y)·log(1-x)]

对于每个样本，存在不同的迁移性，通过对抗模型的预测结果得出样本的迁移权重，其迁移权重计算公式如下，其中x为源域的领域对抗模型预测的结果，函数H为熵.

weight＝0.5+H(x)

因此,模型的反向传播的误差包含两个方面,一方面为通过迁移权重进行加权的源域分类损失,另一方面为源域和目标域的领域迁移损失，将两方面的损失进行求和，作为反向传播所用的损失，用来更新模型参数，拟合模型，其计算公式如下,其中,weight是计算出的样本迁移权重,loss(x，class)_class中，x表示源域预测的类别标记，class表示源域真实类别标记，loss(x，y)_domain中，x表示混合域预测的领域标记,y表示混合域真实的领域标记；loss_class为分类损失,loss_domain为迁移损失；

loss_backward＝weight·loss(x，class)_class+loss(x，y)_domain。

2.根据权利要求1所述的一种基于深度迁移学习的图片分类方法，其特征在于，所述步骤1数据准备阶段：获取目标域数据，并确定相应的目标类别集合，获取已标记有目标类别的数据，作为源域数据，具体包括：

确定待分类的服装商品图片样本集作为目标域样本数据集D_target,确定将要分为的类别集合C,其中包含的类别为<sweet,wet,shirt,...>,下载ImageNet数据集,并选择其中含有Clothing标记的图片样本集合,作为已有标记的源域样本数据集D_source,并将D_source按照样本的类别标记为文件夹名称分别保存。

3.根据权利要求1所述的一种基于深度迁移学习的图片分类方法，其特征在于，所述步骤2特征提取模型构建阶段的具体操作包括：使用预训练的含有101层的ResNet模型作为基础的特征提取模型，去除ResNet最后一层全连接层,替换为一个包含2048个神经元的自注意力网络，用来增强图片的全局结构特征，注意力网络的注意力权重计算公式如下，其中，x为图片样本,f(x)为ResNet的输出，i、j表示坐标位置,表示第i个位置对于第j个位置的关注度；

其中

特征提取模型的输出为注意力网络加权在ResNet模型上的输出，其计算公式如下；同样,f(x)为ResNet的输出,β为上式所计算出的关注度参数,得到的F(x)为特征提取模型的输出；

F(x)_out＝f(x)·β

模型训练参数设置为(batch_size:64,iteration:50000),优化器参数设置为(learning_rate:0.01,momentum:0.8,weight_decay:0.00001,gamma:3)。

4.根据权利要求3所述的一种基于深度迁移学习的图片分类方法，其特征在于，所述步骤3领域适应模型构建阶段的具体操作包括：将特征提取模型的输出连接至一个类别预测的全连接层，其中，该全连接层的神经元个数为类别集合元素数，并对全连接层的输出进行softmax归一化，得到预测的类别概率；

将预测的类别概率与特征提取模型的输出进行横向拼接，此时的单个样本包含两个部分，其一是特征提取模型输出的特征，其二是模型预测的类别概率，将拼接结果作为新的特征输入至包含一个神经元的领域判别的全连接层，并通过梯度取反逆向更新领域判别的全连接层的参数，梯度取反逆向更新计算公式如下所示，其中θ为模型的参数,Δ为损失函数对于θ的导数,t为迭代次数，ɑ为更新步长；

θ_t+1＝θ_t+αΔ

新增全连接层的参数均使用均匀分布进行初始化，初始化方差设置为3^0.5，模型的输出包含两个部分，一部分为softmax输出的预测类别，另一部分是领域判别的全连接层输出的预测领域。

Images