CN113610121A - 一种跨域任务深度学习识别方法 - Google Patents

Abstract

本发明公开了一种跨域任务深度学习识别方法，从多个训练环境中估计非线性，不变因果预测因子，使模型只根据主体的特征预测，步骤一、生成生成主体特征与背景特征无关的数据集；步骤二、搭建门控参数增强网络模型；步骤三、计算损失函数；步骤四、训练并且保存参数；步骤五、将待识别样本输入步骤四训练后的分类器并输出识别结果。对比于现有的其它方法(如CLP,ALP,PGD,VIB),本发明提出的CDI方法能够很好地抑制背景对于主体识别的影响，准确率和稳定性远高于其它现有方法。

Description

一种跨域任务深度学习识别方法

技术领域

本发明属于图像识别技术领域，涉及一种跨域任务深度学习识别方法。

背景技术

在语音语义、工业视觉检测、自动驾驶等诸多机器学习的应用场景中，都存在数据来自 多个不同的分布的情况。监督学习希望从数据中抽取出对于预测标签有用的特征，然而很多 深度网络不学习实际的对象特征，而是倾向于利用训练集和测试集之间共享的非鲁棒特征。 因此，尽管他们在此类测试集上有非常好的性能，但在独立、相同分布假设打破且虚假特征 的分布发生偏移的样本上却获得了较差的分类准确率。所以希望模型提取出对预测标签有用 的特征。当数据采自多个不同的域时，会同时产生稳定特征和不稳定特征。这就要求模型能 够在训练时有效分离出稳定特征与不稳定特征，以提高机器学习中的识别能力。

目前国内外对于识别任务大多数是针对相同背景分布，没有考虑到如果背景分布变了将 会对识别任务造成的影响，很有可能造成识别过拟合的现象。例如，人类所认知鸟类的图片 大多数是以树林、海洋、天空为背景，一旦有鸟类的图片是以沙漠为背景，网络就会在识别 上出现错误。因此，设计一种在基于不同背景下的主体识别方法十分必要。

发明内容

针对上述现有技术，本发明要解决的技术问题是提供一种基于不同背景下的主体识别任 务中能够提高准确率的跨域任务深度学习识别方法。

为解决上述技术问题，本发明的一种跨域任务深度学习识别方法，包括以下步骤：

步骤一、生成主体特征与背景特征无关的数据集：

制作三组MNIST数据集，每一组数据集中每一个数字只有一种背景颜色与其对应，且三 组中的相同数字对应不同的背景颜色和数字主体颜色，且每一组数据集中相同的数字主体颜 色相同，不同的数字主体颜色不同；

步骤二、搭建网络模型：

搭建门控参数增强网络模型，包括卷积层、最大池化层和全连接层，在网络的第一个卷 积层后面添加基层正则化，每两个卷积层之后都在隐藏层添加门控因子α，在每一层网络之 后都添加了BN层，最后一层卷积层使用线性激活函数，其余使用Relu函数进行激活，在全 连接层之后使用softmax进行分类，数据的维度为(B,C,W,H),B为一批大小，C为通道，H 为高度，W为宽度；

步骤三、将三种数据集输入步骤二搭建的网络模型，分别得出分别得到三种输出，由三 种模型输出求FRP惩罚项，具体为：

式中R^e(W·Φ)为交叉熵损失，令w＝1.0是虚假分类器，

是R^e(W·Φ)对w求导，然后分别计算出三种环境的GRR项， 具体为：

其中D表示数据分布，E[(f_θ(X)-y)²]代表方差，E_{X～D(X|y＝k)}[(f_θ(X)-μ_k)²]是均方差，β 是GRR参数且β的值越大，对不稳定特征的抑制能力越好；

损失函数使用交叉熵损失，求出三个数据集交叉熵损失，随后将损失函数、GRR回归项、 FRP惩罚项相加生成新的学习范式，具体为：

其中p代表FRP惩罚系数；

步骤四、训练并且保存参数：

训练采用多尺度的训练方法，设置训练的初始权重、学习率、GRR参数β以及FRP惩罚 项系数p，每一次epoch都保存训练权重参数；

步骤五、将待识别样本输入步骤四训练后的分类器并输出识别结果。

本发明的有益效果：对比于现有的其它方法(如CLP,ALP,PGD,VIB),本发明提出的CDI 方法能够很好地抑制背景对于主体识别的影响，准确率和稳定性远高于其它现有方法。

附图说明

图1是跨域识别流程框图；

图2是CPEN网络模型；

图3(a)-图3(c)是生成的三个环境数据集；

图4是β的数值变化对不稳定特征抑制能力的影响；

图5是GRR和GF的准确率对比；

图6是加入AdaBN的测试结果；

图7是CDI方法与其他方法的比较。

具体实施方式

下面结合说明书附图和具体实施方式对本发明做进一步说明。

针对更换背景出现识别错误的问题提出了跨域识别方法(CDI)，该方法从多个训练环境 中估计非线性，不变因果预测因子，使模型只根据主体的特征预测。通过实验对比，CDI在 基于不同背景主体识别任务上的性能好于其它方法。

实现步骤如下：

步骤一、制作数据集

虽然MNIST数据集图像是灰度的，但我们用一种与类标签强烈(但虚假的)关联的方式为 每个手写数字着色，一共制作三组数据集，每一组数据集都保证每一个数字只有一种背景颜 色与其对应，但是三组中的相同数字对应不同的背景颜色。数据集共制作60000张，其中训 练数据集与验证数据集的比例为9:1。数据集这样制作可以去除颜色作为预测特征，避免标 签与颜色的相关性比与数字的相关性更强，从而得到更好的泛化效果。

步骤二、搭建网络模型

搭建了门控参数增强网络模型(CPEN)，该网络包括24个卷积层，4个最大池化层，和2 个全连接层。在网络的第一个卷积层后面添加基层正则化(GRR)，每两个卷积层之后都在隐 藏层添加门控因子α，α的初始值设置为1.5，在每一层网络之后都添加了BN层。网络设置 了两个全连接层，其中一个是4096的神经元，最后一个全连接层的参数设置为10。网络的 激活函数仅在最后一层卷积层使用现行激活函数，其余使用Relu函数进行激活。在全连接层 之后使用softmax进行分类。数据的维度为(B,C,W,H),B-批大小(初始值设置为128)，C– 通道(初始值为3，即RGB通道)，H–高度，W–宽度。

步骤三、损失函数

将三种环境的数据输入CEPN网络分别得出分别得到三种输出，由三种模型输出求FRP惩 罚项，惩罚项的计算由式(1)计算：

式中R^e(W·Φ)为交叉熵损失，令w＝1.0是虚假分类器。

是 R^e(W·Φ)对w求导。然后分别计算出三种环境的GRR项，如公式(2)：

其中D表示数据分布，E[(f_θ(X)-y)²]代表方差，E_{X～D(X|y＝k)}[(f_θ(X)-μ_k)²]是均方差，β 是GRR参数且β的值越大，对不稳定特征的抑制能力越好，如图4所示，显示了计算的灵敏度。基线正则化作为一个滤波器，抑制了这两个模型对弱相关特征的敏感性(pi接近0.5)。

损失函数使用交叉熵损失，也是求出三个环境交叉熵损失。随后将损失函数、GRR回归 项、FRP惩罚项相加生成新的学习范式，如式子(3)：

其中p代表FRP惩罚系数。如图5所示，通过对比了只有GRR和在GRR基础上添加FRP(GF)的测试结果表明了GF要比只有GRR效果好。

步骤四、训练并且保存参数

训练采用了多尺度的训练方法，每10个batch随机更换一次预处理的图像尺度，共有 576×576,512×512，448×448，416×416，384×384,320×320六种训练尺度，这样做的目 的是增加泛化性能。训练的初始权重采用的是VGG16的预训练权重，训练时前10个batch的 学习率设置为0.01，加快收敛速度，之后的学习率固定为0.0001,以便收敛到最优结果。训 练时设置GRR参数(β)以及FRP惩罚项系数(p)分别为10和0.01。训练一共进行了50 个Epoch，并且每一次epoch都保存了训练权重参数。

步骤五、加载多个跨域数据集进行测试评估

彩色手写数字数据集(C-MNIST)，由MNIST数字与BSDS500数据集中的随机色块混合而 成的MNIST-M数据集,以及谷歌街景门牌号码数据集(SVHN)，是常用的跨域测试数据集。将 训练50个epoch的训练权重加载到test.py中，分别测试三种数字数据集，测试准确率用预 测的正样本(即无论背景或主体是什么颜色的数字，都能够正确的识别出是什么数字)除以总 样本表示。为了证明本方法不只是在数字数据集上有效果，我们还在CIFA-10上进行了额外 的训练和测试。

跨域识别的流程框图如图1所示，CDI算法应用在模型学习模块。针对跨域图像设计了 DPEN神经网络模型如图2所，网络的特点是采用了多尺度的训练方法增加泛化能力，在网络 的第一层就添加了GRR即减少背景对于主体预测的影响，又可以有效防止过拟合，添加门控 因子可以控制网络只输入输出对识别主体有用的参数，每一个卷基层的输出乘以参数α，达 到增强跨域任务的主体识别效果。

生成的彩色数据集如图3(a)-图3(b)所示，设计了三种环境的数据集，每种环境包含20000张图片。在每个环境中，每个数字对应一种前景与背景颜色，手写数字图片的颜色与标签具有强相关性，但是不同环境中图片颜色与标签的相关性发生变化。同时从三种环 境提取数据，生成每种环境的FRP惩罚项、交叉熵损失、GRR损失。生成一种新的目标函数， 最后通过最小化目标更新模型。

如图6所示，在改进算法时，考虑加入自适应批处理规范化(AdaBN)这种处理方法，发 现预测的稳定性有所提高，准确率不会发生突变等情况。将AdaBN关闭后，准确率曲线变得 不稳定。对比实验中FRP参数p均固定为0.01。

现有的其他方法中训练准确率可以达到95.6％，但是在颜色分布发生偏移的测试数据集 上进行测试时的性能并不理想。如图7所示，CDI方法与log配对法(CLP)、对立配对法 (ALP)、投影梯度下降法(PGD)、变分瓶颈法(VIB)对比表明CDI在跨域任务识别中的效果更好。

CDI方法在C-MNIST,SVHN，MNIST-M,CIFA-10数据集上的测试准确率如表1所示，表明 CDI方法在跨域任务识别中的效果很好，达到预期要求。

表1 CDI在不同数据集上的测试准确率

数据集	C-MNIST	SVHN	MNIST-M	CIFA-10
					准确率	93.88	79.75	90.40	87.94

Claims (1)

1.一种跨域任务深度学习识别方法，其特征在于，包括以下步骤：

步骤一、生成主体特征与背景特征无关的数据集：

制作三组MNIST数据集，每一组数据集中每一个数字只有一种背景颜色与其对应，且三组中的相同数字对应不同的背景颜色和数字主体颜色，且每一组数据集中相同的数字主体颜色相同，不同的数字主体颜色不同；

步骤二、搭建网络模型：

搭建门控参数增强网络模型，包括卷积层、最大池化层和全连接层，在网络的第一个卷积层后面添加基层正则化，每两个卷积层之后都在隐藏层添加门控因子α，在每一层网络之后都添加了BN层，最后一层卷积层使用线性激活函数，其余使用Relu函数进行激活，在全连接层之后使用softmax进行分类，数据的维度为(B,C,W,H),B为一批大小，C为通道，H为高度，W为宽度；

步骤三、将三种数据集输入步骤二搭建的网络模型，分别得出分别得到三种输出，由三种模型输出求FRP惩罚项，具体为：

式中R^e(W·Φ)为交叉熵损失，令w＝1.0是虚假分类器，

是R^e(W·Φ)对w求导，然后分别计算出三种环境的GRR项，具体为：

其中D表示数据分布，E[(f_θ(X)-y)²]代表方差，E_{X～D(X|y＝k)}[(f_θ(X)-μ_k)²]是均方差，β是GRR参数且β的值越大，对不稳定特征的抑制能力越好；

损失函数使用交叉熵损失，求出三个数据集交叉熵损失，随后将损失函数、GRR回归项、FRP惩罚项相加生成新的学习范式，具体为：

其中p代表FRP惩罚系数；

步骤四、训练并且保存参数：

训练采用多尺度的训练方法，设置训练的初始权重、学习率、GRR参数β以及FRP惩罚项系数p，每一次epoch都保存训练权重参数；

步骤五、将待识别样本输入步骤四训练后的分类器并输出识别结果。

Images