CN109858505B - 分类识别方法、装置及设备 - Google Patents

Abstract

本发明公开了一种分类识别方法、装置及设备，属于机器学习技术领域。所述方法包括：通过第一神经网络提取源域数据和目标域数据的跨域不变特征；通过第二神经网络提取源域数据和目标域数据的域辨识特征；通过第三神经网络根据跨域不变特征和域辨识特征，得到融合特征；利用融合特征进行分类识别和来源识别；根据识别结果训练第一神经网络、第二神经网络和第三神经网络；采用训练得到的第一神经网络，识别目标域数据对应的分类。通过将域辨识特征和跨域不变特征共同作为训练神经网络时的约束项，提高了训练完毕的神经网络对目标域数据进行分类识别的准确率。

Description

分类识别方法、装置及设备

技术领域

本发明实施例涉及机器学习技术领域，特别涉及一种分类识别方法、装置及设备。

背景技术

域自适应学习(domain adaptation learning)又称为跨域学习，简单地说，域自适应学习就是根据源域(source domain)的已学习到的知识对目标域(target domain)的输出进行学习。域自适应学习常用在分类识别的场景，通过有标签的源域数据和无标签的目标域数据，来获得性能优良的目标域分类器，实现跨域的学习任务。在域自适应学习中，通常采用人工神经网络(Artificial NeuralNetwork，以下简称“神经网络”)作为用于分类识别的模型。神经网络对目标域数据进行分类识别的准确率，往往由训练该神经网络所采用的训练方法所决定。

在相关技术中，通常采用基于特征表示的域自适应学习算法，是指将样本映射到新的特征空间中，通过选择合适的特征表示方式，使源域数据和目标域数据在新的特征空间下的分布相同或尽可能地相似。基于特征表示的域自适应学习算法的损失函数(lossfunction)包括两部分：其一是采用有标签的源域数据对神经网络进行监督训练所对应的损失函数，其二是引入约束项，对源域数据的特征分布和目标域数据的特征分布进行无监督约束，使得两个域的样本在高维空间上的分布尽可能地相似。通过梯度下降方法不断调整神经网络各层之间的权重，使得上述损失函数的值达到最小，从而完成对神经网络的训练。利用上述训练完成的神经网络，可以对目标域数据进行分类识别。

基于特征表示的域自适应学习算法包括基于统计量的特征约束、基于对抗思想的特征约束等算法，但其目的都是使得源域数据和目标域数据的特征分布尽可能地相似，也即找到源域数据和目标域数据的共性特征。在上述相关技术中，仅将源域数据和目标域数据的共性特征作为约束项，容易导致通过上述训练方法训练得到的神经网络，对目标域数据进行分类识别的准确率不够高。

发明内容

本发明实施例提供了一种分类识别方法、装置及设备，可用于解决相关技术中仅将源域数据和目标域数据的共性特征作为约束项，导致训练得到的神经网络对目标域数据进行分类识别的准确率不够高的问题。所述技术方案如下：

一方面，本发明实施例提供一种分类识别方法，该方法包括：

通过第一神经网络提取源域数据和目标域数据的跨域不变特征，所述跨域不变特征是指用于辨识数据对应的分类的特征；

通过第二神经网络提取所述源域数据和所述目标域数据的域辨识特征，所述域辨识特征是指用于辨识数据对应的来源的特征；

通过第三神经网络根据所述跨域不变特征和所述域辨识特征，得到融合特征；

利用所述融合特征进行分类识别和来源识别；

根据识别结果训练所述第一神经网络、所述第二神经网络和所述第三神经网络；

采用训练得到的所述第一神经网络，识别所述目标域数据对应的分类。

另一方面，本发明实施例提供一种分类识别装置，该装置包括：

第一提取模块，用于通过第一神经网络提取源域数据和目标域数据的跨域不变特征，所述跨域不变特征是指用于辨识数据对应的分类的特征；

第二提取模块，用于通过第二神经网络提取所述源域数据和所述目标域数据的域辨识特征，所述域辨识特征是指用于辨识数据对应的来源的特征；

处理模块，用于通过第三神经网络根据所述跨域不变特征和所述域辨识特征，得到融合特征；

识别模块，用于利用所述融合特征进行分类识别和来源识别；

训练模块，用于根据识别结果训练所述第一神经网络、所述第二神经网络和所述第三神经网络；

识别模块，用于采用训练得到的所述第一神经网络，识别所述目标域数据对应的分类。

再一方面，本发明实施例提供一种计算机设备，所述设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如第一方面所述的分类识别方法。

又一方面，本发明实施例提供一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如第一方面所述的分类识别方法。

本发明实施例提供的技术方案可以带来如下有益效果：

通过提取源域数据和目标域数据的跨域不变特征和域辨识特征，将其融合成为融合特征用于进行分类识别和来源识别，并根据识别结果训练所有的神经网络，直至所有的神经网络都收敛，而后采用训练得到的神经网络对目标域数据进行分类识别。也即，通过将源域数据和目标域数据的域辨识特征添加至跨域不变特征，得到融合特征，并将该融合特征作为训练神经网络时的约束项，相当于为神经网络的训练增加了约束项，也即增加了目标域样本的有效特征，使得通过上述训练方法训练得到的神经网络，对目标域数据进行分类识别的准确率更高。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一个实施例提供的分类识别方法的流程图；

图2是本发明一个实施例提供的分类识别方法的示意图；

图3是本发明一个实施例提供的通过第一神经网络识别目标域数据的示意图；

图4是本发明一个实施例提供的分类识别装置的框图；

图5是本发明一个实施例提供的计算机设备的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

在对本发明实施例介绍之前，先对本发明实施例涉及的相关名词进行介绍说明。

目标域数据，是未知分类的样本的集合，也即无标签样本集。目标域数据中包括M个无标签样本，M为正整数。通常来讲，目标域数据中包括多个无标签样本。在本发明实施例中，标签即是指分类标签，用于指示样本所对应的分类。

源域数据，是已知分类的样本的集合，也即有标签样本集，作为在对无标签的目标域数据进行分类识别时所需的辅助数据。源域数据中包括N个有标签样本，N为正整数。通常来讲，源域数据中包括多个有标签样本。

损失函数，是一种用于衡量预测值和目标值之间的差异的函数。损失函数的值(以loss表示)越高，表示预测值和目标值之间的差异越大，因此，训练神经网络的过程就是不断减小loss的过程，而当loss无法再减小时，表示神经网络训练完毕。损失函数也称为目标函数(objective function)。

监督训练，是一种在学习有标签样本后，将学习得到的知识运用在识别无标签样本上，因而对用于识别无标签样本的神经网络进行训练的方法。

正则化约束，是一种在尽可能减小损失函数的值时，将先前学到的知识作为约束项的方法。约束项是一个用于减少损失函数中参数的个数的多项式，当原损失函数加上约束项后，得到的新的损失函数因包括更少的参数而更容易被优化，最终使损失函数的解接近于先前学到的知识。进一步地，采用这种约束方法，即使训练样本中样本的数目较少或者样本的类别不够丰富，也能使损失函数存在解，并且唯一。

梯度下降(Gradient Descent)方法，是一种通过使损失函数的值向损失函数中各参数对应的梯度的反方向不断移动，来降低损失函数的值的方法。

在本发明实施例中，通过提取源域数据和目标域数据的跨域不变特征和域辨识特征，将其融合成为融合特征用于进行分类识别和来源识别，并根据识别结果训练所有的神经网络，直至所有的神经网络都收敛，而后采用训练得到的神经网络对目标域数据进行分类识别。也即，通过将源域数据和目标域数据的域辨识特征添加至跨域不变特征，得到融合特征，并将该融合特征作为训练神经网络时的约束项，相当于为神经网络的训练增加了约束项，也即增加了目标域样本的有效特征，使得通过上述训练方法训练得到的神经网络，对目标域数据进行分类识别的准确率更高。

本发明实施例所提供的分类识别方法，可以由计算机设备来完成，例如PC(Personal Computer，个人计算机)或者服务器。该计算机设备中包括三个神经网络，第一神经网络用于提取源域数据和目标域数据的跨域不变特征，第二神经网络用于提取源域数据和目标域数据的域辨识特征，第三神经网络用于根据跨域不变特征和域辨识特征进行分类识别和来源识别。

另外，本发明实施例所提供的分类识别方法，包括对神经网络的训练过程和对目标域数据的分类识别过程。上述两个过程可以在同一台计算机设备中完成，例如在同一台计算机中完成；或者，上述两个过程也可以在不同的计算机设备中完成，例如计算机设备A用于实施对神经网络的训练过程，并将训练得到的神经网络(至少包括第一神经网络)发送给计算机设备B，而后由计算机设备B采用训练得到的神经网络实施对目标域数据的分类识别过程。

下面将基于上面所述的本发明实施例涉及的共性方面，对本发明实施例作进一步详细说明。

请参考图1，其示出了本发明一个实施例提供的分类识别方法的流程图，该方法可以包括如下几个步骤：

步骤101，通过第一神经网络提取源域数据和目标域数据的跨域不变特征。

可选地，第一神经网络为CNN(Convolutional Neural Network，卷积神经网络)。CNN是一种前馈神经网络，CNN的权重可以在不同位置共享。可选地，第一神经网络为DCNN(Deep Convolutional Neural Network，深度卷积神经网络)。第一神经网络包括一个输入层、至少一个卷积层和至少一个全连接层。卷积层用于提取源域数据和目标域数据的特征，全连接层用于将源域数据的特征分布和目标域数据的特征分布映射到同一个特征空间。

跨域不变特征是指源域数据和目标域数据所共有的特征，并且该特征可以用于辨识数据对应的分类。在本发明实施例中，对数据(包括源域数据和目标域数据)的格式不作限定，例如上述数据可以是图像、语音、文本等。以图像为例，可以对图像中的内容进行分类识别，例如辨别图像中的内容是书包、飞机或者人等不同分类。示例性地，若源域数据中存在类别为书包的图像，目标域数据中也存在类别为书包的图像，则跨域不变特征为图像中仅与书包有关的图像内容的特征，而对于书包以外部分(图像的背景、书包所处的环境等等)的图像内容的特征则不作为跨域不变特征，也即该跨域不变特征为类别为书包的所有图像所共有的特征。并且，在源域数据和目标域数据中，只要同时存在属于同一类别的样本，则对于该类别的来自源域数据的每一个样本，都可通过第一神经网络提取到一个跨域不变特征。因此，不论源域数据中样本的数目和目标域数据中样本的数目是否相同，只要源域数据中所有样本的类别在目标域数据中均存在，便可通过第一神经网络获取到与源域数据中所有样本相对应的跨域不变特征；而当源域数据中所有样本的类别和目标域数据中所有样本的类别完全相同时，源域数据中的所有样本和目标域数据中的所有样本都能被采用，最大程度上减少了本步骤中无效样本的数目，提高了样本的有效使用率。

在本发明实施例中，均以源域数据中所有样本的类别和目标域数据中所有样本的类别完全相同为例来展开论述。

可选地，第一神经网络可以为在基于统计量的特征约束算法或者基于对抗思想的特征约束算法中所采用的神经网络。其中，本步骤所采用的第一神经网络的损失函数J₁为：

J₁(X_source,Y_source,X_target)＝L(f(X_source),Y_source)+D(f(X_source),f(X_target))；

其中，Xsource为源域数据，Ysource为源域数据的分类标签，X_target为目标域数据；L(·)为监督训练的损失函数，由于只有源域数据具有分类标签，故监督训练过程仅有源域数据参与；D(·)为约束项，当源域数据和目标域数据在第一神经网络的最后一层全连接层上的特征分布相似时，该函数取最小值。

将源域数据和目标域数据输入第一神经网络之后，源域数据和目标域数据在第一神经网络的最后一层全连接层上的特征分布是相似的。获取此时在第一神经网络的最后一层全连接层上的特征，将其作为源域数据和目标域数据的跨域不变特征，并且该特征可以特征映射函数I(X)来表示，X表示源域数据或者目标域数据中的一个样本。

结合参考图2，其示出了与图1所示的方法流程相对应的示意图。源域数据和目标域数据分别输入至第一神经网络，通过第一神经网络提取源域数据和目标域数据的跨域不变特征。

步骤102，通过第二神经网络提取源域数据和目标域数据的域辨识特征。

可选地，第二神经网络也为深度卷积神经网络，第二神经网络包括一个输入层、至少一个卷积层和至少一个全连接层。可选地，第一神经网络和第二神经网络可以选用同一种神经网络，也可以选用不同种类的神经网络，当第一神经网络和第二神经网络选用同一种神经网络时，既可以选用网络结构相同的神经网络，也可以选用网络结构不同的神经网络。

域辨识特征包括源域数据的域辨识特征和目标域数据的域辨识特征，源域数据的域辨识特征是源域数据特有的特征，而目标域数据的域辨识特征是目标域数据特有的特征，也即根据域辨识特征可以辨识数据对应的来源，其中，数据对应的来源包括源域和目标域。

为了同时提取源域数据的域辨识特征和目标域数据的域辨识特征，第二神经网络的损失函数J₂是一个基于二分类任务的逻辑回归函数，具体表示为：

J2(X,Y)＝C(Y＝0)log(f(X))+C(Y≠0)log(1-f(X))

s.t.C(True)＝1；

其中，X表示源域数据或者目标域数据中的一个样本，Y为用于区分源域数据和目标域数据的标识，例如，设定源域数据的Y为1，目标域数据的Y为0，或者，源域数据的Y为0，目标域数据的Y为1；C(·)为识别函数，f(X)为第二神经网络的最后一层全连接层的输出值在通过sigmoid函数后的逻辑回归值，sigmoid函数为第二神经网络的激活函数；s.t.为subject to的缩写，在数学公式中表示为“使上式满足于···”，也即损失函数J₂中的C(·)满足于公式C(True)＝1。因此，对第二神经网络进行训练的目的，是为了使来自源域的样本在通过函数f(·)映射后的值尽可能接近1，而来自目标域的样本在通过函数f(·)映射后的值尽可能接近0。

在训练第二神经网络的过程中，先计算损失函数J₂中各个参数对应的梯度，采用梯度下降的方法，调整第二神经网络中各层之间的权重，直至损失函数J₂的值无法再减小，则第二神经网络收敛，此时，获取第二神经网络的最后一层全连接层上的特征，将其作为源域数据和目标域数据的域辨识特征，并且该特征可以特征映射函数P(X)来表示。P(X)为对已取得最小值的损失函数J₂求解后得到的函数。在本实施例中，通过第二神经网络提取的域辨识特征的个数，为源域数据中样本的数目和目标域数据中样本的数目之和，示例性地，若源域数据中包括N个有标签样本，目标域数据中包括M个无标签样本，则最终得到的域辨识特征的数量为N+M，其中，N、M均为正整数。可选地，梯度下降方法可以为SGD(StochasticGradient Descent，随机梯度下降)、BGD(Batch Gradient Descent，批量梯度下降)或者MBGD(Mini-Batch Gradient Descent，小批量梯度下降)等等。

结合参考图2，源域数据和目标域数据分别输入至第二神经网络，通过第二神经网络提取源域数据和目标域数据的域辨识特征。

需要说明的是，本实施例对上述步骤101和步骤102的执行先后顺序并不做限定，只需在步骤103前执行即可，除了上述先执行步骤101后执行步骤102的执行方式外，也可以先执行步骤102后执行步骤101，还可以在执行步骤101的同时执行步骤102。

步骤103，通过第三神经网络根据跨域不变特征和域辨识特征，得到融合特征。

可选地，第三神经网络同样为深度卷积神经网络。可选地，第三神经网络包括1个输入层和n个全连接层，n为正整数。

在一个可能的示例中，本步骤可以包括如下几个子步骤：

第一，将域辨识特征和跨域不变特征相加，得到组合特征。

仍然以源域数据中包括N个有标签样本，目标域数据中包括M个无标签样本，N、M均为正整数为例，则可以根据上述步骤101中提取到的N个跨域不变特征，以及上述步骤102中提取到的N+M个域辨识特征，得到N×(N+M)个组合特征，其中，每一个组合特征由N个跨域不变特征中的任意一个跨域不变特征和N+M个域辨识特征中的任意一个域辨识特征相加得到，且这N×(N+M)个组合特征互不相同。在这N×(N+M)个组合特征中，有N×N个组合特征来自源域，N×M个组合特征来自目标域，也即通过上述方法，为神经网络的训练增加了N×(N-1)个源域样本的有效特征和N×M个目标域样本的有效特征，实现了特征层面的数据增扩效果。

由于跨域不变特征可以特征映射函数I(X)来表示，域辨识特征可以特征映射函数P(X)来表示，因此，上述得到组合特征的过程可以表示为将特征映射函数I(X)和特征映射函数P(X)相加，具体公式如下：

f(Xi,d)＝I(X1)+P(X2)；

其中，f(X_i,d)表示组合特征，i为样本的分类，d为样本的来源，X₁为跨域不变特征所对应的样本，X₂为域辨识特征所对应的样本，则由特征映射函数I(X)和P(X)的含义可知，i由X₁决定，d由X₂决定。

第二，通过第三神经网络对组合特征执行特征映射处理，得到融合特征。

将上述得到的组合特征输入至第三神经网络的输入层，通过第三神经网络的n个全连接层对组合特征执行特征映射处理，在第三神经网络的最后一层全连接层得到融合特征。融合特征可以特征映射函数F(X)来表示：

F(X)＝Re(f(X))＝Re(I(X)+P(X))；

其中，Re(·)为再映射函数。

在另一个可能的示例中，本步骤可以包括如下几个子步骤：

第一，将域辨识特征和跨域不变特征拼接，得到拼接特征。

仍然以源域数据中包括N个有标签样本，目标域数据中包括M个无标签样本，N、M均为正整数为例，则可以根据上述步骤101中提取到的N个跨域不变特征，以及上述步骤102中提取到的N+M个域辨识特征，得到(N+M)^2个拼接特征，其中，这(N+M)^2个拼接特征由N个跨域不变特征和N+M个域辨识特征混合在一起并经过任意排列得到。

第二，通过第三神经网络对拼接特征执行特征映射处理，得到融合特征。

通过上述方法，为神经网络的训练增加了(N^2-1)个源域样本的有效特征和2N*M个目标域样本的有效特征，同样实现了特征层面数据的增扩。

结合参考图2，跨域不变特征和域辨识特征共同输入至第三神经网络，通过第三神经网络对跨域不变特征和域辨识特征进行相加或拼接，而后执行特征映射处理得到融合特征。

步骤104，利用融合特征进行分类识别和来源识别。

为了便于同时对样本进行分类识别和来源识别，设置了两个分类器，其中，第一分类器用于实现分类识别，第二分类器用于实现来源识别。第一分类器的具体分类以及分类数目由源域数据的类别决定，例如，源域数据包括5种类别，分别为鸟、树、花、自行车和汽车，则第一分类器为一个五分类的分类器，类别同样为鸟、树、花、自行车和汽车；第二分类器是一个二分类的分类器，一类为源域，另一类为目标域。

结合参考图2，将融合特征输入至第一分类器进行分类识别，得到分类识别结果；以及，将融合特征输入至第二分类器进行来源识别，得到来源识别结果。示例性地，在第一分类器中，分类器根据输入的融合特征与第一分类器中预先设定好的各个分类的特征，计算源域数据中每一个样本与每一个分类的匹配值，对于某个样本而言，分类器选择与其匹配值最高的分类作为该样本的分类。上述分类识别和来源识别可以同时进行，也可以非同时进行，本发明实施例对此不作限定。

在本步骤中，不论是源域数据还是目标域数据，都能得到其来源识别结果，但因为目标域数据的类别未知，只能得到源域数据的分类识别结果，并不能得到目标域数据的分类识别结果。

步骤105，根据识别结果训练第一神经网络、第二神经网络和第三神经网络。

识别结果包括分类识别结果和来源识别结果。可选地，本步骤包括如下几个子步骤：

步骤(1)、根据识别结果计算损失函数的值；

将分类识别结果和来源识别结果输入至第三神经网络的损失函数J₃中，根据分类识别结果、来源识别结果、真实的分类情况和真实的来源情况，计算得到损失函数J₃的值。损失函数J₃的具体公式表示为：

J₃(F(X))＝L1(f(X))+L2(f(X))；

其中，L₁(·)为分类约束损失函数，用于表示分类识别结果和样本真实的分类情况之间的误差，当第三神经网络能准确识别样本的类别时，函数的值最小；L2(·)为来源约束损失函数，用于表示来源识别结果和样本真实的来源情况之间的误差，当第三神经网络能准确识别样本的来源时，函数的值最小。

步骤(2)、判断损失函数的值是否符合预设条件；若否，则执行下述步骤(3)；若是，则执行下述步骤(4)。

步骤(3)、调整第一神经网络、第二神经网络和第三神经网络的权重，并再次从上述步骤101开始执行。

步骤(4)、停止训练。

预设条件为损失函数J₃的值无法再减小，也即在某次继续采用梯度下降方法调整各神经网络的权重后，损失函数J₃的值与该次未调整权重前的值相同，此时说明第一神经网络、第二神经网络和第三神经网络均已收敛，也即第一神经网络、第二神经网络和第三神经网络均训练完毕。而在损失函数J3的值不符合预设条件时，继续采用梯度下降的方法调整每一个神经网络中各层之间的权重。

在训练神经网络的过程中，采用的样本的数目越多以及样本的类别越丰富，则神经网络越快收敛。可选地，在每调整一次神经网络的权重之后，可以选用另一批源域数据与目标域数据，再次从上述步骤101开始执行，以达到增加训练样本的数目和丰富训练样本的类别的效果。

当多个神经网络组合在一起时，也可以将其统称为一个大的神经网络，因此，为了便于同时训练第一神经网络、第二神经网络和第三神经网络，可以将损失函数J₁、损失函数J₂和损失函数J₃综合在一起，得到总的损失函数J₄，具体表示为：

J4＝f_Adaption(X_i,s，Y_s，X_j,t)+f_Perturbation(X_s，X_t)+Re(f_Adaption(X_i,s)+f_Perturbation(Xd))；

其中，f_Adaption(·)为第一神经网络的最后一层全连接层上的特征，f_Perturbation(·)为第二神经网络的最后一层全连接层上的特征，X_i,s表示源域数据中的某个样本，X_j,t表示目标域数据中的某个样本。

则本步骤为：当损失函数J₄的值不满足预设条件时，调整第一神经网络、第二神经网络和第三神经网络的权重，并再次从上述步骤101开始执行，且预设条件为损失函数J₄的值无法再减小。

不论是损失函数J₃还是损失函数J₄，当损失函数的值无法再减小时，代表第一神经网络已训练完毕，可以停止训练。

步骤106，采用训练得到的第一神经网络，识别目标域数据对应的分类。

结合参考图3，本步骤可以包括如下两个子步骤：

第一，通过训练得到的第一神经网络提取目标域数据的特征；

将目标域数据输入至训练完毕的第一神经网络，经过第一神经网络中各层的操作处理后，将第一神经网络的最后一层全连接层上的特征作为本步骤中所需获取的目标域数据的特征。

第二，将目标域数据的特征输入至第一神经网络对应的分类器，得到目标域数据对应的分类。

上述分类识别过程和训练过程可以在同一设备中完成，也可以在不同设备中完成，本发明实施例对此不作限定。

综上所述，本发明实施例提供的技术方案中，通过提取源域数据和目标域数据的跨域不变特征和域辨识特征，将其融合成为融合特征用于进行分类识别和来源识别，并根据识别结果训练所有的神经网络，直至所有的神经网络都收敛，而后采用训练得到的神经网络对目标域数据进行分类识别。也即，通过将源域数据和目标域数据的域辨识特征添加至跨域不变特征，得到融合特征，并将该融合特征作为训练神经网络时的约束项，相当于为神经网络的训练增加了约束项，也即增加了目标域样本的有效特征，使得通过上述训练方法训练得到的神经网络，对目标域数据进行分类识别的准确率更高。

此外，本申请发明人分别采用背景技术中提供的技术方案(基于特征表示的域自适应学习算法)以及本申请实施例提供的技术方案，以OFFICE数据库为实验数据做了相关实验，以比对上述两种方案进行分类识别的准确率。OFFICE数据库中包含Amazon、DSLR、Webcam三个子数据库，OFFICE数据库是域适应算法的最常用测试库之一，总共包含2817张图片，其每个子数据库都包含31种不同类别物体。其中Amazon库中的图片是背景干净的样图，而DSLR库和Webcam库中的图片都是在各种生活场景中的实际图片，存在一定的背景。对比实验以其中的一个库作为源域，而另外一个库作为目标域(如以Amazon库为源域，DSLR库为目标域)进行跨域识别。对比实验结果如下表-1所示：

表-1

上述表-1中，A代表Amazon库，W代表Webcam库，D代表DSLR库。可以看出，本发明实施例提供的技术方案在以上四组实验中均取得了更好的效果。以表-1中的第一组实验为例，在以Amazon库为源域，Webcam库为目标域的这组实验中，相较于基于特征表示的域自适应学习算法，本申请实施例提供的技术方案在识别准确率方面提升了8％左右。

下述为本发明装置实施例，可以用于执行本发明方法实施例。对于本发明装置实施例中未披露的细节，请参照本发明方法实施例。

请参考图4，其示出了本发明一个实施例提供的分类识别装置的框图。该装置具有实现上述方法示例的功能，所述功能可以由硬件实现，也可以由硬件执行相应的软件实现。该装置可以包括：第一提取模块410、第二提取模块420、处理模块430、第一识别模块440、训练模块450和第二识别模块460。

第一提取模块410，用于通过第一神经网络提取源域数据和目标域数据的跨域不变特征，所述跨域不变特征是指用于辨识数据对应的分类的特征。

第二提取模块420，用于通过第二神经网络提取所述源域数据和所述目标域数据的域辨识特征，所述域辨识特征是指用于辨识数据对应的来源的特征。

处理模块430，用于通过第三神经网络根据所述跨域不变特征和所述域辨识特征，得到融合特征。

第一识别模块440，用于利用所述融合特征进行分类识别和来源识别。

训练模块450，用于根据识别结果训练所述第一神经网络、所述第二神经网络和所述第三神经网络。

第二识别模块460，用于采用训练得到的所述第一神经网络，识别所述目标域数据对应的分类。

综上所述，本发明实施例提供的技术方案中，通过提取源域数据和目标域数据的跨域不变特征和域辨识特征，将其融合成为融合特征用于进行分类识别和来源识别，并根据识别结果训练所有的神经网络，直至所有的神经网络都收敛，而后采用训练得到的神经网络对目标域数据进行分类识别。也即，通过将源域数据和目标域数据的域辨识特征添加至跨域不变特征，得到融合特征，并将该融合特征作为训练神经网络时的约束项，相当于为神经网络的训练增加了约束项，也即增加了目标域样本的有效特征，使得通过上述训练方法训练得到的神经网络，对目标域数据进行分类识别的准确率更高。

在基于图4实施例提供的一个可选实施例中，所述处理模块430用于：

将所述域辨识特征和所述跨域不变特征相加，得到组合特征；

通过所述第三神经网络对所述组合特征执行特征映射处理，得到所述融合特征。

在基于图4实施例提供的另一个可选实施例中，当所述源域数据中包括N个有标签样本，所述目标域数据中包括M个无标签样本时，所述跨域不变特征的数量为N，所述域辨识特征的数量为N+M，其中，N、M均为正整数；所述处理模块430用于：

根据所述N个跨域不变特征和所述N+M个域辨识特征，得到N×(N+M)个组合特征，其中，每一个组合特征由所述N个跨域不变特征中的任意一个跨域不变特征和所述N+M个域辨识特征中的任意一个域辨识特征相加得到，且所述N×(N+M)个组合特征互不相同。

在基于图4实施例提供的另一个可选实施例中，所述第三神经网络包括1个输入层和n个全连接层，n为正整数；所述处理模块430用于：

将所述组合特征输入至所述输入层；

通过所述n个全连接层对所述组合特征执行特征映射处理，得到所述融合特征。

在基于图4实施例提供的另一个可选实施例中，所述训练模块450用于：

根据所述识别结果计算损失函数的值；

若所述损失函数的值不符合预设条件，则调整所述第一神经网络、所述第二神经网络和所述第三神经网络的权重，并再次通过所述第一提取模块410从所述通过第一神经网络提取源域数据和目标域数据的跨域不变特征的步骤开始执行；

若所述损失函数的值符合所述预设条件，则停止训练。

在基于图4实施例提供的另一个可选实施例中，所述第一识别模块440用于：

将所述融合特征输入至第一分类器进行分类识别，得到分类识别结果；

将所述融合特征输入至第二分类器进行来源识别，得到来源识别结果；

其中，所述识别结果包括所述分类识别结果和所述来源识别结果。

在基于图4实施例提供的另一个可选实施例中，所述第二识别模块460用于：

采用训练得到的所述第一神经网络提取所述目标域数据的特征；

将所述目标域数据的特征输入至所述第一神经网络对应的分类器，得到所述目标域数据对应的分类。

需要说明的是，上述实施例提供的装置，在实现其功能时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的装置和方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

请参考图5，其示出了本发明一个实施例提供的计算机设备的结构示意图。该设备用于实施上述实施例中提供的分类识别方法。具体来讲：

所述设备500包括中央处理单元(CPU)501、包括随机存取存储器(RAM)502和只读存储器(ROM)503的系统存储器504，以及连接系统存储器504和中央处理单元501的系统总线505。所述设备500还包括帮助计算机内的各个器件之间传输信息的基本输入/输出系统(I/O系统)506，和用于存储操作系统513、应用程序514和其他程序模块515的大容量存储设备507。

所述基本输入/输出系统506包括有用于显示信息的显示器508和用于用户输入信息的诸如鼠标、键盘之类的输入设备509。其中所述显示器508和输入设备509都通过连接到系统总线505的输入输出控制器510连接到中央处理单元501。所述基本输入/输出系统506还可以包括输入输出控制器510以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地，输入输出控制器510还提供输出到显示屏、打印机或其他类型的输出设备。

所述大容量存储设备507通过连接到系统总线505的大容量存储控制器(未示出)连接到中央处理单元501。所述大容量存储设备507及其相关联的计算机可读介质为设备500提供非易失性存储。也就是说，所述大容量存储设备507可以包括诸如硬盘或者CD-ROM驱动器之类的计算机可读介质(未示出)。

不失一般性，所述计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、EPROM、EEPROM、闪存或其他固态存储其技术，CD-ROM、DVD或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知所述计算机存储介质不局限于上述几种。上述的系统存储器504和大容量存储设备507可以统称为存储器。

根据本发明的各种实施例，所述设备500还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即设备500可以通过连接在所述系统总线505上的网络接口单元511连接到网络512，或者说，也可以使用网络接口单元511来连接到其他类型的网络或远程计算机系统(未示出)。

所述存储器还包括至少一条指令、至少一段程序、代码集或指令集，其中所述至少一条指令、至少一段程序、代码集或指令集存储于存储器中，且经配置以由一个或者一个以上处理器执行，以实现上述分类识别方法。

在示例性实施例中，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由电子设备的处理器加载并执行以实现上述分类识别方法。可选地，上述计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

在示例性实施例中，还提供了一种计算机程序产品，当该计算机程序产品被执行时，其用于实现上述分类识别方法。

应当理解的是，在本文中提及的“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本文中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上所述仅为本发明的示例性实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种分类识别方法，其特征在于，所述方法包括：

通过第一神经网络提取源域数据和目标域数据的跨域不变特征，所述跨域不变特征是指用于辨识数据对应的分类的特征；

通过第二神经网络提取所述源域数据和所述目标域数据的域辨识特征，所述域辨识特征是指用于辨识数据对应的来源的特征；其中，当所述源域数据中包括N个有标签样本，所述目标域数据中包括M个无标签样本时，所述跨域不变特征的数量为N，所述域辨识特征的数量为N+M，其中，N、M均为正整数；

根据所述N个跨域不变特征和所述N+M个域辨识特征，得到N×(N+M)个组合特征，其中，每一个组合特征由所述N个跨域不变特征中的任意一个跨域不变特征和所述N+M个域辨识特征中的任意一个域辨识特征相加得到，且所述N×(N+M)个组合特征互不相同；

通过第三神经网络对所述组合特征执行特征映射处理，得到融合特征；

将所述融合特征输入至第一分类器进行分类识别，得到分类识别结果；

将所述融合特征输入至第二分类器进行来源识别，得到来源识别结果；

根据所述分类识别结果和所述来源识别结果训练所述第一神经网络、所述第二神经网络和所述第三神经网络；

采用训练得到的所述第一神经网络提取所述目标域数据的特征；

将所述目标域数据的特征输入至所述第一神经网络对应的分类器，得到所述目标域数据对应的分类。

2.根据权利要求1所述的方法，其特征在于，所述第三神经网络包括1个输入层和n个全连接层，n为正整数；

所述通过第三神经网络对所述组合特征执行特征映射处理，得到融合特征，包括：

将所述组合特征输入至所述输入层；

通过所述n个全连接层对所述组合特征执行特征映射处理，得到所述融合特征。

3.根据权利要求1至2任一项所述的方法，其特征在于，所述根据所述分类识别结果和所述来源识别结果训练所述第一神经网络、所述第二神经网络和所述第三神经网络，包括：

根据所述分类识别结果和所述来源识别结果计算损失函数的值；

若所述损失函数的值不符合预设条件，则调整所述第一神经网络、所述第二神经网络和所述第三神经网络的权重，并再次从所述通过第一神经网络提取源域数据和目标域数据的跨域不变特征的步骤开始执行；

若所述损失函数的值符合所述预设条件，则停止训练。

4.一种分类识别装置，其特征在于，所述装置包括：

第一提取模块，用于通过第一神经网络提取源域数据和目标域数据的跨域不变特征，所述跨域不变特征是指用于辨识数据对应的分类的特征；

第二提取模块，用于通过第二神经网络提取所述源域数据和所述目标域数据的域辨识特征，所述域辨识特征是指用于辨识数据对应的来源的特征；其中，当所述源域数据中包括N个有标签样本，所述目标域数据中包括M个无标签样本时，所述跨域不变特征的数量为N，所述域辨识特征的数量为N+M，其中，N、M均为正整数；

处理模块，用于根据所述N个跨域不变特征和所述N+M个域辨识特征，得到N×(N+M)个组合特征，通过第三神经网络对所述组合特征执行特征映射处理，得到融合特征；其中，每一个组合特征由所述N个跨域不变特征中的任意一个跨域不变特征和所述N+M个域辨识特征中的任意一个域辨识特征相加得到，且所述N×(N+M)个组合特征互不相同；

第一识别模块，用于将所述融合特征输入至第一分类器进行分类识别，得到分类识别结果；将所述融合特征输入至第二分类器进行来源识别，得到来源识别结果；

训练模块，用于根据所述分类识别结果和所述来源识别结果训练所述第一神经网络、所述第二神经网络和所述第三神经网络；

第二识别模块，用于采用训练得到的所述第一神经网络提取所述目标域数据的特征；将所述目标域数据的特征输入至所述第一神经网络对应的分类器，得到所述目标域数据对应的分类。

5.一种计算机设备，其特征在于，所述设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至3任一项所述的分类识别方法。

6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1至3任一项所述的分类识别方法。

Images