CN112580733A - 分类模型的训练方法、装置、设备以及存储介质 - Google Patents
分类模型的训练方法、装置、设备以及存储介质 Download PDFInfo
- Publication number
- CN112580733A CN112580733A CN202011564264.1A CN202011564264A CN112580733A CN 112580733 A CN112580733 A CN 112580733A CN 202011564264 A CN202011564264 A CN 202011564264A CN 112580733 A CN112580733 A CN 112580733A
- Authority
- CN
- China
- Prior art keywords
- data source
- user
- loss
- classification model
- classification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013145 classification model Methods 0.000 title claims abstract description 146
- 238000012549 training Methods 0.000 title claims abstract description 84
- 238000000034 method Methods 0.000 title claims abstract description 79
- 238000012545 processing Methods 0.000 claims abstract description 43
- 239000013598 vector Substances 0.000 claims description 29
- 238000004590 computer program Methods 0.000 claims description 16
- 238000004364 calculation method Methods 0.000 claims description 9
- 239000000126 substance Substances 0.000 claims description 2
- 230000008569 process Effects 0.000 abstract description 33
- 238000013473 artificial intelligence Methods 0.000 abstract description 5
- 238000005516 engineering process Methods 0.000 abstract description 5
- 238000013135 deep learning Methods 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 12
- 238000013528 artificial neural network Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 8
- 230000006399 behavior Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000003062 neural network model Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000035935 pregnancy Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Abstract
本申请公开了分类模型的训练方法、装置、设备以及存储介质，涉及人工智能领域中的深度学习、大数据技术。具体实现方案为：获取来自于多个数据源的多个用户样本，每个用户样本包括用户特征、类别标签和数据源标签；利用待训练的分类模型从用户特征中提取目标特征，并根据目标特征对用户样本进行分类处理，得到分类结果，以及根据目标特征对用户样本进行数据源识别处理，得到数据源识别结果；根据数据源识别结果和数据源标签，确定第一损失，并根据分类结果和类别标签，确定第二损失；根据第一损失和第二损失，对待训练的分类模型进行训练，得到训练后的分类模型。上述过程提高了分类模型的泛化性。
Description
技术领域
本申请涉及人工智能领域中的深度学习、大数据技术，尤其涉及一种分类模型的训练方法、装置、设备以及存储介质。
背景技术
随着大数据以及人工智能技术的发展，可以利用机器学习技术对用户样本进行训练得到分类模型。该分类模型可用于预测用户所属的类别。进而，可以根据预测出的用户类别向用户进行个性化信息推荐。
一些场景中，由于从单个数据源收集到的用户样本数量有限，因此，需要从多个数据源收集用户样本。这些用户样本包括用户特征以及用户特征对应的类别标签。通过对这些用户样本的用户特征与类别标签之间的关系进行学习，得到分类模型。
然而，通过上述过程训练得到的分类模型的泛化性较差。
发明内容
本申请提供了一种分类模型的训练方法、装置、设备以及存储介质。
根据本申请的第一方面，提供了一种分类模型的训练方法，包括：
获取来自于多个数据源的多个用户样本，每个所述用户样本包括用户特征、类别标签和数据源标签；
利用待训练的分类模型从所述用户特征中提取目标特征，并根据所述目标特征对所述用户样本进行分类处理，得到分类结果，以及根据所述目标特征对所述用户样本进行数据源识别处理，得到数据源识别结果；
根据所述数据源识别结果和所述数据源标签，确定第一损失，并根据所述分类结果和所述类别标签，确定第二损失；
根据所述第一损失和所述第二损失，对所述待训练的分类模型进行训练，得到训练后的分类模型。
根据本申请的第二方面，提供了一种分类模型的训练装置，包括：
获取模块，用于获取来自于多个数据源的多个用户样本，每个所述用户样本包括用户特征、类别标签和数据源标签；
处理模块，用于利用待训练的分类模型从所述用户特征中提取目标特征，并根据所述目标特征对所述用户样本进行分类处理，得到分类结果，以及根据所述目标特征对所述用户样本进行数据源识别处理，得到数据源识别结果；
确定模块，用于根据所述数据源识别结果和所述数据源标签，确定第一损失，并根据所述分类结果和所述类别标签，确定第二损失；
训练模块，用于根据所述第一损失和所述第二损失，对所述待训练的分类模型进行训练，得到训练后的分类模型。
根据本申请的第三方面，提供了一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行第一方面所述的方法。
根据本申请的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行第一方面所述的方法。
根据本申请的第五方面，提供了一种计算机程序产品，所述计算机程序产品包括：计算机程序，所述计算机程序存储在可读存储介质中，电子设备的至少一个处理器可以从所述可读存储介质读取所述计算机程序，所述至少一个处理器执行所述计算机程序使得电子设备执行第一方面所述的方法。
应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1为本申请提供的一组训练样本的示意图；
图2为本申请提供的一种系统架构的示意图；
图3为本申请提供的一种分类模型的训练方法的流程示意图；
图4为本申请提供的一种分类模型的结构示意图；
图5为本申请提供的另一种分类模型的训练方法的流程示意图；
图6为本申请提供的另一种分类模型的结构示意图；
图7为本申请提供的一种分类模型的训练装置的结构示意图；
图8为本申请提供的一种电子设备的结构示意图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
本申请提供一种分类模型的训练方法、装置、设备以及存储介质，应用于人工智能领域中的深度学习、大数据技术，以提高分类模型的泛化性。
如前所述，一些应用场景中，在训练分类模型时，需要从多个数据源收集用户样本。这些用户样本包括用户特征以及用户特征对应的类别标签。通过对这些用户样本的用户特征与类别标签之间的关系进行学习，得到分类模型。
然而，发明人在实现本申请的过程中发现，实际应用场景中，收集到的用户样本的某些特征和/或类别标签可能与用户样本的数据源具有强相关关系。为了描述方便，后续描述中将与数据源具有强相关关系的特征称为数据源特征。下面结合图1进行详细描述。
图1为本申请提供的一组训练样本的示意图。如图1所示，该组训练样本包括从数据源1、数据源2和数据源3收集到的用户样本。其中，从数据源1收集到的用户样本大多具有特征A，且这些用户样本对应的类别标签大多为类别1。从数据源2收集到的用户样本大多具有特征B，且这些用户样本对应的类别标签大多为类别2。从数据源3收集到的用户样本大多具有特征C，且这些用户样本对应的类别标签大多为类别3。
这样，在利用从多个数据源收集的用户样本对分类模型进行训练时，分类模型学习到的特征中不可避免的包括数据源特征，例如，上述举例中的特征A、特征B和特征C。因此，通过上述训练过程得到的分类模型的泛化性较差，也就是说，该分类模型被应用于分类新的用户时，分类结果的准确性不高。
一些可能的实现方式中，可以采用人工干预数据源特征的方法解决上述问题。具体的，计算用户样本的各个特征与数据源之间的相关性，人工过滤掉与数据源相关性较高的特征。然后，利用过滤后的其他特征对分类模型进行训练。
然而，上述方式由于需要人工过滤特征，操作不方便，导致分类模型的训练效率较低。并且，在删除特征的过程中，也可能会误删除对分类有作用的重要特征，从而影响分类模型的准确性。
为了解决上述技术问题中的至少一个，本申请提供一种分类模型的训练方法，在利用多个数据源的用户样本对分类模型进行训练时，引入用户样本的数据源标签，使得模型可以根据数据源标签，学习到用户特征中哪些特征是与数据源无关的特征(换句话说，可以学习到用户特征中的哪些特征是不同数据源的用户样本的公共特征)。进而通过对这些数据源无关的特征(或者说，公共特征)与类别标签之间的关系进行学习，得到分类模型。由于分类模型内部可以自动消除数据源特征，因此，能够提高分类模型的泛化性。
本申请所训练的分类模型可以为神经网络模型。为了便于理解，下面先对本申请实施例可能涉及的神经网络相关的术语进行简单介绍。
(1)损失函数
在训练神经网络的过程中，因为希望神经网络的输出尽可能的接近真正想要预测的值，所以可以通过比较当前网络的预测值和真正想要的目标值，再根据两者之间的差异情况来更新每一层神经网络的参数(当然，在第一次更新之前通常会有初始化的过程，即为神经网络中的各层预先配置参数)。比如，如果网络的预测值高了，就调整参数让它预测低一些，不断的调整，直到神经网络能够预测出真正想要的目标值或者与真正想要的目标值非常接近的值。因此，就需要预先定义“如何比较预测值和目标值之间的差异”，这便是损失函数(loss function)。损失函数是用于衡量预测值与目标值的差异的重要方程。其中，损失函数的输出值(loss)越高表示差异越大，那么神经网络的训练就变成了尽可能缩小这个输出值的过程。
(2)反向传播算法
神经网络可以采用误差反向传播算法在训练过程中修正初始的神经网络中的参数，使得神经网络的重建误差损失越来越小。具体的，反向传播算法的学习过程由正向传播(或者称为前向传播)过程和反向传播(或者称为后向传播)过程组成。在正向传播过程中，输入信息通过输入层经隐含层，逐层处理并传向输出层。如果在输出层得不到期望的输出值，则根据实际输出至和期望输出值确定损失函数，转入反向传播，逐层求出损失函数对各神经元权值的偏导数，构成损失函数对权值向量的梯量，作为修改权值的依据，网络的学习在权值修改过程中完成。误差达到所期望值时，网络学习结束。
下面结合图2对本申请实施例提供的系统架构进行介绍。
图2为本申请提供的一种系统架构的示意图。如图2所示，系统架构包括：执行设备、训练设备和数据库。其中，数据库中存储用于训练的用户样本(即训练样本)。本实施例中，数据库中的用户样本可以来自于不同的数据源。例如，一些用户样本来自于数据源1，一些用户样本来自于数据源2，…，一些用户样本来自于数据源N。其中，上述的“用户样本来自于不同的数据源”可以是指用户样本是通过不同的数据源渠道收集得到的。
训练设备基于数据库中存储的用户样本对分类模型进行训练，以使训练后的分类模型具有对新用户进行分类的功能。训练设备对分类模型进行训练的方法可以参见后续实施例的详细描述。本申请实施例中，训练后的分类模型能够从新用户的用户特征中提取到与数据源无关的目标特征，并基于这些目标特征对新用户进行分类。上述的分类模型可以是神经网络模型。
训练设备训练得到分类模型后，该分类模型可以应用在不同的系统或者设备中。本申请中，将分类模型所应用的设备称为执行设备。执行设备可以与训练设备相同，也可以与训练设备不同。执行设备使用分类模型对待分类用户的用户特征进行处理，并输出分类结果。
一些可能的实现方式中，训练设备可以由一个或者多个设置在云端的服务器实现。执行设备也可以由一个或者多个设置在云端的服务器实现。或者，执行设备也可以由终端设备实现。
下面结合几个具体的实施例对本申请的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
图3为本申请提供的一种分类模型的训练方法的流程示意图。本实施例的方法可以由图2中的训练设备执行。如图3所示，本实施例的方法，包括：
S301：获取来自于多个数据源的多个用户样本，每个所述用户样本包括用户特征、类别标签和数据源标签。
本申请实施例所训练的分类模型可用于实现多种分类任务。示例性的，分类模型可用于对用户的画像属性进行分类。其中，画像属性包括但不限于：年龄、学历、职业、家乡、兴趣等。示例性的，分类模型也可用于对用户的行为、情绪等进行分类。
本实施例中，每个用户样本包括用户特征和类别标签。用户特征是指用于描述该用户的信息。类别标签用于指示用户样本所属的类别。
当分类模型用于实现不同的分类任务时，用户样本中所包括的用户特征以及类别标签可以不同。本实施例对此不作限定。
一个示例中，假设分类模型用于对用户的学历进行分类，则一个用户样本的用户特征包括但不限于：该用户样本在网络中的历史搜索行为、该用户样本在网络中的历史浏览行为、该用户样本在网络中的历史购买行为等。一个用户样本的类别标签可以为下述中的任一种：高中、专科、本科、硕士研究生、博士研究生等。
本实施例中用于训练分类模型的用户样本来自于多个数据源，例如，来自于不同的网站，或者来自于不同的数据平台，等。每个用户样本还包括数据源标签。数据源标签用于指示用户样本来自于哪个数据源。
S302：利用待训练的分类模型从所述用户特征中提取目标特征，并根据所述目标特征对所述用户样本进行分类处理，得到分类结果，以及根据所述目标特征对所述用户样本进行数据源识别处理，得到数据源识别结果。
其中，分类模型可以采用神经网络模型。分类模型被配置为接收用户特征，并从用户特征中提取目标特征，根据目标特征对用户样本进行分类处理，得到分类结果，以及根据目标特征对用户样本进行数据源识别处理，得到数据源识别结果。
对用户样本进行分类处理指的是预测用户样本属于哪个类别。对用户样本进行数据源识别处理指的是预测用户样本是来自于哪个数据源。
本实施例对于分类模型的具体结构不作限定，几种可能的实现方式可以参见后续实施例的详细描述。
S303：根据所述数据源识别结果和所述数据源标签，确定第一损失，并根据所述分类结果和所述类别标签，确定第二损失。
其中，本实施例中的损失也可以称为损失函数。第一损失指示的是数据源识别结果与数据源标签之间的差异大小。第二损失指示的是分类结果与类别标签之间的差异大小。
实际应用中，在计算第一损失和第二损失时，可以有多种计算方式。例如，可以采用交叉熵损失，还可以采用对数损失，等。
S304：根据所述第一损失和所述第二损失，对所述待训练的分类模型进行训练，得到训练后的分类模型。
传统的分类模型的训练过程如下：利用分类模型根据用户特征对用户样本进行分类处理，得到分类结果。根据分类结果与类别标签之间的差异，对分类模型的参数进行调整，调整的目标是：利用调整后的分类模型根据用户特征对用户样本进行分类处理，得到的新的分类结果与类别标签之间的差异变小。不断重复上述过程，直至得到的新的分类结果与类别标签一致。可见，传统训练过程中，是根据分类结果与类别标签之间的差异不断更新分类模型的参数。
而本实施例中，利用分类模型从用户特征中提取目标特征，并根据目标特征对用户样本进行分类处理，得到分类结果，以及根据目标特征对用户样本进行数据源识别处理，得到数据源识别结果。然后，根据数据源识别结果与数据源标签之间的差异(即第一损失)，以及，分类结果与类别标签之间的差异(即第二损失)，对分类模型的参数进行调整，调整的目标是：利用调整后的分类模型从用户特征中提取新的目标特征，并根据新的目标特征对用户样本进行分类处理，得到新的分类结果，以及根据新的目标特征对用户样本进行数据源识别处理，得到新的数据源识别结果，新的分类结果与类别标签之间的差异变小，并且，新的数据源识别结果与数据源标签之间的差异变大。
也就是说，本实施例在对分类模型进行训练时，一方面，利用了分类结果与类别标签之间的差异(即第二损失)对分类模型的参数进行调整，使得调整后得到的分类结果与类别标签之间的差异变小。另一方面，还利用了数据源识别结果与数据源标签之间的差异(即第一损失)，使得调整后得到的数据源识别结果与数据源标签之间的差异变大。
能够理解，分类结果与类别标签之间的差异变小，说明分类模型对用户样本的分类准确率变高，也就是说，分类模型提取出的目标特征是能够反映用户样本的真实类别。数据源识别结果与数据源标签之间的差异变大，说明分类模型对用户样本的数据源识别准确率降低，也就是说，分类模型提取出的目标特征无法准确反映用户样本的真实数据源。
因此，经过多次迭代之后，分类模型提取出的目标特征越来越能够反映用户样本的真实类别，并且，越来越无法反映用户样本的真实数据源。也就是说，分类模型提取出的目标特征是与数据源无关的特征。
可见，本实施例对分类模型的训练过程，使得在分类模型内部可以消除与数据源强相关的特征，而提取出与数据源无关的特征，并且利用提取出的与数据源无关的特征进行分类处理，从而提高分类模型的泛化性。本实施例的分类模型的训练方法与上述人工干预数据源特征的方式相比，无需人工过滤数据源特征，提高了分类模型的训练效率，并且避免了对重要特征的误删除，保证了分类模型的分类结果的准确性。
本实施例提供的分类模型的训练方法，包括：获取来自于多个数据源的多个用户样本，每个所述用户样本包括用户特征、类别标签和数据源标签；利用待训练的分类模型从所述用户特征中提取目标特征，并根据所述目标特征对所述用户样本进行分类处理，得到分类结果，以及根据目标特征对用户样本进行数据源识别处理，得到数据源识别结果；根据所述数据源识别结果以及所述数据源标签，确定第一损失，并根据所述分类结果以及所述类别标签，确定第二损失；根据所述第一损失和所述第二损失，对所述待训练的分类模型进行训练，得到训练后的分类模型。上述训练过程利用了数据源识别结果与数据源标签之间的差异(即第一损失)，使得分类模型具有消除数据源特征的能力，也就是说，分类模型能够提取出与数据源无关的特征，并且利用提取出的与数据源无关的特征进行分类处理，从而提高分类模型的泛化性。
应当理解本申请所训练的分类模型可以应用于在各种不同的应用场景，根据具体的应用场景不同，分类模型也可有着不同的结构。下面结合几个具体的示例描述分类模型的结构以及具体训练过程。
图4为本申请提供的一种分类模型的结构示意图。如图4所示，本实施例的分类模型包括：编码器Enc、分类器Cls和数据源识别器Dis。
假设用户样本表示为(x，y，z)，x表示用户特征，y表示类别标签，z表示数据源标签。下面描述图4所示的分类模型对用户样本的处理过程。
如图4所示，编码器Enc被配置为接收用户特征x，并从用户特征x中提取得到目标特征Enc(x)。分类器Cls被配置为接收目标特征Enc(x)，并根据目标特征Enc(x)对用户样本进行分类处理，得到分类结果Cls(Enc(x))。数据源识别器Dis被配置为接收目标特征Enc(x)，并根据目标特征Enc(x)对用户样本进行数据源识别处理，得到数据源识别结果Dis(Enc(x))。
基于图4所示的分类模型，本申请还提供一种分类模型的训练方法，下面结合图5进行描述。
图5为本申请提供的另一种分类模型的训练方法的流程示意图。如图5所示，本实施例的方法，包括：
S501：将用户样本的用户特征输入编码器中，编码器从用户特征中提取得到目标特征。
S502：利用分类器根据目标特征对用户样本进行分类处理，得到分类结果。
S503：利用数据源识别器根据目标特征对用户样本进行数据源识别处理，得到数据源识别结果。
S504：根据数据源识别结果和数据源标签，确定第一损失，并根据分类结果和类别标签，确定第二损失。
其中，第一损失Loss1可以采用公式1表示。
Loss1＝L(Dis(Enc(x))，z) 公式1
第二损失Loss2可以采用公式2表示。
Loss2＝L(Cls(Enc(x))，y) 公式2
其中，上述公式1和公式2中，L表示交叉熵损失。
S505：以最小化第一损失为目标，对数据源识别器的参数进行调整，以最小化第二损失为目标，对分类器的参数进行调整；以最大化第一损失且最小化第二损失为目标，对编码器的参数进行调整。
经过参数调整后，针对调整后的分类模型重复执行上述步骤S501至S505，直至满足训练结束条件时停止训练，得到训练后的分类模型。
其中，训练结束条件包括但不限于：达到预设的迭代次数、分类模型的分类准确率达到第一预设值、分类模型的数据源识别准确率低于第二预设值，等。
本实施例中，以最小化第一损失为目标，对数据源识别器的参数进行调整，使得数据源识别器致力于准确识别出用户样本的数据源。以最小化第二损失为目标，对分类器的参数进行调整，使得分类器致力于准确分类出用户样本所属的类别。以最大化第一损失且最小化第二损失为目标，对编码器的参数进行调整，使得编码器致力于提取出能够使分类器正确分类的、且使数据源识别器无法正确识别出数据源的目标特征。
可见，上述训练过程中，编码器以最大化第一损失为目标，且数据源识别器以最小化第一损失为目标，使得编码器和数据源识别器形成对抗/博弈关系。数据源识别器致力于正确识别出用户样本的数据源，而编码器致力于迷惑数据源识别器，使得数据源识别器无法正确识别出数据源。经过多次迭代之后，编码器和数据源识别器达到一种平衡，使得编码器提取出的目标特征是与数据源无关的特征。
一些可能的实现方式中，为了实现端到端的训练，可以根据第一损失和第二损失计算得到总损失Loss，如公式3所示。
Loss＝-Loss1+Loss2
＝-L(Dis(Enc(x))，z)+L(Cls(Enc(x))，y) 公式3
这样在训练时，可以以最小化总损失Loss为目标，学习得到分类器的参数θCls和编码器的参数θEnc；并且，以最大化总损失Loss为目标，学习得到数据源识别器的参数θDis。如公式4和公式5所示。
该实现方式中，通过根据公式3对第一损失和第二损失计算得到总损失，使得可以根据总损失对模型进行端到端训练，而无需对编码器、分类器、数据源识别器分别进行训练，提高了训练效率。
一些可能的实现方式中，如图4所示，数据源识别器还可以被配置为接收分类结果，这样，数据源识别器可以根据目标特征和分类结果对用户样本进行数据源识别处理，得到数据源识别结果。
这样，在多数据源的训练样本中，由于用户特征与类别标签可能均与数据源具有强相关关系。因此，该实现方式中，数据源识别器根据目标特征和分类结果对用户样本进行数据源识别处理，能够保证数据源识别结果的准确性。
在上述实施例的基础上，下面结合一个具体的示例对分类模型的具体结构进行更详细的描述。
图6为本申请提供的另一种分类模型的结构示意图。在图6中示出了编码器、分类器和数据源识别器的具体结构，并且，示出了分类模型对用户特征的前向传播过程，以及分类模型对损失函数的反向传播的过程。
如图6所示，编码器Enc包括：输入层、词向量层、注意力层和全连接层(FullyConnected Layers，FC)。
其中，输入层被配置为接收用户特征x。不同用户样本的用户特征x的维度可以相同或者不同。词向量层被配置为将用户特征x转换为词向量。以将稀疏特征转换为稠密特征。注意力层被配置为确定词向量对应的权重，并根据权重对词向量进行加权计算，得到加权后的词向量。全连接层被配置为根据加权后的词向量生成目标特征Enc(x)。
本实施例中，通过在编码器中包括注意力层，注意力层在训练过程中可以通过不断更新特征对应的权重，使得编码器逐步聚焦到与数据源无关的特征上，从而保证编码器提取出的目标特征是与数据源无关的特征。
继续参见图6，分类器Cls可以包括一个或者多个全连接层。图6中以两个全连接层为例进行示意。全连接层被配置为从编码器接收目标特征Enc(x)，并根据目标特征对用户样本进行分类处理，输出分类结果Cls(Enc(x))。
继续参见图6，数据源识别器Dis包括：梯度反转层(Gradient Reversal Layer，GRL)和至少一个全连接层。图6中以1个全连接层为例进行示意。
其中，梯度反转层被配置为在前向传播中接收第一信息，并将所述第一信息传播给数据源识别器Dis(具体传播给数据源识别器Dis的全连接层)。其中，所述第一信息是根据编码器Enc输出的目标特征Enc(x)以及分类器Cls输出的分类结果Cls(Enc(x))计算得到的。
梯度反转层还被配置为在反向传播中将数据源识别器Dis的梯度符号进行反转后传递给编码器Enc。
一个示例中，梯度反转层在分类模型的前向传播和反向传播过程可以形式化表示为公式6和公式7。
R(x)＝x 公式6
其中，R表示梯度反转层，I为单位矩阵。上述公式7使得梯度反转层在分类模型的前向计算过程相当于恒等变化。上述公式8使得梯度反转层在分类模型的误差反向传播过程中反转了由数据源识别器回传的梯度符号。
示例性的，图6中，第一信息采用Map表示，可以采用公式8得到。
在前向计算中，梯度反转层接收第一信息Map，并将第一信息Map恒等传递为全连接层。全连接层被配置为从所述梯度反转层接收第一信息Map，根据第一信息Map对用户样本进行数据源识别处理，并输出数据源识别结果Dis(，Map)。
通过分类模型的前向传播过程，分类器Cls输出分类结果Cls(Enc(x))，数据源识别器Dis输出数据源识别结果Dis(Map)。根据分类结果Cls(Enc(x))和用户样本的类别标签y，可以计算得到第二损失L(Cls(Enc(x))，y)。根据数据源识别结果Dis(Map)和用户样本的数据源标签z，可以计算得到第一损失L(Dis(Map)，z)。
参见图6，在反向传播中，分类器Cls会根据第二损失的梯度信息
更新自身参数θCls，实现了分类器以最小化第二损失为目标进行参数调整。并且，分类器Cls还会将第二损失L(Cls(Enc(x))，y)反向传播给编码器Enc，使得编码器Enc也可以根据第二损失的梯度信息
更新自身参数θEnc。这样，实现了编码器以最小化第二损失为目标进行参数调整。
继续参见图6，在反向传播过程中，数据源识别器Dis会根据第一损失的梯度信息
更新自身参数θDis，实现了数据源识别器以最小化第一损失为目标进行参数调整。并且，数据源识别器Dis还会将第一损失L(Dis(Map)，z)反向传播给编码器Enc，以使编码器Enc也可以根据第一损失更新自身参数。
由于数据源识别器Dis的训练目标与编码器Enc的训练目标不同(数据源识别器Dis以最小化第一损失为目标，编码器Enc以最大化第一损失为目标)，因此，本实施例中，梯度反转层还被配置为在反向传播中将数据源识别器Dis的梯度符号进行反转后传递给编码器Enc。也就是说，编码器Enc根据梯度信息
更新自身参数θEnc。这样，实现了编码器以最大化第一损失为目标进行参数调整。
本实施例中，如图6所示，在数据源识别器Dis与分类器Cls之间的反向传播路径中增加了梯度截断，以避免数据源识别器Dis将第一损失L(Dis(Map)，z)传播给分类器Cls，使得分类器Cls的分类结果不受数据源识别结果Dis(Map)的影响，从而保证分类结果的准确性。
本实施例中，通过在数据源识别器中添加梯度反转层，使得在反向传播过程中梯度方向自动取反，从而实现分类模型的端到端训练，提高训练效率。
上述各实施例描述了分类模型的训练过程。当分类模型训练完成之后，该分类模型可用于对待分类用户进行分类处理，以预测得到用户所属的类别。
具体的，将待分类用户的用户特征输入分类模型。通过分类模型的编码器从用户特征中提取得到目标特征，然后，通过分类器对目标特征进行分类处理，得到分类结果。该分类结果即为用户所属的类别。在分类模型的使用过程中，数据源识别器可以不被使用。由于分类模型内部可以学习得到与数据源无关的特征，并根据与数据源无关的特征对用户进行分类，保证了分类结果的准确性。
图7为本申请提供的一种分类模型的训练装置的结构示意图，本实施例的装置可以为软件和/或硬件的形式。如图7所示，本实施例提供的分类模型的训练装置700，包括：获取模块701、处理模块702、确定模块703和训练模块704。
其中，获取模块701，用于获取来自于多个数据源的多个用户样本，每个所述用户样本包括用户特征、类别标签和数据源标签；
处理模块702，用于利用待训练的分类模型从所述用户特征中提取目标特征，并根据所述目标特征对所述用户样本进行分类处理，得到分类结果，以及根据所述目标特征对所述用户样本进行数据源识别处理，得到数据源识别结果；
确定模块703，用于根据所述数据源识别结果和所述数据源标签，确定第一损失，并根据所述分类结果和所述类别标签，确定第二损失；
训练模块704，用于根据所述第一损失和所述第二损失，对所述待训练的分类模型进行训练，得到训练后的分类模型。
一种可能的实现方式中，所述分类模型包括：编码器、分类器和数据源识别器；
所述编码器被配置为接收所述用户特征，并从所述用户特征中提取得到所述目标特征；
所述分类器被配置为接收所述目标特征，并根据所述目标特征对所述用户样本进行分类处理，得到所述分类结果；
所述数据源识别器被配置为接收所述目标特征，并根据所述目标特征对所述用户样本进行数据源识别处理，得到所述数据源识别结果。
一种可能的实现方式中，所述数据源识别器被配置为接收所述目标特征和所述分类结果，并根据所述目标特征和所述分类结果对所述用户样本进行数据源识别处理，得到所述数据源识别结果。
一种可能的实现方式中，所述训练模块704具体用于：
以最小化所述第一损失为目标，对所述数据源识别器的参数进行调整；
以最小化所述第二损失为目标，对所述分类器的参数进行调整；
以最大化所述第一损失且最小化所述第二损失为目标，对所述编码器的参数进行调整。
一种可能的实现方式中，所述数据源识别器包括梯度反转层；
所述梯度反转层被配置为在前向传播中接收第一信息，并将所述第一信息传播给所述数据源识别器；其中，所述第一信息是根据所述编码器输出的所述目标特征以及所述分类器输出的所述分类结果计算得到的；
所述梯度反转层还被配置为在反向传播中将所述数据源识别器的梯度符号进行反转后传递给所述编码器。
一种可能的实现方式中，所述数据源识别器还包括：至少一个全连接层；
所述至少一个全连接层被配置为从所述梯度反转层接收所述第一信息，根据所述第一信息对所述用户样本进行数据源识别处理，得到并输出所述数据源识别结果。
一种可能的实现方式中，所述编码器包括：输入层、词向量层、注意力层和全连接层；
所述输入层被配置为接收所述用户特征；
所述词向量层被配置为将所述用户特征转换为词向量；
所述注意力层被配置确定所述词向量对应的权重，并根据所述权重对所述词向量进行加权计算，得到加权后的词向量；
所述全连接层被配置为根据所述加权后的词向量生成所述目标特征。
一种可能的实现方式中，所述分类器包括：至少一个全连接层；
所述至少一个全连接层被配置为从所述编码器接收所述目标特征，并根据所述目标特征对所述用户样本进行分类处理，得到并输出所述分类结果。
本实施例提供的分类模型的训练装置，可用于执行上述实施例中的分类模型的训练方法，其实现原理和技术效果类似，此处不作赘述。
根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。
根据本申请的实施例，本申请还提供了一种计算机程序产品，程序产品包括：计算机程序，计算机程序存储在可读存储介质中，电子设备的至少一个处理器可以从可读存储介质读取计算机程序，至少一个处理器执行计算机程序使得电子设备执行上述任一实施例提供的方案。
图8示出了可以用来实施本申请的实施例的示例电子设备800的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图8所示，电子设备800包括计算单元801，其可以根据存储在只读存储器(ROM)802中的计算机程序或者从存储单元808加载到随机访问存储器(RAM)803中的计算机程序，来执行各种适当的动作和处理。在RAM 803中，还可存储设备800操作所需的各种程序和数据。计算单元801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。
设备800中的多个部件连接至I/O接口805，包括：输入单元806，例如键盘、鼠标等；输出单元807，例如各种类型的显示器、扬声器等；存储单元808，例如磁盘、光盘等；以及通信单元809，例如网卡、调制解调器、无线通信收发机等。通信单元809允许设备800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元801可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元801的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元801执行上文所描述的各个方法和处理，例如分类模型的训练方法。例如，在一些实施例中，分类模型的训练方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元808。在一些实施例中，计算机程序的部分或者全部可以经由ROM 802和/或通信单元809而被载入和/或安装到设备800上。当计算机程序加载到RAM 803并由计算单元801执行时，可以执行上文描述的分类模型的训练方法的一个或多个步骤。备选地，在其他实施例中，计算单元801可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行分类模型的训练方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本申请的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本申请的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务("Virtual Private Server"，或简称"VPS")中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。
Claims (19)
1.一种分类模型的训练方法，包括：
获取来自于多个数据源的多个用户样本，每个所述用户样本包括用户特征、类别标签和数据源标签；
利用待训练的分类模型从所述用户特征中提取目标特征，并根据所述目标特征对所述用户样本进行分类处理，得到分类结果，以及根据所述目标特征对所述用户样本进行数据源识别处理，得到数据源识别结果；
根据所述数据源识别结果和所述数据源标签，确定第一损失，并根据所述分类结果和所述类别标签，确定第二损失；
根据所述第一损失和所述第二损失，对所述待训练的分类模型进行训练，得到训练后的分类模型。
2.根据权利要求1所述的方法，其中，所述分类模型包括：编码器、分类器和数据源识别器；
所述编码器被配置为接收所述用户特征，并从所述用户特征中提取得到所述目标特征；
所述分类器被配置为接收所述目标特征，并根据所述目标特征对所述用户样本进行分类处理，得到所述分类结果；
所述数据源识别器被配置为接收所述目标特征，并根据所述目标特征对所述用户样本进行数据源识别处理，得到所述数据源识别结果。
3.根据权利要求2所述的方法，其中，所述数据源识别器被配置为接收所述目标特征和所述分类结果，并根据所述目标特征和所述分类结果对所述用户样本进行数据源识别处理，得到所述数据源识别结果。
4.根据权利要求2或3所述的方法，其中，根据所述第一损失和所述第二损失，对所述待训练的分类模型进行训练，包括：
以最小化所述第一损失为目标，对所述数据源识别器的参数进行调整；
以最小化所述第二损失为目标，对所述分类器的参数进行调整；
以最大化所述第一损失且最小化所述第二损失为目标，对所述编码器的参数进行调整。
5.根据权利要求3所述的方法，其中，所述数据源识别器包括梯度反转层；
所述梯度反转层被配置为在前向传播中接收第一信息，并将所述第一信息传播给所述数据源识别器；其中，所述第一信息是根据所述编码器输出的所述目标特征以及所述分类器输出的所述分类结果计算得到的；
所述梯度反转层还被配置为在反向传播中将所述数据源识别器的梯度符号进行反转后传递给所述编码器。
6.根据权利要求5所述的方法，其中，所述数据源识别器还包括：至少一个全连接层；
所述至少一个全连接层被配置为从所述梯度反转层接收所述第一信息，根据所述第一信息对所述用户样本进行数据源识别处理，得到并输出所述数据源识别结果。
7.根据权利要求3所述的方法，其中，所述编码器包括：输入层、词向量层、注意力层和全连接层；
所述输入层被配置为接收所述用户特征；
所述词向量层被配置为将所述用户特征转换为词向量；
所述注意力层被配置确定所述词向量对应的权重，并根据所述权重对所述词向量进行加权计算，得到加权后的词向量；
所述全连接层被配置为根据所述加权后的词向量生成所述目标特征。
8.根据权利要求3所述的方法，其中，所述分类器包括：至少一个全连接层；
所述至少一个全连接层被配置为从所述编码器接收所述目标特征，并根据所述目标特征对所述用户样本进行分类处理，得到并输出所述分类结果。
9.一种分类模型的训练装置，包括：
获取模块，用于获取来自于多个数据源的多个用户样本，每个所述用户样本包括用户特征、类别标签和数据源标签；
处理模块，用于利用待训练的分类模型从所述用户特征中提取目标特征，并根据所述目标特征对所述用户样本进行分类处理，得到分类结果，以及根据所述目标特征对所述用户样本进行数据源识别处理，得到数据源识别结果；
确定模块，用于根据所述数据源识别结果和所述数据源标签，确定第一损失，并根据所述分类结果和所述类别标签，确定第二损失；
训练模块，用于根据所述第一损失和所述第二损失，对所述待训练的分类模型进行训练，得到训练后的分类模型。
10.根据权利要求9所述的装置，其中，所述分类模型包括：编码器、分类器和数据源识别器；
所述编码器被配置为接收所述用户特征，并从所述用户特征中提取得到所述目标特征；
所述分类器被配置为接收所述目标特征，并根据所述目标特征对所述用户样本进行分类处理，得到所述分类结果；
所述数据源识别器被配置为接收所述目标特征，并根据所述目标特征对所述用户样本进行数据源识别处理，得到所述数据源识别结果。
11.根据权利要求10所述的装置，其中，所述数据源识别器被配置为接收所述目标特征和所述分类结果，并根据所述目标特征和所述分类结果对所述用户样本进行数据源识别处理，得到所述数据源识别结果。
12.根据权利要求10或11所述的装置，其中，所述训练模块具体用于：
以最小化所述第一损失为目标，对所述数据源识别器的参数进行调整；
以最小化所述第二损失为目标，对所述分类器的参数进行调整；
以最大化所述第一损失且最小化所述第二损失为目标，对所述编码器的参数进行调整。
13.根据权利要求11所述的装置，其中，所述数据源识别器包括梯度反转层；
所述梯度反转层被配置为在前向传播中接收第一信息，并将所述第一信息传播给所述数据源识别器；其中，所述第一信息是根据所述编码器输出的所述目标特征以及所述分类器输出的所述分类结果计算得到的；
所述梯度反转层还被配置为在反向传播中将所述数据源识别器的梯度符号进行反转后传递给所述编码器。
14.根据权利要求13所述的装置，其中，所述数据源识别器还包括：至少一个全连接层；
所述至少一个全连接层被配置为从所述梯度反转层接收所述第一信息，根据所述第一信息对所述用户样本进行数据源识别处理，得到并输出所述数据源识别结果。
15.根据权利要求11所述的装置，其中，所述编码器包括：输入层、词向量层、注意力层和全连接层；
所述输入层被配置为接收所述用户特征；
所述词向量层被配置为将所述用户特征转换为词向量；
所述注意力层被配置确定所述词向量对应的权重，并根据所述权重对所述词向量进行加权计算，得到加权后的词向量；
所述全连接层被配置为根据所述加权后的词向量生成所述目标特征。
16.根据权利要求11所述的装置，其中，所述分类器包括：至少一个全连接层；
所述至少一个全连接层被配置为从所述编码器接收所述目标特征，并根据所述目标特征对所述用户样本进行分类处理，得到并输出所述分类结果。
17.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至8中任一项所述的方法。
18.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行权利要求1至8中任一项所述的方法。
19.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1至8中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011564264.1A CN112580733B (zh) | 2020-12-25 | 2020-12-25 | 分类模型的训练方法、装置、设备以及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011564264.1A CN112580733B (zh) | 2020-12-25 | 2020-12-25 | 分类模型的训练方法、装置、设备以及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112580733A true CN112580733A (zh) | 2021-03-30 |
| CN112580733B CN112580733B (zh) | 2024-03-05 |
Family
ID=75140554
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011564264.1A Active CN112580733B (zh) | 2020-12-25 | 2020-12-25 | 分类模型的训练方法、装置、设备以及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112580733B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113779343A (zh) * | 2021-09-18 | 2021-12-10 | 北京锐安科技有限公司 | 一种海量数据处理方法、装置、介质及电子设备 |
| JP7101849B1 (ja) | 2021-05-20 | 2022-07-15 | ヤフー株式会社 | 提供装置、提供方法、及び提供プログラム |
| JP7104214B1 (ja) | 2021-05-20 | 2022-07-20 | ヤフー株式会社 | 提供装置、提供方法、及び提供プログラム |
| CN115129992A (zh) * | 2022-07-04 | 2022-09-30 | 北京深演智能科技股份有限公司 | 数据的处理方法及装置、非易失性存储介质、处理器 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109902798A (zh) * | 2018-05-31 | 2019-06-18 | 华为技术有限公司 | 深度神经网络的训练方法和装置 |
| CN110516671A (zh) * | 2019-08-27 | 2019-11-29 | 腾讯科技（深圳）有限公司 | 神经网络模型的训练方法、图像检测方法及装置 |
| CN110689048A (zh) * | 2019-09-02 | 2020-01-14 | 阿里巴巴集团控股有限公司 | 用于样本分类的神经网络模型的训练方法和装置 |
| CN111626381A (zh) * | 2020-07-27 | 2020-09-04 | 北京淇瑀信息科技有限公司 | 一种基于对抗迁移的用户识别方法、装置及电子设备 |
| WO2020207431A1 (zh) * | 2019-04-12 | 2020-10-15 | 智慧芽信息科技(苏州)有限公司 | 文献分类方法、装置、设备及存储介质 |
| CN111814871A (zh) * | 2020-06-13 | 2020-10-23 | 浙江大学 | 一种基于可靠权重最优传输的图像分类方法 |
-
2020
- 2020-12-25 CN CN202011564264.1A patent/CN112580733B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109902798A (zh) * | 2018-05-31 | 2019-06-18 | 华为技术有限公司 | 深度神经网络的训练方法和装置 |
| WO2019228358A1 (zh) * | 2018-05-31 | 2019-12-05 | 华为技术有限公司 | 深度神经网络的训练方法和装置 |
| WO2020207431A1 (zh) * | 2019-04-12 | 2020-10-15 | 智慧芽信息科技(苏州)有限公司 | 文献分类方法、装置、设备及存储介质 |
| CN110516671A (zh) * | 2019-08-27 | 2019-11-29 | 腾讯科技（深圳）有限公司 | 神经网络模型的训练方法、图像检测方法及装置 |
| CN110689048A (zh) * | 2019-09-02 | 2020-01-14 | 阿里巴巴集团控股有限公司 | 用于样本分类的神经网络模型的训练方法和装置 |
| CN111814871A (zh) * | 2020-06-13 | 2020-10-23 | 浙江大学 | 一种基于可靠权重最优传输的图像分类方法 |
| CN111626381A (zh) * | 2020-07-27 | 2020-09-04 | 北京淇瑀信息科技有限公司 | 一种基于对抗迁移的用户识别方法、装置及电子设备 |
Non-Patent Citations (2)
| Title |
|---|
| YAROSLAV GANIN等: "Unsupervised Domain Adaptation by Backpropagation", 《ARXIV》 * |
| 赵文仓;袁立镇;徐长凯;: "基于鉴别模型和对抗损失的无监督域自适应方法", 高技术通讯, no. 07 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7101849B1 (ja) | 2021-05-20 | 2022-07-15 | ヤフー株式会社 | 提供装置、提供方法、及び提供プログラム |
| JP7104214B1 (ja) | 2021-05-20 | 2022-07-20 | ヤフー株式会社 | 提供装置、提供方法、及び提供プログラム |
| JP2022178713A (ja) * | 2021-05-20 | 2022-12-02 | ヤフー株式会社 | 提供装置、提供方法、及び提供プログラム |
| JP2022178712A (ja) * | 2021-05-20 | 2022-12-02 | ヤフー株式会社 | 提供装置、提供方法、及び提供プログラム |
| CN113779343A (zh) * | 2021-09-18 | 2021-12-10 | 北京锐安科技有限公司 | 一种海量数据处理方法、装置、介质及电子设备 |
| CN115129992A (zh) * | 2022-07-04 | 2022-09-30 | 北京深演智能科技股份有限公司 | 数据的处理方法及装置、非易失性存储介质、处理器 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112580733B (zh) | 2024-03-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112580733B (zh) | 分类模型的训练方法、装置、设备以及存储介质 | |
| CN114186564B (zh) | 语义表示模型的预训练方法、装置以及电子设备 | |
| CN115082920B (zh) | 深度学习模型的训练方法、图像处理方法和装置 | |
| CN113705628B (zh) | 预训练模型的确定方法、装置、电子设备以及存储介质 | |
| CN114494784A (zh) | 深度学习模型的训练方法、图像处理方法和对象识别方法 | |
| CN114187459A (zh) | 目标检测模型的训练方法、装置、电子设备以及存储介质 | |
| CN114357105A (zh) | 地理预训练模型的预训练方法及模型微调方法 | |
| CN113627536A (zh) | 模型训练、视频分类方法，装置，设备以及存储介质 | |
| CN114972877A (zh) | 一种图像分类模型训练方法、装置及电子设备 | |
| CN113468857B (zh) | 风格转换模型的训练方法、装置、电子设备以及存储介质 | |
| CN112949433B (zh) | 视频分类模型的生成方法、装置、设备和存储介质 | |
| CN114863243A (zh) | 一种模型的数据遗忘方法、装置、设备及存储介质 | |
| CN113379059A (zh) | 用于量子数据分类的模型训练方法以及量子数据分类方法 | |
| CN114792097B (zh) | 预训练模型提示向量的确定方法、装置及电子设备 | |
| CN115982654A (zh) | 一种基于自监督图神经网络的节点分类方法及装置 | |
| CN114817476A (zh) | 语言模型的训练方法、装置、电子设备和存储介质 | |
| CN115577310A (zh) | 异常对象的识别方法、装置、电子设备及存储介质 | |
| CN113806541A (zh) | 情感分类的方法和情感分类模型的训练方法、装置 | |
| CN113449778A (zh) | 用于量子数据分类的模型训练方法以及量子数据分类方法 | |
| CN114461923B (zh) | 社群发现方法、装置、电子设备和存储介质 | |
| CN114565030B (zh) | 特征筛选方法、装置、电子设备和存储介质 | |
| CN113222414B (zh) | 模型稳定性的评估方法、装置、电子设备和存储介质 | |
| CN114547448B (zh) | 数据处理、模型训练方法、装置、设备、存储介质及程序 | |
| CN114066278B (zh) | 物品召回的评估方法、装置、介质及程序产品 | |
| CN114581751B (zh) | 图像识别模型的训练方法和图像识别方法、装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |