CN113191478A - 神经网络模型的训练方法、装置和系统 - Google Patents

神经网络模型的训练方法、装置和系统 Download PDF

Info

Publication number
CN113191478A
CN113191478A CN202010036613.6A CN202010036613A CN113191478A CN 113191478 A CN113191478 A CN 113191478A CN 202010036613 A CN202010036613 A CN 202010036613A CN 113191478 A CN113191478 A CN 113191478A
Authority
CN
China
Prior art keywords
sample data
model
type
neural network
source domain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010036613.6A
Other languages
English (en)
Inventor
陈超
付志航
黄建强
华先胜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN202010036613.6A priority Critical patent/CN113191478A/zh
Publication of CN113191478A publication Critical patent/CN113191478A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

本申请公开了一种神经网络模型的训练方法、装置和系统。其中，神经网络模型包括：源域模型和目标域模型，该方法包括：分别将第一类样本数据输入至源域模型以及将第二类样本数据输入至目标域模型，其中，第一类样本数据为带标签的源域样本数据，第二类样本数据为不带标签的目标域样本数据，源域模型和目标域模型共享相同的网络参数；利用预设损失函数对第一类样本数据和第二类样本数据进行损失处理，得到处理结果；根据处理结果对网络参数进行更新，训练得到神经网络模型。本申请解决了现有技术在对神经网络模型进行训练时存在域分布无法准确对齐的技术问题。

Description

神经网络模型的训练方法、装置和系统
技术领域
本申请涉及计算机领域，具体而言，涉及一种神经网络模型的训练方法、装置和系统。
背景技术
目前，人们可通过神经网络(Neural Network)模型可实现系统辨识、模式识别、智能控制等，神经网络模型的使用为人类的科研以及生活等方面带来了方便。而对神经网络模型的训练通常需要大量的有标记的数据，然而获取大量的标记数据的成本比较高。为了解决该问题，现有技术同时利用其它相似领域(即源域)的已标注的数据样本加上需要学习的领域(即目标域)的未标记的样本，学习在目标域具有较好泛化性的模型，该方法为无监督的域自适应算法。
经典的域自适应算法有深度域混淆(Deep Domain Confusion，简称DDC)网络，以及深度自适应网络(Deep Adaptation Network，简称DAN)。上述两种方法均通过双流卷神经网络分别学习源域和目标域模型，并利用最大均值差异来对齐源域和目标域的特征分布。对于DDC，最大均值差异只在最后一个全连接层使用，而DAN是在所有的全连接层使用核化的最大均值差异。其中，最大均值差异(Maximum Mean Discrepancy，简称MMD)是目前域自适应领域中使用最广泛的一种用于度量两个不同分布之间距离的方法。该方法可将两个特征分布在再生希尔伯特空间中的均值的差异作为两个分布的距离。
然而，上述方法只考虑了全局的对齐，并没有考虑类别等语义信息，从而导致部分对齐，甚至错误的对齐，进而降低了神经网络模型在目标域的泛化性能。例如，在手写数字识别的域自适应中，目标域中数字“2”的特征分布可能会被对齐到源域中数字“3”的特征分布，导致“负迁移”。
针对上述的问题，目前尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种神经网络模型的训练方法、装置和系统，以至少解决现有技术在对神经网络模型进行训练时存在域分布无法准确对齐的技术问题。
根据本申请实施例的一个方面，提供了一种神经网络模型的训练方法，包括：分别将第一类样本数据输入至源域模型以及将第二类样本数据输入至目标域模型，其中，第一类样本数据为带标签的源域样本数据，第二类样本数据为不带标签的目标域样本数据，源域模型和目标域模型共享相同的网络参数；利用预设损失函数对第一类样本数据和第二类样本数据进行损失处理，得到处理结果；根据处理结果对网络参数进行更新，训练得到神经网络模型。其中，神经网络模型包括：源域模型和目标域模型。
根据本申请实施例的一个方面，提供了一种数据处理方法，包括：获取待识别对象；采用神经网络模型对待识别对象进行识别，输出识别结果；其中，神经网络模型包括：第一粒度机器学习模型和第二粒度机器学习模型，第一粒度机器学习模型采用第一类样本数据进行训练，第二粒度机器学习模型采用第二类样本数据进行训练，第一类样本数据为带标签的样本数据，第二类样本数据为不带标签的样本数据，第一粒度机器学习模型和第二粒度机器学习模型至少共享一部分相同的网络参数。
根据本申请实施例的另一方面，还提供了一种神经网络模型的训练装置，包括：输入模块，用于分别将第一类样本数据输入至源域模型以及将第二类样本数据输入至目标域模型，其中，第一类样本数据为带标签的源域样本数据，第二类样本数据为不带标签的目标域样本数据，源域模型和目标域模型共享相同的网络参数；处理模块，用于利用预设损失函数对第一类样本数据和第二类样本数据进行损失处理，得到处理结果；更新模块，用于根据处理结果对网络参数进行更新，训练得到神经网络模型。其中，神经网络模型包括：源域模型和目标域模型。
根据本申请实施例的另一方面，还提供了一种存储介质，该存储介质包括存储的程序，其中，在程序运行时控制存储介质所在设备执行上述的神经网络模型的训练方法或上述的数据处理方法。
根据本申请实施例的另一方面，还提供了一种处理器，该处理器用于运行程序，其中，程序运行时执行上述的神经网络模型的训练方法或上述的数据处理方法。
根据本申请实施例的另一方面，还提供了一种神经网络模型的训练系统，包括：处理器；以及存储器，与处理器连接，用于为处理器提供处理以下处理步骤的指令：分别将第一类样本数据输入至源域模型以及将第二类样本数据输入至目标域模型，其中，第一类样本数据为带标签的源域样本数据，第二类样本数据为不带标签的目标域样本数据，源域模型和目标域模型共享相同的网络参数；利用预设损失函数对第一类样本数据和第二类样本数据进行损失处理，得到处理结果；根据处理结果对网络参数进行更新，训练得到神经网络模型。其中，神经网络模型包括：源域模型和目标域模型。
根据本申请实施例的另一方面，还提供了一种共享网络参数的确定方法，包括：采用第一类样本数据对神经网络模型中的第一粒度机器学习模型进行训练，得到第一训练结果，其中，第一类样本数据为带标签的样本数据；采用第二类样本数据对神经网络模型中的第二粒度机器学习模型进行训练，得到第二训练结果，其中，第二类样本数据为不带标签的样本数据；基于第一训练结果和第二训练结果确定第一粒度机器学习模型与第二粒度机器学习模型之间的共享网络参数。
在本申请实施例中，采用自相似一致性以及特征的判别性对神经网络模型进行训练的方式，通过分别将第一类样本数据输入至源域模型以及将第二类样本数据输入至目标域模型，然后再利用预设损失函数对第一类样本数据和第二类样本数据进行损失处理，得到处理结果，最后根据处理结果对网络参数进行更新，训练得到神经网络模型。
在上述过程中，源域模型和目标域模型共享相同的网络参数，从而约束不同域的特征结构一致，进而从而保证了源域模型和目标域模型的不同特征之间的相关性。另外，通过预设损失函数对样本数据进行损失处理，并基于处理结果对网络参数进行更新，增加了源域和目标域特征的判别性，使得源域和目标域更容易对齐，从而减少了负迁移的发生。
由上可知，本申请所提供的方案达到了对神经网络模型进行训练的目的，从而实现了在对神经网络模型进行训练时保证域分布准确对齐的技术效果，进而解决了现有技术在对神经网络模型进行训练时存在域分布无法准确对齐的技术问题。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本申请实施例的一种用于实现神经网络模型的训练方法的计算设备的硬件结构框图；
图2(a)是根据本申请实施例的一种可选的对象识别的场景应用图；
图2(b)是根据本申请实施例的一种神经网络模型的训练方法的流程图；
图3是根据本申请实施例的一种可选的神经网络模型的训练方法流程框图；
图4是根据本申请实施例的一种可选的损失处理的示意图；
图5是根据本申请实施例的一种可选的损失处理的示意图；
图6是根据本申请实施例的一种神经网络模型的训练装置的示意图；
图7是根据本申请实施例的一种计算设备的结构框图；以及
图8是根据本申请实施例的一种数据处理方法的流程图；
图9是根据本申请实施例的一种可选的基于数据处理方法的场景示意图；
图10是根据本申请实施例的一种共享网络参数的确定方法的流程图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
首先，在对本申请实施例进行描述的过程中出现的部分名词或术语适用于如下解释：
域自适应算法，是一种能够克服源域分布与目标域分布不同，实现目标域上的学习任务的算法。其中，在传统的机器学习算法中,通常假设训练样本和测试样本来自同一概率分布,然后设计相应的模型和判别准则对待测试的样例的输出进行预测。然而在很多实际场景中，训练集样本和测试集样本可能来自不同分布的数据。在这种情况下在训练集上学习好的模型，在测试集上的性能会严重退化，而域自适应算法能够实现源域和目标域概率分布不一致的情况下的学习，即域自适应学习。
无监督域自适应算法，是一种利用有标记的源域数据和无标记的目标域数据学习一个在目标域上具有很好泛化性能的模型。
自相似一致性，指保证源域特征空间中不同特征之间的相关性和目标域特征空间中不同特征的相关性一致。
特征的判别性，指特征的可区分性，其中，同类样本特征分布越接近，特征的判别性越强；不同类样本特征分布区别越大，特征的判别性越强。
实施例1
根据本申请实施例，还提供了一种神经网络模型的训练方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
本申请实施例一所提供的方法实施例可以在移动终端、计算设备或者类似的运算装置中执行。图1示出了一种用于实现神经网络模型的训练方法的计算设备(或移动设备)的硬件结构框图。如图1所示，计算设备10(或移动设备10)可以包括一个或多个(图中采用102a、102b，……，102n来示出)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器104、以及用于通信功能的传输装置106。除此以外，还可以包括：显示器、输入/输出接口(I/O接口)、通用串行总线(BUS)端口(可以作为I/O接口的端口中的一个端口被包括)、网络接口、电源和/或相机。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，计算设备10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
应当注意到的是上述一个或多个处理器102和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外，数据处理电路可为单个独立的处理模块，或全部或部分的结合到计算设备10(或移动设备)中的其他元件中的任意一个内。如本申请实施例中所涉及到的，该数据处理电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。
存储器104可用于存储应用软件的软件程序以及模块，如本申请实施例中的神经网络模型的训练方法对应的程序指令/数据存储装置，处理器102通过运行存储在存储器104内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的神经网络模型的训练方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至计算设备10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算设备10的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(Network Interface Controller，NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(Radio Frequency，RF)模块，其用于通过无线方式与互联网进行通讯。
显示器可以例如触摸屏式的液晶显示器(LCD)，该液晶显示器可使得用户能够与计算设备10(或移动设备)的用户界面进行交互。
此处需要说明的是，在一些可选实施例中，上述图1所示的计算机设备(或移动设备)可以包括硬件元件(包括电路)、软件元件(包括存储在计算机可读介质上的计算机代码)、或硬件元件和软件元件两者的结合。应当指出的是，图1仅为特定具体实例的一个实例，并且旨在示出可存在于上述计算机设备(或移动设备)中的部件的类型。
可选的，图2(a)示出了一种基于本申请的神经网络模型的训练方法的对象识别的场景应用图，其中，在图2(a)中待识别对象为图像。具体的，用户将待识别对象输入至计算设备，其中，计算设备可以为但不限于平板、PAD、PC机等。计算设备在得到待识别对象之后，将待识别对象输入至本申请所提供的神经网络模型中，神经网络模型对待识别对象进行识别处理，得到识别结果，最后，将识别结果输出至显示单元中。例如，在图2(a)中，输出的识别结果为“狗”。其中，显示单元可以与计算设备集成一体，例如，显示单元为计算设备的显示器；另外，显示单元还可以为与计算设备相互独立的其他设备。
需要说明的是，采用本申请所提供的神经网络模型的训练方法训练得到的神经网络模型不仅可以应用在图2(a)所示的对象识别领域，还可应用在自动控制领域、模式识别领域、自动控制领域、机器人控制领域以及信号处理领域等。
此外，还需要说明的是，本申请通过对图2(a)中的神经网络模型中与输出层相邻的卷积层参数进行更新，以得到神经网络模型。
可选的。上述神经网络模型包括：源域模型和目标域模型，其中，源域模型和目标域模型可使用双流的神经网络进行训练得到。源域模型和目标域模型共享相同的网络参数，从而约束不同域的特征结构一致，进而从而保证了源域模型和目标域模型的不同特征之间的相关性。
可选的，执行本实施例的神经网络模型的训练方法的执行主体可以为服务器，也可以为客户端，在本申请中以服务器为主体进行说明。图2(b)示出了神经网络模型的训练方法的流程图，由图2(b)所示的方法流程图可知，本申请所提供的神经网络模型的训练方法包括如下步骤：
步骤S202，分别将第一类样本数据输入至源域模型以及将第二类样本数据输入至目标域模型，其中，第一类样本数据为带标签的源域样本数据，第二类样本数据为不带标签的目标域样本数据，源域模型和目标域模型共享相同的网络参数。
在步骤S202中，服务器采用双流的深度卷积神经网络分别处理带标签的源域样本数据以及不带标签的目标域样本数据，即源域模型和目标域模型使用同一套网络参数。
可选的，图3示出了一种可选的神经网络模型的训练方法流程框图，由图3可知，源域模型和目标域模型共享相同的网络参数，其中，相同的网络参数至少包括卷积层参数、全连接层参数以及偏置等。可选的，源域模型和目标域模型可以采用ResNet(ResidualNeural NetWord，残差网络)-50网络模型。
需要说明的是，由图3可知，源域模型与目标域模型的特征空间中任意两个特征之间具有相似性，由此可见，通过步骤S202可以保证域分布的对齐。
步骤S204，利用预设损失函数对第一类样本数据和第二类样本数据进行损失处理，得到处理结果。
在步骤S204中，预设损失函数包括三部分，即源域分类损失函数、源域和目标域的一致性约束损失函数以及源域和目标域同时施加特征鉴别性损失函数。其中，源域分类损失函数可计算分类器对应的损失值，源域和目标域的一致性约束损失函数用于通过约束特征的范数与给定常数之间的距离来增加特征的范数，目标域同时施加特征鉴别性损失函数可通过自相似一致性约束，使得源域模型和目标域模型的特征空间结构趋于一致。
需要说明的是，通过上述三个损失函数分别对第一类样本数据和第二类样本数据进行损失处理，可以得到对应的处理结果，然后可将三个对应的处理结果进行求和处理，即可得到最终的处理结果，即处理结果满足下式：
loss＝losss+lossssc+lossd
上式中，loss为最终的处理结果，losss为源域分类损失函数对应的处理结果，lossss为源域和目标域的一致性约束损失函数对应的处理结果，lossd为目标域同时施加特征鉴别性损失函数对应的处理结果。
步骤S206，根据处理结果对网络参数进行更新，训练得到神经网络模型。
需要说明的是，在步骤S206中，根据处理结果对网络参数进行更新的过程，即为使得预设损失函数最小的处理过程，即确定使得预设损失函数最小的网络参数，最后基于该网络参数训练得到神经网络模型。
基于上述步骤S202至步骤S206所限定的方案，可以获知，采用自相似一致性以及特征的判别性对神经网络模型进行训练的方式，通过分别将第一类样本数据输入至源域模型以及将第二类样本数据输入至目标域模型，然后再利用预设损失函数对第一类样本数据和第二类样本数据进行损失处理，得到处理结果，最后根据处理结果对网络参数进行更新，训练得到神经网络模型。
容易注意到的是，源域模型和目标域模型共享相同的网络参数，从而约束不同域的特征结构一致，进而从而保证了源域模型和目标域模型的不同特征之间的相关性。另外，通过预设损失函数对样本数据进行损失处理，并基于处理结果对网络参数进行更新，增加了源域和目标域特征的判别性，使得源域和目标域更容易对齐，从而减少了负迁移的发生。
由上可知，本申请所提供的方案达到了对神经网络模型进行训练的目的，从而实现了在对神经网络模型进行训练时保证域分布准确对齐的技术效果，进而解决了现有技术在对神经网络模型进行训练时存在域分布无法准确对齐的技术问题。
在一种可选的实施例中，在分别将第一类样本数据输入至源域模型以及将第二类样本数据输入至目标域模型之前，服务器采用由图像数据集预训练成的模型对神经网络模型进行初始化。可选的，上述图像数据集可以为但不限于ImageNet数据集。
具体的，服务器首先在ImageNet数据集上对神经网络模型进行预训练，将预训练好的模型作为第一初始模型，然后，在实际应用的数据集上对第一初始模型进行进一步的训练，得到第二初始模型，其中，在对第一初始模型进行训练的过程中至需要训练神经网络模型的最后三层。
可选的，预设损失函数包括：源域分类损失函数，服务器利用预设损失函数对第一类样本数据进行损失处理。具体的，服务器将第一参数、第二参数输入至源域分类损失函数，得到源域样本数据对应的分类损失结果，并计算源域样本数据对应的分类损失结果的均值，得到源域分类损失结果。其中，第一参数是将源域样本数据输入至源域模型后得到的输出结果，第二参数为源域样本数据的标签。
需要说明的是，上述过程可以满足下式：
Figure BDA0002366246340000091
在上式中，losss为源域分类损失结果，J(·，·)为标准的源域分类损失函数，
Figure BDA0002366246340000092
为第i个源域样本数据输入源域模型后的输出结果，ns为源域样本数据的个数，
Figure BDA0002366246340000093
为源域样本数据的标签。
可选的，预设损失函数包括：源域和目标域的一致性约束损失函数，服务器利用预设损失函数对第一类样本数据和第二类样本数据进行损失处理。具体的，服务器获取第一相似性矩阵和第二相似性矩阵，然后计算第一相似性矩阵与第二相似性矩阵之间的欧氏距离，得到源域和目标域的一致性约束损失结果。其中，第一相似性矩阵为源域中不同特征之间的相似性矩阵，第二相似性矩阵为目标域中不同特征之间的相似性矩阵，第一相似性矩阵中的矩阵元素表示源域中自适应层的两个不同特征之间的相似性，第二相似性矩阵中的矩阵元素表示目标域中自适应层的两个不同特征之间的相似性。
需要说明的是，上述过程可以满足下式：
Figure BDA0002366246340000094
在上式中，lossssc为源域和目标域的一致性约束损失结果，Ds∈RL×L，Dt∈RL×L分别为源域和目标域中不同特征之间的相似性矩阵，其中，Ds为第一相似性矩阵，Dt为第二相似性矩阵,L为自适应层中神经元的个数。
可选的，图4示出了一种可选的基于源域和目标域的一致性约束损失函数对第一样本数据和第二样本数据进行损失处理的示意图，经过图4的处理过程可以得到下式：
Figure BDA0002366246340000095
其中,
Figure BDA0002366246340000096
表示源域中自适应层的第i个特征和第j个特征之间的相似性(或距离)；sim(·，·)表示相似性度量函数，其中，上述相似性度量函数可以采用如下任意一个：点积相似性函数、欧几里德距离函数以及余弦相似度函数。
可选的，点积相似性函数满足下式：
sim(x，y)＝x·y
欧几里德距离函数满足下式：
sin(x，y)＝||x·y||2
余弦相似度函数满足下式：
Figure BDA0002366246340000101
在本申请中，采用热核相似性作为相似度量，即
Figure BDA0002366246340000102
Figure BDA0002366246340000103
可选的，预设损失函数包括：源域和目标域同时施加特征鉴别性损失函数，其中，服务器利用预设损失函数对第一类样本数据和第二类样本数据进行损失处理。具体的，服务器利用目标范数值和源域样本数据在自适应层输出的多维特征计算得到第一中间结果，然后利用目标范数值和目标域样本数据在自适应层输出的多维特征计算得到第二中间结果，最后采用第一中间结果和第二中间结果计算得到源域和目标域同时施加特征鉴别性损失结果。其中，目标范数值大于源域和目标域的样本特征范数。
需要说明的是，上述过程可以满足下式：
Figure BDA0002366246340000104
在上式中，lossd为源域和目标域同时施加特征鉴别性损失结果，ns和nt分别为源域和目标域中样本数据的个数，Rtn为目标范数值，如图5所示的一种可选的损失处理的示意图，在图5中，通过分类器分别对源域样本数据和目标域样本数据进行分类处理，目标范数值需要大于源域和目标域的样本特征范数，
Figure BDA0002366246340000105
为自适应层输出的L维的特征。
在一种可选的实施例中，在根据处理结果对网络参数进行更新，训练得到神经网络模型之后，服务器还采用自适应矩估计优化器对网络参数进行更新，得到优化后的神经网络模型。可选的，服务器可根据预设损失函数，利用TensorFlow中Adam Optimizer(即上述自适应矩估计优化器)进行参数更新，其中，TensorFlow为一种基于数据流编程的符号数据系统，其广泛应用于各类机器学习算法的编程实现。
需要说明的是，ResNet-50网络有5个stage，其中，第五个stage具有三个block，我们只更新最后一个block的网络参数。其他网络参数保持不变，即在ImageNet上面预训练好的参数。
基于上述内容可知，本申请所提供的方法基于自相似一致性准则，通过对齐源域和目标域特征空间中任意两个特征之间的相似关系以保证分布的对齐。同时，该方法还使用更具有判别性的深度特征来缓解全局的特征对齐可能带来的不利影响，通过增大每个样本的范数来拉大不同类别样本间的距离，相比于传统的最大均值差异，本申请所提供的方法极大地提高了域自适应算法的性能。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的神经网络模型的训练方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。
实施例2
根据本申请实施例，还提供了一种数据处理方法，其中，图8示出了数据处理方法的流程图，由图8可知，该方法包括如下步骤：
步骤S802，获取待识别对象。
在步骤S802中，待识别对象可以为待识别图像中的对象，例如，在图像识别领域，用户将待识别图像输入至计算设备，计算设备对待识别图像进行识别处理，输出识别结果，该识别结果表征该待识别图像中的对象所对应的标识，例如，识别出待识别图像中的对象为丢失的宠物等。另外，在产品检测领域，上述待识别对象可以为待识别产品的图像或者相关参数，通过对待识别对象进行检测，可以确定该待识别对象是否为异常对象或者是否包括异常对象。
在一种可选的实施例中，如图9所示的一种可选的基于数据处理方法的场景示意图，用户将待识别对象输入至计算设备，从而计算设备可以对待识别对象进行识别和/或检测处理。在另一种可选的实施例中，计算设备还可基于大数据算法或者网络爬虫技术等自动获取待识别对象，并对待识别对象进行识别和/或检测处理，例如，计算设备主动检测网络中的网页链接中是否存在违规的网页内容等。
步骤S804，采用神经网络模型对待识别对象进行识别，输出识别结果。
在步骤S804中，神经网络模型包括：第一粒度机器学习模型和第二粒度机器学习模型，第一粒度机器学习模型采用第一类样本数据进行训练，第二粒度机器学习模型采用第二类样本数据进行训练，第一类样本数据为带标签的样本数据，第二类样本数据为不带标签的样本数据，第一粒度机器学习模型和第二粒度机器学习模型至少共享一部分相同的网络参数，可选的，第一粒度机器学习模型可以为但不限于源域模型，第二粒度机器学习模型可以为但不限于目标域模型，第一粒度机器学习模型和第二粒度机器学习模型可以共享相同的网络参数。
另外，可通过预设损失函数对第一类样本数据和第二类样本数据进行损失处理，对神经网络模型中与输出层相邻的卷积层参数进行更新。
需要说明的是，在本实施例中，预设损失函数包括三部分，即第一粒度分类损失函数、第一粒度和第二粒度的一致性约束损失函数以及第一粒度和第二粒度同时施加特征鉴别性损失函数。其中，第一粒度分类损失函数可计算分类器对应的损失值，第一粒度和第二粒度的一致性约束损失函数用于通过约束特征的范数与给定常数之间的距离来增加特征的范数，第一粒度和第二粒度同时施加特征鉴别性损失函数可通过自相似一致性约束，使得第一粒度机器学习模型和第二粒度机器学习模型的特征空间结构趋于一致。
另外，通过上述三个损失函数分别对第一类样本数据和第二类样本数据进行损失处理，可以得到对应的处理结果，然后可将三个对应的处理结果进行求和处理，即可得到最终的处理结果。在得到处理结果之后，进一步对神经网络模型中与输出层相邻的卷积层参数进行更新，训练得到神经网络模型。
进一步地，如图9所示，在得到神经网络模型之后，计算设备通过神经网络模型对待识别对象进行识别处理，得到识别结果。具体的，计算设备采用第一粒度机器学习模型(如图9中的Net1)从待识别对象中识别出第一部分特征(如图9中的输出1)，以及采用第二粒度机器学习模型(如图9中的Net2)从待识别对象中识别出第二部分特征(如图9中的输出2)，然后对第一部分特征和第二部分特征进行加权融合处理，得到多个备选的分类结果，最后从多个备选的分类结果中选取概率最大的分类结果，得到识别结果，其中，图9中的计算模块用于实现对第一部分特征和第二部分特征进行加权融合处理，以及从多个备选的分类结果选取概率最大的分类结果。进一步地，在得到识别结果之后，计算设备还可输出识别结果。
例如，待识别对象为狗图像，将待识别图像输入至神经网络模型之后，第一粒度机器学习模型和第二粒度机器学习模型分别对狗图像进行特征识别，得到第一部分特征和第二部分特征。可选的，第一部分特征和第二部分特征中可能包含多个特征，例如，第一部分特征包括A、B和C三个特征，第二部分特征包括C和D两个特征。在得到第一部分特征和第二部分特征之后，计算设备进一步地对第一部分特征和第二部分特征进行加权融合，例如，分别将第一部分特征中的至少一个特征与第二部分中的至少一个特征进行加权融合，得到备选的分类结果，例如，可以将第一部分特征中的A特征与第二部分特征中的C和D进行加权融合，得到一个分类结果。容易注意到的是，由于对第一部分特征和第二部分特征进行加权融合的组合方式有多种，所以在对第一部分特征和第二部分特征进行加权融合处理之后，可以得到多个备选的分类结果。更进一步的，计算设备从多个备选的分类结果中选择概率最大的分类结果作为识别结果，由于分类结果的概率可以表征待识别对象属于该分类结果的可能性，概率越大，表明待识别对象属于该分类结果的可能性越大，因此，将概率最大的分类结果作为识别结果可以提高识别结果的准确性。
此外，还需要说明的是，本实施例中对神经网络模型进行训练的方法与实施例1中的方法相同，相关内容已在实施例1中进行说明，在此不再赘述。
由上可知，在本实施中，第一粒度机器学习模型和第二粒度机器学习模型共享相同的网络参数，从而约束不同域的特征结构一致，进而从而保证了第一粒度机器学习模型和第二粒度机器学习模型的不同特征之间的相关性。另外，通过预设损失函数对样本数据进行损失处理，并基于处理结果对网络参数进行更新，增加了第一粒度机器学习模型和第二粒度机器学习模型的特征的判别性，使得第一粒度机器学习模型和第二粒度机器学习模型更容易对齐，从而减少了负迁移的发生。
由上可知，本申请所提供的方案达到了对神经网络模型进行训练的目的，从而实现了在对神经网络模型进行训练时保证域分布准确对齐的技术效果，进而解决了现有技术在对神经网络模型进行训练时存在域分布无法准确对齐的技术问题。
实施例3
根据本申请实施例，还提供了一种共享网络参数的确定方法，其中，图10示出了共享网络参数的确定方法的流程图，由图10可知，该方法包括如下步骤：
步骤S1002，采用第一类样本数据对神经网络模型中的第一粒度机器学习模型进行训练，得到第一训练结果，其中，第一类样本数据为带标签的样本数据。
在步骤S1002中，第一训练结果可以为与第一粒度机器学习模型对应的第一网络参数，其中，第一网络参数至少包括与第一粒度机器学习模型对应的卷积层参数、全连接层参数以及偏置等。可选的，第一粒度机器学习模型可以为但不限于源域模型。
在一种可选的实施例中，计算设备首先采用由图像数据集预训练成的模型对神经网络模型进行初始化，其中，图像数据集可以为但不限于ImageNet数据集。具体的，计算设备首先在ImageNet数据集上对神经网络模型进行预训练，将预训练好的模型作为第一初始模型，然后，在实际应用的数据集上对第一初始模型进行进一步的训练，得到第二初始模型，其中，在对第一初始模型进行训练的过程中至需要训练神经网络模型的最后三层。进一步地，在完成了对神经网络模型的初始化之后，计算设备通过第一预设损失函数和第一类样本数据对第一粒度机器学习模型进行训练，得到第一训练结果。
步骤S1004，采用第二类样本数据对神经网络模型中的第二粒度机器学习模型进行训练，得到第二训练结果，其中，第二类样本数据为不带标签的样本数据。
在步骤S1004中，第二训练结果可以为与第二粒度机器学习模型对应的第二网络参数，其中，第二网络参数至少包括与第二粒度机器学习模型对应的卷积层参数、全连接层参数以及偏置等。可选的，第二粒度机器学习模型可以为但不限于目标域模型。
在一种可选的实施例中，与步骤S1002相同，在完成对神经网络模型的初始化操作之后，通过第二预设损失函数和第二类样本数据对第二粒度机器学习模型进行训练，得到第二训练结果。其中，第二预设损失函数可以和第一预设损失函数相同，也可以是与第一预设损失函数不同的函数。
步骤S1006，基于第一训练结果和第二训练结果确定第一粒度机器学习模型与第二粒度机器学习模型之间的共享网络参数。
需要说明的是，通过步骤S1002可以得到与第一粒度机器学习模型对应的多个网络参数，通过步骤S1004可以得到与第二粒度机器学习模型对应的多个网络参数，然后再从上述多个网络参数中选择共享网络参数。其中，共享网络参数可以由用户通过计算设备选择得到，另外，共享网络参数还可由计算设备通过预设的算法从多个网络参数中选择得到。
由上可知，在本实施中，第一粒度机器学习模型和第二粒度机器学习模型共享相同的网络参数，从而约束不同域的特征结构一致，进而从而保证了第一粒度机器学习模型和第二粒度机器学习模型的不同特征之间的相关性。
由上可知，本申请所提供的方案达到了对神经网络模型进行训练的目的，从而实现了在对神经网络模型进行训练时保证域分布准确对齐的技术效果，进而解决了现有技术在对神经网络模型进行训练时存在域分布无法准确对齐的技术问题。
在一种可选的实施例中，由步骤S1006可知，用户可通过计算设备从多个网络参数中选择第一粒度机器学习模型与第二粒度机器学习模型之间的共享网络参数。具体的，计算设备首先基于第一训练结果和第二训练结果确定多个备选网络参数，然后通过可视化界面对多个备选网络参数进行展示，最后响应于可视化界面接收到的控制操作，从多个备选网络参数中确定第一粒度机器学习模型与第二粒度机器学习模型之间的共享网络参数。
可选的，上述计算设备具有显示屏，该显示屏可显示可视化界面。在对第一粒度机器学习模型进行训练，得到第一训练结果之后，该可视化界面可显示与第一训练结果对应的第一网络参数，并对第二粒度机器学习模型进行训练，得到第二训练结果之后，显示与第二训练结果对应的第二网络参数，由此，用户可直观的观察到第一粒度机器学习模型和第二粒度机器学习模型分别具有哪些网络参数。然后计算设备进一步对第一网络参数和第二网络参数进行处理，得到多个备选网络参数。此时，可视化界面中可显示多个备选网络参数，用户通过对可视化界面中的多个备选网络参数进行选择，从而得到共享网络参数。可选的，用户可根据经验或者使用需求来从多个备选网络参数选择共享网络参数。
在一种可选的实施例中，神经网络模型还包括：第三粒度机器学习模型。可选的，在本申请中，不同粒度的机器学习模型之间的共享网络参数还可具有传递性。具体的，如果第一粒度机器学习模型与第二粒度机器学习模型之间的共享网络参数以及第二粒度机器学习模型与第三粒度机器学习模型之间的共享网络参数至少部分相同，则对第一粒度机器学习模型与第三粒度机器学习模型进行训练，确定第一粒度机器学习模型与第三粒度机器学习模型之间的共享网络参数。例如，第一粒度机器学习模型与第二粒度机器学习模型之间的第一共享网络参数包括：A、B和C，第二粒度机器学习模型与第三粒度机器学习模型之间的第二共享网络参数包括：B、D和E，则两个共享网络参数中相同的网络参数为B，则在对第一粒度机器学习模型与第三粒度机器学习模型进行训练时，可直接将相同的共享网络参数作为第一粒度机器学习模型与第三粒度机器学习模型之间的第三共享网络参数中的一个。
在另一种可选的实施例中，如果第一粒度机器学习模型与第二粒度机器学习模型之间的第一共享网络参数以及第二粒度机器学习模型与第三粒度机器学习模型之间的第二共享网络参数至少部分相同，则对第一粒度机器学习模型与第三粒度机器学习模型进行训练，确定第一粒度机器学习模型与第三粒度机器学习模型之间的第三共享网络参数为第一共享网络参数与第二共享网络参数的并集，例如，第一共享网络参数包括：A、B和C，第二共享网络参数包括：B、D和E，则第三共享网络参数可以包括：A、B、C、D和E。
需要说明的是，由于共享网络参数之间具有传递性，因此，在对神经网络模型进行训练时，可直接基于共享网络参数的传递性来确定神经网络模型的网络参数，提高了神经网络模型的训练速率。
实施例4
根据本申请实施例，还提供了一种用于实施上述神经网络模型的训练方法的神经网络模型的训练装置，其中，神经网络模型包括：源域模型和目标域模型，如图6所示，该装置60包括：输入模块601、处理模块603以及更新模块605。
其中，输入模块601，用于分别将第一类样本数据输入至源域模型以及将第二类样本数据输入至目标域模型，其中，第一类样本数据为带标签的源域样本数据，第二类样本数据为不带标签的目标域样本数据，源域模型和目标域模型共享相同的网络参数；处理模块603，用于利用预设损失函数对第一类样本数据和第二类样本数据进行损失处理，得到处理结果；更新模块605，用于根据处理结果对网络参数进行更新，训练得到神经网络模型。
此处需要说明的是，上述输入模块601、处理模块603以及更新模块605对应于实施例1中的步骤S202至步骤S206，三个模块与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例一所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在实施例一提供的计算设备10中。
在一种可选的实施例中，神经网络模型的训练装置还包括：第一处理模块，用于在分别将第一类样本数据输入至源域模型以及将第二类样本数据输入至目标域模型之前，采用由图像数据集预训练成的模型对神经网络模型进行初始化。
在一种可选的实施例中，预设损失函数包括：源域分类损失函数，处理模块包括：第一输入模块以及第一计算模块。其中，第一输入模块，用于将第一参数、第二参数输入至源域分类损失函数，得到源域样本数据对应的分类损失结果，其中，第一参数是将源域样本数据输入至源域模型后得到的输出结果，第二参数为源域样本数据的标签；第一计算模块，用于计算源域样本数据对应的分类损失结果的均值，得到源域分类损失结果。
在一种可选的实施例中，预设损失函数包括：源域和目标域的一致性约束损失函数，处理模块包括：获取模块以及第二计算模块。其中，获取模块，用于获取第一相似性矩阵和第二相似性矩阵，其中，第一相似性矩阵为源域中不同特征之间的相似性矩阵，第二相似性矩阵为目标域中不同特征之间的相似性矩阵，第一相似性矩阵中的矩阵元素表示源域中自适应层的两个不同特征之间的相似性，第二相似性矩阵中的矩阵元素表示目标域中自适应层的两个不同特征之间的相似性；第二计算模块，用于计算第一相似性矩阵与第二相似性矩阵之间的欧氏距离，得到源域和目标域的一致性约束损失结果。
在一种可选的实施例中，预设损失函数包括：源域和目标域同时施加特征鉴别性损失函数，处理模块包括：第三计算模块、第四计算模块以及第五计算模块。其中，第三计算模块，用于利用目标范数值和源域样本数据在自适应层输出的多维特征计算得到第一中间结果，其中，目标范数值大于源域和目标域的样本特征范数；第四计算模块，用于利用目标范数值和目标域样本数据在自适应层输出的多维特征计算得到第二中间结果；第五计算模块，用于采用第一中间结果和第二中间结果计算得到源域和目标域同时施加特征鉴别性损失结果。
在一种可选的实施例中，神经网络模型的训练装置还包括：优化模块，用于在根据处理结果对网络参数进行更新，训练得到神经网络模型之后，采用自适应矩估计优化器对网络参数进行更新，得到优化后的神经网络模型。
实施例5
根据本申请实施例，还提供了一种用于实施上述神经网络模型的训练方法的神经网络模型的训练系统，该系统包括：处理器以及存储器。
其中，存储器与处理器连接，用于为处理器提供处理以下处理步骤的指令：分别将第一类样本数据输入至源域模型以及将第二类样本数据输入至目标域模型，其中，第一类样本数据为带标签的源域样本数据，第二类样本数据为不带标签的目标域样本数据，源域模型和目标域模型共享相同的网络参数；利用预设损失函数对第一类样本数据和第二类样本数据进行损失处理，得到处理结果；根据处理结果对网络参数进行更新，训练得到神经网络模型。
由此可见，采用自相似一致性以及特征的判别性对神经网络模型进行训练的方式，通过分别将第一类样本数据输入至源域模型以及将第二类样本数据输入至目标域模型，然后再利用预设损失函数对第一类样本数据和第二类样本数据进行损失处理，得到处理结果，最后根据处理结果对网络参数进行更新，训练得到神经网络模型。
容易注意到的是，源域模型和目标域模型共享相同的网络参数，从而约束不同域的特征结构一致，进而从而保证了源域模型和目标域模型的不同特征之间的相关性。另外，通过预设损失函数对样本数据进行损失处理，并基于处理结果对网络参数进行更新，增加了源域和目标域特征的判别性，使得源域和目标域更容易对齐，从而减少了负迁移的发生。
由上可知，本申请所提供的方案达到了对神经网络模型进行训练的目的，从而实现了在对神经网络模型进行训练时保证域分布准确对齐的技术效果，进而解决了现有技术在对神经网络模型进行训练时存在域分布无法准确对齐的技术问题。
需要说明的是，本实施例中的神经网络模型的训练系统可以执行实施例1中的神经网络模型的训练方法，相关内容已在实施例1中进行说明，在此不再赘述。
实施例6
本申请的实施例可以提供一种计算设备，该计算设备可以是计算设备群中的任意一个计算设备。可选地，在本实施例中，上述计算设备也可以替换为移动终端等终端设备。
可选地，在本实施例中，上述计算设备可以位于计算机网络的多个网络设备中的至少一个网络设备。
在本实施例中，上述计算设备可以执行神经网络模型的训练方法中以下步骤的程序代码：分别将第一类样本数据输入至源域模型以及将第二类样本数据输入至目标域模型，其中，第一类样本数据为带标签的源域样本数据，第二类样本数据为不带标签的目标域样本数据，源域模型和目标域模型共享相同的网络参数；利用预设损失函数对第一类样本数据和第二类样本数据进行损失处理，得到处理结果；根据处理结果对网络参数进行更新，训练得到神经网络模型。其中，神经网络模型包括：源域模型和目标域模型。
可选地，图7是根据本申请实施例的一种计算设备的结构框图。如图7所示，该计算设备10可以包括：一个或多个(图中仅示出一个)处理器702、存储器704以及外设接口706。
其中，存储器可用于存储软件程序以及模块，如本申请实施例中的神经网络模型的训练方法和装置对应的程序指令/模块，处理器通过运行存储在存储器内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的神经网络模型的训练方法。存储器可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至计算设备10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
处理器可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：分别将第一类样本数据输入至源域模型以及将第二类样本数据输入至目标域模型，其中，第一类样本数据为带标签的源域样本数据，第二类样本数据为不带标签的目标域样本数据，源域模型和目标域模型共享相同的网络参数；利用预设损失函数对第一类样本数据和第二类样本数据进行损失处理，得到处理结果；根据处理结果对网络参数进行更新，训练得到神经网络模型。其中，神经网络模型包括：源域模型和目标域模型。
可选的，上述处理器还可以执行如下步骤的程序代码：在分别将第一类样本数据输入至源域模型以及将第二类样本数据输入至目标域模型之前，采用由图像数据集预训练成的模型对神经网络模型进行初始化。
可选的，上述处理器还可以执行如下步骤的程序代码：将第一参数、第二参数输入至源域分类损失函数，得到源域样本数据对应的分类损失结果，其中，第一参数是将源域样本数据输入至源域模型后得到的输出结果，第二参数为源域样本数据的标签；计算源域样本数据对应的分类损失结果的均值，得到源域分类损失结果。
可选的，上述处理器还可以执行如下步骤的程序代码：获取第一相似性矩阵和第二相似性矩阵，其中，第一相似性矩阵为源域中不同特征之间的相似性矩阵，第二相似性矩阵为目标域中不同特征之间的相似性矩阵，第一相似性矩阵中的矩阵元素表示源域中自适应层的两个不同特征之间的相似性，第二相似性矩阵中的矩阵元素表示目标域中自适应层的两个不同特征之间的相似性；计算第一相似性矩阵与第二相似性矩阵之间的欧氏距离，得到源域和目标域的一致性约束损失结果。其中，预设损失函数包括：源域和目标域的一致性约束损失函数。
可选的，上述处理器还可以执行如下步骤的程序代码：利用目标范数值和源域样本数据在自适应层输出的多维特征计算得到第一中间结果，其中，目标范数值大于源域和目标域的样本特征范数；利用目标范数值和目标域样本数据在自适应层输出的多维特征计算得到第二中间结果；采用第一中间结果和第二中间结果计算得到源域和目标域同时施加特征鉴别性损失结果。其中，预设损失函数包括：源域和目标域同时施加特征鉴别性损失函数。
可选的，上述处理器还可以执行如下步骤的程序代码：在根据处理结果对网络参数进行更新，训练得到神经网络模型之后，采用自适应矩估计优化器对网络参数进行更新，得到优化后的神经网络模型。
本领域普通技术人员可以理解，图7所示的结构仅为示意，计算设备也可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌声电脑以及移动互联网设备(MobileInternet Devices，MID)、PAD等终端设备。图7其并不对上述电子装置的结构造成限定。例如，计算设备10还可包括比图7中所示更多或者更少的组件(如网络接口、显示装置等)，或者具有与图7所示不同的配置。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器(Read-Only Memory，ROM)、随机存取器(RandomAccess Memory，RAM)、磁盘或光盘等。
实施例7
本申请的实施例还提供了一种存储介质。可选地，在本实施例中，上述存储介质可以用于保存上述实施例一所提供的神经网络模型的训练方法所执行的程序代码。
可选地，在本实施例中，上述存储介质可以位于计算机网络中计算机终端群中的任意一个计算机终端中，或者位于移动终端群中的任意一个移动终端中。
可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：分别将第一类样本数据输入至源域模型以及将第二类样本数据输入至目标域模型，其中，第一类样本数据为带标签的源域样本数据，第二类样本数据为不带标签的目标域样本数据，源域模型和目标域模型共享相同的网络参数；利用预设损失函数对第一类样本数据和第二类样本数据进行损失处理，得到处理结果；根据处理结果对网络参数进行更新，训练得到神经网络模型。其中，神经网络模型包括：源域模型和目标域模型。
可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：在分别将第一类样本数据输入至源域模型以及将第二类样本数据输入至目标域模型之前，采用由图像数据集预训练成的模型对神经网络模型进行初始化。
可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：将第一参数、第二参数输入至源域分类损失函数，得到源域样本数据对应的分类损失结果，其中，第一参数是将源域样本数据输入至源域模型后得到的输出结果，第二参数为源域样本数据的标签；计算源域样本数据对应的分类损失结果的均值，得到源域分类损失结果。
可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：获取第一相似性矩阵和第二相似性矩阵，其中，第一相似性矩阵为源域中不同特征之间的相似性矩阵，第二相似性矩阵为目标域中不同特征之间的相似性矩阵，第一相似性矩阵中的矩阵元素表示源域中自适应层的两个不同特征之间的相似性，第二相似性矩阵中的矩阵元素表示目标域中自适应层的两个不同特征之间的相似性；计算第一相似性矩阵与第二相似性矩阵之间的欧氏距离，得到源域和目标域的一致性约束损失结果。其中，预设损失函数包括：源域和目标域的一致性约束损失函数。
可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：利用目标范数值和源域样本数据在自适应层输出的多维特征计算得到第一中间结果，其中，目标范数值大于源域和目标域的样本特征范数；利用目标范数值和目标域样本数据在自适应层输出的多维特征计算得到第二中间结果；采用第一中间结果和第二中间结果计算得到源域和目标域同时施加特征鉴别性损失结果。其中，预设损失函数包括：源域和目标域同时施加特征鉴别性损失函数。
可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：在根据处理结果对网络参数进行更新，训练得到神经网络模型之后，采用自适应矩估计优化器对网络参数进行更新，得到优化后的神经网络模型。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
在本申请的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (16)

1.一种神经网络模型的训练方法，其特征在于，所述神经网络模型包括：源域模型和目标域模型，所述方法包括：
分别将第一类样本数据输入至所述源域模型以及将第二类样本数据输入至所述目标域模型，其中，所述第一类样本数据为带标签的源域样本数据，所述第二类样本数据为不带标签的目标域样本数据，所述源域模型和所述目标域模型共享相同的网络参数；
利用预设损失函数对所述第一类样本数据和所述第二类样本数据进行损失处理，得到处理结果；
根据所述处理结果对所述网络参数进行更新，训练得到所述神经网络模型。
2.根据权利要求1所述的方法，其特征在于，在分别将所述第一类样本数据输入至所述源域模型以及将所述第二类样本数据输入至所述目标域模型之前，还包括：
采用由图像数据集预训练成的模型对所述神经网络模型进行初始化。
3.根据权利要求1所述的方法，其特征在于，所述预设损失函数包括：源域分类损失函数，利用所述预设损失函数对所述第一类样本数据进行损失处理包括：
将第一参数、第二参数输入至所述源域分类损失函数，得到所述源域样本数据对应的分类损失结果，其中，所述第一参数是将所述源域样本数据输入至所述源域模型后得到的输出结果，所述第二参数为所述源域样本数据的标签；
计算所述源域样本数据对应的分类损失结果的均值，得到源域分类损失结果。
4.根据权利要求1所述的方法，其特征在于，所述预设损失函数包括：源域和目标域的一致性约束损失函数，利用所述预设损失函数对所述第一类样本数据和所述第二类样本数据进行损失处理包括：
获取第一相似性矩阵和第二相似性矩阵，其中，所述第一相似性矩阵为源域中不同特征之间的相似性矩阵，所述第二相似性矩阵为目标域中不同特征之间的相似性矩阵，所述第一相似性矩阵中的矩阵元素表示源域中自适应层的两个不同特征之间的相似性，所述第二相似性矩阵中的矩阵元素表示目标域中自适应层的两个不同特征之间的相似性；
计算所述第一相似性矩阵与所述第二相似性矩阵之间的欧氏距离，得到源域和目标域的一致性约束损失结果。
5.根据权利要求1所述的方法，其特征在于，所述预设损失函数包括：源域和目标域同时施加特征鉴别性损失函数，利用所述预设损失函数对所述第一类样本数据和所述第二类样本数据进行损失处理包括：
利用目标范数值和所述源域样本数据在自适应层输出的多维特征计算得到第一中间结果，其中，所述目标范数值大于源域和目标域的样本特征范数；
利用所述目标范数值和所述目标域样本数据在所述自适应层输出的多维特征计算得到第二中间结果；
采用所述第一中间结果和所述第二中间结果计算得到源域和目标域同时施加特征鉴别性损失结果。
6.根据权利要求1所述的方法，其特征在于，在根据所述处理结果对所述网络参数进行更新，训练得到所述神经网络模型之后，还包括：
采用自适应矩估计优化器对所述网络参数进行更新，得到优化后的神经网络模型。
7.一种数据处理方法，其特征在于，包括：
获取待识别对象；
采用神经网络模型对所述待识别对象进行识别，输出识别结果；
其中，所述神经网络模型包括：第一粒度机器学习模型和第二粒度机器学习模型，所述第一粒度机器学习模型采用第一类样本数据进行训练，所述第二粒度机器学习模型采用第二类样本数据进行训练，所述第一类样本数据为带标签的样本数据，所述第二类样本数据为不带标签的样本数据，所述第一粒度机器学习模型和所述第二粒度机器学习模型至少共享一部分相同的网络参数。
8.根据权利要求7所述的方法，其特征在于，通过预设损失函数对所述第一类样本数据和所述第二类样本数据进行损失处理，对所述神经网络模型中与输出层相邻的卷积层参数进行更新。
9.根据权利要求7所述的方法，其特征在于，采用神经网络模型对所述待识别对象进行识别，输出识别结果包括：
采用所述第一粒度机器学习模型从所述待识别对象中识别出第一部分特征，以及采用所述第二粒度机器学习模型从所述待识别对象中识别出第二部分特征；
对所述第一部分特征和所述第二部分特征进行加权融合处理，得到多个备选的分类结果；
从所述多个备选的分类结果中选取概率最大的分类结果，得到所述识别结果。
10.一种神经网络模型的训练装置，其特征在于，所述神经网络模型包括：源域模型和目标域模型，所述装置包括：
输入模块，用于分别将第一类样本数据输入至所述源域模型以及将第二类样本数据输入至所述目标域模型，其中，所述第一类样本数据为带标签的源域样本数据，所述第二类样本数据为不带标签的目标域样本数据，所述源域模型和所述目标域模型共享相同的网络参数；
处理模块，用于利用预设损失函数对所述第一类样本数据和所述第二类样本数据进行损失处理，得到处理结果；
更新模块，用于根据所述处理结果对所述网络参数进行更新，训练得到所述神经网络模型。
11.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行权利要求1至6中任意一项所述的神经网络模型的训练方法或权利要求7至9中任意一项所述的数据处理方法。
12.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1至6中任意一项所述的神经网络模型的训练方法或权利要求7至9中任意一项所述的数据处理方法。
13.一种神经网络模型的训练系统，其特征在于，所述神经网络模型包括：源域模型和目标域模型，所述系统包括：
处理器；以及
存储器，与所述处理器连接，用于为所述处理器提供处理以下处理步骤的指令：
分别将第一类样本数据输入至所述源域模型以及将第二类样本数据输入至所述目标域模型，其中，所述第一类样本数据为带标签的源域样本数据，所述第二类样本数据为不带标签的目标域样本数据，所述源域模型和所述目标域模型共享相同的网络参数；利用预设损失函数对所述第一类样本数据和所述第二类样本数据进行损失处理，得到处理结果；根据所述处理结果对所述网络参数进行更新，训练得到所述神经网络模型。
14.一种共享网络参数的确定方法，其特征在于，包括：
采用第一类样本数据对神经网络模型中的第一粒度机器学习模型进行训练，得到第一训练结果，其中，所述第一类样本数据为带标签的样本数据；
采用第二类样本数据对所述神经网络模型中的第二粒度机器学习模型进行训练，得到第二训练结果，其中，所述第二类样本数据为不带标签的样本数据；
基于所述第一训练结果和所述第二训练结果确定所述第一粒度机器学习模型与所述第二粒度机器学习模型之间的共享网络参数。
15.根据权利要求14所述的方法，其特征在于，基于所述第一训练结果和所述第二训练结果确定所述第一粒度机器学习模型与所述第二粒度机器学习模型之间的共享网络参数包括：
基于所述第一训练结果和所述第二训练结果确定多个备选网络参数；
通过可视化界面对所述多个备选网络参数进行展示；
响应于所述可视化界面接收到的控制操作，从所述多个备选网络参数中确定所述第一粒度机器学习模型与所述第二粒度机器学习模型之间的共享网络参数。
16.根据权利要求14所述的方法，其特征在于，所述神经网络模型还包括：第三粒度机器学习模型，所述方法还包括：
如果所述第一粒度机器学习模型与所述第二粒度机器学习模型之间的共享网络参数以及所述第二粒度机器学习模型与所述第三粒度机器学习模型之间的共享网络参数至少部分相同，则对所述第一粒度机器学习模型与所述第三粒度机器学习模型进行训练，确定所述第一粒度机器学习模型与所述第三粒度机器学习模型之间的共享网络参数。
CN202010036613.6A 2020-01-14 2020-01-14 神经网络模型的训练方法、装置和系统 Pending CN113191478A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010036613.6A CN113191478A (zh) 2020-01-14 2020-01-14 神经网络模型的训练方法、装置和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010036613.6A CN113191478A (zh) 2020-01-14 2020-01-14 神经网络模型的训练方法、装置和系统

Publications (1)

Publication Number Publication Date
CN113191478A true CN113191478A (zh) 2021-07-30

Family

ID=76972638

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010036613.6A Pending CN113191478A (zh) 2020-01-14 2020-01-14 神经网络模型的训练方法、装置和系统

Country Status (1)

Country Link
CN (1) CN113191478A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113806172A (zh) * 2021-09-14 2021-12-17 北京百度网讯科技有限公司 一种处理设备状态参数的方法、装置、电子设备及存储介质
CN115186773A (zh) * 2022-09-13 2022-10-14 杭州涿溪脑与智能研究所 一种无源的主动领域自适应模型训练方法及装置
WO2024066927A1 (zh) * 2022-09-30 2024-04-04 腾讯科技（深圳）有限公司 图像分类模型的训练方法、装置及设备

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113806172A (zh) * 2021-09-14 2021-12-17 北京百度网讯科技有限公司 一种处理设备状态参数的方法、装置、电子设备及存储介质
CN113806172B (zh) * 2021-09-14 2024-02-06 北京百度网讯科技有限公司 一种处理设备状态参数的方法、装置、电子设备及存储介质
CN115186773A (zh) * 2022-09-13 2022-10-14 杭州涿溪脑与智能研究所 一种无源的主动领域自适应模型训练方法及装置
CN115186773B (zh) * 2022-09-13 2022-12-09 杭州涿溪脑与智能研究所 一种无源的主动领域自适应模型训练方法及装置
WO2024066927A1 (zh) * 2022-09-30 2024-04-04 腾讯科技（深圳）有限公司 图像分类模型的训练方法、装置及设备

Similar Documents

Publication Publication Date Title
CN110210513B (zh) 数据分类方法、装置及终端设备
CN113191478A (zh) 神经网络模型的训练方法、装置和系统
CN110765882B (zh) 一种视频标签确定方法、装置、服务器及存储介质
WO2021082118A1 (zh) 行人重识别的方法、装置、终端及存储介质
CN105303179A (zh) 指纹识别方法、装置
US20210216913A1 (en) Prediction method, apparatus, and system for performing an image search
CN111126347B (zh) 人眼状态识别方法、装置、终端及可读存储介质
CN111784665B (zh) 基于傅里叶变换的oct图像质量评估方法、系统及装置
CN112419326A (zh) 图像分割数据处理方法、装置、设备及存储介质
CN111159241A (zh) 一种点击转化预估方法及装置
CN111488887B (zh) 基于人工智能的图像处理方法、装置
CN113192639A (zh) 信息预测模型的训练方法、装置、设备及存储介质
CN108733784B (zh) 一种教学课件推荐方法、装置及设备
CN114627085A (zh) 目标图像的识别方法和装置、存储介质及电子设备
CN115577768A (zh) 半监督模型训练方法和装置
CN111984803B (zh) 多媒体资源处理方法、装置、计算机设备及存储介质
CN114332522A (zh) 图像识别方法及装置、残差网络模型的构建方法
CN113837836A (zh) 模型推荐方法、装置、设备及存储介质
Ying et al. Simulation of computer image recognition technology based on image feature extraction
CN111582404A (zh) 内容分类方法、装置及可读存储介质
Kchaou et al. Two image quality assessment methods based on evidential modeling and uncertainty: application to automatic iris identification systems
CN113536845A (zh) 人脸属性识别方法、装置、存储介质和智能设备
CN114792398B (zh) 图像分类的方法、存储介质、处理器及系统
CN111414922A (zh) 特征提取方法、图像处理方法、模型训练方法及装置
CN115063753B (zh) 一种安全带佩戴检测模型训练方法及安全带佩戴检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40056824

Country of ref document: HK