CN111753895A - 数据处理方法、装置及存储介质 - Google Patents

数据处理方法、装置及存储介质 Download PDF

Info

Publication number
CN111753895A
CN111753895A CN202010538271.8A CN202010538271A CN111753895A CN 111753895 A CN111753895 A CN 111753895A CN 202010538271 A CN202010538271 A CN 202010538271A CN 111753895 A CN111753895 A CN 111753895A
Authority
CN
China
Prior art keywords
model
data
loss value
training
parameters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010538271.8A
Other languages
English (en)
Inventor
初祥祥
张勃
周天宝
王斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xiaomi Pinecone Electronic Co Ltd
Original Assignee
Beijing Xiaomi Pinecone Electronic Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xiaomi Pinecone Electronic Co Ltd filed Critical Beijing Xiaomi Pinecone Electronic Co Ltd
Priority to CN202010538271.8A priority Critical patent/CN111753895A/zh
Publication of CN111753895A publication Critical patent/CN111753895A/zh
Priority to US17/146,762 priority patent/US20210390449A1/en
Priority to EP21155152.8A priority patent/EP3923202A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本公开是关于一种数据处理方法、装置及存储介质。该方法可以包括：将训练集中的各个已标注训练数据输入待训练的预定模型，更新预定模型的模型参数；将验证集中的各个已标注验证数据输入模型参数更新后的预定模型，得到第一预测标签；根据第一预测标签与已标注验证数据的标注标签的差异得到验证损失值；根据预定模型当前的结构参数，确定辅助损失值；根据验证损失值和辅助损失值，确定是否停止训练预定模型，基于训练后的预定模型所包括的网络结构构建的目标网络模型对待分类数据进行分类，得到分类结果。这样，在增加辅助损失值后，能使输出结果的取值向辅助损失值的导数方向移动，使各输出结果趋近设定参数值，进而减小输出结果的离散化偏差。

Description

数据处理方法、装置及存储介质
技术领域
本公开涉及神经网络技术领域，尤其涉及一种数据处理方法、装置及存储介质。
背景技术
神经网络是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。其主要依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。通过神经网络数据处理，例如，数据分类、语音分析和图像识别等领域有着广泛的应用。但是，目前基于神经网络输出的结果存在离散化偏差，会导致训练后的模型精度不高。
发明内容
本公开提供一种数据处理方法、装置及存储介质。
根据本公开实施例的第一方面，提供一种数据处理方法，包括：
将训练集中的各个已标注训练数据输入待训练的预定模型，更新所述预定模型的模型参数，其中，所述模型参数包括：结构参数；
将验证集中的各个已标注验证数据输入所述模型参数更新后的预定模型，得到第一预测标签；
根据所述第一预测标签与所述已标注验证数据的标注标签的差异得到验证损失值；
根据所述预定模型当前的结构参数，确定辅助损失值；
根据所述验证损失值和所述辅助损失值，确定是否停止训练所述预定模型；
在停止训练所述预定模型后，基于训练后的预定模型所包括的网络结构构建的目标网络模型对待分类数据进行分类，得到分类结果。
可选的，所述方法还包括：
利用激活函数对所述模型参数更新后的预定模型当前的结构参数进行归一化处理，得到归一化后的当前的结构参数；
所述根据所述预定模型当前的结构参数，确定辅助损失值，包括：
根据所述归一化后的当前的结构参数，确定所述辅助损失值。
可选的，所述根据所述验证损失值和所述辅助损失值，确定是否停止训练所述预定模型，包括：
根据所述验证损失值、所述辅助损失值以及权重系数，确定所述验证损失值和所述辅助损失值的加权和，得到所述预定模型的总损失值；
当所述总损失值在设定时长内的数值变化小于设定变化阈值时，停止训练所述预定模型。
可选的，所述在停止训练所述预定模型后，基于训练后的预定模型所包括的网络结构构建的目标网络模型对待分类数据进行分类，得到分类结果，包括：
在停止训练所述预定模型后，基于激活函数对训练后的预定模型中的各个结构参数进行归一化处理，得到归一化结构参数；
从所述训练后的预定模型中，确定出所述归一化结构参数大于设定参数阈值的网络结构；
基于所述归一化结构参数值大于所述设定参数阈值的所述网络结构，构成目标网络模型；
基于所述目标网络模型对待分类数据进行分类，得到所述分类结果。
可选的，所述基于训练后的预定模型所包括的网络结构构建的目标网络模型对待分类数据进行分类，得到分类结果，包括：
将所述待分类数据输入所述目标网络模型，输出所述待分类数据在M个类别的M个类别概率；其中，M个类别概率中前预设数量个类别概率对应的类别标签为所述待分类数据的分类结果；
其中，所述待分类数据的类型包括以下至少之一：图像数据类型、文本数据类型和音频数据类型。可选的，所述模型参数还包括：网络参数；所述将训练集中的各个已标注训练数据输入待训练的预定模型，更新所述预定模型的模型参数，包括：
将所述训练集中的各个所述已标注训练数据输入所述待训练的预定模型，得到第二预测标签；
根据所述第二预测标签与所述已标注训练数据的标注标签的差异得到训练损失值；
基于所述训练损失值，更新所述预定模型的所述网络参数；
将所述验证集中的各个所述已标注验证数据输入所述网络参数更新后的所述预定模型，更新所述结构参数。
根据本公开实施例的第二方面，提供一种数据处理装置，包括：
第一更新模块，配置为将训练集中的各个已标注训练数据输入待训练的预定模型，更新所述预定模型的模型参数，其中，所述模型参数包括：结构参数；
第一获取模块，配置为将验证集中的各个已标注验证数据输入所述模型参数更新后的预定模型，得到第一预测标签；
第二获取模块，配置为根据所述第一预测标签与所述已标注验证数据的标注标签的差异得到验证损失值；
第一确定模块，配置为根据所述预定模型当前的结构参数，确定辅助损失值；
第二确定模块，配置为根据所述验证损失值和所述辅助损失值，确定是否停止训练所述预定模型；
分类模块，配置为在停止训练所述预定模型后，基于训练后的预定模型所包括的网络结构构建的目标网络模型对待分类数据进行分类，得到分类结果。
可选的，所述装置还包括：
第一处理模块，配置为利用激活函数对所述所述模型参数更新后的预定模型当前的结构参数进行归一化处理，得到归一化后的当前的结构参数；
所述一确定模块，还配置为：
根据所述归一化后当前的结构参数，确定所述辅助损失值。
可选的，所述第二确定模块，还配置为：
根据所述验证损失值、所述辅助损失值以及权重系数，确定所述验证损失值和所述辅助损失值的加权和，得到所述预定模型的总损失值；
当所述总损失值在设定时长内的数值变化小于设定变化阈值时，停止训练所述预定模型。
可选的，所述装置还包括：
第二处理模块，配置为在停止训练所述预定模型后，基于激活函数对训练后的预定模型中的各个结构参数进行归一化处理，得到归一化结构参数；
第三确定模块，配置为从所述训练后的预定模型中，确定出所述归一化结构参数大于设定参数阈值的网络结构；
构成模块，配置为基于所述归一化结构参数值大于所述设定参数阈值的所述网络结构，构成目标网络模型；
所述分类模块，还配置为基于所述目标网络模型对待分类数据进行分类，得到所述分类结果。
可选的，所述分类模块，还配置为：
将所述待分类数据输入所述目标网络模型，输出所述待分类数据在M个类别的M个类别概率；其中，M个类别概率中前预设数量个类别概率对应的类别标签为所述待分类数据的分类结果；
其中，所述待分类数据的类型包括以下至少之一：图像数据类型、文本数据类型和音频数据类型。
可选的，所述模型参数还包括：网络参数；所述第一更新模块，还配置为：
将所述训练集中的各个所述已标注训练数据输入所述待训练的预定模型，得到第二预测标签；
根据所述第二预测标签与所述已标注训练数据的标注标签的差异得到训练损失值；
基于所述训练损失值，更新所述预定模型的所述网络参数；
将所述验证集中的各个所述已标注验证数据输入所述网络参数更新后的所述预定模型，更新所述结构参数。
根据本公开实施例的第三方面，提供一种数据处理装置，包括：
处理器；
配置为存储处理器可执行指令的存储器；
其中，所述处理器配置为：执行时实现上述任一种数据处理方法中的步骤。
根据本公开实施例的第四方面，提供一种非临时性计算机可读存储介质，当所述存储介质中的指令由数据处理装置的处理器执行时，使得所述装置能够执行上述任一种数据处理方法。
本公开的实施例提供的技术方案可以包括以下有益效果：
由上述实施例可知，本公开可以根据预定模型当前的结构参数，确定辅助损失值，并基于验证损失值和辅助损失值共同判断是否停止对预定模型的训练，在增加辅助损失值后，在对预定模型进行优化的过程中，除了优化网络参数和结构参数之外，还能使输出结果的取值向辅助损失值的导数方向移动，以使各输出结果可趋近设定参数值，例如，0或者1，进而减小输出结果的离散化偏差，如此，训练得到的模型的模型精确度更高，基于该模型所得到的分类结果更准确。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1是根据一示例性实施例示出的一种数据处理方法的流程示意图。
图2是根据一示例性实施例示出的第一辅助损失函数和第二辅助损失函数及其导数方向示意图。
图3是根据一示例性实施例示出的一种超网络的结构示意图。
图4是根据一示例性实施例示出的另一种超网络的结构示意图。
图5是根据一示例性实施例示出的另一种数据处理方法的流程示意图。
图6是根据一示例性实施例示的带辅助损失函数的公平可微分神经网络搜索过程示意图。
图7是根据一示例性实施例示出的一种数据处理装置框图。
图8是根据一示例性实施例示出的一种用于数据处理装置的框图。
图9是根据一示例性实施例示出的另一种用于数据处理装置的框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
本公开实施例中提供了一种数据处理方法，图1是根据一示例性实施例示出的一种数据处理方法的流程示意图，如图1所示，该方法主要包括以下步骤：
在步骤101中，将训练集中的各个已标注训练数据输入待训练的预定模型，更新所述预定模型的模型参数，其中，所述模型参数包括：结构参数；
在步骤102中，将验证集中的各个已标注验证数据输入所述模型参数更新后的预定模型，得到第一预测标签；
在步骤103中，根据所述第一预测标签与所述已标注验证数据的标注标签的差异得到验证损失值；
在步骤104中，根据所述预定模型当前的结构参数，确定辅助损失值；
在步骤105中，根据所述验证损失值和所述辅助损失值，确定是否停止训练所述预定模型；
在步骤106中，在停止训练所述预定模型后，基于训练后的预定模型所包括的网络结构构建的目标网络模型对待分类数据进行分类，得到分类结果。
本公开实施例中所涉及的数据处理方法可以应用与电子设备，这里电子设备包括移动终端和固定终端，其中，移动终端包括：手机、平板电脑、笔记本电脑等；固定终端包括：个人计算机。在其他可选的实施例中，该数据处理方法也可以运行于网络侧设备，其中，网络侧设备包括：服务器、处理中心等。
本公开实施例训练后的预定模型可实现预定功能，该预定功能包括但不限于以下至少之一：
对输入图像中目标和背景进行分割的目标分割；
对输入图像中目标的分类；
基于收入图像的目标跟踪；
基于医疗图像的诊断辅助；
基于输入语音的语音识别、语音校正等功能。
以上仅是对所述预定模型所实现预定功能的举例说明，具体实现不局限于上述举例。
在对预定模型进行训练的过程中，首先需要将训练集中的各个已标注训练数据输入待训练的预定模型，并更新预定模型的结构参数和/或网络参数。其中，结构参数包括用于表征预定模型中各个网络结构的结构特征的参数，该结构特征包括：各个网络结构的连接关系等特征，以该预定网络是超网络为例，由于超网络中可以包含多个网络结构，而各个网络结构之间的连接关系则可以基于结构参数来表征。网络参数包括用于训练该预定模型中各个网络结构的权重参数，例如，如果预定模型包含有能够构成卷积神经网络的网络结构，则各个网络结构可以看作是构成卷积神经网络的滤波器(卷积核)，这时，网络参数可以是个滤波器的权重。
本公开实施例中，可以通过将训练集中的各个已标注训练数据输入待训练的预定模型，并基于输出结果更新预定模型的模型参数。其中，已标注训练数据的数据类型可以包括：图像数据类型、文本数据类型或者音频数据类型。
在更新预定模型的模型参数之后，可以将验证集中各个已标注验证数据输入模型参数更新后的预定模型，得到第一预测标签；然后再利用预设损失函数，基于第一预测标签与已标注验证数据的标注标签的差异，得到模型参数更新后的预定模型在验证集上的验证损失值。这里，预设损失函数是用于衡量预定模型所输出预测结果的好坏的算法。其中，验证数据的数据类型可以包括：图像数据类型、文本数据类型或者音频数据类型。在实现的过程中，可以先获取第一预测标签的第一标签向量值和标注标签的标注标签向量值，并将第一标签向量值和标注标签向量值输入预设损失函数，利用预设损失函数计算第一标签向量值和标注标签向量值之间的差异值，得到验证损失值。
本公开实施例中，可以基于预先构建的预设损失函数，例如，利用梯度下降法来反向调整预定模型的模型参数，使模型收敛，即使得最终获得的模型更优。而其中，损失函数的选取，也在一定程度上影响了模型的好坏。其中，预设损失函数可以包括：二元互熵损失以及叉熵损失函数。
本公开实施例中，还可以获取模型参数更新后的预定模型的当前的结构参数，基于该当前的结构参数确定辅助损失值，并根据验证损失值和辅助损失值，确定是否停止训练预定模型。在其他可选的实施例中，还可以基于设定的验证集对训练后的预定模型的准确率进行验证，当准确率达到设定准确率时，停止训练预定模型。
本公开实施例中，可以根据预定模型当前的结构参数，确定辅助损失值，并基于验证损失值和辅助损失值共同判断是否停止对预定模型的训练。
这里，可以利用辅助损失函数确定辅助损失值，由于辅助损失函数的输出结果与预先设定的权重系数正相关，在当前的结构参数确定的情况下，可以通过调整权重系数的大小来调整辅助损失值的大小，即，当权重系数越大，辅助损失值越大；权重系数越小，辅助损失值越小。
由于本公开实施例中的辅助损失值与当前的结构参数和权重系数相关联，在对预定模型进行训练的过程中，当前的结构参数会随着训练的过程发生变化，在当前的结构参数发生变化的情况下，如果导致预定模型输出的结果存在偏差，能够通过权重系数调整辅助损失值，并基于调整后的辅助损失值调整预定模型输出的结果，进而减小输出结果的离散化偏差。本公开实施例中，在增加辅助损失值后，在对预定模型进行优化的过程中，除了优化网络参数和结构参数之外，还能使输出结果的取值向辅助损失值的导数方向移动，以使各输出结果可趋近设定参数值，例如，0或者1，进而减小输出结果的离散化偏差，如此，训练得到的模型的模型精确度更高，基于训练后的预定模型所包括的网络结构，构建的目标网络模型进行分类得到的分类结果更准确。
在其他可选的实施例中，所述方法还包括：
利用激活函数对所述模型参数更新后的预定模型当前的结构参数进行归一化处理，得到归一化后的当前的结构参数；
所述根据所述预定模型当前的结构参数，确定辅助损失值，包括：
根据所述归一化后的当前的结构参数，确定所述辅助损失值。
这里，结构参数可以包括预定模型所包含的各个网络结构的节点权重、预定模型中所包含的网络结构的层数等。当预定模型所包含的网络结构是能构成卷积神经网络的结构时，结构参数还可以是各个滤波器(卷积核)的尺寸。本公开实施例中，激活函数包括softmax函数和Sigmoid函数等。本公开实施例中，可以基于激活函数对模型参数更新后的预定模型当前的结构参数进行归一化处理，得到归一化后的当前的结构参数。以激活函数为softmax函数为例，对当前的结构参数进行归一化处理的公式包括：
Figure BDA0002537829010000081
公式(1)中，∑isoftmax(αi)＝1；其中，softmax(αi)表示归一化后的当前的结构参数；αi表示当前的结构参数，其中，i、j和M均为正整数。
以激活函数为Sigmoid函数为例，对当前的结构参数进行归一化处理的公式包括：
σ(αi)＝1/(1+exp(-αi)) (2)；
公式(2)中，σ(αi)表示归一化后的当前的结构参数；αi表示当前的结构参数，其中，i为正整数。
以更新的模型参数是网络参数为例，可以获取网络参数更新后的预定模型当前的结构参数，对当前的结构参数进行归一化处理，得到归一化后的当前的结构参数，然后基于归一化后的当前的结构参数，确定辅助损失值。
本公开实施例中，在确定出当前的结构参数之后，再基于当前的结构参数确定出辅助损失值，通过将当前的结构参数和辅助损失值相关联，在后续需要基于辅助损失值更新结构参数时，能够使待更新的结构参数的取值向辅助损失值的倒数方向移动，进而使更新后的结构参数趋近设定结构参数值，以提高模型训练的精确度。
在其他可选的实施例中，所述根据所述验证损失值和所述辅助损失值，确定是否停止训练所述预定模型，包括：
根据所述验证损失值、所述辅助损失值以及权重系数，确定所述验证损失值和所述辅助损失值的加权和得到所述预定模型的总损失值；
当所述总损失值在设定时长内的数值变化小于设定变化阈值时，停止训练所述预定模型。
这里，所述根据所述验证损失值、所述辅助损失值以及权重系数，确定所述验证损失值和所述辅助损失值的加权和，得到所述预定模型的总损失值，包括：确定所述辅助损失与所述权重系数的乘积值；将所述乘积值与所述验证损失值进行加和，得到所述总损失值。在其他可选的实施例中，可以利用网格搜索算法进行实验得到权重系数。
其中，总损失值的计算公式包括：
Ltotal＝Lval(w*(α),α)+w0-1L0-1 (3)；
公式(1)中，Ltotal表示总损失值；Lval(w*(α),α)表示验证损失值；w0-1表示权重系数；L0-1表示辅助损失值。
基于第一辅助损失函数计算辅助损失值的公式包括：
Figure BDA0002537829010000091
公式(4)中，L0-1表示辅助损失值，σ(αi)表示归一化后的当前的结构参数；αi表示当前的结构参数，i和N均为正整数。
在其他可选的实施例中，基于第二辅助损失函数计算辅助损失值公式还包括：
Figure BDA0002537829010000092
公式(5)中，L'0-1表示辅助损失值，σ(αi)表示归一化后的当前的结构参数；αi表示当前的结构参数，i和N均为正整数。如图2所示，图2是根据一示例性实施例示出的第一辅助损失函数和第二辅助损失函数及其导数方向示意图，其中，X轴表示当前的结构参数，Y轴表示第一辅助损失函数和第二辅助损失函数的导数值。
本公开实施例中，可以根据预定模型当前的结构参数，确定辅助损失值，并基于验证损失值、辅助损失值以及权重系数确定总损失值，并基于总损失值判断是否停止对预定模型的训练，在增加辅助损失值后，在对预定模型进行优化的过程中能使输出结果的取值向辅助损失值的导数方向移动，以使各输出结果可趋近设定参数值，进而减小输出结果的离散化偏差。
在其他可选的实施例中，所述在停止训练所述预定模型后，基于训练后的预定模型所包括的网络结构构建的目标网络模型对待分类数据进行分类，得到分类结果，包括：
在停止训练所述预定模型后，基于激活函数对训练后的预定模型中的各个结构参数进行归一化处理，得到归一化结构参数；
从所述训练后的预定模型中，确定出所述归一化结构参数大于设定参数阈值的网络结构；
基于所述归一化结构参数值大于所述设定参数阈值的所述网络结构，构成目标网络模型；
基于所述目标网络模型对待分类数据进行分类，得到所述分类结果。
这里，激活函数包括softmax函数和Sigmoid函数等。以基于Sigmoid函数对训练后的预定模型中的各个结构参数进行归一化处理为例，在利用Sigmoid函数对结构参数进行归一化处理的过程中，结构参数之间是相互独立的，这样，就能够分别得到各个结构参数所对应的归一化结构参数；然后确定归一化结构参数是否大于设定参数阈值；当该归一化结构参数大于设定参数阈值时，将该归一化结构参数所对应的网络结构确定为构成目标网络模型的结构。
在其他可选的实施例中，该方法还包括：基于测试数据集对训练后的预定模型进行性能评估，得到评估结果；其中，测试数据集中测试数据的类型包括以下至少之一：图像数据类型、业务数据类型和音频数据类型。
这里，在构成训练后的预定模型之后，可以在测试数据集上评估其性能，逐步优化网络结构，直至找到最优的预定模型，例如最小化验证损失或最大化奖励的预定模型。这里，可以将测试数据集中的测试数据输入训练好的预定模型，经由该预定模型输出评估结果，然后将输出的评估结果与预设的标准进行比较，得到比较结果，并根据比较结果评估预定模型的性能，其中，测试结果可以为预定模型处理测试数据的速度或者精度。
由于训练后的预定模型有多个网络层，而各个网络层中归一化结构参数大于设定参数阈值的网络结构可以是一个，也可以是多个。在网络层中归一化结构参数大于设定参数阈值的网络结构是一个时，则可以直接将该一个网络结构与该网络层的上一层的输出端和下一层的输入端进行连接。在网络层中归一化结构参数大于设定参数阈值的网络结构是多个时，则可以将表征各个网络结构的函数相加，得到针对该网络层的新的网络结构，并将该新的网络结构与该网络层的上一层的输出端和下一层的输入端连接。本公开实施例中，在将各个网络层的网络结构连接完成之后，就构成了目标网络模型。本公开实施例中，在构成目标网络模型之后，可以基于目标网络模型对待分类数据进行分类，得到分类结果。
在其他可选的实施例中，所述基于训练后的预定模型所包括的网络结构构建的目标网络模型对待分类数据进行分类，得到分类结果，包括：将所述待分类数据输入所述目标网络模型，输出所述待分类数据在M个类别的M个类别概率；其中，M个类别概率中前预设数量个类别概率对应的类别标签为所述待分类数据的分类结果；其中，所述待分类数据的类型包括以下至少之一：图像数据类型、文本数据类型和音频数据类型。在其他可选的实施例中，所述模型参数还包括：网络参数；所述将训练集中的各个已标注训练数据输入待训练的预定模型，更新所述预定模型的模型参数，包括：
将所述训练集中的各个所述已标注训练数据输入所述待训练的预定模型，得到第二预测标签；
根据所述第二预测标签与所述已标注训练数据的标注标签的差异得到训练损失值；
基于所述训练损失值，更新所述预定模型的所述网络参数；
将所述验证集中的各个所述已标注验证数据输入所述网络参数更新后的所述预定模型，更新所述结构参数。
这里，可以将训练集中各个已标注训练数据输入模型参数更新后的预定模型，得到第二预测标签；然后再利用预设损失函数，基于第二预测标签与已标注训练数据的标注标签的差异，得到预定模型在训练集上的训练损失值。这里，预设损失函数是用于衡量预定模型所输出预测结果的好坏的算法，本公开实施例中，可以基于预先构建的预设损失函数，例如使用梯度下降法来反向调整预定模型的模型参数，使模型收敛，即使得最终获得的模型更优。而其中，损失函数的选取，也在一定程度上影响了模型的好坏，预设损失函数可以包括：二元互熵损失以及叉熵损失函数。
在确定出训练损失值之后，可以基于训练损失值，利用梯度下降法来调整预定模型的网络参数，在更新预定模型的网络参数之后，可以将验证集中的各个已标注验证数据输入网络参数更新后的预定模型，更新结构参数。
在其他可选的实施例中，将验证集中的各个已标注验证数据输入网络参数更新后的预定模型，更新结构参数，包括：将验证集中的各个已标注验证数据输入网络参数更新后的预定模型，得到第三预测标签；根据第三预测标签与已标注验证数据的标注标签的差异得到更新损失值；根据预定模型当前的结构参数，确定辅助损失值；根据更新损失值和辅助损失值，更新网络参数更新后的预定模型中的结构参数。
本公开实施例中，可以根据预定模型当前的结构参数，确定辅助损失值，并基于更新损失值和辅助损失值，更新网络参数更新后的预定模型中的结构参数，在增加辅助损失值后，在对预定模型进行优化的过程中，除了优化网络参数之外，还能使结构参数的取值向辅助损失值的导数方向移动，以使各结构参数可趋近设定参数值，例如，0或者1，进而减小结构参数的离散化偏差，以使得离散化后和离散化前的网络结构具有近似的表达能力。
在其他可选的实施例中，所述方法还包括：初始化待训练的预定模型的模型参数获得初始化参数。初始化待训练的预定模型的模型参数获得初始化参数，包括：检测初始化输入；根据初始化输入，初始化待训练的预定模型的模型参数获得初始化参数。
这里，以本公开实施例所涉及的方法是在终端设备执行为例，可以基于终端设备检测初始输入，在检测到初始化输入时，可以基于初始化输入，对待训练的预定模型的模型参数进行初始化处理，得到对应的初始化参数，即可以给待训练的预定模型的模型参数赋予默认值，这样，在对预定模型进行训练之前，也能保证待训练的预定模型的正常运行。
本公开的上述任一实施例中的技术方案均可应用于网络结构搜索(NeuralArchitecture Search，NAS)，其中，NAS是一种自动设计神经网络的技术，基于NAS可以根据样本集自动设计出高性能的神经网络结构，能够有效降低神经网络的使用和实现成本。在基于NAS进行搜索的过程中，可以对包含有多个网络结构的超网络进行训练，以生成包含所有网络结构的搜索空间的超网络、即候选神经网络结构集合，其中，网络结构为神经网络的一部分。
在可微分神经网络架构搜索(Differentiable Architecture Search，DARTS)中，采用训练一个包含所有网络结构的搜索空间的超网络的方法。其中，超网络由多个可搜索单元(cell)按一定顺序堆叠而成，单元包括普通单元(normal cell)和缩减单元(reduction cell)。每个单元为一个有向无环图(Directed Acyclic Graph，DAG)。每个单元有N个节点，任意两个节点之间有M个可选网络结构，每个网络结构包含两类参数：结构参数α和网络参数w。其中M个结构参数受softmax函数约束，并相互影响。这里，可以采用交叉训练方式训练超网络，即结构参数和网络参数交叉进行更新。在超网络训练收敛后，可以选择softmax函数输出值最大的网络结构，作为构成目标网络模型的网络结构。
图3是根据一示例性实施例示出的一种超网络的结构示意图，如图3所示，超网络300包含第一网络层301，第二网络层302，第三网络层303......。其中，第一网络层301、第二网络层302和第三网络层303......中的任意两个节点之间分别包含M个并列的网络结构，分别为网络结构1，网络结构2......网络结构M，该M个并列的网络结构所对应的M个结构参数分别为α1，α2......αM，且该M个结构参数受softmax函数约束。
在其他可选的实施例中，还可以基于公平的可微分网络架构搜索(FairDifferentiable Architecture Search，Fair DARTS)进行网络结构的搜索，在基于FairDARTS进行网络搜索的过程中，可以采用sigmoid函数替代softmax函数，分别M个结构参数进行归一化处理,这样，结构参数之间相互独立。在超网络训练收敛后，可以选择sigmoid函数输出值大于设定参数阈值的网络结构，作为构成目标网络模型的网络结构。
图4是根据一示例性实施例示出的另一种超网络的结构示意图，如图4所示，超网络400包含第一网络层401，第二网络层402，第三网络层403......。其中，第一网络层401、第二网络层402和第三网络层403......中的任意两个节点之间分别包含M个并列的网络结构，分别为网络结构1，网络结构2......网络结构M，该M个并列的网络结构所对应的M个结构参数分别为α1，α2......αM，且各个结构参数分别受sigmoid函数约束。
由于基于上述两种根据结构参数确定构建目标网络模型的网络结构的方式均为离散化操作，例如，如果基于softmax函数或sigmoid函数所输出结果的取值为0.8，则可以确定该取值近似为1，存在离散化偏差。本公开实施例中，可以根据预定模型当前的结构参数，确定辅助损失值，并基于更新损失值和辅助损失值，更新网络参数更新后的预定模型中的结构参数，在增加辅助损失值后，在对预定模型进行优化的过程中，除了优化网络参数之外，还能使结构参数的取值向辅助损失值的导数方向移动，以使各结构参数可趋近设定参数值，例如，0或者1，进而减小结构参数的离散化偏差，以使得离散化后和离散化前的网络结构具有近似的表达能力。
本公开实施例中的预定模型不限于图像分类、目标检测、语义分割、文本转语音、自然语言翻译、语音增强、语音识别等任务中的深度学习模型。在进行模型训练的过程中，可以在公平的可微分神经网络搜索中缩小离散化偏差，从而得到更优的神经网络结构。
图5是根据一示例性实施例示出的另一种数据处理方法的流程示意图，如图5所示，该方法主要包括以下步骤：
在步骤501中，初始化公平可微分搜索中超网络(待训练的预定模型)的网络参数和结构参数。
在步骤502中，获取训练集中的已标注训练数据，并将训练数据输入超网络，通过超网络运算得到第二预测标签，将该第二预测标签和训练数据真实的标注标签进行对比，计算得到训练损失值。
在步骤503中，根据训练损失值，利用梯度下降法更新网络参数。
在步骤504中，获取验证集中的已标注验证数据，并将验证数据输入更新网络参数后的超网络，通过更新网络参数后的超网络运算得到第一预测标签，将该第一预测标签和验证数据真实的标注标签进行对比，计算得到验证损失值。
在步骤505中，获取更新网络参数后的超网络当前的结构参数，根据当前的结构参数，计算得到辅助损失值。
在步骤506中，根据验证损失值及辅助损失值，利用梯度下降法更新结构参数，直至停止训练超网络。
在其他可选的实施例中，在停止训练超网络后，基于激活函数对训练后的超网络中的各个结构参数进行归一化处理，得到归一化结构参数，并选取归一化结构参数大于设定参数阈值的网络结构，作为构成目标网络模型的网络结构。以激活函数是Sigmoid函数为例，可以选取训练后的超网络中结构参数的sigmoid函数输出值大于设定参数阈值的网络结构为目标网络模型中的网络结构。在其他可选的实施例中，在目标网络模型构建完成之后，可以对该目标网络模型重新进行训练，并将训练好的目标网络模型部署于实际的深度学习任务。
图6是根据一示例性实施例示的带辅助损失函数的公平可微分神经网络搜索过程示意图，如图6所示，以图像分类任务为例，给定训练数据601和验证数据602(均为图像)，以及对应真实的标注标签603(图像的类别)。
在实现的过程中，可以将训练数据输入超网络，通过超网络运算得到第二预测标签，将该第二预测标签和训练数据真实的标注标签进行对比，计算得到训练损失值；根据训练损失值，利用梯度下降法更新网络参数；并将验证数据输入更新网络参数后的超网络，通过更新网络参数后的超网络运算得到第一预测标签，将该第一预测标签和验证数据真实的标注标签进行对比，计算得到验证损失值；获取更新网络参数后的超网络当前的结构参数，根据当前的结构参数，计算得到辅助损失值；根据验证损失值及辅助损失值，利用梯度下降法更新结构参数，直至停止训练超网络。
在停止训练超网络后，基于Sigmoid函数对训练后的超网络中的各个结构参数进行归一化处理，得到归一化结构参数，选取归一化结构参数大于设定参数阈值的网络结构为目标网络模型中的网络结构。基于本公开实施例所提供的方法搜索用于处理图像任务的目标网络模型，能够减小目标网络模型输出的预测标签与真实标签之间的误差。
本发明在公平的可微分神经网络架构搜索中，在确定出当前的结构参数之后，再基于当前的结构参数确定出辅助损失值，通过将当前的结构参数和辅助损失值相关联，在后续需要基于辅助损失值更新结构参数时，能够使待更新的结构参数的取值向辅助损失值的倒数方向移动，进而使更新后的结构参数趋近设定结构参数值，例如，0或者1，以提高模型训练的精确度。
本公开实施例在公平的可微分神经网络搜索中提出一种缩小神经网络的离散化偏差的方法，增加了一个用来控制结构参数的辅助损失函数来控制优化过程，该辅助损失函数可以使结构参数进行sigmoid函数运算后的值趋近离散化后的0或1，从而缩小神经网络结构的离散化偏差，使得最终搜索出的神经网络结构更优。
图7是根据一示例性实施例示出的一种数据处理装置框图，如图7所示，该数据处理装置700主要包括：
第一更新模块701，配置为将训练集中的各个已标注训练数据输入待训练的预定模型，更新所述预定模型的模型参数，其中，所述模型参数包括：结构参数；
第一获取模块702，配置为将验证集中的各个已标注验证数据输入所述模型参数更新后的预定模型，得到第一预测标签；
第二获取模块703，配置为根据所述第一预测标签与所述已标注验证数据的标注标签的差异得到验证损失值；
第一确定模块704，配置为根据所述预定模型当前的结构参数，确定辅助损失值；
第二确定模块705，配置为根据所述验证损失值和所述辅助损失值，确定是否停止训练所述预定模型；
分类模块706，配置为在停止训练所述预定模型后，基于训练后的预定模型所包括的网络结构构建的目标网络模型对待分类数据进行分类，得到分类结果。
在其他可选的实施例中，所述装置700还包括：
第一处理模块，配置为利用激活函数对所述所述模型参数更新后的预定模型当前的结构参数进行归一化处理，得到归一化后的当前的结构参数；
所述一确定模块704，还配置为：
根据所述归一化后的当前的结构参数，确定所述辅助损失值。
在其他可选的实施例中，所述第二确定模块705，还配置为：
根据所述验证损失值、所述辅助损失值以及权重系数，确定所述验证损失值和所述辅助损失值的加权和和，得到所述预定模型的总损失值；
当所述总损失值在设定时长内的数值变化小于设定变化阈值时，停止训练所述预定模型。
在其他可选的实施例中，所述装置700还包括：
第二处理模块，配置为在停止训练所述预定模型后，基于激活函数对训练后的预定模型中的各个结构参数进行归一化处理，得到归一化结构参数；
第三确定模块，配置为从所述训练后的预定模型中，确定出所述归一化结构参数大于设定参数阈值的网络结构；
构成模块，配置为基于所述归一化结构参数大于所述设定参数阈值的所述网络结构，构成目标网络模型；
所述分类模块，还配置为基于所述目标网络模型对待分类数据进行分类，得到所述分类结果。
在其他可选的实施例中，所述分类模块，还配置为：
将所述待分类数据输入所述目标网络模型，输出所述待分类数据在M个类别的M个类别概率；其中，M个类别概率中前预设数量个类别概率对应的类别标签为所述待分类数据的分类结果；
其中，所述待分类数据的类型包括以下至少之一：图像数据类型、文本数据类型和音频数据类型。在其他可选的实施例中，所述模型参数还包括：网络参数；所述第一更新模块701，还配置为：
将所述训练集中的各个所述已标注训练数据输入所述待训练的预定模型，得到第二预测标签；
根据所述第二预测标签与所述已标注训练数据的标注标签的差异得到训练损失值；
基于所述训练损失值，更新所述预定模型的所述网络参数；
将所述验证集中的各个所述已标注验证数据输入所述网络参数更新后的所述预定模型，更新所述结构参数。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
图8是根据一示例性实施例示出的一种用于数据处理装置1200的框图。例如，装置1200可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
参照图8，装置1200可以包括以下一个或多个组件：处理组件1202，存储器1204，电源组件1206，多媒体组件1208，音频组件1210，输入/输出(I/O)的接口1212，传感器组件1214，以及通信组件1216。
处理组件1202通常控制装置1200的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件1202可以包括一个或多个处理器1220来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件1202可以包括一个或多个模块，便于处理组件1202和其他组件之间的交互。例如，处理组件1202可以包括多媒体模块，以方便多媒体组件1208和处理组件1202之间的交互。
存储器1204被配置为存储各种类型的数据以支持在设备1200的操作。这些数据的示例包括用于在装置1200上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器1204可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电源组件1206为装置1200的各种组件提供电力。电源组件1206可以包括电源管理系统，一个或多个电源，及其他与为装置1200生成、管理和分配电力相关联的组件。
多媒体组件1208包括在所述装置1200和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件1208包括一个前置摄像头和/或后置摄像头。当设备1200处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件1210被配置为输出和/或输入音频信号。例如，音频组件1210包括一个麦克风(MIC)，当装置1200处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器1204或经由通信组件1216发送。在一些实施例中，音频组件1210还包括一个扬声器，用于输出音频信号。
I/O接口1212为处理组件1202和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件1214包括一个或多个传感器，用于为装置1200提供各个方面的状态评估。例如，传感器组件1214可以检测到设备1200的打开/关闭状态，组件的相对定位，例如所述组件为装置1200的显示器和小键盘，传感器组件1214还可以检测装置1200或装置1200一个组件的位置改变，用户与装置1200接触的存在或不存在，装置1200方位或加速/减速和装置1200的温度变化。传感器组件1214可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件1214还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件1214还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件1216被配置为便于装置1200和其他设备之间有线或无线方式的通信。装置1200可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件1216经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件1216还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，装置1200可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器1204，上述指令可由装置1200的处理器1220执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
一种非临时性计算机可读存储介质，当所述存储介质中的指令由移动终端的处理器执行时，使得移动终端能够执行一种数据处理方法，所述方法包括：
将训练集中的各个已标注训练数据输入待训练的预定模型，更新所述预定模型的模型参数，其中，所述模型参数包括：结构参数；
将验证集中的各个已标注验证数据输入所述模型参数更新后的预定模型，得到第一预测标签；
根据所述第一预测标签与所述已标注验证数据的标注标签的差异得到验证损失值；
根据所述预定模型当前的结构参数，确定辅助损失值；
根据所述验证损失值和所述辅助损失值，确定是否停止训练所述预定模型；
在停止训练所述预定模型后，基于训练后的预定模型所包括的网络结构构建的目标网络模型对待分类数据进行分类，得到分类结果。
图9是根据一示例性实施例示出的另一种用于数据处理装置1300的框图。例如，装置1300可以被提供为一服务器。参照图9，装置1300包括处理组件1322，其进一步包括一个或多个处理器，以及由存储器1332所代表的存储器资源，用于存储可由处理组件1322的执行的指令，例如应用程序。存储器1332中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件1322被配置为执行指令，以执行上述数据处理方法，所述方法包括：
将训练集中的各个已标注训练数据输入待训练的预定模型，更新所述预定模型的模型参数，其中，所述模型参数包括：结构参数；
将验证集中的各个已标注验证数据输入所述模型参数更新后的预定模型，得到第一预测标签；
根据所述第一预测标签与所述已标注验证数据的标注标签的差异得到验证损失值；
根据所述预定模型当前的结构参数，确定辅助损失值；
根据所述验证损失值和所述辅助损失值，确定是否停止训练所述预定模型；
在停止训练所述预定模型后，基于训练后的预定模型所包括的网络结构构建的目标网络模型对待分类数据进行分类，得到分类结果。
装置1300还可以包括一个电源组件1326被配置为执行装置1300的电源管理，一个有线或无线网络接口1350被配置为将装置1300连接到网络，和一个输入输出(I/O)接口1358。装置1300可以操作基于存储在存储器1332的操作系统，例如Windows ServerTM，MacOS XTM，UnixTM，LinuxTM，FreeBSDTM或类似。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (14)

1.一种数据处理方法，其特征在于，包括：
将训练集中的各个已标注训练数据输入待训练的预定模型，更新所述预定模型的模型参数，其中，所述模型参数包括：结构参数；
将验证集中的各个已标注验证数据输入所述模型参数更新后的预定模型，得到第一预测标签；
根据所述第一预测标签与所述已标注验证数据的标注标签的差异，得到验证损失值；
根据所述预定模型当前的结构参数，确定辅助损失值；
根据所述验证损失值和所述辅助损失值，确定是否停止训练所述预定模型；
在停止训练所述预定模型后，基于训练后的预定模型所包括的网络结构构建的目标网络模型对待分类数据进行分类，得到分类结果。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
利用激活函数对所述模型参数更新后的预定模型当前的结构参数进行归一化处理，得到归一化后的当前的结构参数；
所述根据所述预定模型当前的结构参数，确定辅助损失值，包括：
根据所述归一化后的当前的结构参数，确定所述辅助损失值。
3.根据权利要求1所述的方法，其特征在于，所述根据所述验证损失值和所述辅助损失值，确定是否停止训练所述预定模型，包括：
根据所述验证损失值、所述辅助损失值以及权重系数，确定所述验证损失值和所述辅助损失值的加权和，得到所述预定模型的总损失值；
当所述总损失值在设定时长内的数值变化小于设定变化阈值时，停止训练所述预定模型。
4.根据权利要求1所述的方法，其特征在于，所述在停止训练所述预定模型后，基于训练后的预定模型所包括的网络结构构建的目标网络模型对待分类数据进行分类，得到分类结果，包括：
在停止训练所述预定模型后，基于激活函数对训练后的预定模型中的各个结构参数进行归一化处理，得到归一化结构参数；
从所述训练后的预定模型中，确定出所述归一化结构参数值大于设定参数阈值的网络结构；
基于所述归一化结构参数值大于所述设定参数阈值的所述网络结构，构成所述目标网络模型；
基于所述目标网络模型对所述待分类数据进行分类，得到所述分类结果。
5.根据权利要求1所述的方法，其特征在于，所述基于训练后的预定模型所包括的网络结构构建的目标网络模型对待分类数据进行分类，得到分类结果，包括：
将所述待分类数据输入所述目标网络模型，输出所述待分类数据在M个类别的M个类别概率；其中，M个类别概率中前预设数量个类别概率对应的类别标签为所述待分类数据的分类结果；
其中，所述待分类数据的类型包括以下至少之一：图像数据类型、文本数据类型和音频数据类型。
6.根据权利要求1所述的方法，其特征在于，所述模型参数还包括：网络参数；
所述将训练集中的各个已标注训练数据输入待训练的预定模型，更新所述预定模型的模型参数，包括：
将所述训练集中的各个所述已标注训练数据输入所述待训练的预定模型，得到第二预测标签；
根据所述第二预测标签与所述已标注训练数据的标注标签的差异，得到训练损失值；
基于所述训练损失值，更新所述预定模型的所述网络参数；
将所述验证集中的各个所述已标注验证数据输入所述网络参数更新后的所述预定模型，更新所述结构参数。
7.一种数据处理装置，其特征在于，包括：
第一更新模块，配置为将训练集中的各个已标注训练数据输入待训练的预定模型，更新所述预定模型的模型参数，其中，所述模型参数包括：结构参数；
第一获取模块，配置为将验证集中的各个已标注验证数据输入所述模型参数更新后的预定模型，得到第一预测标签；
第二获取模块，配置为根据所述第一预测标签与所述已标注验证数据的标注标签的差异得到验证损失值；
第一确定模块，配置为根据所述预定模型当前的结构参数，确定辅助损失值；
第二确定模块，配置为根据所述验证损失值和所述辅助损失值，确定是否停止训练所述预定模型
分类模块，配置为在停止训练所述预定模型后，基于训练后的预定模型所包括的网络结构构建的目标网络模型对待分类数据进行分类，得到分类结果。
8.根据权利要求7所述的装置，其特征在于，所述装置还包括：
第一处理模块，配置为利用激活函数对所述模型参数更新后的预定模型当前的结构参数进行归一化处理，得到归一化后的当前的结构参数；
所述一确定模块，还配置为：
根据所述归一化后的当前的结构参数，确定所述辅助损失值。
9.根据权利要求7所述的装置，其特征在于，所述第二确定模块，还配置为：
根据所述验证损失值、所述辅助损失值以及权重系数，确定所述验证损失值和所述辅助损失值的加权和，得到所述预定模型的总损失值；
当所述总损失值在设定时长内的数值变化小于设定变化阈值时，停止训练所述预定模型。
10.根据权利要求7所述的装置，其特征在于，所述装置还包括：
第二处理模块，配置为在停止训练所述预定模型后，基于激活函数对训练后的预定模型中的各个结构参数进行归一化处理，得到归一化结构参数；
第三确定模块，配置为从所述训练后的预定模型中，确定出所述归一化结构参数大于设定参数阈值的网络结构；
构成模块，配置为基于所述归一化结构参数值大于所述设定参数阈值的所述网络结构，构成目标网络模型；
所述分类模块，还配置为基于所述目标网络模型对待分类数据进行分类，得到所述分类结果。
11.根据权利要求7所述的装置，其特征在于，所述分类模块，还配置为：
将所述待分类数据输入所述目标网络模型，输出所述待分类数据在M个类别的M个类别概率；其中，M个类别概率中前预设数量个类别概率对应的类别标签为所述待分类数据的分类结果；
其中，所述待分类数据的类型包括以下至少之一：图像数据类型、文本数据类型和音频数据类型。
12.根据权利要求7所述的装置，其特征在于，所述模型参数还包括：网络参数；所述第一更新模块，还配置为：
将所述训练集中的各个所述已标注训练数据输入所述待训练的预定模型，得到第二预测标签；
根据所述第二预测标签与所述已标注训练数据的标注标签的差异得到训练损失值；
基于所述训练损失值，更新所述预定模型的所述网络参数；
将所述验证集中的各个所述已标注验证数据输入所述网络参数更新后的所述预定模型，更新所述结构参数。
13.一种数据处理装置，其特征在于，包括：
处理器；
配置为存储处理器可执行指令的存储器；
其中，所述处理器配置为：执行时实现上述权利要求1至6中任一种数据处理方法中的步骤。
14.一种非临时性计算机可读存储介质，当所述存储介质中的指令由数据处理装置的处理器执行时，使得所述装置能够执行上述权利要求1至6中任一种数据处理方法。
CN202010538271.8A 2020-06-12 2020-06-12 数据处理方法、装置及存储介质 Pending CN111753895A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202010538271.8A CN111753895A (zh) 2020-06-12 2020-06-12 数据处理方法、装置及存储介质
US17/146,762 US20210390449A1 (en) 2020-06-12 2021-01-12 Method and device for data processing, and storage medium
EP21155152.8A EP3923202A1 (en) 2020-06-12 2021-02-04 Method and device for data processing, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010538271.8A CN111753895A (zh) 2020-06-12 2020-06-12 数据处理方法、装置及存储介质

Publications (1)

Publication Number Publication Date
CN111753895A true CN111753895A (zh) 2020-10-09

Family

ID=72676007

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010538271.8A Pending CN111753895A (zh) 2020-06-12 2020-06-12 数据处理方法、装置及存储介质

Country Status (3)

Country Link
US (1) US20210390449A1 (zh)
EP (1) EP3923202A1 (zh)
CN (1) CN111753895A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112184391A (zh) * 2020-10-16 2021-01-05 中国科学院计算技术研究所 一种推荐模型的训练方法、介质、电子设备和推荐模型
CN112434725A (zh) * 2020-10-30 2021-03-02 四川新网银行股份有限公司 一种部署到html5的模型压缩方法
CN112866505A (zh) * 2021-01-18 2021-05-28 北京小米松果电子有限公司 图像处理方法、装置及存储介质
CN113255892A (zh) * 2021-06-01 2021-08-13 上海交通大学烟台信息技术研究院 一种解耦合的网络结构搜索方法、设备及可读存储介质
CN113947185A (zh) * 2021-09-30 2022-01-18 北京达佳互联信息技术有限公司 任务处理网络生成、任务处理方法、装置、电子设备及存储介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI833065B (zh) * 2021-02-17 2024-02-21 緯創資通股份有限公司 網路優化器及其網路優化方法
CN113986561B (zh) * 2021-12-28 2022-04-22 苏州浪潮智能科技有限公司 人工智能任务处理方法、装置、电子设备及可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108334947A (zh) * 2018-01-17 2018-07-27 上海爱优威软件开发有限公司 一种智能优化的sgd训练方法及系统
CN108875779A (zh) * 2018-05-07 2018-11-23 深圳市恒扬数据股份有限公司 神经网络的训练方法、装置及终端设备
EP3579148A1 (en) * 2018-06-08 2019-12-11 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method and apparatus for training, classification model, mobile terminal, and readable storage medium

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160180214A1 (en) * 2014-12-19 2016-06-23 Google Inc. Sharp discrepancy learning
JP6678930B2 (ja) * 2015-08-31 2020-04-15 インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ 分類モデルを学習する方法、コンピュータ・システムおよびコンピュータ・プログラム
US11222263B2 (en) * 2016-07-28 2022-01-11 Samsung Electronics Co., Ltd. Neural network method and apparatus
CN106548210B (zh) * 2016-10-31 2021-02-05 腾讯科技（深圳）有限公司 基于机器学习模型训练的信贷用户分类方法及装置
US11074470B2 (en) * 2017-12-06 2021-07-27 La Société Dataperformers Inc. System and method for automatically improving gathering of data using a data gathering device
US20200104710A1 (en) * 2018-09-27 2020-04-02 Google Llc Training machine learning models using adaptive transfer learning
US11170263B2 (en) * 2018-11-15 2021-11-09 Nvidia Corporation Distributed batch normalization using estimates and rollback
US11403486B2 (en) * 2019-11-13 2022-08-02 Huawei Technologies Co., Ltd. Methods and systems for training convolutional neural network using built-in attention
US11537946B2 (en) * 2020-03-10 2022-12-27 Sap Se Identifying entities absent from training data using neural networks

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108334947A (zh) * 2018-01-17 2018-07-27 上海爱优威软件开发有限公司 一种智能优化的sgd训练方法及系统
CN108875779A (zh) * 2018-05-07 2018-11-23 深圳市恒扬数据股份有限公司 神经网络的训练方法、装置及终端设备
EP3579148A1 (en) * 2018-06-08 2019-12-11 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method and apparatus for training, classification model, mobile terminal, and readable storage medium

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CHU XIANGXIANG: "Fair DARTS: Eliminating Unfair Advantages in Differentiable Architecture Search", ADVANCES IN INTELLIGENT DATA ANALYSIS XIX, 10 March 2020 (2020-03-10), pages 1 - 35, XP055824888, DOI: 10.1007/978-3-030-58555-6_28 *
LIU HANXIAO: "DARTS: DIFFERENTIABLE ARCHITECTURE SEARCH", 23 April 2019 (2019-04-23), pages 1 - 13, XP055824757, DOI: 10.1117/1.JEI.30.1.013012 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112184391A (zh) * 2020-10-16 2021-01-05 中国科学院计算技术研究所 一种推荐模型的训练方法、介质、电子设备和推荐模型
CN112184391B (zh) * 2020-10-16 2023-10-10 中国科学院计算技术研究所 一种推荐模型的训练方法、介质、电子设备和推荐模型
CN112434725A (zh) * 2020-10-30 2021-03-02 四川新网银行股份有限公司 一种部署到html5的模型压缩方法
CN112434725B (zh) * 2020-10-30 2023-06-09 四川新网银行股份有限公司 一种部署到html5的模型压缩方法
CN112866505A (zh) * 2021-01-18 2021-05-28 北京小米松果电子有限公司 图像处理方法、装置及存储介质
CN112866505B (zh) * 2021-01-18 2023-04-25 北京小米松果电子有限公司 图像处理方法、装置及存储介质
CN113255892A (zh) * 2021-06-01 2021-08-13 上海交通大学烟台信息技术研究院 一种解耦合的网络结构搜索方法、设备及可读存储介质
CN113255892B (zh) * 2021-06-01 2023-09-05 上海交通大学烟台信息技术研究院 一种解耦合的网络结构搜索方法、设备及可读存储介质
CN113947185A (zh) * 2021-09-30 2022-01-18 北京达佳互联信息技术有限公司 任务处理网络生成、任务处理方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
US20210390449A1 (en) 2021-12-16
EP3923202A1 (en) 2021-12-15

Similar Documents

Publication Publication Date Title
TWI759722B (zh) 神經網路訓練方法及裝置、圖像處理方法及裝置、電子設備和計算機可讀存儲介質
CN111460150B (zh) 一种分类模型的训练方法、分类方法、装置及存储介质
CN109871896B (zh) 数据分类方法、装置、电子设备及存储介质
CN111753895A (zh) 数据处理方法、装置及存储介质
CN107491541B (zh) 文本分类方法及装置
CN108256555B (zh) 图像内容识别方法、装置及终端
CN109800325B (zh) 视频推荐方法、装置和计算机可读存储介质
TWI728564B (zh) 圖像的描述語句定位方法及電子設備和儲存介質
CN109599128B (zh) 语音情感识别方法、装置、电子设备和可读介质
CN110782034A (zh) 神经网络的训练方法、装置及存储介质
CN109684510B (zh) 视频排序方法、装置、电子设备及存储介质
CN110781305B (zh) 基于分类模型的文本分类方法及装置，以及模型训练方法
CN110598504B (zh) 图像识别方法及装置、电子设备和存储介质
CN111160448B (zh) 一种图像分类模型的训练方法及装置
CN111612070B (zh) 基于场景图的图像描述生成方法及装置
CN107784034B (zh) 页面类别识别方法及装置、用于页面类别识别的装置
US11556761B2 (en) Method and device for compressing a neural network model for machine translation and storage medium
CN111931844B (zh) 图像处理方法及装置、电子设备和存储介质
CN109961094B (zh) 样本获取方法、装置、电子设备及可读存储介质
CN112150457A (zh) 视频检测方法、装置及计算机可读存储介质
CN111753917A (zh) 数据处理方法、装置及存储介质
CN111259967A (zh) 图像分类及神经网络训练方法、装置、设备及存储介质
CN110889489A (zh) 神经网络的训练方法、图像识别方法及其装置
CN111753091A (zh) 分类方法、分类模型的训练方法、装置、设备及存储介质
CN108509406B (zh) 一种语料抽取方法、装置和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination