CN111105008A - 模型训练方法、数据识别方法和数据识别装置 - Google Patents

模型训练方法、数据识别方法和数据识别装置 Download PDF

Info

Publication number
CN111105008A
CN111105008A CN201811268719.8A CN201811268719A CN111105008A CN 111105008 A CN111105008 A CN 111105008A CN 201811268719 A CN201811268719 A CN 201811268719A CN 111105008 A CN111105008 A CN 111105008A
Authority
CN
China
Prior art keywords
data
model
training
input data
student model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811268719.8A
Other languages
English (en)
Inventor
王梦蛟
刘汝杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to CN201811268719.8A priority Critical patent/CN111105008A/zh
Priority to EP19197815.4A priority patent/EP3648014A1/en
Priority to US16/591,045 priority patent/US20200134506A1/en
Priority to JP2019195406A priority patent/JP2020071883A/ja
Publication of CN111105008A publication Critical patent/CN111105008A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063—Training

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种训练与教师模型对应的学生模型的方法，教师模型是以第一输入数据作为输入数据并且以第一输出数据作为输出目标经过训练得到的，方法包括：将第二输入数据作为输入数据并且将第一输出数据作为输出目标对学生模型进行训练，其中第二输入数据是通过改变第一输入数据而得到的数据。

Description

模型训练方法、数据识别方法和数据识别装置
技术领域
本公开涉及模型训练方法、数据识别方法和数据识别装置。更具体地，本发明涉及利用知识蒸馏(knowledge distillation)来学习有效的数据识别模型。
背景技术
最近，通过采用深度学习网络，数据识别的准确性大大提高。然而，速度是许多应用场景下需要考虑的关键因素，而在保证运算速度的同时也要保证应用场景所需要的准确性。因此，尽管数据识别例如对象检测等的进步依赖于越来越深的深度学习体系结构，但是这种不断深入的体系结构导致运行时不断增加的计算开销。因此，提出了知识蒸馏的概念。
复杂的深度学习网络结构模型可以是若干个单独模型组成的集合，或者可以是在若干约束条件下训练得到的较大的网络模型。一旦复杂的网络模型训练完成，便可以用另一种训练方法将需要配置在应用端的缩小模型从复杂模型中提取出来，即知识蒸馏。知识蒸馏是一种在大模型监督下训练快速神经网络模型的实用方法。最常用的步骤是从大型神经网络层提取输出，然后强制小型神经网络输出相同的结果。这样，小型神经网络就可以学习大模型的表达能力。这里的小型神经网络又被称为“学生”模型，而大型神经网络又被称为“教师”模型。
在常规的知识蒸馏方法中，“学生”模型和“教师”模型的输入通常是相同的。但是，如果改变原始的训练数据集，例如将原始的训练数据集中的训练数据改变一定的变化量，则传统方法需要重新训练“教师”模型，然后使用知识蒸馏方法来训练“学生”模型。这种方法导致了较大的运算负担，因为必须重新训练大规模的、难以训练的“教师”模型。
因而，在本发明中提出了一种新的学生模型训练方法。应该注意，上面对技术背景的介绍只是为了方便对本申请的技术方案进行清楚、完整的说明，并方便本领域技术人员的理解而阐述的。不能仅仅因为这些方案在本申请的背景技术部分进行了阐述而认为上述技术方案为本领域技术人员所公知。
发明内容
在下文中将给出关于本公开的简要概述，以便提供关于本公开的某些方面的基本理解。应当理解，这个概述并不是关于本公开的穷举性概述。它并不是意图确定本公开的关键或重要部分，也不是意图限定本公开的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。
为了实现本公开的目的，根据本公开的一个方面，提供了训练与教师模型对应的学生模型的方法，教师模型是以第一输入数据作为输入数据并且以第一输出数据作为输出目标经过训练得到的，方法包括：将第二输入数据作为输入数据并且将第一输出数据作为输出目标对学生模型进行训练，其中所述第二输入数据是通过改变第一输入数据而得到的数据。
根据本公开的另一方面，提供了数据识别方法，包括：使用训练与教师模型对应的学生模型的方法训练得到的学生模型进行数据识别。
根据本公开的另一方面，还提供了数据识别装置，包括：至少一个处理器，被配置成执行数据识别方法。
根据本公开内容，提出了一种新的模型训练方法来增加经训练的学生模型的鲁棒性，而无需重新训练教师模型。根据本公开内容，教师模型的训练输入仍然为原始数据，而学生模型的训练输入是通过改变原始数据而得到的数据。通过这种方式，学生模型的输出仍然与教师模型相同，这意味着无论数据差异如何，都能够对学生模型进行训练而无需重新训练教师模型。
附图说明
参照下面结合附图对本公开实施方式的说明，会更加容易地理解本公开的以上和其它目的、特点和优点，在附图中：
图1是示出常规的学生模型训练方法的示意图；
图2是示出根据本公开实施方式的学生模型训练方法的示意图；
图3是根据本公开实施方式的学习模型训练方法的流程图；
图4示出了根据本公开实施方式的数据识别方法的流程图；
图5示出了根据本公开实施方式的数据识别装置的示意图；
图6是示出可用来实现根据本公开的实施方式的学生模型训练方法或数据识别方法的装置的通用机器的结构简图。
具体实施方式
在下文中将结合附图对本公开的示例性实施方式进行描述。为了清楚和简明起见，在说明书中并未描述实际实施方式的所有特征。然而，应该了解，本领域技术人员在实现实施方式的过程中可以做出很多特定于实施方式的决定，以便实现实施方式，并且这些决定可能会随着实施方式的不同而有所改变。
在此，还需要说明的一点是，为了避免因不必要的细节而模糊了本公开，在附图中仅仅示出了与根据本公开的方案密切相关的部件，而省略了与本公开关系不大的其他细节。
下面参考附图描述这里公开的示例性实施例。应当注意，出于清楚的目的，在附图和描述中省略了有关所属技术领域的技术人员知道但是与示例性实施例无关的部分和过程的表示和说明。
本领域的技术人员可以理解，示例性实施例的各方面可以被实施为系统、方法或计算机程序产品。因此，示例性实施例的各个方面可以具体实现为以下形式，即，可以是完全硬件实施例、完全软件实施例(包括固件、驻留软件、微代码等)、或组合软件部分与硬件部分的实施例，本文可以一般称为"电路"、"模块"或"系统"。此外，示例性实施例的各个方面可以采取体现为一个或多个计算机可读介质的计算机程序产品的形式，该计算机可读介质上面体现有计算机可读程序代码。可以例如通过计算机网络来分发计算机程序，或者计算机程序可以位于一个或更多个远程服务器上，或被嵌入设备的存储器中。
可以使用一个或多个计算机可读介质的任何组合。计算机可读介质可以是计算机可读信号介质或计算机可读存储介质。计算机可读存储介质例如可以是，但不限于电的、磁的、光的、电磁的、红外线的、或半导体的系统、设备或装置、或前述各项的任何适当的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括以下：有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储装置、磁存储装置、或前述各项的任何适当的组合。在本文语境中，计算机可读存储介质可以是任何含有或存储供指令执行系统、设备或装置使用的或与指令执行系统、设备或装置相联系的程序的有形介质。
计算机可读信号介质可以包括例如在基带中或作为载波的一部分传播的其中带有计算机可读程序代码的数据信号。这样的传播信号可以采取任何适当的形式，包括但不限于电磁的、光的或其任何适当的组合。
计算机可读信号介质可以是不同于计算机可读存储介质的、能够传达、传播或传输供指令执行系统、设备或装置使用的或与指令执行系统、设备或装置相联系的程序的任何一种计算机可读介质。
体现在计算机可读介质中的程序代码可以采用任何适当的介质传输，包括但不限于无线、有线、光缆、射频等等、或上述各项的任何适当的组合。
用于执行这里公开的示例性实施例的各方面的操作的计算机程序代码可以以一种或多种程序设计语言的任何组合来编写，所述程序设计语言包括面向对象的程序设计语言，诸如Java、Smalltalk、C++之类，还包括常规的过程式程序设计语言，诸如"C"程序设计语言或类似的程序设计语言。
以下参照按照示例性实施例的方法、设备(系统)和计算机程序产品的流程图和/或框图来描述这里公开的示例性实施例的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合都可以由计算机程序指令实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理设备的处理器以生产出一种机器，使得通过计算机或其它可编程数据处理设备执行的这些指令产生用于实现流程图和/或框图中的方框中规定的功能/操作的装置。
也可以把这些计算机程序指令存储在能够指引计算机或其它可编程数据处理设备以特定方式工作的计算机可读介质中，使得存储在计算机可读介质中的指令产生一个包括实现流程图和/或框图中的方框中规定的功能/操作的指令的制造品。
也可以把计算机程序指令加载到计算机或其它可编程数据处理设备上，导致在计算机或其它可编程数据处理设备上执行一系列操作步骤以产生计算机实现的过程，使得在计算机或其它可编程设备上执行的指令提供实现流程图和/或框图中的方框中规定的功能/操作的过程。
图1是示出常规的学生模型训练方法的示意图。
在该常规的学生模型训练方法中，通过使用教师和学生模型的输出之间的差异来部署知识蒸馏，以训练小而快速的学生模型。这种方法可以迫使学生模型学习教师模型的表达能力。
通常，在常规的学生模型训练过程中每个样本将被同样对待，即每个样本产生的损失的权重将是相同的。但这种方法又是不利的，因为教师模型对不同的样本具有不同的置信度，这意味着损失也应当相应地以不同权重加权。因此下面提出根据本公开实施方式的方案来解决该问题。
图2是示出根据本公开实施方式的学生模型训练方法的示意图。
在根据本公开实施方式的学生模型训练方法中，同样通过使用教师和学生模型的输出之间的差异来部署知识蒸馏，以训练小而快速的学生模型来迫使学生模型学习教师模型的表达能力。而与如图1所述的常规的学生模型学习方法不同的是，这里的学生模型的输入被添加了一个变化量Δ。然而，输出目标仍然采用与教师模型的输出目标同样的目标来训练学生模型。按照这种方式训练的学生模型可以适用改变的输入数据，从而能够被应用到更多的应用场景中。
根据本公开实施方式的学习模型训练方法使用神经网络训练学生模型·，神经网络使用通过简化生物神经元的功能而配置的人工神经元，并且人工神经元可以通过具有连接权重的边缘彼此连接。连接权重(神经网络的参数)是边缘的预定值，并且还可以称为连接强度。神经网络可以通过人工神经元执行人脑的认知功能或学习过程。人造神经元也可以称为节点。
神经网络可包括多个层。例如，神经网络可以包括输入层，隐藏层和输出层。输入层可以接收用于执行训练的输入并将输入发送到隐藏层，并且输出层可以基于从隐藏层的节点接收的信号生成神经网络的输出。隐藏层可以设置在输入层和输出层之间。隐藏层可以将从输入层接收的训练数据改变为容易预测的值。包括在输入层和隐藏层中的节点可以通过具有连接权重的边缘彼此连接，并且包括在隐藏层和输出层中的节点也可以通过具有连接权重的边缘彼此连接。输入层、隐藏层和输出层可以分别包括多个节点。
神经网络可以包括多个隐藏层。包括多个隐藏层的神经网络可以称为深度神经网络。训练深度神经网络可以称为深度学习。包括在隐藏层中的节点可以称为隐藏节点。深度神经网络中提供的隐藏层的数量不限于任何特定数量。
可以通过监督学习来训练神经网络。监督学习是指将输入数据和与其对应的输出数据提供给神经网络，并更新边缘的连接权重以便输出对应于输入数据的输出数据的方法。例如，模型训练设备可以通过delta规则和误差反向传播学习来更新人工神经元之间的边缘的连接权重。
深度网络，是深层次的神经网络。深度神经网络从结构上讲与传统的多层感知机没有什么不同，并且在做有监督学习时算法也是一样的。唯一的不同是这个网络在做有监督学习前要先做非监督学习，然后将非监督学习学到的权值当作有监督学习的初值进行训练。这个改变其实对应着一个合理的假设。用P(x)表示用无监督学习对网络进行预训练得到的数据的一种表示，然后用有监督学习对网络进行训练(如BP算法)，得到P(Y|X)，其中Y为输出(比如类别标签)。该假设认为P(X)的学习有助于P(Y|X)的学习。这种学习思路相对于单纯的有监督学习而言有助于降低过拟合的风险，因为它不仅学习了条件概率分布P(Y|X)，还学习了X和Y的联合概率分布。
根据本公开实施方式的学习模型训练方法使用深度神经网络，特别是卷积神经网络。近些年，提出了卷积神经网络(Convolutional Neural Network，CNN)，其是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现。它包括卷积层(convolutional layer)和池化层(pooling layer)。CNN主要用来识别位移、缩放及其他形式扭曲不变性的二维图形。由于CNN的特征检测层通过训练数据进行学习，所以在使用CNN时，避免了显式的特征抽取，而隐式地从训练数据中进行学习；再者由于同一特征映射面上的神经元权值相同，所以网络可以并行学习，这也是卷积网络相对于神经元彼此相连网络的一大优势。卷积神经网络以其局部权值共享的特殊结构在语音识别和图像处理方面有着独特的优越性，其布局更接近于实际的生物神经网络，权值共享降低了网络的复杂性，特别是多维输入向量的图像可以直接输入网络这一特点避免了特征提取和分类过程中数据重建的复杂度。因此，根据本公开实施方式的学习模型训练方法优选使用卷积神经网络，通过迭代地减少教师模型的输出与学生模型的输出之间的差异来训练学生模型。由于卷积神经网络对于本领域技术人员是公知的，本公开内容并不对其原理进行更详细的描述。
图3示出了根据本公开实施方式的学习模型训练方法的流程图。
参照图3，在步骤301处，预先获取已训练的教师模型或临时训练教师模型，其中该教师模型是以作为第一输入数据的未经改变的样本作为输入数据并且以第一输出数据作为输出目标经过训练得到的。在步骤302处，将作为第二输入数据的经改变的样本作为输入数据并且将与教师模型相同的第一输出数据作为输出目标对学生模型进行训练，其中第二输入数据是通过改变第一输入数据而得到的数据，该改变是与第一输入数据的类型相对应的信号处理方法。步骤301和步骤302中的训练通过卷积神经网络完成。
在常规的对学生模型进行训练步骤中，将与教师模型相同的第一输入数据的样本作为输入数据并且将与教师模型相同的第一输出数据作为输出目标对学生模型进行训练。这个过程可以通过下面的公式(1)来表达：
S(xi)＝T(xi) (1)
在上面的公式(1)中，S表示学生模型，T表示教师模型，xi表示训练样本。即，在常规的学生模型训练方法中，学生模型和教师模型的输入样本是相同的。因此，一旦输入样本发生变化，就需要重新训练教师模型，再通过知识蒸馏获得新的学生模型。
教师模型和学生模型的输出之间的差异可以表示为损失函数。常用的损失函数包括：1)Logit损失；2)特征L2损失；和3)学生模型softmax损失。下面将对这三个损失函数进行详细说明。
1)Logit损失
Logit损失用于表示由教师模型和学生模型生成的概率分布之间的差异。这里，使用KL散度来计算该损失函数，其中KL散度即相对熵，是用于描述两个概率分布和差异的一种常见方法，Logit损失函数如以下公式所示：
Figure BDA0001845503500000071
在公式(2)中，，LL表示Logit损失，xt(i)表示教师模型将样本分类到第i个类别的概率，xs(i)表示学生模型将样本分类到第i个类别的概率，m表示类别的总数量。
2)特征L2损失
特征L2损失通过以下公式来表示：
Figure BDA0001845503500000081
在公式(3)中，LF表示特征L2损失，m表示类别的总数量(样本xi的总数量)，
Figure BDA0001845503500000083
表示样本xi经过学生模型输出的输出特征，
Figure BDA0001845503500000084
表示样本xi经过教师模型输出的输出特征。
3)学生模型softmax损失
Figure BDA0001845503500000082
在公式(4)中，Ls表示softmax损失，m表示类别的总数量(样本xi的总数量)，yi是xi的标签，
Figure BDA0001845503500000085
表示样本xi经过学生模型输出的输出特征，其余参数例如W和b均是softmax中的常规参数，W为系数矩阵，b为偏置，这些参数都是通过训练而确定的。
基于以上三个损失函数，总的损失可以表示为以下公式：
L＝λLLL+λFLF+λSLs (5)
其中，λL、λF、λS均是通过训练得到的。
下面对与上述传统的学生模型训练步骤不同的训练步骤302。
与上述常规的学生模型训练方法的步骤不同，在根据本公开实施方式的图3所示的步骤302中，学生模型的输入被添加了一个变化量Δ，这个过程可以通过下面的公式(6)来表达：
S(xi+Δ)＝T(xi) (6)
在上面的公式(6)中，S表示学生模型，T表示教师模型，xi表示训练样本，Δ表示改变xi的变化量。该变化量是与输入数据即样本的类型相对应的信号处理方法。例如，假如训练样本为图像，Δ可以是例如对图像进行降采样处理所造成的改变量。输入数据的类型包括但不限于图像数据、语音数据或文本数据。总之，在根据本公开实施方式的学生模型训练方法中，学生模型和教师模型的输入样本是不同的。
在将变化量Δ添加到训练数据之后，学生模型和教师模型的训练样本域将变得不同。在根据本公开实施方式的学生模型训练方法中，直接使用常规方法中的Logit损失和特征L2损失训练的学生模型无法对数据或对象进行准确的识别。基于原始输入样本与经改变的数据样本间存在的数据关联性，考虑采用域相似性度量-多核最大均值差异(MK-MMD)作为损失函数。通过将域间距离度量变更为多核最大均值差异MK-MMD，可以同时衡量多个适配层的域间距离，并且MK-MMD的参数学习并不会增加深度神经网络的训练时间。通过基于MK-MMD的损失函数的学生模型学习方法学习的模型，在多个不同类型的任务上都能够取得较好的分类效果。所使用的MK-MMD函数表示为下面的公式(7)：
Figure BDA0001845503500000091
在上面的公式(7)中，N和M分别表示对应于样本集x和y中的一个类别中的样本数。在根据本公开实施方式的学生模型训练方法中，对应于学生模型的一个类别的样本数与教师模型的一个类别的样本数优选为相同，即在下面的各个公式中，优选地，N和M具有相同的值。
利用上面的MK-MMD函数(对应于下面公式中的MMD)对Logit损失进行优化，即将Logit损失修改为：
Figure BDA0001845503500000092
在上面的公式(8)中，LL表示经修改的Logit损失，xt(i)表示教师模型将样本分类到第i个类别的概率，xs(i)表示学生模型将样本分类到第i个类别的概率，m表示类别的总数量。
接下来，利用上面的MK-MMD函数(对应于下面公式中的MMD)对特征损失进行优化，即将特征损失修改为：
Figure BDA0001845503500000101
在公式(9)中，LF表示经修改的特征损失，m表示类别的总数量(样本xi的总数量)，
Figure BDA0001845503500000103
表示样本xi经过学生模型输出的输出特征，
Figure BDA0001845503500000104
表示样本xi经过教师模型输出的输出特征。
学生模型softmax损失与根据图1所述的学生模型softmax损失一致，即表示如下：
Figure BDA0001845503500000102
在上面的公式(10)中，Ls表示softmax损失，m表示类别的总数量(样本xi的总数量)，yi是xi的标签，
Figure BDA0001845503500000105
表示样本xi经过学生模型输出的输出特征，其余参数例如W和b均是softmax中的常规参数，W为系数矩阵，b为偏置，这些参数都是通过训练而确定的。
基于以上三个损失函数，总的损失可以表示为以下公式：
L＝λLLL+λFLF+λSLs (11)
其中，λL、λF、λS均是通过训练得到的。通过迭代地减少该总的损失来训练学生模型。
图4示出了根据本公开实施方式的数据识别方法的流程图。
参照图4，在步骤401处，预先获取已训练的教师模型或临时训练教师模型，其中该教师模型是以作为第一输入数据的未经改变的样本作为输入数据并且以第一输出数据作为输出目标经过训练得到的。在步骤402处，将作为第二输入数据的经改变的样本作为输入数据并且将与教师模型相同的第一输出数据作为输出目标对学生模型进行训练，其中第二输入数据是通过改变第一输入数据而得到的数据，该改变是与第一输入数据的类型相对应的信号处理方法。步骤401和步骤402中的训练通过卷积神经网络完成。在步骤403中，使用步骤402中得到的学生模型进行数据识别。
在根据本公开实施方式的图4所示的步骤402中，学生模型的输入被添加了一个变化量Δ，这个过程可以通过下面的公式(12)来表达：
S(xi+Δ)＝T(xi) (12)
在上面的公式(12)中，S表示学生模型，T表示教师模型，xi表示训练样本，Δ表示改变xi的变化量。该变化量是与输入数据即样本的类型相对应的信号处理方法。例如，假如训练样本为图像，Δ可以是例如对图像进行降采样处理所造成的改变量。输入数据的类型包括但不限于图像数据、语音数据或文本数据。
在将变化量Δ添加到训练数据之后，学生模型和教师模型的训练样本域将变得不同。在根据本公开实施方式的学生模型训练方法中，直接使用如图1所示的常规方法中的Logit损失和特征L2损失训练的学生模型无法对数据或对象进行准确的识别，因此在本方法中无法直接使用原始Logit损失和特征L2损失。基于原始输入样本与经改变的数据样本间存在的数据关联性，考虑采用域相似性度量-多核最大均值差异(MK-MMD)作为损失函数。
通过将域间距离度量变更为多核最大均值差异MK-MMD，可以同时衡量多个适配层的域间距离，并且MK-MMD的参数学习并不会增加深度神经网络的训练时间。通过基于MK-MMD的损失函数的学生模型学习方法学习的模型，在多个不同类型的任务上都能够取得较好的分类效果。所使用的MK-MMD函数表示为下面的公式(13)：
Figure BDA0001845503500000111
在上面的公式(13)中，N和M分别表示对应于样本集x和y中的一个类别中的样本数。在根据本公开实施方式的学生模型训练方法中，对应于学生模型的一个类别的样本数与教师模型的一个类别的样本数优选为相同，即在下面的各个公式中，优选地，N和M具有相同的值。
利用上面的MK-MMD函数(对应于下面公式中的MMD)对Logit损失进行优化，即将Logit损失修改为：
Figure BDA0001845503500000121
在上面的公式(14)中，LL表示经修改的Logit损失，xt(i)表示教师模型将样本分类到第i个类别的概率，xs(i)表示学生模型将样本分类到第i个类别的概率，m表示类别的总数量。
接下来，利用上面的MK-MMD函数(对应于下面公式中的MMD)对特征损失进行优化，即将特征损失修改为：
Figure BDA0001845503500000122
在公式(15)中，LF表示经修改的特征损失，m表示类别的总数量(样本xi的总数量)，
Figure BDA0001845503500000124
表示样本xi经过学生模型输出的输出特征，
Figure BDA0001845503500000125
表示样本xi经过教师模型输出的输出特征。
学生模型softmax损失与根据图1所述的学生模型softmax损失一致，即表示如下：
Figure BDA0001845503500000123
在上面的公式(16)中，Ls表示softmax损失，m表示类别的总数量(样本xi的总数量)，yi是xi的标签，
Figure BDA0001845503500000126
表示样本xi经过学生模型输出的输出特征，其余参数例如W和b均是softmax中的常规参数，W为系数矩阵，b为偏置，这些参数都是通过训练而确定的。
基于以上三个损失函数，总的损失可以表示为以下公式：
L＝λLLL+λFLF+λSLs (17)
其中，λL、λF、λS均是通过训练得到的。通过迭代地减少该总的损失来训练学生模型。
图5示出了根据本公开实施方式的数据识别装置的示意图。
图5所示的数据识别装置500，包括至少一个处理器501，其被配置成执行数据识别方法。数据识别装置还可以包括存储单元503和/或通信单元502，其中存储单元503用于存储待识别的数据和/或识别后得到的数据，通信单元502用于接收待识别的数据和/或发送识别后的得到的数据。
根据本公开的各种实施方式，教师模型和学生模型的输入数据可以包括图像数据、语音数据或文本数据之一。
图6是示出可用来实现根据本公开的实施方式的信息处理装置和信息处理方法的通用机器700的结构简图。通用机器700可以是例如计算机系统。应注意，通用机器700只是一个示例，并非暗示对本公开的方法和装置的使用范围或者功能的局限。也不应将通用机器700解释为对上述信息处理方法和信息处理装置中示出的任一组件或其组合具有依赖或需求。
在图6中，中央处理单元(CPU)701根据只读存储器(ROM)702中存储的程序或从存储部分708加载到随机存取存储器(RAM)703的程序执行各种处理。在RAM 703中，还根据需要存储当CPU 701执行各种处理等等时所需的数据。CPU 701、ROM 702和RAM 703经由总线704彼此连接。输入/输出接口705也连接到总线704。
下述部件也连接到输入/输出接口705：输入部分706(包括键盘、鼠标等等)、输出部分707(包括显示器，例如阴极射线管(CRT)、液晶显示器(LCD)等，和扬声器等)、存储部分708(包括硬盘等)、通信部分706(包括网络接口卡例如LAN卡、调制解调器等)。通信部分706经由网络例如因特网执行通信处理。根据需要，驱动器710也可连接到输入/输出接口705。可拆卸介质711例如磁盘、光盘、磁光盘、半导体存储器等等可以根据需要被安装在驱动器710上，使得从中读出的计算机程序可根据需要被安装到存储部分708中。
在通过软件实现上述系列处理的情况下，可以从网络例如因特网或从存储介质例如可拆卸介质711安装构成软件的程序。
本领域的技术人员应当理解，这种存储介质不局限于图6所示的其中存储有程序、与设备相分离地分发以向用户提供程序的可拆卸介质711。可拆卸介质711的例子包含磁盘(包含软盘)、光盘(包含光盘只读存储器(CD-ROM)和数字通用盘(DVD))、磁光盘(包含迷你盘(MD)(注册商标))和半导体存储器。或者，存储介质可以是ROM 702、存储部分708中包含的硬盘等等，其中存有程序，并且与包含它们的设备一起被分发给用户。
此外，本公开还提出了一种存储有计算机可读的程序指令的计算机程序产品。所述指令代码由计算机读取并执行时，可执行上述根据本公开的信息处理方法。相应地，用于承载这种程序指令的上面列举的各种存储介质也包括在本公开的范围内。
上面已通过框图、流程图和/或实施方式进行了详细描述，阐明了根据本公开的实施方式的装置和/或方法的具体实施方式。当这些框图、流程图和/或实施方式包含一个或多个功能和/或操作时，本领域的技术人员明白，这些框图、流程图和/或实施方式中的各功能和/或操作可以通过各种硬件、软件、固件或实质上它们的任意组合而单独地和/或共同地实施。在一种实施方式中，本说明书中描述的主题的几个部分可通过特定用途集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)或其他集成形式实现。然而，本领域的技术人员会认识到，本说明书中描述的实施方式的一些方面能够全部或部分地在集成电路中以在一个或多个计算机上运行的一个或多个计算机程序的形式(例如，以在一个或多个计算机系统上运行的一个或多个计算机程序的形式)、以在一个或多个处理器上运行的一个或多个程序的形式(例如，以在一个或多个微处理器上运行的一个或多个程序的形式)、以固件的形式、或以实质上它们的任意组合的形式等效地实施，并且，根据本说明书中公开的内容，设计用于本公开的电路和/或编写用于本公开的软件和/或固件的代码完全是在本领域技术人员的能力范围之内。
应该强调，术语“包括/包含”在本文使用时指特征、要素、步骤或组件的存在，但并不排除一个或更多个其它特征、要素、步骤或组件的存在或附加。涉及序数的术语并不表示这些术语所限定的特征、要素、步骤或组件的实施顺序或者重要性程度，而仅仅是为了描述清楚起见而用于在这些特征、要素、步骤或组件之间进行标识。
综上，在根据本公开的实施方式中，本公开提供了如下方案，但不限于此：
方案1.一种训练与教师模型对应的学生模型的方法，所述教师模型是以第一输入数据作为输入数据并且以第一输出数据作为输出目标经过训练得到的，所述方法包括：
将第二输入数据作为输入数据并且将所述第一输出数据作为输出目标对所述学生模型进行训练，其中所述第二输入数据是通过改变所述第一输入数据而得到的数据。
方案2.根据方案1所述的方法，其中，对所述学生模型进行训练包括：
通过迭代地减少所述教师模型的输出与所述学生模型的输出之间的差异来训练所述学生模型。
方案3.根据方案2所述的方法，基于所述第一输入数据与所述第二输入数据之间的数据相关性来确定用于计算所述差异的差异函数。
方案4.根据方案3所述的方法，其中，所述差异函数为MK-MMD。
方案5.根据方案3或4所述的方法，其中，在训练所述学生模型的过程中使用所述差异函数来计算Logit损失函数和特征损失函数。
方案6.根据方案3或4所述的方法，其中，在训练所述学生模型的过程中计算Softmax损失函数。
方案7.根据方案6所述的方法，其中，所述教师模型和所述学生模型具有相同的Softmax损失函数。
方案8.根据方案1至4之一所述的方法，其中，所述第一输入数据包括图像数据、语音数据或文本数据之一。
方案9.根据方案5所述的方法，其中所述改变是与所述第一输入数据的类型相对应的信号处理方法。
方案10.根据方案1至4之一所述的方法，其中所述第一输入数据的样本数量与所述第一输入数据的样本数量相同。
方案11.根据方案1至4之一所述的方法，其中通过训练出的分别用于多个损失函数的多个权重来确定用于计算所述差异的差异函数。
方案12.根据方案1至4之一所述的方法，其中利用卷积神经网络来训练所述学生模型。
方案13.一种数据识别方法，包括：
使用根据方案1至8之一所述的方法训练得到的学生模型进行数据识别。
方案14.一种数据识别装置，包括：
至少一个处理器，被配置成执行方案13所述的方法。
方案15.一种存储有程序指令的计算机可读存储介质，当所述程序指令被计算机执行时用于执行方案1-13所述的方法。
尽管上面已经通过对本公开的具体实施方式的描述对本公开进行了披露，但是，应该理解，本领域的技术人员可在所附权利要求的精神和范围内设计对本公开的各种修改、改进或者等同物。这些修改、改进或者等同物也应当被认为包括在本公开的保护范围内。

Claims (10)

1.一种训练与教师模型对应的学生模型的方法，所述教师模型是以第一输入数据作为输入数据并且以第一输出数据作为输出目标经过训练得到的，所述方法包括：
将第二输入数据作为输入数据并且将所述第一输出数据作为输出目标对所述学生模型进行训练，其中所述第二输入数据是通过改变所述第一输入数据而得到的数据。
2.根据权利要求1所述的方法，其中，对所述学生模型进行训练包括：
通过迭代地减少所述教师模型的输出与所述学生模型的输出之间的差异来训练所述学生模型。
3.根据权利要求2所述的方法，基于所述第一输入数据与所述第二输入数据之间的数据相关性来确定用于计算所述差异的差异函数。
4.根据权利要求3所述的方法，其中，所述差异函数为MK-MMD。
5.根据权利要求3或4所述的方法，其中，在训练所述学生模型的过程中使用所述差异函数来计算Logit损失函数和特征损失函数。
6.根据权利要求3或4所述的方法，其中，在训练所述学生模型的过程中计算Softmax损失函数。
7.根据权利要求1至4之一所述的方法，其中，所述第一输入数据包括图像数据、语音数据或文本数据之一。
8.根据权利要求5所述的方法，其中所述改变是与所述第一输入数据的类型相对应的信号处理方法。
9.一种数据识别方法，包括：
使用根据权利要求1至8之一所述的方法训练得到的学生模型进行数据识别。
10.一种数据识别装置，包括：
至少一个处理器，被配置成执行权利要求9所述的方法。
CN201811268719.8A 2018-10-29 2018-10-29 模型训练方法、数据识别方法和数据识别装置 Pending CN111105008A (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201811268719.8A CN111105008A (zh) 2018-10-29 2018-10-29 模型训练方法、数据识别方法和数据识别装置
EP19197815.4A EP3648014A1 (en) 2018-10-29 2019-09-17 Model training method, data identification method and data identification device
US16/591,045 US20200134506A1 (en) 2018-10-29 2019-10-02 Model training method, data identification method and data identification device
JP2019195406A JP2020071883A (ja) 2018-10-29 2019-10-28 モデル訓練方法、データ認識方法及びデータ認識装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811268719.8A CN111105008A (zh) 2018-10-29 2018-10-29 模型训练方法、数据识别方法和数据识别装置

Publications (1)

Publication Number Publication Date
CN111105008A true CN111105008A (zh) 2020-05-05

Family

ID=67997370

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811268719.8A Pending CN111105008A (zh) 2018-10-29 2018-10-29 模型训练方法、数据识别方法和数据识别装置

Country Status (4)

Country Link
US (1) US20200134506A1 (zh)
EP (1) EP3648014A1 (zh)
JP (1) JP2020071883A (zh)
CN (1) CN111105008A (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111639710A (zh) * 2020-05-29 2020-09-08 北京百度网讯科技有限公司 图像识别模型训练方法、装置、设备以及存储介质
CN112232506A (zh) * 2020-09-10 2021-01-15 北京迈格威科技有限公司 网络模型训练方法、图像目标识别方法、装置和电子设备
CN112508169A (zh) * 2020-11-13 2021-03-16 华为技术有限公司 知识蒸馏方法和系统
CN112529162A (zh) * 2020-12-15 2021-03-19 北京百度网讯科技有限公司 神经网络模型的更新方法、装置、设备和存储介质
WO2022016556A1 (zh) * 2020-07-24 2022-01-27 华为技术有限公司 一种神经网络蒸馏方法以及装置
WO2022052997A1 (en) * 2020-09-09 2022-03-17 Huawei Technologies Co.,Ltd. Method and system for training neural network model using knowledge distillation
WO2022105173A1 (zh) * 2020-11-20 2022-05-27 平安科技（深圳）有限公司 模型蒸馏方法、装置、存储介质及设备
CN115099988A (zh) * 2022-06-28 2022-09-23 腾讯科技（深圳）有限公司 模型训练方法、数据处理方法、设备及计算机介质
CN115170919A (zh) * 2022-06-29 2022-10-11 北京百度网讯科技有限公司 图像处理模型训练及图像处理方法、装置、设备和存储介质
TWI845797B (zh) * 2020-12-17 2024-06-21 緯創資通股份有限公司 物件辨識裝置及物件辨識方法
CN112508169B (zh) * 2020-11-13 2024-09-24 华为技术有限公司 知识蒸馏方法和系统

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10963748B1 (en) 2018-08-31 2021-03-30 Snap Inc. Generative neural network distillation
CN109523526B (zh) 2018-11-08 2021-10-22 腾讯科技（深圳）有限公司 组织结节检测及其模型训练方法、装置、设备和系统
CN113302605B (zh) * 2019-01-16 2024-08-02 谷歌有限责任公司 鲁棒且数据效率的黑盒优化
US11620515B2 (en) * 2019-11-07 2023-04-04 Salesforce.Com, Inc. Multi-task knowledge distillation for language model
US20210334644A1 (en) * 2020-04-27 2021-10-28 Nvidia Corporation Neural network training technique
CN111640425B (zh) * 2020-05-22 2023-08-15 北京百度网讯科技有限公司 一种模型训练和意图识别方法、装置、设备及存储介质
CN115699029A (zh) * 2020-06-05 2023-02-03 华为技术有限公司 利用神经网络中的后向传递知识改进知识蒸馏
US11430124B2 (en) 2020-06-24 2022-08-30 Samsung Electronics Co., Ltd. Visual object instance segmentation using foreground-specialized model imitation
US11961003B2 (en) 2020-07-08 2024-04-16 Nano Dimension Technologies, Ltd. Training a student neural network to mimic a mentor neural network with inputs that maximize student-to-mentor disagreement
CN111859960B (zh) * 2020-07-27 2023-08-01 中国平安人寿保险股份有限公司 基于知识蒸馏的语义匹配方法、装置、计算机设备和介质
CN112749728A (zh) * 2020-08-13 2021-05-04 腾讯科技（深圳）有限公司 学生模型训练方法、装置、计算机设备及存储介质
CN112101545B (zh) * 2020-08-28 2024-09-03 北京百度网讯科技有限公司 蒸馏系统的训练方法、装置、设备及存储介质
WO2022104550A1 (zh) * 2020-11-17 2022-05-27 华为技术有限公司 模型蒸馏训练的方法及相关装置和设备、可读存储介质
CN112529181B (zh) * 2020-12-15 2024-04-23 北京百度网讯科技有限公司 用于模型蒸馏的方法和装置
CN112561059B (zh) * 2020-12-15 2023-08-01 北京百度网讯科技有限公司 用于模型蒸馏的方法和装置
CN112711915B (zh) * 2021-01-08 2022-02-25 自然资源部第一海洋研究所 一种海浪有效波高预测方法
CN112990429A (zh) * 2021-02-01 2021-06-18 深圳市华尊科技股份有限公司 机器学习方法、电子设备及相关产品
US20220292345A1 (en) 2021-03-12 2022-09-15 Nec Corporation Distributionally robust model training
CN117099098A (zh) 2021-03-26 2023-11-21 三菱电机株式会社 重新学习系统和重新学习方法
CN113160041B (zh) * 2021-05-07 2024-02-23 深圳追一科技有限公司 一种模型训练方法及模型训练装置
CN113361572B (zh) * 2021-05-25 2023-06-27 北京百度网讯科技有限公司 图像处理模型的训练方法、装置、电子设备以及存储介质
CN113343979B (zh) * 2021-05-31 2022-11-08 北京百度网讯科技有限公司 用于训练模型的方法、装置、设备、介质和程序产品
CN113313314B (zh) * 2021-06-11 2024-05-24 北京沃东天骏信息技术有限公司 模型训练方法、装置、设备及存储介质
US11941357B2 (en) 2021-06-23 2024-03-26 Optum Technology, Inc. Machine learning techniques for word-based text similarity determinations
CN113420123A (zh) * 2021-06-24 2021-09-21 中国科学院声学研究所 语言模型的训练方法、nlp任务处理方法及装置
CN113326941A (zh) * 2021-06-25 2021-08-31 江苏大学 基于多层多注意力迁移的知识蒸馏方法、装置及设备
CN113724740B (zh) * 2021-08-30 2024-03-08 中国科学院声学研究所 音频事件检测模型训练方法及装置
EP4224379A4 (en) * 2021-12-03 2024-02-14 Contemporary Amperex Technology Co., Limited METHOD AND SYSTEM FOR RAPID ANOMALY DETECTION BASED ON CONTRASTIVE IMAGE DISTILLATION
CN114092918A (zh) * 2022-01-11 2022-02-25 深圳佑驾创新科技有限公司 模型训练方法、装置、设备及存储介质
US20230401831A1 (en) * 2022-06-10 2023-12-14 Microsoft Technology Licensing, Llc Scalable knowledge distillation techniques for machine learning
US11989240B2 (en) * 2022-06-22 2024-05-21 Optum Services (Ireland) Limited Natural language processing machine learning frameworks trained using multi-task training routines
CN115687914B (zh) * 2022-09-07 2024-01-30 中国电信股份有限公司 模型蒸馏方法、装置、电子设备及计算机可读介质
CN116935188B (zh) * 2023-09-15 2023-12-26 腾讯科技（深圳）有限公司 模型训练方法、图像识别方法、装置、设备及介质
CN117174084B (zh) * 2023-11-02 2024-05-31 摩尔线程智能科技(北京)有限责任公司 一种训练数据构建方法及装置、电子设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016037350A1 (en) * 2014-09-12 2016-03-17 Microsoft Corporation Learning student dnn via output distribution
CN107977707A (zh) * 2017-11-23 2018-05-01 厦门美图之家科技有限公司 一种对抗蒸馏神经网络模型的方法及计算设备
CN108491823A (zh) * 2018-03-30 2018-09-04 百度在线网络技术（北京）有限公司 用于生成人眼识别模型的方法和装置
CN108537859A (zh) * 2017-03-02 2018-09-14 奥多比公司 使用深度学习的图像蒙板
US20180268292A1 (en) * 2017-03-17 2018-09-20 Nec Laboratories America, Inc. Learning efficient object detection models with knowledge distillation

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9786270B2 (en) * 2015-07-09 2017-10-10 Google Inc. Generating acoustic models

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016037350A1 (en) * 2014-09-12 2016-03-17 Microsoft Corporation Learning student dnn via output distribution
CN108537859A (zh) * 2017-03-02 2018-09-14 奥多比公司 使用深度学习的图像蒙板
US20180268292A1 (en) * 2017-03-17 2018-09-20 Nec Laboratories America, Inc. Learning efficient object detection models with knowledge distillation
CN107977707A (zh) * 2017-11-23 2018-05-01 厦门美图之家科技有限公司 一种对抗蒸馏神经网络模型的方法及计算设备
CN108491823A (zh) * 2018-03-30 2018-09-04 百度在线网络技术（北京）有限公司 用于生成人眼识别模型的方法和装置

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111639710B (zh) * 2020-05-29 2023-08-08 北京百度网讯科技有限公司 图像识别模型训练方法、装置、设备以及存储介质
CN111639710A (zh) * 2020-05-29 2020-09-08 北京百度网讯科技有限公司 图像识别模型训练方法、装置、设备以及存储介质
WO2022016556A1 (zh) * 2020-07-24 2022-01-27 华为技术有限公司 一种神经网络蒸馏方法以及装置
WO2022052997A1 (en) * 2020-09-09 2022-03-17 Huawei Technologies Co.,Ltd. Method and system for training neural network model using knowledge distillation
CN112232506A (zh) * 2020-09-10 2021-01-15 北京迈格威科技有限公司 网络模型训练方法、图像目标识别方法、装置和电子设备
CN112508169A (zh) * 2020-11-13 2021-03-16 华为技术有限公司 知识蒸馏方法和系统
CN112508169B (zh) * 2020-11-13 2024-09-24 华为技术有限公司 知识蒸馏方法和系统
WO2022105173A1 (zh) * 2020-11-20 2022-05-27 平安科技（深圳）有限公司 模型蒸馏方法、装置、存储介质及设备
CN112529162B (zh) * 2020-12-15 2024-02-27 北京百度网讯科技有限公司 神经网络模型的更新方法、装置、设备和存储介质
CN112529162A (zh) * 2020-12-15 2021-03-19 北京百度网讯科技有限公司 神经网络模型的更新方法、装置、设备和存储介质
TWI845797B (zh) * 2020-12-17 2024-06-21 緯創資通股份有限公司 物件辨識裝置及物件辨識方法
CN115099988A (zh) * 2022-06-28 2022-09-23 腾讯科技（深圳）有限公司 模型训练方法、数据处理方法、设备及计算机介质
CN115170919A (zh) * 2022-06-29 2022-10-11 北京百度网讯科技有限公司 图像处理模型训练及图像处理方法、装置、设备和存储介质
CN115170919B (zh) * 2022-06-29 2023-09-12 北京百度网讯科技有限公司 图像处理模型训练及图像处理方法、装置、设备和存储介质

Also Published As

Publication number Publication date
EP3648014A1 (en) 2020-05-06
JP2020071883A (ja) 2020-05-07
US20200134506A1 (en) 2020-04-30

Similar Documents

Publication Publication Date Title
CN111105008A (zh) 模型训练方法、数据识别方法和数据识别装置
US20210089922A1 (en) Joint pruning and quantization scheme for deep neural networks
Hatami et al. Classification of time-series images using deep convolutional neural networks
CN111444340B (zh) 文本分类方法、装置、设备及存储介质
US20210201107A1 (en) Neural architecture search based on synaptic connectivity graphs
US11488013B2 (en) Model training method and apparatus
CN111985601A (zh) 用于增量学习的数据识别方法
US20230075100A1 (en) Adversarial autoencoder architecture for methods of graph to sequence models
US11574198B2 (en) Apparatus and method with neural network implementation of domain adaptation
CN114692732B (zh) 一种在线标签更新的方法、系统、装置及存储介质
US20220121949A1 (en) Personalized neural network pruning
CN111598113A (zh) 模型优化方法、数据识别方法和数据识别装置
US20230076290A1 (en) Rounding mechanisms for post-training quantization
US20220188605A1 (en) Recurrent neural network architectures based on synaptic connectivity graphs
Tian et al. Joint learning model for underwater acoustic target recognition
CN116564355A (zh) 一种基于自注意力机制融合的多模态情感识别方法、系统、设备及介质
Kiasari et al. Novel iterative approach using generative and discriminative models for classification with missing features
US20230153377A1 (en) Re-weighted self-influence for labeling noise removal in medical imaging data
CN116229196A (zh) 一种噪声样本的识别方法及装置
Jiang et al. CMCI: A Robust Multimodal Fusion Method for Spiking Neural Networks
Liu et al. Semi‐supervised breast histopathological image classification with self‐training based on non‐linear distance metric
US20220269980A1 (en) Random classification model head for improved generalization
Tmamna et al. Bare‐Bones particle Swarm optimization‐based quantization for fast and energy efficient convolutional neural networks
Kumar et al. Kullback-Leibler Divergence Based Regularized Normalization for Low Resource Tasks
CN107798344B (zh) 图像识别方法及装置、计算机可读介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200505

WD01 Invention patent application deemed withdrawn after publication