CN112561062B - 神经网络训练方法、装置、计算机设备及存储介质 - Google Patents
神经网络训练方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN112561062B CN112561062B CN202011501853.5A CN202011501853A CN112561062B CN 112561062 B CN112561062 B CN 112561062B CN 202011501853 A CN202011501853 A CN 202011501853A CN 112561062 B CN112561062 B CN 112561062B
- Authority
- CN
- China
- Prior art keywords
- data
- training
- neural network
- sub
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012549 training Methods 0.000 title claims abstract description 125
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 75
- 238000000034 method Methods 0.000 title claims abstract description 63
- 238000004590 computer program Methods 0.000 claims description 18
- 238000000605 extraction Methods 0.000 claims description 16
- 238000012545 processing Methods 0.000 claims description 13
- 238000013507 mapping Methods 0.000 claims description 11
- 230000015654 memory Effects 0.000 claims description 9
- 238000007781 pre-processing Methods 0.000 claims description 7
- 238000013506 data mapping Methods 0.000 claims description 2
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 238000013135 deep learning Methods 0.000 abstract description 2
- 241000282326 Felis catus Species 0.000 description 18
- 238000003062 neural network model Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000003754 machining Methods 0.000 description 4
- 230000003936 working memory Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 230000010267 cellular communication Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
公开了一种神经网络训练方法、装置、计算机设备及存储介质，涉及人工智能领域，具体为计算机视觉和深度学习领域。神经网络训练方法包括：将训练数据输入至所述神经网络的主干网络，其中，所述训练数据被划分为具有相同数据量的多个数据部分，并且所述多个数据部分中的每个数据部分所包括的数据集彼此不同，其中，所述训练数据包括图片，并且，所述每个数据部分所包括的数据集包括的图片在特征上相似；以及在所述主干网络的最后一级并行地训练所述多个数据部分，其中，所述最后一级按照批维度划分成多个子网络，所述多个子网络的数量与所述多个数据部分的数量相同，并且在每个子网络中训练所述多个数据部分中的相应数据部分。
Description
技术领域
本公开涉及人工智能领域，具体为计算机视觉和深度学习领域，尤其涉及神经网络训练方法、装置、计算机设备及存储介质，以及利用神经网络对图片数据进行处理的方法。
背景技术
在图像识别、检索的任务中，神经网络模型的特征提取能力尤为重要。特征提取能力一方面源于模型本身的性能，一方面源于数据量的大小。特征提取能力决定了针对图像识别、检索而言模型性能的好坏，对于大规模任务尤为关键。
目前，通常采用替换损失函数的方式来提升模型的特征提取能力。由于每种损失函数学习数据集的能力不同，对于不同的数据集需要选用不同的损失函数。具体选择哪种损失函数需要进行尝试。鲁棒性较强的损失函数是arcmargin损失函数，其对于大部分数据集都比较友好。然而，设计新的损失函数需要进行大量的计算，实现困难大。因此，需要寻求另外的方式来提升神经网络模型的特征提取能力。
发明内容
根据本公开的一个方面，提供了一种神经网络训练方法，包括：将训练数据输入至所述神经网络的主干网络，其中，所述训练数据被划分为具有相同数据量的多个数据部分，并且所述多个数据部分中的每个数据部分所包括的数据集彼此不同，其中，所述训练数据包括图片，并且，所述每个数据部分所包括的数据集包括的图片在特征上相似；以及在所述主干网络的最后一级并行地训练所述多个数据部分，其中，所述最后一级按照批维度划分成多个子网络，所述多个子网络的数量与所述多个数据部分的数量相同，并且在每个子网络中训练所述多个数据部分中的相应数据部分。
根据本公开的另一个方面，提供了一种利用神经网络对图片数据进行处理的方法，包括：获取待处理的图片数据；以及使用通过上述的神经网络训练方法训练所获得的所述神经网络对所述图片数据进行处理。
根据本公开的另一个方面，提供了一种神经网络训练装置，包括：数据输入模块，被配置为将训练数据输入至所述神经网络的主干网络，其中，所述训练数据被划分为具有相同的数据量的多个数据部分，并且所述多个数据部分中的每个数据部分所包括的数据集彼此不同，其中，所述训练数据包括图片，并且，所述每个数据部分所包括的数据集包括的图片在特征上相似；以及数据训练模块，被配置为在所述主干网络的最后一级并行地训练所述多个数据部分，其中，所述最后一级按照批维度划分成多个子网络，所述多个子网络的数量与所述多个数据部分的数量相同，并且在每个子网络中训练所述多个数据部分中的相应数据部分。
根据本公开的另一个方面，提供了一种计算机设备，包括：存储器、处理器以及存储在所述存储器上的计算机程序，其中，所述处理器被配置为执行所述计算机程序以实现上述方法的步骤。
根据本公开的另一个方面，提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现上述方法的步骤。
根据本公开的另一个方面，提供了一种计算机程序产品，包括计算机程序，其中，所述计算机程序被处理器执行时实现上述方法的步骤。
附图说明
附图示例性地示出了实施例并且构成说明书的一部分，与说明书的文字描述一起用于讲解实施例的示例性实施方式。所示出的实施例仅出于例示的目的，并不限制权利要求的范围。在所有附图中，相同的附图标记指代类似但不一定相同的要素。
图1是示出根据一个示例性实施例的神经网络训练方法的流程图；
图2是示出根据另一个示例性实施例的神经网络训练方法的流程图；
图3是用于说明根据示例性实施例的神经网络训练方法的一个示例的示意图；
图4是示出根据示例性实施例的神经网络训练装置的框图；以及
图5是示出能够应用于示例性实施例的计算机设备的结构框图。
具体实施方式
下面结合附图和实施例对本公开进行进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外，还需要说明的是，为了便于描述，附图中仅示出了与相关发明相关的部分。
在本公开中，除非另有说明，否则使用术语“第一”、“第二”等来描述各种要素不意图限定这些要素的位置关系、时序关系或重要性关系，这种术语只是用于将一个元件与另一元件区分开。在一些示例中，第一要素和第二要素可以指向该要素的同一实例，而在某些情况下，基于上下文的描述，它们也可以指代不同实例。
需要说明的是，在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合。除非上下文另外明确地表明，如果不特意限定要素的数量，则该要素可以是一个也可以是多个。此外，本公开中所使用的术语“和/或”涵盖所列出的项目中的任何一个以及全部可能的组合方式。
以下将结合附图对根据本公开实施例的神经网络训练方法进行具体描述。
图1是示出根据本公开一个示例性实施例的神经网络训练方法的流程图。如图1所示，所述神经网络训练方法可以包括：
步骤S101，将训练数据输入至所述神经网络的主干网络，其中，所述训练数据被划分为具有相同数据量的多个数据部分，并且所述多个数据部分中的每个数据部分所包括的数据集彼此不同，其中，所述训练数据包括图片，并且，所述每个数据部分所包括的数据集包括的图片在特征上相似；以及
步骤S102，在所述主干网络的最后一级并行地训练所述多个数据部分，其中，所述最后一级按照批维度划分成多个子网络，所述多个子网络的数量与所述多个数据部分的数量相同，并且在每个子网络中训练所述多个数据部分中的相应数据部分。
根据本公开实施例的神经网络训练方法，通过对来源于相似数据集的具有相同数据量的多个数据部分并行地进行训练，能够同时学习更多图片的特征，由此增加训练的数据量，提高神经网络模型提取特征的能力；
根据本公开实施例的神经网络训练方法，通过对主干网络的最后一级按照批维度进行划分，解决了由于通道维度划分方式所导致的无法并行训练的问题。同时，通过在每个子网络中训练所述多个数据部分中的相应数据部分，能够增加训练的数据量，提高神经网络模型提取特征的能力，继而有利于大规模任务的实现。
在步骤S101中，根据一个示例，神经网络可以是任意类型的卷积神经网络(Convolutional Neural Network,CNN)。本公开的实施例并不对神经网络的具体类型进行限制。主干网络也可称为骨干网络(backbone)，其意指神经网络模型中最主要的网络部分。根据一个示例，主干网络可以采用VGG16、VGG19、ResNet50、ResNet101等。本公开的实施例亦不对主干网络的具体类型进行限制。
根据一个示例，作为训练数据的图片可以被划分为数据量相同的两部分，即两等分。假设要输入N张图片，则可以将前N/2张图片(即第一数据部分)设置为来源于第一数据集，将后N/2张图片(即第二数据部分)设置为来源于第二数据集。
例如，假设要输入的图片的批大小(batch size)为256，即一次输入至主干网络的图片数据量是256，则其中第1张至第128张图片(即第一数据部分)可以来源于第一数据集，且第129张至第256张图片(即第二数据部分)可以来源于第二数据集。
需要注意的是，第一数据集和第二数据集可以是不同的数据集，并且第一数据集和第二数据集包括了在特征上相似的图片。相应地，第一数据部分和第二数据部分中的每个数据部分所包括的数据集也可以包括在特征上相似的图片。
根据一个示例，以训练鸟类的特征为例，如果每次输入的图片仅为鸟类的图片，则通过神经网络模型学习到的特征有限。根据本公开的实施例，可以将相似的猫的图片也输入至神经网络，从而最终可以同时训练出两个不同的模型。即，第一数据集可以是鸟类图片的数据集，第二数据集可以是猫的图片的数据集。
根据另一个示例中，以训练花卉的特征为例，可以将相似的果树的图片也一起输入至神经网络，从而最终可以训练出两个不同的模型。
本领域技术人员可以理解，作为训练数据的图片也可以被划分为数据量相同的三个数据部分、四个数据部分等等，其原理与如上所述的划分为两个数据部分类似，在此不再赘述。
如此同时训练出的多个模型要比单独训练每一类数据所得到的单独的模型效果更好。这是因为，借助于对来源于相似数据集的具有相同数据量的多个数据部分并行地进行训练，能够同时学习更多图片的特征，由此增加训练的数据量，提高了神经网络模型提取特征的能力。
在步骤S102中，主干网络可以包括多个级(stage)。根据一个示例，主干网络可以包括五个级。每个级可以由若干个瓶颈层(bottleneck)组成，其中，每个瓶颈层例如可以由一个1×1、一个3×3和一个1×1的卷积组成。
需要注意的是，主干网络的最后一级可以按照批(batch)维度划分成多个子网络。
根据一个示例，主干网络的最后一级可以按照批维度划分成两个子网络，即第一子网络和第二子网络。相比于按照通道(channel)维度来划分的方式，在最后一级按照批维度划分能够使同时学习两个相似数据集的特征成为可能。这是因为在前四个级，通道是来回交互的，即便在最后一级进行划分也无法实现同时学习两个数据集的特征。换言之，如果按照通道维度划分，则被划分出的每个子网络(例如第一子网络)中既有第一数据集又有第二数据集，因此无法实现同时学习两个数据集的特征。由此，按照批维度划分解决了由于通道维度划分方式所导致的无法并行训练的问题。
另外，需要注意的是，被划分出的多个子网络的数量可以与多个数据部分的数量相同，并且可以在每个子网络中训练所述多个数据部分中的相应数据部分。根据一个示例，假设作为训练数据的图片被两等分为第一数据部分和第二数据部分，则相应地，主干网络的最后一级也可以按照批维度被划分成两个子网络，即第一子网络和第二子网络。可以在第一子网络和第二子网络之中的一个子网络中训练第一数据部分，例如在第一子网络中训练第一数据部分。在此情况下，可以在第二子网络中训练第二数据部分。反之亦然。由此，能够增加训练的数据量，提高神经网络模型提取特征的能力，继而有利于大规模任务的实现。
图2是示出根据另一个示例性实施例的神经网络训练方法的流程图。如图2所示，所述神经网络训练方法可以包括如下步骤：
步骤S201，对训练数据进行预处理。
训练数据可以包括图片。根据一个示例，预处理可以包括诸如随机裁剪(RandomCrop)、翻转(Flip)等图片处理操作。本公开的实施例并不对预处理的具体类型进行限制。通常，训练神经网络需要大量的数据，但实际中可能无法获得如此大的数据量。在此情况下，通过预处理来对图片进行增强，能够获取更大的训练数据量，便于学习到更多细化的特征。
例如，当神经网络需要学习一只猫的特征时，如果每次仅输入这只猫的图片，其将很快学习到这只猫的大致特征。然而这样的情况过于简单，实际中期望的是对这只猫的其他特征，例如眼睛、毛发等均进行学习。在此情况下，通过进行预处理，将这只猫的图片随机裁剪出眼睛、毛发等进行学习，从而可以进一步学习这些更细化的特征。换言之，通过进行预处理获得了更大的训练数据量，使得每次都可以学习到这只猫的不同特征，便于学习到更多细化的特征。
步骤S202，将预处理后的训练数据输入至神经网络的主干网络，其中，所述训练数据被划分为具有相同数据量的多个数据部分，并且所述多个数据部分中的每个数据部分所包括的数据集彼此不同，其中，所述每个数据部分所包括的数据集包括的图片在特征上相似。
步骤S202的实施方式可以与以上结合图1所描述的步骤S101的实施方式类似，除了训练数据被预处理之外。因此，其具体细节可以参考图1所描述的步骤S101，在此不再赘述。
步骤S203，在所述主干网络的位于最后一级之前的级上学习图片的基础特征。
本公开中，基础特征可以是指用于大体上定义图片或图片中的对象的基本特征。例如，以猫的图片为例，基础特征可以是指大体上定义猫的基本特征。根据一个示例，可以在五个级中的前四个级上学习图片的基础特征，例如学习猫的基础特征。
换言之，在前四个级上不做划分。对前四个级不做划分一方面能够保证基础的学习量，另一方面能够避免在前四个级进行划分所造成的较大计算量而导致计算量翻倍。
步骤S204，在所述主干网络的最后一级并行地训练所述多个数据部分，其中，所述最后一级按照批维度划分成多个子网络，所述多个子网络的数量与所述多个数据部分的数量相同，并且在每个子网络中训练所述多个数据部分中的相应数据部分。
步骤S204的实施方式可以与以上结合图1所描述的步骤S102的实施方式类似，因此，其具体细节可以参考图1所描述的步骤S101，在此不再赘述。
可选地，最后一级的训练被配置用于对学习的基础特征进行重组以加工基础特征。
对基础特征进行重组可以包括对基础特征进行拼接以加工所述基础特征，以便能够在神经网络的后面的部分中利用在前面的部分中已经学习到的这些基础特征。这可以通过例如自动学习来实现。根据一个示例，当在五个级中的前四个级上学习了图片的基础特征之后，可以在最后一级上实现对所述基础特征的加工。
由于对特征进行加工可能导致数据量翻倍，在最后一级上对特征进行加工能够确保仅在最后一级上会出现数据量翻倍，由此能够确保神经网络模型的大小不会增加太多。
步骤S205，在主干网络的最后一级并行地训练所述多个数据部分之后，映射所述多个数据部分中的相应数据部分的特征以进行特征提取。
根据一个示例，当在第一子网络和第二子网络中并行地训练第一数据部分和第二数据部分之后，映射第一数据部分的特征和第二数据部分的特征以进行特征提取。通过针对并行训练的数据集各自映射特征，能够最终并行地训练出多个模型。
可选地，主干网络还可以包括用于映射特征的嵌入层(embedding层)，并且所述嵌入层包括与所述多个子网络对应的多个子嵌入层。根据一个示例，嵌入层可以是全连接层(FC层)。嵌入层是神经网络中被配置用于映射数据集的特征的层。简单而言，映射表示这样的过程：假设输入为图片，则输出是将图片的特征映射成例如256维(或3维、512维等)空间中的一个点，由此进行特征提取。通过针对每个子网络设置相应的嵌入层，即子嵌入层，能够便于最终并行地训练出多个模型。
图3是用于说明根据示例性实施例的神经网络训练方法的一个示例的示意图。
如图3所示，假设期望对猫的特征进行学习，在此情况下，可以输入包含猫的图片的数据集和包含鸟类图片的数据集作为训练数据。这里，鸟类图片的数据量与猫的图片的数据量可以相同。由于鸟类图片与猫的图片在特征上具有相似性(例如考虑到毛发等特征)，可以将二者视为相似的数据集。
可选地，在输入上述两类相似的图片之前，可以对其进行预处理，例如包括随机剪裁、翻转等。由此，对图片进行增强，以获取更大的训练数据量，便利于学习到更多细化的特征。
接着，如图3所示，在输入这两个数据集之后，在主干网络的c1至c4级301上，这两个数据集在此作为整体用于基础特征的学习。借助于在c1至c4级301上基础的学习量，可以学习到例如大体上定义猫的基本特征以及大体上定义鸟类的基本特征。由于c1至c4级301被配置用于基础特征的学习，不会在此造成过大的计算量。
之后，如图3所示，在经过c1至c4级301上的基础特征的学习之后，上述两个数据集可以在主干网络的最后一级c5级302上被分开。需要注意的是，如图3所示，与上述两个数据集的数量“二”相对应，最后一级c5级302按照批维度也可以被划分成两个子网络，即，第一子网络302-1和第二子网络302-2。
举例而言，可以在第一子网络302-1中训练包含猫的图片的数据集，在此情况下，可以在第二子网络302-2中训练包含鸟类图片的数据集，反之亦然。通过并行地对相似数据集进行训练，最终可以同时训练出两个不同的模型。
如图3所示，最后一级c5级302处可以对应于符号表示N/2×C”×H”×W”(即张量(tensor)大小，其具有四个维度N、C、H、W，一张图片可以是一个张量)，其中“N/2”表明最后一级c5级302按照批维度被划分成两部分。如本领域技术人员所理解的，上述符号表示中的“N”代表批大小(batch size)，即每次输入至神经网络的图片数据量，例如256张；“C”代表神经网络的通道数，例如3；以及“H”和“W”代表图片的高和宽，例如224×224。如上所述，本公开的实施例按照批维度划分最后一级c5级302，因此相应地符号表示对应于“N/2”而非“C/2”。假设将256张图片输入至神经网络，其中包含猫的图片128张，包含鸟类图片128张，则在最后一级c5级302处这两类图片被分开，分别进入对应的第一子网络302-1和第二子网络302-2中。
由于上述符号表示中的C、H、W这三个维度在神经网络的不同位置、例如在不同的级处是不同的，因此如图3所示，在训练数据被输入处对应于N×C×H×W，在c1至c4级301对应于N×C’×H’×W’，而在最后一级c5级302处对应于N/2×C”×H”×W”，由此表示最后一级c5级302按照批维度被划分成两部分。
可选地，最后一级c5级302上的训练可以用于对在c1至c4级301上所学习的基础特征进行加工，以便于最终的特征提取。如前所述，由于对特征进行加工可能导致数据量翻倍，在最后一级c5级302上对特征进行加工能够确保仅在最后一级上会出现数据量翻倍，由此能够确保模型大小不会增加太多。
在最后一级c5级302的第一子网络302-1和第二子网络302-2中并行地训练所述猫的数据集和鸟类的数据集之后，可以分别映射各个数据集的特征以进行特征提取。可选地，如图3所示，主干网络还可以包括用于映射特征的两个子嵌入层，即，第一嵌入层303-1和第二嵌入层303-2。通过针对并行训练的数据集各自映射特征，并且针对每个子网络设置相应的嵌入层，能够便于最终并行地训练出多个模型。
最后，如图3所示，从第一嵌入层303-1获得针对猫的模型，且从第二嵌入层303-2获得针对鸟类的模型。得益于本发明所提出的神经网络训练方法，最终能够并行地训练出多个模型，提高了神经网络提取特征的能力。
根据本公开的另一方面，还提供了一种利用神经网络对图片数据进行处理的方法，包括：获取待处理的图片数据；以及使用通过上述神经网络训练方法训练所获得的所述神经网络对所述图片数据进行处理。
根据本公开的另一方面，还提供了一种神经网络训练装置。图4是示出根据示例性实施例的神经网络训练装置400的框图。如图4所示，神经网络训练装置400可以包括：
数据输入模块401，被配置为将训练数据输入至所述神经网络的主干网络，其中，所述训练数据被划分为具有相同的数据量的多个数据部分，并且所述多个数据部分中的每个数据部分所包括的数据集彼此不同，其中，所述训练数据包括图片，并且，所述每个数据部分所包括的数据集包括的图片在特征上相似；以及
数据训练模块402，被配置为在所述主干网络的最后一级并行地训练所述多个数据部分，其中，所述最后一级按照批维度划分成多个子网络，所述多个子网络的数量与所述多个数据部分的数量相同，并且在每个子网络中训练所述多个数据部分中的相应数据部分。
神经网络训练装置400的上述模块401和402的操作可以分别与前面结合图1描述的步骤S101和S102以及结合图2描述的步骤S202和S204的操作对应，在此不再赘述。
可选地，神经网络训练装置400还可以包括数据预处理模块403，被配置为：在将所述训练数据输入至所述主干网络之前，对所述数据进行预处理。上述模块403的操作可以与前面结合图2描述的步骤S201的操作对应。
可选地，数据训练模块402还可以包括：基础特征学习模块4021，被配置为在所述主干网络的位于所述最后一级之前的级上学习所述图片的基础特征。上述模块4021的操作可以与前面结合图2描述的步骤S203的操作对应。
进一步可选地，数据训练模块402还可以包括：基础特征加工模块4022，被配置用于所述最后一级的训练以对学习的所述基础特征进行重组以加工所述基础特征。上述模块4022的操作可以与前面结合图2描述的步骤S204的可选实施方式的操作对应。
可选地，神经网络训练装置400还可以包括数据映射模块404，被配置为：在所述主干网络的最后一级并行地训练所述多个数据部分之后，映射所述多个数据部分中的相应数据部分的特征以进行特征提取。上述模块404的操作可以与前面结合图2描述的步骤S205的操作对应。
根据本公开的另一方面，还提供了一种计算机设备，包括：存储器、处理器以及存储在所述存储器上的计算机程序，其中，所述处理器被配置为执行所述计算机程序以实现上述神经网络训练方法的步骤。
图5是示出能够应用于示例性实施例的计算机设备的结构框图。如图5所示，现将描述计算机设备5000，其是可以应用于本公开的各方面的硬件设备的示例。计算机设备5000可以是被配置为执行处理和/或计算的任何机器，可以是但不限于工作站、服务器、台式计算机、膝上型计算机、平板计算机、个人数字助理、机器人、智能电话、车载计算机或其任何组合。上述神经网络训练方法可以全部或至少部分地由计算机设备5000或类似设备或系统实现。
计算机设备5000可以包括(可能经由一个或多个接口)与总线5002连接或与总线5002通信的元件。例如，计算机设备5000可以包括总线5002、一个或多个处理器5004、一个或多个输入设备5006以及一个或多个输出设备5008。一个或多个处理器5004可以是任何类型的处理器，并且可以包括但不限于一个或多个通用处理器和/或一个或多个专用处理器(例如特殊处理芯片)。输入设备5006可以是能向计算机设备5000输入信息的任何类型的设备，并且可以包括但不限于鼠标、键盘、触摸屏、麦克风和/或遥控器。输出设备5008可以是能呈现信息的任何类型的设备，并且可以包括但不限于显示器、扬声器、视频/音频输出终端、振动器和/或打印机。计算机设备5000还可以包括非暂时性存储设备5010或者与非暂时性存储设备5010连接，非暂时性存储设备可以是非暂时性的并且可以实现数据存储的任何存储设备，并且可以包括但不限于磁盘驱动器、光学存储设备、固态存储器、软盘、柔性盘、硬盘、磁带或任何其他磁介质，光盘或任何其他光学介质、ROM(只读存储器)、RAM(随机存取存储器)、高速缓冲存储器和/或任何其他存储器芯片或盒、和/或计算机可从其读取数据、指令和/或代码的任何其他介质。非暂时性存储设备5010可以从接口拆卸。非暂时性存储设备5010可以具有用于实现上述方法和步骤的数据/程序(包括指令)/代码。计算机设备5000还可以包括通信设备5012。通信设备5012可以是使得能够与外部设备和/或与网络通信的任何类型的设备或系统，并且可以包括但不限于调制解调器、网卡、红外通信设备、无线通信设备和/或芯片组，例如蓝牙TM设备、1302.11设备、WiFi设备、WiMax设备、蜂窝通信设备和/或类似物。
计算机设备5000还可以包括工作存储器5014，其可以是可以存储对处理器5004的工作有用的程序(包括指令)和/或数据的任何类型的工作存储器，并且可以包括但不限于随机存取存储器和/或只读存储器设备。
软件要素(程序)可以位于工作存储器5014中，包括但不限于操作系统5016、一个或多个应用程序5018、驱动程序和/或其他数据和代码。用于执行上述方法和步骤的指令可以被包括在一个或多个应用程序5018中，并且上述神经网络训练方法可以通过由处理器5004读取和执行一个或多个应用程序5018的指令来实现。更具体地，上述神经网络训练方法中，步骤S101～S102或步骤S201～S205可以例如通过处理器5004执行具有步骤S101～S102或步骤S201～S205的指令的应用程序5018而实现。此外，上述神经网络训练方法中的其它步骤可以例如通过处理器5004执行具有执行相应步骤中的指令的应用程序5018而实现。软件要素(程序)的指令的可执行代码或源代码可以存储在非暂时性计算机可读存储介质(例如上述存储设备5010)中，并且在执行时可以被存入工作存储器5014中(可能被编译和/或安装)。软件要素(程序)的指令的可执行代码或源代码也可以从远程位置下载。
还应该理解，可以根据具体要求而进行各种变型。例如，也可以使用定制硬件，和/或可以用硬件、软件、固件、中间件、微代码，硬件描述语言或其任何组合来实现特定元件。例如，所公开的方法和设备中的一些或全部可以通过使用根据本公开的逻辑和算法，用汇编语言或硬件编程语言(诸如VERILOG，VHDL，C++)对硬件(例如，包括现场可编程门阵列(FPGA)和/或可编程逻辑阵列(PLA)的可编程逻辑电路)进行编程来实现。
还应该理解，前述方法可以通过服务器-客户端模式来实现。例如，客户端可以接收用户输入的数据并将所述数据发送到服务器。客户端也可以接收用户输入的数据，进行前述方法中的一部分处理，并将处理所得到的数据发送到服务器。服务器可以接收来自客户端的数据，并且执行前述方法或前述方法中的另一部分，并将执行结果返回给客户端。客户端可以从服务器接收到方法的执行结果，并例如可以通过输出设备呈现给用户。
还应该理解，计算机设备5000的组件可以分布在网络上。例如，可以使用一个处理器执行一些处理，而同时可以由远离该一个处理器的另一个处理器执行其他处理。计算系统5000的其他组件也可以类似地分布。这样，计算机设备5000可以被解释为在多个位置执行处理的分布式计算系统。
根据本公开的另一方面，还提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现上述神经网络训练方法的步骤。
根据本公开的另一方面，还提供了一种计算机程序产品，包括计算机程序，其中，所述计算机程序被处理器执行时实现上述神经网络训练方法的步骤。
虽然已经参照附图描述了本公开的实施例或示例，但应理解，上述的方法、系统和设备仅仅是示例性的实施例或示例，本发明的范围并不由这些实施例或示例限制，而是仅由授权后的权利要求书及其等同范围来限定。实施例或示例中的各种要素可以被省略或者可由其等同要素替代。此外，可以通过不同于本公开中描述的次序来执行各步骤。进一步地，可以以各种方式组合实施例或示例中的各种要素。重要的是随着技术的演进，在此描述的很多要素可以由本公开之后出现的等同要素进行替换。
Claims (11)
1.一种神经网络训练方法，包括：
将训练数据输入至所述神经网络的主干网络，其中，所述训练数据被划分为具有相同数据量的多个数据部分，并且所述多个数据部分中的每个数据部分所包括的数据集彼此不同，其中，所述训练数据包括图片，并且，所述每个数据部分所包括的数据集包括的图片在特征上相似；以及
在所述主干网络的最后一级并行地利用所述多个数据部分进行训练，其中，所述最后一级按照批维度划分成多个子网络，所述多个子网络的数量与所述多个数据部分的数量相同，并且在每个子网络中利用所述多个数据部分中的相应数据部分进行训练；
映射所述多个数据部分中的相应数据部分的特征以进行特征提取，其中，所述主干网络还包括用于映射所述特征的嵌入层，并且所述嵌入层包括与所述多个子网络对应的多个子嵌入层，所述嵌入层是所述神经网络中被配置用于映射数据集的特征的层。
2.如权利要求1所述的神经网络训练方法，其中，所述方法还包括：
在将所述训练数据输入至所述主干网络之前，对所述数据进行预处理。
3.如权利要求1或2所述的神经网络训练方法，其中，所述方法还包括：
在所述主干网络的位于所述最后一级之前的级上学习所述图片的基础特征。
4.如权利要求3所述的神经网络训练方法，其中，所述最后一级的训练被配置用于对学习的所述基础特征进行重组以加工所述基础特征。
5. 一种利用神经网络对图片数据进行处理的方法，包括：
获取待处理的图片数据；以及
使用通过如权利要求1-4中任一项所述的神经网络训练方法训练所获得的所述神经网络对所述图片数据进行处理。
6. 一种神经网络训练装置，包括：
数据输入模块，被配置为将训练数据输入至所述神经网络的主干网络，其中，所述训练数据被划分为具有相同的数据量的多个数据部分，并且所述多个数据部分中的每个数据部分所包括的数据集彼此不同，其中，所述训练数据包括图片，并且，所述每个数据部分所包括的数据集包括的图片在特征上相似；以及
数据训练模块，被配置为在所述主干网络的最后一级并行地利用所述多个数据部分进行训练，其中，所述最后一级按照批维度划分成多个子网络，所述多个子网络的数量与所述多个数据部分的数量相同，并且在每个子网络中利用所述多个数据部分中的相应数据部分进行训练；
数据映射模块，被配置为：在所述主干网络的最后一级并行地训练所述多个数据部分之后，映射所述多个数据部分中的相应数据部分的特征以进行特征提取，其中，所述主干网络还包括用于映射所述特征的嵌入层，并且所述嵌入层包括与所述多个子网络对应的多个子嵌入层，所述嵌入层是所述神经网络中被配置用于映射数据集的特征的层。
7.如权利要求6所述的神经网络训练装置，其中，还包括：
数据预处理模块，被配置为：在将所述训练数据输入至所述主干网络之前，对所述数据进行预处理。
8.如权利要求6或7所述的神经网络训练装置，其中，所述数据训练模块包括：
基础特征学习模块，被配置为在所述主干网络的位于所述最后一级之前的级上学习所述图片的基础特征。
9.如权利要求8所述的神经网络训练装置，其中，所述数据训练模块还包括：
基础特征加工模块，被配置用于所述最后一级的训练以对学习的所述基础特征进行重组以加工所述基础特征。
10.一种计算机设备，包括：
存储器、处理器以及存储在所述存储器上的计算机程序，
其中，所述处理器被配置为执行所述计算机程序以实现权利要求1-5中任一项所述的方法的步骤。
11.一种非暂态计算机可读存储介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现权利要求1-5中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011501853.5A CN112561062B (zh) | 2020-12-18 | 2020-12-18 | 神经网络训练方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011501853.5A CN112561062B (zh) | 2020-12-18 | 2020-12-18 | 神经网络训练方法、装置、计算机设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112561062A CN112561062A (zh) | 2021-03-26 |
| CN112561062B true CN112561062B (zh) | 2023-10-31 |
Family
ID=75063402
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011501853.5A Active CN112561062B (zh) | 2020-12-18 | 2020-12-18 | 神经网络训练方法、装置、计算机设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112561062B (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110751285A (zh) * | 2018-07-23 | 2020-02-04 | 第四范式（北京）技术有限公司 | 神经网络模型的训练方法和系统以及预测方法和系统 |
| CN110795228A (zh) * | 2018-08-03 | 2020-02-14 | 伊姆西Ip控股有限责任公司 | 使用加速器混合集的分布式深度学习的自适应批量数据集划分 |
| CN111898547A (zh) * | 2020-07-31 | 2020-11-06 | 平安科技（深圳）有限公司 | 人脸识别模型的训练方法、装置、设备及存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10817509B2 (en) * | 2017-03-16 | 2020-10-27 | Massachusetts Institute Of Technology | System and method for semantic mapping of natural language input to database entries via convolutional neural networks |
-
2020
- 2020-12-18 CN CN202011501853.5A patent/CN112561062B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110751285A (zh) * | 2018-07-23 | 2020-02-04 | 第四范式（北京）技术有限公司 | 神经网络模型的训练方法和系统以及预测方法和系统 |
| CN110795228A (zh) * | 2018-08-03 | 2020-02-14 | 伊姆西Ip控股有限责任公司 | 使用加速器混合集的分布式深度学习的自适应批量数据集划分 |
| CN111898547A (zh) * | 2020-07-31 | 2020-11-06 | 平安科技（深圳）有限公司 | 人脸识别模型的训练方法、装置、设备及存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| An modified gradient training algorithm of process neural network;Yang F.等;2011 International Conference on Electric Information and Control Engineering;全文 * |
| 基于对抗训练的文本表示和分类算法;张晓辉;于双元;王全新;徐保民;;计算机科学(第S1期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112561062A (zh) | 2021-03-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10803347B2 (en) | Image transformation with a hybrid autoencoder and generative adversarial network machine learning architecture | |
| CN111062495B (zh) | 机器学习方法及相关装置 | |
| CN112232425B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| US20240152754A1 (en) | Aggregated embeddings for a corpus graph | |
| US11463333B2 (en) | Distributed assignment of video analytics tasks in cloud computing environments to reduce bandwidth utilization | |
| US11151361B2 (en) | Dynamic emotion recognition in unconstrained scenarios | |
| US20210103716A1 (en) | Apparatus and method for image analysis using virtual three-dimensional deep neural network | |
| EP3989109A1 (en) | Image identification method and device, identification model training method and device, and storage medium | |
| CN109284749A (zh) | 精细化图像识别 | |
| US11983903B2 (en) | Processing images using self-attention based neural networks | |
| CN114155543A (zh) | 神经网络训练方法、文档图像理解方法、装置和设备 | |
| JP6961640B2 (ja) | データ処理のシステムおよび方法 | |
| EP3620982B1 (en) | Sample processing method and device | |
| CN102930580A (zh) | 数据帧动画 | |
| CN111311599B (zh) | 图像处理方法、装置、电子设备和存储介质 | |
| US20210118093A1 (en) | Computing apparatus and operation method of the same | |
| Nakhle et al. | Ready, Steady, Go AI: A practical tutorial on fundamentals of artificial intelligence and its applications in phenomics image analysis | |
| WO2021232958A1 (zh) | 执行操作的方法、电子设备、装置及存储介质 | |
| US11494321B1 (en) | State buffer memloc reshaping | |
| US20200167655A1 (en) | Method and apparatus for re-configuring neural network | |
| US20210279589A1 (en) | Electronic device and control method thereof | |
| US9311523B1 (en) | Method and apparatus for supporting object recognition | |
| US11495020B2 (en) | Systems and methods for stream recognition | |
| CN112561062B (zh) | 神经网络训练方法、装置、计算机设备及存储介质 | |
| CN114463336A (zh) | 一种用于图像及其像素级分割标注数据的裁剪方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |