CN108875779A - 神经网络的训练方法、装置及终端设备 - Google Patents

神经网络的训练方法、装置及终端设备 Download PDF

Info

Publication number
CN108875779A
CN108875779A CN201810424567.XA CN201810424567A CN108875779A CN 108875779 A CN108875779 A CN 108875779A CN 201810424567 A CN201810424567 A CN 201810424567A CN 108875779 A CN108875779 A CN 108875779A
Authority
CN
China
Prior art keywords
sample image
neural network
value
neuron parameter
class probability
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810424567.XA
Other languages
English (en)
Inventor
李超
陈龙森
罗丕福
车栓龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Hengxin Data Ltd By Share Ltd
Guangzhou Kingmed Diagnostics Central Co Ltd
Original Assignee
Shenzhen Hengxin Data Ltd By Share Ltd
Guangzhou Kingmed Diagnostics Central Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Hengxin Data Ltd By Share Ltd, Guangzhou Kingmed Diagnostics Central Co Ltd filed Critical Shenzhen Hengxin Data Ltd By Share Ltd
Priority to CN201810424567.XA priority Critical patent/CN108875779A/zh
Publication of CN108875779A publication Critical patent/CN108875779A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明适用于计算机技术领域，提供了神经网络的训练方法、装置及终端设备，所述方法包括：本发明获取神经网络的神经元参数；将预设数量的样本图像输入神经网络，计算各个样本图像的分类概率值，样本图像为包含分类标签值的样本图像；根据神经元参数及各个样本图像的分类概率值，计算分类损失值；根据分类损失值，对神经网络的神经元参数进行调整。本发明实施例利用损失函数计算样本图像的分类损失值，从而实现对神经元参数的调整，得到最佳模型参数，提高了神经网络的识别精度。

Description

神经网络的训练方法、装置及终端设备
技术领域
本发明属于计算机技术领域，尤其涉及一种神经网络的训练方法、装置及终端设备。
背景技术
随着计算机视觉技术的不断更新发展，目标检测技术在智能交通、图像检索、人脸识别等多个领域有着重要的地位。近年来，深度学习作为一个更高效的工具帮助我们在目标检测领域进行研究和发现。目前，深度学习在目标检测领域极大超越了传统视觉算法，深度学习在大数据下能够自主学习得到有效的特征，学习到的特征在数量和性能上远远超出了通过手工设计的算法特征。
卷积神经网络(CNN)是一种具有代表性的深度学习方法，近年来广泛应用在模式识别、图像处理等领域，卷积神经网络虽然有着超越传统视觉算法的性能优势，但是其缺点也是显而易见。卷积神经网络模型通常包含了大量的参数，需要对卷积神经网络模型进行训练得到合适的参数。目前神经网络训练方法的计算量较大，且无法得到最佳的模型参数，导致神经网络的计算准确率低，计算效率低。
发明内容
有鉴于此，本发明实施例提供了一种神经网络的训练方法、装置及终端设备，以解决现有技术中神经网络训练方法无法得到最佳的模型参数的问题。
本发明实施例的第一方面提供了一种神经网络的训练方法，包括：
获取神经网络的神经元参数；
将预设数量的样本图像输入神经网络，计算各个样本图像的分类概率值，样本图像为包含分类标签值的样本图像；
根据神经元参数及各个样本图像的分类概率值，计算分类损失值；
根据分类损失值，对神经网络的神经元参数进行调整。
本发明实施例的第二方面提供了一种神经网络的训练装置，包括：
神经元参数获取模块，用于获取神经网络的神经元参数；
分类概率值获取模块，用于将预设数量的样本图像输入神经网络，计算各个样本图像的分类概率值，样本图像为包含分类标签值的样本图像；
分类损失值计算模块，用于根据神经元参数及各个样本图像的分类概率值，计算分类损失值；
参数调整模块，用于根据分类损失值，对神经网络的神经元参数进行调整。
本发明实施例的第三方面提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述神经网络的训练方法的步骤。
本发明实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上所述神经网络的训练方法的步骤。
本发明实施例与现有技术相比存在的有益效果是：本发明实施例获取神经网络的神经元参数；将预设数量的样本图像输入神经网络，计算各个样本图像的分类概率值，样本图像为包含分类标签值的样本图像；根据神经元参数及各个样本图像的分类概率值，计算分类损失值；根据分类损失值，对神经网络的神经元参数进行调整。本发明实施例利用损失函数计算样本图像的分类损失值，从而实现对神经元参数的调整，得到最佳模型参数，提高了神经网络的识别精度。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的神经网络的训练方法的实现流程示意图；
图2是本发明实施例提供的图1中S102的实现流程示意图；
图3是本发明实施例提供的图1中S103的实现流程示意图；
图4是本发明实施例提供的神经网络的训练装置的结构示例图；
图5是本发明实施例提供的图4中分类概率值获取模块的结构示意图；
图6是本发明实施例提供的图4中分类损失值计算模块的结构示意图；
图7是本发明实施例提供的终端设备的示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。
本发明的说明书和权利要求书及上述附图中的术语“包括”以及它们任何变形，意图在于覆盖不排他的包含。例如包含一系列步骤或单元的过程、方法或系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。此外，术语“第一”、“第二”和“第三”等是用于区别不同对象，而非用于描述特定顺序。
为了说明本发明的技术方案，下面通过具体实施例来进行说明。
实施例1：
图1示出了本发明的一个实施例提供的一种神经网络的训练方法的实现流程，本实施例的流程执行主体可以是终端设备，其过程详述如下：
在S101中，获取神经网络的神经元参数。
在本实施例中，首先可以获取神经网络各层的初始的神经元参数，神经网络的每层网络都包括多个神经元参数。
在本实施例中，神经网络可以为卷积神经网络，卷积神经网络的模型具体可以是AlexNet模型、CIFAR10模型、GoogleNet模型以及ResNet模型。
在本实施例中，以一个的五层的CIFAR-10的人工卷积神经网络为例，神经网络的前两层为卷积层，第三、四层是全连接层，第五层为softmax linear层，卷积层和全连接层均采用Relu(Rectified Linear Units)作为激活函数。
首先获取五层神经网络的每层的神经元参数，神经元参数用于神经网络的识别，精确的神经元参数能够使输入神经网络的待测图像的识别效果更好，分类更加精确。初始的神经元参数的设置可以服从正态分布，也可以为随机方式，在此不做限定。
在S102中，将预设数量的样本图像输入神经网络，计算各个样本图像的分类概率值，样本图像为包含分类标签值的样本图像。
在本实施例中，样本图像为已经分类好的包含有分类标签值的样本图像，样本图像包括阳性样本和阴性样本，每一批输入神经网络的样本图像的阳性样本和阴性样本以平均分布为最好，样本图像的预设数量范围选为32～512，一次训练的样本图像的数量最少为32个，最多为512个。样本图像通过神经网络的计算，得到其对应的分类概率值，分类概率值为样本图像在某一类别中出现的概率。
在S103中，根据神经元参数及各个样本图像的分类概率值，计算分类损失值。
在本实施例中，根据神经元参数获取样本图像的图像特征，并根据样本图像的图像特征得到分类概率值，最后根据损失函数，计算样本图像的分类损失值。
在S104中，根据分类损失值，对神经网络的神经元参数进行调整。
在本实施例中，通过不断的输入样本图像到神经网络，调整神经元参数，当得到的样本图像的分类损失值小于预设阈值时，获得最优的神经元参数，从而提高神经网络的识别精度，使神经网络的识别效果达到最佳。
从上述实施例可知，本发明实施例获取神经网络的神经元参数；将预设数量的样本图像输入神经网络，计算各个样本图像的分类概率值，样本图像为包含分类标签值的样本图像；根据神经元参数及各个样本图像的分类概率值，计算分类损失值；根据分类损失值，对神经网络的神经元参数进行调整。本实施例通过调整神经元参数得到最佳模型参数，提高了神经网络的识别精度。
如图2所示，在本发明的一个实施例中，图2示出了图1中S102的具体实现流程，详述如下：
在S201中，获取各个样本图像的像素值矩阵。
在本实施例中，首先需要获取样本图像的像素值矩阵，像素值矩阵为以样本图像的像素点位置排列，以样本图像的像素点的数值为元素的矩阵。
在S202中，根据神经网络的神经元参数，对各个样本图像的像素值矩阵进行计算，得到各个样本图像的分类概率值。
在本实施例中，神经网络的每层网络均包括多个神经元参数。以上述五层神经网络为例，在神经网络的第一层，通过第一层网络的神经元参数及样本图像的像素值矩阵，得到第一层网络的样本图像特征矩阵；然后将第一层网络的特征矩阵输入第二层网络，根据第二层网络的神经元参数和第一层网络的样本图像特征矩阵，计算得到第二层网络的样本图像特征矩阵；以此类推，最终得到第五层网络的样本图像的图像特征，并根据各个样本图像的图像特征得到各个样本图像的分类概率值。
在本实施例中，通过各层神经网络的神经元参数，得到样本图像的图像特征，提高了样本图像的特征提取的准确性，进一步使样本图像分类概率值更加精确。
如图3所示，在本发明的一个实施例中，图3示出了图1中S103的具体实现流程，详述如下：
在S301中，对神经网络的各层网络的神经元参数进行正则化，得到各层网络的正则化数值。
在本实施例中，将每一层神经网络的多个神经元参数分别进行正则化，得到各层神经网络的正则化数值，正则化方法可以采用L2正则化方法。
在S302中，根据各个样本图像的分类概率值及分类标签值，计算各个样本图像的交叉熵损失。
在S303中，根据正则化数值和各个样本图像的交叉熵损失，计算分类损失值。
在本实施例中，根据神经网络各层的正则化数值和各个样本图像的交叉熵损失，以及预设损失函数，得到分类损失值。
在本发明的一个实施例中，图3中S303的实现流程详述如下：
在S401中，根据预设损失函数、正则化数值和各个样本图像的交叉熵损失，计算各个样本图像的第一损失值。
在S402中，将各个样本图像的第一损失值求平均，得到分类损失值。
在本发明的一个实施例中，上述预设损失函数为：
其中，Losstotal表示第一损失值，Lsoftmax表示交叉熵损失，ki表示第i层网络的权重系数，Li表示第i层网络的正则化数值，n表示神经网络的总层数。
在本实施例中，以上述五层卷积神经网络为例，权重系数可以设为0.004，则第一损失值的计算过程为：
其中，Losstotal表示交叉熵损失，L2conv1表示第一层卷积层的正则化数值，L2conv2表示第二层卷积层的正则化数值，L2fc1表示第三层全连接层的正则化数值，L2fc2表示第四层全连接层的正则化数值，L2softmaxlinear表示第五层的正则化数值。则Losstotal为单个样本图像的第一损失值。
在本实施例中，将每一张样本图像的第一损失值加和求平均，得到样本图像的平均值，作为样本图像的分类损失值。
在本实施例中，权重系数的取值范围可以为0～0.1之间的任意实数，通过为每层神经网络的正则化数值分配一个权重系数，加入到损失函数的计算式中，从而减少神经网络的神经元参数训练的迭代次数，降低假阳性率。
在本发明的一个实施例中，图1中S104的实现流程详述如下：
S501：根据分类损失值，采用随机梯度下降方法对神经网络的神经元参数进行调整。
在本实施例中，根据分类损失值和随机梯度下降方法，计算网络反向梯度的大小，再根据网络反向梯度的大小依次对各层网络的神经元参数进行调整。
在本实施例中，训练神经网络时的初始学习率可以设置为0.01～0.2，并以指数衰减的方式衰减初始学习率，衰减系数的取值范围可以为0.01～0.25，并且每训练m张样本图像则衰减一次初始学习率，其中m的取值公式为：
m＝x*n
其中，x为训练一次样本图像的数量，n为调节系数，调节系数的取值为1～400。
在本实施例中，通过训练将样本图像的分类损失值降低到预设阈值以下，从而得到更为精确的神经网络各层的神经元参数，提高神经网络的识别精度。
从上述实施例可知，本发明实施例通过设计具备多个隐含层的人工卷积神经网络，并输入大量精确标注的样本图片给网络进行学习和训练，可以得到一个识别性能很强的人工卷积神经网络，该人工卷积神经网络可以超过普通人的识别水平；神经网络的性能提升与样本图像的数量及训练方式有很大关系，因此通过持续改善样本图像的质量和训练方法，可以快速地提高识别的精度；人工卷积神经网络的升级方式本质为更换一套新的网络模型参数，过程非常简单、方便和迅速。
以一个具体的应用场景为例，在训练好神经网络之后，可以应用本发明实施例提供的神经网络对数字图像中的幽门螺杆菌进行分类识别，在识别精度和速度上远胜过其它图像识别算法。本发明实施例提供的神经网络对于数字图像目标的色彩差异、明暗程度、位置偏移、形态差异性具有更好地适应性，因此本发明实施例在对幽门螺杆菌等细菌的识别上具有更好的泛化效果。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
实施例2：
如图4所示，本发明的一个实施例提供的神经网络的训练装置100，用于执行图1所对应的实施例中的方法步骤，其包括：
神经元参数获取模块110，用于获取神经网络的神经元参数。
分类概率值获取模块120，用于将预设数量的样本图像输入神经网络，计算各个样本图像的分类概率值，样本图像为包含分类标签值的样本图像。
分类损失值计算模块130，用于根据神经元参数及各个样本图像的分类概率值，计算分类损失值。
参数调整模块140，用于根据分类损失值，对神经网络的神经元参数进行调整。
从上述实施例可知，本发明实施例获取神经网络的神经元参数；将预设数量的样本图像输入神经网络，计算各个样本图像的分类概率值，样本图像为包含分类标签值的样本图像；根据神经元参数及各个样本图像的分类概率值，计算分类损失值；根据分类损失值，对神经网络的神经元参数进行调整。本实施例通过调整神经元参数得到最佳模型参数，提高了神经网络的识别精度。
如图5所示，在本发明的一个实施例中，图4所对应的实施例中的分类概率值获取模块120还包括用于执行图2所对应的实施例中的方法步骤的结构，其包括：
像素值矩阵获取单元121，用于获取各个样本图像的像素值矩阵。
分类概率值获取单元122，用于根据神经网络的神经元参数，对各个样本图像的像素值矩阵进行计算，得到各个样本图像的分类概率值。
通过各层神经网络的神经元参数，得到样本图像的图像特征，提高了样本图像特征提取的准确性，使进一步得到的样本图像分类概率值更加精确。
如图6所示，在本发明的一个实施例中，图4所对应的实施例中的分类损失值计算模块130还包括用于执行图3所对应的实施例中的方法步骤的结构，其包括：
正则化数值获取单元131，用于对神经网络的各层网络的神经元参数进行正则化，得到各层网络的正则化数值。
交叉熵损失获取单元132，用于根据各个样本图像的分类概率值及分类标签值，计算各个样本图像的交叉熵损失。
分类损失值获取单元133，用于根据正则化数值和各个样本图像的交叉熵损失，计算分类损失值。
在本发明的一个实施例中，图6所对应的实施例中的分类损失值获取单元133还包括：
第一损失值子单元，用于根据预设损失函数、正则化数值和各个样本图像的交叉熵损失，计算各个样本图像的第一损失值。
分类损失值计算子单元，用于将各个样本图像的第一损失值求平均，得到分类损失值。
在本实施例中，通过为每层神经网络的正则化数值分配一个权重系数，加入到预设损失函数的计算式中，从而减少神经网络的神经元参数训练的迭代次数，降低假阳性率。
在本发明的一个实施例中，参数调整模块140包括：
参数调整子单元，用于根据分类损失值，采用随机梯度下降方法对神经网络的神经元参数进行调整。
在本实施例中，通过训练将样本图像的分类损失值降低到预设阈值以下，从而得到更为精确的神经网络各层的神经元参数，提高神经网络的识别精度。
在一个实施例中，神经网络的训练装置100还包括其他功能模块/单元，用于实现实施例1中各实施例中的方法步骤。
实施例3：
如图7所示，本发明实施例还提供了一种终端设备7，包括存储器71、处理器70以及存储在存储器71中并可在处理器70上运行的计算机程序，处理器70执行所述计算机程序72时实现如实施例1中所述的各实施例中的步骤，例如图1所示的步骤S101至步骤S104。或者，所述处理器70执行所述计算机程序72时实现如实施例2中所述的各装置实施例中的各模块的功能，例如图4所示的模块110至140的功能。
所述终端设备7可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端设备7可包括，但不仅限于，处理器70、存储器71。例如所述终端设备7还可以包括输入输出设备、网络接入设备、总线等。
所称处理器70可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器70也可以是任何常规的处理器70等。
所述存储器71可以是所述终端设备7的内部存储单元，例如终端设备7的硬盘或内存。所述存储器71也可以是所述终端设备7的外部存储设备，例如所述终端设备7上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器71还可以既包括终端设备7的内部存储单元也包括外部存储设备。所述存储器71用于存储所述计算机程序72以及所述终端设备7所需的其他程序和数据。所述存储器71还可以用于暂时地存储已经输出或者将要输出的数据。
实施例4：
本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序72，计算机程序72被处理器70执行时实现如实施例1中所述的各实施例中的步骤，例如图1所示的步骤S101至步骤S104。或者，所述计算机程序72被处理器70执行时实现如实施例2中所述的各装置实施例中的各模块的功能，例如图4所示的模块110至140的功能。
所述的计算机程序72可存储于一计算机可读存储介质中，该计算机程序72在被处理器70执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序72包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括是电载波信号和电信信号。
本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。
本发明实施例系统中的模块或单元可以根据实际需要进行合并、划分和删减。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种神经网络的训练方法，其特征在于，包括：
获取神经网络的神经元参数；
将预设数量的样本图像输入所述神经网络，计算各个样本图像的分类概率值，所述样本图像为包含分类标签值的样本图像；
根据所述神经元参数及各个样本图像的分类概率值，计算分类损失值；
根据所述分类损失值，对所述神经网络的神经元参数进行调整。
2.如权利要求1所述的神经网络的训练方法，其特征在于，所述将预设数量的样本图像输入所述神经网络，计算各个样本图像的分类概率值，包括：
获取各个样本图像的像素值矩阵；
根据所述神经网络的神经元参数，对各个样本图像的像素值矩阵进行计算，得到各个样本图像的分类概率值。
3.如权利要求1所述的神经网络的训练方法，其特征在于，根据所述神经元参数及各个样本图像的分类概率值，计算分类损失值，包括：
对所述神经网络的各层网络的神经元参数进行正则化，得到各层网络的正则化数值；
根据各个样本图像的分类概率值及分类标签值，计算各个样本图像的交叉熵损失；
根据所述正则化数值和各个样本图像的交叉熵损失，计算所述分类损失值。
4.如权利要求3所述的神经网络的训练方法，其特征在于，所述根据所述正则化数值和各个样本图像的交叉熵损失，计算所述分类损失值，包括：
根据预设损失函数、正则化数值和各个样本图像的交叉熵损失，计算各个样本图像的第一损失值；
将各个样本图像的第一损失值求平均，得到所述分类损失值。
5.如权利要求4所述的神经网络的训练方法，其特征在于，所述预设损失函数为：
其中，所述Losstotal表示第一损失值，所述Lsoftmax表示交叉熵损失，所述ki表示第i层网络的权重系数，所述Li表示第i层网络神经元参数的正则化数值，所述n表示神经网络的总层数。
6.如权利要求1所述的神经网络的训练方法，其特征在于，所述根据所述分类损失值，对所述神经网络的神经元参数进行调整，包括：
根据所述分类损失值，采用随机梯度下降方法对所述神经网络的神经元参数进行调整。
7.一种神经网络的训练装置，其特征在于，包括：
神经元参数获取模块，用于获取神经网络的神经元参数；
分类概率值获取模块，用于将预设数量的样本图像输入所述神经网络，计算各个样本图像的分类概率值，所述样本图像为包含分类标签值的样本图像；
分类损失值计算模块，用于根据所述神经元参数及各个样本图像的分类概率值，计算分类损失值；
参数调整模块，用于根据所述分类损失值，对所述神经网络的神经元参数进行调整。
8.如权利要求1所述的一种神经网络的训练装置，其特征在于，所述分类概率值获取模块包括：
像素值矩阵获取单元，用于获取各个样本图像的像素值矩阵；
分类概率值获取单元，用于根据所述神经网络的神经元参数，对各个样本图像的像素值矩阵进行计算，得到各个样本图像的分类概率值。
9.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述方法的步骤。
CN201810424567.XA 2018-05-07 2018-05-07 神经网络的训练方法、装置及终端设备 Pending CN108875779A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810424567.XA CN108875779A (zh) 2018-05-07 2018-05-07 神经网络的训练方法、装置及终端设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810424567.XA CN108875779A (zh) 2018-05-07 2018-05-07 神经网络的训练方法、装置及终端设备

Publications (1)

Publication Number Publication Date
CN108875779A true CN108875779A (zh) 2018-11-23

Family

ID=64327096

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810424567.XA Pending CN108875779A (zh) 2018-05-07 2018-05-07 神经网络的训练方法、装置及终端设备

Country Status (1)

Country Link
CN (1) CN108875779A (zh)

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109739979A (zh) * 2018-12-11 2019-05-10 中科恒运股份有限公司 神经网络的调优方法、调优装置及终端
CN110059747A (zh) * 2019-04-18 2019-07-26 清华大学深圳研究生院 一种网络流量分类方法
CN110084293A (zh) * 2019-04-18 2019-08-02 贝壳技术有限公司 一种全明格局房屋的确定方法和装置
CN110705460A (zh) * 2019-09-29 2020-01-17 北京百度网讯科技有限公司 图像类别识别方法及装置
CN111435432A (zh) * 2019-01-15 2020-07-21 北京市商汤科技开发有限公司 网络优化方法及装置、图像处理方法及装置、存储介质
CN111488893A (zh) * 2019-01-25 2020-08-04 银河水滴科技（北京）有限公司 一种图像分类方法及装置
CN111626353A (zh) * 2020-05-26 2020-09-04 Oppo（重庆）智能科技有限公司 一种图像处理方法及终端、存储介质
CN111753895A (zh) * 2020-06-12 2020-10-09 北京小米松果电子有限公司 数据处理方法、装置及存储介质
CN111814813A (zh) * 2019-04-10 2020-10-23 北京市商汤科技开发有限公司 神经网络训练和图像分类方法与装置
CN111832342A (zh) * 2019-04-16 2020-10-27 阿里巴巴集团控股有限公司 神经网络及训练和使用方法、装置、电子设备及介质
CN111860823A (zh) * 2019-04-30 2020-10-30 北京市商汤科技开发有限公司 神经网络训练、图像处理方法及装置、设备及存储介质
CN111930980A (zh) * 2020-08-21 2020-11-13 深圳市升幂科技有限公司 图像检索模型的训练方法及图像检索方法、装置、及介质
CN111950723A (zh) * 2019-05-16 2020-11-17 武汉Tcl集团工业研究院有限公司 神经网络模型训练方法、图像处理方法、装置及终端设备
CN112348161A (zh) * 2019-08-09 2021-02-09 北京地平线机器人技术研发有限公司 神经网络的训练方法、神经网络的训练装置和电子设备
CN112381074A (zh) * 2021-01-15 2021-02-19 北京每日优鲜电子商务有限公司 图像识别方法、装置、电子设备和计算机可读介质
CN112907088A (zh) * 2021-03-03 2021-06-04 杭州诚智天扬科技有限公司 一种清分模型的参数调整方法及系统
CN113160027A (zh) * 2020-01-23 2021-07-23 华为技术有限公司 一种图像处理模型训练方法及装置
CN113330462A (zh) * 2019-01-23 2021-08-31 谷歌有限责任公司 使用软最近邻损失的神经网络训练
CN114169465A (zh) * 2021-12-22 2022-03-11 广州品唯软件有限公司 图像分类模型训练和图像分类方法、装置及相关设备
CN114612706A (zh) * 2020-12-04 2022-06-10 腾讯科技（深圳）有限公司 图像处理方法、装置、电子设备及可读存储介质
CN114842425A (zh) * 2022-07-04 2022-08-02 西安石油大学 用于石油化工工艺的异常行为识别方法及电子设备
CN114897154A (zh) * 2022-03-23 2022-08-12 阿里巴巴（中国）有限公司 数据预测方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107168945A (zh) * 2017-04-13 2017-09-15 广东工业大学 一种融合多特征的双向循环神经网络细粒度意见挖掘方法
CN107526785A (zh) * 2017-07-31 2017-12-29 广州市香港科大霍英东研究院 文本分类方法及装置
CN107560849A (zh) * 2017-08-04 2018-01-09 华北电力大学 一种多通道深度卷积神经网络的风电机组轴承故障诊断方法
CN107766876A (zh) * 2017-09-19 2018-03-06 平安科技（深圳）有限公司 驾驶模型训练方法、驾驶人识别方法、装置、设备及介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107168945A (zh) * 2017-04-13 2017-09-15 广东工业大学 一种融合多特征的双向循环神经网络细粒度意见挖掘方法
CN107526785A (zh) * 2017-07-31 2017-12-29 广州市香港科大霍英东研究院 文本分类方法及装置
CN107560849A (zh) * 2017-08-04 2018-01-09 华北电力大学 一种多通道深度卷积神经网络的风电机组轴承故障诊断方法
CN107766876A (zh) * 2017-09-19 2018-03-06 平安科技（深圳）有限公司 驾驶模型训练方法、驾驶人识别方法、装置、设备及介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
袁培森等: "基于卷积神经网络的菊花花型和品种识别", 《农业工程学报》 *

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109739979A (zh) * 2018-12-11 2019-05-10 中科恒运股份有限公司 神经网络的调优方法、调优装置及终端
CN111435432A (zh) * 2019-01-15 2020-07-21 北京市商汤科技开发有限公司 网络优化方法及装置、图像处理方法及装置、存储介质
CN111435432B (zh) * 2019-01-15 2023-05-26 北京市商汤科技开发有限公司 网络优化方法及装置、图像处理方法及装置、存储介质
CN113330462A (zh) * 2019-01-23 2021-08-31 谷歌有限责任公司 使用软最近邻损失的神经网络训练
CN111488893B (zh) * 2019-01-25 2023-05-30 银河水滴科技（北京）有限公司 一种图像分类方法及装置
CN111488893A (zh) * 2019-01-25 2020-08-04 银河水滴科技（北京）有限公司 一种图像分类方法及装置
CN111814813A (zh) * 2019-04-10 2020-10-23 北京市商汤科技开发有限公司 神经网络训练和图像分类方法与装置
CN111814813B (zh) * 2019-04-10 2024-07-19 北京市商汤科技开发有限公司 神经网络训练和图像分类方法与装置
CN111832342A (zh) * 2019-04-16 2020-10-27 阿里巴巴集团控股有限公司 神经网络及训练和使用方法、装置、电子设备及介质
CN110084293A (zh) * 2019-04-18 2019-08-02 贝壳技术有限公司 一种全明格局房屋的确定方法和装置
CN110059747A (zh) * 2019-04-18 2019-07-26 清华大学深圳研究生院 一种网络流量分类方法
CN111860823B (zh) * 2019-04-30 2024-06-11 北京市商汤科技开发有限公司 神经网络训练、图像处理方法及装置、设备及存储介质
CN111860823A (zh) * 2019-04-30 2020-10-30 北京市商汤科技开发有限公司 神经网络训练、图像处理方法及装置、设备及存储介质
CN111950723A (zh) * 2019-05-16 2020-11-17 武汉Tcl集团工业研究院有限公司 神经网络模型训练方法、图像处理方法、装置及终端设备
CN111950723B (zh) * 2019-05-16 2024-05-21 武汉Tcl集团工业研究院有限公司 神经网络模型训练方法、图像处理方法、装置及终端设备
CN112348161A (zh) * 2019-08-09 2021-02-09 北京地平线机器人技术研发有限公司 神经网络的训练方法、神经网络的训练装置和电子设备
CN112348161B (zh) * 2019-08-09 2024-08-16 北京地平线机器人技术研发有限公司 神经网络的训练方法、神经网络的训练装置和电子设备
CN110705460A (zh) * 2019-09-29 2020-01-17 北京百度网讯科技有限公司 图像类别识别方法及装置
CN113160027A (zh) * 2020-01-23 2021-07-23 华为技术有限公司 一种图像处理模型训练方法及装置
CN111626353A (zh) * 2020-05-26 2020-09-04 Oppo（重庆）智能科技有限公司 一种图像处理方法及终端、存储介质
CN111753895A (zh) * 2020-06-12 2020-10-09 北京小米松果电子有限公司 数据处理方法、装置及存储介质
CN111930980B (zh) * 2020-08-21 2023-07-07 深圳市升幂科技有限公司 图像检索模型的训练方法及图像检索方法、装置、及介质
CN111930980A (zh) * 2020-08-21 2020-11-13 深圳市升幂科技有限公司 图像检索模型的训练方法及图像检索方法、装置、及介质
CN114612706A (zh) * 2020-12-04 2022-06-10 腾讯科技（深圳）有限公司 图像处理方法、装置、电子设备及可读存储介质
CN112381074A (zh) * 2021-01-15 2021-02-19 北京每日优鲜电子商务有限公司 图像识别方法、装置、电子设备和计算机可读介质
CN112907088B (zh) * 2021-03-03 2024-03-08 杭州诚智天扬科技有限公司 一种清分模型的参数调整方法及系统
CN112907088A (zh) * 2021-03-03 2021-06-04 杭州诚智天扬科技有限公司 一种清分模型的参数调整方法及系统
CN114169465A (zh) * 2021-12-22 2022-03-11 广州品唯软件有限公司 图像分类模型训练和图像分类方法、装置及相关设备
CN114897154A (zh) * 2022-03-23 2022-08-12 阿里巴巴（中国）有限公司 数据预测方法及装置
CN114842425A (zh) * 2022-07-04 2022-08-02 西安石油大学 用于石油化工工艺的异常行为识别方法及电子设备

Similar Documents

Publication Publication Date Title
CN108875779A (zh) 神经网络的训练方法、装置及终端设备
CN106228185B (zh) 一种基于神经网络的通用图像分类识别系统及方法
CN105488528B (zh) 基于改进自适应遗传算法的神经网络图像分类方法
CN108805064A (zh) 一种基于深度学习的鱼类定位检测和识别方法及系统
CN108921206A (zh) 一种图像分类方法、装置、电子设备及存储介质
CN108805213B (zh) 计及小波熵降维的电力负荷曲线双层谱聚类方法
CN110378297A (zh) 一种基于深度学习的遥感图像目标检测方法
CN108763277A (zh) 一种数据分析方法、计算机可读存储介质及终端设备
CN110826618A (zh) 一种基于随机森林的个人信用风险评估方法
CN110097060A (zh) 一种面向树干图像的开集识别方法
CN107506350A (zh) 一种识别信息的方法和设备
CN111325181B (zh) 一种状态监测方法、装置、电子设备及存储介质
CN111582337A (zh) 基于小样本细粒度图像分析的草莓畸形状态检测方法
CN108765194A (zh) 一种有效的居民用电行为分析系统
CN107527071A (zh) 一种基于花朵授粉算法优化模糊k近邻的分类方法及装置
CN112084330A (zh) 一种基于课程规划元学习的增量关系抽取方法
CN113011091A (zh) 一种自动分组的多尺度轻量型深度卷积神经网络优化方法
CN112861666A (zh) 一种基于深度学习的鸡群计数方法及应用
CN116010615A (zh) 实体的对齐方法、装置、电子设备及计算机存储介质
CN114494344A (zh) 一种基于Transformer的鱼群摄食决策方法
CN110069647B (zh) 图像标签去噪方法、装置、设备及计算机可读存储介质
CN115829418B (zh) 适用于负荷管理的电力用户负荷特性画像构建方法和系统
CN117496269A (zh) 一种复合电能质量扰动识别方法
CN116824390A (zh) 一种山地丘陵区耕地地块提取方法及系统
CN109739840A (zh) 数据空值处理方法、装置及终端设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Li Chao

Inventor after: Che Shuanlong

Inventor after: Chen Longsen

Inventor after: Luo Pifu

Inventor before: Li Chao

Inventor before: Chen Longsen

Inventor before: Luo Pifu

Inventor before: Che Shuanlong

CB03 Change of inventor or designer information
RJ01 Rejection of invention patent application after publication

Application publication date: 20181123

RJ01 Rejection of invention patent application after publication