CN111753959A - 一种神经网络模型优化方法、装置、设备和存储介质 - Google Patents

一种神经网络模型优化方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN111753959A
CN111753959A CN202010590567.4A CN202010590567A CN111753959A CN 111753959 A CN111753959 A CN 111753959A CN 202010590567 A CN202010590567 A CN 202010590567A CN 111753959 A CN111753959 A CN 111753959A
Authority
CN
China
Prior art keywords
neural network
network model
output
predicted value
output predicted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010590567.4A
Other languages
English (en)
Inventor
刘江
章晓庆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southwest University of Science and Technology
Southern University of Science and Technology
Original Assignee
Southwest University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southwest University of Science and Technology filed Critical Southwest University of Science and Technology
Priority to CN202010590567.4A priority Critical patent/CN111753959A/zh
Publication of CN111753959A publication Critical patent/CN111753959A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种神经网络模型优化方法、装置、设备和存储介质。该方法包括：基于预设标记类别对训练数据的输出真实值进行分类；将所述训练数据输入至目标神经网络模型进行计算和特征提取以得到输出预测值和所述输出预测值的标记类别；根据同一标记类别的所述输出真实值和输出预测值得到所述目标神经网络模型的训练误差；根据所述训练误差对所述目标神经网络模型进行优化。本发明实施例实现了优化训练误差提高神经网络模型的性能。

Description

一种神经网络模型优化方法、装置、设备和存储介质
技术领域
本发明实施例涉及神经网络技术，尤其涉及一种神经网络模型优化方法、装置、设备和存储介质。
背景技术
在神经网络模型训练过程中，标准交叉熵函数常作为损失函数来计算神经网络模型的训练过程中每一次迭代以后样本的训练误差(损失)。神经网络模型就是基于得到的训练误差通过这样一次次迭代更新，使得神经网络模型能学习到用于识别不同类别的知识信息。
现有的标准交叉熵函数及其改进损失函数的误差计算都是基于训练过程中采样的样本数量，和大致可以分为三大类：所有样本同等对待求和平均、不同类别的样本标记赋予不同权重再求和平均、不同样本预测概率值赋予不同的权重再求和平均。
但是这种误差计算方式都是基于一次训练过程中的标记总量而不是基于标记类别的数目，并且基于一次迭代过程中采样的样本数量和采样具有随机性和不确定性，这使得神经网络模型可能只学习一部分标记的样本知识，大部分标记的样本知识可能是欠学习(欠表达)状态，即学习到的知识带有偏差。例如对于一个分类任务，在一次训练过程，标记总量N，标记类别的数目K，但是前三类标记占总标记样本数目的90％，剩余K-3只占10％，这会导致神经网络模型只学习前三类标记，忽略剩余标记种类。这种情况在标记不平衡数据集中表现特别明显，也称作数据不平衡现象，会使得实际使用时的神经网络模型性能和准确性大幅下降。
发明内容
本发明实施例提供一种神经网络模型优化方法、装置、设备和存储介质，以实现优化训练误差提高神经网络模型的性能。
为达此目的，本发明实施例提供了一种神经网络模型优化方法、装置、设备和存储介质，该方法包括：
基于预设标记类别对训练数据的输出真实值进行分类；
将所述训练数据输入至目标神经网络模型进行计算和特征提取以得到输出预测值和所述输出预测值的标记类别；
根据同一标记类别的所述输出真实值和输出预测值得到所述目标神经网络模型的训练误差；
根据所述训练误差对所述目标神经网络模型进行优化。
进一步的，所述根据同一标记类别的所述输出真实值和输出预测值得到所述目标神经网络模型的训练误差包括：
分别获取不同标记类别的输出预测值的平均值作为第一输出预测值；
获取所述第一输出预测值的对数值作为第二输出预测值；
获取同一标记类别的所述第二输出预测值和输出真实值的乘积作为第三输出预测值；
获取所述第三输出预测值的平均值作为所述目标神经网络模型的训练误差。
进一步的，所述根据所述训练误差对所述目标神经网络模型进行优化包括：
根据所述训练误差对所述目标神经网络模型的参数权重进行调整以得到优化神经网络模型。
进一步的，所述根据所述训练误差对所述目标神经网络模型的参数权重进行调整以得到优化神经网络模型之后包括：
根据预设标准对所述优化神经网络模型进行评价。
进一步的，所述目标神经网络模型通过三层全连接层进行特征提取。
进一步的，每层所述全连接层包括10个神经元。
进一步的，所述目标神经网络模型可以为基于前向神经网络、卷积神经网络、玻尔兹曼机网络、深度置信网络、自动编码器网络、循环神经网络、Bert模型网络、生成式对抗网络或多层感知器网络的神经网络模型。
一方面，本发明实施例还提供了一种神经网络模型优化装置，该装置包括：
输出分类模块，用于基于预设标记类别对训练数据的输出真实值进行分类；
模型训练模块，用于将所述训练数据输入至目标神经网络模型进行计算和特征提取以得到输出预测值和所述输出预测值的标记类别；
误差获取模块，用于根据同一标记类别的所述输出真实值和输出预测值得到所述目标神经网络模型的训练误差；
模型优化模块，用于根据所述训练误差对所述目标神经网络模型进行优化。
另一方面，本发明实施例还提供了一种计算机设备，该计算机设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明任一实施例提供的方法中的步骤。
又一方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任一实施例提供的方法中的步骤。
本发明实施例通过基于预设标记类别对训练数据的输出真实值进行分类；将所述训练数据输入至目标神经网络模型进行计算和特征提取以得到输出预测值和所述输出预测值的标记类别；根据同一标记类别的所述输出真实值和输出预测值得到所述目标神经网络模型的训练误差；根据所述训练误差对所述目标神经网络模型进行优化，解决了神经网络模型训练过程中数据不平衡的问题，实现了优化训练误差提高神经网络模型的性能的效果。
附图说明
图1是本发明实施例一提供的一种神经网络模型优化方法的流程示意图；
图2是本发明实施例二提供的一种神经网络模型优化方法的流程示意图；
图3是本发明实施例三提供的一种神经网络模型优化装置的结构示意图；
图4为本发明实施例四提供的一种计算机设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理，但是其中的许多步骤可以被并行地、并发地或者同时实施。此外，各步骤的顺序可以被重新安排。当其操作完成时处理可以被终止，但是还可以具有未包括在附图中的附加步骤。处理可以对应于方法、函数、规程、子例程、子程序等等。
此外，术语“第一”、“第二”等可在本文中用于描述各种方向、动作、步骤或元件等，但这些方向、动作、步骤或元件不受这些术语限制。这些术语仅用于将第一个方向、动作、步骤或元件与另一个方向、动作、步骤或元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一模块称为第二模块，且类似地，可将第二模块称为第一模块。第一模块和第二模块两者都是模块，但其不是同一模块。术语“第一”、“第二”等不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本发明实施例的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
实施例一
如图1所示，本发明实施例一提供了一种神经网络模型优化方法，该方法包括：
S110、基于预设标记类别对训练数据的输出真实值进行分类。
本实施例中，在使用目标神经网络模型时，首先需要对其进行训练，确定目标神经网络模型的使用场景后就可以根据用户需求确定目标神经网络模型的训练数据，因是在训练过程中，所以训练数据的输出真实值是已知的，预设标记类别可以为独热编码，独热编码即One-Hot编码，又称一位有效编码，其方法是使用N位状态寄存器来对N个状态进行编码，每个状态都有它独立的寄存器位，并且在任意时候，其中只有一位有效。首先基于上述方法得到输出真实值的标记类别，即完成对输出真实值的分类。
S120、将训练数据输入至目标神经网络模型进行计算和特征提取以得到输出预测值和输出预测值的标记类别。
本实施例中，完成对输出真实值的分类后，此时将训练数据输入至目标神经网络模型进行计算和特征提取，得到输出预测值和输出预测值的标记类别。具体的，将训练数据，即输入计算图输入目标神经网络模型，目标神经网络模型就可以对其进行计算得到输出计算图，即输出预测值，此外，目标神经网络模型还可以对训练数据进行特征提取，根据输出真实值的独热编码，即标记类别对输出预测值进行对比和定位，从而确定输出预测值的标记类别。其中，输出预测值为多个值，标记类别也为多种，多种标记类别可以将多个输出预测值进行分类，每种标记类别对应有一个或多个输出预测值。
S130、根据同一标记类别的输出真实值和输出预测值得到目标神经网络模型的训练误差。
S140、根据训练误差对目标神经网络模型进行优化。
本实施例中，在完成输出真实值的分类后，就可以对同一标记类别的输出真实值和输出预测值进行计算和处理，完成所有标记类别下的输出真实值和输出预测值的计算和处理，最终得到目标神经网络模型的训练误差，这样就不存在神经网络模型训练过程中数据不平衡的问题。最后得到目标神经网络模型的训练误差后，直接根据训练误差对目标神经网络模型进行优化即可，优化后的目标神经网络模型可以广泛应用于各个领域中，而本发明实施例所提供的神经网络模型优化方法可以部署在服务器、工作站、超算中心、云计算中心、个人电脑、手机、边缘设备和医疗设备中等。
本发明实施例通过基于预设标记类别对训练数据的输出真实值进行分类；将所述训练数据输入至目标神经网络模型进行计算和特征提取以得到输出预测值和所述输出预测值的标记类别；根据同一标记类别的输出真实值和输出预测值得到目标神经网络模型的训练误差；根据训练误差对目标神经网络模型进行优化，解决了神经网络模型训练过程中数据不平衡的问题，实现了优化训练误差提高神经网络模型的性能的效果。
实施例二
如图2所示，本发明实施例二提供了一种神经网络模型优化方法，本发明实施例二是在本发明实施例一的基础上进一步的说明解释，该方法包括：
S210、基于预设标记类别对训练数据的输出真实值进行分类。
S220、将训练数据输入至目标神经网络模型进行计算和特征提取以得到输出预测值和输出预测值的标记类别。
本实施例中，目标神经网络模型包括三层全连接层(隐藏层)，每层全连接层包括10个神经元，目标神经网络模型通过这三层全连接层对训练数据进行特征提取。可选的，目标神经网络模型可以为基于前向神经网络(Feed Forward Neural Network)、卷积神经网络(Convolutional Neural Networks)、玻尔兹曼机网络(Restricted BoltzmannMachine)、深度置信网络(Deep Belief Networks)、自动编码器网络(Auto Encoder)、循环神经网络(Recurrent Neural Network)、Bert模型网络(Bidirectional EncoderRepresentations from Transformers)、生成式对抗网络(Generative AdversarialNetworks)或多层感知器网络(Multilayer Perceptron)的神经网络模型。
S230、分别获取不同标记类别的输出预测值的平均值作为第一输出预测值。
S240、获取第一输出预测值的对数值作为第二输出预测值。
S250、获取同一标记类别的第二输出预测值和输出真实值的乘积作为第三输出预测值。
S260、获取第三输出预测值的平均值作为目标神经网络模型的训练误差。
本实施例中，在计算目标神经网络模型的训练误差时，具体的，先计算出不同标记类别下的输出预测值的平均值，将该平均值视为第一输出预测值，再通过对数函数计算不同标记类别下的第一输出预测值的对数值，作为优选的，因为第一输出预测值可能对数值存在为0的情况，而取对数值没有意义，为了防止计算错误，可以先将每个标记类别下的第一输出预测值都加上一个值很小的常数，然后再取其对数值，将该对数值视为第二输出预测值，然后让每个第二输出预测值分别乘以与其同一标记类别的输出真实值，将得到的乘积视为第三输出预测值。此时就得到每个不同标记类别下的第三输出预测值，最后获取标记类别的种类数量，将第三输出预测值求和后除以种类数量得到第三输出预测值的平均值，将该平均值视为目标神经网络模型的训练误差。
S270、根据训练误差对目标神经网络模型的参数权重进行调整以得到优化神经网络模型。
S280、根据预设标准对优化神经网络模型进行评价。
本实施例中，获得了训练误差后，就可以直接对目标神经网络模型进行优化，具体的，对目标神经网络模型的参数权重进行调整，得到优化神经网络模型。进一步的，还可以根据预设标准对优化神经网络模型进行评价，然后重复本发明实施例提供的优化方法，重复执行步骤S210-步骤S280，得到多个优化神经网络模型，最后选择一个最优的优化神经网络模型，并将其部署在实际应用上。
实施例三
如图3所示，本发明实施例三提供了一种神经网络模型优化装置100，本发明实施例三所提供的神经网络模型优化装置100可执行本发明任意实施例所提供的神经网络模型优化方法，具备执行方法相应的功能模块和有益效果。该神经网络模型优化装置100包括模型训练模块200、输出分类模块300、误差获取模块400和模型优化模块500。
具体的，模型训练模块200用于将训练数据输入至目标神经网络模型进行计算和特征提取以得到输出预测值和输出预测值的标记类别；输出分类模块300用于基于预设标记类别对训练数据的输出真实值进行分类；误差获取模块400用于根据同一标记类别的输出真实值和输出预测值得到目标神经网络模型的训练误差；模型优化模块500用于根据训练误差对目标神经网络模型进行优化。
本实施例中，误差获取模块400具体用于分别获取不同标记类别的输出预测值的平均值作为第一输出预测值；获取第一输出预测值的对数值作为第二输出预测值；获取同一标记类别的第二输出预测值和输出真实值的乘积作为第三输出预测值；获取第三输出预测值的平均值作为目标神经网络模型的训练误差。模型优化模块500具体用于根据训练误差对目标神经网络模型的参数权重进行调整以得到优化神经网络模型。模型优化模块500还用于根据预设标准对优化神经网络模型进行评价。
进一步的，目标神经网络模型通过三层全连接层进行特征提取。每层全连接层包括10个神经元。目标神经网络模型可以为基于前向神经网络、卷积神经网络、玻尔兹曼机网络、深度置信网络、自动编码器网络、循环神经网络、Bert模型网络、生成式对抗网络或多层感知器网络的神经网络模型。
实施例四
图4为本发明实施例四提供的一种计算机设备12的结构示意图。图4示出了适于用来实现本发明实施方式的示例性计算机设备12的框图。图4显示的计算机设备12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图4所示，计算机设备12以通用计算设备的形式表现。计算机设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
计算机设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。计算机设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图4未显示，通常称为“硬盘驱动器”)。尽管图4中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括——但不限于——操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
计算机设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该计算机设备12交互的设备通信，和/或与使得该计算机设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，计算机设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与计算机设备12的其它模块通信。应当明白，尽管图中未示出，可以结合计算机设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的方法：
基于预设标记类别对训练数据的输出真实值进行分类；
将所述训练数据输入至目标神经网络模型进行计算和特征提取以得到输出预测值和所述输出预测值的标记类别；
根据同一标记类别的所述输出真实值和输出预测值得到所述目标神经网络模型的训练误差；
根据所述训练误差对所述目标神经网络模型进行优化。
实施例五
本发明实施例五还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请所有发明实施例提供的方法：
基于预设标记类别对训练数据的输出真实值进行分类；
将所述训练数据输入至目标神经网络模型进行计算和特征提取以得到输出预测值和所述输出预测值的标记类别；
根据同一标记类别的所述输出真实值和输出预测值得到所述目标神经网络模型的训练误差；
根据所述训练误差对所述目标神经网络模型进行优化。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种神经网络模型优化方法，其特征在于，包括：
基于预设标记类别对训练数据的输出真实值进行分类；
将所述训练数据输入至目标神经网络模型进行计算和特征提取以得到输出预测值和所述输出预测值的标记类别；
根据同一标记类别的所述输出真实值和输出预测值得到所述目标神经网络模型的训练误差；
根据所述训练误差对所述目标神经网络模型进行优化。
2.根据权利要求1所述的方法，其特征在于，所述根据同一标记类别的所述输出真实值和输出预测值得到所述目标神经网络模型的训练误差包括：
分别获取不同标记类别的输出预测值的平均值作为第一输出预测值；
获取所述第一输出预测值的对数值作为第二输出预测值；
获取同一标记类别的所述第二输出预测值和输出真实值的乘积作为第三输出预测值；
获取所述第三输出预测值的平均值作为所述目标神经网络模型的训练误差。
3.根据权利要求1所述的方法，其特征在于，所述根据所述训练误差对所述目标神经网络模型进行优化包括：
根据所述训练误差对所述目标神经网络模型的参数权重进行调整以得到优化神经网络模型。
4.根据权利要求3所述的方法，其特征在于，所述根据所述训练误差对所述目标神经网络模型的参数权重进行调整以得到优化神经网络模型之后包括：
根据预设标准对所述优化神经网络模型进行评价。
5.根据权利要求1所述的方法，其特征在于，所述目标神经网络模型通过三层全连接层进行特征提取。
6.根据权利要求5所述的方法，其特征在于，每层所述全连接层包括10个神经元。
7.根据权利要求1所述的方法，其特征在于，所述目标神经网络模型可以为基于前向神经网络、卷积神经网络、玻尔兹曼机网络、深度置信网络、自动编码器网络、循环神经网络、Bert模型网络、生成式对抗网络或多层感知器网络的神经网络模型。
8.一种神经网络模型优化装置，其特征在于，包括：
输出分类模块，用于基于预设标记类别对训练数据的输出真实值进行分类；
模型训练模块，用于将所述训练数据输入至目标神经网络模型进行计算和特征提取以得到输出预测值和所述输出预测值的标记类别；
误差获取模块，用于根据同一标记类别的所述输出真实值和输出预测值得到所述目标神经网络模型的训练误差；
模型优化模块，用于根据所述训练误差对所述目标神经网络模型进行优化。
9.一种计算机设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的方法中的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的方法中的步骤。
CN202010590567.4A 2020-06-24 2020-06-24 一种神经网络模型优化方法、装置、设备和存储介质 Pending CN111753959A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010590567.4A CN111753959A (zh) 2020-06-24 2020-06-24 一种神经网络模型优化方法、装置、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010590567.4A CN111753959A (zh) 2020-06-24 2020-06-24 一种神经网络模型优化方法、装置、设备和存储介质

Publications (1)

Publication Number Publication Date
CN111753959A true CN111753959A (zh) 2020-10-09

Family

ID=72677185

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010590567.4A Pending CN111753959A (zh) 2020-06-24 2020-06-24 一种神经网络模型优化方法、装置、设备和存储介质

Country Status (1)

Country Link
CN (1) CN111753959A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112800037A (zh) * 2021-01-06 2021-05-14 银源工程咨询有限公司 工程造价数据处理的优化方法及装置
WO2022127497A1 (zh) * 2020-12-18 2022-06-23 展讯通信（上海）有限公司 基于ai的可穿戴设备及其应用数据处理方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022127497A1 (zh) * 2020-12-18 2022-06-23 展讯通信（上海）有限公司 基于ai的可穿戴设备及其应用数据处理方法
CN112800037A (zh) * 2021-01-06 2021-05-14 银源工程咨询有限公司 工程造价数据处理的优化方法及装置
CN112800037B (zh) * 2021-01-06 2024-02-02 银源工程咨询有限公司 工程造价数据处理的优化方法及装置

Similar Documents

Publication Publication Date Title
CN112633419B (zh) 小样本学习方法、装置、电子设备和存储介质
US11915123B2 (en) Fusing multimodal data using recurrent neural networks
CN112613584A (zh) 一种故障诊断方法、装置、设备及存储介质
CN111753863A (zh) 一种图像分类方法、装置、电子设备及存储介质
CN113434683B (zh) 文本分类方法、装置、介质及电子设备
CN111753959A (zh) 一种神经网络模型优化方法、装置、设备和存储介质
CN113723618B (zh) 一种shap的优化方法、设备及介质
CN112214595A (zh) 类别确定方法、装置、设备及介质
CN110781849A (zh) 一种图像处理方法、装置、设备及存储介质
CN113591998A (zh) 分类模型的训练和使用方法、装置、设备以及存储介质
CN113408070A (zh) 发动机参数的确定方法、装置、设备及存储介质
US20210406773A1 (en) Transforming method, training device, and inference device
CN113407719B (zh) 文本数据的检测方法、装置、电子设备及存储介质
CN113033817B (zh) 基于隐空间的ood检测方法、装置、服务器及存储介质
CN111242322B (zh) 后门样本的检测方法、装置和电子设备
CN110297989B (zh) 异常检测的测试方法、装置、设备和介质
CN114297022A (zh) 云环境异常检测方法、装置、电子设备和存储介质
CN113850686A (zh) 投保概率确定方法、装置、存储介质及电子设备
CN113989562A (zh) 模型训练、图像分类方法和装置
US10579754B1 (en) Systems and methods for performing a fast simulation
US20230115067A1 (en) Controlling a bias of a machine learning module background
CN111859963A (zh) 命名实体识别方法、设备、装置和计算机可读存储介质
CN113672801B (zh) 信息的处理方法、装置、存储介质和电子设备
CN114637921B (zh) 基于建模偶然不确定性的物品推荐方法、装置和设备
CN116029492B (zh) 派单方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination