CN110472665A - 模型训练方法、文本分类方法及相关装置 - Google Patents

模型训练方法、文本分类方法及相关装置 Download PDF

Info

Publication number
CN110472665A
CN110472665A CN201910645878.3A CN201910645878A CN110472665A CN 110472665 A CN110472665 A CN 110472665A CN 201910645878 A CN201910645878 A CN 201910645878A CN 110472665 A CN110472665 A CN 110472665A
Authority
CN
China
Prior art keywords
training sample
training
label
vector
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910645878.3A
Other languages
English (en)
Inventor
王李鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
New H3C Big Data Technologies Co Ltd
Original Assignee
New H3C Big Data Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by New H3C Big Data Technologies Co Ltd filed Critical New H3C Big Data Technologies Co Ltd
Priority to CN201910645878.3A priority Critical patent/CN110472665A/zh
Publication of CN110472665A publication Critical patent/CN110472665A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请提出一种模型训练方法、文本分类方法及相关装置，涉及机器学习技术领域，在利用标签标注准确的训练样本和标签标注不准确的训练样本对神经网络模型进行不准确监督学习时，通过为每一训练样本确定各自对应的比例参数，进而得到表征所有训练样本标签标注准确的概率的权重参数向量，且利用权重参数向量对所有训练样本各自对应的特征向量进行学习，得到比例输出向量，进而基于该比例输出向量，更新神经网络模型的模型参数，相比于现有技术，使神经网络模型能够在不准确监督学习时，更多的学习标签标注准确的样本信息，而减少学习标签标注错误不准确的样本信息，从而提升神经网络模型在不准确监督学习时的训练效果。

Description

模型训练方法、文本分类方法及相关装置
技术领域
本申请涉及机器学习技术领域，具体而言，涉及一种模型训练方法、文本分类方法及相关装置。
背景技术
监督学习是指利用标注有标签的训练样本对神经网络模型进行训练，其中，训练样本所标注的标签表征训练样本的真值输出。
但在实际的训练过程中，由于为训练样本标注标签需要耗费大量人力物力等成本，标注有标签的训练样本总是少数，一般更多的训练样本是没有标注有标签的，或者是标注有粗粒度的标签，或者标注的标签不一定全为真值；为此，目前一般采用弱监督学习以克服标注有真值标签的训练样本较少的情况。
但由于弱监督学习时，比如在不准确监督(inaccurate supervision)学习时，由于训练时存在大量的训练样本标注的标签不一定为真值，模型不能很好的学习到训练样本正确的特征，从而导致不准确监督学习时模型的训练效果往往较差。
发明内容
本申请的目的在于提供一种模型训练方法、文本分类方法及相关装置，能够提升神经网络模型在不准确监督学习时的训练效果。
为了实现上述目的，本申请实施例采用的技术方案如下：
第一方面，本申请实施例提供一种模型训练方法，应用于电子设备，所述电子设备中预设有神经网络模型，所述方法包括：
获得接收的多个训练样本中每一训练样本各自对应的特征向量；其中，所述多个训练样本中包含标签标注准确的训练样本和标签标注不准确的训练样本；
对所有所述特征向量进行处理，得到所述多个训练样本对应的比例输出向量；其中，所述比例输出向量为利用权重参数向量对所有所述特征向量进行学习后得到的处理结果，所述权重参数向量中包含的每一元素用于表征对应的训练样本标签标注准确的概率；
基于所述比例输出向量，更新所述神经网络模型的模型参数。
第二方面，本申请实施例提供一种文本分类方法，应用于电子设备，所述电子设备中预设有利用本申请实施例第一方面提供的模型训练方法更新模型参数后的神经网络模型；
所述方法包括：
接收待分类文本；
通过所述神经网络模型对所述待分类文本进行处理，得到所述待分类文本对应的分类结果，其中，所述分类结果包括多个分类类别及所述多个分类类别中每一分类类别各自对应的分类概率；
将最大的分类概率所对应的分类类别作为所述待分类文本对应的预测分类类别。
第三方面，本申请实施例提供一种模型训练装置，应用于电子设备，所述电子设备中预设有神经网络模型，所述装置包括：
第一处理模块，用于获得接收的多个训练样本中每一训练样本各自对应的特征向量；其中，所述多个训练样本中包含标签标注准确的训练样本和标签标注不准确的训练样本；
所述第一处理模块还用于，对所有所述特征向量进行处理，得到所述多个训练样本对应的比例输出向量；其中，所述比例输出向量为利用权重参数向量对所有所述特征向量进行学习后得到的处理结果，所述权重参数向量中包含的每一元素用于表征对应的训练样本标签标注准确的概率；
参数更新模块，用于基于所述比例输出向量，更新所述神经网络模型的模型参数。
第四方面，本申请实施例提供一种文本分类装置，应用于电子设备，所述电子设备中预设有利用本申请实施例第一方面提供的模型训练方法更新模型参数后的神经网络模型；
所述装置包括：
接收模块，用于接收待分类文本；
第二处理模块，用于通过所述神经网络模型对所述待分类文本进行处理，得到所述待分类文本对应的分类结果，其中，所述分类结果包括多个分类类别及所述多个分类类别中每一分类类别各自对应的分类概率；
所述第二处理模块还用于，将最大的分类概率所对应的分类类别作为所述待分类文本对应的预测分类类别。
第五方面，本申请实施例提供一种电子设备，所述电子设备包括存储器，用于存储一个或多个程序；处理器。当所述一个或多个程序被所述处理器执行时，实现上述的模型训练方法或文本分类方法。
第六方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述的模型训练方法或文本分类方法。
本申请实施例提供的一种模型训练方法、文本分类方法及相关装置，在利用标签标注准确的训练样本和标签标注不准确的训练样本对神经网络模型进行不准确监督学习时，通过为每一训练样本确定各自对应的比例参数，进而得到表征所有训练样本标签标注准确的概率的权重参数向量，且利用权重参数向量对所有训练样本各自对应的特征向量进行学习，得到比例输出向量，进而基于该比例输出向量，更新神经网络模型的模型参数，相比于现有技术，使神经网络模型能够在不准确监督学习时，更多的学习标签标注准确的样本信息，而减少学习标签标注错误不准确的样本信息，从而提升神经网络模型在不准确监督学习时的训练效果。
为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它相关的附图。
图1为本申请实施例提供的电子设备的一种示意性结构框图；
图2为本申请实施例提供的模型训练方法的一种示意性流程图；
图3为图2中S203的子步骤的一种示意性流程图；
图4为本申请实施例提供的模型训练方法的另一种示例性流程图；
图5为本申请实施例提供的模型训练方法的学习框架示意图；
图6为一种输出层结构示意图；
图7为本申请实施例提供的文本分类方法的一种示意性流程图；
图8为一种示意性特征提取网络模型结构；
图9为本申请实施例提供的模型训练装置的一种示意性结构图；
图10为本申请实施例提供的文本分类装置的一种示意性结构图。
图中：100-电子设备；101-存储器；102-处理器；103-通信接口；400-模型训练装置；401-第一处理模块；402-参数更新模块；500-文本分类装置；501-接收模块；502-第二处理模块。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
通常，弱监督学习可以分为三类，包括不完全监督(incomplete supervision)、不确切监督(inexact supervision)及不准确监督；其中，不完全监督是指训练样本集中只有部分训练样本标注有标签，而其他训练样本则未标注有标签，比如训练样本集中包括多张实际为杜鹃的训练图片，但只有部分训练图片被标注有标签“杜鹃”，剩余的其他训练图片均未标注有标签；不确切监督是指训练样本集中每个训练样本都标注有标签，但只有粗粒度的标签，即标注的标签精度较低，比如两张图片分别为牡丹和杜鹃，标注的标签均为粗粒度的“花”，而非“牡丹”和“杜鹃”；不准确监督是指训练样本集中的训练样本标注的标签不总是真值，比如在前述示例中，图片牡丹标注的标签为“牡丹”，而图片杜鹃标注的标签可能为“玫瑰”。
如上所述，由于不准确监督学习时训练样本标注的标签不总是真值，导致模型训练时，无法学习到训练样本正确的特征，从而导致不准确监督学习时，模型的训练效果往往较差。
因此，基于上述缺陷，本申请实施例提供的一种可能的实现方式为：在利用标签标注准确的训练样本和标签标注不准确的训练样本对神经网络模型进行不准确监督学习时，通过为每一训练样本确定各自对应的比例参数，进而得到表征所有训练样本标签标注准确的概率的权重参数向量，且利用权重参数向量对所有训练样本各自对应的特征向量进行学习，得到比例输出向量，进而基于该比例输出向量，更新神经网络模型的模型参数，从而使神经网络模型能够在不准确监督学习时，更多的学习标签标注准确的样本信息，而减少学习标签标注错误或者不精确的样本信息。
下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
请参阅图1，图1为本申请实施例提供的电子设备100的一种示意性结构框图。电子设备100可作为训练神经网络模型以实现本申请实施例提供的模型训练方法的设备，或者是运行训练完成的神经网络模型以实现本申请实施例提供的文本分类方法的设备，比如手机、个人电脑(personal computer，PC)、平板电脑、服务器等等。
电子设备100包括存储器101、处理器102和通信接口103，该存储器101、处理器102和通信接口103相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。
存储器101可用于存储软件程序及模块，如本申请实施例提供的模型训练装置400或文本分类装置500对应的程序指令/模块，处理器102通过执行存储在存储器101内的软件程序及模块，从而执行各种功能应用以及数据处理。该通信接口103可用于与其他节点设备进行信令或数据的通信。
其中，存储器101可以是但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。
处理器102可以是一种集成电路芯片，具有信号处理能力。该处理器102可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(NetworkProcessor，NP)等；还可以是数字信号处理器(Digital Signal Processing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
可以理解，图1所示的结构仅为示意，电子设备100还可以包括比图1中所示更多或者更少的组件，或者具有与图2所示不同的配置。图1中所示的各组件可以采用硬件、软件或其组合实现。
下面以图1所示的电子设备100作为执行主体为例，对本申请实施例提供的模型训练方法进行示意性说明。
请参阅图2，图2为本申请实施例提供的模型训练方法的一种示意性流程图，该模型训练方法应用于如图1所示的电子设备100，电子设备100中预设有神经网络模型，该模型训练方法包括以下步骤：
S201，获得接收的多个训练样本中每一训练样本各自对应的特征向量；
S203，对所有特征向量进行处理，得到多个训练样本对应的比例输出向量；
S205，基于比例输出向量，更新神经网络模型的模型参数。
在本申请实施例中，用于训练神经网络模型的多个训练样本可以由标签标注准确的训练样本和标签标注不准确的训练样本组成。
其中，标签标注不准确的训练样本可以为标签标注不为真值的训练样本，比如上述杜鹃图片的示例中，标注的标签可能为“玫瑰”，也就是说，本申请实施例的模型训练方法是基于不准确监督学习实现的。
需要说明的是，本申请实施例的模型训练方式还可以基于不完全监督学习实现，即用于训练该神经网络模型的多个训练样本中可以包含一部分标签标注准确的训练样本，同时也包含一部分没有标签标注的训练样本；但此时需要将没有标签标注的所有训练样本通过预处理的方式，各自添加一个标签标注(可能添加的是准确的标签，也有可能添加的是错误的标签)，从而将不完全监督学习转化为不准确监督学习。
由此，在训练神经网络模型时，提取接收的多个训练样本中的每一训练样本各自的特征，从而获得每一训练样本各自对应的特征向量。
示例性地，若训练样本采用的是图片样本，比如上述的“牡丹”图片及“杜鹃”图片等，则可以基于CNN(Convolutional Neural Networks，卷积神经网络)等方式进行特征提取，得到图片样本对应的特征向量；若训练样本采用的是文本序列，则可以基于RNN(Recurrent Neural Network，循环神经网络)等方式进行特征提取，得到文本序列对应的特征向量。
另外，假定共计有k个训练样本用于训练神经网络模型，分别为样本1、样本2、···、样本k，且经过S201后，每一训练样本各自对应的特征向量分别表示为x1、x2、…、xk；然后基于所有的特征向量，为标签标注准确的训练样本对应的特征向量分配较大的比例参数，为标签标注不准确的训练样本对应的特征向量分配较小的比例参数，且将所有特征向量各自对应的比例参数进行集合，得到权重参数向量；其中，该权重参数向量中包含的每一元素用于表征对应的训练样本标签标注准确的概率；也就是说，权重参数向量中数值较大的元素，表征对应的训练样本标签标注准确的概率较大，权重参数向量中数值较小的元素，表征对应的训练样本标签标注准确的概率较小。
然后利用权重参数向量，对所有特征向量进行学习，并将得到的处理结果作为该多个训练样本对应的比例输出向量，该比例输出向量表征的是利用权重参数向量对所有特征向量进行学习后得到的处理结果；且基于所获得的比例输出向量，采用例如交叉熵损失函数的方式对神经网络模型的模型参数进行更新，使神经网络模型更多利用标签标注准确的概率较大的训练样本进行学习，而尽量不利用标签标注错误或者不精确的训练样本进行学习，从而提高神经网络模型在不准确监督学习时的训练效果。
可见，基于上述设计，本申请实施例提供的一种模型训练方法，在利用标签标注准确的训练样本和标签标注不准确的训练样本对神经网络模型进行不准确监督学习时，通过为每一训练样本确定各自对应的比例参数，进而得到表征所有训练样本标签标注准确的概率的权重参数向量，且利用权重参数向量对所有训练样本各自对应的特征向量进行学习，得到比例输出向量，进而基于该比例输出向量，更新神经网络模型的模型参数，相比于现有技术，使神经网络模型能够在不准确监督学习时，更多的学习标签标注准确的样本信息，而减少学习标签标注错误不准确的样本信息，从而提升神经网络模型在不准确监督学习时的训练效果。
其中，作为一种可能的实现方式，用于训练神经网络模型的多个训练样本均标注有相同的训练标签；另外，在实现S203时，可以基于注意力Attention机制为每一特征向量分配各自的权重参数。
可选地，请参阅图3，图3为图2中S203的子步骤的一种示意性流程图，作为一种可能的实现方式，S203可以包括以下子步骤：
S203-1，基于Attention机制对所有特征向量进行处理，获得每一训练样本对应的比例参数；
S203-3，根据权重参数向量及所有特征向量，获得多个训练样本对应的比例输出向量。
在本申请实施例中，可以基于Attention机制对所有特征向量进行处理，从而得到每一训练样本对应的比例参数，进而将所有比例参数进行集合，得到权重参数向量；其中，每一比例参数表征对应的训练样本标注为该相同的训练标签的概率，比如在上述“牡丹图片”和“杜鹃图片”的示例中，假定两个图片标注的训练标签均为“杜鹃”，且“牡丹图片”对应的比例参数为0.1，“杜鹃图片”对应的比例参数为0.9，则说明“牡丹图片”标注为“杜鹃”的概率为0.1，“杜鹃图片”标注为“杜鹃”的概率为0.9。
由此，根据将所有比例参数进行集合得到的权重参数向量，以及所有特征向量，获得该多个训练样本对应的比例输出向量。
其中，作为一种可能的实现方式，该比例输出向量可以满足如下公式：
式中，xj表示第j个特征向量，表示对应位置的点乘运算，wa和wb均为需要学习的参数，且wa∈R1×L，wb∈RL×1，αj表示第j个特征向量对应的比例参数，v表示比例输出向量，v∈R1×L，L表示xi的向量长度。
另外，如上所述，由于对神经网络模型进行训练时所使用的多个训练样本一般需要标注有相同的训练标签，为此，请参阅图4，图4为本申请实施例提供的模型训练方法的另一种示例性流程图，作为一种可能的实现方式，基于如图2所示的模型训练方式步骤，在执行S201之前，该模型训练方法还包括以下步骤：
S200，将接收的所有训练样本分类为多个训练样本集。
在本申请实施例中，可以基于k-means等聚类分析的方式，或者是标签匹配的方式，将接收的所有训练样本分类为多个训练样本集，每一训练样本集中均包含具有相同训练标签的多个训练样本，从而使训练神经网络模型时所使用的多个训练样本具有相同的训练标签。
由此，请继续参阅图4，作为一种可能的实现方式，S201可以包括以下子步骤：
S201-1，在目标训练样本集中确定出设定数量的训练样本；
S201-3，获得设定数量的训练样本中每一训练样本各自对应的特征向量。
在本申请实施例中，将由S200获得的多个训练样本集中的任意一个作为目标训练样本集，然后在目标训练样本集中确定设定数量的训练样本，比如可以采用随机选取的方式确定k个训练样本，然后将确定出的k个训练样本均提取特征，获得每一训练样本各自对应的特征向量，从而实现S201。
其中，通过合理的设置k的大小，可以确保k个训练样本中，包括至少一个标签标注正确的样本。比如在采用不准确监督学习的方式进行训练时，若目标训练样本集中每个训练样本的标签标注正确的概率为0.8，即每个训练样本的标签标注错误的概率为0.2，则设置k＝4时，那么在4个训练样本中至少有一个训练样本的标签标注正确的概率则为p＝1-0.2*0.2*0.2*0.2＝0.9984。
另外，示例性，请参阅图5，图5为本申请实施例提供的模型训练方法的学习框架示意图，为便于理解，下面结合图5所示的学习框架，对本申请实施例提供的模型训练方法进一步地说明。
首先，将所有的有训练样本进行打包处理，将所有的有训练样本打包分类为多个训练样本集；
然后在多个训练样本集中确定目标训练样本集，并在目标训练样本集中确定出k个训练样本，且提取k个训练样本(样本1、样本2、···、样本k)中每个训练样本的特征，获得k个训练样本中每个训练样本各自对应的特征向量x1、x2、…、xk；
接着利用Attention机制，根据所有特征向量x1、x2、…、xk，计算每个特征向量对应的权重参数a1、a2、…、ak，并将每个特征向量对应的权重参数a1、a2、…、ak与每个特征向量x1、x2、…、xk一一对应相乘，得到k个训练样本对应的比例输出向量v；
进而利用Attention机制处理后得到的比例输出向量v，结合本申请实施例示例的分类问题，可以利用如图6所示的输出层结构，设置输出的类别数目为M，利用全连接层再经过sotfmax进行结果输出，其中，假定得到的输出向量表示为o，则：
o＝softmax(wv+b)；
式中，Wo和bo均为需要学习的参数，w∈RM×L，b∈RM×1；o∈RM×1，w和b均为需要更新的参数。
最后，利用输出层输出的结果，基于交叉熵等方式计算得到的损失函数，更新神经网络模型的模型参数。
其中，训练时，可以将所获得的多个训练样本集依次作为目标训练样本集，并重复执行上述步骤，不断更新神经网络模型的模型参数，直至神经网络模型满足设定的收敛条件。
利用上述的模型训练方法训练完成后的神经网络模型，可以应用在智能问答系统、文本分类等应用场景中。
比如，示例性地，下面利用上述的模型训练方法训练完成的神经网络模型，应用在文本分类的应用场景为例，对本申请实施例提供的一种文本分类方法进行示例性说明。
请参阅图7，图7为本申请实施例提供的文本分类方法的一种示意性流程图，包括以下步骤：
S301，接收待分类文本；
S303，通过神经网络模型对待分类文本进行处理，得到待分类文本对应的分类结果；
S305，将最大的分类概率所对应的分类类别作为待分类文本对应的预测分类类别。
其中，在文本分类的应用场景中，由于分类的对象为文本序列，因此该神经网络模型可利用RNN的方式，提取接收的待分类文本的特征，获得待分类文本对应的特征向量。
其中，示例性地，请参阅图8，图8为一种示意性特征提取网络模型结构，作为一种可能的实现方式，提取待分类文本特征的模型结构可例如图8所示，基于BiLSTM(Bi-directional Long Short-Term Memory，双向长短期记忆网络)进行构建，假定待分类文本的字符表示为x1,x2,…,xn，经过嵌入层(embedding layer)对待分类文本x1,x2,…,xn进行处理后，得到待分类文本的嵌入向量表示e1,e2,…,en；然后利用BiLSTM对嵌入向量表示e1,e2,…,en进行学习，得到BiLSTM层的输出向量；最后可以选择把输出层最后一个隐层状态向量(比如图8中输出层最右边的模块对应的输出向量)作为该待分类文本对应的特征向量。
其中，需要说明的是，上述仅为示例，选择将例如图8中输出层最后一个隐层状态向量作为该待分类文本对应的特征向量，在本申请实施例其他一些可能的实现方式中，还可以基于输出层所有隐层状态向量进行求均值的方式，获得待分类文本对应的特征向量，本申请实施例对此不进行限定，只要能够提取到接收的待分类文本的特征，获得待分类文本对应的特征向量即可。
由此，在对利用上述训练完成的神经网络模型对接收的待分类文本进行分类时，执行S303得到待分类文本对应的分类结果包括多个分类类别及多个分类类别中每一分类类别各自对应的分类概率，可以将最大的分类概率所对应的分类类别作为该待分类文本对应的预测分类类别。
下面以质量问题单文本为例，对本申请实施例提供的文本分类方法进一步说明。
研发人员在对产品进行测试或者运维的过程中，如果发现了问题，研发人员会提交问题单详情，比如问题单号、问题的简要描述和详细描述、提交人等等。提交了之后，其他研发人员会对这个问题单进行处理，并把相关问题的原因分析、解决方案等记录下来，继续下一流程，直到问题单关闭。
经过上述的问题单提交、问题单处理等过程后，可以得到一个完整的质量问题单记录的信息，这些信息将为产品的性能分析、质量分析等提供非常有效、可靠的数据支撑。但是，由于这些数据大都是半结构化的，比如，问题单的标题、简要描述、详细描述和解决方案等经常都是一段文本，甚至还会包含一些图片、附件等等，这将对后续的分析造成一定的难度。
因此，需要根据质量问题单中记录的信息对质量问题单进行分类，然而目前的分类方式还需要业务人员手工获取。但是，如果通过人工的方式对质量问题单进行分类，需要耗费较大的人力成本和时间成本。
为此，可以利用本申请实施例提供的文本分类方法，对质量问题单进行分类。
其中，质量问题单的类别一般可以分为“资源管理”、“双机热备”、“操作系统及数据库”、“安装部署升级”、“DBMAN”、“告警管理”、“拓扑管理”等总计42种，因此，可以将上述的参数类别数目M设置为42。
下面以具体的质量问题单“从服务器无法连接主服务器，后来重启从服务器解决。但是登入IMC时依然发现组件安装失败提示对话框。最终发现主服务器的server_addr文件组件信息有被修改过，将此文件的组件信息修改正确再次登入就没有提示报错对话框了！”作为示例，对本申请实施例提供的文本分类方法进一步说明。
利用训练完成的神经网络模型对上述质量问题单进行处理，从而得到该质量问题单对应的质量分类结果，该质量分类结果包括多个质量问题类别以及每一质量问题类别各自对应的分类概率。
比如在上述类别数目M设置为42的示例中，该质量分类结果包括42个质量问题类别，以及与每一质量问题类别各自对应的分类概率。
然后基于所获得的质量分类结果，将质量分类结果中最大的分类概率所对应的质量问题类别作为该质量问题单对应的预测质量问题类别，从而自动地完成质量问题单的分类，能够提升质量问题单的分类效率，且减少人为分类时产生的人力成本。
示例性，以“资源管理”、“双机热备”、“操作系统及数据库”、“安装部署升级”、“DBMAN”、“告警管理”、“拓扑管理”为例，假定该质量分类结果中：
P(资源管理)＝0.4；
P(双机热备)＝0.02；
P(操作系统及数据库)＝0.04；
P(安装部署升级)＝0.07；
P(DBMAN)＝0.03；
P(告警管理)＝0.08；
P(拓扑管理)＝0.09；
P(资源管理)＝0.4最大，则将对应的质量问题类别“资源管理”作为该质量问题单的预测质量问题类别；也就是说，“从服务器无法连接主服务器，后来重启从服务器解决。但是登入IMC时依然发现组件安装失败提示对话框。最终发现主服务器的server_addr文件组件信息有被修改过，将此文件的组件信息修改正确再次登入就没有提示报错对话框了！”这一质量问题单对应的预测质量问题类别为“资源管理”。
需要说明的是，为简便描述，上述仅以“资源管理”、“双机热备”、“操作系统及数据库”、“安装部署升级”、“DBMAN”、“告警管理”、“拓扑管理”等的分类概率进行了示意，在类别数目M设置为42，共计会产生42个分类概率，只要将最大的分类概率所对应的质量问题分类作为该质量问题单对应的预测质量问题类别即可。
由此，可以将所获得质量问题单与预测质量问题类别的对应关系更新于质量问题知识图谱中，以使研发人员在后续遇到运维故障或者是测试故障时，能够查询质量问题知识图谱，辅助研发人员快速了解故障原因，以及维护方式，提升工作效率。
基于与本申请实施例提供的上述模型训练方法相同的发明构思，请参阅图9，图9为本申请实施例提供的模型训练装置400的一种示意性结构图，该模型训练装置400包括第一处理模块401和参数更新模块402。
第一处理模块401用于获得接收的多个训练样本中每一训练样本各自对应的特征向量；其中，多个训练样本中包含标签标注准确的训练样本和标签标注不准确的训练样本；
第一处理模块401还用于，对所有特征向量进行处理，得到多个训练样本对应的比例输出向量；其中，比例输出向量为利用权重参数向量对所有特征向量进行学习后得到的处理结果，权重参数向量中包含的每一元素用于表征对应的训练样本标签标注准确的概率；
参数更新模块402用于基于比例输出向量，更新神经网络模型的模型参数。
可选地，作为一种可能的实现方式，所有训练样本均标注有相同的训练标签；第一处理模块401在对所有特征向量进行处理，得到多个训练样本对应的比例输出向量时，具体用于：
基于注意力Attention机制对所有特征向量进行处理，获得每一训练样本对应的比例参数，其中，每一比例参数表征对应的训练样本标注为相同的训练标签的概率，权重参数向量为所有比例参数的集合；
根据权重参数向量及所有特征向量，获得多个训练样本对应的比例输出向量。
可选地，作为一种可能的实现方式，第一处理模块401在获得接收的多个训练样本中每一训练样本各自对应的特征向量之前，第一处理模块401还用于，将接收的所有训练样本分类为多个训练样本集；其中，每一训练样本集中均包含具有相同训练标签的多个训练样本；
第一处理模块401在获得接收的多个训练样本中每一训练样本各自对应的特征向量时，具体用于：
在目标训练样本集中确定出设定数量的训练样本，其中，目标训练样本集为多个训练样本集中的任意一个；
获得设定数量的训练样本中每一训练样本各自对应的特征向量。
基于与本申请实施例提供的上述文本分类方法相同的发明构思，请参阅图10，图10为本申请实施例提供的文本分类装置500的一种示意性结构图，该文本分类装置500包括接收模块501和第二处理模块502。
接收模块501用于接收待分类文本；
第二处理模块502用于通过神经网络模型对待分类文本进行处理，得到待分类文本对应的分类结果，其中，分类结果包括多个分类类别及多个分类类别中每一分类类别各自对应的分类概率；
第二处理模块502还用于，将最大的分类概率所对应的分类类别作为待分类文本对应的预测分类类别。
可选地，作为一种可能的实现方式，待分类文本为质量问题单；
分类结果为质量分类结果，质量分类结果包括多个质量问题类别以及多个质量问题类别中每一质量问题类别各自对应的分类概率；
质量问题单对应的预测质量问题类别为最大的分类概率所对应的质量问题类别。
在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。
也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。
也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本申请实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。
综上所述，本申请实施例提供的一种模型训练方法、文本分类方法及相关装置，在利用标签标注准确的训练样本和标签标注不准确的训练样本对神经网络模型进行不准确监督学习时，通过为每一训练样本确定各自对应的比例参数，进而得到表征所有训练样本标签标注准确的概率的权重参数向量，且利用权重参数向量对所有训练样本各自对应的特征向量进行学习，得到比例输出向量，进而基于该比例输出向量，更新神经网络模型的模型参数，相比于现有技术，使神经网络模型能够在不准确监督学习时，更多的学习标签标注准确的样本信息，而减少学习标签标注错误不准确的样本信息，从而提升神经网络模型在不准确监督学习时的训练效果。
并且，还通过利用训练完成的神经网络模型，自动地完成质量问题单的分类，能够提升质量问题单的分类效率，且减少人为分类时产生的人力成本。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其它的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

Claims (10)

1.一种模型训练方法，其特征在于，应用于电子设备，所述电子设备中预设有神经网络模型，所述方法包括：
获得接收的多个训练样本中每一训练样本各自对应的特征向量；其中，所述多个训练样本中包含标签标注准确的训练样本和标签标注不准确的训练样本；
对所有所述特征向量进行处理，得到所述多个训练样本对应的比例输出向量；其中，所述比例输出向量为利用权重参数向量对所有所述特征向量进行学习后得到的处理结果，所述权重参数向量中包含的每一元素用于表征对应的训练样本标签标注准确的概率；
基于所述比例输出向量，更新所述神经网络模型的模型参数。
2.如权利要求1所述的方法，其特征在于，所有所述训练样本均标注有相同的训练标签；
对所有所述特征向量进行处理，得到所述多个训练样本对应的比例输出向量的步骤，包括：
基于注意力Attention机制对所有所述特征向量进行处理，获得每一所述训练样本对应的比例参数，其中，每一所述比例参数表征对应的训练样本标注为所述相同的训练标签的概率，所述权重参数向量为所有所述比例参数的集合；
根据所述权重参数向量及所有所述特征向量，获得所述多个训练样本对应的所述比例输出向量。
3.如权利要求1或2所述的方法，其特征在于，在获得接收的多个训练样本中每一所述训练样本各自对应的特征向量的步骤之前，所述方法还包括：
将接收的所有所述训练样本分类为多个训练样本集；其中，每一所述训练样本集中均包含具有相同训练标签的多个训练样本；
获得接收的多个训练样本中每一所述训练样本各自对应的特征向量的步骤，包括：
在目标训练样本集中确定出设定数量的训练样本，其中，所述目标训练样本集为所述多个训练样本集中的任意一个；
获得所述设定数量的训练样本中每一所述训练样本各自对应的特征向量。
4.一种文本分类方法，其特征在于，应用于电子设备，所述电子设备中预设有利用如权利要求1-3中任一项所述的方法更新模型参数后的神经网络模型；
所述方法包括：
接收待分类文本；
通过所述神经网络模型对所述待分类文本进行处理，得到所述待分类文本对应的分类结果，其中，所述分类结果包括多个分类类别及所述多个分类类别中每一分类类别各自对应的分类概率；
将最大的分类概率所对应的分类类别作为所述待分类文本对应的预测分类类别。
5.如权利要求4所述的方法，其特征在于，所述待分类文本为质量问题单；
所述分类结果为质量分类结果，所述质量分类结果包括多个质量问题类别以及所述多个质量问题类别中每一质量问题类别各自对应的分类概率；
所述质量问题单对应的预测质量问题类别为最大的分类概率所对应的质量问题类别。
6.一种模型训练装置，其特征在于，应用于电子设备，所述电子设备中预设有神经网络模型，所述装置包括：
第一处理模块，用于获得接收的多个训练样本中每一训练样本各自对应的特征向量；其中，所述多个训练样本中包含标签标注准确的训练样本和标签标注不准确的训练样本；
所述第一处理模块还用于，对所有所述特征向量进行处理，得到所述多个训练样本对应的比例输出向量；其中，所述比例输出向量为利用权重参数向量对所有所述特征向量进行学习后得到的处理结果，所述权重参数向量中包含的每一元素用于表征对应的训练样本标签标注准确的概率；
参数更新模块，用于基于所述比例输出向量，更新所述神经网络模型的模型参数。
7.如权利要求6所述的装置，其特征在于，所有所述训练样本均标注有相同的训练标签；
所述第一处理模块对所有所述特征向量进行处理，得到所述多个训练样本对应的比例输出向量时，具体用于：
基于注意力Attention机制对所有所述特征向量进行处理，获得每一所述训练样本对应的比例参数，其中，每一所述比例参数表征对应的训练样本标注为所述相同的训练标签的概率，所述权重参数向量为所有所述比例参数的集合；
根据所述权重参数向量及所有所述特征向量，获得所述多个训练样本对应的所述比例输出向量。
8.一种文本分类装置，其特征在于，应用于电子设备，所述电子设备中预设有利用如权利要求1-3中任一项所述的方法更新模型参数后的神经网络模型；
所述装置包括：
接收模块，用于接收待分类文本；
第二处理模块，用于通过所述神经网络模型对所述待分类文本进行处理，得到所述待分类文本对应的分类结果，其中，所述分类结果包括多个分类类别及所述多个分类类别中每一分类类别各自对应的分类概率；
所述第二处理模块还用于，将最大的分类概率所对应的分类类别作为所述待分类文本对应的预测分类类别。
9.一种电子设备，其特征在于，包括：
存储器，用于存储一个或多个程序；
处理器；
当所述一个或多个程序被所述处理器执行时，实现如权利要求1-5中任一项所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1-5中任一项所述的方法。
CN201910645878.3A 2019-07-17 2019-07-17 模型训练方法、文本分类方法及相关装置 Pending CN110472665A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910645878.3A CN110472665A (zh) 2019-07-17 2019-07-17 模型训练方法、文本分类方法及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910645878.3A CN110472665A (zh) 2019-07-17 2019-07-17 模型训练方法、文本分类方法及相关装置

Publications (1)

Publication Number Publication Date
CN110472665A true CN110472665A (zh) 2019-11-19

Family

ID=68508105

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910645878.3A Pending CN110472665A (zh) 2019-07-17 2019-07-17 模型训练方法、文本分类方法及相关装置

Country Status (1)

Country Link
CN (1) CN110472665A (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111191726A (zh) * 2019-12-31 2020-05-22 浙江大学 一种基于弱监督学习多层感知器的故障分类方法
CN111340148A (zh) * 2020-05-22 2020-06-26 支付宝(杭州)信息技术有限公司 一种业务分类模型的训练方法、业务分类方法以及终端
CN111652315A (zh) * 2020-06-04 2020-09-11 广州虎牙科技有限公司 模型训练、对象分类方法和装置、电子设备及存储介质
CN111861099A (zh) * 2020-06-02 2020-10-30 光之树(北京)科技有限公司 联邦学习模型的模型评估方法及装置
CN112016932A (zh) * 2020-09-04 2020-12-01 中国银联股份有限公司 测试方法、装置、服务器及介质
CN112257855A (zh) * 2020-11-26 2021-01-22 Oppo（重庆）智能科技有限公司 一种神经网络的训练方法及装置、电子设备及存储介质
CN112329911A (zh) * 2020-10-20 2021-02-05 上海钧正网络科技有限公司 一种充电异常确定方法和装置
CN112418327A (zh) * 2020-11-25 2021-02-26 Oppo广东移动通信有限公司 图像分类模型的训练方法、装置、电子设备以及存储介质
CN112579777A (zh) * 2020-12-23 2021-03-30 华南理工大学 一种未标注文本的半监督分类方法
CN112734035A (zh) * 2020-12-31 2021-04-30 成都佳华物链云科技有限公司 一种数据处理方法及装置、可读存储介质
CN113077051A (zh) * 2021-04-14 2021-07-06 广东博智林机器人有限公司 网络模型训练方法、装置、文本分类模型及网络模型
CN113095346A (zh) * 2020-01-08 2021-07-09 华为技术有限公司 数据标注的方法以及数据标注的装置
CN114792398A (zh) * 2022-06-23 2022-07-26 阿里巴巴（中国）有限公司 图像分类的方法和目标数据分类模型的构建方法
CN115618237A (zh) * 2022-12-12 2023-01-17 支付宝(杭州)信息技术有限公司 一种模型训练的方法、装置、存储介质及电子设备
CN116245154A (zh) * 2022-11-30 2023-06-09 荣耀终端有限公司 神经网络的训练方法、舆情危机识别方法及相关装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107341176A (zh) * 2017-05-23 2017-11-10 北京三快在线科技有限公司 一种样本权重设置方法及装置，电子设备
CN108959263A (zh) * 2018-07-11 2018-12-07 北京奇艺世纪科技有限公司 一种词条权重计算模型训练方法及装置
CN109165380A (zh) * 2018-07-26 2019-01-08 咪咕数字传媒有限公司 一种神经网络模型训练方法及装置、文本标签确定方法及装置
CN109241288A (zh) * 2018-10-12 2019-01-18 平安科技（深圳）有限公司 文本分类模型的更新训练方法、装置及设备
CN109710925A (zh) * 2018-12-12 2019-05-03 新华三大数据技术有限公司 命名实体识别方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107341176A (zh) * 2017-05-23 2017-11-10 北京三快在线科技有限公司 一种样本权重设置方法及装置，电子设备
CN108959263A (zh) * 2018-07-11 2018-12-07 北京奇艺世纪科技有限公司 一种词条权重计算模型训练方法及装置
CN109165380A (zh) * 2018-07-26 2019-01-08 咪咕数字传媒有限公司 一种神经网络模型训练方法及装置、文本标签确定方法及装置
CN109241288A (zh) * 2018-10-12 2019-01-18 平安科技（深圳）有限公司 文本分类模型的更新训练方法、装置及设备
CN109710925A (zh) * 2018-12-12 2019-05-03 新华三大数据技术有限公司 命名实体识别方法及装置

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111191726A (zh) * 2019-12-31 2020-05-22 浙江大学 一种基于弱监督学习多层感知器的故障分类方法
CN111191726B (zh) * 2019-12-31 2023-07-21 浙江大学 一种基于弱监督学习多层感知器的故障分类方法
CN113095346A (zh) * 2020-01-08 2021-07-09 华为技术有限公司 数据标注的方法以及数据标注的装置
CN111340148A (zh) * 2020-05-22 2020-06-26 支付宝(杭州)信息技术有限公司 一种业务分类模型的训练方法、业务分类方法以及终端
CN111340148B (zh) * 2020-05-22 2020-09-22 支付宝(杭州)信息技术有限公司 一种业务分类模型的训练方法、业务分类方法以及终端
CN111861099A (zh) * 2020-06-02 2020-10-30 光之树(北京)科技有限公司 联邦学习模型的模型评估方法及装置
CN111652315A (zh) * 2020-06-04 2020-09-11 广州虎牙科技有限公司 模型训练、对象分类方法和装置、电子设备及存储介质
CN112016932A (zh) * 2020-09-04 2020-12-01 中国银联股份有限公司 测试方法、装置、服务器及介质
CN112016932B (zh) * 2020-09-04 2024-05-17 中国银联股份有限公司 测试方法、装置、服务器及介质
CN112329911A (zh) * 2020-10-20 2021-02-05 上海钧正网络科技有限公司 一种充电异常确定方法和装置
CN112329911B (zh) * 2020-10-20 2023-04-07 上海钧正网络科技有限公司 一种充电异常确定方法和装置
CN112418327A (zh) * 2020-11-25 2021-02-26 Oppo广东移动通信有限公司 图像分类模型的训练方法、装置、电子设备以及存储介质
CN112257855A (zh) * 2020-11-26 2021-01-22 Oppo（重庆）智能科技有限公司 一种神经网络的训练方法及装置、电子设备及存储介质
CN112257855B (zh) * 2020-11-26 2022-08-16 Oppo（重庆）智能科技有限公司 一种神经网络的训练方法及装置、电子设备及存储介质
CN112579777A (zh) * 2020-12-23 2021-03-30 华南理工大学 一种未标注文本的半监督分类方法
CN112579777B (zh) * 2020-12-23 2023-09-19 华南理工大学 一种未标注文本的半监督分类方法
CN112734035A (zh) * 2020-12-31 2021-04-30 成都佳华物链云科技有限公司 一种数据处理方法及装置、可读存储介质
CN112734035B (zh) * 2020-12-31 2023-10-27 成都佳华物链云科技有限公司 一种数据处理方法及装置、可读存储介质
CN113077051B (zh) * 2021-04-14 2024-01-26 南京零洞数智科技有限公司 网络模型训练方法、装置、文本分类模型及网络模型
CN113077051A (zh) * 2021-04-14 2021-07-06 广东博智林机器人有限公司 网络模型训练方法、装置、文本分类模型及网络模型
CN114792398A (zh) * 2022-06-23 2022-07-26 阿里巴巴（中国）有限公司 图像分类的方法和目标数据分类模型的构建方法
CN116245154A (zh) * 2022-11-30 2023-06-09 荣耀终端有限公司 神经网络的训练方法、舆情危机识别方法及相关装置
CN115618237A (zh) * 2022-12-12 2023-01-17 支付宝(杭州)信息技术有限公司 一种模型训练的方法、装置、存储介质及电子设备

Similar Documents

Publication Publication Date Title
CN110472665A (zh) 模型训练方法、文本分类方法及相关装置
CN107168992A (zh) 基于人工智能的文章分类方法及装置、设备与可读介质
CN109885768A (zh) 工单处理方法、装置及系统
CN106651057A (zh) 一种基于安装包序列表的移动端用户年龄预测方法
CN110472053A (zh) 一种面向公共资源招投标公告数据的自动分类方法及其系统
CN103745233B (zh) 基于空间信息迁移的高光谱图像分类方法
CN110263979A (zh) 基于强化学习模型预测样本标签的方法及装置
CN110232128A (zh) 题目文本分类方法及装置
CN115002200A (zh) 基于用户画像的消息推送方法、装置、设备及存储介质
CN113626607A (zh) 异常工单识别方法、装置、电子设备及可读存储介质
CN104361010A (zh) 一种纠正新闻分类的自动分类方法
CN104750875A (zh) 一种机器错误数据分类方法及系统
CN107491536A (zh) 一种试题校验方法、试题校验装置及电子设备
CN110175657A (zh) 一种图像多标签标记方法、装置、设备及可读存储介质
CN103617146B (zh) 一种基于硬件资源消耗的机器学习方法及装置
CN110321960A (zh) 一种工厂生产要素的预测方法及系统
CN115081025A (zh) 基于数字中台的敏感数据管理方法、装置及电子设备
CN113268665A (zh) 基于随机森林的信息推荐方法、装置、设备及存储介质
CN113807728A (zh) 基于神经网络的绩效考核方法、装置、设备及存储介质
CN113051911A (zh) 提取敏感词的方法、装置、设备、介质及程序产品
CN116703466A (zh) 基于改进灰狼算法的系统访问量预测方法及其相关设备
CN114925938B (zh) 一种基于自适应svm模型的电能表运行状态预测方法、装置
Palanichamy et al. Machine learning methods to predict particulate matter PM 2.5
CN109388711A (zh) 日志流聚类的方法和装置
Wang et al. Machine-learning-based model for supporting energy performance benchmarking for office buildings

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20191119