CN116431597A - 用于训练数据分类模型的方法、电子设备和计算机程序产品 - Google Patents

用于训练数据分类模型的方法、电子设备和计算机程序产品 Download PDF

Info

Publication number
CN116431597A
CN116431597A CN202111660132.3A CN202111660132A CN116431597A CN 116431597 A CN116431597 A CN 116431597A CN 202111660132 A CN202111660132 A CN 202111660132A CN 116431597 A CN116431597 A CN 116431597A
Authority
CN
China
Prior art keywords
training
sample data
classification model
training rule
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111660132.3A
Other languages
English (en)
Inventor
王子嘉
杨文彬
倪嘉呈
贾真
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dell Products LP
Original Assignee
Dell Products LP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dell Products LP filed Critical Dell Products LP
Priority to CN202111660132.3A priority Critical patent/CN116431597A/zh
Priority to US17/580,946 priority patent/US20230215142A1/en
Publication of CN116431597A publication Critical patent/CN116431597A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/211—Schema design and management
    • G06F16/212—Schema design and management with details for data modelling support
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/906—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/951—Indexing; Web crawling techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开的实施例涉及一种用于训练数据分类模型的方法、电子设备和计算机程序产品。该方法包括基于多个样本数据被一个数据分类模型分类到相应类别的概率来生成第一训练规则。该方法还包括基于多个样本数据与相应类别的相关度来生成第二训练规则。此外，该方法还包括使用第一训练规则和第二训练规则训练数据分类模型。利用该方法训练数据分类模型，能够提高数据分类模型对数据分类的准确度以及提高对噪声的鲁棒性。

Description

用于训练数据分类模型的方法、电子设备和计算机程序产品
技术领域
本公开的各实施例涉及计算机领域，更具体地，涉及人工智能技术领域。本公开的各实施例提供了用于训练数据分类模型的方法、电子设备、装置、介质和计算机程序产品。
背景技术
随着人工智能技术的发展，出现了各种对数据进行分类的数据分类模型，例如，用于分类图像的神经网络模型。为了提高数据分类模型的准确度，需要大量的训练样本。然而，获取合适的训练样本是困难的，甚至有一些训练样本的标签是错误的(在本文中被称为噪声)，反而使得数据分类模型无法将数据分类为正确的类别。因此，需要一种提高数据分类模型的分类准确度和提高对抗噪声的能力的训练数据分类模型的方法。
发明内容
本公开的实施例提供了一种用于训练数据分类模型的方法、电子设备、装置、介质和计算机程序产品。
在本公开的第一方面中，提供了一种用于训练数据分类模型的方法。该方法包括基于多个样本数据被一个数据分类模型分类到相应类别的概率来生成第一训练规则。该方法还包括基于多个样本数据与相应类别的相关度来生成第二训练规则。此外，该方法还包括使用第一训练规则和第二训练规则训练数据分类模型。
在本公开的第二方面中，提供了一种电子设备。该电子设备包括处理器以及与处理器耦合的存储器，存储器具有存储于其中的指令，指令在被处理器执行时使设备执行动作。动作包括基于多个样本数据被一个数据分类模型分类到相应类别的概率来生成第一训练规则。动作还包括基于多个样本数据与相应类别的相关度来生成第二训练规则。此外，动作还包括使用第一训练规则和第二训练规则训练数据分类模型。
在本公开的第三方面中，提供了一种用于训练数据分类模型的装置。该装置包括：第一训练规则生成模块，被配置为基于多个样本数据被一个数据分类模型分类到相应类别的概率来生成第一训练规则。该装置还包括第二训练规则生成模块，被配置为基于多个样本数据与相应类别的相关度来生成第二训练规则。此外，该装置还包括训练模块，被配置为使用第一训练规则和第二训练规则训练数据分类模型。
在本公开的第四方面中，提供了一种计算机可读存储介质。该计算机可读存储介质上存储有一条或多条计算机指令，其中一条或多条计算机指令被处理器执行以实现根据第一方面所述的方法。
在本公开的第五方面中，提供了一种计算机程序产品。该计算机程序产品包括一条或多条计算机指令，其中一条或多条计算机指令被处理器执行以实现根据第一方面所述的方法。
提供发明内容部分是为了以简化的形式来介绍对概念的选择，它们在下文的具体实施方式中将被进一步描述。发明内容部分无意标识要求保护的主题的关键特征或主要特征，也无意限制要求保护的主题的范围。
附图说明
结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标注表示相同或相似的元素，其中：
图1示出了本公开的实施例能够在其中实现的示例环境的示意图；
图2示出了根据本公开的某些实施例的用于训练数据分类模型的方法的流程图；
图3A示出了根据本公开的某些实施例的训练框架的示意性框图；
图3B示出了根据本公开的某些实施例的训练效果的示意图；
图4示出了根据本公开的某些实施例的用于训练数据分类模型的装置的框图；以及
图5示出了可以用来实现根据本公开的某些实施例的示例设备的示意性框图。
在所有附图中，相同或相似参考数字表示相同或相似元素。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
在本文中使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其它明确的和隐含的定义。
发明人注意到，基于神经网络的数据分类模型(例如，深度神经网络(DNN))对数据进行分类的能力较好，并且已经被普通使用。然而，对数据分类模型的训练需要大量的经过标注(例如，标签)的样本数据。这些样本数据的标签的来自可以是人工，也可以是从网络爬取的，所以存在大量的噪声。这些噪声将严重影响数据分类模型的分类性能。同时，大量的噪声可以使得数据分类模型学习大量噪声的特征，从而产生过拟合的现象，使得数据分类模型的性能下降。因此，急需一种训练数据分类模型的方法，以提高数据分类模型的性能以及对噪声的鲁棒性。
有鉴于此，本公开的方法提供了一种用于提高数据分类模型的性能的训练方法。通过下文描述将会理解，与已知传统方案相比，通过利用多个样本数据被一个数据分类模型分类到相应类别的概率来生成第一训练规则以训练数据分类模型，并且还利用基于多个样本数据与相应类别的相关度来生成第二训练规则以训练数据分类模型。这样，可以使得数据分类模型对数据的分类的准确度提高，并且降低数据分类模型对噪音的敏感度，进而提高数据分类模型对抗噪声的能力。因此，本公开的工作原理和机制上都显著不同于任何已知方法。
在下文描述中，某些实施例将参考DNN来讨论。但是应当理解，这仅仅是为了更好地理解本公开实施例的原理和思想，而无意以任何方式限制本公开的范围。
图1示出了本公开的实施例能够在其中实现的示例环境100的示意图。
在电子设备101处(例如，计算机系统、计算模块、服务器等)，获取(例如，接收)样本数据，例如，图1的样本数据102-1、样本数据102-2。样本数据(例如，包括具有被拍摄的各种动物的照片)中包括了数据的特征，这些特征将被DNN提取，并且依据这些被提取的特征将样本数据分类为相应类别(例如，狗的照片、猫的照片)。样本数据并不被限制为图像数据，并且样本数据还可以是文本、语音、视频等数据形式。
样本数据可以有多个，例如第一个样本数据102-1、第二个样本数据102-2、……、第N个样本数据102-N(单独或统一地被称为样本数据102)。
应当理解，图1中所示的示例环境100仅是示意性的，而无意于限制本公开的范围。示例环境100中还可以包括各种附加的设备、装置和/或模块。而且，图1中所示的模块也仅是示意性的，而无意于限制本公开的范围。在某些实施例中，某些模块可以集成到一个物理实体上，或者进一步拆分成更多模块。
图2示出了根据本公开的某些实施例的用于训练数据分类模型的方法的流程图。
为了便于描述，将以对DNN的训练作为示例来描述方法200所实现的数据分类模型的训练过程。但是正如上文所述的，这仅仅是示例性的，无意以任何方式限制本公开的范围。本文描述的方法200同样能够用于其他数据分类模型的训练过程。
在框202处，基于多个样本数据102被一个数据分类模型分类到相应类别的概率来生成第一训练规则。在训练过程中，假设具有N个样本数据，以及K个类别，针对N个样本数据102中的第n个样本数据，DNN可以生成第n个样本数据102属于K个类别中的一个类别k的概率。还可以基于该概率，生成第一训练规则。在一些实施例中，该第一训练规则可以是交叉熵损失(Cross Entropy Loss)函数(为了简洁，在本文中被称为第一损失函数)。
在一些实施例中，可以利用以下公式表示第一损失函数。
Figure BDA0003449304060000051
其中，lce(xn)表示样本数据xn的交叉熵损失，K表示类别的数目，k表示类别k，q(k|xn)表示样本数据xn被分类为类别k的概率的地面真值，p(k|xn)表示样本数据xn被数据分类模型分类为类别k的概率。
在框204处，基于多个样本数据与相应类别的相关度来生成第二训练规则。在一些实施例中，该相关度可以利用经过归一化的指示样本数据xn被分类到类别k的后验概率来表示。
在一些实施例中，可以利用以下公式(2)、(3)得到相关度。
Figure BDA0003449304060000052
其中，dn，k表示样本数据xn与类别k的欧式距离，Ck表示类别k中心的特征，zn表示样本数据xn的特征。
Figure BDA0003449304060000053
其中，p(yn，k|xn)表示经过归一化的指示样本数据xn被分类到类别k的后验概率。
在一些实施例中，该第二训练规则可以是对称交叉熵损失(Symmetric CrossEntropy Loss)函数(为了简洁，在本文中被称为第二损失函数)。
在一些实施例中，可以利用以下公式表示第二损失函数。
Figure BDA0003449304060000061
其中，lclf(xn)表示针对样本数据xn的对称交叉熵损失，α表示可以调整数值的参数。
在一些实施例中，该第二训练规则还可以包括重构损失(reconstruction loss)函数。
在一些实施例中，可以利用以下公式表示重构损失。
Figure BDA0003449304060000062
其中，lrec(xn)表示重构损失，∈表示重构的阈值，C表示从1到k的类别的中心的集合，
Figure BDA0003449304060000063
表示样本数据的标签矩阵的转置。
在框206处，使用第一训练规则和第二训练规则训练数据分类模型。在一些实施例中，可以使用反向传播算法训练数据分类模型。反向传播是一种用于优化神经网络中的权重的技术。反向传播可以被用于查看每个神经网络中的节点要对多少损失负责，并且随后以这样一种方式更新权重，即通过给予具有较高误差率的节点较低的权重来最小化损失，反之亦然。反向传播允许权重被调整，以最小化实际输出和期望输出之间的差异。
因为对第一训练规则和第二训练规则的联合使用，可以使得在训练时，数据分类模型的输出既接近标签，又接近其预测的输出(即，分类的类别)。因此，数据分类模型对数据的分类准确度可以被提高。同时，由于第二损失函数中还可以包括重构损失，这增强了数据分类模型的输出与相应类别的相关度。因此，这样训练得到的数据分类模型，能够有效的对抗噪音，是噪音鲁棒的。
在一些实施例中，方法200还可以包括针对多个样本数据进行聚类，以在多个样本数据中确定位于各个聚类中心的相应的中心样本数据。方法200还可以包括基于中心样本数据与相邻中心样本数据之间的相应距离来生成第三训练规则。此外，方法200还可以包括使用第一训练规则、第二训练规则和第三训练规则训练数据分类模型。
第三训练规则可以包括对样本数据进行中心正则化。具体的，可以使用以下公式(6)和(7)处理样本数据102。
考虑将样本数据102类比于分子，可以利用分子间的距离与分子间的引力和斥力之间的关系(例如，势能关系)的函数来模仿样本数据102之间相应的数学关系。
Figure BDA0003449304060000071
其中，r表示两个样本数据102之间的距离，υ＞u＞0，υ表示斥力的幂，u表示引力的幂。假设r0表示使得势能最小化的距离。
Figure BDA0003449304060000072
其中，Lpem(C)表示第三损失(即，势能损失)，γ、b表示可以调整数值的参数，并且γ＞0、b＜r0。K表示类别的数目并且K＞2。dis(，)表示距离算符，通过该算符确定括号内的操作对象的欧式距离。ci、cj表示第i个类别的中心和第j个类别的中心。
在一些实施例中，还可以使用反向传播算法，利用第一训练规则、第二训练规则和第三训练规则对数据分类模型进行训练。具体地，可以利用第一损失函数、第二损失函数和第三损失函数的加权和对数据分类模型进行训练。
由于第三训练规则的使用，相当于将每个类别的代表性数据(即，聚类中心)的特征与真实数据的特征聚合，使得聚类中心更均匀，减少了噪声的干扰。从任何随机的样本数据开始训练，都能快速的得到不会对噪声产生过拟合现象的数据分类模型。
在一些实施例中，第一损失函数可以包括与概率相关联的第一参数集合，第二损失函数可以包括与相关度相关联的第二参数集合，以及第三损失函数可以包括与距离相关联的第三参数集合。
在一些实施例中，训练数据分类模型的目标可以包括使得以下各项的加权和被最小化：第一损失函数、第二损失函数和第三损失函数。
由于第一损失函数可以包括与概率相关联的第一参数集合，第二损失函数可以包括与相关度相关联的第二参数集合，第三损失函数可以包括与距离相关联的第三参数集合，所以可以调整第一参数集合、第二参数集合、或第三参数集合中的至少一个参数的值，以使得加权和被最小化。例如，调整υ、u、γ、b、∈、∈等参数中的一个或多个参数以达到训练目标。
在一些实施例中，可以通过调整第一参数集合中的至少一个参数，使得样本数据被正确分类的概率增加，以使得加权和被最小化。还可以通过调整第二参数集合中的至少一个参数，使得样本数据与相应的正确类别之间的相关度增强，以使得加权和被最小化。还可以通过调整第三参数集合中的至少一个参数，使得中心样本数据与相邻中心样本数据之间的距离更接近，以使得加权和被最小化。可以同时使用以上三个方式，或者使用其中的一个方式或二个方式来实现训练目标。
图3A示出了根据本公开的某些实施例的训练框架的示意性框图。
如图所示，当样本数据102被输入值数据处理模型(以DNN为例)后，首先会被提取特征。接下来利用方法200的训练DNN。在DNN的分类器中，对样本数据102的预测类别会输出并且利用反向传播算法，利用第一训练规则、第二训练规则对DNN中的节点的权重进行调整以满足训练目标。第三损失函数则起到循环约束的作用，进一步增强数据分类模型对噪音的鲁棒性。
图3B示出了根据本公开的某些实施例的训练效果的示意图。
如图所示，在301-B处，当训练开始时，各个类别的中心不够均匀，因此相应的特征也不足够。当训练开始后，即在302-B处，各个类别的中心向彼此均匀的方向移动。并且在在303-B处，即训练结束时达到相对均匀的分布。这样，提升了数据分类模型的准确度，并且能在一定程度上排除了对噪声的干扰。
图4示出了根据本公开的某些实施例的用于训练数据分类模型的装置的框图。
装置400包括第一训练规则生成模块402，被配置为基于多个样本数据被一个数据分类模型分类到相应类别的概率来生成第一训练规则。
装置400还包括第二训练规则生成模块404，被配置为基于多个样本数据与相应类别的相关度来生成第二训练规则。
装置400还包括训练模块406，被配置为使用第一训练规则和第二训练规则训练数据分类模型。
在一些实施例中，装置400还可以包括第三训练规则生成模块，被配置为针对多个样本数据进行聚类，以在多个样本数据中确定位于各个聚类中心的相应的中心样本数据，并且基于中心样本数据与相邻中心样本数据之间的相应距离来生成第三训练规则。训练模块406还可以被配置为使用第一训练规则、第二训练规则和第三训练规则训练数据分类模型。
在一些实施例中，其中第一训练规则、第二训练规则和第三训练规则可以包括对应的第一损失函数、第二损失函数和第三损失函数。
在一些实施例中，训练模块还可以被配置为：将训练数据分类模型的目标确定为使得以下各项的加权和被最小化：第一损失函数、第二损失函数和第三损失函数。
在一些实施例中，其中第一损失函数可以包括与概率相关联的第一参数集合，第二损失函数可以包括与相关度相关联的第二参数集合，以及第三损失函数可以包括与距离相关联的第三参数集合。
在某一实施例中，训练模块还可以被配置为调整第一参数集合、第二参数集合、或第三参数集合中的至少一个参数的值，以使得加权和被最小化。
在一些实施例中，训练模块还可以被配置为通过以下方式使得加权和被最小化：调整第一参数集合中的至少一个参数，使得样本数据被正确分类的概率增加，或者调整第二参数集合中的至少一个参数，使得样本数据与相应的正确类别之间的相关度增强，或者调整第三参数集合中的至少一个参数，使得中心样本数据与相邻中心样本数据之间的距离更接近。
可以理解，通过以上描述的装置400而训练得到的数据分类模型，不但可以解决提高对数据分类的准确度，还可以降低数据分类模型对噪声的敏感性，从而提高了数据分类模型对抗噪声的能力，进而更加提高对数据分类的准确度。因此，装置400也可以提供如方法200和前述其他优点中的至少一个。
图5示出了可以用来实现本公开的实施例的设备500的示意性框图，设备500可以是本公开的实施例所描述的电子设备。如图5所示，设备500包括中央处理单元(CPU)501，其可以根据存储在只读存储器(ROM)502中的计算机程序指令或者从存储单元508加载到随机访问存储器(RAM)503中的计算机程序指令，来执行各种适当的动作和处理。在RAM 503中，还可存储设备500操作所需的各种程序和数据。CPU 501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。虽然未在图5中示出，设备500还可以包括协处理器。
设备500中的多个部件连接至I/O接口505，包括：输入单元506，例如键盘、鼠标等；输出单元507，例如各种类型的显示器、扬声器等；存储单元508，例如磁盘、光盘等；以及通信单元509，例如网卡、调制解调器、无线通信收发机等。通信单元509允许设备500通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
上文所描述的各个方法或过程可由处理单元501来执行。例如，在一些实施例中，方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元508。在一些实施例中，计算机程序的部分或者全部可以经由ROM 502和/或通信单元509而被载入和/或安装到设备500上。当计算机程序被加载到RAM 503并由CPU 501执行时，可以执行上文描述的方法或过程中的一个或多个步骤或动作。
在一些实施例中，以上所描述的方法和过程可以被实现为计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于执行本公开的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是但不限于电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
本文所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，编程语言包括面向对象的编程语言，以及常规的过程式编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方面。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理单元，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理单元执行时，产生了实现流程图和/或框图中的一个或多个框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个框中规定的功能/动作。
附图中的流程图和框图显示了根据本公开的多个实施例的设备、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这取决于所涉及的功能。也要注意的是，框图和/或流程图中的每个框、以及框图和/或流程图中的框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所公开的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中技术的技术改进，或者使得本技术领域的其它普通技术人员能理解本文公开的各实施例。
以下列出了本公开的一些示例实现。
在本公开的第一方面中，提供了一种用于训练数据分类模型的方法。该方法包括基于多个样本数据被一个数据分类模型分类到相应类别的概率来生成第一训练规则。该方法还包括基于多个样本数据与相应类别的相关度来生成第二训练规则。该方法还包括使用第一训练规则和第二训练规则训练数据分类模型。
在某些实施例中，该方法还包括：针对多个样本数据进行聚类，以在多个样本数据中确定位于各个聚类中心的相应的中心样本数据。方法还包括基于中心样本数据与相邻中心样本数据之间的相应距离来生成第三训练规则。此外，方法还包括使用第一训练规则、第二训练规则和第三训练规则训练数据分类模型。
在某些实施例中，其中第一训练规则、第二训练规则和第三训练规则包括对应的第一损失函数、第二损失函数和第三损失函数。
在某些实施例中，其中训练数据分类模型的目标包括使得以下各项的加权和被最小化：第一损失函数、第二损失函数和第三损失函数。
在某些实施例中，其中第一损失函数包括与概率相关联的第一参数集合，第二损失函数包括与相关度相关联的第二参数集合，以及第三损失函数包括与距离相关联的第三参数集合。
在某些实施例中，该方法还包括调整第一参数集合、第二参数集合、或第三参数集合中的至少一个参数的值，以使得加权和被最小化。
在某些实施例中，该方法还包括通过以下方式使得加权和被最小化：调整第一参数集合中的至少一个参数，使得样本数据被正确分类的概率增加，或者调整第二参数集合中的至少一个参数，使得样本数据与相应的正确类别之间的相关度增强，或者调整第三参数集合中的至少一个参数，使得中心样本数据与相邻中心样本数据之间的距离更接近。
在本公开的第二方面中，提供了一种电子设备。该电子设备包括处理器以及与处理器耦合的存储器，存储器具有存储于其中的指令，指令在被处理器执行时使设备执行动作。动作包括基于多个样本数据被一个数据分类模型分类到相应类别的概率来生成第一训练规则。动作还包括基于多个样本数据与相应类别的相关度来生成第二训练规则。此外，动作还包括使用第一训练规则和第二训练规则训练数据分类模型。
在某些实施例中，动作还包括：针对多个样本数据进行聚类，以在多个样本数据中确定位于各个聚类中心的相应的中心样本数据。动作还包括基于中心样本数据与相邻中心样本数据之间的相应距离来生成第三训练规则。此外，动作还包括使用第一训练规则、第二训练规则和第三训练规则训练数据分类模型。
在某些实施例中，其中第一训练规则、第二训练规则和第三训练规则包括对应的第一损失函数、第二损失函数和第三损失函数。
在某些实施例中，其中训练数据分类模型的目标包括使得以下各项的加权和被最小化：第一损失函数、第二损失函数和第三损失函数。
在某些实施例中，其中第一损失函数包括与概率相关联的第一参数集合，第二损失函数包括与相关度相关联的第二参数集合，以及第三损失函数包括与距离相关联的第三参数集合。
在某些实施例中，动作还包括调整第一参数集合、第二参数集合、或第三参数集合中的至少一个参数的值，以使得加权和被最小化。
在某些实施例中，动作还包括通过以下方式使得加权和被最小化：调整第一参数集合中的至少一个参数，使得样本数据被正确分类的概率增加，或者调整第二参数集合中的至少一个参数，使得样本数据与相应的正确类别之间的相关度增强，或者调整第三参数集合中的至少一个参数，使得中心样本数据与相邻中心样本数据之间的距离更接近。
在第三方面的实施例中，提供了一种用于训练数据分类模型的装置。该装置包括第一训练规则生成模块，被配置为基于多个样本数据被一个数据分类模型分类到相应类别的概率来生成第一训练规则。该装置还包括第二训练规则生成模块，被配置为基于多个样本数据与相应类别的相关度来生成第二训练规则。此外，该装置还包括训练模块，被配置为使用第一训练规则和第二训练规则训练数据分类模型。
在第四方面的实施例中，提供了一种计算机可读存储介质。该计算机可读存储介质上存储有一条或多条计算机指令，其中一条或多条计算机指令被处理器执行以实现根据第一方面所述的方法。
在第五方面的实施例中，提供了一种计算机程序产品。该计算机程序产品包括一条或多条计算机指令，其中一条或多条计算机指令在被处理器执行时，实现根据第一方面所述的方法。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本公开，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。

Claims (17)

1.一种用于训练数据分类模型的方法，包括：
基于多个样本数据被一个数据分类模型分类到相应类别的概率来生成第一训练规则；
基于所述多个样本数据与所述相应类别的相关度来生成第二训练规则；以及
使用所述第一训练规则和所述第二训练规则训练所述数据分类模型。
2.根据权利要求1所述的方法，还包括：
针对所述多个样本数据进行聚类，以在所述多个样本数据中确定位于各个聚类中心的相应的中心样本数据；
基于所述中心样本数据与相邻中心样本数据之间的相应距离来生成第三训练规则；以及
使用所述第一训练规则、所述第二训练规则和所述第三训练规则训练所述数据分类模型。
3.根据权利要求2所述的方法，其中：
所述第一训练规则、所述第二训练规则和所述第三训练规则包括对应的第一损失函数、第二损失函数和第三损失函数。
4.根据权利要求3所述的方法，其中：
训练所述数据分类模型的目标包括使得以下各项的加权和被最小化：所述第一损失函数、所述第二损失函数和所述第三损失函数。
5.根据权利要求4所述的方法，其中：
所述第一损失函数包括与所述概率相关联的第一参数集合；
所述第二损失函数包括与所述相关度相关联的第二参数集合；以及
所述第三损失函数包括与所述距离相关联的第三参数集合。
6.根据权利要求5所述的方法，还包括：
调整所述第一参数集合、所述第二参数集合、或所述第三参数集合中的至少一个参数的值，以使得所述加权和被最小化。
7.根据权利要求6所述的方法，还包括通过以下方式使得所述加权和被最小化：
调整所述第一参数集合中的至少一个参数，使得所述样本数据被正确分类的所述概率增加；或者
调整所述第二参数集合中的至少一个参数，使得所述样本数据与相应的正确类别之间的所述相关度增强；或者
调整所述第三参数集合中的至少一个参数，使得所述中心样本数据与所述相邻中心样本数据之间的所述距离更接近。
8.一种电子设备，包括：
处理器；以及
与所述处理器耦合的存储器，所述存储器具有存储于其中的指令，所述指令在被处理器执行时使所述设备执行动作，所述动作包括：
基于多个样本数据被一个数据分类模型分类到相应类别的概率来生成第一训练规则；
基于所述多个样本数据与所述相应类别的相关度来生成第二训练规则；以及
使用所述第一训练规则和所述第二训练规则训练所述数据分类模型。
9.根据权利要求8所述的电子设备，所述动作还包括：
针对所述多个样本数据进行聚类，以在所述多个样本数据中确定位于各个聚类中心的相应的中心样本数据；
基于所述中心样本数据与相邻中心样本数据之间的相应距离来生成第三训练规则；以及
使用所述第一训练规则、所述第二训练规则和所述第三训练规则训练所述数据分类模型。
10.根据权利要求9所述的电子设备，其中：
所述第一训练规则、所述第二训练规则和所述第三训练规则包括对应的第一损失函数、第二损失函数和第三损失函数。
11.根据权利要求10所述的电子设备，其中：
训练所述数据分类模型的目标包括使得以下各项的加权和被最小化：所述第一损失函数、所述第二损失函数和所述第三损失函数。
12.根据权利要求11所述的电子设备，其中：
所述第一损失函数包括与所述概率相关联的第一参数集合；
所述第二损失函数包括与所述相关度相关联的第二参数集合；以及
所述第三损失函数包括与所述距离相关联的第三参数集合。
13.根据权利要求12所述的电子设备，所述动作还包括：
调整所述第一参数集合、所述第二参数集合、或所述第三参数集合中的至少一个参数的值，以使得所述加权和被最小化。
14.根据权利要求13所述的电子设备，还包括通过以下动作使得所述加权和被最小化：
调整所述第一参数集合中的至少一个参数，使得所述样本数据被正确分类的所述概率增加；或者
调整所述第二参数集合中的至少一个参数，使得所述样本数据与相应的正确类别之间的所述相关度增强；或者
调整所述第三参数集合中的至少一个参数，使得所述中心样本数据与所述相邻中心样本数据之间的所述距离更接近。
15.一种用于训练数据分类模型的装置，包括：
第一训练规则生成模块，被配置为基于多个样本数据被一个数据分类模型分类到相应类别的概率来生成第一训练规则；
第二训练规则生成模块，被配置为基于所述多个样本数据与所述相应类别的相关度来生成第二训练规则；以及
训练模块，被配置为使用所述第一训练规则和所述第二训练规则训练所述数据分类模型。
16.一种计算机可读存储介质，其上存储有一条或多条计算机指令，其中所述一条或多条计算机指令被处理器执行以实现根据权利要求1至7中任一项所述的方法。
17.一种计算机程序产品，包括一条或多条计算机指令，其中所述一条或多条计算机指令被处理器执行以实现根据权利要求1至7中任一项所述的方法。
CN202111660132.3A 2021-12-31 2021-12-31 用于训练数据分类模型的方法、电子设备和计算机程序产品 Pending CN116431597A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111660132.3A CN116431597A (zh) 2021-12-31 2021-12-31 用于训练数据分类模型的方法、电子设备和计算机程序产品
US17/580,946 US20230215142A1 (en) 2021-12-31 2022-01-21 Method, electronic device, and computer program product for training data classification model

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111660132.3A CN116431597A (zh) 2021-12-31 2021-12-31 用于训练数据分类模型的方法、电子设备和计算机程序产品

Publications (1)

Publication Number Publication Date
CN116431597A true CN116431597A (zh) 2023-07-14

Family

ID=86992054

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111660132.3A Pending CN116431597A (zh) 2021-12-31 2021-12-31 用于训练数据分类模型的方法、电子设备和计算机程序产品

Country Status (2)

Country Link
US (1) US20230215142A1 (zh)
CN (1) CN116431597A (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116821724B (zh) * 2023-08-22 2023-12-12 腾讯科技（深圳）有限公司 多媒体处理网络生成方法、多媒体处理方法及装置
CN117152567B (zh) * 2023-10-31 2024-02-23 腾讯科技（深圳）有限公司 特征提取网络的训练方法、分类方法、装置及电子设备

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008154029A1 (en) * 2007-06-11 2008-12-18 The Trustees Of Columbia University In The City Of New York Data classification and hierarchical clustering
US8000530B2 (en) * 2006-10-26 2011-08-16 Hubin Jiang Computer-implemented expert system-based method and system for document recognition and content understanding
US10446272B2 (en) * 2009-12-09 2019-10-15 Veracyte, Inc. Methods and compositions for classification of samples
TW201142630A (en) * 2009-12-21 2011-12-01 Ibm Method for training and using a classification model with association rule models
CN102141997A (zh) * 2010-02-02 2011-08-03 三星电子（中国）研发中心 智能决策支持系统及其智能决策方法
WO2015065697A1 (en) * 2013-10-28 2015-05-07 Molecular Devices, Llc Method and system for classifying and identifying individual cells in a microscopy image
EP3210140A4 (en) * 2014-10-20 2018-06-06 3M Innovative Properties Company Identification of codable sections in medical documents
US10853858B2 (en) * 2016-10-28 2020-12-01 Walmart Apollo, Llc Systems and methods for optimizing normalization of product attributes for a webpage of an online retailer
US11082438B2 (en) * 2018-09-05 2021-08-03 Oracle International Corporation Malicious activity detection by cross-trace analysis and deep learning
US11741956B2 (en) * 2021-02-26 2023-08-29 Walmart Apollo, Llc Methods and apparatus for intent recognition
US11741215B1 (en) * 2022-11-07 2023-08-29 Ledgerdomain Inc. Recipient credentialing leveraging private keys on keystores read by provisioned devices

Also Published As

Publication number Publication date
US20230215142A1 (en) 2023-07-06

Similar Documents

Publication Publication Date Title
CN109308318B (zh) 跨领域文本情感分类模型的训练方法、装置、设备及介质
US20220067588A1 (en) Transforming a trained artificial intelligence model into a trustworthy artificial intelligence model
CN116431597A (zh) 用于训练数据分类模型的方法、电子设备和计算机程序产品
US20230049817A1 (en) Performance-adaptive sampling strategy towards fast and accurate graph neural networks
CN114090780B (zh) 一种基于提示学习的快速图片分类方法
US11281999B2 (en) Predictive accuracy of classifiers using balanced training sets
US20220092407A1 (en) Transfer learning with machine learning systems
CN113469186B (zh) 一种基于少量点标注的跨域迁移图像分割方法
US20210081800A1 (en) Method, device and medium for diagnosing and optimizing data analysis system
US20220067579A1 (en) Dynamic ontology classification system
JP2022515941A (ja) 生成的敵対神経網ベースの分類システム及び方法
CN115358305A (zh) 一种基于边界样本迭代生成的增量学习鲁棒性提升方法
Fang et al. Learning latent local conversation modes for predicting comment endorsement in online discussions
Fonseca et al. Model-agnostic approaches to handling noisy labels when training sound event classifiers
CN112364198A (zh) 一种跨模态哈希检索方法、终端设备及存储介质
JP7290183B2 (ja) データ処理の方法、ニューラルネットワークの学習方法及びデバイス
US20220083870A1 (en) Training in Communication Systems
US20240020531A1 (en) System and Method for Transforming a Trained Artificial Intelligence Model Into a Trustworthy Artificial Intelligence Model
CN114078203A (zh) 一种基于改进pate的图像识别方法和系统
US20230034322A1 (en) Computer-implemented method, device, and computer program product
JP7483005B2 (ja) データ・ラベル検証
CN113836438B (zh) 用于帖子推荐的方法、电子设备和存储介质
US20230129870A1 (en) Method, apparatus, electronic device and medium for training models
Zhang et al. Towards harnessing feature embedding for robust learning with noisy labels
EP4250180A1 (en) Method and apparatus for generating neural network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination