CN112329883A - 模型训练系统、方法、设备及存储介质 - Google Patents

模型训练系统、方法、设备及存储介质 Download PDF

Info

Publication number
CN112329883A
CN112329883A CN202011334852.6A CN202011334852A CN112329883A CN 112329883 A CN112329883 A CN 112329883A CN 202011334852 A CN202011334852 A CN 202011334852A CN 112329883 A CN112329883 A CN 112329883A
Authority
CN
China
Prior art keywords
image
training
module
unlabeled
label
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011334852.6A
Other languages
English (en)
Inventor
薛致远
李亚乾
郭彦东
杨林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202011334852.6A priority Critical patent/CN112329883A/zh
Publication of CN112329883A publication Critical patent/CN112329883A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供了一种模型训练系统、方法、设备及存储介质。所述系统包括：标注模块、训练模块、测试模块；标注模块，用于获取无标签图像集合；将无标签图像集合聚类成n类，得到n类无标签图像子集合；基于有标签图像集合分别对n类无标签图像子集合标注标签；将完成标签标注的无标签图像子集合加入有标签图像集合，得到训练图像集合和测试图像集合；训练模块，用于基于训练图像集合，对神经网络模型进行训练，得到完成训练的神经网络模型；测试模块，用于基于测试图像集合对完成训练的神经网络模型进行测试，得到测试结果；将测试结果反馈给训练模块。本申请实施例提供的模型训练系统为模型研发流程的各个环节提供了全面的集成化的支持。

Description

模型训练系统、方法、设备及存储介质
技术领域
本申请实施例涉及模型训练技术领域，特别涉及一种模型训练系统、方法、设备及存储介质。
背景技术
随着计算机技术的发展，各行业可以利用神经网络模型对数据进行分析并解决各种问题。
在相关技术中，神经网络模型从确定需求到最终可用的模型，往往要经过下列步骤：首先需要获取数据，对该数据进行清洗以及标注，得到完成标注的数据；然后通过完成标注的数据对神经网络模型进行训练，得到完成训练的神经网络模型；其次通过测试数据对该完成训练的神经网络模型进行测试，得到该完成训练的神经网络模型的正确率；最后基于错误案例重复对神经网络模型进行训练和测试，直至最终得到正确率满足阈值的神经网络模型。
发明内容
本申请实施例提供一种模型训练系统、方法、设备及存储介质。所述技术方案如下：
一方面，本申请实施例提供一种模型训练系统，所述系统包括：标注模块、训练模块、测试模块；
所述标注模块，用于获取无标签图像集合，所述无标签图像集合中包括至少一个无标签图像，所述无标签图像是指未经标注的图像；将所述无标签图像集合聚类成n类，得到n类无标签图像子集合，所述n为正整数；基于有标签图像集合分别对所述n类无标签图像子集合标注标签；将完成标签标注的所述无标签图像子集合加入所述有标签图像集合，得到训练图像集合和测试图像集合；将所述训练图像集合发送给所述训练模块，以及将所述测试图像集合发送给所述测试模块；
所述训练模块，用于接收所述训练图像集合；基于所述训练图像集合，对神经网络模型进行训练，得到完成训练的所述神经网络模型；将完成训练的所述神经网络模型发送给所述测试模块；
所述测试模块，用于基于所述测试图像集合对完成训练的所述神经网络模型进行测试，得到测试结果；将所述测试结果反馈给所述训练模块。
另一方面，本申请实施例提供一种模型训练方法，所述方法包括：
标注模块获取无标签图像集合，所述无标签图像集合中包括至少一个无标签图像，所述无标签图像是指未经标注的图像；将所述无标签图像集合聚类成n类，得到n类无标签图像子集合，所述n为正整数；基于有标签图像集合分别对所述n类无标签图像子集合标注标签；将完成标签标注的所述无标签图像子集合加入所述有标签图像集合，得到训练图像集合和测试图像集合；将所述训练图像集合发送给训练模块，以及将所述测试图像集合发送给测试模块；
训练模块接收所述训练图像集合；基于所述训练图像集合，对神经网络模型进行训练，得到完成训练的所述神经网络模型；将完成训练的所述神经网络模型发送给所述测试模块；
所述测试模块基于所述测试图像集合对完成训练的所述神经网络模型进行测试，得到测试结果；将所述测试结果反馈给所述训练模块。
另一方面，本申请实施例提供一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器存储有计算机程序，所述计算机程序由所述处理器加载并执行以实现如上述方面所述的模型训练方法。
又一方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序由处理器加载并执行以实现如上述方面所述的模型训练方法。
又一方面，本申请实施例提供一种计算机程序产品，该计算机程序产品包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述模型训练方法。
本申请实施例提供的技术方案可以带来如下有益效果：
通过将标注模块、训练模块和测试模块集成在一个系统中，标注模块用于为无标签图像集合标注标签，得到有标签图像；然后标注模块将有标签图像划分为测试图像和训练图像，将训练图像发送给训练模块，以及将测试图像发送给测试模块，以使得训练模块基于训练图像对神经网络模型进行训练，测试模块基于测试图像对完成训练的神经网络模型进行测试。本申请实施例提供的模型训练系统为模型研发流程的各个环节提供了全面的集成化的支持，各个模块之间可以协同工作，为模型训练提供了保障。
附图说明
图1是本申请一个实施例提供的模型训练系统的示意图；
图2是本申请一个实施例提供的标注界面的示意图；
图3是本申请一个实施例提供的训练模块的示意图；
图4是本申请另一个实施例提供的模型训练系统的示意图；
图5是本申请一个实施例提供的分析界面的示意图；
图6是本申请一个实施例提供的模型训练系统的架构图；
图7是本申请一个实施例提供的模型训练方法的流程图；
图8是本申请一个实施例提供的计算机设备的结构框图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
请参考图1，其示出了本申请一个实施例提供的模型训练系统的示意图。该系统可以包括：标注模块110、训练模块120、测试模块130。
在本申请实施例中，每个模块与上下游对接，形成一个存在反馈的环状工作流程，即每个模块接收来自上游模块的输出，将自身的结果提供给下游模块。
标注模块110的输出可以作为训练模块120的输入；训练模块120的输出可以作为测试模块130的输入；测试模块130的输出可以反馈给训练模块120。示例性地，标注模块110也可以称之为标注子系统，训练模块120也可以称之为训练子系统，测试模块130也可以称之为测试子系统，本申请实施例中对系统各部分的命名仅是示例性的，在其它可能的实现方式中，还可以称之为不同的模块或子系统，本申请实施例对此不作限定。
标注模块110，用于获取无标签图像集合，无标签图像集合中包括至少一个无标签图像，无标签图像是指未经标注的图像；将无标签图像集合聚类成n类，得到n类无标签图像子集合，n为正整数；基于有标签图像集合分别对n类无标签图像子集合标注标签；将完成标签标注的无标签图像子集合加入有标签图像集合，得到训练图像集合和测试图像集合；将训练图像集合发送给训练模块120，以及将测试图像集合发送给测试模块130。
有标签图像集合中包括至少一个有标签图像，有标签图像是指经过标注的图像。
标注模块110基于至少一个未经标注的图像之间的相似性，将相似的图像聚到一类，得到n类无标签图像子集合，每一类无标签图像子集合中包括的无标签图像具有相关性。示例性地，标注模块110可以基于聚类算法对无标签图像集合进行聚类，聚类算法可以包括以下任意一项：K-均值聚类(K-means clustering)、层次聚类(Hierarchicalclustering)、图团体检测(Graph Community Detection)等。
标注模块110基于有标签图像集合对每一类无标签图像子集合标注标签，同一类无标签图像子集合可以标注为同一个标签。标签可以用于指示图像的类别。
完成标签标注的无标签图像也可以称之为有标签图像，标注模块110将完成标签标注的无标签图像子集合加入有标签图像集合，然后对有标签图像集合进行划分，将其划分为训练图像集合和测试图像集合。在可能的实现方式中，可以按照预设比例对有标签图像集合进行划分，得到训练图像集合和测试图像集合，训练图像集合中包括至少一个训练图像，测试图像集合中包括至少一个测试图像。标注模块110中标注好的图像能作为训练图像和测试图像提供给训练模块120和测试模块130。训练图像用于对神经网络模型进行训练，测试图像用于对神经网络模型进行测试。
标注模块110可以是终端，也可以设置在终端上，示例性地，终端可以包括电脑、手机、平板电脑、PC(Personal Computer，个人计算机)、智能可穿戴设备等。
训练模块120，用于接收训练图像集合；基于训练图像集合，对神经网络模型进行训练，得到完成训练的神经网络模型；将完成训练的神经网络模型发送给测试模块。
在一个示例中，训练模块120可以是服务器，也可以设置在服务器上，服务器可以是一台服务器，也可以是由多台服务器组成的服务器集群，还可以是云服务器，本申请实施例对服务器的类型不作限定。示例性地，服务器可以是模型训练系统的后台服务器。当训练模块120是服务器或者设置在服务器上时，训练模块120可以对外提供软件接口，训练模块120和标注模块110之间通过软件接口进行数据交互。例如，标注模块110可以通过上述软件接口向训练模块120发送训练图像集合。相应地，训练模块120接收上述训练图像集合。
在另一个示例中，训练模块120可以是终端，也可以设置在终端上。
训练模块120从标注模块110中获取训练图像集合，基于训练图像集合对神经网络模型进行训练，并将完成训练的神经网络模型发送给测试模块130，然后接收测试模块130的结果反馈，用以改进模型结构和参数。
在可能的实现方式中，本申请实施例中的神经网络模型是指计算机视觉模型。
测试模块130，用于基于测试图像集合对完成训练的神经网络模型进行测试，得到测试结果；将测试结果反馈给训练模块120。
在一个示例中，测试模块130可以是服务器，也可以设置在服务器上，服务器可以是一台服务器，也可以是由多台服务器组成的服务器集群，还可以是云服务器，本申请实施例对服务器的类型不作限定。示例性地，服务器可以是模型训练系统的后台服务器。当测试模块130是服务器或者设置在服务器上时，测试模块130可以对外提供软件接口，测试模块130和标注模块110之间可以通过软件接口进行数据交互。例如，标注模块110可以通过上述软件接口向测试模块130发送测试图像集合。相应地，测试模块130接收上述测试图像集合。
在另一个示例中，测试模块130可以是终端，也可以设置在终端上。
测试模块130接收到来自于训练模块120的神经网络模型后，对该神经网络模型进行测试，得到测试结果。例如，假设测试结果为正确率，响应于正确率低于阈值，测试模块130将正确率反馈给训练模块120，以使得训练模块120基于该正确率对神经网络模型重新进行训练，直至正确率高于该阈值。
基于测试图像集合对完成训练的神经网络模型进行测试，得到测试结果可以包括如下流程：1、加载数据，适配不同项目的测试图像集合，整理成统一的格式，进行预处理，然后提供给神经网络模型；2、模型推理。用模型推理测试图像集合，获取推理结果，例如，推理结果可以是测试图像的特征；3、处理模型输出，将推理结果处理成所需的输出形式，例如将类别预测概率转换成可读的与该类别预测概率对应的标签；4、计算测试结果。示例性地，当神经网络模型是用于分类任务时，测试结果可以是准确率、召回率等；当神经网络模型是用于检测任务时，测试结果可以是MAP(Mean Average Precision，平均精度均值)等。当然，在其它可能的实现方式中，神经网络模型还可以对应有其他测试结果，本申请实施例对此不作限定。
本申请实施例提供的模型训练系统打通了训练与测试部分，使得模型性能快速得到验证和反馈，除了处理模型输出步骤需要随项目定制外，其他例如加载数据、模型推理可以将小功能制成通用化的模块以重复利用。
本申请实施例提供的模型训练系统是一种高效的系统，高效性源于全面性与协同性；全面性是指模型训练系统涵盖了全部必要研发环节；协同性是指该模型训练系统各个模块之间精准对接，协同工作。
由于大部分神经网络模型的研发都会经历类似的流程，因此本系统具有广泛适用性，如本系统可以应用在图像检索场景、目标检测场景、图像分类场景等场景中。
本申请实施例提供的模型训练系统功能全面、接口规整，可以为计算机视觉领域的项目研发提供有效的全方位的支持。
综上所述，本申请实施例提供的技术方案中，通过将标注模块、训练模块和测试模块集成在一个系统中，标注模块用于为无标签图像集合标注标签，得到有标签图像；然后标注模块将有标签图像划分为测试图像和训练图像，将训练图像发送给训练模块，以及将测试图像发送给测试模块，以使得训练模块基于训练图像对神经网络模型进行训练，测试模块基于测试图像对完成训练的神经网络模型进行测试。本申请实施例提供的模型训练系统为模型研发流程的各个环节提供了全面的集成化的支持，各个模块之间可以协同工作，为模型训练提供了保障。
另外，本申请实施例中的标注模块先将无标签图像集合聚类成n类，然后再基于有标签图像对每一类无标签图像子集合标注标签，由于每一类无标签图像子集合中的各个无标签图像相似度较高，直接对该类无标签图像子集合标注标签，相当于对该类无标签图像子集合中的各个无标签图像标注了标签，提高了标签标注的效率。
在示意性实施例中，标注模块110，用于：
分别确定n类无标签图像子集合与有标签图像集合中的m类标签各自对应的有标签图像子集合之间的相似度，m为正整数；
基于n类无标签图像子集合与有标签图像子集合之间的相似度，分别为n类无标签图像子集合标注标签。
对于n类无标签图像子集合中的任意一类无标签图像子集合，标注模块110确定其与m类标签各自对应的有标签图像子集合之间的相似度。不同类标签对应的有标签图像子集合不同，m类标签各不相同。标注模块110可以将相似度最高的有标签图像子集合对应的标签确定为该类无标签图像子集合的标签。
在可能的实现方式中，标注模块，用于：
对于n类无标签图像子集合中的任意一类无标签图像子集合，对无标签图像子集合中包括的各个无标签图像的特征做目标运算，得到无标签图像子集合的特征；
对m类标签各自对应的有标签图像子集合中的任意一类标签对应的有标签图像子集合，对有标签图像子集合中包括的各个有标签图像的特征做目标运算，得到有标签图像子集合的特征；
确定无标签图像子集合的特征与有标签图像子集合的特征之间的相似度。
示例性地，标注模块110通过卷积神经网络提取无标签图像的特征，以及有标签图像的特征。该卷积神经网络用于提取图像的特征，该卷积神经网络可以采用自监督的方式预先训练完成。
在可能的实现方式中，目标运算包括以下任意一项：取平均值运算、取均方差运算、取方差运算等。以目标运算为取平均值运算为例进行介绍说明，对无标签图像子集合中包括的各个无标签图像的特征求和取平均值运算，得到第一平均值；将该第一平均值作为无标签图像子集合的特征；对有标签图像子集合中包括的各个有标签图像的特征求和取平均值运算，得到第二平均值；将该第二平均值作为有标签图像子集合的特征；确定第一平均值和第二平均值之间的相似度。示例性地，通过计算第一平均值和第二平均值之间的距离，确定第一平均值和第二平均值之间的相似度；第一平均值和第二平均值之间的距离越大，表明该第一平均值和第二平均值之间的相似度越低，也即，该无标签图像子集合与有标签图像子集合之间的相似度较低，该有标签图像子集合对应的特征是该无标签图像子集合的特征的可能性越低；第一平均值和第二平均值之间的距离越小，表明该第一平均值和第二平均值之间的相似度越高，也即，该无标签图像子集合与有标签图像子集合之间的相似度较高，该有标签图像子集合对应的标签是该无标签图像子集合的特征的可能性越高。
在可能的实现方式中，各类有标签图像子集合仅包括一个有标签图像，此时，标注模块110仅需要确定无标签图像子集合的特征与该有标签图像的特征之间的相似度就行了，加快了计算效率。该有标签图像可以是属于该类中较典型的图像。
在示意性实施例中，标注模块110，用于：
从无标签图像子集合的特征与各类标签对应的有标签图像子集合的特征之间的相似度中，将相似度最高的有标签图像子集合对应的标签确定为无标签图像子集合的标签。
标注模块110将相似度最高的有标签图像子集合对应的标签确定为无标签图像子集合的标签后，需要人工再对该标注进行审核，以确认标注模块110为无标签图像子集合标注的标签是否准确。
在示意性实施例中，标注模块110，还用于：
显示无标签子集合中包括的各个无标签图像、无标签图像子集合的标签、与无标签图像子集合的特征的相似度较高的前k个有标签图像子集合对应的标签集合，k为正整数；
响应于接收到对无标签图像子集合中的目标无标签图像的删除指令，将目标无标签图像从无标签子集合中删除；
响应于接收到对无标签图像子集合的标签的修改指令，从标签集合中获取针对无标签图像子集合的修正标签；
将修正标签确定为无标签图像子集合的标签。
目标无标签图像是指不属于无标签图像子集合类别的无标签图像，也即，该目标无标签图像与无标签图像子集合中包括的其它无标签图像的相似度较低。
如图2所示，其示出了本申请一个实施例提供的标注界面的示意图。标注界面200是指用户与标注模块110交互的界面，在该标注界面200中，用户可以对无标签图像子集合的标签进行调整，或者对聚类得到的无标签图像子集合中包括的无标签图像进行修正。示例性地，标注界面200左边显示有无标签图像子集合中包括的各个无标签图像210、该无标签图像子集合的标签220；右边显示有与该无标签图像子集合的特征的相似度较高的前k个有标签图像子集合对应的标签集合230。标签集合中包括该k个有标签图像子集合对应的标签，也即，标签集合中包括k个标签。k的数量可以由用户设定，也可以由标注模块默认设定，本申请实施例对此不作限定。
示例性地，用户可以先确定上述无标签图像子集合中是否包括不属于该类的目标无标签图像，若用户确定无标签图像子集合中包括不属于该类的目标无标签图像240，则触发标注模块110将该目标无标签图像从该无标签图像子集合中删除，示例性地，用户可以通过语音、手势、或点击标注界面200中的删除控件触发标注模块110将目标无标签图像240从该无标签图像子集合中删除。
示例性地，若用户发现当前标注模块110确定的标签不正确，用户可以从标签集合中获取针对当前无标签图像子集合的修正标签，并将该修正标签确定为无标签图像子集合的标签。因为标签集合中的标签是与无标签图像子集合的相似度较高的前k个有标签图像子集合对应的标签，所以标签集合中的标签与无标签图像子集合的相关性较高，若用户发现当前标签不正确，则从标签集合中可以确定与当前无标签图像子集合对应的修正标签。
在可能的实现方式中，标注界面200中显示一类无标签图像子集合中包括的各个无标签图像、无标签图像子集合的标签、与该无标签图像子集合的特征的相似度较高的前k个有标签图像子集合对应的标签集合；当用户确定该类无标签图像子集合的标签正确，以及该类无标签图像子集合中包括的无标签图像正确时，用户可以通过语音、手势或标注界面200中的跳转控件触发标注模块200跳转到下一类无标签图像子集合，标注模块110不断重复显示各类无标签图像子集合中包括的各个无标签图像、无标签图像子集合的标签、与无标签图像子集合的特征的相似度较高的前k个有标签图像子集合对应的标签集合，直至用户对n类无标签图像子集合都确认完毕。
本申请实施例实现了将图像的标签标注自动化，辅以人工审核，减少标注的工作量。
本申请实施例相较于相关技术中需要标注人员对每个图像都要点击正确的标签，且无标签图像是乱序的，需要花费大量时间选出正确的标签，本申请实施例通过将相似的无标签图像进行聚类，标注人员只需要花费少量时间纠错即可，大幅减少了工作量。
在示意性实施例中，训练模块120，还用于：
获取配置文件，配置文件用于指示训练模块包括的单元以及各单元对应的模型参数；
基于配置文件构建神经网络模型。
通过配置文件可以指定训练模块120中包括的单元类型以及各单元对应的参数。将训练模块120单元化，通过配置文件指定单元类型以及各单元对应的参数，各个单元独立运行，提高了训练模块的容错性和鲁棒性。
在示意性实施例中，如图3所示，训练模块120包括数据单元121、模型单元122、优化单元123。
示例性地，训练模块120按要素可以划分为数据单元121、模型单元122、优化单元123，各单元之间相互解耦，上述数据单元121、模型单元122和优化单元123之间相对独立可替换。
示例性地，数据单元121包括适配子单元121a、采样子单元121b和数据增强子单元121c。
在可能的实现方式中，适配子单元121a也可以称之为适配器，采样子单元121b也可以称之为采样器。
适配子单元121a，用于将训练图像集合中的各个训练图像调整成目标格式，得到目标格式的训练图像。
采样子单元121b，用于对目标格式的训练图像进行采样，得到采样后的训练图像。
数据增强子单元121c，用于对采样后的训练图像进行数据增强处理，得到数据增强处理后的训练图像。
首先由适配子单元121a将各种数据集整理成统一个格式，然后由采样子单元121b控制数据批采样，最后由数据增强子单元121c进行数据批在线增强，并提供给模型单元122。
示例性地，模型单元122包括主干网络122a、头部网络122b和损失函数子单元122c。
主干网络122a，用于提取数据增强处理后的训练图像的特征。
头部网络122b，用于基于增强处理后的训练图像的特征，得到训练图像的预测标签。
损失函数子单元122c，用于基于训练图像的预测标签以及训练图像的标签，确定神经网络模型的损失函数的值。
模型单元122负责管理神经网络模型本身的结构和参数，由主干网络122a、头部网络122b、损失函数子单元122c构成，通过模块化的灵活组合可搭建多种结构的模型。
示例性地，优化单元123包括优化子单元和学习率规划子单元(图中未示出)。
在可能的实现方式中，优化子单元也可以称之为优化器，学习率规划子单元也可以称之为学习率规划器。优化器和学习率规划器负责控制神经网络模型的优化算法以及优化算法的参数随训练进度调整的策略。
学习率规划子单元，用于基于神经网络模型训练进度对优化算法的参数进行调整。
优化子单元，用于基于优化算法的参数和损失函数的值对神经网络模型进行优化，得到完成训练的神经网络模型。
在本申请实施例中，采用模块化设计，可操作性强，通用性高。仅需修改配置文件即可掌控全局，简便易用，准确可靠。
在示意性实施例中，如图4所示，上述模型训练系统还包括：分析模块140。
分析模块140可以是终端，也可以设置在终端上。
分析模块140，用于从测试模块130获取错误案例信息，错误案例信息包括以下至少一项：目标测试图像、目标测试图像的标签、目标测试图像的预测标签；显示错误案例信息。
如图5所示，其示出了本申请一个实施例提供的分析界面的示意图。该分析界面500的左侧显示有目标测试图像510、该目标测试图像510的标签520，该分析界面500的右侧显示有目标测试图像的预测标签530。
目标测试图像可以包括至少一个测试图像。
分析模块140从测试模块130处获取错误案例信息，并显示出来，显示直观，操作方便。本申请实施例将错误案例的图像显示出来，便于用户分析神经网络模型和标签标注存在的缺陷。
在示意性实施例中，分析模块140，还用于获取对应于错误案例信息的错误类型。在可能的实现方式中，错误类型包括标签标注错误、模型预测错误。当错误类型为标签标注错误时，分析模块140将错误案例信息反馈给标注模块110，用户可以通过该标注模块110对目标测试图像的标签进行修改。在可能的实现方式中，分析界面中显示有错误类型的选择列表，用户可以在该选择列表中选择错误类型，分析模块140可以基于该错误类型确定向哪个模块发送反馈信息，例如，当错误类型为标签标注错误时，分析模块140向标注模块110发送反馈信息；当错误类型为模型预测错误时，分析模块140可以向训练模块120发送反馈信息。
如图6所示，其示出了本申请实施例提供的模型训练系统的架构图。本申请实施例提供了一种模型训练系统，包括了标注模块110、训练模块120、测试模块130和分析模块140。标注模块110将纯净的数据提供给训练模块120和测试模块130；训练模块120将完成训练的神经网络模型提供给测试模块130，测试模块130将测试结果反馈给训练模块120；测试模块130将错误案例信息反馈给分析模块140；分析模块140可用于向标注模块110反馈改进标注；分析模块140可用于向训练模块120反馈改进模型。
标注模块110、训练模块120、测试模块130和分析模块140之间流程化衔接，为神经网络模型研究与开发工作提供了全面而灵活的支持，大幅提高了研发效率，加快了从初步思路到最终模型的转换。
本申请实施例为模型研发流程的各个环节提供了全面的集成化的支持。
本申请实施例提供的模型训练系统中各个模块之间可以协同工作，高效运转，为研发效率提供保障。
本申请实施例提供的模型训练系统支持多种类型的数据和模型，通用性强。
需要说明的是，上述实施例提供的模块在实现其功能时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。
下述为本申请方法实施例。对于本申请方法实施例中未披露的细节，请参照本申请系统实施例。
请参考图7，其示出了本申请一个实施例提供的模型训练方法的流程图。该方法可以包括如下几个步骤。
步骤701，标注模块获取无标签图像集合，无标签图像集合中包括至少一个无标签图像，无标签图像是指未经标注的图像。
步骤702，标注模块将无标签图像集合聚类成n类，得到n类无标签图像子集合，n为正整数。
步骤703，标注模块基于有标签图像集合分别对n类无标签图像子集合标注标签。
步骤704，标注模块将完成标签标注的无标签图像子集合加入有标签图像集合，得到训练图像集合和测试图像集合。
步骤705，标注模块将训练图像集合发送给训练模块，以及将测试图像集合发送给测试模块。
相应地，训练模块接收训练图像集合。
步骤706，训练模块基于训练图像集合，对神经网络模型进行训练，得到完成训练的神经网络模型。
步骤707，训练模块将完成训练的神经网络模型发送给测试模块。
步骤708，测试模块基于测试图像集合对完成训练的神经网络模型进行测试，得到测试结果。
步骤709，测试模块将测试结果反馈给训练模块。
综上所述，本申请实施例提供的技术方案中，通过将标注模块、训练模块和测试模块集成在一个系统中，标注模块用于为无标签图像集合标注标签，得到有标签图像；然后标注模块将有标签图像划分为测试图像和训练图像，将训练图像发送给训练模块，以及将测试图像发送给测试模块，以使得训练模块基于训练图像对神经网络模型进行训练，测试模块基于测试图像对完成训练的神经网络模型进行测试。本申请实施例提供的模型训练系统为模型研发流程的各个环节提供了全面的集成化的支持，各个模块之间可以协同工作，为模型训练提供了保障。
在示意性实施例中，基于有标签图像集合分别对n类无标签图像子集合标注标签，包括：
分别确定n类无标签图像子集合与有标签图像集合中的m类标签各自对应的有标签图像子集合之间的相似度，m为正整数；
基于n类无标签图像子集合与有标签图像子集合之间的相似度，分别为n类无标签图像子集合标注标签。
在示意性实施例中，标注模块分别确定n类无标签图像子集合与有标签图像集合中的m类标签各自对应的有标签图像子集合之间的相似度，包括：
标注模块对于n类无标签图像子集合中的任意一类无标签图像子集合，对无标签图像子集合中包括的各个无标签图像的特征做目标运算，得到无标签图像子集合的特征；
标注模块对m类标签各自对应的有标签图像子集合中的任意一类标签对应的有标签图像子集合，对有标签图像子集合中包括的各个有标签图像的特征做目标运算，得到有标签图像子集合的特征；
标注模块确定无标签图像子集合的特征与有标签图像子集合的特征之间的相似度。
在示意性实施例中，标注模块基于n类无标签图像子集合与有标签图像子集合之间的相似度，分别为n类无标签图像子集合标注标签，包括：
从无标签图像子集合的特征与各类标签对应的有标签图像子集合的特征之间的相似度中，将相似度最高的有标签图像子集合对应的标签确定为无标签图像子集合的标签。
在示意性实施例中，上述方法，还包括：
标注模块显示无标签子集合中包括的各个无标签图像、无标签图像子集合的标签、与无标签图像子集合的特征的相似度较高的前k个有标签图像子集合对应的标签集合，k为正整数；
响应于接收到对无标签图像子集合中的目标无标签图像的删除指令，标注模块将目标无标签图像从无标签子集合中删除；
响应于接收到对无标签图像子集合的标签的修改指令，标注模块从标签集合中获取针对无标签图像子集合的修正标签；
标注模块将修正标签确定为无标签图像子集合的标签。
在示意性实施例中，上述方法，还包括：
训练模块获取配置文件，配置文件用于指示训练模块包括的单元以及各单元对应的模型参数；
训练模块基于配置文件构建神经网络模型。
在示意性实施例中，训练模块包括数据单元、模型单元、优化单元；数据单元包括适配子单元、采样子单元和数据增强子单元；模型单元包括主干网络、头部网络和损失函数子单元；优化单元包括优化子单元和学习率规划子单元；
训练模块基于训练图像集合，对神经网络模型进行训练，得到完成训练的神经网络模型，包括：
适配子单元将训练图像集合中的各个训练图像调整成目标格式，得到目标格式的训练图像；
采样子单元对目标格式的训练图像进行采样，得到采样后的训练图像；
数据增强子单元对采样后的训练图像进行数据增强处理，得到数据增强处理后的训练图像；
主干网络提取数据增强处理后的训练图像的特征；
头部网络基于增强处理后的训练图像的特征，得到训练图像的预测标签；
损失函数子单元基于训练图像的预测标签以及训练图像的标签，确定神经网络模型的损失函数的值；
学习率规划子单元基于神经网络模型训练进度对优化算法的参数进行调整；
优化子单元基于优化算法的参数和损失函数的值对神经网络模型进行优化，得到完成训练的神经网络模型。
在示意性实施例中，上述方法还包括：
分析模块从测试模块获取错误案例信息，错误案例信息包括以下至少一项：目标测试图像、目标测试图像的标签、目标测试图像的预测标签；显示错误案例信息。
在示意性实施例中，上述方法，还包括：分析模块获取对应于错误案例信息的错误类型。
上述实施例提供的方法与系统实施例属于同一构思，其具体实现过程详见系统实施例，这里不再赘述。
请参考图8，其示出了本申请一个实施例提供的计算机设备的结构框图。
本申请实施例中的计算机设备可以包括一个或多个如下部件：处理器810和存储器820。
处理器810可以包括一个或者多个处理核心。处理器810利用各种接口和线路连接整个计算机设备内的各个部分，通过运行或执行存储在存储器820内的指令、程序、代码集或指令集，以及调用存储在存储器820内的数据，执行计算机设备的各种功能和处理数据。可选地，处理器810可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(ProgrammableLogic Array，PLA)中的至少一种硬件形式来实现。处理器810可集成中央处理器(CentralProcessing Unit，CPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统和应用程序等；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器810中，单独通过一块芯片进行实现。
可选地，处理器810执行存储器820中的程序指令时实现上述各个方法实施例提供的方法。
存储器820可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory，ROM)。可选地，该存储器820包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器820可用于存储指令、程序、代码、代码集或指令集。存储器820可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令、用于实现上述各个方法实施例的指令等；存储数据区可存储根据计算机设备的使用所创建的数据等。
上述计算机设备的结构仅是示意性的，在实际实现时，计算机设备可以包括更多或更少的组件，比如：显示屏等，本实施例对此不作限定。
本领域技术人员可以理解，图8中示出的结构并不构成对计算机设备的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
在示例性实施例中，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序由计算机设备的处理器加载并执行以实现上述方法实施例中的各个步骤。
在示例性实施例中，提供了一种计算机程序产品，该计算机程序产品包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述实施例提供的模型训练方法。
以上所述仅为本申请的示例性实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (20)

1.一种模型训练系统，其特征在于，所述系统包括：标注模块、训练模块、测试模块；
所述标注模块，用于获取无标签图像集合，所述无标签图像集合中包括至少一个无标签图像，所述无标签图像是指未经标注的图像；将所述无标签图像集合聚类成n类，得到n类无标签图像子集合，所述n为正整数；基于有标签图像集合分别对所述n类无标签图像子集合标注标签；将完成标签标注的所述无标签图像子集合加入所述有标签图像集合，得到训练图像集合和测试图像集合；将所述训练图像集合发送给所述训练模块，以及将所述测试图像集合发送给所述测试模块；
所述训练模块，用于接收所述训练图像集合；基于所述训练图像集合，对神经网络模型进行训练，得到完成训练的所述神经网络模型；将完成训练的所述神经网络模型发送给所述测试模块；
所述测试模块，用于基于所述测试图像集合对完成训练的所述神经网络模型进行测试，得到测试结果；将所述测试结果反馈给所述训练模块。
2.根据权利要求1所述的系统，其特征在于，所述标注模块，用于：
分别确定所述n类无标签图像子集合与所述有标签图像集合中的m类标签各自对应的有标签图像子集合之间的相似度，所述m为正整数；
基于所述n类无标签图像子集合与所述有标签图像子集合之间的相似度，分别为所述n类无标签图像子集合标注标签。
3.根据权利要求2所述的系统，其特征在于，所述标注模块，用于：
对于所述n类无标签图像子集合中的任意一类无标签图像子集合，对所述无标签图像子集合中包括的各个无标签图像的特征做目标运算，得到所述无标签图像子集合的特征；
对所述m类标签各自对应的有标签图像子集合中的任意一类标签对应的有标签图像子集合，对所述有标签图像子集合中包括的各个有标签图像的特征做所述目标运算，得到所述有标签图像子集合的特征；
确定所述无标签图像子集合的特征与所述有标签图像子集合的特征之间的相似度。
4.根据权利要求3所述的系统，其特征在于，所述标注模块，用于：
从所述无标签图像子集合的特征与各类标签对应的有标签图像子集合的特征之间的相似度中，将相似度最高的有标签图像子集合对应的标签确定为所述无标签图像子集合的标签。
5.根据权利要求4所述的系统，其特征在于，所述标注模块，还用于：
显示所述无标签子集合中包括的各个所述无标签图像、所述无标签图像子集合的标签、与所述无标签图像子集合的特征的相似度较高的前k个有标签图像子集合对应的标签集合，所述k为正整数；
响应于接收到对所述无标签图像子集合中的目标无标签图像的删除指令，将所述目标无标签图像从所述无标签子集合中删除；
响应于接收到对所述无标签图像子集合的标签的修改指令，从所述标签集合中获取针对所述无标签图像子集合的修正标签；
将所述修正标签确定为所述无标签图像子集合的标签。
6.根据权利要求1所述的系统，其特征在于，所述训练模块，还用于：
获取配置文件，所述配置文件用于指示所述训练模块包括的单元以及各单元对应的模型参数；
基于所述配置文件构建所述神经网络模型。
7.根据权利要求6所述的系统，其特征在于，所述训练模块包括数据单元、模型单元、优化单元，所述数据单元包括适配子单元、采样子单元和数据增强子单元；所述模型单元包括主干网络、头部网络和损失函数子单元；所述优化单元包括优化子单元和学习率规划子单元；
所述适配子单元，用于将所述训练图像集合中的各个训练图像调整成目标格式，得到所述目标格式的训练图像；
所述采样子单元，用于对所述目标格式的训练图像进行采样，得到采样后的所述训练图像；
所述数据增强子单元，用于对采样后的所述训练图像进行数据增强处理，得到数据增强处理后的所述训练图像；
所述主干网络，用于提取数据增强处理后的所述训练图像的特征；
所述头部网络，用于基于增强处理后的所述训练图像的特征，得到所述训练图像的预测标签；
所述损失函数子单元，用于基于所述训练图像的预测标签以及所述训练图像的标签，确定所述神经网络模型的损失函数的值；
所述学习率规划子单元，用于基于所述神经网络模型训练进度对优化算法的参数进行调整；
所述优化子单元，用于基于所述优化算法的参数和所述损失函数的值对所述神经网络模型进行优化，得到完成训练的所述神经网络模型。
8.根据权利要求1至7任一项所述的系统，其特征在于，所述系统还包括：分析模块；
所述分析模块，用于从所述测试模块获取错误案例信息，所述错误案例信息包括以下至少一项：目标测试图像、所述目标测试图像的标签、所述目标测试图像的预测标签；显示所述错误案例信息。
9.根据权利要求8所述的系统，其特征在于，所述分析模块，还用于：
获取对应于所述错误案例信息的错误类型。
10.一种模型训练方法，其特征在于，所述方法包括：
标注模块获取无标签图像集合，所述无标签图像集合中包括至少一个无标签图像，所述无标签图像是指未经标注的图像；将所述无标签图像集合聚类成n类，得到n类无标签图像子集合，所述n为正整数；基于有标签图像集合分别对所述n类无标签图像子集合标注标签；将完成标签标注的所述无标签图像子集合加入所述有标签图像集合，得到训练图像集合和测试图像集合；将所述训练图像集合发送给训练模块，以及将所述测试图像集合发送给测试模块；
训练模块接收所述训练图像集合；基于所述训练图像集合，对神经网络模型进行训练，得到完成训练的所述神经网络模型；将完成训练的所述神经网络模型发送给所述测试模块；
所述测试模块基于所述测试图像集合对完成训练的所述神经网络模型进行测试，得到测试结果；将所述测试结果反馈给所述训练模块。
11.根据权利要求10所述的方法，其特征在于，所述基于有标签图像集合分别对所述n类无标签图像子集合标注标签，包括：
分别确定所述n类无标签图像子集合与所述有标签图像集合中的m类标签各自对应的有标签图像子集合之间的相似度，所述m为正整数；
基于所述n类无标签图像子集合与所述有标签图像子集合之间的相似度，分别为所述n类无标签图像子集合标注标签。
12.根据权利要求11所述的方法，其特征在于，所述标注模块分别确定所述n类无标签图像子集合与所述有标签图像集合中的m类标签各自对应的有标签图像子集合之间的相似度，包括：
所述标注模块对于所述n类无标签图像子集合中的任意一类无标签图像子集合，对所述无标签图像子集合中包括的各个无标签图像的特征做目标运算，得到所述无标签图像子集合的特征；
所述标注模块对所述m类标签各自对应的有标签图像子集合中的任意一类标签对应的有标签图像子集合，对所述有标签图像子集合中包括的各个有标签图像的特征做所述目标运算，得到所述有标签图像子集合的特征；
所述标注模块确定所述无标签图像子集合的特征与所述有标签图像子集合的特征之间的相似度。
13.根据权利要求12所述的方法，其特征在于，所述标注模块基于所述n类无标签图像子集合与所述有标签图像子集合之间的相似度，分别为所述n类无标签图像子集合标注标签，包括：
从所述无标签图像子集合的特征与各类标签对应的有标签图像子集合的特征之间的相似度中，将相似度最高的有标签图像子集合对应的标签确定为所述无标签图像子集合的标签。
14.根据权利要求13所述的方法，其特征在于，所述方法，还包括：
所述标注模块显示所述无标签子集合中包括的各个所述无标签图像、所述无标签图像子集合的标签、与所述无标签图像子集合的特征的相似度较高的前k个有标签图像子集合对应的标签集合，所述k为正整数；
响应于接收到对所述无标签图像子集合中的目标无标签图像的删除指令，所述标注模块将所述目标无标签图像从所述无标签子集合中删除；
响应于接收到对所述无标签图像子集合的标签的修改指令，所述标注模块从所述标签集合中获取针对所述无标签图像子集合的修正标签；
所述标注模块将所述修正标签确定为所述无标签图像子集合的标签。
15.根据权利要求10所述的方法，其特征在于，所述方法，还包括：
所述训练模块获取配置文件，所述配置文件用于指示所述训练模块包括的单元以及各单元对应的模型参数；
所述训练模块基于所述配置文件构建所述神经网络模型。
16.根据权利要求15所述的方法，其特征在于，所述训练模块包括数据单元、模型单元、优化单元；所述数据单元包括适配子单元、采样子单元和数据增强子单元；所述模型单元包括主干网络、头部网络和损失函数子单元；所述优化单元包括优化子单元和学习率规划子单元；
所述训练模块基于所述训练图像集合，对神经网络模型进行训练，得到完成训练的所述神经网络模型，包括：
所述适配子单元将所述训练图像集合中的各个训练图像调整成目标格式，得到所述目标格式的训练图像；
所述采样子单元对所述目标格式的训练图像进行采样，得到采样后的所述训练图像；
所述数据增强子单元对采样后的所述训练图像进行数据增强处理，得到数据增强处理后的所述训练图像；
所述主干网络提取数据增强处理后的所述训练图像的特征；
所述头部网络基于增强处理后的所述训练图像的特征，得到所述训练图像的预测标签；
所述损失函数子单元基于所述训练图像的预测标签以及所述训练图像的标签，确定所述神经网络模型的损失函数的值；
所述学习率规划子单元基于所述神经网络模型训练进度对优化算法的参数进行调整；
所述优化子单元基于所述优化算法的参数和所述损失函数的值对所述神经网络模型进行优化，得到完成训练的所述神经网络模型。
17.根据权利要求10至16任一项所述的方法，其特征在于，所述方法还包括：
分析模块从所述测试模块获取错误案例信息，所述错误案例信息包括以下至少一项：目标测试图像、所述目标测试图像的标签、所述目标测试图像的预测标签；显示所述错误案例信息。
18.根据权利要求17所述的方法，其特征在于，所述方法，还包括：
所述分析模块获取对应于所述错误案例信息的错误类型。
19.一种计算机设备，其特征在于，所述终端包括处理器和存储器，所述存储器存储有计算机程序，所述计算机程序由所述处理器加载并执行以实现如权利要求10至18任一项所述的模型训练方法。
20.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，所述计算机程序由处理器加载并执行以实现如权利要求10至18任一项所述的模型训练方法。
CN202011334852.6A 2020-11-25 2020-11-25 模型训练系统、方法、设备及存储介质 Pending CN112329883A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011334852.6A CN112329883A (zh) 2020-11-25 2020-11-25 模型训练系统、方法、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011334852.6A CN112329883A (zh) 2020-11-25 2020-11-25 模型训练系统、方法、设备及存储介质

Publications (1)

Publication Number Publication Date
CN112329883A true CN112329883A (zh) 2021-02-05

Family

ID=74309426

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011334852.6A Pending CN112329883A (zh) 2020-11-25 2020-11-25 模型训练系统、方法、设备及存储介质

Country Status (1)

Country Link
CN (1) CN112329883A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113033444A (zh) * 2021-03-31 2021-06-25 北京金山云网络技术有限公司 年龄估计方法、装置和电子设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018181052A (ja) * 2017-04-17 2018-11-15 富士通株式会社 モデル同定装置、予測装置、監視システム、モデル同定方法および予測方法
CN108875768A (zh) * 2018-01-23 2018-11-23 北京迈格威科技有限公司 数据标注方法、装置和系统及存储介质
CN109902271A (zh) * 2019-01-23 2019-06-18 平安科技（深圳）有限公司 基于迁移学习的文本数据标注方法、装置、终端及介质
CN110598752A (zh) * 2019-08-16 2019-12-20 深圳宇骏视觉智能科技有限公司 一种自动生成训练数据集的图像分类模型训练方法及系统
CN111126514A (zh) * 2020-03-30 2020-05-08 同盾控股有限公司 图像多标签分类方法、装置、设备及介质
CN111860487A (zh) * 2020-07-28 2020-10-30 天津恒达文博科技股份有限公司 基于深度神经网络的碑文标注检测识别系统
CN111898704A (zh) * 2020-08-17 2020-11-06 腾讯科技（深圳）有限公司 对内容样本进行聚类的方法和装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018181052A (ja) * 2017-04-17 2018-11-15 富士通株式会社 モデル同定装置、予測装置、監視システム、モデル同定方法および予測方法
CN108875768A (zh) * 2018-01-23 2018-11-23 北京迈格威科技有限公司 数据标注方法、装置和系统及存储介质
CN109902271A (zh) * 2019-01-23 2019-06-18 平安科技（深圳）有限公司 基于迁移学习的文本数据标注方法、装置、终端及介质
CN110598752A (zh) * 2019-08-16 2019-12-20 深圳宇骏视觉智能科技有限公司 一种自动生成训练数据集的图像分类模型训练方法及系统
CN111126514A (zh) * 2020-03-30 2020-05-08 同盾控股有限公司 图像多标签分类方法、装置、设备及介质
CN111860487A (zh) * 2020-07-28 2020-10-30 天津恒达文博科技股份有限公司 基于深度神经网络的碑文标注检测识别系统
CN111898704A (zh) * 2020-08-17 2020-11-06 腾讯科技（深圳）有限公司 对内容样本进行聚类的方法和装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113033444A (zh) * 2021-03-31 2021-06-25 北京金山云网络技术有限公司 年龄估计方法、装置和电子设备

Similar Documents

Publication Publication Date Title
CN112163424A (zh) 数据的标注方法、装置、设备和介质
CN109376868B (zh) 信息管理系统
CN110580308A (zh) 信息审核方法及装置、电子设备、存储介质
CN114547072A (zh) 自然语言查询转换sql方法、系统、设备及存储介质
CN110826494A (zh) 标注数据质量评价方法、装置、计算机设备及存储介质
CN111143556A (zh) 软件功能点自动计数方法、装置、介质及电子设备
CN110232130B (zh) 元数据管理谱系生成方法、装置、计算机设备和存储介质
CN102117436A (zh) 专利电子回执文件分析系统及方法
CN110909768B (zh) 一种标注数据获取方法及装置
CN115659044A (zh) 一种人岗匹配的推荐方法、系统、电子设备、存储介质
CN111552665A (zh) 标注信息格式转换方法、装置、设备和介质
CN114428677A (zh) 任务处理方法、处理装置、电子设备及存储介质
CN112329883A (zh) 模型训练系统、方法、设备及存储介质
CN112199376B (zh) 一种基于聚类分析的标准知识库管理方法及系统
CN113900935A (zh) 一种缺陷自动识别方法、装置、计算机设备及存储介质
CN111950623B (zh) 数据稳定性监控方法、装置、计算机设备及介质
CN113177644A (zh) 一种基于词嵌入和深度时序模型的自动建模系统
CN111966600A (zh) 网页测试方法、装置、计算机设备及计算机可读存储介质
CN117235527A (zh) 端到端容器化的大数据模型构建方法、装置、设备及介质
CN112800219B (zh) 客服日志反馈回流数据库的方法及系统
CN113590484B (zh) 算法模型服务测试方法、系统、设备及存储介质
CN114266239A (zh) 数据集的生成方法及装置
CN113516454A (zh) 一种基于云计算平台的企业信息管理系统及方法
CN112182218A (zh) 文本数据的分类方法及装置
US20230376793A1 (en) Intelligent machine learning classification and model building

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination