CN112632278A - 一种基于多标签分类的标注方法、装置、设备及存储介质 - Google Patents

一种基于多标签分类的标注方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN112632278A
CN112632278A CN202011510219.8A CN202011510219A CN112632278A CN 112632278 A CN112632278 A CN 112632278A CN 202011510219 A CN202011510219 A CN 202011510219A CN 112632278 A CN112632278 A CN 112632278A
Authority
CN
China
Prior art keywords
label
label classification
labeling
training
corpus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011510219.8A
Other languages
English (en)
Inventor
陈迎运
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Puhui Enterprise Management Co Ltd
Original Assignee
Ping An Puhui Enterprise Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Puhui Enterprise Management Co Ltd filed Critical Ping An Puhui Enterprise Management Co Ltd
Priority to CN202011510219.8A priority Critical patent/CN112632278A/zh
Publication of CN112632278A publication Critical patent/CN112632278A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3346—Query execution using probabilistic model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种基于多标签分类的标注方法、装置、设备及存储介质，属于人工智能技术领域。所述方法通过获取训练样本集，将训练样本集导入到模型中，获取输出结果，其中，输出结果至少包括训练语料在多个标签下的输出概率，计算输出概率对应的置信区间，并基于置信区间重新对训练语料进行标注，对模型进行迭代更新，得到训练好的模型，获取待标注语料，通过训练好的模型获取待标注语料的分类结果，基于分类结果对待标注语料进行标注。此外，本申请还涉及区块链技术，待标注语料可存储于区块链中。本申请的技术方案提高了多标签分类模准确性和稳定性，使得训练得到的模型的输出满足大部分应用场景下的多标签分类标注需求。

Description

一种基于多标签分类的标注方法、装置、设备及存储介质
技术领域
本申请属于人工智能技术领域，具体涉及一种基于多标签分类的标注方法、装置、设备及存储介质。
背景技术
近年来，随着互联网的高速发展，尤其是移动互联网时代的到来，人类进入大数据时代，每天都会产生海量的数据，因此对海量数据进行分析、获取有价值的信息已成为学术界和工业界共同关心的热点。作为海量数据的主要外在形式，文本相关的处理技术受到了人们的极大关注，文本分类技术也进入了一个新的发展阶段。
目前文本标注主要依赖于分类模型来是实现，即先通过分类模型对文本进行分类，再基于分类结果对文本进行标注。传统文本分类技术主要包括单标签分类和多标签分类，单标签分类即一个文本对应一个类别标签，目前单标签分类的应用已经很广泛了，然而现实生活中，一个文本的类别标签往往不止一个，例如一篇介绍某个国家经济的文章，很可能同时会涉及经济领域、政治领域和文化领域，此时该文章应该同时至少对应经济、政治、文化等三个标签；又如一篇体育赛况报道相关的文章，很可能也会有较大篇幅介绍某位体育明星以及该体育明星在某些赛场上的表现，因此它应该至少应该包含体育赛况和体育明星两个标签。而现有的基于多标签分类模型的文本标注方案则由于分类标签过多(分类标签超过100个)的情况下，标注准确率往往不佳，无法不满足需求。
发明内容
本申请实施例的目的在于提出一种基于多标签分类的标注方法、装置、设备及存储介质，以解决现有的基于多标签分类模型的文本标注方案由于分类标签过多而导致的标注准确率不高，无法满足标注需求的技术问题。
为了解决上述技术问题，本申请实施例提供一种基于多标签分类的标注方法，采用了如下所述的技术方案：
一种基于多标签分类的标注方法，包括：
从预设数据库中获取训练语料，对训练语料进行标注，得到训练样本集；
将训练样本集导入到预设的初始多标签分类模型，获取初始多标签分类模型的输出结果，其中，输出结果至少包括训练语料在多个标签下的输出概率；
计算每一个输出概率对应的置信区间，并基于置信区间重新对训练语料进行标注；
采用重新标注后的训练语料对预设的初始多标签分类模型进行迭代更新，得到训练好的多标签分类模型；
获取待标注语料，通过训练好的多标签分类模型对待标注语料进行分类，得到待标注语料的分类结果，并基于分类结果对待标注语料进行标注。
进一步的，从预设数据库中获取训练语料，对训练语料进行标注，得到训练样本集的步骤，具体包括：
从预设数据库中获取训练语料和预设标签集合，其中，预设标签集合包含若干个标签；
基于预设标签集合中的标签对训练语料进行标注，并对标注后的训练语料进行随机组合，得到若干个训练样本集，以及与每一个训练样本集相互对应的验证数据集。
进一步的，基于预设标签集合中的标签对训练语料进行标注的步骤，具体包括：
对获取到的训练语料进行预处理；
对分词后的训练语料进行关键词识别，并提取训练语料中的关键词；
分别计算训练语料中的关键词与预设标签集合中的各个标签的相似度；
对计算得到的各个相似度进行排序，并相似度排序结果对训练语料进行标注。
进一步的，初始多标签分类模型包括若干个初始多标签分类子模型，将训练样本集导入到预设的初始多标签分类模型，获取初始多标签分类模型的输出结果的步骤，具体包括：
将若干个训练样本集导入到预设的初始多标签分类模型，并将若干个训练样本集随机分配给若干个初始多标签分类子模型，其中，每一个初始多标签分类子模型获得一个训练样本集；
将配对成功的训练样本集导入到相应的初始多标签分类子模型中进行模型训练，得到若干个训练好的初始多标签分类子模型；
从预设数据库中获取验证语料，将验证语料分别导入若干个训练好的初始多标签分类子模型，得到若干个初始多标签分类子模型的输出结果；
对所有初始多标签分类子模型的输出结果进行整合，得到初始多标签分类模型的输出结果。
进一步的，计算每一个输出概率对应的置信区间，并基于置信区间重新对训练语料进行标注的步骤，具体包括：
计算每一个标签对应的输出概率均值，以及基于每一个标签对应的输出概率均值计算每一个标签的输出概率方差；
基于预设的置信度阈值、每一个标签的输出概率均值以及每一个标签的输出概率方差确定每一个输出概率的置信区间；
基于每一个输出概率的置信区间对训练语料进行重新标注。
进一步的，基于每一个输出概率的置信区间对训练语料进行重新标注的步骤，具体包括：
获取每一个置信区间的上限值和下限值，并基于获取的上限值和下限值计算每一个置信区间的上下限均值；
将每一个置信区间的上下限均值与预设阈值进行比对，根据比对结果对预设标签集合中的标签进行调整；
根据调整后的预设标签集合对训练语料进行重新标注。
进一步的，采用重新标注后的训练语料对预设的初始多标签分类模型进行迭代更新，得到训练好的多标签分类模型的步骤，具体包括：
将重新标注后的训练语料导入到预设的初始多标签分类模型，获取初始多标签分类模型输出的训练结果；
将训练结果与预设标准结果进行比对，并基于比对结果对初始多标签分类模型进行迭代更新，直至训练结果落入预设标准结果的范围内，输出多标签分类模型。
为了解决上述技术问题，本申请实施例还提供一种基于多标签分类的标注装置，采用了如下所述的技术方案：
一种基于多标签分类的标注装置，包括：
第一标注模块，用于从预设数据库中获取训练语料，对训练语料进行标注，得到训练样本集；
语料分类模块，用于将训练样本集导入到预设的初始多标签分类模型，获取初始多标签分类模型的输出结果，其中，输出结果至少包括训练语料在多个标签下的输出概率；
第二标注模块，用于计算每一个输出概率对应的置信区间，并基于置信区间重新对训练语料进行标注；
模型训练模块，用于采用重新标注后的训练语料对预设的初始多标签分类模型进行迭代更新，得到训练好的多标签分类模型；
第三标注模块，用于获取待标注语料，通过训练好的多标签分类模型对待标注语料进行分类，得到待标注语料的分类结果，并基于分类结果对待标注语料进行标注。
为了解决上述技术问题，本申请实施例还提供一种计算机设备，采用了如下所述的技术方案：
一种计算机设备，包括存储器和处理器，存储器中存储有计算机可读指令，处理器执行计算机可读指令时实现如上述任一项的基于多标签分类的标注方法的步骤。
为了解决上述技术问题，本申请实施例还提供一种计算机可读存储介质，采用了如下所述的技术方案：
一种计算机可读存储介质，计算机可读存储介质上存储有计算机可读指令，计算机可读指令被处理器执行时实现如上述任一项的基于多标签分类的标注方法的步骤。
与现有技术相比，本申请实施例主要有以下有益效果：
本申请公开了一种基于多标签分类的标注方法、装置、设备及存储介质，属于人工智能技术领域。本申请先对通过预设的标签集合对训练语料进行标注，得到训练样本集，再将训练样本集导入初始多标签分类模型，获取训练语料在各个标签下的输出概率，计算各个输出概率对应的置信区间，通过计算得到的置信区间验证训练语料标注的准确性，并对训练语料的标注进行修正，通过修正后的训练语料对初始多标签分类模进行迭代更新，获得分类效果较佳的多标签分类模，通过训练好的多标签分类模型对待标注语料进行分类，并基于分类结果对待标注语料进行标注。本申请通过获取训练语料在各个标签下的输出概率，并计算各个输出概率的置信区间，通过置信区间对训练语料的标注进行修正，提升多标签分类模型输出准确性和稳定性，使得训练得到的多标签分类模型的输出结果满足大部分应用场景下的多标签分类标注需求。
附图说明
为了更清楚地说明本申请中的方案，下面将对本申请实施例描述中所需要使用的附图作一个简单介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了本申请可以应用于其中的示例性系统架构图；
图2示出了根据本申请的基于多标签分类的标注方法的一个实施例的流程图；
图3示出了根据本申请的基于多标签分类的标注装置的一个实施例的结构示意图；
图4示出了根据本申请的计算机设备的一个实施例的结构示意图。
具体实施方式
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同；本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请；本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本申请的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
为了使本技术领域的人员更好地理解本申请方案，下面将结合附图，对本申请实施例中的技术方案进行清楚、完整地描述。
如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如网页浏览器应用、购物类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。
终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(Moving PictureExpertsGroup Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(MovingPictureExperts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。
服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103上显示的页面提供支持的后台服务器。
需要说明的是，本申请实施例所提供的基于多标签分类的标注方法一般由服务器执行，相应地，基于多标签分类的标注装置一般设置于服务器中。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
继续参考图2，示出了根据本申请的基于多标签分类的标注的方法的一个实施例的流程图。所述的基于多标签分类的标注方法，包括以下步骤：
S201，从预设数据库中获取训练语料，对训练语料进行标注，得到训练样本集。
其中，预设数据库中存储有预先收集的若干份语料，对预设数据库中语料进行随机分组，得到训练语料和验证语料，训练语料用于多标签分类模型的训练，验证语料用于验证训练语料的标注是否准确。将验证语料输入到训练好的初始多标签分类模型，获取初始多标签分类模型的输出结果，计算初始多标签分类模型的输出结果的置信度，基于计算得到的置信度对训练语料重新进行标注，以提高训练样本的准确度，使得模型训练过程更加标准，从而使得多标签分类模型的分类效果更加精确。
具体的，从预设数据库中获取所有的训练语料和预设标签集合，其中，预设标签集合包含多个标签，通过预设标签集合对获取到的训练语料进行标注，并对标注后的训练语料进行随机组合，得到多个训练样本集，以及与每一个训练样本集相互对应的验证数据集。
S202，将训练样本集导入到预设的初始多标签分类模型，获取初始多标签分类模型的输出结果，其中，输出结果至少包括训练语料在多个标签下的输出概率。
具体的，初始多标签分类模型中包含多个初始多标签分类子模型，将步骤S201得到的每一个训练样本集分别用于训练一个初始多标签分类子模型，训练完成后可以得到多个多标签分类子模型。将预设数据库中的验证语料分别导入训练好的多标签分类子模型，获取每一个多标签分类子模型的输出结果，其中，每一个多标签分类子模型的的输出结果至少包括训练语料在多个标签下的输出概率。对所有多标签分类子模型的输出结果进行整合，得到多标签分类模型的输出结果。
在本申请具体的实施例中，例如某一验证语料包含3个标签，分别为标签1、标签2和标签3，将该验证语料分别导入训练好的初始多标签分类子模型，则每一个训练好的初始多标签分类子模型都会输出该训练语料在标签1、标签2和标签3下的输出概率，整合该训练语料在初始多标签分类子模型所有输出概率，得到该训练语料在多标签分类模型的输出结果。
其中，初始多标签分类模型可以是任意机器学习分类模型，例如深度学习网络模型(BERT模型、TextCNN模型等)。在一种可能的实现方式中，如人机通过的话问答类场景，用户提问信息通常为文本信息，即待标注数据通常为文本信息，因此初始多标签分类模型可以采用文本分类模型。
S203，计算每一个输出概率对应的置信区间，并基于置信区间重新对训练语料进行标注。
具体的，将验证语料导入训练好的多标签分类子模型，获取模型的输出结果，其中，输出结果至少包括训练语料在多个标签下的输出概率，预设一个置信度，通过预设的置信度计算每一个输出概率对应的置信区间，并根据计算得到的置信区间重新对训练语料进行标注，通过这个方法验证训练语料标注的可信程度，防止因为错误标注结果造成模型分类效果下降，保证了训练样本集的质量，提高多标签分类模型的性能。在本申请具体的实施例中，可以多次重复S201至S203的步骤，获得更为精准的训练样本集，以便提升训练出来的多标签分类模型的性能。
S204，采用重新标注后的训练语料对预设的初始多标签分类模型进行迭代更新，得到训练好的多标签分类模型。
具体的，通过重新标注后的训练语料对预设的初始多标签分类模型进行迭代更新。通过设置初始多标签分类模型的损失函数，将重新标注后的训练语料再次导入到预设的初始多标签分类模型，获取初始多标签分类模型输出的训练结果，比对训练结果与预设标准结果，若训练结果处于预设标准结果的范围之外，则基于初始多标签分类模型的损失函数对初始多标签分类模型进行迭代更新，直到训练结果符合要求为止，即直至训练结果落入预设标准结果的范围之内为止，输出训练结果符合要求的多标签分类模型。通过上述方法，利用重新标注的训练样本集训练多标签分类模型，并对多标签分类模型进行迭代更新，提高多标签分类模型的准确性和稳定性。
S205，获取待标注语料，通过训练好的多标签分类模型对待标注语料进行分类，得到待标注语料的分类结果，并基于分类结果对待标注语料进行标注。
具体的，在接收到用户从用户终端发送的标注指令时，获取标注指令对应的待标注语料，通过步骤S204中训练好的多标签分类模型对待标注语料进行分类，得到待标注语料的分类结果，分类结果包括至少一个类别标签，基于上述待标注语料的分类结果对待标注语料进行标注。在本申请一种具体的实施例中，服务器可以同时将分类结果以及与分类结果对应的置信度、置信区间一并反馈给用户终端，供用户查看。
在本实施例中，基于多标签分类的标注方法运行于其上的电子设备(例如图1所示的服务器/终端设备)可以通过有线连接方式或者无线连接方式接收到用户从用户终端发送的标注指令。需要指出的是，上述无线连接方式可以包括但不限于3G/4G连接、WiFi连接、蓝牙连接、WiMAX连接、Zigbee连接、UWB(ultrawideband)连接、以及其他现在已知或将来开发的无线连接方式。
本实施例公开了一种基于多标签分类的标注方法，属于人工智能技术领域。本申请先对通过预设的标签集合对训练语料进行标注，得到训练样本集，再将训练样本集导入初始多标签分类模型，获取训练语料在各个标签下的输出概率，计算各个输出概率对应的置信区间，通过计算得到的置信区间验证训练语料标注的准确性，并对训练语料的标注进行修正，通过修正后的训练语料对初始多标签分类模进行迭代更新，获得分类效果较佳的多标签分类模，通过训练好的多标签分类模型对待标注语料进行分类，并基于分类结果对待标注语料进行标注。本申请通过获取训练语料在各个标签下的输出概率，并计算各个输出概率的置信区间，通过置信区间对训练语料的标注进行修正，提升多标签分类模型输出准确性和稳定性，使得训练得到的多标签分类模型的输出结果满足大部分应用场景下的多标签分类标注需求。
进一步的，从预设数据库中获取训练语料，对训练语料进行标注，得到训练样本集的步骤，具体包括：
从预设数据库中获取训练语料和预设标签集合，其中，预设标签集合包含若干个标签；
基于预设标签集合中的标签对训练语料进行标注，并对标注后的训练语料进行随机组合，得到若干个训练样本集，以及与每一个训练样本集相互对应的验证数据集。
具体的，预设标签集合包含有多个标签，通过预设标签集合中的标签对训练语料进行标注，并对标注后的训练语料进行随机组合，得到多个训练样本集，以及与每一个训练样本集相互对应的验证数据集，并将训练样本集和验证数据集存储到预设历史语料库中，训练样本集用于多标签分类模型的训练，验证数据集用于多标签分类模型的验证。在本申请一种具体的实施方式中，标签集合中预设有标签1、标签2和标签3，训练语料包括data1、data2、data3、data4和data5，分别基于标签1、标签2和标签3对训练语料进行标注，然后对标注后的所述训练语料进行随机组合，得到5分训练样本集(由任意4个训练语料组成，如[data1、data2、data3、data4]等)和每一个训练样本集相互对应的验证数据集(如data5)。
进一步的，基于预设标签集合中的标签对训练语料进行标注的步骤，具体包括：
对获取到的训练语料进行预处理；
对分词后的训练语料进行关键词识别，并提取训练语料中的关键词；
分别计算训练语料中的关键词与预设标签集合中的各个标签的相似度；
对计算得到的各个相似度进行排序，并相似度排序结果对训练语料进行标注。
具体的，对获取到的训练语料进行预处理，其中，对训练语料进行预处理至少包括文本纠错、文本去重、标点符号去除、语气词去除等。对分词后的训练语料进行关键词识别，识别训练语料中的关键词，并提取训练语料中的关键词，分别计算训练语料中的关键词与预设标签集合中的各个标签的相似度，对计算得到的各个相似度进行排序，并相似度排序结果对训练语料进行标注。在上述实施例中，通过计算训练语料中的关键词与预设标签集合中的各个标签的相似度，以及对计算得到相似度进行排序，可以快速完成训练语料的标注。
进一步的，初始多标签分类模型包括若干个初始多标签分类子模型，将训练样本集导入到预设的初始多标签分类模型，获取初始多标签分类模型的输出结果的步骤，具体包括：
将若干个训练样本集导入到预设的初始多标签分类模型，并将若干个训练样本集随机分配给若干个初始多标签分类子模型，其中，每一个初始多标签分类子模型获得一个训练样本集；
将配对成功的训练样本集导入到相应的初始多标签分类子模型中进行模型训练，得到若干个训练好的初始多标签分类子模型；
从预设数据库中获取验证语料，将验证语料分别导入若干个训练好的初始多标签分类子模型，得到若干个初始多标签分类子模型的输出结果；
对所有初始多标签分类子模型的输出结果进行整合，得到初始多标签分类模型的输出结果。
其中，先对训练语料进行标注，得到训练样本集，通过训练样本集对预设的初始多标签分类模型进行训练，可以得到多标签分类模型。但对训练语料进行标注的准确性无法保证，因此需要验证语料对来对训练语料的标注进行验证，当验证出训练语料的标注不准确时，需要对训练语料进行重新标注，以保证训练样本集的质量，提高多标签分类模型的性能。
具体的，将多个训练样本集导入到预设的初始多标签分类模型，其中，初始多标签分类模型中包含多个初始多标签分类子模型。将多个训练样本集随机分配给对应的多个初始多标签分类子模型，其中，每一个初始多标签分类子模型只能获得一个训练样本集，且每一个训练样本集不能重复分配给不同的初始多标签分类子模型。将配对成功的训练样本集导入到对应的初始多标签分类子模型中进行模型训练，得到多个训练好的初始多标签分类子模型，从预设数据库中获取验证语料，将验证语料分别导入多个训练好的初始多标签分类子模型，得到多个初始多标签分类子模型的输出结果，对所有初始多标签分类子模型的输出结果进行整合，得到初始多标签分类模型的输出结果。
在本申请一种具体的实施方式中，初始多标签分类模型包括5个初始多标签分类子模型，通过训练可以得到5个多标签分类子模型，通过这5个多标签分类子模型对同一条验证语料产生5条预测数据。其中，每个多标签分类子模型针对不同的标签又会输出不同的预测结果，例如，在上述具体的实施例中，针对标签1，上述5个多标签分类子模型分别输出[p11,p21,p31,p41,p51]这5个预测结果，同理针对标签2，上述5个多标签分类子模型分别输出[p12,p22,p32,p42,p52]这5个预测结果，同理针对标签3，上述5个多标签分类子模型分别输出[p13,p23,p33,p43,p53]这5个预测结果。
在上述实施例中，通过对多个初始多标签分类子模型进行训练，并通过将验证语料导入训练好的多个初始多标签分类子模型，获取多个初始多标签分类子模型的输出结果，对所有初始多标签分类子模型的输出结果进行整合，得到初始多标签分类模型的输出结果，方便后续进行置信区间的计算和训练样本标注的修正。
进一步的，计算每一个输出概率对应的置信区间，并基于置信区间重新对训练语料进行标注的步骤，具体包括：
计算每一个标签对应的输出概率均值，以及基于每一个标签对应的输出概率均值计算每一个标签的输出概率方差；
基于预设的置信度阈值、每一个标签的输出概率均值以及每一个标签的输出概率方差确定每一个输出概率的置信区间；
基于每一个输出概率的置信区间对训练语料进行重新标注。
具体的，通过以下式子计算每一个标签的输出概率均值：
Figure BDA0002846162060000131
其中，n为初始多标签分类模型中子模型数量，PXavr为训练语料在所有子模型的标签X下的输出概率均值。通过以下式子计算每一个所述标签的输出概率方差：
Figure BDA0002846162060000132
其中，σ2为训练语料在所有子模型的标签X下的输出概率方差，PXk为所述训练语料在第k个子模型的标签X下的输出概率。通过以下式子确定每一个所述输出概率的置信区间：
Figure BDA0002846162060000133
其中，I为置信区间，I存在上限和下限，α为预设的置信度阈值，一般取值为95％，Zα为置信度阈值α对应的参数，可以通过查预设的公共Z表得到，
Figure BDA0002846162060000134
为输出概率的标准差，可以通过输出概率方差求得。
在上述实施例中，通过计算每一个标签对应的输出概率均值和输出概率方差，并基于预设的置信度阈值、每一个标签的输出概率均值以及每一个标签的输出概率方差确定每一个输出概率的置信区间，基于每一个输出概率的置信区间对训练语料进行重新标注，通过置信区间对训练语料的标注进行修正，提升多标签分类模型输出准确性和稳定性。
进一步的，基于每一个输出概率的置信区间对训练语料进行重新标注的步骤，具体包括：
获取每一个置信区间的上限值和下限值，并基于获取的上限值和下限值计算每一个置信区间的上下限均值；
将每一个置信区间的上下限均值与预设阈值进行比对，根据比对结果对预设标签集合中的标签进行调整；
根据调整后的预设标签集合对训练语料进行重新标注。
在本申请一种具体的实施方式中，假设axn为训练语料在标签x下的置信区间的上限值,bxn为训练语料在标签x下的置信区间的下限值，预设阈值设置为0.5。若在标签x下的所有输出概率的置信区间中存在任意一个或者多个置信区间的上下限均值大于或等于0.5，则在预设标签集合中保留该标签X，若在标签x下的所有输出概率的置信区间中不存在任意一个或者多个置信区间的上下限均值小于0.5，即说明该标签x不可信，则将该标签X从预设标签集合中剔除。重复上述操作，直至预设标签集合中所有标签均经过验证，去除所有数据不可信的标签，得到符合训练语料的标签集合，获取经过调整后的预设标签集合对所述训练语料进行重新标注。在上述实施例中，通过计算所有输出概率的置信区间的上下限均值对训练语料的标注进行修正，提升多标签分类模型输出准确性和稳定性。
进一步的，采用重新标注后的训练语料对预设的初始多标签分类模型进行迭代更新，得到训练好的多标签分类模型的步骤，具体包括：
将重新标注后的训练语料导入到预设的初始多标签分类模型，获取初始多标签分类模型输出的训练结果；
将训练结果与预设标准结果进行比对，并基于比对结果对初始多标签分类模型进行迭代更新，直至训练结果落入预设标准结果的范围内，输出多标签分类模型。
设置初始多标签分类模型的损失函数，将重新标注后的训练语料再次导入到预设的初始多标签分类模型，获取初始多标签分类模型输出的训练结果，比对训练结果与预设标准结果，若训练结果处于预设标准结果的范围之外，则基于初始多标签分类模型的损失函数对初始多标签分类模型进行迭代更新，直到训练结果符合要求为止，即直至训练结果落入预设标准结果的范围之内为止，输出训练结果符合要求的多标签分类模型。通过上述方法，利用重新标注的训练样本集训练多标签分类模型，并对多标签分类模型进行迭代更新，提高多标签分类模型的准确性和稳定性。
需要强调的是，为进一步保证上述待标注语料的私密和安全性，上述待标注语料还可以存储于一区块链的节点中。
本申请所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机可读指令来指令相关的硬件来完成，该计算机可读指令可存储于一计算机可读取存储介质中，该计算机可读指令在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等非易失性存储介质，或随机存储记忆体(Random Access Memory，RAM)等。
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
进一步参考图3，作为对上述图2所示方法的实现，本申请提供了一种基于多标签分类的标注装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图3所示，本实施例所述的基于多标签分类的标注装置包括：
第一标注模块301，用于从预设数据库中获取训练语料，对训练语料进行标注，得到训练样本集；
语料分类模块302，用于将训练样本集导入到预设的初始多标签分类模型，获取初始多标签分类模型的输出结果，其中，输出结果至少包括训练语料在多个标签下的输出概率；
第二标注模块303，用于计算每一个输出概率对应的置信区间，并基于置信区间重新对训练语料进行标注；
模型训练模块304，用于采用重新标注后的训练语料对预设的初始多标签分类模型进行迭代更新，得到训练好的多标签分类模型；
第三标注模块305，用于获取待标注语料，通过训练好的多标签分类模型对待标注语料进行分类，得到待标注语料的分类结果，并基于分类结果对待标注语料进行标注。
进一步的，第一标注模块301具体包括：
获取单元，用于从预设数据库中获取训练语料和预设标签集合，其中，预设标签集合包含若干个标签；
第一标注单元，用于基于预设标签集合中的标签对训练语料进行标注，并对标注后的训练语料进行随机组合，得到若干个训练样本集，以及与每一个训练样本集相互对应的验证数据集。
进一步的，第一标注单元具体包括：
预处理子单元，用于对获取到的训练语料进行预处理；
关键词识别子单元，用于对分词后的训练语料进行关键词识别，并提取训练语料中的关键词；
相似度计算子单元，用于分别计算训练语料中的关键词与预设标签集合中的各个标签的相似度；
第一标注子单元，用于对计算得到的各个相似度进行排序，并相似度排序结果对训练语料进行标注。
进一步的，初始多标签分类模型包括若干个初始多标签分类子模型，语料分类模块302具体包括：
分配单元，用于将若干个训练样本集导入到预设的初始多标签分类模型，并将若干个训练样本集随机分配给若干个初始多标签分类子模型，其中，每一个初始多标签分类子模型获得一个训练样本集；
训练单元，用于将配对成功的训练样本集导入到相应的初始多标签分类子模型中进行模型训练，得到若干个训练好的初始多标签分类子模型；
验证单元，用于从预设数据库中获取验证语料，将验证语料分别导入若干个训练好的初始多标签分类子模型，得到若干个初始多标签分类子模型的输出结果；
整合单元，用于对所有初始多标签分类子模型的输出结果进行整合，得到初始多标签分类模型的输出结果。
进一步的，第二标注模块303具体包括：
均值方差计算单元，用于计算每一个标签对应的输出概率均值，以及基于每一个标签对应的输出概率均值计算每一个标签的输出概率方差；
置信区间计算单元，用于基于预设的置信度阈值、每一个标签的输出概率均值以及每一个标签的输出概率方差确定每一个输出概率的置信区间；
第二标注单元，用于基于每一个输出概率的置信区间对训练语料进行重新标注。
进一步的，第二标注单元具体包括：
均值计算子单元，用于获取每一个置信区间的上限值和下限值，并基于获取的上限值和下限值计算每一个置信区间的上下限均值；
比对子单元，用于将每一个置信区间的上下限均值与预设阈值进行比对，根据比对结果对预设标签集合中的标签进行调整；
第二标注子单元，用于根据调整后的预设标签集合对训练语料进行重新标注。
进一步的，模型训练模块304具体包括：
导入单元，用于将重新标注后的训练语料导入到预设的初始多标签分类模型，获取初始多标签分类模型输出的训练结果；
迭代更新单元，用于将训练结果与预设标准结果进行比对，并基于比对结果对初始多标签分类模型进行迭代更新，直至训练结果落入预设标准结果的范围内，输出多标签分类模型。
本实施例公开了一种基于多标签分类的标注装置，属于人工智能技术领域。本申请先对通过预设的标签集合对训练语料进行标注，得到训练样本集，再将训练样本集导入初始多标签分类模型，获取训练语料在各个标签下的输出概率，计算各个输出概率对应的置信区间，通过计算得到的置信区间验证训练语料标注的准确性，并对训练语料的标注进行修正，通过修正后的训练语料对初始多标签分类模进行迭代更新，获得分类效果较佳的多标签分类模，通过训练好的多标签分类模型对待标注语料进行分类，并基于分类结果对待标注语料进行标注。本申请通过获取训练语料在各个标签下的输出概率，并计算各个输出概率的置信区间，通过置信区间对训练语料的标注进行修正，提升多标签分类模型输出准确性和稳定性，使得训练得到的多标签分类模型的输出结果满足大部分应用场景下的多标签分类标注需求。
为解决上述技术问题，本申请实施例还提供计算机设备。具体请参阅图4，图4为本实施例计算机设备基本结构框图。
所述计算机设备4包括通过系统总线相互通信连接存储器41、处理器42、网络接口43。需要指出的是，图中仅示出了具有组件41-43的计算机设备4，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。其中，本技术领域技术人员可以理解，这里的计算机设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(ApplicationSpecific Integrated Circuit，ASIC)、可编程门阵列(Field－Programmable GateArray，FPGA)、数字处理器(Digital Signal Processor，DSP)、嵌入式设备等。
所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
所述存储器41至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器41可以是所述计算机设备4的内部存储单元，例如该计算机设备4的硬盘或内存。在另一些实施例中，所述存储器41也可以是所述计算机设备4的外部存储设备，例如该计算机设备4上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(FlashCard)等。当然，所述存储器41还可以既包括所述计算机设备4的内部存储单元也包括其外部存储设备。本实施例中，所述存储器41通常用于存储安装于所述计算机设备4的操作系统和各类应用软件，例如基于多标签分类的标注方法的计算机可读指令等。此外，所述存储器41还可以用于暂时地存储已经输出或者将要输出的各类数据。
所述处理器42在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器42通常用于控制所述计算机设备4的总体操作。本实施例中，所述处理器42用于运行所述存储器41中存储的计算机可读指令或者处理数据，例如运行所述基于多标签分类的标注方法的计算机可读指令。
所述网络接口43可包括无线网络接口或有线网络接口，该网络接口43通常用于在所述计算机设备4与其他电子设备之间建立通信连接。
本申请公开了一种计算机设备，属于人工智能技术领域。本申请先对通过预设的标签集合对训练语料进行标注，得到训练样本集，再将训练样本集导入初始多标签分类模型，获取训练语料在各个标签下的输出概率，计算各个输出概率对应的置信区间，通过计算得到的置信区间验证训练语料标注的准确性，并对训练语料的标注进行修正，通过修正后的训练语料对初始多标签分类模进行迭代更新，获得分类效果较佳的多标签分类模，通过训练好的多标签分类模型对待标注语料进行分类，并基于分类结果对待标注语料进行标注。本申请通过获取训练语料在各个标签下的输出概率，并计算各个输出概率的置信区间，通过置信区间对训练语料的标注进行修正，提升多标签分类模型输出准确性和稳定性，使得训练得到的多标签分类模型的输出结果满足大部分应用场景下的多标签分类标注需求。
本申请还提供了另一种实施方式，即提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可读指令，所述计算机可读指令可被至少一个处理器执行，以使所述至少一个处理器执行如上述的基于多标签分类的标注方法的步骤。
本申请公开了一种存储介质，属于人工智能技术领域。本申请先对通过预设的标签集合对训练语料进行标注，得到训练样本集，再将训练样本集导入初始多标签分类模型，获取训练语料在各个标签下的输出概率，计算各个输出概率对应的置信区间，通过计算得到的置信区间验证训练语料标注的准确性，并对训练语料的标注进行修正，通过修正后的训练语料对初始多标签分类模进行迭代更新，获得分类效果较佳的多标签分类模，通过训练好的多标签分类模型对待标注语料进行分类，并基于分类结果对待标注语料进行标注。本申请通过获取训练语料在各个标签下的输出概率，并计算各个输出概率的置信区间，通过置信区间对训练语料的标注进行修正，提升多标签分类模型输出准确性和稳定性，使得训练得到的多标签分类模型的输出结果满足大部分应用场景下的多标签分类标注需求。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。
显然，以上所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例，附图中给出了本申请的较佳实施例，但并不限制本申请的专利范围。本申请可以以许多不同的形式来实现，相反地，提供这些实施例的目的是使对本申请的公开内容的理解更加透彻全面。尽管参照前述实施例对本申请进行了详细的说明，对于本领域的技术人员来而言，其依然可以对前述各具体实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等效替换。凡是利用本申请说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理在本申请专利保护范围之内。

Claims (10)

1.一种基于多标签分类的标注方法，其特征在于，包括：
从预设数据库中获取训练语料，对所述训练语料进行标注，得到训练样本集；
将所述训练样本集导入到预设的初始多标签分类模型，获取所述初始多标签分类模型的输出结果，其中，所述输出结果至少包括所述训练语料在多个标签下的输出概率；
计算每一个所述输出概率对应的置信区间，并基于所述置信区间重新对所述训练语料进行标注；
采用重新标注后的所述训练语料对预设的初始多标签分类模型进行迭代更新，得到训练好的多标签分类模型；
获取待标注语料，通过所述训练好的多标签分类模型对所述待标注语料进行分类，得到所述待标注语料的分类结果，并基于所述分类结果对所述待标注语料进行标注。
2.如权利要求1所述的基于多标签分类的标注方法，其特征在于，所述从预设数据库中获取训练语料，对所述训练语料进行标注，得到训练样本集的步骤，具体包括：
从预设数据库中获取训练语料和预设标签集合，其中，所述预设标签集合包含若干个标签；
基于所述预设标签集合中的标签对所述训练语料进行标注，并对标注后的所述训练语料进行随机组合，得到若干个所述训练样本集，以及与每一个所述训练样本集相互对应的验证数据集。
3.如权利要求2所述的基于多标签分类的标注方法，其特征在于，所述基于所述预设标签集合中的标签对所述训练语料进行标注的步骤，具体包括：
对获取到的所述训练语料进行预处理；
对分词后的所述训练语料进行关键词识别，并提取所述训练语料中的关键词；
分别计算所述训练语料中的关键词与所述预设标签集合中的各个标签的相似度；
对计算得到的各个相似度进行排序，并相似度排序结果对所述训练语料进行标注。
4.如权利要求2所述的基于多标签分类的标注方法，其特征在于，所述初始多标签分类模型包括若干个初始多标签分类子模型，所述将所述训练样本集导入到预设的初始多标签分类模型，获取所述初始多标签分类模型的输出结果的步骤，具体包括：
将若干个所述训练样本集导入到预设的初始多标签分类模型，并将若干个所述训练样本集随机分配给若干个所述初始多标签分类子模型，其中，每一个所述初始多标签分类子模型获得一个所述训练样本集；
将配对成功的所述训练样本集导入到相应的初始多标签分类子模型中进行模型训练，得到若干个训练好的初始多标签分类子模型；
从预设数据库中获取验证语料，将所述验证语料分别导入若干个训练好的初始多标签分类子模型，得到若干个初始多标签分类子模型的输出结果；
对所有初始多标签分类子模型的输出结果进行整合，得到所述初始多标签分类模型的输出结果。
5.如权利要求1至4任意一项所述的基于多标签分类的标注方法，其特征在于，所述计算每一个所述输出概率对应的置信区间，并基于所述置信区间重新对所述训练语料进行标注的步骤，具体包括：
计算每一个所述标签对应的输出概率均值，以及基于每一个所述标签对应的所述输出概率均值计算每一个所述标签的输出概率方差；
基于预设的置信度阈值、每一个所述标签的输出概率均值以及每一个所述标签的输出概率方差确定每一个所述输出概率的置信区间；
基于每一个所述输出概率的置信区间对所述训练语料进行重新标注。
6.如权利要求5所述的基于多标签分类的标注方法，其特征在于，所述基于每一个所述输出概率的置信区间对所述训练语料进行重新标注的步骤，具体包括：
获取每一个所述置信区间的上限值和下限值，并基于获取的所述上限值和所述下限值计算每一个所述置信区间的上下限均值；
将所述每一个所述置信区间的上下限均值与预设阈值进行比对，根据比对结果对所述预设标签集合中的标签进行调整；
根据调整后的所述预设标签集合对所述训练语料进行重新标注。
7.如权利要求5所述的基于多标签分类的标注方法，其特征在于，所述采用重新标注后的所述训练语料对预设的初始多标签分类模型进行迭代更新，得到训练好的多标签分类模型的步骤，具体包括：
将重新标注后的所述训练语料导入到预设的初始多标签分类模型，获取所述初始多标签分类模型输出的训练结果；
将所述训练结果与预设标准结果进行比对，并基于比对结果对初始多标签分类模型进行迭代更新，直至所述训练结果落入预设标准结果的范围内，输出所述多标签分类模型。
8.一种基于多标签分类的标注装置，其特征在于，包括：
第一标注模块，用于从预设数据库中获取训练语料，对所述训练语料进行标注，得到训练样本集；
语料分类模块，用于将所述训练样本集导入到预设的初始多标签分类模型，获取所述初始多标签分类模型的输出结果，其中，所述输出结果至少包括所述训练语料在多个标签下的输出概率；
第二标注模块，用于计算每一个所述输出概率对应的置信区间，并基于所述置信区间重新对所述训练语料进行标注；
模型训练模块，用于采用重新标注后的所述训练语料对预设的初始多标签分类模型进行迭代更新，得到训练好的多标签分类模型；
第三标注模块，用于获取待标注语料，通过所述训练好的多标签分类模型对所述待标注语料进行分类，得到所述待标注语料的分类结果，并基于所述分类结果对所述待标注语料进行标注。
9.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述处理器执行所述计算机可读指令时实现如权利要求1至7中任一项所述的基于多标签分类的标注方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如权利要求1至7中任一项所述的基于多标签分类的标注方法的步骤。
CN202011510219.8A 2020-12-18 2020-12-18 一种基于多标签分类的标注方法、装置、设备及存储介质 Pending CN112632278A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011510219.8A CN112632278A (zh) 2020-12-18 2020-12-18 一种基于多标签分类的标注方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011510219.8A CN112632278A (zh) 2020-12-18 2020-12-18 一种基于多标签分类的标注方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN112632278A true CN112632278A (zh) 2021-04-09

Family

ID=75317847

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011510219.8A Pending CN112632278A (zh) 2020-12-18 2020-12-18 一种基于多标签分类的标注方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN112632278A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113159195A (zh) * 2021-04-26 2021-07-23 深圳市大数据研究院 一种超声图像分类方法、系统、电子装置及存储介质
CN113393848A (zh) * 2021-06-11 2021-09-14 上海明略人工智能(集团)有限公司 用于训练说话人识别模型的方法、装置、电子设备和可读存储介质
CN113435499A (zh) * 2021-06-25 2021-09-24 平安科技（深圳）有限公司 标签分类方法、装置、电子设备和存储介质
CN113486127A (zh) * 2021-07-23 2021-10-08 上海明略人工智能(集团)有限公司 一种知识对齐方法、系统、电子设备及介质
CN113570286A (zh) * 2021-09-24 2021-10-29 平安科技（深圳）有限公司 基于人工智能的资源分配方法、装置、电子设备及介质
CN113593591A (zh) * 2021-07-27 2021-11-02 北京小米移动软件有限公司 语料降噪方法及装置、电子设备和存储介质
CN113987189A (zh) * 2021-11-11 2022-01-28 深圳依时货拉拉科技有限公司 订单备注标签确定方法、装置、存储介质和计算机设备
CN114492306A (zh) * 2021-11-16 2022-05-13 马上消费金融股份有限公司 语料标注方法、装置、电子设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180157743A1 (en) * 2016-12-07 2018-06-07 Mitsubishi Electric Research Laboratories, Inc. Method and System for Multi-Label Classification
CN108229519A (zh) * 2017-02-17 2018-06-29 北京市商汤科技开发有限公司 图像分类的方法、装置及系统
CN109460914A (zh) * 2018-11-05 2019-03-12 云南大学 基于半监督的纠错学习的桥梁健康等级确定方法
CN110458245A (zh) * 2019-08-20 2019-11-15 图谱未来(南京)人工智能研究院有限公司 一种多标签分类模型训练方法、数据处理方法及装置
CN110516704A (zh) * 2019-07-19 2019-11-29 中国科学院地理科学与资源研究所 一种基于关联规则的mlknn多标签分类方法
CN111723209A (zh) * 2020-06-28 2020-09-29 上海携旅信息技术有限公司 半监督文本分类模型训练方法、文本分类方法、系统、设备及介质
CN111737476A (zh) * 2020-08-05 2020-10-02 腾讯科技（深圳）有限公司 文本处理方法、装置、计算机可读存储介质及电子设备
CN112084334A (zh) * 2020-09-04 2020-12-15 中国平安财产保险股份有限公司 语料的标签分类方法、装置、计算机设备及存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180157743A1 (en) * 2016-12-07 2018-06-07 Mitsubishi Electric Research Laboratories, Inc. Method and System for Multi-Label Classification
CN108229519A (zh) * 2017-02-17 2018-06-29 北京市商汤科技开发有限公司 图像分类的方法、装置及系统
CN109460914A (zh) * 2018-11-05 2019-03-12 云南大学 基于半监督的纠错学习的桥梁健康等级确定方法
CN110516704A (zh) * 2019-07-19 2019-11-29 中国科学院地理科学与资源研究所 一种基于关联规则的mlknn多标签分类方法
CN110458245A (zh) * 2019-08-20 2019-11-15 图谱未来(南京)人工智能研究院有限公司 一种多标签分类模型训练方法、数据处理方法及装置
CN111723209A (zh) * 2020-06-28 2020-09-29 上海携旅信息技术有限公司 半监督文本分类模型训练方法、文本分类方法、系统、设备及介质
CN111737476A (zh) * 2020-08-05 2020-10-02 腾讯科技（深圳）有限公司 文本处理方法、装置、计算机可读存储介质及电子设备
CN112084334A (zh) * 2020-09-04 2020-12-15 中国平安财产保险股份有限公司 语料的标签分类方法、装置、计算机设备及存储介质

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113159195A (zh) * 2021-04-26 2021-07-23 深圳市大数据研究院 一种超声图像分类方法、系统、电子装置及存储介质
CN113393848A (zh) * 2021-06-11 2021-09-14 上海明略人工智能(集团)有限公司 用于训练说话人识别模型的方法、装置、电子设备和可读存储介质
CN113435499A (zh) * 2021-06-25 2021-09-24 平安科技（深圳）有限公司 标签分类方法、装置、电子设备和存储介质
CN113435499B (zh) * 2021-06-25 2023-06-20 平安科技（深圳）有限公司 标签分类方法、装置、电子设备和存储介质
CN113486127A (zh) * 2021-07-23 2021-10-08 上海明略人工智能(集团)有限公司 一种知识对齐方法、系统、电子设备及介质
CN113486127B (zh) * 2021-07-23 2024-06-07 上海明略人工智能(集团)有限公司 一种知识对齐方法、系统、电子设备及介质
CN113593591A (zh) * 2021-07-27 2021-11-02 北京小米移动软件有限公司 语料降噪方法及装置、电子设备和存储介质
CN113593591B (zh) * 2021-07-27 2024-06-11 北京小米移动软件有限公司 语料降噪方法及装置、电子设备和存储介质
CN113570286A (zh) * 2021-09-24 2021-10-29 平安科技（深圳）有限公司 基于人工智能的资源分配方法、装置、电子设备及介质
CN113570286B (zh) * 2021-09-24 2022-01-04 平安科技（深圳）有限公司 基于人工智能的资源分配方法、装置、电子设备及介质
CN113987189A (zh) * 2021-11-11 2022-01-28 深圳依时货拉拉科技有限公司 订单备注标签确定方法、装置、存储介质和计算机设备
CN114492306A (zh) * 2021-11-16 2022-05-13 马上消费金融股份有限公司 语料标注方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN112632278A (zh) 一种基于多标签分类的标注方法、装置、设备及存储介质
CN108629043B (zh) 网页目标信息的提取方法、装置及存储介质
CN113127633B (zh) 智能会议管理方法、装置、计算机设备及存储介质
WO2022048363A1 (zh) 网站分类方法、装置、计算机设备及存储介质
CN111783471B (zh) 自然语言的语义识别方法、装置、设备及存储介质
CN112328761A (zh) 一种意图标签设置方法、装置、计算机设备及存储介质
CN110929125A (zh) 搜索召回方法、装置、设备及其存储介质
CN112287069A (zh) 基于语音语义的信息检索方法、装置及计算机设备
CN114357117A (zh) 事务信息查询方法、装置、计算机设备及存储介质
CN113987125A (zh) 基于神经网络的文本结构化信息提取方法、及其相关设备
CN113722438A (zh) 基于句向量模型的句向量生成方法、装置及计算机设备
CN112395390A (zh) 意图识别模型的训练语料生成方法及其相关设备
CN112417121A (zh) 客户意图识别方法、装置、计算机设备及存储介质
CN112417887A (zh) 敏感词句识别模型处理方法、及其相关设备
CN115438149A (zh) 一种端到端模型训练方法、装置、计算机设备及存储介质
CN113569998A (zh) 票据自动识别方法、装置、计算机设备及存储介质
CN116796730A (zh) 基于人工智能的文本纠错方法、装置、设备及存储介质
CN114090792A (zh) 基于对比学习的文档关系抽取方法及其相关设备
CN113988223A (zh) 证件图像识别方法、装置、计算机设备及存储介质
CN112199954A (zh) 基于语音语义的疾病实体匹配方法、装置及计算机设备
CN111639164A (zh) 问答系统的问答匹配方法、装置、计算机设备及存储介质
CN116166858A (zh) 基于人工智能的信息推荐方法、装置、设备及存储介质
CN115730603A (zh) 基于人工智能的信息提取方法、装置、设备及存储介质
CN113065354B (zh) 语料中地理位置的识别方法及其相关设备
CN114513578A (zh) 外呼方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination