CN110968695A - 基于弱监督技术主动学习的智能标注方法、装置及平台 - Google Patents
基于弱监督技术主动学习的智能标注方法、装置及平台 Download PDFInfo
- Publication number
- CN110968695A CN110968695A CN201911127625.3A CN201911127625A CN110968695A CN 110968695 A CN110968695 A CN 110968695A CN 201911127625 A CN201911127625 A CN 201911127625A CN 110968695 A CN110968695 A CN 110968695A
- Authority
- CN
- China
- Prior art keywords
- mode
- data
- labeling
- labeled
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000002372 labelling Methods 0.000 title claims abstract description 184
- 238000005516 engineering process Methods 0.000 title claims abstract description 36
- 238000012549 training Methods 0.000 claims abstract description 97
- 238000010801 machine learning Methods 0.000 claims abstract description 63
- 238000000034 method Methods 0.000 claims abstract description 62
- 238000012795 verification Methods 0.000 claims abstract description 22
- 238000004458 analytical method Methods 0.000 claims description 17
- 230000008909 emotion recognition Effects 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 7
- 230000011218 segmentation Effects 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 6
- 238000013519 translation Methods 0.000 claims description 6
- 230000000694 effects Effects 0.000 abstract description 9
- 238000012216 screening Methods 0.000 description 13
- 238000013135 deep learning Methods 0.000 description 8
- 238000012360 testing method Methods 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 7
- 238000012986 modification Methods 0.000 description 7
- 230000004048 modification Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000012217 deletion Methods 0.000 description 5
- 230000037430 deletion Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000014509 gene expression Effects 0.000 description 5
- 230000001360 synchronised effect Effects 0.000 description 5
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000013480 data collection Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000012790 confirmation Methods 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000008676 import Effects 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000003032 molecular docking Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Abstract
本发明实施例公开了一种基于弱监督技术主动学习的智能标注方法、装置及平台，方法包括：获取待标注数据的标注方式，并根据所述标注方式对所述待标注数据进行数据标注，得到标注数据；选择机器学习模型和对应的模型参数配置，根据所述模型参数配置和所述标注数据对所述机器学习模型进行训练；若判断训练结果满足验证条件，则完成所述机器学习模型的训练；通过特定的标注方式对待标注数据进行数据标注，并根据选择的模型参数配置和标注数据对选择的机器学习模型进行训练，用户无需手工逐条标注数据，可通过弱监督方式生成大量标注数据，同时主动学习使用户尽可能用最小量标注的代价，达到优秀的模型效果。
Description
技术领域
本发明涉及计算机技术领域，具体涉及一种基于弱监督技术主动学习的智能标注方法、装置及平台。
背景技术
随着数据量的急剧增多，AI技术发展迅速，而机器学习是AI发展到一定阶段的必然产物。机器学习是通过计算的手段，从大量数据中挖掘有价值的潜在信息。在机器学习领域，往往通过将经验数据提供给机器学习算法来训练机器学习模型以确定构成机器学习模型的理想参数，而训练好的机器学习模型可被应用于在面对新的预测数据时提供相应的预测结果。
近年来，由于数据爆炸式增长以及计算力的提升，深度学习技术已经成为当前人工智能领域的一个研究热点，其已在图像识别、语音识别、自然语言处理等领域展现出了巨大的优势，并且仍在继续发展变化。
虽然深度学习使得诸多领域取得突破性进展，但是仍然存在一些局限。目前，依赖大规模标注数据的有监督的深度学习仍然占据主导地位。一方面，大规模标注数据的获取受到人工成本与时间成本的限制：真实世界存在着海量未标注数据，将这些数据逐一添加人工标签，显然是不现实的。另一方面，很多机器学习任务需要相关专业人士参与才能完成，单纯业务人员无法独立完成机器学习任务。
虽然机器学习模型的应用越来越广泛，但是由于机器学习模型的实现比较复杂，需要开发人员根据概率统计、机器算法等进行编码，然后，对编写的代码进行反复训练，才能得到机器学习模型。
发明内容
由于现有方法存在上述问题，本发明实施例提出一种基于弱监督技术主动学习的智能标注方法、装置及平台。
第一方面，本发明实施例提出一种基于弱监督技术主动学习的智能标注方法，包括：
获取待标注数据的标注方式，并根据所述标注方式对所述待标注数据进行数据标注，得到标注数据；
选择机器学习模型和对应的模型参数配置，根据所述模型参数配置和所述标注数据对所述机器学习模型进行训练；
若判断训练结果满足验证条件，则完成所述机器学习模型的训练；
其中，所述标注方法包括以下至少一种：标签分类方式、粗细粒度的情感识别方式、序列识别方式、结构化信息方式和序列生成方式；
所述序列识别方式包括以下至少一种：实体识别方式、分词识别方式和词性识别方式；
所述结构化信息方式包括以下至少一种：关系识别方式、句法分析方式、语义分析方式、事件抽取方式和多轮对话方式，所述多轮对话方式是具有上下文的结构化信息方式；
所述序列生成方式包括以下至少一种：机器翻译方式、文本摘要方式和文本生成方式。
可选地，所述获取待标注数据的标注方式，并根据所述标注方式对所述待标注数据进行数据标注，得到标注数据，具体包括：
若根据所述标注方式无法对所述待标注数据进行数据标注，则生成待标注提示信息，接收输入设备输入的标注信息，并根据所述标注信息得到标注数据。
可选地，所述根据所述标注方式对所述待标注数据进行数据标注，具体包括：
根据所述标注方式进入语料集逐条对所述待标注数据进行数据标注；或，
根据所述标注方式选择远程监督和人工规则的弱监督学习方法对所述待标注数据进行非精确标注；或，
根据所述标注方式通过语料搜索对所述待标注数据进行数据标注。
可选地，所述获取待标注数据的标注方式，并根据所述标注方式对所述待标注数据进行数据标注，得到标注数据之前，还包括：
根据主动学习方法或者弱监督学习方法生成所述待标注数据。
可选地，所述若判断训练结果满足验证条件，则完成所述机器学习模型的训练之后，还包括：
根据所述训练结果和验证结果评估训练完成的机器学习模型的性能指标：
其中，所述性能指标包括：准确率和/或召回率。
第二方面，本发明实施例还提出一种基于弱监督技术主动学习的智能标注装置，包括：
数据标注模块，用于获取待标注数据的标注方式，并根据所述标注方式对所述待标注数据进行数据标注，得到标注数据；
模型训练模块，用于选择机器学习模型和对应的模型参数配置，根据所述模型参数配置和所述标注数据对所述机器学习模型进行训练；
结果验证模块，用于若判断训练结果满足验证条件，则完成所述机器学习模型的训练；
其中，所述标注方法包括以下至少一种：标签分类方式、粗细粒度的情感识别方式、序列识别方式、结构化信息方式和序列生成方式；
所述序列识别方式包括以下至少一种：实体识别方式、分词识别方式和词性识别方式；
所述结构化信息方式包括以下至少一种：关系识别方式、句法分析方式、语义分析方式、事件抽取方式和多轮对话方式，所述多轮对话方式是具有上下文的结构化信息方式；
所述序列生成方式包括以下至少一种：机器翻译方式、文本摘要方式和文本生成方式。
可选地，所述数据标注模块具体用于：
若根据所述标注方式无法对所述待标注数据进行数据标注，则生成待标注提示信息，接收输入设备输入的标注信息，并根据所述标注信息得到标注数据。
可选地，所述数据标注模块具体用于：
根据所述标注方式进入语料集逐条对所述待标注数据进行数据标注；或，
根据所述标注方式选择远程监督和人工规则的弱监督学习方法对所述待标注数据进行非精确标注；或，
根据所述标注方式通过语料搜索对所述待标注数据进行数据标注。
可选地，所述基于弱监督技术主动学习的智能标注装置还包括：
数据生成模块，用于根据主动学习方法或者弱监督学习方法生成所述待标注数据。
可选地，所述基于弱监督技术主动学习的智能标注装置还包括：
指标评估模块，用于根据所述训练结果和验证结果评估训练完成的机器学习模型的性能指标：
其中，所述性能指标包括：准确率和/或召回率。
第三方面，本发明实施例还提出一种基于弱监督技术主动学习的智能标注平台，包括上述基于弱监督技术主动学习的智能标注装置。
第四方面，本发明实施例还提出一种电子设备，包括：
至少一个处理器；以及
与所述处理器通信连接的至少一个存储器，其中：
所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行上述方法。
第五方面，本发明实施例还提出一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机程序，所述计算机程序使所述计算机执行上述方法。
由上述技术方案可知，本发明实施例通过特定的标注方式对待标注数据进行数据标注，并根据选择的模型参数配置和标注数据对选择的机器学习模型进行训练，用户无需手工逐条标注数据，可通过弱监督方式生成大量标注数据，同时主动学习使用户尽可能用最小量标注的代价，达到优秀的模型效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些图获得其他的附图。
图1为本发明一实施例提供的一种基于弱监督技术主动学习的智能标注方法的流程示意图；
图2为本发明另一实施例提供的一种基于弱监督技术主动学习的智能标注方法的流程示意图；
图3为本发明一实施例提供的一种基于弱监督技术主动学习的智能标注装置的结构示意图；
图4为本发明一实施例提供的电子设备的逻辑框图。
具体实施方式
下面结合附图，对本发明的具体实施方式作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
图1示出了本实施例提供的一种基于弱监督技术主动学习的智能标注方法的流程示意图，包括：
S101、获取待标注数据的标注方式，并根据所述标注方式对所述待标注数据进行数据标注，得到标注数据。
其中，所述标注方法包括以下至少一种：标签分类方式、粗细粒度的情感识别方式、序列识别方式、结构化信息方式和序列生成方式；
所述序列识别方式包括以下至少一种：实体识别方式、分词识别方式和词性识别方式；
所述结构化信息方式包括以下至少一种：关系识别方式、句法分析方式、语义分析方式、事件抽取方式和多轮对话方式，所述多轮对话方式是具有上下文的结构化信息方式；
所述序列生成方式包括以下至少一种：机器翻译方式、文本摘要方式和文本生成方式。
所述标注数据为进行机器学习模型训练用的数据，可以为文本数据，也可以为语音、图像或视频，本实施例不对标注数据的具体类型做限定。
S102、选择机器学习模型和对应的模型参数配置，根据所述模型参数配置和所述标注数据对所述机器学习模型进行训练。
具体地，根据实际需求选择对应的初始的机器学习模型，以及改机器学习模型的模型参数配置，使用模型参数配置和标注数据通过自动化方式进行自动化训练。
S103、若判断训练结果满足验证条件，则完成所述机器学习模型的训练。
具体地，没完成一次模型的训练，需要对训练结果进行验证，当训练结果满足验证条件时，此时即完成了机器学习模型的训练。
由于我们可以轻易地获取海量未标注数据，如果算法能够从未标注数据中学习，自动生成结构化数据，结合低成本少量标注数据，那么就节省了巨大的人工成本与时间成本。弱监督和自学习就是这种的算法。尽管一个单一的未标注样本蕴含的信息比一个已标注样本要少，但是如果获取海量未标注数据(比如从互联网上下载随机的、无标注的图像、音频剪辑或者是文本)，并且算法能够有效的利用它们，那么相比大规模的手工构建特征和标注数据，算法将会取得更好的性能。
因此，开发面向数据的智能标注系统，从海量未标注数据中自动挖掘有价值的目标信息，利用低成本标注数据取得良好的模型效果，并大幅度地提升模型的精简性、通用性和适应性，实现(极)弱监督与自学习方法成为当下研究的热点。
智能标注系统研究意义：
1)集数据收集、数据处理和自动标注为一体，帮助用户从海量未标注数据中自动挖掘有价值的目标信息，方便快速获取结构化标注数据，极大程度上节省了人力成本。
2)基于弱监督方法，利用少量标注数据取得良好的模型效果，结合预学习、迁移学习、增量学习、渐进学习、迭代学习等自学习方法，模型具有精简性、通用性和适应性。
3)业务人员无需人工智能人员的帮助可以独立完成相关的任务。
本实施例通过特定的标注方式对待标注数据进行数据标注，并根据选择的模型参数配置和标注数据对选择的机器学习模型进行训练，完成机器学习模型的训练，无需开发人员编写代码反复训练，实现过程快速、简便；且通过对训练结果进行验证，提高了模型的训练效果，用户无需手工逐条标注数据，可通过弱监督方式生成大量标注数据，同时主动学习使用户尽可能用最小量标注的代价，达到优秀的模型效果。
进一步地，在上述方法实施例的基础上，S101具体包括：
若根据所述标注方式无法对所述待标注数据进行数据标注，则生成待标注提示信息，接收输入设备输入的标注信息，并根据所述标注信息得到标注数据。
具体地，为了让机器学习模型的泛化能力更强更好，需要对部分无法自动化标注的语料进行外部标注，以进一步验证机器学习模型的泛化能力。
进一步地，在上述方法实施例的基础上，S101中所述根据所述标注方式对所述待标注数据进行数据标注，具体包括：
根据所述标注方式进入语料集逐条对所述待标注数据进行数据标注；或，
根据所述标注方式选择远程监督和人工规则的弱监督学习方法对所述待标注数据进行非精确标注；或，
根据所述标注方式通过语料搜索对所述待标注数据进行数据标注。
通过不同的方式对待标注数据进行标注，能够针对不同的情形选择不同的方法，进一步提高标注的准确度和速度。
进一步地，在上述方法实施例的基础上，S101之前，还包括：
根据主动学习方法或者弱监督学习方法生成所述待标注数据。
具体地，通过主动学习方法或弱监督学习方法，能够生成更为精确的待标注数据。
进一步地，在上述方法实施例的基础上，S103之后，还包括：
根据所述训练结果和验证结果评估训练完成的机器学习模型的性能指标：
其中，所述性能指标包括：准确率和/或召回率。
具体地，训练完成后会得到模型在该语料集上的性能指标以及对应的错误分析，如果训练模型达到设定好的性能指标(例如准确率、召回率、F1等)，则标注和模型训练停止。
具体地，本实施例提供的机器学习模型处理方法能够通过机器学习模型处理平台来执行，如图2所示，包括创建任务、语料获取、主动学习、人工标注、模型训练和模型管理等。其涉及的具体功能模块包括用户管理模块、任务管理模块、标签类别管理模块、语料集管理模块、训练模块、模型测试模块、模型预测模块、模型管理模块、服务器状态管理模块等部分组成。
其中，用户管理模块：创建用户并设置权限。
任务管理模块：用户创建项目任务并对项目进行阐述。
标签类别管理模块：用于展示出所述待标注数据的标注方式。目前平台支持标签分类、粗细粒度的情感识别、序列识别、结构化信息和序列生成。
语料集管理模块：根据标签类别管理模块所述标注方式对待标注数据进行数据标注，得到标注数据。目前此模块下包含三大功能：离线数据上传、在线数据上传、语料搜索，其中离线数据上传包含txt、json、zip等文件格式。
训练模块：可以选择机器学习模型和深度学习模型以及对应模型参数配置，用于模型调优，通过训练结果和验证结果评估模型在该数据集上的性能指标(例如准确率、召回率、F1等)。
模型测试模块：为了让模型的泛化能力更强更好，人工需要标注一些机器未见过的语料，验证模型的泛化能力；同时支持和线上模型进行对比。
模型预测模块：使用主动学习或者弱监督学习方法生成预标注数据。
模型管理模块：用于记录模型信息以及发布和导出。
服务器状态管理模块：用于管理内存、GPU等资源状态。
以下对上述模块进行详细描述：
(1)任务管理模块
具体地，任务管理模块的功能主要包括创建任务和确定任务所属标注类别。在创建任务时，业务名称跟业务需求相关，如广告违法、图片分类、语音识别。另外，任务所属标注类型包括：标签分类、粗细粒度的情感识别、序列识别、结构化信息方式和序列生成。
在实际使用过程中，首先账户登录，用后台通用的模式，导航有“我的任务”、“帮助中心”；然后新建任务：点击新建任务按钮弹框显示对应要素任务名称、任务描述，填写完后点击创建任务则展示在任务列表第一行；并可通过我的任务列表进行任务查看。
(2)标签类别管理模块
具体地，标签类别管理模块用于对每个标签分类(即子任务)，支持任务和子任务的整体和分开标注，同时能够以子任务或子任务组合为单位进行后续语料标注和模型训练。
在实际使用过程中，通过对应左导航“标签管理”进行操作。标签类别管理包括以下两项内容：
列表字段：名称、标签类别、操作(删除)；标签类别包括单标签标注、多标签标注、序列标注(如实体识别)和关系四种类别，标签类别可以进行单选，点击删除则删掉整条信息；
新增标签分类：弹框提示，输入分类名称，选择标注类型。点击确认后列表最上面增加一行。
另外，标签类别管理模块包括标签管理子模块，每个标签分类(即子任务)下设置具体要标注的值，对应左导航“标签管理”。在某标签类别下，支持标签新增、选中删除、直接编辑修改、搜索(关键词模糊)。例如，标签新增：支持同时多只标签输入，英文逗号字符隔开。
(3)语料集管理模块
具体地，语料集管理模块包括四部分功能：离线数据上传、语料搜索、在线数据上传和语料标注：
离线数据上传支持线下整理预备标注的语料(可含标注信息)，导入到线上。例如，在某个任务下操作时：语料集维护--->对应左导航的语料样本集。新建语料集时，点击新建语料样本集，弹框显示对应要素，然后输入语料集名称，输入样本集来源，并上传文件，支持导入排重(默认选中)；最后填写完后点击确认则展示在语料集列表第一行。
语料搜索支持通过搜索的方式来对语料集的语料进行查询、汇总和标注。例如，在语料集管理页面点击“语料搜索按钮”进入语料搜索页，通过对话样本集/语料进行搜索。
在线数据上传支持关键词全网(新闻、新闻标题、报告摘要、报告全文)搜索语料并导入到语料集。具体地，通过对话样本集/检索生成语料。在导入到语料集时，首先选择要导入的语料集(对应已建好的语料集列表)，点击确认则导入到对应的语料集中，对应语料集的标注进度数据发生变化；然后输入语料条数，默认展示10000，导入前若干条。
语料标注可以进行多任务标注，支持任务下各子任务同时标注，可先分别标好各子任务，然后所有子任务同时在一个界面审核并修改。其功能包括以下四类：
A分类：支持修改、同意(同步机器预测值)；
B分类：支持修改、同意(同步机器预测值)；
ner：修改、删除；
综合：对勾按钮把信息一起提交，进入下一条；删除按钮整体删除该条，在各子任务删除时要提示“删除该条语料后，则在其他子任务下也将同步删除”。
需要注意的是，点击对勾分两种情况，有人工标注值则不同步机器预测信息，无人工标注值则同步机器预测信息。
可对语料标注进行统计，支持标注进度和标注统计。其中，标注进度：在该页面点击对勾来计算，另外各子任务里都标注过算；标注统计：分子任务展示，全部和子任务之间切换则对应切换标签。
可对语料标注筛选，支持任务筛选和标签值筛选。其中，任务筛选：全部+各子任务下来列表筛选，选中某个子任务所有的信息都是该子任务的；标签值筛选：人工标注、机器预测筛选里区分任务。
可进行分类标注和主动学习策略，支持单标签分类(标签值单选)和多标签分类(标签值多选)任务的标注。一般语料都会进行机器预测然后审核标注，提高效率，对语料来说如果没有机器预测就直接标注，如果有机器预测则修改或直接确认已标注信息，如下主要针对有机器预测信息的说明。
可对机器标注方式进行排序，机器预测结果支持置信度，表示性、随机、综合策略四种机器标注方式，默认是按综合策略值倒序排序。
可对语料进行筛选，语料标注、语料审核，标注标签筛选(对人工标注信息进行筛选，支持模糊搜索)、预测标签筛选(对机器预测信息进行筛选，支持模糊搜索)。
可展示语料标注进度(人工标注为准)，共几条，已标注几条，未标注几条，在对话样本集也同步标注进度。
可标注分布统计：预测语料集内已标注语料在各标签的分布。
可语料展示区：语料可滚动展示，语料可能长可能短，组件可拉长或缩短。
可通过电脑快捷键(左箭头、右箭头)进行上一条和下一条的切换；页面上的左右标识进行上一条下一条切换。
如果是对预测语料有预测模型，预测模型覆盖只展示最近一个模型，并展示模型名称。
在进行标注操作时：机器预测值右边有修改按钮，点击修改弹框展示标签值，并可设置弹框一直悬浮；选中标签或者模糊搜索选标签再选中；修改标注后自动进入到下一条语料；点击确认：在机器预测有值的情况下点对号同步到人工标注值处。
可点击删除，并提示删除掉该条语料。
另外，序列标注支持语料中对词的标注。一般语料都会进行机器预测然后审核标注，提高效率，对语料来说如果没有机器预测就直接标注，如果有机器预测则修改或直接确认已标注信息，如下主要针对有机器预测信息的说明。
机器标注方式排序时，机器预测结果支持置信度，表示性、随机、综合策略四种主动学习的机器标注方式，默认是综合策略，对于一段语料多个实体，默认按语料里实体里对应最小值的来倒序排序。
预测结果默认复制机器预测的结果，支持人工直接修改。
以标注信息为例，可以包括以下三种情况：
机器预测；
人工标注，删掉机器预测值重标，或者直接选中标；
人工标注和机器预测重合，针对已有人工标注值又重新模型预测，且重合的场景。
在使用按钮操作时，对勾按钮把信息一起提交，进入下一条(但在语料上不体现)；删除按钮整体删除该条。
分实体标注时，机器预测按实体筛选(显示已标注/总数进度)，在各实体分类下标注，语料里只展示对应的实体标注信息，点对勾即同步机器预测值直接进入下一条(但在语料上不体现)，点删除时要提示“删除该条语料后，则在其他相关实体列表下也将同步删除”。
关系标注支持语料中词的关系的标注，建议一个关系建一个子任务来标注，避免混乱。一般语料都会进行机器预测然后审核标注，提高效率，对语料来说如果没有机器预测就直接标注，如果有机器预测则修改或直接确认已标注信息，如下主要针对有机器预测信息的说明：关系标注(ner+分类)时，首先对机器标注方式排序，然后进行标注操作，最后操作按钮：
对机器标注方式排序：机器预测结果支持置信度，表示性、随机、综合策略四种机器标注方式，默认是综合策略，对于一段语料多个关系示例，默认按实际例子的最小值来倒序排序；
标注操作：先完成ner标注，从一个ner实体连到另外一个ner实体，并且选中关系标签则完成标注；删除实体词则其附属关系同步删除；
按钮：对勾同步机器预测值进入下一条，点击修改选择关系类别，点击删除删掉语料；删除实体词则其附属关系同步删除。
(4)模型训练模块
具体地，模型训练模块在选择语料集、选择要训练的子任务组合，进行模型参数配置然后运行，对应左导航“训练设置”，可以实现1、标签切换机器学习、深度学习并进行对应配置，以及进行机器学习和深度学习。
在进行机器学习和深度学习的过程中，可以执行以下步骤：
语料集选择：支持筛选，选中在在下面展示；
数据集划分比例：训练集/验证集，有个默认值和支持自定义输入；
业务模型选择：对应标签分类里的各个子任务，按类型分别展示，支持多选；
模型选择：机器学习SVM等，深度学习textcnn、LSTM和transformer等；
高级设置默认隐藏，可点击展开：预处理、分词工具、特征工程；
训练并生效新模型，点击进入训练结果页。
对于分类训练结果，模型训练完成后展示衡量模型及其标签值的指标和错误分析，对应左导航“训练结果”。一个模型支持多个子任务输出：子任务点击查看，不同子任务可以切换。其训练结果包括以下内容：
训练进度：训练中、训练完成、训练故障等状态展示，某一时间展示某一状态，训练故障后产品页面提示用户训练失败以及可能的原因和解决方法，如果是训练中或训练故障状态，不会展示具体的训练结果；
模型整体准确率，召回率；
分类报告、混淆矩阵；
标签混淆排行：人工标注和机器预测的错误分析。
以序列标注(NER)为例，其训练结果对应左导航“训练结果”。一个模型支持多个子任务输出：子任务点击查看，不同子任务可以切换。其训练结果包括以下内容：
训练进度：训练中、训练完成、训练故障等状态展示，某一时间展示某一状态，训练故障后产品页面提示用户训练失败以及可能的原因和解决方法，如果是训练中或训练故障状态，不会展示具体的训练结果；
模型整体准确率，召回率；
分类报告；
错误分析。
(5)模型测试模块
具体地，模型测试模块用测试集语料来验证模型和跟已发布模型进行对比。将说明和样式同训练结果模型对比，用测试集语料来验证模型和跟已发布模型进行对比，来判断模型是否可以替换已发布模型。
(6)模型预测模块
具体地，模型预测模块是通过已训练模型或规则模型对未标注语料进行机器预测，方便业务人员进行审核标注，提高标注效率。标注和模型不断迭代，规则模型先初始预测-->审核标注部分语料-->训练模型-->用已训练模型进行未标注语料预测-->再次审核标注-->训练模型，不断循环。
弱监督学习(规则模型和远程监督)的规则模型说明如下：
任务类型选择：展示标注任务和单选分类的任务。关键词规则中的字段：标签(支持搜索筛选)、全部包含、不包含、部分包含、正则表达式；关键词规则(a、b、c之间是且的关系)：a、全部包含：里面的值是且的关系；b、不包含：对应的值是或的关系；c、部分包含：里面的值是或的关系；正则表达式：支持录入正则表达式；关键词规则和正则表达式之前是或的关系，符合关键词规则或者符合正则表达式规则的语料都会被选出来。
远程监督模型(如序列标注)不同于传统意义上的人工标注语料，是一种用KB去对齐朴素文本的标注方法。对非精确的规则模型和远程监督等弱监督学习进行预测融合，对弱监督学习的预测值进行信心度估计。高信心度的数据更有可能被下游模型作为标注样本来训练模型。
(7)模型管理模块
具体地，在模型管理模块中，所有已训练、已验证、已测试或规则模型运行过的模型都在此处展示和管理，并且在模型测试和预测环节可以选择,同时支持在线发布和离线发布。
(8)服务器状态管理模块
具体地，服务器状态管理模块用于管理内存、GPU等资源状态。
在机器学习模型处理平台的使用过程中，首先平台超级管理员开通用户并设置权限，用户登录之后要创建项目任务并对该项目进行阐述，进入该任务后，要在标签类别管理模块下创建标签标注体系，多个标注体系建立多个标签分类并创建标签，用户根据实际情况选择合适上传方式在语料集管理模块下上传语料集，然后对语料集进行标注，标注方式例如：进入该语料集逐条进行标注；进入模型预测模块中选择远程监督和人工规则等弱监督学习技术来对数据进行非精确标注；或者通过语料搜索进行标注。标注一批语料后，进入训练模块选择合适的学习模型进行训练，训练结束后会得到模型在该语料集上的性能指标以及对应的错误分析，如果训练模型达到设定好的性能指标(例如准确率、召回率、F1等)，则标注停止。否则的话，需要使用该模型进行主动学习，综合置信度和表示性对未标注数据进行采样，标注人员仅对少量采样数据进行标注，然后使用这些采样好的数据，重新训练模型，直到模型性能指标满足要求。最后满足要求的模型，需要进入到模型管理模块中进行在线发布或者离线发布。
传统的数据标注行业更像一个劳动密集型产业，主要是靠人工方式对文本、图片、语音、视频等数据进行标注，而这个过程往往是繁琐和低效率的。随着深度学习的日益发展，高精度模型依赖于大量的标注样本，这使得标注工作成为了很多人工智能应用的瓶颈。本实施例构建智能标注云平台可以使得标注过程背后含有智能算法，将人工重复劳动降到最低；同时标注界面显而易见地友好，让标注操作尽可能简便和符合直觉。
相比传统标注软件BRAT、世界最大的标注平台Amazon的Mechanic turk等，智能标注云平台有以下优点：
从语料集来源看，传统标注软件仅支持离线数据上传，因为需要预先处理好对应该平台的格式数据才能上传并且进行标注。而智能标注云平台获取语料的途径有很多，一种是和传统标注平台一样支持离线数据上传，同时支持离线文件格式增加到txt、json、zip等格式文件；一种是实时数据上传，通过日志采集、通过API接口进行网络数据收集、通过爬虫进行网络数据收集等方法导入到平台；最后一种是通过第三方平台对接智能标注云平台数据库进行数据导入；
从语料标注的人力投入来看，传统标注平台需要人工逐一标注所有数据，而深度学习模型往往需要大量的数据才能训练好一个高准确率的模型。而基于弱监督和主动学习的智能标注云平台仅需人工标注少量的数据，就可以自动生成大量高信心度的自动标注数据，大大节约了人工成本。
智能标注云平台综合使用主动学习(active learning)和弱监督学习技术，集数据标注、模型训练、模型验证、模型测试、模型预测于一体。不需要工程师参与，业务标注人员可以高效标注数据，通过标注较少量的数据，实现高准确率的模型。平台支持标签分类方式、粗细粒度的情感识别方式、序列识别方式、结构化信息和序列生成方式的学习任务。
智能标注云平台通过远程监督和人工规则等弱监督学习技术来对数据进行非精确标注。
智能标注云平台通过标签融合和标签去噪的方式来综合各类弱标注信号，生成一批具有一定信心度的正负数据。
智能标注云平台在已有标注数据(含人工标注和有信心度的通过弱监督学习标注好的数据)训练模型，使用该模型进行主动学习，综合置信度(confidence)和表示性(representative)对未标注数据进行采样，标注人员仅对少量采样数据进行标注，然后使用这些采样好的数据，重新训练模型。
图3示出了本实施例提供的一种基于弱监督技术主动学习的智能标注装置的结构示意图，所述装置包括：数据标注模块301、模型训练模块302和结果验证模块303，其中：
所述数据标注模块301用于获取待标注数据的标注方式，并根据所述标注方式对所述待标注数据进行数据标注，得到标注数据；
所述模型训练模块302用于选择机器学习模型和对应的模型参数配置，根据所述模型参数配置和所述标注数据对所述机器学习模型进行训练；
所述结果验证模块303用于若判断训练结果满足验证条件，则完成所述机器学习模型的训练；
其中，所述标注方法包括以下至少一种：标签分类方式、粗细粒度的情感识别方式、序列识别方式、结构化信息方式和序列生成方式；
所述序列识别方式包括以下至少一种：实体识别方式、分词识别方式和词性识别方式；
所述结构化信息方式包括以下至少一种：关系识别方式、句法分析方式、语义分析方式、事件抽取方式和多轮对话方式，所述多轮对话方式是具有上下文的结构化信息方式；
所述序列生成方式包括以下至少一种：机器翻译方式、文本摘要方式和文本生成方式。
具体地，所述数据标注模块301获取待标注数据的标注方式，并根据所述标注方式对所述待标注数据进行数据标注，得到标注数据；所述模型训练模块302选择机器学习模型和对应的模型参数配置，根据所述模型参数配置和所述标注数据对所述机器学习模型进行训练；所述结果验证模块303若判断训练结果满足验证条件，则完成所述机器学习模型的训练。
本实施例通过特定的标注方式对待标注数据进行数据标注，并根据选择的模型参数配置和标注数据对选择的机器学习模型进行训练，完成机器学习模型的训练，无需开发人员编写代码反复训练，实现过程快速、简便；且通过对训练结果进行验证，提高了模型的训练效果，用户无需手工逐条标注数据，可通过弱监督方式生成大量标注数据，同时主动学习使用户尽可能用最小量标注的代价，达到优秀的模型效果。
进一步地，在上述装置实施例的基础上，所述数据标注模块301具体用于：
若根据所述标注方式无法对所述待标注数据进行数据标注，则生成待标注提示信息，接收输入设备输入的标注信息，并根据所述标注信息得到标注数据。
进一步地，在上述装置实施例的基础上，所述数据标注模块301具体用于：
根据所述标注方式进入语料集逐条对所述待标注数据进行数据标注；或，
根据所述标注方式选择远程监督和人工规则的弱监督学习方法对所述待标注数据进行非精确标注；或，
根据所述标注方式通过语料搜索对所述待标注数据进行数据标注。
进一步地，在上述装置实施例的基础上，所述基于弱监督技术主动学习的智能标注装置还包括：
数据生成模块，用于根据主动学习方法或者弱监督学习方法生成所述待标注数据。
进一步地，在上述装置实施例的基础上，所述基于弱监督技术主动学习的智能标注装置还包括：
指标评估模块，用于根据所述训练结果和验证结果评估训练完成的机器学习模型的性能指标：
其中，所述性能指标包括：准确率和/或召回率。
本实施例所述的基于弱监督技术主动学习的智能标注装置可以用于执行上述方法实施例，其原理和技术效果类似，此处不再赘述。
另外，本实施例还提供一种基于弱监督技术主动学习的智能标注平台，包括上述基于弱监督技术主动学习的智能标注装置。
参照图4，所述电子设备，包括：处理器(processor)401、存储器(memory)402和总线403；
其中，
所述处理器401和存储器402通过所述总线403完成相互间的通信；
所述处理器401用于调用所述存储器402中的程序指令，以执行上述各方法实施例所提供的方法。
本实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法。
本实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述各方法实施例所提供的方法。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种基于弱监督技术主动学习的智能标注方法，其特征在于，包括：
获取待标注数据的标注方式，并根据所述标注方式对所述待标注数据进行数据标注，得到标注数据；
选择机器学习模型和对应的模型参数配置，根据所述模型参数配置和所述标注数据对所述机器学习模型进行训练；
若判断训练结果满足验证条件，则完成所述机器学习模型的训练；
其中，所述标注方法包括以下至少一种：标签分类方式、粗细粒度的情感识别方式、序列识别方式、结构化信息方式和序列生成方式；
所述序列识别方式包括以下至少一种：实体识别方式、分词识别方式和词性识别方式；
所述结构化信息方式包括以下至少一种：关系识别方式、句法分析方式、语义分析方式、事件抽取方式和多轮对话方式，所述多轮对话方式是具有上下文的结构化信息方式；
所述序列生成方式包括以下至少一种：机器翻译方式、文本摘要方式和文本生成方式。
2.根据权利要求1所述的基于弱监督技术主动学习的智能标注方法，其特征在于，所述获取待标注数据的标注方式，并根据所述标注方式对所述待标注数据进行数据标注，得到标注数据，具体包括：
若根据所述标注方式无法对所述待标注数据进行数据标注，则生成待标注提示信息，接收输入设备输入的标注信息，并根据所述标注信息得到标注数据。
3.根据权利要求1所述的基于弱监督技术主动学习的智能标注方法，其特征在于，所述根据所述结构化信息方式对所述待标注数据进行数据标注，具体包括：
根据所述标注方式进入语料集逐条对所述待标注数据进行数据标注；或，
根据所述标注方式选择远程监督和人工规则的弱监督学习方法对所述待标注数据进行非精确标注；或，
根据所述标注方式通过语料搜索对所述待标注数据进行数据标注。
4.根据权利要求1所述的基于弱监督技术主动学习的智能标注方法，其特征在于，所述获取待标注数据的标注方式，并根据所述标注方式对所述待标注数据进行数据标注，得到标注数据之前，还包括：
根据主动学习方法或者弱监督学习方法生成所述待标注数据。
5.根据权利要求1所述的基于弱监督技术主动学习的智能标注方法，其特征在于，所述若判断训练结果满足验证条件，则完成所述机器学习模型的训练之后，还包括：
根据所述训练结果和验证结果评估训练完成的机器学习模型的性能指标：
其中，所述性能指标包括：准确率和/或召回率。
6.一种基于弱监督技术主动学习的智能标注装置，其特征在于，包括：
数据标注模块，用于获取待标注数据的标注方式，并根据所述标注方式对所述待标注数据进行数据标注，得到标注数据；
模型训练模块，用于选择机器学习模型和对应的模型参数配置，根据所述模型参数配置和所述标注数据对所述机器学习模型进行训练；
结果验证模块，用于若判断训练结果满足验证条件，则完成所述机器学习模型的训练；
其中，所述标注方法包括以下至少一种：标签分类方式、粗细粒度的情感识别方式、序列识别方式、结构化信息方式和序列生成方式；
所述序列识别方式包括以下至少一种：实体识别方式、分词识别方式和词性识别方式；
所述结构化信息方式包括以下至少一种：关系识别方式、句法分析方式、语义分析方式、事件抽取方式和多轮对话方式，所述多轮对话方式是具有上下文的结构化信息方式；
所述序列生成方式包括以下至少一种：机器翻译方式、文本摘要方式和文本生成方式。
7.根据权利要求6所述的基于弱监督技术主动学习的智能标注装置，其特征在于，所述数据标注模块具体用于：
若根据所述标注方式无法对所述待标注数据进行数据标注，则生成待标注提示信息，接收输入设备输入的标注信息，并根据所述标注信息得到标注数据。
8.一种基于弱监督技术主动学习的智能标注平台，其特征在于，包括如权利要求6或7所述的基于弱监督技术主动学习的智能标注装置。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至5任一所述的基于弱监督技术主动学习的智能标注方法。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至5任一所述的基于弱监督技术主动学习的智能标注方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911127625.3A CN110968695A (zh) | 2019-11-18 | 2019-11-18 | 基于弱监督技术主动学习的智能标注方法、装置及平台 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911127625.3A CN110968695A (zh) | 2019-11-18 | 2019-11-18 | 基于弱监督技术主动学习的智能标注方法、装置及平台 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110968695A true CN110968695A (zh) | 2020-04-07 |
Family
ID=70031036
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911127625.3A Pending CN110968695A (zh) | 2019-11-18 | 2019-11-18 | 基于弱监督技术主动学习的智能标注方法、装置及平台 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110968695A (zh) |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111401571A (zh) * | 2020-04-24 | 2020-07-10 | 南京莱科智能工程研究院有限公司 | 基于交互式数据标注的自学习系统 |
| CN111651270A (zh) * | 2020-05-19 | 2020-09-11 | 南京擎盾信息科技有限公司 | 对法律数据完成多任务语义标注的可视化方法和装置 |
| CN111738024A (zh) * | 2020-07-29 | 2020-10-02 | 腾讯科技（深圳）有限公司 | 实体名词标注方法和装置、计算设备和可读存储介质 |
| CN111859855A (zh) * | 2020-06-11 | 2020-10-30 | 第四范式（北京）技术有限公司 | 一种标注任务处理方法、装置、设备及存储介质 |
| CN112149722A (zh) * | 2020-09-11 | 2020-12-29 | 南京大学 | 一种基于无监督域适应的图像自动标注方法 |
| CN112163424A (zh) * | 2020-09-17 | 2021-01-01 | 中国建设银行股份有限公司 | 数据的标注方法、装置、设备和介质 |
| CN112182157A (zh) * | 2020-09-29 | 2021-01-05 | 中国平安人寿保险股份有限公司 | 在线序列标注模型的训练方法、在线标注方法及相关设备 |
| CN112183321A (zh) * | 2020-09-27 | 2021-01-05 | 深圳奇迹智慧网络有限公司 | 机器学习模型优化的方法、装置、计算机设备和存储介质 |
| CN112257592A (zh) * | 2020-10-22 | 2021-01-22 | 北京博识创智科技发展有限公司 | 一种基于人工智能的信号识别自学习方法 |
| CN112906375A (zh) * | 2021-03-24 | 2021-06-04 | 平安科技（深圳）有限公司 | 文本数据标注方法、装置、设备及存储介质 |
| CN113380384A (zh) * | 2021-05-01 | 2021-09-10 | 首都医科大学宣武医院 | 人机协同训练医学影像标注模型的方法、标注方法及系统 |
| CN113516251A (zh) * | 2021-08-05 | 2021-10-19 | 上海高德威智能交通系统有限公司 | 一种机器学习系统及模型训练方法 |
| CN114492306A (zh) * | 2021-11-16 | 2022-05-13 | 马上消费金融股份有限公司 | 语料标注方法、装置、电子设备及存储介质 |
| CN112906375B (zh) * | 2021-03-24 | 2024-05-14 | 平安科技（深圳）有限公司 | 文本数据标注方法、装置、设备及存储介质 |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103839080A (zh) * | 2014-03-25 | 2014-06-04 | 上海交通大学 | 基于测度查询熵的视频流异常事件检测方法 |
| CN107169079A (zh) * | 2017-05-10 | 2017-09-15 | 浙江大学 | 一种基于Deepdive的领域文本知识抽取方法 |
| CN107944454A (zh) * | 2017-11-08 | 2018-04-20 | 国网电力科学研究院武汉南瑞有限责任公司 | 一种针对变电站的基于机器学习的语义标注方法 |
| CN108052937A (zh) * | 2017-12-28 | 2018-05-18 | 百度在线网络技术（北京）有限公司 | 基于弱监督的字符检测器训练方法、装置、系统及介质 |
| CN108734195A (zh) * | 2018-04-13 | 2018-11-02 | 王延峰 | 基于协同学习的弱监督检测模型训练方法及系统 |
| CN108764292A (zh) * | 2018-04-27 | 2018-11-06 | 北京大学 | 基于弱监督信息的深度学习图像目标映射及定位方法 |
| CN109543181A (zh) * | 2018-11-09 | 2019-03-29 | 中译语通科技股份有限公司 | 一种基于主动学习和深度学习相结合的命名实体模型和系统 |
| CN109872333A (zh) * | 2019-02-20 | 2019-06-11 | 腾讯科技（深圳）有限公司 | 医学影像分割方法、装置、计算机设备和存储介质 |
| CN109960800A (zh) * | 2019-03-13 | 2019-07-02 | 安徽省泰岳祥升软件有限公司 | 基于主动学习的弱监督文本分类方法及装置 |
| US20190205703A1 (en) * | 2017-12-28 | 2019-07-04 | International Business Machines Corporation | Framework of proactive and/or reactive strategies for improving labeling consistency and efficiency |
| CN110287481A (zh) * | 2019-05-29 | 2019-09-27 | 西南电子技术研究所（中国电子科技集团公司第十研究所） | 命名实体语料标注训练系统 |
| CN110298033A (zh) * | 2019-05-29 | 2019-10-01 | 西南电子技术研究所（中国电子科技集团公司第十研究所） | 关键词语料标注训练提取工具 |
| CN110349148A (zh) * | 2019-07-11 | 2019-10-18 | 电子科技大学 | 一种基于弱监督学习的图像目标检测方法 |
| WO2019210695A1 (zh) * | 2018-05-02 | 2019-11-07 | 北京三快在线科技有限公司 | 模型训练和业务推荐 |
-
2019
- 2019-11-18 CN CN201911127625.3A patent/CN110968695A/zh active Pending
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103839080A (zh) * | 2014-03-25 | 2014-06-04 | 上海交通大学 | 基于测度查询熵的视频流异常事件检测方法 |
| CN107169079A (zh) * | 2017-05-10 | 2017-09-15 | 浙江大学 | 一种基于Deepdive的领域文本知识抽取方法 |
| CN107944454A (zh) * | 2017-11-08 | 2018-04-20 | 国网电力科学研究院武汉南瑞有限责任公司 | 一种针对变电站的基于机器学习的语义标注方法 |
| US20190205703A1 (en) * | 2017-12-28 | 2019-07-04 | International Business Machines Corporation | Framework of proactive and/or reactive strategies for improving labeling consistency and efficiency |
| CN108052937A (zh) * | 2017-12-28 | 2018-05-18 | 百度在线网络技术（北京）有限公司 | 基于弱监督的字符检测器训练方法、装置、系统及介质 |
| CN108734195A (zh) * | 2018-04-13 | 2018-11-02 | 王延峰 | 基于协同学习的弱监督检测模型训练方法及系统 |
| CN108764292A (zh) * | 2018-04-27 | 2018-11-06 | 北京大学 | 基于弱监督信息的深度学习图像目标映射及定位方法 |
| WO2019210695A1 (zh) * | 2018-05-02 | 2019-11-07 | 北京三快在线科技有限公司 | 模型训练和业务推荐 |
| CN109543181A (zh) * | 2018-11-09 | 2019-03-29 | 中译语通科技股份有限公司 | 一种基于主动学习和深度学习相结合的命名实体模型和系统 |
| CN109872333A (zh) * | 2019-02-20 | 2019-06-11 | 腾讯科技（深圳）有限公司 | 医学影像分割方法、装置、计算机设备和存储介质 |
| CN109960800A (zh) * | 2019-03-13 | 2019-07-02 | 安徽省泰岳祥升软件有限公司 | 基于主动学习的弱监督文本分类方法及装置 |
| CN110287481A (zh) * | 2019-05-29 | 2019-09-27 | 西南电子技术研究所（中国电子科技集团公司第十研究所） | 命名实体语料标注训练系统 |
| CN110298033A (zh) * | 2019-05-29 | 2019-10-01 | 西南电子技术研究所（中国电子科技集团公司第十研究所） | 关键词语料标注训练提取工具 |
| CN110349148A (zh) * | 2019-07-11 | 2019-10-18 | 电子科技大学 | 一种基于弱监督学习的图像目标检测方法 |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111401571A (zh) * | 2020-04-24 | 2020-07-10 | 南京莱科智能工程研究院有限公司 | 基于交互式数据标注的自学习系统 |
| CN111651270A (zh) * | 2020-05-19 | 2020-09-11 | 南京擎盾信息科技有限公司 | 对法律数据完成多任务语义标注的可视化方法和装置 |
| CN111859855A (zh) * | 2020-06-11 | 2020-10-30 | 第四范式（北京）技术有限公司 | 一种标注任务处理方法、装置、设备及存储介质 |
| CN111738024A (zh) * | 2020-07-29 | 2020-10-02 | 腾讯科技（深圳）有限公司 | 实体名词标注方法和装置、计算设备和可读存储介质 |
| CN111738024B (zh) * | 2020-07-29 | 2023-10-27 | 腾讯科技（深圳）有限公司 | 实体名词标注方法和装置、计算设备和可读存储介质 |
| CN112149722A (zh) * | 2020-09-11 | 2020-12-29 | 南京大学 | 一种基于无监督域适应的图像自动标注方法 |
| CN112149722B (zh) * | 2020-09-11 | 2024-01-16 | 南京大学 | 一种基于无监督域适应的图像自动标注方法 |
| CN112163424A (zh) * | 2020-09-17 | 2021-01-01 | 中国建设银行股份有限公司 | 数据的标注方法、装置、设备和介质 |
| CN112183321A (zh) * | 2020-09-27 | 2021-01-05 | 深圳奇迹智慧网络有限公司 | 机器学习模型优化的方法、装置、计算机设备和存储介质 |
| CN112182157B (zh) * | 2020-09-29 | 2023-09-22 | 中国平安人寿保险股份有限公司 | 在线序列标注模型的训练方法、在线标注方法及相关设备 |
| CN112182157A (zh) * | 2020-09-29 | 2021-01-05 | 中国平安人寿保险股份有限公司 | 在线序列标注模型的训练方法、在线标注方法及相关设备 |
| CN112257592A (zh) * | 2020-10-22 | 2021-01-22 | 北京博识创智科技发展有限公司 | 一种基于人工智能的信号识别自学习方法 |
| CN112906375A (zh) * | 2021-03-24 | 2021-06-04 | 平安科技（深圳）有限公司 | 文本数据标注方法、装置、设备及存储介质 |
| CN112906375B (zh) * | 2021-03-24 | 2024-05-14 | 平安科技（深圳）有限公司 | 文本数据标注方法、装置、设备及存储介质 |
| CN113380384A (zh) * | 2021-05-01 | 2021-09-10 | 首都医科大学宣武医院 | 人机协同训练医学影像标注模型的方法、标注方法及系统 |
| CN113516251B (zh) * | 2021-08-05 | 2023-06-06 | 上海高德威智能交通系统有限公司 | 一种机器学习系统及模型训练方法 |
| CN113516251A (zh) * | 2021-08-05 | 2021-10-19 | 上海高德威智能交通系统有限公司 | 一种机器学习系统及模型训练方法 |
| CN114492306A (zh) * | 2021-11-16 | 2022-05-13 | 马上消费金融股份有限公司 | 语料标注方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110968695A (zh) | 基于弱监督技术主动学习的智能标注方法、装置及平台 | |
| US11526675B2 (en) | Fact checking | |
| CN107908635B (zh) | 建立文本分类模型以及文本分类的方法、装置 | |
| US9058327B1 (en) | Enhancing training of predictive coding systems through user selected text | |
| CN107220386A (zh) | 信息推送方法和装置 | |
| KR20200007969A (ko) | 정보 처리 방법, 단말기, 및 컴퓨터 저장 매체 | |
| CN108984775B (zh) | 一种基于商品评论的舆情监控方法及系统 | |
| CN111144120A (zh) | 一种训练语句的获取方法、装置、存储介质及电子设备 | |
| CN114238573B (zh) | 基于文本对抗样例的信息推送方法及装置 | |
| CN105677857B (zh) | 一种关键词与营销落地页的精准匹配方法和装置 | |
| CN110334186A (zh) | 数据查询方法、装置、计算机设备及计算机可读存储介质 | |
| CN111666766A (zh) | 数据处理方法、装置和设备 | |
| CN112307336B (zh) | 热点资讯挖掘与预览方法、装置、计算机设备及存储介质 | |
| Li et al. | Deepreview: automatic code review using deep multi-instance learning | |
| CN116049397A (zh) | 基于多模态融合的敏感信息发现并自动分类分级方法 | |
| CN110968664A (zh) | 一种文书检索方法、装置、设备及介质 | |
| CN116049379A (zh) | 知识推荐方法、装置、电子设备和存储介质 | |
| CN115600109A (zh) | 样本集优化方法及其装置、设备、介质、产品 | |
| CN114691525A (zh) | 测试用例的选择方法及装置 | |
| CN114237588A (zh) | 一种代码仓库选择方法、装置、设备及存储介质 | |
| CN110472140B (zh) | 对象词推荐方法、装置及电子设备 | |
| CN113204697A (zh) | 一种搜索方法、装置、电子设备及存储介质 | |
| CN115130453A (zh) | 互动信息生成方法和装置 | |
| CN112182218A (zh) | 文本数据的分类方法及装置 | |
| US20200302005A1 (en) | Comment-based article augmentation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200407 |