CN110414680A - 基于众包标注的知识加工系统 - Google Patents

Abstract

本发明公开了基于众包标注的知识加工系统，包括：粗知识管理模块，其用于导入待标注知识；任务发布模块，其用于生成标注任务并发布，所述标注任务包括待标注知识、标注员、审核员和标注字段；知识标注模块，其用于对所述标注任务进行标注处理，并将已处理的标注任务生成审核任务；知识审核模块，其用于对所述审核任务对应的标注结果进行审核处理。本发明采用众包标注的形式进行知识加工，加工过程辅以机器学习进行自动抽取，通过人机结合的知识加工过程，形成有效的综合知识库。

Description

基于众包标注的知识加工系统

技术领域

本发明涉及知识的加工和标注。更具体地说，本发明涉及基于众包标注的知识加工系统。

背景技术

大数据和互联网的发展相辅相成，互联网产业的快速发展，离不开数据的支撑，以知识为支撑的数据挖掘在当下成为技术和业务发展的主要方向，因此作为知识服务的重要支撑，知识加工已成为一项重要的任务。然而目前对知识的加工和标注主要还是由人工针对单一的任务来进行处理，当任务较多时，目前的系统无法很好的实现基于任务的灵活管理和多人协同工作。

发明内容

本发明的一个目的是提供一种基于众包标注的知识加工系统，克服了现有技术的缺陷，采用众包标注的形式进行知识加工，加工过程辅以机器学习进行自动抽取，通过人机结合的知识加工过程，形成有效的综合知识库。

为了实现根据本发明的这些目的和其它优点，提供了基于众包标注的知识加工系统，包括：

粗知识管理模块，其用于导入待标注知识；

任务发布模块，其用于生成标注任务并发布，所述标注任务包括待标注知识、标注员、审核员和标注字段；

知识标注模块，其用于对所述标注任务进行标注处理，并将已处理的标注任务生成审核任务；

知识审核模块，其用于对所述审核任务对应的标注结果进行审核处理。

优选的是，所述的基于众包标注的知识加工系统，所述粗知识管理模块包括多类知识库，每类知识库预设有标注字段；

在导入待标注知识之前，判断知识类别，根据知识类别将待标注知识导入相应的知识库。

优选的是，所述的基于众包标注的知识加工系统，对于同一待标注知识，选择多个标注员，对应生成多个标注任务。

优选的是，所述的基于众包标注的知识加工系统，对于同一待标注知识的多个标注字段，分别选择多个标注员，对应生成多个标注任务。

优选的是，所述的基于众包标注的知识加工系统，对标注任务进行处理包括：

根据待标注知识，填写标注字段的值，并添加标注字段的值的来源。

优选的是，所述的基于众包标注的知识加工系统，当对同一待标注知识，已处理的标注员数量大于设定比例，则生成审核任务，并将相同的标注结果合并。

优选的是，所述的基于众包标注的知识加工系统，若经过审核，标注结果不正确，则将对应的标注任务重新发布。

优选的是，所述的基于众包标注的知识加工系统，在对标注任务进行标注处理之前，提取待标注知识的特征词，并将与标注字段的属性值匹配的特征词作为标注字段的初始值。

优选的是，所述的基于众包标注的知识加工系统，还包括：

知识管理模块，其用于将通过审核的审核任务对应的待标注知识与标注字段关联存储。

优选的是，所述的基于众包标注的知识加工系统，还包括：

获取存储的标注字段的值，得到原始词集，对原始词集内的词在设定来源站点内进行搜索，得到搜索词集，将原始词集与搜索词集合并，得到拓展词集；

在对标注任务进行标注处理之前，对待标注知识进行分词，用Skip-gram模型将得到的词语转化为词向量，然后用TF-IDF算法提取关键词；

分别计算各关键词与拓展词集中各词的语义相似度，若相似度大于设定阈值，则将对应的关键词作为相应标注字段的可选值；

根据标注员选择的可选值，按设定规则减少从相应来源站点获得的搜索词占搜索词集的比例。

本发明至少包括以下有益效果：

本发明采用众包标注和审核的形式，支持同时发布多条任务，同时也支持对多个待标注知识、多个字段发布多个标注员的任务(任务集)；在知识标注、知识审核功能模块中，对标注任务集进行操作，可提高标注和审核的效率；标注审核完成后的结果结构化留存，使专家知识得到有效汇聚，从而形成高可靠的知识库。

本发明的其它优点、目标和特征将部分通过下面的说明体现，部分还将通过对本发明的研究和实践而为本领域的技术人员所理解。

附图说明

图1为本发明的架构图；

图2为本发明的流程图。

具体实施方式

下面结合附图对本发明做进一步的详细说明，以令本领域技术人员参照说明书文字能够据以实施。

应当理解，本文所使用的诸如“具有”、“包含”以及“包括”术语并不排除一个或多个其它元件或其组合的存在或添加。

在一种技术方案中，如图1、2所示，基于众包标注的知识加工系统，包括：

粗知识管理模块，其用于导入待标注知识；

任务发布模块，其用于生成标注任务并发布，所述标注任务包括待标注知识、标注员、审核员和标注字段；

知识标注模块，其用于对所述标注任务进行标注处理，并将已处理的标注任务生成审核任务；

知识审核模块，其用于对所述审核任务对应的标注结果进行审核处理。

在上述技术方案中，粗知识管理模块用于导入粗知识，即待标注的知识，可以手工导入、使用模板导入或接入第三方数据。粗知识管理模块还可以对粗知识进行删除、展示。任务发布模块用于将待标注知识生成标注任务，标注任务至少需要选择标注员、审核员、标注字段、规定完成时间，标注字段能够表达粗知识的关键信息即可，比如对人物粗知识进行标注，标注字段可以选择生日、政治面貌、民族、职业等，比如对事件进行标注，标注字段可以是发生时间、发生地点、事件名称以及其它关键词。对于同一粗知识，可以选择一个或多个标注员，对于一个字段也可以选择一个或多个标注员。知识标注模块用于选定的标注员对粗知识进行标注。知识审核模块用于选定的审核员对标注结果进行审核。可以看出，本技术方案中，能够同时发布多条任务，同时也支持对多个待标注知识、多个字段发布多个标注员的任务(任务集)，标注员和审核员对标注任务集进行操作，可提高标注和审核的效率，避免了现有技术中粗知识由单一的标注员进行标注的缺陷。

在另一种技术方案，所述的基于众包标注的知识加工系统，所述粗知识管理模块包括多类知识库，每类知识库预设有标注字段；

在导入待标注知识之前，判断知识类别，根据知识类别将待标注知识导入相应的知识库。这里，将粗知识进行初步分类后导入相应的知识库，各知识库预设有标注字段，知识库可以有人物知识库、组织知识库、事件知识库、专题知识库、语料知识库，比如人物知识库可预设生日、政治面貌、民族、职业，方便发布标注任务。

在另一种技术方案，所述的基于众包标注的知识加工系统，对于同一待标注知识，选择多个标注员，对应生成多个标注任务。这里，多个标注员对同一粗知识进行标注，提高标注准确性。

在另一种技术方案，所述的基于众包标注的知识加工系统，对于同一待标注知识的多个标注字段，分别选择多个标注员，对应生成多个标注任务。这里，对于各字段分别由不同的标注员进行标注，比如某一标注员只标注政治面貌字段，这样能提高标注的效率。

在另一种技术方案，所述的基于众包标注的知识加工系统，对标注任务进行处理包括：

根据待标注知识，填写标注字段的值，并添加标注字段的值的来源。这里，可以是添加标注字段的来源URL，方便审核员审核。

在另一种技术方案，所述的基于众包标注的知识加工系统，当对同一待标注知识，已处理的标注员数量大于设定比例，则生成审核任务，并将相同的标注结果合并。这里，对于同一待标注知识具有多个标注员的情况，当设定比例的标注员完成，即可生成审核任务，提高标注和审核效率。对于相同的标注结结果进行合并，方便审核。

在另一种技术方案，所述的基于众包标注的知识加工系统，若经过审核，标注结果不正确，则将对应的标注任务重新发布。这里，将标注结果没有通过审核的待标注知识重新选择标注员、审核员，重新发布任务。

在另一种技术方案，所述的基于众包标注的知识加工系统，在对标注任务进行标注处理之前，提取待标注知识的特征词，并将与标注字段的属性值匹配的特征词作为标注字段的初始值。这里，提供了自动生成标注字段初始值的方式，针对特征性的标注字段，比如出生日期为时间格式，提取时间格式的字符作为出生日期字段的值，将减少标注员的任务量。

在另一种技术方案，所述的基于众包标注的知识加工系统，还包括：

知识管理模块，其用于将通过审核的审核任务对应的待标注知识与标注字段关联存储。这里，提供了知识管理模块，将标注审核完成后的结果结构化留存，方便查询和使用。

在另一种技术方案，所述的基于众包标注的知识加工系统，还包括：

获取存储的标注字段的值，得到原始词集，对原始词集内的词在设定来源站点内进行搜索，得到搜索词集，将原始词集与搜索词集合并，得到拓展词集；

在对标注任务进行标注处理之前，对待标注知识进行分词，用Skip-gram模型将得到的词语转化为词向量，然后用TF-IDF算法提取关键词；

分别计算各关键词与拓展词集中各词的语义相似度，若相似度大于设定阈值，则将对应的关键词作为相应标注字段的可选值；

根据标注员选择的可选值，按设定规则减少从相应来源站点获得的搜索词占搜索词集的比例。

在上述技术方案中，进一步为标注字段提供了可选择的值，主要针对事件类的粗知识。首先获取相应标注字段的值，并在设定来源站点进行搜索，建立拓展词集，来源站点可以是各新闻站点、政府部门网站等，搜索可以是同义搜索、语义搜索、联想搜索等。然后对粗知识进行分词，用TF-IDF算法提取关键词。随后，计算各关键词与拓展词集的语义相似度，选出语义相似度大于设定阈值的关键词作为对应标注字段的可选值。最后，根据标注员的选择，减少未被选择的关键词对应的拓展词的词量，比如未被选择一次，减少5％。本技术方案能够进一步减轻标注员负担，提高标注速度。

这里说明的设备数量和处理规模是用来简化本发明的说明的。对本发明基于众包标注的知识加工系统的应用、修改和变化对本领域的技术人员来说是显而易见的。

尽管本发明的实施方案已公开如上，但其并不仅仅限于说明书和实施方式中所列运用，它完全可以被适用于各种适合本发明的领域，对于熟悉本领域的人员而言，可容易地实现另外的修改，因此在不背离权利要求及等同范围所限定的一般概念下，本发明并不限于特定的细节和这里示出与描述的图例。

Claims (10)

1.基于众包标注的知识加工系统，其特征在于，包括：

粗知识管理模块，其用于导入待标注知识；

任务发布模块，其用于生成标注任务并发布，所述标注任务包括待标注知识、标注员、审核员和标注字段；

知识标注模块，其用于对所述标注任务进行标注处理，并将已处理的标注任务生成审核任务；

知识审核模块，其用于对所述审核任务对应的标注结果进行审核处理。

2.如权利要求1所述的基于众包标注的知识加工系统，其特征在于，所述粗知识管理模块包括多类知识库，每类知识库预设有标注字段；

在导入待标注知识之前，判断知识类别，根据知识类别将待标注知识导入相应的知识库。

3.如权利要求1所述的基于众包标注的知识加工系统，其特征在于，对于同一待标注知识，选择多个标注员，对应生成多个标注任务。

4.如权利要求1或3所述的基于众包标注的知识加工系统，其特征在于，对于同一待标注知识的多个标注字段，分别选择多个标注员，对应生成多个标注任务。

5.如权利要求1所述的基于众包标注的知识加工系统，其特征在于，对标注任务进行处理包括：

根据待标注知识，填写标注字段的值，并添加标注字段的值的来源。

6.如权利要求3所述的基于众包标注的知识加工系统，其特征在于，当对同一待标注知识，已处理的标注员数量大于设定比例，则生成审核任务，并将相同的标注结果合并。

7.如权利要求1所述的基于众包标注的知识加工系统，其特征在于，若经过审核，标注结果不正确，则将对应的标注任务重新发布。

8.如权利要求1所述的基于众包标注的知识加工系统，其特征在于，在对标注任务进行标注处理之前，提取待标注知识的特征词，并将与标注字段的属性值匹配的特征词作为标注字段的初始值。

9.如权利要求1所述的基于众包标注的知识加工系统，其特征在于，还包括：

知识管理模块，其用于将通过审核的审核任务对应的待标注知识与标注字段关联存储。

10.如权利要求9所述的基于众包标注的知识加工系统，其特征在于，还包括：

获取存储的标注字段的值，得到原始词集，对原始词集内的词在设定来源站点内进行搜索，得到搜索词集，将原始词集与搜索词集合并，得到拓展词集；

在对标注任务进行标注处理之前，对待标注知识进行分词，用Skip-gram模型将得到的词语转化为词向量，然后用TF-IDF算法提取关键词；

分别计算各关键词与拓展词集中各词的语义相似度，若相似度大于设定阈值，则将对应的关键词作为相应标注字段的可选值；

根据标注员选择的可选值，按设定规则减少从相应来源站点获得的搜索词占搜索词集的比例。