CN110443476A - 基于知识标注评价的任务分配方法及系统 - Google Patents

基于知识标注评价的任务分配方法及系统 Download PDF

Info

Publication number
CN110443476A
CN110443476A CN201910667446.2A CN201910667446A CN110443476A CN 110443476 A CN110443476 A CN 110443476A CN 201910667446 A CN201910667446 A CN 201910667446A CN 110443476 A CN110443476 A CN 110443476A
Authority
CN
China
Prior art keywords
task
mark
person
rate
mark person
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910667446.2A
Other languages
English (en)
Inventor
刘春阳
陈志鹏
张旭
王鹏
张翔宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National Computer Network and Information Security Management Center
Original Assignee
National Computer Network and Information Security Management Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National Computer Network and Information Security Management Center filed Critical National Computer Network and Information Security Management Center
Priority to CN201910667446.2A priority Critical patent/CN110443476A/zh
Publication of CN110443476A publication Critical patent/CN110443476A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06311—Scheduling, planning or task assignment for a person or group
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/109—Time management, e.g. calendars, reminders, meetings or time accounting
    • G06Q10/1093—Calendar-based scheduling for persons or groups
    • G06Q10/1097—Task assignment

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Theoretical Computer Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Strategic Management (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Economics (AREA)
  • Tourism & Hospitality (AREA)
  • Quality & Reliability (AREA)
  • General Business, Economics & Management (AREA)
  • Operations Research (AREA)
  • Marketing (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Game Theory and Decision Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于知识标注评价的任务分配方法，其特征在于，包括：对标注员往期标注任务进行评分，并按任务完成时段及按任务类型将综合分数存储于标注员人物库中；根据待分配任务的类型和任务发布时间所属时段检索标注员人物库，筛选综合分数高于预定阈值的标注员，并从中选出已分配任务量最少的标注员，向其下发待分配任务。本发明公开了一种基于知识标注评价的任务分配系统。本发明在任务分配时综合利用标注员评价结果，根据知识库类型、业务方向、标注效果等维度建立任务分配策略，将新的标注任务自动分配给合适的标注员，提升任务分配的效率及知识标注的整体质量。

Description

基于知识标注评价的任务分配方法及系统
技术领域
本发明涉及计算机领域。更具体地说，本发明涉及一种基于知识标注评价的任务分配方法及系统。
背景技术
大数据和互联网的发展相辅相成，互联网产业的快速发展，离不开大数据的支撑，对大数据资源分析也显得尤为重要。分析大数据资源重要一步为抽取其中关键信息，以备循环利用。目前的抽取方式主要是通过标注的方式为这些关键数据打上标签，大部分的标注任务只注重标注结果，而过程中形成的日志数据并未被充分利用，导致对标注员缺乏量化的评价机制，在任务分配时业务人员也只能依靠经验来分配任务，使得任务分配完全主观化，一方面效率低下，另一方面也无法准确地将任务分配给合适的标注员。
发明内容
本发明的一个目的是解决至少上述问题，并提供至少后面将说明的优点。
本发明还有一个目的是提供一种基于知识标注评价的任务分配方法及系统，能够实现标注任务自动、高效、合理的分配。
为了实现根据本发明的这些目的和其它优点，提供了一种基于知识标注评价的任务分配方法，包括：
对标注员往期标注任务进行评分，并按任务完成时段及按任务类型将综合分数存储于标注员人物库中；
根据待分配任务的类型和任务发布时间所属时段检索标注员人物库，筛选综合分数高于预定阈值的标注员，并从中选出已分配任务量最少的标注员，向其下发待分配任务。
优选的是，对标注员往期标注任务进行评分的方法包括：
将一天时间分为多个连续时段，统计往期标注任务中同时段同类型任务数量n，计算同时段同类型的n个任务中每一标注任务的准确率S、完备率T和完成速率H，再计算同时段同类型的n个任务的平均准确率平均完备率和平均完成速率最后得出同时段同类型任务的综合分数其中a为平均准确率的预设权重，b为平均完备率的预设权重，c为平均完成速率的预设权重，a+b+c＝1且a>0，b>0，c>0。
优选的是，准确率S的计算方法包括：将标注内容分为多个单元，统计多个单元中已标注单元数A1，及统计已标注单元中标注信息和预设标准标注信息一致的单元数C1，S＝C1/A1。
优选的是，完备率T的计算方法包括：将标注内容分为多个单元，统计多个单元中包含特定信息的单元数A2，及统计多个单元中已标注单元包含特定信息的单元数C2，T＝C2/A2。
优选的是，完成速率H计算方法包括：根据任务发布时间和任务提交时间计算任务完成所花费的工时CH，H＝1/(CH-AH)，AH为任务分配工时，当CH≤AH时，H＝100％。
优选的是，若待分配任务的类型根据预设分类规则无法确定类型，则人工分配待分配任务。
优选的是，将标注员已分配任务量设置上限值，若筛选出的综合分数高于预定阈值的所有标注员的已分配任务量均已达上限值，则人工分配待分配任务。
优选的是，若筛选出的综合分数高于预定阈值的标注员的数量为0，则降低综合分数预定阈值，直至筛选出的综合分数高于预定阈值的标注员的数量≥1。
本发明还提供一种基于知识标注评价的任务分配系统，包括：
标注员人物库模块，其用于储存每一标注员的ID、邮箱及每一标注员往期在不同时段各个任务类型的标注任务的综合分数；
任务分配策略模块，其将待分配任务按预设分类规则进行分类并根据待分配任务的类型和任务发布时间所属时段检索标注员人物库模块，筛选综合分数高于预定阈值的标注员ID，并从中选出已分配任务量最少的标注员ID；
任务自动分配模块，其用于生成标注工单，并发送至提醒邮件至任务分配策略模块挑选出的标注员的邮箱，所述标注工单包括标注内容和任务分配工时；
标注员标注模块，其用于显示标注工单，并接收标注员上传的标注信息；
日志记录模块，其用于记录待分配任务的发布时间、标注员标注模块接收标注员上传标注信息的时间、标注员ID及标注员上传的标注信息；
标注员评价模块，其根据标注内容和标注员上传的标注信息计算当次标注的准确率Sn、完备率Tn和完成速率Hn，将一天时间分为多个连续时段，统计往期标注任务中同时段同类型任务数量n-1，计算同时段同类型的n-1个任务中每一标注任务的准确率Si、完备率Ti和完成速率Hi，1≤i≤n-1，再计算同时段同类型的n个任务的平均准确率平均完备率和平均完成速率最后得出同时段同类型任务的综合分数其中a为平均准确率的预设权重，b为平均完备率的预设权重，c为平均完成速率的预设权重，a+b+c＝1且a>0，b>0，c>0；其中，准确率S的计算方法包括：将标注内容分为多个单元，统计多个单元中已标注单元数A1，及统计已标注单元中标注信息和预设标准标注信息一致的单元数C1，S＝C1/A1；其中，完备率T的计算方法包括：将标注内容分为多个单元，统计多个单元中包含特定信息的单元数A2，及统计多个单元中已标注单元包含特定信息的单元数C2，T＝C2/A2；其中，完成速率H计算方法包括：根据任务发布时间和任务提交时间计算任务完成所花费的工时CH，H＝1/(CH-AH)，AH为任务分配工时，当CH≤AH时，H＝100％。
优选的是，任务分配策略模块中，若待分配任务的类型根据预设分类规则无法确定类型，则提示人工分配待分配任务；
任务分配策略模块中，标注员已分配任务量设置上限值，若筛选出的综合分数高于预定阈值的所有标注员的已分配任务量均已达上限值，则提示人工分配待分配任务；
任务分配策略模块中，若筛选出的综合分数高于预定阈值的标注员的数量为0，则降低综合分数预定阈值，直至筛选出的综合分数高于预定阈值的标注员的数量≥1。
本发明至少包括以下有益效果：当人工标注完成后，进一步利用标注日志，建立标注员量化评价机制，对系统中所有标注员进行量化考核，挖掘标注员的业务优势；在任务分配时综合利用标注员评价结果，根据知识库类型、业务方向、标注效果等维度建立任务分配策略，将新的标注任务自动分配给合适的标注员，提升任务分配的效率及知识标注的整体质量。
本发明的其它优点、目标和特征将部分通过下面的说明体现，部分还将通过对本发明的研究和实践而为本领域的技术人员所理解。
附图说明
图1为本发明其中一实施例的方法流程图；
图2为本发明其中一实施例的模块结构图。
具体实施方式
下面结合附图对本发明做进一步的详细说明，以令本领域技术人员参照说明书文字能够据以实施。
需要说明的是，下述实施方案中所述实验方法，如无特殊说明，均为常规方法，所述试剂和材料，如无特殊说明，均可从商业途径获得；在本发明的描述中，术语“横向”、“纵向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，并不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
如图1所示，本发明提供一种基于知识标注评价的任务分配方法，包括：
S1、对标注员往期标注任务进行评分，对标注员往期标注任务进行评分的方法包括：
将一天时间分为多个连续时段，如：0-6点、6-12点、12-18点、18-24点，这里还可以包括其他的时间分段方法。统计往期标注任务中同时段同类型任务数量n，计算同时段同类型的n个任务中每一标注任务的准确率S、完备率T和完成速率H，再计算同时段同类型的n个任务的平均准确率平均完备率 和平均完成速率最后得出同时段同类型任务的综合分数其中a为平均准确率的预设权重，b为平均完备率的预设权重，c为平均完成速率的预设权重，a+b+c＝1且a>0，b>0，c>0，这里a、b、c的具体数据由工作人员自行设定；
其中，准确率S的计算方法包括：将标注内容分为多个单元，统计多个单元中已标注单元数A1，及统计已标注单元中标注信息和预设标准标注信息一致的单元数C1，S＝C1/A1；
完备率T的计算方法包括：将标注内容分为多个单元，统计多个单元中包含特定信息的单元数A2，及统计多个单元中已标注单元包含特定信息的单元数C2，T＝C2/A2；
完成速率H计算方法包括：根据任务发布时间和任务提交时间计算任务完成所花费的工时CH，H＝1/(CH-AH)，AH为任务分配工时，当CH≤AH时，H＝100％；
接着按任务完成时段及按任务类型将综合分数存储于标注员人物库中，具体数据结构形式如下表所示(这里标注员数量、时间分段方式及任务类型数量均只是举例，并不代表实际情况)：
S2、接收待分配的标注任务，并进行分类，在实际应用中，为了方便利用，会把大数据资源分类处理，例如：根据业务需求，知识类型可分为人物库、地点库、组织库、事件库、网站信源库、获奖库等多种类型；条目类型可分为篮球、足球等多种类型。知识类型和条目类型共同决定该任务的类型。
根据待分配任务的类型和任务发布时间所属时段检索标注员人物库，筛选综合分数高于预定阈值的标注员，并从中选出已分配任务量最少的标注员，向其下发待分配任务。
若待分配任务的类型根据预设分类规则无法确定类型，则人工分配待分配任务；
这里综合分数预定阈值由工作人员设定，若综合分数预定阈值设置过高，导致筛选的标注员数量为0，则降低综合分数预定阈值，直至筛选出的标注员数量≥1，再检查这些筛选出的标注员的已分配任务量，这里标注员已分配任务量设置上限值(这个上限值由标注员自行设置)，若筛选出的标注员的已分配任务量均已达上限值，则人工分配待分配任务。
另外，当上述待分配的标注任务进行分配且完成后，仍需要同S1中一样计算该标注任务的准确率、完备率和完成速率，再结合得到该标注任务的标注员的往期任务的准确率、完备率和完成速率，计算此次任务后该标注员在同时段同任务类型的综合分数，并对标注员人物库中数据进行更新。
如图2所示，本发明还提供一种基于知识标注评价的任务分配系统，包括：
标注员人物库模块，其用于储存每一标注员的ID、邮箱及每一标注员往期在不同时段各个任务类型的标注任务的综合分数；
任务分配策略模块，其将待分配任务按预设分类规则进行分类并根据待分配任务的类型和任务发布时间所属时段检索标注员人物库模块，筛选综合分数高于预定阈值的标注员ID，并从中选出已分配任务量最少的标注员ID；
本模块接收标注任务时，根据任务的类型，自动把任务添加到相应类型的任务队列中。如果标注任务未明确业务的类别，系统弹出警告，要求明确任务类别，若任务分类次数超过设定的阈值(此阈值可自定义)，则任务未能自动分配，需要业务人员按照经验进行手动分配标注员。
根据任务的类型和任务发布时间所属的时间段，检索标注员人物库，通过设定综合分数的阈值(此参数可自定义)，筛选出一部分候选的标注员名单，从候选名单中选择已分配任务数最少(不高于自定义的上限任务数)的标注员，进行下一步。若候选标注人员已分配任务数都高于上限任务数或候选名单人数为零，操作人员需手动降低阈值，直到可以筛选出满足条件的候选人员。
若标注任务所属的分类下标注员人物库为空，则本模块提示业务人员进行手动分配标注任务。
任务自动分配模块，其用于生成标注工单，并发送至提醒邮件至任务分配策略模块挑选出的标注员的邮箱，所述标注工单包括标注内容和任务分配工时；
标注员标注模块，其用于显示标注工单，并接收标注员上传的标注信息。标注员进行标注时，标注员标注模块提示标注内容出处的超链接，待标注完成后，标注员修改工单信息，点击完成并提交标注结果。关于标注员进行标注的细节不在本专利，不再赘述；
日志记录模块，其用于记录待分配任务的发布时间、标注员标注模块接收标注员上传标注信息的时间、标注员ID及标注员上传的标注信息。另外，标注员标注完任务后，审核员可以先进行审核，日志记录模块还可以用来将记录的审核时间、是否通过审核等信息来生成审核日志。
标注员评价模块，其根据标注内容和标注员上传的标注信息计算当次标注的准确率Sn、完备率Tn和完成速率Hn，若有审核机制，则审核员先进行审核工作，审核失败的时候会退回标注任务，标注员需重新标注，审核通过才继续进行下述操作，审核是否通过的标准为是否达到标注准确率最低阈值。接下来标注员评价模块将一天时间分为多个连续时段，统计往期标注任务中同时段同类型任务数量n-1，计算同时段同类型的n-1个任务中每一标注任务的准确率Si、完备率Ti和完成速率Hi(这里往期同时段同任务类型的n-1个任务也在每一标注任务完成后计算过准确率Si、完备率Ti和完成速率Hi，故这些往期数据可以保存在标注员人物库模块，减少计算量，需要使用时直接从标注员人物库模块中提取即可)，1≤i≤n-1，再计算同时段同类型的n个任务的平均准确率 平均完备率和平均完成速率 最后得出同时段同类型任务的综合分数其中a为平均准确率的预设权重，b为平均完备率的预设权重，c为平均完成速率的预设权重，a+b+c＝1且a>0，b>0，c>0；
其中，准确率S的计算方法包括：将标注内容分为多个单元，统计多个单元中已标注单元数A1，及统计已标注单元中标注信息和预设标准标注信息一致的单元数C1，S＝C1/A1；
完备率T的计算方法包括：将标注内容分为多个单元，统计多个单元中包含特定信息的单元数A2，及统计多个单元中已标注单元包含特定信息的单元数C2，T＝C2/A2；这里完备率是指：根据业务，某类型的数据是有一定共同特性的，数据分类处理的目的为抽取出这些共性字段。例如：人物库中属性字段有中文名、外文名、性别、民族、国籍、毕业院校、职业、职务等。这些字段是否都标注完备是体现这条数据价值的重要因素，也是评价标注工作的重要指标。
完成速率H计算方法包括：根据任务发布时间和任务提交时间计算任务完成所花费的工时CH，H＝1/(CH-AH)，AH为任务分配工时，当CH≤AH时，H＝100％，即在任务分配的工时内完成，则完成速率为100％，若标注员未在任务规定的工时内完成，即CH>AH，通过公式计算来得出此时的完成速率(此时小于100％)。
根据上述得出的平均准确率、平均完备率和平均完成速率，利用这三个参数及对应的权重值来计算出一个综合分数作为标注员对某一分类知识标注情况的分数。最后这个分数反馈到打分策略，作为下一次待分配任务的分配依据。
尽管本发明的实施方案已公开如上，但其并不仅仅限于说明书和实施方式中所列运用，它完全可以被适用于各种适合本发明的领域，对于熟悉本领域的人员而言，可容易地实现另外的修改，因此在不背离权利要求及等同范围所限定的一般概念下，本发明并不限于特定的细节和这里示出与描述的图例。

Claims (10)

1.一种基于知识标注评价的任务分配方法，其特征在于，包括：
对标注员往期标注任务进行评分，并按任务完成时段及按任务类型将综合分数存储于标注员人物库中；
根据待分配任务的类型和任务发布时间所属时段检索标注员人物库，筛选综合分数高于预定阈值的标注员，并从中选出已分配任务量最少的标注员，向其下发待分配任务。
2.如权利要求1所述的基于知识标注评价的任务分配方法，其特征在于，对标注员往期标注任务进行评分的方法包括：
将一天时间分为多个连续时段，统计往期标注任务中同时段同类型任务数量n，计算同时段同类型的n个任务中每一标注任务的准确率S、完备率T和完成速率H，再计算同时段同类型的n个任务的平均准确率平均完备率和平均完成速率最后得出同时段同类型任务的综合分数其中a为平均准确率的预设权重，b为平均完备率的预设权重，c为平均完成速率的预设权重，a+b+c＝1且a>0，b>0，c>0。
3.如权利要求2所述的基于知识标注评价的任务分配方法，其特征在于，准确率S的计算方法包括：将标注内容分为多个单元，统计多个单元中已标注单元数A1，及统计已标注单元中标注信息和预设标准标注信息一致的单元数C1，S＝C1/A1。
4.如权利要求2所述的基于知识标注评价的任务分配方法，其特征在于，完备率T的计算方法包括：将标注内容分为多个单元，统计多个单元中包含特定信息的单元数A2，及统计多个单元中已标注单元包含特定信息的单元数C2，T＝C2/A2。
5.如权利要求2所述的基于知识标注评价的任务分配方法，其特征在于，完成速率H计算方法包括：根据任务发布时间和任务提交时间计算任务完成所花费的工时CH，H＝1/(CH-AH)，AH为任务分配工时，当CH≤AH时，H＝100％。
6.如权利要求1所述的基于知识标注评价的任务分配方法，其特征在于，若待分配任务的类型根据预设分类规则无法确定类型，则人工分配待分配任务。
7.如权利要求1所述的基于知识标注评价的任务分配方法，其特征在于，将标注员已分配任务量设置上限值，若筛选出的综合分数高于预定阈值的所有标注员的已分配任务量均已达上限值，则人工分配待分配任务。
8.如权利要求1所述的基于知识标注评价的任务分配方法，其特征在于，若筛选出的综合分数高于预定阈值的标注员的数量为0，则降低综合分数预定阈值，直至筛选出的综合分数高于预定阈值的标注员的数量≥1。
9.一种基于知识标注评价的任务分配系统，其特征在于，包括：
标注员人物库模块，其用于储存每一标注员的ID、邮箱及每一标注员往期在不同时段各个任务类型的标注任务的综合分数；
任务分配策略模块，其将待分配任务按预设分类规则进行分类并根据待分配任务的类型和任务发布时间所属时段检索标注员人物库模块，筛选综合分数高于预定阈值的标注员ID，并从中选出已分配任务量最少的标注员ID；
任务自动分配模块，其用于生成标注工单，并发送至提醒邮件至任务分配策略模块挑选出的标注员的邮箱，所述标注工单包括标注内容和任务分配工时；
标注员标注模块，其用于显示标注工单，并接收标注员上传的标注信息；
日志记录模块，其用于记录待分配任务的发布时间、标注员标注模块接收标注员上传标注信息的时间、标注员ID及标注员上传的标注信息；
标注员评价模块，其根据标注内容和标注员上传的标注信息计算当次标注的准确率Sn、完备率Tn和完成速率Hn，将一天时间分为多个连续时段，统计往期标注任务中同时段同类型任务数量n-1，计算同时段同类型的n-1个任务中每一标注任务的准确率Si、完备率Ti和完成速率Hi，1≤i≤n-1，再计算同时段同类型的n个任务的平均准确率平均完备率和平均完成速率最后得出同时段同类型任务的综合分数其中a为平均准确率的预设权重，b为平均完备率的预设权重，c为平均完成速率的预设权重，a+b+c＝1且a>0，b>0，c>0；其中，准确率S的计算方法包括：将标注内容分为多个单元，统计多个单元中已标注单元数A1，及统计已标注单元中标注信息和预设标准标注信息一致的单元数C1，S＝C1/A1；其中，完备率T的计算方法包括：将标注内容分为多个单元，统计多个单元中包含特定信息的单元数A2，及统计多个单元中已标注单元包含特定信息的单元数C2，T＝C2/A2；其中，完成速率H计算方法包括：根据任务发布时间和任务提交时间计算任务完成所花费的工时CH，H＝1/(CH-AH)，AH为任务分配工时，当CH≤AH时，H＝100％。
10.如权利要求9所述的基于知识标注评价的任务分配系统，其特征在于，任务分配策略模块中，若待分配任务的类型根据预设分类规则无法确定类型，则提示人工分配待分配任务；
任务分配策略模块中，标注员已分配任务量设置上限值，若筛选出的综合分数高于预定阈值的所有标注员的已分配任务量均已达上限值，则提示人工分配待分配任务；
任务分配策略模块中，若筛选出的综合分数高于预定阈值的标注员的数量为0，则降低综合分数预定阈值，直至筛选出的综合分数高于预定阈值的标注员的数量≥1。
CN201910667446.2A 2019-07-23 2019-07-23 基于知识标注评价的任务分配方法及系统 Pending CN110443476A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910667446.2A CN110443476A (zh) 2019-07-23 2019-07-23 基于知识标注评价的任务分配方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910667446.2A CN110443476A (zh) 2019-07-23 2019-07-23 基于知识标注评价的任务分配方法及系统

Publications (1)

Publication Number Publication Date
CN110443476A true CN110443476A (zh) 2019-11-12

Family

ID=68431283

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910667446.2A Pending CN110443476A (zh) 2019-07-23 2019-07-23 基于知识标注评价的任务分配方法及系统

Country Status (1)

Country Link
CN (1) CN110443476A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111292839A (zh) * 2020-05-13 2020-06-16 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机设备和存储介质
CN111951554A (zh) * 2020-08-20 2020-11-17 北京嘀嘀无限科技发展有限公司 一种违停路段信息采集方法和系统
CN112465032A (zh) * 2020-11-27 2021-03-09 北京芯翌智能信息技术有限公司 训练数据标注任务的分配方法及装置、计算设备
CN112860416A (zh) * 2021-04-25 2021-05-28 城云科技（中国）有限公司 标注任务分派策略方法、装置
CN113407980A (zh) * 2021-08-18 2021-09-17 深圳市信润富联数字科技有限公司 数据标注系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107451763A (zh) * 2016-05-30 2017-12-08 北京京东尚科信息技术有限公司 一种物流众包配送订单筛选方法及装置
CN109151023A (zh) * 2018-08-21 2019-01-04 平安科技（深圳）有限公司 任务分配方法、装置及存储介质
CN109242275A (zh) * 2018-08-21 2019-01-18 平安科技（深圳）有限公司 任务分配方法、装置及存储介质
CN109359798A (zh) * 2018-08-21 2019-02-19 平安科技（深圳）有限公司 任务分配方法、装置及存储介质
CN109872036A (zh) * 2019-01-10 2019-06-11 平安科技（深圳）有限公司 基于分类算法的任务分配方法、装置及计算机设备
CN109961250A (zh) * 2017-12-26 2019-07-02 顺丰科技有限公司 一种物流收派员任务分配方法及装置、设备、存储介质
CN109978356A (zh) * 2019-03-15 2019-07-05 平安普惠企业管理有限公司 标注任务分配方法、装置、介质和计算机设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107451763A (zh) * 2016-05-30 2017-12-08 北京京东尚科信息技术有限公司 一种物流众包配送订单筛选方法及装置
CN109961250A (zh) * 2017-12-26 2019-07-02 顺丰科技有限公司 一种物流收派员任务分配方法及装置、设备、存储介质
CN109151023A (zh) * 2018-08-21 2019-01-04 平安科技（深圳）有限公司 任务分配方法、装置及存储介质
CN109242275A (zh) * 2018-08-21 2019-01-18 平安科技（深圳）有限公司 任务分配方法、装置及存储介质
CN109359798A (zh) * 2018-08-21 2019-02-19 平安科技（深圳）有限公司 任务分配方法、装置及存储介质
CN109872036A (zh) * 2019-01-10 2019-06-11 平安科技（深圳）有限公司 基于分类算法的任务分配方法、装置及计算机设备
CN109978356A (zh) * 2019-03-15 2019-07-05 平安普惠企业管理有限公司 标注任务分配方法、装置、介质和计算机设备

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111292839A (zh) * 2020-05-13 2020-06-16 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机设备和存储介质
CN111951554A (zh) * 2020-08-20 2020-11-17 北京嘀嘀无限科技发展有限公司 一种违停路段信息采集方法和系统
CN112465032A (zh) * 2020-11-27 2021-03-09 北京芯翌智能信息技术有限公司 训练数据标注任务的分配方法及装置、计算设备
CN112860416A (zh) * 2021-04-25 2021-05-28 城云科技（中国）有限公司 标注任务分派策略方法、装置
CN113407980A (zh) * 2021-08-18 2021-09-17 深圳市信润富联数字科技有限公司 数据标注系统

Similar Documents

Publication Publication Date Title
CN110443476A (zh) 基于知识标注评价的任务分配方法及系统
Avery et al. Forest measurements
Burton et al. RootScan: software for high-throughput analysis of root anatomical traits
CN107862450A (zh) 绩效考核系统及方法
CN107851097A (zh) 数据分析系统、数据分析方法、数据分析程序及存储介质
WO2004061714A1 (ja) 技術評価装置、技術評価プログラム、技術評価方法
CN108766542A (zh) 一种数据分析处理方法和系统
CN107239967A (zh) 房产信息处理方法、装置、计算机设备及存储介质
CN109120632A (zh) 基于在线特征选择的网络流异常检测方法
CN109784966A (zh) 一种音乐网站客户流失预测方法
CN110570097B (zh) 基于大数据的业务人员风险识别方法、装置及存储介质
CN108765177A (zh) 核保方法及核保系统
CN116433052A (zh) 一种基于智能化的招标信息采集数据分析评价系统
CN107909395A (zh) 基于点击效果的广告测试方法、装置及系统
CN116644184B (zh) 基于数据聚类的人力资源信息管理系统
CN106875088A (zh) 基于期刊编委指数的科研机构学术影响力评价方法与系统
CN103955715B (zh) 一种基于赤足或穿袜足迹图像的自动人身认定方法
CN109063982A (zh) 一种计算企业信用分数的评分方法及系统
CN115952216A (zh) 一种养老保险数据挖掘方法、装置、存储介质及电子设备
CN115577100A (zh) 一种不平衡风险事件标注方法及系统
CN112418652B (zh) 一种风险识别方法及相关装置
Buzzard et al. An investigation of collection support for doctoral research
CN104781649A (zh) 流式细胞术数据分割结果的评价系统和方法
CN110010231A (zh) 一种数据处理系统及计算机可读存储介质
CN114708445A (zh) 一种商标相似度识别方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20191112