CN108229772A - 标注处理方法及装置 - Google Patents

Abstract

本发明公开了一种标注处理方法及装置。其中，该方法包括：向客户端发布标注任务；接收客户端返回的标注结果，其中，所述标注结果为所述客户端在接收到标识任务之后，基于输入的标注操作而生成；检测所述标注结果是否有效；在检测出所述标注结果有效的情况下，对所述标注结果进行匹配操作，得到匹配结果。本发明解决了标注任务处理过程中人工审核效率低的技术问题。

Description

标注处理方法及装置

技术领域

本发明涉及信息处理领域，具体而言，涉及一种标注处理方法及装置。

背景技术

当下有许多向大众提供标注任务的平台，用户在平台上打完标注之后会提交给工作人员进行人工审核，等待审核完成后领取报酬。然而，用户从提交任务到平台的工作人员完成审核，这个过程非常地漫长，而且这个审核工作对于工作人员来说非常地耗时耗力、枯燥乏味。

针对上述的标注任务处理中人工审核效率低的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种标注处理方法及装置，以至少解决标注任务处理过程中人工审核效率低的技术问题。

根据本发明实施例的一个方面，提供了一种标注处理方法，包括：向客户端发布标注任务；接收客户端返回的标注结果，其中，所述标注结果为所述客户端在接收到标识任务之后，基于输入的标注操作而生成；检测所述标注结果是否有效；在检测出所述标注结果有效的情况下，对所述标注结果进行匹配操作，得到匹配结果。

进一步地，向客户端发布标注任务包括：将预定数量的标注任务分配给所述客户端。

进一步地，将预定数量的标注任务分配至所述客户端包括：获取预先设置的、与所述客户端对应的所述预定数量N；从第一数据库中提取第一数量的标注任务，其中，所述第一数据库中的标注任务预存有标注结果；从第二数据库中提取第二数量的标注任务，其中，所述第一数量和所述第二数量之和为所述预定数量。

进一步地，检测所述标注结果是否有效包括：从所述标注结果中，查找与第一数据库中的第一标注任务对应的第一标注结果；若所述第一标注结果与所述第一标注任务对应的预存结果一致，则检测出所述标注结果有效。

进一步地，对所述标注结果进行匹配操作包括：检测结果库中是否存储有与所述标注结果一致的标注记录；若存在，则确定所述标注结果匹配成功。

根据本发明实施例的另一方面，还提供了一种标注处理装置，包括：发布单元，用于向客户端发布标注任务；接收单元，用于接收客户端返回的标注结果，其中，所述标注结果为所述客户端在接收到标识任务之后，基于输入的标注操作而生成；检测单元，用于检测所述标注结果是否有效；匹配单元，用于在检测出所述标注结果有效的情况下，对所述标注结果进行匹配操作，得到匹配结果。

进一步地，发布单元包括：分配模块，用于将预定数量的标注任务分配给所述客户端。

进一步地，分配模块包括：获取模块，用于获取预先设置的、与所述客户端对应的所述预定数量N；第一提取模块，用于从第一数据库中提取第一数量的标注任务，其中，所述第一数据库中的标注任务预存有标注结果；第二提取模块，用于从第二数据库中提取第二数量的标注任务，其中，所述第一数量和所述第二数量之和为所述预定数量。

进一步地，检测单元包括：查找模块，用于从所述标注结果中，查找与第一数据库中的第一标注任务对应的第一标注结果；第一检测模块，用于若所述第一标注结果与所述第一标注任务对应的预存结果一致，则检测出所述标注结果有效。

进一步地，匹配单元包括：第二检测模块，用于检测结果库中是否存储有与所述标注结果一致的标注记录；确定模块，用于若存在，则确定所述标注结果匹配成功。

通过上述实施例，可以由服务器向客户端发布标注任务，用户在利用客户端接收标注任务后，可以在客户端上对标注任务进行标注操作，形成标注结果，服务器可以接收客户端返回的标注结果，并检测该标注结果是否有效，若检测出标注结果有效，则可以对标注结果进行匹配操作，最后可以得到匹配结果。本发明实施例提供了一个自动评定标注结果是否有效，并对有效的标注结果进行匹配操作的解决方案，使得平台不再需要耗费人力去做标注结果的审核工作，提高工作效率。解决标注任务处理过程中人工审核效率低的技术问题。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的一种标注处理方法的流程图；

图2是根据本发明实施例的一种可选的用户的操作方法的示意图；

图3是根据本发明实施例的一种可选的标注平台管理员的操作方法的示意图；

图4是根据本发明实施例的一种可选的随机分配标注语句的示意图；

图5是根据本发明实施例的一种可选的数据结果评定的方法的示意图；

图6是根据本发明实施例的另一种可选的标注处理装置的结构图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

根据本发明实施例，提供了一种标注处理的方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

图1是根据本发明实施例的一种标注处理方法的流程图，如图1所示，该方法包括如下步骤：

步骤S102，向客户端发布标注任务；

步骤S104，接收客户端返回的标注结果，其中，标注结果为客户端在接收到标识任务之后，基于输入的标注操作而生成；

步骤S106，检测标注结果是否有效；

步骤S108，在检测出标注结果有效的情况下，对标注结果进行匹配操作，得到匹配结果。

通过上述实施例，可以实现由服务器(例如，标注任务平台)向客户端发布标注任务，用户在利用客户端接收标注任务后，可以在客户端上对标注任务进行标注操作，形成标注结果，服务器可以接收客户端返回的标注结果，并检测该标注结果是否有效，若检测出标注结果有效，则可以对标注结果进行匹配操作，最后可以得到匹配结果。本发明实施例提供了一个自动评定标注结果是否有效，并对有效的标注结果进行匹配操作的解决方案，使得平台不再需要耗费人力去做标注结果的审核工作，提高工作效率。解决标注任务处理过程中人工审核效率低的技术问题。

可选的，服务器可以是标注任务的平台，该标注任务平台可以发布标注任务，该标注任务可以是预先设置的，由后台工作人员提供，或者由服务器接收其它设备的标注任务，可以将多个标注任务形成一个标注任务库；用户可以对标注任务进行标注操作，标注任务上可以提供标注操作框，该标注操作框可以是用户在该操作框内进行标注操作。标注操作可以是多种样式的，例如，找出标注任务的关键词，并将该关键词进行加重或加粗操作，标注操作也可以是在找到关键词或关键句后，对关键词或关键句进行加色操作，例如，对关键词进行标红操作，该标红操作可以是将关键词变为红色；加色操作可以是多种样式的，例如，加上红色、绿色、黄色等。

可选的，在步骤S102提供的技术方案中，标注任务平台可以向用户的移动终端(例如，手机)或者客户端(例如，电脑)发布标注任务，该标注任务可以是在客户端的一个应用中，用户可以打开客户端应用，在该客户端应用中接收标注任务。标注任务平台可以将后台存储的标注任务分配给客户端，可以向客户端发布不同数量的标注任务(例如，向客户端A发布5个标注任务，向客户端B发布7个标注任务)。

另一种可选的实施方式，在标注任务平台向客户端发布标注任务之后，用户可以利用客户端接收标注任务，在接收到标注任务后，用户可以利用客户端对多个标注任务分别进行标注操作，并生成相应的标注结果，每一个标注任务对应一个标注结果，标注结果为客户端在接收到标识任务之后，基于用户输入的标注操作而生成。客户端可以将生成的标注结果发送到标注任务平台中。

可选的，在步骤S104提供的技术方案中，标注任务平台可以接收客户端返回的标注结果，在接收到标注结果后，标注任务平台可以将该标注结果存储起来。通过标注任务平台可以检测标注结果是否有效，在检测标注结果是否有效的情况时，可以通过用户标注结果与标注任务平台中有效性检测库里的语句进行对比，该有效性检测库可以是标注任务平台预先设置的，其可以包含与发布的标注任务一一对应的有效性语句，若该有效性语句与用户标注结果一致，则可以判断该标注结果有效，若该有效性语句与用户标注结果不一致，则可以判断该标注结果无效。

可选的，在步骤S108提供的技术方案中，在检测出标注结果有效的情况下，对标注结果进行匹配操作，得到匹配结果，该匹配操作可以是预先设置在标注任务平台中的标注数据库中的标注答案与用户的标注结果一一对比，若标注数据库中的标注答案与用户的标注结果一致或大致相同，则可以判断该标注结果正确，若标注数据库中的标注答案与用户的标注结果不同，则可以判断该标注结果错误。在判断出标注结果正确是，可以向客户端发送该标注结果正确的指令，以告知其标注的操作正确。

可选的，在检测出标注结果无效的情况下，可以向客户端发送该标注结果无效的指令，以告知用户对该标注任务标注操作失败。

另一种可选的实施方式，向客户端发布标注任务包括：将预定数量的标注任务分配给客户端。其中，标注任务的数量是提前设定的，其可以有多个标注任务，标注任务数量是不固定的，根据标注任务平台获取的标注任务的数量确定。

对于上述实施例，将预定数量的标注任务分配至客户端包括：获取预先设置的、与客户端对应的预定数量N，即在发布标注任务前可以确定有多少客户端做标注任务，这里，用户可以通过客户端向标注任务平台申请标注任务，用户申请标注任务的数量可以是不固定的，标注任务平台在接收到客户端发来的申请标注任务的信息后，使用计数单元计算有多少客户端可以做标注任务，每一个客户端对应不同的标注任务数量，计算出全部的客户端的标注任务数量，确定出预定数量N，即有N个标注任务可以发送给客户端；在确定出总的预定数量N后，可以将每一个客户端对应的标注任务和标注任务数量发送到客户端中。在获取到预定数量N后，可以从第一数据库中提取第一数量的标注任务，该第一数据库可以是有效性检测库，其中，第一数据库中的标注任务预存有标注结果，即在第一数据库中可以存储有检测客户端返回的标注结果是否有效的数据库。该第一数据库可以是预先设置，每一个标注任务都可以对应有一个标注结果，在该数据库中存储的标注任务可以有相应的标注结果，第一数据库中存储的标注任务的数量是不固定的，其占数据库标注任务的数量可以是不确定的，例如，有效性检测库中的文件总条数占20％。另一种可选的实施方式，可以从第二数据库中提取第二数量的标注任务，该第二数据库可以是非有效性检测库，即在该数据库中的标注任务没有对应的标注结果，其中，第一数量和第二数量之和为预定数量，即在第一数据库中的任务数量和第二数据库中的任务数量之和可以是总的数量，其占比可以是预定数量与第一数量之差。

可选的，客户端在接收到标注任务和标注任务数量后，可以将标注任务一一显示出来，用户可以对标注任务进行标注操作，每一个标注任务都可以形成一个标注结果。

可选的，检测标注结果是否有效包括：可以从标注结果中，查找与第一数据库中的第一标注任务对应的第一标注结果，在第一数据库中存储有与标注任务对应的预存结果，若客户端返回的第一标注结果与第一标注任务对应的预存结果一致，则检测出标注结果有效，若客户端返回的第一标注结果与第一标注任务对应的预存结果不一致，则检测出标注结果无效。

另一种可选的实施方式，对标注结果进行匹配操作包括：检测结果库中是否存储有与标注结果一致的标注记录，根据标注任务平台的数据库确定客户端返回的标注结果是否存在，若存在，则确定标注结果匹配成功，若不存在，则确定标注结果匹配失败，即客户端返回的标注结果不正确。

图2是根据本发明实施例的一种可选的用户的操作方法的示意图。如图2所示，用户的操作的步骤如下：

步骤S201，用户接任务。

步骤S203，用户打标注。

步骤S205，判断是否提交。

若是，执行步骤S209，若否，执行步骤S207.

步骤S207，任务作废，回到步骤S201，

步骤S209，平台系统判断标注是否有效。

若是，执行步骤S211，若否，执行步骤S207。

步骤S211，平台系统判断是否采纳。

若是，执行步骤S213，若否，执行步骤S207。

步骤S213，用户得分。

图2中的用户可以为大众，用户可以在任务界面查看管理员已经发布的任务。申请任务后，开始进行打标注操作，系统自动根据任务中规定的分配条数给每个打标注的用户随机分配相应条数的句子，用户对这些句子进行标注。

通过上述实施例，用户可以在系统平台上接标注任务，并且通过一定的标注操作得到相应的标注结果，在服务器进行判断后，得出标注结果是否与服务器中的数据库匹配，若匹配，可以给用户相应的分数，若不匹配，则用户的标注操作失败。

图3是根据本发明实施例的一种可选的标注平台管理员的操作方法的示意图。如图3所示，该操作包括如下步骤：

步骤S301，管理员上传语料。

步骤S303，判断该语料是否打标注。

若是，执行步骤S305，若否，执行步骤S309。

步骤S305，管理员打标注。

步骤S307，判断是否发布任务。

若是，执行步骤S309，若否，执行步骤S315。

步骤S309，管理员发布任务。

步骤S311，判断是否有标准答案。

若是，执行步骤S313，若否，执行步骤S305，

步骤S313，发布成功。

步骤S315，管理员将该任务定位定时任务。

步骤S317，判断是否可以导出任务。

若是，执行步骤S319，若否，执行步骤S321。

步骤S319，导出任务。

步骤S321，不导出任务。

通过上述实施例，管理员可以通过系统平台发布任务，并且可以导出该任务。

图3中管理员可以为内部人员，为了防止用户随意打标注降低数据质量，在管理员发布任务之前，需要管理员事先对部分标注内容进行专业标注，用以检测用户标注的有效性，即存储了该标注文件的标准答案。

用户提交标注结果后，标注结果存入标注结果表，系统先是进行标注结果的有效性检测，检测结果有效之后才能进行数据结果匹配，若检测结果为无效，则不做结果匹配。当结果库中存在两条标注结果一致的记录，则视为匹配。匹配的句子将不会再出现在普通用户的标注页面里。

图4是根据本发明实施例的一种可选的随机分配标注语句的方法示意图，如图4所示，其中，随机分配可以在有一个分配数据库的情况下，该数据库中可以包括多个表，例如，marked_admin表、file表、task表、matched表、filecontent表，其中，marked_admin表为系统主表，其用于对标注任务平台的数据库进行处理，file表为文件表，task表为任务表，matched表为匹配表，filecontent表为文件内容表，其可以用于存储标注任务，即可以存储原始语料，该方法包括如下步骤：

步骤S401，系统表获取管理员标注有标注结果的句子。

步骤S403，文件内容表获取原始语料。

步骤S405，文件表获取文件总条数。

步骤S407，任务表获取每人分配条数A以及进行标注操作的客户端的数量的最大值。

步骤S409，匹配表获取匹配上的语句数目。

步骤S411，判断每人分配条数A或进行标注操作的客户端的数量的最大值是否小于文件总条数上的语句数目减去匹配表获取的匹配语句数目的数量。

若是，执行步骤S415，若否，执行步骤S413。

步骤S413，每人分配条数A不变。

步骤S415，文件总条数上的语句数目减去匹配表获取的匹配语句的数量，并将该数值赋值给每人分配条数A。

步骤S417，随机分配出每人分配条数A的10％条包含标准答案的语句以及随机分配每人分配条数A减去每人分配条数A的10％条不包含标准答案的差值数量语句。

步骤S419，用户进行标注操作。

其中，本发明实施例可以根据两个原则对用户的标注内容进行分配：第一种是可以分配有效性检测库里的语句，管理员可以分配文件，其中，分配的数目可以是文件总条数(可以将文件总条数命名为rowCount)的10％，或者，按照发布任务时设置的每人分配条数(可以将每人分配条数命名为rows)的10％，随机向用户发送分配条数。第二种是对非检测库里的语句随机分配，分配的数目可以是在每人分配条数至每人分配条数的10％的范围内，其分配数目的顺序可以是随机的。其中，有效性检测库中的语句数量和非检测库中的语句数量之和可以是文件语句总条数。

通过上述实施例，标注任务平台可以根据文件总条数以及发布任务时设置的每人分配条数，给每个用户分配不同数量的标注任务，用户在获取到标注任务后，进行标注操作。

图5是根据本发明实施例的一种可选的标注处理的方法的示意图，在图5所示的方案中，可以有一个数据库，数据库可以与用户的标注结果匹配，该数据可以包括一个或多个表，例如，marked_user表，该表可以是用户进行标注操作的标注结果表；如图5所示，该方法包括如下步骤；

步骤S501，标注结果表获取用户当前任务下状态为0的标注结果B。

步骤S503，标注结果表获取非用户当前任务下状态为0的标注结果C。

步骤S505，判断标注结果B是否与标注结果C相等。

若是，执行步骤S507，若否，执行步骤S509。

步骤S507，采纳用户的标注。

步骤S509，不采纳用户的标注。

通过上述实施例，可以在获取到用户的标注结果后，将该标注结果与后台数据库内的标准答案匹配，判断出用户的标注是否正确，若正确，则可以将用户的标注结果存储起来，并向该用户发出得分的指令，若不正确，可以向用户发出该标注任务作废的指令。这样，可以通过后台数据库与用户的标注结果匹配，省去人工审核这一环节，提高标注任务审核效率。

可选的，在用户提交标注结果后，本发明实施例可以对数据结果进行评定，当存在两条标注结果一致的记录，则视为匹配。匹配的句子将不会再出现在用户的标注页面里。其中，两条标注结果一致的情况如下可以包括两种，第一种是整句标注完全一致，即用户标注的整个句子与标准答案中的内容完全一致。第二种是分词标注完全一致，即用户标注的句子中的某一个关键词与标准答案中的关键词完全一致。

图6是根据本发明实施例的另一种可选的标注处理装置的结构图，如图6所示，该装置包括：发布单元61，用于向客户端发布标注任务；接收单元62，用于接收客户端返回的标注结果，其中，标注结果为客户端在接收到标识任务之后，基于输入的标注操作而生成；检测单元63，用于检测标注结果是否有效；匹配单元64，用于在检测出标注结果有效的情况下，对标注结果进行匹配操作，得到匹配结果。

通过上述实施例，可以实现由服务器(例如，标注任务平台)的发布单元61向客户端发布标注任务，用户在利用客户端接收标注任务后，可以在客户端上对标注任务进行标注操作，形成标注结果，服务器通过接收单元62可以接收客户端返回的标注结果，并通过检测单元63检测该标注结果是否有效，若检测出标注结果有效，则可以通过匹配单元64对标注结果进行匹配操作，最后可以得到匹配结果。本发明实施例提供了一个自动评定标注结果是否有效，并对有效的标注结果进行匹配操作的解决方案，使得平台不再需要耗费人力去做标注结果的审核工作，提高工作效率。解决标注任务处理中人工审核效率低的技术问题。

可选的，发布单元包括：分配模块，用于将预定数量的标注任务分配给客户端。

另一种可选的实施方式，分配模块包括：获取模块，用于获取预先设置的、与客户端对应的预定数量N；第一提取模块，用于从第一数据库中提取第一数量的标注任务，其中，第一数据库中的标注任务预存有标注结果；第二提取模块，用于从第二数据库中提取第二数量的标注任务，其中，第一数量和第二数量之和为预定数量。

可选的，检测单元包括：查找模块，用于从标注结果中，查找与第一数据库中的第一标注任务对应的第一标注结果；第一检测模块，用于若第一标注结果与第一标注任务对应的预存结果一致，则检测出标注结果有效。

可选的，匹配单元包括：第二检测模块，用于检测结果库中是否存储有与标注结果一致的标注记录；确定模块，用于若存在，则确定标注结果匹配成功。

通过本发明实施例，可以免去大量人工的检测，大大提高了标注的审核效率，标注平台系统可以自动判定结果的同时还可以保证标注的数据质量。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种标注处理方法，其特征在于，包括：

向客户端发布标注任务；

接收客户端返回的标注结果，其中，所述标注结果为所述客户端在接收到标识任务之后，基于输入的标注操作而生成；

检测所述标注结果是否有效；

在检测出所述标注结果有效的情况下，对所述标注结果进行匹配操作，得到匹配结果。

2.根据权利要求1所述的方法，其特征在于，向客户端发布标注任务包括：

将预定数量的标注任务分配给所述客户端。

3.根据权利要求2所述的方法，其特征在于，将预定数量的标注任务分配至所述客户端包括：

获取预先设置的、与所述客户端对应的所述预定数量N；

从第一数据库中提取第一数量的标注任务，其中，所述第一数据库中的标注任务预存有标注结果；

从第二数据库中提取第二数量的标注任务，其中，所述第一数量和所述第二数量之和为所述预定数量。

4.根据权利要求1所述的方法，其特征在于，检测所述标注结果是否有效包括：

从所述标注结果中，查找与第一数据库中的第一标注任务对应的第一标注结果；

若所述第一标注结果与所述第一标注任务对应的预存结果一致，则检测出所述标注结果有效。

5.根据权利要求1所述的方法，其特征在于，对所述标注结果进行匹配操作包括：

检测结果库中是否存储有与所述标注结果一致的标注记录；

若存在，则确定所述标注结果匹配成功。

6.一种标注处理装置，其特征在于，包括：

发布单元，用于向客户端发布标注任务；

接收单元，用于接收客户端返回的标注结果，其中，所述标注结果为所述客户端在接收到标识任务之后，基于输入的标注操作而生成；

检测单元，用于检测所述标注结果是否有效；

匹配单元，用于在检测出所述标注结果有效的情况下，对所述标注结果进行匹配操作，得到匹配结果。

7.根据权利要求6所述的装置，其特征在于，发布单元包括：

分配模块，用于将预定数量的标注任务分配给所述客户端。

8.根据权利要求7所述的装置，其特征在于，分配模块包括：

获取模块，用于获取预先设置的、与所述客户端对应的所述预定数量N；

第一提取模块，用于从第一数据库中提取第一数量的标注任务，其中，所述第一数据库中的标注任务预存有标注结果；

第二提取模块，用于从第二数据库中提取第二数量的标注任务，其中，所述第一数量和所述第二数量之和为所述预定数量。

9.根据权利要求6所述的装置，其特征在于，检测单元包括：

查找模块，用于从所述标注结果中，查找与第一数据库中的第一标注任务对应的第一标注结果；

第一检测模块，用于若所述第一标注结果与所述第一标注任务对应的预存结果一致，则检测出所述标注结果有效。

10.根据权利要求6所述的装置，其特征在于，匹配单元包括：

第二检测模块，用于检测结果库中是否存储有与所述标注结果一致的标注记录；

确定模块，用于若存在，则确定所述标注结果匹配成功。