CN109740622A - 基于区块链通证奖励方式的图像标注任务众包方法及系统 - Google Patents

Abstract

本发明公开了基于区块链通证奖励方式的图像标注任务众包方法及系统，所述方法包括以下步骤：S01、数据需求方在众包平台上发布图像标注任务以及任务奖励，所述任务奖励以通证的形式发放；S02、标注工作者选择并完成所述图像标注任务，将完成结果上传至所述众包平台；S03、所述众包平台将所述完成结果结构化输出给所述数据需求方，并将所述标注工作者的工作记录上传至区块链；S04、所述数据需求方将所述任务奖励支付给所述标注工作者。本发明结合区块链技术，提高了众包模式中各个环节的信息安全性，使众包模式的流程更加完善，有利于众包模式全面推广和应用。

Description

基于区块链通证奖励方式的图像标注任务众包方法及系统

技术领域

本发明涉及图像标注技术领域，特别涉及基于区块链通证奖励方式的图像标注任务众包方法及系统。

背景技术

机器学习技术人工智能的核心技术，是使计算机具有智能性质的根本途径，随着人工智能的发展，机器学习技术所能解决的复杂问题越来越多。机器学习技术在对机器进行模型训练时需要海量的数据，往往所要解决的问题越复杂所需要的数据量也就越大，尤其是解决图像处理问题。现在解决图像处理问题所需的数据一般来自于已有的业务数据的积累、人工图像标注和模拟生成。其中人工图像标注的数据更加精确但耗费人力，因此出现将图像标注任务以众包形式发布，形成广泛参与标注的平台。现有的图像处理任务众包平台很多，但基本上都具有以下问题：(1)需要抽取高额的中介费用于维护平台；(2)缺乏自动审核机制，需求方需要人力对手机的标注图像进行审核；(3)标注交互不便捷，标注工作者需要一定的学习时间；(4)缺乏对标注工作者的评级机制，导致收集到的标注图像质量良莠不齐。

发明内容

为了解决现有技术的问题，本发明实施例提供了基于区块链通证奖励方式的图像标注任务众包方法及系统。所述技术方案如下：

一方面，提供了基于区块链通证奖励方式的图像标注任务众包方法，所述方法包括：

S01、数据需求方在众包平台上发布图像标注任务以及任务奖励，所述任务奖励以通证的形式发放；

S02、标注工作者选择并完成所述图像标注任务，将完成结果上传至所述众包平台；

S03、所述众包平台将所述完成结果结构化输出给所述数据需求方，并将所述标注工作者的工作记录上传至区块链；

S04、所述数据需求方将所述任务奖励支付给所述标注工作者。

进一步地，所述图像标注任务在移动终端上完成，包括四类分别为：图像收集、图像语义标注、图像区域标注、图像选择标注。

进一步地，所述方法还包括：

对所述完成结果进行验证评分，并将所述验证评分存入标注工作者数据库，所述验证评分的方法包括可泛用的验证方法、交叉验证方法中的一种或两种，其中所述交叉验证方法通过图像选择标注的形式实现；

所述数据需求方根据所述验证评分向所述标注工作者支付额外奖励，所述额外奖励以通证的形式发放。

进一步地，所述方法还包括：

所述众包平台定期统计所述标注工作者的验证评分，对所述标注工作者进行评级，并将评级结果上传至区块链中。

进一步地，所述额外奖励还包括根据所述评级结果发放的评级奖励。

进一步地，所述可泛用的验证方法具体包括：所述可泛用的验证方法具体包括：所述数据需求方使用通用模型与结构化数据的所述完成结果进行对比，根据对比结果给出相关度评分。

进一步地，所述交叉验证方法具体包括：所述众包平台将结构化输出的所述完成结果进行重组，以所述图像选择标注的形式再次发布，所述标注工作者根据发布的内容相互验证，参与验证的标注工作者获得验证奖励，所述验证奖励以通证的形式发放。

另一方面，提供了基于区块链通证奖励方式的图像标注任务众包系统，其特征在于，包括：

图像标注众包平台，用于给所述数据需求方和标注工作者提供交互平台，包括：图像标注任务发布模块、完成结果上传模块、完成结果输出模块、通证支付模块；

区块链，用于存储通证的交易记录以及所述标注工作者的工作记录和评级结果；

通证交易市场，用于所述通证与数字货币的相互置换。

进一步地，所述图像标注众包平台还包括：

验证评分模块，用于对完成结果验证评分，包括可泛用的验证方法模块、交叉验证模块中的一种或两种；

标注工作者数据库，用于存储所述验证评分。

进一步地，所述图像标注众包平台还包括：评级模块，用于定期统计所述标注工作者的验证评分，对标注工作者评级。

本发明提供的技术方案带来的有益效果是：

(1)本发明中任务奖励、额外奖励以及验证奖励均以通证的形式发放，通证作为一种数字权益证明，有着加密性和可流通性的特点，适合作为众包奖励发放；

(2)本发明设有评级机制，评级机制可以让高评级的标注工作者获得更高的奖励；

(3)本发明提出了多种验证方法，数据需求方可选择单种或多种验证，提高数据质量，节约后期清洗成本；

(4)本发明提出的图像标注方法，便于智能手机交互降低标注工作的硬件门槛，标注工作者根据简单引导便能完成图像收集，物体分类，物体检测等一系列标注工作，减少标注工作者学习成本；

(5)本发明结合区块链技术，提高了众包模式中各个环节的信息安全性，使众包模式的流程更加完善，有利于众包模式全面推广和应用。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的基于区块链通证奖励方式的图像标注任务众包方法流程图；

图2是本发明实施例提供的图像收集方法流程图；

图3是本发明实施例提供的图像语义标注方法流程图；

图4是本发明实施例提供的图像区域标注方法流程图；

图5是本发明实施例提供的图像选择标注方法流程图；

图6是本发明实施例提供的基于区块链通证奖励方式的图像标注任务众包系统示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为了使机器能够自动解决图像处理问题需要预先对机器进行大量的模型训练，构建训练模型的过程中需要收集大量的已处理图像，已处理图像的主要来源为人工图像标注。由于人工图像标注的需求量巨大，为了降低图像处理成本，可将图像处理任务发给个人处理，由此出现了图像处理任务众包平台，在此平台上，需求方可以将图像处理任务分成多个独立的子任务，分给不同的标注工作者完成，标注工作者可以在众包平台上选择适合自己的图像标注任务，并获取相应的报酬。现有的众包平台缺乏对标注工作者的评级和对完成结果质量的自动审核，并且需求方和标注工作者还需要支付高额的中介费用。为此，本发明提供的基于区块链的图像标注任务众包方法和系统，利用区块链去中心化的特点，无需平台中介费，还能够实现完成结果的自动审核。本发明的具体技术实施方式如下：

如图1所示，基于区块链通证奖励方式的图像标注任务众包方法，包括以下步骤：

S01、数据需求方在众包平台上发布图像标注任务以及任务奖励，所述任务奖励以通证(Token)的形式发放；

S02、标注工作者选择并完成所述图像标注任务，将完成结果上传至所述众包平台；

S03、所述众包平台将所述完成结果结构化输出给所述数据需求方，并将所述标注工作者的工作记录上传至区块链；

S04、所述数据需求方将所述任务奖励支付给所述标注工作者；

S05、对所述完成结果进行验证评分，并将所述验证评分存入标注工作者数据库,所述数据需求方根据所述验证评分向所述标注工作者支付额外奖励，所述额外奖励以通证的形式发放；

S06、所述众包平台定期统计所述标注工作者的验证评分，对所述标注工作者进行评级，并将评级结果上传至区块链中,所述额外奖励还包括根据所述评级结果发放的评级奖励。

上述步骤中需要说明的是，数据需求方的通证(Token)通过数字货币置换而来，同样的标注工作者在拿到通证(Token)后也可以将通证(Token)置换成数字货币。众包平台将完成结果结构化输出给数据需求方，具体为众包平台根据数据需求方要求的格式整理完成结果，然后发给数据需求方。众包平台上传至区块链的工作记录可以包括：标注工作者完成的工作量、完成任务的质量情况以及完成任务的次数等标注工作者完成标注工作的信息，这里不做限定。

根据历史数据总结，数据需求方在平台上发布的图像标注任务可以分为四个类别：图像收集、图像语义标注、图像区域标注、图像选择标注。这四个类别的任务均可以用手机、平板电脑等移动终端来完成。

其中图像收集任务的完成包括以下步骤：

如图2中(a)所示，S11、获取图像，利用移动终端的拍照功能获取图像；

如图2中(b)所示，S12、调整取景，调整取景框，使所需景象位于取景框内，截取图像中所述的景象；

如图2中(c)所示，S13、上传截取的景象。

图像语义标注可以理解为对图像的说明解释或命名，具体包括以下步骤：

如图3中(a)所示，S21、获取图像，利用移动终端的拍照功能获取图像；

如图3中(b)所示，S22、调整取景，调整取景框，使所需景象位于取景框内，截取图像中所述的景象；

如图3中(c)所示，S23、标注截取的景象，并上传。

需要说明的是，图像语义标注还可以基于图像收集来做，因此图像语义标注可以直接标注已经收集好的图像，无需执行步骤S21和S22。

图像区域标注为图像中的部分区域进行说明解释或命名，具体包括以下步骤：

如图4中(a)所示，S31、获取图像，利用移动终端的拍照功能获取图像；

如图4中(b)所示，S32、调整取景，调整取景框，使所需景象位于取景框内，截取图像中所述的景象；

如图4中(c)所示，S33、将截取的景象分割成若干区域；

如图4中(d)所示，S34、标注区域标签，并上传。

需要说明的是，与图像语义标注一样，图像区域标注也还可以基于图像收集来做，因此图像语义标注可以直接标注已经收集好的图像，无需执行步骤S31和S32。

图像选择标注是按照一定的条件，在多个图像中选择符合所述条件的图像，具体包括以下步骤：如图5所示，在符合条件的图像上做标记，并上传。这里上传分为两种情况，第一种为将带有标记的图像和不带标记的图像一同上传，第二种为仅上传带有标记的图像。

上述步骤S05中的验证评分的方法包括：可泛用的验证方法和交叉验证方法。其中，可泛用的验证方法以数据需求方位验证方，数据需求方使用通用模型与结构化数据的所述完成结果进行对比，根据对比结果给出相关度评分。更具体地，通用模型包括通用图像模型和通用语义模型，数据需求方将通用图像模型与完成所述图像收集任务得到的图像以及完成图像语义标注任务得到的所述区域图像标注进行对比，将通用语义模型与完成图像语义标注任务和图像区域标注任务得到的标注内容进行对比。进一步地，标注工作者完成的图像收集任务得到的验证评分为通用图像模型与图像的对比后得到的相关度评分。标注工作者完成图像语义标注任务时，如果只完成的标注任务则验证评分为将通用语义模型与标注内容对比后得到的相关度评分，如果标注工作者是从获取图像步骤开始进行的，则其验证评分为将通用图像模型与图像对比后得到的相关度评分与将通用语义模型与标注内容对比后得到的相关度评分的综合评分。同样的标注工作者完成图像区域标注任务时得到的最后评分分为通用图像模型与图像对比后得到的相关度评分，或者通用图像模型与图像对比后得到的相关度评分与将通用语义模型与标注内容对比后得到的相关度评分的综合评分两种情况。标注工作者完成图像选择标注任务时，得到的验证评分为通用图像模型与图像对比后得到的相关度评分。

交叉验证方法以标注工作者为验证方，包括：所述众包平台将结构化输出的所述完成结果进行重组，以所述图像选择标注的形式再次发布，所述标注工作者根据发布的内容相互验证，参与验证的标注工作者获得验证奖励，所述验证奖励以通证(Token)的形式发放。具体地，当标注工作者完成图像标注任务后得到的完成结果包括图像和针对图像的标注内容，在进行交叉验证时，可以以图像的标注内容为条件，让验证方在多个图像中选择符合条件的图像，从而达到对标注工作者完成结果验证校核的目的。

综上，对比上述可泛用的验证方法和交叉验证方法，可泛用的验证方法减少标注工作者的工作量，加大了数据需求方的工作量，但是数据需求方无需为验证评分工作承担开销。交叉验证方法减少了数据需求方的工作量，加大了标注工作者的工作量，但是标注工作者可以获得验证奖励，因此在实际应用中，可以根据数据需求方和标注工作者双方情况考虑选择一种或两种组合的验证评分方法。

需要说明的是，在实际应用中，数据需求方也可以考虑不进行验证评分，因此上述步骤中若仅包括S01～S04也可视为完整的图像标注任务的众包方法。

步骤S06是对标注工作者的评级，所述评级根据其在一段时间内的累积得到的验证评分得到，评级结果定期更新，可以及时反映标注工作者的工作水平，评级结果上传至区块链中，可以防止标注工作者恶意篡改，也有利于其信息在链上的公开。

综合上述S01～S06的方法，最终标注工作者完成所有工作所能得到的报酬包括：任务奖励、额外奖励(包括评级奖励)以及验证奖励。因此本发明能够最大化地实现标注工作者的高报酬，并能免除众包平台收取的高额中介费。本发明中所有的奖励均以通证(Token)的形式发放，标注工作者可以将通证(Token)置换成数字货币，通证(Token)作为一种数字权益证明具有可加密和可流通的特点，能够提高整个交易过程的安全性。

另一方面，如图6所示，本发明基于上述基于区块链通证奖励方式的图像标注任务众包方法提供了基于区块链通证奖励方式的图像标注任务众包系统。该系统具体包括：图像标注众包平台、区块链、通证(Token)交易市场。

图像标注众包平台，用于给数据需求方和标注工作者提供交互平台，具体包括：图像标注任务发布模块、完成结果上传模块、完成结果输出模块、通证(Token)支付模块、验证评分模块、标注工作者数据库、评级模块。其中图像标注任务发布模块用于数据需求方在众包平台上发布图像标注任务，完成结果上传模块用于标注工作者上传完成结果，完成结果数据模块用于将完成结果结构化输出，通证(Token)支付模块用于数据需求方确认支付，验证评分模块用于对完成结果验证评分，包括可泛用的验证方法模块、交叉验证模块中的一种或两种，标注工作者数据库用于存储所述验证评分，评级模块用于定期统计所述标注工作者的验证评分，对标注工作者评级。

区块链，用于存储通证(Token)的交易记录以及所述标注工作者的工作记录和评级结果。

通证(Token)交易市场，用于所述通证(Token)与数字货币的相互置换。

需要说明的是，上述图像标注任务众包系统中的图像标注众包平台，仅包括：图像标注任务发布模块、完成结果上传模块、完成结果输出模块、通证(Token)支付模块时，也能够构成完整的系统。

在构建所述系统时，首先基于以太坊创建ERC20标准的通证(Token)作为图像标注众包系统中的报酬，使用Go-Ethereum创建私有链记录标注工作者的评级。

在构建所述图像标注任务众包系统时，后端采用基于go语言的beego框架开发，提供基于http协议的接口服务，完成收集图像标注并结构化，将验证评分及结构化完成结果发至众包任务发起方。前端采用Node.js开源框架，React+Redux架构，适用于iOS和Android操作系统。

本发明提供的基于区块链通证奖励方式的图像标注任务众包方法及系统，克服了现有众包平台需要中介费、缺乏审核机制、标注交互不便捷以及缺乏评级机制的缺陷。本发明结合区块链技术，提高了众包模式中各个环节的信息安全性，使众包模式的流程更加完善，有利于众包模式全面推广和应用。

上述所有可选技术方案，可以采用任意结合形成本发明的可选实施例，在此不再一一赘述。以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.基于区块链通证奖励方式的图像标注任务众包方法，其特征在于，包括以下步骤：

S01、数据需求方在众包平台上发布图像标注任务以及任务奖励，所述任务奖励以通证的形式发放；

S02、标注工作者选择并完成所述图像标注任务，将完成结果上传至所述众包平台；

S03、所述众包平台将所述完成结果结构化输出给所述数据需求方，并将所述标注工作者的工作记录上传至区块链；

S04、所述数据需求方将所述任务奖励支付给所述标注工作者。

2.如权利要求1所述的基于区块链通证奖励方式的图像标注任务众包方法，其特征在于，所述图像标注任务在移动终端上完成，包括四类分别为：图像收集、图像语义标注、图像区域标注、图像选择标注。

3.如权利要求1所述的基于区块链通证奖励方式的图像标注任务众包方法，其特征在于，所述方法还包括：

对所述完成结果进行验证评分，并将所述验证评分存入标注工作者数据库，所述验证评分的方法包括可泛用的验证方法、交叉验证方法中的一种或两种，其中所述交叉验证方法通过图像选择标注的形式实现；

所述数据需求方根据所述验证评分向所述标注工作者支付额外奖励，所述额外奖励以通证的形式发放。

4.如权利要求3所述的基于区块链通证奖励方式的图像标注任务众包方法，其特征在于，所述方法还包括：

所述众包平台定期统计所述标注工作者的验证评分，对所述标注工作者进行评级，并将评级结果上传至区块链中。

5.如权利要求4所述的基于区块链通证奖励方式的图像标注任务众包方法，其特征在于，所述额外奖励还包括根据所述评级结果发放的评级奖励。

6.如权利要求3～5中任意一项所述的基于区块链通证奖励方式的图像标注任务众包方法，其特征在于，所述可泛用的验证方法具体包括：所述数据需求方使用通用模型与结构化数据的所述完成结果进行对比，根据对比结果给出相关度评分。

7.如权利要求3～5中任意一项所述的基于区块链通证奖励方式的图像标注任务众包方法，其特征在于，所述交叉验证方法具体包括：所述众包平台将结构化输出的所述完成结果进行重组，以所述图像选择标注的形式再次发布，所述标注工作者根据发布的内容相互验证，参与验证的标注工作者获得验证奖励，所述验证奖励以通证的形式发放。

8.基于权利要求1～7任意一项所述的基于区块链通证奖励方式的图像标注任务众包方法建立一种图像标注任务众包系统，其特征在于，包括：

图像标注众包平台，用于给所述数据需求方和标注工作者提供交互平台，包括：图像标注任务发布模块、完成结果上传模块、完成结果输出模块、通证支付模块；

区块链，用于存储通证的交易记录以及所述标注工作者的工作记录和评级结果；

通证交易市场，用于所述通证与数字货币的相互置换。

9.如权利要求8所述的一种图像标注众包系统，其特征在于，所述图像标注众包平台还包括：

验证评分模块，用于对完成结果验证评分，包括可泛用的验证方法模块、交叉验证模块中的一种或两种；

标注工作者数据库，用于存储所述验证评分。

10.如权利要求9所述的一种图像标注众包系统，其特征在于，所述图像标注众包平台还包括：评级模块，用于定期统计所述标注工作者的验证评分，对标注工作者评级。