CN107273492B - 一种基于众包平台处理图像标注任务的交互方法 - Google Patents

一种基于众包平台处理图像标注任务的交互方法 Download PDF

Info

Publication number
CN107273492B
CN107273492B CN201710452055.XA CN201710452055A CN107273492B CN 107273492 B CN107273492 B CN 107273492B CN 201710452055 A CN201710452055 A CN 201710452055A CN 107273492 B CN107273492 B CN 107273492B
Authority
CN
China
Prior art keywords
task
image
picture
labeling
crowdsourcing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710452055.XA
Other languages
English (en)
Other versions
CN107273492A (zh
Inventor
丁向华
严鑫
顾宁
卢暾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fudan University
Original Assignee
Fudan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fudan University filed Critical Fudan University
Priority to CN201710452055.XA priority Critical patent/CN107273492B/zh
Publication of CN107273492A publication Critical patent/CN107273492A/zh
Application granted granted Critical
Publication of CN107273492B publication Critical patent/CN107273492B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Library & Information Science (AREA)
  • Databases & Information Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明属于图像标注技领域术,具体为基于众包平台处理图像标注任务的交互方法。本发明首先构造一套线上众包工作模式,使得任务需求方和众包成员可以在上面完成标注任务,其次,以图像标注任务为主要研究和切入点,去设计和实现相应的交互方法;具体包括:构建图像标注任务的分类体系,搭建众包平台;建立交互方法的设计准则和设计流程;设计基于众包平台处理图像标注任务的交互方法的具体操作步骤。本发明方法提高了众包工作者的标注效率和用户体验,从而更加快速的为机器学习等科研领域提供图像数据训练集,并且利用网络众包工作模式完成图像数据标注工作,也能够为残疾人等弱势群体提供新的就业和增加收入的机会。

Description

一种基于众包平台处理图像标注任务的交互方法
技术领域
本发明属于图像标注技领域术,具体涉及一种在众包平台上解决图像标注任务的交互方法。
背景技术
在大数据时代下,通过合理的方法去分析和使用已有的数据可以有效的帮助我们解决许多的问题,机器学习领域通过收集有效的标注数据去训练和优化它们的模型和算法,从而更好的对一些事物和问题作出决策和推论。那么为了获得一个较好的模型,不仅需要足够好的算法,还需要大量的已标注数据(例如对图像、视频、文本等数据类别/内容的标注数据)作为训练和分析的基础。互联网众包工作模式以其快捷、低成本的特点,为解决大数据标注工作提供了一种友好的渠道。同时也为许多弱势群体(例如残疾人、老年人等)提高较多的就业机会,使得他们能够通过网络挣取一定的酬劳。
目前通过众包模式完成图像标注任务的工作方式主要有两种:一种是较为传统的线下工作模式,即任务需求方通过一些即时通讯软件联系众包工作者并传输任务文件,主要通过一些图像标注或图像浏览软件在线下完成,然后通过通讯软件将结果提交给任务需求方。这种模式下缺点主要在于大数据多次传输消耗较多时间、应对新的图像标注任务需求响应周期过长以及标注过程较为繁琐;另一种是通过众包平台的线上工作模式,也即众包平台作为桥梁,将任务发布方和众包工作者连接在一起,直接在线完成图像标注工作。现有的国内外众包平台中有一些(例如:Amazon’s Mechanical Turk、众宝网以及数据堂等)只支持一些简单基础的图像语义类标注任务;另外一些专业的平台(例如:LabelMe)支持图像中物体的轮廓标注,但是对于普通的众包工作者而言不容易上手;针对残疾人等弱势群体的众包平台(例如:耳目网、互帮网等)仍未适配一些较好的图像标注任务的解决方案。总体上这些平台上所提供的交互方案存在以下问题:缺乏一个系统的图像标注任务分类,任务上传慢,标注效率低以及用户体验差等。
发明内容
为了优化上述所提及的众包模式下解决图像标注任务过程中所面临的问题,更好的解决图像标注任务,本发明提出一种基于众包平台处理图像标注任务的交互方法。
本发明提出的基于众包平台处理图像标注任务的交互方法,具体内容参见图1所示:首先构造一套线上众包工作模式,使得任务需求方和众包成员可以在上面完成标注任务,其次,以图像标注任务为主要研究和切入点,去设计和实现相应的交互方法。具体内容如下:
(一)构建图像标注任务的分类体系,搭建众包平台
因为实际的图像标注任务比目前众包平台上的一些基础性的标注任务要复杂很多,所以需要对图像标注任务进行一个比较通用的分类,然后按照类别针对性的提出相应方案;首先需要在机器学习以及图像识别等科研领域和当前众包平台上对于图像标注需求和具体的运作情况,进行了一个详细的调研,通过对这些需求的详细分析,从而将这些图像标注任务的特性抽象出来,从而进行具体的分类。
总体上将所面临的图像标注任务分为以下四类:
(1)图像语义标注:主要针对单张图片的语义概括或者标签定义,例如:为了比较直接,快捷的对图片的整体信息有一个了解或对其进行归类,需要对其添加一至多个关键词进行标注。或者通过绑定一个问题的形式提供给众包工作者进行标注;
(2)图像点位标注:主要针对单张图片中的多个部位确定,对该图片中需要确定的部位的位置进行标注,以方便用户能够快速定位到图片这些部位的位置。该类图片标注需要提供待标注部位的名称集,众包工作者根据名称集在该图片中标注出具体的位置点;
(3)图像区域标注:主要针对单张图片中的物体识别,并确定物体所在的具体区域,需要对该图片中所需识别物体的位置区域进行标注,以方便用户能够快速定位到图片这些部位的位置,并且能够从图片中截取这些物体,进行后续的分析。该类图片标注需要提供待标注物体的名称集,众包工作者根据名称集在该图片中标注出具体的物体区域;
(4)图像序列筛选标注:主要针对多张图片或视频的图像帧序列,通过对多张图片进行筛选,标注记录下某一些特殊图片的序号,以方便用户能够快速定位到图片集合中这些特殊图片的序号位置。该类图片标注需要提供详细的筛选标注规则,众包工作者根据筛选标注规则在该图片中标注出具体的图片序号。
另外通过开源框架“pybossa”搭建一个众包平台-“众研”,作为针对图像标注任务交互方法研究并应用的实验平台。实验平台介绍如下:雇主可以在平台上创建项目,在创建时可以为任务添加详细描述,并设置是否允许匿名用户参与,任务优先级、任务冗余度等相关属性。项目创建后通过模板导入不同类型的任务,包括声音模式识别、图像模式识别、文件抄写、视频模式识别等任务。对于每个项目,任务创建者可以创建博客供工人进行交流。项目导入任务并发布后,工人可以开始执行项目中的每个任务,执行过程中,任务创建者可以通过任务浏览功能在线观看每个任务的执行情况;同时,任务创建者可以随时通过结果导出功能将该项目中执行任务的结果导出到本地进行查看。
(二)建立交互方法的设计准则和设计流程
基于用户参与式设计理论以及我们前期研究的一些发现,为了能够更好的在“众研”平台上支持图像标注任务的发布与标注交互过程,交互方法的设计准则总结如下:
(1)搭建图片服务器,编写任务上传文件自动生成脚本,辅助任务需求方更快速生成任务导入文件;
(2)实现项目任务可通过本地CSV文件导入,丰富导入任务形式,辅助任务需求方更方便的完成任务上传发布工作;
(3)针对已经具体分类的四个类别的图像标注任务进行具体的方案设计,构建四类交互模板,并且使其可视化,可由任务需求方自己动态更新;
(4)考虑到众包工作者来自社会不同阶层,任务交互界面应尽量简洁易懂,能够快速上手;
(5)简化任务的标注过程,为了提高工作效率,使得众包工作者能够在同等时间完成更多的众包任务,要尽可能赚取报酬;
(6)为一些对结果有基础限制的任务,添加结果检验机制,提高用户标注准确度;
(7)尽可能的为众包工作者提供多样化的完成和标注方式选择,从而提高用户体验。
交互方法的设计流程如附图2所示,首先搭建图片服务器,建立任务导入文本生成脚本以及增加本地CSV文件导入模块,从而优化任务上传过程;其次,构建结果检验机制、可视化和个性化机制过程,进行交互界面和算法设计从而优化任务标注过程。具体落实到这些设计过程上,整个过程融入用户参与式设计理论,因为一开始用户对自己所想要的交互效果并不是很清晰,通过不断的设计呈现,反馈,再设计,再反馈这样一个迭代的参与式设计过程,去设计和优化任务上传和标注的交互方法。
下面按照对图像标注任务的四种分类,分别介绍对应的交互模板方案设计。
(1)语义标注
界面布局:采用两栏的形式,左边栏要显示的内容包括:问题描述,可选答案,任务进度条,提示框等;右边栏要显示的内容为:图片框(要来加载待标注的图片);
内容来源:其中待标注图像的URL、问题、可选答案以及提示内容来自于任务发布方;任务进度以及当前任务ID来自于数据库查询;
标注的方式:众包工作者通过鼠标左键点击可选答案;
记录标注结果的方式:可选答案框触发点击事件则记录该任务的标注结果;
提交结果并进入下一个任务的方式:众包工作者点击可选答案框,系统记录标注结果后,跳转至下一个任务的标注界面。
(2)点位标注
界面布局:采用多行多列的形式,第一行采用单栏的形式,用来显示提示框与提示内容;第二行采用单栏的形式,用来显示任务进度条以及任务ID,第三行采用三栏的形式,第一栏要显示的内容为图片框(要来加载待标注的图片),占该行宽度比50%,第二栏要显示的内容为可拖拽的带序号的图标,占该行的宽度比10%。第三栏要显示的内容为一个表格,包含序号,点位描述,点位坐标;
内容来源:其中待标注图像的URL、标注点位框答案以及提示内容来自于任务发布方;任务进度以及当前任务ID来自于数据库查询;
标注的方式:众包工作者通过鼠标左键拖拽标注点图片到图片框的相应点位上完成标注;
记录标注结果的方式:左键选中某个拖拽图标时,进行拖拽动作将其拖拽至图像中某个部位松开时,系统需要记录该点位在图像中的像素坐标点,并将其在答案表格框中,动态显示;
提交结果并进入下一个任务的方式:点击提交按钮时,系统记录答案后,跳转至下一任务的标注界面。
(3)区域标注
界面布局:采用多行多列的形式,第一行采用单栏的形式,用来显示提示框与提示内容;第二行采用单栏的形式,用来显示任务进度条以及任务ID,第三行采用两栏的形式,第一栏要显示的内容为可选颜色列表,第一栏要显示的内容为可选形状列表,第四行采用两栏的形式,第一栏为图片框(加载带标注的图片),第二栏要显示的内容为一个表格,包含序号,区域描述,中心点坐标,半径或边长;
内容来源:其中待标注图像的URL、标注区域颜色、形状以及提示内容来自于任务发布方;任务进度以及当前任务ID来自于数据库查询;
标注的方式:众包工作者可选择标注颜色以及标注形状(不选的话会使用系统默认的颜色和形状),通过鼠标左键直接在图片的相应区域上点击绘制该形状完成标注;
记录标注结果的方式:绘制完标注形状后,系统需要记录该点位在图像中的中心坐标点以及半径或边长,并将其在答案表格框中,动态显示;
提交结果并进入下一个任务的方式:点击提交按钮时,系统记录答案后,跳转至下一任务的标注界面。
(4)序列筛选标注
界面布局:采用多行多列的形式,第一行采用单栏的形式,用来显示提示框与提示内容;第二行采用单栏的形式,用来显示任务进度条以及任务ID;第三行采用单栏的形式,交叉显示待标注结果和序列号;第四行采用多栏的形式,动态加载显示多张图片;
内容来源:其中待标注图像的URL、序列号以及提示内容来自于任务发布方;任务进度以及当前任务ID来自于数据库查询;
标注的方式:众包工作者通过浏览动态加载出来的图片,确定序列号,并将其手动填写至答案记录框,填完则完成标注;
记录标注结果的方式:待标注结果框可供众包工作者输入相应的图片序列号,输入后则记录该答案;
提交结果并进入下一个任务的方式:点击提交按钮时,系统记录答案后,跳转至下一任务的标注界面。
(三)设计基于众包平台处理图像标注任务的交互方法的具体操作步骤
在交互方法的实现过程中,运用了多种技术。例如:在任务导入文件数据处理过程中,使用C++语言编写该文件自动生成脚本。“众研”平台在Pybossa框架基础上,使用Flask开发框架,主要采用MVC的模式下通过Python语言进行开发,在前端交互界面中采用HTML+CSS+JQuery+JavaScript的方式。
为了实现用户与标注界面和系统之间的交互,设计了交互方法的操作流程,如附图3所示:首先用户选择图像标注项目开始做任务,如果任务全部完成则返回提示信息,否则加载进度条和操作初始化,并验证图片有效性,如果无效则返回报错信息,如果有效则根据图像进行自适应调整;然后根据用户标注事件触发相应的函数更新标注结果,用户最后可以点击结果提交按钮,此时系统则需要对结果进行初步校验,如果符合要求则记录标注结果,如果不符合则返回报错信息。
所述交互方法的算法,如算法1所示,其中以图像点位标注任务为示例(图5所示),详细描述交互流程如下:
首先,当用户点击做任务按钮后,进入图像标注页面时将会触发任务显示函数,此时,当前任务和标注用户将作为系统的输入参数,根据输入参数,首先需要验证该任务是否全部完成,若未完全完成,则提示相关的提示信息,否则需要加载用户任务完成进度条,初始化标注点位和答案记录表格;
然后,验证图片URL的有效性,根据图片原始大小和用户界面尺寸作相应的自适应调节。顺利的话,根据标注点位移动触发事件,记录点位像素数组并将其更新到前台答案记录表格中显示,图片自适应调整和标注点位记录算法具体如算法2所示:图片自适应调整算法首先根据图片Url获取图像基本信息,如果原图长宽比大于默认图片框的长宽比,则以默认图片框的长为基准,对原图进行缩放,否则,则以默认图片框的宽为基准,对原图进行缩放,最终结果返回缩放比例。点位记录算法则先计算点位在默认图片框中的像素坐标,然后乘以缩放比例,计算并返回点位的真实像素坐标。简单概括来讲:图片自适应调整算法是将加载的图片根据比例自适应调整成默认大小、点位记录算法则是动态实时的记录用户标注点位在图像中的实际像素坐标;
最后,若用户点击提交结果按钮,则可根据提前定义的结果规则去验证结果的有效性。若有效,则返回记录答案。否则返回相关报错信息。结果初步校验算法具体如算法3所示:在用户提交任务结果后,将此结果和结果规则的每一条规则进行比对校验,如果全部符合,则返回true,否则返回false。通过比对当前答案是否符合结果规则,进行结果提交前的有效校验,从而规避一些基础的错误,提高标注准确度。
基于众包平台处理图像标注任务的交互方法的内容包括上述的三部分内容,概括如下:构建图像标注任务分类体系,将现有的图像标注任务拆分为四类(图像语义标注,图像点位标注,图像区域标注,图像序列化筛选标注),归纳了相关的设计准则并为每类任务进行交互方案设计,最后设计交互流程并实现了具体的交互算法,完成了相应的方法设计与实现,使得在众包平台上能够更好的处理各类图像标注任务。
相应算法的伪代码将在下面的具体实施方式中给出。
本发明的有益效果是:
本发明方法有效的改善了当前众包工作模式在解决图像标注任务过程中所面临的任务上传周期长、缺乏系统解决方案、标注效率低和用户体验差等相关问题,优化了众包平台中图像标注任务的上传过程和标注过程,提高了众包工作者的标注效率和用户体验,从而更加快递的为机器学习等科研领域提供图像数据训练集,并且利用网络众包工作模式完成图像数据标注工作,也能够为残疾人等弱势群体提供新的就业和增加收入的机会。
附图说明
图1为基于众包平台处理图像标注任务的框架内容。
图2为交互方法设计过程。
图3为图像标注任务交互方法的流程图示。
图4为任务导入流程。
图5为图像点位标注过程示例。
具体实施方式
为了能够更加清晰的介绍本发明所要解决的技术问题和技术方案,以下结合附图介绍具体的实施实例。
本发明基于众包平台处理图像标注任务的交互设计框架如例图1所示。
首先在VMware Workstation或者其他虚拟机软件中安装Ubuntu 14.04.2LTS操作系统,通过众包开源框架pybossa(以postgresql为数据库)搭建众包实验平台。
附图2为针对图像标注任务上传和标注交互方法的设计过程。基于用户参与式设计理论,分别在任务上传过程和任务交互过程进行交互设计优化。通过搭建图片服务器,自动化生成任务导入文件等方式优化实验平台的任务上传过程,任务导入模块如附图5所示;通过结果检验机制、可视化机制和个性化机制进行交互界面,从而优化任务标注过程。
附图3为图像标注任务交互流程图。首先,当用户点击做任务按钮后,进入图像标注页面时将会触发任务显示函数,此时,当前任务和标注用户将作为系统的输入参数,根据输入参数,首先需要验证该任务是否全部文成,若未完全完成,则提示相关的提示信息,否则需要加载用户任务完成进度条,初始化标注点位和答案记录表格。然后验证图片URL的有效性,根据图片原始大小和用户界面尺寸作相应的自适应调节。顺利的话,根据标注点位移动触发事件,记录点位像素数组并将其更新到前台答案记录表格中显示。最后若用户点击提交结果按钮,则可根据提前定义的结果规则去验证结果的有效性。若有效,则返回记录答案。否则返回相关报错信息。
具体的交互流程算法实现如下(以伪代码形式展示):
Figure GDA0001352850420000071
Figure GDA0001352850420000081
交互方法中的图片自适应调整和标注点位记录算法,如下所示:
Figure GDA0001352850420000082
Figure GDA0001352850420000091
交互方法中的结果初步校验算法如下:
Figure GDA0001352850420000092
图像标注任务标注过程的交互界面设计方案(以图像点位标注为例)已在发明内容第三小结(制定交互设计准则和方案)中给出。
以上所述仅为本发明的较佳实施实例而已,并不用于限制本发明,凡在本发明的原则和精神之内所作的任何修改、等同替换和改进等,均就包含在本发明的保护范围之内。

Claims (3)

1.一种基于众包平台处理图像标注任务的交互方法,其特征在于,首先构造一套线上众包工作模式,使得任务需求方和众包成员可以在上面完成标注任务,其次,以图像标注任务为主要研究和切入点,去设计和实现相应的交互方法;具体内容如下:
(一)构建图像标注任务的分类体系,搭建众包平台
将所面临的图像标注任务分为以下四类:
(1)图像语义标注:主要针对单张图片的语义概括或者标签定义,包括对其添加一至多个关键词进行标注;或者通过绑定一个问题的形式提供给众包工作者进行标注;
(2)图像点位标注:主要针对单张图片中的多个部位确定,对该图片中需要确定的部位的位置进行标注,以方便用户能够快速定位到图片这些部位的位置;图像点位标注需要提供待标注部位的名称集,众包工作者根据名称集在该图片中标注出具体的位置点;
(3)图像区域标注:主要针对单张图片中的物体识别,并确定物体所在的具体区域,对该图片中所需识别物体的位置区域进行标注,以方便用户能够快速定位到图片这些部位的位置,并且能够从图片中截取这些物体,进行后续的分析;图像区域标注需要提供待标注物体的名称集,众包工作者根据名称集在该图片中标注出具体的物体区域;
(4)图像序列筛选标注:主要针对多张图片或视频的图像帧序列,通过对多张图片进行筛选,标注记录下某一些特殊图片的序号,以方便用户能够快速定位到图片集合中这些特殊图片的序号位置;图像序列筛选标注需要提供详细的筛选标注规则,众包工作者根据筛选标注规则在该图片中标注出具体的图片序号;
另外,通过开源框架“pybossa”搭建一个众包平台-“众研”平台,作为针对图像标注任务交互方法研究并应用的实验平台;
(二)建立交互方法的设计准则和设计流程
交互方法的设计流程如下:首先搭建图片服务器,建立任务导入文本生成脚本以及增加本地CSV文件导入模块,从而优化任务上传过程;其次,构建结果检验机制、可视化和个性化机制过程,进行交互界面和算法设计从而优化任务标注过程;
(三)设计基于众包平台处理图像标注任务的交互方法的具体操作步骤
设计的交互方法的具体操作流程如下:
首先,当用户点击做任务按钮后,进入图像标注页面时触发任务显示函数,此时,当前任务和标注用户将作为系统的输入参数,根据输入参数,首先验证该任务是否全部完成,若未完全完成,则提示相关的提示信息,否则加载用户任务完成进度条,初始化标注点位和答案记录表格;
然后,验证图片URL的有效性,根据图片原始大小和用户界面尺寸作相应的自适应调节;根据标注点位移动触发事件,记录点位像素数组并将其更新到前台答案记录表格中显示,图片自适应调整和标注点位记录,自适应调整:首先根据图片Url获取图像基本信息,如果原图长宽比大于默认图片框的长宽比,则以默认图片框的长为基准,对原图进行缩放,否则,则以默认图片框的宽为基准,对原图进行缩放,最终结果返回缩放比例;标注点位记录:先计算点位在默认图片框中的像素坐标,然后乘以缩放比例,计算并返回点位的真实像素坐标;
最后,若用户点击提交结果按钮,则根据提前定义的结果规则去验证结果的有效性;若有效,则返回记录答案;否则返回相关报错信息;验证结果的有效性:在用户提交任务结果后,将此结果和结果规则的每一条规则进行比对校验,如果全部符合,则返回true,否则返回false;通过比对当前答案是否符合结果规则,进行结果提交前的有效校验,从而规避一些基础的错误,提高标注准确度。
2.根据权利要求1所述的基于众包平台处理图像标注任务的交互方法,其特征在于,所述的实验平台具有如下功能:雇主可以在平台上创建项目,在创建时可以为任务添加详细描述,并设置是否允许匿名用户参与,任务优先级、任务冗余度相关属性;项目创建后通过模板导入不同类型的任务,包括声音模式识别、图像模式识别、文件抄写、视频模式识别任务;对于每个项目,任务创建者可以创建博客供工人进行交流;项目导入任务并发布后,工人可以开始执行项目中的每个任务,执行过程中,任务创建者可以通过任务浏览功能在线观看每个任务的执行情况;同时,任务创建者可以随时通过结果导出功能将该项目中执行任务的结果导出到本地进行查看。
3.根据权利要求1所述的基于众包平台处理图像标注任务的交互方法,其特征在于,按照对图像标注任务的四种分类,其对应的交互模板方案如下:
(1)语义标注
界面布局:采用两栏的形式,左边栏要显示的内容包括:问题描述,可选答案,任务进度条,提示框;右边栏要显示的内容为:图片框,包括要来加载待标注的图片;
内容来源:其中待标注图像的URL、问题、可选答案以及提示内容来自于任务发布方;任务进度以及当前任务ID来自于数据库查询;
标注的方式:众包工作者通过鼠标左键点击可选答案;
记录标注结果的方式:可选答案框触发点击事件则记录该任务的标注结果;
提交结果并进入下一个任务的方式:众包工作者点击可选答案框,系统记录标注结果后,跳转至下一个任务的标注界面;
(2)点位标注
界面布局:采用多行多列的形式,第一行采用单栏的形式,用来显示提示框与提示内容;第二行采用单栏的形式,用来显示任务进度条以及任务ID,第三行采用三栏的形式,第一栏要显示的内容为图片框,占该行宽度比50%,第二栏要显示的内容为可拖拽的带序号的图标,占该行的宽度比10%;第三栏要显示的内容为一个表格,包含序号,点位描述,点位坐标;
内容来源:其中待标注图像的URL、标注点位框答案以及提示内容来自于任务发布方;任务进度以及当前任务ID来自于数据库查询;
标注的方式:众包工作者通过鼠标左键拖拽标注点图片到图片框的相应点位上完成标注;
记录标注结果的方式:左键选中某个拖拽图标时,进行拖拽动作将其拖拽至图像中某个部位松开时,系统需要记录该点位在图像中的像素坐标点,并将其在答案表格框中,动态显示;
提交结果并进入下一个任务的方式:点击提交按钮时,系统记录答案后,跳转至下一任务的标注界面;
(3)区域标注
界面布局:采用多行多列的形式,第一行采用单栏的形式,用来显示提示框与提示内容;第二行采用单栏的形式,用来显示任务进度条以及任务ID,第三行采用两栏的形式,第一栏要显示的内容为可选颜色列表,第一栏要显示的内容为可选形状列表,第四行采用两栏的形式,第一栏为图片框,第二栏要显示的内容为一个表格,包含序号,区域描述,中心点坐标,半径或边长;
内容来源:其中待标注图像的URL、标注区域颜色、形状以及提示内容来自于任务发布方;任务进度以及当前任务ID来自于数据库查询;
标注的方式:众包工作者可选择标注颜色以及标注形状,不选的话会使用系统默认的颜色和形状,通过鼠标左键直接在图片的相应区域上点击绘制该形状完成标注;
记录标注结果的方式:绘制完标注形状后,系统需要记录该点位在图像中的中心坐标点以及半径或边长,并将其在答案表格框中,动态显示;
提交结果并进入下一个任务的方式:点击提交按钮时,系统记录答案后,跳转至下一任务的标注界面;
(4)序列筛选标注
界面布局:采用多行多列的形式,第一行采用单栏的形式,用来显示提示框与提示内容;第二行采用单栏的形式,用来显示任务进度条以及任务ID;第三行采用单栏的形式,交叉显示待标注结果和序列号;第四行采用多栏的形式,动态加载显示多张图片;
内容来源:其中待标注图像的URL、序列号以及提示内容来自于任务发布方;任务进度以及当前任务ID来自于数据库查询;
标注的方式:众包工作者通过浏览动态加载出来的图片,确定序列号,并将其手动填写至答案记录框,填完则完成标注;
记录标注结果的方式:待标注结果框可供众包工作者输入相应的图片序列号,输入后则记录该答案;
提交结果并进入下一个任务的方式:点击提交按钮时,系统记录答案后,跳转至下一任务的标注界面。
CN201710452055.XA 2017-06-15 2017-06-15 一种基于众包平台处理图像标注任务的交互方法 Active CN107273492B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710452055.XA CN107273492B (zh) 2017-06-15 2017-06-15 一种基于众包平台处理图像标注任务的交互方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710452055.XA CN107273492B (zh) 2017-06-15 2017-06-15 一种基于众包平台处理图像标注任务的交互方法

Publications (2)

Publication Number Publication Date
CN107273492A CN107273492A (zh) 2017-10-20
CN107273492B true CN107273492B (zh) 2021-07-23

Family

ID=60066782

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710452055.XA Active CN107273492B (zh) 2017-06-15 2017-06-15 一种基于众包平台处理图像标注任务的交互方法

Country Status (1)

Country Link
CN (1) CN107273492B (zh)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107767055B (zh) * 2017-10-24 2021-07-23 北京航空航天大学 一种基于串谋检测的众包结果汇聚方法及装置
CN107705034B (zh) * 2017-10-26 2021-06-29 医渡云(北京)技术有限公司 众包平台实现方法及装置、存储介质和电子设备
CN108108390B (zh) * 2017-11-15 2019-02-19 北京达佳互联信息技术有限公司 数据分发方法和装置
CN108197202B (zh) * 2017-12-28 2021-12-24 百度在线网络技术(北京)有限公司 众包任务的数据校验方法、装置、服务器及存储介质
CN108184150B (zh) * 2017-12-29 2021-01-05 北京淳中科技股份有限公司 远程标注信号的矢量控制方法、装置和信号处理系统
CN108171699A (zh) * 2018-01-11 2018-06-15 平安科技(深圳)有限公司 定损理赔方法、服务器及计算机可读存储介质
CN108829652B (zh) * 2018-04-28 2021-06-08 河海大学 一种基于众包的图片标注系统
CN108830466A (zh) * 2018-05-31 2018-11-16 长春博立电子科技有限公司 一种基于云平台的图像内容语义标注系统和方法
CN110210624A (zh) * 2018-07-05 2019-09-06 第四范式(北京)技术有限公司 执行机器学习过程的方法、装置、设备以及存储介质
CN109102198B (zh) * 2018-08-23 2021-08-03 创新先进技术有限公司 图像众包标注方法和装置
CN109343777B (zh) * 2018-09-11 2020-05-05 北京市劳动保护科学研究所 一种标注方法及系统
CN109359208B (zh) * 2018-09-13 2021-06-08 郑津 一种精准无损标注图像实例的分布式方法及系统
CN109493285A (zh) * 2018-09-18 2019-03-19 阿里巴巴集团控股有限公司 基于众包的图像处理方法、装置、服务器及存储介质
CN109408788A (zh) * 2018-09-26 2019-03-01 南京大学 一种面向裁判文书的文本标注方法
CN109376260B (zh) * 2018-09-26 2021-10-01 四川长虹电器股份有限公司 一种深度学习图像标注的方法和系统
CN109492997A (zh) * 2018-10-31 2019-03-19 四川长虹电器股份有限公司 一种基于SpringBoot的图像标注平台系统
CN109740622A (zh) * 2018-11-20 2019-05-10 众安信息技术服务有限公司 基于区块链通证奖励方式的图像标注任务众包方法及系统
CN109583617A (zh) * 2018-11-30 2019-04-05 大连海事大学 一种众包任务的发布方法
CN111339068B (zh) * 2018-12-18 2024-04-19 北京奇虎科技有限公司 众包质量控制方法、装置、计算机存储介质和计算设备
CN109886725A (zh) * 2018-12-29 2019-06-14 深圳云天励飞技术有限公司 事件处理方法及相关装置
CN109934266A (zh) * 2019-02-19 2019-06-25 清华大学 提高众包标注数据质量的可视分析系统及方法
CN111753139A (zh) * 2019-03-29 2020-10-09 中共中央办公厅电子科技学院(北京电子科技学院) 一种基于众包思想的图像属性评价数据集标注系统
CN110110123B (zh) * 2019-04-04 2023-07-25 平安科技(深圳)有限公司 检测模型的训练集更新方法和装置
CN110135409B (zh) * 2019-04-04 2023-11-03 平安科技(深圳)有限公司 识别模型的优化方法和装置
CN110647985A (zh) * 2019-08-02 2020-01-03 杭州电子科技大学 一种基于人工智能模型库的众包数据标注方法
CN111784523A (zh) * 2020-06-28 2020-10-16 平安医疗健康管理股份有限公司 基于保单案件的众包分配方法及装置
CN112835482B (zh) * 2021-01-05 2022-06-14 天津大学 一种交互式天气雷达样本制作的方法
CN113763513A (zh) * 2021-08-17 2021-12-07 国家能源集团江西电力有限公司万安水力发电厂 一种图像中目标物的交互式标记方法
CN114826684B (zh) * 2022-03-31 2023-06-16 西安电子科技大学 支持高效隐私保护的去中心化众包方法、系统及终端
CN115424707A (zh) * 2022-09-01 2022-12-02 郑州大学第一附属医院 基于图像比对的医学图像数据众包标注方法、系统及终端
CN115620286B (zh) * 2022-11-02 2023-05-05 安徽云层智能科技有限公司 一种基于大数据的数据自动标注系统及方法
CN116825212B (zh) * 2023-08-29 2023-11-28 山东大学 一种基于生物医学众包平台的数据收集标注方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103425690A (zh) * 2012-05-22 2013-12-04 湖南家工场网络技术有限公司 一种基于样式表的图片信息标注和展示方法
CN104573359A (zh) * 2014-12-31 2015-04-29 浙江大学 一种基于任务难度与标注者能力的众包标注数据整合方法
CN104615755A (zh) * 2015-02-12 2015-05-13 北京航空航天大学 一种基于众包的新型问答系统
CN105787521A (zh) * 2016-03-25 2016-07-20 浙江大学 一种面向标签不平衡性的半监督众包标注数据整合方法
CN106489149A (zh) * 2016-06-29 2017-03-08 深圳狗尾草智能科技有限公司 一种基于数据挖掘和众包的数据标注方法及系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120203651A1 (en) * 2011-02-04 2012-08-09 Nathan Leggatt Method and system for collaborative or crowdsourced tagging of images
US9560092B2 (en) * 2013-02-19 2017-01-31 Digitalglobe, Inc. Crowdsourced image analysis platform

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103425690A (zh) * 2012-05-22 2013-12-04 湖南家工场网络技术有限公司 一种基于样式表的图片信息标注和展示方法
CN104573359A (zh) * 2014-12-31 2015-04-29 浙江大学 一种基于任务难度与标注者能力的众包标注数据整合方法
CN104615755A (zh) * 2015-02-12 2015-05-13 北京航空航天大学 一种基于众包的新型问答系统
CN105787521A (zh) * 2016-03-25 2016-07-20 浙江大学 一种面向标签不平衡性的半监督众包标注数据整合方法
CN106489149A (zh) * 2016-06-29 2017-03-08 深圳狗尾草智能科技有限公司 一种基于数据挖掘和众包的数据标注方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
通用众包标注系统的设计与实现;仝子飞;《万方数据》;20160127;全文 *

Also Published As

Publication number Publication date
CN107273492A (zh) 2017-10-20

Similar Documents

Publication Publication Date Title
CN107273492B (zh) 一种基于众包平台处理图像标注任务的交互方法
AU2019369301B2 (en) Refinement of machine learning engines for automatically generating component-based user interfaces
CN111259303B (zh) 一种web信息系统前端页面自动生成的系统及其方法
US11210111B2 (en) Automatic user interface architecture
US10761818B2 (en) Automatic identification of types of user interface components
US11138022B2 (en) Dynamic user interface for predicted procedures
US10928982B2 (en) Automatic grouping of user interface elements into components
US10963694B2 (en) Duplicate user interface design identification
US10949174B2 (en) Automatic classification of user interface elements
US11847312B2 (en) Document sharing with annotations
Cembalo et al. SAVI: a new system for advanced SQL visualization
KR20200078942A (ko) 코딩 및 프로그래밍 교육 컨텐츠 플랫폼 제공 방법
Yudhanto et al. Design and development of ui/ux on company profile web with design thinking method
CN110119416A (zh) 一种服务数据分析系统及方法
US10324600B2 (en) Web page generation system
Vysotska et al. V. Lytvyn
US11810022B2 (en) Contact center call volume prediction
CN113705177A (zh) 基于集成写稿环境的稿件录入方法、装置和计算机设备
Ishihara et al. A proposal of software architecture for Java programming learning assistant system
CN114116686A (zh) 用于实现数据大屏的数据可视化方法
US20190079641A1 (en) Intelligent systems and methods of producting digital and non-digital design outputs
CN115205416B (zh) 图像生成方法、装置、计算机设备和存储介质
US11144860B2 (en) Method and system for generating a dashboard
Liu et al. Research on the construction of graduate employment App based on Ionic framework
JP2016145861A (ja) 財務問題配信システム、財務問題配信方法、財務問題配信プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant