CN113641838A - 用于数据标注的装置及方法、电子设备、可读存储介质 - Google Patents
用于数据标注的装置及方法、电子设备、可读存储介质 Download PDFInfo
- Publication number
- CN113641838A CN113641838A CN202110919561.1A CN202110919561A CN113641838A CN 113641838 A CN113641838 A CN 113641838A CN 202110919561 A CN202110919561 A CN 202110919561A CN 113641838 A CN113641838 A CN 113641838A
- Authority
- CN
- China
- Prior art keywords
- data
- task
- annotation
- user
- user terminal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
- G06F16/45—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
- G06F16/43—Querying
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请涉及数据标注技术领域,公开一种用于数据标注的装置,包括:身份管理模块、标注任务管理模块、标注任务匹配模块、标注任务选择模块、标注数据获取模块和存储模块。通过获取用户信息,根据用户信息确定用户的能力属性;根据能力属性确定标注任务与用户的关联度,并将标注任务发送给达到预设关联度数值的用户对应的第一用户终端;获取第一用户终端反馈的待标注任务;从标注任务数据库中匹配出待标注任务对应的待标注数据发送至第一用户终端;获取第一用户终端反馈的标注数据。这样,能够根据能力属性为用户分配标注任务。本申请还公开一种用于数据标注的方法、电子设备、可读存储介质。
Description
技术领域
本申请涉及数据标注技术领域,例如涉及一种用于数据标注的装置及方法、电子设备、可读存储介质。
背景技术
目前,人们运用模型来解决问题越来越常见,但是使用模型前需要大量的数据进行模型训练,在训练模型时,需要提供大量的已经完成了标注的数据。
在实现本公开实施例的过程中,发现相关技术中至少存在如下问题:现有技术中进行数据标注时缺乏一种能够为用户分配标注任务的装置。
发明内容
为了对披露的实施例的一些方面有基本的理解,下面给出了简单的概括。概括不是泛泛评述,也不是要确定关键/重要组成元素或描绘这些实施例的保护范围,而是作为后面的详细说明的序言。
本公开实施例提供了一种用于数据标注的装置及方法、电子设备、可读存储介质,以能够为用户分配标注任务。
在一些实施例中,用于数据标注的装置包括:身份管理模块,被配置为获取用户信息;根据所述用户信息确定用户的能力属性;标注任务管理模块,被配置为上传待标注数据以及创建所述待标注数据对应的标注任务到预设的标注任务数据库中;标注任务匹配模块,被配置为根据所述能力属性确定所述标注任务与所述用户的关联度,并将所述标注任务发送给达到预设关联度数值的所述用户对应的第一用户终端;标注任务选择模块,被配置为获取所述第一用户终端反馈的待标注任务;所述待标注任务为所述标注任务中的一个或多个;从所述标注任务数据库中匹配出所述待标注任务对应的待标注数据发送至所述第一用户终端;标注数据获取模块,被配置为获取所述第一用户终端反馈的标注数据。
在一些实施例中,用于数据标注的方法包括:获取用户信息;根据所述用户信息确定用户的能力属性;上传待标注数据以及创建所述待标注数据对应的标注任务到预设的标注任务数据库中;根据所述能力属性确定所述标注任务与用户的关联度,并将所述标注任务发送给达到预设关联度数值的所述用户对应的第一用户终端;获取所述第一用户终端反馈的待标注任务;所述待标注任务为所述标注任务中的一个或多个;从所述标注任务数据库中匹配出待标注任务对应的待标注数据发送至所述第一用户终端;获取所述第一用户终端反馈的标注数据。
在一些实施例中,电子设备包括:处理器和存储有程序指令的存储器,所述处理器被配置为在执行所述程序指令时,执行上述的用于数据标注的方法。
在一些实施例中,可读存储介质,存储有可执行指令,所述可执行指令在运行时执行上述用于数据标注的方法。
本公开实施例提供了用于数据标注的装置及方法、电子设备、可读存储介质,可以实现以下技术效果:通过身份管理模块,获取用户信息;根据用户信息确定用户的能力属性;标注任务管理模块,上传待标注数据以及创建待标注数据对应的标注任务到预设的标注任务数据库中;标注任务匹配模块,根据能力属性确定标注任务与用户的关联度,并将标注任务发送给达到预设关联度数值的用户对应的第一用户终端;标注任务选择模块,获取第一用户终端反馈的待标注任务;待标注任务为标注任务中的一个或多个;从标注任务数据库中匹配出待标注任务对应的待标注数据发送至第一用户终端;标注数据获取模块,获取第一用户终端反馈的标注数据。这样,根据用户的能力属性分配不同的标注任务及标注任务对应的待标注数据给用户对应的第一用户终端,能够为用户分配标注任务,同时,由于不同的用户对不同类型的标注任务有不同的熟悉程度,根据用户的能力属性分配标注任务,便于用户针对熟悉的标注任务进行标注。
以上的总体描述和下文中的描述仅是示例性和解释性的,不用于限制本申请。
附图说明
一个或多个实施例通过与之对应的附图进行示例性说明,这些示例性说明和附图并不构成对实施例的限定,附图中具有相同参考数字标号的元件示为类似的元件,附图不构成比例限制,并且其中:
图1是本公开实施例提供的一个用于数据标注的装置的示意图;
图2是本公开实施例提供的一个标注任务管理模块的示意图;
图3是本公开实施例提供的一个用于数据标注的方法的示意图;
图4是本公开实施例提供的一个电子设备的示意图。
具体实施方式
为了能够更加详尽地了解本公开实施例的特点与技术内容,下面结合附图对本公开实施例的实现进行详细阐述,所附附图仅供参考说明之用,并非用来限定本公开实施例。在以下的技术描述中,为方便解释起见,通过多个细节以提供对所披露实施例的充分理解。然而,在没有这些细节的情况下,一个或多个实施例仍然可以实施。在其它情况下,为简化附图,熟知的结构和装置可以简化展示。
本公开实施例的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本公开实施例的实施例。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含。
除非另有说明,术语“多个”表示两个或两个以上。
本公开实施例中,字符“/”表示前后对象是一种“或”的关系。例如,A/B表示:A或B。
术语“和/或”是一种描述对象的关联关系,表示可以存在三种关系。例如,A和/或B,表示:A或B,或,A和B这三种关系。
结合图1所示,本公开实施例提供一种用于数据标注的装置,包括身份管理模块101、标注任务管理模块102、标注任务匹配模块103、标注任务选择模块104和标注数据获取模块105。身份管理模块101,被配置为获取用户信息;根据用户信息确定用户的能力属性;标注任务管理模块102,被配置为上传待标注数据以及创建待标注数据对应的标注任务到预设的标注任务数据库中;标注任务匹配模块103,被配置为根据能力属性确定标注任务与用户的关联度,并将标注任务发送给达到预设关联度数值的用户对应的第一用户终端;标注任务选择模块104,被配置为获取第一用户终端反馈的待标注任务;待标注任务为标注任务中的一个或多个;从标注任务数据库中匹配出待标注任务对应的待标注数据发送至第一用户终端;标注数据获取模块105,被配置为获取第一用户终端反馈的标注数据。
采用本公开实施例提供的用于数据标注的装置,通过身份管理模块,获取用户信息;根据用户信息确定用户的能力属性;标注任务管理模块,上传待标注数据以及创建待标注数据对应的标注任务到预设的标注任务数据库中;标注任务匹配模块,根据能力属性确定标注任务与用户的关联度,并将标注任务发送给达到预设关联度数值的用户对应的第一用户终端;标注任务选择模块,获取第一用户终端反馈的待标注任务;待标注任务为标注任务中的一个或多个;从标注任务数据库中匹配出待标注任务对应的待标注数据发送至第一用户终端;标注数据获取模块,获取第一用户终端反馈的标注数据。这样,根据用户的能力属性分配不同的标注任务及标注任务对应的待标注数据给用户对应的第一用户终端,能够为用户分配标注任务,同时,由于不同的用户对不同类型的标注任务有不同的熟悉程度,根据用户的能力属性分配标注任务,便于用户针对熟悉的标注任务进行标注。
可选地,通过第一用户终端根据标注任务对待标注数据进行标注,获得标注数据。
可选地,第一用户终端包括智能手机、平板、电脑等。
可选地,身份管理模块被配置为获取用户输入的用户信息。可选地,用户信息包括用户的唯一标识。可选地,用户信息包括用户的业务信息、职能信息、专业信息、技能信息、兴趣信息、部门和工作岗位等中的一种或多种。
可选地,用户的唯一标识为用户的身份证号码。可选地,用户的唯一标识为预设的编号,且各用户的编号均不相同,例如:张某的编号为123,李某的编号为234。
可选地,身份管理模块被配置为在预设的用户信息数据库中获取用户信息,用户信息数据库中存储有用户信息。
在一些实施例中,用户信息数据库中的用户信息数据,来源于问卷数据表以及工作流程管理系统、人力资源管理系统等其他系统。
可选地,身份管理模块被配置为获取更改信息,根据更改信息调整用户信息数据库中的用户信息。可选地,更改信息包括:增加或减少用户信息数据库中的用户的业务信息、职能信息、专业信息、技能信息、兴趣信息、部门和工作岗位等中的一种或多种。
可选地,身份管理模块被配置为按照以下方式根据用户信息确定用户的能力属性:利用预设的用户的能力属性信息数据库,对用户信息进行查表操作,获得用户信息对应的用户的能力属性;用户的能力属性信息数据库中存储有用户信息与用户的能力属性之间的对应关系。
结合图2所示,可选地,标注任务管理模块包括:数据获取模块201、属性确定模块202、标注任务创建模块203和工作流确定模块204。数据获取模块201,被配置为获取待标注数据;属性获取模块202,被配置为获取待标注数据对应的属性信息,属性信息包括数据属性信息和业务属性信息;标注任务创建模块203,被配置为根据数据属性信息创建标注任务;工作流确定模块204,被配置为根据业务属性信息设置工作流。
可选地,标注任务管理模块被配置为按照以下方式获取待标注数据对应的数据属性信息:利用预设的数据属性信息数据库,对待标注数据进行查表操作,获得待标注数据对应的数据属性信息;数据属性信息数据库中存储有待标注数据与数据属性信息之间的对应关系。
可选地,在标注任务管理模块中设有数据分析子模块,该分析子模块用于确定待标注数据的数据类型和数据来源信息,并根据数据类型和数据来源信息确定出待标注数据的数据属性信息。在一些实施例中,数据类型包括:图片、语音等;数据来源信息,即待标注数据的门店信息。例如,数据类型为语音,数据来源信息为四川门店,则数据分析子模块确定出待标注数据的数据属性信息为四川方言。
在一些实施例中,标注任务管理模块被配置为按照以下方式获取待标注数据对应的数据属性信息:获取用户输入的数据属性信息。
可选地,标注任务管理模块被配置为按照以下方式获取待标注数据对应的业务属性信息:获取用户输入的业务属性信息。
在一些实施例中,业务属性信息,例如:是否属于核心业务,对准确性要求是否较高,任务是否紧急等。
可选地,标注任务管理模块被配置为按照以下方式根据数据属性信息创建标注任务:利用预设的标注任务信息数据库,对数据属性信息进行查表操作,获得数据属性信息对应的标注任务;标注任务信息数据库中存储有数据属性信息与标注任务之间的对应关系。
可选地,标注任务管理模块被配置为按照以下方式根据业务属性信息设置工作流:利用预设的工作流信息数据库,对业务属性信息进行查表操作,获得业务属性信息对应的工作流;工作流信息数据库中存储有业务属性信息与工作流之间的对应关系。
可选地,标注任务管理模块被配置为按照以下方式根据业务属性信息设置工作流:获取用户输入的工作流。
可选地,标注任务管理模块,被配置为上传待标注数据以及创建待标注数据对应的标注任务到预设的标注任务数据库中。
可选地,标注任务管理模块,还被配置为删除标注任务数据库中的待标注数据以及对应的标注任务。这样,可以根据用户的需求对标注任务进行上传或删除,使得标注任务数据库中的标注任务更符合用户的需求。
可选地,标注任务管理模块,还被配置为在创建标注任务到预设的标注任务数据库中后,为该标注任务添加标注任务项和标注项。
可选地,标注任务项为标注任务的类型,例如:图片的圈选、图片的分类、图片内容识别、语音的转写、文本的标签分类、文本的关键词提取等。
可选地,标注项包括:标注的数据标签、标注维度等。
在一些实施例中,标注的数据标签为标注任务的名称,标注维度为标注任务的具体内容。例如:标注的数据标签为图片的分类,标注维度为:将图片按照生活用品、出行工具进行分类。
在一些实施例中,工作流包括:单人标注模式、双人标注模式或单人标注加单人质检模式等。
可选地,标注任务匹配模块被配置为按照以下方式根据能力属性确定标注任务与用户的关联度:通过关联度算法计算用户的能力属性与标注任务对应的待标注数据的数据属性信息之间的关联度,将该关联度确定为标注任务与用户的关联度。
在一些实施例中,通过身份管理模块获取用户A的用户信息为:美妆门店服务员。根据美妆门店服务员的用户信息确定出用户的能力属性为:美妆销售、产品服务。标注任务管理模块上传待标注数据,该待标注数据为美妆门店的一段服务对话语音数据,获取对话语音数据对应的数据属性信息为语音数据、服务对话、美妆产品。根据上述数据属性信息创建标注任务W1,为标注任务W1添加标注任务项为语音的人工转写。根据上述数据属性信息创建标注任务W2,为标注任务W2添加标注任务项为文本的标签分类,根据上述数据属性信息创建标注任务W3,为标注任务W3添加标注任务项为关键词提取。为W2添加标注项:文本的标签分类为迎送宾用语、产品介绍语、顾客答疑用语,根据文本的标签分类对文本进行分类。为W3添加标注项:提取美妆产品名称、库存数量等关键词。通过关联度算法计算美妆销售、产品服务等用户的能力属性与语音数据、服务对话、美妆产品等待标注数据的数据属性信息之间的关联度,将关联度确定为标注任务与用户的关联度,并将标注任务发送给达到预设关联度数值的用户对应的第一用户终端。预设关联度数值,例如:90%。
可选地,标注数据获取模块,被配置为对第一用户终端反馈的标注数据添加对应用户信息的唯一标识。
可选地,标注数据获取模块被配置为按照以下方式获取第一用户终端反馈的标注数据:根据工作流获取第一用户终端反馈的标注数据。
可选地,标注数据获取模块被配置为按照以下方式获取第一用户终端反馈的标注数据:在标注任务对应的工作流为单人标注模式的情况下,获取一个第一用户终端反馈的标注数据后,结束接收第一用户终端反馈的标注数据;在标注任务对应的工作流为双人标注模式的情况下,获取两个第一用户终端反馈的标注数据后,结束接收第一用户终端反馈的标注数据。
可选地,用于数据标注的装置还包括:存储模块,被配置为存储第一用户终端反馈的标注数据。
可选地,根据工作流对第一用户终端反馈的标注数据进行质检。
可选地,用于数据标注的装置还包括:数据质检模块,被配置为在获取第一用户终端反馈的标注数据后,根据工作流获取第二用户终端反馈的对标注数据进行质检处理后的质检结果。
可选地,数据质检模块,被配置为按照以下方式根据工作流获取第二用户终端反馈的对标注数据进行质检处理后的质检结果:根据工作流获取标注任务对应的质检任务及质检任务对应的待质检数据,确定质检任务对应的第二用户终端,发送质检任务及质检任务对应的待质检数据给第二用户终端;在发送质检任务及质检任务对应的待质检数据给第二用户终端后,根据工作流获取第二用户终端反馈的质检结果。
可选地,第二用户终端包括智能手机、平板、电脑等。
在一些实施例中,在标注任务对应的工作流包括质检的情况下,获取标注任务对应的质检任务及质检任务对应的待质检数据,确定质检任务对应的第二用户终端,发送质检任务及质检任务对应的待质检数据给第二用户终端。例如,在标注任务对应的工作流为单人质检的情况下,获取标注任务对应的质检任务及质检任务对应的待质检数据,确定质检任务对应的第二用户终端,发送质检任务及质检任务对应的待质检数据给第二用户终端。
可选地,数据质检模块,被配置为在预设的质检数据库中匹配出标注任务对应的质检任务及质检任务对应的待质检数据;预设的质检数据库中存储有标注任务、质检任务、待质检数据三者之间的对应关系。
可选地,待质检数据为对应标注任务对应的待标注数据,和,该待标注数据对应的带有用户信息唯一标识的标注数据。
可选地,发送质检任务及质检任务对应的待质检数据给第二用户终端,包括:按照设定的抽检比率随机抽取部分待质检数据,将抽取的待质检数据及对应的质检任务发送给第二用户终端。
可选地,数据质检模块,被配置为将除了第一用户终端的其他用户终端确定为质检任务对应的第二用户终端。
在一些实施例中,质检任务对应的工作流为单人质检模式,则,获取一个第二用户终端反馈的质检结果后,结束接收第二用户终端反馈的质检结果。质检任务对应的工作流为双人质检模式,则,获取两个第二用户终端反馈的质检结果后,结束接收第二用户终端反馈的质检结果。质检任务对应的工作流,即为质检任务对应的标注任务的工作流。
可选地,质检结果包括质检合格或质检不合格。
可选地,在质检结果为不合格的情况下,将该质检任务对应的标注任务及待标注数据重新下发给用户信息对应的第一用户终端。
可选地,用于数据标注的装置还包括:任务结算模块,被配置为:根据质检结果进行评分。
可选地,在质检结果为质检合格的情况下,则待质检数据对应的唯一标识对应的用户的评分累加一分。
在一些实施例中,标注任务分为可选项标注任务和必选项标注任务,在质检任务对应的标注任务为可选项标注任务,该可选项标注任务对应的质检结果为合格的情况下,则对应用户的评分累加一分。
在一些实施例中,工作流对应若干个任务节点,例如:工作流为单人标注加单人质检模式,则工作流对应有标注任务节点和质检任务节点。在获取第一用户终端反馈的标注数据后,将标注数据上传到服务器中,即上传标注数据到标注任务节点。在获取第二用户终端反馈的质检结果后,将质检结果上传到服务器中,即上传质检结果到质检任务节点。
在一些实施例中,根据用户信息确定标注任务及标注任务对应的待标注数据,其中,标注任务包括必选项标注任务和可选项标注任务,必选项标注任务与员工的个人绩效相关,员工必须完成。可选项标注任务作为员工的额外奖励。用户P1通过对应的第一用户终端接收到必选项标注任务A;必选项标注任务B。用户P1通过对应的第一用户终端选择必选项标注任务A,获取必选项标注任务A对应的待标注数据A,并根据必选项标注任务A对待标注数据A进行标注,获得标注数据A。在获取第一终端反馈的标注数据A后,将必选项标注任务A从P1对应的第一用户终端移除。用户P2通过对应的第一用户终端接收到必选项标注任务B;可选项标注任务C;可选项标注任务D;用户P2通过对应的第一用户终端选择必选项标注任务B,获取必选项标注任务B对应的待标注数据B,并根据必选项标注任务B对待标注数据B进行标注,获得标注数据B。用户P2通过对应的第一用户终端选择可选项标注任务C,获取可选项标注任务C对应的待标注数据C,并根据可选项标注任务C对待标注数据C进行标注,获得标注数据C。
在一些实施例中,在大型连锁门店企业,或者其他拥有大量员工的企业,在不服务客户的时候,有大量的空闲时间。而这些企业员工会比外包的标注人员更加熟悉本公司的业务流程以及本公司需要的标注数据,通过本方案根据企业员工的用户信息分配不同的标注任务及标注任务对应的待标注数据给用户信息对应的第一用户终端,由于不同的用户对不同类型的标注任务有不同的熟悉程度,根据用户信息分配标注任务,便于用户针对熟悉的标注任务进行标注。同时,企业利用企业员工的空闲时间去标注与企业员工的工作内容相关的待标注数据,能很好的实现低成本高质量的标注。
根据图3所示,本公开实施例提供一种用于数据标注的方法,包括:
步骤S201,获取用户信息;根据用户信息确定用户的能力属性;
步骤S202,上传待标注数据以及创建待标注数据对应的标注任务到预设的标注任务数据库中;
步骤S203,根据能力属性确定标注任务与用户的关联度,并将标注任务发送给达到预设关联度数值的用户对应的第一用户终端;
步骤S204,获取第一用户终端反馈的待标注任务;待标注任务为标注任务中的一个或多个;从标注任务数据库中匹配出待标注任务对应的待标注数据发送至第一用户终端;
步骤S205,获取第一用户终端反馈的标注数据。
采用本公开实施例提供用于数据标注的方法,通过获取用户信息;根据用户信息确定用户的能力属性;上传待标注数据以及创建待标注数据对应的标注任务到预设的标注任务数据库中;根据能力属性确定标注任务与用户的关联度,并将标注任务发送给达到预设关联度数值的用户对应的第一用户终端;获取第一用户终端反馈的待标注任务;待标注任务为标注任务中的一个或多个;从标注任务数据库中匹配出待标注任务对应的待标注数据发送至第一用户终端;获取第一用户终端反馈的标注数据;存储标注数据。这样,根据用户的能力属性分配不同的标注任务及标注任务对应的待标注数据给用户对应的第一用户终端,能够为用户分配标注任务,同时,由于不同的用户对不同类型的标注任务有不同的熟悉程度,根据用户的能力属性分配标注任务,便于用户针对熟悉的标注任务进行标注。
可选地,上传待标注数据以及创建待标注数据对应的标注任务到预设的标注任务数据库中,包括:获取待标注数据;获取待标注数据对应的属性信息,属性信息包括数据属性信息和业务属性信息;根据数据属性信息创建标注任务;根据业务属性信息设置工作流。
可选地,获取第一用户终端反馈的标注数据,包括:根据工作流获取第一用户终端反馈的标注数据。
可选地,在获取第一用户终端反馈的标注数据后,还包括:根据工作流获取第二用户终端反馈的对标注数据进行质检处理后的质检结果。
结合图4所示,本公开实施例提供一种电子设备,包括处理器(processor)300和存储有程序指令的存储器(memory)301。可选地,该电子设备还可以包括通信接口(Communication Interface)302和总线303。其中,处理器300、通信接口302、存储器301可以通过总线303完成相互间的通信。通信接口302可以用于信息传输。处理器300可以调用存储器301中的程序指令,以执行上述实施例的用于数据标注的方法。
此外,上述的存储器301中的程序指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个可读取存储介质中。
存储器301作为一种可读存储介质,可用于存储软件程序、可执行程序,如本公开实施例中的方法对应的程序指令/模块。处理器300通过运行存储在存储器301中的程序指令/模块,从而执行功能应用以及数据处理,即实现上述实施例中用于数据标注的方法。
存储器301可包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序;存储数据区可存储根据终端设备的使用所创建的数据等。此外,存储器301可以包括高速随机存取存储器,还可以包括非易失性存储器。
采用本公开实施例提供的电子设备,通过获取用户信息;根据用户信息确定用户的能力属性;上传待标注数据以及创建待标注数据对应的标注任务到预设的标注任务数据库中;根据能力属性确定标注任务与用户的关联度,并将标注任务发送给达到预设关联度数值的用户对应的第一用户终端;获取第一用户终端反馈的待标注任务;待标注任务为标注任务中的一个或多个;从标注任务数据库中匹配出待标注任务对应的待标注数据发送至第一用户终端;获取第一用户终端反馈的标注数据;存储标注数据。这样,根据用户的能力属性分配不同的标注任务及标注任务对应的待标注数据给用户对应的第一用户终端,能够为用户分配标注任务,同时,由于不同的用户对不同类型的标注任务有不同的熟悉程度,根据用户的能力属性分配标注任务,便于用户针对熟悉的标注任务进行标注。
可选地,电子设备为智能手机、平板、服务器、计算机等。
本公开实施例提供了一种可读存储介质,存储有可执行指令,可执行指令设置为执行上述用于数据标注的方法。
本公开实施例提供了一种计算机程序产品,所述计算机程序产品包括存储在计算机可读存储介质上的计算机程序,所述计算机程序包括程序指令,当所述程序指令被计算机执行时,使所述计算机执行上述用于数据标注的方法。
上述的可读存储介质可以是暂态可读存储介质,也可以是非暂态可读存储介质。
本公开实施例的技术方案可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括一个或多个指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本公开实施例所述方法的全部或部分步骤。而前述的存储介质可以是非暂态存储介质,包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等多种可以存储程序代码的介质,也可以是暂态存储介质。
以上描述和附图充分地示出了本公开的实施例,以使本领域的技术人员能够实践它们。其他实施例可以包括结构的、逻辑的、电气的、过程的以及其他的改变。实施例仅代表可能的变化。除非明确要求,否则单独的部件和功能是可选的,并且操作的顺序可以变化。一些实施例的部分和特征可以被包括在或替换其他实施例的部分和特征。而且,本申请中使用的用词仅用于描述实施例并且不用于限制权利要求。如在实施例以及权利要求的描述中使用的,除非上下文清楚地表明,否则单数形式的“一个”(a)、“一个”(an)和“所述”(the)旨在同样包括复数形式。类似地,如在本申请中所使用的术语“和/或”是指包含一个或一个以上相关联的列出的任何以及所有可能的组合。另外,当用于本申请中时,术语“包括”(comprise)及其变型“包括”(comprises)和/或包括(comprising)等指陈述的特征、整体、步骤、操作、元素,和/或组件的存在,但不排除一个或一个以上其它特征、整体、步骤、操作、元素、组件和/或这些的分组的存在或添加。在没有更多限制的情况下,由语句“包括一个…”限定的要素,并不排除在包括所述要素的过程、方法或者设备中还存在另外的相同要素。本文中,每个实施例重点说明的可以是与其他实施例的不同之处,各个实施例之间相同相似部分可以互相参见。对于实施例公开的方法、产品等而言,如果其与实施例公开的方法部分相对应,那么相关之处可以参见方法部分的描述。
本领域技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,可以取决于技术方案的特定应用和设计约束条件。所述技术人员可以对每个特定的应用来使用不同方法以实现所描述的功能,但是这种实现不应认为超出本公开实施例的范围。所述技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
本文所披露的实施例中,所揭露的方法、产品(包括但不限于装置、设备等),可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,可以仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例。另外,在本公开实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
附图中的流程图和框图显示了根据本公开实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这可以依所涉及的功能而定。在附图中的流程图和框图所对应的描述中,不同的方框所对应的操作或步骤也可以以不同于描述中所披露的顺序发生,有时不同的操作或步骤之间不存在特定的顺序。例如,两个连续的操作或步骤实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这可以依所涉及的功能而定。框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
Claims (10)
1.一种用于数据标注的装置,其特征在于,包括:
身份管理模块,被配置为获取用户信息;根据所述用户信息确定用户的能力属性;
标注任务管理模块,被配置为上传待标注数据以及创建所述待标注数据对应的标注任务到预设的标注任务数据库中;
标注任务匹配模块,被配置为根据所述能力属性确定所述标注任务与所述用户的关联度,并将所述标注任务发送给达到预设关联度数值的所述用户对应的第一用户终端;
标注任务选择模块,被配置为获取所述第一用户终端反馈的待标注任务;所述待标注任务为所述标注任务中的一个或多个;从所述标注任务数据库中匹配出所述待标注任务对应的待标注数据发送至所述第一用户终端;
标注数据获取模块,被配置为获取所述第一用户终端反馈的标注数据。
2.根据权利要求1所述的装置,其特征在于,所述标注任务管理模块包括:
数据获取模块,被配置为获取待标注数据;
属性获取模块,被配置为获取所述待标注数据对应的属性信息,所述属性信息包括数据属性信息和业务属性信息;
标注任务创建模块,被配置为根据所述数据属性信息创建标注任务;
工作流确定模块,被配置为根据所述业务属性信息设置工作流。
3.根据权利要求2所述的装置,其特征在于,所述标注数据获取模块被配置为按照以下方式获取所述第一用户终端反馈的标注数据:
根据所述工作流获取所述第一用户终端反馈的标注数据。
4.根据权利要求3所述的装置,其特征在于,所述装置还包括:
数据质检模块,被配置为在获取所述第一用户终端反馈的标注数据后,根据所述工作流获取第二用户终端反馈的对标注数据进行质检处理后的质检结果。
5.一种用于数据标注的方法,其特征在于,包括:
获取用户信息;根据所述用户信息确定用户的能力属性;
上传待标注数据以及创建所述待标注数据对应的标注任务到预设的标注任务数据库中;
根据所述能力属性确定所述标注任务与所述用户的关联度,并将所述标注任务发送给达到预设关联度数值的所述用户对应的第一用户终端;
获取所述第一用户终端反馈的待标注任务;所述待标注任务为所述标注任务中的一个或多个;从所述标注任务数据库中匹配出所述待标注任务对应的待标注数据发送至所述第一用户终端;
获取所述第一用户终端反馈的标注数据。
6.根据权利要求5所述的方法,其特征在于,上传待标注数据以及创建所述待标注数据对应的标注任务到预设的标注任务数据库中,包括:
获取待标注数据;
获取所述待标注数据对应的属性信息,所述属性信息包括数据属性信息和业务属性信息;
根据所述数据属性信息创建标注任务;
根据所述业务属性信息设置工作流。
7.根据权利要求6所述的方法,其特征在于,获取所述第一用户终端反馈的标注数据,包括:
根据所述工作流获取所述第一用户终端反馈的标注数据。
8.根据权利要求7所述的方法,其特征在于,在获取所述第一用户终端反馈的标注数据后,还包括:
根据所述工作流获取第二用户终端反馈的对标注数据进行质检处理后的质检结果。
9.一种电子设备,其特征在于,包括处理器和存储有程序指令的存储器,其特征在于,所述处理器被配置为在执行所述程序指令时,执行如权利要求5至8任一项所述的用于数据标注的方法。
10.一种可读存储介质,存储有可执行指令,其特征在于,所述可执行指令在运行时执行如权利要求5至8任一项所述的用于数据标注的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110919561.1A CN113641838A (zh) | 2021-08-11 | 2021-08-11 | 用于数据标注的装置及方法、电子设备、可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110919561.1A CN113641838A (zh) | 2021-08-11 | 2021-08-11 | 用于数据标注的装置及方法、电子设备、可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113641838A true CN113641838A (zh) | 2021-11-12 |
Family
ID=78420913
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110919561.1A Pending CN113641838A (zh) | 2021-08-11 | 2021-08-11 | 用于数据标注的装置及方法、电子设备、可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113641838A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113934712A (zh) * | 2021-12-17 | 2022-01-14 | 昆仑智汇数据科技(北京)有限公司 | 一种工业质检数据的领域模型的处理方法、装置及设备 |
CN116226557A (zh) * | 2022-12-29 | 2023-06-06 | 中国科学院信息工程研究所 | 待标注数据的拾取方法、装置、电子设备和存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108846544A (zh) * | 2018-04-27 | 2018-11-20 | 淘然视界(杭州)科技有限公司 | 一种标注任务的分配方法及系统 |
CN109784381A (zh) * | 2018-12-27 | 2019-05-21 | 广州华多网络科技有限公司 | 标注信息处理方法、装置及电子设备 |
CN109978356A (zh) * | 2019-03-15 | 2019-07-05 | 平安普惠企业管理有限公司 | 标注任务分配方法、装置、介质和计算机设备 |
CN110378617A (zh) * | 2019-07-26 | 2019-10-25 | 中国工商银行股份有限公司 | 一种样本标注方法、装置、存储介质及设备 |
CN112990625A (zh) * | 2019-12-13 | 2021-06-18 | 北京金山云网络技术有限公司 | 标注任务的分配方法、装置及服务器 |
-
2021
- 2021-08-11 CN CN202110919561.1A patent/CN113641838A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108846544A (zh) * | 2018-04-27 | 2018-11-20 | 淘然视界(杭州)科技有限公司 | 一种标注任务的分配方法及系统 |
CN109784381A (zh) * | 2018-12-27 | 2019-05-21 | 广州华多网络科技有限公司 | 标注信息处理方法、装置及电子设备 |
CN109978356A (zh) * | 2019-03-15 | 2019-07-05 | 平安普惠企业管理有限公司 | 标注任务分配方法、装置、介质和计算机设备 |
CN110378617A (zh) * | 2019-07-26 | 2019-10-25 | 中国工商银行股份有限公司 | 一种样本标注方法、装置、存储介质及设备 |
CN112990625A (zh) * | 2019-12-13 | 2021-06-18 | 北京金山云网络技术有限公司 | 标注任务的分配方法、装置及服务器 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113934712A (zh) * | 2021-12-17 | 2022-01-14 | 昆仑智汇数据科技(北京)有限公司 | 一种工业质检数据的领域模型的处理方法、装置及设备 |
CN113934712B (zh) * | 2021-12-17 | 2022-03-11 | 昆仑智汇数据科技(北京)有限公司 | 一种工业质检数据的领域模型的处理方法、装置及设备 |
CN116226557A (zh) * | 2022-12-29 | 2023-06-06 | 中国科学院信息工程研究所 | 待标注数据的拾取方法、装置、电子设备和存储介质 |
CN116226557B (zh) * | 2022-12-29 | 2024-04-19 | 中国科学院信息工程研究所 | 待标注数据的拾取方法、装置、电子设备和存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113641838A (zh) | 用于数据标注的装置及方法、电子设备、可读存储介质 | |
CN107733782A (zh) | 根据任务生成群的方法、装置及系统 | |
CN108121715B (zh) | 一种文字标签方法及文字标签装置 | |
CN112732893B (zh) | 文本信息的提取方法和装置、存储介质和电子设备 | |
US20200402076A1 (en) | Data processing method and apparatus, and storage medium | |
US20150278248A1 (en) | Personal Information Management Service System | |
CN113379398B (zh) | 一种项目需求的生成方法、装置、电子设备及存储介质 | |
CN112866088B (zh) | 一种即时通讯应用中的用户画像方法和系统 | |
CN110941702A (zh) | 一种法律法规和法条的检索方法及装置、可读存储介质 | |
CN113342942B (zh) | 语料自动化获取方法、装置、计算机设备及存储介质 | |
CN113011363B (zh) | 隐私安全的音频标注处理方法 | |
CN116741178A (zh) | 文稿生成方法、装置、设备和存储介质 | |
CN108549722B (zh) | 多平台数据发布方法、系统及介质 | |
CN111723205A (zh) | 会议纪要处理方法、装置及会议纪要处理设备 | |
CN107767156A (zh) | 一种信息录入方法、装置及系统 | |
CN114528851B (zh) | 回复语句确定方法、装置、电子设备和存储介质 | |
CN111291042B (zh) | 一种用于供电服务的电力数据处理系统及方法 | |
CN108062333A (zh) | 劣质题目数据的处理方法和装置 | |
JP2001117940A (ja) | 情報検索装置、情報検索方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
KR102078541B1 (ko) | 이슈 관심도 기반의 뉴스 가치 평가 장치 및 방법, 이를 기록한 기록매체 | |
CN112700285A (zh) | 用于预测用户属性标签的方法及装置、设备 | |
CN112015773A (zh) | 知识库的检索方法、装置、电子设备以及存储介质 | |
CN111368034A (zh) | 双向语义特征匹配方法及供给内容推荐装置 | |
Jlailaty et al. | Mining Business Process Information from Email Logs for Business Process Models Discovery. | |
CN117522485B (zh) | 一种广告推荐方法、装置、设备及计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |