CN118314401A - 目标标注类型确定方法、装置、计算机设备及存储介质 - Google Patents
目标标注类型确定方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN118314401A CN118314401A CN202410485089.9A CN202410485089A CN118314401A CN 118314401 A CN118314401 A CN 118314401A CN 202410485089 A CN202410485089 A CN 202410485089A CN 118314401 A CN118314401 A CN 118314401A
- Authority
- CN
- China
- Prior art keywords
- labeling
- efficiency
- marking
- time
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 69
- 238000002372 labelling Methods 0.000 claims abstract description 430
- 238000004364 calculation method Methods 0.000 claims abstract description 38
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 29
- 238000012552 review Methods 0.000 claims description 134
- 230000006870 function Effects 0.000 claims description 33
- 230000015654 memory Effects 0.000 claims description 27
- 238000012545 processing Methods 0.000 claims description 21
- 238000012550 audit Methods 0.000 claims description 12
- 238000009795 derivation Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 6
- 238000010606 normalization Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000010561 standard procedure Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012856 packing Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及数据标注技术领域，公开了一种目标标注类型确定方法、装置、计算机设备及存储介质，该方法包括：在第一预设数量个标注对象完成标注任务时，获取标注对象的标注数目和标注时间，其中，标注任务的数据类型具有第二预设数量个；根据标注数目、标注时间以及人效数据计算公式，得到标注对象的人效数据；根据人效数据和算法推导函数，确定标注对象对应的目标标注类型，其中，目标标注类型包含于预设数量个数据类型。本发明解决了计算人效数据效率低，难以根据人效数据确定标注人员擅长标注的数据类型的问题。
Description
技术领域
本发明涉及数据标注技术领域，具体涉及一种目标标注类型确定方法、装置、计算机设备及存储介质。
背景技术
将人工智能应用到车载视频监控系统，通过人工智能对海量视频和图片进行学习和分析，使得车载视频监控系统能够实时主动发现车辆安全风险并发出告警信息。人工智能对视频和图片进行学习之前，需要对视频和图片进行数据标注。当前，数据标注需要标注人员来实现，包括标注员、审核员以及复审员。本领域将围绕标注人员在标注数据过程中产生的数据称为人效数据，例如：数据标注的效率、数据标注的数目、数据标注的时间、数据标注的数据类型等。
当前，人效数据需要由标注人员自己计算，耗费标注人员的时间，计算效率低。人效数据能够清楚反应标注人员的综合水平和擅长标注类型，确定标注人员擅长标注类型有利于后续任务分配，然而，当前本领域并未通过分析人效数据确定标注人员擅长标注类型。
因此，相关技术存在计算人效数据效率低，难以根据人效数据确定标注人员擅长标注的数据类型的问题。
发明内容
有鉴于此，本发明提供了一种目标标注类型确定方法、装置、计算机设备及存储介质，以解决计算人效数据效率低，难以根据人效数据确定标注人员擅长标注的数据类型的问题。
第一方面，本发明提供了一种目标标注类型确定方法，该方法包括：
在第一预设数量个标注对象完成标注任务时，获取标注对象的标注数目和标注时间，其中，标注任务的数据类型具有第二预设数量个；
根据标注数目、标注时间以及人效数据计算公式，得到标注对象的人效数据；
根据人效数据和算法推导函数，确定标注对象对应的目标标注类型，其中，目标标注类型包含于预设数量个数据类型。
本实施例提供的目标标注类型确定方法，根据人效数据计算公式、标注数目以及标注时间，计算出标注对象的人效数据，简单化人效数据计算过程，提高人效数据计算效率，并且采用统一的方法来计算人效数据，确保结果数据格式具有一致性，便于后续对人效数据的分析。利用算法推导函数根据人效数据推导出标注对象擅长的目标标注类型，便于后续根据目标标注类型更合理地分配标注任务。解决了相关技术存在计算人效数据效率低，难以根据人效数据确定标注人员擅长标注的数据类型的问题。
在一种可选的实施方式中，获取标注对象的标注时间，包括：
获取标注对象处理标注任务的起始时刻和结束时刻；
在标注对象在处理标注任务过程中，如果标注对象挂起标注任务，获取挂起标注任务的第一时刻和恢复执行标注任务的第二时刻；
根据起始时刻、结束时刻、第一时刻以及第二时刻，得到标注时间。
在本实施方式中，根据标注对象处理标注任务的起始时刻、结束时刻、第一时刻以及第二时刻，计算出标注时间。无需标注对象自己计时，提高人效数据计算效率。
在一种可选的实施方式中，获取标注对象的标注数目，包括：
获取标注任务中的待标注信息；
统计待标注信息的数目，得到标注数目。
在一种可选的实施方式中，根据标注数目、标注时间以及人效数据计算公式，得到标注对象的人效数据，包括：
根据标注对象，得到标注人数、审核人数以及复审人数；
根据标注数目，得到每个标注对象完成标注任务的标注量、审核量、复审量、所有标注对象的标注总量、审核总量以及复审总量；
根据标注时间，得到每个标注对象完成标注任务的标注用时、审核用时、复审用时、所有标注对象的标注总用时、审核总用时以及复审总用时；
根据标注量和标注用时，得到标注对象的标注效率；
根据审核量和审核用时，得到标注对象的审核效率；
根据复审量和复审用时，得到标注对象的复审效率；
根据标注总量和标注人数，得到人均标注数目，并根据标注总量和标注总用时，得到人均标注效率；
根据审核总量和审核人数，得到人均审核数目，并根据审核总量和审核总用时，得到人均审核效率；
根据复审总量和复审人数，得到人均复审数目，并根据复审总量和复审总用时，得到人均复审效率；
汇总标注效率、审核效率、复审效率、人均标注数目、人均标注效率、人均审核数目、人均审核效率、人均复审数目以及人均复审效率，得到人效数据。
在本实施方式中，根据标注数目、标注时间以及人效数据计算公式，计算人效数据，使用一种标准的方法来计算不同的数据类型标注任务的人效数据。使得标注平台的数据格式采用统一标准，提高标注平台的一致性，降低开发和维护的复杂度。并且，提高了人效数据计算效率。
在一种可选的实施方式中，根据人效数据和算法推导函数，确定标注对象对应的目标标注类型，包括：
根据人效数据，得到标注对象完成每个标注任务的标注效率、审核效率以及复审效率；
根据标注效率、审核效率、复审效率以及算法推导函数，得到最大标注效率对应的第一标注任务、最大审核效率对应的第二标注任务以及最大复审效率对应的第三标注任务；
将第一标注任务的数据类型作为第一目标类型，将第二标注任务的数据类型作为第二目标类型，将第三标注任务的数据类型作为第三目标类型，其中，第一目标类型、第二目标类型以及第三目标类型包含于目标标注类型。
在本实施方式中，算法推导函数推导出最大标注效率对应的第一标注任务、最大审核效率对应的第二标注任务以及最大复审效率对应的第三标注任务，进而得出第一目标类型、第二目标类型以及第三目标类型，便于确定每个标注对象适合标注的数据类型、适合审核的数据类型以及适合复审的数据能够，便于后续更合理地分配标注任务。
在一种可选的实施方式中，在根据人效数据和算法推导函数，确定标注对象对应的目标标注类型之后，方法还包括：
将人效数据和目标标注类型在目标页面进行显示。
在本实施方式中，将人效数据和目标标注类型在目标页面进行显示，便于查询，有助于确定每个标注对象的综合水平。
第二方面，本发明提供了一种目标标注类型确定装置，该装置包括：
获取模块，用于在第一预设数量个标注对象完成标注任务时，获取标注对象的标注数目和标注时间，其中，标注任务的数据类型具有第二预设数量个；
得到模块，用于根据标注数目、标注时间以及人效数据计算公式，得到标注对象的人效数据；
确定模块，用于根据人效数据和算法推导函数，确定标注对象对应的目标标注类型，其中，目标标注类型包含于第二预设数量个数据类型。
第三方面，本发明提供了一种计算机设备，包括：存储器和处理器，存储器和处理器之间互相通信连接，存储器中存储有计算机指令，处理器通过执行计算机指令，从而执行上述第一方面或其对应的任一实施方式的目标标注类型确定方法。
第四方面，本发明提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机指令，计算机指令用于使计算机执行上述第一方面或其对应的任一实施方式的目标标注类型确定方法。
第五方面，本发明提供了一种计算机程序产品，包括计算机指令，计算机指令用于使计算机执行上述第一方面或其对应的任一实施方式的目标标注类型确定方法。
附图说明
为了更清楚地说明本发明具体实施方式或相关技术中的技术方案，下面将对具体实施方式或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例的目标标注类型确定方法的流程示意图；
图2是根据本发明实施例的人效数据展示页面的示意图；
图3是根据本发明实施例的数据标注人效数据计算方法的流程示意图；
图4是根据本发明实施例的目标标注类型确定装置的结构框图；
图5是本发明实施例的计算机设备的硬件结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明基于页面(web)开发，构建出标注页面、人效统计页面，以每个标注人员为单位，展示其在指定时间范围内领取的任务数、任务中的标注结果数目等信息。并且，本发明根据数据人员的颗粒度区分程度，为每个对视频和图片进行数据标注的标注人员设计了三个账号，分别为：标注账号、审核账号以及复审账号。每个标注人员会绑定其对应的账号。例如：当标注人员需要处理标注任务时，需要使用标注账号登录标注页面，处理标注任务；当需要处理审核任务时，使用审核任务登录标注页面处理审核任务。
基于上述内容，本发明实施例提供了一种目标标注类型确定方法，先获取标注对象的标注数目、标注时间这些业务数据；再使用归一化的方法，利用人效数据计算公式计算标注对象的人效数据；最后利用算法推导函数根据人效数据推导出标注对象擅长的目标标注类型。以达到简单化人效数据计算过程，根据目标标注类型更合理地安排标注任务的效果。
根据本发明实施例，提供了一种目标标注类型确定方法实施例，需要说明的是，在附图的流程图示出的步骤可以在具有数据处理能力的计算机设备中执行，例如：电脑、服务器等，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
在本实施例中提供了一种目标标注类型确定方法，可用于上述的计算机设备，图1是根据本发明实施例的目标标注类型确定方法的流程图，如图1所示，该流程包括如下步骤：
步骤S101，在第一预设数量个标注对象完成标注任务时，获取标注对象的标注数目和标注时间，其中，标注任务的数据类型具有第二预设数量个。
具体地，标注对象为与对视频和图片进行数据标注工作相关的工作人员，标注对象的总人数为第一预设数量，第一预设数量的数值根据实际情况确定。标注对象通过标注平台中的标注页面处理标注任务。
标注任务是按照一定数目将同一数据类型的图片、视频打包成的一组任务，标注任务是对视频和图片进行数据标注的相关任务，例如：标注图片和视频、审核标注内容、复审标注内容等。在标注对象完成标注任务时，获取该标注人员花费的标注时间和完成标注的标注数据。在标注对象标注图片和视频时，其身份为标注员。在标注对象审核标注内容时，其身份为审核员。在标注对象复审标注内容时，其身份为复审员。上述标注员、审核员、复审员均包含于标注对象。标注任务的数据类型具有第二预设数量个，第二预设数量的具体数值根据实际需求设定，数据类型例如：人脸图片、手势图片、停车位图片、危险驾驶、点云、地面标志等。
步骤S102，根据标注数目、标注时间以及人效数据计算公式，得到标注对象的人效数据。
具体地，围绕数据人员标注数据而产生的一系列数据为人效数据，例如：数据标注的效率、数据标注的数目、数据标注的时间、数据标注了那些类型等。
将标注数目和标注时间代入人效数据计算公式进行计算，计算出每个标注对象的人效数据，例如：人效数据计算公式为计算标注对象标注效率公式，将标注对象A的标注数目中标注的图片、视频数量和消耗的标注时间代入公式，利用标注的图片、视频数量除以标注时间，得到标注对象A的标注效率；人效数据计算公式为计算所有标注对象人均复审效率公式，将所有标注人员标注数目中复审的图片、视频数量和消耗的标注时间代入公式，先计算所有标注人员复审图片、视频的总数量和总时间，利用总数量除以总时间计算出人均复审效率。
步骤S103，根据人效数据和算法推导函数，确定标注对象对应的目标标注类型，其中，目标标注类型包含于预设数量个数据类型。
具体地，目标标注类型包括：标注对象擅长标注类型、擅长审核类型以及擅长复审类型。
从人效数据中获取标注对象的针对不同数据类型标注任务的标注效率、审核效率以及复审效率，算法推导函数根据标注效率、审核效率以及复审效率分别推导出标注对象擅长标注类型、擅长审核类型以及擅长复审类型，例如：标注对象A对审核危险驾驶类图片的标注任务的审核效率为500个/小时，对审核点云图片的标注任务的审核效率为300个/小时，对审核手势图片的标注任务的审核效率为400个/小时，则标注对象A擅长审核的数据类型为危险驾驶，以此类推，通过相同的方法可以推导出每个标注对象擅长标注类型、擅长审核类型以及擅长复审类型。
本实施例提供的目标标注类型确定方法，根据人效数据计算公式、标注数目以及标注时间，计算出标注对象的人效数据，简单化人效数据计算过程，提高人效数据计算效率，并且采用统一的方法来计算人效数据，确保结果数据格式具有一致性，便于后续对人效数据的分析。利用算法推导函数根据人效数据推导出标注对象擅长的目标标注类型，便于后续根据目标标注类型更合理地分配标注任务。解决了相关技术存在计算人效数据效率低，难以根据人效数据确定标注人员擅长标注的数据类型的问题。
在一些可选的实施方式中，获取标注对象的标注时间，包括：
获取标注对象处理标注任务的起始时刻和结束时刻；
在标注对象在处理标注任务过程中，如果标注对象挂起标注任务，获取挂起标注任务的第一时刻和恢复执行标注任务的第二时刻；
根据起始时刻、结束时刻、第一时刻以及第二时刻，得到标注时间。
具体地，标注对象在处理标注任务时，需要打开标注页面进行数据标注，本实施例在标注页面增加计时功能，标注人员在标注页面进行数据标注的时候，程序会具体统计其标注时间，然后数据库记录各个标注人员对应标注任务的具体耗时。
当标注人员进入标注页面处理标注任务时，标注页面程序会获取标注对象进入标注页面的时刻作为取标注对象处理标注任务的起始时刻，起始时刻例如：t秒。当标注人员在标注页面完成标注任务时，获取此时的时刻作为结束时刻，例如：标注人员将标注任务中所有图片、视频标注完成并点击任务完成后，获取当前时刻为t1+Δt1秒，则结束时刻为t1+Δt1秒。
在标注对象处理标注任务过程中，如果标注对象挂起标注任务即暂停处理标注任务，标注页面程序会获取标注对象挂起任务的时刻作为第一时刻，例如：t+Δt秒。标注对象在t1时刻恢复执行标注任务，标注页面程序记录t1时刻作为恢复执行标注任务的第二时刻。保存上述起始时刻、结束时刻、第一时刻以及第二时刻。
如果存在第一时刻和第二时刻，表明标注对象处理标注任务时挂起过任务，则先根据起始时刻和第一时刻计算出标注用时1，例如：起始时刻为t秒，第一时刻为t+Δt秒，利用第一时刻减去起始时刻，计算出标注用时1为Δt秒；再根据第二时刻和结束时刻计算出标注用时2，例如：第二时刻为t1，结束时刻为t1+Δt1秒，利用结束时刻减去第二时刻，计算出标注用时2为Δt1秒。将标注用时1和标注用时2求和，计算得到标注时间为Δt1+Δt秒。
如果不存在第一时刻，表明标注对象处理标注任务时未挂起任务，则直接利用结束时刻减去起始时刻，计算得到标注时间，例如：起始时刻为t秒，结束时刻为t1+Δt1秒，则标注时间为t1+Δt1-t。保存最终计算出的标注时间到数据库。
在本实施方式中，根据标注对象处理标注任务的起始时刻、结束时刻、第一时刻以及第二时刻，计算出标注时间。无需标注对象自己计时，提高人效数据计算效率。
在一些可选的实施方式中，获取标注对象的标注数目，包括：
获取标注任务中的待标注信息；
统计待标注信息的数目，得到标注数目。
具体地，标注对象通过标注页面处理标注任务，本实施例在标注页面增加数目统计功能，当标注对象处理完标注任务保存处理结果的时候，标注页面程序会识别该标注任务中图片、视频，并将该图片、视频的标注数目保存至数据库。
当标注对象处理完标注任务保存处理结果的时候，获取标注任务中的待标注信息，例如：标注人员将标注任务中所有图片、视频标注完成并点击任务完成后，获取用户处理完成的标注任务的待标注信息，包括：待标注图片、带标注视频等。因为标注对象已经完成该标注任务，所有标注任务中待标注信息的数目即标注对象的标注数目，因此，统计待标注信息的数目，得到标注数目。
在一些可选的实施方式中，根据标注数目、标注时间以及人效数据计算公式，得到标注对象的人效数据，包括：
根据标注对象，得到标注人数、审核人数以及复审人数；
根据标注数目，得到每个标注对象完成标注任务的标注量、审核量、复审量、所有标注对象的标注总量、审核总量以及复审总量；
根据标注时间，得到每个标注对象完成标注任务的标注用时、审核用时、复审用时、所有标注对象的标注总用时、审核总用时以及复审总用时；
根据标注量和标注用时，得到标注对象的标注效率；
根据审核量和审核用时，得到标注对象的审核效率；
根据复审量和复审用时，得到标注对象的复审效率；
根据标注总量和标注人数，得到人均标注数目，并根据标注总量和标注总用时，得到人均标注效率；
根据审核总量和审核人数，得到人均审核数目，并根据审核总量和审核总用时，得到人均审核效率；
根据复审总量和复审人数，得到人均复审数目，并根据复审总量和复审总用时，得到人均复审效率；
汇总标注效率、审核效率、复审效率、人均标注数目、人均标注效率、人均审核数目、人均审核效率、人均复审数目以及人均复审效率，得到人效数据。
具体地，统计标注对象中参与标注的标注人数、参与审核的审核人数以及参与复审的复审人数。根据每个标注对象的标注数目，得到每个标注对象完成的标注量、审核量、复审量，汇总所有标注对象的标注量、审核量、复审量，计算得到所有标注对象的标注总量、审核总量以及复审总量。根据每个标注对象的标注时间，得到每个标注对象完成上述标注量的标注用时、完成上述审核量的审核用时、完成上述复审量的复审用时，汇总所有标注对象的标注用时、审核用时、复审用时，计算得到所有标注对象的标注总用时、审核总用时以及复审总用时。
分别用每个标注对象的标注量除以标注用时，得到该标注对象的标注效率，分别用每个标注对象的审核量除以审核用时，得到该标注对象的审核效率，分别用每个标注对象的复审量除以复审用时，得到该标注对象的复审效率。
在标注对象标注图片和视频时，其身份为标注员。在标注对象审核标注内容时，其身份为审核员。在标注对象复审标注内容时，其身份为复审员。本实施例定义：人均标注数目为在范围时间内，每个标注员的平均标注数目；人均审核数目为在范围时间内，每个审核员的平均标注数目；人均复审数目为在范围时间内，每个复审员的平均标注数目；人均标注效率为在范围时间内，每个标注员的平均标注效率；人均审核效率为在范围时间内，每个审核员的平均审核效率；人均复审效率为在范围时间内，每个复审员的平均复审效率。
基于上述定义，本实施例采用的针对不同数据类型的标注任务，计算人效数据计算的归一化公式为：
人均标注数目＝(选定时间内所有人员提交的标注任务内的标注结果总数)/(参与标注的人数)；人均审核数目：(选定时间内所有人员提交的审核任务内的标注结果总数)/(参与审核的人数)；人均复审数目：人均复审数目＝(选定时间内所有人员提交的复审任务内选中的标注结果总数)/(参与复审的人数)；人均标注效率：人均标注效率＝(所有人员标注的标注结果总数)/(所有人员标注用时和)；人均审核效率：人均审核效率＝(所有人员审核的标注结果总数)/(所有人员审核用时和)；人均复审效率：人均复审效率＝(所有人员复审的标注结果总数)/(所有人员复审用时和)。
综上，用标注总量除以标注人数，计算出人均标注数目。用标注总量除以标注总用时，计算出人均标注效率。用审核总量除以审核人数，计算出人均审核数目。用审核总量除以审核总用时，计算出人均审核效率。用复审总量除以复审人数，计算出人均复审数目。用复审总量除以复审总用时，计算出人均复审效率。例如：在十月一号到十月三号时间范围内，复审人员提交的复审总量为100，参与复审的复审人数为2，则人均复审数目＝100/2＝50个/人，人均复审效率＝100/(十月三号-十月一号)＝50个/天。
汇总上述标注效率、审核效率、复审效率、人均标注数目、人均标注效率、人均审核数目、人均审核效率、人均复审数目以及人均复审效率，得到人效数据。
本实施例的计算核心基础是以时间或参与人数为维度设计归一化公式，利用归一化公式和数据库中保存的标注量和标注用时，将这些数据库记录的数据通过业务计算输出为一系列可以反映标注人员的人均标注数目等具有实际意义的人效数据。使用归一化的计算方法，可以确保在计算不同数据类型的人效数据时使用相同的计算逻辑和规则，从而保持一致性。这可以避免因为使用不同的方法而导致结果差异，增加数据分析的可靠性。
在本实施方式中，根据标注数目、标注时间以及人效数据计算公式，计算人效数据，使用一种标准的方法来计算不同的数据类型标注任务的人效数据。使得标注平台的数据格式采用统一标准，提高标注平台的一致性，降低开发和维护的复杂度。并且，提高了人效数据计算效率。
在一些可选的实施方式中，根据人效数据和算法推导函数，确定标注对象对应的目标标注类型，包括：
根据人效数据，得到标注对象完成每个标注任务的标注效率、审核效率以及复审效率；
根据标注效率、审核效率、复审效率以及算法推导函数，得到最大标注效率对应的第一标注任务、最大审核效率对应的第二标注任务以及最大复审效率对应的第三标注任务；
将第一标注任务的数据类型作为第一目标类型，将第二标注任务的数据类型作为第二目标类型，将第三标注任务的数据类型作为第三目标类型，其中，第一目标类型、第二目标类型以及第三目标类型包含于目标标注类型。
具体地，从人效数据中读取标注对象完成每个标注任务的标注效率、审核效率以及复审效率。
本实施例设置一个特征值集合{X1，X2，X3，...，Xn}，其中，X表示特征值，X可以为：标注对象针对不同数据类型标注任务的标注效率、审核效率、复审效率，n是特征值的总数也是标注任务的类型总数。基于特征值集合，本实施例的算法推导函数用数学符号表示为：Max(X1,X2,...,Xn)，其中，Max表示求最大值的操作。
将上述计算出的人效数据输入算法推导函处理，算法推导函按照一定的算法可输出最终的结果如标注对象擅长的目标标注类型。步骤包括：从人效数据中查询出不同标注对象完成每个标注任务的标注效率、审核效率以及复审效率。根据标注效率、审核效率、复审效率以及算法推导函数，得到最大标注效率对应的第一标注任务、最大审核效率对应的第二标注任务以及最大复审效率对应的第三标注任务，例如：例如有4个标注任务，数据类型依次为：人脸图片、手势图片、停车位图片、危险驾驶。标注对象B针对这4个标注任务的审核效率依次为：500个/小时、450个/小时、600个/小时、300个/小时，此时，n＝4，X1＝500，X2＝450，X3＝600，X4＝300，Max(X1，X2，X3，X4)＝600，因此，最大审核效率对应的第二标注任务为第3个标注任务。同理，采用同样的步骤可以得到最大标注效率对应的第一标注任务和最大复审效率对应的第三标注任务。将第一标注任务的数据类型作为第一目标类型，将第二标注任务的数据类型作为第二目标类型，将第三标注任务的数据类型作为第三目标类型，例如：第3个标注任务的数据类型为停车位图片，则第二目标类型为停车位图片，因此，标注对象B擅长审核停车位图片。同理，可以得到第一目标类型和第三目标类型。上述第一目标类型、第二目标类型以及第三目标类型均属于目标标注类型。
上述人效数据归一化计算方法和算法推导函数可以支持标注页面的可扩展性。当需要引入新的数据类型或更新现有数据类型时，可以通过扩展现有的计算方法，而无需对整个计算方法进行大规模的改动。
在本实施方式中，算法推导函数推导出最大标注效率对应的第一标注任务、最大审核效率对应的第二标注任务以及最大复审效率对应的第三标注任务，进而得出第一目标类型、第二目标类型以及第三目标类型，便于确定每个标注对象适合标注的数据类型、适合审核的数据类型以及适合复审的数据能够，便于后续更合理地分配标注任务。
在一些可选的实施方式中，在根据人效数据和算法推导函数，确定标注对象对应的目标标注类型之后，方法还包括：
将人效数据和目标标注类型在目标页面进行显示。
具体地，目标页面例如：人效数据展示页面，如图2所示，将人效数据中的人均标注数据、人均审核数据、人均复审数目、人均标注效率、人均审核效率、人均复审效率在人效数据展示页面进行显示，另外，可以分别显示每个标注对象的标注数目、标注效率(个/小时)、审核数目、审核效率(个/小时)、复审数目以及复审效率(个/小时)、标注任务的数据类型、人效数据统计时段、标注对象是否适合处理当前数据类型的标注任务等信息，还可以计算出每个标注对象的人效数据与平均值的差值，确定标注对象的综合水平，例如：图2中的人效数据的统计时段为7月5日至7月8日，标注任务的数据类型为手势识别，标注对象C的标注数目为2411，相较于人均标注数目3287少876个，表示为-876，标注效率为241(个/小时)，相较于人均标注效率472(个/小时)少231个，表示为-231，另外，由图2可知标注对象E标注有※，表明标注对象E适合处理当前数据类型的标注任务即手势识别的标注任务，其他内容参见图2，此处不再赘述。
在本实施方式中，将人效数据和目标标注类型在目标页面进行显示，便于查询，有助于确定每个标注对象的综合水平。
在本实施例中提供了一种数据标注人效数据计算方法，可用于上述的计算机设备，能够解决与步骤S101至步骤S103相同的技术问题，并具有相同的技术效果，如图3所示，该方法包括如下步骤：
步骤S301，标注人员进入标注页面进行任务标注；
步骤S302，当标注人员进入该任务标注页面时，记录此时的时间t秒，标注人员完成任务，记录此时的时间为t+△t秒，然后保存该任务的耗时时间△t秒到数据库；
步骤S303，当标注人员保存该任务时，程序会识别该图片并将该图片的标注数目保存至数据库；
步骤S304，后台经过人效计算公式输出人效数据；
步骤S305，将这些指标数据经过算法推导函数处理获得对应的最终结果；
步骤S306，将最终结果返回给页面端，页面将正确结果回显。
具体地，详细请参见图1所示实施例的步骤S101至步骤S103、上述其他实施例，在此不再赘述。
在本实施方式中，利用后台计算人效数据，极大节省了标注员的时间，通过人效数据也更清楚的反应了标注人员的综合水平。通过人效数据来分析出每个人的优势标注类型，程序依据算法可以推导出每个人员适合标注哪些数据类型，方便更合理的安排标注任务。不同标注类型的人效计算归一化的方法可以支持系统的可扩展性。当需要引入新的数据类型或更新现有数据类型时，可以通过扩展现有的计算方法，而无需对整个计算方法进行大规模的改动。
在本实施例中还提供了一种目标标注类型确定装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
本实施例提供一种目标标注类型确定装置，如图4所示，包括：
获取模块401，用于在第一预设数量个标注对象完成标注任务时，获取标注对象的标注数目和标注时间，其中，标注任务的数据类型具有第二预设数量个；
得到模块402，用于根据标注数目、标注时间以及人效数据计算公式，得到标注对象的人效数据；
确定模块403，用于根据人效数据和算法推导函数，确定标注对象对应的目标标注类型，其中，目标标注类型包含于第二预设数量个数据类型。
在一些可选的实施方式中，获取模块401包括：
第一获取单元，用于获取标注对象处理标注任务的起始时刻和结束时刻；
第二获取单元，用于在标注对象在处理标注任务过程中，如果标注对象挂起标注任务，获取挂起标注任务的第一时刻和恢复执行标注任务的第二时刻；
第一得到单元，用于根据起始时刻、结束时刻、第一时刻以及第二时刻，得到标注时间。
在一些可选的实施方式中，获取模块401包括：
第三获取单元，用于获取标注任务中的待标注信息；
统计单元，用于统计待标注信息的数目，得到标注数目。
在一些可选的实施方式中，得到模块402包括：
第二得到单元，用于根据标注对象，得到标注人数、审核人数以及复审人数；
第三得到单元，用于根据标注数目，得到每个标注对象完成标注任务的标注量、审核量、复审量、所有标注对象的标注总量、审核总量以及复审总量；
第四得到单元，用于根据标注时间，得到每个标注对象完成标注任务的标注用时、审核用时、复审用时、所有标注对象的标注总用时、审核总用时以及复审总用时；
第五得到单元，用于根据标注量和标注用时，得到标注对象的标注效率；
第六得到单元，用于根据审核量和审核用时，得到标注对象的审核效率；
第七得到单元，用于根据复审量和复审用时，得到标注对象的复审效率；
第八得到单元，用于根据标注总量和标注人数，得到人均标注数目，并根据标注总量和标注总用时，得到人均标注效率；
第九得到单元，用于根据审核总量和审核人数，得到人均审核数目，并根据审核总量和审核总用时，得到人均审核效率；
第十得到单元，用于根据复审总量和复审人数，得到人均复审数目，并根据复审总量和复审总用时，得到人均复审效率；
汇总单元，用于汇总标注效率、审核效率、复审效率、人均标注数目、人均标注效率、人均审核数目、人均审核效率、人均复审数目以及人均复审效率，得到人效数据。
在一些可选的实施方式中，确定模块403包括：
第十一得到单元，用于根据人效数据，得到标注对象完成每个标注任务的标注效率、审核效率以及复审效率；
第十二得到单元，用于根据标注效率、审核效率、复审效率以及算法推导函数，得到最大标注效率对应的第一标注任务、最大审核效率对应的第二标注任务以及最大复审效率对应的第三标注任务；
设置单元，用于将第一标注任务的数据类型作为第一目标类型，将第二标注任务的数据类型作为第二目标类型，将第三标注任务的数据类型作为第三目标类型，其中，第一目标类型、第二目标类型以及第三目标类型包含于目标标注类型。
在一些可选的实施方式中，该装置还包括：
显示模块，用于将人效数据和目标标注类型在目标页面进行显示。
上述各个模块和单元的更进一步的功能描述与上述对应实施例相同，在此不再赘述。
本实施例中的目标标注类型确定装置是以功能单元的形式来呈现，这里的单元是指ASIC(Application Specific Integrated Circuit，专用集成电路)电路，执行一个或多个软件或固定程序的处理器和存储器，和/或其他可以提供上述功能的器件。
本发明实施例还提供一种计算机设备，具有上述图4所示的目标标注类型确定装置。
请参阅图5，图5是本发明可选实施例提供的一种计算机设备的结构示意图，如图5所示，该计算机设备包括：一个或多个处理器10、存储器20，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相通信连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在计算机设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在一些可选的实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个计算机设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图5中以一个处理器10为例。
处理器10可以是中央处理器，网络处理器或其组合。其中，处理器10还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路，可编程逻辑器件或其组合。上述可编程逻辑器件可以是复杂可编程逻辑器件，现场可编程逻辑门阵列，通用阵列逻辑或其任意组合。
其中，存储器20存储有可由至少一个处理器10执行的指令，以使至少一个处理器10执行实现上述实施例示出的方法。
存储器20可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据计算机设备的使用所创建的数据等。此外，存储器20可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些可选的实施方式中，存储器20可选包括相对于处理器10远程设置的存储器，这些远程存储器可以通过网络连接至该计算机设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
存储器20可以包括易失性存储器，例如，随机存取存储器；存储器也可以包括非易失性存储器，例如，快闪存储器，硬盘或固态硬盘；存储器20还可以包括上述种类的存储器的组合。
该计算机设备还包括通信接口30，用于该计算机设备与其他设备或通信网络通信。
本发明实施例还提供了一种计算机可读存储介质，上述根据本发明实施例的方法可在硬件、固件中实现，或者被实现为可记录在存储介质，或者被实现通过网络下载的原始存储在远程存储介质或非暂时机器可读存储介质中并将被存储在本地存储介质中的计算机代码，从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件的存储介质上的这样的软件处理。其中，存储介质可为磁碟、光盘、只读存储记忆体、随机存储记忆体、快闪存储器、硬盘或固态硬盘等；进一步地，存储介质还可以包括上述种类的存储器的组合。可以理解，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件，当软件或计算机代码被计算机、处理器或硬件访问且执行时，实现上述实施例示出的方法。
本发明的一部分可被应用为计算机程序产品，例如计算机程序指令，当其被计算机执行时，通过该计算机的操作，可以调用或提供根据本发明的方法和/或技术方案。本领域技术人员应能理解，计算机程序指令在计算机可读介质中的存在形式包括但不限于源文件、可执行文件、安装包文件等，相应地，计算机程序指令被计算机执行的方式包括但不限于：该计算机直接执行该指令，或者该计算机编译该指令后再执行对应的编译后程序，或者该计算机读取并执行该指令，或者该计算机读取并安装该指令后再执行对应的安装后程序。在此，计算机可读介质可以是可供计算机访问的任意可用的计算机可读存储介质或通信介质。
虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。
Claims (10)
1.一种目标标注类型确定方法，其特征在于，所述方法包括：
在第一预设数量个标注对象完成标注任务时，获取所述标注对象的标注数目和标注时间，其中，所述标注任务的数据类型具有第二预设数量个；
根据所述标注数目、所述标注时间以及人效数据计算公式，得到所述标注对象的人效数据；
根据所述人效数据和算法推导函数，确定所述标注对象对应的目标标注类型，其中，所述目标标注类型包含于预设数量个所述数据类型。
2.根据权利要求1所述的方法，其特征在于，获取所述标注对象的所述标注时间，包括：
获取所述标注对象处理所述标注任务的起始时刻和结束时刻；
在所述标注对象在处理所述标注任务过程中，如果所述标注对象挂起所述标注任务，获取挂起所述标注任务的第一时刻和恢复执行所述标注任务的第二时刻；
根据所述起始时刻、所述结束时刻、所述第一时刻以及所述第二时刻，得到所述标注时间。
3.根据权利要求1所述的方法，其特征在于，获取所述标注对象的所述标注数目，包括：
获取所述标注任务中的待标注信息；
统计所述待标注信息的数目，得到所述标注数目。
4.根据权利要求1所述的方法，其特征在于，所述根据所述标注数目、所述标注时间以及人效数据计算公式，得到所述标注对象的人效数据，包括：
根据所述标注对象，得到标注人数、审核人数以及复审人数；
根据所述标注数目，得到每个所述标注对象完成所述标注任务的标注量、审核量、复审量、所有标注对象的标注总量、审核总量以及复审总量；
根据所述标注时间，得到每个所述标注对象完成所述标注任务的标注用时、审核用时、复审用时、所有标注对象的标注总用时、审核总用时以及复审总用时；
根据所述标注量和所述标注用时，得到所述标注对象的标注效率；
根据所述审核量和所述审核用时，得到所述标注对象的审核效率；
根据所述复审量和所述复审用时，得到所述标注对象的复审效率；
根据所述标注总量和所述标注人数，得到人均标注数目，并根据所述标注总量和所述标注总用时，得到人均标注效率；
根据所述审核总量和所述审核人数，得到人均审核数目，并根据所述审核总量和所述审核总用时，得到人均审核效率；
根据所述复审总量和所述复审人数，得到人均复审数目，并根据所述复审总量和所述复审总用时，得到人均复审效率；
汇总所述标注效率、所述审核效率、所述复审效率、所述人均标注数目、所述人均标注效率、所述人均审核数目、所述人均审核效率、所述人均复审数目以及所述人均复审效率，得到所述人效数据。
5.根据权利要求4所述的方法，其特征在于，所述根据所述人效数据和算法推导函数，确定所述标注对象对应的目标标注类型，包括：
根据所述人效数据，得到所述标注对象完成每个所述标注任务的所述标注效率、所述审核效率以及所述复审效率；
根据所述标注效率、所述审核效率、所述复审效率以及所述算法推导函数，得到最大标注效率对应的第一标注任务、最大审核效率对应的第二标注任务以及最大复审效率对应的第三标注任务；
将所述第一标注任务的数据类型作为第一目标类型，将所述第二标注任务的数据类型作为第二目标类型，将所述第三标注任务的数据类型作为第三目标类型，其中，所述第一目标类型、所述第二目标类型以及所述第三目标类型包含于所述目标标注类型。
6.根据权利要求1所述的方法，其特征在于，在所述根据所述人效数据和算法推导函数，确定所述标注对象对应的目标标注类型之后，所述方法还包括：
将所述人效数据和所述目标标注类型在目标页面进行显示。
7.一种目标标注类型确定装置，其特征在于，所述装置包括：
获取模块，用于在第一预设数量个标注对象完成标注任务时，获取所述标注对象的标注数目和标注时间，其中，所述标注任务的数据类型具有第二预设数量个；
得到模块，用于根据所述标注数目、所述标注时间以及人效数据计算公式，得到所述标注对象的人效数据；
确定模块，用于根据所述人效数据和算法推导函数，确定所述标注对象对应的目标标注类型，其中，所述目标标注类型包含于第二预设数量个所述数据类型。
8.一种计算机设备，其特征在于，包括：
存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行权利要求1至6中任一项所述的目标标注类型确定方法。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机指令，所述计算机指令用于使计算机执行权利要求1至6中任一项所述的目标标注类型确定方法。
10.一种计算机程序产品，其特征在于，包括计算机指令，所述计算机指令用于使计算机执行权利要求1至6中任一项所述的目标标注类型确定方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410485089.9A CN118314401A (zh) | 2024-04-22 | 2024-04-22 | 目标标注类型确定方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410485089.9A CN118314401A (zh) | 2024-04-22 | 2024-04-22 | 目标标注类型确定方法、装置、计算机设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN118314401A true CN118314401A (zh) | 2024-07-09 |
Family
ID=91732718
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410485089.9A Pending CN118314401A (zh) | 2024-04-22 | 2024-04-22 | 目标标注类型确定方法、装置、计算机设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN118314401A (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109978356A (zh) * | 2019-03-15 | 2019-07-05 | 平安普惠企业管理有限公司 | 标注任务分配方法、装置、介质和计算机设备 |
| CN110378617A (zh) * | 2019-07-26 | 2019-10-25 | 中国工商银行股份有限公司 | 一种样本标注方法、装置、存储介质及设备 |
| CN110443476A (zh) * | 2019-07-23 | 2019-11-12 | 国家计算机网络与信息安全管理中心 | 基于知识标注评价的任务分配方法及系统 |
| CN110472054A (zh) * | 2019-08-15 | 2019-11-19 | 北京爱数智慧科技有限公司 | 一种数据处理方法和装置 |
| CN112465032A (zh) * | 2020-11-27 | 2021-03-09 | 北京芯翌智能信息技术有限公司 | 训练数据标注任务的分配方法及装置、计算设备 |
| CN113240126A (zh) * | 2021-01-13 | 2021-08-10 | 深延科技(北京)有限公司 | 标注管理方法、装置、设备及存储介质 |
| CN113434266A (zh) * | 2020-03-23 | 2021-09-24 | 杭州海康威视数字技术股份有限公司 | 任务分发方法、系统、电子设备及介质 |
-
2024
- 2024-04-22 CN CN202410485089.9A patent/CN118314401A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109978356A (zh) * | 2019-03-15 | 2019-07-05 | 平安普惠企业管理有限公司 | 标注任务分配方法、装置、介质和计算机设备 |
| CN110443476A (zh) * | 2019-07-23 | 2019-11-12 | 国家计算机网络与信息安全管理中心 | 基于知识标注评价的任务分配方法及系统 |
| CN110378617A (zh) * | 2019-07-26 | 2019-10-25 | 中国工商银行股份有限公司 | 一种样本标注方法、装置、存储介质及设备 |
| CN110472054A (zh) * | 2019-08-15 | 2019-11-19 | 北京爱数智慧科技有限公司 | 一种数据处理方法和装置 |
| CN113434266A (zh) * | 2020-03-23 | 2021-09-24 | 杭州海康威视数字技术股份有限公司 | 任务分发方法、系统、电子设备及介质 |
| CN112465032A (zh) * | 2020-11-27 | 2021-03-09 | 北京芯翌智能信息技术有限公司 | 训练数据标注任务的分配方法及装置、计算设备 |
| CN113240126A (zh) * | 2021-01-13 | 2021-08-10 | 深延科技(北京)有限公司 | 标注管理方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112801718B (zh) | 用户行为预测方法、装置、设备及介质 | |
| CN110084289B (zh) | 图像标注方法、装置、电子设备及存储介质 | |
| CN105719112A (zh) | 配送异常状态的确定方法、装置及服务器 | |
| US20200074509A1 (en) | Business data promotion method, device, terminal and computer-readable storage medium | |
| CN111860522B (zh) | 身份证图片处理方法、装置、终端及存储介质 | |
| CN111340240A (zh) | 实现自动机器学习的方法及装置 | |
| CN113538154B (zh) | 风险对象的识别方法、装置、存储介质和电子设备 | |
| US11763312B2 (en) | Automated rules execution testing and release system | |
| CN109711849B (zh) | 以太坊地址画像生成方法、装置、电子设备及存储介质 | |
| CN113420911A (zh) | 一种耗时预测方法、装置及存储介质 | |
| CN113268478A (zh) | 大数据分析方法、装置、电子设备及存储介质 | |
| CN115471215B (zh) | 一种业务流程处理方法及装置 | |
| CN118314401A (zh) | 目标标注类型确定方法、装置、计算机设备及存储介质 | |
| CN116303320A (zh) | 基于日志文件的实时任务管理方法、装置、设备及介质 | |
| CN113791860B (zh) | 一种信息转换方法、装置和存储介质 | |
| CN112559641B (zh) | 拉链表的处理方法及装置、可读存储介质、电子设备 | |
| CN112232960B (zh) | 交易应用系统监控方法及装置 | |
| CN113987351A (zh) | 基于人工智能的智能推荐方法、装置、电子设备及介质 | |
| CN114020717A (zh) | 分布式存储系统的性能数据获取方法、装置、设备及介质 | |
| CN111722977A (zh) | 系统巡检方法、装置及电子设备 | |
| CN113128942A (zh) | 可视化的工作流程处理方法及装置 | |
| CN115378842B (zh) | 一种资源监控的方法、装置、存储介质及设备 | |
| CN113326888B (zh) | 标注能力信息确定方法、相关装置及计算机程序产品 | |
| CN114331083A (zh) | 项目管理方法、装置、电子设备及介质 | |
| CN113506180A (zh) | 一种基于云平台的企业财务收支分析方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |