CN111159167B - 标注质量检测装置和方法 - Google Patents
标注质量检测装置和方法 Download PDFInfo
- Publication number
- CN111159167B CN111159167B CN201911389195.2A CN201911389195A CN111159167B CN 111159167 B CN111159167 B CN 111159167B CN 201911389195 A CN201911389195 A CN 201911389195A CN 111159167 B CN111159167 B CN 111159167B
- Authority
- CN
- China
- Prior art keywords
- labeling
- quality
- marking
- data
- object data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000002372 labelling Methods 0.000 title claims abstract description 298
- 238000001514 detection method Methods 0.000 title claims abstract description 149
- 238000000034 method Methods 0.000 title claims abstract description 56
- 230000008569 process Effects 0.000 claims abstract description 28
- 238000000605 extraction Methods 0.000 claims description 46
- 238000004590 computer program Methods 0.000 claims description 13
- 230000015572 biosynthetic process Effects 0.000 claims description 10
- 238000003786 synthesis reaction Methods 0.000 claims description 10
- 230000006872 improvement Effects 0.000 description 9
- 238000007689 inspection Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000003709 image segmentation Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 239000003550 marker Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种标注质量检测装置，包括：标注前后一致性检测模块，用于在标注过程中检测同一类别标注任务在前后不同时间段上对相同的待标注对象数据进行标注形成的标注数据的一致性；标注协同一致性检测模块，用于在标注过程中检测不同类别标注任务对相同的待标注对象数据进行标注形成的标注数据的一致性；标注准确率检测模块，用于在标注过程中，将待标注对象数据的已标注数据作为预留标注数据，对待标注对象数据进行标注并形成对应的标注数据，对该标注数据和预留标注数据进行准确性比较并形成第三标注质量；质量综合模块，用于根据3个标注质量确定综合标注质量。本发明还提供一种标注质量检测方法。本发明能实现自动检测标注质量。
Description
技术领域
本发明涉及数据处理领域，特别是涉及一种标注质量检测装置。本发明还涉及一种标注质量检测方法。
背景技术
在人工智能（Artificial Intelligence，AI）领域中，往往需要对数据进行标注才能实现对数据的识别，故对数据的标注质量好坏非常重要，标注质量较差时，有可能出现识别偏差或不能识别的情形。
现有技术中，对数据的标注所涉及的数据量和工作量都巨大，目前对于大规模数据标注，没有好的标注数据质量检测的工具，只能通过人力进行质量检测。如全查或者抽查等，对于不同标注任务，可能使用的方法也有所不同。
本领域技术人员应当知道，采用人工进行检查时，不仅效率低下，而且检查人员在工作量大时难免不会出错，所以，急需一种能实现自动标注质量检测方法。
发明内容
本发明所要解决的技术问题是提供一种标注质量检测装置，能实现自动检测标注质量，能保证后续算法训练结果可靠。为此，本发明还提供一种标注质量检测方法。
为解决上述技术问题，本发明采用如下技术方案：
第一方面，本发明提供一种标注质量检测装置包括：标注前后一致性检测模块，标注协同一致性检测模块，标注准确率检测模块，质量综合模块。
所述标注前后一致性检测模块用于在标注过程中检测同一类别标注任务在前后不同时间段上对相同的待标注对象数据进行标注形成的标注数据的一致性并形成第一标注质量。标注前后一致性越高，则第一标注质量越高；反之，标注前后一致性越低，则第一标注质量越低。
所述标注协同一致性检测模块用于在标注过程中检测不同类别标注任务对相同的待标注对象数据进行标注形成的标注数据的一致性并形成第二标注质量。标注协同一致性越高，则第二标注质量越高；反之，标注协同一致性越低，则第二标注质量越低。
所述标注准确率检测模块用于实现：在标注过程中，待标注对象数据为已经做过标注且已标注数据被验证为准确的数据，将待标注对象数据的已标注数据作为预留标注数据，对待标注对象数据进行标注并形成对应的标注数据，对该标注数据和预留标注数据进行准确性比较并形成第三标注质量；
所述质量综合模块用于根据所述第一标注质量、所述第二标注质量和所述第三标注质量确定综合标注质量。
所述同一类别标注任务由同一标注员进行标注；所述不同类别标注任务由不同标注员进行标注。所述不同类别标注任务包括类别分类任务、物体检出任务、图像分割任务等等类别。
进一步的改进是，所述标注前后一致性检测模块还包括：在对应的所述标注员已完成的标注的待标注对象中抽取所需数量的用于比较的待标注对象数据，将抽取的用于比较的待标注对象数据在后续时间段中进行注入以给相同的所述标注员进行标注。
进一步的改进是，所述标注前后一致性检测模块中，将抽取的用于比较的待标注对象数据在后续时间段中进行注入的次数为一次以上。
进一步的改进是，所述标注前后一致性检测模块中，抽取用于比较的待标注对象数据的数量按照设定的抽取概率确定，以满足所述第一标注质量的检测要求；所述抽取概率为对应的所述待标注对象数据被抽取的概率，所述抽取概率越大，所述第一标注质量越高。
进一步的改进是，所述标注协同一致性检测模块还包括：抽取所需数量的用于比较的待标注对象数据，将抽取的各所述待标注对象数据同时或依次分配给各不同的标注员。
进一步的改进是，所述标注协同一致性检测模块中，抽取用于比较的待标注对象数据的数量按照设定的抽取概率确定，以满足所述第二标注质量的检测要求；所述抽取概率为对应的所述待标注对象数据被抽取的概率，所述抽取概率越大，所述第二标注质量越高。
进一步的改进是，所述标注准确率检测模块中，已标注准确的待标注对象数据的数量根据所述第三标注质量的检测要求设定，已标注准确的待标注对象数据的数量越大，所述第三标注质量越高。
进一步的改进是，标注质量检测装置用于对同一批标注任务进行质量检测。
进一步的改进是，所述质量综合模块中，当所述第一标注质量、所述第二标注质量和所述第三标注质量都分别大于各自的阈值时，所述综合标注质量满足要求。
或者，当所述第一标注质量、所述第二标注质量和所述第三标注质量的求和值或求积值大于对应的阈值时，所述综合标注质量满足要求。
进一步的改进是，当所述综合标注质量不满足要求时，所述标注质量检测装置对对应的标注员发出警报；当警报持续发生或多次发生时，所述标注质量检测装置自动提醒管理员或停止对应的标注员的标注任务。
第二方面，本发明提供一种标注质量检测方法包括如下步骤：
步骤一、进行标注前后一致性检测，包括：在标注过程中检测同一类别标注任务在前后不同时间段上对相同的待标注对象数据进行标注形成的标注数据的一致性并形成第一标注质量。标注前后一致性越高，则第一标注质量越高；反之，标注前后一致性越低，则第一标注质量越低。
步骤二、进行标注协同一致性检测，包括：在标注过程中检测不同类别标注任务对相同的待标注对象数据进行标注形成的标注数据的一致性并形成第二标注质量。标注协同一致性越高，则第二标注质量越高；反之，标注协同一致性越低，则第二标注质量越低。
步骤三、进行标注准确率检测，包括：在标注过程中，待标注对象数据为已经做过标注且已标注数据被验证为准确的数据，将待标注对象数据的已标注数据作为预留标注数据，对待标注对象数据进行标注并形成对应的标注数据，对该标注数据和预留标注数据进行准确性比较并形成第三标注质量；
步骤四、确定综合标注质量，包括：根据所述第一标注质量、所述第二标注质量和所述第三标注质量确定综合标注质量。
步骤一中所述同一类别标注任务由同一标注员进行标注；步骤二中所述不同类别标注任务由不同标注员进行标注。所述不同类别标注任务包括类别分类任务、物体检出任务、图像分割任务等等类别。
进一步的改进是，步骤一的所述标注前后一致性检测还包括：在对应的所述标注员已完成的标注的待标注对象中抽取所需数量的用于比较的待标注对象数据，将抽取的用于比较的待标注对象数据在后续时间段中进行注入以给相同的所述标注员进行标注。
进一步的改进是，所述标注前后一致性检测中，将抽取的用于比较的待标注对象数据在后续时间段中进行注入的次数为一次以上。
进一步的改进是，所述标注前后一致性检测中，抽取用于比较的待标注对象数据的数量按照设定的抽取概率确定，以满足所述第一标注质量的检测要求；所述抽取概率为对应的所述待标注对象数据被抽取的概率，所述抽取概率越大，所述第一标注质量越高。
进一步的改进是，步骤二的所述标注协同一致性检测还包括：抽取所需数量的用于比较的待标注对象数据，将抽取的各所述待标注对象数据同时或依次分配给各不同的标注员。
进一步的改进是，所述标注协同一致性检测中，抽取用于比较的待标注对象数据的数量按照设定的抽取概率确定，以满足所述第二标注质量的检测要求；所述抽取概率为对应的所述待标注对象数据被抽取的概率，所述抽取概率越大，所述第二标注质量越高。
进一步的改进是，所述标注准确率检测模块中，已标注准确的待标注对象数据的数量根据所述第三标注质量的检测要求设定，已标注准确的待标注对象数据的数量越大，所述第三标注质量越高。
进一步的改进是，标注质量检测方法用于对同一批标注任务进行质量检测。
进一步的改进是，在步骤四的所述质量综合中，当所述第一标注质量、所述第二标注质量和所述第三标注质量都分别大于各自的阈值时，所述综合标注质量满足要求。
或者，当所述第一标注质量、所述第二标注质量和所述第三标注质量的求和值或求积值大于对应的阈值时，所述综合标注质量满足要求。
进一步的改进是，当所述综合标注质量不满足要求时，对对应的标注员发出警报；当警报持续发生或多次发生时，自动提醒管理员或停止对应的标注员的标注任务。
第三方面，本发明实施例还提供一种标注质量检测装置，包括：至少一个处理器；与所述至少一个处理器耦合的存储器，所述存储器存储有可执行指令，其中，所述可执行指令在被所述至少一个处理器执行时使得实现如上第二方面的任一项所述的方法。
第四方面，本发明实施例还提供一种芯片，用于执行上述第一方面中的方法。具体地，该芯片包括：处理器，用于从存储器中调用并运行计算机程序，使得安装有该芯片的设备用于执行上述第二方面中的方法。
第五方面，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上第二方面的任一项所述的方法。
第六方面，本发明实施例还提供一种计算机程序产品，包括计算机程序指令，该计算机程序指令使得计算机执行上述第二方面中的方法。
本发明能在标注过程中采用对应的模块分别自动实现标注前后一致性检测、标注协同一致性检测和标注准确率检测，通过3种检测能分别形成对应的3个标注质量，对3个标注质量进行综合，能形成很好的反应标注员的真实标注质量的综合标注质量，所以本发明能实现自动检查标注质量，从而能保证后续算法训练结果可靠。和现有技术中通过人工检测相比，本发明能大大提高检测效率，且能避免检测错误。
而且，本发明还能根据所需的标注质量要求对检测的数据数量进行调整，从而能在满足标注质量的要求小降低人工付出。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例标注质量检测装置的结构图；
图2是本发明实施例标注质量检测方法的流程图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
本方案发明人发现，在现有技术中，对数据的标注所涉及的数据量和工作量都巨大，目前对于大规模数据标注，没有好的标注数据质量检测的工具，只能通过人力进行质量检测。如全查或者抽查等，对于不同标注任务，可能使用的方法也有所不同。采用人工进行检查时，不仅效率低下，而且检查人员在工作量大时难免不会出错，所以，急需一种能实现自动标注质量检测装置和方法。本发明实施例提供如下方案：
如图1所示，是本发明实施例标注质量检测装置的结构图；第一方面，本实施例提供一种标注质量检测装置包括：标注前后一致性检测模块1，标注协同一致性检测模块2，标注准确率检测模块3，质量综合模块4。
本发明实施例中，标注质量检测装置用于对同一批标注任务进行质量检测。所述标注任务包括类别分类任务、物体检出任务、图像分割任务等等不同类别标注任务。
所述标注前后一致性检测模块1用于在标注过程中检测同一类别标注任务在前后不同时间段上对相同的待标注对象数据进行标注形成的标注数据的一致性并形成第一标注质量m1。标注前后一致性越高，则第一标注质量m1越高；反之，标注前后一致性越低，则第一标注质量m1越低。所述同一类别标注任务由同一标注员进行标注。
所述标注前后一致性检测模块1还包括：在对应的所述标注员已完成的标注的待标注对象中抽取所需数量的用于比较的待标注对象数据，将抽取的用于比较的待标注对象数据在后续时间段中进行注入以给相同的所述标注员进行标注。
所述标注前后一致性检测模块1中，将抽取的用于比较的待标注对象数据在后续时间段中进行注入的次数为一次以上。
所述标注前后一致性检测模块1中，抽取用于比较的待标注对象数据的数量按照设定的抽取概率确定，抽取概率例如为5%，以满足所述第一标注质量m1的检测要求；所述抽取概率为对应的所述待标注对象数据被抽取的概率，所述抽取概率越大，所述第一标注质量m1越高。通常，抽取概率是设定值，不同方面的抽查比例，根据任务管理员的需求和经验来设定抽取概率范围和所述第一标注质量m1满足要求的阈值范围，抽取概率越大，所述第一标注质量m1越高，但人工付出越多，跟具体要求有关，抽取概率范围和阈值范围是经验值。比如，对于金融支付等场景，精度要求高，那么阈值就设置的高，对于商场里的广告推荐场景，精度要求低，那么阈值就可以设置的低，诸如此类。
所述标注协同一致性检测模块2用于在标注过程中检测不同类别标注任务对相同的待标注对象数据进行标注形成的标注数据的一致性并形成第二标注质量m2。标注协同一致性越高，则第二标注质量m2越高；反之，标注协同一致性越低，则第二标注质量m2越低。所述不同类别标注任务由不同标注员进行标注。
所述标注协同一致性检测模块2还包括：抽取所需数量的用于比较的待标注对象数据，将抽取的各所述待标注对象数据同时或依次分配给各不同的标注员。
所述标注协同一致性检测模块2中，抽取用于比较的待标注对象数据的数量按照设定的抽取概率确定，抽取概率例如为5%，以满足所述第二标注质量m2的检测要求；所述抽取概率为对应的所述待标注对象数据被抽取的概率，所述抽取概率越大，所述第二标注质量m2越高。通常，根据任务管理员的需求和经验来设定抽取概率范围和所述第二标注质量m2满足要求的阈值范围，抽取概率越大，所述第二标注质量m2越高，但人工付出越多，跟具体要求有关，抽取概率范围和阈值范围是经验值。比如，对于金融支付等场景，精度要求高，那么阈值就设置的高，对于商场里的广告推荐场景，精度要求低，那么阈值就可以设置的低，诸如此类。
所述标注准确率检测模块3用于实现：在标注过程中，为标注员提供待标注对象数据，待标注对象数据为已经做过标注且已标注数据被验证为准确的数据，将待标注对象数据的已标注数据作为预留标注数据，标注员对待标注对象数据进行标注并形成对应的标注数据，对标注员的标注形成的标注数据和预留标注数据进行准确性比较并形成第三标注质量m3。
所述标注准确率检测模块3中，已标注准确的待标注对象数据的数量根据所述第三标注质量m3的检测要求设定，已标注准确的待标注对象数据的数量越大，所述第三标注质量m3越高。例如，已标注准确的待标注对象数据的数量能为总的待标注对象数据的1%。通常，根据任务管理员的需求和经验来设定已标注准确的待标注对象数据的数量和所述第三标注质量m3满足要求的阈值范围，已标注准确的待标注对象数据的数量越大，所述第三标注质量m3越高，但人工付出越多，跟具体要求有关，抽取概率范围和阈值范围是经验值。
所述质量综合模块4用于根据所述第一标注质量m1、所述第二标注质量m2和所述第三标注质量m3确定综合标注质量m4。
所述质量综合模块4中，当所述第一标注质量m1、所述第二标注质量m2和所述第三标注质量m3都分别大于各自的阈值时，所述综合标注质量m4满足要求。
或者，当所述第一标注质量m1、所述第二标注质量m2和所述第三标注质量m3的求和值或求积值大于对应的阈值时，所述综合标注质量m4满足要求。
当所述综合标注质量m4不满足要求时，所述标注质量检测装置对对应的标注员发出警报；当警报持续发生或多次发生时，所述标注质量检测装置自动提醒管理员或停止对应的标注员的标注任务。
本发明实施例能在标注过程中采用对应的模块分别自动实现标注前后一致性检测、标注协同一致性检测和标注准确率检测，通过3种检测能分别形成对应的3个标注质量，对3个标注质量进行综合，能形成很好的反应标注员的真实标注质量的综合标注质量m4，所以本发明实施例能实现自动检查标注质量，和现有技术中通过人工检测相比，本发明实施例能大大提高检测效率，且能避免检测错误。
而且，本发明实施例还能根据所需的标注质量要求对检测的数据数量进行调整，从而能在满足标注质量的要求小降低人工付出。
如图2所示，是本发明实施例标注质量检测方法的流程图；第二方面，本实施例提供一种标注质量检测方法，包括如下步骤：
步骤一、进行标注前后一致性检测，包括：在标注过程中检测各标注员自身在前后不同时间段上对相同的待标注对象数据进行标注形成的标注数据的一致性并形成第一标注质量m1。
所述标注前后一致性检测还包括：在对应的所述标注员已完成的标注的待标注对象中抽取所需数量的用于比较的待标注对象数据，将抽取的用于比较的待标注对象数据在后续时间段中进行注入以给相同的所述标注员进行标注。
所述标注前后一致性检测中，将抽取的用于比较的待标注对象数据在后续时间段中进行注入的次数为一次以上。
所述标注前后一致性检测中，抽取用于比较的待标注对象数据的数量按照设定的抽取概率确定，以满足所述第一标注质量m1的检测要求；所述抽取概率为对应的所述待标注对象数据被抽取的概率，所述抽取概率越大，所述第一标注质量m1越高。
步骤二、进行标注协同一致性检测，包括：在标注过程中检测不同标注员之间对相同的待标注对象数据进行标注形成的标注数据的一致性并形成第二标注质量m2。
所述标注协同一致性检测还包括：抽取所需数量的用于比较的待标注对象数据，将抽取的各所述待标注对象数据同时或依次分配给各不同的标注员。
所述标注协同一致性检测中，抽取用于比较的待标注对象数据的数量按照设定的抽取概率确定，以满足所述第二标注质量m2的检测要求；所述抽取概率为对应的所述待标注对象数据被抽取的概率，所述抽取概率越大，所述第二标注质量m2越高。
步骤三、进行标注准确率检测，包括：在标注过程中，为标注员提供待标注对象数据，待标注对象数据为已经做过标注且已标注数据被验证为准确的数据，将待标注对象数据的已标注数据作为预留标注数据，标注员对待标注对象数据进行标注并形成对应的标注数据，对标注员的标注形成的标注数据和预留标注数据进行准确性比较并形成第三标注质量m3。
所述标注准确率检测模块3中，已标注准确的待标注对象数据的数量根据所述第三标注质量m3的检测要求设定，已标注准确的待标注对象数据的数量越大，所述第三标注质量m3越高。
步骤四、进行质量综合，包括：对所述第一标注质量m1、所述第二标注质量m2和所述第三标注质量m3进行综合处理并形成综合标注质量m4。
步骤四、确定综合标注质量，包括：根据所述第一标注质量m1、所述第二标注质量m2和所述第三标注质量m3确定综合标注质量m4。
标注质量检测方法用于对同一批标注任务进行质量检测。
在所述质量综合中，当所述第一标注质量m1、所述第二标注质量m2和所述第三标注质量m3都分别大于各自的阈值时，所述综合标注质量m4满足要求。
或者，当所述第一标注质量m1、所述第二标注质量m2和所述第三标注质量m3的求和值或求积值大于对应的阈值时，所述综合标注质量m4满足要求。
当所述综合标注质量m4不满足要求时，对对应的标注员发出警报；当警报持续发生或多次发生时，自动提醒管理员或停止对应的标注员的标注任务。
在第三方面，本发明还提供一种标注质量检测装置，包括：
至少一个处理器；与至少一个处理器耦合的存储器，存储器存储有可执行指令，其中，可执行指令在被至少一个处理器执行时使得实现本发明第二方面的方法。
本实施例提供一种标注质量检测装置，包括：至少一个处理器；与至少一个处理器耦合的存储器。处理器和存储器可以单独设置，也可以集成在一起。
例如，存储器可以包括随机存储器、闪存、只读存储器、可编程只读存储器、非易失性存储器或寄存器等。处理器可以是中央处理器（Central Processing Unit，CPU）等。或者是图像处理器(Graphic Processing Unit,GPU)存储器可以存储可执行指令。处理器可以执行在存储器中存储的可执行指令，从而实现本文描述的各个过程。
可以理解，本实施例中的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是ROM (Read-OnlyMemory，只读存储器)、PROM (ProgrammableROM，可编程只读存储器)、EPROM (ErasablePROM，可擦除可编程只读存储器)、EEPROM (ElectricallyEPROM，电可擦除可编程只读存储器)或闪存。易失性存储器可以是RAM (RandomAccessMemory，随机存取存储器)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如SRAM (StaticRAM，静态随机存取存储器)、DRAM (DynamicRAM，动态随机存取存储器)、SDRAM (SynchronousDRAM，同步动态随机存取存储器)、DDRSDRAM (DoubleDataRate SDRAM，双倍数据速率同步动态随机存取存储器)、ESDRAM (Enhanced SDRAM，增强型同步动态随机存取存储器)、SLDRAM(SynchlinkDRAM，同步连接动态随机存取存储器)和DRRAM (DirectRambusRAM，直接内存总线随机存取存储器)。本文描述的存储器42旨在包括但不限于这些和任意其它适合类型的存储器。
在一些实施方式中，存储器存储了如下的元素，升级包、可执行单元或者数据结构，或者他们的子集，或者他们的扩展集：操作系统和应用程序。
其中，操作系统，包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序，包含各种应用程序，用于实现各种应用业务。实现本发明实施例方法的程序可以包含在应用程序中。
在本发明实施例中，处理器通过调用存储器存储的程序或指令，具体的，可以是应用程序中存储的程序或指令，处理器用于执行第二方面所提供的方法步骤。
第四方面，本发明实施例还提供一种芯片，用于执行上述第二方面中的方法。具体地，该芯片包括：处理器，用于从存储器中调用并运行计算机程序，使得安装有该芯片的设备用于执行上述第二方面中的方法。
此外，在第五方面，本发明还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现本发明第二方面的方法的步骤。
例如，机器可读存储介质可以包括但不限于各种已知和未知类型的非易失性存储器。
第六方面，本发明实施例还提供一种计算机程序产品，包括计算机程序指令，该计算机程序指令使得计算机执行上述第二方面中的方法。
本领域技术人员可以明白的是，结合本文中所公开的实施例描述的各示例的单元及算法步骤能够以电子硬件、或者软件和电子硬件的结合来实现。这些功能是以硬件还是软件方式来实现，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以针对每个特定的应用，使用不同的方式来实现所描述的功能，但是这种实现并不应认为超出本申请的范围。
在本申请实施例中，所公开的系统、装置和方法可以通过其它方式来实现。例如，单元的划分仅仅为一种逻辑功能划分，在实际实现时还可以有另外的划分方式。例如，多个单元或组件可以进行组合或者可以集成到另一个系统中。另外，各个单元之间的耦合可以是直接耦合或间接耦合。另外，在本申请实施例中的各功能单元可以集成在一个处理单元中，也可以是单独的物理存在等等。
应理解，在本申请的各种实施例中，各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请的实施例的实施过程构成任何限定。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在机器可读存储介质中。因此，本申请的技术方案可以以软件产品的形式来体现，该软件产品可以存储在机器可读存储介质中，其可以包括若干指令用以使得电子设备执行本申请实施例所描述的技术方案的全部或部分过程。上述存储介质可以包括ROM、RAM、可移动盘、硬盘、磁盘或者光盘等各种可以存储程序代码的介质。
以上内容仅为本申请的具体实施方式，通过具体实施例对本发明进行了详细的说明，但这些并非构成对本发明的限制，本申请的保护范围并不局限于此。本领域技术人员在本申请所公开的技术范围内可以进行变化或替换，这些变化或替换都应当视为在本申请的保护范围之内。
Claims (14)
1.一种标注质量检测装置，其特征在于，包括：标注前后一致性检测模块，标注协同一致性检测模块，标注准确率检测模块，质量综合模块；
所述标注前后一致性检测模块用于在标注过程中检测同一类别标注任务在前后不同时间段上对相同的待标注对象数据进行标注形成的标注数据的一致性并形成第一标注质量；所述同一类别标注任务由同一标注员进行标注；所述标注前后一致性检测模块还包括：在对应的所述标注员已完成的标注的待标注对象中抽取所需数量的用于比较的待标注对象数据，将抽取的用于比较的待标注对象数据在后续时间段中进行注入以给相同的所述标注员进行标注；所述标注前后一致性检测模块中，抽取用于比较的待标注对象数据的数量按照设定的抽取概率确定，以满足所述第一标注质量的检测要求；所述抽取概率为对应的所述待标注对象数据被抽取的概率，所述抽取概率越大，所述第一标注质量越高；
所述标注协同一致性检测模块用于在标注过程中检测不同类别标注任务对相同的待标注对象数据进行标注形成的标注数据的一致性并形成第二标注质量；所述不同类别标注任务由不同标注员进行标注；所述标注协同一致性检测模块还包括：抽取所需数量的用于比较的待标注对象数据，将抽取的各所述待标注对象数据同时或依次分配给各不同的标注员；所述标注协同一致性检测模块中，抽取用于比较的待标注对象数据的数量按照设定的抽取概率确定，以满足所述第二标注质量的检测要求；所述抽取概率为对应的所述待标注对象数据被抽取的概率，所述抽取概率越大，所述第二标注质量越高；
所述标注准确率检测模块用于实现：在标注过程中，待标注对象数据为已经做过标注且已标注数据被验证为准确的数据，将待标注对象数据的已标注数据作为预留标注数据，对待标注对象数据进行标注并形成对应的标注数据，对该标注数据和预留标注数据进行准确性比较并形成第三标注质量；所述标注准确率检测模块中，已标注准确的待标注对象数据的数量根据所述第三标注质量的检测要求设定，已标注准确的待标注对象数据的数量越大，所述第三标注质量越高；
所述质量综合模块用于根据所述第一标注质量、所述第二标注质量和所述第三标注质量确定综合标注质量。
2.如权利要求1所述的标注质量检测装置，其特征在于：所述标注前后一致性检测模块中，将抽取的用于比较的待标注对象数据在后续时间段中进行注入的次数为一次以上。
3.如权利要求1所述的标注质量检测装置，其特征在于：标注质量检测装置用于对同一批标注任务进行质量检测。
4.如权利要求1所述的标注质量检测装置，其特征在于：所述质量综合模块中，当所述第一标注质量、所述第二标注质量和所述第三标注质量都分别大于各自的阈值时，所述综合标注质量满足要求；
或者，当所述第一标注质量、所述第二标注质量和所述第三标注质量的求和值或求积值大于对应的阈值时，所述综合标注质量满足要求。
5.如权利要求4所述的标注质量检测装置，其特征在于：当所述综合标注质量不满足要求时，所述标注质量检测装置对对应的标注员发出警报；当警报持续发生或多次发生时，所述标注质量检测装置自动提醒管理员或停止对应的标注员的标注任务。
6.一种标注质量检测方法，其特征在于，包括如下步骤：
步骤一、进行标注前后一致性检测，包括：在标注过程中检测同一类别标注任务在前后不同时间段上对相同的待标注对象数据进行标注形成的标注数据的一致性并形成第一标注质量；所述同一类别标注任务由同一标注员进行标注；所述标注前后一致性检测还包括：在对应的所述标注员已完成的标注的待标注对象中抽取所需数量的用于比较的待标注对象数据，将抽取的用于比较的待标注对象数据在后续时间段中进行注入以给相同的所述标注员进行标注；所述标注前后一致性检测中，抽取用于比较的待标注对象数据的数量按照设定的抽取概率确定，以满足所述第一标注质量的检测要求；所述抽取概率为对应的所述待标注对象数据被抽取的概率，所述抽取概率越大，所述第一标注质量越高；
步骤二、进行标注协同一致性检测，包括：在标注过程中检测不同类别标注任务对相同的待标注对象数据进行标注形成的标注数据的一致性并形成第二标注质量；所述不同类别标注任务由不同标注员进行标注；所述标注协同一致性检测还包括：抽取所需数量的用于比较的待标注对象数据，将抽取的各所述待标注对象数据同时或依次分配给各不同的标注员；所述标注协同一致性检测中，抽取用于比较的待标注对象数据的数量按照设定的抽取概率确定，以满足所述第二标注质量的检测要求；所述抽取概率为对应的所述待标注对象数据被抽取的概率，所述抽取概率越大，所述第二标注质量越高；
步骤三、进行标注准确率检测，包括：在标注过程中，待标注对象数据为已经做过标注且已标注数据被验证为准确的数据，将待标注对象数据的已标注数据作为预留标注数据，对待标注对象数据进行标注并形成对应的标注数据，对该标注数据和预留标注数据进行准确性比较并形成第三标注质量；所述标注准确率检测模块中，已标注准确的待标注对象数据的数量根据所述第三标注质量的检测要求设定，已标注准确的待标注对象数据的数量越大，所述第三标注质量越高；
步骤四、确定综合标注质量，包括：根据所述第一标注质量、所述第二标注质量和所述第三标注质量确定综合标注质量。
7.如权利要求6所述的标注质量检测方法，其特征在于：所述标注前后一致性检测中，将抽取的用于比较的待标注对象数据在后续时间段中进行注入的次数为一次以上。
8.如权利要求6所述的标注质量检测方法，其特征在于：标注质量检测方法用于对同一批标注任务进行质量检测。
9.如权利要求6所述的标注质量检测方法，其特征在于：在步骤四的所述质量综合中，当所述第一标注质量、所述第二标注质量和所述第三标注质量都分别大于各自的阈值时，所述综合标注质量满足要求；
或者，当所述第一标注质量、所述第二标注质量和所述第三标注质量的求和值或求积值大于对应的阈值时，所述综合标注质量满足要求。
10.如权利要求9所述的标注质量检测方法，其特征在于：当所述综合标注质量不满足要求时，对对应的标注员发出警报；当警报持续发生或多次发生时，自动提醒管理员或停止对应的标注员的标注任务。
11.一种标注质量检测装置，其特征在于，包括：
至少一个处理器；
与所述至少一个处理器耦合的存储器，所述存储器存储有可执行指令，其中，所述可执行指令在被所述至少一个处理器执行时使得实现根据权利要求6至10中任一项所述的方法。
12.一种芯片，其特征在于，包括：处理器，用于从存储器中调用并运行计算机程序，使得安装有所述芯片的设备执行：如权利要求6至10中任一项所述的方法。
13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求6至10中任一项所述的方法的步骤。
14.一种计算机程序产品，其特征在于，包括计算机程序指令，该计算机程序指令使得计算机执行如权利要求6至10中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911389195.2A CN111159167B (zh) | 2019-12-30 | 2019-12-30 | 标注质量检测装置和方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911389195.2A CN111159167B (zh) | 2019-12-30 | 2019-12-30 | 标注质量检测装置和方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111159167A CN111159167A (zh) | 2020-05-15 |
| CN111159167B true CN111159167B (zh) | 2024-02-23 |
Family
ID=70559143
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911389195.2A Active CN111159167B (zh) | 2019-12-30 | 2019-12-30 | 标注质量检测装置和方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111159167B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111932536B (zh) * | 2020-09-29 | 2021-03-05 | 平安国际智慧城市科技股份有限公司 | 病灶标注的验证方法、装置、计算机设备及存储介质 |
| CN112528975A (zh) * | 2021-02-08 | 2021-03-19 | 常州微亿智造科技有限公司 | 工业质检方法、装置和计算机可读存储介质 |
| CN114996389B (zh) * | 2022-08-04 | 2022-10-11 | 中科雨辰科技有限公司 | 一种标注类别一致性检验方法、存储介质及电子设备 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107885722A (zh) * | 2017-10-31 | 2018-04-06 | 北京奇艺世纪科技有限公司 | 一种关键词抽取方法和装置 |
| CN109684947A (zh) * | 2018-12-11 | 2019-04-26 | 广州景骐科技有限公司 | 标注质量监控方法、装置、计算机设备和存储介质 |
| WO2019137196A1 (zh) * | 2018-01-11 | 2019-07-18 | 阿里巴巴集团控股有限公司 | 图像标注信息助理方法、装置、服务器及系统 |
-
2019
- 2019-12-30 CN CN201911389195.2A patent/CN111159167B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107885722A (zh) * | 2017-10-31 | 2018-04-06 | 北京奇艺世纪科技有限公司 | 一种关键词抽取方法和装置 |
| WO2019137196A1 (zh) * | 2018-01-11 | 2019-07-18 | 阿里巴巴集团控股有限公司 | 图像标注信息助理方法、装置、服务器及系统 |
| CN109684947A (zh) * | 2018-12-11 | 2019-04-26 | 广州景骐科技有限公司 | 标注质量监控方法、装置、计算机设备和存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 陈娟 ; 朱福喜 ; .结合半监督与主动学习的时间序列PU问题分类.计算机工程与应用.2017,(11),全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111159167A (zh) | 2020-05-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111159167B (zh) | 标注质量检测装置和方法 | |
| CN108197658B (zh) | 图像标注信息处理方法、装置、服务器及系统 | |
| JP7000627B2 (ja) | 標的細胞標識方法、装置、記憶媒体及び端末デバイス | |
| CN107423278B (zh) | 评价要素的识别方法、装置及系统 | |
| CN109858476B (zh) | 标签的扩充方法和电子设备 | |
| CN109657675B (zh) | 图像标注方法、装置、计算机设备和可读存储介质 | |
| CN109783356A (zh) | 一种自动化测试方法及终端 | |
| US20190318531A1 (en) | Data plot processing | |
| CN110969600A (zh) | 一种产品缺陷检测方法、装置、电子设备及存储介质 | |
| CN113837151A (zh) | 表格图像处理方法、装置、计算机设备及可读存储介质 | |
| CN110647931A (zh) | 物体检测方法、电子设备、系统及介质 | |
| CN110647523B (zh) | 数据质量的分析方法及装置、存储介质、电子设备 | |
| CN109324956B (zh) | 系统测试方法、设备及计算机可读存储介质 | |
| CN112632926B (zh) | 票据的数据处理方法、装置、电子设备及存储介质 | |
| CN116453125A (zh) | 基于人工智能的数据录入方法、装置、设备及存储介质 | |
| CN115757075A (zh) | 任务异常检测方法、装置、计算机设备及存储介质 | |
| CN114968816A (zh) | 基于数据模拟的策略测试方法、装置、设备及存储介质 | |
| CN114021716A (zh) | 一种模型训练的方法、系统及电子设备 | |
| US20210350134A1 (en) | Generating event logs from video streams | |
| CN106557564A (zh) | 一种对象数据分析方法及装置 | |
| EP2829991B1 (en) | Systems and methods for signal detection | |
| CN104572595A (zh) | 字库校验装置和字库校验方法 | |
| CN106446902A (zh) | 非文字图像识别方法和装置 | |
| CN117744625A (zh) | 日志相似度确定方法、装置、设备及存储介质 | |
| CN117423125A (zh) | 一种图像检测方法、装置、设备及其存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |