CN114565360A - 一种标注数据审核方法、装置、电子设备及可读存储介质 - Google Patents
一种标注数据审核方法、装置、电子设备及可读存储介质 Download PDFInfo
- Publication number
- CN114565360A CN114565360A CN202210194138.4A CN202210194138A CN114565360A CN 114565360 A CN114565360 A CN 114565360A CN 202210194138 A CN202210194138 A CN 202210194138A CN 114565360 A CN114565360 A CN 114565360A
- Authority
- CN
- China
- Prior art keywords
- data
- batch
- determining
- auditing
- file data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 70
- 238000007689 inspection Methods 0.000 claims abstract description 54
- 238000012550 audit Methods 0.000 claims abstract description 21
- 238000005070 sampling Methods 0.000 claims description 57
- 230000008569 process Effects 0.000 description 19
- 238000010586 diagram Methods 0.000 description 5
- 230000009191 jumping Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000009432 framing Methods 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
- G06Q10/103—Workflow collaboration or project management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
- G06Q10/06316—Sequencing of tasks or work
Landscapes
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Engineering & Computer Science (AREA)
- Strategic Management (AREA)
- Entrepreneurship & Innovation (AREA)
- Economics (AREA)
- Tourism & Hospitality (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Game Theory and Decision Science (AREA)
- Development Economics (AREA)
- Educational Administration (AREA)
- Data Mining & Analysis (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供一种标注数据审核方法、装置、电子设备及可读存储介质，涉及数据处理技术领域。该方法包括：根据待审核项目的项目配置信息，确定抽检比例和所述待审核项目关联的目标数据集的批次信息；根据所述抽检比例，确定第一批次中的第一抽检文件数据，并对所述第一抽检文件数据进行审核；在所述第一抽检文件数据均完成审核的情况下，判断是否进行第二批次审核。本发明的方案，解决了标注数据审核中不能连续查看属于同一个数据集下的批次数据的问题。
Description
技术领域
本发明涉及数据处理技术领域，特别是指一种标注数据审核方法、装置、电子设备及可读存储介质。
背景技术
目前为了训练与自动驾驶相关的算法模型，提供了标注平台标注车辆的数据。标注平台中有三个概念：项目、数据集和批次，其中，一个项目会关联多个数据集，一个数据集会关联多张连续帧的图片，一个项目会关联多个批次任务，单个批次可能属于数据集A或者数据集B。标注员分批次的标注图片数据，标注完一个项目后会产生很多批次，再由审核员按照批次的创建时间从小到达领取批次任务，审核数据标注的准确性。
发明内容
本发明的目的是提供一种标注数据审核方法、装置、电子设备及可读存储介质，用以解决现有技术中，在标注数据审核中不能连续审核属于同一数据集下的批次数据的问题。
本发明实施例提供一种标注数据审核方法，包括：
根据待审核项目的项目配置信息，确定抽检比例和所述待审核项目关联的目标数据集的批次信息；
根据所述抽检比例，确定第一批次中的第一抽检文件数据，并对所述第一抽检文件数据进行审核；
在所述第一抽检文件数据均完成审核的情况下，判断是否进行第二批次审核。
可选地，所述的标注数据审核方法，所述确定所述待审核项目关联的目标数据集的批次信息之前，所述方法还包括：
根据以下步骤，确定所述目标数据集：
在获取到所述项目配置信息中的数据优先级信息的情况下，根据所述数据优先级信息，确定所述目标数据集；
在未获取到所述数据优先级信息的情况下，根据用户输入的数据选择信息，确定所述目标数据集。
可选地，所述的标注数据审核方法，所述根据待审核项目的项目配置信息，确定抽检比例和所述待审核项目关联的目标数据集的批次信息之前，所述方法还包括：
获取所述待审核项目的历史批次的审核状态。
可选地，所述的标注数据审核方法，所述根据所述抽检比例，确定第一批次中的第一抽检文件数据，包括：
根据所述抽检比例和所述第一批次的数据数量，确定所述第一抽检文件数据的数量；
根据所述第一抽检文件数据的数量和所述第一批次的文件名称数据，确定所述第一抽检文件数据的文件名称，并保存所述第一抽检文件数据的文件名称。
可选地，所述的标注数据审核方法，所述根据所述抽检比例，确定第一批次中的第一抽检文件数据之后，所述方法还包括：
更新所述目标数据集的已审核批次数量。
可选地，所述的标注数据审核方法，所述根据所述抽检比例，确定第一批次中的第一抽检文件数据之后，所述方法还包括：
更新所述第一批次的名称。
可选地，所述的标注数据审核方法，所述方法还包括：
在判断进行所述第二批次审核的情况下，根据所述抽检比例，确定第二批次中的第二抽检文件数据，并对所述第二抽检文件数据进行审核。
本发明实施例还提供一种电子设备，包括处理器和收发机，其中：
所述处理器用于，根据待审核项目的项目配置信息，确定抽检比例和所述待审核项目关联的目标数据集的批次信息；
所述处理器还用于，根据所述抽检比例，确定第一批次中的第一抽检文件数据，并对所述第一抽检文件数据进行审核；
所述处理器还用于，在所述第一抽检文件数据均完成审核的情况下，判断是否进行第二批次审核。
可选地，所述的电子设备，所述处理器还用于：
根据以下步骤，确定所述目标数据集：
在获取到所述项目配置信息中的数据优先级信息的情况下，根据所述数据优先级信息，确定所述目标数据集；
在未获取到所述数据优先级信息的情况下，根据用户输入的数据选择信息，确定所述目标数据集。
可选地，所述的电子设备，所述处理器还用于：
获取所述待审核项目的历史批次的审核状态。
可选地，所述的电子设备，所述处理器具体用于：
根据所述抽检比例和所述第一批次的数据数量，确定所述第一抽检文件数据的数量；
根据所述第一抽检文件数据的数量和所述第一批次的文件名称数据，确定所述第一抽检文件数据的文件名称，并保存所述第一抽检文件数据的文件名称。
可选地，所述的电子设备，所述处理器还用于：
更新所述目标数据集的已审核批次数。
可选地，所述的电子设备，所述处理器还用于：
更新所述第一批次的名称。
可选地，所所述的电子设备，所述处理器还用于：
在判断进行所述第二批次审核的情况下，根据所述抽检比例，确定第二批次中的第二抽检文件数据，并对所述第二抽检文件数据进行审核。
本发明实施例还提供一种标注数据审核装置，包括：
第一确定模块，用于根据待审核项目的项目配置信息，确定抽检比例和所述待审核项目关联的目标数据集的批次信息；
第二确定模块，用于根据所述抽检比例，确定第一批次中的第一抽检文件数据，并对所述第一抽检文件数据进行审核；
判断模块，用于在所述第一抽检文件数据均完成审核的情况下，判断是否进行第二批次审核。
可选地，所述的标注数据审核装置，所述装置还包括：
第三确定模块，用于根据以下步骤，确定所述目标数据集：
在获取到所述项目配置信息中的数据优先级信息的情况下，根据所述数据优先级信息，确定所述目标数据集；
在未获取到所述数据优先级信息的情况下，根据用户输入的数据选择信息，确定所述目标数据集。
可选地，所述的标注数据审核装置，所述装置还包括：
获取模块，用于获取所述待审核项目的历史批次的审核状态。
可选地，所述的标注数据审核装置，所述第二确定模块具体用于：
根据所述抽检比例和所述第一批次的数据数量，确定所述第一抽检文件数据的数量；
根据所述第一抽检文件数据的数量和所述第一批次的文件名称数据，确定所述第一抽检文件数据的文件名称，并保存所述第一抽检文件数据的文件名称。
可选地，所述的标注数据审核装置，所述装置还包括：
第一更新模块，用于更新所述目标数据集的已审核批次数。
可选地，所述的标注数据审核装置，所述装置还包括：
第二更新模块，用于更新所述第一批次的名称。
可选地，所述的标注数据审核装置，所述装置还包括：
第四确定模块，用于在判断进行所述第二批次审核的情况下，根据所述抽检比例，确定第二批次中的第二抽检文件数据，并对所述第二抽检文件数据进行审核。
本发明实施例还提供一种电子设备，包括：收发器、处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令；所述处理器执行所述程序或指令时实现如上任一项所述的标注数据审核方法。
本发明实施例还提供一种可读存储介质，其上存储有程序或指令，所述程序或指令被处理器执行时实现如上任一项所述的标注数据审核方法。
本发明的上述技术方案的有益效果如下：
本发明实施例，通过根据待审核项目的项目配置信息，确定抽检比例和所述待审核项目关联的目标数据集的批次信息；根据所述抽检比例，确定第一批次中的第一抽检文件数据，并对所述第一抽检文件数据进行审核；在所述第一抽检文件数据均完成审核的情况下，判断是否进行第二批次审核，简化审核流程，提高准确率，在审核完一个批次能够自动跳转到下一个批次，实现连续帧审核数据，大幅度提高审核效率，而且每审核完一个批次不需要重新输入抽检比例。
附图说明
图1为本发明实施例的标注数据审核方法的步骤示意图；
图2为本发明实施例的标注数据审核方法的具体流程示意图；
图3为本发明实施例的电子设备的结构示意图之一；
图4为本发明实施例的标注数据审核装置的示意图；
图5为本发明实施例的电子设备的结构示意图之二。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。
应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。
在本发明的各种实施例中，应理解，下述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
另外，本文中术语“系统”和“网络”在本文中常可互换使用。
在本申请所提供的实施例中，应理解，“与A相应的B”表示B与A相关联，根据A可以确定B。但还应理解，根据A确定B并不意味着仅仅根据A确定B，还可以根据A和/或其它信息确定B。
如图1所示，本发明实施例提供一种标注数据审核方法，包括：
步骤S101：根据待审核项目的项目配置信息，确定抽检比例和所述待审核项目关联的目标数据集的批次信息。
本发明实施例在实际应用时，用户可以在审核列表界面中选择项目名称(或者，项目身份标识)作为所述待审核项目，并根据所述待审核项目的名称，获取所述项目配置信息。
需要说明的是，每一项目关联至少一个数据集，每一项目又关联至少一个批次，不同批次可能属于同一数据集或者属于不同数据集。
步骤S102：根据所述抽检比例，确定第一批次中的第一抽检文件数据，并对所述第一抽检文件数据进行审核。
在本发明实施例中，根据所述批次信息，得到同属于目标数据集的全部批次任务，包括有第一批次、第二批次和第三批次等；根据所述批次信息，还可以得到每一批次的数据数量和文件名称数据。
具体地，所述根据所述抽检比例，确定第一批次中的第一抽检文件数据，包括：
根据所述抽检比例(qc_shot)和所述第一批次的数据数量(total)，确定所述第一抽检文件数据的数量，这里，采用qc_shot/100*total有余进1的方式得到所述第一抽检文件数据的数量。
根据所述第一抽检文件数据的数量和所述第一批次的文件名称数据，确定所述第一抽检文件数据的文件名称，并保存所述第一抽检文件数据的文件名称，这里，从所述第一批次的文件名称数据中随机抽取所述第一抽检文件数据的数量的文件，从而确定所述第一抽检文件数据的文件名称(file_id)，并将所述第一抽检文件数据的文件名称(file_id)保存在(res_data)字段中。
步骤S103：在所述第一抽检文件数据均完成审核的情况下，判断是否进行第二批次审核。
在本发明实施例中，在判断进行所述第二批次审核的情况下，对所述第二批次重复所述步骤S102，即根据所述抽检比例，确定第二批次中的第二抽检文件数据，并对所述第二抽检文件数据进行审核。
进一步地，在所述第二抽检文件数据均完成审核的情况下，判断是否进行第三批次审核，直至该目标数据集下没有待审核的批次，简化审核流程，审核中可以自动跳转到下一批次，实现连续帧审核，从而提高审核效率和准确率，而且每审核完成一个批次不需要重新输入抽检比例。
需要说明的是，在判断不进行所述第二批次审核的情况下，则退回到审核列表界面。
本发明实施例，通过根据待审核项目的项目配置信息，确定抽检比例和所述待审核项目关联的目标数据集的批次信息；根据所述抽检比例，确定第一批次中的第一抽检文件数据，并对所述第一抽检文件数据进行审核；在所述第一抽检文件数据均完成审核的情况下，判断是否进行第二批次审核，从而简化审核流程，提高审核效率和准确率，在审核完一个批次能够自动跳转到下一个批次，可以连续帧审核数据，大幅度提高审核效率，而且每审核完一个批次不需要重新输入抽检比例。
可选地，所述的标注数据审核方法，所述确定所述待审核项目关联的目标数据集的批次信息之前，所述方法还包括：
根据以下步骤，确定所述目标数据集：
在获取到所述项目配置信息中的数据优先级信息的情况下，根据所述数据优先级信息，确定所述目标数据集；
在未获取到所述数据优先级信息的情况下，根据用户输入的数据选择信息，确定所述目标数据集。
在本发明实施例中，若获取到所述项目配置信息中的数据优先级信息，则根据所述优先级信息，对所述待审核项目关联的至少一个数据集进行优先级排序，选择优先级最高的数据集作为所述目标数据集，其中，所述数据优先级信息包括数据集的名称和版本号。这里，所述数据优先级信息可以进行调整，从而优先处理所述待审核项目中的紧急数据。
若未获取到所述项目配置信息中的数据优先级信息，则根据用户输入的数据选择信息，直接确定所述目标数据集。
可选地，所述的标注数据审核方法，所述根据待审核项目的项目配置信息，确定抽检比例和所述待审核项目关联的目标数据集的批次信息之前，所述方法还包括：
获取所述待审核项目的历史批次的审核状态。
需要说明的是，在确定所述待审核项目的名称之后，获取所述待审核项目的历史批次的审核状态，从而查找当前用户下是否有符合待审核状态，即未审核完成的批次任务，若存在则提示用户先审核完成已领取的批次任务，若不存在则执行所述步骤S101。
可选地，所述的标注数据审核方法，所述根据所述抽检比例，确定第一批次中的第一抽检文件数据之后，所述方法还包括：
更新所述目标数据集的已审核批次数量。
在本发明实施例中，根据所述待审核项目的名称、目标数据集的名称和版本号，更新所述目标数据集的已审核批次数量，即将已审核批次数量增加一次。
可选地，所述的标注数据审核方法，所述根据所述抽检比例，确定第一批次中的第一抽检文件数据之后，所述方法还包括：
更新所述第一批次的名称。
在本发明实施例中，将所述第一批次的名称更新为当前用户的名称，明确每一批次任务的审核人员。而且可以实现用户领取批次任务后，可以进入“我的任务列表”开始审核数据。
下面结合图2，具体解释标注数据审核流程：
步骤S201：用户在审核列表界面中选择待审核项目的名称。
步骤S202：获取用户的待审核项目的历史批次的审核状态，判断用户的待审核项目下的已领取的批次任务是否有未完成审核状态的。
若步骤S202的判断结果为是，则进入步骤S203：提示用户先审核未完成审核状态的已领取的批次任务，退出该流程。
若步骤S202的判断结果为否，则进入步骤S204：判断待审核项目的项目配置信息中是否有数据优先级信息。
若步骤S204的判断结果为是，则进入步骤S205：根据数据优先级信息，确定待审核项目关联的目标数据集。
若步骤S204的判断结果为否，则进入步骤S206：根据用户输入的数据选择信息，确定待审核项目关联的目标数据集，其中，数据选择信息包括数据集的名称和数据集的版本。
步骤S207：根据项目配置信息，确定抽检比例和目标数据集的批次信息，其中，批次信息包括同属于目标数据集的全部批次任务，每一批次的数据数量和文件名称数据。
步骤S208：根据抽检比例和第一批次的数据数量，确定第一抽检文件数据的数量。
步骤S209：根据第一抽检文件数据的数量和第一批次的文件名称数据，确定第一抽检文件数据的文件名称，并保存第一抽检文件数据的文件名称。
步骤S210：更新目标数据集的已审核批次数量。
步骤S211：根据用户的名称，更新第一批次的名称。
步骤S212：开始审核第一抽检文件数据。
步骤S213：在第一抽检文件数据均审核完成时，判断是否进入第二批次审核。
若步骤S213的判断结果为是，则重新进入步骤S214：根据抽检比例和第二批次的数据数量，确定第二抽检文件数据的数量。
若步骤S213的判断结果为否，则退出该流程。
需要说明的是，本发明实施例可以降低用户的审核操作的复杂性，用户只需点击一次领取任务即可完成整个目标数据集的审核，而且通过数据的连续帧展示提高了审核结果的准确性，更便捷的发现错误数据，防止遗漏错误数据，避免降低标注数据的准确性。
本发明实施例还提供一种电子设备300，包括处理器301和收发机302，其中：
所述处理器301用于，根据待审核项目的项目配置信息，确定抽检比例和所述待审核项目关联的目标数据集的批次信息；
所述处理器301还用于，根据所述抽检比例，确定第一批次中的第一抽检文件数据，并对所述第一抽检文件数据进行审核；
所述处理器301还用于，在所述第一抽检文件数据均完成审核的情况下，判断是否进行第二批次审核。
本发明实施例，通过根据待审核项目的项目配置信息，确定抽检比例和所述待审核项目关联的目标数据集的批次信息；根据所述抽检比例，确定第一批次中的第一抽检文件数据，并对所述第一抽检文件数据进行审核；在所述第一抽检文件数据均完成审核的情况下，判断是否进行第二批次审核，简化审核流程，提高审核效率和准确率，在审核完一个批次能够自动跳转到下一个批次，可以连续帧审核数据，大幅度提高审核效率，而且每审核完一个批次不需要重新输入抽检比例。
可选地，所述的电子设备300，所述处理器301还用于：
根据以下步骤，确定所述目标数据集：
在获取到所述项目配置信息中的数据优先级信息的情况下，根据所述数据优先级信息，确定所述目标数据集；
在未获取到所述数据优先级信息的情况下，根据用户输入的数据选择信息，确定所述目标数据集。
可选地，所述的电子设备300，所述处理器301还用于：
获取所述待审核项目的历史批次的审核状态。
可选地，所述的电子设备300，所述处理器301具体用于：
根据所述抽检比例和所述第一批次的数据数量，确定所述第一抽检文件数据的数量；
根据所述第一抽检文件数据的数量和所述第一批次的文件名称数据，确定所述第一抽检文件数据的文件名称，并保存所述第一抽检文件数据的文件名称。
可选地，所述的电子设备300，所述处理器301还用于：
更新所述目标数据集的已审核批次数量。
可选地，所述的电子设备300，所述处理器301还用于：
更新所述第一批次的名称。
可选地，所述的电子设备300，所述处理器301还用于：
在判断进行所述第二批次审核的情况下，根据所述抽检比例，确定第二批次中的第二抽检文件数据，并对所述第二抽检文件数据进行审核。
本发明实施例还提供一种标注数据审核装置，包括：
第一确定模块401，用于根据待审核项目的项目配置信息，确定抽检比例和所述待审核项目关联的目标数据集的批次信息；
第二确定模块402，用于根据所述抽检比例，确定第一批次中的第一抽检文件数据，并对所述第一抽检文件数据进行审核；
判断模块403，用于在所述第一抽检文件数据均完成审核的情况下，判断是否进行第二批次审核。
本发明实施例，通过根据待审核项目的项目配置信息，确定抽检比例和所述待审核项目关联的目标数据集的批次信息；根据所述抽检比例，确定第一批次中的第一抽检文件数据，并对所述第一抽检文件数据进行审核；在所述第一抽检文件数据均完成审核的情况下，判断是否进行第二批次审核，简化审核流程，提高审核效率和准确率，在审核完一个批次能够自动跳转到下一个批次，可以连续帧审核数据，大幅度提高审核效率，而且每审核完一个批次不需要重新输入抽检比例。
可选地，所述的标注数据审核装置，所述装置还包括：
第三确定模块，用于根据以下步骤，确定所述目标数据集：
在获取到所述项目配置信息中的数据优先级信息的情况下，根据所述数据优先级信息，确定所述目标数据集；
在未获取到所述数据优先级信息的情况下，根据用户输入的数据选择信息，确定所述目标数据集。
可选地，所述的标注数据审核装置，所述装置还包括：
获取模块，用于获取所述待审核项目的历史批次的审核状态。
可选地，所述的标注数据审核装置，所述第二确定模块402具体用于：
根据所述抽检比例和所述第一批次的数据数量，确定所述第一抽检文件数据的数量；
根据所述第一抽检文件数据的数量和所述第一批次的文件名称数据，确定所述第一抽检文件数据的文件名称，并保存所述第一抽检文件数据的文件名称。
可选地，所述的标注数据审核装置，所述装置还包括：
第一更新模块，用于更新所述目标数据集的已审核批次数量。
可选地，所述的标注数据审核装置，所述装置还包括：
第二更新模块，用于更新所述第一批次的名称。
可选地，所述的标注数据审核装置，所述装置还包括：
第四确定模块，用于在判断进行所述第二批次审核的情况下，根据所述抽检比例，确定第二批次中的第二抽检文件数据，并对所述第二抽检文件数据进行审核。
需要说明的是，本发明实施例提供的上述装置，能够实现上述标注数据审核方法实施例所实现的所有方法步骤，且能够达到相同的技术效果，在此不再对本实施例中与方法实施例相同的部分及有益效果进行具体赘述。
本发明实施例还提供一种电子设备，如图5所示，包括：处理器501；以及通过总线接口502与所述处理器501相连接的存储器503，所述存储器503用于存储所述处理器501在执行操作时所使用的程序和数据，处理器501调用并执行所述存储器503中所存储的程序和数据。
其中，收发机504与总线接口502连接，用于在处理器501的控制下接收和发送数据。
其中，在图5中，总线架构可以包括任意数量的互联的总线和桥，具体由处理器501代表的一个或多个处理器和存储器503代表的存储器的各种电路连接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路连接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口502为用户提供接口，如图5中的用户接口505。收发机504可以是多个元件，即包括发送机和接收机，提供用于在传输介质上与各种其他装置通信的单元。处理器501负责管理总线架构和通常的处理，存储器503可以存储处理器501在执行操作时所使用的数据。
本领域技术人员可以理解，实现上述实施例的全部或者部分步骤可以通过硬件来完成，也可以通过程序来指示相关的硬件来完成，所述程序包括执行上述方法的部分或者全部步骤的指令；且该程序可以存储于一可读存储介质中，存储介质可以是任何形式的存储介质。
本发明实施例还提供一种可读存储介质，其上存储有程序或指令，所述程序或指令被处理器执行时实现如上任一项所述的标注数据审核方法。
在本申请所提供的几个实施例中，应该理解到，所揭露方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理包括，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述收发方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述的是本发明的优选实施方式，应当指出对于本技术领域的普通人员来说，在不脱离本发明所述的原理前提下还可以作出若干改进和润饰，这些改进和润饰也在本发明的保护范围内。
Claims (11)
1.一种标注数据审核方法，其特征在于，包括：
根据待审核项目的项目配置信息，确定抽检比例和所述待审核项目关联的目标数据集的批次信息；
根据所述抽检比例，确定第一批次中的第一抽检文件数据，并对所述第一抽检文件数据进行审核；
在所述第一抽检文件数据均完成审核的情况下，判断是否进行第二批次审核。
2.根据权利要求1所述的标注数据审核方法，其特征在于，所述确定所述待审核项目关联的目标数据集的批次信息之前，所述方法还包括：
根据以下步骤，确定所述目标数据集：
在获取到所述项目配置信息中的数据优先级信息的情况下，根据所述数据优先级信息，确定所述目标数据集；
在未获取到所述数据优先级信息的情况下，根据用户输入的数据选择信息，确定所述目标数据集。
3.根据权利要求1所述的标注数据审核方法，其特征在于，所述根据待审核项目的项目配置信息，确定抽检比例和所述待审核项目关联的目标数据集的批次信息之前，所述方法还包括：
获取所述待审核项目的历史批次的审核状态。
4.根据权利要求1所述的标注数据审核方法，其特征在于，所述根据所述抽检比例，确定第一批次中的第一抽检文件数据，包括：
根据所述抽检比例和所述第一批次的数据数量，确定所述第一抽检文件数据的数量；
根据所述第一抽检文件数据的数量和所述第一批次的文件名称数据，确定所述第一抽检文件数据的文件名称，并保存所述第一抽检文件数据的文件名称。
5.根据权利要求1所述的标注数据审核方法，其特征在于，所述根据所述抽检比例，确定第一批次中的第一抽检文件数据之后，所述方法还包括：
更新所述目标数据集的已审核批次数量。
6.根据权利要求1所述的标注数据审核方法，其特征在于，所述根据所述抽检比例，确定第一批次中的第一抽检文件数据之后，所述方法还包括：
更新所述第一批次的名称。
7.根据权利要求1所述的标注数据审核方法，其特征在于，所述方法还包括：
在判断进行所述第二批次审核的情况下，根据所述抽检比例，确定第二批次中的第二抽检文件数据，并对所述第二抽检文件数据进行审核。
8.一种电子设备，包括处理器和收发机，其特征在于，其中：
所述处理器用于，根据待审核项目的项目配置信息，确定抽检比例和所述待审核项目关联的目标数据集的批次信息；
所述处理器还用于，根据所述抽检比例，确定第一批次中的第一抽检文件数据，并对所述第一抽检文件数据进行审核；
所述处理器还用于，在所述第一抽检文件数据均完成审核的情况下，判断是否进行第二批次审核。
9.一种标注数据审核装置，其特征在于，包括：
第一确定模块，用于根据待审核项目的项目配置信息，确定抽检比例和所述待审核项目关联的目标数据集的批次信息；
第二确定模块，用于根据所述抽检比例，确定第一批次中的第一抽检文件数据，并对所述第一抽检文件数据进行审核；
判断模块，用于在所述第一抽检文件数据均完成审核的情况下，判断是否进行第二批次审核。
10.一种电子设备，包括：收发器、处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令；其特征在于，所述处理器执行所述程序或指令时实现如权利要求1至7中任一项所述的标注数据审核方法。
11.一种可读存储介质，其上存储有程序或指令，其特征在于，所述程序或指令被处理器执行时实现如权利要求1至7中任一项所述的标注数据审核方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210194138.4A CN114565360A (zh) | 2022-03-01 | 2022-03-01 | 一种标注数据审核方法、装置、电子设备及可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210194138.4A CN114565360A (zh) | 2022-03-01 | 2022-03-01 | 一种标注数据审核方法、装置、电子设备及可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114565360A true CN114565360A (zh) | 2022-05-31 |
Family
ID=81715184
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210194138.4A Pending CN114565360A (zh) | 2022-03-01 | 2022-03-01 | 一种标注数据审核方法、装置、电子设备及可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114565360A (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102156907A (zh) * | 2010-02-11 | 2011-08-17 | 中国科学院计算技术研究所 | 面向qa系统的质检方法 |
| WO2019137196A1 (zh) * | 2018-01-11 | 2019-07-18 | 阿里巴巴集团控股有限公司 | 图像标注信息助理方法、装置、服务器及系统 |
| CN110515980A (zh) * | 2019-07-17 | 2019-11-29 | 金蝶软件（中国）有限公司 | 抽检方法、装置、计算机设备和存储介质 |
| CN110515982A (zh) * | 2019-07-17 | 2019-11-29 | 金蝶软件（中国）有限公司 | 抽检方法、装置、计算机设备和存储介质 |
| CN111444166A (zh) * | 2020-03-19 | 2020-07-24 | 厦门快商通科技股份有限公司 | 一种标注数据自动质检方法 |
| CN112270533A (zh) * | 2020-11-12 | 2021-01-26 | 北京百度网讯科技有限公司 | 一种数据处理方法、装置、电子设备以及存储介质 |
| CN112613741A (zh) * | 2020-12-24 | 2021-04-06 | 广东南方数码科技股份有限公司 | 一种空间数据质检结果人工复核记录自动继承方法、电子设备、存储介质 |
| CN112749150A (zh) * | 2019-10-31 | 2021-05-04 | 北京中关村科金技术有限公司 | 一种错误标注数据的识别方法、装置和介质 |
-
2022
- 2022-03-01 CN CN202210194138.4A patent/CN114565360A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102156907A (zh) * | 2010-02-11 | 2011-08-17 | 中国科学院计算技术研究所 | 面向qa系统的质检方法 |
| WO2019137196A1 (zh) * | 2018-01-11 | 2019-07-18 | 阿里巴巴集团控股有限公司 | 图像标注信息助理方法、装置、服务器及系统 |
| CN110515980A (zh) * | 2019-07-17 | 2019-11-29 | 金蝶软件（中国）有限公司 | 抽检方法、装置、计算机设备和存储介质 |
| CN110515982A (zh) * | 2019-07-17 | 2019-11-29 | 金蝶软件（中国）有限公司 | 抽检方法、装置、计算机设备和存储介质 |
| CN112749150A (zh) * | 2019-10-31 | 2021-05-04 | 北京中关村科金技术有限公司 | 一种错误标注数据的识别方法、装置和介质 |
| CN111444166A (zh) * | 2020-03-19 | 2020-07-24 | 厦门快商通科技股份有限公司 | 一种标注数据自动质检方法 |
| CN112270533A (zh) * | 2020-11-12 | 2021-01-26 | 北京百度网讯科技有限公司 | 一种数据处理方法、装置、电子设备以及存储介质 |
| US20220027854A1 (en) * | 2020-11-12 | 2022-01-27 | Beijing Baidu Netcom Science Technology Co., Ltd. | Data processing method and apparatus, electronic device and storage medium |
| CN112613741A (zh) * | 2020-12-24 | 2021-04-06 | 广东南方数码科技股份有限公司 | 一种空间数据质检结果人工复核记录自动继承方法、电子设备、存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 闫绍荣;何令伟;钱定良;丁继光;: "临床化学检验结果自动审核系统的建立与评价", 中华全科医学, no. 07, 6 July 2018 (2018-07-06), pages 133 - 136 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10642721B2 (en) | Generation of automated testing scripts by converting manual test cases | |
| CN110377462B (zh) | 接口测试方法、装置及终端设备 | |
| CN112015654A (zh) | 用于测试的方法和装置 | |
| CN112148582A (zh) | 策略测试方法及装置、计算机可读介质和电子设备 | |
| CN111752834A (zh) | 自动化测试方法和装置 | |
| CN114780386A (zh) | 软件测试方法、装置、设备及存储介质 | |
| CN111125503B (zh) | 用于生成信息的方法和装置 | |
| CN112667631B (zh) | 业务字段自动编辑方法、装置、设备及存储介质 | |
| CN112181419B (zh) | 一种界面生成方法、装置及存储介质 | |
| CN112561690A (zh) | 信用卡分期业务接口的测试方法、系统、设备及存储介质 | |
| CN116737535A (zh) | 接口测试方法、装置、计算机设备和存储介质 | |
| CN114565360A (zh) | 一种标注数据审核方法、装置、电子设备及可读存储介质 | |
| CN112799956B (zh) | 资产识别能力测试方法、装置及系统装置 | |
| CN114816719A (zh) | 多任务模型的训练方法及装置 | |
| CN111859985B (zh) | Ai客服模型测试方法、装置、电子设备及存储介质 | |
| CN114817024A (zh) | 用例生成方法及装置、设备、存储介质 | |
| CN115437918A (zh) | 回归测试案例的选取方法、装置及电子设备 | |
| CN112950138B (zh) | 协同开发的状态管理方法、装置和服务器 | |
| CN113590483B (zh) | 一种用例运行方法和装置 | |
| CN114253867B (zh) | 基于神经网络模型的自动化测试方法、装置及系统 | |
| CN114968491B (zh) | 虚拟资源测试方法、装置、电子设备及存储介质 | |
| CN113805976B (zh) | 数据处理方法及装置、电子设备及计算机可读存储介质 | |
| CN111290966B (zh) | 提高安卓应用测试覆盖率的测试用例分解组合方法和系统 | |
| CN109614328B (zh) | 用于处理测试数据的方法和装置 | |
| CN113986388A (zh) | 程序集加载方法、系统、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |