CN110245716B - 样本标注审核方法及装置 - Google Patents
样本标注审核方法及装置 Download PDFInfo
- Publication number
- CN110245716B CN110245716B CN201910538182.0A CN201910538182A CN110245716B CN 110245716 B CN110245716 B CN 110245716B CN 201910538182 A CN201910538182 A CN 201910538182A CN 110245716 B CN110245716 B CN 110245716B
- Authority
- CN
- China
- Prior art keywords
- labeling
- sample
- picture
- sample region
- result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
- Investigating Or Analysing Biological Materials (AREA)
Abstract
本发明提供了一种样本标注审核方法及装置，方法包括：获取待标注样本；通过区域识别模型识别所述待标注样本的至少一个区域，并对所述至少一个区域进行切割形成至少一个样本区域图片；通过预设识别模型识别每个样本区域图片并进行预标注处理；将经过预标注处理的样本区域图片发送给审核单元，以使所述审核单元对样本区域图片的预标注结果进行审核，如果审核出所述预标注结果为错误则对所述预标注结果进行修改；将经过审核单元审核的样本区域图片发送给校验客户端，以使所述校验客户端对经过审核单元审核后的样本区域图片的标注信息进行校验处理。本发明可以提高样本标注的准确率。
Description
技术领域
本发明涉及人工智能技术领域，尤其涉及一种样本标注审核方法、装置、电子设备和计算机可读存储介质。
背景技术
在人工智能领域，在进行模型训练之前，需要对训练样本进行标注。通常可以人工客户端或识别模型对训练样本进行标注，但是这无法保证样本的标注准确率。
发明内容
本发明的目的在于提供一种样本标注审核方法、装置、电子设备和计算机可读存储介质，以提高样本标注的准确率。具体技术方案如下：
第一方面，本发明提供了一种样本标注审核方法，所述方法包括：
步骤1：获取待标注样本；
步骤2：通过区域识别模型识别所述待标注样本的至少一个区域，并对所述至少一个区域进行切割形成至少一个样本区域图片；其中，所述区域识别模型为基于神经网络的模型；
步骤3：通过预设识别模型识别每个样本区域图片并进行预标注处理；其中，所述预设识别模型为基于神经网络的模型；
步骤4：将经过预标注处理的样本区域图片发送给审核单元，以使所述审核单元对样本区域图片的预标注结果进行审核，如果审核出所述预标注结果为错误则对所述预标注结果进行修改；
步骤5：将经过审核单元审核的样本区域图片发送给校验客户端，以使所述校验客户端对经过审核单元审核后的样本区域图片的标注信息进行校验处理。
可选的，步骤3通过预设识别模型识别每个样本区域图片并进行预标注处理，包括：
通过一个预设识别模型识别每个样本区域图片并进行预标注处理；
步骤4将经过预标注处理的样本区域图片发送给审核单元，以使所述审核单元对样本区域图片的预标注结果进行审核，包括：
将经过预标注处理的样本区域图片发送给一个人工客户端，以使所述人工客户端对样本区域图片的预标注结果进行审核。
可选的，步骤5所述校验客户端对经过审核单元审核后的样本区域图片的标注信息进行校验处理，包括：
针对每个样本区域图片，校验客户端检验经过该人工客户端审核后的该样本区域图片的标注信息是否准确，如果不准确则重新对该样本区域图片进行识别。
可选的，步骤3通过预设识别模型识别每个样本区域图片并进行预标注处理，包括：
将每个样本区域图片均通过至少两个预设识别模型分别进行识别并进行预标注处理；
步骤4将经过预标注处理的样本区域图片发送给审核单元，以使所述审核单元对样本区域图片的预标注结果进行审核，包括：
将通过不同预设识别模型进行预标注处理的样本区域图片同时发送给不同的人工客户端，以使人工客户端对样本区域图片的预标注结果进行审核。
可选的，步骤5所述校验客户端对经过审核单元审核后的样本区域图片的标注信息进行校验处理，包括：
针对每个样本区域图片，校验客户端检验经过不同的人工客户端审核后的该样本区域图片的标注信息是否一致，如果不一致则对该样本区域图片重新进行识别。
可选的，步骤3通过预设识别模型识别每个样本区域图片并进行预标注处理，包括：
通过一个预设识别模型识别每个样本区域图片并进行预标注处理；
步骤4将经过预标注处理的样本区域图片发送给审核单元，以使所述审核单元对样本区域图片的预标注结果进行审核，包括：
将经过预标注处理的样本区域图片发送给一个人工客户端，以使该人工客户端对样本区域图片的预标注结果进行审核；以及
通过另一个预设识别模型对经过预标注处理的样本区域图片进行识别并进行标注；
其中，所述一个预设识别模型与所述另一个预设识别模型是根据不同的训练样本集训练建立的识别模型。
可选的，步骤5所述校验客户端对经过审核单元审核后的样本区域图片的标注信息进行校验处理，包括：
针对每个样本区域图片，所述校验客户端检验经过人工客户端审核后和另一个预设识别模型识别后的该样本区域图片的标注信息是否一致，如果不一致则重新对该样本区域图片进行识别。
可选的，步骤3进行预标注处理之后，还包括：
从所述预设识别模型识别的样本区域图片中选取预设数量个图片，并将所选取的预设数量个图片的预标注结果修改为与原始预标注结果不同的识别结果；
步骤4中将经过预标注处理的样本区域图片发送给审核单元，以使所述审核单元对样本区域图片的预标注结果进行审核，包括：
将未修改预标注结果的样本区域图片和已修改预标注结果的样本区域图片都发送给审核单元，以使所述审核单元对未修改预标注结果的样本区域图片和已修改预标注结果的样本区域图片的预标注结果进行审核；
步骤5中所述校验客户端对经过审核单元审核后的样本区域图片的标注信息进行校验处理之后，还包括：
所述校验客户端根据所述审核单元对已修改预标注结果的所述预设数量个图片的审核结果，检查所述审核单元是否处于异常状态。
可选的，所述审核单元对未修改预标注结果的样本区域图片和已修改预标注结果的样本区域图片的预标注结果进行审核，包括：
针对每一样本区域图片，所述审核单元判断所标注的预标注结果是否正确；如果否，则对该样本区域图片所标注的预标注结果进行修改。
可选的，所述校验客户端根据所述审核单元对已修改预标注结果的所述预设数量个图片的审核结果，检查所述审核单元是否处于异常状态，包括：
针对已修改预标注结果的所述预设数量个图片中的每一图片，判断所述审核单元是否对该图片的预标注结果进行了修改；
获取在已修改预标注结果的所述预设数量个图片中被所述审核单元修改了预标注结果的图片的比例，作为第一比例；
若所述第一比例小于预设阈值，则判定所述审核单元处于异常状态。
可选的，所述校验客户端根据所述审核单元对已修改预标注结果的所述预设数量个图片的审核结果，检查所述审核单元是否处于异常状态，包括：
针对已修改预标注结果的所述预设数量个图片中的每一图片，判断所述审核单元是否将该图片的预标注结果修改为正确识别结果；
获取在已修改预标注结果的所述预设数量个图片中被所述审核单元修改为正确识别结果的图片的比例，作为第二比例；
若所述第二比例小于预设阈值，则判定所述审核单元处于异常状态。
第二方面，本发明还提供了一种样本标注审核装置，所述装置包括：
获取模块，用于获取待标注样本；
识别模块，用于通过区域识别模型识别所述待标注样本的至少一个区域，并对所述至少一个区域进行切割形成至少一个样本区域图片；其中，所述区域识别模型为基于神经网络的模型；
预标注模块，用于通过预设识别模型识别每个样本区域图片并进行预标注处理；其中，所述预设识别模型为基于神经网络的模型；
审核模块，用于将经过预标注处理的样本区域图片发送给审核单元，以使所述审核单元对样本区域图片的预标注结果进行审核，如果审核出所述预标注结果为错误则对所述预标注结果进行修改；
校验模块，用于将经过审核单元审核的样本区域图片发送给校验客户端，以使所述校验客户端对经过审核单元审核后的样本区域图片的标注信息进行校验处理。
可选的，所述预标注模块通过预设识别模型识别每个样本区域图片并进行预标注处理，包括：
通过一个预设识别模型识别每个样本区域图片并进行预标注处理；
所述审核模块将经过预标注处理的样本区域图片发送给审核单元，以使所述审核单元对样本区域图片的预标注结果进行审核，包括：
将经过预标注处理的样本区域图片发送给一个人工客户端，以使所述人工客户端对样本区域图片的预标注结果进行审核；
所述校验模块中校验客户端对经过审核单元审核后的样本区域图片的标注信息进行校验处理，包括：
针对每个样本区域图片，校验客户端检验经过该人工客户端审核后的该样本区域图片的标注信息是否准确，如果不准确则重新对该样本区域图片进行识别。
可选的，所述预标注模块通过预设识别模型识别每个样本区域图片并进行预标注处理，包括：
将每个样本区域图片均通过至少两个预设识别模型分别进行识别并进行预标注处理；
所述审核模块将经过预标注处理的样本区域图片发送给审核单元，以使所述审核单元对样本区域图片的预标注结果进行审核，包括：
将通过不同预设识别模型进行预标注处理的样本区域图片同时发送给不同的人工客户端，以使人工客户端对样本区域图片的预标注结果进行审核；
所述校验模块中所述校验客户端对经过审核单元审核后的样本区域图片的标注信息进行校验处理，包括：
针对每个样本区域图片，校验客户端检验经过不同的人工客户端审核后的该样本区域图片的标注信息是否一致，如果不一致则对该样本区域图片重新进行识别。
可选的，所述预标注模块通过预设识别模型识别每个样本区域图片并进行预标注处理，包括：
通过一个预设识别模型识别每个样本区域图片并进行预标注处理；
所述审核模块将经过预标注处理的样本区域图片发送给审核单元，以使所述审核单元对样本区域图片的预标注结果进行审核，包括：
将经过预标注处理的样本区域图片发送给一个人工客户端，以使该人工客户端对样本区域图片的预标注结果进行审核；以及
通过另一个预设识别模型对经过预标注处理的样本区域图片进行识别并进行标注；
其中，所述一个预设识别模型与所述另一个预设识别模型是根据不同的训练样本集训练建立的识别模型；
所述校验模块中所述校验客户端对经过审核单元审核后的样本区域图片的标注信息进行校验处理，包括：
针对每个样本区域图片，所述校验客户端检验经过人工客户端审核后和另一个预设识别模型识别后的该样本区域图片的标注信息是否一致，如果不一致则重新对该样本区域图片进行识别。
可选的，所述预标注模块进行预标注处理之后，还用于：
从所述预设识别模型识别的样本区域图片中选取预设数量个图片，并将所选取的预设数量个图片的预标注结果修改为与原始预标注结果不同的识别结果；
所述审核模块中将经过预标注处理的样本区域图片发送给审核单元，以使所述审核单元对样本区域图片的预标注结果进行审核，包括：
将未修改预标注结果的样本区域图片和已修改预标注结果的样本区域图片都发送给审核单元，以使所述审核单元对未修改预标注结果的样本区域图片和已修改预标注结果的样本区域图片的预标注结果进行审核，包括：
针对每一样本区域图片，所述审核单元判断所标注的预标注结果是否正确；如果否，则对该样本区域图片所标注的预标注结果进行修改；
所述校验模块中所述校验客户端对经过审核单元审核后的样本区域图片的标注信息进行校验处理之后，还用于：
所述校验客户端根据所述审核单元对已修改预标注结果的所述预设数量个图片的审核结果，检查所述审核单元是否处于异常状态。
可选的，所述校验模块中校验客户端根据所述审核单元对已修改预标注结果的所述预设数量个图片的审核结果，检查所述审核单元是否处于异常状态，包括：
针对已修改预标注结果的所述预设数量个图片中的每一图片，判断所述审核单元是否对该图片的预标注结果进行了修改；
获取在已修改预标注结果的所述预设数量个图片中被所述审核单元修改了预标注结果的图片的比例，作为第一比例；
若所述第一比例小于预设阈值，则判定所述审核单元处于异常状态。
可选的，所述检验模块中校验客户端根据所述审核单元对已修改预标注结果的所述预设数量个图片的审核结果，检查所述审核单元是否处于异常状态，包括：
针对已修改预标注结果的所述预设数量个图片中的每一图片，判断所述审核单元是否将该图片的预标注结果修改为正确识别结果；
获取在已修改预标注结果的所述预设数量个图片中被所述审核单元修改为正确识别结果的图片的比例，作为第二比例；
若所述第二比例小于预设阈值，则判定所述审核单元处于异常状态。
第三方面，本发明还提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，所述处理器，所述通信接口，所述存储器通过所述通信总线完成相互间的通信；
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述存储器上所存放的程序时，实现上述第一方面所述的样本标注审核方法的步骤。
第四方面，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面述所述的样本标注审核方法的步骤。
与现有技术相比，本发明提供的一种样本标注审核方法、装置、电子设备和计算机可读存储介质具有如下有益效果：
本发明首先通过所述区域识别模型识别所述待标注样本的至少一个区域，并切割形成至少要给样本区域图片，然后通过所述预设识别模型对每个样本区域图片进行预标注处理，再通过所述审核单元对所述样本区域图片的预标注结果进行审核，如果审核出预标注结果错误则对预标注结果进行修改，最后通过所述校验客户端对经过所述审核单元审核后的样本区域图片的标注信息进行校验处理。可见，本发明按照预标注、审核、校验的流程来对样本进行标注，可以保证样本标注的准确率，进而提高模型训练的准确度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例提供的样本标注审核方法的流程示意图；
图2是本发明一实施例提供的样本标注审核装置的结构示意图；
图3是本发明一实施例提供的电子设备的结构示意图。
具体实施方式
以下结合附图和具体实施例对本发明提出的一种样本标注审核方法、装置、电子设备及计算机可读存储介质作进一步详细说明。根据权利要求书和下面说明，本发明的优点和特征将更清楚。需要说明的是，附图均采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本发明实施例的目的。此外，需要说明的是，本文的框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机程序指令的组合来实现。对于本领域技术人员来说公知的是，通过硬件方式实现、通过软件方式实现以及通过软件和硬件结合的方式实现都是等价的。
为解决现有技术的问题，本发明实施例提供了一种样本标注审核方法、装置、电子设备及计算机可读存储介质。
需要说明的是，本发明实施例的样本标注审核方法可应用于本发明实施例的样本标注审核装置，该样本标注审核装置可被配置于电子设备上。其中，该电子设备可以是个人计算机、移动终端等，该移动终端可以是手机、平板电脑等具有各种操作系统的硬件设备。
图1是本发明一实施例提供的一种样本标注审核方法的流程示意图。请参考图1，一种样本标注审核方法可以包括如下步骤：
步骤S101，获取待标注样本。
步骤S102，通过区域识别模型识别所述待标注样本的至少一个区域，并对所述至少一个区域进行切割形成至少一个样本区域图片；其中，所述区域识别模型为基于神经网络的模型。
所述待标注样本可以包括各种不同类型的图片样本，例如试卷、动植物照片、景点、车辆、人脸、人体或部分人体组成物质、物品、票据等，以试卷为例，所述区域识别模型会识别试卷上各个题目的区域，对各个区域进行切分形成区域样本图片。然后在步骤S103中，利用字符识别模型识别各个区域样本图片的字符内容并进行预标注处理。
步骤S103，通过预设识别模型识别每个样本区域图片并进行预标注处理；其中，所述预设识别模型为基于神经网络的模型。
本实施例中，所述预设识别模型可以根据样本区域图片的类型及其标注类型进行选择，例如若所述样本区域图片为植物图像，并且需要标注图片中植物的种类，则所述预设识别模型可以为用于识别植物种类的识别模型。识别模型对植物图像进行识别后，将识别结果对植物图像进行预标注。例如植物图像为桃花图像，若识别模型识别为桃花，则将该植物图像的识别结果预标注为桃花。
步骤S104，将经过预标注处理的样本区域图片发送给审核单元，以使所述审核单元对样本区域图片的预标注结果进行审核，如果审核出所述预标注结果为错误则对所述预标注结果进行修改。
所述审核单元接收到经过预标注处理的样本区域图片后，可以对样本区域图片进行识别，并根据自身的识别结果判断所述样本区域图片的预标注结果是否正确，如果错误则将预标注结果修改为自身的识别结果。例如，一植物图片的预标注结果为桃花，若所述审核单元对该植物图片的识别结果为梨花，则表示预标注结果为错误，则对预标注结果进行修改，修改为自身的识别结果梨花。
步骤S105，将经过审核单元审核的样本区域图片发送给校验客户端，以使所述校验客户端对经过审核单元审核后的样本区域图片的标注信息进行校验处理。
本实施例中，在审核单元之后，利用所述校验客户端再对所述审核单元审核的样本区域图片进行检验，检验经所述审核单元审核后的标注信息是否正确，以进一步保证样本区域图片的标注准确性。样本区域图片经过预标注、审核、检验流程，可以得到准确的标注信息。
在实际应用中，步骤S103中可以通过一个或多个所述预设识别模型对所述样本区域图片进行识别和预标注处理，步骤S104中的所述审核单元可以为一个或多个人工客户端，或者人工客户端和预设识别模型的组合。不同的所述预设识别模型是根据不同的训练样本建立的不同识别模型，因此各个所述预设识别模型的识别结果以及准确率可能会有不同。
在一种实现方式中，通过一个所述预设识别模型进行预标注处理，再通过一个人工客户端作为审核单元，对所述样本区域图片进行预标注和审核处理。
具体的，步骤S103通过预设识别模型识别每个样本区域图片并进行预标注处理，包括：
通过一个预设识别模型识别每个样本区域图片并进行预标注处理。
步骤S104将经过预标注处理的样本区域图片发送给审核单元，以使所述审核单元对样本区域图片的预标注结果进行审核，包括：
将经过预标注处理的样本区域图片发送给一个人工客户端，以使所述人工客户端对样本区域图片的预标注结果进行审核。
在步骤S105中所述校验客户端对经过审核单元审核后的样本区域图片的标注信息进行校验处理，包括：
针对每个样本区域图片，校验客户端检验经过该人工客户端审核后的该样本区域图片的标注信息是否准确，如果不准确则重新对该样本区域图片进行识别。
在这种实现方式中，首先通过一个所述预设识别模型对所述样本区域图片进行预标注，然后通过一个所述人工客户端审核这一个所述预设识别模型的预标注结果，如果所述人工客户端判断预标注结果有误，则对预标注结果进行修改。
进一步的，再由所述校验客户端对所述人工客户端的审核结果进行校验处理，如果所述校验客户端判断所述人工客户端审核后的标注信息是准确的，则该样本区域图片完成标注审核处理流程，若不准确则重新对该样本区域图片进行识别、标注和审核处理流程。
举例而言，对于一植物图像，首先通过一个用于识别植物种类的识别模型进行识别，如果识别结果为A，则进行预标注处理得到预标注结果A；然后，通过一人工客户端对预标注结果进行审核，如果所述人工客户端的识别结果为B，则将预标注结果A修改为B；最后，通过所述校验客户端检验所述人工客户端审核后的标注信息是否准确，所述校验客户端对植物图像进行识别，若识别结果为B，表示植物图像当前的标注信息准确，若识别结果不为B，表示植物图像当前的标注信息不准确，则需要对植物图像重新进行识别。通过上述的标注审核流程，可以提高植物图像的标注准确率。
在另一种实现方式中，通过一个所述预设识别模型进行预标注处理，再通过两个人工客户端作为审核单元，对样本区域图片进行预标注和审核处理。最后由校验客户端校验两个人工客户端的审核结果是否一致，如果不一致则重新进行识别。
具体的，步骤S103中通过预设识别模型识别每个样本区域图片并进行预标注处理，包括：
通过一个预设识别模型识别每个样本区域图片并进行预标注处理；
步骤S104中将经过预标注处理的样本区域图片发送给审核单元，以使所述审核单元对样本区域图片的预标注结果进行审核，包括：
将经过预标注处理的样本区域图片同时发送给两个人工客户端，以使两个人工客户端均对样本区域图片的预标注结果进行审核。
步骤S105中所述校验客户端对经过审核单元审核后的样本区域图片的标注信息进行校验处理，包括：
针对每个样本区域图片，校验客户端检验经过两个人工客户端审核后的该样本区域图片的标注信息是否一致，如果不一致则对该样本区域图片重新进行识别。
在这种实现方式中，首先通过一个所述预设识别模型对所述样本区域图片进行预标注，然后通过两个人工客户端均对这一个预设识别模型的预标注结果进行审核，如果人工客户端判断预标注结果有误，则对预标注结果进行修改。
进一步的，再由所述校验客户端对两个人工客户端的审核结果进行校验处理，如果所述校验客户端判断两个人工客户端审核后的标注信息是一致的，则该样本区域图片完成标注审核处理流程，若不一致则重新对该样本区域图片进行识别、标注和审核处理流程。
举例而言，对于一植物图像，首先通过一个用于识别植物种类的识别模型进行识别和预标注处理，得到该植物图像的预标注结果；然后，将经过预标注的该植物图像同时发送给两个人工客户端，每个人工客户端均对该植物图像的预标注结果进行审核，判断预标注结果是否正确，如果不正确则将其修改为自身的识别结果；最后，将两个人工客户端审核后的植物图像发送给校验客户端，校验客户端判断经两个人工客户端审核后的标注信息是否一致，如果一致，表示植物图像当前的标注信息准确，如果不一致，表示植物图像当前的标注信息不准确，则需要对植物图像重新进行识别。通过上述的标注审核流程，可以提高植物图像的标注准确率。
在再一种实现方式中，通过多个所述预设识别模型进行预标注处理，通过多个所述人工客户端作为审核单元，对所述样本区域图片进行预标注和审核处理。
具体的，步骤S103中通过预设识别模型识别每个样本区域图片并进行预标注处理，包括：
将每个样本区域图片均通过至少两个预设识别模型分别进行识别并进行预标注处理；
步骤S104中将经过预标注处理的样本区域图片发送给审核单元，以使所述审核单元对样本区域图片的预标注结果进行审核，包括：
将通过不同预设识别模型进行预标注处理的样本区域图片同时发送给不同的人工客户端，以使人工客户端对样本区域图片的预标注结果进行审核。
步骤S105中所述校验客户端对经过审核单元审核后的样本区域图片的标注信息进行校验处理，包括：
针对每个样本区域图片，校验客户端检验经过不同的人工客户端审核后的该样本区域图片的标注信息是否一致，如果不一致则对该样本区域图片重新进行识别。
在这种实现方式中，首先通过不同的所述预设识别模型(例如两个)对所述样本区域图片进行预标注，从而一个所述样本区域图片可以相应的产生多个预标注样本，然后这多个预标注样本同时发送给不同的所述人工客户端(例如两个)，每个所述人工客户端均审核这多个预标注样本，如果所述人工客户端判断预标注结果有误，则对预标注结果进行修改。
进一步的，再由所述校验客户端对各个所述人工客户端的审核结果进行校验处理，针对每个样本区域图片，如果所述校验客户端判断经不同人工客户端审核后的标注信息一致，则该样本区域图片完成标注审核处理流程，若不一致则重新对该样本区域图片进行识别、标注和审核处理流程。
举例而言，对于一植物图像，首先通过两个用于识别植物种类的识别模型1和2分别进行识别和预标注处理，得到两个预标注的植物图像，其中一个植物图像的预标注结果为识别模型1的识别结果，另一个植物图像的预标注结果为识别模型2的识别结果；然后，将两个预标注的植物图像同时发送给两个人工客户端，每个人工客户端均对这两个预标注的植物图像进行审核，判断识别模型1的识别结果是否正确，以及识别模型2的识别结果是否正确，如果不正确则将其修改为自身的识别结果；最后，将每个人工客户端审核后的植物图像发送给校验客户端，校验客户端检验经两个人工客户端审核后的标注信息是否一致，如果一致，表示植物图像当前的标注信息准确，如果不一致，表示植物图像当前的标注信息不准确，则需要对植物图像重新进行识别。通过上述的标注审核流程，可以提高植物图像的标注准确率。
在又一种实现方式中，通过一个所述预设识别模型进行预标注处理，通过一个所述人工客户端和另一个所述预设识别模型作为审核单元，对所述样本区域图片进行预标注和审核处理。
具体的，步骤S103中通过预设识别模型识别每个样本区域图片并进行预标注处理，包括：
通过一个预设识别模型识别每个样本区域图片并进行预标注处理；
步骤S104中将经过预标注处理的样本区域图片发送给审核单元，以使所述审核单元对样本区域图片的预标注结果进行审核，包括：
将经过预标注处理的样本区域图片发送给一个人工客户端，以使该人工客户端对样本区域图片的预标注结果进行审核；以及
通过另一个预设识别模型对经过预标注处理的样本区域图片进行识别并进行标注；其中，所述一个预设识别模型与所述另一个预设识别模型是根据不同的训练样本集训练建立的识别模型。
步骤S105中所述校验客户端对经过审核单元审核后的样本区域图片的标注信息进行校验处理，包括：
针对每个样本区域图片，所述校验客户端检验经过人工客户端审核后和另一个预设识别模型识别后的该样本区域图片的标注信息是否一致，如果不一致则重新对该样本区域图片进行识别。
在这种实现方式中，首先通过一个所述预设识别模型对所述样本区域图片进行预标注，然后通过一个所述人工客户端和另一个所述预设识别模型审核这一个预设识别模型的预标注结果，如果所述人工客户端判断预标注结果有误则对预标注结果进行修改，另一个所述预设识别模型则对样本区域图片进行识别和标注。
进一步的，再由所述校验客户端对所述人工客户端和另一个预设识别模型的审核结果进行校验处理，针对每个所述样本区域图片，如果所述校验客户端判断经所述人工客户端审核后的标注信息与另一个预设识别模型的识别结果一致，则该样本区域图片完成标注审核处理流程，若不准确则重新对该样本区域图片进行识别、标注和审核处理流程。
举例而言，对于一植物图像，首先通过一个用于识别植物种类的识别模型进行识别和预标注处理，得到植物图像的预标注结果A；然后，将这个预标注的植物图像发送给一个人工客户端，所述人工客户端对预标注结果进行审核，如果所述人工客户端对该植物图像的识别结果为B，则将该植物图像的预标注结果修改为B，并且还通过另一个识别模型对该植物图像进行识别和标注，得到标注结果C；最后，通过校验客户端检验人工客户端审核后的标注信息B与另一个识别模型的标注结果C是否一致，如果一致，表示植物图像当前的标注信息准确，如果不一致，表示植物图像当前的标注信息不准确，则需要对植物图像重新进行识别。通过上述的标注审核流程，可以提高植物图像的标注准确率。
本实施例通过上述三种实现方式介绍了样本的预标注、审核和校验流程，但本发明的技术方案并不仅仅限定于此。
进一步的，在进行上述预标注、审核和校验流程中，还可以检查所述审核单元是否处于异常状态，如果发生异常则对所述审核单元进行修正，以进一步保证样本的标注准确率。
具体的，在步骤S103进行预标注处理之后，所述方法还包括：
从所述预设识别模型识别的样本区域图片中选取预设数量个图片，并将所选取的预设数量个图片的预标注结果修改为与原始预标注结果不同的识别结果。
步骤S104中将经过预标注处理的样本区域图片发送给审核单元，以使所述审核单元对样本区域图片的预标注结果进行审核，包括：
将未修改预标注结果的样本区域图片和已修改预标注结果的样本区域图片都发送给审核单元，以使所述审核单元对未修改预标注结果的样本区域图片和已修改预标注结果的样本区域图片的预标注结果进行审核；
步骤5中所述校验客户端对经过审核单元审核后的样本区域图片的标注信息进行校验处理之后，还包括：
所述校验客户端根据所述审核单元对已修改预标注结果的所述预设数量个图片的审核结果，检查所述审核单元是否处于异常状态。
将图片的预标注结果修改为与所标注的原始预标注结果不一致或不同的识别结果，举例而言，若某一人像图片的预标注结果为女性，那么将该图片的预标注结果修改为原始预标注结果不同的识别结果，例如修改为男性。又如，若某一植物图片的预标注结果为桃花，那么将该植物图片的预标注结果修改为不一致或不同的识别结果，例如修改为梨花。
本实施例中，可以从所有样本区域图片中随机地抽取预设数量个图片，将抽取的图片的预标注结果修改为不同的识别结果。由于本实施例是通过统计所述审核单元对所抽取的预设数量个图片的错误预标注结果的审核情况，来推断所述审核单元对所有样本区域图片的审核情况，进而判断所述审核单元是否处于异常状态，因此，为了保证后续统计的准确性，对所抽取的图片的数量可以有如下要求：
所述预设数量大于等于抽样统计的最小样本抽取数量N；
其中，N＝Z2×(P×(1-P))/E2；Z表示与置信度相关的统计量，置信度等于当前预设识别模型的识别准确率；E表示预设的抽样误差值；P表示样本区域图片经当前预设识别模型标注后的标注准确率。
Z与置信度的对应关系如下：当置信度为90％时，Z＝1.64；置信度为95％时，Z＝1.96；置信度为95.45％时，Z＝2；置信度为99％时，Z＝2.68；置信度为99.73时，Z＝3；以上数据可以通过查询统计表得出。本实施例的置信区间为90％～99.99％，也就是说认为当前预设识别模型的识别准确率应该在90％～99.99％的几率落入到P的范围内，本实施例可以采用95％的置信度。本实施例中，抽样误差值E可以设定在±5％之间，P为概率值，可以设定其为90％，即经当前预设识别模型标注后样本区域图片的标注准确率需要达到90％。如果通过上述计算公式计算得到最小样本抽取数量N等于100，则所述预设数量可以设定大于等于100的任意数值。
本实施例中，所述审核单元对未修改预标注结果的样本区域图片和已修改预标注结果的样本区域图片的预标注结果进行审核处理，审核处理包括：针对每一样本区域图片，所述审核单元判断所标注的预标注结果是否正确；如果不正确，还可以对该样本区域图片所标注的预标注结果进行修改。举例而言，若某一图片的预标注结果为女性，而所述审核单元在审核后判定该样本的预标注结果有误，且经过自身的识别后判定该图片的识别结果应该为男性，则可以对该图片的预标注结果修改为自身所判定的识别结果。
实际上，对于某一已修改预标注结果的样本区域图片，所述审核单元可能没有识别出该图片的预标注结果错误，从而导致所述审核单元将该图片的识别结果判定为正确。所述审核单元对故意修改预标注结果的样本区域图片的审核情况反应了所述审核单元对所有样本区域图片的识别(标注)情况，进而通过检查所述审核单元对这类图片样本的审核情况可以来推断所述审核单元的标注准确率或审核准确率，并且判断所述审核单元是否存在异常。
在一种实现方式中，所述校验客户端根据所述审核单元对已修改预标注结果的所述预设数量个图片的审核结果，检查所述审核单元是否处于异常状态，包括：
针对已修改预标注结果的所述预设数量个图片中的每一图片，判断所述审核单元是否对该图片的预标注结果进行了修改；
获取在已修改预标注结果的所述预设数量个图片中被所述审核单元修改了预标注结果的图片的比例，作为第一比例；
若所述第一比例小于预设阈值，则判定所述审核单元处于异常状态。
可以理解的是，通常来说，如果所述审核单元能够对已修改预标注结果的图片的预标注结果进行修改，则可以认为所述审核单元能够将该图片进行正确的标注。若在已修改预标注结果的图片中被所述审核单元修改了预标注结果的图片的比例大于等于预设阈值，可以认为所述审核单元没有出现异常，反之，则表示所述审核单元出现了异常。
在另一种实现方式中，所述校验客户端根据所述审核单元对已修改预标注结果的所述预设数量个图片的审核结果，检查所述审核单元是否处于异常状态，包括：
针对已修改预标注结果的所述预设数量个图片中的每一图片，判断所述审核单元是否将该图片的预标注结果修改为正确识别结果；
获取在已修改预标注结果的所述预设数量个图片中被所述审核单元修改为正确识别结果的图片的比例，作为第二比例；
若所述第二比例小于预设阈值，则判定所述审核单元处于异常状态。
在这一实现方式中，若已修改预标注结果的预设数量个图片中被所述审核单元修改为正确识别结果的图片的比例大于等于预设阈值，可以认为所述审核单元没有出现异常，反之，则表示所述审核单元出现了异常。根据已修改预标注结果的所述预设数量个图片中被所述审核单元修改为正确识别结果的图片的比例，用来判断所述审核单元是否存在异常，以及用来表征所述审核单元的标注准确率，相比于上一种实现方式更加准确。
当判断出第一比例大于预设阈值，或第二比例大于预设阈值时，可以判定所述审核单元处于异常状态，同时也表示所述审核单元的标注准确率达不到期望值，因此可以对所述审核单元进行修正，以使其标注准确率符合要求。
其中，所述预设阈值的最小值X可以按照以下公式确定：1-(1-X)2＝Q；Q表示预先设置的经所述预设识别模型标注和所述审核单元审核后样本标注的目标准确率。所述预设阈值可以设置为任意的等于大于X的数值，本实施例对此不做限定。
当Q＝99％时，通过上述公式计算出X＝90％，即所述审核单元的标注准确率需要达到90％以上。本实施例中，如果希望经所述预设识别模型标注和所述审核单元审核后样本标注的准确率达到99％以上，则所述审核单元在已修改预标注结果的预设数量个图片中的标注准确率需要达到90％以上。
综上所述，本实施例首先通过所述区域识别模型识别所述待标注样本的至少一个区域，并切割形成至少要给样本区域图片，然后通过所述预设识别模型对每个样本区域图片进行预标注处理，再通过所述审核单元对所述样本区域图片的预标注结果进行审核，如果审核出预标注结果错误则对预标注结果进行修改，最后通过所述校验客户端对经过所述审核单元审核后的样本区域图片的标注信息进行校验处理。可见，本实施例按照预标注、审核、校验的流程来对样本进行标注，可以保证样本标注的准确率，进而提高模型训练的准确度。进一步的，将一部分样本区域图片的预标注结果故意修改为错误识别结果，通过检查所述审核单元对故意标错的这一部分样本区域图片的审核结果即可推断所述审核单元的标注准确率，进而判断所述审核单元是否处于异常状态，实现了快速确定所述审核单元是否处于异常状态，并且缩短了统计时间，降低了费用成本。
相应于上述样本标注审核方法实施例，本发明一实施例还提供了一种样本标注审核装置，图2是本发明一实施例提供的一种样本标注审核装置的结构示意图。请参考图2，一种样本标注审核装置可以包括：
获取模块201，用于获取待标注样本；
识别模块202，用于通过区域识别模型识别所述待标注样本的至少一个区域，并对所述至少一个区域进行切割形成至少一个样本区域图片；其中，所述区域识别模型为基于神经网络的模型；
预标注模块203，用于通过预设识别模型识别每个样本区域图片并进行预标注处理；其中，所述预设识别模型为基于神经网络的模型；
审核模块204，用于将经过预标注处理的样本区域图片发送给审核单元，以使所述审核单元对样本区域图片的预标注结果进行审核，如果审核出所述预标注结果为错误则对所述预标注结果进行修改；
校验模块205，用于将经过审核单元审核的样本区域图片发送给校验客户端，以使所述校验客户端对经过审核单元审核后的样本区域图片的标注信息进行校验处理。
综上所述，本实施例首先通过所述区域识别模型识别所述待标注样本的至少一个区域，并切割形成至少要给样本区域图片，然后通过所述预设识别模型对每个样本区域图片进行预标注处理，再通过所述审核单元对所述样本区域图片的预标注结果进行审核，如果审核出预标注结果错误则对预标注结果进行修改，最后通过所述校验客户端对经过所述审核单元审核后的样本区域图片的标注信息进行校验处理。可见，本实施例按照预标注、审核、校验的流程来对样本进行标注，可以保证样本标注的准确率，进而提高模型训练的准确度。进一步的，将一部分样本区域图片的预标注结果故意修改为错误识别结果，通过检查所述审核单元对故意标错的这一部分样本区域图片的审核结果即可推断所述审核单元的标注准确率，进而判断所述审核单元是否处于异常状态，实现了快速确定所述审核单元是否处于异常状态，并且缩短了统计时间，降低了费用成本。
可选的，所述预标注模块203通过预设识别模型识别每个样本区域图片并进行预标注处理，包括：
通过一个预设识别模型识别每个样本区域图片并进行预标注处理；
所述审核模块204将经过预标注处理的样本区域图片发送给审核单元，以使所述审核单元对样本区域图片的预标注结果进行审核，包括：
将经过预标注处理的样本区域图片发送给一个人工客户端，以使所述人工客户端对样本区域图片的预标注结果进行审核。
可选的，所述校验模块205中校验客户端对经过审核单元审核后的样本区域图片的标注信息进行校验处理，包括：
针对每个样本区域图片，校验客户端检验经过该人工客户端审核后的该样本区域图片的标注信息是否准确，如果不准确则重新对该样本区域图片进行识别。
可选的，所述预标注模块203通过预设识别模型识别每个样本区域图片并进行预标注处理，包括：
将每个样本区域图片均通过至少两个预设识别模型分别进行识别并进行预标注处理；
所述审核模块204将经过预标注处理的样本区域图片发送给审核单元，以使所述审核单元对样本区域图片的预标注结果进行审核，包括：
将通过不同预设识别模型进行预标注处理的样本区域图片同时发送给不同的人工客户端，以使人工客户端对样本区域图片的预标注结果进行审核。
可选的，所述校验模块205中所述校验客户端对经过审核单元审核后的样本区域图片的标注信息进行校验处理，包括：
针对每个样本区域图片，校验客户端检验经过不同的人工客户端审核后的该样本区域图片的标注信息是否一致，如果不一致则对该样本区域图片重新进行识别。
可选的，所述预标注模块203通过预设识别模型识别每个样本区域图片并进行预标注处理，包括：
通过一个预设识别模型识别每个样本区域图片并进行预标注处理；
所述审核模块204将经过预标注处理的样本区域图片发送给审核单元，以使所述审核单元对样本区域图片的预标注结果进行审核，包括：
将经过预标注处理的样本区域图片发送给一个人工客户端，以使该人工客户端对样本区域图片的预标注结果进行审核；以及
通过另一个预设识别模型对经过预标注处理的样本区域图片进行识别并进行标注；
其中，所述一个预设识别模型与所述另一个预设识别模型是根据不同的训练样本集训练建立的识别模型。
可选的，所述校验模块205中所述校验客户端对经过审核单元审核后的样本区域图片的标注信息进行校验处理，包括：
针对每个样本区域图片，所述校验客户端检验经过人工客户端审核后和另一个预设识别模型识别后的该样本区域图片的标注信息是否一致，如果不一致则重新对该样本区域图片进行识别。
可选的，所述预标注模块203进行预标注处理之后，还用于：
从所述预设识别模型识别的样本区域图片中选取预设数量个图片，并将所选取的预设数量个图片的预标注结果修改为与原始预标注结果不同的识别结果；
所述审核模块204中将经过预标注处理的样本区域图片发送给审核单元，以使所述审核单元对样本区域图片的预标注结果进行审核，包括：
将未修改预标注结果的样本区域图片和已修改预标注结果的样本区域图片都发送给审核单元，以使所述审核单元对未修改预标注结果的样本区域图片和已修改预标注结果的样本区域图片的预标注结果进行审核；
所述校验模块205中所述校验客户端对经过审核单元审核后的样本区域图片的标注信息进行校验处理之后，还用于：
所述校验客户端根据所述审核单元对已修改预标注结果的所述预设数量个图片的审核结果，检查所述审核单元是否处于异常状态。
可选的，所述审核模块204中审核单元对未修改预标注结果的样本区域图片和已修改预标注结果的样本区域图片的预标注结果进行审核，包括：
针对每一样本区域图片，所述审核单元判断所标注的预标注结果是否正确；如果否，则对该样本区域图片所标注的预标注结果进行修改。
可选的，所述校验模块205中校验客户端根据所述审核单元对已修改预标注结果的所述预设数量个图片的审核结果，检查所述审核单元是否处于异常状态，包括：
针对已修改预标注结果的所述预设数量个图片中的每一图片，判断所述审核单元是否对该图片的预标注结果进行了修改；
获取在已修改预标注结果的所述预设数量个图片中被所述审核单元修改了预标注结果的图片的比例，作为第一比例；
若所述第一比例小于预设阈值，则判定所述审核单元处于异常状态。
可选的，所述检验模块205中校验客户端根据所述审核单元对已修改预标注结果的所述预设数量个图片的审核结果，检查所述审核单元是否处于异常状态，包括：
针对已修改预标注结果的所述预设数量个图片中的每一图片，判断所述审核单元是否将该图片的预标注结果修改为正确识别结果；
获取在已修改预标注结果的所述预设数量个图片中被所述审核单元修改为正确识别结果的图片的比例，作为第二比例；
若所述第二比例小于预设阈值，则判定所述审核单元处于异常状态。
本发明一实施例还提供了一种电子设备，图3是本发明一实施例提供的一种电子设备的结构示意图。请参考图3，一种电子设备包括处理器301、通信接口302、存储器303和通信总线304，其中，处理器301，通信接口302，存储器303通过通信总线304完成相互间的通信，
存储器303，用于存放计算机程序；
处理器301，用于执行存储器303上所存放的程序时，实现如下步骤：
步骤1：获取待标注样本；
步骤2：通过区域识别模型识别所述待标注样本的至少一个区域，并对所述至少一个区域进行切割形成至少一个样本区域图片；其中，所述区域识别模型为基于神经网络的模型；
步骤3：通过预设识别模型识别每个样本区域图片并进行预标注处理；其中，所述预设识别模型为基于神经网络的模型；
步骤4：将经过预标注处理的样本区域图片发送给审核单元，以使所述审核单元对样本区域图片的预标注结果进行审核，如果审核出所述预标注结果为错误则对所述预标注结果进行修改；
步骤5：将经过审核单元审核的样本区域图片发送给校验客户端，以使所述校验客户端对经过审核单元审核后的样本区域图片的标注信息进行校验处理。
关于该方法各个步骤的具体实现以及相关解释内容可以参见上述图1所示的方法实施例，在此不做赘述。
另外，处理器301执行存储器303上所存放的程序而实现的样本标注审核方法的其他实现方式，与前述方法实施例部分所提及的实现方式相同，这里也不再赘述。
综上所述，本实施例首先通过所述区域识别模型识别所述待标注样本的至少一个区域，并切割形成至少要给样本区域图片，然后通过所述预设识别模型对每个样本区域图片进行预标注处理，再通过所述审核单元对所述样本区域图片的预标注结果进行审核，如果审核出预标注结果错误则对预标注结果进行修改，最后通过所述校验客户端对经过所述审核单元审核后的样本区域图片的标注信息进行校验处理。可见，本实施例按照预标注、审核、校验的流程来对样本进行标注，可以保证样本标注的准确率，进而提高模型训练的准确度。进一步的，将一部分样本区域图片的预标注结果故意修改为错误识别结果，通过检查所述审核单元对故意标错的这一部分样本区域图片的审核结果即可推断所述审核单元的标注准确率，进而判断所述审核单元是否处于异常状态，实现了快速确定所述审核单元是否处于异常状态，并且缩短了统计时间，降低了费用成本。
所述电子设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分。
本发明一实施例还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时能实现如下步骤：
步骤1：获取待标注样本；
步骤2：通过区域识别模型识别所述待标注样本的至少一个区域，并对所述至少一个区域进行切割形成至少一个样本区域图片；其中，所述区域识别模型为基于神经网络的模型；
步骤3：通过预设识别模型识别每个样本区域图片并进行预标注处理；其中，所述预设识别模型为基于神经网络的模型；
步骤4：将经过预标注处理的样本区域图片发送给审核单元，以使所述审核单元对样本区域图片的预标注结果进行审核，如果审核出所述预标注结果为错误则对所述预标注结果进行修改；
步骤5：将经过审核单元审核的样本区域图片发送给校验客户端，以使所述校验客户端对经过审核单元审核后的样本区域图片的标注信息进行校验处理。
需要说明的是，上述计算机程序被处理器执行时实现的样本标注审核方法的其他实施例，与前述方法部分提及的样本标注审核方法的实施例相同，在此不再赘述。
综上所述，本实施例首先通过所述区域识别模型识别所述待标注样本的至少一个区域，并切割形成至少要给样本区域图片，然后通过所述预设识别模型对每个样本区域图片进行预标注处理，再通过所述审核单元对所述样本区域图片的预标注结果进行审核，如果审核出预标注结果错误则对预标注结果进行修改，最后通过所述校验客户端对经过所述审核单元审核后的样本区域图片的标注信息进行校验处理。可见，本实施例按照预标注、审核、校验的流程来对样本进行标注，可以保证样本标注的准确率，进而提高模型训练的准确度。进一步的，将一部分样本区域图片的预标注结果故意修改为错误识别结果，通过检查所述审核单元对故意标错的这一部分样本区域图片的审核结果即可推断所述审核单元的标注准确率，进而判断所述审核单元是否处于异常状态，实现了快速确定所述审核单元是否处于异常状态，并且缩短了统计时间，降低了费用成本。
所述计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备，例如可以是但不限于电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所描述的计算机程序可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收所述计算机程序，并转发该计算机程序，以供存储在各个计算/处理设备中的计算机可读存储介质中。用于执行本发明操作的计算机程序可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。所述计算机程序可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施方式中，通过利用计算机程序的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本发明的各个方面。
这里参照根据本发明实施方式的方法、系统和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机程序实现。这些计算机程序可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些程序在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机程序存储在可读存储介质中，这些计算机程序使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有该计算机程序的可读存储介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。也可以把计算机程序加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的计算机程序实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
需要说明的是，本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、电子设备、计算机可读存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。在本文中使用的术语仅用于描述特定实施方式的目的，并非旨在限制本发明。如本文中所使用的，单数形式“一(a)”、“一(an)”和“一(the)”旨在也包括复数形式，除非在上下文中清楚地另外指出。如本文中所使用的，术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。当例如“中的至少一个”的表述处于一列元件之后时修饰整列元件，而不是修饰该列中的个别元件。如本文中所使用的，术语“基本上”、“约”以及类似术语被用作近似术语，而不是程度术语，并且意在表示测量值或计算值中的固有偏差，所述偏差将被那些本领域普通技术人员识别。此外，在描述本发明的实施方式时，“可以”的使用指的是“本发明的一个或多个实施方式”。如本文中所使用的，术语“使用”、“正使用”和“使用了”可以被认为分别与术语“利用”、“正利用”和“利用了”是同义的。同样，术语“示例性”意在指出实例或示例。
上述描述仅是对本发明较佳实施例的描述，并非对本发明范围的任何限定，本发明领域的普通技术人员根据上述揭示内容做的任何变更、修饰，均属于权利要求书的保护范围。
Claims (18)
1.一种样本标注审核方法，其特征在于，所述方法包括：
步骤1：获取待标注样本；
步骤2：通过区域识别模型识别所述待标注样本的至少一个区域，并对所述至少一个区域进行切割形成至少一个样本区域图片；其中，所述区域识别模型为基于神经网络的模型；
步骤3：通过预设识别模型识别每个样本区域图片并进行预标注处理；其中，所述预设识别模型为基于神经网络的模型；
步骤4：将经过预标注处理的样本区域图片发送给审核单元，以使所述审核单元对样本区域图片的预标注结果进行审核，如果审核出所述预标注结果为错误则对所述预标注结果进行修改；
步骤5：将经过审核单元审核的样本区域图片发送给校验客户端，以使所述校验客户端对经过审核单元审核后的样本区域图片的标注信息进行校验处理；
步骤3进行预标注处理之后，还包括：
从所述预设识别模型识别的样本区域图片中选取预设数量个图片，并将所选取的预设数量个图片的预标注结果修改为与原始预标注结果不同的识别结果；
步骤4中将经过预标注处理的样本区域图片发送给审核单元，以使所述审核单元对样本区域图片的预标注结果进行审核，包括：
将未修改预标注结果的样本区域图片和已修改预标注结果的样本区域图片都发送给审核单元，以使所述审核单元对未修改预标注结果的样本区域图片和已修改预标注结果的样本区域图片的预标注结果进行审核；
步骤5中所述校验客户端对经过审核单元审核后的样本区域图片的标注信息进行校验处理之后，还包括：
所述校验客户端根据所述审核单元对已修改预标注结果的所述预设数量个图片的审核结果，检查所述审核单元是否处于异常状态。
2.如权利要求1所述的样本标注审核方法，其特征在于，步骤3通过预设识别模型识别每个样本区域图片并进行预标注处理，包括：
通过一个预设识别模型识别每个样本区域图片并进行预标注处理；
步骤4将经过预标注处理的样本区域图片发送给审核单元，以使所述审核单元对样本区域图片的预标注结果进行审核，包括：
将经过预标注处理的样本区域图片发送给一个人工客户端，以使所述人工客户端对样本区域图片的预标注结果进行审核。
3.如权利要求2所述的样本标注审核方法，其特征在于，步骤5所述校验客户端对经过审核单元审核后的样本区域图片的标注信息进行校验处理，包括：
针对每个样本区域图片，校验客户端检验经过该人工客户端审核后的该样本区域图片的标注信息是否准确，如果不准确则重新对该样本区域图片进行识别。
4.如权利要求1所述的样本标注审核方法，其特征在于，步骤3通过预设识别模型识别每个样本区域图片并进行预标注处理，包括：
将每个样本区域图片均通过至少两个预设识别模型分别进行识别并进行预标注处理；
步骤4将经过预标注处理的样本区域图片发送给审核单元，以使所述审核单元对样本区域图片的预标注结果进行审核，包括：
将通过不同预设识别模型进行预标注处理的样本区域图片同时发送给不同的人工客户端，以使人工客户端对样本区域图片的预标注结果进行审核。
5.如权利要求4所述的样本标注审核方法，其特征在于，步骤5所述校验客户端对经过审核单元审核后的样本区域图片的标注信息进行校验处理，包括：
针对每个样本区域图片，校验客户端检验经过不同的人工客户端审核后的该样本区域图片的标注信息是否一致，如果不一致则对该样本区域图片重新进行识别。
6.如权利要求1所述的样本标注审核方法，其特征在于，步骤3通过预设识别模型识别每个样本区域图片并进行预标注处理，包括：
通过一个预设识别模型识别每个样本区域图片并进行预标注处理；
步骤4将经过预标注处理的样本区域图片发送给审核单元，以使所述审核单元对样本区域图片的预标注结果进行审核，包括：
将经过预标注处理的样本区域图片发送给一个人工客户端，以使该人工客户端对样本区域图片的预标注结果进行审核；以及
通过另一个预设识别模型对经过预标注处理的样本区域图片进行识别并进行标注；
其中，所述一个预设识别模型与所述另一个预设识别模型是根据不同的训练样本集训练建立的识别模型。
7.如权利要求6所述的样本标注审核方法，其特征在于，步骤5所述校验客户端对经过审核单元审核后的样本区域图片的标注信息进行校验处理，包括：
针对每个样本区域图片，所述校验客户端检验经过人工客户端审核后和另一个预设识别模型识别后的该样本区域图片的标注信息是否一致，如果不一致则重新对该样本区域图片进行识别。
8.如权利要求1所述的样本标注审核方法，其特征在于，所述审核单元对未修改预标注结果的样本区域图片和已修改预标注结果的样本区域图片的预标注结果进行审核，包括：
针对每一样本区域图片，所述审核单元判断所标注的预标注结果是否正确；如果否，则对该样本区域图片所标注的预标注结果进行修改。
9.如权利要求8所述的样本标注审核方法，其特征在于，所述校验客户端根据所述审核单元对已修改预标注结果的所述预设数量个图片的审核结果，检查所述审核单元是否处于异常状态，包括：
针对已修改预标注结果的所述预设数量个图片中的每一图片，判断所述审核单元是否对该图片的预标注结果进行了修改；
获取在已修改预标注结果的所述预设数量个图片中被所述审核单元修改了预标注结果的图片的比例，作为第一比例；
若所述第一比例小于预设阈值，则判定所述审核单元处于异常状态。
10.如权利要求8所述的样本标注审核方法，其特征在于，所述校验客户端根据所述审核单元对已修改预标注结果的所述预设数量个图片的审核结果，检查所述审核单元是否处于异常状态，包括：
针对已修改预标注结果的所述预设数量个图片中的每一图片，判断所述审核单元是否将该图片的预标注结果修改为正确识别结果；
获取在已修改预标注结果的所述预设数量个图片中被所述审核单元修改为正确识别结果的图片的比例，作为第二比例；
若所述第二比例小于预设阈值，则判定所述审核单元处于异常状态。
11.一种样本标注审核装置，其特征在于，所述装置包括：
获取模块，用于获取待标注样本；
识别模块，用于通过区域识别模型识别所述待标注样本的至少一个区域，并对所述至少一个区域进行切割形成至少一个样本区域图片；其中，所述区域识别模型为基于神经网络的模型；
预标注模块，用于通过预设识别模型识别每个样本区域图片并进行预标注处理；其中，所述预设识别模型为基于神经网络的模型；
审核模块，用于将经过预标注处理的样本区域图片发送给审核单元，以使所述审核单元对样本区域图片的预标注结果进行审核，如果审核出所述预标注结果为错误则对所述预标注结果进行修改；
校验模块，用于将经过审核单元审核的样本区域图片发送给校验客户端，以使所述校验客户端对经过审核单元审核后的样本区域图片的标注信息进行校验处理；
所述预标注模块进行预标注处理之后，还用于：
从所述预设识别模型识别的样本区域图片中选取预设数量个图片，并将所选取的预设数量个图片的预标注结果修改为与原始预标注结果不同的识别结果；
所述审核模块中将经过预标注处理的样本区域图片发送给审核单元，以使所述审核单元对样本区域图片的预标注结果进行审核，包括：
将未修改预标注结果的样本区域图片和已修改预标注结果的样本区域图片都发送给审核单元，以使所述审核单元对未修改预标注结果的样本区域图片和已修改预标注结果的样本区域图片的预标注结果进行审核，包括：
针对每一样本区域图片，所述审核单元判断所标注的预标注结果是否正确；如果否，则对该样本区域图片所标注的预标注结果进行修改；
所述校验模块中所述校验客户端对经过审核单元审核后的样本区域图片的标注信息进行校验处理之后，还用于：
所述校验客户端根据所述审核单元对已修改预标注结果的所述预设数量个图片的审核结果，检查所述审核单元是否处于异常状态。
12.如权利要求11所述的样本标注审核装置，其特征在于，所述预标注模块通过预设识别模型识别每个样本区域图片并进行预标注处理，包括：
通过一个预设识别模型识别每个样本区域图片并进行预标注处理；
所述审核模块将经过预标注处理的样本区域图片发送给审核单元，以使所述审核单元对样本区域图片的预标注结果进行审核，包括：
将经过预标注处理的样本区域图片发送给一个人工客户端，以使所述人工客户端对样本区域图片的预标注结果进行审核；
所述校验模块中校验客户端对经过审核单元审核后的样本区域图片的标注信息进行校验处理，包括：
针对每个样本区域图片，校验客户端检验经过该人工客户端审核后的该样本区域图片的标注信息是否准确，如果不准确则重新对该样本区域图片进行识别。
13.如权利要求11所述的样本标注审核装置，其特征在于，所述预标注模块通过预设识别模型识别每个样本区域图片并进行预标注处理，包括：
将每个样本区域图片均通过至少两个预设识别模型分别进行识别并进行预标注处理；
所述审核模块将经过预标注处理的样本区域图片发送给审核单元，以使所述审核单元对样本区域图片的预标注结果进行审核，包括：
将通过不同预设识别模型进行预标注处理的样本区域图片同时发送给不同的人工客户端，以使人工客户端对样本区域图片的预标注结果进行审核；
所述校验模块中所述校验客户端对经过审核单元审核后的样本区域图片的标注信息进行校验处理，包括：
针对每个样本区域图片，校验客户端检验经过不同的人工客户端审核后的该样本区域图片的标注信息是否一致，如果不一致则对该样本区域图片重新进行识别。
14.如权利要求11所述的样本标注审核装置，其特征在于，所述预标注模块通过预设识别模型识别每个样本区域图片并进行预标注处理，包括：
通过一个预设识别模型识别每个样本区域图片并进行预标注处理；
所述审核模块将经过预标注处理的样本区域图片发送给审核单元，以使所述审核单元对样本区域图片的预标注结果进行审核，包括：
将经过预标注处理的样本区域图片发送给一个人工客户端，以使该人工客户端对样本区域图片的预标注结果进行审核；以及
通过另一个预设识别模型对经过预标注处理的样本区域图片进行识别并进行标注；
其中，所述一个预设识别模型与所述另一个预设识别模型是根据不同的训练样本集训练建立的识别模型；
所述校验模块中所述校验客户端对经过审核单元审核后的样本区域图片的标注信息进行校验处理，包括：
针对每个样本区域图片，所述校验客户端检验经过人工客户端审核后和另一个预设识别模型识别后的该样本区域图片的标注信息是否一致，如果不一致则重新对该样本区域图片进行识别。
15.如权利要求11所述的样本标注审核装置，其特征在于，所述校验模块中校验客户端根据所述审核单元对已修改预标注结果的所述预设数量个图片的审核结果，检查所述审核单元是否处于异常状态，包括：
针对已修改预标注结果的所述预设数量个图片中的每一图片，判断所述审核单元是否对该图片的预标注结果进行了修改；
获取在已修改预标注结果的所述预设数量个图片中被所述审核单元修改了预标注结果的图片的比例，作为第一比例；
若所述第一比例小于预设阈值，则判定所述审核单元处于异常状态。
16.如权利要求11所述的样本标注审核装置，其特征在于，检验模块中校验客户端根据所述审核单元对已修改预标注结果的所述预设数量个图片的审核结果，检查所述审核单元是否处于异常状态，包括：
针对已修改预标注结果的所述预设数量个图片中的每一图片，判断所述审核单元是否将该图片的预标注结果修改为正确识别结果；
获取在已修改预标注结果的所述预设数量个图片中被所述审核单元修改为正确识别结果的图片的比例，作为第二比例；
若所述第二比例小于预设阈值，则判定所述审核单元处于异常状态。
17.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，所述处理器，所述通信接口，所述存储器通过所述通信总线完成相互间的通信；
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述存储器上所存放的程序时，实现权利要求1-10任一所述的方法步骤。
18.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-10任一项所述的方法步骤。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910538182.0A CN110245716B (zh) | 2019-06-20 | 2019-06-20 | 样本标注审核方法及装置 |
| PCT/CN2020/096647 WO2020253742A1 (zh) | 2019-06-20 | 2020-06-17 | 样本标注审核方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910538182.0A CN110245716B (zh) | 2019-06-20 | 2019-06-20 | 样本标注审核方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110245716A CN110245716A (zh) | 2019-09-17 |
| CN110245716B true CN110245716B (zh) | 2021-05-14 |
Family
ID=67888381
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910538182.0A Active CN110245716B (zh) | 2019-06-20 | 2019-06-20 | 样本标注审核方法及装置 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN110245716B (zh) |
| WO (1) | WO2020253742A1 (zh) |
Families Citing this family (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110245716B (zh) * | 2019-06-20 | 2021-05-14 | 杭州睿琪软件有限公司 | 样本标注审核方法及装置 |
| CN111325260B (zh) * | 2020-02-14 | 2023-10-27 | 北京百度网讯科技有限公司 | 数据处理方法及装置、电子设备、计算机可读介质 |
| CN111428749A (zh) * | 2020-02-21 | 2020-07-17 | 平安科技（深圳）有限公司 | 一种图像标注任务的预校验方法、装置、设备及存储介质 |
| CN111339353B (zh) * | 2020-02-21 | 2023-06-09 | 北京容联易通信息技术有限公司 | 一种图像处理自优化的方法、装置、电子设备及存储介质 |
| CN111833296B (zh) * | 2020-05-25 | 2023-03-10 | 中国人民解放军陆军军医大学第二附属医院 | 一种骨髓细胞形态学自动检测审核系统及审核方法 |
| CN111832449A (zh) * | 2020-06-30 | 2020-10-27 | 万翼科技有限公司 | 工程图纸的显示方法及相关装置 |
| CN111881657A (zh) * | 2020-08-04 | 2020-11-03 | 厦门渊亭信息科技有限公司 | 一种智能标注方法、终端设备及存储介质 |
| CN112070224B (zh) * | 2020-08-26 | 2024-02-23 | 成都品果科技有限公司 | 一种神经网络训练用样本的修订系统及方法 |
| CN112508092A (zh) * | 2020-12-03 | 2021-03-16 | 上海云从企业发展有限公司 | 一种样本筛选方法、系统、设备及介质 |
| CN112836732B (zh) * | 2021-01-25 | 2024-04-19 | 深圳市声扬科技有限公司 | 数据标注的校验方法、装置、电子设备及存储介质 |
| CN113111716B (zh) * | 2021-03-15 | 2023-06-23 | 中国科学院计算机网络信息中心 | 一种基于深度学习的遥感影像半自动标注方法和装置 |
| CN112906349A (zh) * | 2021-03-30 | 2021-06-04 | 苏州大学 | 一种数据标注的方法、系统、设备及可读存储介质 |
| CN113221999B (zh) * | 2021-05-06 | 2024-01-12 | 北京百度网讯科技有限公司 | 图片标注的正确率获取方法、装置和电子设备 |
| CN113487706A (zh) * | 2021-07-26 | 2021-10-08 | 上海中通吉网络技术有限公司 | 应用于智慧物流领域的数据标注方法及平台 |
| CN113705691B (zh) * | 2021-08-30 | 2024-04-09 | 深圳平安智慧医健科技有限公司 | 基于人工智能的图像标注校验方法、装置、设备及介质 |
| CN114120052B (zh) * | 2021-12-02 | 2023-06-27 | 成都智元汇信息技术股份有限公司 | 自学习多调度云端标注平台、工作方法、电子设备及介质 |
| CN115223166A (zh) * | 2022-09-20 | 2022-10-21 | 整数智能信息技术(杭州)有限责任公司 | 图片预标注方法、图片标注方法及装置、电子设备 |
| CN116934246A (zh) * | 2023-06-20 | 2023-10-24 | 联城科技(河北)股份有限公司 | 申报项目资料审核方法、装置、设备及可读存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107451615A (zh) * | 2017-08-01 | 2017-12-08 | 广东工业大学 | 基于Faster RCNN的甲状腺乳头状癌超声图像识别方法及系统 |
| CN109214382A (zh) * | 2018-07-16 | 2019-01-15 | 顺丰科技有限公司 | 一种基于crnn的票据信息识别算法、设备及存储介质 |
| CN109635110A (zh) * | 2018-11-30 | 2019-04-16 | 北京百度网讯科技有限公司 | 数据处理方法、装置、设备以及计算机可读存储介质 |
| CN109697537A (zh) * | 2017-10-20 | 2019-04-30 | 北京京东尚科信息技术有限公司 | 数据审核的方法和装置 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10558029B2 (en) * | 2016-10-27 | 2020-02-11 | Scopio Labs Ltd. | System for image reconstruction using a known pattern |
| CN106649610A (zh) * | 2016-11-29 | 2017-05-10 | 北京智能管家科技有限公司 | 图片标注方法及装置 |
| CN107690659B (zh) * | 2016-12-27 | 2021-08-10 | 达闼机器人有限公司 | 一种图像识别系统及图像识别方法 |
| CN109492549A (zh) * | 2018-10-24 | 2019-03-19 | 杭州睿琪软件有限公司 | 一种训练样本集处理、模型训练方法及系统 |
| CN109635838B (zh) * | 2018-11-12 | 2023-07-11 | 平安科技（深圳）有限公司 | 人脸样本图片标注方法、装置、计算机设备及存储介质 |
| CN110245716B (zh) * | 2019-06-20 | 2021-05-14 | 杭州睿琪软件有限公司 | 样本标注审核方法及装置 |
-
2019
- 2019-06-20 CN CN201910538182.0A patent/CN110245716B/zh active Active
-
2020
- 2020-06-17 WO PCT/CN2020/096647 patent/WO2020253742A1/zh active Application Filing
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107451615A (zh) * | 2017-08-01 | 2017-12-08 | 广东工业大学 | 基于Faster RCNN的甲状腺乳头状癌超声图像识别方法及系统 |
| CN109697537A (zh) * | 2017-10-20 | 2019-04-30 | 北京京东尚科信息技术有限公司 | 数据审核的方法和装置 |
| CN109214382A (zh) * | 2018-07-16 | 2019-01-15 | 顺丰科技有限公司 | 一种基于crnn的票据信息识别算法、设备及存储介质 |
| CN109635110A (zh) * | 2018-11-30 | 2019-04-16 | 北京百度网讯科技有限公司 | 数据处理方法、装置、设备以及计算机可读存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| Fast Convolutional Neural Network Training Using Selective Data Sampling: Application to Hemorrhage Detection in Color Fundus Images;Mark J. J. P. van Grinsven et al;《IEEE Transactions on Medical Imaging》;20160208;第35卷(第5期);1273-1284 * |
| 基于多标签判别字典学习的图像自动标注;杨晓玲等;《计算机应用》;20180510;第38卷(第5期);1294-1298，1303 * |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2020253742A1 (zh) | 2020-12-24 |
| CN110245716A (zh) | 2019-09-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110245716B (zh) | 样本标注审核方法及装置 | |
| CN110222791B (zh) | 样本标注信息的审核方法及装置 | |
| CN109473093B (zh) | 语音识别方法、装置、计算机设备及存储介质 | |
| KR20190026641A (ko) | 클레임 서류의 문자 인식 방법, 장치, 서버 및 저장매체 | |
| CN110263853B (zh) | 利用错误样本检查人工客户端状态的方法及装置 | |
| CN110245087B (zh) | 用于样本审核的人工客户端的状态检查方法及装置 | |
| CN110288755B (zh) | 基于文本识别的发票检验方法、服务器及存储介质 | |
| US20150269142A1 (en) | System and method for automatically generating a dataset for a system that recognizes questions posed in natural language and answers with predefined answers | |
| CN107491536B (zh) | 一种试题校验方法、试题校验装置及电子设备 | |
| US11721229B2 (en) | Question correction method, device, electronic equipment and storage medium for oral calculation questions | |
| CN112416778A (zh) | 测试用例推荐方法、装置和电子设备 | |
| CN109947651B (zh) | 人工智能引擎优化方法和装置 | |
| CN110826494A (zh) | 标注数据质量评价方法、装置、计算机设备及存储介质 | |
| US11386499B2 (en) | Car damage picture angle correction method, electronic device, and readable storage medium | |
| CN109840212B (zh) | 应用程序的功能测试方法、装置、设备及可读存储介质 | |
| CN113723467A (zh) | 用于缺陷检测的样本收集方法、装置和设备 | |
| CN110600090B (zh) | 一种临床检验数据处理方法、装置、介质及终端设备 | |
| CN112668637B (zh) | 网络模型的训练方法、识别方法、装置及电子设备 | |
| CN115908977A (zh) | 一种图像数据标注方法、装置、电子设备及存储介质 | |
| CN115294505A (zh) | 风险物体检测及其模型的训练方法、装置及电子设备 | |
| CN115205619A (zh) | 检测模型的训练方法、检测方法、装置和存储介质 | |
| CN112966671A (zh) | 一种合同检测方法、装置、电子设备及存储介质 | |
| CN112929458B (zh) | App应用的服务端地址确定方法、装置以及存储介质 | |
| CN113325976A (zh) | 应用程序的测试方法、装置、设备及存储介质 | |
| CN110083807B (zh) | 合同的修改影响自动预测方法、装置、介质及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20220505 Address after: 310053 room d3189, North third floor, building 1, 368 Liuhe Road, Binjiang District, Hangzhou City, Zhejiang Province Patentee after: Hangzhou Ruisheng Software Co.,Ltd. Address before: Room B2019, 2nd floor, building 1 (North), 368 Liuhe Road, Binjiang District, Hangzhou City, Zhejiang Province, 310053 Patentee before: HANGZHOU GLORITY SOFTWARE Ltd. |
|
| TR01 | Transfer of patent right |