CN113705691A - 基于人工智能的图像标注校验方法、装置、设备及介质 - Google Patents
基于人工智能的图像标注校验方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN113705691A CN113705691A CN202111007724.5A CN202111007724A CN113705691A CN 113705691 A CN113705691 A CN 113705691A CN 202111007724 A CN202111007724 A CN 202111007724A CN 113705691 A CN113705691 A CN 113705691A
- Authority
- CN
- China
- Prior art keywords
- image
- images
- annotation
- labeling
- artificial intelligence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 47
- 238000002372 labelling Methods 0.000 claims abstract description 117
- 238000012549 training Methods 0.000 claims abstract description 97
- 238000010801 machine learning Methods 0.000 claims abstract description 51
- 238000012795 verification Methods 0.000 claims abstract description 37
- 238000012550 audit Methods 0.000 claims description 31
- 238000001514 detection method Methods 0.000 claims description 5
- 239000000126 substance Substances 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 238000012552 review Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 239000004973 liquid crystal related substance Substances 0.000 description 4
- 230000003993 interaction Effects 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及人工智能技术领域，提供基于人工智能的图像标注校验方法，包括：接收到待标注文件时，将所述待标注文件对应的第一图像发送至多个标注端，以供所述标注端对所述第一图像进行标注，得到第二图像；接收到所有所述标注端反馈的所述第二图像时，基于所有所述第二图像中的标注区域进行一致性校验；检测到存在至少两个所述第二图像彼此之间的所述标注区域相同时，则判定所述一致性校验通过，并将所述标注区域相同的所述第二图像作为机器学习模型的训练样本；检测到所有所述第二图像彼此之间的所述标注区域均不相同时，则判定所述一致性校验不通过。本申请提高了对训练样本进行审核的效率，并减少了人工审核训练样本的成本。
Description
技术领域
本申请属于人工智能技术领域，尤其涉及一种基于人工智能的图像标注校验方法、装置、设备及存储介质。
背景技术
在构建深度学习的模型时，一般需要海量标注后的数据来训练模型。目前在人工标注样本后，为了保证训练样本的准确性，还需要对标注后的样本进行人工审核，只在审核通过后才会将训练样本输入到模型中进行训练学习，这样一来，不仅使得对样本审核的效率低下，还需要耗费一定的人工成本。
发明内容
鉴于以上内容，本发明提供一种基于人工智能的图像标注校验方法、装置、设备及存储介质，其目的在于解决现有技术中审核样本效率低下的技术问题。
为实现上述目的，本发明提供一种基于人工智能的图像标注校验方法，该方法包括：
接收到待标注文件时，将所述待标注文件对应的第一图像发送至多个标注端，以供所述标注端对所述第一图像进行标注，得到第二图像；
接收到所有所述标注端反馈的所述第二图像时，基于所有所述第二图像中的标注区域进行一致性校验；
检测到存在至少两个所述第二图像彼此之间的所述标注区域相同时，则判定所述一致性校验通过，并将所述标注区域相同的所述第二图像作为机器学习模型的训练样本；
检测到所有所述第二图像彼此之间的所述标注区域均不相同时，则判定所述一致性校验不通过。
优选的，所述检测到存在至少两个所述第二图像彼此之间的所述标注区域相同时，则判定所述一致性校验通过，包括：
当第二图像通过一致性校验时，则终端将第二图像作为机器学习模型的训练样本，并可将第二图像输入到机器学习模型中，以对机器学习模型进行训练。
优选的，所述将所述待标注文件对应的第一图像发送至多个标注端，包括：
根据所述标注端对应的评分，确定满足第一预设条件的多个所述标注端作为目标标注端；
将所述待标注文件对应的第一图像发送至所述目标标注端。
优选的，所述基于所有所述第二图像中的标注区域进行一致性校验之后，包括：
将所述标注区域相同的所述第二图像对应的所述目标标注端的评分加一；和/或，
将所述标注区域与其他第二图像不同的第二图像对应的所述目标标注端的评分减一。
优选的，所述基于所有所述第二图像中的标注区域进行一致性校验之后，包括：
将所述标注区域相同的所述第二图像划分至同一样本组；
检测到存在多个所述样本组时，根据第二预设条件从所述样本组中选取目标样本组；
将所述目标样本组中的第二图像作为所述训练样本。
优选的，所述检测到所有所述第二图像彼此之间的所述标注区域均不相同时，则判定所述一致性校验不通过之后，包括：
将所述第二图像发送至审核端；
接收到所述审核端针对所述第二图像反馈的审核通过信息时，将所述第二图像作为所述训练样本；
接收到所述审核端针对所述第二图像反馈的审核不通过信息时，向所述第二图像对应的标注端发送提示信息，所述提示信息用于提示重新标注所述第一图像，以重新生成并反馈所述第二图像。
优选的，所述检测到存在至少两个所述第二图像彼此之间的所述标注区域相同时，则判定所述一致性校验通过，并将所述标注区域相同的所述第二图像作为机器学习模型的训练样本之后，包括：
将所述训练样本发送至存储服务端以块链式的账本进行存储；
检测到所述训练样本的数量大于或等于预设阈值时，从所述存储服务端获取所述训练样本，并将所述训练样本输入到所述机器学习模型中进行训练。
为实现上述目的，本发明还提供一种基于人工智能的图像标注校验装置，所述装置包括：
接收模块，用于接收到待标注文件时，将所述待标注文件对应的第一图像发送至多个标注端，以供所述标注端对所述第一图像进行标注，得到第二图像；
校验模块，用于接收到所有所述标注端反馈的所述第二图像时，基于所有所述第二图像中的标注区域进行一致性校验；
检测模块，用于检测到存在至少两个所述第二图像彼此之间的所述标注区域相同时，则判定所述一致性校验通过，并将所述标注区域相同的所述第二图像作为机器学习模型的训练样本；
判定模块，用于检测到所有所述第二图像彼此之间的所述标注区域均不相同时，则判定所述一致性校验不通过。
为实现上述目的，本发明还提供一种电子设备，所述电子设备包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的程序，所述程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行所述基于人工智能的图像标注校验方法。
为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有基于人工智能的图像标注校验程序，所述基于人工智能的图像标注校验程序被处理器执行时，实现所述基于人工智能的图像标注校验方法的步骤。
本发明提出的基于人工智能的图像标注校验方法、装置、设备及存储介质，通过多个标注端对同一待标注文件对应的图像进行标注，在提高了标注结果的可靠性的同时，还实现对已标注图像进行自动校验审核，保证了生成机器学习模型的训练样本的准确性，以及提高了对训练样本进行审核的效率，并在一定程度上减少了人工审核训练样本的成本。
附图说明
为了更清楚地说明本申请的实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明电子设备较佳实施例的示意图；
图2为图1中基于人工智能的图像标注校验装置较佳实施例的模块示意图；
图3为本发明基于人工智能的图像标注校验方法较佳实施例的流程图；
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用于解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参照图1所示，为本发明电子设备1较佳实施例的示意图。
该电子设备1包括但不限于：存储器11、处理器12、显示器13及网络接口14。所述电子设备1通过网络接口14连接网络，获取原始数据。其中，所述网络可以是企业内部网(Intranet)、互联网(Internet)、全球移动通讯系统(Global System ofMobilecommunication，GSM)、宽带码分多址(Wideband Code Division Multiple Access，WCDMA)、4G网络、5G网络、蓝牙(Bluetooth)、Wi-Fi通话网络等无线或有线网络。
其中，存储器11至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器11可以是所述电子设备1的内部存储单元，例如该电子设备1的硬盘或内存。在另一些实施例中，所述存储器11也可以是所述电子设备1的外部存储设备，例如该电子设备1配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。当然，所述存储器11还可以既包括所述电子设备1的内部存储单元也包括其外部存储设备。本实施例中，存储器11通常用于存储安装于所述电子设备1的操作系统和各类应用软件，例如基于人工智能的图像标注校验程序10的程序代码等。此外，存储器11还可以用于暂时地存储已经输出或者将要输出的各类数据。
处理器12在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器12通常用于控制所述电子设备1的总体操作，例如执行数据交互或者通信相关的控制和处理等。本实施例中，所述处理器12用于运行所述存储器11中存储的程序代码或者处理数据，例如运行基于人工智能的图像标注校验程序10的程序代码等。
显示器13可以称为显示屏或显示单元。在一些实施例中显示器13可以是LED显示器、液晶显示器、触控式液晶显示器以及有机发光二极管(Organic Light-EmittingDiode，OLED)触摸器等。显示器13用于显示在电子设备1中处理的信息以及用于显示可视化的工作界面，例如显示数据统计的结果。
网络接口14可选地可以包括标准的有线接口、无线接口(如WI-FI接口)，该网络接口14通常用于在所述电子设备1与其它电子设备之间建立通信连接。
图1仅示出了具有组件11-14以及基于人工智能的图像标注校验程序10的电子设备1，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
可选地，所述电子设备1还可以包括目标用户接口，目标用户接口可以包括显示器(Display)、输入单元比如键盘(Keyboard)，可选的目标用户接口还可以包括标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及有机发光二极管(Organic Light-Emitting Diode，OLED)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在电子设备1中处理的信息以及用于显示可视化的目标用户界面。
该电子设备1还可以包括射频(Radio Frequency，RF)电路、传感器和音频电路等等，在此不再赘述。
在上述实施例中，处理器12执行存储器11中存储的基于人工智能的图像标注校验程序10时可以实现如下步骤：
接收到待标注文件时，将所述待标注文件对应的第一图像发送至多个标注端，以供所述标注端对所述第一图像进行标注，得到第二图像；
接收到所有所述标注端反馈的所述第二图像时，基于所有所述第二图像中的标注区域进行一致性校验；
检测到存在至少两个所述第二图像彼此之间的所述标注区域相同时，则判定所述一致性校验通过，并将所述标注区域相同的所述第二图像作为机器学习模型的训练样本；
检测到所有所述第二图像彼此之间的所述标注区域均不相同时，则判定所述一致性校验不通过。
关于上述步骤的详细介绍，请参照下述图2关于基于人工智能的图像标注校验装置100实施例的功能模块图以及图3关于基于人工智能的图像标注校验方法实施例的流程图的说明。
参照图2所示，为本发明基于人工智能的图像标注校验装置100的功能模块图。
本发明所述基于人工智能的图像标注校验装置100可以安装于电子设备中。根据实现的功能，所述基于人工智能的图像标注校验装置100可以包括接收模块110、校验模块120、检测模块130及判定模块140。本发明所述模块也可以称之为单元，是指一种能够被电子设备处理器所执行，并且能够完成固定功能的一系列计算机程序段，其存储在电子设备的存储器中。
在本实施例中，关于各模块/单元的功能如下：
接收模块110，用于接收到待标注文件时，将所述待标注文件对应的第一图像发送至多个标注端，以供所述标注端对所述第一图像进行标注，得到第二图像。
可选的，实施例终端可以是计算机设备(如一种图像标注的审核平台)，也可以是一种图像标注的校验装置。
可选的，待标注文件为机器学习模型的待标注的训练样本，其具体内容可由该机器学习模型所要训练的功能决定。其中，待标注文件的格式可以是文档、图片等；所述机器学习模型可以是神经网络模型。
可选的，当终端接收到待标注文件时，则获取待标注文件对应的第一图像，并为第一图像赋予唯一的标识值。其中，当待标注文件为非图片格式时，则对待标注文件的文件内容进行扫描，并生成第一图像；当待标注文件为图片格式时，则可以直接将待标注文件作为第一图像。
进一步地，终端获取待标注文件对应的第一图像发送至多个标注端。其中，标注端可以是负责对待标注文件进行标注的标注人员的关联设备或标注设备；标注端的数量可以根据实际情况需要设置，如其取值范围可为3-5个。
可选的，标注端在接收到终端发送的第一图像时，则生成第一图像对应的标注任务，并提醒相关标注人员对第一图像进行标注。
可选的，终端在向标注端发送第一图像时，还可以是将待标注文件对应的标注需求文档同步发送至标注端，以供标注人员进行参照标注需求文档对第一图像进行标注。
可选的，标注人员可以直接在标注端上对第一图像进行特征标注，并在第一图像中标注出特征区域。在标注人员对第一图像标注完成后，标注端会将标注完成的第一图像作为第二图像，并将第二图像反馈至终端。
或者，标注人员也可以是在其他标注设备上对第一图像进行标注后，然后将标注后的第一图像上传至标注端，再由标注端将标注完成后的第一图像作为第二图像，并将第二图像反馈至终端。
校验模块120，用于接收到所有所述标注端反馈的所述第二图像时，基于所有所述第二图像中的标注区域进行一致性校验。
可选的，当终端接收到标注端反馈的第二图像时，则检测是否所有接收到第一图像的标注端均已反馈第二图像。若否，则终端继续等待其他标注端反馈第二图像；若是，则终端对第二图像进行一致性校验。
可选的，当终端对第二图像进行一致性校验时，则利用图像检测技术，检测第二图像中的标注区域，并将所有第二图像进行两两比对检测，以检测第二图像彼此间的标注区域是否相同(或一致)。
检测模块130，用于检测到存在至少两个所述第二图像彼此之间的所述标注区域相同时，则判定所述一致性校验通过，并将所述标注区域相同的所述第二图像作为机器学习模型的训练样本；
可选的，当终端检测到多个第二图像中，存在至少两个第二图像彼此间的标注区域相同时，或者当终端检测到所有第二图像对应的标注区域均相同时，则判定彼此间的标注区域相同的第二图像通过一致性校验(即判定一致性校验通过)。
在其他实施方式中，所述检测到存在至少两个所述第二图像彼此之间的所述标注区域相同时，则判定所述一致性校验通过，包括：
当第二图像通过一致性校验时，则终端将第二图像作为机器学习模型的训练样本，并可将第二图像输入到机器学习模型中，以对机器学习模型进行训练。
可选的，当终端检测到多个第二图像中，存在至少两个第二图像彼此间的标注区域相同时，还检测到有第二图像中的标注区域与其他第二图像的标注区域均不相同时，则判定标注区域与其他第二图像不同的第二图像一致性校验不通过；同时，终端只将标注区域相同的第二图像(即通过一致性校验的第二图像)作为机器学习模型的训练样本，然后隐藏或丢弃一致性校验不通过的第二图像。
判定模块140，用于检测到所有所述第二图像彼此之间的所述标注区域均不相同时，则判定所述一致性校验不通过。
可选的，当终端检测到所有第二图像彼此之间的标注区域均不相同时，则判定所有第二图像均未通过一致性校验(即判定一致性校验不通过)。
可选的，当所有的第二图像一致性校验不通过时，则终端可以是将这些第二图像转入人工审核流程，由审核人员通过审核端对这些第二图像进行审核；或者，终端也可以是将这些第二图像反馈至其对应的标注端，由标注端对这些第二图像进行重新标注；或者，终端也可以是直接弃用这些第二图像。
在其他实施方式中，所述将所述待标注文件对应的第一图像发送至多个标注端，包括：
根据所述标注端对应的评分，确定满足第一预设条件的多个所述标注端作为目标标注端；
将所述待标注文件对应的第一图像发送至所述目标标注端。
在其他实施方式中，所述基于所有所述第二图像中的标注区域进行一致性校验之后，包括：
将所述标注区域相同的所述第二图像对应的所述目标标注端的评分加一；和/或，
将所述标注区域与其他第二图像不同的第二图像对应的所述目标标注端的评分减一。
可选的，每个标注端关联有使用该标注端的标注人员对应的评分。其评分的具体值可以由初始评分值和标注端所生成的第二图像对应的校验结果决定。
可选的，终端在将第一图像发送至标注端，以供所述标注端对所述第一图像进行标注，并生成第二图像之前，可以是从所有标注端之中确定预设数量各目标标注端。其中，所述预设数量可选为3-5个。
可选的，终端在确定目标标注端时，可以是检测各标注端对应的评分是否满足第一预设条件，并将评分满足第一预设条件的标注端作为目标标注端。
可选的，所述第一预设条件可以是评分大于预设分值，即终端可以是将评分大于预设分值的标注端作为目标标注端；其中，所述预设分值可以根据实际情况需要设置，本申请对此不作限定。
可选的，所述第一预设条件也可以是评分的位次处于预设排名之内；其中，终端可以是对所有标注端对应的评分进行排序，并将评分排列前预设数量的位次作为预设排名，且评分越高排列的位次越前，然后终端再选取对应的评分位于预设排名之内的标注端作为目标标注端。
可选的，终端在确定多个目标标注端后，则将待标注文件对应的第一图像发送至所有目标标注端，以供目标标注端对第一图像进行标注，生成第二图像，并将第二图像反馈至终端。
进一步地，待终端对目标标注端反馈的第二图像进行一致性校验后，可以根据一致性校验的结果，调整各目标标注端的评分。
可选的，终端分别检测各目标标注端反馈的第二图像是否通过一致性校验。
可选的，当终端检测到目标标注端反馈的第二图像通过一致性校验时(即检测到存在标注区域与该目标标注端反馈的第二图像相同的其他第二图像时)，则将该目标标注端对应的评分加一。
和/或，当终端检测到目标标注端反馈的第二图像未通过一致性校验时(即检测到不存在标注区域与该目标标注端反馈的第二图像相同的其他第二图像)，则将该目标标注端对应的评分减一。
在其他实施方式中，所述基于所有所述第二图像中的标注区域进行一致性校验之后，包括：
将所述标注区域相同的所述第二图像划分至同一样本组；
检测到存在多个所述样本组时，根据第二预设条件从所述样本组中选取目标样本组；
将所述目标样本组中的第二图像作为所述训练样本。
可选的，当终端对多个第二图像进行一致性校验之后，若终端检测到存在彼此之间的标注区域相同的第二图像时，则将这些标注区域相同的第二图像划分至同一样本组，即一个样本组至少存在两个彼此之间的标注区域相同的第二图像。而对于标注区域与其他第二图像均不相同的第二图像，则终端无需为其划分样本组。
进一步地，当终端检测到当前存在多个样本组时(即出现至少两种不同的标注结果时)，则根据第二预设条件从多个样本组中选出一个目标样本组。
可选的，所述第二预设条件包括以下任一个：
选取所述第二图像的数量最多的样本组；
选取所述第二图像对应的目标标注端的评分总和最高的样本组；
选取所述评分最高的目标标注端反馈的第二图像所处的样本组。
可选的，终端可以是检测到当前存在第二图像的数量最多的唯一一个样本组时，则将该样本组作为目标样本组。
可选的，当终端检测到各样本组中的第二图像的数量相等时，则根据各样本组中的第二图像对应的目标标注端的评分，计算各样本组对应的评分总和，然后选取评分总和最高的样本组作为目标样本组；
或者，终端也可以是确定评分最高的目标标注端，然后选取由该目标标注端所反馈的第二图像所处的样本组作为目标样本组。
可选的，当终端确定目标样本组之后，则将目标样本组中的第二图像作为机器学习模型的训练样本，并丢弃或隐藏其他样本组或未列入样本组中的第二图像。
同时，终端还可以将选取为训练样本的第二图像对应的目标标注端的评分加一，以及将未被选取为训练样本的第二图像对应的目标标注端的评分减一。
技术效果为根据标注端的评分选取目标标注端，并根据已标注图像的校验结果调整目标标注端的评分，可以逐步淘汰标注能力差的标注人员，而保留标注能力优秀的人员，从而提高了标注端标注样本的准确率，而且当样本标注的准确率提高后，后期需要人工审核的样本也就会越来越少，可以进一步减少对样本审核的人工成本。
在其他实施方式中，所述检测到所有所述第二图像彼此之间的所述标注区域均不相同时，则判定所述一致性校验不通过之后，包括：
将所述第二图像发送至审核端；
接收到所述审核端针对所述第二图像反馈的审核通过信息时，将所述第二图像作为所述训练样本；
接收到所述审核端针对所述第二图像反馈的审核不通过信息时，向所述第二图像对应的标注端发送提示信息，所述提示信息用于提示重新标注所述第一图像，以重新生成并反馈所述第二图像。
可选的，当终端检测到所有的第二图像均未通过一致性校验时，则可以是将未通过图像一致性校验的第二图像发送至审核端，以供相关审核人员对第二图像进行人工审核。其中，审核端可以是审核人员的关联设备或审核设备。
可选的，当审核人员判定第二图像审核通过时，则可以针对审核通过的第二图像，通过审核端向终端发送该第二图像对应的审核通过信息；当审核人员判定第二图像审核不通过时，则可以针对审核不通过的第二图像，通过审核端向终端发送该第二图像对应的审核不通过信息。
可选的，当终端接收到审核端针对第二图像反馈的审核通过信息时，则将该审核通过信息针对的第二图像作为机器学习模型的训练样本。
可选的，当终端接收到审核端针对第二图像反馈的审核不通过信息时，则生成该审核不通过信息针对的第二图像对应的提示信息，然后向该第二图像对应的标注端发送该提示信息，以提示该标注端的标注人员重新标注该第二图像对应的第一图像，以重新生成新的第二图像并将新的第二图像反馈至终端。
可选的，终端也可以是检测到存在至少一个第二图像具有审核通过信息时，则将具有审核通过信息的第二图像作为训练样本，将不具有审核通过信息(或具有审核不通过信息)的第二图像进行隐藏或丢弃；当终端检测到所有第二图像均不具有审核通过信息时(或均具有审核不通过信息时)，则再生成各第二图像对应的提示信息，并将提示信息发送至各第二图像对应的标注端，以供标注端重新生成第二图像并将新的第二图像反馈至终端，由终端重新进行一致性校验。
技术效果为只在已标注图像未通过一致性校验时，才对已标注图像进行人工审核，在一定程度上减少了人工审核样本的成本。
在其他实施方式中，所述检测到存在至少两个所述第二图像彼此之间的所述标注区域相同时，则判定所述一致性校验通过，并将所述标注区域相同的所述第二图像作为机器学习模型的训练样本之后，包括：
将所述训练样本发送至存储服务端以块链式的账本进行存储；
检测到所述训练样本的数量大于或等于预设阈值时，从所述存储服务端获取所述训练样本，并将所述训练样本输入到所述机器学习模型中进行训练。
可选的，终端与基于区块链技术构建的存储服务端建立有通信连接。
可选的，当终端有根据第二图像生成机器学习模型的训练样本时，可以将训练样本发送至存储服务端，并记录发送至存储服务端的训练样本的数量。
可选的，当存储服务端接收到终端发送的训练样本时，则将调用链表以块链式的账本存储到区块链网络中。账本(Ledger)，是区块链(也称为账本数据)和与区块链同步的状态数据库的统称。其中，区块链是以文件系统中的文件的形式来记录交易；状态数据库是以不同类型的键(Key)值(Value)对的形式来记录区块链中的交易，用于支持对区块链中交易的快速查询。
进一步地，终端检测存储在存储服务端上的训练样本的数量是否大于或等于预设阈值。其中，所述预设阈值可以根据机器学习模型的具体训练要求决定，如三千、五千、一万等。
可选的，当终端检测到存储在存储服务端上的训练样本的数量大于或等于预设阈值时，则向存储服务端发送训练样本的获取信息。当存储服务端接收到获取信息时，则将存储服务端存储的所有训练样本发送至终端。
当终端接收到存储服务端发送的训练样本后，则将接收到的训练样本输入至机器学习模型中进行迭代训练。
技术效果为在提高了对机器学习模型的训练样本进行存储的安全性的同时，还有效节约了终端本地的存储。
此外，本发明还提供一种基于人工智能的图像标注校验方法。参照图3所示，为本发明基于人工智能的图像标注校验方法的实施例的方法流程示意图。电子设备1的处理器12执行存储器11中存储的基于人工智能的图像标注校验程序10时，实现基于人工智能的图像标注校验方法，包括步骤S101-S104。以下对各个步骤进行具体说明。
S101：接收到待标注文件时，将所述待标注文件对应的第一图像发送至多个标注端，以供所述标注端对所述第一图像进行标注，得到第二图像。
可选的，实施例终端可以是计算机设备(如一种图像标注的审核平台)，也可以是一种图像标注的校验装置。
可选的，待标注文件为机器学习模型的待标注的训练样本，其具体内容可由该机器学习模型所要训练的功能决定。其中，待标注文件的格式可以是文档、图片等；所述机器学习模型可以是神经网络模型。
可选的，当终端接收到待标注文件时，则获取待标注文件对应的第一图像，并为第一图像赋予唯一的标识值。其中，当待标注文件为非图片格式时，则对待标注文件的文件内容进行扫描，并生成第一图像；当待标注文件为图片格式时，则可以直接将待标注文件作为第一图像。
进一步地，终端获取待标注文件对应的第一图像发送至多个标注端。其中，标注端可以是负责对待标注文件进行标注的标注人员的关联设备或标注设备；标注端的数量可以根据实际情况需要设置，如其取值范围可为3-5个。
可选的，标注端在接收到终端发送的第一图像时，则生成第一图像对应的标注任务，并提醒相关标注人员对第一图像进行标注。
可选的，终端在向标注端发送第一图像时，还可以是将待标注文件对应的标注需求文档同步发送至标注端，以供标注人员进行参照标注需求文档对第一图像进行标注。
可选的，标注人员可以直接在标注端上对第一图像进行特征标注，并在第一图像中标注出特征区域。在标注人员对第一图像标注完成后，标注端会将标注完成的第一图像作为第二图像，并将第二图像反馈至终端。
或者，标注人员也可以是在其他标注设备上对第一图像进行标注后，然后将标注后的第一图像上传至标注端，再由标注端将标注完成后的第一图像作为第二图像，并将第二图像反馈至终端。
S102：接收到所有所述标注端反馈的所述第二图像时，基于所有所述第二图像中的标注区域进行一致性校验。
可选的，当终端接收到标注端反馈的第二图像时，则检测是否所有接收到第一图像的标注端均已反馈第二图像。若否，则终端继续等待其他标注端反馈第二图像；若是，则终端对第二图像进行一致性校验。
可选的，当终端对第二图像进行一致性校验时，则利用图像检测技术，检测第二图像中的标注区域，并将所有第二图像进行两两比对检测，以检测第二图像彼此间的标注区域是否相同(或一致)。
S103：检测到存在至少两个所述第二图像彼此之间的所述标注区域相同时，则判定所述一致性校验通过，并将所述标注区域相同的所述第二图像作为机器学习模型的训练样本；
可选的，当终端检测到多个第二图像中，存在至少两个第二图像彼此间的标注区域相同时，或者当终端检测到所有第二图像对应的标注区域均相同时，则判定彼此间的标注区域相同的第二图像通过一致性校验(即判定一致性校验通过)。
在其他实施方式中，所述检测到存在至少两个所述第二图像彼此之间的所述标注区域相同时，则判定所述一致性校验通过，包括：
当第二图像通过一致性校验时，则终端将第二图像作为机器学习模型的训练样本，并可将第二图像输入到机器学习模型中，以对机器学习模型进行训练。
可选的，当终端检测到多个第二图像中，存在至少两个第二图像彼此间的标注区域相同时，还检测到有第二图像中的标注区域与其他第二图像的标注区域均不相同时，则判定标注区域与其他第二图像不同的第二图像一致性校验不通过；同时，终端只将标注区域相同的第二图像(即通过一致性校验的第二图像)作为机器学习模型的训练样本，然后隐藏或丢弃一致性校验不通过的第二图像。
S104：检测到所有所述第二图像彼此之间的所述标注区域均不相同时，则判定所述一致性校验不通过。
可选的，当终端检测到所有第二图像彼此之间的标注区域均不相同时，则判定所有第二图像均未通过一致性校验(即判定一致性校验不通过)。
可选的，当所有的第二图像一致性校验不通过时，则终端可以是将这些第二图像转入人工审核流程，由审核人员通过审核端对这些第二图像进行审核；或者，终端也可以是将这些第二图像反馈至其对应的标注端，由标注端对这些第二图像进行重新标注；或者，终端也可以是直接弃用这些第二图像。
在其他实施方式中，所述将所述待标注文件对应的第一图像发送至多个标注端，包括：
根据所述标注端对应的评分，确定满足第一预设条件的多个所述标注端作为目标标注端；
将所述待标注文件对应的第一图像发送至所述目标标注端。
在其他实施方式中，所述基于所有所述第二图像中的标注区域进行一致性校验之后，包括：
将所述标注区域相同的所述第二图像对应的所述目标标注端的评分加一；和/或，
将所述标注区域与其他第二图像不同的第二图像对应的所述目标标注端的评分减一。
可选的，每个标注端关联有使用该标注端的标注人员对应的评分。其评分的具体值可以由初始评分值和标注端所生成的第二图像对应的校验结果决定。
可选的，终端在将第一图像发送至标注端，以供所述标注端对所述第一图像进行标注，并生成第二图像之前，可以是从所有标注端之中确定预设数量各目标标注端。其中，所述预设数量可选为3-5个。
可选的，终端在确定目标标注端时，可以是检测各标注端对应的评分是否满足第一预设条件，并将评分满足第一预设条件的标注端作为目标标注端。
可选的，所述第一预设条件可以是评分大于预设分值，即终端可以是将评分大于预设分值的标注端作为目标标注端；其中，所述预设分值可以根据实际情况需要设置，本申请对此不作限定。
可选的，所述第一预设条件也可以是评分的位次处于预设排名之内；其中，终端可以是对所有标注端对应的评分进行排序，并将评分排列前预设数量的位次作为预设排名，且评分越高排列的位次越前，然后终端再选取对应的评分位于预设排名之内的标注端作为目标标注端。
可选的，终端在确定多个目标标注端后，则将待标注文件对应的第一图像发送至所有目标标注端，以供目标标注端对第一图像进行标注，生成第二图像，并将第二图像反馈至终端。
进一步地，待终端对目标标注端反馈的第二图像进行一致性校验后，可以根据一致性校验的结果，调整各目标标注端的评分。
可选的，终端分别检测各目标标注端反馈的第二图像是否通过一致性校验。
可选的，当终端检测到目标标注端反馈的第二图像通过一致性校验时(即检测到存在标注区域与该目标标注端反馈的第二图像相同的其他第二图像时)，则将该目标标注端对应的评分加一。
和/或，当终端检测到目标标注端反馈的第二图像未通过一致性校验时(即检测到不存在标注区域与该目标标注端反馈的第二图像相同的其他第二图像)，则将该目标标注端对应的评分减一。
在其他实施方式中，所述基于所有所述第二图像中的标注区域进行一致性校验之后，包括：
将所述标注区域相同的所述第二图像划分至同一样本组；
检测到存在多个所述样本组时，根据第二预设条件从所述样本组中选取目标样本组；
将所述目标样本组中的第二图像作为所述训练样本。
可选的，当终端对多个第二图像进行一致性校验之后，若终端检测到存在彼此之间的标注区域相同的第二图像时，则将这些标注区域相同的第二图像划分至同一样本组，即一个样本组至少存在两个彼此之间的标注区域相同的第二图像。而对于标注区域与其他第二图像均不相同的第二图像，则终端无需为其划分样本组。
进一步地，当终端检测到当前存在多个样本组时(即出现至少两种不同的标注结果时)，则根据第二预设条件从多个样本组中选出一个目标样本组。
可选的，所述第二预设条件包括以下任一个：
选取所述第二图像的数量最多的样本组；
选取所述第二图像对应的目标标注端的评分总和最高的样本组；
选取所述评分最高的目标标注端反馈的第二图像所处的样本组。
可选的，终端可以是检测到当前存在第二图像的数量最多的唯一一个样本组时，则将该样本组作为目标样本组。
可选的，当终端检测到各样本组中的第二图像的数量相等时，则根据各样本组中的第二图像对应的目标标注端的评分，计算各样本组对应的评分总和，然后选取评分总和最高的样本组作为目标样本组；
或者，终端也可以是确定评分最高的目标标注端，然后选取由该目标标注端所反馈的第二图像所处的样本组作为目标样本组。
可选的，当终端确定目标样本组之后，则将目标样本组中的第二图像作为机器学习模型的训练样本，并丢弃或隐藏其他样本组或未列入样本组中的第二图像。
同时，终端还可以将选取为训练样本的第二图像对应的目标标注端的评分加一，以及将未被选取为训练样本的第二图像对应的目标标注端的评分减一。
技术效果为根据标注端的评分选取目标标注端，并根据已标注图像的校验结果调整目标标注端的评分，可以逐步淘汰标注能力差的标注人员，而保留标注能力优秀的人员，从而提高了标注端标注样本的准确率，而且当样本标注的准确率提高后，后期需要人工审核的样本也就会越来越少，可以进一步减少对样本审核的人工成本。
在其他实施方式中，所述检测到所有所述第二图像彼此之间的所述标注区域均不相同时，则判定所述一致性校验不通过之后，包括：
将所述第二图像发送至审核端；
接收到所述审核端针对所述第二图像反馈的审核通过信息时，将所述第二图像作为所述训练样本；
接收到所述审核端针对所述第二图像反馈的审核不通过信息时，向所述第二图像对应的标注端发送提示信息，所述提示信息用于提示重新标注所述第一图像，以重新生成并反馈所述第二图像。
可选的，当终端检测到所有的第二图像均未通过一致性校验时，则可以是将未通过图像一致性校验的第二图像发送至审核端，以供相关审核人员对第二图像进行人工审核。其中，审核端可以是审核人员的关联设备或审核设备。
可选的，当审核人员判定第二图像审核通过时，则可以针对审核通过的第二图像，通过审核端向终端发送该第二图像对应的审核通过信息；当审核人员判定第二图像审核不通过时，则可以针对审核不通过的第二图像，通过审核端向终端发送该第二图像对应的审核不通过信息。
可选的，当终端接收到审核端针对第二图像反馈的审核通过信息时，则将该审核通过信息针对的第二图像作为机器学习模型的训练样本。
可选的，当终端接收到审核端针对第二图像反馈的审核不通过信息时，则生成该审核不通过信息针对的第二图像对应的提示信息，然后向该第二图像对应的标注端发送该提示信息，以提示该标注端的标注人员重新标注该第二图像对应的第一图像，以重新生成新的第二图像并将新的第二图像反馈至终端。
可选的，终端也可以是检测到存在至少一个第二图像具有审核通过信息时，则将具有审核通过信息的第二图像作为训练样本，将不具有审核通过信息(或具有审核不通过信息)的第二图像进行隐藏或丢弃；当终端检测到所有第二图像均不具有审核通过信息时(或均具有审核不通过信息时)，则再生成各第二图像对应的提示信息，并将提示信息发送至各第二图像对应的标注端，以供标注端重新生成第二图像并将新的第二图像反馈至终端，由终端重新进行一致性校验。
技术效果为只在已标注图像未通过一致性校验时，才对已标注图像进行人工审核，在一定程度上减少了人工审核样本的成本。
在其他实施方式中，所述检测到存在至少两个所述第二图像彼此之间的所述标注区域相同时，则判定所述一致性校验通过，并将所述标注区域相同的所述第二图像作为机器学习模型的训练样本之后，包括：
将所述训练样本发送至存储服务端以块链式的账本进行存储；
检测到所述训练样本的数量大于或等于预设阈值时，从所述存储服务端获取所述训练样本，并将所述训练样本输入到所述机器学习模型中进行训练。
可选的，终端与基于区块链技术构建的存储服务端建立有通信连接。
可选的，当终端有根据第二图像生成机器学习模型的训练样本时，可以将训练样本发送至存储服务端，并记录发送至存储服务端的训练样本的数量。
可选的，当存储服务端接收到终端发送的训练样本时，则将调用链表以块链式的账本存储到区块链网络中。账本(Ledger)，是区块链(也称为账本数据)和与区块链同步的状态数据库的统称。其中，区块链是以文件系统中的文件的形式来记录交易；状态数据库是以不同类型的键(Key)值(Value)对的形式来记录区块链中的交易，用于支持对区块链中交易的快速查询。
进一步地，终端检测存储在存储服务端上的训练样本的数量是否大于或等于预设阈值。其中，所述预设阈值可以根据机器学习模型的具体训练要求决定，如三千、五千、一万等。
可选的，当终端检测到存储在存储服务端上的训练样本的数量大于或等于预设阈值时，则向存储服务端发送训练样本的获取信息。当存储服务端接收到获取信息时，则将存储服务端存储的所有训练样本发送至终端。
当终端接收到存储服务端发送的训练样本后，则将接收到的训练样本输入至机器学习模型中进行迭代训练。
技术效果为在提高了对机器学习模型的训练样本进行存储的安全性的同时，还有效节约了终端本地的存储。
此外，本发明实施例还提出一种计算机可读存储介质，该计算机可读存储介质可以是硬盘、多媒体卡、SD卡、闪存卡、SMC、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器等等中的任意一种或者几种的任意组合。所述计算机可读存储介质中包括存储数据区和存储程序区，存储数据区存储根据区块链节点的使用所创建的数据，存储程序区存储有基于人工智能的图像标注校验程序10，所述基于人工智能的图像标注校验程序10被处理器执行时，实现如下操作：
接收到待标注文件时，将所述待标注文件对应的第一图像发送至多个标注端，以供所述标注端对所述第一图像进行标注，得到第二图像；
接收到所有所述标注端反馈的所述第二图像时，基于所有所述第二图像中的标注区域进行一致性校验；
检测到存在至少两个所述第二图像彼此之间的所述标注区域相同时，则判定所述一致性校验通过，并将所述标注区域相同的所述第二图像作为机器学习模型的训练样本；
检测到所有所述第二图像彼此之间的所述标注区域均不相同时，则判定所述一致性校验不通过。
在另一个实施例中，本发明所提供的基于人工智能的图像标注校验方法，为进一步保证上述所有出现的数据的私密和安全性，上述所有数据还可以存储于一区块链的节点中。例如二维码、识别码等等，这些数据均可存储在区块链节点中。
需要说明的是，本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
本发明之计算机可读存储介质的具体实施方式与上述基于人工智能的图像标注校验方法的具体实施方式大致相同，在此不再赘述。
需要说明的是，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。并且本文中的术语"包括"、"包含"或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句"包括一个……"限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
需要说明的是，上述本发明实施例可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用于使得一台电子设备(可以是手机，计算机，电子装置，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种基于人工智能的图像标注校验方法，其特征在于，所述方法包括：
接收到待标注文件时，将所述待标注文件对应的第一图像发送至多个标注端，以供所述标注端对所述第一图像进行标注，得到第二图像；
接收到所有所述标注端反馈的所述第二图像时，基于所有所述第二图像中的标注区域进行一致性校验；
检测到存在至少两个所述第二图像彼此之间的所述标注区域相同时，则判定所述一致性校验通过，并将所述标注区域相同的所述第二图像作为机器学习模型的训练样本；
检测到所有所述第二图像彼此之间的所述标注区域均不相同时，则判定所述一致性校验不通过。
2.如权利要求1所述的基于人工智能的图像标注校验方法，其特征在于，所述检测到存在至少两个所述第二图像彼此之间的所述标注区域相同时，则判定所述一致性校验通过，包括：
当第二图像通过一致性校验时，则终端将第二图像作为机器学习模型的训练样本，并可将第二图像输入到机器学习模型中，以对机器学习模型进行训练。
3.如权利要求1所述的基于人工智能的图像标注校验方法，其特征在于，所述将所述待标注文件对应的第一图像发送至多个标注端，包括：
根据所述标注端对应的评分，确定满足第一预设条件的多个所述标注端作为目标标注端；
将所述待标注文件对应的第一图像发送至所述目标标注端。
4.如权利要求1所述的基于人工智能的图像标注校验方法，其特征在于，所述基于所有所述第二图像中的标注区域进行一致性校验之后，包括：
将所述标注区域相同的所述第二图像对应的所述目标标注端的评分加一；和/或，
将所述标注区域与其他第二图像不同的第二图像对应的所述目标标注端的评分减一。
5.如权利要求1所述的基于人工智能的图像标注校验方法，其特征在于，所述基于所有所述第二图像中的标注区域进行一致性校验之后，包括：
将所述标注区域相同的所述第二图像划分至同一样本组；
检测到存在多个所述样本组时，根据第二预设条件从所述样本组中选取目标样本组；
将所述目标样本组中的第二图像作为所述训练样本。
6.如权利要求1所述的基于人工智能的图像标注校验方法，其特征在于，所述检测到所有所述第二图像彼此之间的所述标注区域均不相同时，则判定所述一致性校验不通过之后，包括：
将所述第二图像发送至审核端；
接收到所述审核端针对所述第二图像反馈的审核通过信息时，将所述第二图像作为所述训练样本；
接收到所述审核端针对所述第二图像反馈的审核不通过信息时，向所述第二图像对应的标注端发送提示信息，所述提示信息用于提示重新标注所述第一图像，以重新生成并反馈所述第二图像。
7.如权利要求1所述的基于人工智能的图像标注校验方法，其特征在于，所述检测到存在至少两个所述第二图像彼此之间的所述标注区域相同时，则判定所述一致性校验通过，并将所述标注区域相同的所述第二图像作为机器学习模型的训练样本之后，包括：
将所述训练样本发送至存储服务端以块链式的账本进行存储；
检测到所述训练样本的数量大于或等于预设阈值时，从所述存储服务端获取所述训练样本，并将所述训练样本输入到所述机器学习模型中进行训练。
8.一种基于人工智能的图像标注校验装置，其特征在于，所述装置包括：
接收模块，用于接收到待标注文件时，将所述待标注文件对应的第一图像发送至多个标注端，以供所述标注端对所述第一图像进行标注，得到第二图像；
校验模块，用于接收到所有所述标注端反馈的所述第二图像时，基于所有所述第二图像中的标注区域进行一致性校验；
检测模块，用于检测到存在至少两个所述第二图像彼此之间的所述标注区域相同时，则判定所述一致性校验通过，并将所述标注区域相同的所述第二图像作为机器学习模型的训练样本；
判定模块，用于检测到所有所述第二图像彼此之间的所述标注区域均不相同时，则判定所述一致性校验不通过。
9.一种电子设备，其特征在于，所述电子设备包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的程序，所述程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至7中任一项所述基于人工智能的图像标注校验方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有基于人工智能的图像标注校验程序，所述基于人工智能的图像标注校验程序被处理器执行时，实现如权利要求1至7中任一项所述基于人工智能的图像标注校验方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111007724.5A CN113705691B (zh) | 2021-08-30 | 2021-08-30 | 基于人工智能的图像标注校验方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111007724.5A CN113705691B (zh) | 2021-08-30 | 2021-08-30 | 基于人工智能的图像标注校验方法、装置、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113705691A true CN113705691A (zh) | 2021-11-26 |
| CN113705691B CN113705691B (zh) | 2024-04-09 |
Family
ID=78657090
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111007724.5A Active CN113705691B (zh) | 2021-08-30 | 2021-08-30 | 基于人工智能的图像标注校验方法、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113705691B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114049540A (zh) * | 2021-11-29 | 2022-02-15 | 平安银行股份有限公司 | 基于人工智能的标注图像检测方法、装置、设备及介质 |
| CN115795076A (zh) * | 2023-01-09 | 2023-03-14 | 北京阿丘科技有限公司 | 图像数据的交叉标注方法、装置、设备及存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102750385A (zh) * | 2012-06-29 | 2012-10-24 | 南京邮电大学 | 基于标签检索的相关性—质量排序图像检索方法 |
| CN108427970A (zh) * | 2018-03-29 | 2018-08-21 | 厦门美图之家科技有限公司 | 图片标注方法和装置 |
| CN110704661A (zh) * | 2019-10-12 | 2020-01-17 | 腾讯科技（深圳）有限公司 | 一种图像分类方法和装置 |
| CN111986194A (zh) * | 2020-09-03 | 2020-11-24 | 平安国际智慧城市科技股份有限公司 | 医学标注图像检测方法、装置、电子设备及存储介质 |
| WO2020253742A1 (zh) * | 2019-06-20 | 2020-12-24 | 杭州睿琪软件有限公司 | 样本标注审核方法及装置 |
| WO2021042549A1 (zh) * | 2019-09-04 | 2021-03-11 | 平安科技（深圳）有限公司 | 图像mask的过滤方法、装置、系统及存储介质 |
| CN112598686A (zh) * | 2021-03-03 | 2021-04-02 | 腾讯科技（深圳）有限公司 | 图像分割方法、装置、计算机设备及存储介质 |
-
2021
- 2021-08-30 CN CN202111007724.5A patent/CN113705691B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102750385A (zh) * | 2012-06-29 | 2012-10-24 | 南京邮电大学 | 基于标签检索的相关性—质量排序图像检索方法 |
| CN108427970A (zh) * | 2018-03-29 | 2018-08-21 | 厦门美图之家科技有限公司 | 图片标注方法和装置 |
| WO2020253742A1 (zh) * | 2019-06-20 | 2020-12-24 | 杭州睿琪软件有限公司 | 样本标注审核方法及装置 |
| WO2021042549A1 (zh) * | 2019-09-04 | 2021-03-11 | 平安科技（深圳）有限公司 | 图像mask的过滤方法、装置、系统及存储介质 |
| CN110704661A (zh) * | 2019-10-12 | 2020-01-17 | 腾讯科技（深圳）有限公司 | 一种图像分类方法和装置 |
| CN111986194A (zh) * | 2020-09-03 | 2020-11-24 | 平安国际智慧城市科技股份有限公司 | 医学标注图像检测方法、装置、电子设备及存储介质 |
| CN112598686A (zh) * | 2021-03-03 | 2021-04-02 | 腾讯科技（深圳）有限公司 | 图像分割方法、装置、计算机设备及存储介质 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114049540A (zh) * | 2021-11-29 | 2022-02-15 | 平安银行股份有限公司 | 基于人工智能的标注图像检测方法、装置、设备及介质 |
| CN115795076A (zh) * | 2023-01-09 | 2023-03-14 | 北京阿丘科技有限公司 | 图像数据的交叉标注方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113705691B (zh) | 2024-04-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108768654B (zh) | 基于声纹识别的身份验证方法、服务器及存储介质 | |
| US20160110826A1 (en) | Forensic system, forensic method, and forensic program | |
| CN113705691B (zh) | 基于人工智能的图像标注校验方法、装置、设备及介质 | |
| CN110929125A (zh) | 搜索召回方法、装置、设备及其存储介质 | |
| CN104252531B (zh) | 一种文件类型识别方法及装置 | |
| CN111680634A (zh) | 公文文件处理方法、装置、计算机设备及存储介质 | |
| CN112860997A (zh) | 医疗资源推荐方法、装置、设备及存储介质 | |
| CN112836484A (zh) | 一种文本对齐方法、装置、电子设备、计算机可读存储介质 | |
| CN110704426A (zh) | 数据校验方法、电子装置及计算机可读存储介质 | |
| CN111932413B (zh) | 案件要素提取方法、装置、设备及介质 | |
| CN113486316A (zh) | 用户身份验证方法、装置、电子设备及可读存储介质 | |
| CN112104662B (zh) | 远端数据读写方法、装置、设备及计算机可读存储介质 | |
| CN113850196A (zh) | 基于人工智能的会议监测、装置、设备及存储介质 | |
| CN113128440A (zh) | 基于边缘设备的目标物识别方法、装置、设备及存储介质 | |
| CN109961154A (zh) | 一种人工智能学习库的标记数据生成方法 | |
| CN113504910B (zh) | 代码文本的处理方法、装置、设备及存储介质 | |
| CN113051475B (zh) | 内容推荐方法、装置、电子设备及可读存储介质 | |
| CN115001802B (zh) | 基于共享屏幕的账号异常登录检测方法及相关设备 | |
| CN114723400B (zh) | 业务授权管理方法、装置、设备及存储介质 | |
| CN114006877A (zh) | 消息传输方法、装置、电子设备及存储介质 | |
| CN113361244A (zh) | 风控分析报告生成方法、装置、电子设备及存储介质 | |
| CN113868412A (zh) | 基于人工智能的体检报告解读方法、装置、设备及介质 | |
| CN113886246A (zh) | O2o项目流程管理系统测试方法、装置、设备及存储介质 | |
| CN115408244A (zh) | 网页性能测试方法、装置、设备及存储介质 | |
| CN114637823A (zh) | 一种指标口径确定方法、装置、计算机设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20220928 Address after: Room 2601 (Unit 07), Qianhai Free Trade Building, No. 3048, Xinghai Avenue, Nanshan Street, Qianhai Shenzhen-Hong Kong Cooperation Zone, Shenzhen, Guangdong 518000 Applicant after: Shenzhen Ping An Smart Healthcare Technology Co.,Ltd. Address before: 1-34 / F, Qianhai free trade building, 3048 Xinghai Avenue, Mawan, Qianhai Shenzhen Hong Kong cooperation zone, Shenzhen, Guangdong 518000 Applicant before: Ping An International Smart City Technology Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |