CN112328822A - 图片预标注方法、装置及终端设备 - Google Patents
图片预标注方法、装置及终端设备 Download PDFInfo
- Publication number
- CN112328822A CN112328822A CN202011103929.9A CN202011103929A CN112328822A CN 112328822 A CN112328822 A CN 112328822A CN 202011103929 A CN202011103929 A CN 202011103929A CN 112328822 A CN112328822 A CN 112328822A
- Authority
- CN
- China
- Prior art keywords
- labeling
- model
- pictures
- labeled
- picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000002372 labelling Methods 0.000 title claims abstract description 240
- 238000012549 training Methods 0.000 claims abstract description 52
- 238000000034 method Methods 0.000 claims abstract description 41
- 238000004590 computer program Methods 0.000 claims description 22
- 238000012795 verification Methods 0.000 claims description 10
- 238000001514 detection method Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 241000282472 Canis lupus familiaris Species 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 241000282326 Felis catus Species 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Library & Information Science (AREA)
- Databases & Information Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本申请适用于目标物体预标注技术领域，提供了图片预标注方法、装置及终端设备，包括：采用第一数量的第一图片训练轻量级网络，得到第二模型；采用所述第二模型对第二数量的第二图片进行预标注，得到包含第一预标注信息的第二图片，若所述第一预标注信息的置信度大于或等于预设置信度阈值，则将置信度大于或等于预设置信度阈值对应的包含第一预标注信息的第二图片存入预标注数据集；采用所述第一图片以及所述预标注数据集中的包含第一预标注信息的第二图片训练重量级网络，得到第四模型；采用所述第四模型对剩余需要预标注的图片进行预标注。通过上述方法，能够有效减少人工预标注的时间成本。
Description
技术领域
本申请属于目标物体预标注技术领域，尤其涉及图片预标注方法、装置、终端设备及计算机可读存储介质。
背景技术
基于机器视觉的机器人上的物体检测，是指搭载光学摄像头的机器人拍摄现实世界中的物体，然后采用物体识别算法对拍摄得到的图片进行特征提取，并根据提取的特征识别出物体所属的类别，同时回归出该物体在图片中的坐标位置，从而有助于机器人更好地感知现实世界，最终做出相应地决策。机器人虽然自带有中央处理器以及摄像头，但其本身对世界并没有感知能力，而机器视觉技术却能够对机器人使用摄像头所拍摄到的图片进行感知，识别出机器人眼前的目标物体以及目标物体所在的位置，进而辅助机器人更好的感知世界甚至认知世界。即，基于机器视觉的物体检测方案，是通过设计卷积神经网络模型对机器人上搭载的摄像头采集到的图片进行特征提取和识别，同时计算出目标物体在图片中的具体坐标位置，从而辅助机器人感知世界并作出相应的应答机制。
目前，使用卷积神经网络模型进行目标物体检测还是属于有监督学习范畴，即首先通过人工标注大量图片中的目标框，得到有标注图片，然后将标注好的各个有标注图片送入卷积神经网络模型中，该卷积神经网络模型通过对有标注图片学习到一种映射关系，最终其能达到检测出现实世界中该目标框的目标物体的目的。通过上述描述可知，要实现目标物体的检测，首先涉及到一个人工标注问题，若希望检测的目标种类越多，则需要进行人工标注的目标框也会成倍增长，此过程就需要付出大量的人力和时间成本。
现有的基于卷积神经网络模型进行目标物体的检测方法，通常是直接采用一个重量级模型对图片进行预标注。但这样又会涉及出另一问题，即重量级模型对数据吞吐量较为庞大，在预标注冷启动时，由于已标注的数量较少，势必会导致该重量级模型的性能较差，进而导致其预标注的质量较差，从而极大增大人工校准的难度和工作量。
故，需要提供一种新的物体预标注方法，以解决上述技术问题。
发明内容
本申请实施例提供了图片预标注方法，可以减少人工预标注的时间成本以及减少人工校准的难度。
第一方面，本申请实施例提供了一种图片预标注方法，包括：
采用第一数量的第一图片训练轻量级网络，得到第一模型，其中，所述第一图片中的目标物体的类别和位置均被人工通过目标框预标注；
采用所述第一模型对第二数量的第二图片进行预标注，得到包含第一预标注信息的第二图片，若所述第一预标注信息的置信度大于或等于预设置信度阈值，则将置信度大于或等于预设置信度阈值对应的包含第一预标注信息的第二图片存入预标注数据集；
采用所述第一图片以及所述预标注数据集中的包含第一预标注信息的第二图片训练重量级网络，得到第二模型；
采用所述第二模型对剩余需要预标注的图片进行预标注。
本申请实施例与现有技术相比存在的有益效果是：由于采用第一数量的第一图片对轻量级网络进行训练，而第一图片中的目标物体的类别和位置均被人工通过目标框预标注，即保证了用于训练轻量级网络的样本的准确性，因此，保证得到的第一模型(即训练后的轻量级网络)更准确，同时，由于轻量级网络占用的空间大小小于第一预设大小阈值，因此，有利于提高轻量级网络的训练速度。在采用第一模型对第二数量的第二图片进行预标注后，得到包含第一预标注信息的第二图片，并将置信度大于或等于预设置信度阈值对应的包含第一预标注信息的第二图片存入预标注数据集，再结合第一数量的第一图片以及预标注数据集中存储的包含第一预标注信息的第二图片训练重量级网络，此时，虽然重量级网络的量级大于轻量级网络，但由于重量级网络的训练样本(第一数量的图片以及预标注数据集中存储的包含第一预标注信息的第二图片)比轻量级网络的训练样本更多，因此，也能得到准确的第二模型(即训练后的重量级网络)，进而后续采用第二模型对剩余需要预标注的图片进行预标注，也能得到更准确的预标注结果，进而减少了人工校准的难度。通过上述描述可知，本申请实施例的图片预标注方法不需要人工对大量图片进行预标注，因此，能够有效减少人工预标注的时间成本。
第二方面，本申请实施例提供了一种图片预标注装置，包括：
第一模型生成单元，用于采用第一数量的第一图片训练轻量级网络，得到第一模型，其中，所述第一图片中的目标物体的类别和位置均被人工通过目标框预标注；
包含第一预标注信息的第二图片生成单元，用于采用所述第一模型对第二数量的第二图片进行预标注，得到包含第一预标注信息的第二图片，若所述第一预标注信息的置信度大于或等于预设置信度阈值，则将置信度大于或等于预设置信度阈值对应的包含第一预标注信息的第二图片存入预标注数据集；
第二模型生成单元，用于采用所述第一图片以及所述预标注数据集中的包含第一预标注信息的第二图片训练重量级网络，得到第二模型；
剩余图片预标注单元，用于采用所述第二模型对剩余需要预标注的图片进行预标注。
第三方面，本申请实施例提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述的方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的方法。
第五方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行上述第一方面所述的方法。
可以理解的是，上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
图1是本申请一实施例提供的一种图片预标注方法的流程示意图；
图2是本申请一实施例提供的通过目标框预标注图片的目标物体的类别和位置的示意图；
图3是本申请一实施例提供的另一种图片预标注方法的流程示意图；
图4是本申请一实施例提供的一种图片预标注装置的结构示意图；
图5是本申请一实施例提供的终端设备的结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本申请说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
实施例一：
由于现有的目标物体的检测方法，都需要对目标检测模型进行训练，即通过人工标注或者直接通过重量级模型对图片进行预标注，得到对应的训练样本，但由于仅采用人工标注时，需要投入较多的人力时间成本，而直接通过重量级模型对图片进行预标注，又可能导致预标注的准确率低下，进而仍需要人工进行校正，因此，现有的方法难以有效实现较少的人力时间成本和较高的预标注的准确率的平衡。为了解决该技术问题，本申请实施例提供了一种图片预标注方法，在本申请实施例中，首先对第一数量的第一图片进行人工预标注，接着采用预标注后的第一数量的第一图片对轻量级网络进行训练，得到第一模型，再使用该第一模型对第二数量的第二图片进行预标注，最后使用第一模型预标注的图片以及人工预标注的图片训练重量级网络，得到第二模型，进而可以使用该第二模型对剩余的图片进行预标注。由于对轻量级模型的训练只需要少量样本即可实现，因此，用于训练轻量级网络的第一数量的第一图片不需要很多，也即不需要人工进行很多图片的预标注。同时，在训练重量级模型之前，还通过已训练的轻量级网络(即第一模型)继续对图片进行预标注，以保证后续具有足够的样本对重量级网络进行训练，从而有利于保证得到的训练后的重量级网络(即第二模型)具有较高的检测出目标物体的准确率。通过上述预标注方式，能够有效解决图片预标注的冷启动问题以及大数量图片的预标注问题，也能够大幅降低人工标注的压力和时间成本，从而有效提供工程项目的效率。
图1示出了本申请实施例提供的一种图片预标注方法的流程图，本申请实施例中，执行主体是终端设备，详述如下：
步骤S11，采用第一数量的第一图片训练轻量级网络，得到第一模型，其中，所述第一图片中的目标物体的类别和位置均被人工通过目标框预标注。
本实施例中，轻量级网络占用的空间大小小于第一预设大小阈值。其中，第一预设大小阈值可取为50MB(兆)以下，比如，在30～40之间取值。由于第一数量的第一图片是用于训练轻量级网络，因此，这里的第一数量不需要较大的数量，比如，可以为100张，150张等。
本实施例中，通过目标框预标注图片的目标物体的类别和位置的示意图如图2所示。在图2中，“dog”表示狗这一目标物体的类别的名称，同理，“bicycle”表示自行车这一目标物体的类别的名称，“car”表示汽车这一目标物体的类别的名称。各个类别的名称所对应的目标框的范围表示对应目标物体在图片中的位置。
在一些实施例中，为了提高得到的第一模型对目标物体进行预标注的准确性，则设置需要进行预标注的各个类别的目标物体分别位于各个第一图片中(比如一个第一图片包括2个类别的目标物体，另一个第一图片包括其他1个类别的目标物体)。例如，假设需要进行预标注5种类别的目标物体：人、狗、猫、树、花，第一数量为10张，则这10张第一图片中，需要包括人、狗、猫、树、花这5种类别的目标物体，同一张图片中可以包括多个种类的目标物体，也可以只包括一个种类的目标物体，只要这10张第一图片都包括了这5种类别的目标物体即可。
步骤S12，采用所述第一模型对第二数量的第二图片进行预标注，得到包含第一预标注信息的第二图片，若所述第一预标注信息的置信度大于或等于预设置信度阈值，则将置信度大于或等于预设置信度阈值对应的包含第一预标注信息的第二图片存入预标注数据集。
其中，所述第一预标注信息用于通过目标框指示在所述第二图片识别出的目标物体的类别和位置。
其中，第二数量可以等于第一数量，也可以不等于第一数量，优选地，该第二数量大于第一数量，即通过第一模型对更多数量的第二图片进行预标注。
具体地，当采用第一模型对第二图片进行预标注后，将回归出目标物体在该第二图片中的位置(通过目标框框选目标物体体现)，以及，回归该目标物体的类别，即第一预标注信息包括指示目标物体的位置的目标框和对应的类别，同时，每个目标框对应一个置信度。本实施例中，若第一模型回归一个目标框，且该目标框的置信度大于或等于预设置信度(该预设置信度可取为80％以上的值)，表明该目标框中的目标物体被准确识别的概率较大，此时，将被预标注的第二图片(即包含第一预标注信息的第二图片)存入预标注数据集中，该预标注数据集用于存储回归的目标框中，置信度大于预设置信度阈值所对应的被预标注的图片。需要指出的是，该被预标注的图片包括该步骤中的置信度大于预设置信度阈值所对应的被预标注的第二图片，也包括后续满足条件的第三图片、第四图片等。
步骤S13，采用所述第一图片以及所述预标注数据集中的包含第一预标注信息的第二图片训练重量级网络，得到第二模型。
其中，所述重量级网络占用的空间大小大于第二预设大小阈值，所述第二预设大小阈值大于第一预设大小阈值。
本实施例中，通过训练一个重量级模型，以便后续采用该重量级模型对图片进行预标注。其中，第二预设大小阈值可取为100MB以上，比如，在300～400之间取值等。由于轻量级模型的学习能力有限，因此，若全部需要预标注的图片都采用轻量级模型进行预标注，将难以得到较好的预标注结果。而由于重量级模型对预标注数据集吞吐量较大，尤其是前期，因此，若直接使用少量图片的预标注数据集训练重量级网络，其也无法达到较好的效果，故在前期冷启动时需要使用轻量级模型，在预标注好一定数量的图片后再用其训练重量级网络，从而达到更好的预标注结果。
在一些实施例中，由于重量级网络占用的空间大小较大，因此，为了保证训练得到的第二模型的准确性，需要保证一定的训练样本。即该步骤S13包括：
若第一数量与第二数量的和与所有需要预标注的图片的数量之间的商大于或等于预设的比值，则采用所述第一图片以及所述预标注数据集中的包含第一预标注信息的第二图片训练重量级网络，得到第二模型。
其中，预设的比值可以为3％。
步骤S14，采用所述第二模型对剩余需要预标注的图片进行预标注。
由于第二模型是重量级模型，即其识别准确性和识别速度都优于轻量级模型，因此，采用第二模型对剩余需要预标注的图片进行预标注，能够提高后续预标注的速度和准确性。
本申请实施例中，由于采用第一数量的第一图片对轻量级网络进行训练，而第一图片中的目标物体的类别和位置均被人工通过目标框预标注，即保证了用于训练轻量级网络的样本的准确性，因此，保证得到的第一模型(即训练后的轻量级网络)更准确，同时，由于轻量级网络占用的空间大小较小，因此，有利于提高轻量级网络的训练速度。在采用第一模型对第二数量的第二图片进行预标注后，得到包含第一预标注信息的第二图片，并将置信度大于或等于预设置信度阈值对应的包含第一预标注信息的第二图片存入预标注数据集，再结合第一数量的第一图片以及预标注数据集中存储的包含第一预标注信息的第二图片训练重量级网络，此时，虽然重量级网络的量级大于轻量级网络，但由于重量级网络的训练样本(第一数量的图片以及预标注数据集中存储的包含第一预标注信息的第二图片)比轻量级网络的训练样本更多，因此，也能得到准确的第二模型(即训练后的重量级网络)，进而后续采用第二模型对剩余需要预标注的图片进行预标注，也能得到更准确的预标注结果，进而减少了人工校准的难度。通过上述描述可知，本申请实施例的图片预标注方法不需要人工对大量图片进行预标注，因此，能够有效减少人工预标注的时间成本。
在一些实施例中，轻量级网络，重量级网络为深度学习模型，训练后的轻量级网络(即第一模型)、训练后的重量级网络(即第二模型)也是深度学习模型。轻量级网络和重量级网络训练停止的条件主要是判断对应的损失函数是否满足收敛条件，若满足收敛条件，则训练停止，否则，继续对轻量级网络或对重量级网络进行训练。
图3示出了本申请实施例提供的另一种图片预标注方法，在本实施例中，轻量级网络的个数大于或等于2，且各个轻量级网络为不同的模型，也即训练后的轻量级网络(即第一模型)的个数也大于或等于2，且各个第一模型为不同的模型。
步骤S31，采用第一数量的第一图片训练轻量级网络，得到第一模型，其中，所述第一图片中的目标物体的类别和位置均被人工通过目标框预标注，轻量级网络的个数大于或等于2，且各个轻量级网络为不同的模型。
其中，所述轻量级网络占用的空间大小小于第一预设大小阈值，
步骤S32，采用各个所述第一模型对第二数量的第二图片进行预标注，得到包含各个第一预标注信息的第二图片，若各个第一预标注信息指示各个所述第一模型均能在同一第二图片中检测出相同的目标物体，且所述各个第一预标注信息的置信度均大于或等于预设置信度阈值，则将置信度大于或等于预设置信度阈值对应的包含第一预标注信息的第二图片存入预标注数据集。
本实施例中，选择至少2个不同的第一模型对第二图片进行预标注，并且，只有在这些第一模型都能够在同一第二图片中检测到相同的目标物体，且该目标物体所在的目标框对应的置信度均大于或等于预设置信度阈值，才将该第二图片存入预标注数据集中。例如，假设第一模型分别为两个轻量级模型PeleeNet(PeleeNet是一种基于Densenet的轻量化网络变体，主要面向移动端部署)和MobileNetv2-SSD，采用PeleeNet和MobileNetv2-SSD分别对一批未标注图片(即本申请的第二数量的第二图片)进行预标注。若PeleeNet检测出第二图片X的目标物体1，MobileNetv2-SSD检测出第二图片X的目标物体1和目标物体2，由于两个第一模型检测出的目标物体不完全相同，表明存在漏检的情况，因此该第二图片X不会存入预标注数据集。但若PeleeNet检测出第二图片X的目标物体1，且该目标物体1的置信度大于或等于预设置信度阈值，以及，若MobileNetv2-SSD检测出第二图片X的目标物体1，且该目标物体1的置信度大于或等于预设置信度阈值，则该第二图片X将存入预标注数据集。
步骤S33，采用所述第一图片以及所述预标注数据集中的包含第一预标注信息的第二图片训练重量级网络，得到第二模型。
其中，所述重量级网络占用的空间大小大于第二预设大小阈值，所述第二预设大小阈值大于第一预设大小阈值。
其中，重量级网络可以为EfficientNet，当然，也可以为其他的重量级模型，此处不作限定。
步骤S34，采用所述第二模型对剩余需要预标注的图片进行预标注。
其中，本实施例中的步骤34与上述的步骤S14相同，此处不再赘述。
本实施例中，由于不同的第一模型都出现漏检的概率小于一个第一模型出现漏检的概率，因此，采用上述方式，能够保证预标注数据集存入的包含第一预标注信息的第二图片的准确性。
在一些实施例中，在所述步骤S33中的得到第二模型之后，包括：
A1、分别采用所述第二模型和各个所述第一模型对第三数量的第三图片进行预标注，得到包含第二预标注信息的第三图片，所述第二预标注信息用于通过目标框指示在所述第三图片识别出的目标物体的类别和位置。
A2、若所述第二预标注信息指示所述第二模型和各个所述第一模型中，识别出所述第三图片中的同一目标物体的模型的个数超过50％，则分别统计所述第二模型准确识别出的目标框的数量和各个所述第一模型准确识别出的目标框的数量。
所述步骤S34包括：
若所述第二模型准确识别出的目标框的数量大于各个所述第一模型准确识别出的目标框的数量，则采用所述第二模型对剩余需要预标注的图片进行预标注。
本实施例中，为了保证单独使用第二模型对图片进行预标注时能够具有较好的预标注结果，则在得到第二模型后，先分别采用第二模型以及各个第一模型对同一第三图片进行预标注，若超过50％的模型都能够识别出该同一第三图片中的同一目标物体，则统计第二模型从开始对第三图片进行预标注时，能够准确识别出的目标框的数量，以及，统计各个第一模型从开始对第三图片进行预标注时，能够准确识别出的目标框的数量，若第二模型能够准确识别出的目标框的数量更多，则表明该第二模型与各个第一模型相比，能够得到更好的预标注结果，此时，可直接采用该第二模型对剩余的图片进行预标注。例如，假设第二模型为EfficientNet，2个第一模型为PeleeNet和MobileNetv2-SSD，若第三图片中的某一个目标物体被这三个模型中的2个或2个以上同时识别到，则统计EfficientNet可以准确识别的目标框的数量M1，以及，统计PeleeNet可以准确识别的目标框的数量M2，统计MobileNetv2-SSD可以准确识别的目标框的数量M3，若M1大于M2，且M1大于M3，则表明EfficientNet的学习能力已经超过PeleeNet和MobileNetv2-SSD，此时，可采用EfficientNet对剩余的图片进行预标注。需要指出的是，为了能够更准确的判断出第二模型是否已经具备更好的学习能力，则在判断出超过50％的模型都能够识别出该同一第三图片中的同一目标物体后，还需继续判断对应的置信度是否大于或等于预设置信度阈值，若大于或等于预设置信度阈值，才统计第二模型从开始对第三图片进行预标注时，能够准确识别出的目标框的数量。
一些实施例中，若所述第二模型准确识别出的目标框的数量大于各个所述第一模型准确识别出的目标框的数量，则释放各个所述第一模型的资源。
本实施例中，通过释放各个第一模型的资源，因此，有利于减少资源的使用。
在一些实施例中，为了进一步提高第一模型得到的预标注结果的精度，则可对预标注数据集包含的图片进行校验，再采用校验后的预标注数据集继续训练第一模型，即在所述分别采用所述第二模型和各个所述第一模型对第三数量的第三图片进行预标注之前，包括：
在对所述预标注数据集中包含第一预标注信息的第二图片进行校验后，采用校验后的包含第一预标注信息的第二图片继续训练所述第一模型，得到训练后的所述第一模型。
本实施例中，对包含第一预标注信息的第二图片进行的校验，可以为人工校验，也可以采用之前已训练好的模型(如第二模型)进行新的预标注以实现对该包含第一预标注信息的第二图片的校验。由于校验后的第一预标注信息更准确，因此，采用校验后的预标注数据集对第一模型进行再次训练，能够保证训练后的第一模型在后续预标注时可以得到更好的预标注结果。比如，采用训练后的第一模型再对未标注的图片进行预标注，得到包含预标注信息的图片，后续可以结合第一图片以及采用训练后的第一模型预标注的图片继续训练重量级网络，得到训练后的重量级网络，再采用训练后的重量级网络对图片进行预标注。
在一些实施例中，为了得到更准确的第二模型，则在第二模型单独进行预标注时，对预标注后的图片进行校验，并采用校验后的图片对第二模型进行再次训练，此时，所述步骤S34，包括：
B1、采用所述第二模型对第四数量的第四图片进行预标注，得到包含第三预标注信息的第四图片，并将所述包含第三预标注信息的第四图片存入预标注数据集。
B2、在对所述预标注数据集中的所述包含第三预标注信息的第四图片进行校验后，采用所述预标注数据集中的各个图片继续训练所述第二模型，其中，第四数量的第四图片为剩余需要预标注的部分图片。
B3、采用训练后的所述第二模型对除所述第四数量的第四图片后的剩余需要预标注的图片进行预标注。
本实施中，为了防止目标框被漏标注造成最终的预标注结果的精度受损，则在第二模型单独对剩余需要预标注的部分图片进行预标注之后，对存入预标注数据集中的被预标注的第四图片进行校验，再采用经过校验操作的预标注数据集中的各个被预标注的图片继续训练第二模型，得到训练后的第二模型。由于对存入预标注数据集中的被预标注的第四图片进行校验，因此，保证该预标注数据集中的各个预标注信息的准确性，且由于预标注数据集中的被预标注的第四图片，即增加了第二模型的训练样本，因此，使得训练后的第二模型更准确。
在一些实施例中，在所述B1之前，还包括：
B11、若所述第二预标注信息指示所述第二模型和各个所述第一模型中，识别出所述第三图片中的同一目标物体的模型的个数超过50％，且识别所述同一目标物体对应的置信度均大于或所述等于预设置信度阈值，则将所述同一目标物体的目标框存入所述预标注数据集。
B12、若所述第二预标注信息指示所述第二模型和各个所述第一模型中，识别出所述第三图片中的同一目标物体的模型的个数超过50％，且识别所述同一目标物体对应的置信度不全部大于或等于所述预设置信度阈值，则在对所述同一目标物体的目标框进行校验后再存入所述预标注数据集。
本实施例中，若超过半数的模型能够识别出同一目标物体，且置信度较高，则直接将该同一目标物体的目标框存入预标注数据集，否则，若置信度较低，则对该同一目标物体的目标框进行校验后再存入预标注数据集，从而保证预标注数据集存储的目标框的准确性。
在一些实施例中，所述校验包括以下至少一种：
目标框的调整、目标框的增加以及目标框的删除。
本实施例汇总，目标框的调整包括目标框位置的调整和/或目标框大小的调整。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
实施例二：
对应于上文实施例所述的图片预标注方法，图4示出了本申请实施例提供的图片预标注装置的结构框图，为了便于说明，仅示出了与本申请实施例相关的部分。
参照图4，该图片预标注装置4包括：第一模型生成单元41、包含第一预标注信息的第二图片生成单元42、第二模型生成单元43、剩余图片预标注单元44。其中：
第一模型生成单元41，用于采用第一数量的第一图片训练轻量级网络，得到第一模型，其中，所述第一图片中的目标物体的类别和位置均被人工通过目标框预标注。
其中，所述轻量级网络占用的空间大小小于第一预设大小阈值该第一预设大小阈值可取为50MB(兆)以下，比如，在30～40之间取值。
在一些实施例中，为了提高得到的第一模型对目标物体进行预标注的准确性，则各个第一图片中，包括需要进行预标注的各个类别的目标物体。
包含第一预标注信息的第二图片生成单元42，用于采用所述第一模型对第二数量的第二图片进行预标注，得到包含第一预标注信息的第二图片，若所述第一预标注信息的置信度大于或等于预设置信度阈值，则将置信度大于或等于预设置信度阈值对应的包含第一预标注信息的第二图片存入预标注数据集。
其中，所述第一预标注信息用于通过目标框指示在所述第二图片识别出的目标物体的类别和位置。
其中，第二数量可以等于第一数量，也可以不等于第一数量，优选地，该第二数量大于第一数量，即通过第一模型对更多数量的第二图片进行预标注。
第二模型生成单元43，用于采用所述第一图片以及所述预标注数据集中的包含第一预标注信息的第二图片训练重量级网络，得到第二模型；
其中，所述重量级网络占用的空间大小大于第二预设大小阈值，所述第二预设大小阈值大于第一预设大小阈值。该第二预设大小阈值可取为100MB以上，比如，在300～400之间取值等。
由于重量级网络占用的空间大小较大，因此，为了保证训练得到的第二模型的准确性，需要保证一定的训练样本。即该第二模型生成单元43具体用于：
若第一数量与第二数量的和与所有需要预标注的图片的数量之间的商大于或等于预设的比值，则采用所述第一图片以及所述预标注数据集中的包含第一预标注信息的第二图片训练重量级网络，得到第二模型。
剩余图片预标注单元44，用于采用所述第二模型对剩余需要预标注的图片进行预标注。
本申请实施例中，由于采用第一数量的第一图片对轻量级网络进行训练，而第一图片中的目标物体的类别和位置均被人工通过目标框预标注，即保证了用于训练轻量级网络的样本的准确性，因此，保证得到的第一模型(即训练后的轻量级网络)更准确，同时，由于轻量级网络占用的空间大小小于第一预设大小阈值，因此，有利于提高轻量级网络的训练速度。在采用第一模型对第二数量的第二图片进行预标注后，得到包含第一预标注信息的第二图片，并将置信度大于或等于预设置信度阈值对应的包含第一预标注信息的第二图片存入预标注数据集，再结合第一数量的第一图片以及预标注数据集中存储的包含第一预标注信息的第二图片训练重量级网络，此时，虽然重量级网络占用的空间大小大于第二预设大小阈值，该第二预设大小阈值大于第一预设大小阈值，即重量级网络的量级大于轻量级网络，但由于重量级网络的训练样本(第一数量的图片以及预标注数据集中存储的包含第一预标注信息的第二图片)比轻量级网络的训练样本更多，因此，也能得到准确的第二模型(即训练后的重量级网络)，进而后续采用第二模型对剩余需要预标注的图片进行预标注，也能得到更准确的预标注结果，进而减少了人工校准的难度。通过上述描述可知，本申请实施例的图片预标注方法不需要人工对大量图片进行预标注，因此，能够有效减少人工预标注的时间成本。
在一些实施例中，所述第一模型的个数大于或等于2，且各个第一模型为不同的模型，所述包含第一预标注信息的第二图片生成单元42，具体用于：
采用各个所述第一模型对第二数量的第二图片进行预标注，得到包含各个第一预标注信息的第二图片，若各个第一预标注信息指示各个所述第一模型均能在同一第二图片中检测出相同的目标物体，且所述各个第一预标注信息的置信度均大于或等于预设置信度阈值，则将置信度大于或等于预设置信度阈值对应的包含第一预标注信息的第二图片存入预标注数据集。
在一些实施例中，该图片预标注装置4包括：
包含第二预标注信息的第三图片生成单元，用于分别采用所述第二模型和各个所述第一模型对第三数量的第三图片进行预标注，得到包含第二预标注信息的第三图片。
其中，所述第二预标注信息用于通过目标框指示在所述第三图片识别出的目标物体的类别和位置。
目标框的数量统计单元，用于若所述第二预标注信息指示所述第二模型和各个所述第一模型中，识别出所述第三图片中的同一目标物体的模型的个数超过50％，则分别统计所述第二模型准确识别出的目标框的数量和各个所述第一模型准确识别出的目标框的数量。
所述剩余图片预标注单元44具体用于：
若所述第二模型准确识别出的目标框的数量大于各个所述第一模型准确识别出的目标框的数量，则采用所述第二模型对剩余需要预标注的图片进行预标注。
在一些实施例中，该图片预标注装置4包括：
训练后的第一模型生成单元，用于在对所述预标注数据集中包含第一预标注信息的第二图片进行校验后，采用校验后的包含第一预标注信息的第二图片继续训练所述第一模型，得到训练后的所述第一模型。
在一些实施例中，所述剩余图片预标注单元44在采用所述第二模型对剩余需要预标注的图片进行预标注时，具体包括：
包含第三预标注信息的第四图片生成模块，用于采用所述第二模型对第四数量的第四图片进行预标注，得到包含第三预标注信息的第四图片，并将所述包含第三预标注信息的第四图片存入预标注数据集。
训练后的第二模型生成模块，用于在对所述预标注数据集中的所述包含第三预标注信息的第四图片进行校验后，采用所述预标注数据集中的各个图片继续训练所述第二模型，其中，第四数量的第四图片为剩余需要预标注的部分图片。
训练后的第二模型预标注模块，用于采用训练后的所述第二模型对除所述第四数量的第四图片后的剩余需要预标注的图片进行预标注。
在一些实施例中，该图片预标注装置4还包括：
第一目标框存储模块，用于若所述第二预标注信息指示所述第二模型和各个所述第一模型中，识别出所述第三图片中的同一目标物体的模型的个数超过50％，且识别所述同一目标物体对应的置信度均大于或所述等于预设置信度阈值，则将所述同一目标物体的目标框存入所述预标注数据集。
第二目标框存储模块，用于若所述第二预标注信息指示所述第二模型和各个所述第一模型中，识别出所述第三图片中的同一目标物体的模型的个数超过50％，且识别所述同一目标物体对应的置信度不全部大于或等于所述预设置信度阈值，则在对所述同一目标物体的目标框进行校验后再存入所述预标注数据集。
在一些实施例中，所述校验包括以下至少一种：
目标框的调整、目标框的增加以及目标框的删除。
需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
实施例三：
图5为本申请一实施例提供的终端设备的结构示意图。如图5所示，该实施例的终端设备5包括：至少一个处理器50(图5中仅示出一个处理器)、存储器51以及存储在所述存储器51中并可在所述至少一个处理器50上运行的计算机程序52，所述处理器50执行所述计算机程序52时实现上述任意各个方法实施例中的步骤：
采用第一数量的第一图片训练轻量级网络，得到第一模型，其中，所述第一图片中的目标物体的类别和位置均被人工通过目标框预标注；
采用所述第一模型对第二数量的第二图片进行预标注，得到包含第一预标注信息的第二图片，若所述第一预标注信息的置信度大于或等于预设置信度阈值，则将置信度大于或等于预设置信度阈值对应的包含第一预标注信息的第二图片存入预标注数据集；
采用所述第一图片以及所述预标注数据集中的包含第一预标注信息的第二图片训练重量级网络，得到第二模型；
采用所述第二模型对剩余需要预标注的图片进行预标注。
可选地，所述第一模型的个数大于或等于2，且各个第一模型为不同的模型，所述采用所述第一模型对第二数量的第二图片进行预标注，得到包含第一预标注信息的第二图片，若所述第一预标注信息的置信度大于或等于预设置信度阈值，则将置信度大于或等于预设置信度阈值对应的包含第一预标注信息的第二图片存入预标注数据集，包括：
采用各个所述第一模型对第二数量的第二图片进行预标注，得到包含各个第一预标注信息的第二图片，若各个第一预标注信息指示各个所述第一模型均能在同一第二图片中检测出相同的目标物体，且所述各个第一预标注信息的置信度均大于或等于预设置信度阈值，则将置信度大于或等于预设置信度阈值对应的包含第一预标注信息的第二图片存入预标注数据集。
可选地，在所述得到第二模型之后，包括：
分别采用所述第二模型和各个所述第一模型对第三数量的第三图片进行预标注，得到包含第二预标注信息的第三图片，所述第二预标注信息用于通过目标框指示在所述第三图片识别出的目标物体的类别和位置；
若所述第二预标注信息指示所述第二模型和各个所述第一模型中，识别出所述第三图片中的同一目标物体的模型的个数超过50％，则分别统计所述第二模型准确识别出的目标框的数量和各个所述第一模型准确识别出的目标框的数量；
所述采用所述第二模型对剩余需要预标注的图片进行预标注包括：
若所述第二模型准确识别出的目标框的数量大于各个所述第一模型准确识别出的目标框的数量，则采用所述第二模型对剩余需要预标注的图片进行预标注。
可选地，在所述分别采用所述第二模型和各个所述第一模型对第三数量的第三图片进行预标注之前，包括：
在对所述预标注数据集中包含第一预标注信息的第二图片进行校验后，采用校验后的包含第一预标注信息的第二图片继续训练所述第一模型，得到训练后的所述第一模型。
可选地，所述采用所述第二模型对剩余需要预标注的图片进行预标注，包括：
采用所述第二模型对第四数量的第四图片进行预标注，得到包含第三预标注信息的第四图片，并将所述包含第三预标注信息的第四图片存入预标注数据集；
在对所述预标注数据集中的所述包含第三预标注信息的第四图片进行校验后，采用所述预标注数据集中的各个图片继续训练所述第二模型，其中，第四数量的第四图片为剩余需要预标注的部分图片；
采用训练后的所述第二模型对除所述第四数量的第四图片后的剩余需要预标注的图片进行预标注。
可选地，在所述采用所述第二模型对第四数量的第四图片进行预标注，得到包含第三预标注信息的第四图片，并将所述包含第三预标注信息的第四图片存入预标注数据集之前，还包括：
若所述第二预标注信息指示所述第二模型和各个所述第一模型中，识别出所述第三图片中的同一目标物体的模型的个数超过50％，且识别所述同一目标物体对应的置信度均大于或所述等于预设置信度阈值，则将所述同一目标物体的目标框存入所述预标注数据集；
若所述第二预标注信息指示所述第二模型和各个所述第一模型中，识别出所述第三图片中的同一目标物体的模型的个数超过50％，且识别所述同一目标物体对应的置信度不全部大于或等于所述预设置信度阈值，则在对所述同一目标物体的目标框进行校验后再存入所述预标注数据集。
可选地，所述轻量级网络占用的空间大小小于第一预设大小阈值；
所述重量级网络占用的空间大小大于第二预设大小阈值，且所述第二预设大小阈值大于所述第一预设大小阈值。
可选地，所述校验包括以下至少一种：
目标框的调整、目标框的增加以及目标框的删除。
所述终端设备5可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。该终端设备可包括，但不仅限于，处理器50、存储器51。本领域技术人员可以理解，图5仅仅是终端设备5的举例，并不构成对终端设备5的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括输入输出设备、网络接入设备等。
所称处理器50可以是中央处理单元(Central Processing Unit，CPU)，该处理器50还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器51在一些实施例中可以是所述终端设备5的内部存储单元，例如终端设备5的硬盘或内存。所述存储器51在另一些实施例中也可以是所述终端设备5的外部存储设备，例如所述终端设备5上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器51还可以既包括所述终端设备5的内部存储单元也包括外部存储设备。所述存储器51用于存储操作系统、应用程序、引导装载程序(BootLoader)、数据以及其他程序等，例如所述计算机程序的程序代码等。所述存储器51还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本申请实施例还提供了一种网络设备，该网络设备包括：至少一个处理器、存储器以及存储在所述存储器中并可在所述至少一个处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任意各个方法实施例中的步骤。
本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。
本申请实施例提供了一种计算机程序产品，当计算机程序产品在移动终端上运行时，使得移动终端执行时实现可实现上述各个方法实施例中的步骤。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置/网络设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/网络设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。
Claims (10)
1.一种图片预标注方法，其特征在于，包括：
采用第一数量的第一图片训练轻量级网络，得到第一模型，其中，所述第一图片中的目标物体的类别和位置均被人工通过目标框预标注；
采用所述第一模型对第二数量的第二图片进行预标注，得到包含第一预标注信息的第二图片，若所述第一预标注信息的置信度大于或等于预设置信度阈值，则将置信度大于或等于预设置信度阈值对应的包含第一预标注信息的第二图片存入预标注数据集；
采用所述第一图片以及所述预标注数据集中的包含第一预标注信息的第二图片训练重量级网络，得到第二模型；
采用所述第二模型对剩余需要预标注的图片进行预标注。
2.如权利要求1所述的图片预标注方法，其特征在于，所述第一模型的个数大于或等于2，且各个第一模型为不同的模型，所述采用所述第一模型对第二数量的第二图片进行预标注，得到包含第一预标注信息的第二图片，若所述第一预标注信息的置信度大于或等于预设置信度阈值，则将置信度大于或等于预设置信度阈值对应的包含第一预标注信息的第二图片存入预标注数据集，包括：
采用各个所述第一模型对第二数量的第二图片进行预标注，得到包含各个第一预标注信息的第二图片，若各个第一预标注信息指示各个所述第一模型均能在同一第二图片中检测出相同的目标物体，且所述各个第一预标注信息的置信度均大于或等于预设置信度阈值，则将置信度大于或等于预设置信度阈值对应的包含第一预标注信息的第二图片存入预标注数据集。
3.如权利要求2所述的图片预标注方法，其特征在于，在所述得到第二模型之后，包括：
分别采用所述第二模型和各个所述第一模型对第三数量的第三图片进行预标注，得到包含第二预标注信息的第三图片，所述第二预标注信息用于通过目标框指示在所述第三图片识别出的目标物体的类别和位置；
若所述第二预标注信息指示所述第二模型和各个所述第一模型中，识别出所述第三图片中的同一目标物体的模型的个数超过50％，则分别统计所述第二模型准确识别出的目标框的数量和各个所述第一模型准确识别出的目标框的数量；
所述采用所述第二模型对剩余需要预标注的图片进行预标注包括：
若所述第二模型准确识别出的目标框的数量大于各个所述第一模型准确识别出的目标框的数量，则采用所述第二模型对剩余需要预标注的图片进行预标注。
4.如权利要求3所述的图片预标注方法，其特征在于，在所述分别采用所述第二模型和各个所述第一模型对第三数量的第三图片进行预标注之前，包括：
在对所述预标注数据集中包含第一预标注信息的第二图片进行校验后，采用校验后的包含第一预标注信息的第二图片继续训练所述第一模型，得到训练后的所述第一模型。
5.如权利要求3所述的图片预标注方法，其特征在于，所述采用所述第二模型对剩余需要预标注的图片进行预标注，包括：
采用所述第二模型对第四数量的第四图片进行预标注，得到包含第三预标注信息的第四图片，并将所述包含第三预标注信息的第四图片存入预标注数据集；
在对所述预标注数据集中的所述包含第三预标注信息的第四图片进行校验后，采用所述预标注数据集中的各个图片继续训练所述第二模型，其中，第四数量的第四图片为剩余需要预标注的部分图片；
采用训练后的所述第二模型对除所述第四数量的第四图片后的剩余需要预标注的图片进行预标注。
6.如权利要求5所述的图片预标注方法，其特征在于，在所述采用所述第二模型对第四数量的第四图片进行预标注，得到包含第三预标注信息的第四图片，并将所述包含第三预标注信息的第四图片存入预标注数据集之前，还包括：
若所述第二预标注信息指示所述第二模型和各个所述第一模型中，识别出所述第三图片中的同一目标物体的模型的个数超过50％，且识别所述同一目标物体对应的置信度均大于或所述等于预设置信度阈值，则将所述同一目标物体的目标框存入所述预标注数据集；
若所述第二预标注信息指示所述第二模型和各个所述第一模型中，识别出所述第三图片中的同一目标物体的模型的个数超过50％，且识别所述同一目标物体对应的置信度不全部大于或等于所述预设置信度阈值，则在对所述同一目标物体的目标框进行校验后再存入所述预标注数据集。
7.如权利要求1至6任一项所述的图片预标注方法，其特征在于，
所述轻量级网络占用的空间大小小于第一预设大小阈值；
所述重量级网络占用的空间大小大于第二预设大小阈值，且所述第二预设大小阈值大于所述第一预设大小阈值。
8.如权利要求4至6任一项所述的图片预标注方法，其特征在于，所述校验包括以下至少一种：
目标框的调整、目标框的增加以及目标框的删除。
9.一种图片预标注装置，其特征在于，包括：
第一模型生成单元，用于采用第一数量的第一图片训练轻量级网络，得到第一模型轻量级网络，其中，所述第一图片中的目标物体的类别和位置均被人工通过目标框预标注；
包含第一预标注信息的第二图片生成单元，用于采用所述第一模型对第二数量的第二图片进行预标注，得到包含第一预标注信息的第二图片，若所述第一预标注信息的置信度大于或等于预设置信度阈值，则将置信度大于或等于预设置信度阈值对应的包含第一预标注信息的第二图片存入预标注数据集；
第二模型生成单元，用于采用所述第一图片以及所述预标注数据集中的包含第一预标注信息的第二图片训练重量级网络，得到第二模型第一模型；
剩余图片预标注单元，用于采用所述第二模型第一模型对剩余需要预标注的图片进行预标注。
10.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至8任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011103929.9A CN112328822B (zh) | 2020-10-15 | 2020-10-15 | 图片预标注方法、装置及终端设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011103929.9A CN112328822B (zh) | 2020-10-15 | 2020-10-15 | 图片预标注方法、装置及终端设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112328822A true CN112328822A (zh) | 2021-02-05 |
| CN112328822B CN112328822B (zh) | 2024-04-02 |
Family
ID=74313551
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011103929.9A Active CN112328822B (zh) | 2020-10-15 | 2020-10-15 | 图片预标注方法、装置及终端设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112328822B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112884135A (zh) * | 2021-04-29 | 2021-06-01 | 聚时科技(江苏)有限公司 | 一种基于边框回归的数据标注校正方法 |
| CN113221627A (zh) * | 2021-03-08 | 2021-08-06 | 广州大学 | 一种人脸遗传特征分类数据集构建方法、系统、装置及介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108764372A (zh) * | 2018-06-08 | 2018-11-06 | Oppo广东移动通信有限公司 | 数据集的构建方法和装置、移动终端、可读存储介质 |
| CN109582793A (zh) * | 2018-11-23 | 2019-04-05 | 深圳前海微众银行股份有限公司 | 模型训练方法、客服系统及数据标注系统、可读存储介质 |
| CN110222791A (zh) * | 2019-06-20 | 2019-09-10 | 杭州睿琪软件有限公司 | 样本标注信息的审核方法及装置 |
| CN110737785A (zh) * | 2019-09-10 | 2020-01-31 | 华为技术有限公司 | 一种图片标注的方法及装置 |
| CN111104954A (zh) * | 2018-10-26 | 2020-05-05 | 华为技术有限公司 | 一种对象分类的方法与装置 |
| CN111507480A (zh) * | 2020-04-16 | 2020-08-07 | 光际科技(上海)有限公司 | 标注方法、装置、设备及存储介质 |
-
2020
- 2020-10-15 CN CN202011103929.9A patent/CN112328822B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108764372A (zh) * | 2018-06-08 | 2018-11-06 | Oppo广东移动通信有限公司 | 数据集的构建方法和装置、移动终端、可读存储介质 |
| CN111104954A (zh) * | 2018-10-26 | 2020-05-05 | 华为技术有限公司 | 一种对象分类的方法与装置 |
| CN109582793A (zh) * | 2018-11-23 | 2019-04-05 | 深圳前海微众银行股份有限公司 | 模型训练方法、客服系统及数据标注系统、可读存储介质 |
| CN110222791A (zh) * | 2019-06-20 | 2019-09-10 | 杭州睿琪软件有限公司 | 样本标注信息的审核方法及装置 |
| CN110737785A (zh) * | 2019-09-10 | 2020-01-31 | 华为技术有限公司 | 一种图片标注的方法及装置 |
| CN111507480A (zh) * | 2020-04-16 | 2020-08-07 | 光际科技(上海)有限公司 | 标注方法、装置、设备及存储介质 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113221627A (zh) * | 2021-03-08 | 2021-08-06 | 广州大学 | 一种人脸遗传特征分类数据集构建方法、系统、装置及介质 |
| CN113221627B (zh) * | 2021-03-08 | 2022-05-10 | 广州大学 | 一种人脸遗传特征分类数据集构建方法、系统、装置及介质 |
| CN112884135A (zh) * | 2021-04-29 | 2021-06-01 | 聚时科技(江苏)有限公司 | 一种基于边框回归的数据标注校正方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112328822B (zh) | 2024-04-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109905293B (zh) | 一种终端设备识别方法、系统及存储介质 | |
| TWI667621B (zh) | 人臉辨識方法 | |
| CN109598298B (zh) | 图像物体识别方法和系统 | |
| CN112328822A (zh) | 图片预标注方法、装置及终端设备 | |
| CN111985458A (zh) | 一种检测多目标的方法、电子设备及存储介质 | |
| CN113763348A (zh) | 图像质量确定方法、装置、电子设备及存储介质 | |
| CN110660102A (zh) | 基于人工智能的说话人识别方法及装置、系统 | |
| CN111104917A (zh) | 基于人脸的活体检测方法、装置、电子设备及介质 | |
| CN111209847B (zh) | 一种暴力分拣的识别方法及装置 | |
| CN113255516A (zh) | 活体检测方法、装置和电子设备 | |
| CN111124863B (zh) | 智能设备性能测试方法、装置及智能设备 | |
| CN110135428B (zh) | 图像分割处理方法和装置 | |
| CN111967529B (zh) | 识别方法、装置、设备及系统 | |
| JP7396076B2 (ja) | 番号認識装置、方法及び電子機器 | |
| CN112966687A (zh) | 图像分割模型训练方法、装置及通信设备 | |
| CN115690747B (zh) | 车辆盲区检测模型测试方法、装置、电子设备及存储介质 | |
| CN113762303A (zh) | 图像分类方法、装置、电子设备及存储介质 | |
| CN112241705A (zh) | 基于分类回归的目标检测模型训练方法和目标检测方法 | |
| US20220392192A1 (en) | Target re-recognition method, device and electronic device | |
| CN111626419A (zh) | 卷积神经网络结构、目标检测方法及装置 | |
| CN111124862B (zh) | 智能设备性能测试方法、装置及智能设备 | |
| CN113901898A (zh) | 人脸识别场景下图像稳定采样方法、装置、设备及介质 | |
| CN111259703B (zh) | 人脸倾斜角度检测方法和装置 | |
| CN112581001A (zh) | 设备的评估方法及装置、电子设备、可读存储介质 | |
| CN113705643A (zh) | 一种目标物检测方法、装置以及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |