CN113420790A - 用于目标检测的自动标注方法和装置 - Google Patents
用于目标检测的自动标注方法和装置 Download PDFInfo
- Publication number
- CN113420790A CN113420790A CN202110613390.XA CN202110613390A CN113420790A CN 113420790 A CN113420790 A CN 113420790A CN 202110613390 A CN202110613390 A CN 202110613390A CN 113420790 A CN113420790 A CN 113420790A
- Authority
- CN
- China
- Prior art keywords
- target detection
- data set
- detection result
- labeled data
- result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 272
- 238000002372 labelling Methods 0.000 title claims abstract description 62
- 238000000034 method Methods 0.000 claims abstract description 40
- 238000012549 training Methods 0.000 claims abstract description 20
- 230000008569 process Effects 0.000 claims abstract description 17
- 238000012216 screening Methods 0.000 claims abstract description 13
- 238000004590 computer program Methods 0.000 claims description 14
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 description 4
- 230000000717 retained effect Effects 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
一种用于目标检测的自动标注方法和装置,该方法包括:获取未标注数据集,基于第一目标检测模型对未标注数据集进行目标检测,得到目标检测结果;执行对目标检测结果的更新过程,更新过程包括:对目标检测结果进行筛选,保留满足预设条件的目标检测结果,构成已标注数据集;基于已标注数据集训练目标检测网络,得到训练好的第二目标检测模型;基于第二目标检测模型对未标注数据集进行目标检测,得到更新的目标检测结果;迭代执行更新过程,直到筛选不出满足预设条件的目标检测结果,此时的已标注数据集作为最终的自动标注数据集。本申请可以在完全无人工参与的情况下得到具有准确标注结果的数据集,实现完全自动化的准确标注。
Description
技术领域
本申请涉及目标检测技术领域,更具体地涉及一种用于目标检测的自动标注方法和装置。
背景技术
基于传统图像处理技术的目标检测由手工设计特征,不依赖于先验知识,不需要标注,但其检测精度往往很低,不能满足商业应用。随着人工智能的兴起,深度学习在目标检测方面大放异彩,多个开源目标检测数据集的指标已被刷爆。深度学习的目标检测是基于有监督学习的方法,模型训练需要大量标注数据,然而数据标注往往需要耗费巨大的人力物力。因此,需要一种能够实现自动标注的方案。
发明内容
根据本申请一方面,提供了一种用于目标检测的自动标注方法,所述方法包括:获取未标注数据集,基于第一目标检测模型对所述未标注数据集进行目标检测,得到目标检测结果;执行对所述目标检测结果的更新过程,所述更新过程包括:对所述目标检测结果进行筛选,保留满足预设条件的目标检测结果,构成已标注数据集;基于所述已标注数据集训练目标检测网络,得到训练好的第二目标检测模型;基于所述第二目标检测模型对所述未标注数据集进行目标检测,得到更新的目标检测结果;迭代执行所述更新过程,直到筛选不出满足所述预设条件的目标检测结果,此时的已标注数据集作为最终的自动标注数据集。
在本申请的一个实施例中,所述满足预设条件的目标检测结果是指:目标检测框的置信度大于预设阈值,且所述目标检测框的长宽比在预设范围内。
在本申请的一个实施例中,所述对所述目标检测结果进行筛选,保留满足预设条件的目标检测结果,构成已标注数据集,包括:对于所述未标注数据集中的每张图片,将所述图片中满足所述预设条件的目标检测框转换为预定格式的标注文件,同时保存所述图片,构成所述已标注数据集。
在本申请的一个实施例中,所述方法还包括:在得到所述标注文件后,对所述标注文件进行数据增强,得到增强后的标注文件,以用于构成所述已标注数据集。
在本申请的一个实施例中,所述对所述标注文件进行数据增强,包括:对所述标注文件进行翻转和/或马赛克增强。
在本申请的一个实施例中,所述目标检测为人脸检测,所述满足预设条件的目标检测结果是指:人脸检测框的置信度大于0.98,且所述人脸检测框的长宽比在0.8到1.2之间。
在本申请的一个实施例中,所述已标注数据集用于训练智能家居场景中的人脸检测模型,所述未标注数据集为从家居场景收集的数据集。
在本申请的一个实施例中,所述未标注数据集包括不同摄像头角度、不同时间段、不同天气、不同光照中的至少一项的视频和/或图片,其中所述视频被转换为图片,以用于构成所述未标注数据集。
在本申请的一个实施例中,所述目标检测网络包括主干网络和特征金字塔网络。
在本申请的一个实施例中,所述基于所述已标注数据集训练目标检测网络,得到训练好的第二目标检测模型,包括:第一步骤:将所述已标注数据集中的每张图像输入目标检测网络,由所述目标检测网络输出每张图像的目标检测结果;第二步骤:基于每张图像的目标检测结果与对应的标注结果之间的误差优化所述目标检测网络的参数,得到优化后的目标检测网络;第三步骤:执行所述第一步骤到所述第二步骤的迭代步骤,若所述第一步骤中输出的目标检测结果与对应的标注结果之间的误差在预设范围之内,则此时的目标检测网络为所述第二目标检测模型。
根据本申请另一方面,提供了一种用于目标检测的自动标注装置,所述装置包括存储器和处理器,所述存储器上存储有由所述处理器运行的计算机程序,所述计算机程序在被所述处理器运行时,使得所述处理器执行如上述用于目标检测的自动标注方法。
根据本申请实施例的用于目标检测的自动标注方法和装置基于模型迭代的方式得到自动标注数据集,可以在完全无人工参与的情况下得到具有准确标注结果的数据集,实现完全自动化的准确标注。
附图说明
通过结合附图对本申请实施例进行更详细的描述,本申请的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解,并且构成说明书的一部分,与本申请实施例一起用于解释本申请,并不构成对本申请的限制。在附图中,相同的参考标号通常代表相同部件或步骤。
图1示出用于实现根据本发明实施例的用于目标检测的自动标注方法和装置的示例电子设备的示意性框图。
图2示出根据本申请实施例的用于目标检测的自动标注方法的示意性流程图。
图3示出根据本申请实施例的用于目标检测的自动标注装置的示意性框图。
具体实施方式
为了使得本申请的目的、技术方案和优点更为明显,下面将参照附图详细描述根据本申请的示例实施例。显然,所描述的实施例仅仅是本申请的一部分实施例,而不是本申请的全部实施例,应理解,本申请不受这里描述的示例实施例的限制。基于本申请中描述的本申请实施例,本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本申请的保护范围之内。
首先,参照图1来描述用于实现本发明实施例的用于目标检测的自动标注方法和装置的示例电子设备100。
如图1所示,电子设备100包括一个或多个处理器102、一个或多个存储装置104、输入装置106以及输出装置108,这些组件通过总线系统110和/或其它形式的连接机构(未示出)互连。应当注意,图1所示的电子设备100的组件和结构只是示例性的,而非限制性的,根据需要,所述电子设备也可以具有其他组件和结构。
所述处理器102可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元,并且可以控制所述电子设备100中的其它组件以执行期望的功能。
所述存储装置104可以包括一个或多个计算机程序产品,所述计算机程序产品可以包括各种形式的计算机可读存储介质,例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令,处理器102可以运行所述程序指令,以实现下文所述的本发明实施例中(由处理器实现)的客户端功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据,例如所述应用程序使用和/或产生的各种数据等。
所述输入装置106可以是用户用来输入指令的装置,并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。此外,所述输入装置106也可以是任何接收信息的接口。
所述输出装置108可以向外部(例如用户)输出各种信息(例如图像或声音),并且可以包括显示器、扬声器等中的一个或多个。此外,所述输出装置108也可以是任何其他具备输出功能的设备。
示例性地,用于实现根据本发明实施例的人脸检测方法和装置的示例电子设备可以被实现诸如智能手机、平板电脑、摄像头等终端。
下面,将参考图2描述根据本申请实施例的用于目标检测的自动标注方法200。如图2所示,用于目标检测的自动标注方法200可以包括如下步骤:
在步骤210,获取未标注数据集,基于第一目标检测模型对所述未标注数据集进行目标检测,得到目标检测结果。
在步骤220,对所述目标检测结果进行筛选,保留满足预设条件的目标检测结果,构成已标注数据集。
在步骤230,基于所述已标注数据集训练目标检测网络,得到训练好的第二目标检测模型。
在步骤240,基于所述第二目标检测模型对所述未标注数据集进行目标检测,得到更新的目标检测结果。
在步骤S250,执行步骤S220至步骤S240的迭代步骤,若步骤S220筛选不出满足所述预设条件的目标检测结果,则此时的已标注数据集作为最终的自动标注数据集。
其中,步骤S220至步骤S240可称为是对目标检测结果的更新过程,步骤S250是指迭代执行该更新过程,直到筛选不出满足所述预设条件的目标检测结果,此时的已标注数据集作为最终的自动标注数据集。
在本申请的实施例中,基于已有目标检测模型(即第一目标检测模型)对未标注数据集中的图片进行目标检测,得到各图片中的目标检测结果;对目标检测结果进行筛选,将满足预设条件的目标检测结果(例如置信度较高的目标检测框)保留下来,连同其所在图片构成已标注数据集;接着,利用该已标注数据集对目标检测网络(尚未训练的目标检测模型)进行训练,得到训练好的目标检测模型,即第二目标检测模型;接着,利用该第二目标检测模型再次对未标注数据集进行目标检测,得到更新的目标检测结果;该更新的目标检测结果再次进行筛选,保留满足预设条件的目标检测结果,得到更新的已标注数据集;接着,利用该更新的已标注数据集对目标检测网络进行训练,得到训练好的更新的第二目标检测模型;然后,再利用更新的第二目标检测模型再次对未标注数据集进行目标检测,得到再次更新的目标检测结果;该再次更新的目标检测结果再次进行筛选,保留满足预设条件的目标检测结果,得到再次更新的已标注数据集……如此迭代,直到无法再筛选出满足预设条件的目标检测结果,此时的已标注数据集即为最终期望得到的自动标注数据集。
通过上述过程的描述可知,根据本申请实施例的用于目标检测的自动标注方法基于模型迭代的方式得到自动标注数据集,每迭代一次,得到的已标注数据集都比先前的数据集具有更准确的标注结果,直到数据集不能被更新为止,因此可以在完全无人工参与的情况下得到具有准确标注结果的数据集,实现完全自动化的准确标注。
在本申请的实施例中,步骤S210中所获得的未标注数据集可以包括目标场景数据集,其中该目标场景是指本申请的方法将要得到的已标注数据集用于训练神经网络模型后,该模型将用于的场景。例如,假定要训练一个用于智能家居场景的人脸检测模型,则需要得到的已标注数据集应为包括人脸检测框的家居场景图片集合,相应地,未标注数据集可以是从家居场景收集的数据集。再如,假定要训练一个用于公路场景的车辆检测模型,则需要得到的已标注数据集应为包括车辆检测框的公路场景图片集合,相应地,未标注数据集可以是从公路场景收集的数据集。在其他示例中,同样可以根据要训练的模型应用的目标场景确定未标注数据集中应包括的图片内容。
在本申请的实施例中,未标注数据集中可以包括不同摄像头角度的视频和/或图片,不同时间段的视频和/或图片,不同天气的视频和/或图片,不同光照的视频和/或图片,或者它们的任意组合。这样的数据集覆盖范围较广,可以提高数据的训练能力,从而在获得已标注数据集后训练得到可靠性高的检测模型。当所收集的数据为图片时,可以直接将其加入数据集合;当所收集的数据为视频时,可以将视频转换为图片,再加入数据集合,以构成未标注数据集。
在本申请的实施例中,步骤S210中对未标注数据集进行目标检测的第一目标检测模型可以为任何已有的目标检测模型,例如开源的模型。接着上面的示例,假定要获得人脸标注数据集,则可以采用开源的人脸检测模型对对未标注的人脸数据集进行人脸检测。在一个示例中,可以采用多任务卷积神经网络(Multi-task convolutional neuralnetwork,简称为MTCNN)来作为第一目标检测模型对所获取的未标注数据集进行推理,得到初始的目标检测结果。在其他示例中,还可以采用任何其他已有的合适目标检测模型对所获取的未标注数据集进行推理,得到初始的目标检测结果。
在本申请的实施例中,在获取到目标检测结果后,在步骤S220中对目标检测结果进行筛选,保留满足预设条件的目标检测结果,以用于构成已标注数据集。其中,满足预设条件的目标检测结果例如可以为置信度高的目标检测结果。例如,可以设置预设阈值,当目标检测结果(通常为目标检测框)的置信度大于该预设阈值时,保留该目标检测结果;反之,当目标检测结果(通常为目标检测框)的置信度小于或等于该预设阈值时,放弃该目标检测结果。进一步地,满足预设条件的目标检测结果还需要是目标检测框的长宽比符合要求的目标检测结果。例如,可以设置预设数值范围,当目标检测框的长宽比在该预设数值范围内时,保留该目标检测框;反之,当目标检测框的长宽比不在该预设数值范围内时,放弃该目标检测框。以目标检测框的长宽比作为条件来筛选目标检测框可以实现通过目标对象的大体形状作为限定,避免出现置信度高但是却是误检(实际上根本不是目标对象)的情况。例如,接着上面的示例,当目标检测为人脸检测时,满足预设条件的目标检测结果可以是指:人脸检测框的置信度大于0.98,且所述人脸检测框的长宽比在0.8到1.2之间。在该示例中,首先考虑置信度情况,再结合人脸大体形状,用人脸检测框的长宽比作为筛选条件,可以避免出现置信度高、但其实根本不是人脸的误检情况。当然,该示例中的置信度阈值和长宽比数值范围都是示例性的,在其他示例中,还可以是其他的数值。
在本申请的实施例中,在筛选目标检测结果后,可以将满足条件的目标检测结果转换为预定格式的标注文件,同时保存对应的图片,以构成已标注数据集。例如,还是以人脸检测为例,可以将满足前述条件的人脸检测框转换为VOC格式的XML标注文件,同时保存这些人脸检测框所在的图片,以构成已标注数据集。在进一步的实施例中,可以对标注文件进行数据增强,诸如翻转、马赛克增强等等,以构成已标注数据集。这样经数据增强的已标注数据集将具有更强的数据训练能力。
在本申请的实施例中,在步骤S220获得已标注数据集后,可以在步骤S230使用该已标注数据集训练一个目标检测网络,该目标检测网络的网络结构可以根据需求而设置。具体地,该训练过程可以包括:第一步骤:将所述已标注数据集中的每张图像输入目标检测网络,由所述目标检测网络输出每张图像的目标检测结果;第二步骤:基于每张图像的目标检测结果与对应的标注结果之间的误差优化所述目标检测网络的参数,得到优化后的目标检测网络;第三步骤:执行所述第一步骤到所述第二步骤的迭代步骤,若所述第一步骤中输出的目标检测结果与对应的标注结果之间的误差在预设范围之内,即目标检测网络收敛,此时的目标检测网络为所述第二目标检测模型。
在一个示例中,还以人脸检测为例,可以使用步骤S220得到的已标注数据训练双端检测网络Faster-RCNN,其中主干网络为残差网络resnet101,同时加入特征金字塔网络(feature pyramid networks,简称为FPN)以提升检测不同尺度人脸的能力;此外,训练的优化策略可以选用随机梯度下降(stochastic gradient descent,简称为SGD)策略,以更快地收敛,直至网络收敛,停止训练,输出模型。为了与前述步骤中的第一目标检测模型相区分,此处将其训练好的目标检测模型称为第二目标检测模型。
在本申请的实施例中,在训练得到第二目标检测模型后,在步骤S240利用训练好的第二目标检测模型对步骤S210中的获取的未标注数据集进行目标检测,得到新的目标检测结果。接着,执行步骤S220到步骤S240的迭代步骤,首先,执行步骤S220,用该新的目标检测结果代替原来的目标检测结果,对该新的目标检测结果进行筛选,保留满足预设条件的目标检测结果,构成新的已标注数据集,该新的已标注数据集相对于先前的已标注数据集是经更新的已标注数据集。由于执行目标检测的第二目标检测模型是基于先前的已标注数据集训练得到的,反过来用训练好的第二目标检测模型检测未标注数据集后,得到新的目标检测结果再次筛选后来更新先前的已标注数据集,能够将先前的已标注数据集中可能出现的漏检和/或漏检结果进行一定的修正,因此,更新的已标注数据集相对于先前的已标注数据集具有更准确的标注结果。接着,再次执行步骤S230,用该更新的已标注数据集再次训练目标检测网络,得到更新的第二目标检测模型,该第二目标检测模型相对于先前的第二目标检测模型来说也具有更高的精度。接着,再次执行步骤S240,用更新的第二目标检测模型对未标注数据集进行目标检测,得到再次更新的目标检测结果后再次回到步骤S220进行筛选后再次更新已标注数据集,能够得到具有更准确标注结果的已标注数据集。如此迭代,直到已标注数据集无法再得到更新,即无法再筛选出满足预设条件的目标检测结果,也就是此时所有的目标都被检测出来了,理论上没有漏检和误检的情况了,从而也就得到了最终的已标注数据集。由此,根据本申请实施例的方法实现了完全无人工参与的、基于模型迭代的全自动标注,且得到的已标注数据集具有非常准确的标注结果。自然,基于该已标注数据集训练出的目标检测模型将具有非常高精度的检测性能。
基于上面的描述,根据本申请实施例的用于目标检测的自动标注方法基于模型迭代的方式得到自动标注数据集,可以在完全无人工参与的情况下得到具有准确标注结果的数据集,实现完全自动化的准确标注。
以上示例性地示出了根据本申请实施例的用于目标检测的自动标注方法。下面结合图3描述本申请另一方面提供的用于目标检测的自动标注装置。
图3示出了根据本申请实施例的用于目标检测的自动标注装置300的示意性框图。如图3所示,根据本申请实施例的用于目标检测的自动标注装置300可以包括存储器310和处理器320,存储器310存储有由处理器320运行的计算机程序,所述计算机程序在被处理器320运行时,使得处理器320执行前文所述的根据本申请实施例的用于目标检测的自动标注方法。本领域技术人员可以结合前文所述的内容理解根据本申请实施例的用于目标检测的自动标注装置的具体操作,为了简洁,此处不再赘述具体的细节,仅描述处理器320的一些主要操作。
在本申请的一个实施例中,所述计算机程序在被处理器320运行时,使得处理器320执行如下步骤:获取未标注数据集,基于第一目标检测模型对所述未标注数据集进行目标检测,得到目标检测结果;执行对所述目标检测结果的更新过程,所述更新过程包括:对所述目标检测结果进行筛选,保留满足预设条件的目标检测结果,构成已标注数据集;基于所述已标注数据集训练目标检测网络,得到训练好的第二目标检测模型;基于所述第二目标检测模型对所述未标注数据集进行目标检测,得到更新的目标检测结果;迭代执行所述更新过程,直到筛选不出满足所述预设条件的目标检测结果,此时的已标注数据集作为最终的自动标注数据集。
在本申请的一个实施例中,所述满足预设条件的目标检测结果是指:目标检测框的置信度大于预设阈值,且所述目标检测框的长宽比在预设范围内。
在本申请的一个实施例中,所述计算机程序在被处理器320运行时,使得处理器320执行的所述对所述目标检测结果进行筛选,保留满足预设条件的目标检测结果,构成已标注数据集,包括:对于所述未标注数据集中的每张图片,将所述图片中满足所述预设条件的目标检测框转换为预定格式的标注文件,同时保存所述图片,构成所述已标注数据集。
在本申请的一个实施例中,所述计算机程序在被处理器320运行时,还使得处理器320执行以下步骤:在得到所述标注文件后,对所述标注文件进行数据增强,得到增强后的标注文件,以用于构成所述已标注数据集。
在本申请的一个实施例中,所述计算机程序在被处理器320运行时,使得处理器320执行的所述对所述标注文件进行数据增强,包括:对所述标注文件进行翻转和/或马赛克增强。
在本申请的一个实施例中,所述目标检测为人脸检测,所述满足预设条件的目标检测结果是指:人脸检测框的置信度大于0.98,且所述人脸检测框的长宽比在0.8到1.2之间。
在本申请的一个实施例中,所述已标注数据集用于训练智能家居场景中的人脸检测模型,所述未标注数据集为从家居场景收集的数据集。
在本申请的一个实施例中,所述未标注数据集包括不同摄像头角度、不同时间段、不同天气、不同光照中的至少一项的视频和/或图片,其中所述视频被转换为图片,以用于构成所述未标注数据集。
在本申请的一个实施例中,所述目标检测网络包括主干网络和特征金字塔网络。
此外,根据本申请实施例,还提供了一种存储介质,在所述存储介质上存储了程序指令,在所述程序指令被计算机或处理器运行时用于执行本申请实施例的用于目标检测的自动标注方法的相应步骤。所述存储介质例如可以包括智能电话的存储卡、平板电脑的存储部件、个人计算机的硬盘、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器、或者上述存储介质的任意组合。所述计算机可读存储介质可以是一个或多个计算机可读存储介质的任意组合。
基于上面的描述,根据本申请实施例的用于目标检测的自动标注方法和装置基于模型迭代的方式得到自动标注数据集,可以在完全无人工参与的情况下得到具有准确标注结果的数据集,实现完全自动化的准确标注。
尽管这里已经参考附图描述了示例实施例,应理解上述示例实施例仅仅是示例性的,并且不意图将本申请的范围限制于此。本领域普通技术人员可以在其中进行各种改变和修改,而不偏离本申请的范围和精神。所有这些改变和修改意在被包括在所附权利要求所要求的本申请的范围之内。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
在本申请所提供的几个实施例中,应该理解到,所揭露的设备和方法,可以通过其它的方式实现。例如,以上所描述的设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个设备,或一些特征可以忽略,或不执行。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本申请的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本申请并帮助理解各个发明方面中的一个或多个,在对本申请的示例性实施例的描述中,本申请的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该本申请的方法解释成反映如下意图:即所要求保护的本申请要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如相应的权利要求书所反映的那样,其发明点在于可以用少于某个公开的单个实施例的所有特征的特征来解决相应的技术问题。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本申请的单独实施例。
本领域的技术人员可以理解,除了特征之间相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本申请的范围之内并且形成不同的实施例。例如,在权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本申请的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本申请实施例的一些模块的一些或者全部功能。本申请还可以实现为用于执行这里所描述的方法的一部分或者全部的装置程序(例如,计算机程序和计算机程序产品)。这样的实现本申请的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
应该注意的是上述实施例对本申请进行说明而不是对本申请进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本申请可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
以上所述,仅为本申请的具体实施方式或对具体实施方式的说明,本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。本申请的保护范围应以权利要求的保护范围为准。
Claims (11)
1.一种用于目标检测的自动标注方法,其特征在于,所述方法包括:
获取未标注数据集,基于第一目标检测模型对所述未标注数据集进行目标检测,得到目标检测结果;
执行对所述目标检测结果的更新过程,所述更新过程包括:对所述目标检测结果进行筛选,保留满足预设条件的目标检测结果,构成已标注数据集;基于所述已标注数据集训练目标检测网络,得到训练好的第二目标检测模型;基于所述第二目标检测模型对所述未标注数据集进行目标检测,得到更新的目标检测结果;
迭代执行所述更新过程,直到筛选不出满足所述预设条件的目标检测结果,此时的已标注数据集作为最终的自动标注数据集。
2.根据权利要求1所述的方法,其特征在于,所述满足预设条件的目标检测结果是指:目标检测框的置信度大于预设阈值,且所述目标检测框的长宽比在预设范围内。
3.根据权利要求1或2所述的方法,其特征在于,所述对所述目标检测结果进行筛选,保留满足预设条件的目标检测结果,构成已标注数据集,包括:
对于所述未标注数据集中的每张图片,将所述图片中满足所述预设条件的目标检测框转换为预定格式的标注文件,同时保存所述图片,构成所述已标注数据集。
4.根据权利要求3所述的方法,其特征在于,所述方法还包括:
在得到所述标注文件后,对所述标注文件进行数据增强,得到增强后的标注文件,以用于构成所述已标注数据集。
5.根据权利要求4所述的方法,其特征在于,所述对所述标注文件进行数据增强,包括:
对所述标注文件进行翻转和/或马赛克增强。
6.根据权利要求2所述的方法,其特征在于,所述目标检测为人脸检测,所述满足预设条件的目标检测结果是指:人脸检测框的置信度大于0.98,且所述人脸检测框的长宽比在0.8到1.2之间。
7.根据权利要求1所述的方法,其特征在于,所述已标注数据集用于训练智能家居场景中的人脸检测模型,所述未标注数据集为从家居场景收集的数据集。
8.根据权利要求7所述的方法,其特征在于,所述未标注数据集包括不同摄像头角度、不同时间段、不同天气、不同光照中的至少一项的视频和/或图片,其中所述视频被转换为图片,以用于构成所述未标注数据集。
9.根据权利要求1所述的方法,其特征在于,所述目标检测网络包括主干网络和特征金字塔网络。
10.根据权利要求1所述的方法,其特征在于,所述基于所述已标注数据集训练目标检测网络,得到训练好的第二目标检测模型,包括:
第一步骤:将所述已标注数据集中的每张图像输入目标检测网络,由所述目标检测网络输出每张图像的目标检测结果;
第二步骤:基于每张图像的目标检测结果与对应的标注结果之间的误差优化所述目标检测网络的参数,得到优化后的目标检测网络;
第三步骤:执行所述第一步骤到所述第二步骤的迭代步骤,若所述第一步骤中输出的目标检测结果与对应的标注结果之间的误差在预设范围之内,则此时的目标检测网络为所述第二目标检测模型。
11.一种用于目标检测的自动标注装置,其特征在于,所述装置包括存储器和处理器,所述存储器上存储有由所述处理器运行的计算机程序,所述计算机程序在被所述处理器运行时,使得所述处理器执行如权利要求1-10中的任一项所述的用于目标检测的自动标注方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110613390.XA CN113420790A (zh) | 2021-06-02 | 2021-06-02 | 用于目标检测的自动标注方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110613390.XA CN113420790A (zh) | 2021-06-02 | 2021-06-02 | 用于目标检测的自动标注方法和装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113420790A true CN113420790A (zh) | 2021-09-21 |
Family
ID=77713605
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110613390.XA Pending CN113420790A (zh) | 2021-06-02 | 2021-06-02 | 用于目标检测的自动标注方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113420790A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117372813A (zh) * | 2023-10-30 | 2024-01-09 | 上海鼎格信息科技有限公司 | 一种基于预标注的目标检测方法及装置 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20200082260A1 (en) * | 2018-09-12 | 2020-03-12 | International Business Machines Corporation | Neural networks adaptive boosting using semi-supervised learning |
CN111062495A (zh) * | 2019-11-28 | 2020-04-24 | 深圳市华尊科技股份有限公司 | 机器学习方法及相关装置 |
CN111191732A (zh) * | 2020-01-03 | 2020-05-22 | 天津大学 | 一种基于全自动学习的目标检测方法 |
US20200193222A1 (en) * | 2018-07-06 | 2020-06-18 | Tata Consultancy Services Limited | Method and system for automatic object annotation using deep network |
CN112001407A (zh) * | 2020-03-11 | 2020-11-27 | 青岛慧拓智能机器有限公司 | 一种基于自动化标注的模型迭代训练方法及系统 |
CN112200274A (zh) * | 2020-12-09 | 2021-01-08 | 湖南索莱智能科技有限公司 | 一种目标检测方法、装置、电子设备和存储介质 |
-
2021
- 2021-06-02 CN CN202110613390.XA patent/CN113420790A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20200193222A1 (en) * | 2018-07-06 | 2020-06-18 | Tata Consultancy Services Limited | Method and system for automatic object annotation using deep network |
US20200082260A1 (en) * | 2018-09-12 | 2020-03-12 | International Business Machines Corporation | Neural networks adaptive boosting using semi-supervised learning |
CN111062495A (zh) * | 2019-11-28 | 2020-04-24 | 深圳市华尊科技股份有限公司 | 机器学习方法及相关装置 |
CN111191732A (zh) * | 2020-01-03 | 2020-05-22 | 天津大学 | 一种基于全自动学习的目标检测方法 |
CN112001407A (zh) * | 2020-03-11 | 2020-11-27 | 青岛慧拓智能机器有限公司 | 一种基于自动化标注的模型迭代训练方法及系统 |
CN112200274A (zh) * | 2020-12-09 | 2021-01-08 | 湖南索莱智能科技有限公司 | 一种目标检测方法、装置、电子设备和存储介质 |
Non-Patent Citations (3)
Title |
---|
KIHYUK SOHN ET AL.: "A Simple Semi-Supervised Learning Framework for Object Detection", 《ARXIV》, pages 1 - 15 * |
QIZHE XIE ET AL.: "Self-training with Noisy Student improves ImageNet classification", 《ARXIV》, pages 1 - 18 * |
谢禹;李玉俊;董文生;: "基于SSD神经网络的图像自动标注及应用研究", 信息技术与标准化, no. 04, pages 40 - 44 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117372813A (zh) * | 2023-10-30 | 2024-01-09 | 上海鼎格信息科技有限公司 | 一种基于预标注的目标检测方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107358157B (zh) | 一种人脸活体检测方法、装置以及电子设备 | |
US10048946B2 (en) | Converting visual diagrams into code | |
CN109146825B (zh) | 摄影风格转换方法、装置及可读存储介质 | |
EP4053718A1 (en) | Watermark information embedding method and apparatus | |
CN111311480B (zh) | 图像融合方法和装置 | |
CN113537070B (zh) | 一种检测方法、装置、电子设备及存储介质 | |
CN110399847B (zh) | 关键帧提取方法、装置及电子设备 | |
WO2022247112A1 (zh) | 任务处理方法、装置、设备、存储介质、计算机程序及程序产品 | |
CN112307900A (zh) | 面部图像质量的评估方法、装置和电子设备 | |
CN116778148A (zh) | 目标检测方法、装置、电子设备及存储介质 | |
CN110490225B (zh) | 基于场景的图像分类方法、装置、系统和存储介质 | |
CN108665459A (zh) | 一种图像模糊检测方法、计算设备及可读存储介质 | |
CN113420790A (zh) | 用于目标检测的自动标注方法和装置 | |
CN112001300B (zh) | 基于按位置交叉熵的楼宇监控方法、装置和电子设备 | |
US20240078730A1 (en) | Content-specific-preset edits for digital images | |
CN108257081B (zh) | 用于生成图片的方法和装置 | |
CN113744280A (zh) | 图像处理方法、装置、设备及介质 | |
CN113837257A (zh) | 一种目标检测方法及装置 | |
CN111739649B (zh) | 一种用户画像捕捉方法、装置及系统 | |
KR102523839B1 (ko) | 객체 레이블링을 통한 사용자맞춤 이미지식별 딥러닝 모델 생성을 위한 시스템 및 이의 운용 방법 | |
CN113239883A (zh) | 分类模型的训练方法、装置、电子设备以及存储介质 | |
CN117275086A (zh) | 手势识别方法、装置、计算机设备、存储介质 | |
CN110197459B (zh) | 图像风格化生成方法、装置及电子设备 | |
CN111246214B (zh) | 一种视频解码方法、装置 | |
CN112949526B (zh) | 人脸检测方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |