CN114021634A - 一种数据增广策略选择方法、装置及系统 - Google Patents
一种数据增广策略选择方法、装置及系统 Download PDFInfo
- Publication number
- CN114021634A CN114021634A CN202111275966.2A CN202111275966A CN114021634A CN 114021634 A CN114021634 A CN 114021634A CN 202111275966 A CN202111275966 A CN 202111275966A CN 114021634 A CN114021634 A CN 114021634A
- Authority
- CN
- China
- Prior art keywords
- data augmentation
- detection
- data
- target object
- strategy
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
- G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例提供了一种数据增广策略选择方法、装置及系统。方案如下:获取多个数据增广策略各自对应的第一检测模型;针对每一数据增广策略,利用该数据增广策略对应的第一检测模型,对第三数据集中第三样本图像中的目标物进行检测,得到各检测框的置信度;根据该数据增广策略所对应的检测框的数量和/或检测框的置信度,计算该数据增广策略对应的目标物检测性能值;基于每一数据增广策略对应的目标物检测性能值,选择目标数据增广策略。通过本申请实施例提供的技术方案,提高了确定出的目标数据增广策略的泛化能力,使得数据增广技术适用于无监督学习场景的目标物检测过程。
Description
技术领域
本申请涉及目标检测技术领域,特别是涉及一种数据增广策略选择方法、装置及系统。
背景技术
目前,在有监督学习场景的目标物检测过程中,可以利用目标数据增广策略对预先设定的训练数据集进行数据增广处理。这将有效增加训练数据集中的训练数据的数量,提高训练数据集的多样化,从而提高了根据数据增广处理后的训练数据集训练得到的检测模型的泛化能力。
在上述目标物检测过程中,上述目标数据增广策略需要是基于包括标识信息的验证数据集确定。
上述在确定目标数据增广策略时,需要依赖包括标识信息的验证数据集。然而,在无监督学习场景中,由于受到标识信息获取的高经济性的影响,无法获取到足够数量的包括标识信息的验证数据集,导致上述包括标识信息的数据集并不具备较高的泛化能力,这严重影响了确定出的目标数据增广策略的泛化能力,从而导致相关技术中的数据增广技术并不适用于无监督学习场景的目标物检测过程。
发明内容
本申请实施例的目的在于提供一种数据增广策略选择方法、装置及系统,以提高确定出的目标数据增广策略的泛化能力,从而使得数据增广技术适用于无监督学习场景的目标物检测过程。具体技术方案如下:
本申请实施例提供了一种数据增广策略选择方法,所述方法包括:
获取多个数据增广策略各自对应的第一检测模型;每一数据增广策略对应的第一检测模型是基于该数据增广策略对应的第一数据集训练得到的,每一数据增广策略对应的第一数据集是:基于该数据增广策略对第二数据集进行数据增广处理得到的;
针对每一数据增广策略,利用该数据增广策略对应的第一检测模型,对第三数据集中第三样本图像中的目标物进行检测,得到各检测框的置信度;
根据该数据增广策略所对应的检测框的数量和/或检测框的置信度,计算该数据增广策略对应的目标物检测性能值;
基于每一数据增广策略对应的目标物检测性能值,选择目标数据增广策略。
可选的,所述获取多个数据增广策略各自对应的第一检测模型的步骤,包括:
获取所述第二数据集;
获取多个数据增广策略;
针对每一数据增广策略,利用该数据增广策略对所述第二数据集进行数据增广处理,得到每一数据增广策略对应的第一数据集;
针对每一数据增广策略,利用该数据增广策略对应的第一数据集,对预设检测模型进行训练,得到每一数据增广策略所对应的第一检测模型。
可选的,所述获取多个数据增广策略的步骤,包括:
基于候选库中包括的多个数据增广算法,选取多组种子策略,每组种子策略中包括第一数量个数据增广算法;
针对每组种子策略,基于第二数量,以及该组种子策略中各数据增广算法所对应随机概率区间/幅值变换区间的最大值和最小值,确定该组种子策略中各数据增广算法所对应的随机概率值/幅值,得到多个数据增广策略。
可选的,针对任一数据增广策略对应的第一数据集,采用以下步骤训练得到该数据增广策略对应的第一检测模型:
获取所述第一数据集;所述第一数据集包括多个第一样本图像,以及每一第一样本图像中目标物的第一标识信息;
利用预设检测模型,对每一第一样本图像中的目标物进行检测,得到第一检测结果;
基于所述第一检测结果以及所述第一标识信息,计算所述预设检测模型的第一损失值;
若第一差值大于第一预设阈值,则调整所述预设检测模型的参数,并返回执行所述利用预设检测模型,对每一第一样本图像中的目标物进行检测,得到第一检测结果的步骤;所述第一差值为本轮训练得到的第一损失值与上一轮训练得到第一损失值间的差值;
若所述第一差值不大于所述第一预设阈值,则将当前的预设检测模型确定为训练好的第一检测模型。
可选的,所述第一标识信息包括指示目标物所在区域的区域标识,以及指示目标物的类别的类别标识;
所述基于所述第一检测结果以及所述第一标识信息,计算所述预设检测模型的第一损失值的步骤,包括:
计算所述第一检测结果中检测框所在的区域,与所述第一数据集中区域标识所指示的目标物所在的区域间的第一误差值;
计算所述第一检测结果中检测框所对应目标物的类别,与所述第一数据集中类别标识所指示目标物的类别间的第二误差值;
计算所述第一误差值和所述第二误差值和值,作为所述预设检测模型的第一损失值。
可选的,所述根据该数据增广策略所对应的检测框的数量和/或检测框的置信度,计算该数据增广策略对应的目标物检测性能值的步骤,包括:
计算该数据增广策略所对应的检测框的数量的和值,作为该数据增广策略对应的目标物检测性能值;和/或
计算该数据增广策略所对应的检测框的置信度的和值,作为该数据增广策略对应的目标物检测性能值。
可选的,所述基于每一数据增广策略对应的目标物检测性能值,选择目标数据增广策略的步骤,包括:
将所述多个数据增广策略中所述目标物检测性能值最高的数据增广策略确定为目标数据增广策略。
可选的,所述方法还包括:
获取第四数据集和第五数据集;其中,所述第四数据集包括多个第四样本图像,以及每一第四样本图像中目标物所对应的第三标识信息,所述第五数据集包括多个第五样本图像;
利用所述目标数据增广策略,对所述第四数据集进行数据增广处理,得到第六数据集;
利用所述目标数据增广策略对应的第一检测模型,对所述第六数据集中的每一第六样本图像中的目标物进行检测,得到第二检测结果;
利用所述目标数据增广策略对应的第一检测模型,对所述第五数据集中的每一第五样本图像中的目标物进行检测,得到第三检测结果;
基于所述第二检测结果和所述第三检测结果,计算所述目标数据增广策略对应的第一检测模型的第二损失值;
若第二差值大于第二预设阈值,则对所述目标数据增广策略对应的第一检测模型的参数进行微调,并返回执行所述利用所述目标数据增广策略对应的第一检测模型,对所述第六数据集中的每一第六样本图像中的目标物进行检测,得到第二检测结果的步骤;所述第二差值为本轮训练得到的第二损失值与上一轮训练得到第二损失值间的差值;
若所述第二差值不大于所述第二预设阈值,则将当前的第一目标物检测模型确定为训练好的第二检测模型。
可选的,所述方法还包括:
获取待检测图像;
利用所述第二检测模型,对所述待检测图像进行目标物检测,得到第四检测结果。
本申请实施例还提供了一种数据增广策略选择装置,所述装置包括:
第一获取模块,用于获取多个数据增广策略各自对应的第一检测模型;每一数据增广策略对应的第一检测模型是基于该数据增广策略对应的第一数据集训练得到的,每一数据增广策略对应的第一数据集是:基于该数据增广策略对第二数据集进行数据增广处理得到的;
第一检测模块,用于针对每一数据增广策略,利用该数据增广策略对应的第一检测模型,对第三数据集中第三样本图像中的目标物进行检测,得到各检测框的置信度;
第一计算模块,用于根据该数据增广策略所对应的检测框的数量和/或检测框的置信度,计算该数据增广策略对应的目标物检测性能值;
选择模块,用于基于每一数据增广策略对应的目标物检测性能值,选择目标数据增广策略。
本申请实施例还提供了一种数据增广策略选择系统,所述系统包括图像采集设备和模型训练设备;
所述图像采集设备,用于获取多个第二样本图像以及每一第二样本图像中目标物所对应的标识信息,得到第二数据集,并获取多个第三样本图像作为第三数据集;
所述模型训练设备,用于基于多个数据增广策略,分别对所述第二数据集进行数据增广处理,得到每一数据增广策略对应的第一数据集;基于每一数据增广策略对应的第一数据集训练得到该数据增广策略所对应的第一检测模型;
所述模型训练设备,还用于针对每一数据增广策略,利用该数据增广策略对应的第一检测模型,对所述第三数据集中第三样本图像中的目标物进行检测,得到各检测框的置信度;根据该数据增广策略所对应的检测框的数量和/或检测框的置信度,计算该数据增广策略对应的目标物检测性能值;基于每一数据增广策略对应的目标物检测性能值,选择目标数据增广策略。
可选的,所述系统还包括客户端;
所述图像采集设备,还用于在获得所述目标数据增广策略后,获取待检测图像;
所述客户端,用于利用所述目标数据增广策略对应的第一检测模型,对所述待检测图像进行目标物检测,得到第五检测结果。
本申请实施例还提供了一种电子设备,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现上述任一所述的数据增广策略选择方法步骤。
本申请实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述任一所述的数据增广策略选择方法步骤。
本申请实施例还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述任一所述的数据增广策略选择方法。
本申请实施例有益效果:
本申请实施例提供的技术方案,可以在获取到多个数据增广策略各自对应的第一检测模型后,根据每一数据增广策略对应的第一检测模型对样本图像中目标物的检测结果,也就是样本图像中检测出的检测框的置信度,确定每一数据增广策略所对应的目标物检测性能值,从而基于该目标物检测性能值确定出目标数据增广策略。相比于相关技术,以不包括标识信息的样本图像作为验证数据集,对每一数据增广策略所对应的第一检测模型的目标物检测性能进行验证,这使得验证数据集中不再需要包括标识信息,提高了验证数据集中验证数据的泛化能力,从而提高了确定出的目标数据增广策略的泛化能力,使得数据增广技术适用于无监督学习场景的目标物检测过程。
当然,实施本申请的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,还可以根据这些附图获得其他的实施例。
图1为本申请实施例提供的数据增广策略选择方法的第一种流程示意图;
图2为本申请实施例提供的样本图像的检测结果的一种示意图;
图3为本申请实施例提供的数据增广策略选择方法的第二种流程示意图;
图4为本申请实施例提供的第一检测模型训练方法的一种流程示意图;
图5为本申请实施例提供的Faster-RCNN检测模型的一种示意图;
图6为本申请实施例提供的第一损失值计算的一种流程示意图;
图7为本申请实施例提供的目标物检测方法的第一种流程示意图;
图8为本申请实施例提供的第二模型训练方法的一种流程示意图;
图9为本申请实施例提供的目标物检测方法的第二种流程示意图;
图10为本申请实施例提供的数据增广策略选择装置的一种结构示意图;
图11-a为本申请实施例提供的数据增广策略选择系统的第一种结构示意图;
图11-b为本申请实施例提供的数据增广策略选择系统的第二种结构示意图;
图12为本申请实施例提供的电子设备的一种结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员基于本申请所获得的所有其他实施例,都属于本申请保护的范围。
相关技术中,在利用多个数据增广策略对训练数据集进行数据增广处理,并且训练得到每一数据增广策略所对应的检测模型后,可以利用每一数据增广策略所对应的检测模型,分别对包括标识信息的验证数据集中的样本图像中的目标物进行检测,得到检测结果;从而根据检测结果以及训练数据集中的标识信息,确定每一数据增广策略所对应的性能指标,并将性能指标最好的数据增广策略确定为目标数据增广策略。因此,目标数据增广策略需要是基于包括标识信息的验证数据集确定,这使得相关技术中的数据增广技术并不适用于无监督学习场景的目标物检测过程。
为了解决相关技术中的技术问题,本申请实施例提供了一种数据增广策略选择方法。该方法可以应用于任一电子设备。如图1所示,图1为本申请实施例提供的数据增广策略选择方法的第一种流程示意图。该方法包括以下步骤。
步骤S101,获取多个数据增广策略各自对应的第一检测模型;每一数据增广策略对应的第一检测模型是基于该数据增广策略对应的第一数据集训练得到的,每一数据增广策略对应的第一数据集是:基于该数据增广策略对第二数据集进行数据增广处理得到的。
步骤S102,针对每一数据增广策略,利用该数据增广策略对应的第一检测模型,对第三数据集中第三样本图像中的目标物进行检测,得到各检测框的置信度。
步骤S103,根据该数据增广策略所对应的检测框的数量和/或检测框的置信度,计算该数据增广策略对应的目标物检测性能值。
步骤S104,基于每一数据增广策略对应的目标物检测性能值,选择目标数据增广策略。
通过图1所示的方法,可以在获取到多个数据增广策略各自对应的第一检测模型后,根据每一数据增广策略对应的第一检测模型对样本图像中目标物的检测结果,也就是样本图像中检测出的检测框的置信度,确定每一数据增广策略所对应的目标物检测性能值,从而基于该目标物检测性能值确定出目标数据增广策略。相比于相关技术,以不包括标识信息的样本图像作为验证数据集,对每一数据增广策略所对应的第一检测模型的目标物检测性能进行验证,这使得验证数据集中不再需要包括标识信息,提高了验证数据集中验证数据的泛化能力,从而提高了确定出的目标数据增广策略的泛化能力,使得数据增广技术适用于无监督学习场景的目标物检测过程。
下面通过具体的实施例,对本申请实施例进行说明。为便于描述,下面仅电子设备为执行主体进行说明,并不起任何限定作用。
针对上述步骤S101,即获取多个数据增广策略各自对应的第一检测模型;每一数据增广策略对应的第一检测模型是基于该数据增广策略对应的第一数据集训练得到的,每一数据增广策略对应的第一数据集是:基于该数据增广策略对第二数据集进行数据增广处理得到的。
在本步骤中,电子设备可以预先获取多个第二数据集作为训练数据集,并分别利用不同的数据增广策略,对第二数据集进行数据增广处理,得到每一数据增广策略所对应的第一数据集。电子设备可以利用每一数据增广策略所对应的第一数据集对预设检测模型进行训练,得到训练好的每一数据增广策略所对应的目标物检测模型(记为第一检测模型)。电子设备可以获取多个数据增广策略各自对应的第一检测模型。关于第一检测模型的训练过程可参见下文描述,在此不作具体说明。
上述第二数据集中包括多个样本图像(记为第二样本图像),以及每一样本图像中目标物所对应的标识信息(记为第二标识信息)。
上述在利用数据增广策略对第二数据集进行数据增广处理,得到该数据增广策略对应的第一数据集后,该第一数据集中包括多个样本图像(记为第一样本图像),以及每一样本图像中目标物所对应的标识信息(记为第一标识信息)。
上述第一数据集中的第一样本图像是对第二数据集中的第二样本图像进行数据增广处理得到的,上述第一数据集中每一第一样本图像所对应的第一标识信息是根据数据增广处理前第二样本图像所对应的第二标识信息确定的。关于数据增广处理方式具体参见下文描述,在此不作具体说明。
上述样本图像中的目标物包括但不限于样本图像中的人员、车辆、车牌等。在此,对上述样本图像中的目标物不作具体限定。
上述第一数据集中包括的第一样本图像的数量大于上述第二数据集中第二样本图像的数量。在此,对上述第一数据集中包括的第一样本图像的数量以及第二数据集中第二样本图像的数量不作具体限定。
针对上述步骤S102,即针对每一数据增广策略,利用该数据增广策略对应的第一检测模型,对第三数据集中第三样本图像中的目标物进行检测,得到各检测框的置信度。
在本步骤中,电子设备在获取得到上述多个数据增广策略各自对应的第一检测模型后,可以针对每一数据增广策略,利用该数据增广策略所对应的第一检测模型,对第三数据集中每一样本图像(记为第三样本图像)中包括的目标物进行检测,得到每一数据增广策略所对应的检测结果(记为第六检测结果)。
为便于理解,以图2为例进行说明,图2为本申请实施例提供的样本图像的检测结果的一种示意图。
在图2所示的样本图像201中包括两个目标物,即目标物202和目标物203。电子设备在利用某一数据增广策略所对应的第一检测模型,对样本图像201中的目标物进行检测后,可以得到如图2所示的检测结果。该检测结果中包括识别出的每一目标物对应的置信度。例如,检测框204为检测出的目标物203所对应的检测框,检测框205为检测出的目标物202所对应的检测框,检测框204和检测框205上均标识有对应的置信度。
上述对样本图像中的目标物进行检测除了表示为检测出样本图像中的目标物,如检测出样本图像中的人员、动物、车牌以外,还可以表示为对样本图像中目标物的属性信息的检测,例如,检测样本图像中人员的动作信息、或者检测样本图像中车辆的车牌信息等。在此,对上述样本图像中目标物的检测不作具体限定。
一个可选的实施例中,上述检测结果中检测框所对应的置信度可以用于指示检测框中目标物为预设物品的概率值。仍以上述图2为例,若预设物品为车辆,检测框204所对应的置信度为0.9,则可以确定检测框204中目标物203为车辆的概率为90%。
另一个可选的实施例中,上述检测结果中检测框所对应的置信度可以用于指示检测框中目标物所对应的属性信息与预设属性信息匹配的概率值。例如,预设属性信息为人员跑步时的动作信息,当某一样本图像所对应的检测结果中检测框的置信度为0.9时,可以确定该检测框中的人员所进行的动作为跑步的概率为90%。
根据检测模型所对应的应用场景的不同,上述对目标物的检测有所不同的,检测得到的检测结果也有所不同。在此,对上述检测过程以及检测结果不作具体限定。为便于理解,下面仅以目标物检测为对图像中目标物所在位置的检测以及目标物的类别检测为例进行说明,并不起任何限定作用。
在本申请实施例中,上述第三数据集中可以包括多个样本图像。该第三数据集中并不包括每一第三样本数据中目标物所对应的标识信息。
针对上述步骤S103,即根据该数据增广策略所对应的检测框的数量和/或检测框的置信度,计算该数据增广策略对应的目标物检测性能值。
在本步骤中,电子设备在得到上述第六检测结果后,可以针对每一数据增广策略,根据该数据增广策略所对应的第六检测结果中检测框的数量,计算得到该数据增广策略对应的目标物检测性能值;也可以针对每一数据增广策略,根据该数据增广策略所对应的第六检测结果中检测框所对应的置信度,计算得到该数据增广策略对应的目标物检测性能值;还可以针对每一数据增广策略,根据该数据增广策略所对应的第六检测结果中检测框的数量以及检测框所对应的置信度,计算得到该数据增广策略对应的目标物检测性能值。
一个可选的实施例中,上述步骤S103,根据该数据增广策略所对应的检测框的数量和/或检测框的置信度,计算该数据增广策略对应的目标物检测性能值,具体可以表示为:
电子设备计算该数据增广策略所对应的检测框的数量的和值,作为该数据增广策略对应的目标物检测性能值。
上述检测框的数量可以指示样本图像中识别出的目标物的数量。
在本申请实施例中,由于目标物检测过程中,每一数据增广策略所对应的第一检测模型所检测样本图像是完全相同的,即上述第三数据集中的所有样本图像,因此,针对每一样本图像,当利用某一数据增广策略所对应的第一检测模型检测出的检测框的数量越多时,也就是该数据增广策略所对应的第一检测模型可以检测出更多的目标物,可以确定该数据增广策略所对应的第一检测模型对目标物进行检测的准确性越高,从而确定该数据增广策略所对应的第一检测模型可以更加准确的对无监督场景中的图像进行目标物检测,使得数据增广技术可以适用于无监督学习场景的目标物检测过程。
另一个可选的实施例中,上述步骤S103,根据该数据增广策略所对应的检测框的数量和/或检测框的置信度,计算该数据增广策略对应的目标物检测性能值,具体可以表示为:
电子设备计算该数据增广策略所对应的检测框的置信度的和值,作为该数据增广策略对应的目标物检测性能值。
一个可选的实施例中,针对每一数据增广策略,电子设备可以利用以下公式,计算该数据增广策略对应的目标累计分数(Target Cumulative Scores,TACS),作为该数据增广策略对应的目标物检测性能值:
其中,TACS为任一数据增广策略所对应的目标物检测性能值,box为检测出的检测框,N为检测出的检测框的总数量,pbox为检测框所对应的置信度。
在本申请实施例中,由于目标物检测过程中,每一数据增广策略所对应的第一检测模型所检测样本图像是完全相同的,即上述第三数据集中的所有样本图像,因此,针对每一样本图像,当利用某一数据增广策略所对应的第一检测模型检测出的检测框的数量越多,并且检测出的检测所对应的置信度越大,则可以确定该数据增广策略所对应的第一检测模型对目标物进行检测的准确性越高,从而确定该数据增广策略所对应的第一检测模型可以更加准确的对无监督场景中的图像进行目标物检测,使得数据增广技术可以适用于无监督学习场景的目标物检测过程。
针对上述步骤S104,即基于每一数据增广策略对应的目标物检测性能值,选择目标数据增广策略。
一个可选的实施例中,电子设备将多个数据增广策略中目标物检测性能值最高的数据增广策略确定为目标数据增广策略。
在本申请实施例中,上述目标物检测性能值越大,则基于该目标物检测性能值所对应的数据增广策略训练得到的第一检测模型,对无监督场景的图像中的目标物进行检测准确性越高,更加适用于对无监督学习场景中的图像进行目标物检测。
一个可选的实施例中,根据上述本申请实施例提供的数据增广策略选择方法,本申请实施例还提供了一种数据增广策略选择方法。如图3所示,图3为本申请实施例提供的数据增广策略选择方法的第二种流程示意图。具体将上述步骤S101,细化为以下步骤,即步骤S1011-步骤S1014。
步骤S1011,获取第二数据集。
上述第二数据集中包括多个第二样本图像,以及每一第二样本图像中目标物所对应的第二标识信息。
上述第二标识信息包括指示第二样本图像中目标物所在区域的区域标识,以及指示第二样本图像中目标物的类别的类别标识。
上述区域标识可以以检测框的形式表示。上述类别标识可以以数字、字母等形式标识。例如,某一检测框的类别标识为1可以表示该检测框中的目标物为车辆。再例如,某一检测框的类别标识为2可以表示该检测框中的目标物为人员。在此,对上述标识信息的表示方式不作具体限定。
步骤S1012,获取多个数据增广策略。
在本步骤中,候选库中可以存储有多种数据增广算法,以及每一数据增广算法所对应的随机概率区间(也可以称为尺度区间)。电子设备可以根据候选库中存储的各数据增广算法,获取多组种子策略,得到多个数据增广策略。每组种子策略中包括第一数量个数据增广算法。
为便于理解,对上述候选库进行举例说明,具体如表1所示。
表1
数据增广算法 | 随机类型 | 最小值 | 最大值 |
随机灰度 | 概率 | 0.3 | 0.5 |
颜色抖动 | 幅值 | 0.3 | 0.5 |
随机HSV | 概率 | 0.3 | 0.5 |
随机噪声 | 概率 | 0.003 | 0.005 |
随机尺度 | 幅值 | 0.3 | 0.5 |
在表1所示的候选库中包括5中数据增广算法,即随机灰度(Random Grayscale)、颜色抖动(Color Jitter)、随机HSV(Random HSV)、随机噪声(Random Noise)和随机尺度(Random Scale),每一数据增广算法所对应的随机类型(即幅值变换或概率变换),以及每一数据增广算法所对应的随机概率区间/幅值变换区间。其中,HSV为图像的色调(Hue),饱和度(Saturation),明度(Value)。
为便于理解,以表1中的随机灰度为例进行说明。在表1所示的候选库中,在采用随机灰度的数据增广算法时,电子设备可以按照0.3至0.5的概率,对样本图像中的灰度值进行调整。
上述每一数据增广策略可以由第一数量个数据增广算法组合排序得到。例如,第一数量为3时,电子设备可以将表1中的随机灰度、颜色抖动和随机HSV这三种数据增广算法组合为一个数据增广策略,如数据增广策略表示为:随机灰度-颜色抖动-随机HSV。
在本申请实施例中,当上述第一数量较小时数据增广处理前和数据增广处理后的样本图像之间的差异性较小,不具有较好的泛化能力;当上述第一数量较大时数据增广处理前和数据增广处理后的样本图像之间的差异性较大,可能导致误差。上述第一数量可以根据用户的经验值进行设定,在此,对上述第一数量不作具体限定。
一个可选的实施例中,上述步骤S1012,获取多个数据增广策略,可以细化为以下步骤,即步骤一-步骤二。
步骤一,基于候选库中包括的多个数据增广算法,选取多组种子策略,每组种子策略中包括第一数量个数据增广算法。
步骤二,针对每组种子策略,基于第二数量,以及该组种子策略中各数据增广算法所对应随机概率区间/幅值变换区间的最大值和最小值,确定该组种子策略中各数据增广算法所对应的随机概率值/幅值,得到多个数据增广策略。
一个可选的实施例中,电子设备可以利用以下公式,计算得到每一数据增广算法所对应的随机概率值/幅值:
其中,val为任一数据增广算法所对应的随机概率值/幅值,MAX为该数据增广算法所对应随机概率区间/幅值变换区间中的最大值,MIN为该数据增广算法所对应随机概率区间/幅值变换区间中的最小值,M为第二数量,m为0至M间的任一整数。
在本申请实施例中,上述每一数据增广算法均存在对应的随机概率区间/幅值变换区间,也就是在利用该数据增广算法对样本图像进行数据增广处理时,随机概率值/幅值可以选取其对应的随机概率区间/幅值变换区间中的任一数值。因此,为了有效减少每一数据增广算法所对应的随机概率值/幅值的取值范围,通过上述第二数值可以计算得到有限数量个(即第二数量+1个)随机概率值/幅值,从而在保证选取得到的数据增广策略的全面性的同时,有效控制了选取得到的数据增广策略的数量。
为便于理解,以上述种子策略的数量为P,第二数量为M进行说明。根据上述随机概率值/幅值的计算公式,m有M+1个选择。因此,对于每一种子策略,该种子策略中各数据增广算法所对应的随机概率值/幅值有M+1个选择。也就是每一种子策略均有对应的M+1中数据增广策略。电子设备将获取得到P*(M+1)个数据增广策略。
上述步骤S1011可以在步骤S1012之前或之后执行,上述步骤S1011也可以和步骤S1012同时执行。在此,对上述步骤S1011和步骤S1012的执行顺序不作具体限定。
步骤S1013,针对每一数据增广策略,利用该数据增广策略对第二数据集进行数据增广处理,得到每一数据增广策略对应的第一数据集。
在本步骤中,针对第二数据集中的每一第二样本图像,电子设备可以分别利用上述步骤S1012所获取到的每一数据增广策略,该样本图像进行数据增广处理,得到该第二样本图像所对应的数据增广处理后的第二样本图像,并且,电子设备还可以根据该第二样本图像所对应的第二标识信息,确定数据增广处理后的第二样本图像中目标物所对应的标识信息(即上述第一标识信息)。电子设备可以将每一第二样本图像所对应的数据增广处理后的第二样本图像,以及数据增广处理后的第二样本图像中目标物所对应的标识信息,作为第一数据集。
为便于理解,以数据增广策略仅包括上述随机灰度为例进行说明。
现假设随机概率值为0.4。电子设备可以针对第二数据集中的每一第二样本图像,按照0.4的概率,随机对该样本图像中的40%的像素点的灰度值进行调整,得到数据增广后的第二样本图像。由于数据增广处理仅改变像素点的灰度值,并没有改变第二样本图像中的目标物,因此,数据增广后的第二样本图像所对应的标识信息可以不变。
在本申请实施例中,根据数据增广策略中包括的数据增广算法的不同,上述数据增广后的第二样本图像所对应的标识信息可能发生改变。例如,数据增广策略中包括目标物放大的数据增广算法,这将导致数据增广后的第二样本图像中目标物所在的位置发生改变,此时,该数据增广后的第二样本图像的标识信息中指示目标物所在区域的区域标识将发生变化。在此,对上述数据增广处理得到的第一数据集中第一标识信息的变化不作具体说明。
步骤S1014,针对每一数据增广策略,利用该数据增广策略对应的第一数据集,对预设检测模型进行训练,得到每一数据增广策略所对应的第一检测模型。
在本步骤中,针对每一数据增广策略,电子设备可以利用该数据增广策略对应的第一数据集,对预设检测模型进行训练,得到每一数据增广策略所对应的训练好的目标物检测模型,也就是得到每一数据增广策略所对应的第一检测模型。
上述预设检测模型包括但不限于快速区域卷积神经网络(Faster-RegionsConvolutional Neural Networks,Faster-RCNN)检测模型、视网膜网络(RetinaNet)检测模型,你只看一次(You Only Look Once,YOLO)检测模型。例如,YOLOV1、YOLOV2、YOLOV3、YOLOV4或YOLOV5等检测模型,其中,V1、V2、V3、V4、V5标识不同版本的YOLO检测模型。
上述Faster-RCNN检测模型、RetinaNet检测模型和YOLO检测模型为深度学习中的目标检测模型。根据检测模型的应用场景的不同,上述检测模型也有所不同。在此,对上述预设检测模型不作具体限定。
关于上述预设检测模型的训练过程可参见下文描述,在此不作具体说明。
基于同一种发明构思,根据上述本发明实施例提供的数据增广策略,针对任一数据增广策略对应的第一数据集,本申请实施例还提供了一种第一检测模型训练方法。如图4所示,图4为本申请实施例提供的第一检测模型训练方法的一种流程示意图。该方法包括以下步骤。
步骤S401,获取第一数据集;第一数据集包括多个第一样本图像,以及每一第一样本图像中目标物的第一标识信息。
在本步骤中,在利用上述多个数据增广策略对第二数据集进行数据增广处理得到第一数据集后,电子设备可以获取该第一数据集。
步骤S402,利用预设检测模型,对每一第一样本图像中的目标物进行检测,得到第一检测结果。
在本步骤中,电子设备可以分别将上述第一数据集中的每一第一样本图像输入至预设检测模型,由该预设检测模型对该第一样本图像中的目标物进行检测,确定出每一目标物在该第一样本图像中所在的区域,以及每一目标物对应的类别,得到每一第一样本图像的检测结果(记为第一检测结果)。电子设备获取每一第一样本图像的第一检测结果。
为便于理解,下面以预设检测模型为上述Faster-RCNN检测模型为例进行说明,并不起任何限定作用。
在Faster-RCNN检测模型中包括特征提取器,区域提取网络(Region ProposalNetwork,RPN)和感兴趣区域(Region of Interest,ROI)分类器组成。如图5所示,图5为本申请实施例提供的Faster-RCNN检测模型的一种示意图。
电子设备将上述样本图像输入至Faster-RCNN检测模型后,由Faster-RCNN检测模型中的特征提取器对输入的样本图像进行特征提取,并将提取到的特征发送至RPN和ROI分类器。
RPN根据接收到的特征,确定样本图像中目标物所在的区域,并在样本图像中用检测框标识出目标物所在的区域。
ROI分类器根据接收到的特征,对样本图像中的每一目标物进行分类,也就是确定出样本图像中每一目标物的类别,并在目标物所对应的检测框上添加类别。
Faster-RCNN检测模型输出包括检测结果,该检测结果包括样本图像中检测出的目标物所对应的检测框,以及每一检测框中目标物所对应的类别。
在本申请实施例中,上述第一检测结果中包括样本图像中目标物所在的区域对应的检测框,以及每一检测框中目标物的类别。
步骤S403,基于第一检测结果以及第一标识信息,计算预设检测模型的第一损失值。
在本步骤中,电子设备可以根据上述第一检测结果,以及每一第一样本图像所对应的标识信息,计算预设检测模型的损失值,作为第一损失值。
上述第一标识信息中包括指示第一样本图像中目标物所在区域的区域标识,以及指示第一样本图像中目标物的类别的类别标识。
一个可选的实施例中,如图6所示,本申请实施例还提供了一种第一损失值计算方法。图6为本申请实施例提供的第一损失值计算的一种流程示意图。该方法包括以下步骤。
步骤S4031,计算第一检测结果中检测框所在的区域,与第一数据集中区域标识所指示的目标物所在的区域间的第一误差值。
在本步骤中,针对每一第一样本图像,电子设备可以根据该第一样本图像所对应的第一检测结果中各检测框所在的区域,以及该第一样本图像所对应第一标识信息中区域标识所指示的目标物所在区域,计算得到第一误差值,即上述Faster-RCNN检测模型中RPN所对应的误差。
上述第一误差值可以表示为每一第一样本图像所对应的第一检测结果中各检测框所在的区域,与该第一样本图像所对应第一标识信息中区域标识所指示的区域间的区域位置偏移量的和值等。在此,对上述第一误差值的计算不作具体说明。
步骤S4032,计算第一检测结果中检测框所对应目标物的类别,与第一数据集中类别标识所指示目标物的类别间的第二误差值。
在本步骤中,针对每一第一样本图像,电子设备可以根据该第一样本图像所对应的第一检测结果中检测框中目标物的类别,以及该第一样本图像所对应第一标识信息中类别标识所指示的目标物的类别,计算得到第二误差值,即上述Faster-RCNN检测模型中ROI分类器所对应的误差。
上述第二误差值可以通过误差平方和等损失函数计算得到,在此,对上述第二误差值的计算不作具体说明。
步骤S4033,计算第一误差值和第二误差值和值,作为预设检测模型的第一损失值。
一个可选的实施例中,电子设备可以利用以下公式,计算得到预设检测模型的第一损失值。
Ldet=Lrpn+Lroi
其中,Ldet为预设检测模型的第一损失值,Lrpn为上述第一误差值,Lroi为上述第二误差值。
通过上述步骤S4031-步骤S4033,电子设备可以准确的根据第一检测结果和第一数据集中每一第一样本图像的第一标识信息,计算出预设检测模型的损失值。
在本申请实施例中,电子设备在计算得到上述第一损失值后,可以计算本轮训练计算得到的第一损失值与上一轮训练计算得到的第一损失值之间的差值,得到第一差值。电子设备可以将第一差值与第一预设阈值进行比较。当第一差值大于第一预设阈值时,电子设备可以执行步骤S404。当第一差值不大于第一预设阈值时,电子设备可以执行步骤S405。
步骤S404,若第一差值大于第一预设阈值,则调整预设检测模型的参数,并返回执行步骤S402。
在本步骤中,当上述第一差值大于第一预设阈值时,电子设备可以确定上述预设检测模型未收敛。此时,电子设备可以调整预设检测模型的参数,并返回执行上述步骤S402,即返回执行上述利用预设检测模型,对每一第一样本图像中的目标物进行检测,得到第一检测结果的步骤。
上述预设检测模型的参数包括但不限于预设检测模型中的权重和偏置量。
在本申请实施例中,电子设备可以基于本轮计算得到的第一损失值,利用梯度下降法或反向调节法等,对预设检测模型的参数进行调整。在此,对上述模型参数的调整方法不作具体限定。
步骤S405,若第一差值不大于第一预设阈值,则将当前的预设检测模型确定为训练好的第一检测模型。
在本步骤中,当上述第一差值小于等于第一预设阈值时,电子设备可以确定预设检测模型收敛。此时,电子设备可以将当前时刻的预设检测模型去确定为训练好的第一检测模型。
在图4所示的方法中,仅以一个数据增广策略所对应的第一检测模型的训练过程为例进行说明。上述多个数据增广策略所对应的第一检测模型的训练均可参照图4所示的训练方法,在此不作赘述。
通过图4所示的方法,电子设备可以利用每一数据增广策略所对应的第一数据集训练得到该数据增广策略所对应的第一检测模型,保证了训练得到的第一检测模型准确性,以及每一第一检测模型间的差异性。
基于同一种发明构思,根据图1所示的方法,本申请实施例还提供了一种目标物检测方法。如图7所示,图7为本申请实施例提供的目标物检测方法的第一种流程示意图。该方法包括以下步骤。
步骤S701,获取待检测图像。
在本步骤中,电子设备在从多个数据增广策略中选择出目标数据增广策略后,可以获取待检测图像。
上述待检测图像可以为包括目标物的图像,也可以为不包括目标物的图像。待检测图像中的目标物包括但不限于人员、动物、车辆等。
上述待检测图像可以为监督学习场景中的图像,也可以为无监督学习场景中的图像。
步骤S702,利用目标数据增广策略对应的第一检测模型,对待检测图像进行目标物检测,得到第五检测结果。
在本步骤中,电子设备可以在从多个数据增广策略中选择出目标数据增广策略后,可以确定该目标数据增广策略相比于其他数据增广策略,更加适用于无监督学习场景中的目标物检测。也就是基于目标数据增广策略所对应的第一检测模型对无监督学习场景中的图像进行目标物检测的准确性,高于基于其他数据增广策略所对应的第一检测模型对无监督学习场景中的图像进行目标物检测的准确性。在获得上述待检测图像后,电子设备可以利用目标数据增广策略对应的第一检测模型,对待检测图像进行目标物检测,得到检测结果(记为第五检测结果)。
根据上述第一检测模型的不同,上述对待检测图像中的目标物的检测过程也有所不同。
例如,上述待检测图像的目标物检测可以为待检测图像中目标物类别的检测。此时,电子设备可以利用目标数据增广策略对应的第一检测模型,对待检测图像中目标物所在的位置,以及目标物的类别进行检测,得到第五检测结果。
再例如,上述待检测图像的目标物检测可以为待检测图像中目标物的行为类别的检测。此时,电子设备可以利用目标数据增广策略对应的第一检测模型,对待检测图像中目标物所在的位置,以及目标物所对应的行为类别进行检测,得到第五检测结果。
在本申请实施例中,上述待检测图像的目标物检测还可以为前景/背景检测,车牌检测等。在此,对上述待检测图像的目标物检测不作具体限定。
上述对待检测图像进行目标物检测的电子设备(记为第一电子设备),与上述目标数据增广策略选择的电子设备(记为第二电子设备)可以为同一电子设备,也可以为不同的电子设备。
当上述第一电子设备与上述第二电子设备为不同的电子设备时,第一电子设备可以调用第二电子设备训练得到的目标数据增广策略所对应的第一检测模型,或者该第一电子设备中集成了目标数据增广策略所对应的第一检测模型,从而利用目标数据增广策略所对应的第一检测模型对待检测图像进行目标物检测。在此,对上述第一电子设备和第二电子设备不作具体限定。为便于理解,本申请实施例中仅以第一电子设备和第二电子设备为同一电子设备为例进行说明,并不起任何限定作用。
通过上述步骤S701-步骤S702,电子设备直接将选择出的目标数据增广策略所对应的第一检测模型,确定为对待检测图像进行目标物检测的检测模型,这使得该检测模型可以适用于对无监督学习场景中的图像的检测,有效提高了检测结果的准确性。
基于同一种发明构思,根据图1所示的方法,在选择得到上述目标数据增广策略后,本申请实施例还提供了一种第二模型训练方法。如图8所示,图8为本申请实施例提供的第二模型训练方法的一种流程示意图。该方法包括以下步骤。
步骤S801,获取第四数据集和第五数据集;其中,第四数据集包括多个第四样本图像,以及每一第四样本图像中目标物所对应的第三标识信息,第五数据集包括多个第五样本图像。
在本步骤中,电子设备可以获取第四数据集,该第四数据集中包括多个样本图像(记为第四样本图像),以及每一第四样本图像中目标物所对应的标识信息(记为第三标识信息)。电子设备还可以获取第五数据集,该第五数据集中包括多个样本图像(记为第五样本图像)。
上述第四标识信息中包括指示第四样本图像中目标物所在区域的区域标识,以及指示第四样本图像中目标物的类别的类别标识。
上述第五数据集中未包括第五样本图像中目标物所对应的标识信息。
上述第四数据集可以与上述第二数据集相同,也可以与上述第二数据集不同。上述第五数据集可以与上述第三数据集相同,也可以与上述第三数据集不同。
步骤S802,利用目标数据增广策略,对第四数据集进行数据增广处理,得到第六数据集。
上述第六数据集中包括多个样本图像(记为第六样本图像),以及每一样本图像中目标物所对应的标识信息(记为第四标识信息)。
上述对第四数据集进行数据增广处理的过程可参见上述对第二数据进行数据增广的过程,在此不作具体说明。
步骤S803,利用目标数据增广策略对应的第一检测模型,对第六数据集中的每一第六样本图像中的目标物进行检测,得到第二检测结果。
在本步骤中,针对上述第六数据集中的每一第六样本图像,电子设备可以利用上述目标数据增广策略所对应的第一检测模型,对该第六样本图像中的目标物进行检测,得到第二检测结果。
上述第二检测结果中包括指示第六样本图像中目标物所在区域的区域标识,以及指示第六样本图像中目标物所对应类别的类别标识。
步骤S804,利用目标数据增广策略对应的第一检测模型,对第五数据集中的每一第五样本图像中的目标物进行检测,得到第三检测结果。
在本步骤中,针对上述第五数据集中的每一第五样本图像,电子设备可以利用上述目标数据增广策略所对应的第一检测模型,对该第五样本图像中的目标物进行检测,得到第三检测结果。
上述第三检测结果包括第五样本图像中检测出的每一检测框的置信度。
上述第二检测结果和第三检测结果的获取方式可参照上述第一检测结果的获取方式,在此不作具体说明。
上述步骤S803可以在步骤S804之前或之后执行。上述步骤S803也可以与上述步骤S804同时执行。在此,对上述步骤S803和步骤S804的执行顺序不作具体限定。
步骤S805,基于第二检测结果和第三检测结果,计算目标数据增广策略对应的第一检测模型的第二损失值。
在本步骤中,电子设备在确定上述第二检测结果和第三检测结果后,可以基于该第二检测结果和第三检测结果,计算目标数据增广策略所对应第一检测模型的损失值,作为第二损失值。
一个可选的实施例中,电子设备可以利用以下公式,计算得到目标数据增广策略所对应第一检测模型的第二损失值:
L=Ldet+αLda
其中,L为上述第二损失值,Ldet为根据第二检测结果以及上述第五数据集中每一第五样本数据中目标物的第四标识信息计算得到的损失值,Lda是根据上述第二检测结果和第三检测结果计算得到的损失值,α为损失值Ldet与损失值Lda间的预设平衡参数。
上述损失值Ldet的计算方式可参照上述第一损失值的计算方式,在此不作具体说明。
上述损失值Lda是根据上述第二检测结果和第三检测结果计算得到的。
一个可选的实施例中,上述Lda为判别损失。电子设备利用判别器对上述第二检测结果检测过程中的第六样本图像特征和上述第三检测结果检测过程中的第五样本图像特征判别所得到。例如,Lda可以表示为上述第二检测结果与第三检测结果间的特征差值。在此,对上述Lda的计算方式不作具体说明。
在本申请实施例中,电子设备在计算得到上述第二损失值后,可以计算本轮训练得到的第二损失值与上一轮训练得到的第二损失值之间的差值,得到第二差值。电子设备可以将第二差值与第二预设阈值进行比较。当第二差值大于第二预设阈值时,电子设备可以执行步骤S806。当第二差值不大于第二预设阈值时,电子设备可以执行步骤S807。
步骤S806,若第二差值大于第二预设阈值,则对目标数据增广策略对应的第一检测模型的参数进行微调,并返回执行步骤S803。
在本步骤中,当第二差值大于第二预设阈值时,电子设备可以确定上述目标数据增广策略所对应的第一检测模型未收敛。此时,电子设备可以对目标数据增广策略对应的第一检测模型的参数进行微调,并返回执行上述步骤S803,利用目标数据增广策略对应的第一检测模型,对第六数据集中的每一第六样本图像中的目标物进行检测,得到第二检测结果的步骤。
上述目标数据增广策略对应的第一检测模型的参数的微调可参照上述预设检测模型的参数的调整方式。相比于上述预设检测模型的参数的调整,在对目标数据增广策略对应的第一检测模型的参数进行调整,降低了参数调整的步长,实现对目标数据增广策略对应的第一检测模型的参数的微调。在此,对目标数据增广策略对应的第一检测模型的参数的微调过程不作具体说明。
步骤S807,若第二差值不大于第二预设阈值,则将当前的第一目标物检测模型确定为训练好的第二检测模型。
在本步骤中,当第二差值小于等于第二预设阈值时,电子设备可以确定上述目标数据增广策略所对应的第一检测模型收敛。此时,电子设备可以将当前的第一目标物检测模型确定为训练好的第二检测模型。
通过图8所示的方法,电子设备结合第四数据集和第五数据集,对目标数据增广策略所对应的第一检测模型的参数进行微调,进一步提高了训练得到的第二检测模型的准确性,并且,提高了第二检测模型对无监督学习场景中目标物检测准确性,使得数据增广技术可以更好的适用于有监督学习场景和无监督学习场景。
基于同一种发明构思,根据上述图8训练得到的第二检测模型,本申请实施例还提供了一种目标物检测方法,如图9所示,图9为本申请实施例提供的目标物检测方法的第二种流程示意图。该方法包括以下步骤。
步骤S901,获取待检测图像。
在本申请实施例中,上述待检测图像的可以为有监督学习场景中的图像,也可以为无监督学习场景中的图像。
步骤S902,利用第二检测模型,对待检测图像进行目标物检测,得到第四检测结果。
在本申请实施例中,上述第四检测结果中包括指示待检测图像中目标物所在区域的区域标识,以及指示待检测图像中目标物的类别的类别标识。
上述利用第二检测模型对待检测图像的检测过程可参照上述利用目标数据增广策略所对应的第一检测模型,对待检测图像的检测过程,在此不作具体说明。
通过图9所示的方法,利用图8训练得到的第二检测模型,对待检测图像中的目标物进行识别时,无论该待检测图像是有监督学习场景中的图像,还是无监督学习场景中的图像,电子设备均可以准确的对待检测图像中的目标物进行检测,提高了检测结果的准确性。
基于同一种发明构思,根据上述本申请实施例提供的数据增广策略选择方法,本申请实施例还提供了一种数据增广策略选择装置。如图10所示,图10为本申请实施例提供的数据增广策略选择装置的一种结构示意图。该装置包括以下模块。
第一获取模块1001,用于获取多个数据增广策略各自对应的第一检测模型;每一数据增广策略对应的第一检测模型是基于该数据增广策略对应的第一数据集训练得到的,每一数据增广策略对应的第一数据集是:基于该数据增广策略对第二数据集进行数据增广处理得到的;
第一检测模块1002,用于针对每一数据增广策略,利用该数据增广策略对应的第一检测模型,对第三数据集中第三样本图像中的目标物进行检测,得到各检测框的置信度;
第一计算模块1003,用于根据该数据增广策略所对应的检测框的数量和/或检测框的置信度,计算该数据增广策略对应的目标物检测性能值;
选择模块1004,用于基于每一数据增广策略对应的目标物检测性能值,选择目标数据增广策略。
可选的,上述第一获取模块1001,包括:
第一获取子模块,用于获取第二数据集;
第二获取子模块,用于获取多个数据增广策略;
处理子模块,用于针对每一数据增广策略,利用该数据增广策略对第二数据集进行数据增广处理,得到每一数据增广策略对应的第一数据集;
训练子模块,用于针对每一数据增广策略,利用该数据增广策略对应的第一数据集,对预设检测模型进行训练,得到每一数据增广策略所对应的第一检测模型。
可选的,上述第二获取子模块,具体用于基于候选库中包括的多个数据增广算法,选取多组种子策略,每组种子策略中包括第一数量个数据增广算法;针对每组种子策略,基于第二数量,以及该组种子策略中各数据增广算法所对应随机概率区间/幅值变换区间的最大值和最小值,确定该组种子策略中各数据增广算法所对应的随机概率值/幅值,得到多个数据增广策略。
可选的,上述数据增广策略选择装置还可以包括:
第二获取模块,用于获取第一数据集;第一数据集包括多个第一样本图像,以及每一第一样本图像中目标物的第一标识信息;
第二检测模块,用于利用预设检测模型,对每一第一样本图像中的目标物进行检测,得到第一检测结果;
第二计算模块,用于基于第一检测结果以及第一标识信息,计算预设检测模型的第一损失值;
调整模块,用于若第一差值大于第一预设阈值,则调整预设检测模型的参数,并返回调用第二检测模块执行利用预设检测模型,对每一第一样本图像中的目标物进行检测,得到第一检测结果的步骤;第一差值为本轮训练得到的第一损失值与上一轮训练得到第一损失值间的差值;
第一确定模块,用于若第一差值不大于第一预设阈值,则将当前的预设检测模型确定为训练好的第一检测模型。
可选的,上述第一标识信息包括指示目标物所在区域的区域标识,以及指示目标物的类别的类别标识;
上述第二计算模块,具体可以用于计算第一检测结果中检测框所在的区域,与第一数据集中区域标识所指示的目标物所在的区域间的第一误差值;计算第一检测结果中检测框所对应目标物的类别,与第一数据集中类别标识所指示目标物的类别间的第二误差值;计算第一误差值和第二误差值和值,作为预设检测模型的第一损失值。
可选的,上述第一计算模块1003,具体可以用于计算该数据增广策略所对应的检测框的数量的和值,作为该数据增广策略对应的目标物检测性能值;和/或计算该数据增广策略所对应的检测框的置信度的和值,作为该数据增广策略对应的目标物检测性能值。
可选的,上述选择模块1004,具体可以用于将多个数据增广策略中目标物检测性能值最高的数据增广策略确定为目标数据增广策略。
可选的,上述数据增广策略选择装置还可以包括:
第三获取模块,用于获取第四数据集和第五数据集;其中,第四数据集包括多个第四样本图像,以及每一第四样本图像中目标物所对应的第三标识信息,第五数据集包括多个第五样本图像;
处理模块,用于利用目标数据增广策略,对第四数据集进行数据增广处理,得到第六数据集;
第三检测模块,用于利用目标数据增广策略对应的第一检测模型,对第六数据集中的每一第六样本图像中的目标物进行检测,得到第二检测结果;
第四检测模块,用于利用目标数据增广策略对应的第一检测模型,对第五数据集中的每一第五样本图像中的目标物进行检测,得到第三检测结果;
第三计算模块,用于基于第二检测结果和第三检测结果,计算目标数据增广策略对应的第一检测模型的第二损失值;
微调模块,用于若第二差值大于第二预设阈值,则对目标数据增广策略对应的第一检测模型的参数进行微调,并返回调用第三检测模块执行利用目标数据增广策略对应的第一检测模型,对第六数据集中的每一第六样本图像中的目标物进行检测,得到第二检测结果的步骤;第二差值为本轮训练得到的第二损失值与上一轮训练得到第二损失值间的差值;
第二确定模块,用于若第二差值不大于第二预设阈值,则将当前的第一目标物检测模型确定为训练好的第二检测模型。
可选的,上述数据增广策略选择装置还可以包括:
第四获取模块,用于获取待检测图像;
第五检测模块,用于利用第二检测模型,对待检测图像进行目标物检测,得到第四检测结果。
通过本申请实施例提供的装置,可以在获取到多个数据增广策略各自对应的第一检测模型后,根据每一数据增广策略对应的第一检测模型对样本图像中目标物的检测结果,也就是样本图像中检测出的检测框的置信度,确定每一数据增广策略所对应的目标物检测性能值,从而基于该目标物检测性能值确定出目标数据增广策略。相比于相关技术,以不包括标识信息的样本图像作为验证数据集,对每一数据增广策略所对应的第一检测模型的目标物检测性能进行验证,这使得验证数据集中不再需要包括标识信息,提高了验证数据集中验证数据的泛化能力,从而提高了确定出的目标数据增广策略的泛化能力,使得数据增广技术适用于无监督学习场景的目标物检测过程。
基于同一种发明构思,根据上述本申请实施例提供的数据增广策略选择方法,本申请实施例还提供了一种数据增广策略选择系统,如图11-a所示,图11-a为本申请实施例提供的数据增广策略选择系统的第一种结构示意图。该数据增广策略选择系统包括图像采集设备1101和模型训练设备1102。
上述图像采集设备1101,用于获取多个第二样本图像以及每一第二样本图像中目标物所对应的标识信息,得到第二数据集,并获取多个第三样本图像作为第三数据集;
上述模型训练设备1102,用于基于多个数据增广策略,分别对第二数据集进行数据增广处理,得到每一数据增广策略对应的第一数据集;基于每一数据增广策略对应的第一数据集训练得到该数据增广策略所对应的第一检测模型;
上述模型训练设备1102,还用于针对每一数据增广策略,利用该数据增广策略对应的第一检测模型,对第三数据集中第三样本图像中的目标物进行检测,得到各检测框的置信度;根据该数据增广策略所对应的检测框的数量和/或检测框的置信度,计算该数据增广策略对应的目标物检测性能值;基于每一数据增广策略对应的目标物检测性能值,选择目标数据增广策略。
可选的,如图11-b所示,上述数据增广策略选择系统还可以包括客户端1103;
上述图像采集设备1101,还可以用于在获得目标数据增广策略后,获取待检测图像;
上述客户端1103,用于利用目标数据增广策略对应的第一检测模型,对待检测图像进行目标物检测,得到第五检测结果。
可选的,上述模型训练设备1102,具体可以用于获取第二数据集;获取多个数据增广策略;针对每一数据增广策略,利用该数据增广策略对第二数据集进行数据增广处理,得到每一数据增广策略对应的第一数据集;针对每一数据增广策略,利用该数据增广策略对应的第一数据集,对预设检测模型进行训练,得到每一数据增广策略所对应的第一检测模型。
可选的,上述模型训练设备1102,具体可以用于基于候选库中包括的多个数据增广算法,选取多组种子策略,每组种子策略中包括第一数量个数据增广算法;针对每组种子策略,基于第二数量,以及该组种子策略中各数据增广算法所对应随机概率区间/幅值变换区间的最大值和最小值,确定该组种子策略中各数据增广算法所对应的随机概率值/幅值,得到多个数据增广策略。
可选的,针对任一数据增广策略对应的第一数据集,上述模型训练设备1102,具体用于获取第一数据集;第一数据集包括多个第一样本图像,以及每一第一样本图像中目标物的第一标识信息;
利用预设检测模型,对每一第一样本图像中的目标物进行检测,得到第一检测结果;
基于第一检测结果以及第一标识信息,计算预设检测模型的第一损失值;
若第一差值大于第一预设阈值,则调整预设检测模型的参数,并返回执行利用预设检测模型,对每一第一样本图像中的目标物进行检测,得到第一检测结果的步骤;第一差值为本轮训练得到的第一损失值与上一轮训练得到第一损失值间的差值;
若第一差值不大于第一预设阈值,则将当前的预设检测模型确定为训练好的第一检测模型。
可选的,上述第一标识信息包括指示目标物所在区域的区域标识,以及指示目标物的类别的类别标识;
上述模型训练设备1102,具体可以用于计算第一检测结果中检测框所在的区域,与第一数据集中区域标识所指示的目标物所在的区域间的第一误差值;计算第一检测结果中检测框所对应目标物的类别,与第一数据集中类别标识所指示目标物的类别间的第二误差值;计算第一误差值和第二误差值和值,作为预设检测模型的第一损失值。
可选的,上述模型训练设备1102,具体可以用于计算该数据增广策略所对应的检测框的数量的和值,作为该数据增广策略对应的目标物检测性能值;和/或计算该数据增广策略所对应的检测框的置信度的和值,作为该数据增广策略对应的目标物检测性能值。
可选的,上述模型训练设备1102,具体可以用于将多个数据增广策略中目标物检测性能值最高的数据增广策略确定为目标数据增广策略。
可选的,上述模型训练设备1102,还可以用于获取第四数据集和第五数据集;其中,第四数据集包括多个第四样本图像,以及每一第四样本图像中目标物所对应的第三标识信息,第五数据集包括多个第五样本图像;
利用目标数据增广策略,对第四数据集进行数据增广处理,得到第六数据集;
利用目标数据增广策略对应的第一检测模型,对第六数据集中的每一第六样本图像中的目标物进行检测,得到第二检测结果;
利用目标数据增广策略对应的第一检测模型,对第五数据集中的每一第五样本图像中的目标物进行检测,得到第三检测结果;
基于第二检测结果和第三检测结果,计算目标数据增广策略对应的第一检测模型的第二损失值;
若第二差值大于第二预设阈值,则对目标数据增广策略对应的第一检测模型的参数进行微调,并返回执行利用目标数据增广策略对应的第一检测模型,对第六数据集中的每一第六样本图像中的目标物进行检测,得到第二检测结果的步骤;第二差值为本轮训练得到的第二损失值与上一轮训练得到第二损失值间的差值;
若第二差值不大于第二预设阈值,则将当前的第一目标物检测模型确定为训练好的第二检测模型。
可选的,上述图像采集设备1101,还可以用于获取待检测图像;
上述客户端1103,还可以用于利用第二检测模型,对待检测图像进行目标物检测,得到第四检测结果。
在本申请实施例中,上述图像采集设备用于获取训练数据集、验证数据集和待检测图像。该图像采集设备可以为摄像机,或者集成有摄像机模组的设备。
上述模型训练设备可以用于对上述预设检测模型和上述目标数据增广策略所对应的第一检测模型的训练。上述模型训练模块还可以用于对目标数据增广策略的选择。
上述客户端可以用于对待检测图像进行目标物检测。
上述图像采集设备、模型训练设备、客户端可以为不同的设备,也可以集成在同一设备中,也就是上述图像采集设备、模型训练设备可以集成在客户端(即上述电子设备)中。
基于同一种发明构思,根据上述本申请实施例提供的数据增广策略选择方法,本申请实施例还提供了一种电子设备,如图12所示,包括处理器1201、通信接口1202、存储器1203和通信总线1204,其中,处理器1201,通信接口1202,存储器1203通过通信总线1204完成相互间的通信,
存储器1203,用于存放计算机程序;
处理器1201,用于执行存储器1203上所存放的程序时,实现如下步骤:
获取多个数据增广策略各自对应的第一检测模型;每一数据增广策略对应的第一检测模型是基于该数据增广策略对应的第一数据集训练得到的,每一数据增广策略对应的第一数据集是:基于该数据增广策略对第二数据集进行数据增广处理得到的;
针对每一数据增广策略,利用该数据增广策略对应的第一检测模型,对第三数据集中第三样本图像中的目标物进行检测,得到各检测框的置信度;
根据该数据增广策略所对应的检测框的数量和/或检测框的置信度,计算该数据增广策略对应的目标物检测性能值;
基于每一数据增广策略对应的目标物检测性能值,选择目标数据增广策略。
通过本申请实施例提供的电子设备,可以在获取到多个数据增广策略各自对应的第一检测模型后,根据每一数据增广策略对应的第一检测模型对样本图像中目标物的检测结果,也就是样本图像中检测出的检测框的置信度,确定每一数据增广策略所对应的目标物检测性能值,从而基于该目标物检测性能值确定出目标数据增广策略。相比于相关技术,以不包括标识信息的样本图像作为验证数据集,对每一数据增广策略所对应的第一检测模型的目标物检测性能进行验证,这使得验证数据集中不再需要包括标识信息,提高了验证数据集中验证数据的泛化能力,从而提高了确定出的目标数据增广策略的泛化能力,使得数据增广技术适用于无监督学习场景的目标物检测过程。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect,PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture,EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory,RAM),也可以包括非易失性存储器(Non-Volatile Memory,NVM),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital SignalProcessor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
基于同一种发明构思,根据上述本申请实施例提供的数据增广策略选择方法,本申请实施例还提供了一种计算机可读存储介质,该计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述任一数据增广策略选择方法的步骤。
基于同一种发明构思,根据上述本申请实施例提供的数据增广策略选择方法,本申请实施例还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述实施例中任一数据增广策略选择方法。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置、系统、电子设备、计算机可读存储介质及计算机程序产品等实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本申请的较佳实施例,并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本申请的保护范围内。
Claims (12)
1.一种数据增广策略选择方法,其特征在于,所述方法包括:
获取多个数据增广策略各自对应的第一检测模型;每一数据增广策略对应的第一检测模型是基于该数据增广策略对应的第一数据集训练得到的,每一数据增广策略对应的第一数据集是:基于该数据增广策略对第二数据集进行数据增广处理得到的;
针对每一数据增广策略,利用该数据增广策略对应的第一检测模型,对第三数据集中第三样本图像中的目标物进行检测,得到各检测框的置信度;
根据该数据增广策略所对应的检测框的数量和/或检测框的置信度,计算该数据增广策略对应的目标物检测性能值;
基于每一数据增广策略对应的目标物检测性能值,选择目标数据增广策略。
2.根据权利要求1所述的方法,其特征在于,所述获取多个数据增广策略各自对应的第一检测模型的步骤,包括:
获取所述第二数据集;
获取多个数据增广策略;
针对每一数据增广策略,利用该数据增广策略对所述第二数据集进行数据增广处理,得到每一数据增广策略对应的第一数据集;
针对每一数据增广策略,利用该数据增广策略对应的第一数据集,对预设检测模型进行训练,得到每一数据增广策略所对应的第一检测模型。
3.根据权利要求2所述的方法,其特征在于,所述获取多个数据增广策略的步骤,包括:
基于候选库中包括的多个数据增广算法,选取多组种子策略,每组种子策略中包括第一数量个数据增广算法;
针对每组种子策略,基于第二数量,以及该组种子策略中各数据增广算法所对应随机概率区间/幅值变换区间的最大值和最小值,确定该组种子策略中各数据增广算法所对应的随机概率值/幅值,得到多个数据增广策略。
4.根据权利要求1所述的方法,其特征在于,针对任一数据增广策略对应的第一数据集,采用以下步骤训练得到该数据增广策略对应的第一检测模型:
获取所述第一数据集;所述第一数据集包括多个第一样本图像,以及每一第一样本图像中目标物的第一标识信息;
利用预设检测模型,对每一第一样本图像中的目标物进行检测,得到第一检测结果;
基于所述第一检测结果以及所述第一标识信息,计算所述预设检测模型的第一损失值;
若第一差值大于第一预设阈值,则调整所述预设检测模型的参数,并返回执行所述利用预设检测模型,对每一第一样本图像中的目标物进行检测,得到第一检测结果的步骤;所述第一差值为本轮训练得到的第一损失值与上一轮训练得到第一损失值间的差值;
若所述第一差值不大于所述第一预设阈值,则将当前的预设检测模型确定为训练好的第一检测模型。
5.根据权利要求4所述的方法,其特征在于,所述第一标识信息包括指示目标物所在区域的区域标识,以及指示目标物的类别的类别标识;
所述基于所述第一检测结果以及所述第一标识信息,计算所述预设检测模型的第一损失值的步骤,包括:
计算所述第一检测结果中检测框所在的区域,与所述第一数据集中区域标识所指示的目标物所在的区域间的第一误差值;
计算所述第一检测结果中检测框所对应目标物的类别,与所述第一数据集中类别标识所指示目标物的类别间的第二误差值;
计算所述第一误差值和所述第二误差值和值,作为所述预设检测模型的第一损失值。
6.根据权利要求1所述的方法,其特征在于,所述根据该数据增广策略所对应的检测框的数量和/或检测框的置信度,计算该数据增广策略对应的目标物检测性能值的步骤,包括:
计算该数据增广策略所对应的检测框的数量的和值,作为该数据增广策略对应的目标物检测性能值;和/或
计算该数据增广策略所对应的检测框的置信度的和值,作为该数据增广策略对应的目标物检测性能值。
7.根据权利要求1所述的方法,其特征在于,所述基于每一数据增广策略对应的目标物检测性能值,选择目标数据增广策略的步骤,包括:
将所述多个数据增广策略中所述目标物检测性能值最高的数据增广策略确定为目标数据增广策略。
8.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取第四数据集和第五数据集;其中,所述第四数据集包括多个第四样本图像,以及每一第四样本图像中目标物所对应的第三标识信息,所述第五数据集包括多个第五样本图像;
利用所述目标数据增广策略,对所述第四数据集进行数据增广处理,得到第六数据集;
利用所述目标数据增广策略对应的第一检测模型,对所述第六数据集中的每一第六样本图像中的目标物进行检测,得到第二检测结果;
利用所述目标数据增广策略对应的第一检测模型,对所述第五数据集中的每一第五样本图像中的目标物进行检测,得到第三检测结果;
基于所述第二检测结果和所述第三检测结果,计算所述目标数据增广策略对应的第一检测模型的第二损失值;
若第二差值大于第二预设阈值,则对所述目标数据增广策略对应的第一检测模型的参数进行微调,并返回执行所述利用所述目标数据增广策略对应的第一检测模型,对所述第六数据集中的每一第六样本图像中的目标物进行检测,得到第二检测结果的步骤;所述第二差值为本轮训练得到的第二损失值与上一轮训练得到第二损失值间的差值;
若所述第二差值不大于所述第二预设阈值,则将当前的第一目标物检测模型确定为训练好的第二检测模型。
9.根据权利要求8所述的方法,其特征在于,所述方法还包括:
获取待检测图像;
利用所述第二检测模型,对所述待检测图像进行目标物检测,得到第四检测结果。
10.一种数据增广策略选择装置,其特征在于,所述装置包括:
第一获取模块,用于获取多个数据增广策略各自对应的第一检测模型;每一数据增广策略对应的第一检测模型是基于该数据增广策略对应的第一数据集训练得到的,每一数据增广策略对应的第一数据集是:基于该数据增广策略对第二数据集进行数据增广处理得到的;
第一检测模块,用于针对每一数据增广策略,利用该数据增广策略对应的第一检测模型,对第三数据集中第三样本图像中的目标物进行检测,得到各检测框的置信度;
第一计算模块,用于根据该数据增广策略所对应的检测框的数量和/或检测框的置信度,计算该数据增广策略对应的目标物检测性能值;
选择模块,用于基于每一数据增广策略对应的目标物检测性能值,选择目标数据增广策略。
11.一种数据增广策略选择系统,其特征在于,所述系统包括图像采集设备和模型训练设备;
所述图像采集设备,用于获取多个第二样本图像以及每一第二样本图像中目标物所对应的标识信息,得到第二数据集,并获取多个第三样本图像作为第三数据集;
所述模型训练设备,用于基于多个数据增广策略,分别对所述第二数据集进行数据增广处理,得到每一数据增广策略对应的第一数据集;基于每一数据增广策略对应的第一数据集训练得到该数据增广策略所对应的第一检测模型;
所述模型训练设备,还用于针对每一数据增广策略,利用该数据增广策略对应的第一检测模型,对所述第三数据集中第三样本图像中的目标物进行检测,得到各检测框的置信度;根据该数据增广策略所对应的检测框的数量和/或检测框的置信度,计算该数据增广策略对应的目标物检测性能值;基于每一数据增广策略对应的目标物检测性能值,选择目标数据增广策略。
12.根据权利要求11所述的系统,其特征在于,所述系统还包括客户端;
所述图像采集设备,还用于在获得所述目标数据增广策略后,获取待检测图像;
所述客户端,用于利用所述目标数据增广策略对应的第一检测模型,对所述待检测图像进行目标物检测,得到第五检测结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111275966.2A CN114021634A (zh) | 2021-10-29 | 2021-10-29 | 一种数据增广策略选择方法、装置及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111275966.2A CN114021634A (zh) | 2021-10-29 | 2021-10-29 | 一种数据增广策略选择方法、装置及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114021634A true CN114021634A (zh) | 2022-02-08 |
Family
ID=80058879
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111275966.2A Pending CN114021634A (zh) | 2021-10-29 | 2021-10-29 | 一种数据增广策略选择方法、装置及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114021634A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114969543A (zh) * | 2022-06-15 | 2022-08-30 | 北京百度网讯科技有限公司 | 推广方法、系统、电子设备和存储介质 |
CN118172838A (zh) * | 2024-05-15 | 2024-06-11 | 四川旅游学院 | 一种景区的行为识别方法以及系统 |
-
2021
- 2021-10-29 CN CN202111275966.2A patent/CN114021634A/zh active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114969543A (zh) * | 2022-06-15 | 2022-08-30 | 北京百度网讯科技有限公司 | 推广方法、系统、电子设备和存储介质 |
CN114969543B (zh) * | 2022-06-15 | 2023-08-25 | 北京百度网讯科技有限公司 | 推广方法、系统、电子设备和存储介质 |
CN118172838A (zh) * | 2024-05-15 | 2024-06-11 | 四川旅游学院 | 一种景区的行为识别方法以及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111523621A (zh) | 图像识别方法、装置、计算机设备和存储介质 | |
CN114021634A (zh) | 一种数据增广策略选择方法、装置及系统 | |
Zhou et al. | Semi-supervised salient object detection using a linear feedback control system model | |
US20210174066A1 (en) | Method and device for age estimation | |
CN106971401B (zh) | 多目标跟踪装置和方法 | |
CN110991287A (zh) | 一种实时视频流人脸检测跟踪方法及检测跟踪系统 | |
JP7086878B2 (ja) | 学習装置、学習方法、プログラムおよび認識装置 | |
CN111753590B (zh) | 一种行为识别方法、装置及电子设备 | |
CN109447023B (zh) | 确定图像相似度的方法、视频场景切换识别方法及装置 | |
CN112434744B (zh) | 一种多模态特征融合模型的训练方法及装置 | |
CN110909664A (zh) | 一种人体关键点识别方法、装置及电子设备 | |
Kim et al. | Deep blind image quality assessment by employing FR-IQA | |
CN111027412A (zh) | 一种人体关键点识别方法、装置及电子设备 | |
KR20180109658A (ko) | 영상 처리 방법과 장치 | |
CN110969100A (zh) | 一种人体关键点识别方法、装置及电子设备 | |
CN113269706B (zh) | 激光雷达图像质量评价方法、装置、设备及存储介质 | |
Lecca et al. | Comprehensive evaluation of image enhancement for unsupervised image description and matching | |
CN112465869B (zh) | 一种轨迹关联方法、装置、电子设备及存储介质 | |
CN111507396B (zh) | 缓解神经网络对未知类样本产生错误分类的方法及装置 | |
JP6600288B2 (ja) | 統合装置及びプログラム | |
CN111695381B (zh) | 一种文本特征提取方法、装置、电子设备及可读存储介质 | |
CN116258873A (zh) | 一种位置信息确定方法、对象识别模型的训练方法及装置 | |
Nieto et al. | How video object tracking is affected by in-capture distortions? | |
CN113260044B (zh) | 基于双层字典学习的csi指纹定位方法、装置及设备 | |
CN112784691B (zh) | 一种目标检测模型训练方法、目标检测方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |