CN117011624A - 目标检测模型的训练方法、目标检测方法及装置 - Google Patents
目标检测模型的训练方法、目标检测方法及装置 Download PDFInfo
- Publication number
- CN117011624A CN117011624A CN202210447161.XA CN202210447161A CN117011624A CN 117011624 A CN117011624 A CN 117011624A CN 202210447161 A CN202210447161 A CN 202210447161A CN 117011624 A CN117011624 A CN 117011624A
- Authority
- CN
- China
- Prior art keywords
- target
- training
- unlabeled
- model
- target detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012549 training Methods 0.000 title claims abstract description 465
- 238000001514 detection method Methods 0.000 title claims abstract description 451
- 238000000034 method Methods 0.000 title claims abstract description 123
- 238000012545 processing Methods 0.000 claims description 43
- 230000006870 function Effects 0.000 claims description 38
- 238000000605 extraction Methods 0.000 claims description 11
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 2
- 239000000758 substrate Substances 0.000 claims 1
- 230000008569 process Effects 0.000 description 27
- 238000010586 diagram Methods 0.000 description 16
- 230000006872 improvement Effects 0.000 description 8
- 238000004590 computer program Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 7
- 241000196324 Embryophyta Species 0.000 description 4
- 241001465754 Metazoa Species 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000011478 gradient descent method Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000000153 supplemental effect Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 241000282472 Canis lupus familiaris Species 0.000 description 1
- 241000282326 Felis catus Species 0.000 description 1
- 241000422846 Sequoiadendron giganteum Species 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 229920001296 polysiloxane Polymers 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 239000010979 ruby Substances 0.000 description 1
- 229910001750 ruby Inorganic materials 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/51—Indexing; Data structures therefor; Storage structures
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例提供了一种目标检测模型的训练方法、目标检测方法及装置。其中,训练方法包括:根据预设训练集中各无标签样本的当前选择权重,确定进行当前次模型训练的N个目标无标签样本,N为大于1的整数;基于目标无标签样本和有标签样本对待训练的初始目标检测模型进行训练,得到每个目标无标签样本的第一目标检测结果;若确定当前次的训练结果不满足预设训练结束条件且当前选择权重满足更新条件,则根据第一目标检测结果对当前选择权重进行更新处理,并将训练后的初始目标检测模型确定为下一次模型训练所使用的待训练的初始目标检测模型,直到满足预设训练结束条件,得到目标检测模型。通过本申请实施例,提升了目标检测模型的准确性。
Description
技术领域
本申请涉及人工智能技术领域,尤其涉及一种目标检测模型的训练方法、目标检测方法及装置。
背景技术
随着人工智能技术的不断发展,基于训练得到的目标检测模型对图像、视频等数据进行目标检测,在众多场景中得以广泛应用。现有的目标检测模型的训练过程中,通常是各训练样本随机的输入待训练模型中进行各轮训练处理。然而,训练样本中往往存在不同类别的目标的数量不平衡的问题,例如目标“人”的数量往往多于目标“雪橇”的数量,而这使得训练过程中模型更倾向于识别出数量多的目标,而忽略数量少的目标,甚至将数量少的目标错识别为数量多的目标;最终导致模型对数量少的目标欠拟合,而对数量多的目标过拟合。可见,现有训练方式得到的目标检测模型存在目标识别准确性低的问题。
发明内容
本申请实施例的目的是提供一种目标检测模型的训练方法、目标检测方法及装置,以提升目标检测模型的检测结果的准确性。
为了实现上述技术方案,本申请实施例是这样实现的:
第一方面,本申请实施例提供了一种目标检测模型的训练方法,包括:
根据预设训练集中各无标签样本的当前选择权重,确定当前次模型训练的N个目标无标签样本;其中,N为大于1的整数;
基于所述目标无标签样本和所述预设训练集中的有标签样本对待训练的初始目标检测模型进行训练,得到训练后的初始目标检测模型和每个所述目标无标签样本的第一目标检测结果;
若所述当前次模型训练的训练结果不满足预设训练结束条件且所述当前选择权重满足更新条件,则根据所述第一目标检测结果对所述当前选择权重进行更新处理,并将所述训练后的初始目标检测模型确定为下一次模型训练所使用的待训练的初始目标检测模型,直到满足所述预设训练结束条件,得到所述目标检测模型;其中,更新后的选择权重用于确定进行下一次模型训练的目标无标签样本。
第二方面,本申请实施例提供了一种目标检测方法,包括:
获取待检测的目标图像数据;
将所述目标图像数据输入目标检测模型中进行目标检测处理,得到所述目标图像数据的目标检测结果;所述目标检测结果包括所述目标图像数据中的每个目标对象属于各预设类别的第三概率和每个所属目标对象的参考框的坐标信息;所述目标检测模型由上述第一方面所提供的目标检测模型的训练方法训练得到。
第三方面,本申请实施例提供了一种目标检测模型的训练装置,包括:
确定模块,用于根据预设训练集中各无标签样本的当前选择权重,确定当前次模型训练的N个目标无标签样本;其中,N为大于1的整数;
训练模块,用于基于所述目标无标签样本和所述预设训练集中的有标签样本对待训练的初始目标检测模型进行训练,得到训练后的初始目标检测模型和每个所述目标无标签样本的第一目标检测结果;
更新模块,用于若所述当前次模型训练的训练结果不满足预设训练结束条件且所述当前选择权重满足更新条件,则根据所述第一目标检测结果对所述当前选择权重进行更新处理,并将所述训练后的初始目标检测模型确定为下一次模型训练所使用的待训练的初始目标检测模型,直到满足所述预设训练结束条件,得到所述目标检测模型;其中,更新后的选择权重用于确定进行下一次模型训练的目标无标签样本。
第四方面,本申请实施例提供了一种目标检测装置,包括:
获取模块,用于获取待检测的目标图像数据;
检测模块,用于将所述目标图像数据输入目标检测模型中进行目标检测处理,得到所述目标图像数据的目标检测结果;所述目标检测结果包括所述目标图像数据中的每个目标对象属于各预设类别的第三概率和每个所属目标对象的参考框的坐标信息;所述目标检测模型由上述第一方面所提供的目标检测模型的训练方法训练得到。
第五方面,本申请实施例提供了一种电子设备,包括:
处理器;以及被安排成存储计算机可执行指令的存储器,所述可执行指令被配置由所述处理器执行,所述可执行指令包括用于执行上述第一方面中所述的目标检测模型的训练方法中的步骤,或者所述可执行指令包括用于执行上述第二方面中所述的目标检测方法中的步骤。
第六方面,本申请实施例提供了一种存储介质,所述存储介质用于存储计算机可执行指令,所述可执行指令使得计算机执行上述第一方面中所述的目标检测模型的训练方法中的步骤,或者所述可执行指令使得计算机执行上述第二方面中所述的目标检测方法中的步骤。
可以看出,在本申请实施例中,根据预设训练集中各无标签样本的当前选择权重,确定进行当前次模型训练的N个目标无标签样本;其中,N为大于1的整数;然后,基于目标无标签样本和预设训练集中的有标签样本对待训练的初始目标检测模型进行当前次模型训练,得到训练后的初始目标检测模型和每个目标无标签样本的第一目标检测结果;最后,在确定当前次模型训练的训练结果不满足预设训练结束条件且当前选择权重满足更新条件时,根据第一目标检测结果对各无标签样本的当前选择权重进行更新处理,以确定进行下一次模型训练的目标无标签样本;并将当前次训练后的初始目标检测模型确定为下一次模型训练所使用的待训练的初始目标检测模型,直到满足预设训练结束条件,得到目标检测模型。由此,通过在每次模型训练之前,根据各无标签样本的当前选择权重,确定进行当前次模型训练的N个目标无标签样本,并基于该目标无标签样本对待训练的目标检测模型进行当前次模型训练;以及在确定当前次模型训练的训练结果不满足预设训练结束条件且当前选择权重满足更新条件时,对各无标签样本的当前选择权重进行更新处理。实现了各无标签样本的选择权重的及时更新,以及实现了在相应轮次的模型训练时对样本的有针对性的动态选择,使相应轮次的模型训练能够输入更多的当前模型状态下可检出的目标少的样本,从而使得模型更多地学习包含稀有目标的样本,实现了各类目标数量的自平衡;避免了因样本中目标的数量不平衡而导致的模型对数量少的目标欠拟合,而对数量多的目标过拟合的问题,提升了目标检测模型的检测结果的准确性。
附图说明
为了更清楚地说明本申请一个或多个实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种目标检测模型的训练方法的第一种流程示意图;
图2为本申请实施例提供的一种目标检测模型的训练方法的第二种流程示意图;
图3为本申请实施例提供的一种目标检测模型的训练方法的示意图;
图4为本申请实施例提供的一种目标检测模型的训练方法的第三种流程示意图;
图5为本申请实施例提供的第一预测概率集合的转换示意图;
图6为本申请实施例提供的目标检测模型的结构示意图;
图7为本申请实施例提供的一种目标检测模型的训练方法的第四种流程示意图;
图8为本申请实施例提供的一种目标检测方法的流程示意图;
图9为本申请实施例提供的一种目标检测模型的训练装置的模块组成示意图;
图10为本申请实施例提供的一种目标检测装置的模块组成示意图;
图11为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请一个或多个实施例中的技术方案,下面将结合本申请一个或多个实施例中的附图,对本申请一个或多个实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请的一部分实施例,而不是全部的实施例。基于本申请一个或多个实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都应当属于本文件的保护范围。
本申请一个或多个实施例提供了一种目标检测模型的训练方法、图像识别方法及装置。目前,基于图像数据进行目标检测,是图像处理技术领域中典型的图像处理技术之一。为了提升目标检测的准确性,利用大量的图像样本进行模型训练得到目标检测模型,从而通过目标检测模型对待检测的图像数据进行目标检测,已成为当前主流的目标检测方式。考虑到现有的基于图像数据进行目标检测所使用的目标检测模型的训练过程中,各待训练的图像样本通常是随机的输入待训练模型中进行各轮训练处理。但是,图像样本中往往存在不同类别的目标的数量不平衡的问题,例如目标“人”的数量往往多于目标“雪橇”的数量,而这使得训练过程中模型更倾向于识别出数量多的目标,而忽略数量少的目标,甚至将数量少的目标错识别为数量多的目标;最终导致模型对数量少的目标欠拟合,而对数量多的目标过拟合。也就是说,现有训练方式得到的用于基于图像数据进行目标检测处理的目标检测模型存在目标识别准确性低的问题。基于此,本申请技术方案中引入了样本的选择权重,并在每次模型训练之前,根据各无标签样本的当前选择权重,确定进行当前次模型训练的N个目标无标签样本,并基于该目标无标签样本和预设训练集中的有标签样本对待训练的初始目标检测模型进行当前次模型训练;以及在确定当前次模型训练的训练结果不满足预设训练结束条件且当前选择权重满足更新条件时,对各无标签样本的当前选择权重进行更新处理。由此,实现了各无标签样本的选择权重的及时更新,以及实现了在相应轮次的模型训练时对样本的有针对性的动态选择,使相应轮次的模型训练能够输入更多的当前模型状态下可检出的目标少的样本,从而使得模型更多地学习包含稀有目标的样本,实现了各类目标数量的自平衡;避免了因样本中目标的数量不平衡而导致的模型对数量少的目标欠拟合,而对数量多的目标过拟合的问题,提升了目标检测模型的检测结果的准确性。
具体的,图1为本申请一个或多个实施例提供的目标检测模型的训练方法的流程示意图,图1中的方法能够由目标检测模型的训练装置执行,该训练装置可以设置于终端设备中,也可以设置于服务端中。其中,终端设备可以是手机、平板电脑、台式计算机、便携式笔记本等;服务端可以是独立的服务器,也可以是由多个服务器组成的服务器集群。如图1所示,该方法包括以下步骤:
步骤S102,根据预设训练集中各无标签样本的当前选择权重,确定进行当前次模型训练的N个目标无标签样本;其中,N为大于1的整数;
考虑到大量有标签样本的获取通常是比较耗时和有困难的,并且有标签样本的获取过程中过度依赖专家经验。而无标签样本的获取通常是非常容易和低成本的,并且半监督学习可以利用少量的有标签样本和大量的无标签样本有效的进行深度学习。基于此,本申请实施例中,采用半监督方式进行目标检测模型的训练,以降低样本的获取耗时和获取难度,缩短模型的训练周期,提升模型的训练效率。也就是说,本申请实施例中的预设训练集中包括第一数量的无标签样本和第二数量的有标签样本,其中,第一数量大于第二数量。预设训练集中的各样本可以是图像数据,即预设训练集中的无标签样本包括图像数据(该图像数据可以称为无标签图像样本),预设训练集中的有标签样本包括图像数据(该图像数据可以称为有标签图像样本)。各无标签样本可以是从指定的无标签图像库中获取所得,也可以是从视频数据中截取目标帧所得。各有标签样本可以是人为进行标签标注所得,也可以是从指定的有标签图像库中获取所得。对于无标签样本和有标签样本的获取方式本申请中不做具体限定,其均可在实际应用中根据需要自行设定。
为了实现在模型训练时,可以对各无标签样本进行有针对性的动态选择,本申请实施例中引入了无标签样本的选择权重,并且各无标签样本的预设初始选择权重均为1。当预设训练集中的各无标签样本均经过一轮模型训练处理后,即可按照预设的选择权重的更新方式对各无标签样本的预设初始选择权重进行统一更新;之后,该统一更新后的选择权重会随着每一轮模型训练继续被更新,直到确定满足预设训练结束条件。也就是说,步骤S102中的当前选择权重,可以是预设初始选择权重,也可以是更新后的选择权重。其中,选择权重越大,对应的无标签样本被选择为目标无标签样本的概率就越大。选择权重的更新过程可参见后文的相关描述。
步骤S104,基于确定的目标无标签样本和预设训练集中的有标签样本对待训练的初始目标检测模型进行训练,得到训练后的初始目标检测模型和每个目标无标签样本的第一目标检测结果;
可以理解的是,每次模型训练,既是模型学习的过程,又是对输入的目标无标签样本的检测过程,因此,在基于确定的目标无标签样本和预设训练集中的有标签样本对待训练的初始目标检测模型进行当前次模型训练后,可以得到训练后的初始目标检测模型和每个目标无标签样本的第一目标检测结果。其中,第一目标检测结果可以包括目标无标签样本的第二预测概率集合和目标无标签样本中每个参考框的坐标信息,该坐标信息可以是4维坐标。第二预测概率集合包括检测出的目标无标签样本中的每个目标对象属于各预设类别的第二概率,目标对象与参考框一一对应。预设类别可以在实际应用中根据需要自行设定,例如可以包括人、动物、植物、房屋、车辆等,目标对象可以是老人、猫、狗、大树、高楼、自行车等。
作为示例,预设类别为20个,包括c1,c2…c20;模型检测出某个目标无标签样本中有三个目标对象d1、d2和d3;则该目标无标签样本的第二预测概率集合中包括目标对象d1属于各预设类别c1,c2…c20的第二概率、目标对象d2属于各预设类别c1,c2…c20的第二概率、目标对象d3属于各预设类别c1,c2…c20的第二概率,即共60个第二概率;目标对象d1、d2和d3分别对应一个参考框;即该目标无标签样本的目标检测结果中包括:由60个第二概率构成的第二预测概率集合和3个参考框的坐标信息。
步骤S106,若当前次模型训练的训练结果不满足预设训练结束条件且当前选择权重满足更新条件,则根据第一目标检测结果对当前选择权重进行更新处理,并将训练后的初始目标检测模型确定为下一次模型训练所使用的待训练的初始目标检测模型,直到满足预设训练结束条件,得到目标检测模型;其中,更新后的选择权重用于确定进行下一次模型训练的目标无标签样本。
具体的,在当前次模型训练结束后,确定当前次模型训练的训练结果是否满足预设训练结束条件;若满足预设训练结束条件,则将训练后的初始目标检测模型确定为最终的目标检测模型,结束训练。若不满足预设训练结束条件,则确定当前选择权重是否满足更新条件,若当前选择权重满足更新条件,则根据目标检测结果对当前选择权重进行更新处理,并将训练后的初始目标检测模型确定为下一次模型训练所使用的待训练的初始目标检测模型;以及,在下一次模型训练之前,根据更新后的选择权重确定进行下一次模型训练的目标无标签样本,即将更新后的选择权重确定为各无标签样本的当前选择权重,并返回步骤S102,直到确定满足预设训练结束条件,得到最终的目标检测模型。若当前选择权重不满足更新条件,则返回步骤S102,进行下一次模型训练。
其中,预设训练结束条件可以包括:当前次模型训练的次数等于总训练次数、或者预设损失函数收敛。为了保障选择权重更新的有效性,本申请实施例中,在各无标签样本均进行一轮模型训练得到各无标签样本的首个目标检测结果之后,开始对各无标签样本的当前选择权重进行更新处理;也就是说,当前选择权重的更新条件包括:预设训练集中不存在未进行过模型训练的候选无标签样本。
本申请实施例中,根据预设训练集中各无标签样本的当前选择权重,确定进行当前次模型训练的N个目标无标签样本;其中,N为大于1的整数;然后,基于目标无标签样本和预设训练集中的有标签样本对待训练的初始目标检测模型进行当前次模型训练,得到训练后的初始目标检测模型和每个目标无标签样本的第一目标检测结果;最后,在确定当前次模型训练的训练结果不满足预设训练结束条件且当前选择权重满足更新条件时,根据第一目标检测结果对各无标签样本的当前选择权重进行更新处理,以确定进行下一次模型训练的目标无标签样本;并将当前次训练后的初始目标检测模型确定为下一次模型训练所使用的待训练的初始目标检测模型,直到满足预设训练结束条件,得到目标检测模型。由此,通过在每次模型训练之前,根据各无标签样本的当前选择权重,确定进行当前次模型训练的N个目标无标签样本,并基于该目标无标签样本对待训练的目标检测模型进行当前次模型训练;以及在确定当前次模型训练的训练结果不满足预设训练结束条件且当前选择权重满足更新条件时,对各无标签样本的当前选择权重进行更新处理。实现了各无标签样本的选择权重的及时更新,以及实现了在相应轮次的模型训练时对样本的有针对性的动态选择,使相应轮次的模型训练能够输入更多的当前模型状态下可检出的目标少的样本,从而使得模型更多地学习包含稀有目标的样本,实现了各类目标数量的自平衡;避免了因样本中目标的数量不平衡而导致的模型对数量少的目标欠拟合,而对数量多的目标过拟合的问题,提升了目标检测模型的检测结果的准确性。
为了实现对无标签样本的有针对性的动态选择,本申请一个或多个实施例中,首先从预设初始选择权重对应的各无标签样本中选择目标无标签样本,以使各无标签样本均进行一次模型训练,从而可根据各无标签样本的目标检测结果对各无标签样本的预设初始选择权重进行更新处理,进而在后续的训练轮次中,根据该更新处理后的选择权重有针对性的动态选择目标无标签样本。具体的,如图2所示,步骤S102可以包括以下步骤S102-2至步骤S102-6:
步骤S102-2,确定预设训练集中各无标签样本的当前选择权重是否为预设初始选择权重;
在一种实施方式中,可以通过表格、文档等记录工具记录预设训练集中各无标签样本的当前选择权重;相应的,步骤S102-2可以包括:确定该记录工具中记录的各无标签样本的当前选择权重是否为预设初始选择权重。
步骤S102-4,若是,则确定各无标签样本中未进行模型训练的候选无标签样本,从候选无标签样本中随机选择N个候选无标签样本并确定为进行当前次模型训练的目标无标签样本;
具体的,当在步骤S102-2中确定各无标签样本的当前选择权重均为预设初始选择权重时,确定各无标签样本中未进行模型训练的候选无标签样本,并确定候选无标签样本的数量是否不小于N,若是,则从候选无标签样本中随机选择N个无标签样本并确定为进行当前次模型训练的目标无标签样本。其中,N例如为56。
进一步的,若确定候选无标签样本的数量小于N,则可以确定N与候选无标签样本的数量的差值,将该差值确定为补充数量;从已进行模型训练的无标签样本中随机选择该补充数量的无标签样本;将候选无标签样本和该补充数量的无标签样本确定为进行当前次模型训练的目标无标签样本。或者,若确定候选无标签样本的数量小于N,则将该候选无标签样本确定为进行当前次模型训练的目标无标签样本。
更进一步的,为了准确的确定候选无标签样本,以及后续选择权重的更新处理,本申请一个或多个实施例中,步骤S106中确定当前次模型训练的训练结果不满足预设训练结束条件之后,还可以包括:针对每个目标无标签样本,确定目标无标签样本的样本索引是否存在关联的检测信息;若是,则根据得到的目标无标签样本的第一目标检测结果生成检测信息,将目标无标签样本的样本索引当前关联的检测信息替换为生成的检测信息;若否,则根据得到的目标无标签样本的第一目标检测结果生成检测信息,将生成的检测信息与目标无标签样本的样本索引进行关联。与之对应的,步骤S102-4中确定各无标签样本中未进行模型训练的候选无标签样本,可以包括:将未关联检测信息的样本索引所对应的无标签样本,确定为未进行模型训练的候选无标签样本。
其中,检测信息中包括目标类别记录,目标类别记录的具体含义可参见后文中的相关描述。将生成的检测信息与目标无标签样本的样本索引进行关联,可以为将样本索引和检测信息对应保存至前述的记录工具中,也可以对应保存至其他存储空间,对此本申请不做具体限定。
步骤S102-6,若否,则从预设训练集中选择M个当前选择权重对应的N个无标签样本,并将选择的N个无标签样本确定为进行当前次模型训练的目标无标签样本;其中,M为大于1且小于等于N的整数。
本申请实施例中,当前选择权重大的无标签样本被选择的概率,大于当前选择权重小的无标签样本被选择的概率。由于各目标无标签样本中可能存在当前选择权重相同的多个目标无标签样本,即M个当前选择权重中的至少一个当前选择权重可能对应多个目标无标签样本;例如N为56,M个当前选择权重包括0.8、0.7等,56个目标无标签样本中有5个目标无标签样本的当前权责权重均为0.8(即当前权责权重0.8对应5个目标无标签样本),有4个目标无标签样本的当前权责权重均为0.7(即当前权责权重0.7对应4个目标无标签样本),其他目标无标签样本的当前选择权重为其他数值等。进一步的,各目标无标签样本的当前选择权重也可能彼此之间均不同,即M个当前选择权重中每个当前选择权重对应一个目标无标签样本。因此,M的取值与N的取值可能相同,也可能不同。具体而言,若M个当前选择权重中的至少一个当前选择权重对应多个无标签样本,则M小于N;若M个当前选择权重中的每个当前选择权重对应一个无标签样本,则M等于N。
在一种实施方式中,可以对预设训练集中各无标签样本的当前选择权重进行排序处理,得到排序结果;从排序结果中获取M个当前选择权重,将获取的M个当前选择权重所对应的N个无标签样本确定为进行当前次模型训练的目标无标签样本。以降序排序为例进行说明,在进行降序排序处理得到排序结果之后,按照从前至后的顺序,从排序结果中获取前M个当前选择权重,并将获取的M个当前选择权重所对应的N个无标签样本确定为进行当前次模型训练的目标无标签样本。需要指出的是,若M个当前选择权重所对应的无标签样本的总数量大于N,则从第M个当前选择权重所对应的各无标签样本中随机选择n1个无标签样本,并将前M-1个当前选择权重所对应的n2个无标签样本和该n1个无标签样本确定为进行当前次模型训练的目标无标签样本;其中,n1和n2均为大于1的整数,且n1+n2=N。例如,N为56,M为15,按照从前至后的顺序从降序排序的排序结果中获取前15个当前选择权重;该15个当前选择权重对应了60个无标签样本,且前14个当前选择权重对应了52个无标签样本,第15个当前选择权重对应了8个无标签样本,则从第15个当前选择权重对应的8个无标签样本中随机选择4个,将前14个当前选择权重对应的52个无标签样本和随机选择的4个无标签样本确定为进行当前次模型训练的目标无标签样本。
在另一种实施方式中,可以根据预设随机选择算法,基于预设训练集中各无标签样本的当前选择权重,从预设训练集中选择M个当前选择权重对应的N个无标签样本,并确定为进行当前次模型训练的目标无标签样本;其中,随机选择算法用于约束当前选择权重大的无标签样本被选择的概率,大于当前选择权重小的无标签样本被选择的概率。随机选择算法可以在实际应用中根据需要自行设定,对此本申请中不做具体限定。
由此,通过优先从未进行模型训练的候选无标签样本中选择目标无标签样本,能够尽快的使各无标签样本均进行一次模型训练得到各自的首个目标检测结果,从而可基于各首个目标检测结果对各无标签样本的预设初始选择权重进行统一更新,使各无标签样本基于更新后的选择权重公平的参与选择,实现对样本的有针对性的动态选择,进而提升训练得到的目标检测模型的准确性。
为了实现半监督的模型训练,本申请实施例中,如图3所示,可以预先基于有标签样本训练预训练模型,并基于目标无标签样本、预设训练集中的有标签样本和该预训练模型,对待训练的目标检测模型进行训练。具体的,如图4所示,步骤S104可以包括以下步骤S104-2至步骤S104-10:
步骤S104-2,从预设训练集中随机获取P个目标有标签样本;其中,P为大于1的整数,P与N满足预设比例;
在一种实施方式中,预设比例可以为1:7。例如,预先设定每次模型训练时输入待训练的初始目标检测模型中的样本总数为64,则N=56,P=8。
步骤S104-4,将N个目标无标签样本输入预训练模型中进行预测处理,得到每个目标无标签样本的伪标签;其中,预训练模型基于有标签样本训练得到;
具体的,将N个目标无标签样本输入预训练模型中进行预测处理,输出每个目标无标签样本的第一预测概率集合和每个目标无标签样本的至少一个参考框的坐标信息;其中,第一预测概率集合包括目标无标签样本中的每个目标对象属于各预设类别的第一概率;每目标对象与参考框一一对应;以及,根据预设置信度阈值对各第一预测概率集合进行转换处理;根据转换后的各第一预测概率集合和参考框的坐标信息,得到每个目标无标签样本的伪标签。
其中,根据预设置信度阈值对各第一预测概率集合进行转换处理,包括:针对每个第一预测概率集合,从第一预测概率集合中获取其对应的每个目标对象的最大第一概率;确定该最大第一概率是否不小于预设置信度阈值;若是,则将该最大第一概率转换为第一数值,并将相应目标对象的其他第一概率转换为第二数值;若否,则将相应目标对象的各第一概率从第一预测集合中删除;若确定第一预测概率集合对应的各目标对象的第一概率均进行了前述转换处理,则将当前的第一预测概率集合确定为转换后的第一预测概率集合。例如,第一数值为1,第二数值为0,预设类别包括c1,c2、c3,c4,样本索引为i的目标无标签样本xi中检测出三个目标对象d1、d2和d3,目标无标签样本xi的第一预测概率集合及其转换后的第一预测概率集合的示例,可参见图5所示。将预设训练集中无标签样本的第一数量记为T,T为大于1的整数,则1≤i≤T。
与上述转换处理过程相对应的,前述根据转换后的各第一预测概率集合和参考框的坐标信息,得到每个目标无标签样本的伪标签,包括:将转换后的第一预测概率集合中概率值为第一数值的各第一概率所对应的预设类别、概率值为第一数值的各第一概率所对应的目标对象的参考框的坐标信息确定为对应的目标无标签样本的伪标签。
可以将上述对第一预测概率集合的转换处理和得到伪标签的过程表示为:当max(p(xi;θ))≥γ时,则q*=ONE_HOT(argmax(p(xi;θ)));其中,xi为样本索引为i的目标无标签样本,θ为待训练的目标检测模型的当前模型参数;q*为目标无标签样本xi的伪标签;p(xi;θ)为目标无标签样本xi中的目标对象属于各预设类别的第一概率;max(p(xi;θ))表示最大第一概率;γ为置信度阈值;argmax(p(xi;θ))表示将最大第一概率转换为第一数值,ONE_HOT表示取第一数值对应的预设类别和第一数值对应的目标对象的参考框的坐标信息。
需要指出的是,基于有标签样本训练预训练模型的过程可参考现有的预训练模型的训练方式,预训练模型训练所使用的有标签样本可以是预设训练集中的有标签样本,也可以不是预设训练集中的有标签样本,对此本申请中不做具体限定。
步骤S104-6,将N个目标无标签样本和P个目标有标签样本输入待训练的初始目标检测模型中进行训练处理,得到每个目标无标签样本的第一目标检测结果和每个目标有标签样本的第二目标检测结果;
如图6所示,待训练的初始目标检测模型包括特征提取模块、目标检测模块、分类模块和边界框回归模块。其中,特征提取模块,用于对每个输入样本进行特征提取处理,得到每个输入样本的样本特征;其中,输入样本包括目标无标签样本和目标有标签样本;目标检测模块,用于对样本特征进行目标检测处理,得到每个输入样本中的至少一个目标对象所对应的参考框;分类模块,用于对每个参考框所对应的目标对象进行分类处理,得到每个输入样本的第二预测概率集合;第二预测概率集合包括输入样本中的每个目标对象属于各预设类别的第二概率;边界框回归模块,用于对每个参考框的位置进行检测处理,得到每个参考框的坐标信息。相应的,每个输入样本的目标检测结果包括:第二预测概率集合和每个参考框的坐标信息。在一种实施方式中,特征提取模块可以是在ImageNet上预训练的ResNet50。分类模块可以包括一个二分类器和一个k分类器,k的取值为预设类别的总数量减1。在对每个参考框所对应的目标对象进行分类处理时,可以首先对每个参考框所对应的目标对象进行二分类处理,即确定目标对象属于前景类别还是属于背景类别;然后,通过k分类器对每个属于前景类别的目标对象进行k分类,得到目标对象属于k个类别中的每个类别的第二概率。也就是说,预设类别包括该k个类别和该背景类别。例如,k为3,k个类别包括人、动物、植物,在对某个目标对象进行分类处理时,首先对其进行二分类处理,得到该目标对象属于前景类别的第二概率和属于背景类别的第二概率;根据该目标对象属于前景类别的第二概率和属于背景类别的第二概率确定该目标对象属于前景类别,则对该目标对象进行k分类处理,得到其属于类别“人”的第二概率、属于类别“动物”的第二概率和属于类别“植物”的第二概率;由此,得到该目标对象属于4个预设类别的概率,即属于类别“人”的第二概率、属于类别“动物”的第二概率、属于类别“植物”的第二概率和属于“背景类别”的第二概率。需要指出的是,特征提取模块为预训练的,可在目标检测模型的各轮训练中直接使用,目标检测模块、分类模块和边界框回归模块需要进行各轮训练。同时,可以理解的是,由于初始目标检测模型在初期时目标检测能力没有到达最优状态,或者因输入样本中没有预设类别对应的目标对象,因此目标检测模块在对样本特征进行目标检测处理时,也可能检测不到任何目标对象。
与图6所示的模型结构对应的,步骤S104-6可以包括:将N个目标无标签样本和P个目标有标签样本输入待训练的初始目标检测模型的特征提取模块中,通过该特征提取模块对每个输入样本进行特征提取处理,得到每个输入样本的样本特征并输入目标检测模块;通过目标检测模块对各样本特征进行目标检测处理,得到每个输入样本中的至少一个目标对象所对应的参考框,并将含有该参考框的样本特征分别输入分类模块和边界框回归模块中;通过分类模块对每个参考框所对应的目标对象进行分类处理,得到每个输入样本的第二预测概率集合并输出;通过边界框回归模块对每个参考框的位置进行检测处理,得到每个参考框的坐标信息并输出;将针对每个输入样本所输出的第二预测概率集合和至少一个参考框的坐标信息,确定为相应输入样本的目标检测结果。
进一步的,为了提升目标无标签样本的图像质量,从而提升目标检测模型的准确性,本申请一个或多个实施例中,步骤S104-6之前还可以包括:对N个目标无标签样本进行强增强处理,得到N个强增强样本;相应的,步骤S104-6包括:将N个强增强样本和P个目标有标签样本输入待训练的初始目标检测模型中进行训练处理,得到每个强增强样本的目标检测结果和每个目标有标签样本的目标检测结果。其中,强增强处理包括但不限于图像颜色变换、几何变换、框级变换、添加噪声等,其可以在实际应用中根据需要自行设定。
步骤S104-8,基于伪标签、第一目标检测结果以及第二目标检测结果,确定目标损失函数;
具体的,基于目标有标签样本的标签和目标有标签样本的第二目标检测结果,确定第一损失函数;基于伪标签和目标无标签样本的第一目标检测结果,确定第二损失函数;基于第一损失函数和第二损失函数,确定目标损失函数。其中,目标有标签样本的标签中包括目标有标签样本中的每个目标对象的真实类别和每个目标对象的参考框的真实坐标信息。
为了便于后续基于目标损失函数计算目标检测模型的目标损失值,本申请一个或多个实施例中,在得到目标检测结果之后,还可以包括:确定每个第一目标检测结果对应的目标类别,该目标类别为目标无标签样本中的目标对象所属的目标预设类别。具体而言,针对每个第一目标检测结果中的第二预测概率集合,确定其对应的每个目标对象的最大第二概率,并将该最大第二概率所对应的预设类别确定为目标预设类别。当某个目标对象的最大第二概率存在多个时,从中随机选择一个并确定为最大第二概率。例如,某个输入样本的第二预测概率集合与图5所示的目标无标签样本xi的第一预测概率集合相同,则可确定目标对象d1的最大第二概率是0.6、目标对象d2的最大第二概率是0.8、目标对象d3的最大第二概率是0.7;该输入样本的目标检测结果对应的目标类别为c1和c2。
进一步的,在一种实施方式中,上述第一损失函数可以表示为:
其中,X表示目标有标签样本,p*表示目标有标签样本的第二目标检测结果对应的目标类别,t*表示目标有标签样本的第二目标检测结果中各参考框的坐标信息;表示基于目标有标签样本的第二目标检测结果计算的第一损失值,即有监督损失;r为目标有标签样本的第二目标检测结果所对应的目标对象的索引,r为大于1的整数;表示目标有标签样本的第二目标检测结果中含有的索引为r的目标对象所属的目标预设类别(可认为是预测类别);/>表示目标有标签样本的第二目标检测结果中含有的索引为r的目标对象的参考框的坐标信息(可认为是预测坐标信息);pr表示目标有标签样本的标签中含有的索引为r的目标对象所属的类别(可认为是真实类别);tr表示目标有标签样本的标签中含有的索引为r的目标对象的参考框的坐标信息(可认为是真实坐标信息);Ncls表示目标对象的总数量;Nreg表示样本特征图尺寸;λ是调节权重的超参数;/>表示索引为r的目标对象的预测类别与真实类别之间的交叉熵;/>表示索引为r的目标对象的预测坐标信息与真实坐标信息之间的交叉熵。
在一种实施方式中,上述第二损失函数可以表示为:
其中,x表示目标无标签样本;A()表示强增强处理,由于类别受到强增强处理的影响,因此A(s)*表示对目标无标签样本进行强增强处理得到强增强样本后,该强增强样本的第一目标检测结果对应的目标类别,q*表示强增强样本的第一目标检测结果中各参考框的坐标信息;表示基于目标无标签样本的第一目标检测结果计算的第二损失值,即无监督损失;y为目标无标签样本的第一目标检测结果所对应的目标对象的索引,y为大于1的整数;/>表示目标无标签样本的第一目标检测结果中含有的索引为y的目标对象所属的目标预设类别(可认为是预测类别);/>表示强增强样本的第一目标检测结果中含有的索引为y的目标对象的参考框的坐标信息(可认为是预测坐标信息);A(s)y表示目标无标签样本的伪标签中含有的索引为y的目标对象所属的类别(可认为是真实类别);qy表示目标无标签样本的伪标签中含有的索引为y的目标对象的参考框的坐标信息(可认为是真实坐标信息);Ncls表示目标对象的总数量;Nreg表示样本特征图尺寸;λ是调节权重的超参数;/>表示索引为y的目标对象的预测类别与真实类别之间的交叉熵;表示索引为y的目标对象的预测坐标信息与真实坐标信息之间的交叉熵。
上述的第三损失函数可以表示为:
其中,λu是用于调节有监督损失和无监督损失之间的比例的超参数,取值可以为[1,2]。
需要指出的是,在第一次模型训练中确定目标损失函数之后,在之后的每次模型训练中,可以无需再次执行目标损失函数的确定操作,即从第二次模型训练开始可以不再执行步骤S104-8,而是步骤S104-6执行后,直接执行以下步骤S104-10,并在步骤S104-10中基于第一次模型训练所确定的目标损失函数对待训练的初始目标检测模型的模型参数进行调整处理。
步骤S104-10,基于确定的目标损失函数,对待训练的初始目标检测模型的模型参数进行调整处理,得到训练后的初始目标检测模型。
具体的,利用确定的目标损失函数,基于伪标签、各第一目标检测结果和各第二目标检测结果计算目标损失值,利用随机梯度下降方法,基于目标损失值调整初始目标检测模型的模型参数,将调整参数后的初始目标检测模型确定为训练后的目标检测模型。其中,利用目标损失函数,基于伪标签、各第一目标检测结果和各第二目标检测结果计算目标损失值可以包括:根据确定的第一损失函数,基于目标有标签样本的标签和目标有标签样本的第二目标检测结果计算第一损失值;根据确定的第二损失函数,基于伪标签和目标无标签样本的第一目标检测结果计算第二损失值;根据目标损失函数,基于所述第一损失值和所述第二损失值计算初始目标检测模型的目标损失值。
需要指出的是,利用随机梯度下降方法,基于目标损失值调整初始目标检测模型的模型参数的过程,可以参见现有的利用梯度下降方法反向传播对模型参数进行调优的过程,在此不再赘述。
由此,基于少量的有标签样本和大量的无标签样本进行模型训练,并通过预训练模型预测当前次训练所使用的各目标无标签样本的伪标签,从而根据该伪标签、初始目标检测模型在当前次训练中输出的各目标无标签样本的第一目标检测结果、目标检测模型在当前次训练中输出的各目标有标签样本的第二目标检测结果、各目标有标签样本的标签,对目标检测模型的模型参数进行调优,有效的实现了基于半监督的目标检测模型的训练;而无需花费大量时间获取大量有标签样本,极大的降低了时间成本,提升了目标检测模型的整体训练效率。
为了平衡目标检测模型对数量多的目标对象的拟合以及对数量少的目标对象的拟合,本申请一个或多个实施例中,在确定当前次模型训练的训练结果不满足预设训练结束条件且当前选择权重满足更新条件时,根据第一目标检测结果统计每个预设类别包括的目标对象的总数量,并基于该总数量对各无标签样本的当前选择权重进行更新处理。具体的,如图7所示,步骤S106可以包括以下步骤S106-2至步骤S106-8:
步骤S106-2,若确定当前次模型训练的训练结果不满足预设训练结束条件且当前选择权重满足更新条件,则将第一目标检测结果对应的目标类别,确定为目标无标签样本当前所对应的目标类别;其中,目标类别为目标无标签样本中的各目标对象所属的目标预设类别;
具体的,若确定当前次模型训练的训练结果不满足预设训练结束条件,则从每个第一目标检测结果包括的第二预测概率集合中获取每个目标对象的最大第二概率,将该最大第二概率对应的预设类别确定为第一目标检测结果对应的目标类别,并将该目标类别确定为目标无标签样本当前所对应的目标类别;其中,第一目标检测结果为目标无标签样本的第一目标检测结果。
例如,目标无标签样本xi中检测出三个目标对象d1、d2和d3。从目标无标签样本xi的第二预测概率集合中获取到的d1的最大第二概率对应的预设类别为c1,d2的最大第二概率对应的预设类别为c1、d3的目标第二概率对应的预设类别为c2;则确定目标无标签样本xi当前所对应的目标类别包括c1和c2,用ri表示目标无标签样本xi的目标类别记录,则ri可以表示为ri={c1,c1,c2},其表征从目标无标签样本xi中检测到两个类别c1的目标对象和一个类别c2的目标对象。
步骤S106-4,根据每个无标签样本当前所对应的目标类别,确定每个预设类别当前包括的目标对象的总数量;
可以理解的是,当各无标签样本进行了一次模型训练后,即可基于无标签样本的首个目标检测结果,生成无标签样本的目标类别记录,根据该目标类别记录生成检测信息,并将检测信息与样本索引进行关联。由于目标检测模型在不断的优化,因此目标类别记录可以随着目标无标签样本参与训练的次数的增加而改变,并且当其发生改变时,更新对应的检测信息,或者每次生成目标类别记录后均对对应的检测信息进行更新。本申请实施例中,将每个无标签样本的检测信息中的目标类别记录所包括的目标类别,确定为对应的无标签样本当前所对应的目标类别。
将预设类别cj当前包括的目标对象的总数量记作Nj,则:
其中,i表示无标签样本的索引,T表示无标签样本的样本总数,|·|表示数量统计,k表示无标签样本xi的目标对象的对象索引,k为大于1的整数;表示()内条件成立时值为1;ri为无标签样本xi当前的目标类别记录;/>为无标签样本xi当前的目标类别记录ri包括的索引为k的目标对象的目标预设类别,也即无标签样本xi当前的目标类别记录ri中的第k个目标类别。
步骤S106-6,根据总数量确定每个无标签样本的新的选择权重;
具体的,从确定的总数量中获取每个无标签样本的目标类别所对应的目标总数量;根据每个无标签样本对应的目标总数量,确定每个无标签样本的候选权重;对各候选权重进行归一化处理,得到每个无标签样本的新的选择权重。
其中,候选权重可以根据以下公式进行确定:
其中,wi为无标签样本xi的候选权重;m表示预设类别的索引,m为大于1的整数;表示无标签样本xi中对象索引为k的目标对象所属的预设类别的类别索引为m;Nm表示类别索引为m的预设类别包括的目标对象的总数量。
作为示例,无标签样本xi的ri={c1,c1,c2},对象索引为1的目标对象所属的预设类别的类别索引为1,则从统计的各预设类别包括的目标对象的总数量中获取目标类别c1包括的目标对象的总数量;对象索引为2的目标对象所属的预设类别的类别索引为1,则从统计的各预设类别包括的目标对象的总数量中获取目标类别c1包括的目标对象的总数量;对象索引为3的目标对象所属的预设类别的类别索引为2,则从统计的各预设类别包括的目标对象的总数量中获取目标类别c2包括的目标对象的总数量。如c1包括的目标对象的总数量N1=1000,c2包括的目标对象的总数量N2=3,则该无标签样本xi的新的选择权重为:(1/1000)+(1/1000)+(1/3)。
进一步的,可根据以下公式对各候选权重进行归一化处理,得到每个无标签样本的新的选择权重:
其中,为无标签样本xi的新的选择权重,将预设训练集中无标签样本的第一数量记为T,T为大于1的整数,那么1≤h≤T,∑hwh表示预设训练集中各无标签样本的候选权重之和。
步骤S106-8,将新的选择权重确定为无标签样本的当前选择权重,并将训练后的初始目标检测模型确定为下一次模型训练所使用的待训练的初始目标检测模型,直到满足预设训练结束条件,得到目标检测模型。
由此,在确定当前次模型训练的训练结果不满足预设训练结束条件且当前选择权重满足更新条件时,对各无标签样本的选择权重进行更新处理,实现了选择权重的及时更新,保障了后续训练轮次中能够根据选择权重有针对性的确定进行当前次训练的目标无标签样本,从而提升训练得到的目标检测模型的准确性。
在一个具体的实施例中,以预设训练集中包括550个无标签样本,50个有标签样本,且N:P=7:1,每轮训练输入的样本数量为64(即包括56个目标无标签样本和8个目标有标签样本),预设训练结束条件为模型训练的次数等于总训练次数500次为例进行说明。在第1次模型训练时,由于各无标签样本的样本索引均未关联检测信息,故将550个无标签样本确定为候选无标签样本并从中随机选择56个目标无标签样本,从50个有标签样本中随机选择8个目标有标签样本;然后,将选择的56个目标无标签样本输入预训练模型中进行预测处理,得到每个目标无标签样本的伪标签;以及将选择的56个目标无标签样本和8个目标有标签样本输入待训练的初始目标检测模型中进行训练处理,得到每个目标无标签样本的第一目标检测结果和每个目标有标签样本的第二目标检测结果;此时,由于模型训练的次数不等于总训练次数,可确定当前次模型训练的训练结果不满足预设训练结束条件,则利用确定的目标损失函数调节待训练的初始目标检测模型的模型参数,得到训练后的初始目标检测模型;之后,根据每个目标无标签样本的第一目标检测结果生成检测信息,将检测信息与相应目标无标签样本的样本索引进行关联;此时,根据保存的检测信息可确定存在未进行模型训练的候选无标签样本,即确定当前选择权重不满足更新条件,不进行选择权重的更新处理;至此,完成第一次模型训练。在第二次模型训练时,将未关联检测信息的样本索引所对应的504个无标签样本确定为候选无标签样本并从中随机选择56个目标无标签样本,然后按照前述方式进行后续处理。以此类推,当第10次模型训练结束,输出第一目标检测结果和第二目标检测结果,并对目标无标签样本的样本索引与第一目标检测结果对应的检测信息进行关联之后,可确定不存在未进行模型训练的候选无标签样本,即确定当前选择权重满足更新条件,则按照前述选择权重的更新方式,对各无标签样本的当前选择权重即预设初始选择权重进行更新处理。并且在之后的每次训练结束后,均可确定当前选择权重满足更新条件,则对各无标签样本的当前选择权重进行更新处理,直到第500次训练结束,得到最终的目标检测模型。需要指出的是,自第11轮模型训练开始,模型参数的更新操作还可以在当前选择权重的更新处理之后执行。
本申请一个或多个实施例中,根据预设训练集中各无标签样本的当前选择权重,确定进行当前次模型训练的N个目标无标签样本;其中,N为大于1的整数;然后,基于目标无标签样本和预设训练集中的有标签样本对待训练的初始目标检测模型进行当前次模型训练,得到训练后的初始目标检测模型和每个目标无标签样本的第一目标检测结果;最后,在确定当前次模型训练的训练结果不满足预设训练结束条件且当前选择权重满足更新条件时,根据第一目标检测结果对各无标签样本的当前选择权重进行更新处理,以确定进行下一次模型训练的目标无标签样本;并将当前次训练后的初始目标检测模型确定为下一次模型训练所使用的待训练的初始目标检测模型,直到满足预设训练结束条件,得到目标检测模型。由此,通过在每次模型训练之前,根据各无标签样本的当前选择权重,确定进行当前次模型训练的N个目标无标签样本,并基于该目标无标签样本对待训练的目标目标检测模型进行当前次模型训练;以及在确定当前次模型训练的训练结果不满足预设训练结束条件且当前选择权重满足更新条件时,对各无标签样本的当前选择权重进行更新处理。实现了各无标签样本的选择权重的及时更新,以及实现了在相应轮次的模型训练时对样本的有针对性的动态选择,使相应轮次的模型训练能够输入更多的当前模型状态下可检出的目标少的样本,从而使得模型更多地学习包含稀有目标的样本,实现了各类目标数量的自平衡;避免了因样本中目标的数量不平衡而导致的模型对数量少的目标欠拟合,而对数量多的目标过拟合的问题,提升了目标检测模型的检测结果的准确性。
对应上述描述的目标检测模型的训练方法,基于相同的技术构思,本申请一个或多个实施例还提供了一种目标检测方法。图8为本申请一个或多个实施例提供的一种目标检测方法的流程示意图,图8中的方法能够由目标检测装置执行,该目标检测装置可以设置于终端设备中,也可以设置于服务端中。其中,终端设备可以是手机、平板电脑、台式计算机、便携式笔记本等;服务端可以是独立的服务器,也可以是由多个服务器组成的服务器集群。如图8所示,该方法包括以下步骤:
步骤S202,获取待检测的目标图像数据;
步骤S204,将目标图像数据输入目标检测模型中进行目标检测处理,得到目标图像数据的目标检测结果;其中,目标检测结果包括目标图像数据中的每个目标对象属于各预设类别的第三概率和每个目标对象的参考框的坐标信息。
在得到目标图像数据的目标检测结果之后,可根据目标检测结果确定目标图像数据对应的目标类别。其中,根据目标检测结果确定目标图像数据对应的目标类别的过程,可参见前述的根据目标检测结果确定目标无标签样本对应的目标类别的过程,重复之处这里不再赘述。
进一步的,步骤S202中的目标检测模型是根据本申请前述实施例提供的目标检测模型的训练方法训练得到的,具体训练过程可参见前文的相关描述,这里不再赘述。
本申请实施例中的目标检测方法,由于使用的目标检测模型在训练过程中引入选择权重,并在每次模型训练之前,根据各无标签样本的当前选择权重,确定进行当前次模型训练的N个目标无标签样本,基于该目标无标签样本和预设训练集中的有标签样本对待训练的初始目标检测模型进行当前次模型训练;以及在确定当前次模型训练的训练结果不满足预设训练结束条件且当前选择权重满足更新条件时,对各无标签样本的当前选择权重进行更新处理。实现了各无标签样本的选择权重的及时更新,以及实现了在相应轮次的模型训练时对样本的有针对性的动态选择,使相应轮次的模型训练能够输入更多的当前模型状态下可检出的目标少的样本,从而使得模型更多地学习包含稀有目标的样本,实现了各类目标数量的自平衡;避免了因样本中目标的数量不平衡而导致的模型对数量少的目标欠拟合,而对数量多的目标过拟合的问题,提升了目标检测模型的检测结果的准确性。因此,利用该目标检测模型对待处理的目标图像数据进行目标检测,提升了目标检测结果的准确性。
对应上述描述的目标检测模型的训练方法,基于相同的技术构思,本申请一个或多个实施例还提供一种目标检测模型的训练装置。图9为本申请一个或多个实施例提供的一种目标检测模型的训练装置的模块组成示意图,如图9所示,该装置包括:
确定模块301,用于根据预设训练集中各无标签样本的当前选择权重,确定当前次模型训练的N个目标无标签样本;其中,N为大于1的整数;
训练模块302,用于基于所述目标无标签样本和所述预设训练集中的有标签样本对待训练的初始目标检测模型进行训练,得到训练后的初始目标检测模型和每个所述目标无标签样本的第一目标检测结果;
更新模块303,用于若所述当前次模型训练的训练结果不满足预设训练结束条件且所述当前选择权重满足更新条件,则根据所述第一目标检测结果对所述当前选择权重进行更新处理,并将所述训练后的初始目标检测模型确定为下一次模型训练所使用的待训练的初始目标检测模型,直到满足所述预设训练结束条件,得到所述目标检测模型;其中,更新后的选择权重用于确定进行下一次模型训练的目标无标签样本。
本申请实施例提供的目标检测模型的训练装置,根据预设训练集中各无标签样本的当前选择权重,确定进行当前次模型训练的N个目标无标签样本;其中,N为大于1的整数;然后,基于目标无标签样本和预设训练集中的有标签样本对待训练的初始目标检测模型进行当前次模型训练,得到训练后的初始目标检测模型和每个目标无标签样本的第一目标检测结果;最后,在确定当前次模型训练的训练结果不满足预设训练结束条件且当前选择权重满足更新条件时,根据第一目标检测结果对各无标签样本的当前选择权重进行更新处理,以确定进行下一次模型训练的目标无标签样本;并将当前次训练后的初始目标检测模型确定为下一次模型训练所使用的待训练的初始目标检测模型,直到满足预设训练结束条件,得到目标检测模型。由此,通过在每次模型训练之前,根据各无标签样本的当前选择权重,确定进行当前次模型训练的N个目标无标签样本,并基于该目标无标签样本对待训练的初始目标检测模型进行当前次模型训练;以及在确定当前次模型训练的训练结果不满足预设训练结束条件且当前选择权重满足更新条件时,对各无标签样本的当前选择权重进行更新处理。实现了各无标签样本的选择权重的及时更新,以及实现了在相应轮次的模型训练时对样本的有针对性的动态选择,使相应轮次的模型训练能够输入更多的当前模型状态下可检出的目标少的样本,从而使得模型更多地学习包含稀有目标的样本,实现了各类目标数量的自平衡;避免了因样本中目标的数量不平衡而导致的模型对数量少的目标欠拟合,而对数量多的目标过拟合的问题,提升了目标检测模型的检测结果的准确性。
需要说明的是,本申请中关于目标检测模型的训练装置的实施例与本申请中关于目标检测模型的训练方法的实施例基于同一发明构思,因此该实施例的具体实施可以参见前述对应的目标检测模型的训练方法的实施,重复之处不再赘述。
进一步的,对应上述描述的目标检测方法,基于相同的技术构思,本申请一个或多个实施例还提供了一种目标检测装置。图10为本申请一个或多个实施例提供的目标检测装置的模块组成示意图,如图10所示,该装置包括:
获取模块401,用于获取待检测的目标图像数据;
检测模块402,用于将所述目标图像数据输入目标检测模型中进行目标检测处理,得到所述目标图像数据的目标检测结果;所述目标检测结果包括所述目标图像数据中的每个目标对象属于各预设类别的第三概率和每个所述目标对象的参考框的坐标信息;
其中,所述目标检测模型由前述实施例提供的目标检测模型的训练方法训练得到。
本申请实施例提供的目标检测装置,由于使用的目标检测模型在训练过程中引入选择权重,并在每轮模型训练之前,根据各无标签样本的当前选择权重,确定进行当前次模型训练的N个目标无标签样本,并基于该目标无标签样本和预设训练集中的有标签样本对待训练的初始目标检测模型进行当前次模型训练;以及在确定当前次模型训练的训练结果不满足预设训练结束条件且当前选择权重满足更新条件时,对各无标签样本的当前选择权重进行更新处理。实现了各无标签样本的选择权重的及时更新,以及实现了在相应轮次的模型训练时对样本的有针对性的动态选择,使相应轮次的模型训练能够输入更多的当前模型状态下可检出的目标少的样本,从而使得模型更多地学习包含稀有目标的样本,实现了各类目标数量的自平衡;避免了因样本中目标的数量不平衡而导致的模型对数量少的目标欠拟合,而对数量多的目标过拟合的问题,提升了目标检测模型的检测结果的准确性。因此,利用该目标检测模型对待处理的目标图像数据进行目标检测,提升了目标检测结果的准确性。
需要说明的是,本申请中关于目标检测装置的实施例与本申请中关于目标检测方法的实施例基于同一发明构思,因此该实施例的具体实施可以参见前述对应的目标检测方法的实施,重复之处不再赘述。
进一步地,对应上述描述的目标检测模型的训练方法,基于相同的技术构思,本申请一个或多个实施例还提供一种电子设备,该电子设备可用于执行上述的目标检测模型的训练方法,图11为本申请一个或多个实施例提供的一种电子设备的结构示意图。
如图11所示,电子设备可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上的处理器501和存储器502,存储器502中可以存储有一个或一个以上存储应用程序或数据。其中,存储器502可以是短暂存储或持久存储。存储在存储器502的应用程序可以包括一个或一个以上模块(图示未示出),每个模块可以包括电子设备中的一系列计算机可执行指令。更进一步地,处理器501可以设置为与存储器502通信,在电子设备上执行存储器502中的一系列计算机可执行指令。电子设备还可以包括一个或一个以上电源503,一个或一个以上有线或无线网络接口504,一个或一个以上输入输出接口505,一个或一个以上键盘506等。
在一个具体的实施例中,电子设备包括有存储器,以及一个或一个以上的程序,其中一个或者一个以上程序存储于存储器中,且一个或者一个以上程序可以包括一个或一个以上模块,且每个模块可以包括对电子设备中的一系列计算机可执行指令,且经配置以由一个或者一个以上处理器执行该一个或者一个以上程序包含用于进行以下计算机可执行指令:
根据预设训练集中各无标签样本的当前选择权重,确定当前次模型训练的N个目标无标签样本;其中,N为大于1的整数;
基于所述目标无标签样本和所述预设训练集中的有标签样本对待训练的初始目标检测模型进行训练,得到训练后的初始目标检测模型和每个所述目标无标签样本的第一目标检测结果;
若所述当前次模型训练的训练结果不满足预设训练结束条件且所述当前选择权重满足更新条件,则根据所述第一目标检测结果对所述当前选择权重进行更新处理,并将所述训练后的初始目标检测模型确定为下一次模型训练所使用的待训练的初始目标检测模型,直到满足所述预设训练结束条件,得到所述目标检测模型;其中,更新后的选择权重用于确定进行下一次模型训练的目标无标签样本。
本申请一个或多个实施例提供的电子设备,根据预设训练集中各无标签样本的当前选择权重,确定进行当前次模型训练的N个目标无标签样本;其中,N为大于1的整数;然后,基于目标无标签样本和预设训练集中的有标签样本对待训练的初始目标检测模型进行当前次模型训练,得到训练后的初始目标检测模型和每个目标无标签样本的第一目标检测结果;最后,在确定当前次模型训练的训练结果不满足预设训练结束条件且当前选择权重满足更新条件时,根据第一目标检测结果对各无标签样本的当前选择权重进行更新处理,以确定进行下一次模型训练的目标无标签样本;并将当前次训练后的初始目标检测模型确定为下一次模型训练所使用的待训练的初始目标检测模型,直到满足预设训练结束条件,得到目标检测模型。由此,通过在每次模型训练之前,根据各无标签样本的当前选择权重,确定进行当前次模型训练的N个目标无标签样本,并基于该目标无标签样本对待训练的初始目标检测模型进行当前次模型训练;以及在确定当前次模型训练的训练结果不满足预设训练结束条件且当前选择权重满足更新条件时,对各无标签样本的当前选择权重进行更新处理。实现了各无标签样本的选择权重的及时更新,以及实现了在相应轮次的模型训练时对样本的有针对性的动态选择,使相应轮次的模型训练能够输入更多的当前模型状态下可检出的目标少的样本,从而使得模型更多地学习包含稀有目标的样本,实现了各类目标数量的自平衡;避免了因样本中目标的数量不平衡而导致的模型对数量少的目标欠拟合,而对数量多的目标过拟合的问题,提升了目标检测模型的检测结果的准确性。
另外,在另一个具体的实施例中,上述电子设备中的存储器还可以执行一个或者一个以上程序包含用于进行以下计算机可执行指令:
获取待检测的目标图像数据;
将所述目标图像数据输入目标检测模型中进行目标检测处理,得到所述目标图像数据的目标检测结果;所述目标检测结果包括所述目标图像数据中的每个目标对象属于各预设类别的第三概率和每个所述目标对象的参考框的坐标信息;所述目标检测模型由本申请实施例提供的目标检测模型的训练方法训练得到。
本申请一个或多个实施例提供的电子设备,由于使用的目标检测模型在训练过程中引入选择权重,并在每轮模型训练之前,根据各无标签样本的当前选择权重,确定进行当前次模型训练的N个目标无标签样本,并基于该目标无标签样本和预设训练集中的有标签样本对待训练的初始目标检测模型进行当前次模型训练;以及在确定当前次模型训练的训练结果不满足预设训练结束条件且当前选择权重满足更新条件时,对各无标签样本的当前选择权重进行更新处理。实现了各无标签样本的选择权重的及时更新,以及实现了在相应轮次的模型训练时对样本的有针对性的动态选择,使相应轮次的模型训练能够输入更多的当前模型状态下可检出的目标少的样本,从而使得模型更多地学习包含稀有目标的样本,实现了各类目标数量的自平衡;避免了因样本中目标的数量不平衡而导致的模型对数量少的目标欠拟合,而对数量多的目标过拟合的问题,提升了目标检测模型的检测结果的准确性。因此,利用该目标检测模型对待处理的目标图像数据进行目标检测,提升了目标检测结果的准确性。
需要说明的是,本申请中关于电子设备的实施例与本申请中关于目标检测模型的训练方法及目标检测方法的实施例基于同一发明构思,因此该实施例的具体实施可以参见前述对应的目标检测模型的训练方法及目标检测方法的实施,重复之处不再赘述。
进一步地,对应上述描述的目标检测模型的训练方法,基于相同的技术构思,本申请一个或多个实施例还提供了一种存储介质,用于存储计算机可执行指令,一个具体的实施例中,该存储介质可以为U盘、光盘、硬盘等,该存储介质存储的计算机可执行指令在被处理器执行时,能实现以下流程:
根据预设训练集中各无标签样本的当前选择权重,确定当前次模型训练的N个目标无标签样本;其中,N为大于1的整数;
基于所述目标无标签样本和所述预设训练集中的有标签样本对待训练的初始目标检测模型进行训练,得到训练后的初始目标检测模型和每个所述目标无标签样本的第一目标检测结果;
若所述当前次模型训练的训练结果不满足预设训练结束条件且所述当前选择权重满足更新条件,则根据所述第一目标检测结果对所述当前选择权重进行更新处理,并将所述训练后的初始目标检测模型确定为下一次模型训练所使用的待训练的初始目标检测模型,直到满足所述预设训练结束条件,得到所述目标检测模型;其中,更新后的选择权重用于确定进行下一次模型训练的目标无标签样本。
本申请一个或多个实施例提供的存储介质存储的计算机可执行指令在被处理器执行时,根据预设训练集中各无标签样本的当前选择权重,确定进行当前次模型训练的N个目标无标签样本;其中,N为大于1的整数;然后,基于目标无标签样本和预设训练集中的有标签样本对待训练的初始目标检测模型进行当前次模型训练,得到训练后的初始目标检测模型和每个目标无标签样本的第一目标检测结果;最后,在确定当前次模型训练的训练结果不满足预设训练结束条件且当前选择权重满足更新条件时,根据第一目标检测结果对各无标签样本的当前选择权重进行更新处理,以确定进行下一次模型训练的目标无标签样本;并将当前次训练后的初始目标检测模型确定为下一次模型训练所使用的待训练的初始目标检测模型,直到满足预设训练结束条件,得到目标检测模型。由此,通过在每次模型训练之前,根据各无标签样本的当前选择权重,确定进行当前次模型训练的N个目标无标签样本,并基于该目标无标签样本对待训练的初始目标检测模型进行当前次模型训练;以及在确定当前次模型训练的训练结果不满足预设训练结束条件且当前选择权重满足更新条件时,对各无标签样本的当前选择权重进行更新处理。实现了各无标签样本的选择权重的及时更新,以及实现了在相应轮次的模型训练时对样本的有针对性的动态选择,使相应轮次的模型训练能够输入更多的当前模型状态下可检出的目标少的样本,从而使得模型更多地学习包含稀有目标的样本,实现了各类目标数量的自平衡;避免了因样本中目标的数量不平衡而导致的模型对数量少的目标欠拟合,而对数量多的目标过拟合的问题,提升了目标检测模型的检测结果的准确性。
另外,在另一种具体的实施例中,上述存储介质存储的计算机可执行指令在被处理器执行时,还能实现以下流程:
获取待检测的目标图像数据;
将所述目标图像数据输入目标检测模型中进行目标检测处理,得到所述目标图像数据的目标检测结果;所述目标检测结果包括所述目标图像数据中的每个目标对象属于各预设类别的第三概率和每个所述目标对象的参考框的坐标信息;所述目标检测模型由本申请实施例提供的目标检测模型的训练方法训练得到。
本申请一个或多个实施例提供的存储介质存储的计算机可执行指令在被处理器执行时,由于使用的目标检测模型在训练过程中引入选择权重,并在每轮模型训练之前,根据各无标签样本的当前选择权重,确定进行当前次模型训练的N个目标无标签样本,并基于该目标无标签样本和预设训练集中的有标签样本对待训练的初始目标检测模型进行当前次模型训练;以及在确定当前次模型训练的训练结果不满足预设训练结束条件且当前选择权重满足更新条件时,对各无标签样本的当前选择权重进行更新处理。实现了各无标签样本的选择权重的及时更新,以及实现了在相应轮次的模型训练时对样本的有针对性的动态选择,使相应轮次的模型训练能够输入更多的当前模型状态下可检出的目标少的样本,从而使得模型更多地学习包含稀有目标的样本,实现了各类目标数量的自平衡;避免了因样本中目标的数量不平衡而导致的模型对数量少的目标欠拟合,而对数量多的目标过拟合的问题,提升了目标检测模型的检测结果的准确性。因此,利用该目标检测模型对待处理的目标图像数据进行目标检测,提升了目标检测结果的准确性。
需要说明的是,本申请中关于存储介质的实施例与本申请中关于目标检测模型的训练方法及目标检测方法的实施例基于同一发明构思,因此该实施例的具体实施可以参见前述对应的目标检测模型的训练方法及目标检测方法的实施,重复之处不再赘述。
上述对本申请特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
在20世纪90年代,对于一个技术的改进可以很明显地区分是硬件上的改进(例如,对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而,随着技术的发展,当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此,不能说一个方法流程的改进就不能用硬件实体模块来实现。例如,可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field Programmable GateArray,FPGA))就是这样一种集成电路,其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上,而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且,如今,取代手工地制作集成电路芯片,这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现,它与程序开发撰写时所用的软件编译器相类似,而要编译之前的原始代码也得用特定的编程语言来撰写,此称之为硬件描述语言(Hardware Description Language,HDL),而HDL也并非仅有一种,而是有许多种,如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等,目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚,只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中,就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现,例如,控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit,ASIC)、可编程逻辑控制器和嵌入微控制器的形式,控制器的例子包括但不限于以下微控制器:ARC625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320,存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道,除了以纯计算机可读程序代码方式实现控制器以外,完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件,而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至,可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的系统、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的,计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便,描述以上装置时以功能分为各种单元分别描述。当然,在实施本申请实施例时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白,本申请一个或多个实施例可提供为方法、系统或计算机程序产品。因此,本申请一个或多个实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本申请一个或多个实施例可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请的一个或多个实施例,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本申请中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本文件的实施例而已,并不用于限制本文件。对于本领域技术人员来说,本文件可以有各种更改和变化。凡在本文件的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本文件的权利要求范围之内。
Claims (15)
1.一种目标检测模型的训练方法,其特征在于,包括:
根据预设训练集中各无标签样本的当前选择权重,确定当前次模型训练的N个目标无标签样本;其中,N为大于1的整数;
基于所述目标无标签样本和所述预设训练集中的有标签样本对待训练的初始目标检测模型进行训练,得到训练后的初始目标检测模型和每个所述目标无标签样本的第一目标检测结果;
若所述当前次模型训练的训练结果不满足预设训练结束条件且所述当前选择权重满足更新条件,则根据所述第一目标检测结果对所述当前选择权重进行更新处理,并将所述训练后的初始目标检测模型确定为下一次模型训练所使用的待训练的初始目标检测模型,直到满足所述预设训练结束条件,得到所述目标检测模型;其中,更新后的选择权重用于确定进行下一次模型训练的目标无标签样本。
2.根据权利要求1所述的方法,其特征在于,所述根据预设训练集中各无标签样本的当前选择权重,确定当前次模型训练的N个目标无标签样本,包括:
确定所述各无标签样本的当前选择权重是否为预设初始选择权重;
若是,则确定所述各无标签样本中未进行模型训练的候选无标签样本,从所述候选无标签样本中随机选择N个候选无标签样本并确定为进行当前次模型训练的目标无标签样本;
若否,则从所述预设训练集中选择M个当前选择权重对应的N个无标签样本,并将选择的N个无标签样本确定为进行当前次模型训练的目标无标签样本;其中,M为大于1且小于等于N的整数。
3.根据权利要求2所述的方法,其特征在于,所述当前次模型训练的训练结果不满足预设训练结束条件之后,所述方法还包括:
针对每个所述目标无标签样本,确定所述目标无标签样本的样本索引是否存在关联的检测信息;
若是,则根据第一目标检测结果生成检测信息,将所述样本索引当前关联的检测信息替换为生成的检测信息;
若否,则根据第一目标检测结果生成检测信息,将所述检测信息与所述样本索引进行关联;
所述确定所述各无标签样本中未进行模型训练的候选无标签样本,包括:
将未关联所述检测信息的样本索引所对应的无标签样本,确定为未进行模型训练的候选无标签样本。
4.根据权利要求2所述的方法,其特征在于,
若所述M个当前选择权重中的至少一个当前选择权重对应多个无标签样本,则所述M小于所述N;
若所述M个当前选择权重中的每个所述当前选择权重对应一个无标签样本,则所述M等于所述N。
5.根据权利要求1所述的方法,其特征在于,基于所述目标无标签样本和所述预设训练集中的有标签样本对待训练的初始目标检测模型进行训练,得到训练后的初始目标检测模型和每个所述目标无标签样本的目标检测结果,包括:
从所述预设训练集中随机获取P个目标有标签样本;其中,P为大于1的整数,P与N满足预设比例;
将所述N个目标无标签样本输入预训练模型中进行预测处理,得到每个所述目标无标签样本的伪标签;其中,所述预训练模型基于所述有标签样本训练得到;
将所述N个目标无标签样本和所述P个目标有标签样本输入待训练的目标检测模型中进行训练处理,得到每个所述目标无标签样本的第一目标检测结果和每个所述目标有标签样本的第二目标检测结果;
基于所述伪标签、所述第一目标检测结果以及所述第二目标检测结果,确定目标损失函数;
基于所述目标损失函数,对所述待训练的初始目标检测模型的模型参数进行调整处理,得到训练后的初始目标检测模型。
6.根据权利要求5所述的方法,其特征在于,所述将所述N个目标无标签样本输入预训练模型中进行预测处理,得到每个所述目标无标签样本的伪标签,包括:
将所述N个目标无标签样本输入预训练模型中进行预测处理,输出每个所述目标无标签样本的第一预测概率集合和每个所述目标无标签样本的至少一个参考框的坐标信息;其中,所述第一预测概率集合包括所述目标无标签样本中的每个目标对象属于各预设类别的第一概率,所述目标对象与所述参考框一一对应;
根据预设置信度阈值对各所述第一预测概率集合进行转换处理;
根据转换后的各第一预测概率集合和所述参考框的坐标信息,得到每个所述目标无标签样本的伪标签。
7.根据权利要求5所述的方法,其特征在于,所述目标检测模型包括特征提取模块、目标检测模块、分类模块和边界框回归模块;
所述特征提取模块,用于对每个输入样本进行特征提取处理,得到每个输入样本的样本特征;其中,所述输入样本包括所述目标无标签样本和所述目标有标签样本;
所述目标检测模块,用于对所述样本特征进行目标检测处理,得到每个所述输入样本中的至少一个目标对象所对应的参考框;
所述分类模块,用于对每个所述参考框所对应的目标对象进行分类处理,得到每个所述输入样本的第二预测概率集合,其中,所述第二预测概率集合包括每个目标对象属于各预设类别的第二概率;
所述边界框回归模块,用于对每个所述参考框的位置进行检测处理,得到每个参考框的坐标信息;
其中,所述第一目标检测结果和所述第二目标检测结果包括:第二预测概率集合和每个参考框的坐标信息。
8.根据权利要求7所述的方法,其特征在于,所述根据所述第一目标检测结果对所述当前选择权重进行更新处理,包括:
将所述第一目标检测结果对应的目标类别,确定为所述目标无标签样本当前所对应的目标类别,其中,所述第一目标检测结果为所述目标无标签样本的第一目标检测结果,所述目标类别为所述目标无标签样本中的目标对象所属的目标预设类别;
根据每个所述无标签样本当前所对应的目标类别,确定每个所述预设类别当前包括的目标对象的总数量;
根据所述总数量,确定每个所述无标签样本的新的选择权重;
将所述新的选择权重确定为所述无标签样本的当前选择权重。
9.根据权利要求8所述的方法,其特征在于,所述根据所述总数量,确定每个所述无标签样本的新的选择权重,包括:
从所述总数量中获取每个所述无标签样本的所述目标类别所对应的目标总数量;
根据每个所述无标签样本对应的所述目标总数量,确定每个所述无标签样本的候选权重;
对各所述候选权重进行归一化处理,得到每个所述无标签样本的新的选择权重。
10.根据权利要求5所述的方法,所述基于所述伪标签、所述第一目标检测结果以及所述第二目标检测结果,确定目标损失函数,包括:
基于所述目标有标签样本的标签和所述第二目标检测结果,确定第一损失函数;
基于所述伪标签和所述第一目标检测结果,确定第二损失函数;
基于所述第一损失函数和所述第二损失函数,确定目标损失函数。
11.一种目标检测方法,其特征在于,包括:
获取待检测的目标图像数据;
将所述目标图像数据输入目标检测模型中进行目标检测处理,得到所述目标图像数据的目标检测结果;所述目标检测结果包括所述目标图像数据中的每个目标对象属于各预设类别的第三概率和每个所述目标对象的参考框的坐标信息;所述目标检测模型由权利要求1-10任一项所述的目标检测模型的训练方法训练得到。
12.一种目标检测模型的训练装置,其特征在于,包括:
确定模块,用于根据预设训练集中各无标签样本的当前选择权重,确定当前次模型训练的N个目标无标签样本;其中,N为大于1的整数;
训练模块,用于基于所述目标无标签样本和所述预设训练集中的有标签样本对待训练的初始目标检测模型进行训练,得到训练后的初始目标检测模型和每个所述目标无标签样本的第一目标检测结果;
更新模块,用于若所述当前次模型训练的训练结果不满足预设训练结束条件且所述当前选择权重满足更新条件,则根据所述第一目标检测结果对所述当前选择权重进行更新处理,并将所述训练后的初始目标检测模型确定为下一次模型训练所使用的待训练的初始目标检测模型,直到满足所述预设训练结束条件,得到所述目标检测模型;其中,更新后的选择权重用于确定进行下一次模型训练的目标无标签样本。
13.一种目标检测装置,其特征在于,包括:
获取模块,用于获取待检测的目标图像数据;
检测模块,用于将所述目标图像数据输入目标检测模型中进行目标检测处理,得到所述目标图像数据的目标检测结果;所述目标检测结果包括所述目标图像数据中的每个目标对象属于各预设类别的第三概率和每个所述目标对象的参考框的坐标信息;所述目标检测模型由权利要求1-10任一项所述的目标检测模型的训练方法训练得到。
14.一种电子设备,包括:
处理器;以及,
被安排成存储计算机可执行指令的存储器,所述可执行指令被配置由所述处理器执行,所述可执行指令包括用于执行如权利要求1-10任一项所述的方法中的步骤,或者所述可执行指令包括用于执行如权利要求11所述的方法中的步骤。
15.一种存储介质,其特征在于,所述存储介质用于存储计算机可执行指令,所述可执行指令使得计算机执行如权利要求1-10任一项所述的方法,或者所述可执行指令使得计算机执行如权利要求11所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210447161.XA CN117011624A (zh) | 2022-04-26 | 2022-04-26 | 目标检测模型的训练方法、目标检测方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210447161.XA CN117011624A (zh) | 2022-04-26 | 2022-04-26 | 目标检测模型的训练方法、目标检测方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117011624A true CN117011624A (zh) | 2023-11-07 |
Family
ID=88573131
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210447161.XA Pending CN117011624A (zh) | 2022-04-26 | 2022-04-26 | 目标检测模型的训练方法、目标检测方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117011624A (zh) |
-
2022
- 2022-04-26 CN CN202210447161.XA patent/CN117011624A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN116227474B (zh) | 一种对抗文本的生成方法、装置、存储介质及电子设备 | |
CN109934253B (zh) | 一种对抗样本生成方法及装置 | |
Li et al. | Learning hierarchical video representation for action recognition | |
CN112308113A (zh) | 一种基于半监督的目标识别方法、设备及介质 | |
CN116304720B (zh) | 一种代价模型训练的方法、装置、存储介质及电子设备 | |
CN115618964B (zh) | 一种模型训练的方法、装置、存储介质及电子设备 | |
CN113887325A (zh) | 一种模型训练方法、表情识别方法以及装置 | |
CN114155388B (zh) | 一种图像识别方法、装置、计算机设备和存储介质 | |
CN116543264A (zh) | 图像分类模型的训练方法、图像分类方法及装置 | |
CN116152933A (zh) | 一种异常检测模型的训练方法、装置、设备及存储介质 | |
CN113887206B (zh) | 一种模型训练及关键词提取方法及装置 | |
CN116630480B (zh) | 一种交互式文本驱动图像编辑的方法、装置和电子设备 | |
CN117113174A (zh) | 一种模型训练的方法、装置、存储介质及电子设备 | |
CN116434787B (zh) | 一种语音情感识别的方法、装置、存储介质及电子设备 | |
CN117036829A (zh) | 一种基于原型学习实现标签增强的叶片细粒度识别方法和系统 | |
CN110991496B (zh) | 一种训练模型的方法及装置 | |
CN117953258A (zh) | 对象分类模型的训练方法、对象分类方法及装置 | |
CN117409466A (zh) | 一种基于多标签控制的三维动态表情生成方法及装置 | |
CN116363418A (zh) | 一种训练分类模型的方法、装置、存储介质及电子设备 | |
CN114792256B (zh) | 基于模型选择的人群扩量方法及装置 | |
CN116403097A (zh) | 一种目标检测方法、装置、存储介质及电子设备 | |
CN117011624A (zh) | 目标检测模型的训练方法、目标检测方法及装置 | |
CN114860967A (zh) | 一种模型训练的方法、信息推荐的方法以及装置 | |
CN118098266B (zh) | 一种基于多模型选择的语音数据处理方法及装置 | |
CN111461352B (zh) | 模型训练、业务节点识别方法、装置及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |