CN115879004A - 目标模型的训练方法、装置、电子设备、介质和程序产品 - Google Patents
目标模型的训练方法、装置、电子设备、介质和程序产品 Download PDFInfo
- Publication number
- CN115879004A CN115879004A CN202211652176.6A CN202211652176A CN115879004A CN 115879004 A CN115879004 A CN 115879004A CN 202211652176 A CN202211652176 A CN 202211652176A CN 115879004 A CN115879004 A CN 115879004A
- Authority
- CN
- China
- Prior art keywords
- target
- training data
- model
- training
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
本公开提供了一种目标模型的训练方法、装置、电子设备、介质和程序产品,涉及人工智能技术领域,尤其涉及计算机视觉、增强现实、虚拟现实、深度学习等技术领域,可应用于智慧城市、元宇宙等场景。具体实现方案为:获取训练数据集,所述训练数据集包括第一训练数据和第二训练数据,第一训练数据包括第一图像和目标标签,第二训练数据包括第二图像和目标标签,其中,第二图像为对第一图像进行第一仿射变换之后得到的图像;将训练数据集输入目标网络骨架进行训练,得到用于对图像进行分类的目标模型,其中,目标网络骨架为具有第一仿射不变性的网络骨架,第一仿射变换与第二仿射变换为不同的仿射变换。本公开可以提高模型的训练效果。
Description
技术领域
本公开涉及人工智能技术领域,尤其涉及计算机视觉、增强现实、虚拟现实、深度学习等技术领域,可应用于智慧城市、元宇宙等场景。具体涉及一种目标模型的训练方法、装置、电子设备、介质和程序产品。
背景技术
相关技术中,通常需要训练各种图像分类模型。相关技术中的训练手段为:获取大量样本图像,并为每个样本图像设置类别标签,以得到训练样本。然后,基于所得到的训练样本对模型进行训练,以得到具有图像分类功能的模型。
发明内容
本公开提供了一种目标模型的训练方法、装置、电子设备、介质和程序产品。
根据本公开的第一方面,提供了一种目标模型的训练方法,包括:
获取训练数据集,所述训练数据集包括第一训练数据和第二训练数据,所述第一训练数据包括第一图像和目标标签,所述第二训练数据包括第二图像和所述目标标签,其中,所述第二图像为对所述第一图像进行第一仿射变换之后得到的图像;
将所述训练数据集输入目标网络骨架进行训练,得到用于对图像进行分类的目标模型,其中,所述目标网络骨架为具有第一仿射不变性的网络骨架,所述第一仿射不变性与第二仿射变换相对应,所述第一仿射变换与所述第二仿射变换为不同的仿射变换。
根据本公开的第二方面,提供了一种目标模型的训练装置,包括:
获取模块,用于获取训练数据集,所述训练数据集包括第一训练数据和第二训练数据,所述第一训练数据包括第一图像和目标标签,所述第二训练数据包括第二图像和所述目标标签,其中,所述第二图像为对所述第一图像进行第一仿射变换之后得到的图像;
训练模块,用于将所述训练数据集输入目标网络骨架进行训练,得到用于对图像进行分类的目标模型,其中,所述目标网络骨架为具有第一仿射不变性的网络骨架,所述第一仿射不变性与第二仿射变换相对应,所述第一仿射变换与所述第二仿射变换为不同的仿射变换。
根据本公开的第三方面,提供了一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行上述第一方面所述的方法。
根据本公开的第四方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行上述第一方面所述的方法。
根据本公开的第五方面,提供了一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现第一方面所述的方法。
本公开实施例中,由于训练数据集中包括经过第一仿射变换之后得到的训练数据,而目标网络骨架本身具备第一仿射不变性。因此,通过训练数据集对目标网络骨架进行训练之后,得到的目标模型不但能够学习到图像对应的标签中的信息,同时,还可以确保所述目标模型同时具备第一仿射不变性和第二仿射不变性,有利于提高模型的训练效果。
附图说明
附图用于更好地理解本方案,不构成对本公开的限定。其中:
图1是本公开实施例提供的一种目标模型的训练方法的流程图之一;
图2是本公开实施例提供的一种目标模型的训练方法的流程图之二;
图3是本公开实施例提供的一种目标模型的训练装置的结构示意图之一;
图4是本公开实施例中的训练模块的结构示意图;
图5是本公开实施例提供的一种目标模型的训练装置的结构示意图之二;
图6本公开实施例提供的用于实现目标模型的训练方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明,其中包括本公开实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本公开的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
请参见图1,图1为本公开实施例提供的一种目标模型的训练方法的流程示意图,所述目标模型的训练方法包括以下步骤:
步骤S101、获取训练数据集,所述训练数据集包括第一训练数据和第二训练数据,所述第一训练数据包括第一图像和目标标签,所述第二训练数据包括第二图像和所述目标标签,其中,所述第二图像为对所述第一图像进行第一仿射变换之后得到的图像;
步骤S102、将所述训练数据集输入目标网络骨架进行训练,得到用于对图像进行分类的目标模型,其中,所述目标网络骨架为具有第一仿射不变性的网络骨架,所述第一仿射不变性与第二仿射变换相对应,所述第一仿射变换与所述第二仿射变换为不同的仿射变换。
其中,上述目标模型的训练方法可以用于训练各种类型的图像分类模型。相应地,基于上述方法训练得到的目标模型可以是各种类型的图像分类模型。例如,所述目标模型可以是:用于对道路交通场景中所拍摄得到的图像中的车牌、车辆、行人、建筑物等对象进行分类的分类模型。
上述第一图像中可以包括待分类对象,所述目标标签用于表征所述第一图像中的分类对象的类别标签,其中,所述待分类对象可以是车牌、行人、车辆、各种障碍物、建筑物等。上述第一仿射变换可以是旋转、拉伸、缩放、平移等仿射变换,例如,当所述第一仿射变换为拉伸变换时,所述第二图像为对所述第一图像进行拉伸变换之后得到的图像。由于对第一图像进行第一仿射变换并不会改变所述第一图像中的待分类对象的类别标签,因此,所述第二训练数据中,所述第二图像的类别标签仍为所述目标标签。相应地,上述第二仿射变换也可以是旋转、拉伸、缩放、平移等仿射变换。
可以理解的是,上述训练数据集中可以包括基于各种类型的待分类对象的图像生成的训练数据,如此,在基于所述训练数据集对所述目标网络骨架进行训练之后,所述目标网络骨架可以学习各种类型的待分类对象的图像特征与所对应的类别标签之间的对应关系。从而可以确保后续能够基于训练得到的目标模型对包含待分类对象的图像进行分类。
相关技术中,在基于分类模型对待分类对象进行分类之前,通常需要采集包括待分类对象的图像,然后,将所采集的图像输入分类模型进行分类,即可得到分类模型输出的待分类对象的类别标签。然而,在采集待分类对象的图像时,由于拍摄位姿以及拍摄环境等因素的影响,可能导致针对同一对象进行的两次不同的拍摄得到的拍摄图像中,该对象的图像尺寸、形态、在图像中的位置等信息可能不同。因此,当针对某一对象采集的图像中待分类对象的“尺寸、形态或者在图像中的位置等信息”与模型学习的该待分类对象的“尺寸、形态或者在图像中的位置等信息”不同时,可能导致模型输出错误的分类结果。即当采集的图像中的待分类对象相对于模型学习的该待分类对象存在仿射变换时,可能导致模型输出错误的识别结果。
基于此,本公开实施例通过选用具有第一仿射不变性的目标网络骨架作为模型训练的网络骨架,如此,可以确保训练得到的目标模型能够具有第一仿射不变性。其中,目标模型具有第一仿射不变性是指:当采集的图像中的待识别对象发生第二仿射变换时,所述目标模型仍然能够准确的对该待识别对象进行分类。
上述获取训练数据集可以包括:获取多张不同的初始图像,对每张初始图像分别进行至少一次第一仿射变换,得到至少一个变换图像,然后,分别为所述初始图像以及所述变换图像设置类别标签,得到多个训练数据,并将所述多个训练数据所形成的数据集确定为所述训练数据集。其中,第一图像以及基于所述第一图像进行第一仿射变换得到的仿射图像具有相同的类别标签,所述第一图像为所述多张不同的初始图像中的任意图像。
具体地,由于所述训练数据集除了包括基于初始图像生成的第一训练数据之外,还包括基于初始图像对应的仿射图像生成的第二训练数据,且初始图像和所对应的仿射图像具有相同的类别标签。因此,在基于所述训练数据集对目标网络骨架进行训练之后,目标模型可以将发生了第一仿射变换的同一图像识别为同一类别,从而使得训练得到的目标模型具备第二仿射不变性,其中,所述第二仿射不变性与所述第一仿射变换相对应。
上述目标网络骨架可以是相关技术中的网络骨架,且所述目标网络骨架本身具备第一仿射不变性,即无需对目标网络骨架进行专门训练以使所述目标网络骨架本身具备第一仿射不变性。也即所述第一仿射不变性为所述目标网络骨架自身的特性。例如,当所述第一仿射不变性为旋转仿射不变性时,所述目标网络骨架可以为E(2)群等变可操控神经网络(General E(2)Equivariant Steerable Convolutional Neural Networks,E2CNN)。
该实施方式中,由于训练数据集中包括经过第一仿射变换之后得到的训练数据,而目标网络骨架本身具备第一仿射不变性。因此,通过训练数据集对目标网络骨架进行训练之后,得到的目标模型不但能够学习到图像对应的标签中的信息,同时,还可以确保所述目标模型同时具备第一仿射不变性和第二仿射不变性,有利于提高模型的训练效果。此外,目标网络骨架本身具备第一仿射不变性,因此,无需专门对所述目标网络骨架进行训练,即可使目标模型具备第一仿射不变性,有利于提高模型训练的效率。
可选地,所述第一仿射变换和所述第二仿射变换中,一者为拉伸仿射变换,另一者为旋转仿射变换。
其中,在本公开一个实施例中,所述第一仿射变换可以为拉伸仿射变换,所述第二仿射变换可以为旋转仿射变换。在本公开另一个实施例中,所述第一仿射变换可以为旋转仿射变换,所述第二仿射变换可以为拉伸仿射变换。
上述拉伸仿射变换是指对图像进行拉伸变换,相应地,旋转仿射变换是指对图像进行旋转变换。
该实施方式中,由于第一仿射变换和所述第二仿射变换中,一者为拉伸仿射变换,另一者为旋转仿射变换,因此,在基于所述训练数据集对所述目标网络骨架进行训练之后,得到的目标模型除了具备图像分类功能之外,还具备旋转不变性和拉伸不变性,如此,有利于提高目标模型的图像分类效果。
可选地,所述训练数据集包括目标训练数据,所述目标训练数据为所述训练数据集中的任意训练数据,所述将所述训练数据集输入目标网络骨架进行训练,得到用于对图像进行分类的目标模型,包括:
将所述目标训练数据包括的图像输入所述目标网络骨架进行分类,得到所述目标网络骨架输出的预测类别信息;
基于所述预测类别信息与所述目标训练数据包括的标签对所述目标网络骨架进行参数优化,得到所述目标模型。
其中,上述训练数据集中可以包括M种类别的训练样本,相应地,所述目标网络骨架可以识别所接收到的图像分别属于M种类别的概率,得到M个概率值,所述M个概率值形成所述预测类别信息。并可以将M各概率值中,最高的概率值所对应的类别的类别标签确定为目标训练数据包括的图像的预测类别。其中所述M为大于1的整数。
上述目标训练数据包括的标签为所述目标训练数据包括的图像对应的真实标签。在得到所述预测类别信息之后,可以根据所述预测类别信息与所述真实标签构建损失函数,并基于所构建的损失函数对所述目标网络骨架进行参数优化,以提高所述目标网络骨架的分类效果。
该实施方式中,通过基于所述预测类别信息与所述目标训练数据包括的标签对所述目标网络骨架进行参数优化,如此,有利于提高训练得到的目标模型的分类效果。
可选地,所述目标网络骨架包括特征提取层,所述将所述目标训练数据包括的图像输入所述目标网络骨架进行分类,包括:
将所述目标训练数据包括的图像输入所述目标网络骨架进行分类,得到所述特征提取层所输出的第一预测特征信息,其中,所述目标网络骨架用于基于所述第一预测特征信息,确定所述预测类别信息;
所述基于所述预测类别信息与所述目标训练数据包括的标签对所述目标网络骨架进行参数优化,得到所述目标模型,包括:
基于所述预测类别信息、所述目标训练数据包括的标签、所述第一预测特征信息和目标特征信息对所述目标网络骨架进行参数优化,得到所述目标模型,其中,所述目标特征信息包括所述目标训练数据包括的图像中的待分类对象的期望特征,所述预测特征信息包括对所述待分类对象的预测特征。
其中,上述预测类别信息可以包括与M种类别对应的M个概率值,可以理解的是,所述M种类别包括目标训练数据包括的图像对应的真实标签所对应的类别,相应地,所述M个概率值包括目标概率值,其中,所述目标概率值为所述M个概率值中,目标训练数据包括的图像对应的真实标签所对应的类别的概率值。
本公开实施例中,用于对目标网络骨架进行参数优化的损失函数可以包括第一损失函数和第二损失函数,第一损失函数为衡量分类性能的损失函数,可以采用交叉熵函数实现;第二损失函数为同一张图像经过第一仿射变换的图像通过目标网络骨架后得到特征的方差,如此,能够在学习中迫使方差减小,从而使得目标网络骨架能够学习对第一仿射变换的不变性。
该实施方式中,通过基于所述预测类别信息、所述目标训练数据包括的标签、所述第一预测特征信息和目标特征信息对所述目标网络骨架进行参数优化,得到所述目标模型。如此,在对目标网络骨架进行训练的过程中,目标网络骨架除了可以学习分类特征之外,还可以同时学习第一仿射不变性的特征,即在一次训练的过程中,目标网络骨架可以学习两种不同的性能,有利于提高模型训练的效率。
可选地,所述基于所述预测类别信息、所述目标训练数据包括的标签、所述第一预测特征信息和目标特征信息对所述目标网络骨架进行参数优化,得到所述目标模型之前,所述方法还包括:
对所述目标训练数据包括的图像进行K次不同的所述第一仿射变换,得到K张不同的第三图像,所述K为大于1的整数;
将所述K张不同的第三图像分别输入所述目标网络骨架进行分类,得到所述特征提取层所输出的K组第二预测特征信息;
基于所述K组第二预测特征信息生成所述目标特性信息,其中,所述目标特征信息为所述K组第二预测特征信息的平均特征信息。
具体地,可以基于上述目标概率值构建所述第一损失函数LCE,所述第一损失函数具体可以表示为:
其中,所述N为训练数据集中包括的样本的数量,所述M为目标模型可识别的类别的数量。yij表示样本i是否属于类别j,若属于,yij=1;否则,yij=0,其中,所述类别j可以是目标训练数据中的图像的类别。pij表示样本i属于类别j的预测概率值,即pij表示上述目标概率值。
相应地,可以基于所述第一预测特征信息和目标特征信息构建所述第二损失函数Lvar,所述第二损失函数可以表示为:
该实施方式中,通过将K组第二预测特征信息的平均特征信息确定为目标特性信息,如此,可以确保所述目标特征信息能够融合上述K张不同的第三图像的特征,从而提高所确定的目标特征信息的质量。
可选地,所述将所述训练数据集输入目标网络骨架进行训练,得到目标模型,包括:
将所述训练数据集输入目标网络骨架进行迭代训练;
每隔预设时长,基于预设测试数据确定训练得到的模型的模型精度;
在第s+1次确定的模型精度与第s次确定的模型精度相同的情况下,确定模型收敛,并将收敛的模型确定为所述目标模型,所述s为大于0的整数。
其中,所述预设测试数据可以包括测试图像和所述测试图像所对应的标签,可以通过将所述测试图像输入训练得到的模型进行分类,并基于所述测试图像所对应的标签确定所述模型进行分类的准确性。如此,可以通过统计模型对多张测试图像进行分类的准确性,确定所述模型的模型精度。
该实施方式中,通过每隔预设时长基于预设测试数据,计算所训练得到的模型的模型精度,当相邻两次计算得到的模型精度相同时,可以表征继续对模型进行训练,模型的精度不再提升。此时,可以确定模型的精度满足要求,因此,确定模型收敛,并结束训练过程,同时,将收敛的模型确定为所述目标模型,从而完成模型的训练过程。
请参见图2,图2为本公开另一实施例提供的一种目标模型的训练方法的流程示意图,所述方法包括以下步骤:
获取样本图像,其中,可以对采集的图像进行第一仿射变换,以增加样本图像的数量;
为样本图像设置标签,并将所生成的样本划分为训练数据和测试数据;
仿射不变的神经网络的结构设计,具体涉及为:旋转不变的网络骨架,学习拉伸不变性,损失函数监督;
模型优化,选择旋转不变性的模型,对模型进行训练,得到目标模型;
基于目标模型对图像进行分类。
请参见图3,图3为本公开实施例提供的一种目标模型的训练装置300的结构示意图,所述目标模型的训练装置300,包括:
获取模块301,用于获取训练数据集,所述训练数据集包括第一训练数据和第二训练数据,所述第一训练数据包括第一图像和目标标签,所述第二训练数据包括第二图像和所述目标标签,其中,所述第二图像为对所述第一图像进行第一仿射变换之后得到的图像;
训练模块302,用于将所述训练数据集输入目标网络骨架进行训练,得到用于对图像进行分类的目标模型,其中,所述目标网络骨架为具有第一仿射不变性的网络骨架,所述第一仿射不变性与第二仿射变换相对应,所述第一仿射变换与所述第二仿射变换为不同的仿射变换。
可选地,所述第一仿射变换和所述第二仿射变换中,一者为拉伸仿射变换,另一者为旋转仿射变换。
可选地,所述训练数据集包括目标训练数据,所述目标训练数据为所述训练数据集中的任意训练数据,请参见图4,图4为本公开实施例提供的一种训练模块400的结构示意图,所述训练模块400可以用作图3中的训练模块302,训练模块400包括:
分类子模块401,用于将所述目标训练数据包括的图像输入所述目标网络骨架进行分类,得到所述目标网络骨架输出的预测类别信息;
优化子模块402,用于基于所述预测类别信息与所述目标训练数据包括的标签对所述目标网络骨架进行参数优化,得到所述目标模型。
可选地,所述目标网络骨架包括特征提取层,所述分类子模块401,具体用于将所述目标训练数据包括的图像输入所述目标网络骨架进行分类,得到所述特征提取层所输出的第一预测特征信息,其中,所述目标网络骨架用于基于所述第一预测特征信息,确定所述预测类别信息;
所述优化子模块402,具体用于基于所述预测类别信息、所述目标训练数据包括的标签、所述第一预测特征信息和目标特征信息对所述目标网络骨架进行参数优化,得到所述目标模型,其中,所述目标特征信息包括所述目标训练数据包括的图像中的待分类对象的期望特征,所述预测特征信息包括对所述待分类对象的预测特征。
可选地,请参见图5,图5为本公开实施例提供的另一种目标模型的训练装置500的结构示意图,所述目标模型的训练装置500可以作为图3中的目标模型的训练装置300,所述目标模型的训练装置500包括获取模块501、训练模块502、变换模块503、分类模块504和生成模块505,其中,所述获取模块501和训练模块502可以分别作为图3中的获取模块301和训练模块302;
变换模块503,用于对所述目标训练数据包括的图像进行K次不同的所述第一仿射变换,得到K张不同的第三图像,所述K为大于1的整数;
分类模块504,还用于将所述K张不同的第三图像分别输入所述目标网络骨架进行分类,得到所述特征提取层所输出的K组第二预测特征信息;
生成模块505,用于基于所述K组第二预测特征信息生成所述目标特性信息,其中,所述目标特征信息为所述K组第二预测特征信息的平均特征信息。
可选地,所述训练模块302,具体用于将所述训练数据集输入目标网络骨架进行迭代训练;
所述训练模块302,具体还用于每隔预设时长,基于预设测试数据确定训练得到的模型的模型精度;
所述训练模块302,具体还用于在第s+1次确定的模型精度与第s次确定的模型精度相同的情况下,确定模型收敛,并将收敛的模型确定为所述目标模型,所述s为大于0的整数。
需要说明地,本实施例提供的目标模型的训练装置300或目标模型的训练装置500能够实现上述目标模型的训练方法实施例的全部技术方案,因此至少能够实现上述全部技术效果,此处不再赘述。
本公开的技术方案中,所涉及的用户个人信息的获取,存储和应用等,均符合相关法律法规的规定,且不违背公序良俗。
根据本公开的实施例,本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图6示出了可以用来实施本公开的实施例的示例电子设备600的示意性框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图6所示,电子设备600包括计算单元601,其可以根据存储在只读存储器(ROM)602中的计算机程序或者从存储单元608加载到随机访问存储器(RAM)603中的计算机程序,来执行各种适当的动作和处理。在RAM 603中,还可存储设备600操作所需的各种程序和数据。计算单元601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
电子设备600中的多个部件连接至I/O接口605,包括:输入单元606,例如键盘、鼠标等;输出单元607,例如各种类型的显示器、扬声器等;存储单元608,例如磁盘、光盘等;以及通信单元609,例如网卡、调制解调器、无线通信收发机等。通信单元609允许设备600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元601可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元601的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元601执行上文所描述的各个方法和处理,例如目标模型的训练方法。例如,在一些实施例中,目标模型的训练方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元608。在一些实施例中,计算机程序的部分或者全部可以经由ROM 602和/或通信单元609而被载入和/或安装到设备600上。当计算机程序加载到RAM 603并由计算单元601执行时,执行上文描述的目标模型的训练方法的一个或多个步骤。备选地,在其他实施例中,计算单元601可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行目标模型的训练方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,也可以为分布式系统的服务器,或者是结合了区块链的服务器。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本公开公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本公开保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等,均应包含在本公开保护范围之内。
Claims (15)
1.一种目标模型的训练方法,包括:
获取训练数据集,所述训练数据集包括第一训练数据和第二训练数据,所述第一训练数据包括第一图像和目标标签,所述第二训练数据包括第二图像和所述目标标签,其中,所述第二图像为对所述第一图像进行第一仿射变换之后得到的图像;
将所述训练数据集输入目标网络骨架进行训练,得到用于对图像进行分类的目标模型,其中,所述目标网络骨架为具有第一仿射不变性的网络骨架,所述第一仿射不变性与第二仿射变换相对应,所述第一仿射变换与所述第二仿射变换为不同的仿射变换。
2.根据权利要求1所述的方法,其中,所述第一仿射变换和所述第二仿射变换中,一者为拉伸仿射变换,另一者为旋转仿射变换。
3.根据权利要求1所述的方法,其中,所述训练数据集包括目标训练数据,所述目标训练数据为所述训练数据集中的任意训练数据,所述将所述训练数据集输入目标网络骨架进行训练,得到用于对图像进行分类的目标模型,包括:
将所述目标训练数据包括的图像输入所述目标网络骨架进行分类,得到所述目标网络骨架输出的预测类别信息;
基于所述预测类别信息与所述目标训练数据包括的标签对所述目标网络骨架进行参数优化,得到所述目标模型。
4.根据权利要求3所述的方法,其中,所述目标网络骨架包括特征提取层,所述将所述目标训练数据包括的图像输入所述目标网络骨架进行分类,包括:
将所述目标训练数据包括的图像输入所述目标网络骨架进行分类,得到所述特征提取层所输出的第一预测特征信息,其中,所述目标网络骨架用于基于所述第一预测特征信息,确定所述预测类别信息;
所述基于所述预测类别信息与所述目标训练数据包括的标签对所述目标网络骨架进行参数优化,得到所述目标模型,包括:
基于所述预测类别信息、所述目标训练数据包括的标签、所述第一预测特征信息和目标特征信息对所述目标网络骨架进行参数优化,得到所述目标模型,其中,所述目标特征信息包括所述目标训练数据包括的图像中的待分类对象的期望特征,所述预测特征信息包括对所述待分类对象的预测特征。
5.根据权利要求4所述的方法,其中,所述基于所述预测类别信息、所述目标训练数据包括的标签、所述第一预测特征信息和目标特征信息对所述目标网络骨架进行参数优化,得到所述目标模型之前,所述方法还包括:
对所述目标训练数据包括的图像进行K次不同的所述第一仿射变换,得到K张不同的第三图像,所述K为大于1的整数;
将所述K张不同的第三图像分别输入所述目标网络骨架进行分类,得到所述特征提取层所输出的K组第二预测特征信息;
基于所述K组第二预测特征信息生成所述目标特性信息,其中,所述目标特征信息为所述K组第二预测特征信息的平均特征信息。
6.根据权利要求1所述的方法,其中,所述将所述训练数据集输入目标网络骨架进行训练,得到目标模型,包括:
将所述训练数据集输入目标网络骨架进行迭代训练;
每隔预设时长,基于预设测试数据确定训练得到的模型的模型精度;
在第s+1次确定的模型精度与第s次确定的模型精度相同的情况下,确定模型收敛,并将收敛的模型确定为所述目标模型,所述s为大于0的整数。
7.一种目标模型的训练装置,包括:
获取模块,用于获取训练数据集,所述训练数据集包括第一训练数据和第二训练数据,所述第一训练数据包括第一图像和目标标签,所述第二训练数据包括第二图像和所述目标标签,其中,所述第二图像为对所述第一图像进行第一仿射变换之后得到的图像;
训练模块,用于将所述训练数据集输入目标网络骨架进行训练,得到用于对图像进行分类的目标模型,其中,所述目标网络骨架为具有第一仿射不变性的网络骨架,所述第一仿射不变性与第二仿射变换相对应,所述第一仿射变换与所述第二仿射变换为不同的仿射变换。
8.根据权利要求7所述的装置,其中,所述第一仿射变换和所述第二仿射变换中,一者为拉伸仿射变换,另一者为旋转仿射变换。
9.根据权利要求7所述的装置,其中,所述训练数据集包括目标训练数据,所述目标训练数据为所述训练数据集中的任意训练数据,所述训练模块,包括:
分类子模块,用于将所述目标训练数据包括的图像输入所述目标网络骨架进行分类,得到所述目标网络骨架输出的预测类别信息;
优化子模块,用于基于所述预测类别信息与所述目标训练数据包括的标签对所述目标网络骨架进行参数优化,得到所述目标模型。
10.根据权利要求9所述的装置,其中,所述目标网络骨架包括特征提取层,所述分类子模块,具体用于将所述目标训练数据包括的图像输入所述目标网络骨架进行分类,得到所述特征提取层所输出的第一预测特征信息,其中,所述目标网络骨架用于基于所述第一预测特征信息,确定所述预测类别信息;
所述优化子模块,具体用于基于所述预测类别信息、所述目标训练数据包括的标签、所述第一预测特征信息和目标特征信息对所述目标网络骨架进行参数优化,得到所述目标模型,其中,所述目标特征信息包括所述目标训练数据包括的图像中的待分类对象的期望特征,所述预测特征信息包括对所述待分类对象的预测特征。
11.根据权利要求10所述的装置,其中,所述装置还包括:
变换模块,用于对所述目标训练数据包括的图像进行K次不同的所述第一仿射变换,得到K张不同的第三图像,所述K为大于1的整数;
分类模块,还用于将所述K张不同的第三图像分别输入所述目标网络骨架进行分类,得到所述特征提取层所输出的K组第二预测特征信息;
生成模块,用于基于所述K组第二预测特征信息生成所述目标特性信息,其中,所述目标特征信息为所述K组第二预测特征信息的平均特征信息。
12.根据权利要求7所述的装置,其中,所述训练模块,具体用于将所述训练数据集输入目标网络骨架进行迭代训练;
所述训练模块,具体还用于每隔预设时长,基于预设测试数据确定训练得到的模型的模型精度;
所述训练模块,具体还用于在第s+1次确定的模型精度与第s次确定的模型精度相同的情况下,确定模型收敛,并将收敛的模型确定为所述目标模型,所述s为大于0的整数。
13.一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-6中任一项所述目标模型的训练方法。
14.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行权利要求1-6中任一项所述目标模型的训练方法。
15.一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现权利要求1-6中任一项所述目标模型的训练方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211652176.6A CN115879004A (zh) | 2022-12-21 | 2022-12-21 | 目标模型的训练方法、装置、电子设备、介质和程序产品 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211652176.6A CN115879004A (zh) | 2022-12-21 | 2022-12-21 | 目标模型的训练方法、装置、电子设备、介质和程序产品 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115879004A true CN115879004A (zh) | 2023-03-31 |
Family
ID=85754266
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211652176.6A Pending CN115879004A (zh) | 2022-12-21 | 2022-12-21 | 目标模型的训练方法、装置、电子设备、介质和程序产品 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115879004A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116310657A (zh) * | 2023-05-12 | 2023-06-23 | 北京百度网讯科技有限公司 | 特征点检测模型训练方法、图像特征匹配方法及装置 |
Citations (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106709486A (zh) * | 2016-11-11 | 2017-05-24 | 南京理工大学 | 基于深度卷积神经网络的自动车牌识别方法 |
CN110276266A (zh) * | 2019-05-28 | 2019-09-24 | 暗物智能科技(广州)有限公司 | 一种基于旋转的点云数据的处理方法、装置及终端设备 |
CN110459302A (zh) * | 2019-08-05 | 2019-11-15 | 苏州米特希赛尔人工智能有限公司 | 超声医疗影像ai辅助标注系统 |
CN112069921A (zh) * | 2020-08-18 | 2020-12-11 | 浙江大学 | 一种基于自监督知识迁移的小样本视觉目标识别方法 |
CN112990315A (zh) * | 2021-03-17 | 2021-06-18 | 北京大学 | 基于偏微分算子的等变3d卷积网络的3d形状图像分类方法 |
US20210248467A1 (en) * | 2020-02-06 | 2021-08-12 | Qualcomm Incorporated | Data and compute efficient equivariant convolutional networks |
CN113971737A (zh) * | 2021-10-20 | 2022-01-25 | 国网上海市电力公司 | 用于机器人的物体识别方法、电子设备、介质和程序产品 |
CN114092356A (zh) * | 2021-11-26 | 2022-02-25 | 京东科技信息技术有限公司 | 自监督学习方法和自监督学习装置 |
CN114463812A (zh) * | 2022-01-18 | 2022-05-10 | 赣南师范大学 | 基于双通道多分支融合特征蒸馏的低分辨率人脸识别方法 |
CN114511041A (zh) * | 2022-04-01 | 2022-05-17 | 北京世纪好未来教育科技有限公司 | 模型训练方法、图像处理方法、装置、设备和存储介质 |
CN114528976A (zh) * | 2022-01-24 | 2022-05-24 | 北京智源人工智能研究院 | 一种等变网络训练方法、装置、电子设备及存储介质 |
CN114782735A (zh) * | 2022-02-22 | 2022-07-22 | 北京航空航天大学杭州创新研究院 | 一种基于多区域数据增强的菜品识别方法 |
CN114972934A (zh) * | 2022-05-13 | 2022-08-30 | 武汉大学 | 一种面向遥感图像表征的对比自监督学习方法 |
CN115083011A (zh) * | 2022-05-13 | 2022-09-20 | 广州创一网络传媒有限公司 | 基于深度学习的手语理解视觉手势识别方法、系统、计算机装置及存储介质 |
CN115115910A (zh) * | 2022-07-13 | 2022-09-27 | 深圳市腾讯计算机系统有限公司 | 图像处理模型的训练方法、使用方法、装置、设备及介质 |
CN115331109A (zh) * | 2022-08-27 | 2022-11-11 | 南京理工大学 | 基于旋转等变卷积通道注意力增强和多尺度特征融合的遥感图像目标检测方法 |
-
2022
- 2022-12-21 CN CN202211652176.6A patent/CN115879004A/zh active Pending
Patent Citations (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106709486A (zh) * | 2016-11-11 | 2017-05-24 | 南京理工大学 | 基于深度卷积神经网络的自动车牌识别方法 |
CN110276266A (zh) * | 2019-05-28 | 2019-09-24 | 暗物智能科技(广州)有限公司 | 一种基于旋转的点云数据的处理方法、装置及终端设备 |
CN110459302A (zh) * | 2019-08-05 | 2019-11-15 | 苏州米特希赛尔人工智能有限公司 | 超声医疗影像ai辅助标注系统 |
US20210248467A1 (en) * | 2020-02-06 | 2021-08-12 | Qualcomm Incorporated | Data and compute efficient equivariant convolutional networks |
CN112069921A (zh) * | 2020-08-18 | 2020-12-11 | 浙江大学 | 一种基于自监督知识迁移的小样本视觉目标识别方法 |
CN112990315A (zh) * | 2021-03-17 | 2021-06-18 | 北京大学 | 基于偏微分算子的等变3d卷积网络的3d形状图像分类方法 |
CN113971737A (zh) * | 2021-10-20 | 2022-01-25 | 国网上海市电力公司 | 用于机器人的物体识别方法、电子设备、介质和程序产品 |
CN114092356A (zh) * | 2021-11-26 | 2022-02-25 | 京东科技信息技术有限公司 | 自监督学习方法和自监督学习装置 |
CN114463812A (zh) * | 2022-01-18 | 2022-05-10 | 赣南师范大学 | 基于双通道多分支融合特征蒸馏的低分辨率人脸识别方法 |
CN114528976A (zh) * | 2022-01-24 | 2022-05-24 | 北京智源人工智能研究院 | 一种等变网络训练方法、装置、电子设备及存储介质 |
CN114782735A (zh) * | 2022-02-22 | 2022-07-22 | 北京航空航天大学杭州创新研究院 | 一种基于多区域数据增强的菜品识别方法 |
CN114511041A (zh) * | 2022-04-01 | 2022-05-17 | 北京世纪好未来教育科技有限公司 | 模型训练方法、图像处理方法、装置、设备和存储介质 |
CN114972934A (zh) * | 2022-05-13 | 2022-08-30 | 武汉大学 | 一种面向遥感图像表征的对比自监督学习方法 |
CN115083011A (zh) * | 2022-05-13 | 2022-09-20 | 广州创一网络传媒有限公司 | 基于深度学习的手语理解视觉手势识别方法、系统、计算机装置及存储介质 |
CN115115910A (zh) * | 2022-07-13 | 2022-09-27 | 深圳市腾讯计算机系统有限公司 | 图像处理模型的训练方法、使用方法、装置、设备及介质 |
CN115331109A (zh) * | 2022-08-27 | 2022-11-11 | 南京理工大学 | 基于旋转等变卷积通道注意力增强和多尺度特征融合的遥感图像目标检测方法 |
Non-Patent Citations (1)
Title |
---|
MAURICE WEILER等: "General E(2) - Equivariant Steerable CNNs", 《ARXIV》, pages 2 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116310657A (zh) * | 2023-05-12 | 2023-06-23 | 北京百度网讯科技有限公司 | 特征点检测模型训练方法、图像特征匹配方法及装置 |
CN116310657B (zh) * | 2023-05-12 | 2023-09-01 | 北京百度网讯科技有限公司 | 特征点检测模型训练方法、图像特征匹配方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7331171B2 (ja) | 画像認識モデルをトレーニングするための方法および装置、画像を認識するための方法および装置、電子機器、記憶媒体、並びにコンピュータプログラム | |
US20220004928A1 (en) | Method and apparatus for incrementally training model | |
CN113642583B (zh) | 用于文本检测的深度学习模型训练方法及文本检测方法 | |
CN114549840B (zh) | 语义分割模型的训练方法和语义分割方法、装置 | |
CN112907552A (zh) | 图像处理模型的鲁棒性检测方法、设备及程序产品 | |
JP7393472B2 (ja) | 陳列シーン認識方法、装置、電子機器、記憶媒体およびコンピュータプログラム | |
CN113901907A (zh) | 图文匹配模型训练方法、图文匹配方法及装置 | |
CN112949767A (zh) | 样本图像增量、图像检测模型训练及图像检测方法 | |
CN114120253A (zh) | 图像处理方法、装置、电子设备和存储介质 | |
CN112966744A (zh) | 模型训练方法、图像处理方法、装置和电子设备 | |
CN114724133B (zh) | 文字检测和模型训练方法、装置、设备及存储介质 | |
CN114881129A (zh) | 一种模型训练方法、装置、电子设备及存储介质 | |
CN115879004A (zh) | 目标模型的训练方法、装置、电子设备、介质和程序产品 | |
CN115359308A (zh) | 模型训练、难例识别方法、装置、设备、存储介质及程序 | |
CN113378857A (zh) | 目标检测方法、装置、电子设备及存储介质 | |
CN115273148B (zh) | 行人重识别模型训练方法、装置、电子设备及存储介质 | |
CN114724113B (zh) | 道路标牌识别方法、自动驾驶方法、装置和设备 | |
CN113361621B (zh) | 用于训练模型的方法和装置 | |
CN113344121B (zh) | 训练招牌分类模型和招牌分类的方法 | |
CN114821190A (zh) | 图像分类模型训练方法、图像分类方法、装置及设备 | |
CN113947195A (zh) | 模型确定方法、装置、电子设备和存储器 | |
CN114093006A (zh) | 活体人脸检测模型的训练方法、装置、设备以及存储介质 | |
CN114724090B (zh) | 行人再识别模型的训练方法、行人再识别方法及装置 | |
CN114973333B (zh) | 人物交互检测方法、装置、设备以及存储介质 | |
US20220222941A1 (en) | Method for recognizing action, electronic device and storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |