CN115471717B - 模型的半监督训练、分类方法装置、设备、介质及产品 - Google Patents
模型的半监督训练、分类方法装置、设备、介质及产品 Download PDFInfo
- Publication number
- CN115471717B CN115471717B CN202211142519.4A CN202211142519A CN115471717B CN 115471717 B CN115471717 B CN 115471717B CN 202211142519 A CN202211142519 A CN 202211142519A CN 115471717 B CN115471717 B CN 115471717B
- Authority
- CN
- China
- Prior art keywords
- image
- deformed
- images
- target
- classification model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
- G06V10/7753—Incorporation of unlabelled data, e.g. multiple instance learning [MIL]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Abstract
本公开提供了模型的半监督训练、分类方法装置、设备、介质及产品,涉及人工智能领域,尤其涉及计算机视觉、深度学习领域。具体实现方案为:采用有标签图像样本对待训练的图像分类模型进行训练,获得第一分类模型,所述第一分类模型为第一次训练后的分类模型;确定两个无标签图像样本为一组,获得目标图像样本组;以所述目标图像样本组中两个无标签图像样本互为标签对所述第一分类模型进行训练,获得第二分类模型,所述第二分类模型为第二次训练后的分类模型。
Description
技术领域
本公开涉及人工智能领域中的计算机视觉、深度学习技术领域,尤其涉及一种模型的半监督训练、分类方法装置、设备、介质及产品。
背景技术
目前,图像处理领域中的分类问题应用场景较为广泛。例如,人脸识别、目标追踪、自然语言处理等场景中均可以应用分类模型。分类模型可以采用半监督训练方式进行训练。但是,目前的半监督训练方式,一般是采用模型训练方式,对未标记图像进行伪标签的生成,并利用生成的伪标签及其对应的未标记图像进行分类训练。但是,这种训练方式并不准确,获得的分类模型的分类精度不高。
发明内容
本公开提供了一种模型的半监督训练、分类方法装置、设备、介质及产品。
根据本公开的第一方面,提供了一种模型的半监督训练方法,包括:
采用有标签图像样本对待训练的图像分类模型进行训练,获得第一分类模型,所述第一分类模型为第一次训练后的分类模型;
确定两个无标签图像样本为一组,获得目标图像样本组;
以所述目标图像样本组中两个无标签图像样本互为标签对所述第一分类模型进行训练,获得第二分类模型,所述第二分类模型为第二次训练后的分类模型。
根据本公开的第二方面,提供了一种分类方法,包括:
获取待分类图像;
将所述待分类图像输入第二分类模型,获得所述第二分类模型对所述待分类图像的分类结果,所述第二分类模型基于权利要求1-10的模型的半监督训练方法训练获得;
显示所述待分类图像的分类结果。
根据本公开的第三方面,提供了一种模型的半监督训练装置,包括:
第一训练单元,用于采用有标签图像样本对待训练的图像分类模型进行训练,获得第一分类模型,所述第一分类模型为第一次训练后的分类模型;
样本确定单元,用于确定两个无标签图像样本为一组,获得目标图像样本组;
第二训练单元,用于以所述目标图像样本组中两个无标签图像样本互为标签对所述第一分类模型进行训练,获得第二分类模型,所述第二分类模型为第二次训练后的分类模型。
根据本公开的第四方面,提供了一种分类装置,包括:
图像获取单元,用于获取待分类图像;
图像分类单元,用于将所述待分类图像输入第二分类模型,获得所述第二分类模型对所述待分类图像的分类结果,所述第二分类模型基于第一方面所提供的模型的半监督训练方法训练获得;
结果显示单元,用于显示所述待分类图像的分类结果。
根据本公开的第五方面,提供了一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行第一方面或者第二方面中任一项所述的方法。
根据本公开的第六方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行根据第一方面或者第二方面任一项所述的方法。
根据本公开的第七方面,提供了一种计算机程序产品,所述计算机程序产品包括:计算机程序,所述计算机程序存储在可读存储介质中,电子设备的至少一个处理器可以从所述可读存储介质读取所述计算机程序,所述至少一个处理器执行所述计算机程序使得电子设备执行第一方面或者第二方面所述的方法。
根据本公开的技术,通过采用有标签图像样本对待训练的图像分类模型进行训练,获得第一分类模型,第一分类模型可以为第一次训练后的分类模型,完成分类模型的初步训练。其次可以确定两个无标签图像样本为目标图像样本组,以目标图像样本组中两个无标签图像样本互为标签对第一分类模型进行训练,获得第二分类模型,完成分类模型的第二次训练。通过两次训练可以即利用有标签图像样本并同时利用无标签图像样本,提高无标签图像样本的训练效率和准确性。同时,利用无标签图像样本时,使用两个无标签图像样本互为标签,令第二分类模型中学习到两个无标签图像样本的特征,提高模型训练精度。解决了相关技术领域中采用生成伪标签,并利用伪标签进行分类模型的训练导致的分类模型精度不高的问题,提高了模型训练准确度。
应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案,不构成对本公开的限定。其中:
图1是根据本公开实施例提供的一种模型的半监督训练方法的一个应用示例图;
图2是根据本公开实施例提供的一种模型的半监督训练方法的一个实施例的流程图;
图3是根据本公开实施例提供的一种模型的半监督训练方法的又一个实施例的流程图;
图4是根据本公开实施例提供的一种模型的半监督训练方法的流程示例图;
图5是根据本公开实施例提供的一种分类方法的一个实施例的流程图;
图6是根据本公开实施例提供的一种模型的半监督训练装置的一个实施例的结构示意图;
图7是根据本公开实施例提供的一种分类装置的一个实施例的结构示意图;
图8是用来实现本公开实施例的模型的半监督训练、分类方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明,其中包括本公开实施例的两个种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出两个种改变和修改,而不会背离本公开的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
本公开的技术方案可以应用于图像的分类模型训练中,通过采用少量的有标签图像样本初步训练第一分类模型,再采样少量的无标签图像样本对第一分类模型再次进行训练,实现综合利用少量的有标签图像样本和无标签图像样本进行半监督训练,提高分类模型的训练精度。
相关技术中,可以采用半监督训练方式对分类模型进行训练。在分类模型训练过程中,可以采用标签预测模型对模型执行伪标签的生成,并利用伪标签和其对应的图像对分类模型进行训练。由于需要对无标签图像样本进行伪标签的生成,再利用生成的伪标签进行模型训练,而无标签图像样本的伪标签不一定准确,可能会导致模型训练精度下降,准确度不高。此外,伪标签还可以通过人工方式生成,通过人工方式生成的伪标签,效率较低,也不利于分类模型的训练效率的提升。
本技术方案中,考虑采用有标签图像样本对分类模型进行初步训练。为了使用无标签图像样本对分类模型进行训练,可以采用分组方式,将两个无标签图像划分为一组,以利用一组中的两个无标签图像样本互为标签,实现无标签图像样本的模型训练。采用无标签图像样本对分类模型进行训练时,直接使用两个图像互为标签,不需要再为无标签图像样本设置图像样本标签,减少计算流程的复杂度,提高分类模型的训练效率。同时,直接使用两个无标签图像互为图像样本,可以提高目标图像样本标签的训练精度和准确度。
本公开提供一种模型的半监督训练、分类方法、装置、设备、介质及产品,人工智能领域中的计算机视觉、深度学习技术领域,以达到提高分类模型的训练效率和精度的目的。
如图1所示,为本公开实施例提供的一种模型的半监督训练方法的一个应用示例图、在实际应用中,模型的半监督训练方法可以配置于第一电子设备1,例如为服务器,通过第一电子设备1执行半监督训练方法,利用少量的有标签图像样本和无标签图像样本进行训练,获得第二分类模型。此外,第一电子设备1可以与第二电子设备2建立通讯连接。第二电子设备2可以从第一电子设备1获取第二分类模型。基于已训练的第二分类模型对待分类图像进行分类处理,获得分类结果。第二电子设备2可以利用其输出装置输出待分类图像的分类结果。
如图2所示,为本公开实施例提供的一种模型的半监督训练方法的一个实施例的流程图,模型的半监督训练方法可以配置为一装置,对应的模型的半监督训练装置可以位于电子设备中。其中,模型的半监督训练方法可以包括以下几个步骤:
201:采用有标签图像样本对待训练的图像分类模型进行训练,获得第一分类模型,第一分类模型为第一次训练后的分类模型。
可选地,采用有标签图像样本对待训练的图像分类模型进行训练的步骤可以包括:对待训练的图像分类模型进行模型初始化,以将有标签样输入到初始化的模型进行分类处理,获得有标签图像样本的分类结果,并利用分类结果和有标签图像样本的图像样本标签对模型参数进行更新,直至模型收敛。
有标签图像样本对待训练的图像分类模型进行训练为待训练的图像分类模型的第一次训练,可以初步获得第一分类模型。
202:确定两个无标签图像样本为一组,获得目标图像样本组。
可选地,可以提供无标签图像样本数据库,无标签图像样本数据库中可以存储多个无标签图像样本。可以从无标签图像样本数据库中随机选择两个无标签图像样本为一组,获得目标图像样本组。目标图像样本组可以包括一组或多组,本实施例中对目标图像样本组的数量并不做出过多限定,第一分类模型可以学习每个目标图像样本组的图像样本特征,以提升分类模型的模型精度,使得分类模型能够对各类图像样本准确分类。
目标图像样本组中两个无标签图像样本可以为同一类无标签图像样本,也可以为不同类型的无标签图像样本。本实施例中对目标图像样本组中两个无标签图像样本的图像类型并不作出过多限定。
203:以目标图像样本组中两个无标签图像样本互为标签对第一分类模型进行训练,获得第二分类模型,第二分类模型为第二次训练后的分类模型。
其中,两个无标签图像样本互为标签可以指两个无标签图像样本分别作为对方的标签以及任意无标签图像样本可以作为其本体的标签。通过将两个无标签图像样本分别作为对方的标签可以使两个无标签图像样本按照双方的特征区别进行训练,提高训练精度。通过将任意无标签图像样本作为其本体的标签可以使该标签按照不同处理方式进行形变处理并将形变处理后的两个形变图像样本互为标签,实现对图像样本自身的特征进行模型训练,提高模型训练精度。
可选地,第二分类模型用于对待分类图像的分类处理以获得待分类图像的分类结果。
本公开实施例中,首先可以采用有标签图像样本对待训练的图像分类模型进行训练,获得第一分类模型,第一分类模型可以为第一次训练后的分类模型,完成分类模型的初步训练。其次可以确定两个无标签图像样本为目标图像样本组,以目标图像样本组中两个无标签图像样本互为标签对第一分类模型进行训练,获得第二分类模型,完成分类模型的第二次训练。通过两次训练可以即利用有标签图像样本并同时利用无标签图像样本,提高无标签图像样本的训练效率和准确性。同时,利用无标签图像样本时,使用两个无标签图像样本互为标签,令第二分类模型中学习到两个无标签图像样本的特征,提高模型训练精度。
为使读者更深刻地理解本公开的实现原理,现结合以下图3、图5对图2所示的实施例进行进一步细化。
作为一个实施例,在执行步骤201,采用有标签样本图像对待训练的图像分类模型进行训练之前,还包括:响应于模型训练请求,获取待训练的图像分类模型。
可选地,模型训练请求可以由使用图像分类模型的用户触发,也可以由电子设备检测到图像分类模型满足训练条件时生成。图像分类模型满足训练条件例如可以包括检测图像分类模型上一次的训练时间与当前时间的时间间隔大于或等于时间间隔阈值,以启动新一次的训练。通过对模型训练请求的启动响应,可以实现待训练的图像分类模型的快速训练,提高图像分类模型的训练效率和准确性。
在某些实施例中,获得第二分类模型之后,还可以包括:
输出第二分类模型。
其中,输出第二分类模型具体可以包括:按照预先设置的文件格式,将第二分类模型的模型参数存储至模型文件中,获得存储有第二分类模型的模型参数的目标模型文件,以在需要使用第二分类模型时,从目标模型文件中读取并解析获得第二分类模型。此外,除进行存储之外,输出第二分类模型还可以包括:显示第二分类模型,以便于用户查看第二分类模型,实现第二分类模型的实时性显示。
本公开实施例中,通过对模型训练请求的启动响应以实现待训练的图像分类模型的自动训练,提高待训练图像分类模型的训练自动化响应。并在获得第二分类模型之后,对第二分类模型进行输出,例如存储到目标模型文件中,可以实现第二分类模型的存储和记录,对第二分类模型的二次查询和利用可以有效提升。
作为一个实施例,图2中的步骤203:以目标图像样本组中两个无标签图像样本互为标签对第一分类模型进行训练,获得第二分类模型,可以包括:
将目标图像样本组中两个无标签图像样本分别进行不同程度的形变处理,获得两个无标签图像样本分别对应的形变图像对;
基于第一分类模型,对两个形变图像对的形变图像进行分类处理,获得两个形变图像对分别对应的处理结果;
根据两个形变图像对分别对应的处理结果,以及两个处理结果之间的结果差异,对第一分类模型进行更新,获得第二分类模型。
可选地,将目标图像样本组中两个无标签图像样本分别进行不同程度的形变处理,可以包括将目标图像相应组中两个无标签图像样本分别进行两种或者两种以上不同程度的形变处理。形变程度可以指对图像样本的改变的度量变化。形变程度越高,形变后的图像样本与原图像样本的差异越大。形变程度越低,形变后的图像样本与原图像样本的差异越小。
作为一种可选实施方式,一组变形图像对可以包括原始无标签图像样本经两种程度的形变处理后获得的第一变形图像以及第二变形图像。两种程度的变形处理可以包括第一变形处理以及第二变形处理。其中,第一变形处理的变形程度低于第二变形处理的变形程度,因此,第一变形处理获得的第一变形图像的变形程度低于第二变形处理获得的第二变形图像的变形程度。变形图像对中的第一变形图像的变形程度低于第二变形图像的变形程度。形变处理可以包括:增加噪声、裁剪、旋转、拼接等图像处理方式中的至少一种。
第一组变形图像对可以包括第一个无标签图像样本对应的第一变形图像以及第二变形图像。
第二组变形图像对可以包括第二个无标签图像样本对应的第一变形图像以及第二变形图像。
无标签图像样本可以为无标签图像,无标签图像可以指图像中的对象未被标记。
本公开实施例中,通过采用不同程度的形变处理的方式对两个无标签图像样本分别进行处理,获得无标签图像样本的两个形变图像,由于两个形变图像由同一无标签图像样本形变处理获得,因此可以互为标签。基于第一分类模型可以对两个形变图像对分别进行图像分类处理,两个形变图像对分别对应的处理结果,结合两个处理结果之间的结果差异对第一分类模型进行更新,获得第二分类模型,提高第二分类模型的模型训练精度和准确度。
如图3所示,为本公开实施例提供的一种模型的半监督训练方法的又一个实施例的流程图,与前述实施例的不同之处在于,形变图像对包括第一形变图像和第二形变图像,处理结果包括两个形变图像的图像特征和目标类别;根据两个形变图像对分别对应的处理结果,以及两个处理结果之间的结果差异,对第一分类模型进行更新,获得第二分类模型,可以包括:
301:根据两个形变图像对分别对应的第一形变图像的图像特征和目标类别,计算两个形变图像对之间的特征误差,获得第一损失值。
302:根据第一组形变图像对中两个形变图像的图像特征和目标类别,对第一组形变图像对进行损失计算,获得第二损失值。
303:根据第二组形变图像对中两个形变图像的图像特征和目标类别,对第二组形变图像对进行损失计算,获得第三损失值。
304:利用第一损失值、第二损失值和第三损失值,对第一分类模型进行反馈更新,获得第二分类模型。
第一损失值可以为两个第一形变图像分别对应的图像特征进行特征误差计算获得。
第二损失值可以包括第一组形变图像对中两个形变图像的特征损失和类别损失。
第三损失值可以包括第二组形变图像对中两个形变图像的特征损失和类别损失。
本公开实施例中,对第一分类模型进行二次训练,采用了第一损失值、第二损失值和第三损失值三个损失值对模型进行反馈更新,使得模型能够从不同的角度学习到两个形变图像对之间的特征,令两个形变图像对对分类模型进行训练,提高分类模型的训练准确度。
作为一个实施例,根据第一损失值、第二损失值和第三损失值,对第一分类模型进行反馈更新,获得第二分类模型,包括:
对第一损失值、第二损失值和第三损失值进行加权求和,获得目标损失值;
响应于确定目标损失值满足收敛条件,确定第一分类模型为第二分类模型;
响应于确定目标损失值不满足收敛条件,基于目标损失值,更新第一分类模型,返回执行将目标图像样本组中两个无标签图像样本分别进行不同程度的形变处理,获得两个无标签图像样本分别对应的形变图像对。
可选地,可以设置第一损失值、第二损失值和第三损失值各自对应的权重均为1,直接将第一损失值、第二损失值和第三损失值相加,获得目标损失值。
当然,第一损失值、第二损失值和第三损失值各自对应的权重也可以根据需求设置为其它数值。
目标损失值是否满足收敛条件可以指目标损失值是否小于收敛阈值,响应于确定目标损失值小于收敛阈值,确定满足收敛条件,响应于确定目标损失值大于或等于收敛阈值,确定不满足收敛条件。
本公开实施例中,在对第一分类模型进行反馈更新时,可以根据第一损失值、第二损失值和第三损失值的加权求和,获得目标损失值。以利用目标损失值是否满足收敛条件对第一分类模型进行更新,获得第二分类模型,提高模型训练精度和准确性。
在某些实施例中,根据两个形变图像对分别对应的第一形变图像的图像特征和目标类别,计算两个形变图像对之间的特征误差,获得第一损失值,包括:
响应于确定两个形变图像对分别对应第一形变图像的目标类别相同,基于类内损失计算策略,对两个形变图像对分别对应第一形变图像的图像特征进行空间损失计算,获得第一损失值;
响应于确定两个形变图像对分别对应第一形变图像的目标类别不同,基于类间损失计算策略,对两个形变图像对分别对应第一形变图像的图像特征进行损失计算,获得第一损失值。
对于同一类的图像,其对应的图像特征的距离越小,对于不同类的图像其对应的图像特征距离越大。
类内损失计算策略可以为属于同一类别的两个第一形变图像对应的损失计算公式对应的计算策略。
类间损失计算策略可以为属于不同类别的两个第一形变图像对应的损失计算公式对应的计算策略。
类内损失计算策略和类间损失计算策略的损失计算公式不同。
无论是类间损失计算策略还是类内损失计算策略,均可以先使用距离公式进行两个形变图像的特征距离计算之后,再利用特征距离按照各自的损失计算公式执行损失计算。
两个形变图像对分别对应第一形变图像的目标类别相同可以指两个形变图像对分别对应第一形变图像具有相同的类别标签。两个形变图像对分别对应第一形变图像的目标类别不同可以指两个形变图像对分别对应第一形变图像的类别标签不同。
本公开实施例中,对于两个形变图像对分别对应的第一形变图像而言,响应于两个形变图像对分别对应的第一形变图像的目标类别相同,可以采用类内损失计算策略对两个第一形变图像进行损失计算,获得第二损失值,响应于两个形变图像对分别对应的第一形变图像的目标类别不同,可以采用类间损失策略对两个不同类别的第一形变图像进行损失计算,获得第一损失值。通过对两个第一形变图像的类别标签的相同与否进行分析,可以以实现不同类别分类结果的利用,提高损失值的计算效率和准确性。
作为一种可选实施方式,基于类内损失计算策略,对两个形变图像对分别对应第一形变图像的图像特征进行空间损失计算,获得第一损失值,包括:
对两个形变图像对分别对应第一形变图像的图像特征进行特征距离计算,获得特征空间距离;
计算特征空间距离与预设距离阈值的差值,以获得第一距离差值;
从预设数值和第一距离差值中确定最大值为第一损失值。
可选地,本公开实施例中的特征距离计算可以使用距离公式实现特征距离的计算,距离公式可以包括欧式距离公式、曼哈顿距离公式等,本实施例中对距离公式的具体类型并不作出过多限定。
可选地,类内损失计算策略计算第一损失值时,可以使用下列公式表示:
Loss 1=max(0,e(a1,b1)–margin);
其中,Loss 1指代第一损失值。e(a1,b1)指代特征空间距离,margin为距离阈值。a1为第一组形变图像对的第一形变图像,b1为第二组形变图像对的第一形变图像。
本公开实施例中,对两个形变图像对分别对应的第一形变图像进行损失值计算时,可以利用两个第一形变图像的图像特征进行特征距离的计算,获得特征空间距离,通过特征空间距离与预设距离阈值的差值,获得第一距离差值,以从预设数值和第一距离差值中确定最大值为第一损失值,两个相同类别的图像的空间距离较小,将获得的特征空间距离与预设距离阈值差值计算结果可以小于预设数值,此差值计算结果,也即第一距离差值是失真的,因此,可以从第一距离差值和预设数值中确定最大值为第一损失值,利用预设数值约束第一距离差值,避免第一距离差值异常出现损失计算失误,实现对第一损失值的准确确定。
作为一种可选实施方式,基于类间损失计算策略,对两个形变图像对分别对应第一形变图像的图像特征进行损失计算,获得第一损失值,包括:
对两个形变图像对分别对应第一形变图像的图像特征进行特征距离计算,获得特征空间距离;
计算距离阈值与特征空间距离的差值,以获得第二距离差值;
从预设数值和特征空间距离阈值中确定最小值为第一损失值。
关于特征距离的计算可以参考上述实施例的描述,在此不再赘述。
可选地,类间损失计算策略计算第一损失值时,可以使用下列公式表示:
Loss 1=min(0,margin-e(a1,b1))
其中,Loss 1指代第一损失值。e(a1,b1)指代特征空间距离,margin为距离阈值。a1为第一组形变图像对的第一形变图像,b1为第二组形变图像对的第一形变图像。
本公开实施例中,对两个形变图像对分别对应的第一形变图像进行损失值计算时,可以利用两个第一形变图像的图像特征进行特征距离的计算,获得特征空间距离,通过预设距离与特征空间距离的差值,获得第二距离差值,以从预设数值和第二距离差值中确定最小值为第一损失值,两个不同类别的图像的空间距离较大,将获得的特征空间距离与预设距离阈值差值计算结果可以大于预设数值,此差值计算结果,也即第二距离差值作为损失值是失真的,因此,可以从第一距离差值和预设数值中确定最小值为第一损失值,利用预设数值约束第二距离差值,避免第二距离差值异常出现损失计算失误,实现对第一损失值的准确确定。
为了便于理解,如图4所示,为本公开实施例提供的一种模型的半监督训练方法的流程示例图,电子设备401中可以执行模型的半监督训练方法,具体可以是利用有标签数据402对分类模型进行初步训练,获得第一分类模型。从无标签数据403中确定两个无标签图像对应的目标图像样本组404,假设目标图像样本组404中可以包括图像a和图像b。不同程度的形变处理具体以两种形变程度的图像处理为例,可以分别对图像a和图像b进行两种程度的形变处理,获得第一组形变图像和第二组形变图像。其中,每组形变图像中可以包括第一形变图像和第二形变图像。可以将各个形变图像输入到第一分类模型,获得各形变图像的图像特征和目标类别。其中,图像a对应的第一形变图像的图像特征和目标类别405,第二形变图像的图像特征和目标类别406。图像b对应的第一形变图像的图像特征和目标类别407,第二形变图像的图像特征和目标类别408。其中,图像a和图像b各自的第一形变图像对应的图像特征和目标类别405和407可以用于计算第一损失值,图像a对应的第一组形变图像对的两个形变图像各自的图像特征和目标类别405和406可以用于计算第二损失值,图像b对应的第二组形变图像对的两个形变图像各自的图像特征和目标类别407和408可以用于计算第三损失值。第一损失值、第二损失值和第三损失值的加权结果可以用于对分类模型的反馈更新,以获得准确的分类模型。
作为一个实施例,根据两个形变图像对分别对应的第一形变图像的图像特征和目标类别,计算两个形变图像对之间的误差,获得第一损失值,包括:
根据两个形变图像对分别对应第一形变图像的目标类别,确定两个形变图像对分别对应第一形变图像的目标类别的类别置信度;
响应于确定两个形变图像对分别对应第一形变图像的目标类别的类别置信度均大于置信度阈值,根据两个形变图像对分别对应的第一形变图像的图像特征和目标类别,计算两个形变图像对之间的误差,获得第一损失值。
在利用两个形变图像对进行损失计算之前,可以对两个形变图像对是否有效进行检测,具体可以是根据两个形变图像分别对应的第一形变图像的目标类别的置信度分别与置信度阈值比较,响应于确定均大于置信度阈值,说明两个形变图像对有效,两个形变图像对无效。
确定两个形变图像对分别对应第一形变图像的目标类别的类别置信度均大于置信度阈值具体可以使用公式表示为:Q-a1>t并且Q-b1>t,其中,Q-a1为第一组形变对象对的第一形变图像的目标类别的类别置信度,Q-b1为第二组形变图像对的第一形变图像的目标类别对应的类别置信度。t为置信度阈值。
类别置信度可以表征目标类别的可靠程度。
可选地,响应于确定两个形变图像对分别对应第一形变图像的目标类别的类别置信度中任意类别置信度小于置信度阈值,确定预设数值为第一损失值。
本公开实施例中,可以根据两个形变图像对象分别对应第一形变图像的目标别对应的类别置信度,类别置信度可以为形变图像的类别有效程度,通过类别置信度与置信度阈值的比较,可以对两个形变图像对分别对应第一形变图像是否稳定进行检测,并在大于置信度阈值,也即较为稳定时,使用图像特征和目标类别两种信息对两个形变图像对之间的误差进行计算,获得第一损失值,实现对第一损失值的准确计算。
作为又一个实施例,处理结果还包括目标类别的类别置信度,根据第一组形变图像对中两个形变图像的图像特征和目标类别,对第一组形变图像对进行损失计算,获得第二损失值,包括:
响应于确定第一组形变图像对中第一形变图像的目标类别对应类别置信度大于置信度阈值,执行根据第一组形变图像对中两个形变图像的图像特征和目标类别,对第一组形变图像对进行损失计算,获得第二损失值;
根据第二组形变图像对中两个形变图像的图像特征和目标类别,对第二组形变图像对进行损失计算,获得第三损失值,包括:
响应于确定第二组形变图像对中第一形变图像的目标类别对应类别置信度大于置信度阈值,执行根据第二组形变图像对中两个形变图像的图像特征和目标类别,对第二组形变图像对进行损失计算,获得第三损失值。
关于类别置信度与置信度阈值的判断可以参考上述实施例的描述,在此不再赘述。
分类模型可以为深度学习模型、神经网络模型等,分类模型可以包括特征层和输出层。经过特征层的处理可以得到图像特征,图像特征可以输入到输出层进行类别预测,得到目标类别。也即,经过分类模型的特征层可以得到图像特征,经过输出层可以得到目标类别。本技术方案中对分类模型的具体类型并不做出过多限定。
本公开实施例中,可以对第一组形变图像对中第一形变图像的目标类别对应的类别置信度进行独立比较,以在类别置信度大于置信度阈值时,利用第一组形变图像进行损失计算,通过置信度阈值的判断可以对第一组形变图像是否能够参与到损失计算进行度量,提高第二损失值的准确度。同时,还对第二组形变图像对的第一形变图像的目标类别对应置信度进行独立比较,在置信度大于置信度阈值时,利用第二组形变图像对进行损失计算,通过置信度阈值的判断可以对第二组形变图像是否能够参与到损失计算进行独立,提高第三损失值的计算准确度。通过准确的第二损失值和第三损失值可以对分类模型进行更准确地训练,提高分类模型的训练精度。
在一种可能的设计中,根据第一组形变图像对中两个形变图像的图像特征和目标类别,对第一组形变图像对进行损失计算,获得第二损失值,包括:
对第一组形变图像对中两个形变图像的图像特征进行特征距离计算,获得第一距离误差;
根据第一组形变图像对中两个形变图像的目标类别对应的类别差异,计算第一组形变图像对的第一类别误差;
将第一距离误差和第一类别误差进行加权求和,获得第二损失值。
可选地,第二损失值可以使用下列公式表示:
Loss 2=max(0,e(a1,a2)–margin)+loss(label+a1)
其中,Loss 2为第二损失值。max(0,e(a1,a2)–margin)为第一距离误差,loss(label+a1)为第一类别误差。
本公开实施例中,对第一组形变图像对中两个形变图像的图像特征进行特征距离计算,获得第一距离误差,此外还从第一组形变图像对两个形变图像的目标类别对应的类别差异计算第一类别误差,实现从特征距离和类别差异对第一组形变图像对的两个形变图像的准确误差计算,获得第一组形变图像对应的第二损失值,完成对第二损失值的准确计算。
作为一种可能的实现方式,对第一组形变图像对中两个形变图像的图像特征进行特征距离计算,获得第一距离误差,包括:
确定第一组形变图像对的第一形变图像对应目标类别的类别置信度;
响应于确定类别置信度大于置信度阈值,对第一组形变图像对两个形变图像两个自的图像特征进行特征距离计算,获得第一特征距离;
计算第一特征距离与预设距离阈值的差值,以获得第一数值;
从预设数值和第一数值中确定最大值为第一距离误差。
第一距离误差可以使用max(0,e(a1,a2)–margin)表示,其中,e(a1,a2)为第一特征距离,margin为距离阈值。
第一组形变图像对的第一形变对象对应目标类别的类别置信度可以表示为:Q-a1,t为置信度阈值,类别置信度大于置信度阈值的公式可以为:Q-a1>t。
可选地,响应于确定第一组形变图像对的第一形变图像的目标类别的类别置信度小于置信度阈值,确定预设数值为第二损失值。
本公开实施例中,对第一组形变图像对两个图像特征进行距离误差计算时,可以先对第一组形变图像的第一形变图像对应目标类别的类别置信度进行距离阈值的判断,类别置信度大于置信度阈值的差值可以进行距离误差计算,以使用距离阈值对第一形变图像的特征距离进行误差计算,实现以距离阈值作为误差计算的基础,获得第一特征距离和距离阈值之间的第一数值,从预设数值和第一数值中确定最大值为第一距离误差,利用预设数值对第一数值进行约束,使得第二距离误差满足预设数值对应的约束条件,提高第二距离误差的计算准确度。
在又一种可能的设计中,根据第二组形变图像对中两个形变图像的图像特征和目标类别,对第二组形变图像对进行损失计算,获得第三损失值,包括:
对第二组形变图像对中两个形变图像的图像特征进行特征距离计算,获得第二距离误差;
根据第二组形变图像对中两个形变图像的目标类别对应的类别差异,计算第二组形变图像对的第二类别误差;
将第二距离误差和第二类别误差进行加权求和,获得第三损失值。
可选地,第三损失值可以使用下列公式表示:
Loss 3=max(0,e(b1,b2)–margin)+loss(label+b1)
其中,Loss 3为第二损失值。max(0,e(b1,b2)–margin)为第二距离误差,loss(label+b1)为第二类别误差。
本公开实施例中,对第二组形变图像对中两个形变图像的图像特征进行特征距离计算,获得第二距离误差,此外还从第二组形变图像对两个形变图像的目标类别对应的类别差异计算第二类别误差,实现从特征距离和类别差异对第二组形变图像对的两个形变图像的准确误差计算,获得第二组形变图像对应的第三损失值,完成对第三损失值的准确计算。
作为一种可能的实现方式,对第二组形变图像对中两个形变图像的图像特征进行特征距离计算,获得第二距离误差,包括:
确定第二组形变图像对的第一形变图像对应目标类别的类别置信度;
响应于确定类别置信度大于置信度阈值,对第二组形变图像对两个形变图像两个自的图像特征进行特征距离计算,获得第二特征距离;
计算第二特征距离与预设距离阈值的差值,以获得第二数值;
从预设数值和第二数值中确定最大值为第二距离误差。
第二距离误差可以使用max(0,e(b1,b2)–margin)表示,其中,e(b1,b2)为第二特征距离,margin为距离阈值。
可选地,本技术方案中可以采用置信度计算公式,计算各目标类别的类别置信度。
可选地,响应于确定第二组形变图像对的第一形变图像的目标类别的类别置信度小于置信度阈值,确定预设数值为第三损失值。
本公开实施例中,对第二组形变图像对两个图像特征进行距离误差计算时,可以先对第二组形变图像的第二形变图像对应目标类别的类别置信度进行距离阈值的判断,类别置信度大于置信度阈值的差值可以进行距离误差计算,以使用距离阈值对第二形变图像的特征距离进行误差计算,实现以距离阈值作为误差计算的基础,获得第二特征距离和距离阈值之间的第二数值,从预设数值和第二数值中确定最大值为第二距离误差,利用预设数值对第二数值进行约束,第二距离误差满足预设数值对应的约束条件,提高第二距离误差的计算准确度。
如图5所示,为本公开实施例提供的一种分类方法的一个实施例的流程图,该分类方法可以配置为一分类装置,分类装置可以位于电子设备中。该分类方法,可以包括以下几个步骤:
501:获取待分类图像;
502:将待分类图像输入第二分类模型,获得第二分类模型对待分类图像的分类结果,第二分类模型为实施例所提供的模型的半监督训练方法训练获得;
503:显示待分类图像的分类结果。
可选地,获取待分类图像可以包括:响应于图像分类请求,获得待分类图像。
可选地,还包括:从第二分类模型的目标模型文件中读取并解析获得第二分类模型。目标模型文件可以为基于上述实施例提供的模型的半监督训练方法训练完成并按照预先设置的文件格式,将第二分类模型的模型参数存储至模型文件中,获得存储有第二分类模型的模型参数的目标模型文件。
本公开实施例中,利用上述经过两次训练获得的第二分类模型对待分类图像进行分类处理,获得待分类图像的分类结果,以显示待分类图像的分类结果。通过对待分类图像进行分类处理,提高待分类图像的处理效率和准确性。
如图6所示,为本公开实施例提供的一种模型的半监督训练装置的一个实施例的结构示意图,该装置可以配置有上述实施例的半监督训练方法,半监督训练装置可以位于电子设备中。其中,模型的半监督训练装置可以包括:
第一训练单元601:用于采用有标签图像样本对待训练的图像分类模型进行训练,获得第一分类模型,第一分类模型为第一次训练后的分类模型;
样本确定单元602:用于确定两个无标签图像样本为一组,获得目标图像样本组;
第二训练单元603:用于以目标图像样本组中两个无标签图像样本互为标签对第一分类模型进行训练,获得第二分类模型,第二分类模型为第二次训练后的分类模型。
作为一个实施例,第二训练单元,包括:
图像形变模块,用于将目标图像样本组中两个无标签图像样本分别进行不同程度的形变处理,获得两个无标签图像样本分别对应的形变图像对;
分类处理模块,用于基于第一分类模型,对两个形变图像对的形变图像进行分类处理,获得两个形变图像对分别对应的处理结果;
模型更新模块,用于根据两个形变图像对分别对应的处理结果,以及两个处理结果之间的结果差异,对第一分类模型进行更新,获得第二分类模型。
作为一种实时方式,形变图像对包括第一形变图像和第二形变图像,处理结果包括两个形变图像的图像特征和目标类别;模型更新模块,包括:
第一计算子模块,用于根据两个形变图像对分别对应的第一形变图像的图像特征和目标类别,计算两个形变图像对之间的特征误差,获得第一损失值;
第二计算子模块,用于根据第一组形变图像对中两个形变图像的图像特征和目标类别,对第一组形变图像对进行损失计算,获得第二损失值;
第三计算子模块,用于根据第二组形变图像对中两个形变图像的图像特征和目标类别,对第二组形变图像对进行损失计算,获得第三损失值;
模型更新子模块,用于利用第一损失值、第二损失值和第三损失值,对第一分类模型进行反馈更新,获得第二分类模型。
在某些实施例中,模型更新子模块,具体用于:
对第一损失值、第二损失值和第三损失值进行加权求和,获得目标损失值;
响应于确定目标损失值满足收敛条件,确定第一分类模型为第二分类模型;
响应于确定目标损失值不满足收敛条件,基于目标损失值,更新第一分类模型,返回执行将目标图像样本组中两个无标签图像样本分别进行不同程度的形变处理,获得两个无标签图像样本分别对应的形变图像对。
在一种可能的设计中,第一计算子模块,具体用于:
响应于确定两个形变图像对分别对应第一形变图像的目标类别相同,基于类内损失计算策略,对两个形变图像对分别对应第一形变图像的图像特征进行空间损失计算,获得第一损失值;
响应于确定两个形变图像对分别对应第一形变图像的目标类别不同,基于类间损失计算策略,对两个形变图像对分别对应第一形变图像的图像特征进行损失计算,获得第一损失值。
在某些实施例中,第一计算子模块,具体用于:
对两个形变图像对分别对应第一形变图像的图像特征进行特征距离计算,获得特征空间距离;
计算特征空间距离与预设距离阈值的差值,以获得第一距离差值;
从预设数值和特征空间距离差值中确定最大值为第一损失值。
在某些实施例中,第一计算子模块,具体用于:
对两个形变图像对分别对应第一形变图像的图像特征进行特征距离计算,获得特征空间距离;
计算距离阈值与特征空间距离的差值,以获得第二距离差值;
从预设数值和特征空间距离阈值中确定最小值为第一损失值。
作为一种可选实施方式,第一计算子模块,具体用于:
根据两个形变图像对分别对应第一形变图像的目标类别,确定两个形变图像对分别对应第一形变图像的目标类别的类别置信度;
响应于确定两个形变图像对分别对应第一形变图像的目标类别的类别置信度均大于置信度阈值,根据两个形变图像对分别对应的第一形变图像的图像特征和目标类别,计算两个形变图像对之间的误差,获得第一损失值。
在某些实施例中,处理结果包括目标类别的类别置信度,第二计算子模块,具体用于:
响应于确定第一组形变图像对中第一形变图像的目标类别对应类别置信度大于置信度阈值,根据第一组形变图像对中两个形变图像的图像特征和目标类别,对第一组形变图像对进行损失计算,获得第二损失值;
第三计算子模块,具体用于:
响应于确定第二组形变图像对中第一形变图像的目标类别对应类别置信度大于置信度阈值,执行根据第二组形变图像对中两个形变图像的图像特征和目标类别,对第二组形变图像对进行损失计算,获得第三损失值。
在某些实施例中,第二计算子模块,具体用于:
对第一组形变图像对中两个形变图像的图像特征进行特征距离计算,获得第一距离误差;
根据第一组形变图像对象中第一形变图像的目标类别对应的类别差异,计算第一组形变图像对的第一类别误差;
将第一距离误差和第一类别误差进行加权求和,获得第二损失值。
作为一种可选实施方式,第二计算子模块,具体用于:
确定第一组形变图像对的第一形变图像对应目标类别的类别置信度;
响应于确定类别置信度大于置信度阈值,对第一组形变图像对两个形变图像两个自的图像特征进行特征距离计算,获得第一特征距离;
计算第一特征距离与预设距离阈值的差值,以获得第一数值;
从预设数值和第一数值中确定最大值为第一距离误差。
作为又一个实施例,第三计算子模块,具体用于:
确定第二组形变图像对的第一形变图像对应目标类别的类别置信度;
响应于确定类别置信度大于置信度阈值,对第二组形变图像对两个形变图像两个自的图像特征进行特征距离计算,获得第二特征距离;
计算第二特征距离与预设距离阈值的差值,以获得第二数值;
从预设数值和第二数值中确定最大值为第二距离误差。
如图7所示,为本公开实施例提供的一种分类装置的一个实施例的结构示意图,该分类装置可以配置有上述实施例的分类方法,分类装置可以位于电子设备中,其中,分类装置可以包括:
图像获取单元701:用于获取待分类图像;
图像分类单元702:用于将待分类图像输入第二分类模型,获得第二分类模型对待分类图像的分类结果,第二分类模型基于上述实施例的模型的半监督训练方法训练获得;
结果显示单元703:用于显示待分类图像的分类结果。
可选地,还包括:模型获取单元,用于从第二分类模型的目标模型文件中读取并解析获得第二分类模型。
可选地,获取待分类图像可以包括:响应于图像分类请求,获得待分类图像。
本公开的装置可以用于实现上述方法,关于各个步骤的详细内容可以参考上述方法的相关实施例。
需要说明的是,本实施例中的分类模型并不是针对某一特定用户的分类模型,并不能反映出某一特定用户的个人信息。需要说明的是,本实施例中的图像来自于公开数据集。
本公开的技术方案中,所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理,均符合相关法律法规的规定,且不违背公序良俗。
根据本公开的实施例,本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
根据本公开的实施例,本公开还提供了一种计算机程序产品,计算机程序产品包括:计算机程序,计算机程序存储在可读存储介质中,电子设备的至少一个处理器可以从可读存储介质读取计算机程序,至少一个处理器执行计算机程序使得电子设备执行上述任一实施例提供的方案。
电子设备可以包括前述实施例中的第一电子设备和第二电子设备。
图8示出了可以用来实施本公开的实施例的示例电子设备800的示意性框图。电子设备旨在表示两个种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示两个种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图8所示,设备800包括计算单元801,其可以根据存储在只读存储器(ROM)802中的计算机程序或者从存储单元808加载到随机访问存储器(RAM)803中的计算机程序,来执行两个种适当的动作和处理。在RAM 803中,还可存储设备800操作所需的两个种程序和数据。计算单元801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。
设备800中的多个部件连接至I/O接口805,包括:输入单元806,例如键盘、鼠标等;输出单元807,例如两个种类型的显示器、扬声器等;存储单元808,例如磁盘、光盘等;以及通信单元809,例如网卡、调制解调器、无线通信收发机等。通信单元809允许设备800通过诸如因特网的计算机网络和/或两个种电信网络与其他设备交换信息/数据。
计算单元801可以是两个种具有处理和计算能力的通用和/或专用处理组件。计算单元801的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、两个种专用的人工智能(AI)计算芯片、两个种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元801执行上文所描述的方法和处理,例如模型的半监督训练方法。例如,在一些实施例中,模型的半监督训练方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元808。在一些实施例中,计算机程序的部分或者全部可以经由ROM 802和/或通信单元809而被载入和/或安装到设备800上。当计算机程序加载到RAM 803并由计算单元801执行时,可以执行上文描述的模型的半监督训练方法的一个或多个步骤。备选地,在其他实施例中,计算单元801可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行模型的半监督训练方法。
本文中以上描述的系统和技术的两个种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些两个种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,又称为云计算服务器或云主机,是云计算服务体系中的一项主机产品,以解决了传统物理主机与VPS服务("Virtual Private Server",或简称"VPS")中,存在的管理难度大,业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器,或者是结合了区块链的服务器。
应该理解,可以使用上面所示的两个种形式的流程,重新排序、增加或删除步骤。例如,本发公开中记载的两个步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本公开公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本公开保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行两个种修改、组合、子组合和替代。任何在本公开的精神和原之内所作的修改、等同替换和改进等,均应包含在本公开保护范围之内。
Claims (28)
1.一种模型的半监督训练方法,包括:
采用有标签图像样本对待训练的图像分类模型进行训练,获得第一分类模型,所述第一分类模型为第一次训练后的分类模型;
确定两个无标签图像样本为一组,获得目标图像样本组;
以所述目标图像样本组中两个无标签图像样本互为标签对所述第一分类模型进行训练,获得第二分类模型,所述第二分类模型为第二次训练后的分类模型;
其中,所述以所述目标图像样本组中两个无标签图像样本互为标签对所述第一分类模型进行训练,获得第二分类模型,包括:
将所述目标图像样本组中两个无标签图像样本分别进行两种程度的形变处理,获得两个无标签图像样本分别对应的形变图像对;
基于所述第一分类模型,对两个形变图像对的形变图像进行分类处理,获得所述两个形变图像对分别对应的处理结果;
根据所述两个形变图像对分别对应的处理结果,以及两个处理结果之间的结果差异,对所述第一分类模型进行更新,获得所述第二分类模型。
2.根据权利要求1所述的方法,其中,所述形变图像对包括第一形变图像和第二形变图像,所述处理结果包括两个形变图像的图像特征和目标类别;
所述根据所述两个形变图像对分别对应的处理结果,以及两个处理结果之间的结果差异,对所述第一分类模型进行更新,获得所述第二分类模型,包括:
根据所述两个形变图像对分别对应的第一形变图像的图像特征和目标类别,计算所述两个形变图像对之间的特征误差,获得第一损失值;
根据第一组形变图像对中两个形变图像的图像特征和目标类别,对所述第一组形变图像对进行损失计算,获得第二损失值;
根据第二组形变图像对中两个形变图像的图像特征和目标类别,对所述第二组形变图像对进行损失计算,获得第三损失值;
利用所述第一损失值、所述第二损失值和所述第三损失值,对所述第一分类模型进行反馈更新,获得所述第二分类模型。
3.根据权利要求2所述的方法,其中,所述根据所述第一损失值、所述第二损失值和所述第三损失值,对所述第一分类模型进行反馈更新,获得所述第二分类模型,包括:
对所述第一损失值、第二损失值和所述第三损失值进行加权求和,获得目标损失值;
响应于确定所述目标损失值满足收敛条件,确定所述第一分类模型为所述第二分类模型;
响应于确定所述目标损失值不满足收敛条件,基于所述目标损失值,更新所述第一分类模型,返回执行所述将所述目标图像样本组中两个无标签图像样本分别进行不同程度的形变处理,获得两个无标签图像样本分别对应的形变图像对。
4.根据权利要求2所述的方法,其中,所述根据所述两个形变图像对分别对应的第一形变图像的图像特征和目标类别,计算所述两个形变图像对之间的特征误差,获得第一损失值,包括:
响应于确定所述两个形变图像对分别对应第一形变图像的目标类别相同,基于类内损失计算策略,对所述两个形变图像对分别对应第一形变图像的图像特征进行空间损失计算,获得所述第一损失值;
响应于确定所述两个形变图像对分别对应第一形变图像的目标类别不同,基于类间损失计算策略,对所述两个形变图像对分别对应第一形变图像的图像特征进行损失计算,获得所述第一损失值。
5.根据权利要求4所述的方法,其中,所述基于类内损失计算策略,对所述两个形变图像对分别对应第一形变图像的图像特征进行空间损失计算,获得所述第一损失值,包括:
对所述两个形变图像对分别对应第一形变图像的图像特征进行特征距离计算,获得特征空间距离;
计算所述特征空间距离与预设距离阈值的差值,以获得第一距离差值;
从预设数值和所述特征空间距离差值中确定最大值为所述第一损失值。
6.根据权利要求4所述的方法,其中,所述基于类间损失计算策略,对所述两个形变图像对分别对应第一形变图像的图像特征进行损失计算,获得所述第一损失值,包括:
对所述两个形变图像对分别对应第一形变图像的图像特征进行特征距离计算,获得特征空间距离;
计算距离阈值与所述特征空间距离的差值,以获得第二距离差值;
从预设数值和所述特征空间距离阈值中确定最小值为所述第一损失值。
7.根据权利要求2-6任一项所述的方法,其中,所述根据所述两个形变图像对分别对应的第一形变图像的图像特征和目标类别,计算所述两个形变图像对之间的误差,获得第一损失值,包括:
根据所述两个形变图像对分别对应第一形变图像的目标类别,确定所述两个形变图像对分别对应第一形变图像的目标类别的类别置信度;
响应于确定所述两个形变图像对分别对应第一形变图像的目标类别的类别置信度均大于置信度阈值,根据所述两个形变图像对分别对应的第一形变图像的图像特征和目标类别,计算所述两个形变图像对之间的误差,获得第一损失值。
8.根据权利要求2-6任一项所述的方法,其中,所述处理结果还包括目标类别的类别置信度,所述根据所述第一组形变图像对中两个形变图像的图像特征和目标类别,对所述第一组形变图像对进行损失计算,获得第二损失值,包括:
响应于确定所述第一组形变图像对中第一形变图像的目标类别对应类别置信度大于置信度阈值,根据所述第一组形变图像对中两个形变图像的图像特征和目标类别,对所述第一组形变图像对进行损失计算,获得第二损失值;
所述根据所述第二组形变图像对中两个形变图像的图像特征和目标类别,对所述第二组形变图像对进行损失计算,获得第三损失值,包括:
响应于确定所述第二组形变图像对中第一形变图像的目标类别对应类别置信度大于置信度阈值,根据所述第二组形变图像对中两个形变图像的图像特征和目标类别,对所述第二组形变图像对进行损失计算,获得第三损失值。
9.根据权利要求2-6任一项所述的方法,其中,所述根据所述第一组形变图像对中两个形变图像的图像特征和目标类别,对所述第一组形变图像对进行损失计算,获得第二损失值,包括:
对所述第一组形变图像对中两个形变图像的图像特征进行特征距离计算,获得第一距离误差;
根据所述第一组形变图像对中两个形变图像的目标类别对应的类别差异,计算所述第一组形变图像对的第一类别误差;
将所述第一距离误差和所述第一类别误差进行加权求和,获得所述第二损失值。
10.根据权利要求9所述的方法,其中,所述对所述第一组形变图像对中两个形变图像的图像特征进行特征距离计算,获得第一距离误差,包括:
确定所述第一组形变图像对的第一形变图像对应目标类别的类别置信度;
响应于确定所述类别置信度大于置信度阈值,对所述第一组形变图像对两个形变图像两个自的图像特征进行特征距离计算,获得第一特征距离;
计算所述第一特征距离与预设距离阈值的差值,以获得第一数值;
从预设数值和所述第一数值中确定最大值为所述第一距离误差。
11.根据权利要求2-6任一项所述的方法,其中,所述根据所述第二组形变图像对中两个形变图像的图像特征和目标类别,对所述第二组形变图像对进行损失计算,获得第三损失值,包括:
对所述第二组形变图像对中两个形变图像的图像特征进行特征距离计算,获得第二距离误差;
根据所述第二组形变图像对中两个形变图像的目标类别对应的类别差异,计算所述第二组形变图像对的第二类别误差;
将所述第二距离误差和所述第二类别误差进行加权求和,获得所述第三损失值。
12.根据权利要求11所述的方法,其中,所述对所述第二组形变图像对中两个形变图像的图像特征进行特征距离计算,获得第二距离误差,包括:
确定所述第二组形变图像对的第一形变图像对应目标类别的类别置信度;
响应于确定所述类别置信度大于置信度阈值,对所述第二组形变图像对两个形变图像两个自的图像特征进行特征距离计算,获得第二特征距离;
计算所述第二特征距离与预设距离阈值的差值,以获得第二数值;
从预设数值和所述第二数值中确定最大值为所述第二距离误差。
13.一种分类方法,包括:
获取待分类图像;
将所述待分类图像输入第二分类模型,获得所述第二分类模型对所述待分类图像的分类结果,所述第二分类模型基于权利要求1-12任一项所述的模型的半监督训练方法训练获得;
显示所述待分类图像的分类结果。
14.一种模型的半监督训练装置,包括:
第一训练单元,用于采用有标签图像样本对待训练的图像分类模型进行训练,获得第一分类模型,所述第一分类模型为第一次训练后的分类模型;
图像样本确定单元,用于确定两个无标签图像样本为一组,获得目标图像样本组;
第二训练单元,用于以所述目标图像样本组中两个无标签图像样本互为标签对所述第一分类模型进行训练,获得第二分类模型,所述第二分类模型为第二次训练后的分类模型;
其中,所述第二训练单元,包括:
图像形变模块,用于将所述目标图像样本组中两个无标签图像样本分别进行不同程度的形变处理,获得两个无标签图像样本分别对应的形变图像对;
分类处理模块,用于基于所述第一分类模型,对两个形变图像对的形变图像进行分类处理,获得所述两个形变图像对分别对应的处理结果;
模型更新模块,用于根据所述两个形变图像对分别对应的处理结果,以及两个处理结果之间的结果差异,对所述第一分类模型进行更新,获得所述第二分类模型。
15.根据权利要求14所述的装置,其中,所述形变图像对包括第一形变图像和第二形变图像,所述处理结果包括两个形变图像的图像特征和目标类别;所述模型更新模块,包括:
第一计算子模块,用于根据所述两个形变图像对分别对应的第一形变图像的图像特征和目标类别,计算所述两个形变图像对之间的特征误差,获得第一损失值;
第二计算子模块,用于根据第一组形变图像对中两个形变图像的图像特征和目标类别,对所述第一组形变图像对进行损失计算,获得第二损失值;
第三计算子模块,用于根据第二组形变图像对中两个形变图像的图像特征和目标类别,对所述第二组形变图像对进行损失计算,获得第三损失值;
模型更新子模块,用于利用所述第一损失值、所述第二损失值和所述第三损失值,对所述第一分类模型进行反馈更新,获得所述第二分类模型。
16.根据权利要求15所述的装置,其中,所述模型更新子模块,具体用于:
对所述第一损失值、第二损失值和所述第三损失值进行加权求和,获得目标损失值;
响应于确定所述目标损失值满足收敛条件,确定所述第一分类模型为所述第二分类模型;
响应于确定所述目标损失值不满足收敛条件,基于所述目标损失值,更新所述第一分类模型,返回执行所述将所述目标图像样本组中两个无标签图像样本分别进行不同程度的形变处理,获得两个无标签图像样本分别对应的形变图像对。
17.根据权利要求15所述的装置,其中,所述第一计算子模块,具体用于:
响应于确定所述两个形变图像对分别对应第一形变图像的目标类别相同,基于类内损失计算策略,对所述两个形变图像对分别对应第一形变图像的图像特征进行空间损失计算,获得所述第一损失值;
响应于确定所述两个形变图像对分别对应第一形变图像的目标类别不同,基于类间损失计算策略,对所述两个形变图像对分别对应第一形变图像的图像特征进行损失计算,获得所述第一损失值。
18.根据权利要求17所述的装置,其中,所述第一计算子模块,具体用于:
对所述两个形变图像对分别对应第一形变图像的图像特征进行特征距离计算,获得特征空间距离;
计算所述特征空间距离与预设距离阈值的差值,以获得第一距离差值;
从预设数值和所述第一距离差值中确定最大值为所述第一损失值。
19.根据权利要求17所述的装置,其中,所述第一计算子模块,具体用于:
对所述两个形变图像对分别对应第一形变图像的图像特征进行特征距离计算,获得特征空间距离;
计算距离阈值与所述特征空间距离的差值,以获得第二距离差值;
从预设数值和所述特征空间距离阈值中确定最小值为所述第一损失值。
20.根据权利要求15-19任一项所述的装置,其中,所述第一计算子模块,具体用于:
根据所述两个形变图像对分别对应第一形变图像的目标类别,确定所述两个形变图像对分别对应第一形变图像的目标类别的类别置信度;
响应于确定所述两个形变图像对分别对应第一形变图像的目标类别的类别置信度均大于置信度阈值,根据所述两个形变图像对分别对应的第一形变图像的图像特征和目标类别,计算所述两个形变图像对之间的误差,获得第一损失值。
21.根据权利要求15-19任一项所述的装置,其中,所述处理结果包括目标类别的类别置信度,所述第二计算子模块,具体用于:
响应于确定所述第一组形变图像对中第一形变图像的目标类别对应类别置信度大于置信度阈值,根据所述第一组形变图像对中两个形变图像的图像特征和目标类别,对所述第一组形变图像对进行损失计算,获得第二损失值;
所述第三计算子模块,具体用于:
响应于确定所述第二组形变图像对中第一形变图像的目标类别对应类别置信度大于置信度阈值,执行根据所述第二组形变图像对中两个形变图像的图像特征和目标类别,对所述第二组形变图像对进行损失计算,获得第三损失值。
22.根据权利要求15-19任一项所述的装置,其中,所述第二计算子模块,具体用于:
对所述第一组形变图像对中两个形变图像的图像特征进行特征距离计算,获得第一距离误差;
根据所述第一组形变图像对象中第一形变图像的目标类别对应的类别差异,计算所述第一组形变图像对的第一类别误差;
将所述第一距离误差和所述第一类别误差进行加权求和,获得所述第二损失值。
23.根据权利要求22所述的装置,其中,所述第二计算子模块,具体用于:
确定所述第一组形变图像对的第一形变图像对应目标类别的类别置信度;
响应于确定所述类别置信度大于置信度阈值,对所述第一组形变图像对两个形变图像两个自的图像特征进行特征距离计算,获得第一特征距离;
计算所述第一特征距离与预设距离阈值的差值,以获得第一数值;
从预设数值和所述第一数值中确定最大值为所述第一距离误差。
24.根据权利要求15-19任一项所述的装置,其中,所述第三计算子模块,具体用于:
对所述第二组形变图像对中两个形变图像的图像特征进行特征距离计算,获得第二距离误差;
根据所述第二组形变图像对中两个形变图像的目标类别对应的类别差异,计算所述第二组形变图像对的第二类别误差;
将所述第二距离误差和所述第二类别误差进行加权求和,获得所述第三损失值。
25.根据权利要求24所述的装置,其中,所述第三计算子模块,具体用于:
确定所述第二组形变图像对的第一形变图像对应目标类别的类别置信度;
响应于确定所述类别置信度大于置信度阈值,对所述第二组形变图像对两个形变图像两个自的图像特征进行特征距离计算,获得第二特征距离;
计算所述第二特征距离与预设距离阈值的差值,以获得第二数值;
从预设数值和所述第二数值中确定最大值为所述第二距离误差。
26.一种分类装置,包括:
图像获取单元,用于获取待分类图像;
图像分类单元,用于将所述待分类图像输入第二分类模型,获得所述第二分类模型对所述待分类图像的分类结果,所述第二分类模型基于权利要求1-12任一项所述的模型的半监督训练方法训练获得;
结果显示单元,用于显示所述待分类图像的分类结果。
27.一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-12或13中任一项所述的方法。
28.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行根据权利要求1-12或13中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211142519.4A CN115471717B (zh) | 2022-09-20 | 2022-09-20 | 模型的半监督训练、分类方法装置、设备、介质及产品 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211142519.4A CN115471717B (zh) | 2022-09-20 | 2022-09-20 | 模型的半监督训练、分类方法装置、设备、介质及产品 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115471717A CN115471717A (zh) | 2022-12-13 |
CN115471717B true CN115471717B (zh) | 2023-06-20 |
Family
ID=84334086
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211142519.4A Active CN115471717B (zh) | 2022-09-20 | 2022-09-20 | 模型的半监督训练、分类方法装置、设备、介质及产品 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115471717B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108959522A (zh) * | 2018-04-26 | 2018-12-07 | 浙江工业大学 | 基于半监督对抗生成网络的迁移检索方法 |
CN111144451A (zh) * | 2019-12-10 | 2020-05-12 | 东软集团股份有限公司 | 一种图像分类模型的训练方法、装置及设备 |
CN114494747A (zh) * | 2022-01-28 | 2022-05-13 | 北京百度网讯科技有限公司 | 模型的训练方法、图像处理方法、装置、电子设备及介质 |
CN114612743A (zh) * | 2022-03-10 | 2022-06-10 | 北京百度网讯科技有限公司 | 深度学习模型的训练方法、目标对象识别方法和装置 |
CN114764874A (zh) * | 2022-04-06 | 2022-07-19 | 北京百度网讯科技有限公司 | 深度学习模型的训练方法、对象识别方法和装置 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2584727B (en) * | 2019-06-14 | 2024-02-28 | Vision Semantics Ltd | Optimised machine learning |
CN110738263B (zh) * | 2019-10-17 | 2020-12-29 | 腾讯科技(深圳)有限公司 | 一种图像识别模型训练的方法、图像识别的方法及装置 |
CN113688665B (zh) * | 2021-07-08 | 2024-02-20 | 华中科技大学 | 一种基于半监督迭代学习的遥感影像目标检测方法及系统 |
CN113989549A (zh) * | 2021-10-21 | 2022-01-28 | 神思电子技术股份有限公司 | 一种基于伪标签的半监督学习图像分类优化方法及系统 |
CN114037876A (zh) * | 2021-12-16 | 2022-02-11 | 马上消费金融股份有限公司 | 一种模型优化方法和装置 |
CN114330588A (zh) * | 2022-01-04 | 2022-04-12 | 杭州网易智企科技有限公司 | 一种图片分类方法、图片分类模型训练方法及相关装置 |
CN114494784A (zh) * | 2022-01-28 | 2022-05-13 | 北京百度网讯科技有限公司 | 深度学习模型的训练方法、图像处理方法和对象识别方法 |
CN114511743B (zh) * | 2022-01-29 | 2023-07-25 | 北京百度网讯科技有限公司 | 检测模型训练、目标检测方法、装置、设备、介质及产品 |
CN114898141A (zh) * | 2022-04-02 | 2022-08-12 | 南京大学 | 一种基于对比损失的多视图半监督图像分类方法 |
CN114970673B (zh) * | 2022-04-19 | 2023-04-07 | 华为技术有限公司 | 一种半监督模型训练方法、系统及相关设备 |
CN114881129A (zh) * | 2022-04-25 | 2022-08-09 | 北京百度网讯科技有限公司 | 一种模型训练方法、装置、电子设备及存储介质 |
-
2022
- 2022-09-20 CN CN202211142519.4A patent/CN115471717B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108959522A (zh) * | 2018-04-26 | 2018-12-07 | 浙江工业大学 | 基于半监督对抗生成网络的迁移检索方法 |
CN111144451A (zh) * | 2019-12-10 | 2020-05-12 | 东软集团股份有限公司 | 一种图像分类模型的训练方法、装置及设备 |
CN114494747A (zh) * | 2022-01-28 | 2022-05-13 | 北京百度网讯科技有限公司 | 模型的训练方法、图像处理方法、装置、电子设备及介质 |
CN114612743A (zh) * | 2022-03-10 | 2022-06-10 | 北京百度网讯科技有限公司 | 深度学习模型的训练方法、目标对象识别方法和装置 |
CN114764874A (zh) * | 2022-04-06 | 2022-07-19 | 北京百度网讯科技有限公司 | 深度学习模型的训练方法、对象识别方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
CN115471717A (zh) | 2022-12-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113033537B (zh) | 用于训练模型的方法、装置、设备、介质和程序产品 | |
WO2020082734A1 (zh) | 文本情感识别方法、装置、电子设备及计算机非易失性可读存储介质 | |
CN113642431A (zh) | 目标检测模型的训练方法及装置、电子设备和存储介质 | |
CN115690443B (zh) | 特征提取模型训练方法、图像分类方法及相关装置 | |
CN112949767A (zh) | 样本图像增量、图像检测模型训练及图像检测方法 | |
CN115359308B (zh) | 模型训练、难例识别方法、装置、设备、存储介质及程序 | |
CN114511743B (zh) | 检测模型训练、目标检测方法、装置、设备、介质及产品 | |
CN113627361B (zh) | 人脸识别模型的训练方法、装置及计算机程序产品 | |
CN113537192B (zh) | 图像检测方法、装置、电子设备及存储介质 | |
CN115457329B (zh) | 图像分类模型的训练方法、图像分类方法和装置 | |
CN115471717B (zh) | 模型的半监督训练、分类方法装置、设备、介质及产品 | |
CN111161238A (zh) | 图像质量评价方法及装置、电子设备、存储介质 | |
CN112541557B (zh) | 生成式对抗网络的训练方法、装置及电子设备 | |
CN114120410A (zh) | 用于生成标签信息的方法、装置、设备、介质和产品 | |
CN113963197A (zh) | 图像识别方法、装置、电子设备和可读存储介质 | |
CN113807391A (zh) | 任务模型的训练方法、装置、电子设备及存储介质 | |
CN115131453B (zh) | 颜色填充模型训练、颜色填充方法及装置、电子设备 | |
CN116012656B (zh) | 样本图像的生成方法和图像处理模型的训练方法、装置 | |
CN114926447B (zh) | 用于训练模型的方法、用于检测目标的方法和装置 | |
CN113642495B (zh) | 用于评价时序提名的模型的训练方法、设备、程序产品 | |
CN115147679B (zh) | 多模态图像识别方法和装置、模型训练方法和装置 | |
CN114581751B (zh) | 图像识别模型的训练方法和图像识别方法、装置 | |
CN116416500B (zh) | 图像识别模型训练方法、图像识别方法、装置及电子设备 | |
CN116433984A (zh) | 分类模型训练、平稳分类方法、装置、设备、介质及产品 | |
CN117743617A (zh) | 人物交互检测方法、模型训练方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |