CN112200173A - 多网络模型训练方法、图像标注方法和人脸图像识别方法 - Google Patents

多网络模型训练方法、图像标注方法和人脸图像识别方法 Download PDF

Info

Publication number
CN112200173A
CN112200173A CN202011420807.2A CN202011420807A CN112200173A CN 112200173 A CN112200173 A CN 112200173A CN 202011420807 A CN202011420807 A CN 202011420807A CN 112200173 A CN112200173 A CN 112200173A
Authority
CN
China
Prior art keywords
sample
network
image
samples
network model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011420807.2A
Other languages
English (en)
Other versions
CN112200173B (zh
Inventor
王军
刘昱赤
杜航
石海林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Century Trading Co Ltd
Beijing Wodong Tianjun Information Technology Co Ltd
Original Assignee
Beijing Jingdong Century Trading Co Ltd
Beijing Wodong Tianjun Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Century Trading Co Ltd, Beijing Wodong Tianjun Information Technology Co Ltd filed Critical Beijing Jingdong Century Trading Co Ltd
Priority to CN202011420807.2A priority Critical patent/CN112200173B/zh
Publication of CN112200173A publication Critical patent/CN112200173A/zh
Application granted granted Critical
Publication of CN112200173B publication Critical patent/CN112200173B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本公开的实施例公开了多网络模型的训练方法、图像标注方法、人脸图像识别方法、装置、电子设备和计算机可读介质。该方法的一具体实施方式包括:获取样本集中的样本组,其中,该样本集中的样本包括样本图像以及与样本图像对应的标签;对于该多网络模型中的每个网络,去除该样本组中该网络对应的噪声样本,生成该网络对应的有效样本组;基于该有效样本组,确定该网络的训练样本集;将训练后的多网络模型中的各个网络确定为训练后的多网络模型,其中,该训练后的多网络模型中的网络是基于对应训练样本集训练得到的。该实施方式通过去除多网络模型中每个网络对应的噪声样本来得到训练后的多网络模型,提高了多网络模型的训练效果。

Description

多网络模型训练方法、图像标注方法和人脸图像识别方法
技术领域
本公开的实施例涉及计算机技术领域,具体涉及多网络模型的训练方法、图像标注方法、人脸图像识别方法、装置、设备和计算机可读介质。
背景技术
目前,人脸识别模型常常需要大量带标签人脸样本来训练以提高准确率和鲁棒性。但是,随着越来越多的无标签人脸样本的获取,人脸图像的标注难度越来越大,标注成本也不断升高。因此,一方面,迫切需要一种高效和可靠的自动标注方法来减少人工标注。另一方面,在人脸识别中带有噪声的标签样本是无法避免。标签噪声可能存在于已标注的标签中,也可能存在于自动标注的标签中。这些噪声会对训练带来负面影响并影响人脸图像分割模型的性能。
发明内容
本公开的内容部分用于以简要的形式介绍构思,这些构思将在后面的具体实施方式部分被详细描述。本公开的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征,也不旨在用于限制所要求的保护的技术方案的范围。
本公开的一些实施例提出了用于多网络模型的训练方法、图像标注方法、人脸图像识别方法、装置、设备和计算机可读介质,来解决以上背景技术部分提到的技术问题。
第一方面,本公开的一些实施例提供了一种多网络模型的训练方法,该方法包括:获取样本集中的样本组,其中,上述样本集中的样本包括样本图像以及与样本图像对应的标签;对于上述多网络模型中的每个网络,去除上述样本组中上述网络对应的噪声样本,生成上述网络对应的有效样本组;基于上述有效样本组,确定上述网络的训练样本集;将训练后的多网络模型中的各个网络确定为训练后的多网络模型,其中,上述训练后的多网络模型中的网络是基于对应训练样本集训练得到的。
可选的,上述网络对应的噪声样本通过以下步骤确定:将上述样本组输入上述网络,确定上述网络的损失值组;从上述样本组中按照损失值从高到低的顺序选择α个样本作为上述网络对应的噪声样本,其中,数值α是基于上述样本集的噪声率确定的,上述数值α小于或等于上述样本组中样本的数目。
可选的,上述样本集的噪声率通过以下步骤确定:对上述样本集进行聚类,得到类集合;基于上述类集合,确定类内距离集合;确定与上述类内距离集合相关联的高斯混合模型的参数;基于上述高斯混合模型的参数,确定与上述样本集相关联的噪声率。
可选的,上述基于上述有效样本组,确定上述网络的训练样本集,包括:基于上述各个网络分别对应的有效样本组的交集,确定第一有效样本子组;基于上述样本组、上述第一有效样本子组、上述各个网络对应的噪声样本,确定上述各个网络分别对应的第二有效样本子组。
可选的,上述多网络模型包括M个网络,数值M为正整数;以及上述基于上述有效样本组,确定上述网络的训练样本集,包括:将上述多网络模型中的网络排列成环形,得到环形网络序列;将上述环形网络序列中每个网络对应的第二有效样本子组的样本依照预先设定的方向传递至上述环形网络序列中的β个网络,其中,数值β小于或等于上述数值α。
可选的,上述基于上述有效样本组,确定上述网络的训练样本集,包括:对于上述环形网络序列中的每个网络,执行如下处理步骤:基于接收到的其它网络传递来的第二有效样本子组,确定上述网络接收到的样本的重复次数;从上述接收到的样本中按照重复次数从高到低的顺序选择γ数目个样本作为候选样本子集,其中,数值γ是基于上述噪声率确定的,上述数值γ为正整数;将上述候选样本子集和上述第一有效样本子组确定为上述网络的训练样本集,其中,上述训练样本集中训练样本的数目小于或等于上述有效样本组中有效样本的数目。
可选的,上述基于上述有效样本组,确定上述网络的训练样本集,包括:对于上述环形网络序列中的每个网络,采用第一损失函数确定上述第一有效样本子组对应的损失值组,采用第二损失函数确定接收到的候选样本子集对应的损失值组。
第二方面,本公开的一些实施例提供了一种多网络模型的训练的装置,装置包括:获取单元,被配置成获取样本集中的样本组,其中,上述样本集中的样本包括样本图像以及与样本图像对应的标签;处理单元,被配置成对于上述多网络模型中的每个网络,去除上述样本组中上述网络对应的噪声样本,生成上述网络对应的有效样本组;第一确定单元,被配置成基于上述有效样本组,确定上述网络的训练样本集;第二确定单元,被配置成将训练后的多网络模型中的各个网络确定为训练后的多网络模型,其中,上述训练后的多网络模型中的网络是基于对应训练样本集训练得到的。
可选的,上述网络对应的噪声样本通过以下步骤确定:将上述样本组输入上述网络,确定上述网络的损失值组;从上述样本组中按照损失值从高到低的顺序选择α个样本作为上述网络对应的噪声样本,其中,数值α是基于上述样本集的噪声率确定的,上述数值α小于或等于上述样本组中样本的数目。
可选的,上述样本集的噪声率通过以下步骤确定:对上述样本集进行聚类,得到类集合;基于上述类集合,确定类内距离集合;确定与上述类内距离集合相关联的高斯混合模型的参数;基于上述高斯混合模型的参数,确定与上述样本集相关联的噪声率。
可选的,第一确定单元被配置成:基于上述各个网络分别对应的有效样本组的交集,确定第一有效样本子组;基于上述样本组、上述第一有效样本子组、上述各个网络对应的噪声样本,确定上述各个网络分别对应的第二有效样本子组。
可选的,上述多网络模型包括M个网络,数值M为正整数;以及第一确定单元被配置成:将上述多网络模型中的网络排列成环形,得到环形网络序列;将上述环形网络序列中每个网络对应的第二有效样本子组的样本依照预先设定的方向传递至上述环形网络序列中的β个网络,其中,数值β为小于或等于上述数值α。
可选的,第一确定单元被配置成:对于上述环形网络序列中的每个网络,执行如下处理步骤:基于接收到的其它网络传递来的第二有效样本子组,确定上述网络接收到的样本的重复次数;从上述接收到的样本中按照重复次数从高到低的顺序选择γ数目个样本作为候选样本子集,其中,数值γ是基于上述噪声率确定的,上述数值γ为正整数;将上述候选样本子集和上述第一有效样本子组确定为上述网络的训练样本集,其中,上述训练样本集中训练样本的数目小于或等于上述有效样本组中有效样本的数目。
可选的,第一确定单元被配置成:对于上述环形网络序列中的每个网络,采用第一损失函数确定上述第一有效样本子组对应的损失值组,采用第二损失函数确定接收到的候选样本子集对应的损失值组。
第三方面,本公开的一些实施例提供了一种图像标注方法,该方法包括:获取待标注图像样本;将上述待标注图像样本输入至多网络模型中,得到图像标签。
可选的,上述将上述待标注图像样本输入至多网络模型中,得到图像标签,包括:将上述待标注图像样本输入至上述多网络模型中的每个网络以输出关联有置信度的候选图像标签,得到候选图像标签集合;将上述候选图像标签集合中置信度最高的候选图像标签作为上述待标注图像样本的图像标签。
可选的,上述方法还包括:基于上述待标注图像样本的图像标签和上述待标注图像样本,生成新图像样本;将上述新图像样本加入用于对上述多网络模型进行训练的图像样本集,得到新图像样本集;基于上述新图像样本集对上述多网络模型进行训练。
第四方面,本公开的一些实施例提供了一种图像标注装置,装置包括:获取单元,被配置成获取待标注图像样本;输入单元,被配置成将上述待标注图像样本输入至多网络模型中,生成图像标签。
可选的,输入单元被配置成:将上述待标注图像样本输入至上述多网络模型中的每个网络以输出关联置信度的候选图像标签,得到候选图像标签集合;将上述候选图像标签集合中置信度最高的候选图像标签作为上述待标注图像样本的图像标签。
可选的,上述装置还包括:基于上述待标注图像样本的图像标签和上述待标注图像样本,生成新图像样本;将上述新图像样本加入用于对上述多网络模型进行训练的图像样本集,得到新图像样本集;基于上述新图像样本集对上述多网络模型进行训练。
第五方面,本公开的一些实施例提供了一种人脸图像识别方法,该方法包括:获取目标人脸图像;将上述目标人脸图像输入至预先训练的人脸图像识别模型,得到人脸识别结果,其中,上述人脸图像识别模型是基于待标注图像样本集和对应的图像标签集训练的。
第六方面,本公开的一些实施例提供了一种人脸图像识别装置,装置包括:获取单元,被配置成获取目标人脸图像;输入输出单元,被配置成将上述目标人脸图像输入至预先训练的人脸图像识别模型,得到人脸识别结果,其中,上述人脸图像识别模型是基于待标注图像样本集和对应的图像标签集训练的。
第七方面,本公开的一些实施例提供了一种电子设备,包括:一个或多个处理器;存储装置,其上存储有一个或多个程序,当一个或多个程序被一个或多个处理器执行,使得一个或多个处理器实现如第一、三、五方面中任一的方法。
第八方面,本公开的一些实施例提供了一种计算机可读介质,其上存储有计算机程序,其中,程序被处理器执行时实现如第一、三、五方面中任一的方法。
本公开的上述各个实施例中的一个实施例具有如下有益效果:获取了样本集中的样本组,其中,上述样本集中的样本包括样本图像以及与样本图像对应的标签。然后去除上述样本组中上述网络对应的噪声样本,生成上述网络对应的有效样本组。进而,从有效样本组确定上述网络的训练样本集可以提高生成标签的准确率。最后,将训练后的多网络模型中的各个网络确定为训练后的多网络模型,其中,训练后的多网络模型中的网络是基于对应训练样本集训练得到的。利用上述各个网络对应的训练集来分别训练多网络模型中的各个网络,可以提高了多网络模型的训练效果。需要进一步说明的是,利用训练好的多网络模型来生成的样本标签,可以克服人脸识别模型训练时有标签噪声和自动标注的标签噪声影响。进而,可以进一步提高人脸识别模型的性能。
附图说明
结合附图并参考以下具体实施方式,本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中,相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的,原件和元素不一定按照比例绘制。
图1是根据本公开的一些实施例的多网络模型的训练方法的一个应用场景的示意图;
图2是根据本公开的一些实施例的图像标注方法的一个应用场景的示意图;
图3是根据本公开的多网络模型的训练方法的一些实施例的流程图;
图4是根据本公开的图像标注方法一些实施例的流程图;
图5是根据本公开的多网络模型的训练方法的另一些实施例的流程图;
图6-9是根据本公开的一些实施例的对该多网络模型进行训练的一些应用场景的示意图;
图10是根据本公开的图像标注方法的另一些实施例的流程图;
图11是根据本公开的一些实施例的图像标注方法的一些应用场景的示意图;
图12是根据本公开的一些实施例的人脸图像识别方法的一个应用场景的示意图;
图13是根据本公开的人脸图像识别方法的一些实施例的流程图;
图14是根据本公开的多网络模型的训练的装置的一些实施例的结构示意图;
图15是根据本公开的标签生成方法的装置的一些实施例的结构示意图;
图16是根据本公开的人脸图像识别方法的装置的一些实施例的结构示意图;
图17是适于用来实现本公开的一些实施例的电子设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例,然而应当理解的是,本公开可以通过各种形式来实现,而且不应该被解释为限于这里阐述的实施例。相反,提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是,本公开的附图及实施例仅用于示例性作用,并非用于限制本公开的保护范围。
另外还需要说明的是,为了便于描述,附图中仅示出了与有关发明相关的部分。在不冲突的情况下,本公开中的实施例及实施例中的特征可以相互组合。
需要注意,本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分,并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
需要注意,本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的,本领域技术人员应当理解,除非在上下文另有明确指出,否则应该理解为“一个或多个”。
本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的,而并不是用于对这些消息或信息的范围进行限制。
下面将参考附图并结合实施例来详细说明本公开。
图1是根据本公开一些实施例的多网络模型的训练方法的一个应用场景的示意图100。
如图1所示,电子设备101可以获取样本集中的样本组102,其中,上述样本组102中的样本包括样本图像以及与样本图像对应的标签。其中,图1中,作为示例,样本组102包括第一样本,第二样本,第三样本,第四样本和第五样本。多网络模型103包括第一网络,第二网络,第三网络和第四网络。然后,对于上述多网络模型103中的每个网络,去除上述样本组102中上述网络对应的噪声样本,生成上述网络对应的有效样本组。作为示例,对于上述多网络模型103中的第一网络,去除上述样本组102中上述第一网络对应的第五样本(即噪声样本),生成上述第一网络对应的有效样本组104。对于上述多网络模型103中的第二网络,去除上述样本组102中上述第二网络对应的第五样本和第二样本,生成上述第二网络对应的有效样本组105。对于上述多网络模型103中的第三网络,去除上述样本组102中上述第三网络对应的第二样本和第五样本,生成上述第三网络对应的有效样本组106。对于上述多网络模型103中的第四网络,去除上述样本组102中上述第四网络对应的第三样本和第五样本,生成上述第四网络对应的有效样本组107。进而,根据上述有效样本组,确定上述网络的训练样本集。在本应用场景中,根据上述第一网络对应的有效样本组104,生成第一网络的训练样本集108。根据上述第二网络对应的有效样本组105,生成第二网络的训练样本集109。根据上述第三网络对应的有效样本组106,生成第三网络的训练样本集110。根据上述第四网络对应的有效样本组107,生成第四网络的训练样本集111。上述第一网络的训练样本集108包括:第一样本、第二样本、第四样本。上述第二网络的训练样本集109包括:第一样本、第三样本。上述第三网络的训练样本集110包括:第一样本、第三样本。上述第四网络的训练样本集111包括:第一样本、第四样本。最后,将训练后的多网络模型中的各个网络确定为训练后的多网络模型112。其中,上述训练后的多网络模型112中的网络是基于对应训练样本集训练得到的。在本应用场景中,上述第一网络的训练样本集108对第一网络进行训练,得到训练后的第一网络。上述第二网络的训练样本集109对第二网络进行训练,得到训练后的第二网络。上述第三网络的训练样本集110对第三网络进行训练,得到训练后的第三网络。上述第四网络的训练样本集111对第四网络进行训练,得到训练后的第四网络。
需要说明的是,多网络模型的训练方法可以是由电子设备101来执行。上述电子设备101可以是硬件,也可以是软件。当电子设备为硬件时,可以实现成多个服务器或终端设备组成的分布式集群,也可以实现成单个服务器或单个终端设备。当电子设备101体现为软件时,可以实现成例如用来提供分布式服务的多个软件或软件模块,也可以实现成单个软件或软件模块。在此不做具体限定。
应该理解,图1中的电子设备的数目仅仅是示意性的。根据实现需要,可以具有任意数目的电子设备。
图2是根据本公开一些实施例的图像标注方法的一个应用场景的示意图200。
如图2所示,电子设备201可以获取待标注图像样本202。然后,将上述待标注图像样本202输入至多网络模型203中,生成图像标签204。例如上述图像标签204为“女人”。其中,上述多网络模型203可以包括:第一网络、第二网络、第三网路、第四网络。
需要说明的是,图像标注方法可以是由电子设备201来执行。上述电子设备201可以是硬件,也可以是软件。当电子设备为硬件时,可以实现成多个服务器或终端设备组成的分布式集群,也可以实现成单个服务器或单个终端设备。当电子设备201体现为软件时,可以实现成例如用来提供分布式服务的多个软件或软件模块,也可以实现成单个软件或软件模块。在此不做具体限定。
应该理解,图2中的电子设备的数目仅仅是示意性的。根据实现需要,可以具有任意数目的电子设备。
继续参考图3,示出了根据本公开的多网络模型的训练方法的一些实施例的流程300。该多网络模型的训练方法,包括以下步骤:
步骤301,获取样本集中的样本组。
在一些实施例中,多网络模型的训练方法的执行主体(例如图1所示的电子设备)可以通过有线连接方式或者无线连接方式从数据库或者本地磁盘中获取样本集。其中,上述样本集中的样本包括样本图像以及与样本图像对应的标签。上述样本组可以是样本集的子集,表征着样本集中某批次的样本。
步骤302,对于上述多网络模型中的每个网络,去除上述样本组中上述网络对应的噪声样本,生成上述网络对应的有效样本组。
在一些实施例中,基于步骤301中得到的样本组,上述执行主体可以对于上述多网络模型中的每个网络,去除上述样本组中上述网络对应的噪声样本,生成上述网络对应的有效样本组。其中,上述噪声样本可以是不利地影响模型训练的样本。例如,包括有错误标签的样本,或者标签信息不准确的样本。
需要说明的是,上述多网络模型可以是由预定数目个神经网络构成。其中,用于目标检测的上述神经网络可以包括但不限于以下至少一项:SSD(Single Shot MultiBoxDetector)算法,R-CNN(Region-Convolutional Neural Networks)算法,Fast R-CNN(FastRegion- Convolutional Neural Networks)算法,SPP-NET(Spatial Pyramid PoolingNetwork)算法,YOLO(You Only Look Once)算法,FPN(Feature Pyramid Networks)算法,DCN(Deformable ConvNets)算法,RetinaNet目标检测算法。用于图像分割的上述神经网络可以包括但不限于以下至少一项:FCN网络(Fully Convolutional Networks,全卷积网络),SegNet网络(Semantic Segmentation Network,图像语义分割网络),DeepLab语义分割网络,PSPNet网络(Pyramid Scene Parsing Network,语义分割网络),Mask-RCNN网络(Mask-Region-CNN,图像实例分割网络)。
作为示例,可以利用基于置信度学习(Confidence Learning)识别错误标签的方法,对于上述多网络模型中的每个网络,去除上述样本组中上述网络对应的噪声样本,生成上述网络对应的有效样本组。其中,上述置信度学习是一种弱监督学习方法,可以识别错误标签。置信度学习基于分类噪声过程假设(classification noise process ),认为噪声标签是以类别为条件的,依赖于潜在的正确类别,而不依赖与数据。通过估计给定带噪标签与潜在正确标签之间的条件概率分别来识别错误标签,进而可以获取噪声样本。
作为示例,可以通过样本分析,可以发现部分噪声样本的来源具有一定的规律,通过这些规律可以提取出一些简单有效的过滤规则,可以直接清除掉一定数量的噪声样本。
步骤303,基于上述有效样本组,确定上述网络的训练样本集。
在一些实施例中,上述执行主体可以根据上述有效样本组,确定上述网络的训练样本集。作为示例,可以从上述有效样本组中随意筛选预定数目个有效样本作为上述网络的训练样本集。作为另一个示例,可以将上述有效样本组确定为上述网络的训练样本集。
步骤304,将训练后的多网络模型中的各个网络确定为训练后的多网络模型。
在一些实施例中,上述执行主体可以将训练后的多网络模型中的各个网络确定为训练后的多网络模型。其中,上述训练后的多网络模型中的网络是基于对应训练样本集训练得到的。
本公开的上述各个实施例中的一个实施例具有如下有益效果:获取了样本集中的样本组,其中,上述样本集中的样本包括样本图像以及与样本图像对应的标签。然后去除上述样本组中上述网络对应的噪声样本,生成上述网络对应的有效样本组。进而,从有效样本组确定上述网络的训练样本集可以提高生成标签的准确率。最后,将训练后的多网络模型中的各个网络确定为训练后的多网络模型,其中,训练后的多网络模型中的网络是基于对应训练样本集训练得到的。利用上述各个网络对应的训练集来分别训练多网络模型中的各个网络,可以提高了多网络模型的训练效果。需要进一步说明的是,利用训练好的多网络模型来生成的样本标签,可以克服人脸识别模型训练时有标签噪声和自动标注的标签噪声影响。进而,可以进一步提高人脸识别模型的性能。
进一步参考图4,其示出了图像标注方法的一些实施例的流程400。该图像标注方法的流程400,包括以下步骤:
步骤401,获取待标注图像样本。
在一些实施例中,图像标注方法的执行主体(例如图2所示的电子设备)可以通过有线连接方式或者无线连接方式从数据库或者本地磁盘中获取待标注图像样本。其中,待标注图像样本可以是没有标签的图像样本。
步骤402,将上述待标注图像样本输入至多网络模型中,生成图像标签。
在一些实施例中,上述执行主体可以将上述待标注图像样本输入至多网络模型中,生成图像标签。作为示例,可以将上述待标注图像样本输入至由SPP-NET算法,YOLO算法,FPN算法组成的多网络模型,通过权重投票的方法生成图像标签。其中,上述多网络模型是采用图3对应的一些实施例的方法训练得到的。
本公开的一些实施例提供的方法通过一种改进的多网络模型,实现了待标注样本的标签的高效、可靠的生成。
进一步参考图5,其示出了多网络模型的训练方法的一些实施例的流程500。该多网络模型的训练方法的流程500,包括以下步骤:
步骤501,获取样本集中的样本组。
在一些实施例中,步骤501的具体实现及所带来的技术效果可以参考图3对应的那些实施例中的步骤301,在此不再赘述。
步骤502,对于上述多网络模型中的每个网络,去除上述样本组中上述网络对应的噪声样本,生成上述网络对应的有效样本组。
在一些实施例中,上述执行主体(如图1所示的电子设备)可以对于上述多网络模型中的每个网络,去除上述样本组中上述网络对应的噪声样本,生成上述网络对应的有效样本组。
在这里,上述网络对应的噪声样本可以通过以下步骤确定:
第一步,将上述样本组输入上述网络,确定上述网络的损失值组。
第二步,从上述样本组中按照损失值从高到低的顺序选择α个样本作为上述网络对应的噪声样本。其中,上述数值α是基于上述样本集的噪声率确定的,上述数值α小于或等于上述样本组中样本的数目。作为示例,上述数值α可以是上述样本集中样本的数目与上述噪声率的乘积。
需要说明的是,噪声样本的确定可以侧面提高上述网络的鲁棒性,加快网络的收敛速度和预测能力。
作为示例,参考图6,上述样本组601输入至上述多网络模型中第一网络,得到第一损失值组602。其中,第一损失值组602可以是“第五样本:18.3,第四样本:23.3,第三样本:38.3,第二样本:68.3,第一样本:98.3”。上述样本组601输入至上述多网络模型中第二网络,得到第二损失值组603。其中,第二损失值组603可以是“第一样本:13.3,第五样本:16.3,第三样本:19.9,第四样本:68.6,第二样本:68.3”。上述样本组601输入至上述多网络模型中第三网络,得到第三损失值组604。其中,第三损失值组604可以是“第一样本:38.3,第二样本:48.3,第四样本:68.3,第三样本:77.3,第五样本:98.3”。上述样本组601输入至上述多网络模型中第四网络,得到第四损失值组605。其中,第四损失值组605可以是“第一样本:8.3,第二样本:98.3,第四样本:18.3,第三样本:66.3,第五样本:68.3”。
然后,确定噪声率为40%,可以得到上述第一网络的噪声样本是第二样本和第一样本。上述第二网络的噪声样本是第四样本和第二样本。上述第三网络的噪声样本是第三样本和第五样本,上述第四网络的噪声样本是第二样本和第五样本。
可选的,样本集的噪声率可以通过以下步骤确定:
第一步,对样本集进行聚类,得到类集合。
其中,上述聚类算法可以包括但不限于以下至少一项:K最近邻(k-NearestNeighbor,KNN)分类算法,k均值聚类算法(k-means clustering algorithm)。
第二步,基于上述类集合,确定类内距离集合。其中,类内距离可以是同一类样本对应的向量间的均方距离。
第三步,确定与上述类内距离集合相关联的高斯混合模型的参数。
作为示例,可以利用最大期望算法(Expectation-Maximization algorithm,EM),确定与上述类内距离集合相关联的高斯混合模型的参数。
第四步,基于上述高斯混合模型的参数,确定与上述样本集相关联的噪声率。
作为示例,首先,可以通过上述高斯混合模型的参数,制作用于表征带噪声样本的类内分布的图表。最后根据上述带噪声样本的类内分布的图表确定上述样本集相关联的噪声率。其中,根据上述带噪声样本的类内分布的图表确定上述样本集相关联的噪声率可以如下进行:通过求出峰值的面积权重来得到上述样本集相关联的噪声率。
步骤503,基于各个网络分别对应的有效样本组的交集,确定第一有效样本子组。
在一些实施例中,上述执行主体可以基于各个网络分别对应的有效样本组的交集,确定第一有效样本子组。
继续参考图6,可以得到上述第一网络对应的有效样本组606。其中,上述有效样本组606包括:第五样本,第四样本和第三样本。上述第二网络对应的是有效样本组607。其中,上述有效样本组607包括:第一样本,第四样本和第五样本。上述第三网络对应的是有效样本组608。其中,上述有效样本组608包括:第一样本,第四样本和第二样本。上述第四网络对应的是有效样本组609。其中,上述有效样本组609包括:第一样本,第四样本和第三样本。
图6中,根据有效样本组606,有效样本组607,有效样本组608和有效样本组609,可以得到交集样本为第四样本以作为第一有效样本子组。
步骤504,基于上述样本组、第一有效样本子组、各个网络对应的噪声样本,确定各个网络分别对应的第二有效样本子组。
在一些实施例中,上述执行主体可以基于上述样本组、第一有效样本子组、各个网络对应的噪声样本,确定各个网络分别对应的第二有效样本子组。作为示例,可以将上述样本集中第一有效样本子组中的样本、各个网络对应的噪声样本排除,可以确定各个网络分别对应的第二有效样本子组。
参考图6,可以根据有效样本组606,有效样本组607,有效样本组608,有效样本组609和上述样本组601,可以确定各个网络分别对应的第二有效样本子组。其中,上述第一网络对应的第二有效样本子组为第五样本和第三样本。上述第二网络对应的第二有效样本子组为第五样本和第一样本。上述第三网络对应的第二有效样本子组为第一样本和第二样本。上述第四网络对应的第二有效样本子组为第一样本和第三样本。
可选的,上述多网络模型包括M个网络,数值M为正整数。以及上述基于所得到的有效样本组,对上述多网络模型进行训练包括以下步骤:
第一步,将上述多网络模型中的网络排列成环形,得到环形网络序列。
作为示例,参考图7,可以将上述多网络模型中的第一网络701,第二网络702,第三网络703和第四网络704排列成环状。
第二步,将上述环形网络序列中每个网络对应的第二有效样本子组的样本依照预先设定的方向传递至上述环形网络序列中的β个网络,其中,数值β小于或等于上述数值α。其中,需要说明的是,在每批次网络训练时,对上述环形网络序列中网络的顺序重新排列。目的在于可以让每个网络能够接受来自不同网络的第二有效样本,从而减少了训练中错误的累计,防止模型塌陷。
参考图8,第一网络801对应的第二有效样本子组的样本为第一样本,第二样本,第三样本。第二网络802对应的第二有效样本子组的样本为第三样本,第五样本和第七样本。第三网络803对应的第二有效样本子组的样本为第二样本,第三样本,第四样本。第四网络804对应的第二有效样本子组的样本为第一样本,第二样本,第三样本。
如图9所示,将上述环形网络序列中每个网络对应的第二有效样本子组的样本依照逆时针预先设定的方向传递至上述环形网络序列中的3个网络。第一网络901接收到的第二有效样本子组的样本为第三样本,第五样本,第七样本,第二样本,第三样本,第四样本,第一样本,第二样本和第三样本。第一网络902接收到的第二有效样本子组的样本为第一样本,第二样本,第三样本,第二样本,第三样本,第四样本,第一样本,第二样本和第三样本。第三网络903接收到的第二有效样本子组的样本为第三样本,第五样本,第七样本,第二样本,第三样本,第一样本,第一样本,第二样本和第三样本。第四网络904接收到的第二有效样本子组的样本为第三样本,第五样本,第七样本,第二样本,第三样本,第四样本,第一样本,第二样本和第三样本。
可选的,对于上述环形网络序列中的每个网络,可以执行如下处理步骤:
第一步,基于接收到的其它网络传递来的第二有效样本子组,确定上述网络接收到的样本的重复次数。
第二步,从上述接收到的样本中按照重复次数从高到低的顺序选择γ数目个样本作为候选样本子集,其中,数值γ是基于上述噪声率确定的,上述数值γ为正整数。
第三步,将上述候选样本子集和上述第一有效样本子组确定为上述网络的训练样本集。其中,上述训练样本集中训练样本的数目小于或等于上述有效样本组中有效样本的数目。
可选的,对于上述环形网络序列中的每个网络,采用第一损失函数确定上述第一有效样本子组对应的损失值组,进而基于上述损失值组对上述环形网络序列中的每个网络进行训练。采用第二损失函数确定接收到的候选样本子集对应的损失值组,进而基于上述损失值组对上述环形网络序列中的每个网络进行训练。其中,上述第一损失函数可以是SVFC损失函数,上述第二损失函数可以是ArcFace损失函数。
从图5中可以看出,与图3对应的一些实施例的描述相比,图5对应的一些实施例中的多网络模型的训练方法的流程500增加了第二有效样本子组的选取步骤,且细化了多网络模型训练的步骤。由此,这些实施例描述的方案可以进一步提高多网络模型的预测能力。
继续参考图10,示出了根据本公开的图像标注方法的另一些实施例的流程1000。该图像标注方法,包括以下步骤:
步骤1001,获取待标注图像样本。
步骤1002,将上述待标注图像样本输入至上述多网络模型中的每个网络以输出关联有置信度的候选图像标签,得到候选图像标签集合。
在一些实施例中,作为示例,可以是将上述待标注图像样本输入至上述已训练的上述多网络模型中每个网络中。每个网络都会输出关联有置信度的候选图像标签。由此,最终得到多个候选图像标签组成候选图像标签集合。
作为又一个示例,还可以是将上述待标注图像样本输入至上述已训练的上述多网络网络模型中每个网络中,输出与样本距离关联的候选图像标签。由此,得到候选图像标签集合。
步骤1003,将上述候选图像标签集合中置信度最高的候选图像标签作为上述待标注图像样本的图像标签。
在一些实施例中,作为示例,还可以确定每个候选图像标签相关联的样本距离,得到样本距离集合。然后确定上述样本距离集合中样本距离最小的数值。基于上述数值和预先设定的阈值,确定上述待标注图像样本是否为噪声样本。最后,响应于确定上述待标注图像样本不是噪声样本,确定上述待标注图像样本的图像标签。
在一些实施例的一些可选实现方式中,确定上述待标注图像样本的图像标签后,还可以进行以下步骤:
第一步,基于上述待标注图像样本的图像标签和上述待标注图像样本,生成新图像样本。
第二步,将上述新图像样本加入用于对上述多网络模型进行训练的样本集,得到新图像样本集。
第三步,基于上述新图像样本集对上述多网络模型进行训练。
如图11所示,获取待标注图像样本集1101中的待标注图像样本组1102。将待标注图像样本组1102中的样本经过多网络模型1103进行标注预测,得到噪声样本1104。其中,上述多网络模型1103是由样本组1106预先训练过的。基于上述待标注图像样本组1102和上述噪声样本1104,得到已标注的图像样本组1105。将已标注的图像样本组1105与图像样本组1106融合,得到生成新的图像样本集1107。
从图10中可以看出,与图4对应的一些实施例的描述相比,图10对应的一些实施例中的多网络模型的训练方法的流程1000进一步体现了新样本加入后的相关步骤。由此,这些实施例描述的方案可以进一步提升标注样本的质量和使得多网络模型标注的性能不断提高。
图12是根据本公开一些实施例的人脸图像识别方法的一个应用场景的示意图。
如图12所示,电子设备1201可以获取目标人脸图像1202。将上述目标人脸图像1202输入至预先训练的人脸图像识别模型1203,得到人脸识别结果1204。其中,上述人脸图像识别1203模型是基于待标注图像样本集和对应的图像标签集训练的。在本应用场景中,上述人脸识别结果1204可以是“确定为本人人脸图像”。
需要说明的是,人脸图像识别方法可以是由电子设备1201来执行。上述电子设备1201可以是硬件,也可以是软件。当电子设备为硬件时,可以实现成多个服务器或终端设备组成的分布式集群,也可以实现成单个服务器或单个终端设备。当电子设备1201体现为软件时,可以实现成例如用来提供分布式服务的多个软件或软件模块,也可以实现成单个软件或软件模块。在此不做具体限定。
应该理解,图12中的电子设备的数目仅仅是示意性的。根据实现需要,可以具有任意数目的电子设备。
继续参考图13,示出了根据本公开的人脸图像识别方法的另一些实施例的流程1300。该图像标注方法,包括以下步骤:
步骤1301,获取目标人脸图像。
在一些实施例中,人脸图像识别方法的执行主体(例如图2所示的电子设备)可以通过有线连接方式或者无线连接方式从数据库或者本地磁盘中获取目标人脸图像。
步骤1302,将上述目标人脸图像输入至预先训练的人脸图像识别模型,得到人脸识别结果。
在一些实施例中,上述执行主体可以将上述目标人脸图像输入至预先训练的人脸图像识别模型,得到人脸识别结果,其中,上述人脸图像识别模型是基于待标注图像样本集和对应的图像标签集训练的。上述对应的图像标签集是根据多网络模型生成的。
需要说明的是,上述人脸图像识别模型可以是用于目标检测的神经网络,上述用于目标检测的神经网络可以包括但不限于以下至少一项:SSD(Single Shot MultiBoxDetector)算法,R-CNN(Region-Convolutional Neural Networks)算法,Fast R-CNN(FastRegion- Convolutional Neural Networks)算法,SPP-NET(Spatial Pyramid PoolingNetwork)算法,YOLO(You Only Look Once)算法,FPN(Feature Pyramid Networks)算法,DCN(Deformable ConvNets)算法,RetinaNet目标检测算法。在这里,上述1302步骤对应的应用场景可以包括但不限于以下至少一项:人脸支付,人脸终端解锁。对应的人脸识别结果依据应用场景的不同可以不相同。
除此之外,上述人脸图像识别模型还可以用于图像分割的神经网络,用于图像分割的上述神经网络可以包括但不限于以下至少一项:FCN网络(Fully ConvolutionalNetworks,全卷积网络),SegNet网络(Semantic Segmentation Network,图像语义分割网络),DeepLab语义分割网络,PSPNet网络(Pyramid Scene Parsing Network,语义分割网络),Mask-RCNN网络(Mask-Region-CNN,图像实例分割网络)。在这里,上述1302步骤对应的应用场景可以包括但不限于以下至少一项:目标人脸图像加特效,目标人脸图像换背景。对应的:人脸支付依据应用场景的不同可以不相同。对应的人脸识别结果依据应用场景的不同可以不相同。
本公开的一些实施例提供的方法通过将所获取的目标人脸图像输入至由待标注图像样本集和由多网络模型标注的、对应的图像标签集训练的人脸图像识别模型,可以侧面凸显出多网络模型对待标注图像样本标注的准确度。
进一步参考图14,作为对上述各图所示方法的实现,本公开提供了一种多网络模型的训练装置的一些实施例,这些装置实施例与图3所示的那些方法实施例相对应,该装置具体可以应用于各种电子设备中。
如图14所示,一些实施例的多网络模型的训练装置1400包括:获取单元1401、处理单元1402、第一确定单元1403和第二确定单元1404。其中,获取单元1401,被配置成获取样本集中的样本组。其中,上述样本集中的样本包括样本图像以及与样本图像对应的标签。处理单元1402,被配置成对于上述多网络模型中的每个网络,去除上述样本组中上述网络对应的噪声样本,生成上述网络对应的有效样本组。第一确定单元1403,被配置成基于上述有效样本组,确定上述网络的训练样本集。第二确定单元1404,被配置成将训练后的多网络模型中的各个网络确定为训练后的多网络模型,其中,上述训练后的多网络模型中的网络是基于对应训练样本集训练得到的。
在一些实施例的一些可选实现方式中,上述网络对应的噪声样本通过以下步骤确定:将上述样本组输入上述网络,确定上述网络的损失值组;从上述样本组中按照损失值从高到低的顺序选择α个样本作为上述网络对应的噪声样本,其中,数值α是基于上述样本集的噪声率确定的,上述数值α小于或等于上述样本组中样本的数目。
在一些实施例的一些可选实现方式中,上述样本集的噪声率通过以下步骤确定:对上述样本集进行聚类,得到类集合;基于上述类集合,确定类内距离集合;确定与上述类内距离集合相关联的高斯混合模型的参数;基于上述高斯混合模型的参数,确定与上述样本集相关联的噪声率。
在一些实施例的一些可选实现方式中,多网络模型的训练装置1400的第一确定单元1403被进一步配置成:基于上述各个网络分别对应的有效样本组的交集,确定第一有效样本子组;基于上述样本组、上述第一有效样本子组、上述各个网络对应的噪声样本,确定上述各个网络分别对应的第二有效样本子组。。
在一些实施例的一些可选实现方式中,上述多网络模型包括M个网络,数值M为正整数以及多网络模型的训练装置1400的第一确定单元1403被进一步配置成:将上述多网络模型中的网络排列成环形,得到环形网络序列;将上述环形网络序列中每个网络对应的第二有效样本子组的样本依照预先设定的方向传递至上述环形网络序列中的β个网络,其中,数值β小于或等于上述数值α。
在一些实施例的一些可选实现方式中,多网络模型的训练装置1400的第一确定单元1403被进一步配置成:对于上述环形网络序列中的每个网络,执行如下处理步骤:基于接收到的其它网络传递来的第二有效样本子组,确定上述网络接收到的样本的重复次数;从上述接收到的样本中按照重复次数从高到低的顺序选择γ数目个样本作为候选样本子集,其中,数值γ是基于上述噪声率确定的,上述数值γ为正整数;将上述候选样本子集和上述第一有效样本子组确定为上述网络的训练样本集,其中,上述训练样本集中训练样本的数目小于或等于上述有效样本组中有效样本的数目。
在一些实施例的一些可选实现方式中,多网络模型的训练装置1400的第一确定单元1403被进一步配置成:对于上述环形网络序列中的每个网络,采用第一损失函数确定上述第一有效样本子组对应的损失值组,采用第二损失函数确定接收到的候选样本子集对应的损失值组。
可以理解的是,该装置1400中记载的诸单元与参考图3描述的方法中的各个步骤相对应。由此,上文针对方法描述的操作、特征以及产生的有益效果同样适用于装置1400及其中包含的单元,在此不再赘述。
进一步参考图15,作为对上述各图所示方法的实现,本公开提供了图像标注装置的一些实施例,这些装置实施例与图4所示的那些方法实施例相对应,该装置具体可以应用于各种电子设备中。
如图15所示,一些实施例的图像标注装置1500包括:获取单元1501和输入单元1502。其中,获取单元1501,被配置成获取待标注图像样本;输入单元1502,被配置成将上述待标注图像样本输入至多网络模型中,得到图像标签,其中,上述多网络模型是采用图3对应的一些实施例的方法训练得到的。
在一些实施例的一些可选实现方式中,图像标注装置1500的输入单元1502被进一步配置成将上述待标注图像样本输入至上述多网络模型中的每个网络以输出关联有置信度的候选图像标签,得到候选图像标签集合;将上述候选图像标签集合中置信度最高的候选图像标签作为上述待标注图像样本的图像标签。
在一些实施例的一些可选实现方式中,装置1500还可以包括:生成单元、加入单元和训练单元(图中未示出)。其中,生成单元可以被配置成基于上述待标注图像样本的图像标签和上述待标注图像样本,生成新图像样本。加入单元可以被配置成将上述新图像样本加入用于对上述多网络模型进行训练的图像样本集,得到新图像样本集。训练单元可以被配置成基于上述新图像样本集对上述多网络模型进行训练。
可以理解的是,该装置1500中记载的诸单元与参考图4描述的方法中的各个步骤相对应。由此,上文针对方法描述的操作、特征以及产生的有益效果同样适用于装置1500及其中包含的单元,在此不再赘述。
进一步参考图16,作为对上述各图所示方法的实现,本公开提供了人脸图像识别装置的一些实施例,这些装置实施例与图13所示的那些方法实施例相对应,该装置具体可以应用于各种电子设备中。
如图16所示,一些实施例的图像标注标签生成装置1600包括:获取单元1601和输入单元1602。其中,获取单元1601,被配置成获取目标人脸图像;输入单元1602,被配置成将上述目标人脸图像输入至预先训练的人脸图像识别模型,得到人脸识别结果,其中,上述人脸图像识别模型是基于待标注图像样本集和对应的图像标签集训练的,上述图像标签是根据多网络模型,采用图4对应的一些实施例的方法得到的,上述多网络模型是采用图3对应的一些实施例的方法训练得到的。
可以理解的是,该装置1600中记载的诸单元与参考图13描述的方法中的各个步骤相对应。由此,上文针对方法描述的操作、特征以及产生的有益效果同样适用于装置1600及其中包含的单元,在此不再赘述。
下面参考图17,其示出了适于用来实现本公开的一些实施例的电子设备(例如图1、图2或图12中的电子设备)1700的结构示意图。图17示出的电子设备仅仅是一个示例,不应对本公开的实施例的功能和使用范围带来任何限制。
如图17所示,电子设备1700可以包括处理装置(例如中央处理器、图形处理器等)1701,其可以根据存储在只读存储器(ROM)1702中的程序或者从存储装置1708加载到随机访问存储器(RAM)1703中的程序而执行各种适当的动作和处理。在RAM 1703中,还存储有电子设备1700操作所需的各种程序和数据。处理装置1701、ROM 1702以及RAM 1703通过总线1704彼此相连。输入/输出(I/O)接口1705也连接至总线1704。
通常,以下装置可以连接至I/O接口1705:包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置1706;包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置1707;包括例如磁带、硬盘等的存储装置1708;以及通信装置1709。通信装置1709可以允许电子设备1700与其他设备进行无线或有线通信以交换数据。虽然图17示出了具有各种装置的电子设备1700,但是应理解的是,并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。图17中示出的每个方框可以代表一个装置,也可以根据需要代表多个装置。
特别地,根据本公开的一些实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的一些实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的一些实施例中,该计算机程序可以通过通信装置1709从网络上被下载和安装,或者从存储装置1708被安装,或者从ROM 1702被安装。在该计算机程序被处理装置1701执行时,执行本公开的一些实施例的方法中限定的上述功能。
需要说明的是,本公开的一些实施例上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开的一些实施例中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开的一些实施例中,计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:电线、光缆、RF(射频)等等,或者上述的任意合适的组合。
在一些实施方式中,客户端、服务器可以利用诸如HTTP(HyperText TransferProtocol,超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信,并且可以与任意形式或介质的数字数据通信(例如,通信网络)互连。通信网络的示例包括局域网(“LAN”),广域网(“WAN”),网际网(例如,互联网)以及端对端网络(例如,ad hoc端对端网络),以及任何当前已知或未来研发的网络。
上述计算机可读介质可以是上述电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被该电子设备执行时,使得该电子设备:获取样本集中的样本组,其中,上述样本集中的样本包括样本图像以及与样本图像对应的标签;对于上述多网络模型中的每个网络,去除上述样本组中上述网络对应的噪声样本,生成上述网络对应的有效样本组;基于上述有效样本组,确定上述网络的训练样本集;将训练后的多网络模型中的各个网络确定为训练后的多网络模型,其中,上述训练后的多网络模型中的网络是基于对应训练样本集训练得到的。获取待标注图像样本;将上述待标注图像样本输入至多网络模型中,得到图像标签。获取目标人脸图像;将上述目标人脸图像输入至预先训练的人脸图像识别模型,得到人脸识别结果,其中,上述人脸图像识别模型是基于待标注图像样本集和对应的图像标签集训练的,上述图像标签是根据多网络模型标注得到的。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的一些实施例的操作的计算机程序代码,上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)——连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开的一些实施例中的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中,例如,可以描述为:一种处理器包括获取单元、处理单元和训练单元。其中,这些单元的名称在某种情况下并不构成对该单元本身的限定,例如,获取单元还可以被描述为“获取样本集中的样本组的单元”。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如,非限制性地,可以使用的示范类型的硬件逻辑部件包括:现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。
以上描述仅为本公开的一些较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本公开的实施例中所涉及的发明范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述发明构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开的实施例中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (16)

1.一种多网络模型的训练方法,包括:
获取样本集中的样本组,其中,所述样本集中的样本包括样本图像以及与样本图像对应的标签;
对于所述多网络模型中的每个网络,去除所述样本组中所述网络对应的噪声样本,生成所述网络对应的有效样本组;
基于所述有效样本组,确定所述网络的训练样本集;
将训练后的多网络模型中的各个网络确定为训练后的多网络模型,其中,所述训练后的多网络模型中的网络是基于对应训练样本集训练得到的。
2.根据权利要求1所述的方法,其中,所述网络对应的噪声样本通过以下步骤确定:
将所述样本组输入所述网络,确定所述网络的损失值组;
从所述样本组中按照损失值从高到低的顺序选择α个样本作为所述网络对应的噪声样本,其中,数值α是基于所述样本集的噪声率确定的,所述数值α小于或等于所述样本组中样本的数目。
3.根据权利要求2所述的方法,其中,所述样本集的噪声率通过以下步骤确定:
对所述样本集进行聚类,得到类集合;
基于所述类集合,确定类内距离集合;
确定与所述类内距离集合相关联的高斯混合模型的参数;
基于所述高斯混合模型的参数,确定与所述样本集相关联的噪声率。
4.根据权利要求2所述的方法,其中,所述基于所述有效样本组,确定所述网络的训练样本集,包括:
基于所述各个网络分别对应的有效样本组的交集,确定第一有效样本子组;
基于所述样本组、所述第一有效样本子组、所述各个网络对应的噪声样本,确定所述各个网络分别对应的第二有效样本子组。
5.根据权利要求4所述的方法,其中,所述多网络模型包括M个网络,数值M为正整数;以及
所述基于所述有效样本组,确定所述网络的训练样本集,包括:
将所述多网络模型中的网络排列成环形,得到环形网络序列;
将所述环形网络序列中每个网络对应的第二有效样本子组的样本依照预先设定的方向传递至所述环形网络序列中的β个网络,其中,数值β小于或等于所述数值α。
6.根据权利要求5所述的方法,其中,所述基于所述有效样本组,确定所述网络的训练样本集,包括:
对于所述环形网络序列中的每个网络,执行如下处理步骤:
基于接收到的其它网络传递来的第二有效样本子组,确定所述网络接收到的样本的重复次数;
从所述接收到的样本中按照重复次数从高到低的顺序选择γ数目个样本作为候选样本子集,其中,数值γ是基于所述噪声率确定的,所述数值γ为正整数;
将所述候选样本子集和所述第一有效样本子组确定为所述网络的训练样本集,其中,所述训练样本集中训练样本的数目小于或等于所述有效样本组中有效样本的数目。
7.根据权利要求6所述的方法,其中,所述基于所述有效样本组,确定所述网络的训练样本集,包括:
对于所述环形网络序列中的每个网络,采用第一损失函数确定所述第一有效样本子组对应的损失值组,采用第二损失函数确定接收到的候选样本子集对应的损失值组。
8.一种图像标注方法,包括:
获取待标注图像样本;
将所述待标注图像样本输入至多网络模型中,得到图像标签,其中,所述多网络模型采用如权利要求1-7中任一所述的方法生成。
9.根据权利要求8所述的方法,其中,所述将所述待标注图像样本输入至多网络模型中,得到图像标签,包括:
将所述待标注图像样本输入至所述多网络模型中的每个网络以输出关联置信度的候选图像标签,得到候选图像标签集合;
将所述候选图像标签集合中置信度最高的候选图像标签作为所述待标注图像样本的图像标签。
10.根据权利要求9所述的方法,其中,所述方法还包括:
基于所述待标注图像样本的图像标签和所述待标注图像样本,生成新图像样本;
将所述新图像样本加入用于对所述多网络模型进行训练的图像样本集,得到新图像样本集;
基于所述新图像样本集对所述多网络模型进行训练。
11.一种人脸图像识别方法,包括:
获取目标人脸图像;
将所述目标人脸图像输入至预先训练的人脸图像识别模型,得到人脸识别结果,其中,所述人脸图像识别模型是基于待标注图像样本集和对应的图像标签集训练的,所述图像标签是根据多网络模型,采用如权利要求8-10中任一所述的方法生成,所述多网络模型采用如权利要求1-7中任一所述的方法生成。
12.一种多网络模型的训练装置,包括:
获取单元,被配置成获取样本集中的样本组,其中,所述样本集中的样本包括样本图像以及与样本图像对应的标签;
处理单元,被配置成对于所述多网络模型中的每个网络,去除所述样本组中所述网络对应的噪声样本,生成所述网络对应的有效样本组;
第一确定单元,被配置成基于所述有效样本组,确定所述网络的训练样本集;
第二确定单元,被配置成将训练后的多网络模型中的各个网络确定为训练后的多网络模型,其中,所述训练后的多网络模型中的网络是基于对应训练样本集训练得到的。
13.一种图像标注装置,包括:
获取单元,被配置成获取待标注图像样本;
输入单元,被配置成将所述待标注图像样本输入至多网络模型中,生成图像标签,其中,所述多网络模型采用如权利要求1-7中任一所述的方法生成。
14.一种人脸图像识别装置,包括:
获取单元,被配置成获取目标人脸图像;
输入输出单元,被配置成将所述目标人脸图像输入至预先训练的人脸图像识别模型,得到人脸识别结果,其中,所述人脸图像识别模型是基于待标注图像样本集和对应的图像标签集训练的,所述图像标签是采用如权利要求8-10中任一所述的方法生成,所述多网络模型采用如权利要求1-7中任一所述的方法生成。
15.一种电子设备,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现如权利要求1-11中任一所述的方法。
16.一种计算机可读介质,其上存储有计算机程序,其中,所述程序被处理器执行时实现如权利要求1-11中任一所述的方法。
CN202011420807.2A 2020-12-08 2020-12-08 多网络模型训练方法、图像标注方法和人脸图像识别方法 Active CN112200173B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011420807.2A CN112200173B (zh) 2020-12-08 2020-12-08 多网络模型训练方法、图像标注方法和人脸图像识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011420807.2A CN112200173B (zh) 2020-12-08 2020-12-08 多网络模型训练方法、图像标注方法和人脸图像识别方法

Publications (2)

Publication Number Publication Date
CN112200173A true CN112200173A (zh) 2021-01-08
CN112200173B CN112200173B (zh) 2021-03-23

Family

ID=74033917

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011420807.2A Active CN112200173B (zh) 2020-12-08 2020-12-08 多网络模型训练方法、图像标注方法和人脸图像识别方法

Country Status (1)

Country Link
CN (1) CN112200173B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112950642A (zh) * 2021-02-25 2021-06-11 中国工商银行股份有限公司 点云实例分割模型的训练方法、装置、电子设备和介质
CN113496256A (zh) * 2021-06-24 2021-10-12 中汽创智科技有限公司 一种图像标注模型训练方法、标注方法、装置、设备及介质
CN114638322A (zh) * 2022-05-20 2022-06-17 南京大学 开放场景下基于给定描述的全自动目标检测系统和方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108154134A (zh) * 2018-01-11 2018-06-12 天格科技(杭州)有限公司 基于深度卷积神经网络的互联网直播色情图像检测方法
CN111242222A (zh) * 2020-01-14 2020-06-05 北京迈格威科技有限公司 分类模型的训练方法、图像处理方法及装置
WO2020128134A1 (en) * 2018-12-18 2020-06-25 Nokia Technologies Oy Data denoising based on machine learning
CN111539443A (zh) * 2020-01-22 2020-08-14 北京小米松果电子有限公司 一种图像识别模型训练方法及装置、存储介质
CN111832613A (zh) * 2020-06-03 2020-10-27 北京百度网讯科技有限公司 模型训练方法、装置、电子设备和存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108154134A (zh) * 2018-01-11 2018-06-12 天格科技(杭州)有限公司 基于深度卷积神经网络的互联网直播色情图像检测方法
WO2020128134A1 (en) * 2018-12-18 2020-06-25 Nokia Technologies Oy Data denoising based on machine learning
CN111242222A (zh) * 2020-01-14 2020-06-05 北京迈格威科技有限公司 分类模型的训练方法、图像处理方法及装置
CN111539443A (zh) * 2020-01-22 2020-08-14 北京小米松果电子有限公司 一种图像识别模型训练方法及装置、存储介质
CN111832613A (zh) * 2020-06-03 2020-10-27 北京百度网讯科技有限公司 模型训练方法、装置、电子设备和存储介质

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112950642A (zh) * 2021-02-25 2021-06-11 中国工商银行股份有限公司 点云实例分割模型的训练方法、装置、电子设备和介质
CN113496256A (zh) * 2021-06-24 2021-10-12 中汽创智科技有限公司 一种图像标注模型训练方法、标注方法、装置、设备及介质
CN113496256B (zh) * 2021-06-24 2024-04-09 中汽创智科技有限公司 一种图像标注模型训练方法、标注方法、装置、设备及介质
CN114638322A (zh) * 2022-05-20 2022-06-17 南京大学 开放场景下基于给定描述的全自动目标检测系统和方法
CN114638322B (zh) * 2022-05-20 2022-09-13 南京大学 开放场景下基于给定描述的全自动目标检测系统和方法

Also Published As

Publication number Publication date
CN112200173B (zh) 2021-03-23

Similar Documents

Publication Publication Date Title
CN110288049B (zh) 用于生成图像识别模型的方法和装置
CN108427939B (zh) 模型生成方法和装置
CN112200173B (zh) 多网络模型训练方法、图像标注方法和人脸图像识别方法
CN109308490B (zh) 用于生成信息的方法和装置
CN114422267B (zh) 流量检测方法、装置、设备及介质
CN112650841A (zh) 信息处理方法、装置和电子设备
CN111915086A (zh) 异常用户预测方法和设备
CN114494709A (zh) 特征提取模型的生成方法、图像特征提取方法和装置
CN113610034B (zh) 识别视频中人物实体的方法、装置、存储介质及电子设备
CN113033707B (zh) 视频分类方法、装置、可读介质及电子设备
CN112419312A (zh) 相似房源信息检测方法、装置、电子设备和可读介质
CN111221424B (zh) 用于生成信息的方法、装置、电子设备和计算机可读介质
CN113222050A (zh) 图像分类方法、装置、可读介质及电子设备
CN114912568A (zh) 数据处理的方法、设备和计算机可读存储介质
CN111797263A (zh) 图像标签生成方法、装置、设备和计算机可读介质
CN111797931A (zh) 图像处理方法、图像处理网络训练方法、装置、设备
CN114625876B (zh) 作者特征模型的生成方法、作者信息处理方法和装置
CN117235744B (zh) 源文件上线方法、装置、电子设备和计算机可读介质
CN117290561B (zh) 业务状态信息反馈方法、装置、设备和计算机可读介质
CN113077353B (zh) 用于生成核保结论的方法、装置、电子设备和介质
CN117636100B (zh) 预训练任务模型调整处理方法、装置、电子设备和介质
CN114639147A (zh) 年龄信息生成方法、装置、电子设备和计算机可读介质
CN116343905B (zh) 蛋白质特征的预处理方法、装置、介质及设备
CN114140613A (zh) 图像检测方法、装置、电子设备及存储介质
CN115761412A (zh) 检测框处理方法、装置、电子设备和计算机可读介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant