CN118155270A - 模型训练方法、人脸识别方法及相关设备 - Google Patents
模型训练方法、人脸识别方法及相关设备 Download PDFInfo
- Publication number
- CN118155270A CN118155270A CN202410583636.7A CN202410583636A CN118155270A CN 118155270 A CN118155270 A CN 118155270A CN 202410583636 A CN202410583636 A CN 202410583636A CN 118155270 A CN118155270 A CN 118155270A
- Authority
- CN
- China
- Prior art keywords
- sample
- illumination
- images
- feature
- sample images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000012549 training Methods 0.000 title claims abstract description 52
- 238000005286 illumination Methods 0.000 claims abstract description 342
- 238000000926 separation method Methods 0.000 claims abstract description 69
- 238000010586 diagram Methods 0.000 claims abstract description 45
- 238000001914 filtration Methods 0.000 claims abstract description 25
- 239000013598 vector Substances 0.000 claims description 76
- 238000000605 extraction Methods 0.000 claims description 36
- 238000012545 processing Methods 0.000 claims description 20
- 230000009466 transformation Effects 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 description 8
- 230000008447 perception Effects 0.000 description 7
- 230000004913 activation Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本申请涉及人脸识别技术领域,公开一种模型训练方法、人脸识别方法及相关设备。该模型训练方法包括:构造多组样本图像集,样本图像集包括三组样本图像,第一组样本图像和第二组样本图像只有光照特征不同,第二组样本图像和第三组样本图像只有光照特征相同;利用待训练的光照分离模型,对样本图像进行光照特征提取,得到样本光照特征图,基于样本光照特征图对样本图像进行光照特征过滤,得到样本非光照特征图;基于样本光照特征图和样本非光照特征图,确定模型损失信息;基于模型损失信息调整待训练的光照分离模型的权重参数,在模型损失信息符合结束条件时,得到预训练的光照分离模型。本申请实施例可以提高在复杂光照场景下人脸识别的准确率。
Description
技术领域
本申请涉及人脸识别技术领域,尤其是一种模型训练方法、人脸识别方法及相关设备。
背景技术
人脸识别是计算机模式识别和生物特征鉴别技术的一个热门研究课题,是指在数字图像或视频图像中,通过人体面部视觉信息,进行人类身份鉴别的计算机技术,被广泛应用于娱乐,信息安全,法律实施和监控等方面。
相关技术中,人脸识别系统一般会设置图像预处理环节,比如先通过设计图像质量评价模块,对不符合要求的图片进行筛选剔除,只有符合质量要求的图片,才会进行后续识别。然而,在复杂光照场景下,人脸识别系统采集得到图片的质量普遍不高,图片质量受光照影响严重,人脸识别的准确率低。
发明内容
本申请的目的是提供一种模型训练方法、人脸识别方法及相关设备,旨在提高在复杂光照场景下人脸识别的准确率。
本申请实施例提供一种模型训练方法,包括:
构造多组样本图像集;所述样本图像集包括三组样本图像,第一组所述样本图像和第二组所述样本图像只有光照特征不同,第二组所述样本图像和第三组所述样本图像只有光照特征相同;
利用待训练的光照分离模型,对所述样本图像进行光照特征提取,得到样本光照特征图,基于所述样本光照特征图对所述样本图像进行光照特征过滤,得到样本非光照特征图;
基于所述样本光照特征图和所述样本非光照特征图,确定模型损失信息;所述模型损失信息由第一组所述样本图像和第二组所述样本图像两者的样本非光照特征图的损失信息和第二组所述样本图像和第三组所述样本图像两者的样本光照特征图的损失信息构成;
基于所述模型损失信息调整所述待训练的光照分离模型的权重参数,在所述模型损失信息符合结束条件时,得到预训练的光照分离模型。
在一些实施例中,在所述利用待训练的光照分离模型,对所述样本图像进行特征提取,得到样本光照特征图和样本非光照特征图之前,还包括:
对所述样本图像进行对数化转换处理,得到预处理后的样本图像。
在一些实施例中,所述利用待训练的光照分离模型,对所述样本图像进行光照特征提取,得到样本光照特征图,基于所述样本光照特征图对所述样本图像进行光照特征过滤,得到样本非光照特征图,包括:
对所述样本图像进行编码处理,得到第一样本特征图;
对所述第一样本特征图进行局部光照特征提取,利用局部光照特征提取结果中的预设维度内的局部光照特征向量生成第二样本特征图;
对所述第二样本特征图进行解码处理,得到所述样本光照特征图;
依据所述样本图像和所述样本光照特征图,确定所述样本非光照特征图。
在一些实施例中,所述对所述第一样本特征图进行局部光照特征提取,利用局部光照特征提取结果中的预设维度内的局部光照特征向量生成第二样本特征图,包括:
对所述第一样本特征图进行维度展开,得到第一样本特征向量;
对所述第一样本特征向量进行全连接操作,得到样本全局特征向量;
对所述样本全局特征向量根据预设的划分维度进行特征分离操作,得到光照相关的样本局部特征向量;
对所述样本局部特征向量进行全连接操作,得到第二样本特征向量;
对所述第二样本特征向量进行维度变换操作,以得到第二样本特征图。
在一些实施例中,所述模型损失信息的计算公式为:
,
,
,
,
其中,为模型损失信息,/>为第一组样本图像,/>为第二组样本图像,/>为第三组样本图像,/>为第一组样本图像和第二组样本图像两者的非光照特征的损失信息,/>为第一组样本图像和第二组样本图像两者的样本非光照特征图的损失信息,/>为第二组样本图像和第三组样本图像两者的样本光照特征图的损失信息,/>和/>均为超参数权重,/>为第一组样本图像生成样本光照特征图时所剔除的特征向量,/>为第二组样本图像生成样本光照特征图时所剔除的特征向量,/>为第一组样本图像的样本非光照特征图,/>为第二组样本图像的样本非光照特征图,/>为第二组样本图像的样本光照特征图,/>为第三组样本图像的样本光照特征图。
本申请实施例还提供一种人脸识别方法,包括:
获取待识别图像;
利用预训练的光照分离模型,对所述待识别图像进行光照特征提取,得到光照特征图,基于所述光照特征图对所述待识别图像进行光照特征过滤,得到非光照特征图;所述预训练的光照分离模型通过多组样本图像集训练至模型损失信息符合结束条件得到,所述样本图像集包括三组样本图像,第一组所述样本图像和第二组所述样本图像只有光照特征不同,第二组所述样本图像和第三组所述样本图像只有光照特征相同,所述模型损失信息由第一组所述样本图像和第二组所述样本图像两者的样本非光照特征图的损失信息和第二组所述样本图像和第三组所述样本图像两者的样本光照特征图的损失信息构成;
对所述非光照特征图进行人脸特征提取,得到人脸特征提取结果;
将所述人脸特征提取结果与预设的人脸特征图进行特征匹配,得到特征匹配结果,根据所述特征匹配结果输出人脸识别结果。
本申请实施例还提供一种模型训练装置,包括:
第一训练模块,用于构造多组样本图像集;所述样本图像集包括三组样本图像,第一组所述样本图像和第二组所述样本图像只有光照特征不同,第二组所述样本图像和第三组所述样本图像只有光照特征相同;
第二训练模块,用于利用待训练的光照分离模型,对所述样本图像进行光照特征提取,得到样本光照特征图,基于所述样本光照特征图对所述样本图像进行光照特征过滤,得到样本非光照特征图;
第三训练模块,用于基于所述样本光照特征图和所述样本非光照特征图,确定模型损失信息;所述模型损失信息由第一组所述样本图像和第二组所述样本图像两者的样本非光照特征图的损失信息和第二组所述样本图像和第三组所述样本图像两者的样本光照特征图的损失信息构成;
第四训练模块,用于基于所述模型损失信息调整所述待训练的光照分离模型的权重参数,在所述模型损失信息符合结束条件时,得到预训练的光照分离模型。
本申请实施例还提供一种人脸识别装置,包括:
第一模块,用于获取待识别图像;
第二模块,用于利用预训练的光照分离模型,对所述待识别图像进行光照特征提取,得到光照特征图,基于所述光照特征图对所述待识别图像进行光照特征过滤,得到非光照特征图;所述预训练的光照分离模型通过多组样本图像集训练至模型损失信息符合结束条件得到,所述样本图像集包括三组样本图像,第一组所述样本图像和第二组所述样本图像只有光照特征不同,第二组所述样本图像和第三组所述样本图像只有光照特征相同,所述模型损失信息由第一组所述样本图像和第二组所述样本图像两者的样本非光照特征图的损失信息和第二组所述样本图像和第三组所述样本图像两者的样本光照特征图的损失信息构成;
第三模块,用于对所述非光照特征图进行人脸特征提取,得到人脸特征提取结果;
第四模块,用于将所述人脸特征提取结果与预设的人脸特征图进行特征匹配,得到特征匹配结果,根据所述特征匹配结果输出人脸识别结果。
本申请实施例还提供一种电子设备,所述电子设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述的方法。
本申请实施例还提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述的方法。
本申请的有益效果:利用多组样本图像集对待训练的光照分离模型进行训练,以使待训练的光照分离模型的模型损失信息能够符合训练结束条件,得到可以精准分离图像中的光照特征的预训练的光照分离模型。由于样本图像集设计为由三组样本图像构成,第一组样本图像和第二组样本图像只有光照特征不同,第二组样本图像和第三组样本图像只有光照特征相同,训练过程中由第一组样本图像和第二组样本图像两者的样本非光照特征图的损失信息和第二组样本图像和第三组样本图像两者的样本光照特征图的损失信息拟合出模型损失信息,提高待训练的光照分离模型在训练过程中理解和处理光照因素的准确率和效率,使训练得到的预训练的光照分离模型可以准确地识别和分离出待识别图像中的光照特征,提高在复杂光照场景下人脸识别的准确率。
附图说明
图1是本申请实施例提供的模型训练方法的流程图。
图2是本申请实施例提供的步骤S102的具体方法的流程图。
图3是本申请实施例提供的步骤S202的具体方法的流程图。
图4是本申请实施例提供的人脸识别方法的流程图。
图5是本申请实施例提供的模型训练装置的结构示意图。
图6是本申请实施例提供的人脸识别装置的结构示意图。
图7是本申请实施例提供的电子设备的硬件结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本申请,并不用于限定本申请。
需要说明的是,虽然在装置示意图中进行了功能模块划分,在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于装置中的模块划分,或流程图中的顺序执行所示出或描述的步骤。说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。
除非另有定义,本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的,不是旨在限制本申请。
请参阅图1,图1是本申请实施例提供的模型训练方法的流程图。在本申请的一些实施例中,图1中的方法具体可以包括但不限于步骤S101至步骤S104,下面结合图1对这四个步骤进行详细介绍。
步骤S101,构造多组样本图像集。
样本图像集包括三组样本图像,第一组样本图像和第二组样本图像只有光照特征不同,第二组样本图像和第三组样本图像只有光照特征相同。
可以理解的是,多组样本图像集构成一个训练集,每组样本图像集均是由三组样本图像构成,对于一组样本图像集,第一组样本图像和第二组样本图像只有光照特征不同,而其他非光照特征相同,第二组样本图像和第三组样本图像只有光照特征相同,而其他非光照特征具有明显区别。光照特征可以是包括光照强度特征和光照方向特征等,非光照特征可以是包括几何形状特征、颜色特征和纹理特征等。
在步骤S101中,构造样本图像集,具体是预设具有多组人脸图像的人脸图像集和具有多种不同光照特征的光照特征集,每张人脸图像与对应的人物具有映射关系,从人脸图像集中选取一张人脸图像,分别融合不同的光照特征,得到第一组样本图像和第二组样本图像,从人脸图像集中选取另一张人脸图像,融合与第二组样本图像相同的光照特征,得到第三组样本图像。
步骤S102,利用待训练的光照分离模型,对样本图像进行光照特征提取,得到样本光照特征图,基于样本光照特征图对样本图像进行光照特征过滤,得到样本非光照特征图。
待训练的光照分离模型可以是选用卷积神经网络,可以学习输入的样本图像中光照特征,对样本图像进行光照特征提取,并通过逐层传递的方式将低层次的特征组合成高层次的特征表示,生成样本光照特征图。
在步骤S102中,获取待训练的光照分离模型,将样本图像集逐组输入至待训练的光照分离模型,通过待训练的光照分离模型对每组样本图像集中的样本图像进行光照特征提取,具体是基于获取的光照特征向量,通过线性变换、上采样以及反卷积,以解码光照特征向量,得到样本光照特征图,然后利用样本光照特征图对样本图像进行光照特征过滤,保留样本图像中的非光照特征,得到样本非光照特征图。
在一些实施例中,在步骤S102之前,还包括以下步骤:对样本图像进行对数化转换处理,得到预处理后的样本图像。
基于Retinex理论,图像被看作是由非光照特征/>和光照特征/>共同构成的。用公式化表示,则为:
,
由于对数形式与人类对亮度感知的过程属性最为接近,因此将上述公式转换为对数形式进行处理,这样不仅使得复杂的乘法运算转换为简单的加法运算,而且更符合人类感知亮度的方式,对数形式的公式如下:
,
基于此,对样本图像进行对数化转换处理,将样本图像集t中的三组样本图像A、B和C分别进行了对数处理,得到相应的预处理后的样本图像,以及得到预处理后的样本图像集,样本图像集/>的公式如下:
,
可以理解的是,由于图像存在像素值为0的情况,因此对所有样本图像在取对数之前都做了像素加1的处理。这一处理步骤旨在将样本图像的范围或尺度调整到更适宜进行数学运算的区间,从而简化计算过程、提高计算效率,并在一定程度上减少计算误差。预处理后的样本图像将更好地满足后续分析或建模的需求,确保计算结果更加精确可靠。
如图2所示,在一些实施例中,步骤S102具体可以包括但不限于步骤S201至步骤S204,下面结合图2对这四个步骤进行详细介绍。
步骤S201,对样本图像进行编码处理,得到第一样本特征图。
步骤S202,对第一样本特征图进行局部光照特征提取,利用局部光照特征提取结果中的预设维度内的局部光照特征向量生成第二样本特征图。
步骤S203,对第二样本特征图进行解码处理,得到样本光照特征图。
步骤S204,依据样本图像和样本光照特征图,确定样本非光照特征图。
本实施例中,待训练的光照分离模型包括编码模块、解码模块和光照过滤模块,其中,编码模块包括编码层和局部特征感知层,编码层包括卷积子层、激活子层、池化子层和归一化子层,局部特征感知层包括维度展开子层、第一全连接子层、特征分离子层、第二全连接子层和维度变换子层。
在步骤S201中,利用编码层对样本图像进行编码处理,得到第一样本特征图。具体的,将预处理后的样本图像输入至编码层,在编码层中,前一个卷积层的输出特征图作为后一个卷积层的输入特征图,逐层对预处理后的样本图像进行卷积和激活操作并通过残差连接进行特征传播,从而通过深层卷积提取预处理后的样本图像的深层特征,对最后一个卷积层的输出进行最大池化处理,得到第一样本特征图。
在步骤S202中,利用局部特征感知层对第一样本特征图进行局部光照特征提取,从局部光照特征提取结果中提取预设维度内的特征向量,生成第二样本特征图。具体的,局部特征感知层可以是通过维度展开子层对第一样本特征图进行展开得到第一样本特征向量,然后通过全连接操作获取n维的全局图像特征向量,接着通过特征分离子层选取预设维度的局部特征向量,通过全连接操作生成第二样本特征向量,继而通过维度变换操作得到第二样本特征图。示例性地,局部光照特征提取结果为n维的全局图像特征向量,局部特征感知层在前k维专注于提取光照特征,局部特征感知层在后n-k维专注于提取非光照特征,提取n维的全局图像特征向量中前k维的局部光照特征向量,从而生成第二样本特征图。其中,k值的大小可以通过遍历搜索的方法来确定,在模型训练过程中使局部特征感知层在前k维专注于提取光照特征,在后n-k维专注于提取非光照特征,并具有符合预设条件的预测精度,这种遍历搜索的过程找到最优的k值,使得编码层在编码光照特征和非光照特征时达到最佳的平衡,提高待训练的光照分离模型在理解和处理光照因素时的准确率和效率。
在步骤S203中,利用解码模块对第二样本特征图进行解码处理,得到样本光照特征图。具体的,将第二样本特征图输入至解码模块,在解码模块中,将第二样本特征图进行解码转换,通过上采样、逐层反卷积和激活操作,对第二样本特征图进行升维,最后以与样本图像相同的通道数进行反卷积操作,生成对应的样本光照特征图。
在步骤S204中,利用光照过滤模块,依据样本图像和样本光照特征图,确定样本非光照特征图。具体的,将样本图像和样本光照特征图输入至光照过滤模块,在光照过滤模块中,依据样本光照特征图,对样本图像进行光照特征过滤处理,得到样本非光照特征图。光照特征过滤处理的公式如下:
。
如图3所示,在一些实施例中,步骤S202具体可以包括但不限于步骤S301至步骤S305,下面结合图3对这五个步骤进行详细介绍。
步骤S301,对第一样本特征图进行维度展开,得到第一样本特征向量。
步骤S302,对第一样本特征向量进行全连接操作,得到样本全局特征向量。
步骤S303,对样本全局特征向量根据预设的划分维度进行特征分离操作,得到光照相关的样本局部特征向量。
步骤S304,对样本局部特征向量进行全连接操作,得到第二样本特征向量。
步骤S305,对第二样本特征向量进行维度变换操作,以得到第二样本特征图。
在步骤S301中,通过维度展开子层对第一样本特征图进行维度展开操作,得到了第一样本特征向量。具体的,第一样本特征图的宽、高和通道数三个维度在维度展开子层进行展平,从而得到一个一维的第一样本特征向量,第一样本特征向量包含了第一样本特征图中的所有信息,但形式更加简洁,便于后续的处理。
在步骤S302中,通过第一全连接子层对第一样本特征向量结果进行全连接处理,得到样本全局特征向量。具体的,第一全连接子层连接维度展开子层,第一全连接子层将维度展开子层输出的第一样本特征向量映射到预设维度的空间,得到样本全局特征向量,实现特征的提取和维度转换。
在步骤S303中,通过特征分离子层根据预设维度对样本全局特征向量进行特征分离操作,得到样本局部特征向量。具体的,特征分离子层连接全连接子层,样本全局特征向量在特征分离子层中进行特征分离操作后,得到样本局部特征向量,该样本局部特征向量专注于描述样本图像的光照特征。
在步骤S304中,通过第二全连接子层对样本局部特征向量结果进行全连接处理,得到第二样本特征向量。具体的,第一全连接子层连接特征分离子层,通过第一全连接子层进一步提取和转换样本局部特征向量中的信息,得到更加精确和有用的特征表示,即样本局部特征向量经过全连接处理得到第二样本特征向量,第二样本特征向量是对样本图像的局部特征的进一步抽象和表达。
在步骤S305中,根据第二样本特征向量,通过在维度变换子层进行维度变换操作,得到第二样本特征图。具体的,维度变换子层连接第二全连接子层,维度变换子层将一维的第二样本特征向量转换回三维的第二样本特征图,通过对第二样本特征向量进行重塑,以恢复其原始的空间结构,经过维度变换后,得到第二样本特征图,第二样本特征图不仅包含了样本图像的局部特征信息,而且保留了特征的空间分布和关联性,为后续的图像处理或分析提供了有力的支持。
步骤S103,基于样本光照特征图和样本非光照特征图,确定模型损失信息。
模型损失信息由第一组样本图像和第二组样本图像两者的样本非光照特征图的损失信息和第二组样本图像和第三组样本图像两者的样本光照特征图的损失信息构成。
可以理解的是,模型损失信息是基于样本非光照特征和样本光照特征进行设计的,模型损失信息由第一损失信息、第二损失信息和第三损失信息构成,等于第一损失信息、第二损失信息和第三损失信息之和,其中,第一损失信息表征第一组样本图像和第二组样本图像两者的非光照特征的损失信息,第二损失信息表征第一组样本图像和第二组样本图像两者的样本非光照特征图的损失信息,第三损失信息表征第二组样本图像和第三组样本图像两者的样本光照特征图的损失信息,通过计算上述三种损失信息,可以确定模型损失信息。
具体的,模型损失信息的计算公式为:
,
,
,
,
其中,为模型损失信息,/>为第一组样本图像,/>为第二组样本图像,/>为第三组样本图像,/>为第一组样本图像和第二组样本图像两者的非光照特征的损失信息,/>为第一组样本图像和第二组样本图像两者的样本非光照特征图的损失信息,/>为第二组样本图像和第三组样本图像两者的样本光照特征图的损失信息,/>和/>均为超参数权重,/>为第一组样本图像生成样本光照特征图时所剔除的特征向量,/>为第二组样本图像生成样本光照特征图时所剔除的特征向量,/>为第一组样本图像的样本非光照特征图,/>为第二组样本图像的样本非光照特征图,/>为第二组样本图像的样本光照特征图,/>为第三组样本图像的样本光照特征图。
本实施例中,样本光照特征图和样本非光照特征图是在将样本图像进行对数化处理之后输入到待训练的光照分离模型生成的,样本光照特征图和样本非光照特征图的公式如下:
,
,
其中,为第一组样本图像的样本光照特征图。
步骤S104,基于模型损失信息调整待训练的光照分离模型的权重参数,在模型损失信息符合结束条件时,得到预训练的光照分离模型。
请参阅图4,图4是本申请实施例提供的人脸识别方法的流程图。在本申请的一些实施例中,图4中的方法具体可以包括但不限于步骤S401至步骤S404,下面结合图4对这四个步骤进行详细介绍。
步骤S401,获取待识别图像。
步骤S402,利用预训练的光照分离模型,对待识别图像进行光照特征提取,得到光照特征图,基于光照特征图对待识别图像进行光照特征过滤,得到非光照特征图。
预训练的光照分离模型通过多组样本图像集训练至模型损失信息符合结束条件得到,预训练的光照分离模块是选用上述实施例的待训练的光照分离模块并采用上述实施例的模型训练方法得到的。样本图像集包括三组样本图像,第一组样本图像和第二组样本图像只有光照特征不同,第二组样本图像和第三组样本图像只有光照特征相同,模型损失信息由第一组样本图像和第二组样本图像两者的样本非光照特征图的损失信息和第二组样本图像和第三组样本图像两者的样本光照特征图的损失信息构成。
步骤S403,对非光照特征图进行人脸特征提取,得到人脸特征提取结果。
步骤S404,将人脸特征提取结果与预设的人脸特征图进行特征匹配,得到特征匹配结果,根据特征匹配结果输出人脸识别结果。
在一些实施例中,利用预训练的光照分离模型,对待识别图像进行光照特征提取,得到光照特征图,基于光照特征图对待识别图像进行光照特征过滤,得到非光照特征图之前,还包括:
对待识别图像进行对数化转换处理,得到预处理后的待识别图像。
在一些实施例中,利用预训练的光照分离模型,对待识别图像进行光照特征提取,得到光照特征图,基于光照特征图对待识别图像进行光照特征过滤,得到非光照特征图,包括:
对待识别图像进行编码处理,得到第一特征图;
对第一特征图进行局部光照特征提取,利用局部光照特征提取结果中的预设维度内的局部光照特征向量生成第二特征图;
对第二特征图进行解码处理,得到光照特征图;
依据待识别图像和光照特征图,确定非光照特征图。
在一些实施例中,对第一特征图进行局部光照特征提取,利用局部光照特征提取结果中的预设维度内的局部光照特征向量生成第二特征图,包括:
对第一特征图进行维度展开,得到第一特征向量;
对第一特征向量进行全连接操作,得到全局特征向量;
对全局特征向量根据预设的划分维度进行特征分离操作,得到光照相关的局部特征向量;
对局部特征向量进行全连接操作,得到第二特征向量;
对第二特征向量进行维度变换操作,以得到第二特征图。
请参阅图5,本申请实施例还提供一种模型训练装置,可以实现上述模型训练方法,该装置包括:
第一训练模块501,用于构造多组样本图像集;样本图像集包括三组样本图像,第一组样本图像和第二组样本图像只有光照特征不同,第二组样本图像和第三组样本图像只有光照特征相同。
第二训练模块502,用于利用待训练的光照分离模型,对样本图像进行光照特征提取,得到样本光照特征图,基于样本光照特征图对样本图像进行光照特征过滤,得到样本非光照特征图。
第三训练模块503,用于基于样本光照特征图和样本非光照特征图,确定模型损失信息;模型损失信息由第一组样本图像和第二组样本图像两者的样本非光照特征图的损失信息和第二组样本图像和第三组样本图像两者的样本光照特征图的损失信息构成。
第四训练模块504,用于基于模型损失信息调整待训练的光照分离模型的权重参数,在模型损失信息符合结束条件时,得到预训练的光照分离模型。
该模型训练装置的具体实施方式与上述模型训练方法的具体实施例基本相同,在此不再赘述。
请参阅图6,本申请实施例还提供一种人脸识别装置,可以实现上述人脸识别方法,该装置包括:
第一模块601,用于获取待识别图像。
第二模块602,用于利用预训练的光照分离模型,对待识别图像进行光照特征提取,得到光照特征图,基于光照特征图对待识别图像进行光照特征过滤,得到非光照特征图;预训练的光照分离模型通过多组样本图像集训练至模型损失信息符合结束条件得到,样本图像集包括三组样本图像,第一组样本图像和第二组样本图像只有光照特征不同,第二组样本图像和第三组样本图像只有光照特征相同,模型损失信息由第一组样本图像和第二组样本图像两者的样本非光照特征图的损失信息和第二组样本图像和第三组样本图像两者的样本光照特征图的损失信息构成。
第三模块603,用于对非光照特征图进行人脸特征提取,得到人脸特征提取结果。
第四模块604,用于将人脸特征提取结果与预设的人脸特征图进行特征匹配,得到特征匹配结果,根据特征匹配结果输出人脸识别结果。
该人脸识别装置的具体实施方式与上述人脸识别方法的具体实施例基本相同,在此不再赘述。
图7是根据一示例性实施例示出的一种电子设备的框图。
下面参照图7来描述根据本公开的这种实施方式的电子设备700。图7显示的电子设备700仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图7所示,电子设备700以通用计算设备的形式表现。电子设备700的组件可以包括但不限于:至少一个处理单元710、至少一个存储单元720、连接不同系统组件(包括存储单元720和处理单元710)的总线730、显示单元740等。
其中,存储单元存储有程序代码,程序代码可以被处理单元710执行,使得处理单元710执行本说明书上述的方法部分中描述的根据本公开各种示例性实施方式的步骤。
存储单元720可以包括易失性存储单元形式的可读介质,例如随机存取存储单元(RAM)7201和/或高速缓存存储单元7202,还可以进一步包括只读存储单元(ROM)7203。
存储单元720还可以包括具有一组(至少一个)程序模块7205的程序/实用工具7204,这样的程序模块7205包括但不限于:操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线730可以为表示几类总线结构中的一种或多种,包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备700也可以与一个或多个外部设备700’(例如键盘、指向设备、蓝牙设备等)通信,还可与一个或者多个使得用户能与该电子设备700交互的设备通信,和/或与使得该电子设备700能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口750进行。并且,电子设备700还可以通过网络适配器760与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。网络适配器760可以通过总线730与电子设备700的其它模块通信。应当明白,尽管图中未示出,可以结合电子设备700使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
本申请实施例还提供了一种计算机可读存储介质,该计算机可读存储介质存储有计算机程序,该计算机程序被处理器执行时实现上述的方法。
本申请实施例提供的模型训练方法、人脸识别方法及相关设备,利用多组样本图像集对待训练的光照分离模型进行训练,以使待训练的光照分离模型的模型损失信息能够符合训练结束条件,得到可以精准分离图像中的光照特征的预训练的光照分离模型。由于样本图像集设计为由三组样本图像构成,第一组样本图像和第二组样本图像只有光照特征不同,第二组样本图像和第三组样本图像只有光照特征相同,训练过程中由第一组样本图像和第二组样本图像两者的样本非光照特征图的损失信息和第二组样本图像和第三组样本图像两者的样本光照特征图的损失信息拟合出模型损失信息,提高待训练的光照分离模型在训练过程中理解和处理光照因素的准确率和效率,使训练得到的预训练的光照分离模型可以准确地识别和分离出待识别图像中的光照特征,提高在复杂光照场景下人脸识别的准确率。
通过以上的实施方式的描述,本领域的技术人员易于理解,这里描述的示例实施方式可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本公开实施方式的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、或者网络设备等)执行根据本公开实施方式的上述方法。
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质,该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、有线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码,程序设计语言包括面向对象的程序设计语言—诸如Java、C++等,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到用户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
本领域技术人员可以理解上述各模块可以按照实施例的描述分布于装置中,也可以进行相应变化唯一不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块,也可以进一步拆分成多个子模块。
通过以上的实施例的描述,本领域的技术人员易于理解,这里描述的示例实施例可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本公开实施例的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、移动终端、或者网络设备等)执行根据本公开实施例的方法。
以上具体地示出和描述了本公开的示例性实施例。应可理解的是,本公开不限于这里描述的详细结构、设置方式或实现方法;相反,本公开意图涵盖包含在所附权利要求的精神和范围内的各种修改和等效设置。
Claims (10)
1.一种模型训练方法,其特征在于,包括:
构造多组样本图像集;所述样本图像集包括三组样本图像,第一组所述样本图像和第二组所述样本图像只有光照特征不同,第二组所述样本图像和第三组所述样本图像只有光照特征相同;
利用待训练的光照分离模型,对所述样本图像进行光照特征提取,得到样本光照特征图,基于所述样本光照特征图对所述样本图像进行光照特征过滤,得到样本非光照特征图;
基于所述样本光照特征图和所述样本非光照特征图,确定模型损失信息;所述模型损失信息由第一组所述样本图像和第二组所述样本图像两者的样本非光照特征图的损失信息和第二组所述样本图像和第三组所述样本图像两者的样本光照特征图的损失信息构成;
基于所述模型损失信息调整所述待训练的光照分离模型的权重参数,在所述模型损失信息符合结束条件时,得到预训练的光照分离模型。
2.根据权利要求1所述的模型训练方法,其特征在于,在所述利用待训练的光照分离模型,对所述样本图像进行光照特征提取,得到样本光照特征图,基于所述样本光照特征图对所述样本图像进行光照特征过滤,得到样本非光照特征图之前,还包括:
对所述样本图像进行对数化转换处理,得到预处理后的样本图像。
3.根据权利要求1所述的模型训练方法,其特征在于,所述利用待训练的光照分离模型,对所述样本图像进行光照特征提取,得到样本光照特征图,基于所述样本光照特征图对所述样本图像进行光照特征过滤,得到样本非光照特征图,包括:
对所述样本图像进行编码处理,得到第一样本特征图;
对所述第一样本特征图进行局部光照特征提取,利用局部光照特征提取结果中的预设维度内的局部光照特征向量生成第二样本特征图;
对所述第二样本特征图进行解码处理,得到所述样本光照特征图;
依据所述样本图像和所述样本光照特征图,确定所述样本非光照特征图。
4.根据权利要求3所述的模型训练方法,其特征在于,所述对所述第一样本特征图进行局部光照特征提取,利用局部光照特征提取结果中的预设维度内的局部光照特征向量生成第二样本特征图,包括:
对所述第一样本特征图进行维度展开,得到第一样本特征向量;
对所述第一样本特征向量进行全连接操作,得到样本全局特征向量;
对所述样本全局特征向量根据预设的划分维度进行特征分离操作,得到光照相关的样本局部特征向量;
对所述样本局部特征向量进行全连接操作,得到第二样本特征向量;
对所述第二样本特征向量进行维度变换操作,以得到第二样本特征图。
5.根据权利要求1所述的模型训练方法,其特征在于,所述模型损失信息的计算公式为:
,
,
,
,
其中,为模型损失信息,/>为第一组样本图像,/>为第二组样本图像,/>为第三组样本图像,/>为第一组样本图像和第二组样本图像两者的非光照特征的损失信息,/>为第一组样本图像和第二组样本图像两者的样本非光照特征图的损失信息,/>为第二组样本图像和第三组样本图像两者的样本光照特征图的损失信息,/>和/>均为超参数权重,/>为第一组样本图像生成样本光照特征图时所剔除的特征向量,/>为第二组样本图像生成样本光照特征图时所剔除的特征向量,/>为第一组样本图像的样本非光照特征图,/>为第二组样本图像的样本非光照特征图,/>为第二组样本图像的样本光照特征图,/>为第三组样本图像的样本光照特征图。
6.一种人脸识别方法,其特征在于,包括:
获取待识别图像;
利用预训练的光照分离模型,对所述待识别图像进行光照特征提取,得到光照特征图,基于所述光照特征图对所述待识别图像进行光照特征过滤,得到非光照特征图;所述预训练的光照分离模型通过多组样本图像集训练至模型损失信息符合结束条件得到,所述样本图像集包括三组样本图像,第一组所述样本图像和第二组所述样本图像只有光照特征不同,第二组所述样本图像和第三组所述样本图像只有光照特征相同,所述模型损失信息由第一组所述样本图像和第二组所述样本图像两者的样本非光照特征图的损失信息和第二组所述样本图像和第三组所述样本图像两者的样本光照特征图的损失信息构成;
对所述非光照特征图进行人脸特征提取,得到人脸特征提取结果;
将所述人脸特征提取结果与预设的人脸特征图进行特征匹配,得到特征匹配结果,根据所述特征匹配结果输出人脸识别结果。
7.一种模型训练装置,其特征在于,包括:
第一训练模块,用于构造多组样本图像集;所述样本图像集包括三组样本图像,第一组所述样本图像和第二组所述样本图像只有光照特征不同,第二组所述样本图像和第三组所述样本图像只有光照特征相同;
第二训练模块,用于利用待训练的光照分离模型,对所述样本图像进行光照特征提取,得到样本光照特征图,基于所述样本光照特征图对所述样本图像进行光照特征过滤,得到样本非光照特征图;
第三训练模块,用于基于所述样本光照特征图和所述样本非光照特征图,确定模型损失信息;所述模型损失信息由第一组所述样本图像和第二组所述样本图像两者的样本非光照特征图的损失信息和第二组所述样本图像和第三组所述样本图像两者的样本光照特征图的损失信息构成;
第四训练模块,用于基于所述模型损失信息调整所述待训练的光照分离模型的权重参数,在所述模型损失信息符合结束条件时,得到预训练的光照分离模型。
8.一种人脸识别装置,其特征在于,包括:
第一模块,用于获取待识别图像;
第二模块,用于利用预训练的光照分离模型,对所述待识别图像进行光照特征提取,得到光照特征图,基于所述光照特征图对所述待识别图像进行光照特征过滤,得到非光照特征图;所述预训练的光照分离模型通过多组样本图像集训练至模型损失信息符合结束条件得到,所述样本图像集包括三组样本图像,第一组所述样本图像和第二组所述样本图像只有光照特征不同,第二组所述样本图像和第三组所述样本图像只有光照特征相同,所述模型损失信息由第一组所述样本图像和第二组所述样本图像两者的样本非光照特征图的损失信息和第二组所述样本图像和第三组所述样本图像两者的样本光照特征图的损失信息构成;
第三模块,用于对所述非光照特征图进行人脸特征提取,得到人脸特征提取结果;
第四模块,用于将所述人脸特征提取结果与预设的人脸特征图进行特征匹配,得到特征匹配结果,根据所述特征匹配结果输出人脸识别结果。
9.一种电子设备,其特征在于,所述电子设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现权利要求1至6任一项所述的方法。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410583636.7A CN118155270A (zh) | 2024-05-11 | 2024-05-11 | 模型训练方法、人脸识别方法及相关设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410583636.7A CN118155270A (zh) | 2024-05-11 | 2024-05-11 | 模型训练方法、人脸识别方法及相关设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN118155270A true CN118155270A (zh) | 2024-06-07 |
Family
ID=91301497
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410583636.7A Pending CN118155270A (zh) | 2024-05-11 | 2024-05-11 | 模型训练方法、人脸识别方法及相关设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN118155270A (zh) |
-
2024
- 2024-05-11 CN CN202410583636.7A patent/CN118155270A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108509915B (zh) | 人脸识别模型的生成方法和装置 | |
CN112396613B (zh) | 图像分割方法、装置、计算机设备及存储介质 | |
CN112699991A (zh) | 用于加速神经网络训练的信息处理的方法、电子设备和计算机可读介质 | |
CN110222220B (zh) | 图像处理方法、装置、计算机可读介质及电子设备 | |
CN112418292B (zh) | 一种图像质量评价的方法、装置、计算机设备及存储介质 | |
CN108734653B (zh) | 图像风格转换方法及装置 | |
CN110781413B (zh) | 兴趣点确定方法及装置、存储介质、电子设备 | |
CN113327599B (zh) | 语音识别方法、装置、介质及电子设备 | |
JP2022169743A (ja) | 情報抽出方法、装置、電子機器及び記憶媒体 | |
CN116050496A (zh) | 图片描述信息生成模型的确定方法及装置、介质、设备 | |
WO2021139351A1 (zh) | 图像分割方法、装置、介质及电子设备 | |
CN113780326A (zh) | 一种图像处理方法、装置、存储介质及电子设备 | |
CN111612075A (zh) | 基于联合特征重组和特征混合的兴趣点、描述符提取方法 | |
CN114139703A (zh) | 知识蒸馏方法及装置、存储介质及电子设备 | |
CN113409307A (zh) | 基于异质噪声特性的图像去噪方法、设备及介质 | |
CN113658122A (zh) | 图像质量评价方法、装置、存储介质与电子设备 | |
CN113902789A (zh) | 图像特征处理、深度图像生成方法及装置、介质和设备 | |
CN112183303A (zh) | 变电设备图像分类方法、装置、计算机设备和介质 | |
CN115565186B (zh) | 文字识别模型的训练方法、装置、电子设备和存储介质 | |
CN116431827A (zh) | 信息处理方法、装置、存储介质及计算机设备 | |
JP2023062150A (ja) | 文字認識モデルトレーニング、文字認識方法、装置、機器及び媒体 | |
CN118155270A (zh) | 模型训练方法、人脸识别方法及相关设备 | |
CN114330239A (zh) | 文本处理方法及装置、存储介质及电子设备 | |
CN113571046A (zh) | 一种人工智能语音识别分析方法、系统、装置及存储介质 | |
CN111178630A (zh) | 一种负荷预测方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination |