CN109886135A - 一种低分辨率人脸识别方法、装置及存储介质 - Google Patents
一种低分辨率人脸识别方法、装置及存储介质 Download PDFInfo
- Publication number
- CN109886135A CN109886135A CN201910074294.5A CN201910074294A CN109886135A CN 109886135 A CN109886135 A CN 109886135A CN 201910074294 A CN201910074294 A CN 201910074294A CN 109886135 A CN109886135 A CN 109886135A
- Authority
- CN
- China
- Prior art keywords
- resolution
- image
- face
- low
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 230000001815 facial effect Effects 0.000 claims abstract description 60
- 238000013528 artificial neural network Methods 0.000 claims abstract description 49
- 238000012549 training Methods 0.000 claims description 27
- 230000006870 function Effects 0.000 claims description 23
- 238000004422 calculation algorithm Methods 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 10
- 238000005070 sampling Methods 0.000 claims description 10
- 238000005457 optimization Methods 0.000 claims description 7
- 238000013527 convolutional neural network Methods 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 6
- 230000008447 perception Effects 0.000 claims description 5
- 238000012790 confirmation Methods 0.000 claims description 4
- 210000004218 nerve net Anatomy 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 3
- 210000005036 nerve Anatomy 0.000 claims 1
- 238000013507 mapping Methods 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 238000005259 measurement Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种低分辨率人脸识别方法、装置及存储介质，其方法包括，构建哈尔小波神经网络和人脸识别网络，对哈尔小波神经网络和人脸识别网络进行训练，将采集的目标低分辨率人脸图像输入经训练的哈尔小波神经网络中，得到高分辨率人脸重建图像，将高分辨率人脸重建图像和采集的目标高分辨率人脸图像分别输入经训练的人脸识别网络中，分别得到高分辨率人脸重建图像特征和目标高分辨率人脸图像特征，进行特征进行余弦相似度计算，得到余弦距离，来判断是否为同一个人；本发明将低分辨率人脸图像由低维到高维的映射过程转化为同等维度的预测，能够更有效的重建出清晰图像，较大程度地提高低分辨率人脸的识别准确率。
Description
技术领域
本发明主要涉及人脸识别技术领域，具体涉及一种低分辨率人脸识别方法、装置及存储介质。
背景技术
低分辨率人脸识别是在安防监控中经常遇到的一种识别场景，是智能交通系统中的一个重要的研究领域，对平安城市的建设以及可疑人的识别有着重要的应用价值。大多数人脸识别系统都是基于特定环境下的应用，对用户和采集设备间的距离、用户的姿态、光照条件等都有很大限制，通常还需要将人脸识别和用户的ID信息相结合，因此，目前应用中所实现的人脸识别是约束状态下的人脸识别。但是在安防监控中，人们大都处于非约束状态，距离摄像头一般较远，导致被检测到的人脸区域较小，分辨率较低，目前对于低分辨率人脸识别效果不佳，识别率较低。
发明内容
本发明所要解决的技术问题是针对现有技术的不足，提供一种低分辨率人脸识别方法、装置及存储介质。
本发明解决上述技术问题的技术方案如下：一种低分辨率人脸识别方法，包括如下步骤：
对预设高分辨率人脸图像进行插值下采样处理，得到低分辨率人脸图像。
根据哈尔小波变换算法构建卷积神经网络，得到哈尔小波神经网络，并根据角度度量算法搭建人脸识别网络。
通过所述预设高分辨率人脸图像和得到的所述低分辨率人脸图像对所述哈尔小波神经网络进行训练，并通过所述预设高分辨率人脸图像对所述人脸识别网络进行训练。
获取采集的目标高分辨率人脸图像和目标低分辨率人脸图像。
将所述目标低分辨率人脸图像输入经训练的哈尔小波神经网络中，得到高分辨率人脸重建图像。
将所述高分辨率人脸重建图像和所述目标高分辨率人脸图像分别输入经训练的人脸识别网络中，分别得到高分辨率人脸重建图像特征和目标高分辨率人脸图像特征。
对所述高分辨率人脸重建图像特征和所述目标高分辨率人脸图像特征进行余弦相似度计算，得到余弦距离，根据所述余弦距离确认所述高分辨率人脸重建图像特征和所述目标高分辨率人脸图像是否指示为同一目标个人。
本发明解决上述技术问题的另一技术方案如下：一种低分辨率人脸识别装置，包括：
图像预处理模块，用于对预设高分辨率人脸图像进行插值下采样处理，得到低分辨率人脸图像。
网络搭建模块，用于根据哈尔小波变换算法构建卷积神经网络，得到哈尔小波神经网络，并根据角度度量算法搭建人脸识别网络。
训练模块，用于通过所述预设高分辨率人脸图像和得到的所述低分辨率人脸图像对所述哈尔小波神经网络进行训练，并通过所述预设高分辨率人脸图像对所述人脸识别网络进行训练。
图像获取模块，用于获取采集的目标高分辨率人脸图像和目标低分辨率人脸图像。
特征处理模块，用于将所述目标低分辨率人脸图像输入经训练的哈尔小波神经网络中，得到高分辨率人脸重建图像。
将所述高分辨率人脸重建图像和所述目标高分辨率人脸图像分别输入经训练的人脸识别网络中，分别得到高分辨率人脸重建图像特征和目标高分辨率人脸图像特征。
确认模块，用于对所述高分辨率人脸重建图像特征和所述目标高分辨率人脸图像特征进行余弦相似度计算，得到余弦距离，根据所述余弦距离确认所述高分辨率人脸重建图像特征和所述目标高分辨率人脸图像是否指示同一目标个人。
本发明解决上述技术问题的另一技术方案如下：一种低分辨率人脸识别装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，当所述处理器执行所述计算机程序时，实现如所述的低分辨率人脸识别方法。
本发明解决上述技术问题的另一技术方案如下：一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，当所述计算机程序被处理器执行时，实现如所述的低分辨率人脸识别方法。
本发明的有益效果是：通过哈尔小波变换算法构建的哈尔小波神经网络，能够提高人脸重建图像的纹理细节与判别能力，提高人脸识别准确率，将低分辨率人脸图像由低维到高维的映射过程转化为同等维度的预测，能够更有效的重建出清晰图像，较大程度地提高低分辨率人脸的识别准确率。
附图说明
图1为本发明一实施例提供的低分辨率人脸识别方法的流程示意图；
图2为本发明一实施例提供的低分辨率人脸识别装置的结构框图。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
图1为本发明一实施例提供的低分辨率人脸识别方法的流程示意图。
如图1所示，一种低分辨率人脸识别方法，包括如下步骤：
对预设高分辨率人脸图像进行插值下采样处理，得到低分辨率人脸图像。
根据哈尔小波变换算法构建卷积神经网络，得到哈尔小波神经网络，并根据角度度量算法搭建人脸识别网络。
通过所述预设高分辨率人脸图像和得到的所述低分辨率人脸图像对所述哈尔小波神经网络进行训练，并通过所述预设高分辨率人脸图像对所述人脸识别网络进行训练。
获取采集的目标高分辨率人脸图像和目标低分辨率人脸图像。具体地，通过预先安装在卡口处的摄像设备进行图像采集。
将所述目标低分辨率人脸图像输入经训练的哈尔小波神经网络中，得到高分辨率人脸重建图像。
将所述高分辨率人脸重建图像和所述目标高分辨率人脸图像分别输入经训练的人脸识别网络中，分别得到高分辨率人脸重建图像特征和目标高分辨率人脸图像特征。
对所述高分辨率人脸重建图像特征和所述目标高分辨率人脸图像特征进行余弦相似度计算，得到余弦距离，根据所述余弦距离确认所述高分辨率人脸重建图像特征和所述目标高分辨率人脸图像是否指示同一目标个人。
应理解地，余弦距离越大，说明特征间的夹角越小，对应的人脸就越相似。
具体地，所述经训练的哈尔小波神经网络包括深度特征提取模块、小波预测模块和人脸特征重建模块，所述深度特征提取模块由多个残差单元组成，通道数量依次叠加，将大小为3*h*w的低分辨率图像映射到1024*h*w的特征空间；其后连接所述小波预测模块，所述小波预测模块由多个并行的支路组成，多个支路进行小波系数预测，同时结合递归卷积提高映射能力；得到小波系数后，经过小波逆变换得到高分辨率图像，人脸特征重建模块是一个预训练的识别网络，使得重建图像与标签图像的特征保持一致。
具体地，所述经训练的人脸识别网络是一个基于角度度量的20层残差网络，以步长为2的卷积层代替池化层，来降低特征图分辨率，第一个全连接层有512个神经元，第二个全连接层有10575个神经元，最终得到512维的特征向量。能够重建出纹理细节丰富的高分辨率人脸图像，相比其他超分辨率增强方法，结合哈尔小波的神经网络，能够准确的重建高频细节，即使是极低分辨率图像，仍然能够准确重建出高清图像，有效提高重建图像的人脸识别准确率。
上述实施例中，通过哈尔小波变换算法构建的哈尔小波神经网络，能够提高人脸重建图像的纹理细节与判别能力，提高人脸识别准确率，将低分辨率人脸图像由低维到高维的映射过程转化为同等维度的预测，能够更有效的重建出清晰图像，较大程度地提高低分辨率人脸的识别准确率。
可选地，作为本发明的一个实施例，所述通过所述预设高分辨率人脸图像和得到的低分辨率人脸图像对所述哈尔小波神经网络进行训练包括：
将下采样处理得到的所述低分辨率人脸图像作为所述哈尔小波神经网络的输入数据，得到低分辨率小波系数，并将所述高分辨率图像分解得到高分辨率小波系数，将所述高分辨率小波系数作为所述哈尔小波神经网络的网络标签，根据所述网络标签和所述低分辨率小波系数训练所述哈尔小波神经网络，并根据损失函数对经训练的哈尔小波神经网络进行优化。
可选地，作为本发明的一个实施例，所述根据所述网络标签和所述低分辨率小波系数训练所述哈尔小波神经网络包括：
将所述网络标签和所述低分辨率小波系数代入第一公式中以训练所述哈尔小波神经网络，所述第一公式为：
其中，lwavelet表示小波系数重建损失，ci表示由所述高分辨率图像分解得到的高分辨率小波系数，所述高分辨率小波系数为网络标签，表示由低分辨率图像得到的低分辨率小波系数，n表示小波系数的个数，ρ、μ为平衡系数，α、ε为平衡因子，F表示求矩阵的F范数。
上述实施例中，融合小波重建损失与感知损失能够有效恢复低分辨率图像的细节，防止图像细节退化；通过小波系数能够得到高分辨率图像，即便是极低分辨率的人脸图像，仍然能较好的重建出细节丰富的图像。
可选地，作为本发明的一个实施例，所述根据损失函数对经训练的哈尔小波神经网络进行优化包括：
通过第二公式优化所述经训练的哈尔小波神经网络，所述第二公式为loss＝lwavelet+λlp
其中，lwavelet表示小波系数重建损失函数，λ表示平衡系数，lp表示感知损失函数，
与φ分别表示高分辨率人脸重建图像特征与目标高分辨率人脸图像特征，C表示高分辨率人脸重建图像特征和目标高分辨率人脸图像特征的通道数量，H表示高分辨率人脸重建图像和目标高分辨率人脸图像特征图像的宽，W表示高分辨率人脸重建图像和目标高分辨率人脸图像特征图像的高，i表示特征的通道数量，表示第i个通道的特征。
上述实施例中，优化后的哈尔小波神经网络使输出的特征更准确。
可选地，作为本发明的一个实施例，所述通过所述预设高分辨率人脸图像对所述人脸识别网络进行训练包括：
将所述预设高分辨率人脸图像作为所述人脸识别网络的输入数据代入第三公式中以训练所述人脸识别网络，所述第三公式为
其中，Lang表示人脸识别网络的损失函数，N表示训练时每批次的图像数量，x表示模型提取到的图像特征，e表示自然数，i表示图像的索引，xi表示第i个图像的特征，y表示归一化后的权重矩阵，θ表示特征与权重之间的夹角，函数保证目标函数Lang的单调性，所述函数表达式为：
m＝4，其中，π表示圆周率，m和k表示角度边缘系数；函数可以将θ的取值范围限制在理想的范围内，m是一个整数，控制角度的边缘，优选地，m＝4能够取得较好的结果，k与m紧密相关，共同决定了夹角的取值范围。
上述实施例中，角度度量损失能够最大化类间距离，最小化类内距离，有效提高人脸识别的准确率。
可选地，作为本发明的一个实施例，所述对所述高分辨率人脸重建图像特征和所述目标高分辨率人脸图像特征进行余弦相似度计算包括：
通过第四公式对所述高分辨率人脸重建图像特征和所述目标高分辨率人脸图像特征进行余弦相似度计算，得到余弦距离，所述第四公式为
其中，d为余弦距离，Vh表示经训练的人脸识别网络提取得到的目标高分辨率人脸图像特征，Vr表示经训练的人脸识别网络提取得到的人脸重建图像特征。
应理解地，d的值越小表示两幅人脸图像就越相似。
图2为本发明一实施例提供的低分辨率人脸识别装置的结构框图。
可选地，作为本发明的另一个实施例，如图2所示，一种低分辨率人脸识别装置，包括：
图像预处理模块，用于对预设高分辨率人脸图像进行插值下采样处理，得到低分辨率人脸图像。
网络搭建模块，用于根据哈尔小波变换算法构建卷积神经网络，得到哈尔小波神经网络，并根据角度度量算法搭建人脸识别网络。
训练模块，用于通过所述预设高分辨率人脸图像和得到的所述低分辨率人脸图像对所述哈尔小波神经网络进行训练，并通过所述预设高分辨率人脸图像对所述人脸识别网络进行训练。
图像获取模块，用于获取采集的目标高分辨率人脸图像和目标低分辨率人脸图像。具体地，通过预先安装在卡口处的摄像设备进行图像采集。
特征处理模块，用于将所述目标低分辨率人脸图像输入经训练的哈尔小波神经网络中，得到高分辨率人脸重建图像。
将所述高分辨率人脸重建图像和所述目标高分辨率人脸图像分别输入经训练的人脸识别网络中，分别得到高分辨率人脸重建图像特征和目标高分辨率人脸图像特征。
确认模块，用于对所述高分辨率人脸重建图像特征和所述目标高分辨率人脸图像特征进行余弦相似度计算，得到余弦距离，根据所述余弦距离确认所述高分辨率人脸重建图像特征和所述目标高分辨率人脸图像是否指示同一目标个人。
应理解地，余弦距离越大，说明特征间的夹角越小，对应的人脸就越相似。
可选地，作为本发明的一个实施例，所述训练模块具体用于：
将下采样处理得到的所述低分辨率人脸图像作为所述哈尔小波神经网络的输入数据，得到低分辨率小波系数，并将所述高分辨率图像分解得到的高分辨率小波系数，将所述高分辨率小波系数作为所述哈尔小波神经网络的网络标签，根据所述网络标签和所述低分辨率小波系数训练所述哈尔小波神经网络，并根据损失函数对经训练的哈尔小波神经网络进行优化。
可选地，作为本发明的一个实施例，所述训练模块具体用于：
将所述网络标签和所述低分辨率小波系数代入第一公式中以训练所述哈尔小波神经网络，所述第一公式为：
其中，lwavelet表示小波系数重建损失，ci表示由所述高分辨率图像分解得到的高分辨率小波系数，所述高分辨率小波系数为网络标签，表示有低分辨率图像得到的低分辨率小波系数，n表示小波系数的个数，ρ、μ为平衡系数，α、ε为平衡因子，F表示求矩阵的F范数。
上述实施例中，融合小波重建损失与感知损失能够有效恢复低分辨率图像的细节，防止图像细节退化；通过小波系数能够得到高分辨率图像，即便是极低分辨率的人脸图像，仍然能较好的重建出细节丰富的图像。
可选地，作为本发明的一个实施例，所述训练模块具体用于：
通过第二公式优化所述经训练的哈尔小波神经网络，所述第二公式为
loss＝lwavelet+λlp
其中，lwavelet表示小波系数重建损失函数，λ表示平衡系数，lp表示感知损失函数，
与φ分别表示高分辨率人脸重建图像特征与目标高分辨率人脸图像特征，C表示高分辨率人脸重建图像特征和目标高分辨率人脸图像特征的通道数量，H表示高分辨率人脸重建图像和目标高分辨率人脸图像特征图像的宽，W表示高分辨率人脸重建图像和目标高分辨率人脸图像特征图像的高，i表示通道数量。
上述实施例中，优化后的哈尔小波神经网络使输出的特征更准确。
可选地，作为本发明的一个实施例，所述训练模块具体用于：
将所述预设高分辨率人脸图像作为所述人脸识别网络的输入数据代入第三公式中以训练所述人脸识别网络，所述第三公式为
其中，Lang表示人脸识别网络的损失函数，N表示训练时每批次的图像数量，x表示模型提取到的图像特征，e表示自然数，i表示图像的索引，xi表示第i个图像的特征，y表示归一化后的权重矩阵，θ表示特征与权重之间的夹角，函数保证目标函数Lang的单调性，所述函数表达式为：
m＝4。其中，π表示圆周率，m和k表示角度边缘系数；函数可以将θ的取值范围限制在理想的范围内，m是一个整数，控制角度的边缘，优选地，m＝4能够取得较好的结果，k与m紧密相关，共同决定了夹角的取值范围。
上述实施例中，角度度量损失能够最大化类间距离，最小化类内距离，有效提高人脸识别的准确率。
可选地，作为本发明的一个实施例，所述确认模块具体用于：
通过第四公式对所述高分辨率人脸重建图像特征和所述目标高分辨率人脸图像特征进行余弦相似度计算，得到余弦距离，所述第四公式为
其中，d为余弦距离，Vh表示经训练的人脸识别网络提取得到的目标高分辨率人脸图像特征，Vr表示经训练的人脸识别网络提取得到的人脸重建图像特征。
应理解地，d的值越小表示两幅人脸图像就越相似。
可选地，作为本发明的另一个实施例，一种低分辨率人脸识别装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，当所述处理器执行所述计算机程序时，实现如所述的低分辨率人脸识别方法。
可选地，作为本发明的另一个实施例，一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，当所述计算机程序被处理器执行时，实现如所述的低分辨率人脸识别方法。
具体地，还包括对哈尔小波神经网络和人脸识别网络进行测试的步骤：
对人脸识别网络训练完成后，去除模型最后的分类层，以全连接层输出作为图像特征表示，保存模型model1。
加载model1中的参数至人脸重建网络的人脸模块，并保持哈尔小波重建网络中的人脸重建模块参数不变，随机初始化重建网络中的其他参数，直到训练完成，保存生成的模型model2。
通过LFW测试数据集对哈尔小波神经网络和人脸识别网络进行测试，加载model1和model2中的参数，将低分辨率人脸图像输入哈尔小波神经网络，得到高分辨率人脸重建图像；将所述高分辨率人脸重建图像输入人脸识别网络，得到高分辨率人脸重建图像特征，再将目标高分辨率人脸图像输入人脸识别网络，得到目标高分辨率人脸图像特征，通过余弦相似度进行比对，判断是否为同一个人。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种低分辨率人脸识别方法，其特征在于，包括如下步骤：
对预设高分辨率人脸图像进行插值下采样处理，得到低分辨率人脸图像；
根据哈尔小波变换算法构建卷积神经网络，得到哈尔小波神经网络，并根据角度度量算法搭建人脸识别网络；
通过所述预设高分辨率人脸图像和得到的所述低分辨率人脸图像对所述哈尔小波神经网络进行训练，并通过所述预设高分辨率人脸图像对所述人脸识别网络进行训练；
获取采集的目标高分辨率人脸图像和目标低分辨率人脸图像；
将所述目标低分辨率人脸图像输入经训练的哈尔小波神经网络中，得到高分辨率人脸重建图像；
将所述高分辨率人脸重建图像和所述目标高分辨率人脸图像分别输入经训练的人脸识别网络中，分别得到高分辨率人脸重建图像特征和目标高分辨率人脸图像特征；
对所述高分辨率人脸重建图像特征和所述目标高分辨率人脸图像特征进行余弦相似度计算，得到余弦距离，根据所述余弦距离确认所述高分辨率人脸重建图像特征和所述目标高分辨率人脸图像是否指示同一目标个人。
2.根据权利要求1所述的低分辨率人脸识别方法，其特征在于，所述通过所述预设高分辨率人脸图像和得到的低分辨率人脸图像对所述哈尔小波神经网络进行训练包括：
将下采样处理得到的所述低分辨率人脸图像作为所述哈尔小波神经网络的输入数据，得到低分辨率小波系数，并将所述高分辨率图像分解得到高分辨率小波系数，将所述高分辨率小波系数作为所述哈尔小波神经网络的网络标签，根据所述网络标签和所述低分辨率小波系数训练所述哈尔小波神经网络，并根据损失函数对经训练的哈尔小波神经网络进行优化。
3.根据权利要求2所述的低分辨率人脸识别方法，其特征在于，所述根据所述网络标签和所述低分辨率小波系数训练所述哈尔小波神经网络包括：
将所述网络标签和所述低分辨率小波系数代入第一公式中以训练所述哈尔小波神经网络，所述第一公式为：
其中，lwavelet表示小波系数重建损失，ci表示由所述高分辨率图像分解得到的高分辨率小波系数，所述高分辨率小波系数为网络标签，表示由低分辨率图像得到的低分辨率小波系数，n表示小波系数的个数，ρ、μ为平衡系数，α、ε为平衡因子，F表示求矩阵的F范数。
4.根据权利要求2所述的低分辨率人脸识别方法，其特征在于，所述根据损失函数对经训练的哈尔小波神经网络进行优化包括：
通过第二公式优化所述经训练的哈尔小波神经网络，所述第二公式为
loss＝lwavglet+λlp
其中，lwavelet表示小波系数重建损失函数，λ表示平衡系数，lp表示感知损失函数，
与φ分别表示高分辨率人脸重建图像特征与目标高分辨率人脸图像特征，C表示高分辨率人脸重建图像特征和目标高分辨率人脸图像特征的通道数量，H表示高分辨率人脸重建图像和目标高分辨率人脸图像特征图像的宽，W表示高分辨率人脸重建图像和目标高分辨率人脸图像特征图像的高，i表示特征的通道数量，表示第i个通道的特征。
5.根据权利要求1所述的低分辨率人脸识别方法，其特征在于，所述通过所述预设高分辨率人脸图像对所述人脸识别网络进行训练包括：
将所述预设高分辨率人脸图像作为所述人脸识别网络的输入数据代入第三公式中以训练所述人脸识别网络，所述第三公式为
其中，Lang表示人脸识别网络的损失函数，N表示训练时每批次的图像数量，x表示模型提取到的图像特征，e表示自然数，i表示图像的索引，xi表示第i个图像的特征，y表示归一化后的权重矩阵，θ表示特征与权重之间的夹角，函数表达式为：
m＝4，其中，π表示圆周率，m和k表示角度边缘系数。
6.根据权利要求1至5任一项所述的低分辨率人脸识别方法，其特征在于，所述对所述高分辨率人脸重建图像特征和所述目标高分辨率人脸图像特征进行余弦相似度计算包括：
通过第四公式对所述高分辨率人脸重建图像特征和所述目标高分辨率人脸图像特征进行余弦相似度计算，得到余弦距离，所述第四公式为
其中，d为余弦距离，Vh表示经训练的人脸识别网络提取得到的目标高分辨率人脸图像特征，Vr表示经训练的人脸识别网络提取得到的人脸重建图像特征。
7.一种低分辨率人脸识别装置，其特征在于，包括：
图像预处理模块，用于对预设高分辨率人脸图像进行插值下采样处理，得到低分辨率人脸图像；
网络搭建模块，用于根据哈尔小波变换算法构建卷积神经网络，得到哈尔小波神经网络，并根据角度度量算法搭建人脸识别网络；
训练模块，用于通过所述预设高分辨率人脸图像和得到的所述低分辨率人脸图像对所述哈尔小波神经网络进行训练，并通过所述预设高分辨率人脸图像对所述人脸识别网络进行训练；
图像获取模块，用于获取采集的目标高分辨率人脸图像和目标低分辨率人脸图像；
特征处理模块，用于将所述目标低分辨率人脸图像输入经训练的哈尔小波神经网络中，得到高分辨率人脸重建图像；
将所述高分辨率人脸重建图像和所述目标高分辨率人脸图像分别输入经训练的人脸识别网络中，分别得到高分辨率人脸重建图像特征和目标高分辨率人脸图像特征；
确认模块，用于对所述高分辨率人脸重建图像特征和所述目标高分辨率人脸图像特征进行余弦相似度计算，得到余弦距离，根据所述余弦距离确认所述高分辨率人脸重建图像特征和所述目标高分辨率人脸图像是否指示同一目标个人。
8.根据权利要求7所述的低分辨率人脸识别装置，其特征在于，所述训练模块具体用于：
将下采样处理得到的所述低分辨率人脸图像作为所述哈尔小波神经网络的输入数据，得到低分辨率小波系数，并将所述高分辨率图像分解得到高分辨率小波系数，将所述高分辨率小波系数作为所述哈尔小波神经网络的网络标签，根据所述网络标签和所述低分辨率小波系数训练所述哈尔小波神经网络，并根据损失函数对经训练的哈尔小波神经网络进行优化。
9.一种低分辨率人脸识别装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，当所述处理器执行所述计算机程序时，实现如权利要求1至6任一项所述的低分辨率人脸识别方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，当所述计算机程序被处理器执行时，实现如权利要求1至6任一项所述的低分辨率人脸识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910074294.5A CN109886135A (zh) | 2019-01-25 | 2019-01-25 | 一种低分辨率人脸识别方法、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910074294.5A CN109886135A (zh) | 2019-01-25 | 2019-01-25 | 一种低分辨率人脸识别方法、装置及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109886135A true CN109886135A (zh) | 2019-06-14 |
Family
ID=66927004
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910074294.5A Pending CN109886135A (zh) | 2019-01-25 | 2019-01-25 | 一种低分辨率人脸识别方法、装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109886135A (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110321939A (zh) * | 2019-06-21 | 2019-10-11 | 中国电子科技集团公司第二十八研究所 | 一种基于超分辨率重建的图像分类方法 |
| CN110705498A (zh) * | 2019-10-12 | 2020-01-17 | 北京泰豪信息科技有限公司 | 一种低分辨率人脸识别方法 |
| CN111079523A (zh) * | 2019-11-05 | 2020-04-28 | 北京迈格威科技有限公司 | 物体检测方法、装置、计算机设备和存储介质 |
| CN111626340A (zh) * | 2020-05-11 | 2020-09-04 | Oppo广东移动通信有限公司 | 一种分类方法、装置、终端及计算机存储介质 |
| CN112784857A (zh) * | 2021-01-29 | 2021-05-11 | 北京三快在线科技有限公司 | 一种模型训练以及图像处理方法及装置 |
| CN112883925A (zh) * | 2021-03-23 | 2021-06-01 | 杭州海康威视数字技术股份有限公司 | 一种人脸图像处理方法、装置及设备 |
| CN114549328A (zh) * | 2022-04-24 | 2022-05-27 | 西南财经大学 | Jpg图像超分辨率恢复方法、计算机可读存储介质及终端 |
| CN114612990A (zh) * | 2022-03-22 | 2022-06-10 | 河海大学 | 一种基于超分辨率的无人机人脸识别方法 |
| CN117238020A (zh) * | 2023-11-10 | 2023-12-15 | 杭州启源视觉科技有限公司 | 人脸识别方法、装置和计算机设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160171331A1 (en) * | 2014-12-11 | 2016-06-16 | Imagination Technologies Limited | Performing object detection in an image |
| CN107423690A (zh) * | 2017-06-26 | 2017-12-01 | 广东工业大学 | 一种人脸识别方法及装置 |
| CN107977932A (zh) * | 2017-12-28 | 2018-05-01 | 北京工业大学 | 一种基于可鉴别属性约束生成对抗网络的人脸图像超分辨率重建方法 |
| CN109033780A (zh) * | 2018-07-03 | 2018-12-18 | 南方电网科学研究院有限责任公司 | 一种基于小波变换和神经网络的边缘计算接入认证方法 |
| CN109034080A (zh) * | 2018-08-01 | 2018-12-18 | 桂林电子科技大学 | 多源域自适应的人脸识别方法 |
-
2019
- 2019-01-25 CN CN201910074294.5A patent/CN109886135A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160171331A1 (en) * | 2014-12-11 | 2016-06-16 | Imagination Technologies Limited | Performing object detection in an image |
| CN107423690A (zh) * | 2017-06-26 | 2017-12-01 | 广东工业大学 | 一种人脸识别方法及装置 |
| CN107977932A (zh) * | 2017-12-28 | 2018-05-01 | 北京工业大学 | 一种基于可鉴别属性约束生成对抗网络的人脸图像超分辨率重建方法 |
| CN109033780A (zh) * | 2018-07-03 | 2018-12-18 | 南方电网科学研究院有限责任公司 | 一种基于小波变换和神经网络的边缘计算接入认证方法 |
| CN109034080A (zh) * | 2018-08-01 | 2018-12-18 | 桂林电子科技大学 | 多源域自适应的人脸识别方法 |
Non-Patent Citations (2)
| Title |
|---|
| HUAIBO HUANG等: ""wavelet-SRNet:A Wavelet-Based CNN for Multi-scale Face Super Resolution"", 《2017 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION》 * |
| WEIYANG LIU等: ""SphereFace: Deep Hypersphere Embedding for Face Recognition"", 《2017 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 * |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110321939A (zh) * | 2019-06-21 | 2019-10-11 | 中国电子科技集团公司第二十八研究所 | 一种基于超分辨率重建的图像分类方法 |
| CN110705498A (zh) * | 2019-10-12 | 2020-01-17 | 北京泰豪信息科技有限公司 | 一种低分辨率人脸识别方法 |
| CN111079523A (zh) * | 2019-11-05 | 2020-04-28 | 北京迈格威科技有限公司 | 物体检测方法、装置、计算机设备和存储介质 |
| CN111079523B (zh) * | 2019-11-05 | 2024-05-14 | 北京迈格威科技有限公司 | 物体检测方法、装置、计算机设备和存储介质 |
| CN111626340A (zh) * | 2020-05-11 | 2020-09-04 | Oppo广东移动通信有限公司 | 一种分类方法、装置、终端及计算机存储介质 |
| CN111626340B (zh) * | 2020-05-11 | 2024-05-28 | Oppo广东移动通信有限公司 | 一种分类方法、装置、终端及计算机存储介质 |
| CN112784857A (zh) * | 2021-01-29 | 2021-05-11 | 北京三快在线科技有限公司 | 一种模型训练以及图像处理方法及装置 |
| CN112883925B (zh) * | 2021-03-23 | 2023-08-29 | 杭州海康威视数字技术股份有限公司 | 一种人脸图像处理方法、装置及设备 |
| CN112883925A (zh) * | 2021-03-23 | 2021-06-01 | 杭州海康威视数字技术股份有限公司 | 一种人脸图像处理方法、装置及设备 |
| CN114612990A (zh) * | 2022-03-22 | 2022-06-10 | 河海大学 | 一种基于超分辨率的无人机人脸识别方法 |
| CN114549328B (zh) * | 2022-04-24 | 2022-07-22 | 西南财经大学 | Jpg图像超分辨率恢复方法、计算机可读存储介质及终端 |
| CN114549328A (zh) * | 2022-04-24 | 2022-05-27 | 西南财经大学 | Jpg图像超分辨率恢复方法、计算机可读存储介质及终端 |
| CN117238020A (zh) * | 2023-11-10 | 2023-12-15 | 杭州启源视觉科技有限公司 | 人脸识别方法、装置和计算机设备 |
| CN117238020B (zh) * | 2023-11-10 | 2024-04-26 | 杭州启源视觉科技有限公司 | 人脸识别方法、装置和计算机设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109886135A (zh) | 一种低分辨率人脸识别方法、装置及存储介质 | |
| US11645835B2 (en) | Hypercomplex deep learning methods, architectures, and apparatus for multimodal small, medium, and large-scale data representation, analysis, and applications | |
| Bubba et al. | Learning the invisible: A hybrid deep learning-shearlet framework for limited angle computed tomography | |
| Dileep et al. | AyurLeaf: a deep learning approach for classification of medicinal plants | |
| Chen et al. | Hyperspectral image classification using dictionary-based sparse representation | |
| CN113408508B (zh) | 基于Transformer的非接触式心率测量方法 | |
| CN109543548A (zh) | 一种人脸识别方法、装置及存储介质 | |
| US20210374388A1 (en) | Facial image recognition using pseudo-images | |
| CN106897675A (zh) | 双目视觉深度特征与表观特征相结合的人脸活体检测方法 | |
| CN110473142B (zh) | 基于深度学习的单幅图像超分辨率重建方法 | |
| Leeds et al. | Comparing visual representations across human fMRI and computational vision | |
| CN104077742B (zh) | 基于Gabor特征的人脸素描合成方法及系统 | |
| CN112329609A (zh) | 基于2d心拍的特征融合迁移学习心律失常分类系统 | |
| CN107341505B (zh) | 一种基于图像显著性与Object Bank的场景分类方法 | |
| Mohamed et al. | An improved LBP algorithm for avatar face recognition | |
| Plichoski et al. | A face recognition framework based on a pool of techniques and differential evolution | |
| Abdolmaleki et al. | Selecting optimum base wavelet for extracting spectral alteration features associated with porphyry copper mineralization using hyperspectral images | |
| JP2022000777A (ja) | 分類装置、分類方法、プログラム、ならびに、情報記録媒体 | |
| CN111127316A (zh) | 一种基于sngan网络的单幅人脸图像超分辨方法及系统 | |
| Kaur et al. | A review of local binary pattern based texture feature extraction | |
| Xiong et al. | Multitask Sparse Representation Model Inspired Network for Hyperspectral Image Denoising | |
| CN111310711B (zh) | 基于二维奇异谱分析融合emd的人脸图像识别方法及系统 | |
| CN111369490B (zh) | 提取骨x光图像特征判断骨质疏松的方法 | |
| Kächele et al. | Fusion mappings for multimodal affect recognition | |
| Joardar et al. | Pose invariant thermal face recognition using patch-wise self-similarity features |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190614 |