CN112529825B - 人脸图像分辨率重建方法、装置、设备及存储介质 - Google Patents
人脸图像分辨率重建方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN112529825B CN112529825B CN202011443073.XA CN202011443073A CN112529825B CN 112529825 B CN112529825 B CN 112529825B CN 202011443073 A CN202011443073 A CN 202011443073A CN 112529825 B CN112529825 B CN 112529825B
- Authority
- CN
- China
- Prior art keywords
- face
- data
- images
- layer
- face images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000000605 extraction Methods 0.000 claims abstract description 20
- 238000005070 sampling Methods 0.000 claims abstract description 16
- 230000004913 activation Effects 0.000 claims description 40
- 230000001815 facial effect Effects 0.000 claims description 25
- 230000006870 function Effects 0.000 claims description 23
- 238000012545 processing Methods 0.000 claims description 21
- 238000013507 mapping Methods 0.000 claims description 20
- 230000009467 reduction Effects 0.000 claims description 15
- 238000011176 pooling Methods 0.000 claims description 13
- 238000010586 diagram Methods 0.000 claims description 12
- 238000001914 filtration Methods 0.000 claims description 12
- 230000003321 amplification Effects 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 5
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 5
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 210000002569 neuron Anatomy 0.000 description 10
- 238000003062 neural network model Methods 0.000 description 9
- 239000000463 material Substances 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 5
- 230000006835 compression Effects 0.000 description 5
- 238000007906 compression Methods 0.000 description 5
- 230000004888 barrier function Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 238000005286 illumination Methods 0.000 description 2
- 238000012886 linear function Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000013341 scale-up Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及人工智能领域，公开了一种人脸图像分辨率重建方法、装置、设备及存储介质。所述人脸图像分辨率重建方法包括：获取包含有多种不同来源的联合人脸数据，其中，所述联合人脸数据包括具有不同分辨率的第一人脸图像和对应身份ID；根据所述身份ID，对不同来源的第一人脸图像进行数据对齐，得到待重建的多组第一人脸图像；采用预置同态滤波器分别对所述各组第一人脸图像进行动态范围压缩，得到多组第二人脸图像；将所述各组第二人脸图像输入预置分辨率重建模型进行特征提取与反卷积采样，输出所述各身份ID对应的超分辨率人脸图像。本发明可以获取多来源人脸图像数据并进行高效率及高时效性的图像超分辨率重建。
Description
技术领域
本发明涉及人工智能领域，尤其涉及一种人脸图像分辨率重建方法、装置、设备及存储介质。
背景技术
随着互联网大数据的发展，用户人脸图像数据的应用越来越广泛，例如人脸识别、人脸对齐、表情识别和三维人脸重建等，都需要有清晰的高分辨率人脸图像数据才能够实现。将低分辨率图像恢复成高分辨率图像可以利用图像重建模型来完成，应用较广的神经网络模型，在图像分辨率重建方面有较为突出的表现。
现有的图像重建方法有基于差值、基于重建和基于学习的三种，但分别局限于只能对单帧图像重建，无法实现批量化图像处理；计算量大，无法满足图像重建的实时性要求；清晰度较高但重建效率过低。而在图像重建的素材方面，出于对用户隐私的安全保护，不同行业不同企业之间的用户人脸图像数据存在数据壁垒，各企业只能闭门造车，对自行收集到的图像数据进行重建，图像重建素材来源单一，导致了人脸图像重建的效果并不理想。
发明内容
本发明的主要目的在于解决人脸图像重建素材来源单一且重建效率底时效性差的技术问题。
本发明第一方面提供了一种人脸图像分辨率重建方法，包括：
获取包含有多种不同来源的联合人脸数据，其中，所述联合人脸数据包括具有不同分辨率的第一人脸图像和对应身份ID；
根据所述身份ID，对不同来源的第一人脸图像进行数据对齐，得到待重建的多组第一人脸图像；
采用预置同态滤波器分别对所述各组第一人脸图像进行动态范围压缩，得到多组第二人脸图像；
将所述各组第二人脸图像输入预置分辨率重建模型进行特征提取与反卷积采样，输出所述各身份ID对应的超分辨率人脸图像。
可选的，在本发明第一方面的第一种实现方式中，所述采用预置同态滤波器分别对所述各组第一人脸图像进行动态范围压缩，得到多组第二人脸图像包括：
分别提取所述各组第一人脸图像中的第一入射分量及第一反射分量；
分别对所述各第一入射分量及所述各第一反射分量进行傅里叶变换，对应得到线性组合的多个第二入射分量及多个第二反射分量；
采用预置同态滤波器压缩所述各第二入射分量的数值变化范围，并剥离所述各第二反射分量，得到过滤后的多个第三入射分量；
将所述各第三入射分量进行反傅里叶变换，以将所述各第三入射分量恢复为图像，得到多组第二人脸图像。
可选的，在本发明第一方面的第二种实现方式中，所述分辨率重建模型依次包括：第一卷积层、第二卷积层、激活层、第三卷积层以及第一反卷积层，所述将所述各组第二人脸图像输入预置分辨率重建模型进行特征提取与反卷积采样，输出所述各身份ID对应的超分辨率人脸图像包括：
将所述各组第二人脸图像输入所述第一卷积层进行特征提取，输出多个第一特征图；
将所述各第一特征图输入所述第二卷积层进行降维处理，得到多个第二特征图，其中，所述第二卷积层由多个小卷积核组成；
将所述各第二特征图输入所述激活层进行非线性映射，得到多个第三特征图；
将所述各第三特征图输入所述第三卷积层进行网络扩张，以对所述各第三特征图进行升维，得到多个第四特征图；
将所述各第四特征图输入所述第一反卷积层进行上采样，输出多个超分辨率图像。
可选的，在本发明第一方面的第三种实现方式中，所述激活层包括两个隐藏层及激活函数，所述隐藏层为第二反卷积层及池化层，所述将所述各第二特征图输入所述激活层进行非线性映射，得到多个第三特征图包括：
将所述各第二特征图输入所述激活层中的所述第二反卷积层进行特征放大，得到多个第五特征图；
采用所述激活函数对所述各第五特征图进行非线性映射，得到多个第六特征图；
将所述各第六特征图输入所述池化层进行特征降维处理，得到多个第三特征图。
可选的，在本发明第一方面的第四种实现方式中，在所述获取不同来源的人脸数据之前，还包括：
对本地人脸数据中的身份ID进行加密，得到本地加密人脸数据，其中，所述本地加密人脸数据中包括加密身份ID及明文人脸图像；
将本地加密人脸数据输入预置联合模型进行身份ID加密运算，得到联合人脸数据，其中，所述联合人脸数据包括本地联合人脸数据及外源联合人脸数据。
可选的，在本发明第一方面的第五种实现方式中，所述根据所述身份ID，对不同来源的第一人脸图像进行数据对齐，得到待重建的多组第一人脸图像包括：
将所述本地联合人脸数据与所述外源联合人脸数据进行数据对齐，得到对齐结果；
提取所述对齐结果中存在交集的联合人脸数据，并将所述联合人脸数据中各身份ID对应的人脸图像作为目标图像，得到待重建的多组第一人脸图像。
本发明第二方面提供了一种人脸图像分辨率重建装置，包括：
获取模块，用于获取包含有多种不同来源的联合人脸数据，其中，所述联合人脸数据包括具有不同分辨率的第一人脸图像和对应身份ID；
对齐模块，用于根据所述身份ID，对不同来源的第一人脸图像进行数据对齐，得到待重建的多组第一人脸图像；
过滤模块，用于采用预置同态滤波器分别对所述各组第一人脸图像进行动态范围压缩，得到多组第二人脸图像；
重建模块，用于将所述各组第二人脸图像输入预置分辨率重建模型进行特征提取与反卷积采样，输出所述各身份ID对应的超分辨率人脸图像。
可选的，在本发明第二方面的第一种实现方式中，所述过滤模块具体用于：
分别提取所述各组第一人脸图像中的第一入射分量及第一反射分量；
分别对所述各第一入射分量及所述各第一反射分量进行傅里叶变换，对应得到线性组合的多个第二入射分量及多个第二反射分量；
采用预置同态滤波器压缩所述各第二入射分量的数值变化范围，并剥离所述各第二反射分量，得到过滤后的多个第三入射分量；
将所述各第三入射分量进行反傅里叶变换，以将所述各第三入射分量恢复为图像，得到多组第二人脸图像。
可选的，在本发明第二方面的第二种实现方式中，所述分辨率重建模型依次包括：第一卷积层、第二卷积层、激活层、第三卷积层以及第一反卷积层，所述重建模块包括：
特征提取单元，用于将所述各组第二人脸图像输入所述第一卷积层进行特征提取，输出多个第一特征图；
降维单元，用于将所述各第一特征图输入所述第二卷积层进行降维处理，得到多个第二特征图，其中，所述第二卷积层由多个小卷积核组成；
激活单元，用于将所述各第二特征图输入所述激活层进行非线性映射，得到多个第三特征图；
升维单元，用于将所述各第三特征图输入所述第三卷积层进行网络扩张，以对所述各第三特征图进行升维，得到多个第四特征图；
采样单元，用于将所述各第四特征图输入所述第一反卷积层进行上采样，输出多个超分辨率图像。
可选的，在本发明第二方面的第三种实现方式中，所述激活层包括两个隐藏层及激活函数，所述隐藏层为第二反卷积层及池化层，所述激活单元具体用于：
将所述各第二特征图输入所述激活层中的所述第二反卷积层进行特征放大，得到多个第五特征图；
采用所述激活函数对所述各第五特征图进行非线性映射，得到多个第六特征图；
将所述各第六特征图输入所述池化层进行特征降维处理，得到多个第三特征图。
可选的，在本发明第二方面的第四种实现方式中，所述人脸图像分辨率重建装置还包括：
本地加密模块，用于对本地人脸数据中的身份ID进行加密，得到本地加密人脸数据，其中，所述本地加密人脸数据中包括加密身份ID及明文人脸图像；
联合加密模块，用于将本地加密人脸数据输入预置联合模型进行身份ID加密运算，得到联合人脸数据，其中，所述联合人脸数据包括本地联合人脸数据及外源联合人脸数据。
可选的，在本发明第二方面的第五种实现方式中，所述对齐模块具体用于：
将所述本地联合人脸数据与所述外源联合人脸数据进行数据对齐，得到对齐结果；
提取所述对齐结果中存在交集的联合人脸数据，并将所述联合人脸数据中各身份ID对应的人脸图像作为目标图像，得到待重建的多组第一人脸图像。
本发明第三方面提供了一种人脸图像分辨率重建设备，包括：存储器和至少一个处理器，所述存储器中存储有指令；所述至少一个处理器调用所述存储器中的所述指令，以使得所述人脸图像分辨率重建设备执行上述的人脸图像分辨率重建方法。
本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的人脸图像分辨率重建方法。
本发明提供的技术方案中，为了让各数据来源方在保护用户隐私的前提下，对各方数据进行联合处理，需要各数据来源方对各方数据进行联合加密，通过加密后的数据对齐，得到各方共同拥有的数据。将共同拥有的部分进行图像联合重建，得到超分辨率的完整的用户人脸图像。本发明实施例中，能打破各数据来源方之间的数据壁垒，使各来源方数据在加密的前提下联合，使得图像重建的素材更完整，再构建出高效率及高时效的图像重建模型，得到完整的超分辨率用户人脸图像。
附图说明
图1为本发明实施例中人脸图像分辨率重建方法的第一个实施例示意图；
图2为本发明实施例中人脸图像分辨率重建方法的第二个实施例示意图；
图3为本发明实施例中人脸图像分辨率重建装置的第一个实施例示意图；
图4为本发明实施例中人脸图像分辨率重建装置的第二个实施例示意图；
图5为本发明实施例中人脸图像分辨率重建设备的一个实施例示意图。
具体实施方式
本发明实施例提供了一种人脸图像分辨率重建方法、装置、设备及存储介质。本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为便于理解，下面对本发明实施例的具体流程进行描述，请参阅图1，本发明实施例中人脸图像分辨率重建方法的第一个实施例包括：
101、获取包含有多种不同来源的联合人脸数据，其中，所述联合人脸数据包括具有不同分辨率的第一人脸图像和对应身份ID；
可以理解的是，本发明的执行主体可以为人脸图像分辨率重建装置，还可以是终端或者服务器，具体此处不做限定。本发明实施例以服务器为执行主体为例进行说明。
本实施例中，为了让各数据来源方在保护用户隐私的前提下，共享数据并进行用户人脸图像联合重建，需要各数据来源方对各方数据进行联合加密，通过加密后的数据对齐，取交集部分即是各方共同拥有的用户数据。首先各数据来源方对用户的身份ID进行本地加密，再将加密后的身份ID输入联合模型中，使各数据来源方都对我方加密后的数据进行加密，最终联合模型中的数据为均被各数据来源方加密的数据，这样既保证了数据的安全性，又使各数据产生了可比性。然后将我方的联合加密数据与其它方的联合加密数据进行比对，取相同的部分就是共同拥有的部分，将共同拥有的部分进行图像联合重建，就能得到超分辨率的完整用户人脸图像。
本实施例中，为了提高分辨率重建模型对人脸图像的重建效果，获取多来源的人脸图像数据，各来源的人脸图像可能为低分辨率的，或不完整的，本实施例能获取到同一个身份ID下不同来源的人脸图像，使得同一身份ID对应的用户人脸图像更多元、更精准及更全面。
本实施例中，由于人脸数据属于用户隐私数据，不能以明文的方式进行联合训练，因此，本实施例中的联合人脸数据为联合加密数据，这些数据都存储于虚拟联合模型中，该模型是参照联邦学习模型进行设计，能在保密数据的前提下对数据进行处理，并生成目标数据。
可选的，步骤101之前，还包括：
对本地人脸数据中的身份ID进行加密，得到本地加密人脸数据，其中，所述本地加密人脸数据中包括加密身份ID及明文人脸图像；
将本地加密人脸数据输入预置联合模型进行身份ID加密运算，得到联合人脸数据，其中，所述联合人脸数据包括本地联合人脸数据及外源联合人脸数据。
102、根据所述身份ID，对不同来源的第一人脸图像进行数据对齐，得到待重建的多组第一人脸图像；
本实施例中，首先各数据来源方对用户的身份ID进行本地加密，再将加密后的身份ID输入虚拟联合模型中，使各数据来源方都对我方加密后的数据进行加密，最终虚拟联合模型中的数据为均被各数据来源方加密的数据，这样既保证了数据的安全性，又使得密钥相同，让各数据产生了可比性。然后将我方的联合加密数据与其它非我方的联合加密数据进行比对，取相同的部分就是共同拥有的部分。
本实施例中，提取共同拥有的用户ID对应的人脸图像作为基础数据，每个用户ID的人脸图像作为一组第一人脸图像，并对各组人脸图像进行重建，进而得到超分辨率的人脸图像。
可选的，步骤102包括：
将所述本地联合人脸数据与所述外源联合人脸数据进行数据对齐，得到对齐结果；
提取所述对齐结果中存在交集的联合人脸数据，并将所述联合人脸数据中各身份ID对应的人脸图像作为目标图像，得到待重建的多组第一人脸图像。
103、采用预置同态滤波器分别对所述各组第一人脸图像进行动态范围压缩，得到多组第二人脸图像；
本实施例中，引入了一种同态滤波器来压缩人脸图像的动态范围，以满足图像重建的实时性要求。同态滤波(Homomorphic filter)是信号与图像处理中的一种常用技术，它采用了一种线性滤波在不同域中的非线性映射，做完运算后再映射回原始域。
人脸图像可以用“入射-反射”模型表示，即图像H(x,y)：
H(x,y)＝Q(x,y)×L(x,y)
其中x，y为图像在二维平面上的坐标，入射分量Q包含人脸上绝大部分细节特征，反射分量L表示低频且对质量无影响的部分。因此图像压缩需要剥离L。即处理后的图像H′(x,y)：
H′(x,y)＝Q(x,y)×L′(x,y)
再将处理后的图像进行傅里叶转换及同态滤波器过滤，去除了人脸图像模糊的部分，并使图像的细节信息增强。
可选的，步骤103包括：
分别提取所述各组第一人脸图像中的第一入射分量及第一反射分量；
分别对所述各第一入射分量及所述各第一反射分量进行傅里叶变换，对应得到线性组合的多个第二入射分量及多个第二反射分量；
采用预置同态滤波器压缩所述各第二入射分量的数值变化范围，并剥离所述各第二反射分量，得到过滤后的多个第三入射分量；
将所述各第三入射分量进行反傅里叶变换，以将所述各第三入射分量恢复为图像，得到多组第二人脸图像。
本可选实施例中，对于一幅由物理过程产生的图像，可以表示为入射分量和反射分量的乘积。入射分量描述景物的照明，包含人脸上绝大部分细节特征，处于高频成分。反射分量描述对质量无影响的部分，变化缓慢，处于低频成分。因为该性质是乘性的，所以不能直接使用傅里叶变换对入射分量和反射分量进行控制，因此可以先对图像取对数，分离入射分量和反射分量。然后取傅里叶变换后，使用同态滤波器对变换后的图像进行滤波，滤波后进行反傅里叶变换，最后取反对数(取指数)，即能得到处理后的图像。
本可选实施例中，由于获取到的多来源人脸图像可能是动态范围很大，但我们感兴趣的部分很暗，无法辨认细节的图像。这可以认为或者实际上就是由于光照不均所造成的。为了减少光照的影响，增强图像的高频部分的细节，我们可以使用同态滤波来增强对比度，增强细节。在此情况下，我们可以通过衰减低频成分，增强高频成分来达到我们的目的。
104、将所述各组第二人脸图像输入预置分辨率重建模型进行特征提取与反卷积采样，输出所述各身份ID对应的超分辨率人脸图像
本实施例中，分辨率重建模型以各用户对应的一组图像为基础数据，对经过同态滤波器处理后的人脸图像进行重建，该分辨率重建模型为预先训练完成的模型，能将较低分辨率的多张图像输出为高分辨率的一张或多张图像，该模型的设计参照了神经网络模型，灵活利用神经网络模型中的卷积层、池化层、激活层等对图像进行重建，并在神经网络模型的基础上进行了改进，提高了图像重建的效率和时效性。
本发明实施例中，为了让各数据来源方在保护用户隐私的前提下，对各方数据进行联合处理，需要各数据来源方对各方数据进行联合加密，通过加密后的数据对齐，得到各方共同拥有的数据。将共同拥有的部分进行图像联合重建，得到超分辨率的完整的用户人脸图像。本发明实施例中，能打破各数据来源方之间的数据壁垒，使各来源方数据在加密的前提下联合，使得图像重建的素材更完整，再构建出高效率及高时效的图像重建模型，得到完整的超分辨率用户人脸图像。
请参阅图2，本发明实施例中人脸图像分辨率重建方法的第二个实施例包括：
201、获取包含有多种不同来源的联合人脸数据，其中，所述联合人脸数据包括具有不同分辨率的第一人脸图像和对应身份ID；
202、根据所述身份ID，对不同来源的第一人脸图像进行数据对齐，得到待重建的多组第一人脸图像；
203、采用预置同态滤波器分别对所述各组第一人脸图像进行动态范围压缩，得到多组第二人脸图像；
204、将所述各组第二人脸图像输入所述第一卷积层进行特征提取，输出多个第一特征图；
205、将所述各第一特征图输入所述第二卷积层进行降维处理，得到多个第二特征图，其中，所述第二卷积层由多个小卷积核组成；
206、将所述各第二特征图输入所述激活层中的所述第二反卷积层进行特征放大，得到多个第五特征图；
207、采用所述激活函数对所述各第五特征图进行非线性映射，得到多个第六特征图；
208、将所述各第六特征图输入所述池化层进行特征降维处理，得到多个第三特征图。
209、将所述各第三特征图输入所述第三卷积层进行网络扩张，以对所述各第三特征图进行升维，得到多个第四特征图；
210、将所述各第四特征图输入所述第一反卷积层进行上采样，输出多个超分辨率图像。
本实施例中，用一组卷积核在同态滤波器过滤后的图像上沿着水平和竖直方向滑动得到一组特征图。卷积操作公式：
F1(Y)＝σ(P1×Y+b1)
式中P1表示卷积核，Y表示预处理过的人脸图像，×表示卷积操作，b1表示a1的偏差，F1(Y)表示经过第一个卷积层后得到的特征图像(数量为a1)。在进行卷积操作之前在每个卷积层进行填零工作以防止特征图尺寸逐渐变小。本实施例中，使用10个1*1的小卷积核对特征图像进行降维处理以减少网络参数，降低运算复杂度。
本实施例中，将反卷积操作与池化结合起来，对第一次卷积生成的特征图像放大，提取更有利于重建的特征信息，以满足非线性映射条件。特征图放大比例公式：
式中p2表示a2个反卷积核，F1(Y)表示第一次特征提取后的图片，
表示反卷积操作，b2表示a2维的偏差，F2(Y)表示第二次反卷积操作后得到的成比例放大的特征图像(数量是a2)。池化与卷积操作类似，但不受反向传播影响，可以将相邻的多个特征点用一个特征代替，降低特征图的维数，提升重建效率。
本实施例中，神经网络中的每个神经元节点接受上一层神经元的输出值作为本神经元的输入值，并将输入值传递给下一层，输入层神经元节点会将输入属性值直接传递给下一层(隐藏层或输出层)。在多层神经网络中，上层节点的输出和下层节点的输入之间具有一个函数关系，这个函数称为激活函数。简单来说，激活函数是指如何把“激活的神经元的特征”通过函数把特征保留并映射出来，即负责将神经元的输入映射到输出端。激活函数是用来加入非线性因素的，因为线性模型的表达力不够。假设如果没有激活函数的出现，每一层节点的输入都是上层输出的线性函数，很容易验证，无论神经网络有多少层，输出都是输入的线性组合，与没有隐藏层效果相当，也就是说没有激活函数的每层都相当于矩阵相乘。就算叠加了若干层之后，无非还是个矩阵相乘罢了。那么网络的逼近能力就相当有限。正因为上面这些的原因，所以引入非线性函数作为激活函数，这样深层神经网络表达能力就更加强大。
本实施例中，优选Relu函数作为激活函数，表达式如下：
f(x)＝max(0,x)
从表达式可以明显地看出：Relu其实就是个取最大值的函数。Relu函数其实是分段线性函数，把所有的负值都变为0，而正值不变，这种操作被成为单侧抑制。(也就是说：在输入是负值的情况下，它会输出0，那么神经元就不会被激活。这意味着同一时间只有部分神经元会被激活，从而使得网络很稀疏，进而对计算来说是非常有效率的。)正因为有了这单侧抑制，才使得神经网络中的神经元也具有了稀疏激活性。尤其体现在深度神经网络模型(如CNN)中，当模型增加N层之后，理论上Relu神经元的激活率将降低2的N次方倍。
本发明实施例中，参照神经网络模型的设计原理，将神经网络模型应用于图像重建领域，并对卷积操作等做出了改进，使得图像重建的效率更高，实时性更强。将图像输入预先训练好的分辨率重建模型，依次通过第一卷积层、第二卷积层、第二反卷积层、非线性映射、池化层、第三卷积层、第一反卷积层的处理，即能重建出超分辨率的图像。其中，各层中的卷积核、反卷积核、非线性映射函数等均为模型中的参数。本发明实施例能高效且实时地重建人脸图像，使人脸图像呈超分辨率显示。
上面对本发明实施例中人脸图像分辨率重建方法进行了描述，下面对本发明实施例中人脸图像分辨率重建装置进行描述，请参阅图3，本发明实施例中人脸图像分辨率重建装置第一个实施例包括：
获取模块301，用于获取包含有多种不同来源的联合人脸数据，其中，所述联合人脸数据包括具有不同分辨率的第一人脸图像和对应身份ID；
对齐模块302，用于根据所述身份ID，对不同来源的第一人脸图像进行数据对齐，得到待重建的多组第一人脸图像；
过滤模块303，用于采用预置同态滤波器分别对所述各组第一人脸图像进行动态范围压缩，得到多组第二人脸图像；
重建模块304，用于将所述各组第二人脸图像输入预置分辨率重建模型进行特征提取与反卷积采样，输出所述各身份ID对应的超分辨率人脸图像。
可选的，过滤模块303具体用于：
分别提取所述各组第一人脸图像中的第一入射分量及第一反射分量；
分别对所述各第一入射分量及所述各第一反射分量进行傅里叶变换，对应得到线性组合的多个第二入射分量及多个第二反射分量；
采用预置同态滤波器压缩所述各第二入射分量的数值变化范围，并剥离所述各第二反射分量，得到过滤后的多个第三入射分量；
将所述各第三入射分量进行反傅里叶变换，以将所述各第三入射分量恢复为图像，得到多组第二人脸图像。
可选的，所述人脸图像分辨率重建装置还包括：
本地加密模块，用于对本地人脸数据中的身份ID进行加密，得到本地加密人脸数据，其中，所述本地加密人脸数据中包括加密身份ID及明文人脸图像；
联合加密模块，用于将本地加密人脸数据输入预置联合模型进行身份ID加密运算，得到联合人脸数据，其中，所述联合人脸数据包括本地联合人脸数据及外源联合人脸数据。
可选的，对齐模块302具体用于：
将所述本地联合人脸数据与所述外源联合人脸数据进行数据对齐，得到对齐结果；
提取所述对齐结果中存在交集的联合人脸数据，并将所述联合人脸数据中各身份ID对应的人脸图像作为目标图像，得到待重建的多组第一人脸图像。
本发明实施例中，为了让各数据来源方在保护用户隐私的前提下，对各方数据进行联合处理，需要各数据来源方对各方数据进行联合加密，通过加密后的数据对齐，得到各方共同拥有的数据。将共同拥有的部分进行图像联合重建，得到超分辨率的完整的用户人脸图像。本发明实施例中，能打破各数据来源方之间的数据壁垒，使各来源方数据在加密的前提下联合，使得图像重建的素材更完整，再构建出高效率及高时效的图像重建模型，得到完整的超分辨率用户人脸图像。
请参阅图4，本发明实施例中人脸图像分辨率重建装置的第二个实施例包括：
获取模块301，用于获取包含有多种不同来源的联合人脸数据，其中，所述联合人脸数据包括具有不同分辨率的第一人脸图像和对应身份ID；
对齐模块302，用于根据所述身份ID，对不同来源的第一人脸图像进行数据对齐，得到待重建的多组第一人脸图像；
过滤模块303，用于采用预置同态滤波器分别对所述各组第一人脸图像进行动态范围压缩，得到多组第二人脸图像；
重建模块304，用于将所述各组第二人脸图像输入预置分辨率重建模型进行特征提取与反卷积采样，输出所述各身份ID对应的超分辨率人脸图像。
可选的，重建模块304包括：
特征提取单元3041，用于将所述各组第二人脸图像输入所述第一卷积层进行特征提取，输出多个第一特征图；
降维单元3042，用于将所述各第一特征图输入所述第二卷积层进行降维处理，得到多个第二特征图，其中，所述第二卷积层由多个小卷积核组成；
激活单元3043，用于将所述各第二特征图输入所述激活层进行非线性映射，得到多个第三特征图；
升维单元3044，用于将所述各第三特征图输入所述第三卷积层进行网络扩张，以对所述各第三特征图进行升维，得到多个第四特征图；
采样单元3045，用于将所述各第四特征图输入所述第一反卷积层进行上采样，输出多个超分辨率图像。
可选的，激活单元3043具体用于：
将所述各第二特征图输入所述激活层中的所述第二反卷积层进行特征放大，得到多个第五特征图；
采用所述激活函数对所述各第五特征图进行非线性映射，得到多个第六特征图；
将所述各第六特征图输入所述池化层进行特征降维处理，得到多个第三特征图。
本发明实施例中，参照神经网络模型的设计原理，将神经网络模型应用于图像重建领域，并对卷积操作等做出了改进，使得图像重建的效率更高，实时性更强。将图像输入预先训练好的分辨率重建模型，依次通过第一卷积层、第二卷积层、第二反卷积层、非线性映射、池化层、第三卷积层、第一反卷积层的处理，即能重建出超分辨率的图像。其中，各层中的卷积核、反卷积核、非线性映射函数等均为模型中的参数。本发明实施例能高效且实时地重建人脸图像，使人脸图像呈超分辨率显示。
上面图3和图4从模块化功能实体的角度对本发明实施例中的人脸图像分辨率重建装置进行详细描述，下面从硬件处理的角度对本发明实施例中人脸图像分辨率重建设备进行详细描述。
图5是本发明实施例提供的一种人脸图像分辨率重建设备的结构示意图，该人脸图像分辨率重建设备500可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，CPU)510(例如，一个或一个以上处理器)和存储器520，一个或一个以上存储应用程序533或数据532的存储介质530(例如一个或一个以上海量存储设备)。其中，存储器520和存储介质530可以是短暂存储或持久存储。存储在存储介质530的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对人脸图像分辨率重建设备500中的一系列指令操作。更进一步地，处理器510可以设置为与存储介质530通信，在人脸图像分辨率重建设备500上执行存储介质530中的一系列指令操作。
人脸图像分辨率重建设备500还可以包括一个或一个以上电源540，一个或一个以上有线或无线网络接口550，一个或一个以上输入输出接口560，和/或，一个或一个以上操作系统531，例如Windows Serve，Mac OS X，Unix，Linux，FreeBSD等等。本领域技术人员可以理解，图5示出的人脸图像分辨率重建设备结构并不构成对人脸图像分辨率重建设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
本发明还提供一种人脸图像分辨率重建设备，所述人脸图像分辨率重建设备包括存储器和处理器，存储器中存储有计算机可读指令，计算机可读指令被处理器执行时，使得处理器执行上述各实施例中的所述人脸图像分辨率重建方法的步骤。
本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行所述人脸图像分辨率重建方法的步骤。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (9)
1.一种人脸图像分辨率重建方法，其特征在于，所述人脸图像分辨率重建方法包括：
对本地人脸数据中的身份ID进行加密，得到本地加密人脸数据，其中，所述本地加密人脸数据中包括加密身份ID及明文人脸图像；
将本地加密人脸数据输入预置联合模型进行身份ID加密运算，得到联合人脸数据，其中，所述联合人脸数据包括本地联合人脸数据及外源联合人脸数据；
获取包含有多种不同来源的联合人脸数据，其中，所述联合人脸数据包括具有不同分辨率的第一人脸图像和对应身份ID；
根据所述身份ID，对不同来源的第一人脸图像进行数据对齐，得到待重建的多组第一人脸图像；
采用预置同态滤波器分别对各组第一人脸图像进行动态范围压缩，得到多组第二人脸图像；
将各组第二人脸图像输入预置分辨率重建模型进行特征提取与反卷积采样，输出各身份ID对应的超分辨率人脸图像。
2.根据权利要求1所述的人脸图像分辨率重建方法，其特征在于，所述采用预置同态滤波器分别对各组第一人脸图像进行动态范围压缩，得到多组第二人脸图像包括：
分别提取各组第一人脸图像中的第一入射分量及第一反射分量；
分别对各第一入射分量及各第一反射分量进行傅里叶变换，对应得到线性组合的多个第二入射分量及多个第二反射分量；
采用预置同态滤波器压缩各第二入射分量的数值变化范围，并剥离各第二反射分量，得到过滤后的多个第三入射分量；
将各第三入射分量进行反傅里叶变换，以将各第三入射分量恢复为图像，得到多组第二人脸图像。
3.根据权利要求1所述的人脸图像分辨率重建方法，其特征在于，所述分辨率重建模型依次包括：第一卷积层、第二卷积层、激活层、第三卷积层以及第一反卷积层，所述将各组第二人脸图像输入预置分辨率重建模型进行特征提取与反卷积采样，输出各身份ID对应的超分辨率人脸图像包括：
将各组第二人脸图像输入所述第一卷积层进行特征提取，输出多个第一特征图；
将各第一特征图输入所述第二卷积层进行降维处理，得到多个第二特征图，其中，所述第二卷积层由多个小卷积核组成；
将各第二特征图输入所述激活层进行非线性映射，得到多个第三特征图；
将各第三特征图输入所述第三卷积层进行网络扩张，以对各第三特征图进行升维，得到多个第四特征图；
将各第四特征图输入所述第一反卷积层进行上采样，输出多个超分辨率图像。
4.根据权利要求3所述的人脸图像分辨率重建方法，其特征在于，所述激活层包括两个隐藏层及激活函数，所述隐藏层为第二反卷积层及池化层，所述将各第二特征图输入所述激活层进行非线性映射，得到多个第三特征图包括：
将各第二特征图输入所述激活层中的所述第二反卷积层进行特征放大，得到多个第五特征图；
采用所述激活函数对各第五特征图进行非线性映射，得到多个第六特征图；
将各第六特征图输入所述池化层进行特征降维处理，得到多个第三特征图。
5.根据权利要求1所述的人脸图像分辨率重建方法，其特征在于，所述根据所述身份ID，对不同来源的第一人脸图像进行数据对齐，得到待重建的多组第一人脸图像包括：
将所述本地联合人脸数据与所述外源联合人脸数据进行数据对齐，得到对齐结果；
提取所述对齐结果中存在交集的联合人脸数据，并将所述联合人脸数据中各身份ID对应的人脸图像作为目标图像，得到待重建的多组第一人脸图像。
6.一种人脸图像分辨率重建装置，其特征在于，所述人脸图像分辨率重建装置包括：
本地加密模块，用于对本地人脸数据中的身份ID进行加密，得到本地加密人脸数据，其中，所述本地加密人脸数据中包括加密身份ID及明文人脸图像；
联合加密模块，用于将本地加密人脸数据输入预置联合模型进行身份ID加密运算，得到联合人脸数据，其中，所述联合人脸数据包括本地联合人脸数据及外源联合人脸数据；
获取模块，用于获取包含有多种不同来源的联合人脸数据，其中，所述联合人脸数据包括具有不同分辨率的第一人脸图像和对应身份ID；
对齐模块，用于根据所述身份ID，对不同来源的第一人脸图像进行数据对齐，得到待重建的多组第一人脸图像；
过滤模块，用于采用预置同态滤波器分别对各组第一人脸图像进行动态范围压缩，得到多组第二人脸图像；
重建模块，用于将各组第二人脸图像输入预置分辨率重建模型进行特征提取与反卷积采样，输出各身份ID对应的超分辨率人脸图像。
7.根据权利要求6所述的人脸图像分辨率重建装置，其特征在于，所述分辨率重建模型依次包括：第一卷积层、第二卷积层、激活层、第三卷积层以及第一反卷积层，所述重建模块包括：
特征提取单元，用于将各组第二人脸图像输入所述第一卷积层进行特征提取，输出多个第一特征图；
降维单元，用于将各第一特征图输入所述第二卷积层进行降维处理，得到多个第二特征图，其中，所述第二卷积层由多个小卷积核组成；
激活单元，用于将各第二特征图输入所述激活层进行非线性映射，得到多个第三特征图；
升维单元，用于将各第三特征图输入所述第三卷积层进行网络扩张，以对所述各第三特征图进行升维，得到多个第四特征图；
采样单元，用于将各第四特征图输入所述第一反卷积层进行上采样，输出多个超分辨率图像。
8.一种人脸图像分辨率重建设备，其特征在于，所述人脸图像分辨率重建设备包括：存储器和至少一个处理器，所述存储器中存储有指令；
所述至少一个处理器调用所述存储器中的所述指令，以使得所述人脸图像分辨率重建设备执行如权利要求1-5中任一项所述的人脸图像分辨率重建方法。
9.一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，其特征在于，所述指令被处理器执行时实现如权利要求1-5中任一项所述的人脸图像分辨率重建方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011443073.XA CN112529825B (zh) | 2020-12-11 | 2020-12-11 | 人脸图像分辨率重建方法、装置、设备及存储介质 |
| PCT/CN2021/097141 WO2022121256A1 (zh) | 2020-12-11 | 2021-05-31 | 人脸图像分辨率重建方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011443073.XA CN112529825B (zh) | 2020-12-11 | 2020-12-11 | 人脸图像分辨率重建方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112529825A CN112529825A (zh) | 2021-03-19 |
| CN112529825B true CN112529825B (zh) | 2022-05-31 |
Family
ID=75000075
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011443073.XA Active CN112529825B (zh) | 2020-12-11 | 2020-12-11 | 人脸图像分辨率重建方法、装置、设备及存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN112529825B (zh) |
| WO (1) | WO2022121256A1 (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112529825B (zh) * | 2020-12-11 | 2022-05-31 | 平安科技（深圳）有限公司 | 人脸图像分辨率重建方法、装置、设备及存储介质 |
| CN113011366A (zh) * | 2021-03-31 | 2021-06-22 | 北京京东乾石科技有限公司 | 用于提高人脸识别精度的方法、装置、电子设备和介质 |
| CN113436061B (zh) * | 2021-07-01 | 2022-08-09 | 中科人工智能创新技术研究院(青岛)有限公司 | 人脸图像重构方法及系统 |
| CN115546858B (zh) * | 2022-08-15 | 2023-08-25 | 荣耀终端有限公司 | 人脸图像处理方法和电子设备 |
| CN115953296B (zh) * | 2022-12-09 | 2024-04-05 | 中山大学·深圳 | 一种基于transformer和卷积神经网络联合的人脸超分辨率重建方法和系统 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101308946B1 (ko) * | 2012-02-02 | 2013-09-24 | 한국과학기술연구원 | 3차원 얼굴 형상 재구성 방법 |
| CN108133456A (zh) * | 2016-11-30 | 2018-06-08 | 京东方科技集团股份有限公司 | 人脸超分辨率重建方法、重建设备以及计算机系统 |
| CN107153816B (zh) * | 2017-04-16 | 2021-03-23 | 五邑大学 | 一种用于鲁棒人脸识别的数据增强方法 |
| CN107123091B (zh) * | 2017-04-26 | 2020-02-14 | 福建帝视信息科技有限公司 | 一种基于深度学习的近红外人脸图像超分辨率重建方法 |
| CN108805809A (zh) * | 2018-05-28 | 2018-11-13 | 天津科技大学 | 一种基于生成对抗网络的红外人脸图像超分辨率重建方法 |
| CN109190520A (zh) * | 2018-08-16 | 2019-01-11 | 广州视源电子科技股份有限公司 | 一种超分辨率重建人脸图像方法及装置 |
| CN110322402B (zh) * | 2019-04-30 | 2023-07-25 | 武汉理工大学 | 基于稠密混合注意力网络的医学图像超分辨率重建方法 |
| CN110580680B (zh) * | 2019-09-09 | 2022-07-05 | 武汉工程大学 | 基于组合学习的人脸超分辨率方法及装置 |
| CN112529825B (zh) * | 2020-12-11 | 2022-05-31 | 平安科技（深圳）有限公司 | 人脸图像分辨率重建方法、装置、设备及存储介质 |
-
2020
- 2020-12-11 CN CN202011443073.XA patent/CN112529825B/zh active Active
-
2021
- 2021-05-31 WO PCT/CN2021/097141 patent/WO2022121256A1/zh active Application Filing
Also Published As
| Publication number | Publication date |
|---|---|
| WO2022121256A1 (zh) | 2022-06-16 |
| CN112529825A (zh) | 2021-03-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112529825B (zh) | 人脸图像分辨率重建方法、装置、设备及存储介质 | |
| Suryanarayana et al. | Accurate magnetic resonance image super-resolution using deep networks and Gaussian filtering in the stationary wavelet domain | |
| Yu et al. | A unified learning framework for single image super-resolution | |
| CN110782395B (zh) | 图像处理方法及装置、电子设备和计算机可读存储介质 | |
| CN111105352A (zh) | 超分辨率图像重构方法、系统、计算机设备及存储介质 | |
| Rasras et al. | Comparative Analysis of Color Image Encryption-Decryption Methods Based on Matrix Manipulation | |
| Zhang et al. | Multiscale feature tensor train rank minimization for multidimensional image recovery | |
| Singh et al. | Fingerprint image super-resolution via ridge orientation-based clustered coupled sparse dictionaries | |
| Ayala et al. | Spatial size distributions: applications to shape and texture analysis | |
| Ashir et al. | Facial expression recognition based on image pyramid and single-branch decision tree | |
| Nowak et al. | Spectra of large time-lagged correlation matrices from random matrix theory | |
| Goel et al. | Fractional DCT and DWT hybridization based efficient feature extraction for gender classification | |
| Gowda et al. | Investigation of comparison on modified cnn techniques to classify fake face in deepfake videos | |
| Feng et al. | Tensor-based big biometric data reduction in cloud | |
| CN113409216A (zh) | 一种基于频带自适应修复模型的图像修复方法 | |
| Wang et al. | Data-driven tight frame for multi-channel images and its application to joint color-depth image reconstruction | |
| Jeevan et al. | WaveMixSR: Resource-Efficient Neural Network for Image Super-Resolution | |
| Xiong et al. | Hyperspectral imagery denoising via reweighed sparse low-rank nonnegative tensor factorization | |
| Campana et al. | Variable-hyperparameter visual transformer for efficient image inpainting | |
| CN113343761A (zh) | 一种基于生成对抗的实时人脸表情迁移方法 | |
| CN114493971A (zh) | 媒体数据转换模型训练、数字水印嵌入方法和装置 | |
| Cho et al. | Example-based super-resolution using self-patches and approximated constrained least squares filter | |
| Sun et al. | Two-dimensional stationary dyadic wavelet transform, decimated dyadic discrete wavelet transform and the face recognition application | |
| Zeevi et al. | Computer image generation using elementary functions matched to human vision | |
| Agarwal et al. | Multiple manipulation detection in images using frequency domain features in 3D-CNN |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |