CN107958444A - 一种基于深度学习的人脸超分辨率重建方法 - Google Patents
一种基于深度学习的人脸超分辨率重建方法 Download PDFInfo
- Publication number
- CN107958444A CN107958444A CN201711458187.XA CN201711458187A CN107958444A CN 107958444 A CN107958444 A CN 107958444A CN 201711458187 A CN201711458187 A CN 201711458187A CN 107958444 A CN107958444 A CN 107958444A
- Authority
- CN
- China
- Prior art keywords
- mrow
- image
- face
- resolution
- super
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000013135 deep learning Methods 0.000 title claims abstract description 12
- 230000001815 facial effect Effects 0.000 claims abstract description 24
- 238000012545 processing Methods 0.000 claims abstract description 21
- 230000006870 function Effects 0.000 claims abstract description 17
- 238000012549 training Methods 0.000 claims abstract description 16
- 210000004709 eyebrow Anatomy 0.000 claims abstract description 9
- 238000012937 correction Methods 0.000 claims abstract description 7
- 238000000605 extraction Methods 0.000 claims abstract description 5
- 239000011159 matrix material Substances 0.000 claims description 11
- 238000013527 convolutional neural network Methods 0.000 claims description 8
- 238000013528 artificial neural network Methods 0.000 claims description 7
- 230000007935 neutral effect Effects 0.000 claims description 7
- 238000003062 neural network model Methods 0.000 claims description 6
- 230000003321 amplification Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 claims description 3
- 238000005315 distribution function Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 241001300078 Vitrea Species 0.000 claims 1
- 238000011156 evaluation Methods 0.000 claims 1
- 238000005516 engineering process Methods 0.000 abstract description 5
- 238000013507 mapping Methods 0.000 abstract 1
- 239000010410 layer Substances 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 5
- 238000013459 approach Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013506 data mapping Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000010195 expression analysis Methods 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 239000011229 interlayer Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于深度学习的人脸超分辨率重建方法，其目的在于利用深度学习技术对低分辨率人脸数据进行训练得到低分辨率人脸到高分辨率人脸之间的映射函数，其技术关键在于（1）对训练人脸数据集进行关键点提取；（2）根据提取的关键点计算人脸角度并筛选出比较正的人脸图像；（3）对比较正的人脸图像进行校正；（4）将校正的人脸图像以左眉毛、左眼、右眉毛、右眼、鼻子和嘴巴进行分割后分别训练；（5）把经过超分辨率处理后的眉毛、眼睛、鼻子和嘴巴图像与经过超分辨率处理后面部图像进行结合得到最终的超分辨率人脸图像。本发明在不改变成像系统硬件设备的前提下，有效提高所获取的人脸图像质量。
Description
技术领域
本发明属于图像处理领域，尤其涉及一种基于深度学习的人脸超分辨率重建方法。
背景技术
图像超分辨率(super resolution,SR)是从一个低分辨率图像得到高分辨率图像的过程，该技术主要被用于对图像空间分辨率的增强，其可以突破原有的系统成像硬件条件的限制，重新获得的高分辨率图像具有更高的分辨率，更多的细节信息，更高质量的画质的特点，是目前获取高精度图像的最有效、最低成本的途径之一。
在视频监控领域，由于摄像头的视场广且离人脸较远，所以检测到的人脸往往很小，同时受成像条件和成像方式等因素的限制，成像系统通常并不能获取原始场景中所有的人脸信息，在成像过程中会受到变形、模糊、下采样和噪声等诸多因素的影响，从而造成获取的人脸图像质量下降。因此，在不改变成像系统硬件设备的前提下，有效提高所获取的人脸图像质量，一直以来都是成像技术领域所致力解决的核心问题。该项技术可以应用在人脸识别、人脸视频图像传输、人脸图像恢复、人脸表情分析等领域，具有重要的研究意义。
图像超分辨率复原技术主要分为两大类，即基于重建的方法和基于学习的方法。目前有以下几种基于学习的代表性方法：Dong等率先将卷积神经网络引入到图像超分辨率问题当中，设计了基于深度卷积神经网络的图像超分辨率复原方法(Super resolutionusing convolution neural network,SRCNN)。Kim等在SRCNN的基础上借鉴用于图像分类的VGG网络结构，提出极深网络的图像超分辨率复原方法(Accurate image super-resolution using very deep convolutional network,VDSR)。与图像分类的极深网络不同，极深网络的超分辨率方法可以用更深网络对低分辨率图像和高分辨率图像之间映射关系建模。VDSR的方法具有20层深层网络，其缺乏层间信息反馈及上下文信息关联，为了解决此问题，Kim等提出了深度递归卷积神经网络的超分辨率方法(Deeply recursiveconvolutionak network,DRCN)。Christian等将生成式对抗网络用语SR问题,提出(Photo-Realistic Single Image Super-Resolution Using a Generative AdversarialNetwork,SRGAN)。其出发点是传统方法一般处理的是较小的放大倍数，当放大倍数在4以上时，很容易使得到的结果显得过于平滑，而缺少一些细节信息上的真实感。因此SRGAN使用GAN来生成图像中的细节。Bee Lim等提出了用于单一图像超分辨率的增强型深度残差网络(Enhanced Deep Residual Networks for Single Image Super-Resolution,EDSR)，是NTIRE2017夺冠论文。
虽然已有多种超分辨率复原方法，但是实际应用中仍存在一下问题：
(1)SR是一个逆问题，对于一个低分辨率图像，可能存在许多不同的高分辨率图像与之对应。
(2)真实多媒体应用中获得的低质量图像往往是多种降质因素并存的复杂降质图像，如低分辨率、失焦模糊、运动模糊、压缩失真和噪声等。
发明内容
本发明的目的在于针对上述技术不足，提出一种基于深度学习的人脸超分辨率重建方法，利用深度学习技术对低分辨率人脸数据进行训练得到低分辨率人脸到高分辨率人脸之间的映射函数，从而达到人脸超分辨率的效果。
本发明采用的技术方案是：
一种基于深度学习的人脸超分辨率重建方法，包括以下步骤：
步骤1：利用多任务卷积神经网络(Multi-task convolutional neuralnetworks，MTCNN)算法提取人脸5个关键点。所述MTCNN算法由三个网络结构组成(P-Net,R-Net,O-Net),其中P-Net(Propsoal Network)主要获得人脸区域的候选窗口和边框回归向量；R-Net(Refine Network)在P-Net的基础上获得更精确的候选窗口；O-Net(OutputNetwork)在R-Net基础上进一步提高窗口精确率，同时输出5个关键点坐标。所述5个关键点坐标包括左眼、右眼、鼻尖、左嘴角和右嘴角的坐标。
步骤2：使用OpenCV中的solvePnP函数计算二维平面上5个关键点坐标与三维空间上5个关键点坐标之间的平移向量和旋转向量。所述二维平面上的5个关键点坐标由步骤1得到，三维空间上的5个关键点坐标由三维形变模型(3D Morphable Model)得到。所述三维形变模型由Vetter等人提出。根据旋转矩阵计算人脸在x,y,z三个方向上的偏转角度，筛选得到比较正的人脸数据。所述比较正的人脸为在x,y,z三个方向上角度都较小。
进一步地，根据旋转矩阵计算人脸角度的方法如下：
旋转矩阵：
其中sx,cx,sy,cy,sz,cz分别为三个欧拉角的正弦和余弦函数。
进一步地，根据旋转矩阵的表达式，利用三角函数可以推导出欧拉角的取值，具体公式如下：
绕x轴旋转角度：θx＝atan2(r32,r33) (2)
绕y轴旋转角度：
绕z轴旋转角度：θz＝atan2(r21,r11)(4)
步骤3：人脸校正。利用步骤1提取的关键点进行人脸几何校正，校正规则是ec_mc_y为48像素，ec_y为40像素。所述ec_mc_y为两个眼睛坐标连接线中点与两个嘴角坐标连接线中点之间的距离。所述ec_y为两个眼睛坐标连线中点与图片上边缘之间的距离。经过校正后的人脸大小为128×128。
步骤4：获取训练数据。将步骤3校正后的人脸图像进行高斯模糊处理和缩小处理，处理得到的图片即为训练所需的低分率数据。所述高斯模糊处理是根据二维高斯分布函数计算所得，将高斯函数写成整数模板的形势，模板半径越小，则模糊程度越小，反之则越大。
进一步地，二维高斯分布公式为：
其中，x,y为像素模板的坐标，σ为高斯模板的半径。
所述缩小处理是将M×N大小的原始图像缩小成m×n大小，M,m为图像的宽，N,n为图像的高。将图像划分成为(M×N)/m×n大小的互不相交的小块，计算小块的平均值，该值作为缩小图像对应的像素值。
步骤5：设计网络结构，本发明首先对输入的低分率图像使用双三次插值算法进行n倍放大处理，然后针对人脸结构相似的特性将人脸分为左眉毛区域I0、右眉毛区域I1、左眼区域I2、右眼区域I3、鼻子区域I4和嘴巴区域I56个部分，对上述6个部分和面部区域I6分别采用L层的深度神经网络结构，对上述7种图像进行加权相加得到最后的人脸超分辨率图像。
进一步地，所述加权相加过程为：
面部I6上的眉毛、眼睛、鼻子和嘴巴与分别训练得到的眉毛、眼睛、鼻子和嘴巴相加，其中，α为各类图像所占的比重。
步骤6：选定损失函数。评价图片质量一般采用峰值噪声比PSNR,其公式为：
其中，MSE是原图像与处理图像之间的均方误差。
MAXI是图像颜色最大值，8位采样点表示为255。
在本发明中，W,H表示为图像的宽和高；i,j表示图像像素点的位置；A表示原始高分辨率人脸图像；a表示重建高分辨率人脸图像。
步骤7：训练深度神经网络直到神经网络输出层误差达到预设精度要求或者训练次数达到最大迭代次数，结束训练。保存网络结构和参数，得到训练好的神经网络模型。
步骤8：输入任意一张低分辨率图像到训练好的神经网络模型中，神经网络的输出即为人脸各部分重建后的超分辨率图像，经过结合得到最后的超分辨率人脸图像。
附图说明
以下结合附图，对本发明的具体实施方式做进一步的详细描述。
图1为本发明一种基于深度学习的人脸超分辨率重建方法的原理示意图。
具体实施方式
如图1所示，本发明公开了一种基于深度学习的人脸超分辨率重建方法，下面结合附图对本发明的具体实施方式做详细的说明。
步骤1：利用多任务卷积神经网络(Multi-task convolutional neuralnetworks，MTCNN)算法提取人脸5个关键点，其中人脸数据使用的是CelebA数据集，该数据集包含10177个人的202599张图片。所述MTCNN算法由三个网络结构组成(P-Net,R-Net,O-Net),其中P-Net(Propsoal Network)主要获得人脸区域的候选窗口和边框回归向量；R-Net(Refine Network)在P-Net的基础上获得更精确的候选窗口；O-Net(Output Network)在R-Net基础上进一步提高窗口精确率，同时输出5个关键点坐标。所述5个关键点坐标包括左眼、右眼、鼻尖、左嘴角和右嘴角的坐标。
步骤2：使用OpenCV中的solvePnP函数计算二维平面上5个关键点坐标与三维空间上5个关键点坐标之间的平移向量和旋转向量。所述二维平面上的5个关键点坐标由步骤1得到，三维空间上的5个关键点坐标由三维形变模型(3D Morphable Model)得到，本发明中这5个点具体为：
所述三维形变模型由Vetter等人提出。根据旋转矩阵计算人脸在x,y,z三个方向上的偏转角度，筛选得到比较正的人脸数据。所述比较正的人脸为在x,y,z三个方向上角度都较小。
进一步地，根据旋转矩阵计算人脸角度的方法如下：
旋转矩阵：
其中sx,cx,sy,cy,sz,cz分别为三个欧拉角的正弦和余弦函数。
进一步地，根据旋转矩阵的表达式，利用三角函数可以推导出欧拉角的取值，具体公式如下：
绕x轴旋转角度：θx＝atan2(r32,r33) (10)
绕y轴旋转角度：
绕z轴旋转角度：θz＝atan2(r21,r11)(12)
步骤3：人脸校正。利用步骤1提取的关键点进行人脸几何校正，校正规则是ec_mc_y为48像素，ec_y为40像素。所述ec_mc_y为两个眼睛坐标连接线中点与两个嘴角坐标连接线中点之间的距离。所述ec_y为两个眼睛坐标连线中点与图片上边缘之间的距离。经过校正后的人脸大小为128×128。
步骤4：获取训练数据。将步骤3校正后的人脸图像进行高斯模糊处理和缩小处理，处理得到的图片即为训练所需的低分率数据。所述高斯模糊处理是根据二维高斯分布函数计算所得，将高斯函数写成整数模板的形势，模板半径越小，则模糊程度越小，反之则越大。
进一步地，二维高斯分布公式为：
其中，x,y为像素模板的坐标，σ为高斯模板的半径。
所述缩小处理是将128×128大小的原始图像缩小成64×64大小。将图像划分成为(128×128)/64×64＝4大小的互不相交的小块，计算小块的平均值，该值作为缩小图像对应的像素值。
步骤5：设计网络结构，本发明首先对输入的低分率图像使用双三次插值算法进行n倍放大处理，然后针对人脸结构相似的特性将人脸分为左眉毛区域I0、右眉毛区域I1、左眼区域I2、右眼区域I3、鼻子区域I4和嘴巴区域I56个部分，对上述6个部分和面部区域I6分别采用L层的深度神经网络结构，对上述7种图像进行加权相加得到最后的人脸超分辨率图像。
进一步地，所述加权相加过程为：
面部I6上的眉毛、眼睛、鼻子和嘴巴与分别训练得到的眉毛、眼睛、鼻子和嘴巴相加，其中，α为各类图像所占的比重。
步骤6：选定损失函数。评价图片质量一般采用峰值噪声比PSNR,其公式为：
其中，MSE是原图像与处理图像之间的均方误差。
MAXI是图像颜色最大值，8位采样点表示为255。
在本发明中，W,H表示为图像的宽和高；i,j表示图像像素点的位置；A表示原始高分辨率人脸图像；a表示重建高分辨率人脸图像。
步骤7：训练深度神经网络直到神经网络输出层误差达到预设精度要求或者训练次数达到最大迭代次数，结束训练。保存网络结构和参数，得到训练好的神经网络模型。
步骤8：输入任意一张低分辨率图像到训练好的神经网络模型中，神经网络的输出即为人脸各部分重建后的超分辨率图像，经过结合得到最后的超分辨率人脸图像。
Claims (4)
1.一种基于深度学习的人脸超分辨率重建方法，其特征在于包括如下步骤：
步骤1：利用多任务卷积神经网络(Multi-task convolutional neural networks，MTCNN)算法提取人脸5个关键点，所述MTCNN算法由三个网络结构P-Net,R-Net,O-Net组成，其中P-Net(Propsoal Network)主要获得人脸区域的候选窗口和边框回归向量；R-Net(Refine Network)在P-Net的基础上获得更精确的候选窗口；O-Net(Output Network)在R-Net基础上进一步提高窗口精确率，同时输出5个关键点坐标，所述5个关键点坐标包括左眼、右眼、鼻尖、左嘴角和右嘴角的坐标；
步骤2：使用OpenCV中的solvePnP函数计算二维平面上5个关键点坐标与三维空间上5个关键点坐标之间的平移向量和旋转向量，所述二维平面上的5个关键点坐标由步骤1得到，三维空间上的5个关键点坐标由三维形变模型(3D Morphable Model)得到，根据旋转矩阵计算人脸在x,y,z三个方向上的偏转角度，筛选得到比较正的人脸数据；
步骤3：人脸校正，利用步骤1提取的关键点进行人脸几何校正，校正规则是ec_mc_y为48像素，ec_y为40像素，所述ec_mc_y为两个眼睛坐标连接线中点与两个嘴角坐标连接线中点之间的距离，所述ec_y为两个眼睛坐标连线中点与图片上边缘之间的距离，经过校正后的人脸大小为128×128；
步骤4：获取训练数据，将步骤3校正后的人脸图像进行高斯模糊处理和缩小处理，处理得到的图像即为训练所需的低分率数据，所述高斯模糊处理是根据二维高斯分布函数计算所得，将高斯函数写成整数模板的形势，模板半径越小，则模糊程度越小，反之则越大；
步骤5：设计网络结构，首先对输入的低分率图像使用双三次插值算法进行n倍放大处理，然后针对人脸结构相似的特性将人脸分为左眉毛区域I0、右眉毛区域I1、左眼区域I2、右眼区域I3、鼻子区域I4和嘴巴区域I56个部分，对上述6个部分和面部区域I6分别采用L层的深度神经网络结构，对上述7种图像进行加权相加得到最后的人脸超分辨率图像；
步骤6：选定损失函数Loss，评价图片质量一般采用峰值噪声比PSNR,其公式为：
<mrow>
<mi>P</mi>
<mi>S</mi>
<mi>N</mi>
<mi>R</mi>
<mo>=</mo>
<mn>10</mn>
<mo>&CenterDot;</mo>
<msub>
<mi>log</mi>
<mn>10</mn>
</msub>
<mrow>
<mo>(</mo>
<mfrac>
<mrow>
<msubsup>
<mi>MAX</mi>
<mi>I</mi>
<mn>2</mn>
</msubsup>
</mrow>
<mrow>
<mi>M</mi>
<mi>S</mi>
<mi>E</mi>
</mrow>
</mfrac>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mn>20</mn>
<mo>&CenterDot;</mo>
<msub>
<mi>log</mi>
<mn>10</mn>
</msub>
<mrow>
<mo>(</mo>
<mfrac>
<mrow>
<msub>
<mi>MAX</mi>
<mi>I</mi>
</msub>
</mrow>
<msqrt>
<mrow>
<mi>M</mi>
<mi>S</mi>
<mi>E</mi>
</mrow>
</msqrt>
</mfrac>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>2</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，MSE是原图像与处理图像之间的均方误差；MAXI是图像颜色最大值，8位采样点表示为255；
<mrow>
<mi>L</mi>
<mi>o</mi>
<mi>s</mi>
<mi>s</mi>
<mo>=</mo>
<mi>M</mi>
<mi>S</mi>
<mi>E</mi>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mrow>
<mi>W</mi>
<mo>&times;</mo>
<mi>H</mi>
</mrow>
</mfrac>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>0</mn>
</mrow>
<mrow>
<mi>W</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</munderover>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>j</mi>
<mo>=</mo>
<mn>0</mn>
</mrow>
<mrow>
<mi>H</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</munderover>
<mo>|</mo>
<mo>|</mo>
<mi>A</mi>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mi>a</mi>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
<mo>)</mo>
</mrow>
<mo>|</mo>
<msup>
<mo>|</mo>
<mn>2</mn>
</msup>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>3</mn>
<mo>)</mo>
</mrow>
</mrow>
W,H表示为图像的宽和高；i,j表示图像像素点的位置；A表示原始高分辨率人脸图像；a表示重建高分辨率人脸图像；
步骤7：训练深度神经网络直到神经网络输出层误差达到预设精度要求或者训练次数达到最大迭代次数，结束训练，保存网络结构和参数，得到训练好的神经网络模型；
步骤8：输入任意一张低分辨率图像到训练好的神经网络模型中，神经网络的输出即为人脸各部分重建后的超分辨率图像，经过结合得到最后的超分辨率人脸图像。
2.如权利要求1所述的基于深度学习的人脸超分辨率重建方法，其特征在于：步骤4中所述二维高斯分布公式为：
<mrow>
<mi>g</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mrow>
<mn>2</mn>
<msup>
<mi>&pi;&sigma;</mi>
<mn>2</mn>
</msup>
</mrow>
</mfrac>
<msup>
<mi>e</mi>
<mrow>
<mo>-</mo>
<mfrac>
<mrow>
<mo>(</mo>
<msup>
<mi>x</mi>
<mn>2</mn>
</msup>
<mo>+</mo>
<msup>
<mi>y</mi>
<mn>2</mn>
</msup>
<mo>)</mo>
</mrow>
<mrow>
<mn>2</mn>
<msup>
<mi>&sigma;</mi>
<mn>2</mn>
</msup>
</mrow>
</mfrac>
</mrow>
</msup>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，x,y为像素模板的坐标，σ为高斯模板的半径；
所述缩小处理是将M×N大小的原始图像缩小成m×n大小，M,m为图像的宽，N,n为图像的高，将图像划分成为(M×N)/m×n大小的互不相交的小块，计算小块的平均值，该值作为缩小图像对应的像素值。
3.如权利要求1所述的基于深度学习的人脸超分辨率重建方法，其特征在于：
步骤2中根据旋转矩阵计算人脸角度的方法如下：
旋转矩阵：
其中sx,cx,sy,cy,sz,cz分别为三个欧拉角的正弦和余弦函数；
根据旋转矩阵的表达式，利用三角函数可以推导出欧拉角的取值，具体公式如下：
绕x轴旋转角度：θx＝atan2(r32,r33) (5)
绕y轴旋转角度：
绕z轴旋转角度：θz＝atan2(r21,r11) (7)。
4.如权利要求1所述的基于深度学习的人脸超分辨率重建方法，其特征在于：步骤5中加权相加过程为：
<mrow>
<mi>F</mi>
<mi>a</mi>
<mi>c</mi>
<mi>e</mi>
<mo>=</mo>
<mi>&alpha;</mi>
<mo>&CenterDot;</mo>
<msub>
<mi>I</mi>
<mn>6</mn>
</msub>
<mo>+</mo>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>-</mo>
<mi>&alpha;</mi>
<mo>)</mo>
</mrow>
<mo>&CenterDot;</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>k</mi>
<mo>=</mo>
<mn>0</mn>
</mrow>
<mn>5</mn>
</munderover>
<msub>
<mi>I</mi>
<mi>k</mi>
</msub>
<mo>,</mo>
<mi>&alpha;</mi>
<mo>&Element;</mo>
<mo>&lsqb;</mo>
<mn>0</mn>
<mo>,</mo>
<mn>1</mn>
<mo>&rsqb;</mo>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>8</mn>
<mo>)</mo>
</mrow>
</mrow>
面部I6上的眉毛、眼睛、鼻子和嘴巴与分别训练得到的眉毛、眼睛、鼻子和嘴巴相加，其中，α为各类图像所占的比重。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711458187.XA CN107958444A (zh) | 2017-12-28 | 2017-12-28 | 一种基于深度学习的人脸超分辨率重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711458187.XA CN107958444A (zh) | 2017-12-28 | 2017-12-28 | 一种基于深度学习的人脸超分辨率重建方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107958444A true CN107958444A (zh) | 2018-04-24 |
Family
ID=61957092
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711458187.XA Pending CN107958444A (zh) | 2017-12-28 | 2017-12-28 | 一种基于深度学习的人脸超分辨率重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107958444A (zh) |
Cited By (32)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109035171A (zh) * | 2018-08-01 | 2018-12-18 | 中国计量大学 | 一种网纹人脸图像修复方法 |
| CN109035388A (zh) * | 2018-06-28 | 2018-12-18 | 北京的卢深视科技有限公司 | 三维人脸模型重建方法及装置 |
| CN109191493A (zh) * | 2018-07-13 | 2019-01-11 | 上海大学 | 一种基于RefineNet神经网络和稀疏光流的目标跟踪方法 |
| CN109308455A (zh) * | 2018-08-28 | 2019-02-05 | 广州图语信息科技有限公司 | 一种低分辨率人脸识别方法、装置及处理终端 |
| CN109344806A (zh) * | 2018-10-31 | 2019-02-15 | 第四范式（北京）技术有限公司 | 利用多任务目标检测模型执行目标检测的方法和系统 |
| CN109376684A (zh) * | 2018-11-13 | 2019-02-22 | 广州市百果园信息技术有限公司 | 一种人脸关键点检测方法、装置、计算机设备和存储介质 |
| CN109543548A (zh) * | 2018-10-26 | 2019-03-29 | 桂林电子科技大学 | 一种人脸识别方法、装置及存储介质 |
| CN109753886A (zh) * | 2018-12-17 | 2019-05-14 | 北京爱奇艺科技有限公司 | 一种人脸图像的评价方法、装置及设备 |
| CN109948555A (zh) * | 2019-03-21 | 2019-06-28 | 于建岗 | 基于视频流的人脸超分辨率识别方法 |
| CN109993698A (zh) * | 2019-03-29 | 2019-07-09 | 西安工程大学 | 一种基于生成对抗网络的单幅图像超分辨纹理增强方法 |
| CN110084775A (zh) * | 2019-05-09 | 2019-08-02 | 深圳市商汤科技有限公司 | 图像处理方法及装置、电子设备和存储介质 |
| CN110163114A (zh) * | 2019-04-25 | 2019-08-23 | 厦门瑞为信息技术有限公司 | 一种人脸角度及人脸模糊度分析方法、系统和计算机设备 |
| CN110163087A (zh) * | 2019-04-09 | 2019-08-23 | 江西高创保安服务技术有限公司 | 一种人脸姿态识别方法及系统 |
| CN110222668A (zh) * | 2019-06-17 | 2019-09-10 | 苏州大学 | 基于生成对抗网络的多姿态面部表情识别方法 |
| CN110263756A (zh) * | 2019-06-28 | 2019-09-20 | 东北大学 | 一种基于联合多任务学习的人脸超分辨率重建系统 |
| CN110472605A (zh) * | 2019-08-21 | 2019-11-19 | 广州纳丽生物科技有限公司 | 一种基于深度学习人脸分区的皮肤问题诊断方法 |
| CN110503606A (zh) * | 2019-08-29 | 2019-11-26 | 广州大学 | 一种提高人脸清晰度的方法 |
| CN110532871A (zh) * | 2019-07-24 | 2019-12-03 | 华为技术有限公司 | 图像处理的方法和装置 |
| CN110647864A (zh) * | 2019-09-30 | 2020-01-03 | 上海依图网络科技有限公司 | 基于生成对抗网络的单人多图特征识别方法、设备及介质 |
| CN110738601A (zh) * | 2019-10-23 | 2020-01-31 | 智慧视通(杭州)科技发展有限公司 | 一种基于三维人脸模型低分辨率人脸图像超分辨率重建方法 |
| CN110781473A (zh) * | 2019-10-10 | 2020-02-11 | 浙江大华技术股份有限公司 | 一种人脸图片识别预处理的方法 |
| CN110837750A (zh) * | 2018-08-15 | 2020-02-25 | 华为技术有限公司 | 一种人脸质量评价方法与装置 |
| CN111241891A (zh) * | 2018-11-29 | 2020-06-05 | 中科视语(北京)科技有限公司 | 一种人脸图像切图方法、装置及计算机可读存储介质 |
| CN111652016A (zh) * | 2019-03-27 | 2020-09-11 | 上海铼锶信息技术有限公司 | 一种人脸识别训练数据的增广方法 |
| CN111652020A (zh) * | 2019-04-16 | 2020-09-11 | 上海铼锶信息技术有限公司 | 一种人脸绕z轴旋转角度的识别方法 |
| CN111815513A (zh) * | 2020-06-09 | 2020-10-23 | 四川虹美智能科技有限公司 | 红外图像采集方法和装置 |
| CN112507617A (zh) * | 2020-12-03 | 2021-03-16 | 青岛海纳云科技控股有限公司 | 一种SRFlow超分辨率模型的训练方法及人脸识别方法 |
| CN112818833A (zh) * | 2021-01-29 | 2021-05-18 | 中能国际建筑投资集团有限公司 | 基于深度学习的人脸多任务检测方法、系统、装置及介质 |
| CN113128391A (zh) * | 2021-04-15 | 2021-07-16 | 广东便捷神科技股份有限公司 | 一种基于人脸识别的无人售货机上货取货的方法 |
| CN113536844A (zh) * | 2020-04-16 | 2021-10-22 | 中移(成都)信息通信科技有限公司 | 人脸对比方法、装置、设备及介质 |
| CN113566062A (zh) * | 2021-07-22 | 2021-10-29 | 深圳创维－Rgb电子有限公司 | 智能升降系统及方法 |
| CN114693547A (zh) * | 2022-03-03 | 2022-07-01 | 大连海事大学 | 基于图像超分辨的射频图像增强方法及射频图像识别方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160055682A1 (en) * | 2014-08-22 | 2016-02-25 | Htc Corporation | Three-dimensional modeling method and electronic apparatus thereof |
| CN106529402A (zh) * | 2016-09-27 | 2017-03-22 | 中国科学院自动化研究所 | 基于多任务学习的卷积神经网络的人脸属性分析方法 |
| CN107506717A (zh) * | 2017-08-17 | 2017-12-22 | 南京东方网信网络科技有限公司 | 无约束场景中基于深度变换学习的人脸识别方法 |
| CN107516090A (zh) * | 2017-09-11 | 2017-12-26 | 北京百度网讯科技有限公司 | 一体化人脸识别方法和系统 |
-
2017
- 2017-12-28 CN CN201711458187.XA patent/CN107958444A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160055682A1 (en) * | 2014-08-22 | 2016-02-25 | Htc Corporation | Three-dimensional modeling method and electronic apparatus thereof |
| CN106529402A (zh) * | 2016-09-27 | 2017-03-22 | 中国科学院自动化研究所 | 基于多任务学习的卷积神经网络的人脸属性分析方法 |
| CN107506717A (zh) * | 2017-08-17 | 2017-12-22 | 南京东方网信网络科技有限公司 | 无约束场景中基于深度变换学习的人脸识别方法 |
| CN107516090A (zh) * | 2017-09-11 | 2017-12-26 | 北京百度网讯科技有限公司 | 一体化人脸识别方法和系统 |
Non-Patent Citations (6)
| Title |
|---|
| DAVID CAPE1等: "《Super-resolution from multiple views using learnt image models》", 《PROCEEDINGS OF THE 2001 IEEE COMPUTER SOCIETY CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION. CVPR 2001》 * |
| KAIPENG ZHANG: "《Joint Face Detection and Alignment using》", 《IEEE SIGNAL PROCESSING LETTERS》 * |
| 刘丹霞: "《基于学习的人脸超分辨率重建技术研究》", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
| 廖春萍等: "《基于OpenCV的人脸识别系统》", 《东莞理工学院学报》 * |
| 汪丰等: "《基于正交图像的头部三维模型构建》", 《东南大学学报(自然科学版)》 * |
| 马克W.斯庞等: "《机器人建模和控制》", 31 July 2016, 机械工业出版社 * |
Cited By (54)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109035388B (zh) * | 2018-06-28 | 2023-12-05 | 合肥的卢深视科技有限公司 | 三维人脸模型重建方法及装置 |
| CN109035388A (zh) * | 2018-06-28 | 2018-12-18 | 北京的卢深视科技有限公司 | 三维人脸模型重建方法及装置 |
| CN109191493A (zh) * | 2018-07-13 | 2019-01-11 | 上海大学 | 一种基于RefineNet神经网络和稀疏光流的目标跟踪方法 |
| CN109191493B (zh) * | 2018-07-13 | 2021-06-04 | 上海大学 | 一种基于RefineNet神经网络和稀疏光流的目标跟踪方法 |
| CN109035171A (zh) * | 2018-08-01 | 2018-12-18 | 中国计量大学 | 一种网纹人脸图像修复方法 |
| CN109035171B (zh) * | 2018-08-01 | 2021-06-15 | 中国计量大学 | 一种网纹人脸图像修复方法 |
| CN110837750A (zh) * | 2018-08-15 | 2020-02-25 | 华为技术有限公司 | 一种人脸质量评价方法与装置 |
| CN110837750B (zh) * | 2018-08-15 | 2023-11-03 | 华为技术有限公司 | 一种人脸质量评价方法与装置 |
| CN109308455A (zh) * | 2018-08-28 | 2019-02-05 | 广州图语信息科技有限公司 | 一种低分辨率人脸识别方法、装置及处理终端 |
| CN109543548A (zh) * | 2018-10-26 | 2019-03-29 | 桂林电子科技大学 | 一种人脸识别方法、装置及存储介质 |
| CN109344806B (zh) * | 2018-10-31 | 2019-08-23 | 第四范式（北京）技术有限公司 | 利用多任务目标检测模型执行目标检测的方法和系统 |
| CN109344806A (zh) * | 2018-10-31 | 2019-02-15 | 第四范式（北京）技术有限公司 | 利用多任务目标检测模型执行目标检测的方法和系统 |
| US11727663B2 (en) | 2018-11-13 | 2023-08-15 | Bigo Technology Pte. Ltd. | Method and apparatus for detecting face key point, computer device and storage medium |
| CN109376684A (zh) * | 2018-11-13 | 2019-02-22 | 广州市百果园信息技术有限公司 | 一种人脸关键点检测方法、装置、计算机设备和存储介质 |
| CN111241891B (zh) * | 2018-11-29 | 2024-04-30 | 中科视语(北京)科技有限公司 | 一种人脸图像切图方法、装置及计算机可读存储介质 |
| CN111241891A (zh) * | 2018-11-29 | 2020-06-05 | 中科视语(北京)科技有限公司 | 一种人脸图像切图方法、装置及计算机可读存储介质 |
| CN109753886A (zh) * | 2018-12-17 | 2019-05-14 | 北京爱奇艺科技有限公司 | 一种人脸图像的评价方法、装置及设备 |
| CN109753886B (zh) * | 2018-12-17 | 2024-03-08 | 北京爱奇艺科技有限公司 | 一种人脸图像的评价方法、装置及设备 |
| CN109948555A (zh) * | 2019-03-21 | 2019-06-28 | 于建岗 | 基于视频流的人脸超分辨率识别方法 |
| CN109948555B (zh) * | 2019-03-21 | 2020-11-06 | 于建岗 | 基于视频流的人脸超分辨率识别方法 |
| CN111652016B (zh) * | 2019-03-27 | 2023-06-30 | 上海铼锶信息技术有限公司 | 一种人脸识别训练数据的增广方法 |
| CN111652016A (zh) * | 2019-03-27 | 2020-09-11 | 上海铼锶信息技术有限公司 | 一种人脸识别训练数据的增广方法 |
| CN109993698A (zh) * | 2019-03-29 | 2019-07-09 | 西安工程大学 | 一种基于生成对抗网络的单幅图像超分辨纹理增强方法 |
| CN110163087A (zh) * | 2019-04-09 | 2019-08-23 | 江西高创保安服务技术有限公司 | 一种人脸姿态识别方法及系统 |
| CN111652020A (zh) * | 2019-04-16 | 2020-09-11 | 上海铼锶信息技术有限公司 | 一种人脸绕z轴旋转角度的识别方法 |
| CN111652020B (zh) * | 2019-04-16 | 2023-07-11 | 上海铼锶信息技术有限公司 | 一种人脸绕z轴旋转角度的识别方法 |
| CN110163114A (zh) * | 2019-04-25 | 2019-08-23 | 厦门瑞为信息技术有限公司 | 一种人脸角度及人脸模糊度分析方法、系统和计算机设备 |
| CN110163114B (zh) * | 2019-04-25 | 2022-02-15 | 厦门瑞为信息技术有限公司 | 一种人脸角度及人脸模糊度分析方法、系统和计算机设备 |
| CN110084775B (zh) * | 2019-05-09 | 2021-11-26 | 深圳市商汤科技有限公司 | 图像处理方法及装置、电子设备和存储介质 |
| CN110084775A (zh) * | 2019-05-09 | 2019-08-02 | 深圳市商汤科技有限公司 | 图像处理方法及装置、电子设备和存储介质 |
| CN110222668A (zh) * | 2019-06-17 | 2019-09-10 | 苏州大学 | 基于生成对抗网络的多姿态面部表情识别方法 |
| CN110263756A (zh) * | 2019-06-28 | 2019-09-20 | 东北大学 | 一种基于联合多任务学习的人脸超分辨率重建系统 |
| CN110532871A (zh) * | 2019-07-24 | 2019-12-03 | 华为技术有限公司 | 图像处理的方法和装置 |
| CN110532871B (zh) * | 2019-07-24 | 2022-05-10 | 华为技术有限公司 | 图像处理的方法和装置 |
| CN110472605A (zh) * | 2019-08-21 | 2019-11-19 | 广州纳丽生物科技有限公司 | 一种基于深度学习人脸分区的皮肤问题诊断方法 |
| CN110472605B (zh) * | 2019-08-21 | 2022-10-14 | 广州纳丽生物科技有限公司 | 一种基于深度学习人脸分区的皮肤问题分类方法 |
| CN110503606A (zh) * | 2019-08-29 | 2019-11-26 | 广州大学 | 一种提高人脸清晰度的方法 |
| CN110503606B (zh) * | 2019-08-29 | 2023-06-20 | 广州大学 | 一种提高人脸清晰度的方法 |
| CN110647864A (zh) * | 2019-09-30 | 2020-01-03 | 上海依图网络科技有限公司 | 基于生成对抗网络的单人多图特征识别方法、设备及介质 |
| CN110781473B (zh) * | 2019-10-10 | 2021-11-16 | 浙江大华技术股份有限公司 | 一种人脸图片识别预处理的方法 |
| CN110781473A (zh) * | 2019-10-10 | 2020-02-11 | 浙江大华技术股份有限公司 | 一种人脸图片识别预处理的方法 |
| CN110738601A (zh) * | 2019-10-23 | 2020-01-31 | 智慧视通(杭州)科技发展有限公司 | 一种基于三维人脸模型低分辨率人脸图像超分辨率重建方法 |
| CN113536844A (zh) * | 2020-04-16 | 2021-10-22 | 中移(成都)信息通信科技有限公司 | 人脸对比方法、装置、设备及介质 |
| CN113536844B (zh) * | 2020-04-16 | 2023-10-31 | 中移(成都)信息通信科技有限公司 | 人脸对比方法、装置、设备及介质 |
| CN111815513B (zh) * | 2020-06-09 | 2023-06-23 | 四川虹美智能科技有限公司 | 红外图像采集方法和装置 |
| CN111815513A (zh) * | 2020-06-09 | 2020-10-23 | 四川虹美智能科技有限公司 | 红外图像采集方法和装置 |
| CN112507617A (zh) * | 2020-12-03 | 2021-03-16 | 青岛海纳云科技控股有限公司 | 一种SRFlow超分辨率模型的训练方法及人脸识别方法 |
| CN112507617B (zh) * | 2020-12-03 | 2021-08-24 | 青岛海纳云科技控股有限公司 | 一种SRFlow超分辨率模型的训练方法及人脸识别方法 |
| CN112818833A (zh) * | 2021-01-29 | 2021-05-18 | 中能国际建筑投资集团有限公司 | 基于深度学习的人脸多任务检测方法、系统、装置及介质 |
| CN112818833B (zh) * | 2021-01-29 | 2024-04-12 | 中能国际建筑投资集团有限公司 | 基于深度学习的人脸多任务检测方法、系统、装置及介质 |
| CN113128391A (zh) * | 2021-04-15 | 2021-07-16 | 广东便捷神科技股份有限公司 | 一种基于人脸识别的无人售货机上货取货的方法 |
| CN113128391B (zh) * | 2021-04-15 | 2024-02-06 | 广东便捷神科技股份有限公司 | 一种基于人脸识别的无人售货机上货取货的方法 |
| CN113566062A (zh) * | 2021-07-22 | 2021-10-29 | 深圳创维－Rgb电子有限公司 | 智能升降系统及方法 |
| CN114693547A (zh) * | 2022-03-03 | 2022-07-01 | 大连海事大学 | 基于图像超分辨的射频图像增强方法及射频图像识别方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107958444A (zh) | 一种基于深度学习的人脸超分辨率重建方法 | |
| Yu et al. | Unsupervised representation learning for gaze estimation | |
| WO2021185225A1 (zh) | 基于自适应调整的图像超分辨率重建方法 | |
| WO2021077997A9 (zh) | 图像去噪的多生成器生成对抗网络学习方法 | |
| TWI709107B (zh) | 影像特徵提取方法及包含其顯著物體預測方法 | |
| CN107153816B (zh) | 一种用于鲁棒人脸识别的数据增强方法 | |
| Yan et al. | Multi-scale dense networks for deep high dynamic range imaging | |
| Dong et al. | Color-guided depth recovery via joint local structural and nonlocal low-rank regularization | |
| CN105744256B (zh) | 基于图谱视觉显著的立体图像质量客观评价方法 | |
| Kiechle et al. | A joint intensity and depth co-sparse analysis model for depth map super-resolution | |
| CN101916454B (zh) | 基于网格变形和连续优化的高分辨率人脸重建方法 | |
| CN110570353A (zh) | 密集连接生成对抗网络单幅图像超分辨率重建方法 | |
| CN107895345A (zh) | 一种提高人脸图像分辨率的方法和装置 | |
| CN108932536A (zh) | 基于深度神经网络的人脸姿态重建方法 | |
| Liu et al. | Depth restoration from RGB-D data via joint adaptive regularization and thresholding on manifolds | |
| US10891789B2 (en) | Method to produce 3D model from one or several images | |
| Sun et al. | Multiscale generative adversarial network for real‐world super‐resolution | |
| CN105513033B (zh) | 一种非局部联合稀疏表示的超分辨率重建方法 | |
| CN107330854B (zh) | 一种基于新型模板的图像超分辨率增强方法 | |
| CN108280804A (zh) | 一种多帧图像超分辨率重建方法 | |
| CN113658040A (zh) | 一种基于先验信息和注意力融合机制的人脸超分辨方法 | |
| CN110796622A (zh) | 一种基于串联神经网络多层特征的图像比特增强方法 | |
| CN112184549B (zh) | 基于时空变换技术的超分辨图像重建方法 | |
| Xu et al. | EPES: Point cloud quality modeling using elastic potential energy similarity | |
| CN110769323A (zh) | 一种视频通信方法、系统、装置和终端设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180424 |
|
| RJ01 | Rejection of invention patent application after publication |