CN107895345A - 一种提高人脸图像分辨率的方法和装置 - Google Patents

一种提高人脸图像分辨率的方法和装置 Download PDF

Info

Publication number
CN107895345A
CN107895345A CN201711228646.5A CN201711228646A CN107895345A CN 107895345 A CN107895345 A CN 107895345A CN 201711228646 A CN201711228646 A CN 201711228646A CN 107895345 A CN107895345 A CN 107895345A
Authority
CN
China
Prior art keywords
facial image
face
resolution ratio
image
resolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711228646.5A
Other languages
English (en)
Other versions
CN107895345B (zh
Inventor
杨长久
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN201711228646.5A priority Critical patent/CN107895345B/zh
Publication of CN107895345A publication Critical patent/CN107895345A/zh
Priority to PCT/CN2018/118074 priority patent/WO2019105399A1/en
Priority to EP18884331.2A priority patent/EP3701491B1/en
Application granted granted Critical
Publication of CN107895345B publication Critical patent/CN107895345B/zh
Priority to US16/886,808 priority patent/US11436702B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种提高人脸图像分辨率的方法和装置，针对一图像提取出第一原始人脸图像；对所述第一原始人脸图像进行分辨率放大处理，获取第一目标人脸图像；对所述第一目标人脸图像进行人脸特征点提取处理，获取第一人脸特征点；对所述第一人脸特征点进行插值处理，获取第一人脸先验信息；对所述第一人脸先验信息和所述第一目标人脸图像进行融合处理，获取具有更高分辨率的第二目标人脸图像。当然，为了获得更高分辨率的图像，也可以对获得的第二目标人脸图像继续提取人脸先验信息，从而获取更高分辨率的人脸图像。该方案充分考虑了人脸先验信息，获得的重建的人脸图像具有更多的细节，能获得较好的重建效果。

Description

一种提高人脸图像分辨率的方法和装置
技术领域
本发明涉及图像处理领域，尤其涉及一种提高人脸图像分辨率的方法和装置。
背景技术
图像的超分辨率重建技术指的是从一幅的或多幅低分辨率、低质量图像中产生高分辨率、高质量图像的数字图像处理技术。这里的数字图像的分辨率指的图像的空间分辨率，即是每英寸图像含有的像素点个数，分辨率的单位为dpi(dots per inch)。不难理解，分辨率越大，图像信息量越大，图像也越清晰。而从低分辨率图像中获得更高分辨率图像是一种“无中生有”过程，即从现有的信息量中去估计得到更多的信息量。
作为一种无需改善硬件设备,却可显著提高图像质量的方法,超分辨率在视频监控、医学成像、遥感图像等领域中有着广泛的应用前景，例如：(1)视频监控领域：视频中的定格画面和对特定区域的放大显示(例如，识别录像中的汽车)，对目标识别进行分辨率的增强(例如，识别嫌疑犯的面容)；(3)医学图像(CT(Computed Tomography,计算机断层成像)，MRI(Nuclear Magnetic Resonance Imaging，磁共振成像)等)领域：已知若干幅有限分辨率的医学图像，可以获得高分辨率的医学图像；(4)视频标准转换领域：例如，从NTSC(National Television Systems Committee，正交平衡调幅制)视频信号变为HDTV((HighDefinition Television，高清晰度电视)视频信号。
现有技术分为传统方法和基于深度学习的方法。传统方法主要有非均匀插值方法，该是一种最为直观的超分辨率算法。将有亚像素位移的低分辨率图像配准后映射到高分辨率网格上，形成一幅不完全均匀间隔采样网格上的复合图像，将复合图像进行内插和重采样后可得到超分辨率网格上的采样点值，这样得到超分辨率图像的方法即为非均匀插值方法。常用的内插方法有：最邻近插值、双线性插值、双三次插值和自适应插值等。
基于深度学习的方法中，2014年的论文《Super Resolution ConvolutionalNeural Network》的作者是较早地提出使用深度学习做超分辨率的方法。该方法提出的网络结构十分简单，仅仅使用了三个卷积层。该方法对于一个低分辨率图像，先使用双三次插值将其放大到目标大小，再通过三层卷积网络做非线性映射，得到的结果作为高分辨率图像的输出。三个卷积层使用的卷积核的大小分别为9x9,1x1和5x5，前两个的输出特征图的个数分别为64和32。
基于非均匀插值方法的缺点是，该类方法重建处理的图像的效果较差，处理后的图像具有锯齿效果，图像较模糊不能满足实际的需求。
传统方法和基于深度学习的提高人脸图像分辨率的方法和传统的提高人脸图像分辨率的方法，在进行人脸图像处理时没有考虑人脸先验信息，对于非常极端的低分辨率人脸图像的处理效果差，不能满足用户的实际需求。
发明内容
本发明实施例通过提供一种提高人脸图像分辨率的方法和装置，用于解决现有技术中在进行人脸图像处理时没有考虑人脸先验信息，对于非常极端的低分辨率人脸图像的处理效果差，不能满足用户的实际需求的技术问题。
第一方面，本发明一实施例提供了一种提高人脸图像分辨率的方法，所述方法包括：
针对一图像提取出具有第一分辨率第一原始人脸图像；
对所述第一原始人脸图像进行分辨率放大处理，获取第一目标人脸图像；
对所述第一目标人脸图像进行人脸特征点提取处理，获取第一人脸特征点；
对所述第一人脸特征点进行插值处理，获取第一人脸先验信息；
对所述第一人脸先验信息和所述第一目标人脸图像进行融合处理，获取具有第二分辨率的第二目标人脸图像，其中，所述第二分辨率高于所述第一分辨率。
可选的，对所述第一人脸先验信息和所述第一目标人脸图像进行融合处理，获取具有第二分辨率的第二目标人脸图像，包括：
根据所述第一人脸先验信息和所述第一目标人脸图像提取出第一人脸各局部特征细节信息；
根据所述第一目标人脸图像提取出第一人脸高频细节信息；
对所述第一人脸各局部特征细节信息、所述第一人脸高频细节信息和所述第一目标人脸图像进行融合，获取第一高频人脸图像；
将所述第一目标人脸图像和所述第一高频人脸图像合并成所述第二目标人脸图像。
可选的，在所述获取具有第二分辨率的第二目标人脸图像之后，所述方法还包括：
分别对所述第一目标人脸图像和所述第二目标人脸图像进行分辨率放大处理，并对进行分辨率放大后的所述第一目标人脸图像和所述第二目标人脸图像进行合并处理，对合并处理后的图像进行人脸特征点的提取处理，获取第二人脸特征点；
对所述第二人脸特征点进行插值处理，获取第二人脸先验信息；
对所述第二人脸先验信息、进行分辨率放大后的所述第一目标人脸图像和进行分辨率放大后的所述第二目标人脸图像进行融合处理，获取具有第三分辨率的第三目标人脸图像，其中，所述第三分辨率高于所述第二分辨率。
可选的，对所述第二人脸先验信息、进行分辨率放大后的所述第一目标人脸图像和进行分辨率放大后的所述第二目标人脸图像进行融合处理，获取具有第三分辨率的第三目标人脸图像，包括：
根据所述第二人脸先验信息、进行分辨率放大后的所述第一目标人脸图像和进行分辨率放大后的所述第二目标人脸图像提取出第二人脸各局部特征细节信息；
根据进行分辨率放大后的所述第一目标人脸图像和进行分辨率放大后的所述第二目标人脸图像提取出第二人脸高频细节信息；
对所述第二人脸各局部特征细节信息、所述第二人脸高频细节信息进行分辨率放大后的所述第一目标人脸图像和进行分辨率放大后的所述第二目标人脸图像进行融合，获得所述第三目标人脸图像。
可选的，在所述获取具有第三分辨率的第三目标人脸图像之后，所述方法还包括：
对所述第三目标人脸图像进行分辨率放大处理，获取第四目标人脸图像；
对所述第四目标人脸图像进行人脸特征点的提取处理，获取第三人脸特征点；
对所述第三人脸特征点进行插值处理，获取第三人脸先验信息；
基于所述第三人脸先验信息和所述第四目标人脸图像，获取具有第四分辨率的第五目标人脸图像，其中，所述第四分辨率高于所述第三分辨率。
可选的，所述基于所述第三人脸先验信息和所述第四目标人脸图像，获取具有第四分辨率的第五目标人脸图像，包括：
根据所述第三人脸先验信息和所述第四目标人脸图像提取出第三人脸各局部特征细节信息；
将所述第三人脸各局部特征细节信息和所述第四目标人脸图像合并成所述第五目标人脸图像。
第二方面，本发明一实施例提供了一种提高人脸图像分辨率的装置，所述装置包括：
第一提取模块，用于针对一图像提取出具有第一分辨率第一原始人脸图像；
第一获取模块，用于对所述第一原始人脸图像进行分辨率放大处理，获取第一目标人脸图像；
第二提取模块，用于对所述第一目标人脸图像进行人脸特征点提取处理，获取第一人脸特征点；
第二获取模块，用于对所述第一人脸特征点进行插值处理，获取第一人脸先验信息；
第三获取模块，用于对所述第一人脸先验信息和所述第一目标人脸图像进行融合处理，获取具有第二分辨率的第二目标人脸图像，其中，所述第二分辨率高于所述第一分辨率。
可选的，所述第三获取模块包括：
第一提取子模块，用于根据所述第一人脸先验信息和所述第一目标人脸图像提取出第一人脸各局部特征细节信息；
第二提取子模块，用于根据所述第一目标人脸图像提取出第一人脸高频细节信息；
第一获取子模块，用于对所述第一人脸各局部特征细节信息、所述第一人脸高频细节信息和所述第一目标人脸图像进行融合，获取第一高频人脸图像；
第一合并子模块，用于将所述第一目标人脸图像和所述第一高频人脸图像合并成所述第二目标人脸图像。
可选的，所述装置还包括：
第四获取模块，用于在所述获取具有第二分辨率的第二目标人脸图像之后，分别对所述第一目标人脸图像和所述第二目标人脸图像进行分辨率放大处理，并对进行分辨率放大后的所述第一目标人脸图像和所述第二目标人脸图像进行合并处理，对合并处理后的图像进行人脸特征点的提取处理，获取第二人脸特征点；
第五获取模块，用于对所述第二人脸特征点进行插值处理，获取第二人脸先验信息；
第六获取模块，用于对所述第二人脸先验信息、进行分辨率放大后的所述第一目标人脸图像和进行分辨率放大后的所述第二目标人脸图像进行融合处理，获取具有第三分辨率的第三目标人脸图像，其中，所述第三分辨率高于所述第二分辨率。
可选的，所述第六获取模块包括：
第三提取子模块，根据所述第二人脸先验信息、进行分辨率放大后的所述第一目标人脸图像和进行分辨率放大后的所述第二目标人脸图像提取出第二人脸各局部特征细节信息；
第四提取子模块，根据进行分辨率放大后的所述第一目标人脸图像和进行分辨率放大后的所述第二目标人脸图像提取出第二人脸高频细节信息；
第二获取子模块，对所述第二人脸各局部特征细节信息、所述第二人脸高频细节信息进行分辨率放大后的所述第一目标人脸图像和进行分辨率放大后的所述第二目标人脸图像进行融合，获取所述第三目标人脸图像。
可选的，所述装置还包括：
第七获取模块，用于在所述获取具有第三分辨率的第三目标人脸图像之后，对所述第三目标人脸图像进行分辨率放大处理，获取第四目标人脸图像；
第八获取模块，对所述第四目标人脸图像进行人脸特征点的提取处理，获取第三人脸特征点；
第九获取模块，对所述第三人脸特征点进行插值处理，获取第三人脸先验信息；
第十获取模块，基于所述第三人脸先验信息和所述第四目标人脸图像，获取具有第四分辨率的第五目标人脸图像，其中，所述第四分辨率高于所述第三分辨率。
可选的，所述第十获取模块包括：
第五提取子模块，用于根据所述第三人脸先验信息和所述第四目标人脸图像提取出第三人脸各局部特征细节信息；
第三获取子模块，用于将所述第三人脸各局部特征细节信息和所述第四目标人脸图像合并成所述第五目标人脸图像。
第三方面，本发明一实施例提供了一种计算机装置，所述装置包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如第一方面实施例所述方法的步骤。
第四方面，本发明一实施例提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如第一方面实施例所述方法的步骤。
本发明实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：
本发明实施例提供的技术方案充分考虑了人脸先验信息，对于图像质量很差的低分辨率的人脸图像进行分辨率重建，获得的重建的人脸图像具有更多的细节，能获得较好的重建效果。
附图说明
图1A为本发明实施例提供的提高人脸图像分辨率的方法的第一流程图；
图1B为本发明实施例提供的提高人脸图像分辨率的方法的第二流程图；
图1C为本发明实施例提供的提高人脸图像分辨率的方法的第三流程图；
图2为本发明实施例提供的提高人脸图像分辨率的方法的示例流程图；
图3A为本发明实施例提供的获取的人脸特征点的示意图；
图3B为本发明实施例提供的获取的人脸先验信息的示意图；
图4为本发明实施例提供的提高人脸图像分辨率的装置的示意图。
具体实施方式
为了解决上述技术问题，本发明实施例中的技术方案的总体思路如下：
一种提高人脸图像分辨率的方法和装置，针对一图像提取出具有第一分辨率第一原始人脸图像；对所述第一原始人脸图像进行分辨率放大处理，获取第一目标人脸图像；对所述第一目标人脸图像进行人脸特征点提取处理，获取第一人脸特征点；对所述第一人脸特征点进行插值处理，获取第一人脸先验信息；对所述第一人脸先验信息和所述第一目标人脸图像进行融合处理，获取具有第二分辨率的第二目标人脸图像，其中，所述第二分辨率高于所述第一分辨率。当然，为了获得更高分辨率的图像，也可以对获得的第二目标人脸图像继续提取人脸先验信息，从而获取更高分辨率的人脸图像。
为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。
如图1A所示，本发明实施例一提供了一种提高人脸图像分辨率的方法，所述方法包括：
S101，针对一图像提取出具有第一分辨率第一原始人脸图像。
S102，对所述第一原始人脸图像进行分辨率放大处理，获取第一目标人脸图像。
S103，对所述第一目标人脸图像进行人脸特征点提取处理，获取第一人脸特征点。
S104，对所述第一人脸特征点进行插值处理，获取第一人脸先验信息。
S105，对所述第一人脸先验信息和所述第一目标人脸图像进行融合处理，获取具有第二分辨率的第二目标人脸图像，其中，所述第二分辨率高于所述第一分辨率。
其中，步骤S105具体可以包括：根据所述第一人脸先验信息和所述第一目标人脸图像提取出第一人脸各局部特征细节信息；
根据所述第一目标人脸图像提取出第一人脸高频细节信息；
对所述第一人脸各局部特征细节信息、所述第一人脸高频细节信息和所述第一目标人脸图像进行融合，获得第一高频人脸图像；
将所述第一目标人脸图像和所述第一高频人脸图像合并成所述第二目标人脸图像。
在执行完步骤S105后，如果第二目标人脸图像的分辨率满足用户要求，可以不对第二目标人脸图像继续进行处理；如图1B所示，如果需要获得更高分辨率的图像，可以对所述第二目标人脸图像进行如下处理：
S106，分别对所述第一目标人脸图像和所述第二目标人脸图像进行分辨率放大处理，并对进行分辨率放大后的所述第一目标人脸图像和所述第二目标人脸图像进行合并处理，对合并处理后的图像进行人脸特征点的提取处理，获取第二人脸特征点。
S107，对所述第二人脸特征点进行插值处理，获取第二人脸先验信息。
S108，对所述第二人脸先验信息、进行分辨率放大后的所述第一目标人脸图像和进行分辨率放大后的所述第二目标人脸图像进行融合处理，获取具有第三分辨率的第三目标人脸图像，其中，所述第三分辨率高于所述第二分辨率。
其中，步骤S108具体可以包括：根据所述第二人脸先验信息、进行分辨率放大后的所述第一目标人脸图像和进行分辨率放大后的所述第二目标人脸图像提取出第二人脸各局部特征细节信息；
根据进行分辨率放大后的所述第一目标人脸图像和进行分辨率放大后的所述第二目标人脸图像提取出第二人脸高频细节信息；
对所述第二人脸各局部特征细节信息、所述第二人脸高频细节信息进行分辨率放大后的所述第一目标人脸图像和进行分辨率放大后的所述第二目标人脸图像进行融合，获得所述第三目标人脸图像。
在执行完步骤S108后，如果第三目标人脸图像的分辨率满足用户要求，可以不对第三目标人脸图像继续进行处理；如图1C所示，如果需要获得更高分辨率的图像，可以对所述第三目标人脸图像进行如下处理：
S109，对所述第三目标人脸图像进行分辨率放大处理，获取第四目标人脸图像。
S1010，对所述第四目标人脸图像进行人脸特征点的提取处理，获取第三人脸特征点。
S1011，对所述第三人脸特征点进行插值处理，获取第三人脸先验信息。
S1012，基于所述第三人脸先验信息和所述第四目标人脸图像，获取具有第四分辨率的第五目标人脸图像，其中，所述第四分辨率高于所述第三分辨率。
其中，步骤S1012具体可以包括：
根据所述第三人脸先验信息和所述第四目标人脸图像提取出第三人脸各局部特征细节信息；
将所述第三人脸各局部特征细节信息和所述第四目标人脸图像合并成所述第五目标人脸图像。
为了更好的理解本发明的上述实施例，对本发明实施例中提供的方法步骤进行如下具体说明，具体可参见图2，图2中包括第一级联网络、第二级联网络和幻象增强网络，其中“↑”表示对输入图像进行2倍的双三次插值，使得输入图像的分辨率放大，“+”表示将两幅图像合成为一幅图像，即对两幅图像中数据点进行叠加，“×”表示两幅图像中相似数据点的相乘。
图2中的第一级联网络处理的输入图像为步骤S101中获取的第一原始人脸图像；对于步骤S101，具体地，获得一需要处理的图像，对该图像进行检测，提取出一个人脸图像，计算该人脸图像中的特征点，提取出具有第一分辨率的即需要进行超分辨率重建的第一原始人脸图像，其中，第一分辨率为低分辨率。
该第一级联网络的进行图像处理工作步骤包括前述步骤S102-S105，具体如下：
对于步骤S102，可以利用2倍的双三次插值方法对第一原始人脸图像进行分辨率放大处理，获取第一目标人脸图像。当然，根据实际的应用需要，也可以采用3倍甚至更大倍数的双三次插值方法对第一原始人脸图像进行分辨率放大处理，也可以采用其他的内插方法例如最邻近插值、双线性插值或者自适应插值等方法对第一原始人脸图像进行分辨率放大处理。
在获得第一目标人脸图像后，对于步骤S103和步骤S104，具体包括：
对所述第一目标人脸图像进行人脸特征点提取处理，获取第一人脸特征点；对所述第一人脸特征点进行插值处理，获取第一人脸先验信息；具体包括：对所述第一目标人脸图像进行人脸特征点提取处理，提取到第一人脸特征点，对所述第一人脸特征点进行插值后获取第一人脸先验信息，其中，第一人脸先验信息即对所述第一人脸特征点进行插值(例如双三次插值)后获得的人脸各局部特征的掩膜(例如人脸各个区域的人脸特征掩膜)。例如，利用SRCNN(Super-Resolution Using Deep Convolutional Neural Network，超分辨率的深度卷积网络)对第一目标人脸图像进行处理。其中SRCNN处理为端到端的图像处理方法。利用SRCNN对第一目标人脸图像进行处理后，再利用2倍的双三次插值方法对处理后的图像进行分辨率放大后再利用SRCNN进行处理，获得输出的图像。利用DCPN(DeformationCoefficients Prediction Network，变形系数预测网络)计算该输出的图像的人脸的特征点，如图3A所示，即为通过对第一目标人脸图像进行处理获得的第一人脸特征点。根据该第一人脸特征点计算出第一人脸先验信息，第一人脸先验信息如图3B所示，人脸先验信息为人脸的各局部特征(眼睛、鼻子、嘴等局部特征)的掩膜，即为该获得的人脸特征点进行插值得到的人脸各局部特征的掩膜。
具体地，对于步骤S105，包括HFBCNN(High Frequency Branch ConvolutionalNeural Network，高频分支网络)，CBCNN(Common Branch Convolutional NeuralNetwork，基础网络)和FCNN(Fusion Convolutional Neural Network，融合网络)执行的响应的步骤。HFBCNN通过使用第一人脸先验信息和第一目标人脸图像主要提取第一人脸各局部特征细节信息(例如眼睛、鼻子和嘴等局部特征的细节信息)，基础网络从第一目标人脸图像中提取人脸高频细节信息(一般图像的细节信息分为高频和低频，高频细节信息例如是图像中纹理较多的区域的细节信息)，然后通过级联，FCNN(融合网络)对第一目标人脸图像、第一人脸各局部特征的细节信息以及第一高频细节信息进行融合，对融合后的图像、第一人脸各局部特征的细节信息、第一高频细节信息进行如图2所示的第一级联网络中的相乘和叠加计算，获取第一高频人脸图像，然后利用“+”对第一高频人脸图像和第一目标人脸图像进行合并，获得第二目标人脸图像。
在获得第二目标人脸图像后，如果第二目标人脸图像的分辨率满足用户要求，可以不对第二目标人脸图像继续进行处理；如果需要获得更高分辨率的图像，可以利用图2中的第二级联模块对所述第二目标人脸图像进行如步骤S106-S108的处理，具体如下：
可以利用2倍的双三次插值方法分别对第一目标人脸图像和第二目标人脸图像进行分辨率放大处理；当然，根据实际的应用需要，也可以采用3倍甚至更大倍数的双三次插值方法分别对第一目标人脸图像和第二目标人脸图像进行分辨率放大处理，也可以采用其他的内插方法例如最邻近插值、双线性插值或者自适应插值等方法对第一目标人脸图像和第二目标人脸图像进行分辨率放大处理。
然后，对进行分辨率放大后的所述第一目标人脸图像和所述第二目标人脸图像进行合并处理，对合并处理后的图像进行人脸特征点的提取处理，获取第二人脸特征点；对所述第二人脸特征点进行插值处理，获取第二人脸先验信息，其中，第二人脸先验信息即对所述第二人脸特征点进行插值后获得的人脸各局部特征的掩膜。
例如，利用SRCNN对进行分辨率放大后的所述第一目标人脸图像和所述第二目标人脸图像进行合并处理，获得合并处理后的图像。其中SRCNN处理为端到端的图像处理方法。利用DCPN计算该合并处理后的图像的第二人脸特征点，根据该第二人脸特征点计算出第二人脸先验信息，人脸先验信息为人脸的各局部特征(眼睛、鼻子、嘴等局部特征)的掩膜，即为该获得的人脸特征点进行插值得到的人脸各局部特征的掩膜。其中，第二人脸特征点与第二人脸先验信息的图与图3A和图3B中所示的人脸特征点和人脸先验信息类似，在此不再以图示方式示出。
与第一级联网络相同，第二级联网络还包括HFBCNN，CBCNN和FCNN。HFBCNN通过使用第二人脸先验信息、进行分辨率放大后的所述第一目标人脸图像和进行分辨率放大后的所述第二目标人脸图像，提取第二人脸各局部特征的细节信息(例如眼睛、鼻子和嘴等局部特征的细节信息)。CBCNN从进行分辨率放大后的所述第一目标人脸图像和进行分辨率放大后的所述第二目标人脸图像中提取第二高频细节信息(一般图像的细节信息分为高频和低频，高频细节信息例如是图像中纹理较多的区域的细节信息)，然后通过级联，FCNN(融合网络)对进行分辨率放大后的所述第一目标人脸图像和进行分辨率放大后的第二目标人脸图像、第二人脸各局部特征的细节信息以及第二高频细节信息进行融合，对融合后的图像、第一人脸各局部特征的细节信息、第一高频细节信息进行如图2中第二级联网络所示的相乘和叠加计算，获取第三目标人脸图像。
在执行完步骤S108后，如果第三目标人脸图像的分辨率满足用户要求，可以不对第三目标人脸图像继续进行处理；如果需要获得更高分辨率的图像，可以利用图2中的幻象增强网络对所述第三目标人脸图像进行如步骤S109-S1012的处理，具体如下：
可以利用2倍的双三次插值方法分别对第三目标人脸图像进行分辨率放大处理，获取第四目标人脸图像；当然，根据实际的应用需要，也可以采用3倍甚至更大倍数的双三次插值方法分别对第三目标人脸图像进行分辨率放大处理，也可以采用其他的内插方法例如最邻近插值、双线性插值或者自适应插值等方法对第三目标人脸图像进行分辨率放大处理。
然后，对所述第四目标人脸图像进行人脸特征点的提取，获取第三人脸特征点；对所述第三人脸特征点进行插值处理，获取第三人脸先验信息；第三人脸先验信息即对所述第三人脸特征点进行插值后获得的人脸各局部特征的掩膜。
例如，利用SRCNN对第四目标人脸图像进行处理，获得输出图像。其中SRCNN处理为端到端的图像处理方法。利用DCPN计算该输出图像的第三人脸特征点，根据该第三人脸特征点计算出第三人脸先验信息，人脸先验信息为人脸的各局部特征(眼睛、鼻子、嘴等局部特征)的掩膜，即为该获得的人脸特征点进行插值得到的人脸各局部特征的掩膜。
该幻象增强网络中还包括HFBCNN。HFBCNN通过使用第三人脸先验信息、和第四目标人脸图像，提取第三人脸各局部特征细节信息(例如眼睛、鼻子和嘴等局部特征的细节信息)。利用“+”合并第三人脸各局部特征细节信息和第四目标人脸图像，获得第五目标人脸图像，该第五目标人脸图像的分辨率高于原始人脸图像。
利用本实施例提供的方法能够将分辨率极低的人脸图像重建为分辨率高的具有很多细节的人脸图像。
如图4所示，本发明实施例一提供了一种提高人脸图像分辨率的装置，所述装置包括：
第一提取模块201，用于针对一图像提取出具有第一分辨率第一原始人脸图像；
第一获取模块202，用于对所述第一原始人脸图像进行分辨率放大处理，获取第一目标人脸图像；
第二提取模块203，用于对所述第一目标人脸图像进行人脸特征点提取处理，获取第一人脸特征点；
第二获取模块204，用于对所述第一人脸特征点进行插值处理，获取第一人脸先验信息；
第三获取模块205，用于对所述第一人脸先验信息和所述第一目标人脸图像进行融合处理，获取具有第二分辨率的第二目标人脸图像，其中，所述第二分辨率高于所述第一分辨率。
其中，第三获取模块205具体可以包括：
第一提取子模块，用于根据所述第一人脸先验信息和所述第一目标人脸图像提取出第一人脸各局部特征细节信息；
第二提取子模块，用于根据所述第一目标人脸图像提取出第一人脸高频细节信息；
第一获取子模块，用于对所述第一人脸各局部特征细节信息、所述第一人脸高频细节信息和所述第一目标人脸图像进行融合，获取第一高频人脸图像；
第一合并子模块，用于将所述第一目标人脸图像和所述第一高频人脸图像合并成所述第二目标人脸图像。
该装置还可以包括第四获取模块、第五获取模块和第六获取模块，如果通过第三获取模块205获取的第二目标人脸图像的分辨率满足用户要求，可以不对第二目标人脸图像继续进行处理；如果需要获得更高分辨率的图像，可以通过第四获取模块、第五获取模块和第六获取模块对所述第二目标人脸图像进行如下处理：
第四获取模块，用于在所述获取具有第二分辨率的第二目标人脸图像之后，分别对所述第一目标人脸图像和所述第二目标人脸图像进行分辨率放大处理，并对进行分辨率放大后的所述第一目标人脸图像和所述第二目标人脸图像进行合并处理，对合并处理后的图像进行人脸特征点的提取处理，获取第二人脸特征点；
第五获取模块，用于对所述第二人脸特征点进行插值处理，获取第二人脸先验信息；
第六获取模块，用于对所述第二人脸先验信息、进行分辨率放大后的所述第一目标人脸图像和进行分辨率放大后的所述第二目标人脸图像进行融合处理，获取具有第三分辨率的第三目标人脸图像，其中，所述第三分辨率高于所述第二分辨率。
其中，第六获取模块具体可以包括：
第三提取子模块，根据所述第二人脸先验信息、进行分辨率放大后的所述第一目标人脸图像和进行分辨率放大后的所述第二目标人脸图像提取出第二人脸各局部特征细节信息；
第四提取子模块，根据进行分辨率放大后的所述第一目标人脸图像和进行分辨率放大后的所述第二目标人脸图像提取出第二人脸高频细节信息；
第二获取子模块，对所述第二人脸各局部特征细节信息、所述第二人脸高频细节信息进行分辨率放大后的所述第一目标人脸图像和进行分辨率放大后的所述第二目标人脸图像进行融合，获取所述第三目标人脸图像。
该装置还可以包括第七至第十获取模块，如果第六获取模块获取的第三目标人脸图像的分辨率满足用户要求，可以不对第三目标人脸图像继续进行处理；如果需要获得更高分辨率的图像，可以通过第七至第十获取模块对所述第三目标人脸图像进行如下处理：
第七获取模块，用于在所述获取具有第三分辨率的第三目标人脸图像之后，对所述第三目标人脸图像进行分辨率放大处理，获取第四目标人脸图像；
第八获取模块，对所述第四目标人脸图像进行人脸特征点的提取处理，获取第三人脸特征点；
第九获取模块，对所述第三人脸特征点进行插值处理，获取第三人脸先验信息；
第十获取模块，基于所述第三人脸先验信息和所述第四目标人脸图像，获取具有第四分辨率的第五目标人脸图像，其中，所述第四分辨率高于所述第三分辨率。
其中，所述第十获取模块可以包括：
第五提取子模块，用于根据所述第三人脸先验信息和所述第四目标人脸图像提取出第三人脸各局部特征细节信息；
第三获取子模块，用于将所述第三人脸各局部特征细节信息和所述第四目标人脸图像合并成所述第五目标人脸图像。
为了更好的理解本发明的上述实施例，对本发明实施例中提供的装置的各模块以及装置的工作原理进行如下具体说明，具体可参见图2，图2中包括第一级联网络、第二级联网络和幻象增强网络，其中“↑”表示对输入图像进行2倍的双三次插值，使得输入图像的分辨率放大，“+”表示将两幅图像合成为一幅图像，即两幅图像中数据点的叠加，“×”表示两幅图像中相似数据点的相乘。
图2中的第一级联网络处理的输入图像为通过第一提取模块获取的第一原始人脸图像；对于第一提取模块，具体地，获得一需要处理的图像，第一提取模块对该图像进行检测，提取出一个人脸图像，计算该人脸图像中的特征点，提取出具有第一分辨率的即需要进行超分辨率重建的第一原始人脸图像，其中，第一分辨率为低分辨率。
前述第一至第三获取模块和第二提取模块具体可以通过图2中的第一级联网络实现，具体地：
第一获取模块可以是2倍的双三次插值模块，可以利用2倍的双三次插值方法对第一原始人脸图像进行分辨率放大处理，获取第一目标人脸图像。当然，根据实际的应用需要，也可以采用3倍甚至更大倍数的双三次插值方法对第一原始人脸图像进行分辨率放大处理，也可以采用其他的内插方法例如最邻近插值、双线性插值或者自适应插值等方法对第一原始人脸图像进行分辨率放大处理。
在获得第一目标人脸图像后，第二提取模块对所述第一目标人脸图像进行人脸特征点提取处理，获取第一人脸特征点；第二获取模块对所述第一人脸特征点进行插值处理，获取第一人脸先验信息；具体地，第一提取模块对所述第一目标人脸图像进行人脸特征点提取处理，提取到第一人脸特征点，第二获取模块对所述第一人脸特征点进行插值后获取第一人脸先验信息，其中，第一人脸先验信息即对所述第一人脸特征点进行插值后获得的人脸各局部特征的掩膜。
例如，第二提取模块为SRCNN和DPCN，利用SRCNN对第一目标人脸图像进行处理。其中SRCNN处理为端到端的图像处理方法。利用SRCNN对第一目标人脸图像进行处理后，再利用2倍的双三次插值方法对处理后的图像进行分辨率放大后再利用SRCNN进行处理，获得输出的图像。利用DCPN计算该输出的图像的人脸的特征点，如图3A所示，即为通过对第一目标人脸图像进行处理获得的第一人脸特征点。第二获取模块根据该第一人脸特征点计算出第一人脸先验信息，第一人脸先验信息如图3B所示，人脸先验信息为人脸的各局部特征(眼睛、鼻子、嘴等局部特征)的掩膜，即为该获得的人脸特征点进行插值得到的人脸各局部特征的掩膜。
具体地，对于第三获取模块，其包括如图2中第一级联网络中的HFBCNN(高频分支网络)，CBCNN(基础网络)和FCNN(融合网络)以及两个“×”处理子模块和两个“+”处理子模块。HFBCNN通过使用第一人脸先验信息和第一目标人脸图像主要提取第一人脸各局部特征细节信息(例如眼睛、鼻子和嘴等局部特征的细节信息)，基础网络从第一目标人脸图像中提取人脸高频细节信息(一般图像的细节信息分为高频和低频，高频细节信息例如是图像中纹理较多的区域的细节信息)，然后通过级联，FCNN(融合网络)对第一目标人脸图像、第一人脸各局部特征的细节信息以及第一高频细节信息进行融合，对融合后的图像、第一人脸各局部特征的细节信息、第一高频细节信息进行如图2所示的第一级联网络中的相乘和叠加计算，获取第一高频人脸图像，然后利用“+”对第一高频人脸图像和第一目标人脸图像进行合并，获得第二目标人脸图像。
前述第四至第六获取模块可以通过图2中的第二级联网络实现，如果通过第一级联网络获得的第二目标人脸图像的分辨率满足用户要求，可以不对第二目标人脸图像继续进行处理；如果需要获得更高分辨率的图像，可以利用图2中的第二级联模块对所述第二目标人脸图像进行如下处理，具体如下：
可以利用2倍的双三次插值方法分别对第一目标人脸图像和第二目标人脸图像进行分辨率放大处理；当然，根据实际的应用需要，也可以采用3倍甚至更大倍数的双三次插值方法分别对第一目标人脸图像和第二目标人脸图像进行分辨率放大处理，也可以采用其他的内插方法例如最邻近插值、双线性插值或者自适应插值等方法对第一目标人脸图像和第二目标人脸图像进行分辨率放大处理。
然后，对进行分辨率放大后的所述第一目标人脸图像和所述第二目标人脸图像进行合并处理，对合并处理后的图像进行人脸特征点的提取处理，获取第二人脸特征点；对所述第二人脸特征点进行插值处理，获取第二人脸先验信息，其中，第二人脸先验信息即对所述第二人脸特征点进行插值后获得的人脸各局部特征的掩膜。
例如，利用SRCNN对进行分辨率放大后的所述第一目标人脸图像和所述第二目标人脸图像进行合并处理，获得合并处理后的图像。其中SRCNN处理为端到端的图像处理方法。利用DCPN计算该合并处理后的图像的第二人脸特征点，根据该第二人脸特征点计算出第二人脸先验信息，人脸先验信息为人脸的各局部特征(眼睛、鼻子、嘴等局部特征)的掩膜，即为该获得的人脸特征点进行插值得到的人脸各局部特征的掩膜。其中，第二人脸特征点与第二人脸先验信息的图与图3A和图3B中所示的人脸特征点和人脸先验信息类似，在此不再以图示方式示出。
与第一级联网络相同，第二级联网络还包括HFBCNN，CBCNN和FCNN。HFBCNN通过使用第二人脸先验信息、进行分辨率放大后的所述第一目标人脸图像和进行分辨率放大后的所述第二目标人脸图像，提取第二人脸各局部特征的细节信息(例如眼睛、鼻子和嘴等局部特征的细节信息)。CBCNN从进行分辨率放大后的所述第一目标人脸图像和进行分辨率放大后的所述第二目标人脸图像中提取第二高频细节信息(一般图像的细节信息分为高频和低频，高频细节信息例如是图像中纹理较多的区域的细节信息)，然后通过级联，FCNN(融合网络)对进行分辨率放大后的所述第一目标人脸图像和进行分辨率放大后的第二目标人脸图像、第二人脸各局部特征的细节信息以及第二高频细节信息进行融合，对融合后的图像、第一人脸各局部特征的细节信息、第一高频细节信息进行如图2中第二级联网络所示的相乘和叠加计算，获取第三目标人脸图像。
前述第七至第十获取模块可以通过图2中的幻象增强网络实现，如果第三目标人脸图像的分辨率满足用户要求，可以不对第三目标人脸图像继续进行处理；如果需要获得更高分辨率的图像，可以利用图2中的幻象增强网络对所述第三目标人脸图像进行如下处理，具体如下：
可以利用2倍的双三次插值方法分别对第三目标人脸图像进行分辨率放大处理，获取第四目标人脸图像；当然，根据实际的应用需要，也可以采用3倍甚至更大倍数的双三次插值方法分别对第三目标人脸图像进行分辨率放大处理，也可以采用其他的内插方法例如最邻近插值、双线性插值或者自适应插值等方法对第三目标人脸图像进行分辨率放大处理。
然后，对所述第四目标人脸图像进行人脸特征点的提取，获取第三人脸特征点；对所述第三人脸特征点进行插值处理，获取第三人脸先验信息；第三人脸先验信息即对所述第三人脸特征点进行插值后获得的人脸各局部特征的掩膜。
例如，利用SRCNN对第四目标人脸图像进行处理，获得输出图像。其中SRCNN处理为端到端的图像处理方法。利用DCPN计算该输出图像的第三人脸特征点，根据该第三人脸特征点计算出第三人脸先验信息，人脸先验信息为人脸的各局部特征(眼睛、鼻子、嘴等局部特征)的掩膜，即为该获得的人脸特征点进行插值得到的人脸各局部特征的掩膜。
该幻象增强网络中还包括HFBCNN。HFBCNN通过使用第三人脸先验信息、和第四目标人脸图像，提取第三人脸各局部特征细节信息(例如眼睛、鼻子和嘴等局部特征的细节信息)。利用“+”合并第三人脸各局部特征细节信息和第四目标人脸图像，获得第五目标人脸图像，该第五目标人脸图像的分辨率高于原始人脸图像。
利用本实施例提供的方法能够将分辨率极低的人脸图像重建为分辨率高的具有很多细节的人脸图像。
对于本发明实施例一和实施例二中提供的提高人脸图像分辨率的方法和装置，如图2所示，可以根据实际工程应用中对分辨率的要求，可以利用第一级联网络或第二级联网络对原始人脸图像进行处理，或者利用第一级联网络和幻象增强网络对原始人脸图像依次进行处理，或者利用第二级联网络和幻象增强网络对原始人脸图像依次进行处理，或者利用第一级联网络、第二级联网络和幻象增强网络对原始人脸图像依次进行处理。或者，若对分辨率要求很高，可以将第一级联网络、第二级联网络和幻象增强网络中的一个或多个进行重复的级联，对原始人脸图像进行处理，例如将采用一个第一级联网络、两个第二级联网络、一个幻想增强网络级联对原始人脸图像进行处理，其中第一级联网络、第二级联网络和幻象增强网络的数量以及连接关系可以根据实际应用中对图像的分辨率要求来确定。
本发明实施例三提供了一种计算机装置，所述装置包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如实施例一所述方法的步骤。
本发明实施例四提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如实施例一所述方法的步骤。
上述本发明实施例中的技术方案，至少具有如下的技术效果或优点：
本发明实施例提供的技术方案充分考虑了人脸的先验信息，对于图像质量很差的低分辨率的人脸图像进行分辨率重建，获得的重建的人脸图像具有更多的细节，能获得较好的重建效果。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (14)

1.一种提高人脸图像分辨率的方法，其特征在于，所述方法包括：
针对一图像提取出具有第一分辨率第一原始人脸图像；
对所述第一原始人脸图像进行分辨率放大处理，获取第一目标人脸图像；
对所述第一目标人脸图像进行人脸特征点提取处理，获取第一人脸特征点；
对所述第一人脸特征点进行插值处理，获取第一人脸先验信息；
对所述第一人脸先验信息和所述第一目标人脸图像进行融合处理，获取具有第二分辨率的第二目标人脸图像，其中，所述第二分辨率高于所述第一分辨率。
2.如权利要求1所述的方法，其特征在于，对所述第一人脸先验信息和所述第一目标人脸图像进行融合处理，获取具有第二分辨率的第二目标人脸图像，包括：
根据所述第一人脸先验信息和所述第一目标人脸图像提取出第一人脸各局部特征细节信息；
根据所述第一目标人脸图像提取出第一人脸高频细节信息；
对所述第一人脸各局部特征细节信息、所述第一人脸高频细节信息和所述第一目标人脸图像进行融合，获取第一高频人脸图像；
将所述第一目标人脸图像和所述第一高频人脸图像合并成所述第二目标人脸图像。
3.如权利要求1或2所述的方法，其特征在于，在所述获取具有第二分辨率的第二目标人脸图像之后，所述方法还包括：
分别对所述第一目标人脸图像和所述第二目标人脸图像进行分辨率放大处理，并对进行分辨率放大后的所述第一目标人脸图像和所述第二目标人脸图像进行合并处理，对合并处理后的图像进行人脸特征点的提取处理，获取第二人脸特征点；
对所述第二人脸特征点进行插值处理，获取第二人脸先验信息；
对所述第二人脸先验信息、进行分辨率放大后的所述第一目标人脸图像和进行分辨率放大后的所述第二目标人脸图像进行融合处理，获取具有第三分辨率的第三目标人脸图像，其中，所述第三分辨率高于所述第二分辨率。
4.如权利要求3所述的方法，其特征在于，对所述第二人脸先验信息、进行分辨率放大后的所述第一目标人脸图像和进行分辨率放大后的所述第二目标人脸图像进行融合处理，获取具有第三分辨率的第三目标人脸图像，包括：
根据所述第二人脸先验信息、进行分辨率放大后的所述第一目标人脸图像和进行分辨率放大后的所述第二目标人脸图像提取出第二人脸各局部特征细节信息；
根据进行分辨率放大后的所述第一目标人脸图像和进行分辨率放大后的所述第二目标人脸图像提取出第二人脸高频细节信息；
对所述第二人脸各局部特征细节信息、所述第二人脸高频细节信息进行分辨率放大后的所述第一目标人脸图像和进行分辨率放大后的所述第二目标人脸图像进行融合，获得所述第三目标人脸图像。
5.如权利要求3所述的方法，其特征在于，在所述获取具有第三分辨率的第三目标人脸图像之后，所述方法还包括：
对所述第三目标人脸图像进行分辨率放大处理，获取第四目标人脸图像；
对所述第四目标人脸图像进行人脸特征点的提取处理，获取第三人脸特征点；
对所述第三人脸特征点进行插值处理，获取第三人脸先验信息；
基于所述第三人脸先验信息和所述第四目标人脸图像，获取具有第四分辨率的第五目标人脸图像，其中，所述第四分辨率高于所述第三分辨率。
6.如权利要求5所述的方法，其特征在于，所述基于所述第三人脸先验信息和所述第四目标人脸图像，获取具有第四分辨率的第五目标人脸图像，包括：
根据所述第三人脸先验信息和所述第四目标人脸图像提取出第三人脸各局部特征细节信息；
将所述第三人脸各局部特征细节信息和所述第四目标人脸图像合并成所述第五目标人脸图像。
7.一种提高人脸图像分辨率的装置，其特征在于，所述装置包括：
第一提取模块，用于针对一图像提取出具有第一分辨率第一原始人脸图像；
第一获取模块，用于对所述第一原始人脸图像进行分辨率放大处理，获取第一目标人脸图像；
第二提取模块，用于对所述第一目标人脸图像进行人脸特征点提取处理，获取第一人脸特征点；
第二获取模块，用于对所述第一人脸特征点进行插值处理，获取第一人脸先验信息；
第三获取模块，用于对所述第一人脸先验信息和所述第一目标人脸图像进行融合处理，获取具有第二分辨率的第二目标人脸图像，其中，所述第二分辨率高于所述第一分辨率。
8.如权利要求7所述的装置，其特征在于，所述第三获取模块包括：
第一提取子模块，用于根据所述第一人脸先验信息和所述第一目标人脸图像提取出第一人脸各局部特征细节信息；
第二提取子模块，用于根据所述第一目标人脸图像提取出第一人脸高频细节信息；
第一获取子模块，用于对所述第一人脸各局部特征细节信息、所述第一人脸高频细节信息和所述第一目标人脸图像进行融合，获取第一高频人脸图像；
第一合并子模块，用于将所述第一目标人脸图像和所述第一高频人脸图像合并成所述第二目标人脸图像。
9.如权利要求7或8所述的装置，其特征在于，所述装置还包括：
第四获取模块，用于在所述获取具有第二分辨率的第二目标人脸图像之后，分别对所述第一目标人脸图像和所述第二目标人脸图像进行分辨率放大处理，并对进行分辨率放大后的所述第一目标人脸图像和所述第二目标人脸图像进行合并处理，对合并处理后的图像进行人脸特征点的提取处理，获取第二人脸特征点；
第五获取模块，用于对所述第二人脸特征点进行插值处理，获取第二人脸先验信息；
第六获取模块，用于对所述第二人脸先验信息、进行分辨率放大后的所述第一目标人脸图像和进行分辨率放大后的所述第二目标人脸图像进行融合处理，获取具有第三分辨率的第三目标人脸图像，其中，所述第三分辨率高于所述第二分辨率。
10.如权利要求9所述的装置，其特征在于，所述第六获取模块包括：
第三提取子模块，根据所述第二人脸先验信息、进行分辨率放大后的所述第一目标人脸图像和进行分辨率放大后的所述第二目标人脸图像提取出第二人脸各局部特征细节信息；
第四提取子模块，根据进行分辨率放大后的所述第一目标人脸图像和进行分辨率放大后的所述第二目标人脸图像提取出第二人脸高频细节信息；
第二获取子模块，对所述第二人脸各局部特征细节信息、所述第二人脸高频细节信息进行分辨率放大后的所述第一目标人脸图像和进行分辨率放大后的所述第二目标人脸图像进行融合，获取所述第三目标人脸图像。
11.如权利要求9所述的装置，其特征在于，所述装置还包括：
第七获取模块，用于在所述获取具有第三分辨率的第三目标人脸图像之后，对所述第三目标人脸图像进行分辨率放大处理，获取第四目标人脸图像；
第八获取模块，对所述第四目标人脸图像进行人脸特征点的提取处理，获取第三人脸特征点；
第九获取模块，对所述第三人脸特征点进行插值处理，获取第三人脸先验信息；
第十获取模块，基于所述第三人脸先验信息和所述第四目标人脸图像，获取具有第四分辨率的第五目标人脸图像，其中，所述第四分辨率高于所述第三分辨率。
12.如权利要求11所述的装置，其特征在于，所述第十获取模块包括：
第五提取子模块，用于根据所述第三人脸先验信息和所述第四目标人脸图像提取出第三人脸各局部特征细节信息；
第三获取子模块，用于将所述第三人脸各局部特征细节信息和所述第四目标人脸图像合并成所述第五目标人脸图像。
13.一种计算机装置，其特征在于，所述装置包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如权利要求1-6中任一项所述方法的步骤。
14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-6中任一项所述方法的步骤。
CN201711228646.5A 2017-11-29 2017-11-29 一种提高人脸图像分辨率的方法和装置 Active CN107895345B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201711228646.5A CN107895345B (zh) 2017-11-29 2017-11-29 一种提高人脸图像分辨率的方法和装置
PCT/CN2018/118074 WO2019105399A1 (en) 2017-11-29 2018-11-29 Systems and methods for super-resolusion image reconstruction
EP18884331.2A EP3701491B1 (en) 2017-11-29 2018-11-29 Systems and methods for super-resolusion image reconstruction
US16/886,808 US11436702B2 (en) 2017-11-29 2020-05-29 Systems and methods for super-resolusion image reconstruction

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711228646.5A CN107895345B (zh) 2017-11-29 2017-11-29 一种提高人脸图像分辨率的方法和装置

Publications (2)

Publication Number Publication Date
CN107895345A true CN107895345A (zh) 2018-04-10
CN107895345B CN107895345B (zh) 2020-05-26

Family

ID=61806732

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711228646.5A Active CN107895345B (zh) 2017-11-29 2017-11-29 一种提高人脸图像分辨率的方法和装置

Country Status (4)

Country Link
US (1) US11436702B2 (zh)
EP (1) EP3701491B1 (zh)
CN (1) CN107895345B (zh)
WO (1) WO2019105399A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109116433A (zh) * 2018-09-03 2019-01-01 深圳市华讯方舟太赫兹科技有限公司 一种安检设备及其成像方法
CN109409435A (zh) * 2018-11-01 2019-03-01 上海大学 一种基于卷积神经网络的深度感知显著性检测方法
WO2019105399A1 (en) * 2017-11-29 2019-06-06 Zhejiang Dahua Technology Co., Ltd. Systems and methods for super-resolusion image reconstruction
CN110876013A (zh) * 2018-08-31 2020-03-10 北京小米移动软件有限公司 确定图像分辨率的方法及装置、电子设备及存储介质
CN111222446A (zh) * 2019-12-31 2020-06-02 Oppo广东移动通信有限公司 人脸识别方法、人脸识别装置及移动终端
CN111340708A (zh) * 2020-03-02 2020-06-26 北京理工大学 一种根据先验信息快速生成高分辨率完整人脸图像的方法
CN113099161A (zh) * 2021-04-13 2021-07-09 北京中科深智科技有限公司 一种基于深度神经网络的会议视频重建方法和系统

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113994366A (zh) * 2019-05-03 2022-01-28 华为技术有限公司 用于视频超分辨率的多阶段多参考自举
CN112233021B (zh) * 2020-11-20 2022-05-31 福建师范大学 基于降质分类和定向数据增广的鲁棒人脸超分辨处理方法
CN112784857B (zh) * 2021-01-29 2022-11-04 北京三快在线科技有限公司 一种模型训练以及图像处理方法及装置
US11714881B2 (en) 2021-05-27 2023-08-01 Microsoft Technology Licensing, Llc Image processing for stream of input images with enforced identity penalty
CN114037624B (zh) * 2021-10-27 2023-05-23 成都市第二人民医院 一种用于糖尿病肾脏病变分类的图像增强方法及设备
KR102638382B1 (ko) * 2023-07-04 2024-02-20 주식회사 포딕스시스템 관심영역 초해상화를 이용한 객체 식별 시스템 및 방법
CN117726656B (zh) * 2024-02-08 2024-06-04 开拓导航控制技术股份有限公司 基于超分辨率图像的目标跟踪方法、装置、系统和介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005071059A (ja) * 2003-08-22 2005-03-17 Konica Minolta Photo Imaging Inc 撮影画像登録システム及び撮影画像登録方法
US7466866B2 (en) * 2003-06-26 2008-12-16 Fotonation Vision Limited Digital image adjustable compression and resolution using face detection information
CN102354397A (zh) * 2011-09-19 2012-02-15 大连理工大学 基于面部特征器官相似性的人脸图像超分辨率重建方法
CN103489174A (zh) * 2013-10-08 2014-01-01 武汉大学 一种基于残差保持的人脸超分辨率方法
KR101382892B1 (ko) * 2012-10-08 2014-04-08 재단법인대구경북과학기술원 저해상도 영상 얼굴 인식 방법 및 저해상도 영상 얼굴 인식 장치
CN106599883A (zh) * 2017-03-08 2017-04-26 王华锋 一种基于cnn的多层次图像语义的人脸识别方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8230359B2 (en) * 2003-02-25 2012-07-24 Microsoft Corporation System and method that facilitates computer desktop use via scaling of displayed objects with shifts to the periphery
US8730047B2 (en) * 2004-05-24 2014-05-20 Trutouch Technologies, Inc. System for noninvasive determination of analytes in tissue
JP4944639B2 (ja) * 2007-03-01 2012-06-06 富士フイルム株式会社 画像処理装置、画像処理方法及び撮影装置
US11074495B2 (en) * 2013-02-28 2021-07-27 Z Advanced Computing, Inc. (Zac) System and method for extremely efficient image and pattern recognition and artificial intelligence platform
CN103020936B (zh) * 2012-12-12 2016-05-04 湖北微驾技术有限公司 一种人脸图像超分辨率重构方法
CN106056562B (zh) * 2016-05-19 2019-05-28 京东方科技集团股份有限公司 一种人脸图像处理方法、装置及电子设备
US20190043125A1 (en) * 2017-08-02 2019-02-07 Ronnie D. Cropper Credit report dispute automation
WO2019071618A1 (zh) * 2017-10-09 2019-04-18 华为技术有限公司 一种图像处理方法及设备
CN107895345B (zh) * 2017-11-29 2020-05-26 浙江大华技术股份有限公司 一种提高人脸图像分辨率的方法和装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7466866B2 (en) * 2003-06-26 2008-12-16 Fotonation Vision Limited Digital image adjustable compression and resolution using face detection information
JP2005071059A (ja) * 2003-08-22 2005-03-17 Konica Minolta Photo Imaging Inc 撮影画像登録システム及び撮影画像登録方法
CN102354397A (zh) * 2011-09-19 2012-02-15 大连理工大学 基于面部特征器官相似性的人脸图像超分辨率重建方法
KR101382892B1 (ko) * 2012-10-08 2014-04-08 재단법인대구경북과학기술원 저해상도 영상 얼굴 인식 방법 및 저해상도 영상 얼굴 인식 장치
CN103489174A (zh) * 2013-10-08 2014-01-01 武汉大学 一种基于残差保持的人脸超分辨率方法
CN106599883A (zh) * 2017-03-08 2017-04-26 王华锋 一种基于cnn的多层次图像语义的人脸识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CHAO DONG等: "Image Super-Resolution Using Deep Convolutional Networks", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 *
殷若宣: "基于学习的人脸超分辨率重建技术研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019105399A1 (en) * 2017-11-29 2019-06-06 Zhejiang Dahua Technology Co., Ltd. Systems and methods for super-resolusion image reconstruction
CN110876013A (zh) * 2018-08-31 2020-03-10 北京小米移动软件有限公司 确定图像分辨率的方法及装置、电子设备及存储介质
CN110876013B (zh) * 2018-08-31 2021-06-04 北京小米移动软件有限公司 确定图像分辨率的方法及装置、电子设备及存储介质
CN109116433A (zh) * 2018-09-03 2019-01-01 深圳市华讯方舟太赫兹科技有限公司 一种安检设备及其成像方法
CN109116433B (zh) * 2018-09-03 2020-02-04 深圳市华讯方舟太赫兹科技有限公司 一种安检设备及其成像方法
CN109409435A (zh) * 2018-11-01 2019-03-01 上海大学 一种基于卷积神经网络的深度感知显著性检测方法
CN111222446A (zh) * 2019-12-31 2020-06-02 Oppo广东移动通信有限公司 人脸识别方法、人脸识别装置及移动终端
CN111340708A (zh) * 2020-03-02 2020-06-26 北京理工大学 一种根据先验信息快速生成高分辨率完整人脸图像的方法
CN113099161A (zh) * 2021-04-13 2021-07-09 北京中科深智科技有限公司 一种基于深度神经网络的会议视频重建方法和系统

Also Published As

Publication number Publication date
US20200327643A1 (en) 2020-10-15
WO2019105399A1 (en) 2019-06-06
EP3701491A4 (en) 2020-12-23
CN107895345B (zh) 2020-05-26
EP3701491B1 (en) 2023-12-13
US11436702B2 (en) 2022-09-06
EP3701491A1 (en) 2020-09-02

Similar Documents

Publication Publication Date Title
CN107895345A (zh) 一种提高人脸图像分辨率的方法和装置
Jo et al. Deep video super-resolution network using dynamic upsampling filters without explicit motion compensation
Zhao et al. Simultaneous color-depth super-resolution with conditional generative adversarial networks
CN107958444A (zh) 一种基于深度学习的人脸超分辨率重建方法
JP5645842B2 (ja) スケールスペースを使用した画像処理装置及び方法
CN106339998B (zh) 基于对比度金字塔变换的多聚焦图像融合方法
CN103034973B (zh) 基于双三次插值的自适应图像缩放方法
CN110033410A (zh) 图像重建模型训练方法、图像超分辨率重建方法及装置
CN109389552A (zh) 一种基于上下文相关多任务深度学习的图像超分辨算法
CN110827200A (zh) 一种图像超分重建方法、图像超分重建装置及移动终端
Zhou et al. High-frequency details enhancing DenseNet for super-resolution
Kudo et al. Virtual thin slice: 3D conditional GAN-based super-resolution for CT slice interval
KR101028628B1 (ko) 영상 텍스쳐 필터링 방법, 이를 수행하는 프로그램을 기록한 기록매체 및 이를 수행하는 장치
CN112419150B (zh) 一种基于双边上采样网络的任意倍数图像超分辨率重建方法
Chen et al. Saliency-directed image interpolation using particle swarm optimization
CN108280804A (zh) 一种多帧图像超分辨率重建方法
Liu et al. Learning noise-decoupled affine models for extreme low-light image enhancement
CN103700071A (zh) 一种深度图上采样边缘增强方法
CN105469358B (zh) 一种图像处理方法
Wang et al. Brain MR image super-resolution using 3D feature attention network
Chen et al. Saliency-directed color image interpolation using artificial neural network and particle swarm optimization
Nugroho et al. Improvement Of Image Quality Using Convolutional Neural Networks Method
CN111428809B (zh) 基于空间信息融合与卷积神经网络的人群计数方法
CN108647605A (zh) 一种结合全局颜色与局部结构特征的人眼凝视点提取方法
Zhang A selection of image processing techniques: from fundamentals to research front

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant