CN115439329A - 人脸图像超分辨率重建方法及计算机可读取的存储介质 - Google Patents

人脸图像超分辨率重建方法及计算机可读取的存储介质 Download PDF

Info

Publication number
CN115439329A
CN115439329A CN202211401689.XA CN202211401689A CN115439329A CN 115439329 A CN115439329 A CN 115439329A CN 202211401689 A CN202211401689 A CN 202211401689A CN 115439329 A CN115439329 A CN 115439329A
Authority
CN
China
Prior art keywords
feature map
face image
feature
dual
resolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211401689.XA
Other languages
English (en)
Other versions
CN115439329B (zh
Inventor
朱文忠
谢康康
谢林森
肖顺兴
车璇
李韬
杜洪文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University of Science and Engineering
Original Assignee
Sichuan University of Science and Engineering
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University of Science and Engineering filed Critical Sichuan University of Science and Engineering
Priority to CN202211401689.XA priority Critical patent/CN115439329B/zh
Publication of CN115439329A publication Critical patent/CN115439329A/zh
Application granted granted Critical
Publication of CN115439329B publication Critical patent/CN115439329B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种人脸图像超分辨率重建方法及计算机可读取的存储介质，属于人脸图像处理技术领域。重建方法包括获取低分辨率人脸图像和训练完成的深度学习网络，将低分辨率人脸图像输入深度学习网络，低分辨率人脸图像信息沿着网络的深度方向传递，将第一精制特征图与第二精制特征图融合，图像重置机构以复合特征图作为输入，重建并输出高分辨率人脸图像等步骤。本发明的相邻两个双通道特征提取机构之间通过两个信道传递信息，不同种类的特征信息分布更加分散，信息过滤效果更好，测试表明，本发明提供的人脸图像重建方法性能先进。

Description

人脸图像超分辨率重建方法及计算机可读取的存储介质
技术领域
本发明属于人脸图像处理技术领域，具体地说，涉及一种人脸图像超分辨率重建方法及计算机可读取的存储介质。
背景技术
在实际的成像环境中，受多种因素影响，拍摄获得的图像可能存在分辨率较低的情况。为了解决该问题，一个方向是从硬件角度考虑，采用性能更好的硬件设备来提高成像效果，但是存在成本高和难以大规模普及应用等缺陷。相比之下，利用算法对低分辨率图像进行增强来提高图像分辨率是一个相对更实用的途径，由此产生了单图像超分辨率重建(Single image super-resolution, SISR)技术。到目前为止，相关研究人员已经从多种角度提出了大量的图像超分辨率重建算法，但是这些算法都没有针对低分辨率人脸图像的特点进行优化，直接将其应用于人脸图像分辨率提升任务时，重建效果有待进一步提高。
发明内容
针对上述现象，本发明提供一种人脸图像超分辨率重建方法及计算机可读取的存储介质，以针对性地提高对低分辨率人脸图像的超分辨率重建效果。
为了达到上述目的，本发明采用的解决方案是：一种人脸图像超分辨率重建方法，包括以下步骤：
S100、获取低分辨率人脸图像和训练完成的深度学习网络；所述深度学习网络中设有双通道特征提取机构和图像重置机构，多个所述双通道特征提取机构在所述深度学习网络中串联设置，所述双通道特征提取机构用于提取所述低分辨率人脸图像的特征信息；
S200、将所述低分辨率人脸图像输入所述深度学习网络，所述低分辨率人脸图像信息沿着网络的深度方向传递，直到最后一个所述双通道特征提取机构生成并输出第一精制特征图和第二精制特征图；
S300、将所述第一精制特征图与所述第二精制特征图融合，生成复合特征图；
S400、所述图像重置机构以所述复合特征图作为输入，重建并输出高分辨率人脸图像；高分辨率人脸图像的分辨率大于低分辨率人脸图像的分辨率。
其中，所述双通道特征提取机构提取特征的操作过程表示为如下数学模型：
Figure 691330DEST_PATH_IMAGE001
其中，
Figure 874050DEST_PATH_IMAGE002
表示从所述双通道特征提取机构的第一入口输入其中的特征图，
Figure 450525DEST_PATH_IMAGE003
表示从所述双通道特征提取机构的第二入口输入其中的特征图，
Figure 580155DEST_PATH_IMAGE004
、
Figure 660106DEST_PATH_IMAGE005
、
Figure 279306DEST_PATH_IMAGE006
、
Figure 77498DEST_PATH_IMAGE007
和
Figure 807557DEST_PATH_IMAGE008
均表示步长为1的卷积运算，
Figure 7594DEST_PATH_IMAGE009
、
Figure 958DEST_PATH_IMAGE010
、
Figure 286445DEST_PATH_IMAGE011
、
Figure 820195DEST_PATH_IMAGE012
和
Figure 78001DEST_PATH_IMAGE013
均表示第一型激活函数，
Figure 39004DEST_PATH_IMAGE014
表示第二型激活函数，
Figure 811788DEST_PATH_IMAGE015
表示元素对应乘积运算，
Figure 883649DEST_PATH_IMAGE016
表示将其中的特征图拼接起来，
Figure 261541DEST_PATH_IMAGE017
表示双头注意力单元，
Figure 393445DEST_PATH_IMAGE018
表示所述双头注意力单元输出的双头注意力图，
Figure 653525DEST_PATH_IMAGE019
表示
Figure 466760DEST_PATH_IMAGE009
函数激活后生成的特征图，
Figure 495896DEST_PATH_IMAGE020
表示
Figure 801631DEST_PATH_IMAGE010
函数激活后生成的特征图，
Figure 752269DEST_PATH_IMAGE021
表示
Figure 165933DEST_PATH_IMAGE011
函数激活后生成的特征图，
Figure 315155DEST_PATH_IMAGE022
表示
Figure 992124DEST_PATH_IMAGE012
函数激活后生成的特征图，
Figure 961217DEST_PATH_IMAGE023
表示特征图
Figure 178571DEST_PATH_IMAGE019
、特征图
Figure 385562DEST_PATH_IMAGE020
和特征图
Figure 764591DEST_PATH_IMAGE024
相加后生成的特征图，
Figure 486559DEST_PATH_IMAGE025
表示特征图
Figure 445288DEST_PATH_IMAGE019
、特征图
Figure 303522DEST_PATH_IMAGE020
和特征图
Figure 384611DEST_PATH_IMAGE024
做元素对应乘积后生成的特征图，
Figure 531558DEST_PATH_IMAGE026
表示
Figure 825136DEST_PATH_IMAGE013
函数激活后生成的特征图，
Figure 803457DEST_PATH_IMAGE027
表示所述双头注意力图与特征图
Figure 993130DEST_PATH_IMAGE022
做元素对应乘积后生成的特征图，
Figure 424111DEST_PATH_IMAGE028
表示从所述双通道特征提取机构的第一出口输出的特征图，
Figure 786959DEST_PATH_IMAGE029
表示从所述双通道特征提取机构的第二出口输出的特征图。
进一步地，
Figure 557469DEST_PATH_IMAGE004
、
Figure 714781DEST_PATH_IMAGE007
和
Figure 898638DEST_PATH_IMAGE008
的卷积核尺寸均为1*1，
Figure 737281DEST_PATH_IMAGE030
的卷积核尺寸为3*3，
Figure 424614DEST_PATH_IMAGE006
的卷积核尺寸为5*5。
进一步地，所述第一型激活函数为ReLU函数。
进一步地，所述第二型激活函数为Tanh函数。
进一步地，所述双头注意力单元生成双头注意力图的过程表示为如下数学模型：
Figure 38914DEST_PATH_IMAGE031
其中，特征图
Figure 178908DEST_PATH_IMAGE019
、
Figure 86822DEST_PATH_IMAGE020
、
Figure 628661DEST_PATH_IMAGE024
和
Figure 393355DEST_PATH_IMAGE026
共同作为所述双头注意力单元的输入，
Figure 223908DEST_PATH_IMAGE018
表示所述双头注意力单元输出的双头注意力图，
Figure 201091DEST_PATH_IMAGE016
表示对特征图做拼接操作，
Figure 128596DEST_PATH_IMAGE032
表示对特征图在通道方向做第一全局池化操作，
Figure 798612DEST_PATH_IMAGE033
表示对特征图在空间方向做第二全局池化操作，
Figure 116460DEST_PATH_IMAGE034
表示全连接层，
Figure 162914DEST_PATH_IMAGE035
和
Figure 679346DEST_PATH_IMAGE036
均表示第三型激活函数，
Figure 723525DEST_PATH_IMAGE015
表示元素对应乘积运算，
Figure 590987DEST_PATH_IMAGE037
表示分别对特征图
Figure 175552DEST_PATH_IMAGE019
、特征图
Figure 749753DEST_PATH_IMAGE020
、特征图
Figure 761571DEST_PATH_IMAGE021
在通道方向做第一全局池化操作并拼接后生成的特征图，
Figure 850750DEST_PATH_IMAGE038
表示函数
Figure 442268DEST_PATH_IMAGE039
激活后生成的特征图。
进一步地，所述第一全局池化操作为全局方差池化操作，所述第二全局池化操作为全局最大池化操作。
进一步地，所述第三型激活函数为sigmoid函数。
本发明还提供了一种计算机可读取的存储介质，所述计算机可读取的存储介质上存储有计算机程序，所述计算机程序被处理器执行时，实现如上所述的人脸图像超分辨率重建方法。
本发明的有益效果是：
（1）现有图像超分辨率重建网络中，不同的特征提取模块之间都是通过单一的通道进行信息传递，多种特征信息（包括不同频率的有用信息、无效信息和干扰信息）掺杂在一起，网络对信息的过滤能力很有限，同时也影响了对有效特征的学习和提取效果，本发明的相邻两个双通道特征提取机构之间通过两个信道传递信息，不同种类的特征信息分布更加分散，信息过滤效果更好，反过来也促进了网络对有效特征的学习效果，这点对于提升人脸图像超分辨率重建效果尤其重要，因为在人脸图像中，分为人脸区域和背景区域，如果不能很好地对信息进行过滤分散，背景区域的特征信息和人脸区域的特征信息会互相干扰；
（2）在双通道特征提取机构内部同样采用了多通道的结构设计，多个卷积操作层（卷积核尺寸分别为1*1、3*3和5*5）并行设置，这样不仅能够充分提取特征图中的多种信息，而且提取后获得的信息分散在特征图
Figure 667713DEST_PATH_IMAGE019
、
Figure 116012DEST_PATH_IMAGE020
和
Figure 692487DEST_PATH_IMAGE021
中，使得特征图
Figure 822117DEST_PATH_IMAGE019
、
Figure 904998DEST_PATH_IMAGE020
、
Figure 789778DEST_PATH_IMAGE021
与特征图
Figure 791232DEST_PATH_IMAGE003
融合后生成特征图
Figure 255711DEST_PATH_IMAGE026
过程中，对特征信息同样具有很好的选择性；
（3）发明人根据自己长期的工作经验，设计了本发明的双头注意力单元内部结构，结合特征图
Figure 721327DEST_PATH_IMAGE019
、
Figure 714691DEST_PATH_IMAGE020
、
Figure 734600DEST_PATH_IMAGE021
和
Figure 533929DEST_PATH_IMAGE026
的特点，采用了全局最大池化操作和全局方差池化操作来生成双头注意力图，这样在网络提取特征信息量有限的情况下，经过注意力单元的调制，网络能够选择性地加强提取部分重要区域（比如眼睛、嘴、鼻子等）的高频信息，双头注意力单元本身十分轻量，对模型的计算量影响很小，但能对最终的重建效果带来比较大的提升。
附图说明
图1为实施例1的深度学习网络整体结构示意图；
图2为实施例1的双通道特征提取机构内部结构示意图；
图3为图2中A处内部结构示意图；
图4为实施例1的双头注意力单元内部结构示意图；
图5为实施例1的特征溶融模块内部结构示意图；
图6为实施例1的图像重置机构内部结构示意图；
图7为对比例的双通道特征提取机构内部结构示意图；
附图中：
1-低分辨率人脸图像，2-高分辨率人脸图像，3-前置卷积层，4-双通道特征提取机构，5-双头注意力单元，6-特征溶融模块，7-图像重置机构。
具体实施方式
以下结合附图对本发明作进一步描述：
实施例1：
基于Python编程语言，结合TensorFlow框架，按照图1所示的网络架构搭建深度学习网络。其中，网络的头部为前置卷积层3，其步长为1，卷积核尺寸为3*3。作为示例，设输入网络的低分辨率人脸图像1的尺寸为Y×B×D(长度×宽度×通道数量，下同），经过前置卷积层3卷积操作后，前置卷积层3输出通道为64的前置特征图（长宽尺寸分别为Y和B）。然后前置特征图同时从第一个双通道特征提取机构4的第一入口和第二入口输入。
本实施例中，五个双通道特征提取机构4串联设置，图像信息在网络中传递时，上一个双通道特征提取机构4第一出口输出的特征图输入到下一个双通道特征提取机构4的第一入口，上一个双通道特征提取机构4第二出口输出的特征图输入到下一个双通道特征提取机构4的第二入口，最后一个双通道特征提取机构4第一出口输出的第一精制特征图、第二出口输出的第二精制特征图同时输入特征溶融模块6。
如图2所示，在双通道特征提取机构4内部，从第一入口和第二入口输入的特征图尺寸均为Y×B×64，
Figure 588472DEST_PATH_IMAGE004
、
Figure 487158DEST_PATH_IMAGE005
、
Figure 525521DEST_PATH_IMAGE006
卷积运算后，得到的特征图
Figure 597383DEST_PATH_IMAGE019
、
Figure 709695DEST_PATH_IMAGE020
、
Figure 841599DEST_PATH_IMAGE021
尺寸与前置特征图的尺寸完全一致。由特征图
Figure 101679DEST_PATH_IMAGE019
、
Figure 180494DEST_PATH_IMAGE020
、
Figure 209629DEST_PATH_IMAGE021
和
Figure 512435DEST_PATH_IMAGE003
生成特征图
Figure 463073DEST_PATH_IMAGE026
的运算过程如图3所示，特征图
Figure 876737DEST_PATH_IMAGE022
、
Figure 25959DEST_PATH_IMAGE040
、
Figure 437348DEST_PATH_IMAGE025
、
Figure 406442DEST_PATH_IMAGE026
、
Figure 620867DEST_PATH_IMAGE041
以及从第一出口和第二出口输出的特征图尺寸均为Y×B×64。
如图4所示，对于双头注意力单元5内部，分别对特征图
Figure 624595DEST_PATH_IMAGE019
、
Figure 269203DEST_PATH_IMAGE020
、
Figure 725592DEST_PATH_IMAGE021
在通道方向做全局方差池化后，均生成一个尺寸为Y×B×1的矩阵，拼接操作后，
Figure 684320DEST_PATH_IMAGE037
的尺寸为Y×B×3。对特征图
Figure 542555DEST_PATH_IMAGE026
在空间方向上做全局最大池化后，生成长度为64的向量，然后经过全连接层
Figure 623644DEST_PATH_IMAGE034
（其输入节点数为64，输出节点数为3）和
Figure 301750DEST_PATH_IMAGE035
函数，得到长度为3的向量
Figure 64169DEST_PATH_IMAGE042
。接下来
Figure 42489DEST_PATH_IMAGE037
各个图层乘以
Figure 28900DEST_PATH_IMAGE042
中对应的元素，再次在通道方向做全局方差池化，并经过
Figure 663144DEST_PATH_IMAGE036
函数后，得到尺寸为Y×B×1的双头注意力图
Figure 25992DEST_PATH_IMAGE018
。通过双头注意力图分别为特征图
Figure 593239DEST_PATH_IMAGE026
和
Figure 953814DEST_PATH_IMAGE022
不同空间位置分配不同大小的权重参数，实现对特征图
Figure 606512DEST_PATH_IMAGE026
和
Figure 773051DEST_PATH_IMAGE022
的调制。特征图
Figure 663647DEST_PATH_IMAGE026
调制后还经过Tanh函数激活（特征图尺寸仍然为Y×B×64），其与特征图
Figure 991860DEST_PATH_IMAGE041
相加的结果，作为双通道特征提取机构4第一出口的输出。这样能够实现
Figure 397433DEST_PATH_IMAGE026
所在信道对
Figure 39767DEST_PATH_IMAGE041
所在信道进行信息反馈，强化网络感知学习的效果。
具体地，在本实施例中，如图5所示，特征溶融模块6包括串联设置的拼接层、1*1卷积层和ReLU函数。第一精制特征图和第二精制特征图经过特征溶融模块6融合后，生成的复合特征图尺寸为Y×B×64。如图6所示，图像重置机构7采用目前常用的结构设计，包括两个3*3卷积层和一个亚像素卷积层，亚像素卷积层设置在两个3*3卷积层之间。当图像尺寸放大倍数为N时，前一个3*3卷积层输出特征图尺寸为Y×B×64N2，后一个3*3卷积层输出尺寸为NY×NB×3的高分辨率人脸图像2,亚像素卷积层输出特征图尺寸为NY×NB×64。
对常用的数据集DIV2K和人脸数据集FERET分别进行2倍和4倍下采样，获得其对应的低分辨率图像，然后将这两个数据集2倍下采样后的图像组合起来，构成一号训练集，将这两个数据集4倍下采样后的图像组合起来，构成二号训练集。使用一号训练集和二号训练集训练本实施例所提供的深度学习网络和现有模型RCAN。训练两个模型过程中，损失函数均为L2损失函数，epoch数量均为1500，学习率均固定设置为0.0001，训练完成时，损失函数均已经很好地收敛。
对LFW数据集分别进行2倍和4倍下采样，作为测试集。下表为两个模型训练完成后在测试集上的超分辨率重建效果，从中可以看出，本发明提供的深度学习网络取得了明显更好的图像重建效果。
表1 实施例1和RCAN模型在测试集上超分辨率重建结果
Figure 581607DEST_PATH_IMAGE043
本实施例还对上述两个模型重建得到的图像进行人脸识别测试，从另一个角度来证明两个模型重建后图像的质量。所采用的图像识别模型为预先训练完成的ResNet56，识别结果如下表所示：
表2实施例1和RCAN模型重建人脸图像的识别正确率
Figure 349230DEST_PATH_IMAGE044
从上表可以看出，本发明提供的深度学习网络重建后图像的识别精度明显高于模型RCAN重建输出的图像，说明本发明输出的人脸图像质量更高，更具辨识度。
消融实验：
本实验将实施例1的所有双通道特征提取机构4中双头注意力单元5去掉（去掉双头注意力单元5后的双通道特征提取机构4如图7所示），深度学习网络的其他部分不变，作为对比例。训练和测试过程所有的细节均保持与实施例1相同，对比例测试结果如下：
表3 对比例人脸图像重建结果及识别正确率
Figure 976521DEST_PATH_IMAGE045
从消融实验测得的数据可以看出，设置双头注意力单元5后，在PSNR和SSIM两个指标上测得的人脸图像重建效果均比没有双头注意力单元5时好，设置双头注意力单元5后，重建人脸图像在ResNet56上的识别正确率也有所提高，充分说明了双头注意力单元5对提升深度学习网络性能具有重要促进作用。
以上所述实施例仅表达了本发明的具体实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

Claims (8)

1.一种人脸图像超分辨率重建方法，其特征是：包括以下步骤：
S100、获取低分辨率人脸图像和训练完成的深度学习网络；所述深度学习网络中设有双通道特征提取机构和图像重置机构，多个所述双通道特征提取机构在所述深度学习网络中串联设置，所述双通道特征提取机构用于提取所述低分辨率人脸图像的特征信息；
S200、将所述低分辨率人脸图像输入所述深度学习网络，所述低分辨率人脸图像信息沿着网络的深度方向传递，直到最后一个所述双通道特征提取机构生成并输出第一精制特征图和第二精制特征图；
S300、将所述第一精制特征图与所述第二精制特征图融合，生成复合特征图；
S400、所述图像重置机构以所述复合特征图作为输入，重建并输出高分辨率人脸图像；
其中，所述双通道特征提取机构提取特征的操作过程表示为如下数学模型：
Figure 641522DEST_PATH_IMAGE001
其中，
Figure 355400DEST_PATH_IMAGE002
表示从所述双通道特征提取机构的第一入口输入其中的特征图，
Figure 869558DEST_PATH_IMAGE003
表示从所述双通道特征提取机构的第二入口输入其中的特征图，
Figure 795925DEST_PATH_IMAGE004
、
Figure 407035DEST_PATH_IMAGE005
、
Figure 963919DEST_PATH_IMAGE006
、
Figure 762110DEST_PATH_IMAGE007
和
Figure 757748DEST_PATH_IMAGE008
均表示步长为1的卷积运算，
Figure 957785DEST_PATH_IMAGE009
、
Figure 685570DEST_PATH_IMAGE010
、
Figure 236637DEST_PATH_IMAGE011
、
Figure 504807DEST_PATH_IMAGE012
和
Figure 762613DEST_PATH_IMAGE013
均表示第一型激活函数，
Figure 989195DEST_PATH_IMAGE014
表示第二型激活函数，
Figure 965241DEST_PATH_IMAGE015
表示元素对应乘积运算，
Figure 792031DEST_PATH_IMAGE016
表示将其中的特征图拼接起来，
Figure 232240DEST_PATH_IMAGE017
表示双头注意力单元，
Figure 98565DEST_PATH_IMAGE018
表示所述双头注意力单元输出的双头注意力图，
Figure 561907DEST_PATH_IMAGE019
表示
Figure 437459DEST_PATH_IMAGE009
函数激活后生成的特征图，
Figure 669857DEST_PATH_IMAGE020
表示
Figure 972663DEST_PATH_IMAGE010
函数激活后生成的特征图，
Figure 720039DEST_PATH_IMAGE021
表示
Figure 133703DEST_PATH_IMAGE011
函数激活后生成的特征图，
Figure 220607DEST_PATH_IMAGE022
表示
Figure 959893DEST_PATH_IMAGE012
函数激活后生成的特征图，
Figure 132249DEST_PATH_IMAGE023
表示特征图
Figure 84024DEST_PATH_IMAGE019
、特征图
Figure 353332DEST_PATH_IMAGE020
和特征图
Figure 201202DEST_PATH_IMAGE021
相加后生成的特征图，
Figure 657591DEST_PATH_IMAGE024
表示特征图
Figure 678637DEST_PATH_IMAGE019
、特征图
Figure 474554DEST_PATH_IMAGE020
和特征图
Figure 290064DEST_PATH_IMAGE025
做元素对应乘积后生成的特征图，
Figure 499328DEST_PATH_IMAGE026
表示
Figure 261748DEST_PATH_IMAGE013
函数激活后生成的特征图，
Figure 974489DEST_PATH_IMAGE027
表示所述双头注意力图与特征图
Figure 960899DEST_PATH_IMAGE022
做元素对应乘积后生成的特征图，
Figure 595143DEST_PATH_IMAGE028
表示从所述双通道特征提取机构的第一出口输出的特征图，
Figure 695342DEST_PATH_IMAGE029
表示从所述双通道特征提取机构的第二出口输出的特征图。
2.根据权利要求1所述的人脸图像超分辨率重建方法，其特征是：
Figure 793748DEST_PATH_IMAGE004
、
Figure 888743DEST_PATH_IMAGE007
和
Figure 72599DEST_PATH_IMAGE008
的卷积核尺寸均为1*1，
Figure 973559DEST_PATH_IMAGE005
的卷积核尺寸为3*3，
Figure 598576DEST_PATH_IMAGE006
的卷积核尺寸为5*5。
3.根据权利要求1所述的人脸图像超分辨率重建方法，其特征是：所述第一型激活函数为ReLU函数。
4.根据权利要求3所述的人脸图像超分辨率重建方法，其特征是：所述第二型激活函数为Tanh函数。
5.根据权利要求1所述的人脸图像超分辨率重建方法，其特征是：所述双头注意力单元生成双头注意力图的过程表示为如下数学模型：
Figure 192368DEST_PATH_IMAGE030
其中，特征图
Figure 332362DEST_PATH_IMAGE019
、
Figure 240275DEST_PATH_IMAGE020
、
Figure 782115DEST_PATH_IMAGE025
和
Figure 546809DEST_PATH_IMAGE026
共同作为所述双头注意力单元的输入，
Figure 377362DEST_PATH_IMAGE031
表示所述双头注意力单元输出的双头注意力图，
Figure 620124DEST_PATH_IMAGE016
表示对特征图做拼接操作，
Figure 282050DEST_PATH_IMAGE032
表示对特征图在通道方向做第一全局池化操作，
Figure 155328DEST_PATH_IMAGE033
表示对特征图在空间方向做第二全局池化操作，
Figure 269914DEST_PATH_IMAGE034
表示全连接层，
Figure 316368DEST_PATH_IMAGE035
和
Figure 832800DEST_PATH_IMAGE036
表示第三型激活函数，
Figure 876979DEST_PATH_IMAGE037
表示元素对应乘积运算，
Figure 744441DEST_PATH_IMAGE038
表示分别对特征图
Figure 532268DEST_PATH_IMAGE019
、特征图
Figure 903207DEST_PATH_IMAGE020
、特征图
Figure 180604DEST_PATH_IMAGE025
在通道方向做第一全局池化操作并拼接后生成的特征图，
Figure 207466DEST_PATH_IMAGE039
表示函数
Figure 592793DEST_PATH_IMAGE035
激活后生成的特征图。
6.根据权利要求5所述的人脸图像超分辨率重建方法，其特征是：所述第一全局池化操作为全局方差池化操作，所述第二全局池化操作为全局最大池化操作。
7.根据权利要求6所述的人脸图像超分辨率重建方法，其特征是：所述第三型激活函数为sigmoid函数。
8.一种计算机可读取的存储介质，其特征是：所述计算机可读取的存储介质上存储有计算机程序，所述计算机程序被处理器执行时，实现如权利要求1至7中任一项所述的人脸图像超分辨率重建方法。
CN202211401689.XA 2022-11-10 2022-11-10 人脸图像超分辨率重建方法及计算机可读取的存储介质 Active CN115439329B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211401689.XA CN115439329B (zh) 2022-11-10 2022-11-10 人脸图像超分辨率重建方法及计算机可读取的存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211401689.XA CN115439329B (zh) 2022-11-10 2022-11-10 人脸图像超分辨率重建方法及计算机可读取的存储介质

Publications (2)

Publication Number Publication Date
CN115439329A true CN115439329A (zh) 2022-12-06
CN115439329B CN115439329B (zh) 2023-01-24

Family

ID=84252838

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211401689.XA Active CN115439329B (zh) 2022-11-10 2022-11-10 人脸图像超分辨率重建方法及计算机可读取的存储介质

Country Status (1)

Country Link
CN (1) CN115439329B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115984949A (zh) * 2023-03-21 2023-04-18 威海职业学院(威海市技术学院) 一种带有注意力机制的低质量人脸图像识别方法及设备
CN117152162A (zh) * 2023-11-01 2023-12-01 贵州健易测科技有限公司 一种用于食品分拣的图像处理方法、设备和存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060093212A1 (en) * 2004-10-28 2006-05-04 Eran Steinberg Method and apparatus for red-eye detection in an acquired digital image
CN107492070A (zh) * 2017-07-10 2017-12-19 华北电力大学 一种双通道卷积神经网络的单图像超分辨率计算方法
CN107977932A (zh) * 2017-12-28 2018-05-01 北京工业大学 一种基于可鉴别属性约束生成对抗网络的人脸图像超分辨率重建方法
CN109509149A (zh) * 2018-10-15 2019-03-22 天津大学 一种基于双通道卷积网络特征融合的超分辨率重建方法
CN110348319A (zh) * 2019-06-18 2019-10-18 武汉大学 一种基于人脸深度信息和边缘图像融合的人脸防伪方法
CN210567333U (zh) * 2019-07-17 2020-05-19 江西拓世智能科技有限公司 一种基于人脸和人体行为动作图像识别的课堂分析设备
CN111401436A (zh) * 2020-03-13 2020-07-10 北京工商大学 一种融合网络和双通道注意力机制的街景图像分割方法
CN112836590A (zh) * 2021-01-13 2021-05-25 四川轻化工大学 洪涝灾害监测方法、装置、电子设备及存储介质
CN114218870A (zh) * 2021-12-22 2022-03-22 大连理工大学 一种基于变分模态分解与注意力机制的风速预测方法
CN115100720A (zh) * 2022-07-04 2022-09-23 威海职业学院(威海市技术学院) 一种低分辨率人脸识别方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060093212A1 (en) * 2004-10-28 2006-05-04 Eran Steinberg Method and apparatus for red-eye detection in an acquired digital image
CN107492070A (zh) * 2017-07-10 2017-12-19 华北电力大学 一种双通道卷积神经网络的单图像超分辨率计算方法
CN107977932A (zh) * 2017-12-28 2018-05-01 北京工业大学 一种基于可鉴别属性约束生成对抗网络的人脸图像超分辨率重建方法
CN109509149A (zh) * 2018-10-15 2019-03-22 天津大学 一种基于双通道卷积网络特征融合的超分辨率重建方法
CN110348319A (zh) * 2019-06-18 2019-10-18 武汉大学 一种基于人脸深度信息和边缘图像融合的人脸防伪方法
CN210567333U (zh) * 2019-07-17 2020-05-19 江西拓世智能科技有限公司 一种基于人脸和人体行为动作图像识别的课堂分析设备
CN111401436A (zh) * 2020-03-13 2020-07-10 北京工商大学 一种融合网络和双通道注意力机制的街景图像分割方法
CN112836590A (zh) * 2021-01-13 2021-05-25 四川轻化工大学 洪涝灾害监测方法、装置、电子设备及存储介质
CN114218870A (zh) * 2021-12-22 2022-03-22 大连理工大学 一种基于变分模态分解与注意力机制的风速预测方法
CN115100720A (zh) * 2022-07-04 2022-09-23 威海职业学院(威海市技术学院) 一种低分辨率人脸识别方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
DIANA ZAHORODNIA等: "Structural Statistic Method Identifying Facial Images by Contour Characteristic Points", 《网页在线公开：HTTPS://IEEEXPLORE.IEEE.ORG/STAMP/STAMP.JSP?TP=&ARNUMBER=7340746》 *
于淑侠等: "基于金字塔式双通道卷积神经网络的深度图像超分辨率重建", 《计算机应用研究》 *
杨晓雅等: "基于坐标注意力机制的人脸图像超分辨率重建算法", 《电子设计工程》 *
陆要要等: "基于超分辨率重建的低质量视频人脸识别方法", 《计算机科学》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115984949A (zh) * 2023-03-21 2023-04-18 威海职业学院(威海市技术学院) 一种带有注意力机制的低质量人脸图像识别方法及设备
CN117152162A (zh) * 2023-11-01 2023-12-01 贵州健易测科技有限公司 一种用于食品分拣的图像处理方法、设备和存储介质
CN117152162B (zh) * 2023-11-01 2023-12-26 贵州健易测科技有限公司 一种用于食品分拣的图像处理方法、设备和存储介质

Also Published As

Publication number Publication date
CN115439329B (zh) 2023-01-24

Similar Documents

Publication Publication Date Title
CN115439329B (zh) 人脸图像超分辨率重建方法及计算机可读取的存储介质
Li et al. Deep learning methods in real-time image super-resolution: a survey
CN105793891A (zh) 用于确定高分辨率输出图像的方法和设备
Du et al. Accelerated super-resolution MR image reconstruction via a 3D densely connected deep convolutional neural network
WO2022198808A1 (zh) 基于双线性注意力网络的医学影像数据分类方法及系统
CN111242288A (zh) 一种用于病变图像分割的多尺度并行深度神经网络模型构建方法
CN113191390B (zh) 一种图像分类模型的构建方法、图像分类方法及存储介质
CN110322402A (zh) 基于稠密混合注意力网络的医学图像超分辨率重建方法
CN112508794B (zh) 医疗图像超分辨率重建方法及系统
CN113888412B (zh) 一种用于糖尿病视网膜病变分类的图像超分辨率重建方法
Kuang et al. Image super-resolution with densely connected convolutional networks
CN108492249A (zh) 基于小卷积递归神经网络的单帧超分辨重建方法
CN109118487B (zh) 基于非下采样轮廓波变换和卷积神经网络的骨龄评估方法
KR20220129406A (ko) 잔차 컨볼루션 기반 딥러닝 네트워크를 이용한 영상 분할 방법 및 장치
CN116342516A (zh) 基于模型集成的儿童手骨x光图像骨龄评估方法及系统
CN115018711A (zh) 一种用于仓库调度的图像超分辨率重建方法
Han et al. VCNet: A generative model for volume completion
Lu et al. A lightweight generative adversarial network for single image super-resolution
Zhang et al. 3d cross-scale feature transformer network for brain mr image super-resolution
He et al. A lightweight multi-scale feature integration network for real-time single image super-resolution
Mei et al. An effective single-image super-resolution model using squeeze-and-excitation networks
Zafeirouli et al. Efficient, lightweight, coordinate-based network for image super resolution
CN115908811A (zh) 一种基于Transformer和卷积注意力机制的CT图像分割方法
CN114663301A (zh) 一种基于小波层的卷积神经网络全色锐化方法
Lu et al. Multi-Supervised Recursive-CNN for Hyperspectral and Multispectral Image Fusion

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant