CN115496651A - 特征处理方法、装置、计算机可读存储介质及电子设备 - Google Patents

特征处理方法、装置、计算机可读存储介质及电子设备 Download PDF

Info

Publication number
CN115496651A
CN115496651A CN202110614206.3A CN202110614206A CN115496651A CN 115496651 A CN115496651 A CN 115496651A CN 202110614206 A CN202110614206 A CN 202110614206A CN 115496651 A CN115496651 A CN 115496651A
Authority
CN
China
Prior art keywords
attention
feature map
module
resolution
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110614206.3A
Other languages
English (en)
Inventor
陈鹏
刘阳兴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan TCL Group Industrial Research Institute Co Ltd
Original Assignee
Wuhan TCL Group Industrial Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan TCL Group Industrial Research Institute Co Ltd filed Critical Wuhan TCL Group Industrial Research Institute Co Ltd
Priority to CN202110614206.3A priority Critical patent/CN115496651A/zh
Publication of CN115496651A publication Critical patent/CN115496651A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供了一种特征处理方法、装置、计算机可读存储介质及电子设备。本申请实施例首先获取特征图，特征图是对需要进行超分辨率重建的人脸图像进行特征提取得到的；通过空间注意力模块对特征图进行空间注意力操作，得到空间注意力特征图；通过通道注意力模块对特征图进行通道注意力操作，得到通道注意力特征图；然后对空间注意力特征图和通道注意力特征图进行拼接，得到用于超分辨率重建的注意力拼接特征图。本申请实施例在提取人脸图像特征时，将双重机制的注意力分支提取的特征进行拼接，增强了提取图像细节的能力，有助于恢复人脸图像的细节，提高人脸图像的重建效果。

Description

特征处理方法、装置、计算机可读存储介质及电子设备
技术领域
本申请涉及图像处理技术领域，尤其涉及一种特征处理方法、装置、计算机可读存储介质及电子设备。
背景技术
人脸超分辨率(super-resolution，SR)是一种特定的超分辨率技术，是指通过低分辨率(low-resolution，LR)人脸图像重建出高分辨率(high-resolution，HR)人脸图像。许多与人脸相关的技术如人脸识别、人脸对齐、表情识别和三维人脸重建等都是基于清晰的高分辨率人脸图像实现的，因此，人脸超分辨率技术尤为重要。
目前的人脸超分辨率技术在重建高分辨率人脸图像时，难以恢复头发、眼睛等部位的图像细节，导致人脸图像的重建效果不佳。
发明内容
本申请实施例提供一种特征处理方法、装置、计算机可读存储介质及电子设备，能够提高人脸图像的重建效果。
本申请实施例提供一种特征处理方法，包括：
获取特征图，特征图是对需要进行超分辨率重建的人脸图像进行特征提取得到的；
通过空间注意力模块对特征图进行空间注意力操作，得到空间注意力特征图；
通过通道注意力模块对特征图进行通道注意力操作，得到通道注意力特征图；
对空间注意力特征图和通道注意力特征图进行拼接，得到用于超分辨率重建的注意力拼接特征图。
本申请实施例还提供了一种特征处理装置，包括：
特征提取模块，用于获取特征图，特征图是对需要进行超分辨率重建的人脸图像进行特征提取得到的；
空间注意力模块，用于通过空间注意力模块对特征图进行空间注意力操作，得到空间注意力特征图；
通道注意力模块，用于通过通道注意力模块对特征图进行通道注意力操作，得到通道注意力特征图；
特征拼接模块，用于对空间注意力特征图和通道注意力特征图进行拼接，得到用于超分辨率重建的注意力拼接特征图。
本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行以实现本申请实施例提供的任一种特征处理方法中的步骤。
本申请实施例还提供一种电子设备，电子设备包括处理器、存储器以及存储于存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序以实现本申请实施例提供的任一种特征处理方法中的步骤。
本申请实施例中，首先获取特征图，特征图是对需要进行超分辨率重建的人脸图像进行特征提取得到的；通过空间注意力模块对特征图进行空间注意力操作，得到空间注意力特征图；通过通道注意力模块对特征图进行通道注意力操作，得到通道注意力特征图；然后对空间注意力特征图和通道注意力特征图进行拼接，得到用于超分辨率重建的注意力拼接特征图。本申请实施例在提取人脸图像特征时，将双重机制的注意力分支提取的特征进行拼接，增强了提取图像细节的能力，有助于恢复人脸图像中的细节，提高人脸图像的重建效果。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的场景示意图。
图2为本申请实施例提供的人脸超分辨率模型的第一种结构示意图。
图3为本申请实施例提供的特征处理方法的第一种流程示意图。
图4为本申请实施例提供的人脸超分辨率模型的第二种结构示意图。
图5为本申请实施例提供的特征处理方法的第二种流程示意图。
图6为本申请实施例提供的特征处理方法的第三种流程示意图。
图7为本申请实施例提供的人脸超分辨率模型的第三种结构示意图。
图8为本申请实施例提供的人脸超分辨率模型的第四种结构示意图。
图9为本申请实施例提供的人脸超分辨率模型的第五种结构示意图。
图10为本申请实施例提供的人脸超分辨率模型的第六种结构示意图。
图11为本申请实施例提供的人脸超分辨率模型的第七种结构示意图。
图12为本申请实施例提供的特征处理方法的第四种流程示意示意图。
图13为本申请实施例提供的特征处理装置的第一种结构示意图。
图14为本申请实施例提供的特征处理装置的第二种结构示意图。
图15为本申请实施例提供的电子设备的第一种结构示意图。
图16是本申请实施例提供的电子设备的第二种结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有付出创造性劳动前提下所获得的的所有实施例，都属于本发明保护的范围。
本发明的说明书和权利要求书以及上述附图中的术语“第一”、“第二”、“第三”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应当理解，这样描述的对象在适当情况下可以互换。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含。例如，包含了一系列步骤的过程、方法或包含了一系列模块或单元的装置、终端、系统不必限于清楚地列出的那些步骤或模块和单元，还可以包括没有清楚地列出的步骤或模块或单元，也可以包括对于这些过程、方法、装置、终端或系统固有的其它步骤或模块或单元。
图像超分辨率，简称超分，是指通过低分辨率图像重建出高分辨率图像，分辨率得到放大，比如超分前后的图像，分辨率由512×512放大至1024×1024。图像超分辨率技术分为两种，一种是从多帧低分辨率图像合成一张高分辨率图像，另外一种是从单帧低分辨率图像获取高分辨率图像。
在本申请实施例中，通过单帧低分辨率人脸图像获取高分辨率人脸图像。请参阅图1，图1为本申请实施例提供的场景示意图。如图1所示，单帧低分辨率人脸图像的分辨率低，图像清晰度低，通过对低分辨率人脸图像进行超分辨率重建，得到清晰度高的高分辨率人脸图像，重建后的人脸图像相比原图像的清晰度更高，可以用来进行后续的人脸图像处理。
很多与人脸相关的图像处理，如人脸识别、人脸对齐、表情识别和三维人脸重建等在使用低分辨率人脸图像时，效果会有一定的折扣。如在人脸识别中，当人脸图像的分辨率降到32×32以下，识别率会严重下降。人脸超分辨率技术作为一种特定的超分辨率技术，可以根据低分辨率人脸图像重建出的高分辨率人脸图像，基于清晰的高分辨率人脸图像进行后续的人脸图像处理时，可以取得较好的处理效果。
本申请实施例首先提供一种特征处理方法，该特征处理方法应用在人脸超分辨率重建的过程中，通过空间注意力和通道注意力的双重注意力机制对人脸图像的特征进行处理、融合，增强了对图像细节的重建能力，有助于恢复头发、眼睛等部位的人脸图像高频细节，提高人脸图像的重建效果。
该特征处理方法的执行主体可以是本申请实施例提供的特征处理装置，或者集成了该特征处理装置的电子设备，其中该图像特征处理装置可以采用硬件或者软件的方式实现。其中，电子设备可以是计算机设备，该计算机设备可以是诸如智能手机、平板电脑、个人计算机之类的终端设备，也可以是服务器。当计算机设备用于执行特征处理方法时，该计算机设备中包括预训练的用于进行超分辨率重建的人脸超分辨率模型。以下进行具体分析说明。
请一并参阅图2及图3，图2为本申请实施例提供的人脸超分辨率模型的第一种结构示意图，图3为本申请实施例提供的特征处理方法的第一种流程示意图。在本申请实施例中，可以使用图3所示的结构实现图2所示的方法。该特征处理方法可以包括：
110，获取特征图，特征图是对需要进行超分辨率重建的人脸图像进行特征提取得到的。
其中，人脸图像可以有多种获取方式。例如，可以是从本地存储器获取的人脸图像，也可以是从网络上下载的人脸图像，还可以是使用摄像头实时拍摄的人脸图像。
在一实施例中，获取人脸图像后，获取该人脸图像的分辨率，并判断其分辨率是否大于预设分辨率。当判断出人脸图像的分辨率大于预设分辨率时，判定该人脸图像为高分辨率人脸图像，满足用户的图像分辨率要求，不是需要进行超分辨率重建的人脸图像；当判断出人脸图像的分辨率小于或等于预设分辨率时，判定该人脸图像为低分辨率人脸图像，不满足用户的图像分辨率要求，确定该低分辨率人脸图像为需要进行超分辨率重建的人脸图像。该预设分辨率具体可以根据实际需求进行设置。
在对人脸图像进行超分辨率重建时，首先对该人脸图像进行特征提取，获取特征图。特征提取的主要目的是降维，将人脸图像投影到低维空间，得到最能反映人脸图像本质的低维图像特征。
在一实施例中，可以通过神经网络中的至少一个卷积层对人脸图像进行特征提取。将需要进行超分辨率重建的人脸图像输入神经网络中，通过神经网络中的卷积层的卷积处理，将输入的人脸图像变为多个特征图的堆叠。该神经网络例如可以用于人脸超分辨率模型中。
在进行超分辨率重建时，先从低分辨率人脸图像中提取出特征图。这里提取出的特征图是人脸图像的浅层特征，通过对特征图的进一步处理，可以得到更深层次的特征图。例如，获取的特征图可以进一步经过更多的卷积层，通过多重卷积处理得到人脸图像的深层特征。
120，通过空间注意力模块对特征图进行空间注意力操作，得到空间注意力特征图。
请参阅图2，根据图2，在得到特征图U后，特征图U被分别输入空间注意力模块和通道注意力模块，在通过双重注意力机制的两个分支，分别得到空间注意力特征图和空间注意力特征图后，对空间注意力特征图和通道注意力特征图进行拼接(Concat)。双重注意力模块增加了模型对细节的提取能力，增加了最终超分辨率重建得到的高分辨率人脸图像中细节的权重，让图像细节更加突出。
其中，空间注意力模块的分支本质是让神经网络对特征图的不同区域赋予不同的重要性。通过空间注意力机制，将原始特征图中的空间信息变换到另一个空间中并强化了关键信息，能够让网络更关注特征图信息中需要被关注的区域。
请参阅图4，图4为本申请实施例提供的人脸超分辨率模型的第二种结构示意图。在一实施例中，如图4所示，空间注意力模块包括第一平均池化层、最大池化层、第一卷积层和第一激活函数层。第一平均池化层和最大池化层并联，接收特征图进行池化处理后，经过依次串联的第一卷积层和第一激活函数层后，与空间注意力模块的输入进行特征融合，得到空间注意力模块的输出。
请一并参阅图5，图5为本申请实施例提供的特征处理方法的第二种流程示意图。其中，通过空间注意力模块对特征图进行空间注意力操作，得到空间注意力特征图，包括以下步骤：
1201、通过第一平均池化层对特征图进行全局平均池化，得到平均池化结果。
全局池化实际上是将每个通道的特征图用一个神经元代表，将特征图维度从3维降低到1维，同时，通过池化可以减少空间信息，减少计算量和所需显存，提高运算效率。全局池化又可分为全局平均池化(Global Average Pooling，GAP)和全局最大池化(GlobalMax Pooling，GMP)。
对特征图进行全局平均池化时，通过均值运算将每个特征图映射至单个数字，取每个特征图的均值作为平均池化结果。平均池化结果可以实现人脸图像的目标定位，例如，可以对人脸图像中的眼睛、鼻子等五官进行定位。
1202、通过最大池化层对特征图进行全局最大池化，得到最大池化结果。
全局最大池化不同于全局平均池化，对特征图进行全局最大池化时，通过最大值运算将每个特征图映射至单个数字，取每个特征图的最大值作为最大池化结果。最大池化结果可以保留人脸图像的纹理特征，例如，人脸轮廓。
1203、对平均池化结果和最大池化结果进行拼接，得到空间特征描述子。
通过拼接平均池化层输出的平均池化结果和最大池化层输出的最大池化结果，得到的空间特征描述子d既能够实现人脸图像的目标定位，又能够保留人脸图像的纹理特征。
1204、通过第一卷积层对空间特征描述子进行卷积处理，得到卷积处理后的空间特征描述子。
其中，第一卷积层可以包括一个3×3大小的卷积核。空间特征描述子d输入第一卷积层，进行3×3卷积处理，得到3×3卷积处理后的空间特征描述子。
1205、通过第一激活函数层对卷积处理后的空间特征描述子进行校准，得到空间注意力模块的中间特征图。
第一激活函数层又称第一非线性映射层，其中可包括非线性激活函数，如Sigmoid函数、ReLU函数等。非线性激活函数的引入是为了改变之前数据的线性关系，使得网络更加强大，增强网络的能力，使它可以学习复杂的食物，复杂的数据，以及表示输入输出之间非线性的复杂的任意函数映射。
在一实施例中，第一激活函数层使用Sigmoid函数对卷积处理后的空间特征描述子d进行校准，得到空间注意力模块的中间特征图。空间注意力模块的中间特征图是经过空间注意力模块处理后比特征图更深层次的特征。
1206、将特征图与空间注意力模块的中间特征图进行相乘，得到空间注意力特征图。
空间注意力模块的中间特征图与空间注意力模块输入的特征图通过相乘的方式进行特征融合，得到的空间注意力特征图中既包括了人脸图像的深层特征，又没有遗漏浅层特征。
130，通过通道注意力模块对特征图进行通道注意力操作，得到通道注意力特征图。
通道注意力模块的分支被设计用来学习卷积特征的通道间依赖性，在通道注意力模块中，首先执行一个压缩操作，以对空间全局上下文进行编码，然后执行一个激励操作，充分表达不同通道间的重要程度。压缩操作通过全局平均池实现，而激励操作是对输入的通道特征描述子使用两个卷积操作，之后通过Sigmoid激活函数来重新校准通道特征描述子，得到激活后的特征。在一实施例中，如图4所示，通道注意力模块中包含依次相连的第二平均池化层、第二卷积层和第二激活函数层。通道注意力模块接收的特征图经过依次串联的第二平均池化层、第二卷积层和第二激活函数层后，与通道注意力模块的输入进行特征融合，得到通道注意力模块的输出。
请一并参阅图6，图6为本申请实施例提供的特征处理方法的第三种流程示意图。其中，通过通道注意力模块对特征图进行通道注意力操作，得到通道注意力特征图，包括以下步骤：
1301、通过第二平均池化层对特征图进行全局平均池化，得到通道特征描述子。
如图4所示，通过通道注意力模块中的平均池化层对特征图进行全局平均池化，得到通道特征描述子z。
1302、通过第二卷积层对通道特征描述子进行卷积处理，得到卷积处理后的通道特征描述子。
请参阅图7，图7为本申请实施例提供的人脸超分辨率模型的第三种结构示意图，其中示出了第二卷积层的结构。在一实施例中，第二卷积层可以包括两个1×1卷积层和一个ReLU激活层，ReLU激活层位于两个1×1卷积层之间。
通道特征描述子z从第一个1×1卷积层输入，经过第一个1×1卷积层、ReLU激活层和第二个1×1卷积层，完成卷积处理，得到卷积处理后的通道特征描述子。
1303、通过第二激活函数层对卷积处理后的通道特征描述子进行校准，得到通道注意力模块的中间特征图。
在一实施例中，第二激活函数层使用Sigmoid函数对卷积处理后的通道特征描述子z进行校准，得到通道注意力模块的中间特征图。通道注意力模块的中间特征图是经过通道注意力模块处理后比特征图更深层次的特征。
1304、将特征图与通道注意力模块的中间特征图进行相乘，得到通道注意力特征图。
通道注意力模块的中间特征图与通道注意力模块输入的特征图通过相乘的方式进行特征融合，得到的通道注意力特征图中既包括了人脸图像的深层特征，又没有遗漏浅层特征。
需要说明的是，空间注意力模块和通道注意力模块对特征图进行处理以及得到空间注意力特征图、通道注意力特征图的过程不分先后。即，既可以先进行步骤120，再进行步骤130，也可以先进行步骤130，再进行步骤120，也可以同时进行步骤120和步骤130。本申请对此不做限制。
140，对空间注意力特征图和通道注意力特征图进行拼接，得到用于超分辨率重建的注意力拼接特征图。
其中，空间注意力特征图和通道注意力特征图是分别从不同方向上对人脸图像的特征进行关注的结果。空间注意力特征图关注人脸图像的不同区域，而通道注意力特征图关注人脸图像的不同通道。
通过对空间注意力特征图和通道注意力特征图进行拼接，得到用于超分辨率重建的注意力拼接特征图，同时结合空间和通道两种注意力机制，增强对人脸图像在空间上提取特征的能力和在通道上提取特征的能力，突出局部区域的信息，例如，突出人脸图像中头发、眼睛等部位的高频细节。
针对上一实施例提供的特征处理方法，以下进一步详细说明。
本申请实施例提供一种人脸超分辨率模型，本申请实施例提供的特征处理方法可以应用于该人脸超分辨率模型中。请参阅图8，图8为本申请实施例提供的人脸超分辨率模型的第四种结构示意图，其中示出了人脸超分辨率模型的整体结构。
如图8所示，人脸超分辨率模型包括特征提取模块、注意力残差模块和上采样模块，低分辨率的人脸图像输入到人脸超分辨率模型中，经过依次串联的特征提取模块、注意力残差模块和上采样模块后，输出高分辨率的超分辨率重建图像。
请一并参阅图9，图9为本申请实施例提供的人脸超分辨率模型的第五种结构示意图，其中示出了特征提取模块的结构。
如图9所示，特征提取模块可以包括串联的第五卷积层和ReLU激活层。其中第五卷积层通过卷积操作对人脸图像进行特征提取，ReLU激活层使用ReLU激活函数对第五卷积层输出的特征图进行激活。
在一实施例中，第五卷积层的输出通道数大于输入通道数，用于将输入人脸超分辨率模型的人脸图像扩展为更多通道的特征图。例如，第五卷积层的输入通道数可以为3，输出通道数可以为256，则3通道的人脸图像输入第五卷积层后，输出256通道的特征图。图像通道数等于特征图数量，也即输出256个特征图。这256个特征图经ReLU激活层激活后，输入注意力残差模块进行空间注意力操作和通道注意力操作，以从不同区域和不同通道进一步提取人脸图像的深层特征。
注意力残差模块包括多个残差组，多个残差组以递归的方式依次串联。在第一个残差组的输入与最后一个残差组的输出之间有一个长跳跃连接，将第一个残差组的输入和最后一个残差组的输出以相加的方式进行特征融合后，作为注意力残差模块的输出。该长跳跃连接通过重建残差信息让模型学习到浅层的图像结构细节，同时这些递归残差组和长跳跃连接也有利于构建深层的递归残差组，这种结构增加了网络的感受野，更好地融合了浅层特征和深层特征，同时提升了人脸超分辨率模型的重建人脸图像的能力。
以第n个残差组为例，每个残差组包括依次串联的双重注意力模块，最后一个双重注意力模块后连接有一个3×3卷积层，特征图在经过多个依次串联的双重注意力模块后，输入到3×3卷积层中进行3×3卷积处理，得到3×3卷积处理后的双重注意力处理结果。在第n个残差组中，第一个双重注意力模块的输入与3×3卷积层的输出之间有一个短跳跃连接，将第一个双重注意力单元的输入和最后一个双重注意力单元的输出以相加的方式进行特征融合后，作为第n个残差组的输出，n为正整数。
以第n个残差组中的第i个双重注意力单元为例，每个双重注意力单元包括一个第三卷积层、一个空间注意力模块、一个通道注意力模块和一个第四卷积层。
请参阅图10，图10为本申请实施例提供的人脸超分辨率模型的第六种结构示意图，其中示出了第三卷积层的结构。在一实施例中，第三卷积层可以包括两个3×3卷积层和一个ReLU激活层，ReLU激活层位于两个3×3卷积层之间。
特征图在进入空间注意力模块和通道注意力模块之前，先由第三卷积层进行卷积处理。特征图从第一个3×3卷积层输入，经过第一个3×3卷积层、激活层和第二个3×3卷积层，完成卷积处理，得到3×3卷积处理后的特征图。
通过空间注意力模块对第三卷积层卷积处理后的特征图进行空间注意力操作，得到空间注意力特征图。通过通道注意力模块对第三卷积层卷积处理后的特征图进行通道注意力操作，得到通道注意力特征图。对空间注意力特征图和通道注意力特征图进行拼接，得到用于超分辨率重建的注意力拼接特征图。
得到用于超分辨率重建的注意力拼接特征图后，通过第四卷积层对该注意力拼接特征图进行卷积处理。其中，第四卷积层可以包括一个1×1大小的卷积核。注意力拼接特征图输入第四卷积层，进行1×1卷积处理，得到1×1卷积处理后的注意力拼接特征图。
通过第n个残差组的第i个双重注意力模块的第四卷积层对注意力拼接特征图进行卷积处理后，，得到卷积处理后的注意力拼接特征图。将第i个双重注意力模块卷积处理后的注意力拼接特征图与第i个双重注意力模块的输入以相加的方式进行特征融合后，作为第n个残差组中的第i个双重注意力模块的输出，i为正整数。
特征提取模块输出的特征图在注意力残差模块中遍历了多个残差组，在每个残差组中又遍历了多个双重注意力模块，最终由长跳跃连接得到注意力残差模块的输出，并将注意力残差模块的输出输入到上采样模块，通过上采样模块对注意力残差模块的输出进行上采样处理，得到人脸图像的超分辨率重建图像。
请参阅图11，图11为本申请实施例提供的人脸超分辨率模型的第七种结构示意图，其中示出了上采样模块的结构。如图11所示，上采样模块包括像素重组模块和图像重建模块。将注意力残差模块的输出输入到上采样模块后，通过像素重组模块对注意力残差模块的输出进行像素重组，得到像素重组特征图，通过图像重建模块对像素重组特征图进行图像重建，得到人脸图像的超分辨率重建图像。
其中，像素重组模块包括依次串联的第六卷积层、ReLU激活层和像素重组层。第六卷积层的输出通道数大于输入通道数，用于进一步扩展图像通道数、丰富图像特征。
例如，第六卷积层的输入通道数可以为512，输出通道数可以为1024。512个特征图输入第六卷积层进行卷积处理后，得到1024个特征图，将1024个特征图输入像素重组层。第六卷积层输出的特征图越多，像素重组层的重组效果越好。
像素重组层也称pixel shuffle层，该层的作用在于，将尺寸较小的低分辨率图像通过sub-pixel操作变为尺寸更大的高分辨率图像。例如，将4个低分辨率特征图通过sub-pixel操作变为一个放大后的高分辨率特征图。1024个低分辨率特征图在经过像素重组层后，变为256个尺寸放大2倍(面积放大4倍)的特征图。通过像素重组，图像通道数(即特征图数量)缩减了4倍，特征图倍放大到预设尺寸。
这里使用pixel shuffle层对特征图进行上采样，能够避免使用反卷积可能存在的棋盘效应，同时也可以避免直接通过插值方式生成高分辨率图像导致的信息丢失，并且更有利于重建图像的细节信息。
图像重建模块包括第七卷积层、ReLU激活层和第八卷积层。第七卷积层的输入通道数大于输出通道数，用于缩减图像通道数。第七卷积层的输入通道数等于像素重组层输出的特征图的数量，第七卷几层的输出通道数等于特征提取模块的输入通道数，以使得人脸超分辨率重建模型输入和输出的图像拥有一致的图像通道书。例如，第七卷积层的输入通道数可以为256，输出通道数可以为3。像素重组后的256个像素重组特征图经过第七卷积层进行卷积处理后，缩减为3个特征图，分别对应人脸图像的3个图像通道。3个特征图通过ReLU激活层激活后输入第八卷积层。
第八卷积层的输入通道数等于输出通道数，用于根据特征图进行图像重建。例如，第八卷几层的输入通道数和输出通道数都等于3，第八卷积层即根据3个特征图重建出3通道图像，得到高分辨率的超分辨率重建图像。
本申请实施例还提供一种特征处理方法，应用于本申请实施例提供的人脸超分辨率模型。请参阅图12，图12为本申请实施例提供的特征处理方法的第四种流程示意图。该特征处理方法可以包括：
201、获取训练样本集，训练样本集包括低分辨率人脸图像样本以及对应的高分辨率人脸图像样本。
在进行图像超分辨率重建之前，可以预先使用训练样本集对人脸超分辨率重建模型进行训练。其中，训练样本集包含的低分辨率人脸图像样本和高分辨率人脸图像样本相对应，高分辨率人脸图像样本的分辨率高于低分辨率人脸图像样本。
在一实施例中，可以从混合数据集获取高分辨率人脸图像样本，然后，通过对高分辨率人脸图像样本进行降分辨率处理，得到对应的低分辨率人脸图像样本。对高分辨率人脸图像样本进行降分辨率的方式可以包括多种，在一实施例中，可以通过对高分辨率人脸图像样本的尺寸进行缩小处理而得到低分辨率人脸图像样本，例如，通过使用MATLAB中的双线性插值将高分辨率人脸图像样本下采样16倍，从而将高分辨率人脸图像样本的尺寸缩小为原来的1/16，获取到低分辨率人脸图像样本。数据集所包含的图像场景丰富，内容多样，能够满足模型训练的需求。
在一实施例中，可以在每一高分辨率人脸图像样本中随机截取固定尺寸，同时在对应的低分辨率人脸图像样本中截取同一位置的相同尺寸，从而固定样本的尺寸，提高训练效率和准确度。
202、基于训练样本集，采用超分辨率损失函数进行多次循环迭代训练，得到人脸超分辨率模型。
构建用于人脸超分辨率重建的人脸超分辨率模型，使用获取到的训练样本集训练人脸超分辨率模型。
在一实施例中，用来进行多次循环迭代训练的超分辨率损失函数包括第一损失函数和第二损失函数，即，超分辨率损失函数为：
L＝Lδ+Lm；
第一损失函数Lδ可以为Huber损失函数：
Figure BDA0003097367430000121
其中，IHR为低分辨率人脸图像样本对应的高分辨率人脸图像样本的样本真实值，
Figure BDA0003097367430000122
为低分辨率人脸图像样本在人脸超分辨率模型中的模型预测值，δ为预设的超参数。
对于人脸超分辨率模型的损失函数，在训练初期使用MSE损失函数会导致训练不稳定，而在训练后期使用MAE损失函数则存在收敛较慢的问题。Huber损失函数在训练初期使用MAE损失函数，训练后期采用MSE损失函数，从而结合了MSE损失函数的和MAE损失函数的优点，避免了上述问题。
第二损失函数Lm可以为人脸分割损失函数：
Figure BDA0003097367430000131
其中，i为每个像素，N为样本的像素数量，c为人脸图像中各区域的类别，g为分类是否正确，S为对应各类别的概率。
由于人脸图像中各个人脸区域(特别是在头发、眼睛等细节峰峰的区域)之间的边界分割效果对人脸图像的视觉质量有着非常明显的影响，引入人脸分割损失函数对超分辨率重建后的人脸图像进行监督，可以保证超分辨率重建后的人脸图像的图像细节不受影响。
采用上述超分辨率损失函数进行多次循环迭代训练直至收敛，得到人脸超分辨率模型。
203、将人脸图像输入用于进行超分辨率重建的人脸超分辨率模型，人脸超分辨率模型包括特征提取模块。
其中，人脸图像可以有多种获取方式。例如，可以是从本地存储器中获取的人脸图像，也可以是从网络上下载的人脸图像，还可以是使用摄像头实时拍摄的人脸图像。
在一实施例中，获取人脸图像后，获取该人脸图像的分辨率，并判断其分辨率是否大于预设分辨率。当判断出人脸图像的分辨率大于预设分辨率时，判定该人脸图像为高分辨率人脸图像，满足用户的图像分辨率要求，不将其输入用于进行超分辨率重建的人脸超分辨率模型；当判断出人脸图像的分辨率小于或等于预设分辨率时，判定该人脸图像为低分辨率人脸图像，不满足用户的图像分辨率要求，确定该低分辨率人脸图像为需要进行超分辨率重建的人脸图像，将其输入用于进行超分辨率重建的人脸超分辨率模型。该预设分辨率具体可以根据实际需求进行设置。
其中，人脸超分辨率模型的结构在前面的实施例中已经详述，在此不再赘述。
204、通过特征提取模块对人脸图像进行卷积处理，得到特征图。
在对人脸图像进行超分辨率重建时，首先对该人脸图像进行特征提取，获取特征图。特征提取的主要目的是降维，将人脸图像投影到低维空间，得到最能反映人脸图像本质的低维图像特征。
请参阅图9，特征提取模块可以包括串联的第五卷积层和ReLU激活层。其中第五卷积层通过卷积操作对人脸图像进行特征提取，ReLU激活层使用ReLU激活函数对第五卷积层输出的特征图进行激活。
在一实施例中，第五卷积层的输出通道数大于输入通道数，用于将输入人脸超分辨率模型的人脸图像扩展为更多通道的特征图。例如，第五卷积层的输入通道数可以为3，输出通道数可以为256，则3通道的人脸图像输入第五卷积层后，输出256通道的特征图。图像通道数等于特征图数量，也即输出256个特征图。这256个特征图经ReLU激活层激活后，输入注意力残差模块进行空间注意力操作和通道注意力操作，以从不同区域和不同通道进一步提取人脸图像的深层特征。
205、通过第n个残差组的第i个双重注意力模块的第三卷积模块对特征图进行卷积处理，得到卷积处理后的特征图。
请参阅图10，第三卷积层可以包括两个3×3卷积层和一个ReLU激活层，ReLU激活层位于两个3×3卷积层之间。
特征图在进入空间注意力模块和通道注意力模块之前，先由第三卷积层进行卷积处理。特征图从第一个3×3卷积层输入，经过第一个3×3卷积层、激活层和第二个3×3卷积层，完成卷积处理，得到3×3卷积处理后的特征图。
206、通过空间注意力模块对卷积处理后的特征图进行空间注意力操作，得到空间注意力特征图。
207、通过通道注意力模块对卷积处理后的特征图进行通道注意力操作，得到通道注意力特征图。
208、对空间注意力特征图和通道注意力特征图进行拼接，得到用于超分辨率重建的注意力拼接特征图。
209、通过第n个残差组的第i个双重注意力模块的第四卷积模块对注意力拼接特征图进行卷积处理，得到卷积处理后的注意力拼接特征图。
得到用于超分辨率重建的注意力拼接特征图后，通过第四卷积层对该注意力拼接特征图进行卷积处理。其中，第四卷积层可以包括一个1×1大小的卷积核。注意力拼接特征图输入第四卷积层，进行1×1卷积处理，得到1×1卷积处理后的注意力拼接特征图。
210、将卷积处理后的注意力拼接特征图与第i个双重注意力模块的输入进行相加，得到第i个双重注意力模块的输出。
通过第n个残差组中的第i个双重注意力模块的第四卷积层对注意力拼接特征图进行卷积处理后，，得到卷积处理后的注意力拼接特征图。将卷积处理后的注意力拼接特征图与第i个双重注意力模块的输入以相加的方式进行特征融合后，作为第n个残差组中的第i个双重注意力模块的输出，i为正整数。
211、在第n个残差组，将第i个双重注意力模块的输出作为第i+1个双重注意力模块的输入，通过依次相连的多个双重注意力模块进行双重注意力处理，得到双重注意力处理结果。
212、通过3×3卷积层对双重注意力处理结果进行3×3卷积处理，得到3×3卷积处理后的双重注意力处理结果。
使用多个依次串联的双重注意力模块采用上述方式对特征图进行处理后，输入到3×3卷积层中进行3×3卷积处理，得到3×3卷积处理后的双重注意力处理结果。
213、将第n个残差组中3×3卷积处理后的双重注意力处理结果与第n个残差组的输入进行相加，得到第n个残差组的输出。
在第n个残差组中，第一个双重注意力模块的输入与3×3卷积层的输出之间有一个短跳跃连接，将第一个双重注意力单元的输入和最后一个双重注意力单元的输出以相加的方式进行特征融合后，作为第n个残差组的输出，n为正整数。
214、将第n个残差组的输出作为第n+1个残差组的输入。
依次串联的多个残差组以递归的方式实现对特征图的处理，每个残差组的输出作为下一个残差组的输入。
215、将最后一个残差组的输出和注意力残差模块的输入进行相加，得到注意力残差模块的输出。
在第一个残差组的输入与最后一个残差组的输出之间有一个长跳跃连接，将第一个残差组的输入和最后一个残差组的输出以相加的方式进行特征融合后，作为注意力残差模块的输出。
216、通过像素重组模块对注意力残差模块的输出进行像素重组，得到像素重组特征图。
请参阅图11，像素重组模块包括依次串联的第六卷积层、ReLU激活层和像素重组层。第六卷积层的输出通道数大于输入通道数，用于进一步扩展图像通道数、丰富图像特征。
通过像素重组模块对注意力残差模块的输出进行像素重组，得到像素重组特征图。例如，第六卷积层的输入通道数可以为512，输出通道数可以为1024。512个特征图输入第六卷积层进行卷积处理后，得到1024个特征图，将1024个特征图输入像素重组层。第六卷积层输出的特征图越多，像素重组层的重组效果越好。
像素重组层也称pixel shuffle层，该层的作用在于，将尺寸较小的低分辨率图像通过sub-pixel操作变为尺寸更大的高分辨率图像。例如，将4个低分辨率特征图通过sub-pixel操作变为一个放大后的高分辨率特征图。1024个低分辨率特征图在经过像素重组层后，变为256个尺寸放大2倍(面积放大4倍)的特征图。通过像素重组，图像通道数(即特征图数量)缩减了4倍，特征图倍放大到预设尺寸，得到像素重组特征图。
217、通过图像重建模块对像素重组特征图进行图像重建，得到人脸图像的超分辨率重建图像。
请参阅图11，图像重建模块包括第七卷积层、ReLU激活层和第八卷积层。第七卷积层的输入通道数大于输出通道数，用于缩减图像通道数。第七卷积层的输入通道数等于像素重组层输出的特征图的数量，第七卷几层的输出通道数等于特征提取模块的输入通道数，以使得人脸超分辨率重建模型输入和输出的图像拥有一致的图像通道书。例如，第七卷积层的输入通道数可以为256，输出通道数可以为3。像素重组后的256个像素重组特征图经过第七卷积层进行卷积处理后，缩减为3个特征图，分别对应人脸图像的3个图像通道。3个特征图通过ReLU激活层激活后输入第八卷积层。
第八卷积层的输入通道数等于输出通道数，用于根据特征图进行图像重建。例如，第八卷几层的输入通道数和输出通道数都等于3，第八卷积层即根据3个特征图重建出3通道图像，得到高分辨率的超分辨率重建图像。
由上述可知，本申请实施例所提供的特征处理方法首先获取特征图，特征图是对需要进行超分辨率重建的人脸图像进行特征提取得到的；通过空间注意力模块对特征图进行空间注意力操作，得到空间注意力特征图；通过通道注意力模块对特征图进行通道注意力操作，得到通道注意力特征图；然后对空间注意力特征图和通道注意力特征图进行拼接，得到用于超分辨率重建的注意力拼接特征图。本申请实施例在提取人脸图像特征时，将双重机制的注意力分支提取的特征进行拼接，增强了提取图像细节的能力，有助于恢复人脸图像中的细节，提高人脸图像的重建效果。并且，本申请实施例中残差注意力模块中的残差组和长跳跃连接融合了人脸图像的底层特征和深层特征，提升了模型的整体重建能力，人脸分割损失对人脸各个区域的边界进行监督，让模型能学习到更多的人脸细节信息，避免了人脸细节特征缺失导致的模式，提高了重建的人脸图像的质量。
为便于更好的实施本申请实施例提供的特征处理方法，本申请实施例还提供一种基于上述特征处理方法的装置。其中名词的含义与上述特征处理方法中相同，具体实现细节可以参考方法实施例中的说明。
请参阅图13，图13为本申请实施例提供的特征处理装置300的第一种结构示意图。该特征处理装置300包括特征提取模块301、空间注意力模块302、通道注意力模块303和特征拼接模块304：
特征提取模块301，用于获取特征图，特征图是对需要进行超分辨率重建的人脸图像进行特征提取得到的；
空间注意力模块302，用于通过空间注意力模块对特征图进行空间注意力操作，得到空间注意力特征图；
通道注意力模块303，用于通过通道注意力模块对特征图进行通道注意力操作，得到通道注意力特征图；
特征拼接模块304，用于对空间注意力特征图和通道注意力特征图进行拼接，得到用于超分辨率重建的注意力拼接特征图。
在一实施例中，空间注意力模块包括第一平均池化层、最大池化层、第一卷积层和第一激活函数层，在通过空间注意力模块对特征图进行空间注意力操作，得到空间注意力特征图时，空间注意力模块302可以用于：
通过第一平均池化层对特征图进行全局平均池化，得到平均池化结果；
通过最大池化层对特征图进行全局最大池化，得到最大池化结果；
对平均池化结果和最大池化结果进行拼接，得到空间特征描述子；
通过第一卷积层对空间特征描述子进行卷积处理，得到卷积处理后的空间特征描述子；
通过第一激活函数层对卷积处理后的空间特征描述子进行校准，得到空间注意力模块的中间特征图；
将特征图与空间注意力模块的中间特征图进行相乘，得到空间注意力特征图。
在一实施例中，通道注意力模块包括依次相连的第二平均池化层、第二卷积层和第二激活函数层，在通过通道注意力模块对特征图进行通道注意力操作，得到通道注意力特征图时，通道注意力模块303可以用于：
通过第二平均池化层对特征图进行全局平均池化，得到通道特征描述子；
通过第二卷积层对通道特征描述子进行卷积处理，得到卷积处理后的通道特征描述子；
通过第二激活函数层对卷积处理后的通道特征描述子进行校准，得到通道注意力模块的中间特征图；
将特征图与通道注意力模块的中间特征图进行相乘，得到通道注意力特征图。
在一实施例中，在获取特征图时，特征提取模块301可以用于：
将人脸图像输入用于进行超分辨率重建的人脸超分辨率模型，人脸超分辨率模型包括特征提取模块；
通过特征提取模块对人脸图像进行卷积处理，得到特征图。
在一实施例中，人脸超分辨率模型还包括注意力残差模块，注意力残差模块包括依次相连的多个残差组，每个残差组包括依次相连的多个双重注意力模块，每个双重注意力模块包括一个空间注意力模块和一个通道注意力模块。
请参阅图14，图14为本申请实施例提供的特征处理装置300的第二种结构示意图。在一实施例中，每个双重注意力模块还包括一个第三卷积层，特征处理装置300还包括第一处理模块305，在获取特征图之后，第一处理模块305可以用于：
通过第n个残差组的第i个双重注意力模块包括的第三卷积层对特征图进行卷积处理，得到卷积处理后的特征图。
在一实施例中，在通过空间注意力模块对特征图进行空间注意力操作，得到空间注意力特征图时，空间注意力模块302可以用于：
通过空间注意力模块对卷积处理后的特征图进行空间注意力操作，得到空间注意力特征图。
在一实施例中，在过通道注意力模块对特征图进行通道注意力操作，得到通道注意力特征图时，通道注意力模块303可以用于：
通过通道注意力模块对卷积处理后的特征图进行通道注意力操作，得到通道注意力特征图。
请继续参阅图14，在一实施例中，每个双重注意力模块中还包括一个第四卷积层，特征处理装置300还包括第二处理模块306，在对空间注意力特征图和通道注意力特征图进行拼接，得到用于超分辨率重建的注意力拼接特征图之后，第二处理模块306可以用于：
通过第n个残差组的第i个双重注意力模块的第四卷积层对注意力拼接特征图进行卷积处理，得到卷积处理后的注意力拼接特征图；
将卷积处理后的注意力拼接特征图与第i个双重注意力模块的输入进行相加，得到第i个双重注意力模块的输出。
其中，每个残差组还包括一个3×3卷积层，在得到第i个双重注意力模块的输出之后，该方法还包括以下步骤：
在第n个残差组中，将第i个双重注意力模块的输出作为第i+1个双重注意力模块的输入，通过依次相连的多个双重注意力模块进行双重注意力处理，得到双重注意力处理结果；
通过3×3卷积层对双重注意力处理结果进行3×3卷积处理，得到3×3卷积处理后的双重注意力处理结果；
将3×3卷积处理后的双重注意力处理结果与第n个残差组的输入进行相加，得到第n个残差组的输出。
请继续参阅图14，在一实施例中，特征处理装置300还包括第三处理模块307，在得到第n个残差组的输出之后，第三处理模块307可以用于：
将第n个残差组的输出作为第n+1个残差组的输入；
将最后一个残差组的输出和注意力残差模块的输入进行相加，得到注意力残差模块的输出。
请继续参阅图14，在一实施例中，特征处理装置300还包括上采样模块308，在得到注意力残差模块的输出之后，上采样模块308可以用于：
通过上采样模块对注意力残差模块的输出进行上采样处理，得到人脸图像的超分辨率重建图像。
其中，上采样模块包括像素重组模块和图像重建模块，通过像素重组模块对注意力残差模块的输出进行像素重组，得到像素重组特征图；通过图像重建模块对像素重组特征图进行图像重建，得到人脸图像的超分辨率重建图像。
请继续参阅图14，在一实施例中，特征处理装置300还包括训练模块309，在将人脸图像输入用于进行超分辨率重建的人脸超分辨率模型之前，训练模块309可以用于：
获取训练样本集，训练样本集包括低分辨率人脸图像样本以及对应的高分辨率人脸图像样本；
基于训练样本集，采用超分辨率损失函数进行多次循环迭代训练，得到人脸超分辨率模型。
其中，超分辨率损失函数为：
L＝Lδ+Lm；
Figure BDA0003097367430000201
Figure BDA0003097367430000202
其中，Lδ为Huber损失函数，Lm为人脸分割损失函数，IHR为低分辨率人脸图像样本对应的高分辨率人脸图像样本的样本真实值，
Figure BDA0003097367430000203
为低分辨率人脸图像样本在人脸超分辨率模型中的模型预测值，δ为预设的超参数，i为每个像素，N为样本的像素数量，c为人脸图像中各区域的类别，g为分类是否正确，S为对应各类别的概率。
由上述可知，本申请实施例提供了一种特征处理装置300，其中特征提取模块301获取特征图，特征图是对需要进行超分辨率重建的人脸图像进行特征提取得到的；空间注意力模块302通过空间注意力模块对特征图进行空间注意力操作，得到空间注意力特征图；通道注意力模块303通过通道注意力模块对特征图进行通道注意力操作，得到通道注意力特征图；然后特征拼接模块304对空间注意力特征图和通道注意力特征图进行拼接，得到用于超分辨率重建的注意力拼接特征图。本申请实施例在提取人脸图像特征时，将双重机制的注意力分支提取的特征进行拼接，增强了提取图像细节的能力，有助于恢复人脸图像中的细节，提高人脸图像的重建效果。
本申请实施例还提供一种电子设备400。请参阅图15，电子设备400包括处理器401以及存储器。其中，处理器401与存储器电性连接。
该处理器400是电子设备400的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或加载存储在存储器402内的计算机程序，以及通过存储在存储器402内的数据，执行电子设备400的各种功能并处理数据，从而对电子设备400进行整体监控。
该存储器402可用于存储软件程序以及模块，处理器401通过运行存储在存储器402的计算机程序以及模块，从而执行各种功能应用以及数据处理。存储器402可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的计算机程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储器402可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器402还可以包括存储器控制器，以提供处理器401对存储器402的访问。
在本申请实施例中，电子设备400中的处理器401会按照如下的步骤，将可在处理器401上执行的计算机程序存储在存储器402中，并由处理器401执行存储在存储器402中的计算机程序，从而实现各种功能，如下：
获取特征图，特征图是对需要进行超分辨率重建的人脸图像进行特征提取得到的；
通过空间注意力模块对特征图进行空间注意力操作，得到空间注意力特征图；
通过通道注意力模块对特征图进行通道注意力操作，得到通道注意力特征图；
对空间注意力特征图和通道注意力特征图进行拼接，得到用于超分辨率重建的注意力拼接特征图。
请一并参阅图16，在某些实施方式中，电子设备400还可以包括：显示器403、射频电路404、音频电路405以及电源406。其中，其中，显示器403、射频电路404、音频电路405以及电源406分别与处理器401电性连接。
该显示器403可以用于显示由用户输入的信息或提供给用户的信息以及各种图形用户接口，这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示器403可以包括显示面板，在某些实施方式中，可以采用液晶显示器(Liquid CrystalDisplay，LCD)、或者有机发光二极管(Organic Light-Emitting Diode，OLED)等形式来配置显示面板。
该射频电路404可以用于收发射频信号，以通过无线通信与网络设备或其他电子设备建立无线通讯，与网络设备或其他电子设备之间收发信号。
该音频电路405可以用于通过扬声器、传声器提供用户与电子设备之间的音频接口。
该电源406可以用于给电子设备400的各个部件供电。在一些实施例中，电源406可以通过电源管理系统与处理器401逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
尽管中未示出，电子设备400还可以包括摄像头、蓝牙模块等，在此不再赘述。
本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行以实现上述任一实施例中的特征处理方法，比如：获取特征图，特征图是对需要进行超分辨率重建的人脸图像进行特征提取得到的；通过空间注意力模块对特征图进行空间注意力操作，得到空间注意力特征图；通过通道注意力模块对特征图进行通道注意力操作，得到通道注意力特征图；对空间注意力特征图和通道注意力特征图进行拼接，得到用于超分辨率重建的注意力拼接特征图。
在本申请实施例中，计算机可读存储介质可以是磁碟、光盘、只读存储器(ReadOnly Memory，ROM)、或者随机存取记忆体(Random Access Memory，RAM)等。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
需要说明的是，对本申请实施例的特征处理方法而言，本领域普通测试人员可以理解实现本申请实施例的特征处理方法的全部或部分流程，是可以通过计算机程序来控制相关的硬件来完成，该计算机程序可存储于一计算机可读存储介质中，如存储在电子设备的存储器中，并被该电子设备内的至少一个处理器执行，在执行过程中可包括如特征处理方法的实施例的流程。其中，该计算机可读存储介质可为磁碟、光盘、只读存储器、随机存取记忆体等。
对本申请实施例的特征处理装置而言，其各功能模块可以集成在一个处理芯片中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。该集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读存储介质中，该计算机可读存储介质譬如为只读存储器，磁盘或光盘等。
本文所使用的术语「模块」可看做为在该运算系统上执行的软件对象。本文该的不同组件、模块、引擎及服务可看做为在该运算系统上的实施对象。而本文该的装置及方法优选的以软件的方式进行实施，当然也可在硬件上进行实施，均在本申请保护范围之内。
以上对本申请实施例所提供的一种特征处理方法、装置、计算机可读存储介质及电子设备进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本申请的限制。

Claims (16)

1.一种特征处理方法，其特征在于，包括：
获取特征图，所述特征图是对需要进行超分辨率重建的人脸图像进行特征提取得到的；
通过空间注意力模块对所述特征图进行空间注意力操作，得到空间注意力特征图；
通过通道注意力模块对所述特征图进行通道注意力操作，得到通道注意力特征图；
对所述空间注意力特征图和所述通道注意力特征图进行拼接，得到用于超分辨率重建的注意力拼接特征图。
2.根据权利要求1所述的方法，其特征在于，所述空间注意力模块包括第一平均池化层、最大池化层、第一卷积层和第一激活函数层，所述通过空间注意力模块对所述特征图进行空间注意力操作，得到空间注意力特征图，包括：
通过所述第一平均池化层对所述特征图进行全局平均池化，得到平均池化结果；
通过所述最大池化层对所述特征图进行全局最大池化，得到最大池化结果；
对所述平均池化结果和所述最大池化结果进行拼接，得到空间特征描述子；
通过所述第一卷积层对所述空间特征描述子进行卷积处理，得到卷积处理后的空间特征描述子；
通过所述第一激活函数层对所述卷积处理后的空间特征描述子进行校准，得到所述空间注意力模块的中间特征图；
将所述特征图与所述空间注意力模块的中间特征图进行相乘，得到空间注意力特征图。
3.根据权利要求2所述的方法，其特征在于，所述通道注意力模块包括依次相连的第二平均池化层、第二卷积层和第二激活函数层，所述通过通道注意力模块对所述特征图进行通道注意力操作，得到通道注意力特征图，包括：
通过所述第二平均池化层对所述特征图进行全局平均池化，得到通道特征描述子；
通过所述第二卷积层对所述通道特征描述子进行卷积处理，得到卷积处理后的通道特征描述子；
通过所述第二激活函数层对所述卷积处理后的通道特征描述子进行校准，得到所述通道注意力模块的中间特征图；
将所述特征图与所述通道注意力模块的中间特征图进行相乘，得到通道注意力特征图。
4.根据权利要求1-3任一项所述的方法，其特征在于，所述获取特征图，包括：
将所述人脸图像输入用于进行超分辨率重建的人脸超分辨率模型，所述人脸超分辨率模型包括特征提取模块；
通过所述特征提取模块对所述人脸图像进行卷积处理，得到特征图。
5.根据权利要求4所述的方法，其特征在于，所述将所述人脸图像输入用于进行超分辨率重建的人脸超分辨率模型之前，所述方法还包括：
获取训练样本集，所述训练样本集包括低分辨率人脸图像样本以及对应的高分辨率人脸图像样本；
基于所述训练样本集，采用超分辨率损失函数进行多次循环迭代训练，得到所述人脸超分辨率模型。
6.根据权利要求5所述的方法，其特征在于，所述超分辨率损失函数为：
Figure FDA0003097367420000021
Figure FDA0003097367420000022
Figure FDA0003097367420000023
其中，Lδ为Huber损失函数，Lm为人脸分割损失函数，IHR为低分辨率人脸图像样本对应的高分辨率人脸图像样本的样本真实值，
Figure FDA0003097367420000024
为所述低分辨率人脸图像样本在所述人脸超分辨率模型中的模型预测值，δ为预设的超参数，i为每个像素，N为样本的像素数量，c为所述人脸图像中各区域的类别，g为分类是否正确，S为对应各类别的概率。
7.根据权利要求4所述的方法，其特征在于，所述人脸超分辨率模型还包括注意力残差模块，所述注意力残差模块包括依次相连的多个残差组，每个残差组包括依次相连的多个双重注意力模块，每个双重注意力模块包括一个所述空间注意力模块和一个所述通道注意力模块。
8.根据权利要求7所述的方法，其特征在于，每个双重注意力模块还包括一个第三卷积层，所述获取特征图之后，所述方法还包括：
通过第n个残差组的第i个双重注意力模块包括的所述第三卷积层对所述特征图进行卷积处理，得到卷积处理后的特征图；
所述通过空间注意力模块对所述特征图进行空间注意力操作，得到空间注意力特征图，包括：
通过空间注意力模块对所述卷积处理后的特征图进行空间注意力操作，得到空间注意力特征图；
所述通过通道注意力模块对所述特征图进行通道注意力操作，得到通道注意力特征图，包括：
通过通道注意力模块对所述卷积处理后的特征图进行通道注意力操作，得到通道注意力特征图。
9.根据权利要求8所述的方法，其特征在于，每个双重注意力模块还包括一个第四卷积层，所述对所述空间注意力特征图和所述通道注意力特征图进行拼接，得到用于超分辨率重建的注意力拼接特征图之后，所述方法还包括：
通过所述第n个残差组的第i个双重注意力模块的所述第四卷积层对所述注意力拼接特征图进行卷积处理，得到卷积处理后的注意力拼接特征图；
将所述卷积处理后的注意力拼接特征图与所述第i个双重注意力模块的输入进行相加，得到所述第i个双重注意力模块的输出。
10.根据权利要求9所述的方法，其特征在于，每个残差组还包括一个3×3卷积层，所述得到所述第i个双重注意力模块的输出之后，所述方法还包括：
在所述第n个残差组中，将所述第i个双重注意力模块的输出作为第i+1个双重注意力模块的输入，通过所述依次相连的多个双重注意力模块进行双重注意力处理，得到双重注意力处理结果；
通过所述3×3卷积层对所述双重注意力处理结果进行3×3卷积处理，得到3×3卷积处理后的双重注意力处理结果；
将所述3×3卷积处理后的双重注意力处理结果与所述第n个残差组的输入进行相加，得到所述第n个残差组的输出。
11.根据权利要求10所述的方法，其特征在于，所述得到所述第n个残差组的输出之后，所述方法还包括：
将所述第n个残差组的输出作为第n+1个残差组的输入；
将最后一个残差组的输出和所述注意力残差模块的输入进行相加，得到所述注意力残差模块的输出。
12.根据权利要求11所述的方法，其特征在于，所述人脸超分辨率模型还包括上采样模块，所述得到所述注意力残差模块的输出之后，所述方法还包括：
通过所述上采样模块对所述注意力残差模块的输出进行上采样处理，得到所述人脸图像的超分辨率重建图像。
13.根据权利要求12所述的方法，其特征在于，所述上采样模块包括像素重组模块和图像重建模块，所述通过所述上采样模块对所述注意力残差模块的输出进行上采样处理，得到所述人脸图像的超分辨率重建图像，包括：
通过所述像素重组模块对所述注意力残差模块的输出进行像素重组，得到像素重组特征图；
通过所述图像重建模块对所述像素重组特征图进行图像重建，得到所述人脸图像的超分辨率重建图像。
14.一种特征处理装置，其特征在于，包括：
特征提取模块，用于获取特征图，所述特征图是对需要进行超分辨率重建的人脸图像进行特征提取得到的；
空间注意力模块，用于通过所述空间注意力模块对所述特征图进行空间注意力操作，得到空间注意力特征图；
通道注意力模块，用于通过所述通道注意力模块对所述特征图进行通道注意力操作，得到通道注意力特征图；
特征拼接模块，用于对所述空间注意力特征图和所述通道注意力特征图进行拼接，得到用于超分辨率重建的注意力拼接特征图。
15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行以实现如权利要求1至13任一项所述的特征处理方法。
16.一种电子设备，其特征在于，所述电子设备包括处理器、存储器以及存储于所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序以实现如权利要求1至13任一项所述的特征处理方法。
CN202110614206.3A 2021-06-02 2021-06-02 特征处理方法、装置、计算机可读存储介质及电子设备 Pending CN115496651A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110614206.3A CN115496651A (zh) 2021-06-02 2021-06-02 特征处理方法、装置、计算机可读存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110614206.3A CN115496651A (zh) 2021-06-02 2021-06-02 特征处理方法、装置、计算机可读存储介质及电子设备

Publications (1)

Publication Number Publication Date
CN115496651A true CN115496651A (zh) 2022-12-20

Family

ID=84465550

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110614206.3A Pending CN115496651A (zh) 2021-06-02 2021-06-02 特征处理方法、装置、计算机可读存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN115496651A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115661911A (zh) * 2022-12-23 2023-01-31 四川轻化工大学 一种人脸特征提取方法、设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115661911A (zh) * 2022-12-23 2023-01-31 四川轻化工大学 一种人脸特征提取方法、设备及存储介质

Similar Documents

Publication Publication Date Title
Lan et al. MADNet: A fast and lightweight network for single-image super resolution
Liu et al. Residual feature aggregation network for image super-resolution
Zhang et al. Multiple cycle-in-cycle generative adversarial networks for unsupervised image super-resolution
CN111369440B (zh) 模型训练、图像超分辨处理方法、装置、终端及存储介质
CN110533594B (zh) 模型训练方法、图像重建方法、存储介质及相关设备
US11367163B2 (en) Enhanced image processing techniques for deep neural networks
Han et al. STNet: An end-to-end generative framework for synthesizing spatiotemporal super-resolution volumes
CN112950471A (zh) 视频超分处理方法、装置、超分辨率重建模型、介质
CN112488923A (zh) 图像超分辨率重建方法、装置、存储介质及电子设备
CN110958469A (zh) 视频处理方法、装置、电子设备及存储介质
Hou et al. Learning based image transformation using convolutional neural networks
Zhao et al. Generating photographic faces from the sketch guided by attribute using GAN
Din et al. Effective removal of user-selected foreground object from facial images using a novel GAN-based network
Lee et al. Resolution-preserving generative adversarial networks for image enhancement
Liu et al. Multi-scale residual hierarchical dense networks for single image super-resolution
CN113469292A (zh) 视频合成模型的训练方法、合成方法、装置、介质和设备
CN115797176A (zh) 一种图像超分辨率重建方法
Liu et al. Learning from EPI-volume-stack for light field image angular super-resolution
CN115496651A (zh) 特征处理方法、装置、计算机可读存储介质及电子设备
WO2022002964A1 (en) High-resolution controllable face aging with spatially-aware conditional gans
Kim et al. Progressive contextual aggregation empowered by pixel-wise confidence scoring for image inpainting
CN117237547A (zh) 图像重建方法、重建模型的处理方法和装置
CN113240780B (zh) 生成动画的方法和装置
Wu et al. Non‐uniform image blind deblurring by two‐stage fully convolution network
Huang et al. Single image super-resolution reconstruction of enhanced loss function with multi-gpu training

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination