CN115797165A - 图像处理方法、装置、电子设备及存储介质 - Google Patents
图像处理方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN115797165A CN115797165A CN202211240420.8A CN202211240420A CN115797165A CN 115797165 A CN115797165 A CN 115797165A CN 202211240420 A CN202211240420 A CN 202211240420A CN 115797165 A CN115797165 A CN 115797165A
- Authority
- CN
- China
- Prior art keywords
- image
- processed
- module
- feature
- super
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 32
- 238000003860 storage Methods 0.000 title claims abstract description 25
- 238000003672 processing method Methods 0.000 title claims abstract description 22
- 238000000034 method Methods 0.000 claims abstract description 46
- 238000013507 mapping Methods 0.000 claims abstract description 44
- 238000010586 diagram Methods 0.000 claims abstract description 28
- 238000000605 extraction Methods 0.000 claims abstract description 23
- 238000010606 normalization Methods 0.000 claims description 34
- 238000004590 computer program Methods 0.000 claims description 23
- 238000004364 calculation method Methods 0.000 claims description 12
- 230000004927 fusion Effects 0.000 claims description 10
- 238000005070 sampling Methods 0.000 claims description 10
- 230000006798 recombination Effects 0.000 claims description 8
- 238000005215 recombination Methods 0.000 claims description 8
- 239000011800 void material Substances 0.000 claims description 6
- 230000008569 process Effects 0.000 description 21
- 238000004891 communication Methods 0.000 description 14
- 238000005516 engineering process Methods 0.000 description 9
- 238000012549 training Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 238000005457 optimization Methods 0.000 description 6
- 230000009286 beneficial effect Effects 0.000 description 5
- 238000000926 separation method Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000003993 interaction Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 230000008439 repair process Effects 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 235000019800 disodium phosphate Nutrition 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000037361 pathway Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000013138 pruning Methods 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
Abstract
本申请实施例提供了一种图像处理方法、装置、电子设备及存储介质，涉及图像处理技术领域。其中，该图像处理方法包括：获取待处理图像；将所述待处理图像输入超分辨率网络模型进行特征提取，得到所述待处理图像的图像特征；基于所述超分辨率网络模型中注意力分支所提供的广阔感受野，对所述待处理图像的图像特征进行非线性映射，得到所述待处理图像对应的特征图；根据所述待处理图像对应的特征图为所述待处理图像进行特征重建，将所述待处理图像恢复为具有更高分辨率的目标图像。本申请实施例解决了相关技术中受限于电子设备的硬件资源配置而无法兼顾超分辨率重建性能和模型运行时长的问题。
Description
技术领域
本申请涉及图像处理技术领域，具体而言，本申请涉及一种图像处理方法、装置、电子设备及存储介质。
背景技术
随着人们对高分辨率图像的需求，超分辨率技术被广泛地应用于不同场景，例如，超分辨率技术可以应用在图像画质优化、视频修复、直播画面优化等场景。其中，超分辨率技术是指从低分辨率的图像恢复出高分辨率的图像。
目前，现有的超分辨率网络模型通常部署在硬件资源配置较高的电子设备中，例如，电子设备可以是台式电脑、服务器等，以此方能够基于充足的计算资源来保证足够高的超分辨率重建性能以及较短的模型运行时间。
随着移动终端技术的迅速发展，用户越来越多地利用计算资源有限但便携性强的电子设备观看视频、直播等，例如，电子设备可以是智能手机、平板电脑、笔记本电脑等便携式移动终端，然而，在这些电子设备中部署现有的超分辨率网络模型，由于计算资源有限，为了使得视频修复、直播画面优化等场景仍然具有足够高的超分辨率重建性能，往往需要较长的模型运行时间，这就可能导致用户观看视频、直播时不够流畅。
发明内容
本申请各实施例提供了一种图像处理方法、装置、电子设备及存储介质，可以解决相关技术中受限于电子设备的硬件资源配置而无法兼顾超分辨率重建性能和模型运行时长的问题。所述技术方案如下：
根据本申请实施例的一个方面，一种图像处理方法，所述方法包括：获取待处理图像；将所述待处理图像输入超分辨率网络模型进行特征提取，得到所述待处理图像的图像特征；基于所述超分辨率网络模型中注意力分支所提供的广阔感受野，对所述待处理图像的图像特征进行非线性映射，得到所述待处理图像对应的特征图；根据所述待处理图像对应的特征图为所述待处理图像进行特征重建，将所述待处理图像恢复为具有更高分辨率的目标图像。
根据本申请实施例的一个方面，一种图像处理装置，所述装置包括：图像获取模块，用于获取待处理图像；特征提取模块，用于将所述待处理图像输入超分辨率网络模型进行特征提取，得到所述待处理图像的图像特征；映射模块，用于基于所述超分辨率网络模型中注意力分支所提供的广阔感受野，对所述待处理图像的图像特征进行非线性映射，得到所述待处理图像对应的特征图；特征重建模块，用于根据所述待处理图像对应的特征图为所述待处理图像进行特征重建，将所述待处理图像恢复为具有更高分辨率的目标图像。
在一示例性实施例中，所述注意力分支包括一个用于通道融合的点向卷积层、以及多个用于扩大感受野的深度向卷积层；所述装置还包括：权重计算模块，用于通过所述注意力分支，为所述非线性映射计算用于扩大感受野的权重。
在一示例性实施例中，至少一个所述深度向卷积层为深度向空洞卷积层；所述权重计算模块包括：融合单元，用于将所述待处理图像的图像特征输入所述注意力分支中的所述点向卷积层，进行通道融合；计算单元，用于通过所述注意力分支中的所述深度向卷积层和所述深度向空洞卷积层，为所述非线性映射进行权重计算。
在一示例性实施例中，所述超分辨率网络模型包括多个基础模块和主干卷积层；所述基础模块包括所述注意力分支；所述映射模块包括：特征输入单元，用于所述待处理图像的图像特征或前一个所述基础模块的输出特征，作为当前一个所述基础模块的输入特征；权重确定单元，用于通过各所述基础模块中的所述注意力分支，确定各所述基础模块的输入特征对应的权重；特征输出单元，用于基于各所述基础模块的输入特征及对应的权重，得到各所述基础模块的输出特征；特征图输出单元，用于将最后一个所述基础模块的输出特征输入所述主干卷积层，并基于残差连接对所述待处理图像的图像特征进行的特征传播，得到所述待处理图像对应的特征图。
在一示例性实施例中，所述基础模块还包括两个分支卷积层；所述特征输出单元包括：第一特征计算子单元，用于针对各所述基础模块，将所述基础模块的输入特征输入前一个分支卷积层进行计算，并基于前一个分支卷积层的卷积结果与所述输入特征对应的权重，计算得到中间特征；结果计算子单元，用于将所述中间特征输入后一个分支卷积层，得到后一个分支卷积层的卷积结果；第二特征计算子单元，用于基于残差连接对所述基础模块的输入特征进行的特征传播、以及后一个分支卷积层的卷积结果，计算得到待归一化特征；归一化子单元，用于对所述待归一化特征进行归一化处理，得到所述基础模块的输出特征。
在一示例性实施例中，在两个所述分支卷积层中，前一个分支卷积层的输入通道数量等于后一个分支卷积层的输出通道数量，前一个分支卷积层的输出通道数量等于后一个分支卷积层的输入通道数量，并且，前一个分支卷积层的输入通道数量小于输出通道数量。
在一示例性实施例中，所述归一化子单元包括：确定子单元，用于确定所述待归一化特征所对应特征图的通道数量、宽度和高度；特征分割子单元，用于基于所确定的宽度和高度，将所述归一化特征分割为多个像素特征；各所述像素特征分别对应所述待归一化特征所对应特征图中的一个像素点；计算子单元，用于基于所确定的通道数量，计算各所述像素特征的均值和方差；像素归一化子单元，用于基于各所述像素特征的均值和方差，对各所述像素特征进行归一化处理，得到所述基础模块的输出特征。
在一示例性实施例中，所述超分辨率网络模型包括上采样模块，所述上采样模块包括多个通道映射卷积层和多个像素重组层；所述特征重建模块包括：第一通道调整单元，用于将所述待处理图像对应的特征图输入所述上采样模块中的第一个通道映射卷积层，进行输出通道数量的调整；倍数调整单元，用于将调整输出通道数量后的特征图输入所述上采样模块中的第一个像素重组层，按照指定缩放倍数进行调整；第二通道调整单元，用于将调整指定缩放倍数后的特征图输入所述上采样模块中的第二个通道映射卷积层，继续输出通道数量的调整；直至所述上采样模块中的各通道映射卷积层和各像素重组层完成遍历，得到具有更高分辨率的所述目标图像。
根据本申请实施例的一个方面，一种电子设备，包括：至少一个处理器、至少一个存储器、以及至少一条通信总线，其中，存储器上存储有计算机程序，处理器通过通信总线读取存储器中的计算机程序；计算机程序被处理器执行时实现如上所述的图像处理方法。
根据本申请实施例的一个方面，一种存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如上所述的图像处理方法。
根据本申请实施例的一个方面，一种计算机程序产品，计算机程序产品包括计算机程序，计算机程序存储在存储介质中，计算机设备的处理器从存储介质读取计算机程序，处理器执行计算机程序，使得计算机设备执行时实现如上所述的图像处理方法。
本申请提供的技术方案带来的有益效果是：
在上述技术方案中，将待处理图像输入超分辨率网络模型进行特征提取，得到待处理图像的图像特征，并基于超分辨率网络模型中注意力分支所提供的广阔感受野，对待处理图像的图像特征进行非线性特征，得到待处理图像对应的特征图，并根据待处理图像对应的特征图为待处理图像进行特征重建，将待处理图像恢复为具有更高分辨率的目标图像，相较于现有的拥有较小的感受野的注意力机制，例如通道注意力、空间注意力、混合注意力等，超分辨率网络模型中的注意力分支能够提供广阔的感受野，从而能够有效地提高超分辨率重建性能，以此有利于缩短超分辨率网络模型在计算资源有限的电子设备中的模型运行时间，进而有效地解决了相关技术中受限于电子设备的硬件资源配置而无法兼顾超分辨率重建性能和模型运行时长的问题。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对本申请实施例描述中所需要使用的附图作简单地介绍。
图1是根据一示例性实施例示出的实施环境的示意图；
图2是根据一示例性实施例示出的一种图像处理方法的流程图；
图3是根据一示例性实施例示出的超分辨率网络模型的模型结构示意图；
图4是图2对应实施例中步骤350在一个实施例的流程图；
图5是根据一示例性实施例示出的注意力分支的结构示意图；
图6是根据一示例性实施例示出的基础模块的结构示意图；
图7是图4对应实施例中步骤355在一个实施例的流程图；
图8是图7对应实施例中步骤3557在一个实施例的流程图；
图9是根据一示例性实施例示出的像素归一化处理中归一化范围的示意图；
图10是图2对应实施例中步骤370在一个实施例的流程图；
图11是一应用场景中示出的一种视频修复方法的流程图；
图12是图11所示出的应用场景所涉及的超分辨率网络模型的模型结构示意图；
图13是根据一示例性实施例示出的一种图像处理装置的结构框图；
图14是根据一示例性实施例示出的一种终端的硬件结构图；
图15是根据一示例性实施例示出的一种电子设备的结构框图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能解释为对本申请的限制。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
下面是对本申请涉及的几个名词进行的介绍和解释：
LR，英文全称为Low Resolution，中文含义为低分辨率。
HR，英文全称为High Resolution，中文含义为高分辨率。
SR，英文全称为Super Resolution，中文含义为超分辨率。
PSNR，英文全称为Peak Signal to Noise Ratio，中文含义为峰值信噪比，作为超分辨率重建过程中的性能指标，用于衡量超分辨率重建性能，数值越大，表示超分辨率重建性能越高，亦即是图像恢复效果越好。
如前所述，面对计算资源有限但便携性强的电子设备，现有的超分辨率网络模型无法兼顾超分辨率重建性能和模型运行时长。
举例来说，用户通过智能手机观看直播时，为了满足用户对高分辨率图像的需求，智能手机基于已部署的超分辨率网络模型，将从具有较低分辨率的直播画面恢复出具有更高分辨率的直播画面，并向用户展示该具有更高分辨率的直播画面。
受限于智能手机有限的计算资源，若期望向用户展示足够清晰的直播画面，则超分辨率网络模型的模型结构通常较为复杂，例如分支众多，以此来保证足够高的超分辨率重建性能，然而，过多的分支容易占用较多内存，将导致模型运行时间较长，从而导致用户观看直播时可能出现卡顿，使得用户的观看体验不够流畅。
此时，为了弥补模型运行时间较长的劣势，往往需要在现有的模型结构基础上增加额外的重参化设计，很可能使得现有的模型结构进一步复杂化，同时不利于超分辨率网络模型的后续优化和实际应用。
可见，在面对计算资源有限的电子设备，如何兼顾超分辨率重建性能和模型运行时长亟待解决。
为此，本申请提供的图像处理方法，能够有效地提高超分辨率重建性能，进而有利于缩短超分辨率网络模型在计算资源有限的电子设备中的模型运行时间，相应地，该图像处理方法适用于图像处理装置、该图像处理装置可部署于计算资源有限但便携性强的电子设备，例如，该电子设备可以是智能手机、平板电脑、笔记本电脑等等。
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
图1为一种图像处理方法所涉及的一种实施环境的示意图。需要说明的是，该种实施环境只是一个适配于本发明的示例，不能认为是提供了对本发明的使用范围的任何限制。
该实施环境包括用户端110和服务端130。
具体地，用户端110，是指计算资源有限但便携性强的电子设备，例如，电子设备可以是智能手机、平板电脑、笔记本电脑等便携式移动终端，还可以是智能手表、智能眼镜、智能摄像头等智能终端，在此不构成具体限定。
服务端130，该服务端130可以是台式电脑、服务器等等电子设备，还可以是由多台服务器构成的计算机设备集群，甚至是由多台服务器构成的云计算中心。其中，服务端130用于提供后台服务，例如，后台服务包括但不限于为用户端110提供视频源等等。
服务端130与用户端110之间通过有线或者无线等方式预先建立网络通信连接，并通过该网络通信连接实现服务端130与用户端110之间的数据传输。传输的数据包括但不限于：视频及其中待处理图像等等。
通过用户端110与服务端130的交互，响应于用户端110发起的视频请求，存储有视频源的服务端130，向用户端110发送相应的视频。
对于用户端110而言，在接收到服务端130发送的视频中的各待处理图像之后，便能够基于已部署的超分辨率网络模型，将各待处理图像恢复为具有更高分辨率的各目标图像。
具体地，首先，将待处理图像输入超分辨率网络模型进行特征提取，得到待处理图像的图像特征；然后，基于超分辨率网络模型中注意力分支所提供的广阔感受野，对待处理图像的图像特征进行非线性映射，得到待处理图像对应的特征图；之后，根据待处理图像对应的特征图为待处理图像进行特征重建，最终得到具有更高分辨率的目标图像。
当然，根据实际营运的需求，用户端110与服务端130也可以整合在同一电子设备，以使超分辨率重建过程由该同一电子设备完成。例如，对于电子设备来说，在得到本地生成的待处理图像之后，可直接基于部署在本地的超分辨率网络模型，将该待处理图像恢复出具有更高分辨率的目标图像，从而达到图像画质优化的效果。
基于具有更高分辨率的目标图像，便能够向用户展示分辨率更高的图像，或者，为用户播放画质更好且更加流畅的视频、直播等，以此解决了相关技术中受限于电子设备的硬件资源配置而无法兼顾超分辨率重建性能和模型运行时长的问题。
请参阅图2，本申请实施例提供了一种图像处理方法，该方法适用于电子设备，该电子设备可以是计算资源有限但便携性强的电子设备，具体可以是图1所示出实施环境中的用户端110，例如，用户端110为智能手机、平板电脑、笔记本电脑等等。
以该方法各步骤的执行主体为电子设备为例进行说明，但是并非对此构成具体限定。
如图2所示，该方法可以包括以下步骤：
步骤310，获取待处理图像。
关于待处理图像的获取，可以来自于实时图像，例如，智能手机本地生成的待处理图像，还可以来自于预先存储的历史图像，例如，存储在服务端的视频源中的待处理图像。由此，图像处理，可以基于实时图像进行，以此提高处理实时性；还可以基于历史图像进行，以此提高处理效率，例如，在电子设备CPU利用率较低时进行，本实施例对此并未加以限定。
相应地，基于待处理图像的来源不同，本实施例所提供的图像处理方法将适用于不同的应用场景，例如，若待处理图像来自于实时图像，则图像处理方法可适用于图像画质优化场景；若待处理图像来自于历史图像，则图像处理方法可适用于视频修复、直播画面优化等场景，本实施例也对此并未加以限定。
补充说明的是，待处理图像可以是来源于一段视频中的某一帧画面，还可以是来源于多张照片中的某一张照片。基于此，本实施例所提供的图像处理方法可以基于一段视频中的任意一帧画面，也可以基于多张照片中的任意一张照片，换句话说，本实施例所提供的图像处理方法以帧为单位进行。
步骤330，将待处理图像输入超分辨率网络模型进行特征提取，得到待处理图像的图像特征。
其中，图像特征用于唯一地表示待处理图像，即图像特征通过数字方式对待处理图像进行准确地描述。应当理解，待处理图像不同，图像特征也各不相同。
在一种可能的实现方式，特征提取由超分辨率网络模型中的特征提取模块实现。其中，超分辨率网络模型用于将分辨率较低的待处理图像恢复为分辨率较高的目标图像。
在一种可能的实现方式，超分辨率网络模型至少包括：特征提取模块、非线性映射模块、特征重建模块。其中，特征提取模块用于对待处理图像进行特征提取；非线性映射模块用于对待处理图像的图像特征进行非线性映射；特征重建模块用于对待处理图像进行特征重建。
在一种可能的实现方式，特征提取模块由卷积层实现，该卷积层的卷积核为3×3。
步骤350，基于超分辨率网络模型中注意力分支所提供的广阔感受野，对待处理图像的图像特征进行非线性映射，得到待处理图像对应的特征图。
其中，非线性映射由超分辨率网络模型中的非线性映射模块实现，该非线性映射模块包括提供广阔感受野的注意力分支。
在一种可能的实现方式，注意力分支所提供的广阔感受野是通过增大注意力分支中卷积核大小实现的。此种方式下，相较于通道注意力、空间注意力、混合注意力、视野为1的像素注意力等具有较小感受野的注意力方式，提供广阔感受野的注意力分支在超分辨率重建过程中具有更加良好地性能。如表1所示，当卷积核由1增大至9，注意力分支的视野越大，性能指标PSNR越大，即图像恢复效果越好。
表1卷积核大小与性能指标PSNR
| 卷积核大小 | PSNR |
| 1 | 28.85 |
| 3 | 28.93 |
| 9 | 29.00 |
进一步地，发明人意识到，随着卷积核大小的增大，模型参数的数据量将随之增长，可能增加模型训练的难度。为此，在一种可能的实现方式，注意力分支所提供的广阔感受野是通过增大注意力分支中的卷积核大小，并结合通道分离卷积实现的。此种方式下，在基本保持性能指标PSNR的同时，大幅度消减了模型参数的数据量。如表2所示，在增大卷积核大小的前提下，结合通道分离卷积，模型参数的数据量消减了大约3M。
表2不同注意力分支与模型参数的数据量
| 注意力分支 | Params(K) |
| 大卷积核 | 4123 |
| 大卷积核+通道分离卷积 | 896 |
在一种可能的实现方式，注意力分支包括一个用于通道融合的点向卷积层、以及多个用于扩大感受野的深度向卷积层。在一种可能的实现方式，至少一个深度向卷积层为深度向空洞卷积层，即，注意力分支包括一个用于通道融合的点向卷积层、多个用于扩大感受野的深度向卷积层、至少一个深度向空洞卷积层。具体地，注意力分支包括一个点向卷积层、一个深度向卷积层、一个深度向空洞卷积层。当然，在其他实施例中，注意力分支中叠加的各卷积层的数量还可以根据应用场景的实际需要灵活地调整，本实施例中并非对此构成具体限定。
基于上述注意力分支的结构，注意力分支用于为非线性映射计算用于扩大感受野的权重。在一种可能的实现方式，将待处理图像的图像特征输入注意力分支中的点向卷积层，进行通道融合；通过注意力分支中的深度向卷积层和深度向空洞卷积层，为非线性映射进行权重计算。具体地，用于扩大感受野的权重依次经过一个点向卷积层、一个深度向卷积层、一个深度向空洞卷积层计算得到。当然，在其他实施例中，注意力分支中叠加的各卷积层的顺序也不局限于点向卷积层设置在最前面，而深度向空洞卷积层设置在最后面，还可以将深度向空洞卷积层设置在点向卷积层与深度向卷积层之间，本实施例中并非对此构成具体限定。
在计算得到用于扩大感受野的权重后，便能够进行关于待处理图像的非线性映射，以扩大待处理图像对应特征图的感受野，从而有利于后续超分辨率重建过程，使得具有较低分辨率的待处理图像恢复得到具有更高分辨率的目标图像。
步骤370，根据待处理图像对应的特征图为待处理图像进行特征重建，将待处理图像恢复为具有更高分辨率的目标图像。
其中，超分辨率重建过程，是指由具有较低分辨率的待处理图像恢复到具有更高分辨率的目标图像的过程。具体地，超分辨率重建过程包括将待处理图像对应的特征图输入超分辨率网络模型中的特征重建模块，以根据待处理图像对应的特征图为待处理图像进行特征重建，恢复得到具有更高分辨率的目标图像。
在一种可能的实现方式，特征重建模块由上采样模块实现，用于对待处理图像对应的特征图进行指定缩放倍数的调整。
通过上述过程，实现了将待处理图像恢复为具有更高分辨率的目标图像的超分辨率重建过程，相较于现有的拥有较小的感受野的注意力机制，例如通道注意力、空间注意力、混合注意力等，超分辨率网络模型中的注意力分支能够提供广阔的感受野，从而能够有效地提高超分辨率重建性能，以此有利于缩短超分辨率网络模型在计算资源有限的电子设备中的模型运行时间，进而有效地解决了相关技术中受限于电子设备的硬件资源配置而无法兼顾超分辨率重建性能和模型运行时长的问题。
请参阅图3，图3展示了超分辨率网络模型在一个实施例的模型结构示意图。在图3中，超分辨率网络模型包括特征提取模块301、多个基础模块302、主干卷积层303、以及特征重建模块304。
具体而言，特征提取模块301包括一个卷积层。
每个基础模块302均包含至少一个注意力分支。在一种可能的实现方式，注意力分支包括一个用于通道融合的点向卷积层、以及多个用于扩大感受野的深度向卷积层。在一种可能的实现方式，注意力分支包括一个用于通道融合的点向卷积层、多个用于扩大感受野的深度向卷积层、至少一个深度向空洞卷积层。
特征重建模块304包括一个上采样模块。
请参阅图4，在一示例性实施例中，步骤350可以包括以下步骤：
步骤351，以待处理图像的图像特征或前一个基础模块的输出特征，作为当前一个基础模块的输入特征。回请参阅图3，待处理图像ILR输入特征提取模块301进行特征提取，得到待处理图像ILR的图像特征x0，作为第一个基础模块302的输入特征。
同理，第一个基础模块302的输出特征传输至第二个基础模块，作为第二个基础模块的输入特征，以此类推，倒数第二个基础模块的输出特征传输至最后一个基础模块，作为最后一个基础模块的输入特征。
步骤353，通过各基础模块中的注意力分支，确定各基础模块的输入特征对应的权重。
图5展示了基础模块中注意力分支在一个实施例的结构示意图。在图5中，注意力分支包括一个点向卷积层401、一个深度向卷积层402、以及一个深度向空洞卷积层403。
基于该注意力分支中不同卷积层的叠加，基础模块的输入特征在通过一个激活函数(Gelu)输入该注意力分支后，便能够形成用于扩大感受野的对应权重xatten。在一种可能的实现方式，权重的视野不小于7，与各卷积层的卷积核大小、深度向空洞卷积层的扩张率相关。
步骤355，基于各基础模块的输入特征及对应的权重，得到各基础模块的输出特征。
如图5所示，基础模块的输出特征fVAB＝基础模块的输入特征xa·权重xatten。
步骤357，将最后一个基础模块的输出特征输入主干卷积层，并基于残差连接对待处理图像的图像特征进行的特征传播，得到待处理图像对应的特征图。
回请参阅图3，待处理图像ILR的图像特征x0依次经过多个基础模块302，直至得到最后一个基础模块的输出特征，并输入主干卷积层303进行计算，得到主干卷积层303的卷积结果xref。
同时，待处理图像ILR的图像特征x0将通过残差连接305的特征传播，传输至主干卷积层303之后，与主干卷积层303的卷积结果xref相加，从而得到待处理图像对应的特征图xmap。
计算公式(1)如下所示：
其中，主干卷积层303的卷积结果
表示第一个基础模块的输出特征。
在得到待处理图像对应的特征图xmap之后，便将该待处理图像对应的特征图xmap输入特征重建模块304，最终得到具有更高分辨率的目标图像ISR。
值得一提的是，为了进一步减少模型参数的数据量，本实施例中，主干卷积层采用分组卷积，即将主干卷积层的参数group由1修改为输入通道数量的整除倍数。例如，假设输入通道数量为32，则主干卷积层的参数group可以由1修改为2、4、8、16、32中的任意一种。应当理解，参数group越大，模型参数的数据量越小，本实施例对此并未加以限定。
表3不同超分辨率网络模型结构与模型参数的数据量
| 超分辨率网络模型结构 | Params(K) |
| 大卷积核 | 4123 |
| 大卷积核+通道分离卷积 | 896 |
| 大卷积核+通道分离卷积+分组卷积 | 223 |
在上述过程中，如表3所示，相较于表2中不同注意力分支下模型参数的数据量，在超分辨率网络模型中，进一步结合采用分组卷积的主干卷积层，模型参数的数据量将进一步有效地减少，从而有利于实现轻量级的超分辨率网络模型。
请参阅图6，图6展示了基础模块在一个实施例的结构示意图。在图6中，基础模块VAB包括：注意力分支、两个分支卷积层501、502、以及归一化模块503。
如图6所示，该注意力分支具体包括一个点向卷积层401、一个深度向卷积层402、以及一个深度向空洞卷积层403。
在一种可能的实现方式，各分支卷积层的卷积核均为1×1。在此说明的是，如前所述，为了提高超分辨率网络模型的性能指标，卷积核越大越好，同时也会增加模型参数的数据量，在本实施例中，由于注意力分支提供了相较于卷积核9×9更为广阔的感受野，使得超分辨率网络模型的性能指标得到了极大地提升，故，分支卷积层的卷积核大小方才能够从3×3调整至1×1，以在保持超分辨率网络模型的性能指标的前提下，进一步有效地减少模型参数的数据量，从而进一步有利于实现轻量级的超分辨率网络模型。
当然，在其他实施例中，两个分支卷积层不局限于分别位于注意力分支的首尾两端，也可以依次连接在注意力分支的输出端之后，或者，还可以依次连接在注意力分支的输入端之前，此处并非构成具体限定。
在一种可能的实现方式，两个分支卷积层采用反瓶颈式的通道数量配置。具体是指，在两个分支卷积层中，前一个分支卷积层的输入通道数量等于后一个分支卷积层的输出通道数量，前一个分支卷积层的输出通道数量等于后一个分支卷积层的输入通道数量，并且，前一个分支卷积层的输入通道数量小于输出通道数量。例如，在图5中，分支卷积层501的输入通道数量为48，输出通道数量为64，即分支卷积层501的输入输出维度为(48,64)；相反地，分支卷积层502的输入通道数量为64，输出通道数量为48，即分支卷积层502的输入输出维度为(64,48)。此种方式下，在保持超分辨率网络模型的性能指标的同时大大地减少模型参数的数据量。
请参阅图7，在一示例性实施例中，步骤355可以包括以下步骤：
步骤3551，针对各基础模块，将基础模块的输入特征输入前一个分支卷积层进行计算，并基于前一个分支卷积层的卷积结果与输入特征对应的权重，计算得到中间特征。
步骤3553，将中间特征输入后一个分支卷积层，得到后一个分支卷积层的卷积结果。
步骤3555，基于残差连接对基础模块的输入特征进行的特征传播、以及后一个分支卷积层的卷积结果，计算得到待归一化特征。
步骤3557，对待归一化特征进行归一化处理，得到基础模块的输出特征。
回请参阅图6，对于每一个基础模块而言，首先，基础模块VAB的输入特征xa经过1×1卷积的映射并将通道数由48提升至64，得到分支卷积层501的卷积结果xb。一方面，分支卷积层501的卷积结果xb经过激活函数Gelu输入至注意力分支中叠加的各卷积层(401至403)进行对应权重xatten的计算；另一方面，分支卷积层501的卷积结果xb与对应权重xatten点乘，得到中间特征xc。
然后，中间特征xc经过1×1卷积的映射并将通道数由64缩小为48，得到分支卷积层502的卷积结果。同时，通过残差连接504的特征传播，基础模块VAB的输入特征xa传输至分支卷积层502之后，与分支卷积层502的卷积结果相加，得到待归一化特征xd。
最后，通过归一化模块503对待归一化特征xd进行的归一化处理，最终输出基础模块VAB的输出特征fVAB。其中，归一化处理可以是层归一化、批归一化、分组归一化、实例归一化、像素归一化等处理方式，此处并未加以限定。
上述过程中，在超分辨率网络模型中，采用将两个分支卷积层的卷积核大小由3×3调整至1×1，和/或，反瓶颈式的通道数量配置，模型参数的数据量能够从223K进一步减少至152K，从而进一步有利于实现轻量级的超分辨率网络模型。
随着模型参数的数据量的不断减少，超分辨率网络模型愈发地精巧，有利于实现轻量级的超分辨率网络模型，进而有利于部署于计算资源有限的电子设备中，与此同时，发明人发现，轻量级的超分辨率网络模型可能导致模型训练变得相对困难，例如，模型训练过程中学习率无法正常收敛，导致模型训练时间过长，并最终影响超分辨率网络模型的性能指标(例如，PSNR由29下降至28.48)。基于此，本实施例中，归一化处理是指像素归一化处理。
现结合图8和图9，对像素归一化处理过程进行以下详细地说明：
如图8所示，在一示例性实施例中，步骤3557可以包括以下步骤：
步骤410，确定待归一化特征所对应特征图的通道数量、宽度和高度。
步骤430，基于所确定的宽度和高度，将归一化特征分割为多个像素特征。
其中，各像素特征分别对应待归一化特征所对应特征图中的一个像素点。
步骤450，基于所确定的通道数量，计算各像素特征的均值和方差。
步骤470，基于各像素特征的均值和方差，对各像素特征进行归一化处理，得到基础模块的输出特征。
如图9所示，待归一化特征所对应的特征图为601，也可以理解为，该特征图601实质是长度为C，高度为H，宽度为W的特征矩阵，从而确定相应的通道数量为C、宽度为W、以及高度为H，即为像素归一化的归一化范围。
对于特征图601的横截面602而言，实质是宽度为W且高度为H的矩形，则视作该矩形包含H×W个像素点。那么，基于该H×W个像素点，便可将待归一化特征分割为H×W个长度为C的像素特征，每一个该像素特征对应该矩形中的一个像素点。
针对H×W个长度为C的像素特征，第i个像素特征xi按照以下计算公式(2-4)进行归一化处理：
其中，
表示归一化处理后的第i个像素特征；
表示第i个像素特征xi中对应于第j个通道的像素特征；μi表示第i个像素特征的均值；σi表示第i个像素特征的方差。
γ和β是归一化处理中用于放缩的可学习参数，与xi的维度大小相同；ε是防止除0溢出的微小值。
在得到归一化处理后的各像素特征后，便能够进一步地根据归一化处理后的各像素特征得到基础模块的输出特征。
在上述实施例的作用下，实现了以独立像素点作为归一化范围的像素归一化，不仅保证了待归一化特征的归一化过程更加地细致，而且保证了特征图中携带大量信息点的各像素点的归一化处理有所差异，从而能够保证模型训练的稳定性，进而有利于模型训练过程中学习率的正常收敛，以此缩短模型训练时间，有效地降低了轻量级的超分辨率网络模型的模型训练难度，并使得超分辨率网络模型的性能指标得以提升，例如，PSNR由28.48提升至28.52。
在一种可能的实现方式，特征重建模块包括上采样模块，该上采样模块包括多个通道映射卷积层和多个像素重组层。
在一种可能的实现方式，每一个通道映射卷积层的卷积核均为3×3。
在一种可能的实现方式，每一个像素重组层均用于将缩小的特征图进行2倍放大。
请参阅图10，在一示例性实施例中，步骤370可以包括以下步骤：
步骤371，将待处理图像对应的特征图输入上采样模块中的当前一个通道映射卷积层，进行输出通道数量的调整。
其中，调整后的输出通道数量与第一个像素重组层的输入通道匹配。例如，若第一个像素重组层的输入通道为48，那么，第一个通道映射卷积层无论输入通道是多少，输出通道需要按照第一个像素重组层的输入通道数量相应地调整为48。
步骤373，将调整输出通道数量后的特征图输入上采样模块中的当前一个像素重组层，按照指定缩放倍数进行调整。
其中，指定缩放倍数可以根据应用场景的实际需要灵活地调整，此处并未加以限定。
步骤与375，确定上采样模块中是否还存在后一个像素重组层。
若上采样模块中还存在后一个通道映射卷积层，即视为还存在后一个像素重组层，则返回步骤371，将调整指定缩放倍数后的特征图输入上采样模块中的后一个通道映射卷积层，继续输出通道数量的调整。
反之，若上采样模块中不存在后一个通道映射卷积层，即视为不存在后一个像素重组层，表示上采样模块中的各通道映射卷积层和各像素重组层完成遍历，则执行步骤377。
步骤377，由待处理图像恢复得到具有更高分辨率的目标图像。
在上述实施例的作用下，利用上采样模块中的多像素重组层结构，替代差值、解卷积、或者单个高倍的像素重组层来实现上采样，例如，在上采样模块中，用于实现上采样的一个4倍的像素重组层将由两个卷积层和两个2倍的像素重组层替代。此种方式下，虽然模型参数的数据量会有所增加，例如，由152K增加至156K，但是超分辨率网络模型的性能指标却能够得到极大地提升，例如，PSNR由28.52提升至28.86，从而充分保证了轻量级的超分辨率网络模型具有高性能。
图11和图12是一应用场景中一种图像处理方法的具体实现示意图。该应用场景为适应于智能手机的视频修复场景，该智能手机中预先部署有高性能且轻量级的超分辨率网络模型。
在该应用场景中，如图11所示，视频修复的过程可以包括以下步骤：
步骤710，从待修复视频中得到多个待处理图像。
例如，用户想观看视频A，便可借助智能手机向服务端发送视频请求，该视频请求携带有视频A对应的存储链接，进而使得存储有视频源的服务端响应于该视频请求而将视频A返回至智能手机。对于智能手机来说，该视频A即视为待修复视频。
在图12中，待修复视频中得到的多个待处理图像701，将依次输入超分辨率网络模型完成超分辨率重建过程。
步骤730，调用包含了提供广阔感受野的注意力分支的超分辨率网络模型，将各待处理图像恢复为具有更高分辨率的各目标图像。
如图12所示，超分辨率网络模型包括：3×3卷积层构成的特征提取模块702、多个基础模块703、3×3分组卷积层(group＝2)构成的主干卷积层704、上采样模块构成的特征重建模块705。其中，上采样模块包括两个3×3通道映射卷积层和两个2倍像素重组层。
对于每一个基础模块703而言，基础模块703包括：一、由1×1点向卷积层804、5×5深度向卷积层805、5×5卷积且空洞＝3的深度向空洞卷积层806依次叠加形成的注意力分支，能够得到视野为17的权重，相较于现有的感受野较小的通道注意力、空间注意力、混合注意力、视野为1的像素注意力等注意力方式，有效地扩大了超分辨率网络模型的感受野；二、与注意力分支首尾两端相连的1×1卷积且输入输出维度(48,64)的分支卷积层801、以及1×1卷积且输入输出维度(64,48)的分支卷积层802；三、像素归一化模块803。
基于上述轻量级模型结构的超分辨率网络模型，便能够实现高性能的超分辨重建过程，由具有较低分辨率的各待处理图像701恢复得到具有较高分辨率的各目标图像707。
步骤750，向用户展示各目标图像。
对于智能手机来说，在得到目标图像707之后，便可向用户展示该目标图像707，即播放画面更优质的视频A’。
基于上述过程，超分辨率网络模型不仅具有足够高的超分辨率重建性能，而且模型结构更简单，适用于计算资源有限的智能手机，同时兼顾了模型运行时长，从而能够良好地满足实时响应要求高的视频，使得视频播放无卡顿更加流畅，进而有效地提高了用户的娱乐体验。
下述为本申请装置实施例，可以用于执行本申请所涉及的方法。对于本申请装置实施例中未披露的细节，请参照本申请所涉及的方法实施例。
请参阅图13，本申请实施例中提供了一种图像处理装置900，包括但不限于：图像获取模块910、特征提取模块930、映射模块950、以及特征重建模块970。
其中，图像获取模块910，用于获取待处理图像。
特征提取模块930，用于将待处理图像输入超分辨率网络模型进行特征提取，得到待处理图像的图像特征。
映射模块950，用于基于超分辨率网络模型中注意力分支所提供的广阔感受野，对待处理图像的图像特征进行非线性映射，得到待处理图像对应的特征图。
特征重建模块970，用于根据待处理图像对应的特征图为待处理图像进行特征重建，将待处理图像恢复为具有更高分辨率的目标图像。
需要说明的是，上述实施例所提供的图像处理装置在进行图像处理时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即图像处理装置的内部结构将划分为不同的功能模块，以完成以上描述的全部或者部分功能。
请参阅图14，图14是根据一示例性实施例示出的一种终端的结构示意图。该终端可以是智能手机。
需要说明的是，该终端只是一个适配于本申请的示例，不能认为是提供了对本申请的使用范围的任何限制。该终端也不能解释为需要依赖于或者必须具有图14中示出的示例性的终端1100中的一个或者多个组件。
如图14所示，终端1100包括存储器101、存储控制器103、一个或多个(图14中仅示出一个)处理器105、外设接口107、射频模块109、定位模块111、摄像模块113、音频模块115、触控屏幕117以及按键模块119。这些组件通过一条或多条通讯总线/信号线121相互通讯。
其中，存储器101可用于存储计算机程序以及模块，如本申请示例性实施例中的信息推荐方法及装置对应的计算机程序及模块，处理器105通过运行存储在存储器101内的计算机程序，从而执行各种功能以及数据处理，即完成图像处理方法。
存储器101作为资源存储的载体，可以是随机存储器、例如高速随机存储器、非易失性存储器，如一个或多个磁性存储装置、闪存、或者其它固态存储器。存储方式可以是短暂存储或者永久存储。
外设接口107可以包括至少一有线或无线网络接口、至少一串并联转换接口、至少一输入输出接口以及至少一USB接口等，用于将外部各种输入/输出装置耦合至存储器101以及处理器105，以实现与外部各种输入/输出装置的通信。
射频模块109用于收发电磁波，实现电磁波与电信号的相互转换，从而通过通讯网络与其他设备进行通讯。通信网络包括蜂窝式电话网、无线局域网或者城域网，上述通信网络可以使用各种通信标准、协议及技术。
定位模块111用于获取终端1100的当前所在的地理位置。定位模块111的实例包括但不限于全球卫星定位系统(GPS)、基于无线局域网或者移动通信网的定位技术。
摄像模块113隶属于摄像头，用于拍摄图片或者视频。拍摄的图片或者视频可以存储至存储器101内，还可以通过射频模块109发送至上位机。
音频模块115向用户提供音频接口，其可包括一个或多个麦克风接口、一个或多个扬声器接口以及一个或多个耳机接口。通过音频接口与其它设备进行音频数据的交互。音频数据可以存储至存储器101内，还可以通过射频模块109发送。
触控屏幕117在终端1100与用户之间提供一个输入输出界面。具体地，用户可通过触控屏幕117进行输入操作，例如点击、触摸、滑动等手势操作，以使终端1100对该输入操作进行响应。终端1100则将文字、图片或者视频任意一种形式或者组合所形成的输出内容通过触控屏幕117向用户显示输出。
按键模块119包括至少一个按键，用以提供用户向终端1100进行输入的接口，用户可以通过按下不同的按键使终端1100执行不同的功能。例如，声音调节按键可供用户实现对终端1100播放的声音音量的调节。
可以理解，图14所示的结构仅为示意，终端1100还可包括比图14中所示更多或更少的组件，或者具有与图14所示不同的组件。图14中所示的各组件可以采用硬件、软件或者其组合来实现。
请参阅图15，本申请实施例中提供了一种电子设备4000，该电子设备400可以包括：智能手机、平板电脑、笔记本电脑等等。
在图15中，该电子设备4000包括至少一个处理器4001、至少一条通信总线4002以及至少一个存储器4003。
其中，处理器4001和存储器4003相连，如通过通信总线4002相连。可选地，电子设备4000还可以包括收发器4004，收发器4004可以用于该电子设备与其他电子设备之间的数据交互，如数据的发送和/或数据的接收等。需要说明的是，实际应用中收发器4004不限于一个，该电子设备4000的结构并不构成对本申请实施例的限定。
处理器4001可以是CPU(Central Processing Unit，中央处理器)，通用处理器，DSP(Digital Signal Processor，数据信号处理器)，ASIC(Application SpecificIntegrated Circuit，专用集成电路)，FPGA(Field Programmable Gate Array，现场可编程门阵列)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器4001也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。
通信总线4002可包括一通路，在上述组件之间传送信息。通信总线4002可以是PCI(Peripheral Component Interconnect，外设部件互连标准)总线或EISA(ExtendedIndustry Standard Architecture，扩展工业标准结构)总线等。通信总线4002可以分为地址总线、数据总线、控制总线等。为便于表示，图15中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
存储器4003可以是ROM(Read Only Memory，只读存储器)或可存储静态信息和指令的其他类型的静态存储设备，RAM(Random Access Memory，随机存取存储器)或者可存储信息和指令的其他类型的动态存储设备，也可以是EEPROM(Electrically ErasableProgrammable Read Only Memory，电可擦可编程只读存储器)、CD-ROM(Compact DiscReadOnly Memory，只读光盘)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。
存储器4003上存储有计算机程序，处理器4001通过通信总线4002读取存储器4003中存储的计算机程序。
该计算机程序被处理器4001执行时实现上述各实施例中的图像处理方法。
此外，本申请实施例中提供了一种存储介质，该存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述各实施例所涉及的方法。
本申请实施例中提供了一种计算机程序产品，该计算机程序产品包括计算机程序，该计算机程序存储在存储介质中。计算机设备的处理器从存储介质读取该计算机程序，处理器执行该计算机程序，使得该计算机设备执行上述各实施例所涉及的方法。
与相关技术相比，一方面，实现了低功耗高性能的超分辨率网络模型，尤其适用于对图像中的纹理结构的恢复，有利于为用户提供更好的视觉体验；一方面，实现了轻量级的超分辨率网络模型，能够在不同应用场景中快速地部署于各种类型的电子设备，不会受限于电子设备本身的硬件配置；另一方面，实现了精简统一结构的基础模块，不存在过多分支，有利于进一步应用各种剪枝量化方式进行模型压缩，方便于投入生成；又一方面，实现了性能稳定且优秀的像素归一化处理方式，充分保证了超分辨率网络模型训练的稳定性，进而有利于超分辨率网络模型的性能指标的提升。
Claims (10)
1.一种图像处理方法，其特征在于，所述方法包括：
获取待处理图像；
将所述待处理图像输入超分辨率网络模型进行特征提取，得到所述待处理图像的图像特征；
基于所述超分辨率网络模型中注意力分支所提供的广阔感受野，对所述待处理图像的图像特征进行非线性映射，得到所述待处理图像对应的特征图；
根据所述待处理图像对应的特征图为所述待处理图像进行特征重建，将所述待处理图像恢复为具有更高分辨率的目标图像。
2.如权利要求1所述的方法，其特征在于，所述注意力分支包括一个用于通道融合的点向卷积层、以及多个用于扩大感受野的深度向卷积层；
所述方法还包括：
通过所述注意力分支，为所述非线性映射计算用于扩大感受野的权重。
3.如权利要求2所述的方法，其特征在于，至少一个所述深度向卷积层为深度向空洞卷积层；
所述通过所述注意力分支，为所述非线性映射计算用于扩大感受野的权重，包括：
将所述待处理图像的图像特征输入所述注意力分支中的所述点向卷积层，进行通道融合；
通过所述注意力分支中的所述深度向卷积层和所述深度向空洞卷积层，为所述非线性映射进行权重计算。
4.如权利要求1所述的方法，其特征在于，所述超分辨率网络模型包括多个基础模块和主干卷积层；所述基础模块包括所述注意力分支；
所述基于所述超分辨率网络模型中注意力分支所提供的广阔感受野，对所述待处理图像的图像特征进行非线性映射，得到所述待处理图像对应的特征图，包括：
所述待处理图像的图像特征或前一个所述基础模块的输出特征，作为当前一个所述基础模块的输入特征；
通过各所述基础模块中的所述注意力分支，确定各所述基础模块的输入特征对应的权重；
基于各所述基础模块的输入特征及对应的权重，得到各所述基础模块的输出特征；
将最后一个所述基础模块的输出特征输入所述主干卷积层，并基于残差连接对所述待处理图像的图像特征进行的特征传播，得到所述待处理图像对应的特征图。
5.如权利要求4所述的方法，其特征在于，所述基础模块还包括两个分支卷积层；
所述基于各所述基础模块的输入特征及对应的权重，得到各所述基础模块的输出特征，包括：
针对各所述基础模块，将所述基础模块的输入特征输入前一个分支卷积层进行计算，并基于前一个分支卷积层的卷积结果与所述输入特征对应的权重，计算得到中间特征；
将所述中间特征输入后一个分支卷积层，得到后一个分支卷积层的卷积结果；
基于残差连接对所述基础模块的输入特征进行的特征传播、以及后一个分支卷积层的卷积结果，计算得到待归一化特征；
对所述待归一化特征进行归一化处理，得到所述基础模块的输出特征。
6.如权利要求5所述的方法，其特征在于，在两个所述分支卷积层中，前一个分支卷积层的输入通道数量等于后一个分支卷积层的输出通道数量，前一个分支卷积层的输出通道数量等于后一个分支卷积层的输入通道数量，并且，前一个分支卷积层的输入通道数量小于输出通道数量。
7.如权利要求5所述的方法，其特征在于，所述对所述待归一化特征进行归一化处理，得到所述基础模块的输出特征，包括：
确定所述待归一化特征所对应特征图的通道数量、宽度和高度；
基于所确定的宽度和高度，将所述归一化特征分割为多个像素特征；各所述像素特征分别对应所述待归一化特征所对应特征图中的一个像素点；
基于所确定的通道数量，计算各所述像素特征的均值和方差；
基于各所述像素特征的均值和方差，对各所述像素特征进行归一化处理，得到所述基础模块的输出特征。
8.如权利要求1至7任一项所述的方法，其特征在于，所述超分辨率网络模型包括上采样模块，所述上采样模块包括多个通道映射卷积层和多个像素重组层；
所述根据所述待处理图像对应的特征图为所述待处理图像进行特征重建，将所述待处理图像恢复为具有更高分辨率的目标图像，包括：
将所述待处理图像对应的特征图输入所述上采样模块中的第一个通道映射卷积层，进行输出通道数量的调整；
将调整输出通道数量后的特征图输入所述上采样模块中的第一个像素重组层，按照指定缩放倍数进行调整；
将调整指定缩放倍数后的特征图输入所述上采样模块中的第二个通道映射卷积层，继续输出通道数量的调整；
直至所述上采样模块中的各通道映射卷积层和各像素重组层完成遍历，得到具有更高分辨率的所述目标图像。
9.一种图像处理装置，其特征在于，所述装置包括：
图像获取模块，用于获取待处理图像；
特征提取模块，用于将所述待处理图像输入超分辨率网络模型进行特征提取，得到所述待处理图像的图像特征；
映射模块，用于基于所述超分辨率网络模型中注意力分支所提供的广阔感受野，对所述待处理图像的图像特征进行非线性映射，得到所述待处理图像对应的特征图；
特征重建模块，用于根据所述待处理图像对应的特征图为所述待处理图像进行特征重建，将所述待处理图像恢复为具有更高分辨率的目标图像。
10.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211240420.8A CN115797165A (zh) | 2022-10-11 | 2022-10-11 | 图像处理方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211240420.8A CN115797165A (zh) | 2022-10-11 | 2022-10-11 | 图像处理方法、装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115797165A true CN115797165A (zh) | 2023-03-14 |
Family
ID=85432804
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211240420.8A Pending CN115797165A (zh) | 2022-10-11 | 2022-10-11 | 图像处理方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115797165A (zh) |
-
2022
- 2022-10-11 CN CN202211240420.8A patent/CN115797165A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110263909B (zh) | 图像识别方法及装置 | |
| CN112541878B (zh) | 建立图像增强模型与图像增强的方法、装置 | |
| CN112686824A (zh) | 图像校正方法、装置、电子设备和计算机可读介质 | |
| CN113487524B (zh) | 图像格式转换方法、装置、设备、存储介质及程序产品 | |
| US20210385409A1 (en) | Method and apparatus for video frame interpolation, and device and storage medium | |
| CN110211017B (zh) | 图像处理方法、装置及电子设备 | |
| WO2021258530A1 (zh) | 图像分辨率处理方法、装置、设备及可读存储介质 | |
| WO2023193521A1 (zh) | 一种视频修复的方法、相关装置、设备以及存储介质 | |
| WO2024061138A1 (zh) | 数据编码和数据解码的方法、装置、设备 | |
| CN114066722A (zh) | 用于获取图像的方法、装置和电子设备 | |
| CN114170082A (zh) | 视频播放、图像处理和模型训练方法、装置以及电子设备 | |
| CN117974512A (zh) | 图像处理方法及装置 | |
| CN115797178B (zh) | 一种基于3d卷积的视频超分辨率的方法 | |
| CN115797165A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN111338827A (zh) | 表格数据的粘贴方法、装置以及电子设备 | |
| CN116170636A (zh) | 直播视频播放方法及其装置、设备、介质 | |
| CN115272667A (zh) | 农田图像分割模型训练方法、装置、电子设备和介质 | |
| CN114866706A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN114723600A (zh) | 美妆特效的生成方法、装置、设备、存储介质和程序产品 | |
| CN114820878A (zh) | 图像编辑方法及设备 | |
| CN114170341A (zh) | 一种图像处理方法、装置、设备及介质 | |
| CN114240750A (zh) | 视频分辨率提升方法及装置、存储介质及电子设备 | |
| CN114266697A (zh) | 图像处理和模型训练方法、装置、电子设备及存储介质 | |
| WO2024130715A1 (zh) | 视频处理方法、视频处理装置和可读存储介质 | |
| CN115601242B (zh) | 一种适用于硬件部署的轻量级图像超分辨率重建方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |