CN114049258A - 一种用于图像处理的方法、芯片、装置及电子设备 - Google Patents

一种用于图像处理的方法、芯片、装置及电子设备 Download PDF

Info

Publication number
CN114049258A
CN114049258A CN202111346785.4A CN202111346785A CN114049258A CN 114049258 A CN114049258 A CN 114049258A CN 202111346785 A CN202111346785 A CN 202111346785A CN 114049258 A CN114049258 A CN 114049258A
Authority
CN
China
Prior art keywords
module
sampling module
feature map
map data
sampling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111346785.4A
Other languages
English (en)
Inventor
赵娟萍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202111346785.4A priority Critical patent/CN114049258A/zh
Publication of CN114049258A publication Critical patent/CN114049258A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请实施例公开了一种用于图像处理的方法、芯片、装置及电子设备，该方法利用图像处理神经网络对原始图像进行图像重建，得到超分辨率图像；其中，图像处理神经网络是基于可微神经网络结构搜索到的UNET网络；其中第一下采样模块和对应的第一上采样模块通过通道注意力模块连接。这样，利用UNET网络能够实现深层次特征和浅层次特征的结合，细化图像，提高超分辨图像的重建效果。每层通道注意力模块对来自编码器中两层下采样模块的特征图数据进行通道学习，增强关注通道特征，实现对通道的选择性复用，进一步提高图像处理神经网络性能，以及图像超分辨结果的可靠性。

Description

一种用于图像处理的方法、芯片、装置及电子设备
技术领域
本申请涉及图像处理技术，尤其涉及一种用于图像处理的方法、芯片、装置及电子设备。
背景技术
随着高清设备的普及，用户端显示设备的分辨率已经普遍提升到了2K甚至更高的水平。图像超分辨率(Super Resolution，SR)技术在游戏、电影、相机、医疗影像等多个领域都有广泛的应用，用于实现低分辨率图像到超分辨率图像的重建工作。
目前，基于深度学习的超分辨率技术已经成为主流。但是，现有基于深度学习构建的神经网络结构需要耗费大量的资源进行超分辨率重建，神经网络结构有待优化。
发明内容
为解决上述技术问题，本申请实施例期望提供一种用于图像处理的方法、芯片、装置及电子设备。
本申请的技术方案是这样实现的：
第一方面，提供了一种用于图像处理的方法，包括：
获取原始图像；
利用图像处理神经网络对所述原始图像进行图像重建，得到超分辨率图像；
其中，所述图像处理神经网络是基于可微神经网络结构搜索得到的UNET网络，所述图像处理神经网络包括至少一个下采样模块和与所述至少一个下采样模块分别对应的至少一个上采样模块，其中第一下采样模块和对应的第一上采样模块通过通道注意力模块连接，所述第一下采样模块是所述至少一个下采样模块中的一个，所述第一上采样模块是所述至少一个上采样模块中的一个；
所述通道注意力模块配置成利用所述第一下采样模块输出的第一特征图数据和第二下采样模块输出的第二特征图数据提取通道注意力特征图数据，其中，所述第二下采样模块是所述至少一个下采样模块中的另一个。
第二方面，提供了一种图像处理芯片，包括：
处理器，用于获取原始图像，利用图像处理神经网络对所述原始图像进行图像重建，得到超分辨率图像；
其中，所述图像处理神经网络是基于可微神经网络结构搜索得到的UNET网络，所述图像处理神经网络包括至少一个下采样模块和与所述至少一个下采样模块分别对应的至少一个上采样模块，其中第一下采样模块和对应的第一上采样模块通过通道注意力模块连接，所述第一下采样模块是所述至少一个下采样模块中的一个，所述第一上采样模块是所述至少一个上采样模块中的一个；
所述通道注意力模块配置成利用所述第一下采样模块输出的第一特征图数据和第二下采样模块输出的第二特征图数据提取通道注意力特征图数据，其中，所述第二下采样模块是所述至少一个下采样模块中的另一个。
第三方面，提供了一种用于图像处理的装置，包括：
获取模块，用于获取原始图像；以及
处理模块，用于利用图像处理神经网络对所述原始图像进行图像重建，得到超分辨率图像；
其中，所述图像处理神经网络是基于可微神经网络结构搜索得到的UNET网络，所述图像处理神经网络包括至少一个下采样模块和与所述至少一个下采样模块分别对应的至少一个上采样模块，其中第一下采样模块和对应的第一上采样模块通过通道注意力模块连接，所述第一下采样模块是所述至少一个下采样模块中的一个，所述第一上采样模块是所述至少一个上采样模块中的一个；
所述通道注意力模块配置成利用所述第一下采样模块输出的第一特征图数据和第二下采样模块输出的第二特征图数据提取通道注意力特征图数据，其中，所述第二下采样模块是所述至少一个下采样模块中的另一个。
第四方面，提供了一种电子设备，包括：处理器和配置为存储能够在处理器上运行的计算机程序的存储器，
其中，所述处理器配置为运行所述计算机程序时，执行前述方法的步骤。
第五方面，还提供了一种计算机存储介质，其上存储有计算机程序，其中，该计算机程序被处理器执行时实现前述方法的步骤。
本申请实施例中提供了一种用于图像处理的方法、芯片、装置及电子设备，该方法利用图像处理神经网络对所述原始图像进行图像重建，得到超分辨率图像；其中，图像处理神经网络是基于可微神经网络结构搜索到的UNET网络；图像处理神经网络中第一下采样模块和对应的第一上采样模块通过通道注意力模块连接，通道注意力模块配置成利用所述第一下采样模块输出的第一特征图数据和第二下采样模块输出的第二特征图数据提取通道注意力特征图数据。这样，利用UNET网络能够实现深层次特征和浅层次特征的结合，细化图像，提高超分辨图像的重建效果。每层通道注意力模块对来自编码器中两层下采样模块的特征图数据进行通道学习，增强关注通道特征，实现对通道的选择性复用，进一步提高图像处理神经网络性能，以及图像超分辨结果的可靠性。
附图说明
图1为本申请实施例中用于图像处理的方法的流程示意图；
图2(a)至图2(d)为本申请实施例中cell结构的第一演变过程示意图；
图3为本申请实施例中图像处理神经网络的第一组成结构示意图；
图4为本申请实施例中PixelShuffle算子的实现过程示意图；
图5为本申请实施例中图像处理神经网络的第二组成结构示意图；
图6为本申请实施例中通道注意力模块的组成结构示意图
图7为本申请实施例中图像处理神经网络构建方法的流程示意图；
图8(a)至图8(c)为本申请实施例中cell结构的第二演变过程示意图；
图9为本申请实施例中下采样模块的组成结构示意图；
图10为本申请实施例中上采样模块的组成结构示意图；
图11为本申请实施例中图像处理芯片的组成结构示意图；
图12为本申请实施例中用于图像处理的装置的组成结构示意图；
图13为本申请实施例中电子设备的组成结构示意图。
具体实施方式
为了能够更加详尽地了解本申请实施例的特点与技术内容，下面结合附图对本申请实施例的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本申请实施例。
图1为本申请实施例中用于图像处理的方法的流程示意图，如图1所示，该方法具体可以包括：
步骤101：获取原始图像；
这里，原始图像可以为电子设备从其他电子设备或网络设备获取到的低分辨率图像。需要说明的是，本申请提供的图像处理神经网络可以针对单帧图像进行超分辨率重建，也可以针对视频中的多帧图像进行超分辨率重建。
原始图像还可以为互补金属氧化物半导体(Complementary Metal-Oxide-Semiconductor，CMOS)图像传感器或者电荷耦合器件(Charge Coupled Device，CCD)图像传感器将捕捉到的光源信号转化为数字信号的低分辨率的图像。
步骤102：利用图像处理神经网络对所述原始图像进行图像重建，得到超分辨率图像；
其中，所述图像处理神经网络是基于可微神经网络结构搜索(DifferentiableArchitecture Search，DARTS)搜索得到的UNET网络，利用UNET网络能够实现深层次特征和浅层次特征的结合，细化图像，提高超分辨图像的重建效果。
所述图像处理神经网络包括至少一个下采样模块和与所述至少一个下采样模块分别对应的至少一个上采样模块，其中第一下采样模块和对应的第一上采样模块通过通道注意力模块连接，所述第一下采样模块是所述至少一个下采样模块中的一个，所述第一上采样模块是所述至少一个上采样模块中的一个；所述通道注意力模块配置成利用所述第一下采样模块输出的第一特征图数据和第二下采样模块输出的第二特征图数据提取通道注意力特征图数据，其中，所述第二下采样模块是所述至少一个下采样模块中的另一个。
这里，每层通道注意力模块利用当前层第一下采样模块输出的第一特征图数据和其他层第二下采样模块输出的第二特征图数据进行通道学习，能增强关注通道特征，实现对通道的选择性复用，进一步提高图像处理神经网络性能，以及图像超分辨结果的可靠性。
这里，第二下采样模块可以是第一下采样模块所在当前层的高一层的下采样模块，或者是当前层的低一层的下采样模块。如图3所示，从上往下网络层级依次增高，即第一层为最低层，第四层为最高层。
示例性的，在一些实施中，当所述第一下采样模块处于所述至少一个下采样模块中的最高层时，将所述第一下采样模块输出的第一特征图数据进行恒等映射产生所述第二特征图数据；当所述第一下采样模块不是处于所述至少一个下采样模块中的最高层时，利用所述第二下采样模块对应的通道注意力模块产生所述第二特征图数据。
示例性的，在一些实施例中，该方法还包括：基于可微神经网络结构搜索到上采样模块和下采样模块，利用所述下采样模块、所述上采样模块和所述通道注意力模块，构建所述图像处理神经网络。由于图像处理神经网络中包含相同结构的多个下采样模块和上采样模块，因此只需要基于DARTS自动搜索最小化单元，便可构建图像处理神经网络。
具体地，DARTS的搜索过程主要包括定义搜索空间、执行搜索策略、性能评估三部分。具体地是给定一个搜索空间的候选神经网络结构集合，执行某种搜索策略从中搜索出网络结构，对搜索到的网络结构进行性能评估，确定网络最佳的构架参数，得到性能最优的网络结构。
图2(a)至图2(d)为本申请实施例中cell结构的第一演变过程示意图，图2(a)至图2(d)中每个小矩形(称为网络节点)的物理意义是特征图(feature map)，第一个特征图是cell的输入，最后一个特征图是cell的输出。特征图之间的线条表示的是操作算子(operation)。图2(a)定义了搜索空间，每个cell中的网络节点个数，搜索空间中的算子类型，基于搜索空间中所给定的算子，并赋予每个算子的初始权重值，构建有向无环图来表示cell的结构。图2(a)中两个节点之间用“？”表示开始搜索时两个网络节点之间使用的操作算子未知，需要经过一系列搜索过程来确定两个网络节点之间最终所使用的一个或多个操作算子。实际应用中两个节点之间每个算子的初始权重值可以相等，即每个算子被选择的可能性相等。图2(b)表示的是cell中所有算子的集合。图2(c)表示经过训练后，各个算子的权重，线条越粗表示权重越大被选择的可能性越大，线条越细表示权重越小被选择的可能性越小，待所有参数收敛之后，取每对节点之间权重最大的算子为最终cell构架中的算子。图2(d)表示最终选出的cell架构，可以看出挑选的是当前网络节点跟前继网络节点中权重最大的一条线，即权重最大的操作算子。
那么中间任意一个网络节点可以用公式表示为：
Figure BDA0003354463120000051
其中，i和j表示网络节点的序号，x为网络节点表示的特征图，o为两个网络节点之间的操作算子。上述公式表示所有前继网络节点经过操作算子后累加作为当前网络节点。
图3为本申请实施例中图像处理神经网络的第一组成结构示意图，如图3所示，图像处理神经网络分为两部分：左边为编码器(Encoder)，右边为解码器(Decoder)，编码器包含下采样(Down Sampling)模块，解码器包含上采样(Up Sampling)模块，原始图像经过编码器的四层下采样模块进行下采样提取一些浅显的图像特征。最高层的下采样模块输出的特征图数据进行恒等映射(Identity mapping)输入到对应的上采样模块，依次经过解码器的四层上采样模块进行上采样提取一些深层次的特征，每层下采样模块和上采样模块之间通过通道注意力(Channel Attention，CA)模块连接。每层CA对来自编码器的当前层的第一下采样模块输出的第一特征图数据，高一层的第二下采样模块输出的第二特征图数据进行通道学习提取通道注意力特征图，对于最高层，第二特征图数据是第一特征图数据经过恒等映射产生的。每层CA对两层下采样模块输出的特征图数据进行通道学习增强关注通道特征，实现对通道的选择性复用，将通道注意力模块输出的得到通道注意力特征图数据送入解码器中对应的上采样模块中参与当前层的网络计算中，能够提高图像处理神经网络性能，以及图像超分辨结果的可靠性。
图像处理神经网络还包括输入模块和输出模块；所述输入模块用于对输入特征图尺寸进行两倍下降，所述输出模块用于对输入特征图尺寸进行两倍上升，以及r倍的上采样。
如图3所示，输入模块位于第一层下采样模块之前，输出模块位于第一层上采样模块之后，在UNET网络的首部，通过步长为2的卷积算子(Convolution with stride＝2)和激活函数(Leaky ReLU)组成输入模块。在UNET网络的尾部，通过步长为2的反卷积算子(Transpose Convolution with stride＝2)、激活函数(Leaky ReLU)和像素混洗算子(PixelShuffle)组成输出模块，实现输入特征图尺寸的两倍下降和两倍上升，PixelShuffle算子能够实现将r2×h×w大小的特征图映射为rw×rh大小的特征图，从而实现图像的r倍上采样。
图4为本申请实施例中PixelShuffle算子的实现过程示意图，如图4所示，将一个H×W低分辨率输入图像(Low Resolution)，通过PixelShuffle运算将其变为rHxrW的高分辨率图像(High Resolution)。但是其实现过程不是直接通过插值等方式产生这个高分辨率图像，而是通过卷积先得到r2个通道的特征图(特征图尺寸和输入低分辨率图像尺寸一致)，然后通过周期筛选(periodic shuffing)的方法输出高分辨率图像，其中r为上采样因子(upscaling factor)，也就是图像的扩大倍率。
在上述图像处理神经网络的基础上，对图像处理神经网络结构进行进一步的举例说明。
示例性的，在一些实施例中，所述第一下采样模块和对应的第一上采样模块之间还包括融合模块；所述融合模块用于将所述第一特征图数据和所述通道注意力模块输出的通道注意力特征图数据进行融合，将融合后的特征图数据输入到所述第一上采样模块。
图5为本申请实施例中图像处理神经网络的第二组成结构示意图，如图5所示，图像处理神经网络分为两部分：左边为编码器(Encoder)，右边为解码器(Decoder)，编码器包含下采样(Down Sampling)模块，解码器包含上采样(Up Sampling)模块，原始图像经过编码器的四层下采样模块进行下采样提取一些浅显的图像特征。最后一层下采样模块输出的特征图数据经过进行恒等映射(Identity mapping)输入到最后一层上采样模块，依次经过解码器的四层上采样模块进行上采样提取一些深层次的特征，每层下采样模块和上采样模块之间通过通道注意力(Channel Attention，CA)模块连接，每层CA对来自编码器的当前层的第一下采样模块输出的第一特征图数据，高一层的第二下采样模块输出的第二特征图数据进行通道学习提取通道注意力特征图，对于最高层，第二特征图数据是第一特征图数据经过恒等映射产生的。再将CA输出的通道注意力特征图数据与第一特征图数据进行融合，将融合后的通道注意力特征图数据送入解码器中的上采样模块中参与当前层的网络计算中，以提高超分辨图像的重建效果。利用UNET网络能够实现深层次特征和浅层次特征的结合，细化图像。
在上述图像处理神经网络的基础上，对通道注意力模块结构进行进一步的举例说明。
在一些实施例中，所述通道注意力模块包括：3*3卷积层、1*1卷积层、全局池化层和乘法层；所述第二特征图数据依次经过全局池化层和1*1卷积层，得到通道注意力；所述第一特征图数据经过3*3卷积层进行卷积运算，卷积运算结果与所述通道注意力经过所述乘法层按通道相乘，得到通道注意力特征图数据。
在一些实施例中，所述通道注意力模块包括：上采样层和加法层；所述第二特征图数据经过所述上采样层与所述乘法层输出的注意力特征图数据经过所述加法层进行相加，得到通道注意力特征图数据。
示例性的，图6为本申请实施例中通道注意力模块的组成结构示意图，如图6所示，通道注意力模块包括两个输入，即第一特征图数据和第二特征图数据，第二特征图数据依次经过全局池化层(global poling)和1*1卷积层(1*1conv)得到通道注意力，第一特征图数据经过2*2卷积层(2*2conv)进行卷积处理后，与通道注意力按通道相乘，得到通道注意力特征图数据，再与经过上采样层(upsampling)的第二特征图数据经过加法层进行相加，得到通道注意力模块最终输出的通道注意力特征图数据。
上述图像处理神经网络为UNET网络能够实现深层次特征和浅层次特征的结合，细化图像，提高超分辨图像的重建效果。每层通道注意力模块对来自编码器的特征图数据进行通道学习，增强关注通道特征，实现对通道的选择性复用，进一步提高图像处理神经网络性能，以及图像超分辨结果的可靠性。
实际应用中，DARTS搜索中通常选取权重最大的算子，而将其余算子全部舍弃掉。这种做法在算子权重差异不明显时会带来网络性能上较大的误差，存在网络性能次优的问题。鉴于此，本申请实施例进一步基于锐度感知最小化(Sharpness-Aware Minima，SAM)对网络搜索进行优化来解决网络性能次优的问题，UNET网络包括权重参数和构架参数，两套参数统一在一个框架中通过SAM进行优化，基于SAM的优化方式能够使得网络训练过程中损失函数收敛区域更加平缓，这样有利于提升模型的泛化性能。
在上述实施例的基础上，对图像处理神经网络构建进行进一步的举例说明。图7为本申请实施例中图像处理神经网络构建方法的流程示意图，如图7所示，该方法具体包括：
步骤701：基于可微神经网络结构搜索到下采样模块和上采样模块；
其中，所述下采样模块包括第一网络节点，所述第一网络节点和前继网络节点之间包括至少两个算子，所述前继网络节点的输出分别经过所述至少两个算子之后进行融合，得到所述第一网络节点的输入；
所述上采样模块包括第二网络节点，所述第二网络节点和前继网络节点之间包括至少两个算子；所述前继网络节点的输出分别经过所述至少两个算子之后进行融合，得到所述第二网络节点的输入。
示例性的，当两个网络节点之间选择了至少两个算子时，将所有算子输出的特征图求平均的方式进行算子层面的融合。保留上采样模块和下采样模块中多个有效算子并进行算子级融合，能够解决算子权重差异不明显导致模型次优的问题，在保证网络性能的基础上减少网络计算量。
示例性的，在一些实施例中，第一网络节点和所有前继网络节点都包括至少两个算子，或者第一网络节点和一部分前继网络节点之间包括至少两个算子，和另一部分前继网络节点之间包括一个算子。第二网络节点和所有前继网络节点都包括至少两个算子，或者第二网络节点和一部分前继网络节点之间包括至少两个算子，和另一部分前继网络节点之间包括一个算子。在一些实施例中，下采样模块和上采样模块还可以包括其他网络节点，其他网络节点和前继网络节点之间包括一个算子。可以理解为，当算子的权重差异较大时，两个网络节点之间可以只选取权重最大的算子，舍弃其他算子。
示例性的，在一些实施例中，所述基于可微神经网络结构搜索到下采样模块和上采样模块包括：
预先定义第一搜索空间和第二搜索空间；
基于网络参数优化策略搜索所述第一搜索空间，得到所述下采样模块；
基于网络参数优化策略搜索所述第二搜索空间，得到所述上采样模块；
其中，所述第一搜索空间包括：M个网络节点、下采样算子和第一恒等映射算子；所述第二搜索空间包括：N个网络节点、上采样算子和第二恒等映射算子；M和N均取大于或者等于2的整数。
也就是说，在搜索下采样模块和上采样模块时，根据需要预先定义不同的搜索空间，包括网络节点数量和算子种类；网络节点之间的边看成所有算子的混合，采用交替优化的方法对节点的参数和算子的权重进行学习，优化完毕后根据权重确定网络节点的参数和算子。
示例性的，针对下采样模块，第一搜索空间选择4个网络节点、多个下采样算子和多个第一恒等映射算子。针对上采样模块，第二搜索空间选择4个网络节点、多个上采样算子和多个第二恒等映射算子。下采样算子为卷积算子(比如Conv+BN+LReLU算子)，上采样算子为反卷积算子(比如Transpose_Conv+BN+LReLU算子)。第一恒等映射算子和第二恒等映射算子的选择可以完全相同或不同，恒等映射算子使映射前后特征图尺寸不变，比如恒等映射算子可以conv+BN+LReLU算子。
网络参数优化策略用于保留网络节点之间多个算子，以解决网络模型次优的问题。其中，所述网络参数优化策略包括以下之一：
第一优化策略，选择权重最大的前k个算子；
第二优化策略，选择权重具有上升趋势的算子；
第三优化策略，从权重最大的前k个算子中选择权重具有上升趋势的算子；其中，k取大于1的整数。
示例性的，采用UNET网络中的one-level优化方式或者two-level优化方式，同时对上采样模块和下采样模块中算子的权重参数和网络参数进行更新与优化，直到所有参数收敛，最后选择权重参数最大的前3个算子，或者选择权重参数具有上升趋势的算子，所有未被选择出的算子就被淘汰掉。这样，选择出这些算子后，再对所有算子的输出特征图求平均的方式完成算子层面的融合。
图8(a)至图8(c)为本申请实施例中cell结构的第二演变过程示意图，图8(a)至图8(c)中每个Node(称为网络节点)的物理意义是特征图(feature map)，第一个特征图是cell的输入，最后一个特征图是cell的输出。特征图之间的线条表示的是操作算子(operation)。图8(a)定义了搜索空间，每个cell中的网络节点个数，搜索空间中的算子类型，两个网络节点之间包含三个算子。基于搜索空间中所给定的算子，并赋予每个算子的初始权重值，用线条粗细来表示每个算子的权重大小，实际应用中两个节点之间每个算子的初始权重值可以相等，即每个算子被选择的可能性相等。图8(b)表示的是cell中所有算子通过基于梯度下降优化策略更新每个算子所对应的权重，用线条粗细来表示每个算子的权重大小(表示被选择的可能性)，越粗表示参数权重越大被选择的可能性越大，越细表示参数权重越小被选择的可能性越小，待所有参数收敛之后，确定具有上升趋势(ascendingarchitecture parameters，AS)的算子，以及具有下降趋势(descending architectureparameters，DS)的算子。图8(c)表示经过训练后最终选出的cell架构，保留AS算子，舍弃DS算子，Node-1和Node-2之间保留两个算子，Node-3和Node-4之间保留两个算子，其他节点之间保留一个算子。
示例性的，在搜索下采样模块和上采样模块的过程中，用于基于可微神经网络结构搜索到下采样模块和上采样模块的目标函数为：argminL1+2·Lms-ssim+3·Ledge+L2；其中，L1和L2为范数损失项，Lms-ssim为图像结构相似性损失项；Ledge为图像边缘信息损失项。
这里，L1具体为网络输出与给定真值之间的1范数损失项，L2具体为网络输出与给定真值之间的2范数损失项。
为了约束计算能耗，通过上述目标函数使得搜索出的网络模型更加轻量化，也同时兼顾了精度和效率，从而使得网络更容易部署到手机等移动设备上，能有效降低移动设备的计算能耗。
示例性的，在搜索下采样模块和上采样模块的过程中，用于基于可微神经网络结构搜索到下采样模块和上采样模块的性能度量指标包括：峰值信噪比(Peak Signal NoiseRatio，PSNR)和结构相似性(Structural Similarity，SSIM)。这里，PSNR和SSIM作为图像质量评价指标，数值越大表明图像失真越小，网络性能越好；反之网络性能越差。
图9为本申请实施例中下采样模块的组成结构示意图，如图9所示，搜索到的下采样模块包括两个输入节点(Input0和Input1)和一个输出节点(Output)。D[XXX]表示下采样算子XXX的融合，X作为每个下采样算子的标识，取0、1、2或3。N[XXX]表示恒等映射算子XXX的融合，X作为每个恒等映射算子的标识，取0、2或3，在输出端通过拼接节点(Concat)进行通道拼接得到输出特征图。
图10为本申请实施例中上采样模块的组成结构示意图，如图10所示，搜索到的上采样模块包括两个输入节点(Input0和Input1)和一个输出节点(Output)。U[XXX]表示上采样算子XXX的融合，X作为每个上采样算子的标识，取0或1。N[XXX]表示恒等映射算子XXX的融合，X作为每个恒等映射算子的标识，取0、2或3，在输出端通过拼接节点(Concat)进行通道拼接得到输出特征图。
步骤702：利用所述下采样模块、所述上采样模块和所述通道注意力模块，构建所述图像处理神经网络；
示例性的，如图3和图5所示，UNET网络中包含4个层级，每层包含相同下采样模块、上采样模块和通道注意力模块，只需要基于DARTS自动搜索最小化单元，便可构建图像处理神经网络。
示例性的，在一些实施例中，图像处理神经网络还包括输入模块和输出模块；所述输入模块用于对输入特征图尺寸进行两倍下降，所述输出模块用于对输入特征图尺寸进行两倍上升，以及r倍的上采样。
步骤703：获取训练数据集。
步骤704：利用所述训练数据集对所述图像处理神经网络进行网络重训练，直到损失函数满足收敛条件，得到训练完成的图像处理神经网络。
也就是说，DARTS自动搜索完成后，基于所有保留的算子构建图像处理神经网络，利用训练数据对图像处理神经网络重新训练，得到最终可以应用的图像处理神经网络。
上述图像处理神经网络在搜索过程中，保留多个有效算子并进行算子级融合，能够解决算子权重差异不明显导致模型次优的问题，在保证网络性能的基础上减少网络计算量，从而使得网络更容易部署到手机等移动设备上，在保证网络性能的情况下，能有效降低移动设备的计算能耗。将通道注意力模块引入到UNET网络中，得到性能更优的图像处理神经网络，提高图像超分辨效果。
本申请实施例还提供了一种图像处理芯片，如图11所示，所述图像处理芯片110包括：
处理器1101，用于获取原始图像，利用利用图像处理神经网络对所述原始图像进行超分辨率重建，得到超分辨率图像；
其中，所述图像处理神经网络是基于可微神经网络结构搜索得到的UNET网络，所述图像处理神经网络包括至少一个下采样模块和与所述至少一个下采样模块分别对应的至少一个上采样模块，其中第一下采样模块和对应的第一上采样模块通过通道注意力模块连接，所述第一下采样模块是所述至少一个下采样模块中的一个，所述第一上采样模块是所述至少一个上采样模块中的一个；
所述通道注意力模块配置成利用所述第一下采样模块输出的第一特征图数据和第二下采样模块输出的第二特征图数据提取通道注意力特征图数据，其中，所述第二下采样模块是所述至少一个下采样模块中的另一个。
在一些实施例中，当所述第一下采样模块处于所述至少一个下采样模块中的最高层时，将所述第一下采样模块输出的第一特征图数据进行恒等映射产生所述第二特征图数据；当所述第一下采样模块不是处于所述至少一个下采样模块中的最高层时，利用所述第二下采样模块对应的通道注意力模块产生所述第二特征图数据。
在一些实施例中，所述通道注意力模块包括：3*3卷积层、1*1卷积层、全局池化层和乘法层；所述第二特征图数据依次经过全局池化层和1*1卷积层，得到通道注意力；所述第一特征图数据经过3*3卷积层进行卷积运算，卷积运算结果与所述通道注意力经过所述乘法层按通道相乘，得到通道注意力特征图数据。
在一些实施例中，所述通道注意力模块还包括：上采样层和加法层；所述第二特征图数据经过所述上采样层与所述乘法层输出的注意力特征图数据经过所述加法层进行相加，得到通道注意力特征图数据。
在一些实施例中，所述第一下采样模块和对应的第一上采样模块之间还包括融合模块；所述融合模块用于将所述第一特征图数据和所述通道注意力模块输出的通道注意力特征图数据进行融合，将融合后的特征图数据输入到所述第一上采样模块。示例性的，融合模块将第一下采样模块输出的第一特征图数据和通道注意力模块输出的通道注意力特征图数据进行拼接(concat)融合，或者，融合模块将两个特征图数据直接送入到第二上采样模块。
在一些实施例中，所述图像处理神经网络还包括输入模块和输出模块；其中，所述输入模块用于对输入特征图尺寸进行两倍下降，所述输出模块用于对输入特征图尺寸进行两倍上升，以及r倍的上采样。
在一些实施例中，所述下采样模块和所述上采样模块是基于可微神经网络结构搜索到的；
其中，所述下采样模块包括第一网络节点，所述第一网络节点和前继网络节点之间包括至少两个算子，所述前继网络节点的输出分别经过所述至少两个算子之后进行融合，得到所述第一网络节点的输入；
所述上采样模块包括第二网络节点，所述第二网络节点和前继网络节点之间包括至少两个算子；所述前继网络节点的输出分别经过所述至少两个算子之后进行融合，得到所述第二网络节点的输入。
这样，在搜索过程中，保留多个有效算子并进行算子级融合，能够解决算子权重差异不明显导致模型次优的问题，在保证网络性能的基础上减少网络计算量。
在一些实施例中，基于可微神经网络结构搜索到所述下采样模块和所述上采样模块时，预先定义第一搜索空间和第二搜索空间；基于网络参数优化策略搜索所述第一搜索空间，得到所述下采样模块；基于网络参数优化策略搜索所述第二搜索空间，得到所述上采样模块；
其中，所述第一搜索空间包括：M个网络节点、下采样算子和第一恒等映射算子；所述第二搜索空间包括：N个网络节点、上采样算子和第二恒等映射算子；M和N均取大于或者等于2的整数。
在一些实施例中，所述网络参数优化策略包括：第一优化策略，选择权重最大的前k个算子；其中，k取大于1的整数；或者，第二优化策略，选择权重具有上升趋势的算子。
在一些实施例中，用于基于可微神经网络结构搜索到下采样模块和上采样模块的目标函数为：argminL1+2·Lms-ssim+3·Ledge+L2；
其中，L1和L2为范数损失项，Lms-ssim为图像结构相似性损失项，Ledge为图像边缘信息损失项；
在一些实施例中，用于基于可微神经网络结构搜索到的所述下采样模块和所述上采样模块的性能度量指标包括：峰值信噪比PSNR和结构相似性SSIM。
在一些实施例中，所述处理器1101包括以下的至少一者：图形处理器(GraphicsProcessing Unit，GPU)；数字信号处理器(Digital Signal Processor，DSP)；图像信号处理器(Image Signal Processor，ISP)；以及神经网络处理器(Neural-network ProcessingUnit，NPU)。
该图像处理芯片110还可以包括存储器1102，存储能够在处理器1101上运行的计算机程序，处理器1101配置为运行所述计算机程序时，执行前述超分辨图像重建操作。
上述存储器可以是易失性存储器(volatile memory)，例如随机存取存储器(RAM，Random-Access Memory)；或者非易失性存储器(non-volatile memory)，例如只读存储器(ROM，Read-Only Memory)，快闪存储器(flash memory)，硬盘(HDD，Hard Disk Drive)或固态硬盘(SSD，Solid-State Drive)；或者上述种类的存储器的组合，并向处理器提供指令和数据。
可选地，该图像处理芯片110还可以包括输入接口1103。通过输入接口1103与其他设备或芯片进行通信，具体地，可以获取其他设备或芯片发送的信息或数据。
可选地，该图像处理芯片110还可以包括输出接口1104。通过输出接口1104与其他设备或芯片进行通信，具体地，可以向其他设备或芯片输出信息或数据。
可选地，该图像处理芯片110可应用于本申请实施例中的电子设备。
当然，实际应用时，该芯片中的各个组件通过总线系统耦合在一起。可理解，总线系统用于实现这些组件之间的连接通信。总线系统除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。
需要说明的是，本申请实施例上述图像处理神经网络还可以部署在其他任意一种硬件计算单元上来实现。
本申请实施例还提供了一种用于图像处理的装置，如图12所示，所述装置120包括：
获取模块1201，用于获取原始图像；以及
处理模块1202，用于利用图像处理神经网络对所述原始图像进行图像重建，得到超分辨率图像；
其中，所述图像处理神经网络是基于可微神经网络结构搜索得到的UNET网络，所述图像处理神经网络包括至少一个下采样模块和与所述至少一个下采样模块分别对应的至少一个上采样模块，其中第一下采样模块和对应的第一上采样模块通过通道注意力模块连接，所述第一下采样模块是所述至少一个下采样模块中的一个，所述第一上采样模块是所述至少一个上采样模块中的一个；
所述通道注意力模块配置成利用所述第一下采样模块输出的第一特征图数据和第二下采样模块输出的第二特征图数据提取通道注意力特征图数据，其中，所述第二下采样模块是所述至少一个下采样模块中的另一个。
在一些实施例中，处理模块1202，用于当所述第一下采样模块处于所述至少一个下采样模块中的最高层时，将所述第一下采样模块输出的第一特征图数据进行恒等映射产生所述第二特征图数据；当所述第一下采样模块不是处于所述至少一个下采样模块中的最高层时，利用所述第二下采样模块对应的通道注意力模块产生所述第二特征图数据。
在一些实施例中，所述通道注意力模块包括：3*3卷积层、1*1卷积层、全局池化层和乘法层；所述第二特征图数据依次经过全局池化层和1*1卷积层，得到通道注意力；所述第一特征图数据经过3*3卷积层进行卷积运算，卷积运算结果与所述通道注意力经过所述乘法层按通道相乘，得到通道注意力特征图数据。
在一些实施例中，所述通道注意力模块还包括：上采样层和加法层；所述第二特征图数据经过所述上采样层与所述乘法层输出的注意力特征图数据经过所述加法层进行相加，得到通道注意力特征图数据。
在一些实施例中，所述第一下采样模块和对应的第一上采样模块之间还包括融合模块；所述融合模块用于将所述第一特征图数据和所述通道注意力模块输出的通道注意力特征图数据进行融合，将融合后的特征图数据输入到所述第一上采样模块。
在一些实施例中，所述图像处理神经网络还包括输入模块和输出模块；其中，所述输入模块用于对输入特征图尺寸进行两倍下降，所述输出模块用于对输入特征图尺寸进行两倍上升，以及r倍的上采样。
在一些实施例中，所述下采样模块和所述上采样模块是基于可微神经网络结构搜索到的；
其中，所述下采样模块包括第一网络节点，所述第一网络节点和前继网络节点之间包括至少两个算子，所述前继网络节点的输出分别经过所述至少两个算子之后进行融合，得到所述第一网络节点的输入；
所述上采样模块包括第二网络节点，所述第二网络节点和前继网络节点之间包括至少两个算子；所述前继网络节点的输出分别经过所述至少两个算子之后进行融合，得到所述第二网络节点的输入。
这样，在搜索过程中，保留多个有效算子并进行算子级融合，能够解决算子权重差异不明显导致模型次优的问题，在保证网络性能的基础上减少网络计算量。
在一些实施例中，基于可微神经网络结构搜索到所述下采样模块和所述上采样模块时，预先定义第一搜索空间和第二搜索空间；基于网络参数优化策略搜索所述第一搜索空间，得到所述下采样模块；基于网络参数优化策略搜索所述第二搜索空间，得到所述上采样模块；
其中，所述第一搜索空间包括：M个网络节点、下采样算子和第一恒等映射算子；所述第二搜索空间包括：N个网络节点、上采样算子和第二恒等映射算子；M和N均取大于或者等于2的整数。
在一些实施例中，所述网络参数优化策略包括：第一优化策略，选择权重最大的前k个算子；其中，k取大于1的整数；或者，第二优化策略，选择权重具有上升趋势的算子。
在一些实施例中，用于基于可微神经网络结构搜索到下采样模块和上采样模块的目标函数为：argminL1+2·Lms-ssim+3·Ledge+L2；
其中，L1和L2为范数损失项，Lms-ssim为图像结构相似性损失项，Ledge为图像边缘信息损失项；
在一些实施例中，用于基于可微神经网络结构搜索到下采样模块和上采样模块的性能度量指标包括：峰值信噪比PSNR和结构相似性SSIM。
示例性的，在UNET网络的首部和尾部，通过步长为2的卷积算子(Convolutionwith stride＝2)和激活函数(Leaky ReLU)组成输入模块。通过步长为2的反卷积算子(Transpose Convolution with stride＝2)、激活函数(Leaky ReLU)和像素混洗算子(PixelShuffle)组成输出模块，实现输入特征图尺寸的两倍下降和两倍上升，PixelShuffle算子能够实现将r2×h×w大小的特征图映射为rw×rh大小的特征图，从而实现图像的r倍上采样。
上述用于图像处理的装置可以是电子设备，也可以是应用于电子设备中的芯片，在本申请中，该装置可以通过或软件、或硬件、或软件与硬件相结合的方式，实现多个单元的功能，使该装置可以执行如上述任一实施例所提供的控制方法。且该装置的各技术方案的技术效果可以参考控制方法中相应的技术方案的技术效果，本申请对此不再一一赘述。
本申请实施例中还提供了一种电子设备，如图13所示，该电子设备130包括：处理器1301和配置为存储能够在处理器1301上运行的计算机程序的存储器1302，
其中，处理器1301配置为运行计算机程序时，执行前述实施例中的方法步骤。
所述处理器1301包括以下的至少一者：中央处理器CPU；图形处理器GPU；数字信号处理器DSP；图像信号处理器ISP；以及神经网络处理器NPU。
当然，实际应用时，如图13所示，该电子设备中的各个组件通过总线系统耦合在一起。可理解，总线系统用于实现这些组件之间的连接通信。总线系统除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。
本申请中描述的电子设备可以包括诸如手机、平板电脑、笔记本电脑、掌上电脑、个人数字助理(Personal Digital Assistant，PDA)、便捷式媒体播放器(Portable MediaPlayer，PMP)、可穿戴设备、智能手环、相机等。
在示例性实施例中，本申请实施例还提供了一种计算机可读存储介质，例如包括计算机程序的存储器，计算机程序可由电子设备的处理器执行，以完成前述方法的步骤。
应当理解，在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。本申请中表述“具有”、“可以具有”、“包括”和“包含”、或者“可以包括”和“可以包含”在本文中可以用于指示存在对应的特征(例如，诸如数值、功能、操作或组件等元素)，但不排除附加特征的存在。
应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开，不必用于描述特定的顺序或先后次序。例如，在不脱离本发明范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。
本申请实施例所记载的技术方案之间，在不冲突的情况下，可以任意组合。
在本申请所提供的几个实施例中，应该理解到，所揭露的方法、装置和设备，可以通过其它的方式实现。以上所描述的实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本申请各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。

Claims (14)

1.一种用于图像处理的方法，其特征在于，所述方法包括：
获取原始图像；
利用图像处理神经网络对所述原始图像进行图像重建，得到超分辨率图像；
其中，所述图像处理神经网络是基于可微神经网络结构搜索得到的UNET网络，所述图像处理神经网络包括至少一个下采样模块和与所述至少一个下采样模块分别对应的至少一个上采样模块，其中第一下采样模块和对应的第一上采样模块通过通道注意力模块连接，所述第一下采样模块是所述至少一个下采样模块中的一个，所述第一上采样模块是所述至少一个上采样模块中的一个；
所述通道注意力模块配置成利用所述第一下采样模块输出的第一特征图数据和第二下采样模块输出的第二特征图数据提取通道注意力特征图数据，其中，所述第二下采样模块是所述至少一个下采样模块中的另一个。
2.根据权利要求1所述的方法，其特征在于，所述方法进一步包括：
当所述第一下采样模块处于所述至少一个下采样模块中的最高层时，将所述第一下采样模块输出的第一特征图数据进行恒等映射产生所述第二特征图数据；
当所述第一下采样模块不是处于所述至少一个下采样模块中的最高层时，利用所述第二下采样模块对应的通道注意力模块产生所述第二特征图数据。
3.根据权利要求1所述的方法，其特征在于，所述通道注意力模块包括：3*3卷积层、1*1卷积层、全局池化层和乘法层；
所述第二特征图数据依次经过全局池化层和1*1卷积层，得到通道注意力；
所述第一特征图数据经过3*3卷积层进行卷积运算，卷积运算结果与所述通道注意力经过所述乘法层按通道相乘，得到通道注意力特征图数据。
4.根据权利要求3所述的方法，其特征在于，所述通道注意力模块还包括：上采样层和加法层；
所述第二特征图数据经过所述上采样层与所述乘法层输出的注意力特征图数据经过所述加法层进行相加，得到通道注意力特征图数据。
5.根据权利要求1所述的方法，其特征在于，所述第一下采样模块和对应的第一上采样模块之间还包括融合模块；
所述融合模块用于将所述第一特征图数据和所述通道注意力模块输出的通道注意力特征图数据进行融合，将融合后的特征图数据输入到所述第一上采样模块。
6.根据权利要求1至5任一项所述的方法，其特征在于，所述图像处理神经网络还包括输入模块和输出模块；
其中，所述输入模块用于对输入特征图尺寸进行两倍下降，所述输出模块用于对输入特征图尺寸进行两倍上升，以及r倍的上采样。
7.根据权利要求1所述的方法，其特征在于，所述方法还包括：
基于可微神经网络结构搜索到所述下采样模块和所述上采样模块；
利用所述下采样模块、所述上采样模块和所述通道注意力模块，构建所述图像处理神经网络；
其中，所述下采样模块包括第一网络节点，所述第一网络节点和前继网络节点之间包括至少两个算子，所述前继网络节点的输出分别经过所述至少两个算子之后进行融合，得到所述第一网络节点的输入；
所述上采样模块包括第二网络节点，所述第二网络节点和前继网络节点之间包括至少两个算子；所述前继网络节点的输出分别经过所述至少两个算子之后进行融合，得到所述第二网络节点的输入。
8.根据权利要求7所述的方法，其特征在于，所述基于可微神经网络结构搜索到所述下采样模块和所述上采样模块，包括：
预先定义第一搜索空间和第二搜索空间；
基于网络参数优化策略搜索所述第一搜索空间，得到所述下采样模块；
基于网络参数优化策略搜索所述第二搜索空间，得到所述上采样模块；
其中，所述第一搜索空间包括：M个网络节点、下采样算子和第一恒等映射算子；所述第二搜索空间包括：N个网络节点、上采样算子和第二恒等映射算子；M和N均取大于或者等于2的整数；
其中，所述网络参数优化策略包括以下之一：
第一优化策略，选择权重最大的前k个算子；
第二优化策略，选择权重具有上升趋势的算子；
第三优化策略，从权重最大的前k个算子中选择权重具有上升趋势的算子；其中，k取大于1的整数。
9.根据权利要求6所述的方法，其特征在于，用于基于可微神经网络结构搜索到的所述下采样模块和所述上采样模块的目标函数为：argminL1+2·Lms-ssim+3·Ledge+L2；
其中，L1和L2为范数损失项，Lms-ssim为图像结构相似性损失项，Ledge为图像边缘信息损失项；
用于基于可微神经网络结构搜索到的所述下采样模块和所述上采样模块的性能度量指标包括：峰值信噪比PSNR和结构相似性SSIM。
10.一种图像处理芯片，其特征在于，包括：
处理器，用于获取原始图像，利用图像处理神经网络对所述原始图像进行图像重建，得到超分辨率图像；
其中，所述图像处理神经网络是基于可微神经网络结构搜索得到的UNET网络，所述图像处理神经网络包括至少一个下采样模块和与所述至少一个下采样模块分别对应的至少一个上采样模块，其中第一下采样模块和对应的第一上采样模块通过通道注意力模块连接，所述第一下采样模块是所述至少一个下采样模块中的一个，所述第一上采样模块是所述至少一个上采样模块中的一个；
所述通道注意力模块配置成利用所述第一下采样模块输出的第一特征图数据和第二下采样模块输出的第二特征图数据提取通道注意力特征图数据，其中，所述第二下采样模块是所述至少一个下采样模块中的另一个。
11.根据权利要求10所述的图像处理芯片，其特征在于，当所述第一下采样模块处于所述至少一个下采样模块中的最高层时，将所述第一下采样模块输出的第一特征图数据进行恒等映射产生所述第二特征图数据；
当所述第一下采样模块不是处于所述至少一个下采样模块中的最高层时，利用所述第二下采样模块对应的通道注意力模块产生所述第二特征图数据。
12.一种用于图像处理的装置，其特征在于，包括：
获取模块，用于获取原始图像；以及
处理模块，用于利用图像处理神经网络对所述原始图像进行图像重建，得到超分辨率图像；
其中，所述图像处理神经网络是基于可微神经网络结构搜索得到的UNET网络，所述图像处理神经网络包括至少一个下采样模块和与所述至少一个下采样模块分别对应的至少一个上采样模块，其中第一下采样模块和对应的第一上采样模块通过通道注意力模块连接，所述第一下采样模块是所述至少一个下采样模块中的一个，所述第一上采样模块是所述至少一个上采样模块中的一个；
所述通道注意力模块配置成利用所述第一下采样模块输出的第一特征图数据和第二下采样模块输出的第二特征图数据提取通道注意力特征图数据，其中，所述第二下采样模块是所述至少一个下采样模块中的另一个。
13.一种电子设备，其特征在于，包括：处理器和配置为存储能够在所述处理器上运行的计算机程序的存储器，
其中，所述处理器配置为运行所述计算机程序时，执行权利要求1至9任一项所述方法的步骤。
14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至9任一项所述的方法的步骤。
CN202111346785.4A 2021-11-15 2021-11-15 一种用于图像处理的方法、芯片、装置及电子设备 Pending CN114049258A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111346785.4A CN114049258A (zh) 2021-11-15 2021-11-15 一种用于图像处理的方法、芯片、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111346785.4A CN114049258A (zh) 2021-11-15 2021-11-15 一种用于图像处理的方法、芯片、装置及电子设备

Publications (1)

Publication Number Publication Date
CN114049258A true CN114049258A (zh) 2022-02-15

Family

ID=80209032

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111346785.4A Pending CN114049258A (zh) 2021-11-15 2021-11-15 一种用于图像处理的方法、芯片、装置及电子设备

Country Status (1)

Country Link
CN (1) CN114049258A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023035985A1 (zh) * 2021-09-10 2023-03-16 哲库科技(上海)有限公司 一种图像处理方法、装置及存储介质
WO2023206420A1 (zh) * 2022-04-29 2023-11-02 Oppo广东移动通信有限公司 视频编解码方法、装置、设备、系统及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023035985A1 (zh) * 2021-09-10 2023-03-16 哲库科技(上海)有限公司 一种图像处理方法、装置及存储介质
WO2023206420A1 (zh) * 2022-04-29 2023-11-02 Oppo广东移动通信有限公司 视频编解码方法、装置、设备、系统及存储介质

Similar Documents

Publication Publication Date Title
CN109934241B (zh) 可集成到神经网络架构中的图像多尺度信息提取方法
CN110084863B (zh) 一种基于生成对抗网络的多域图像转换方法与系统
US10645368B1 (en) Method and apparatus for estimating depth of field information
WO2021073493A1 (zh) 图像处理方法及装置、神经网络的训练方法、合并神经网络模型的图像处理方法、合并神经网络模型的构建方法、神经网络处理器及存储介质
CN114049259A (zh) 一种用于图像处理的方法、芯片、装置及电子设备
CN110136062B (zh) 一种联合语义分割的超分辨率重建方法
Guo et al. Building an end-to-end spatial-temporal convolutional network for video super-resolution
CN112308200A (zh) 神经网络的搜索方法及装置
CN114049258A (zh) 一种用于图像处理的方法、芯片、装置及电子设备
CN112396645B (zh) 一种基于卷积残差学习的单目图像深度估计方法和系统
WO2022022288A1 (zh) 一种图像处理方法以及装置
TWI770432B (zh) 圖像復原方法、電子設備、儲存介質
CN112734644A (zh) 一种多个注意力结合光流的视频超分辨模型及方法
KR102289239B1 (ko) 시차 추정 시스템, 방법, 전자 장치 및 컴퓨터 판독 가능한 저장 매체
CN113538243B (zh) 基于多视差注意力模块组合的超分辨图像重建方法
CN115439336A (zh) 一种用于图像去噪处理的方法、电子设备、装置及计算系统
Mardieva et al. Lightweight image super-resolution for IoT devices using deep residual feature distillation network
CN113344794A (zh) 一种图像处理方法、装置、计算机设备及存储介质
CN112184550A (zh) 神经网络训练方法、图像融合方法、装置、设备和介质
Nazir et al. 2hded: Net for joint depth estimation and image deblurring from a single out-of-focus image
Wang et al. Image quality enhancement using hybrid attention networks
CN111598781B (zh) 一种基于混合高阶注意网络的图像超分辨率方法
CN113222816A (zh) 一种超分辨率网络结构、超分模块、设备以及重建方法
Choi et al. Efficient bokeh effect rendering using generative adversarial network
CN112529064A (zh) 一种高效的实时语义分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination