CN114049259A - 一种用于图像处理的方法、芯片、装置及电子设备 - Google Patents

一种用于图像处理的方法、芯片、装置及电子设备 Download PDF

Info

Publication number
CN114049259A
CN114049259A CN202111347170.3A CN202111347170A CN114049259A CN 114049259 A CN114049259 A CN 114049259A CN 202111347170 A CN202111347170 A CN 202111347170A CN 114049259 A CN114049259 A CN 114049259A
Authority
CN
China
Prior art keywords
sampling module
module
network
attention
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111347170.3A
Other languages
English (en)
Inventor
赵娟萍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202111347170.3A priority Critical patent/CN114049259A/zh
Publication of CN114049259A publication Critical patent/CN114049259A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例公开了一种用于图像处理的方法、芯片、装置及电子设备，该方法利用图像处理神经网络对原始图像进行图像重建，得到超分辨率图像；其中，图像处理神经网络是基于可微神经网络结构搜索得到的UNET网络，其中第一下采样模块和对应的第一上采样模块通过混洗注意力模块连接。这样，利用UNET网络进行图像重建时能够实现深层次特征和浅层次特征的结合，细化图像，提高超分辨图像的重建效果。每层混洗注意力模块对来自编码器的特征图数据进行通道注意力和空间注意力学习，实现通道维度和空间维度进行选择性复用以增强关注特征，进一步优化图像处理神经网络，提高网络性能以及图像超分辨结果的可靠性。

Description

一种用于图像处理的方法、芯片、装置及电子设备
技术领域
本申请涉及图像处理技术，尤其涉及一种用于图像处理的方法、芯片、装置及电子设备。
背景技术
随着高清设备的普及，用户端显示设备的分辨率已经普遍提升到了2K甚至更高的水平。图像超分辨率(Super Resolution，SR)技术在游戏、电影、相机、医疗影像等多个领域都有广泛的应用，用于实现低分辨率图像到超分辨率图像的重建工作。
目前，基于深度学习的超分辨率技术已经成为主流。但是，现有基于深度学习构建的神经网络结构需要耗费大量的资源进行超分辨率重建，神经网络结构有待优化。
发明内容
为解决上述技术问题，本申请实施例期望提供一种用于图像处理的方法、芯片、装置及电子设备。
本申请的技术方案是这样实现的：
第一方面，提供了一种用于图像处理的方法，包括：
获取原始图像；
利用图像处理神经网络对所述原始图像进行图像重建，得到超分辨率图像；
其中，所述图像处理神经网络是基于可微神经网络结构搜索得到的UNET网络，所述图像处理神经网络包括至少一个下采样模块和与所述至少一个下采样模块分别对应的至少一个上采样模块，其中第一下采样模块和对应的第一上采样模块通过混洗注意力模块连接，所述第一下采样模块是所述至少一个下采样模块中的一个，所述第一上采样模块是所述至少一个上采样模块中的一个；
其中，所述混洗注意力模块配置成：对所述第一下采样模块输出的特征图数据执行通道混洗操作和算子融合操作。
第二方面，提供了一种图像处理芯片，包括：
处理器，用于获取原始图像，利用利用图像处理神经网络对所述原始图像进行超分辨率重建，输出超分辨率图像；
其中，所述图像处理神经网络是基于可微神经网络结构搜索得到的UNET网络，所述图像处理神经网络包括至少一个下采样模块和与所述至少一个下采样模块分别对应的至少一个上采样模块，其中第一下采样模块和对应的第一上采样模块通过混洗注意力模块连接，所述第一下采样模块是所述至少一个下采样模块中的一个，所述第一上采样模块是所述至少一个上采样模块中的一个；
其中，所述混洗注意力模块配置成：对所述第一下采样模块输出的特征图数据执行通道混洗操作和算子融合操作。
第三方面，提供了一种用于图像处理的装置，包括：
获取模块，用于获取原始图像；以及
处理模块，用于利用图像处理神经网络对所述原始图像进行图像重建，得到超分辨率图像；
其中，所述图像处理神经网络是基于可微神经网络结构搜索得到的UNET网络，所述图像处理神经网络包括至少一个下采样模块和与所述至少一个下采样模块分别对应的至少一个上采样模块，其中第一下采样模块和对应的第一上采样模块通过混洗注意力模块连接，所述第一下采样模块是所述至少一个下采样模块中的一个，所述第一上采样模块是所述至少一个上采样模块中的一个；
其中，所述混洗注意力模块配置成：对所述第一下采样模块输出的特征图数据执行通道混洗操作和算子融合操作。
第四方面，提供了一种电子设备，包括：处理器和配置为存储能够在处理器上运行的计算机程序的存储器，
其中，所述处理器配置为运行所述计算机程序时，执行前述方法的步骤。
第五方面，还提供了一种计算机存储介质，其上存储有计算机程序，其中，该计算机程序被处理器执行时实现前述方法的步骤。
本申请实施例中提供了一种用于图像处理的方法、芯片、装置及电子设备，该方法利用图像处理神经网络对所述原始图像进行图像重建，得到超分辨率图像；其中，图像处理神经网络是基于可微神经网络结构搜索得到的UNET网络，图像处理神经网络中第一下采样模块和对应的第一上采样模块通过混洗注意力模块连接，混洗注意力模块配置成：对第一下采样模块输出的特征图数据执行通道混洗操作和算子融合操作。这样，利用UNET网络进行图像重建时能够实现深层次特征和浅层次特征的结合，细化图像，提高超分辨图像的重建效果。每层混洗注意力模块对来自编码器的特征图数据进行通道注意力和空间注意力学习，实现通道维度和空间维度进行选择性复用以增强关注特征，进一步优化图像处理神经网络，提高网络性能以及图像超分辨结果的可靠性。
附图说明
图1为本申请实施例中用于图像处理的方法的流程示意图；
图2(a)至图2(d)为本申请实施例中cell结构的第一演变过程示意图；
图3为本申请实施例中图像处理神经网络的组成结构示意图；
图4为本申请实施例中混洗注意力模块的组成结构示意图；
图5为本申请实施例中PixelShuffle算子的实现过程示意图；
图6为本申请实施例中图像处理神经网络构建方法的流程示意图；
图7(a)至图7(c)为本申请实施例中cell结构的第二演变过程示意图；
图8为本申请实施例中下采样模块的组成结构示意图；
图9为本申请实施例中上采样模块的组成结构示意图；
图10为本申请实施例中图像处理芯片的组成结构示意图；
图11为本申请实施例中用于图像处理的装置的组成结构示意图；
图12为本申请实施例中电子设备的组成结构示意图。
具体实施方式
为了能够更加详尽地了解本申请实施例的特点与技术内容，下面结合附图对本申请实施例的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本申请实施例。
图1为本申请实施例中用于图像处理的方法的流程示意图，如图1所示，该方法具体可以包括：
步骤101：获取原始图像；
这里，原始图像可以为电子设备从其他电子设备或网络设备获取到的低分辨率图像。需要说明的是，本申请提供的图像处理神经网络可以针对单帧图像进行超分辨率重建，也可以针对视频中的多帧图像进行超分辨率重建。
原始图像还可以为互补金属氧化物半导体(Complementary Metal-Oxide-Semiconductor，CMOS)图像传感器或者电荷耦合器件(Charge Coupled Device，CCD)图像传感器将捕捉到的光源信号转化为数字信号的低分辨率的图像。
步骤102：利用图像处理神经网络对所述原始图像进行图像重建，得到超分辨率图像；
其中，所述图像处理神经网络是基于可微神经网络结构搜索(DifferentiableArchitecture Search，DARTS)搜索得到的UNET网络，利用UNET网络能够实现深层次特征和浅层次特征的结合，细化图像，提高超分辨图像的重建效果。
所述图像处理神经网络包括至少一个下采样模块和与所述至少一个下采样模块分别对应的至少一个上采样模块，其中第一下采样模块和对应的第一上采样模块通过混洗注意力模块连接，所述第一下采样模块是所述至少一个下采样模块中的一个，所述第一上采样模块是所述至少一个上采样模块中的一个；其中，所述混洗注意力模块配置成：对所述第一下采样模块输出的特征图数据执行通道混洗操作和算子融合操作。
示例性的，所述混洗注意力模块进一步配置成提取所述第一下采样模块输出的特征图数据的通道注意力特征图数据和空间注意力特征图数据，将所述通道注意力特征图数据和所述空间注意力特征图数据融合后输入到所述第一上采样模块，与第一上采样模块输出的特征图数据一起，参与到当前层的网络计算中。
这里，利用混洗注意力模块进行通道注意力和空间注意力学习，实现通道维度和空间维度进行选择性复用以增强关注特征，进一步提高图像处理神经网络性能，以及图像超分辨结果的可靠性。
示例性的，在一些实施例中，该方法还包括：基于可微神经网络结构搜索到上采样模块和下采样模块，利用所述下采样模块、所述上采样模块和所述混洗注意力模块，构建所述图像处理神经网络。由于图像处理神经网络中包含相同结构的多个下采样模块和上采样模块，因此只需要基于DARTS自动搜索最小化单元，便可构建图像处理神经网络。
具体地，DARTS的搜索过程主要包括定义搜索空间、执行搜索策略、性能评估三部分。具体地是给定一个搜索空间的候选神经网络结构集合，执行某种搜索策略从中搜索出网络结构，对搜索到的网络结构进行性能评估，确定网络最佳的构架参数，得到性能最优的网络结构。
图2(a)至图2(d)为本申请实施例中cell结构的第一演变过程示意图，图2(a)至图2(d)中每个小矩形(称为网络节点)的物理意义是特征图(feature map)，第一个特征图是cell的输入，最后一个特征图是cell的输出。特征图之间的线条表示的是操作算子(operation)。图2(a)定义了搜索空间，每个cell中的网络节点个数，搜索空间中的算子类型，基于搜索空间中所给定的算子，并赋予每个算子的初始权重值，构建有向无环图来表示cell的结构。图2(a)中两个节点之间用“？”表示开始搜索时两个网络节点之间使用的操作算子未知，需要经过一系列搜索过程来确定两个网络节点之间最终所使用的一个或多个操作算子。实际应用中两个节点之间每个算子的初始权重值可以相等，即每个算子被选择的可能性相等。图2(b)表示的是cell中所有算子的集合。图2(c)表示经过训练后，各个算子的权重，线条越粗表示权重越大被选择的可能性越大，线条越细表示权重越小被选择的可能性越小，待所有参数收敛之后，取每对节点之间权重最大的算子为最终cell构架中的算子。图2(d)表示最终选出的cell架构，可以看出挑选的是当前网络节点跟前继网络节点中权重最大的一条线，即权重最大的操作算子。
那么中间任意一个网络节点可以用公式表示为：
Figure BDA0003354622180000051
其中，i和j表示网络节点的序号，x为网络节点表示的特征图，o为两个网络节点之间的操作算子。上述公式表示所有前继网络节点经过操作算子后累加作为当前网络节点。
图3为本申请实施例中图像处理神经网络的组成结构示意图，如图3所示，图像处理神经网络分为两部分：左边为编码器(Encoder)，右边为解码器(Decoder)，编码器包含下采样(Down Sampling)模块，解码器包含上采样(Up Sampling)模块，原始图像经过编码器的四层下采样模块进行下采样提取一些浅显的图像特征。最高层的下采样模块输出的特征图数据进行恒等映射(Identity mapping)输入到对应的上采样模块，依次经过解码器的四层上采样模块进行上采样提取一些深层次的特征，每层下采样模块和上采样模块之间通过混洗注意力(Shuffle Attention，SA)模块连接，每层SA对来自编码器的特征图数据进行通道注意力和空间注意力学习，实现通道维度和空间维度进行选择性复用，将输出的特征图像数据送入解码器中的上采样模块进行上采样。
示例性的，在一些实施例中，所述混洗注意力模块包括：
第一分割层、第二分割层、通道注意力网络、空间注意力网络、拼接层和混洗融合层；
所述第一分割层配置成将所述第一下采样模块输出的特征图数据按照维度分成g组特征图数据；
所述第二分割层配置成基于每组特征图数据生成关联于所述通道注意力网络的通道注意力特征图数据以及关联于所述空间注意力网络的空间注意力特征图数据；
所述拼接层配置成将每组特征图数据的通道注意力特征图数据和空间注意力特征图数据进行拼接，得到g组拼接后特征图数据；
所述混洗融合层配置成对所述g组拼接后特征图数据执行所述通道混洗操作和所述算子融合操作，以得到融合后的特征图数据。
图4为本申请实施例中混洗注意力模块的组成结构示意图。如图4所示，该混洗注意力模块首先对编码器(Encoder)中下采样模块输出的特征图数据的c个通道分成g组，每组c/g个通道，接下来的操作是对每个组分别进的。对于每个组，将这些通道分为两部分，每部分c/2g个通道，一部分输入到通道注意力网络用于通道注意力(attention)计算，另一部分输入到空间注意力网络用于空间attention计算。通道注意力网络使用了类似挤压与激励(Squeeze-and-Excitation，SE)的结构，空间注意力网络是对输入特征图数据在组归一化(Group Normalization，GN)之后做了一次线性运算，然后通过图4中的σ输出空间注意力，空间注意力与输入特征图数据相乘，得到空间注意力特征图数据。然后将这两个注意力网络的输出进行拼接，就得到了每个组的结果，最后将每个组的结果进行通道混洗(shuffle)操作和算子融合操作，以得到融合后的特征图数据。之后，与UNET网络中解码器(Decoder)中上采样模块输出的特征图数据一起，参与到当前层的网络计算中。
示例性的，在一些实施例中，图像处理神经网络还包括输入模块和输出模块，所述输入模块用于对输入特征图尺寸进行两倍下降，所述输出模块用于对输入特征图尺寸进行两倍上升，以及r倍的上采样。
如图3所示，输入模块位于第一层下采样模块之前，输出模块位于第一层上采样模块之后，在UNET网络的首部，通过步长为2的卷积算子(Convolution with stride＝2)和激活函数(Leaky ReLU)组成输入模块。在UNET网络的尾部，通过步长为2的反卷积算子(Transpose Convolution with stride＝2)、激活函数(Leaky ReLU)和像素混洗算子(PixelShuffle)组成输出模块，实现输入特征图尺寸的两倍下降和两倍上升，PixelShuffle算子能够实现将r2×h×w大小的特征图映射为rw×rh大小的特征图，从而实现图像的r倍上采样。
图5为本申请实施例中PixelShuffle算子的实现过程示意图，如图5所示，将一个H×W低分辨率输入图像(Low Resolution)，通过PixelShuffle运算将其变为rHxrW的高分辨率图像(High Resolution)。但是其实现过程不是直接通过插值等方式产生这个高分辨率图像，而是通过卷积先得到r2个通道的特征图(特征图尺寸和输入低分辨率图像尺寸一致)，然后通过周期筛选(periodic shuffing)的方法输出高分辨率图像，其中r为上采样因子(upscaling factor)，也就是图像的扩大倍率。
上述图像处理神经网络为UNET网络能够实现深层次特征和浅层次特征的结合，细化图像，提高超分辨图像的重建效果。每层混洗注意力模块对来自编码器的特征图数据进行通道注意力和空间注意力学习，实现通道维度和空间维度进行选择性复用以增强关注特征，进一步优化图像处理神经网络，提高网络性能以及图像超分辨结果的可靠性。
实际应用中，DARTS搜索中通常选取权重最大的算子，而将其余算子全部舍弃掉。这种做法在算子权重差异不明显时会带来网络性能上较大的误差，存在网络性能次优的问题。鉴于此，本申请实施例进一步基于锐度感知最小化(Sharpness-Aware Minima，SAM)对网络搜索进行优化来解决网络性能次优的问题，UNET网络包括权重参数和构架参数，两套参数统一在一个框架中通过SAM进行优化，基于SAM的优化方式能够使得网络训练过程中损失函数收敛区域更加平缓，这样有利于提升模型的泛化性能。
在上述实施例的基础上，对图像处理神经网络构建进行进一步的举例说明。图6为本申请实施例中图像处理神经网络构建方法的流程示意图，如图6所示，该方法具体包括：
步骤601：基于可微神经网络结构搜索下采样模块和上采样模块；
其中，所述下采样模块包括第一网络节点，所述第一网络节点和前继网络节点之间包括至少两个算子，所述前继网络节点的输出分别经过所述至少两个算子之后进行融合，得到所述第一网络节点的输入；
所述上采样模块包括第二网络节点，所述第二网络节点和前继网络节点之间包括至少两个算子；所述前继网络节点的输出分别经过所述至少两个算子之后进行融合，得到所述第二网络节点的输入。
示例性的，当两个网络节点之间选择了至少两个算子时，将所有算子输出的特征图求平均的方式进行算子层面的融合。保留上采样模块和下采样模块中多个有效算子并进行算子级融合，能够解决算子权重差异不明显导致模型次优的问题，在保证网络性能的基础上减少网络计算量。
示例性的，在一些实施例中，第一网络节点和所有前继网络节点都包括至少两个算子，或者第一网络节点和一部分前继网络节点之间包括至少两个算子，和另一部分前继网络节点之间包括一个算子。第二网络节点和所有前继网络节点都包括至少两个算子，或者第二网络节点和一部分前继网络节点之间包括至少两个算子，和另一部分前继网络节点之间包括一个算子。在一些实施例中，下采样模块和上采样模块还可以包括其他网络节点，其他网络节点和前继网络节点之间包括一个算子。可以理解为，当算子的权重差异较大时，两个网络节点之间可以只选取权重最大的算子，舍弃其他算子。
示例性的，在一些实施例中，所述基于可微神经网络结构搜索所述下采样模块和所述上采样模块包括：
预先定义第一搜索空间和第二搜索空间；
基于网络参数优化策略搜索所述第一搜索空间，得到所述下采样模块；
基于网络参数优化策略搜索所述第二搜索空间，得到所述上采样模块；
其中，所述第一搜索空间包括：M个网络节点、下采样算子和第一恒等映射算子；所述第二搜索空间包括：N个网络节点、上采样算子和第二恒等映射算子；M和N均取大于或者等于2的整数。
也就是说，在搜索下采样模块和上采样模块时，根据需要预先定义不同的搜索空间，包括网络节点数量和算子种类；网络节点之间的边看成所有算子的混合，采用交替优化的方法对节点的参数和算子的权重进行学习，优化完毕后根据权重确定网络节点的参数和算子。
示例性的，针对下采样模块，第一搜索空间选择4个网络节点、多个下采样算子和多个第一恒等映射算子。针对上采样模块，第二搜索空间选择4个网络节点、多个上采样算子和多个第二恒等映射算子。下采样算子为卷积算子(比如Conv+BN+LReLU算子)，上采样算子为反卷积算子(比如Transpose_Conv+BN+LReLU算子)。第一恒等映射算子和第二恒等映射算子的选择可以完全相同或不同，恒等映射算子使映射前后特征图尺寸不变，比如恒等映射算子可以conv+BN+LReLU算子。
网络参数优化策略用于保留网络节点之间多个算子，以解决网络模型次优的问题。其中，所述网络参数优化策略包括以下之一：
第一优化策略，选择权重最大的前k个算子；
第二优化策略，选择权重具有上升趋势的算子；
第三优化策略，从权重最大的前k个算子中选择权重具有上升趋势的算子；其中，k取大于1的整数。
示例性的，采用UNET网络中的one-level优化方式或者two-level优化方式，同时对上采样模块和下采样模块中算子的权重参数和网络参数进行更新与优化，直到所有参数收敛，最后选择权重参数最大的前3个算子，或者选择权重参数具有上升趋势的算子，所有未被选择出的算子就被淘汰掉。这样，选择出这些算子后，再对所有算子的输出特征图求平均的方式完成算子层面的融合。
图7(a)至图7(c)为本申请实施例中cell结构的第二演变过程示意图，图7(a)至图7(c)中每个Node(称为网络节点)的物理意义是特征图(feature map)，第一个特征图是cell的输入，最后一个特征图是cell的输出。特征图之间的线条表示的是操作算子(operation)。图7(a)定义了搜索空间，每个cell中的网络节点个数，搜索空间中的算子类型，两个网络节点之间包含三个算子。基于搜索空间中所给定的算子，并赋予每个算子的初始权重值，用线条粗细来表示每个算子的权重大小，实际应用中两个节点之间每个算子的初始权重值可以相等，即每个算子被选择的可能性相等。图7(b)表示的是cell中所有算子通过基于梯度下降优化策略更新每个算子所对应的权重，用线条粗细来表示每个算子的权重大小(表示被选择的可能性)，越粗表示参数权重越大被选择的可能性越大，越细表示参数权重越小被选择的可能性越小，待所有参数收敛之后，确定具有上升趋势(ascendingarchitecture parameters，AS)的算子，以及具有下降趋势(descending architectureparameters，DS)的算子。图7(c)表示经过训练后最终选出的cell架构，保留AS算子，舍弃DS算子，Node-1和Node-2之间保留两个算子，Node-3和Node-4之间保留两个算子，其他节点之间保留一个算子。
示例性的，在搜索下采样模块和上采样模块的过程中，用于基于可微神经网络结构搜索所述下采样模块和所述上采样模块的目标函数为：argminL1+2·Lms-ssim+3·Ledge+L2；其中，L1和L2为范数损失项，Lms-ssim为图像结构相似性损失项；Ledge为图像边缘信息损失项。
这里，L1具体为网络输出与给定真值之间的1范数损失项，L2具体为网络输出与给定真值之间的2范数损失项。
为了约束计算能耗，通过上述目标函数使得搜索出的网络模型更加轻量化，也同时兼顾了精度和效率，从而使得网络更容易部署到手机等移动设备上，能有效降低移动设备的计算能耗。
示例性的，在搜索下采样模块和上采样模块的过程中，用于基于可微神经网络结构搜索所述下采样模块和所述上采样模块的性能度量指标包括：峰值信噪比(Peak SignalNoise Ratio，PSNR)和结构相似性(Structural Similarity，SSIM)。这里，PSNR和SSIM作为图像质量评价指标，数值越大表明图像失真越小，网络性能越好；反之网络性能越差。
图8为本申请实施例中下采样模块的组成结构示意图，如图8所示，搜索到的下采样模块包括两个输入节点(Input0和Input1)和一个输出节点(Output)。D[XXX]表示下采样算子XXX的融合，X作为每个下采样算子的标识，取0、1、2或3。N[XXX]表示恒等映射算子XXX的融合，X作为每个恒等映射算子的标识，取0、2或3，在输出端通过拼接节点(Concat)进行通道拼接得到输出特征图。
图9为本申请实施例中上采样模块的组成结构示意图，如图9所示，搜索到的上采样模块包括两个输入节点(Input0和Input1)和一个输出节点(Output)。U[XXX]表示上采样算子XXX的融合，X作为每个上采样算子的标识，取0或1。N[XXX]表示恒等映射算子XXX的融合，X作为每个恒等映射算子的标识，取0、2或3，在输出端通过拼接节点(Concat)进行通道拼接得到输出特征图。
步骤602：利用所述下采样模块、所述上采样模块和所述混洗注意力模块，构建所述图像处理神经网络。
需要说明的是，如图3所示，UNET网络中包含4个层级，每个层级包含相同下采样模块、上采样模块和混洗注意力模块，只需要基于DARTS自动搜索最小化单元，便可构建图像处理神经网络。
示例性的，在一些实施例中，图像处理神经网络还包括输入模块和输出模块；所述输入模块用于对输入特征图尺寸进行两倍下降，所述输出模块用于对输入特征图尺寸进行两倍上升，以及r倍的上采样。
步骤603：获取训练数据集。
步骤604：利用所述训练数据集对所述图像处理神经网络进行网络重训练，直到损失函数满足收敛条件，得到训练完成的图像处理神经网络。
也就是说，DARTS自动搜索完成后，基于所有保留的算子构建图像处理神经网络，利用训练数据对图像处理神经网络重新训练，得到最终可以应用的图像处理神经网络。
上述图像处理神经网络在搜索过程中，保留多个有效算子并进行算子级融合，能够解决算子权重差异不明显导致模型次优的问题，在保证网络性能的基础上减少网络计算量，从而使得网络更容易部署到手机等移动设备上，在保证网络性能的情况下，能有效降低移动设备的计算能耗。将混洗注意力模块引入到UNET网络中，得到性能更优的图像处理神经网络，提高图像超分辨效果。
本申请实施例还提供了一种图像处理芯片，如图10所示，所述图像处理芯片100包括：
处理器1001，用于获取原始图像，利用利用图像处理神经网络对所述原始图像进行超分辨率重建，得到超分辨率图像；
其中，所述图像处理神经网络是基于可微神经网络结构搜索得到的UNET网络，所述图像处理神经网络包括至少一个下采样模块和与所述至少一个下采样模块分别对应的至少一个上采样模块，其中第一下采样模块和对应的第一上采样模块通过混洗注意力模块连接，所述第一下采样模块是所述至少一个下采样模块中的一个，所述第一上采样模块是所述至少一个上采样模块中的一个；
其中，所述混洗注意力模块配置成：对所述第一下采样模块输出的特征图数据执行通道混洗操作和算子融合操作。
在一些实施例中，所述混洗注意力模块进一步配置成提取所述第一下采样模块输出的特征图数据的通道注意力特征图数据和空间注意力特征图数据，将所述通道注意力特征图数据和所述空间注意力特征图数据融合后输入到所述第一上采样模块。
在一些实施例中，所述处理器进一步配置成：
将所述第一下采样模块输出的特征图数据按照维度分成g组特征图数据；
基于每组特征图数据生成关联于所述通道注意力网络的通道注意力特征图数据以及关联于所述空间注意力网络的空间注意力特征图数据；
将每组特征图数据的通道注意力特征图数据和空间注意力特征图数据进行拼接，得到g组拼接后特征图数据；以及
对所述g组拼接后特征图数据执行所述通道混洗操作和所述算子融合操作，以得到融合后的特征图数据。
在一些实施例中，所述图像处理神经网络还包括输入模块和输出模块；其中，所述输入模块用于对输入特征图尺寸进行两倍下降，所述输出模块用于对输入特征图尺寸进行两倍上升，以及r倍的上采样。
在一些实施例中，所述下采样模块和所述上采样模块是基于可微神经网络结构搜索到的；
其中，所述下采样模块包括第一网络节点，所述第一网络节点和前继网络节点之间包括至少两个算子，所述前继网络节点的输出分别经过所述至少两个算子之后进行融合，得到所述第一网络节点的输入；
所述上采样模块包括第二网络节点，所述第二网络节点和前继网络节点之间包括至少两个算子；所述前继网络节点的输出分别经过所述至少两个算子之后进行融合，得到所述第二网络节点的输入。
这样，在搜索过程中，保留多个有效算子并进行算子级融合，能够解决算子权重差异不明显导致模型次优的问题，在保证网络性能的基础上减少网络计算量。
在一些实施例中，基于可微神经网络结构搜索所述下采样模块和所述上采样模块时，预先定义第一搜索空间和第二搜索空间；基于网络参数优化策略搜索所述第一搜索空间，得到所述下采样模块；基于网络参数优化策略搜索所述第二搜索空间，得到所述上采样模块；
其中，所述第一搜索空间包括：M个网络节点、下采样算子和第一恒等映射算子；所述第二搜索空间包括：N个网络节点、上采样算子和第二恒等映射算子；M和N均取大于或者等于2的整数。
在一些实施例中，所述网络参数优化策略包括：第一优化策略，选择权重最大的前k个算子；其中，k取大于1的整数；或者，第二优化策略，选择权重具有上升趋势的算子。
在一些实施例中，用于基于可微神经网络结构搜索所述下采样模块和所述上采样模块的目标函数为：argminL1+2·Lms-ssim+3·Ledge+L2；
其中，L1和L2为范数损失项，Lms-ssim为图像结构相似性损失项，Ledge为图像边缘信息损失项。
在一些实施例中，用于基于可微神经网络结构搜索所述下采样模块和所述上采样模块的性能度量指标包括：峰值信噪比PSNR和结构相似性SSIM。
在一些实施例中，所述处理器1001包括以下的至少一者：图形处理器(GraphicsProcessing Unit，GPU)；数字信号处理器(Digital Signal Processor，DSP)；图像信号处理器(Image Signal Processor，ISP)；以及神经网络处理器(Neural-network ProcessingUnit，NPU)。
该图像处理芯片100还可以包括存储器1002，存储能够在处理器1001上运行的计算机程序，处理器1001配置为运行所述计算机程序时，执行前述超分辨图像重建操作。
上述存储器可以是易失性存储器(volatile memory)，例如随机存取存储器(RAM，Random-Access Memory)；或者非易失性存储器(non-volatile memory)，例如只读存储器(ROM，Read-Only Memory)，快闪存储器(flash memory)，硬盘(HDD，Hard Disk Drive)或固态硬盘(SSD，Solid-State Drive)；或者上述种类的存储器的组合，并向处理器提供指令和数据。
可选地，该图像处理芯片100还可以包括输入接口1003。通过输入接口1003与其他设备或芯片进行通信，具体地，可以获取其他设备或芯片发送的信息或数据。
可选地，该图像处理芯片100还可以包括输出接口1004。通过输出接口1004与其他设备或芯片进行通信，具体地，可以向其他设备或芯片输出信息或数据。
可选地，该图像处理芯片100可应用于本申请实施例中的电子设备。
当然，实际应用时，该芯片中的各个组件通过总线系统耦合在一起。可理解，总线系统用于实现这些组件之间的连接通信。总线系统除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。
需要说明的是，本申请实施例上述图像处理神经网络还可以部署在其他任意一种硬件计算单元上来实现。
本申请实施例还提供了一种用于图像处理的装置，如图11所示，所述装置110包括：
获取模块1101，用于获取原始图像；以及
处理模块1102，用于利用图像处理神经网络对所述原始图像进行图像重建，得到超分辨率图像；
其中，所述图像处理神经网络是基于可微神经网络结构搜索得到的UNET网络，所述图像处理神经网络包括至少一个下采样模块和与所述至少一个下采样模块分别对应的至少一个上采样模块，其中第一下采样模块和对应的第一上采样模块通过混洗注意力模块连接，所述第一下采样模块是所述至少一个下采样模块中的一个，所述第一上采样模块是所述至少一个上采样模块中的一个；
其中，所述混洗注意力模块配置成：对所述第一下采样模块输出的特征图数据执行通道混洗操作和算子融合操作。
在一些实施例中，所述混洗注意力模块进一步配置成提取所述第一下采样模块输出的特征图数据的通道注意力特征图数据和空间注意力特征图数据，将所述通道注意力特征图数据和所述空间注意力特征图数据融合后输入到所述第一上采样模块。
在一些实施例中，所述混洗注意力模块包括：第一分割层、第二分割层、通道注意力网络、空间注意力网络、拼接层和混洗融合层；
所述第一分割层配置成将所述第一下采样模块输出的特征图数据按照维度分成g组特征图数据；
所述第二分割层配置成基于每组特征图数据生成关联于所述通道注意力网络的通道注意力特征图数据以及关联于所述空间注意力网络的空间注意力特征图数据；
所述拼接层配置成将每组特征图数据的通道注意力特征图数据和空间注意力特征图数据进行拼接，得到g组拼接后特征图数据；
所述混洗融合层配置成对所述g组拼接后特征图数据执行所述通道混洗操作和所述算子融合操作，以得到融合后的特征图数据。
在一些实施例中，所述图像处理神经网络还包括输入模块和输出模块；其中，所述输入模块用于对输入特征图尺寸进行两倍下降，所述输出模块用于对输入特征图尺寸进行两倍上升，以及r倍的上采样。
在一些实施例中，所述下采样模块和所述上采样模块是基于可微神经网络结构搜索到的；
其中，所述下采样模块包括第一网络节点，所述第一网络节点和前继网络节点之间包括至少两个算子，所述前继网络节点的输出分别经过所述至少两个算子之后进行融合，得到所述第一网络节点的输入；
所述上采样模块包括第二网络节点，所述第二网络节点和前继网络节点之间包括至少两个算子；所述前继网络节点的输出分别经过所述至少两个算子之后进行融合，得到所述第二网络节点的输入。
这样，在搜索过程中，保留多个有效算子并进行算子级融合，能够解决算子权重差异不明显导致模型次优的问题，在保证网络性能的基础上减少网络计算量。
在一些实施例中，基于可微神经网络结构搜索所述下采样模块和所述上采样模块时，预先定义第一搜索空间和第二搜索空间；基于网络参数优化策略搜索所述第一搜索空间，得到所述下采样模块；基于网络参数优化策略搜索所述第二搜索空间，得到所述上采样模块；
其中，所述第一搜索空间包括：M个网络节点、下采样算子和第一恒等映射算子；所述第二搜索空间包括：N个网络节点、上采样算子和第二恒等映射算子；M和N均取大于或者等于2的整数。
在一些实施例中，所述网络参数优化策略包括：第一优化策略，选择权重最大的前k个算子；其中，k取大于1的整数；或者，第二优化策略，选择权重具有上升趋势的算子。
在一些实施例中，用于基于可微神经网络结构搜索所述下采样模块和所述上采样模块的目标函数为：argminL1+2·Lms-ssim+3·Ledge+L2；
其中，L1和L2为范数损失项，Lms-ssim为图像结构相似性损失项，Ledge为图像边缘信息损失项。
在一些实施例中，用于基于可微神经网络结构搜索所述下采样模块和所述上采样模块的性能度量指标包括：峰值信噪比PSNR和结构相似性SSIM。
示例性的，在UNET网络的首部和尾部，通过步长为2的卷积算子(Convolutionwith stride＝2)和激活函数(Leaky ReLU)组成输入模块。通过步长为2的反卷积算子(Transpose Convolution with stride＝2)、激活函数(Leaky ReLU)和像素混洗算子(PixelShuffle)组成输出模块，实现输入特征图尺寸的两倍下降和两倍上升，PixelShuffle算子能够实现将大小的特征图映射为rw×rh大小的特征图，从而实现图像的r倍上采样。
上述用于图像处理的装置可以是电子设备，也可以是应用于电子设备中的图像处理芯片，在本申请中，该装置可以通过或软件、或硬件、或软件与硬件相结合的方式，实现多个单元的功能，使该装置可以执行如上述任一实施例所提供的控制方法。且该装置的各技术方案的技术效果可以参考控制方法中相应的技术方案的技术效果，本申请对此不再一一赘述。
本申请实施例中还提供了一种电子设备，如图12所示，该电子设备120包括：处理器1201和配置为存储能够在处理器1201上运行的计算机程序的存储器1202，
其中，处理器1201配置为运行计算机程序时，执行前述实施例中的方法步骤。
在一些实施例中，所述处理器1201包括以下的至少一者：图形处理器(GraphicsProcessing Unit，GPU)；数字信号处理器(Digital Signal Processor，DSP)；图像信号处理器(Image Signal Processor，ISP)；以及神经网络处理器(Neural-network ProcessingUnit，NPU)。
当然，实际应用时，如图12所示，该电子设备中的各个组件通过总线系统耦合在一起。可理解，总线系统用于实现这些组件之间的连接通信。总线系统除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。
本申请中描述的电子设备可以包括诸如手机、平板电脑、笔记本电脑、掌上电脑、个人数字助理(Personal Digital Assistant，PDA)、便捷式媒体播放器(Portable MediaPlayer，PMP)、可穿戴设备、智能手环、相机等。
在示例性实施例中，本申请实施例还提供了一种计算机可读存储介质，例如包括计算机程序的存储器，计算机程序可由电子设备的处理器执行，以完成前述方法的步骤。
应当理解，在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。本申请中表述“具有”、“可以具有”、“包括”和“包含”、或者“可以包括”和“可以包含”在本文中可以用于指示存在对应的特征(例如，诸如数值、功能、操作或组件等元素)，但不排除附加特征的存在。
应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开，不必用于描述特定的顺序或先后次序。例如，在不脱离本发明范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。
本申请实施例所记载的技术方案之间，在不冲突的情况下，可以任意组合。
在本申请所提供的几个实施例中，应该理解到，所揭露的方法、装置和设备，可以通过其它的方式实现。以上所描述的实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本申请各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。

Claims (12)

1.一种用于图像处理的方法，其特征在于，所述方法包括：
获取原始图像；
利用图像处理神经网络对所述原始图像进行图像重建，得到超分辨率图像；
其中，所述图像处理神经网络是基于可微神经网络结构搜索得到的UNET网络，所述图像处理神经网络包括至少一个下采样模块和与所述至少一个下采样模块分别对应的至少一个上采样模块，其中第一下采样模块和对应的第一上采样模块通过混洗注意力模块连接，所述第一下采样模块是所述至少一个下采样模块中的一个，所述第一上采样模块是所述至少一个上采样模块中的一个；
其中，所述混洗注意力模块配置成：对所述第一下采样模块输出的特征图数据执行通道混洗操作和算子融合操作。
2.根据权利要求1所述的方法，其特征在于，所述混洗注意力模块进一步配置成提取所述第一下采样模块输出的特征图数据的通道注意力特征图数据和空间注意力特征图数据，将所述通道注意力特征图数据和所述空间注意力特征图数据融合后输入到所述第一上采样模块。
3.根据权利要求2所述的方法，其特征在于，所述混洗注意力模块包括：
第一分割层、第二分割层、通道注意力网络、空间注意力网络、拼接层和混洗融合层；
所述第一分割层配置成将所述第一下采样模块输出的特征图数据按照维度分成g组特征图数据；
所述第二分割层配置成基于每组特征图数据生成关联于所述通道注意力网络的通道注意力特征图数据以及关联于所述空间注意力网络的空间注意力特征图数据；
所述拼接层配置成将每组特征图数据的通道注意力特征图数据和空间注意力特征图数据进行拼接，得到g组拼接后特征图数据；
所述混洗融合层配置成对所述g组拼接后特征图数据执行所述通道混洗操作和所述算子融合操作，以得到融合后的特征图数据。
4.根据权利要求1所述的方法，其特征在于，所述图像处理神经网络还包括输入模块和输出模块；
其中，所述输入模块用于对输入特征图尺寸进行两倍下降，所述输出模块用于对输入特征图尺寸进行两倍上升，以及r倍的上采样。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
基于可微神经网络结构搜索到所述下采样模块和所述上采样模块；
利用所述下采样模块、所述上采样模块和所述混洗注意力模块，构建所述图像处理神经网络；
其中，所述下采样模块包括第一网络节点，所述第一网络节点和前继网络节点之间包括至少两个算子，所述前继网络节点的输出分别经过所述至少两个算子之后进行融合，得到所述第一网络节点的输入；
所述上采样模块包括第二网络节点，所述第二网络节点和前继网络节点之间包括至少两个算子；所述前继网络节点的输出分别经过所述至少两个算子之后进行融合，得到所述第二网络节点的输入。
6.根据权利要求5所述的方法，其特征在于，所述基于可微神经网络结构搜索到所述下采样模块和所述上采样模块，包括：
预先定义第一搜索空间和第二搜索空间；
基于网络参数优化策略搜索所述第一搜索空间，得到所述下采样模块；
基于网络参数优化策略搜索所述第二搜索空间，得到所述上采样模块；
其中，所述第一搜索空间包括：M个网络节点、下采样算子和第一恒等映射算子；所述第二搜索空间包括：N个网络节点、上采样算子和第二恒等映射算子；M和N均取大于或者等于2的整数；
其中，所述网络参数优化策略包括以下之一：
第一优化策略，选择权重最大的前k个算子；
第二优化策略，选择权重具有上升趋势的算子；
第三优化策略，从权重最大的前k个算子中选择权重具有上升趋势的算子；其中，k取大于1的整数。
7.根据权利要求5所述的方法，其特征在于，用于基于可微神经网络结构搜索到所述下采样模块和所述上采样模块的目标函数为：argminL1+2·Lms-ssim+3·Ledge+L2；
其中，L1和L2为范数损失项，Lms-ssim为图像结构相似性损失项，Ledge为图像边缘信息损失项；
用于基于可微神经网络结构搜索所述下采样模块和所述上采样模块的性能度量指标包括：峰值信噪比PSNR和结构相似性SSIM。
8.一种图像处理芯片，其特征在于，包括：
处理器，用于获取原始图像，利用利用图像处理神经网络对所述原始图像进行超分辨率重建，得到超分辨率图像；
其中，所述图像处理神经网络是基于可微神经网络结构搜索得到的UNET网络，所述图像处理神经网络包括至少一个下采样模块和与所述至少一个下采样模块分别对应的至少一个上采样模块，其中第一下采样模块和对应的第一上采样模块通过混洗注意力模块连接，所述第一下采样模块是所述至少一个下采样模块中的一个，所述第一上采样模块是所述至少一个上采样模块中的一个；
其中，所述混洗注意力模块配置成：对所述第一下采样模块输出的特征图数据执行通道混洗操作和算子融合操作。
9.根据权利要求8所述的图像处理芯片，其特征在于，所述处理器进一步配置成：
将所述第一下采样模块输出的特征图数据按照维度分成g组特征图数据；
基于每组特征图数据生成关联于所述通道注意力网络的通道注意力特征图数据以及关联于所述空间注意力网络的空间注意力特征图数据；
将每组特征图数据的通道注意力特征图数据和空间注意力特征图数据进行拼接，得到g组拼接后特征图数据；以及
对所述g组拼接后特征图数据执行所述通道混洗操作和所述算子融合操作，以得到融合后的特征图数据。
10.一种用于图像处理的装置，其特征在于，包括：
获取模块，用于获取原始图像；以及
处理模块，用于利用图像处理神经网络对所述原始图像进行图像重建，得到超分辨率图像；
其中，所述图像处理神经网络是基于可微神经网络结构搜索得到的UNET网络，所述图像处理神经网络包括至少一个下采样模块和与所述至少一个下采样模块分别对应的至少一个上采样模块，其中第一下采样模块和对应的第一上采样模块通过混洗注意力模块连接，所述第一下采样模块是所述至少一个下采样模块中的一个，所述第一上采样模块是所述至少一个上采样模块中的一个；
其中，所述混洗注意力模块配置成：对所述第一下采样模块输出的特征图数据执行通道混洗操作和算子融合操作。
11.一种电子设备，其特征在于，包括：处理器和配置为存储能够在所述处理器上运行的计算机程序的存储器，
其中，所述处理器配置为运行所述计算机程序时，执行权利要求1至7任一项所述方法的步骤。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至7任一项所述的方法的步骤。
CN202111347170.3A 2021-11-15 2021-11-15 一种用于图像处理的方法、芯片、装置及电子设备 Pending CN114049259A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111347170.3A CN114049259A (zh) 2021-11-15 2021-11-15 一种用于图像处理的方法、芯片、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111347170.3A CN114049259A (zh) 2021-11-15 2021-11-15 一种用于图像处理的方法、芯片、装置及电子设备

Publications (1)

Publication Number Publication Date
CN114049259A true CN114049259A (zh) 2022-02-15

Family

ID=80209028

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111347170.3A Pending CN114049259A (zh) 2021-11-15 2021-11-15 一种用于图像处理的方法、芯片、装置及电子设备

Country Status (1)

Country Link
CN (1) CN114049259A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023035985A1 (zh) * 2021-09-10 2023-03-16 哲库科技(上海)有限公司 一种图像处理方法、装置及存储介质
WO2023035986A1 (zh) * 2021-09-10 2023-03-16 Oppo广东移动通信有限公司 一种图像处理方法、电子设备及计算机存储介质
CN116051662A (zh) * 2023-03-31 2023-05-02 腾讯科技（深圳）有限公司 图像处理方法、装置、设备和介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023035985A1 (zh) * 2021-09-10 2023-03-16 哲库科技(上海)有限公司 一种图像处理方法、装置及存储介质
WO2023035986A1 (zh) * 2021-09-10 2023-03-16 Oppo广东移动通信有限公司 一种图像处理方法、电子设备及计算机存储介质
CN116051662A (zh) * 2023-03-31 2023-05-02 腾讯科技（深圳）有限公司 图像处理方法、装置、设备和介质
CN116051662B (zh) * 2023-03-31 2023-06-23 腾讯科技（深圳）有限公司 图像处理方法、装置、设备和介质

Similar Documents

Publication Publication Date Title
CN110717851B (zh) 图像处理方法及装置、神经网络的训练方法、存储介质
Tan et al. Color image demosaicking via deep residual learning
CN114049259A (zh) 一种用于图像处理的方法、芯片、装置及电子设备
CN110084863B (zh) 一种基于生成对抗网络的多域图像转换方法与系统
CN109934241B (zh) 可集成到神经网络架构中的图像多尺度信息提取方法
JP2020187721A (ja) 画像セグメンテーション方法、装置およびコンピュータプログラム
Guo et al. Building an end-to-end spatial-temporal convolutional network for video super-resolution
US20230177646A1 (en) Image processing method and apparatus
CN112308200A (zh) 神经网络的搜索方法及装置
CN111523410A (zh) 一种基于注意力机制的视频显著性目标检测方法
CN112767466B (zh) 一种基于多模态信息的光场深度估计方法
CN112561027A (zh) 神经网络架构搜索方法、图像处理方法、装置和存储介质
CN114049258A (zh) 一种用于图像处理的方法、芯片、装置及电子设备
CN112819910A (zh) 基于双鬼注意力机制网络的高光谱图像重建方法
CN113538243B (zh) 基于多视差注意力模块组合的超分辨图像重建方法
CN111652921A (zh) 一种单目深度预测模型的生成方法及单目深度预测方法
CN113344794B (zh) 一种图像处理方法、装置、计算机设备及存储介质
Nathan et al. Light weight residual dense attention net for spectral reconstruction from RGB images
CN112150363B (zh) 一种基于卷积神经网络的图像夜景处理方法及运行该方法的计算模块与可读存储介质
CN117522937A (zh) 面向全天候场景的自监督单目深度估计方法及装置
CN115439336A (zh) 一种用于图像去噪处理的方法、电子设备、装置及计算系统
Nazir et al. 2HDED: Net for joint depth estimation and image deblurring from a single out-of-focus image
Wang et al. Image quality enhancement using hybrid attention networks
CN116152128A (zh) 基于注意力机制的高动态范围多曝光图像融合模型及方法
CN114638870A (zh) 一种基于深度学习的室内场景单目图像深度估计方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination