CN113837980A - 分辨率的调整方法、装置、电子设备及存储介质 - Google Patents

分辨率的调整方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN113837980A
CN113837980A CN202111186827.2A CN202111186827A CN113837980A CN 113837980 A CN113837980 A CN 113837980A CN 202111186827 A CN202111186827 A CN 202111186827A CN 113837980 A CN113837980 A CN 113837980A
Authority
CN
China
Prior art keywords
image
network
frequency domain
extraction network
domain feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111186827.2A
Other languages
English (en)
Inventor
赵娟萍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202111186827.2A priority Critical patent/CN113837980A/zh
Publication of CN113837980A publication Critical patent/CN113837980A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本申请涉及一种分辨率的调整方法、装置、电子设备及存储介质，属于终端技术领域。该方法包括：将待处理的图像输入图像超分辨率模型，该图像超分辨率模型包括时域特征提取网络、频域特征提取网络和特征融合网络；通过该时域特征提取网络，确定该图像的时域特征图；基于该频域特征提取网络，确定该图像的频域特征图；基于该特征融合网络，将该时域特征图和该频域特征图的图像特征加权融合，得到该图像对应的目标图像，该目标图像的分辨率大于该图像。通过本方案，在确定目标图像时，能够结合待处理的图像的时域特征和频域特征，进而提高了目标图像的质量。

Description

分辨率的调整方法、装置、电子设备及存储介质
技术领域
本申请实施例涉及终端技术领域，特别涉及一种分辨率的调整方法、装置、电子设备及存储介质。
背景技术
图像超分辨率(Super Resolution，SR)技术能够通过提高图像的分辨率使模糊图像变清晰，在游戏、电影、相机、医疗影像等领域都有广泛的应用。一般通过变焦来提高图像的分辨率。其中，变焦方式包括光学变焦和数码变焦。光学变焦指通过调整镜头的焦距等相机参数来变焦；数码变焦指通过图像处理算法来对图像进行调整，以实现模拟光学变焦的目的。
相关技术中，数码变焦通过训练的神经网络模型实现。通过神经网络模型针对时域特征进行下采样和上采样，得到多个特征图，通过像素重置(PixelShuffle)算法，将多个特征图映射为一个高分辨率的图像。
发明内容
本申请实施例提供了一种分辨率的调整方法、装置、电子设备及存储介质，能够提高超分辨率图像的质量。所述技术方案如下：
一方面，提供了一种分辨率的调整方法，所述方法包括：
将待处理的图像输入图像超分辨率模型，所述图像超分辨率模型包括时域特征提取网络、频域特征提取网络和特征融合网络；
通过所述时域特征提取网络，确定所述图像的时域特征图；
基于所述频域特征提取网络，确定所述图像的频域特征图；
基于所述特征融合网络，将所述时域特征图和所述频域特征图的图像特征加权融合，得到所述图像对应的目标图像，所述目标图像的分辨率大于所述图像。
另一方面，提供了一种分辨率的调整装置，所述装置包括：
输入模块，用于将待处理的图像输入图像超分辨率模型，所述图像超分辨率模型包括时域特征提取网络、频域特征提取网络和特征融合网络；
第一确定模块，用于通过所述时域特征提取网络，确定所述图像的时域特征图；
第一确定模块，用于基于所述频域特征提取网络，确定所述图像的频域特征图；
融合模块，用于基于所述特征融合网络，将所述时域特征图和所述频域特征图的图像特征加权融合，得到所述图像对应的目标图像，所述目标图像的分辨率大于所述图像。
另一方面，提供了一种电子设备，所述电子设备包括处理器和存储器；所述存储器存储有至少一条程序代码，所述至少一条程序代码用于被所述处理器执行以实现如上述方面所述的分辨率的调整方法。
另一方面，提供了一种计算机可读存储介质，所述存储介质存储有至少一条程序代码，所述至少一条程序代码用于被处理器执行以实现如上述方面所述的分辨率的调整方法。
另一方面，还提供了一种计算机程序产品，该计算机程序产品存储有至少一条程序代码，所述至少一条程序代码由处理器加载并执行以实现上述方面所述的分辨率的调整方法。
在本申请实施例中，通过将时域特征提取网络和频域特征提取网络构建到同一图像超分辨率模型中，使得图像超分辨率模型能够提取待处理的图像的时域特征图和频域特征图，进而将时域特征图和频域特征图加权融合，得到目标图像，使得在确定目标图像时，能够结合待处理的图像的时域特征和频域特征，进而提高了目标图像的质量。
附图说明
图1示出了本申请一个示例性实施例提供的电子设备的结构方框图；
图2示出了本申请一个示例性实施例示出的构建图像超分辨率模型方法的流程图；
图3示出了本申请一个示例性实施例示出的构建图像超分辨率模型方法的流程图；
图4示出了本申请一个示例性实施例示出的图像超分辨率模型的示意图；
图5示出了本申请一个示例性实施例示出的分辨率的调整方法的流程图；
图6示出了本申请一个示例性实施例示出的分辨率的调整方法的流程图；
图7示出了本申请一个示例性实施例示出的图像超分辨率模型的示意图；
图8示出了本申请一个示例性实施例示出的像素重置的示意图；
图9示出了本申请一个示例性实施例示出的时域特征提取网络的下采样的流程图；
图10示出了本申请一个示例性实施例示出的时域特征提取网络的上采样的流程图；
图11示出了本申请一个实施例提供的分辨率的调整装置的结构框图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
在本文中提及的“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本申请所涉及的图像等数据为经用户授权或者经过各方充分授权的数据。
请参考图1，其示出了本申请一个示例性实施例提供的电子设备100的结构方框图。电子设备100可以是智能手机、平板电脑或摄像机等具有图像处理的功能的电子设备。本申请中的电子设备100可以包括一个或多个如下部件：处理器110、存储器120。
处理器110可以包括一个或者多个处理核心。处理器110利用各种接口和线路连接整个电子设备100内的各个部分，通过运行或执行存储在存储器120内的程序代码、程序、代码集或程序代码集，以及调用存储在存储器120内的数据，执行电子设备100的各种功能和处理数据。可选地，处理器110采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(ProgrammableLogic Array，PLA)中的至少一种硬件形式来实现。处理器110可集成中央处理器(CentralProcessing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)、神经网络处理器(Neural-network Processing Unit，NPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示屏130所需要显示的内容的渲染和绘制；NPU用于实现人工智能(Artificial Intelligence，AI)功能；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器110中，单独通过一块芯片进行实现。
在本申请实施例中，该处理器110用于将待处理的图像进行图像超分辨率处理，进而提高该图像的分辨率。
存储器120可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory，ROM)。可选地，该存储器120包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器120可用于存储程序代码、程序、代码、代码集或程序代码集。存储器120可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的程序代码、用于至少一个功能的程序代码(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的程序代码等；存储数据区可存储根据电子设备100的使用所创建的数据(比如音频数据、电话本)等。
除此之外，本领域技术人员可以理解，上述附图所示出的电子设备100的结构并不构成对电子设备100的限定，电子设备100可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。比如，电子设备100中还包括显示屏，其中，显示屏是用于显示用户界面的显示组件。可选的，该显示屏为具有触控功能的显示屏，通过触控功能，用户可以使用手指、触摸笔等任何适合的物体在显示屏上进行触控操作。显示屏通常设置在电子设备100的前面板。显示屏可被设计成为全面屏、曲面屏、异型屏、双面屏或折叠屏。显示屏还可被设计成为全面屏与曲面屏的结合，异型屏与曲面屏的结合等，本申请实施例对此不加以限定。
另外，电子设备中还能够包括麦克风、扬声器、射频电路、输入单元、传感器、音频电路、无线保真(Wireless Fidelity，Wi-Fi)模块、电源、蓝牙模块、摄像模块等部件，在此不再赘述。
在本申请实施例中，为了提高目标图像的质量，通过图像超分辨率模型将时域特征图和频域特征图融合，得到融合了时频特征的目标图像，使得得到的目标图像中包括能够包括频域特征和时域特征，进而提高了目标图像的质量。请参考图2，其示出了本申请一个示例性实施例示出的分辨率的调整方法的流程图。在本申请实施例中以执行主体为电子设备为例进行说明。其中，电子设备可以通过电子设备中的处理器或其他具有图像处理功能的硬件执行本申请实施例。本申请实施例以构建图像超分辨率模型为例进行说明。该方法包括：
步骤S201：电子设备基于神经网络构建模型，确定时域特征提取网络。
神经网络构建模型为实现神经网络搜索技术(Neural Architecture Search，NAS)的网络模型。该时域特征提取网络用于提取图像的时域特征。在本步骤中，电子设备通过神经网络构建模型在预先定义的搜索空间中搜索网络模块，然后将网络模块分别组成不同的网络，再对组成的网络进行评估，基于评估结果确定合适的网络。参见图3，该过程通过以下步骤S2011-S2013实现，包括：
步骤S2011：电子设备确定用于约束网络的约束信息。
其中，该约束信息用于约束待构建的网络。例如，该约束信息为待构建的网络的网络参数的数量(#Param)、在推理过程中所产生的网络时延(Latency)、浮点运算量(FLOPs)等。
例如，该约束信息为网络参数的数量、网络延迟、所有浮点运算量分别不超过其对应的最大值，参见公式一。
公式一：
Figure BDA0003299595130000051
其中，#Param为待构建的网络的网络参数的数量；Latency为待构建的网络在推理过程中所产生的网络时延；FLOPs为待构建的网络的所有浮点运算量；r1为待构建的网络的网络参数的最大数量；r2为待构建的网络在推理过程中所产生的最大网络时延；r3待构建的网络的所有浮点的最大运算量。其中，r1、r2和r3的数值根据需要进行设置，在本申请实施例中，对r1、r2和r3的数值不作具体限定。
在一些实施例中，该约束信息为系统默认的约束信息。相应的，电子设备中存储系统默认的约束信息。在本步骤中，电子设备调用存储的约束信息。在一些实施例中，该约束信息为用户输入的约束信息。相应的，电子设备展示信息输入界面，通过信息输入界面获取用户输入的约束信息。在一些实施例中，该约束信息为基于待构建的网络的网络架构确定的。网络架构指该网络的组成结构。例如，网络架构指组成网络的网络模块的数量、网络模块之间的连接关系等。其中，网络参数的数量、网络时延和浮点运算量均与网络架构中网络模块的数量正相关。相应的，电子设备确定待构建的网络的网络架构，基于该网络架构确定约束信息。其中，该网络架构为用户输入的网络架构，或者，该网络结构为系统默认的网络结构等。在本申请实施例中，对此不作具体限定。
步骤S2012：电子设备基于约束信息，通过神经网络构建模型确定符合约束信息的多个网络，网络中包括串联的上采样模块和下采样模块。
在本步骤中，电子设备通过神经网络构建模型搜索网络模块，将搜索到的网络模块组成网络。
在一些实施例中，电子设备基于该约束信息，通过神经网络构建模型在时域网络对应的搜索空间中搜索能够应用在目标网络架构的网络模块，将这些网络模块组成一组网络。其中，电子设备通过神经网络构建模型确定该搜索空间中每个网络模块的属性信息，该属性信息用于指示该网络模块的网络参数、浮点运算量、网络模块的功能等信息。电子设备基于网络模块的属性信息，确定符合该目标网络架构的功能的多个网络模块，再从多个符合该目标网络架构的功能的多个网络模块中，确定网络参数的数量和浮点运算量满足该约束信息的网络模块，将这些网络模块中网络延迟也符合该约束条件的网络模块组成一组网络。
例如，该目标网络架构为用于提取图像特征的U型网络架构，电子设备通过神经网络构建模型，在时域网络对应的搜索空间中，基于图像特征提取功能搜索下采样模块和上采样模块，基于搜索到的多个上采样模块和多个下采样模块的属性信息，确定多个上采样模块和多个下采样模块中采样层和其他数据处理层的网络参数的数量和浮点运算量，从而从该多个上采样模块和多个下采样模块中确定满足约束信息中网络参数的数量和浮点运算量要求的上采样模块和下采样模块，将这些上采样模块和下采样模块中，网络延时也符合该约束条件的上采样模块和下采样模块组成一组网络。
其中，该目标网络框架为默认的网络框架，或者，该目标网络框架为基于约束信息确定的网络框架。在该目标网络框架为基于约束信息确定的网络框架的情况下，电子设备基于约束信息，确定网络框架中网络模块的数量和网络模块之间的连接关系，从而基于网络模块的数量和网络模块之间的连接关系确定该网络架构。
需要说明的一点是，该下采样模块和上采样模块为用于处理时域信息的网络模块，继续参见图4，该下采样模块由输入层和下采样层组成，其中，输入层包括卷积层、归一化层和激活层，下采样层包括指定步长的卷积层、归一化层和激活层。上采样模块包括输入层和上采样层，其中，输入层包括返卷积层、归一化层和激活层依次，上采样层包括返卷积层、归一化层和激活层。
需要说明的另一点是，该时域特征提取网络中上采样模块的数量与下采样模块的数量相同，并且，该上采样模块的数量和下采样模块的数量根据需要进行设置，在本申请实施例中，对此不作具体限定。例如，继续参见图4，该是时域特征提取网络中上采样模块和下采样模块的数量均为4个。
步骤S2013：电子设备从多个网络中，确定损失值最小的时域特征提取网络。
该损失值为电子设备基于损失函数确定的损失值。其中，该损失函数为任一类型的损失函数，例如，该损失函数为范数损失对应的损失函数或者颜色色度差异损失对应的损失函数等。
在一些实施例中，该损失函数为两种或两种以上的损失函数之和。例如，该损失函数为范数损失和颜色色度差异损失对应的损失函数之和。
在本步骤中，电子设备确定在约束信息下损失值最小的网络，将该网络确定为时域特征提取网络，参见公式二。
公式二：
Figure BDA0003299595130000071
其中，argminL1+Lcd表示损失函数的最小值；L1表示范数损失值；Lcd表示颜色色度差异损失值；
Figure BDA0003299595130000081
表示该网络的约束信息，其中，#Param为网络的网络参数的数量；Latency为网络在推理过程中所产生的网络时延；FLOPs为网络的所有浮点运算量；r1为网络的网络参数的最大数量；r2为网络在推理过程中所产生的最大网络时延；r3为网络的所有浮点的最大运算量。其中，r1、r2和r3的数值根据需要进行设置，在本申请实施例中，对r1、r2和r3的数值不作具体限定。
在本实现方式中，通过约束信息对神经网络构建模型进行约束，使得神经网络构建模型搜索到的网络更加轻量化，从而使得构建的模型能够部署到手机等终端侧进行推理运算。
需要说明的一点是，该时域特征提取网络还包括头部单元(Head Ops)和尾部单元(Tail Ops)，继续参见图4。该头部单元和尾部单元的结构根据需要进行设置，在本申请实施例中，对该头部单元和尾部单元不作具体限定。例如，该头部单元包括卷积层(Conv)和激活层(Activation)；该尾部单元包括返卷积层(TransConv)、激活层(Activation)和像素重置层(PixelShuffle)。
步骤S202：电子设备基于时域特征提取网络，确定频域特征提取网络。
其中，频域特征提取网络用于提取图像的时域特征。
在一些实施例中，电子设备基于神经网络构建模型在频域网络对应的搜索空间进行搜索，得到频域特征提取网络。在一些实施例中，电子设备将频域时域特征提取网络的网络模块替换为用于处理频域信息的网络模块，得到该频域特征提取网络。该过程为：电子设备基于时域特征提取网络，将时域特征提取网络中每个下采样模块替换为频域下采样模块，以及，将时域特征提取网络中的每个上采样模块替换为频域上采样模块，得到频域特征提取网络。
例如，继续参见图4，电子设备将时域特征提取网络中，以特定步长进行卷积以实现下采样的下采样模块替换为频域转换模块；将时域特征提取网络中，进行上采样的上采样模块替换为逆频域变换模块，得到频域特征提取网络。
其中，该频域下采样模块为任一能够处理频域信息的下采样模块，例如，该频域下采样模块为基于小波变换的下采样模块或者基于傅里叶变换的下采样模块等。相应的，该上采样模型为任一能够处理频域信息的上采样模型，例如，该频域上采样模块为基于逆小波变换的上采样模块或者基于傅里叶反变换的上采样模块等。在本申请实施例中，对该频域上采样模块和频域下采样模块不作具体限定。
在本实现方式中，通过对时域特征提取网络中的网络模块进行替换，从而无需再执行构建频域特征提取网络的步骤，从而简化了构建图像超分辨率模型的步骤，提高了构建图像超分辨率模型的效率。
需要说明的一点是，频域特征提取网络也包括头部单元和尾部单元，频域特征提取网络的头部单元与时域特征提取网络的头部单元相同，频域特征提取网络的尾部单元与时域特征提取网络的尾部单元相同，在此不再对频域特征提取网络的头部单元和尾部单元进行赘述。
步骤S203：电子设备将时域特征提取网络的输出端和频域特征提取网络的输出端分别与特征融合网络连接，得到图像超分辨率模型。
该特征融合网络用于将时域特征图和频域特征图融合，得到融合了时域特征和频域特征的图像。
需要说明的一点是，电子设备还能够从其他电子设备中获取该图像超分辨率模型。相应的，电子设备向其他电子设备发送模型获取请求，其他电子设备接收该模型获取请求，基于该模型获取请求获取图像超分辨率模型，向电子设备发送该图像超分辨率模型，电子设备接收该图像超分辨率模型。其中，其他电子设备事先构件图像超分辨率模型，或者，其他电子设备通过获取请求构建图像超分辨率模型。另外，其他电子设备构建图像超分辨率模型的过程与电子设备通过上述步骤S201-S203构建图像超分辨率模型的原理相同，在此不再赘述。
在本申请实施例中，通过构建结合了频域特征提取网络和时域特征提取网络的图像超分辨率模型，使得能够通过该图像超分辨率模型对待处理的图像进行处理，得到该待处理的图像对应的目标图像，得到的目标图像中包括时域特征和频域特征，从而提高了目标图像的图像质量。
请参考图5，其示出了本申请一个示例性实施例示出的分辨率的调整方法的流程图。在本申请实施例中以执行主体为电子设备为例进行说明。其中，电子设备可以通过电子设备中的处理器或其他具有处理功能的硬件执行本申请实施例。其中，本申请实施例以通过图像超分辨率模型对待处理的图像进行处理，得到目标图像为例进行说明。该方法包括：
步骤S501：电子设备将待处理的图像输入图像超分辨率模型，图像超分辨率模型包括时域特征提取网络、频域特征提取网络和特征融合网络。
在本步骤中，参见图6，电子设备将获取到的待处理的图像输入至图像超分辨率模型的时域特征提取网络和频域特征提取网络。其中，电子设备将该图像输入至头部单元中，通过头部单元对该图像进行初步处理，得到能够被时域特征提取网络或频域特征提取网络继续处理的特征图。
在一些实施例中，继续参见图4，电子设备分别将待该图像输入至时域特征提取网络的头部单元和频域特征提取网络的头部单元中，从而分别基于时域特征提取网络和频域特征提取网络的头部单元对该图像进行处理。在一些实施例中，该时域特征提取网络和频域特征提取网络的输入端与同一头部单元连接，参见图7，时域特征提取网络和频域特征提取网络共用一个头部单元，则电子设备将该图像输入至该头部单元，通过该头部单元对该图像进行处理。
在本步骤之前，电子设备获取待处理的图像。其中，该图像为电子设备接收的其他电子设备发送的图像。相应的，电子设备接收其他电子设备发送的图像。或者，该待处理的图像为电子设备采集的图像。相应的，电子设备通过摄像模组采集图像。在本申请实施例中，对该待处理的图像的来源不作具体限定。
步骤S502：电子设备通过时域特征提取网络，确定图像的时域特征图。
在本步骤中，电子设备通过时域特征提取网络对该图像进行下采样和上采样，得到多个特征图，将多个特征图进行像素重置，得到时域特征图。其中，电子设备通过注意力机制确定第一特征图的有效特征，基于该有效特征确定在上采样过程中要进行上采样的第二特征图。该过程通过以下步骤S5021-步骤S5025实现，包括：
步骤S5021：电子设备基于时域特征提取网络中的每个下采样模块，对输入至下采样模块的特征图进行下采样，得到多个第一特征图。
时域特征提取网络包括多个下采样模块，对于第一个下采样模块，头部单元将处理好的特征图输入至该第一个下采样模块，电子设备通过第一个下采样模块对该特征图进行下采样，将下采样得到的第一特征图输入至下一个下采样模块，再通过下一个下采样模块对前一个下采样模块输入的第一特征图继续进行下采样，直到最后一个下采样模块对输入的特征图进行下采样，得到多个第一特征图。
步骤S5022：电子设备基于注意力机制，确定每个下采样模块对应的多个第一特征图的权重。
在本步骤中，对于每个下采样模块，电子设备通过注意力机制，确定该下采样模块输出的第一特征图中携带图像特征，基于该图像特征确定第一特征图的权重。其中，电子设备通过注意力机制学习第一特征图中的有效特征，基于特征图中的有效特征确定多个第一特征图的权重。例如，若第一特征图中存在有效特征，则将该第一特征图的权重确定为第一数值，若第一特征图中不存在有效特征，则将该第一特征图的权重确定为第二数值。其中，第二数值小于第一数值，且第一数值和第二数值根据需要进行设置，在本申请实施例中，对第一数值和第二数值不作具体限定。例如，第一数值为1，第二数值为0等。
其中，该注意力机制为通道注意力机制(channel attention)、空间注意力机制(spatial attention)或混洗注意力机制(Shuffle Attention)等。其中，混洗注意力机制为通过通道注意力机制和空间注意力机制的混合注意力机制。
步骤S5023：电子设备基于时域特征提取网络的第i个上采样模块，确定上采样模块对应的第二特征图的权重，第二特征图的权重与上采样模块对应的下采样模块的第一特征图的权重相同，其中，i为大于1的整数。
对于第i个上采样模块，电子设备确定该第i个上采样模块对应的下采样模块。其中，上采样模块与下采样模块的对应关系基于采样顺序确定。例如，继续参见图4，其中，上采样模块的数量与下采样模块的数量相同，下采样顺序为1-N的下采样模块，分别与上采样顺序为N-1的上采样模块对应。即第i个上采样模块与第N-i+1个下采样模块对应，其中，N为上采样模块或下采样模块的数量。N的取值为正整数。
在本步骤中，电子设备确定该第i个上采样模块中输入的第二特征图，基于与该第i个上采样模块对应的第N-i+1个下采样模块输出的第一特征图的权重，确定第二特征图的权重。在一些实施例中，电子设备从第二特征图中，确定与任一第一特征图携带相同图像特征的第二特征图，将该第二特征图的权重确定为与该任一第一特征图的权重相同的权重。
步骤S5024：电子设备基于第二特征图的权重，对第二特征图进行上采样，直到第N个上采样模块完成上采样，得到多个第三特征图，其中，N为时域特征提取网络中上采样模块的数量。
对于时域特征提取网络中的每个上采样模块，基于上述步骤S5023确定该上采样模块中输入的第二特征图的权重，基于每个第二特征图的权重对第二特征图进行上采样，当最后一个上采样模块完成上采样后，得到输出的多个第三特征图。其中，电子设备基于每个第二特征图的权重对第二特征图进行上采样的过程为：电子设备从第二特征图中确定权重超过预设阈值的第二特征图，对这些第二特征图进行上采样。
其中，第三特征图的数量与第N个上采样模块的卷积核的数量相同。并且，在本申请实施例中，对第三特征图的数量不作具体限定。
步骤S5025：电子设备将第N个上采样模块输出的多个第三特征图进行像素重置，得到时域特征图。
在本步骤中，电子设备通过尾部单元的像素重置层进行像素重置。其中，参见图8，通过该像素重置层能够将r2个大小为h*w特征图组成为一个大小为rw*rh的特征图，实现将低分辨率的图像重置为高分辨率的图像。
在本实现方式中，通过注意力机制确定上采样过程中特征图的权重，使得在上采样过程中，电子设备能够对特征图进行取舍，减少了上采样过程的运算量，进而提高了确定目标图像的效率。
步骤S503：电子设备基于频域特征提取网络，确定图像的频域特征图。
在本步骤中，电子设备通过频域特征提取网络对该图像进行频域下采样和频域上采样，得到多个特征图，将多个特征图进行像素重置，得到频域特征图。该过程通过以下步骤S5031-步骤S5035实现，包括：
步骤S5031：电子设备基于频域特征提取网络中的每个下采样模块，对输入至下采样模块的特征图进行下采样，得到多个第四特征图。
在本步骤中，对于频域特征提取网络中的每个下采样模块，电子设备分别对输入至下采样模块的特征图中的时域特征进行下采样和频域变换，得到时频融合的第四特征图。其中，对于该频域特征提取网络中的每个下采样模块，电子设备分别对输入至该下采样模块的特征图进行下采样，得到第一下采样结果；对该第一下采样结果进行频域变换，得到第二下采样结果；将该第一下采样结果和该第二下采样结果融合，得到第四特征图。
其中，频域特征提取网络中的下采样模块的结构如图9所示，该下采样模块中包括时域下采样层和频域下采样层。在本步骤中，频域特征提取网络中的每个下采样模块分别通过时域下采样层对输入的特征图中的时域特征进行时域下采样，得到第一下采样结果，以及，通过频域下采样层对下采样得到的时域特征进行时频变换，得到第二下采样结果，再通过图像拼接层将第一下采样结果和第二下采样结果进行图像拼接，得到该第四特征图。
在本实现方式中，通过将时域下采样层和频域下采样层分别对输入的特征图进行时域采样和频域采样，得到时频融合的第四特征图，从而实现了对特征图像进行频域下采样，以便将时域特征和频域特征融合，进而提高目标图像的质量。
步骤S5032：电子设备基于注意力机制，确定每个下采样模块对应的多个第四特征图的权重。
本步骤与步骤5032的原理相同，在此不再赘述。
步骤S5033：电子设备基于频域特征提取网络中的第j个上采样模块，确定上采样模块对应的第五特征图的权重，第五特征图的权重与上采样模块对应的下采样模块的第四特征图的权重相同，其中，j为大于1的整数。
本步骤与步骤5023的原理相同，在此不再赘述。
步骤S5034：电子设备基于第五特征图的权重，对第五特征图进行上采样，直到第M个上采样模块完成上采样，得到多个第六特征图，其中，M为频域特征提取网络中上采样模块的数量。M的取值为正整数。
在本步骤中，对于频域特征提取网络中的每个上采样模块，电子设备分别对输入至上采样模块的第五特征图中的时域特征进行上采样，以及，对第五特征图中的频域特征进行逆频域变换，直到第M个上采样模块完成上采样，得到多个第六特征图。其中，对于该频域特征提取网络中的每个上采样模块，电子设备基于该第五特征图的权重，分别对输入至该上采样模块的第五特征图进行上采样，得到第一上采样结果；对该第五特征图进行逆频域变换，得到第二上采样结果；将该第一上采样结果和该第二上采样结果融合，直到第M个上采样模块完成上采样，得到多个该第六特征图。
其中，频域特征提取网络中的上采样模块的结构如图10所示，该上采样模块中包括并联的时域上采样层和频域上采样层。在本步骤中，频域特征提取网络中的每个上采样模块分别通过时域上采样层对输入的特征图进行时域上采样，得到第一上采样结果，以及，通过频域上采样层对输入的特征图进行频域上采样，得到第二上采样结果，再通过图像拼接层将第一上采样结果和第二上采样结果进行图像拼接，得到该第六特征图。
在本实现方式中，通过将时域上采样层和频域上采样层分别对输入的特征图进行时域上采样和频域上采样，得到时频融合的第六特征图，从而实现了对特征图像进行频域上采样，以便将时域特征和频域特征融合，进而提高目标图像的质量。
步骤S5035：电子设备将第M个上采样模块输出的多个第六特征图进行像素重置，得到频域特征图。
本步骤与步骤S5025的原理相同，在此不再赘述。
在本实现方式中，通过注意力机制确定上采样过程中特征图的权重，使得在上采样过程中，电子设备能够对特征图进行取舍，减少了上采样过程的运算量，进而提高了确定目标图像的效率。
步骤S504：电子设备基于特征融合网络，将时域特征图和频域特征图的图像特征加权融合，得到该图像对应的目标图像，该目标图像的分辨率大于该图像。
继续参见图6，在本步骤中，电子设备将像素重置得到的时域特征图和频域特征图加权融合，得到该图像对应的目标图像。其中，时域特征图的权重和频域特征图的权重根据需要进行设置，在本申请实施例中，对此不作具体限定。例如，时域特征图和频域特征图的权重相同，或者，时域特征图的权重为0.4，频域特征图的权重为0.6等。
时域特征图和频域特征图的加权融合能够通过像素融合实现。在一些实施例中，电子设备基于特征融合网络，分别将时域特征图和频域特征图中对应像素点的像素值加权融合，得到目标图像。
其中，电子设备确定时域特征图和频域特征图中相同像素位置的像素点，分别确定该像素位置的像素点的像素值，基于时域特征图和频域特征图的权重，将该像素值进行加权求和，得到该像素位置的像素点融合后的像素值，对于每个像素位置对应的像素点均通过加权求和确定新的像素值，得到目标图像。
在本实现方式中，通过对像素值进行加权求和，实现将时域特征图和频域特征图融合，从而在目标图像中融合了时域特征和频域特征，进而提高了目标图像的质量。
在本申请实施例中，通过将时域特征提取网络和频域特征提取网络构建到同一图像超分辨率模型中，使得图像超分辨率模型能够提取待处理的图像的时域特征图和频域特征图，进而将时域特征图和频域特征图加权融合，得到目标图像，使得在确定目标图像时，能够结合待处理的图像的时域特征和频域特征，进而提高了目标图像的质量。
请参考图11，其示出了本申请一个实施例提供的分辨率的调整装置的结构框图。该分辨率的调整装置可以通过软件、硬件或者两者的结合实现成为处理器的全部或一部分。该装置包括：
输入模块1101，用于将待处理的图像输入图像超分辨率模型，该图像超分辨率模型包括时域特征提取网络、频域特征提取网络和特征融合网络；
第一确定模块1102，用于通过该时域特征提取网络，确定该图像的时域特征图；
第二确定模块1103，用于基于该频域特征提取网络，确定该图像的频域特征图；
融合模块1104，用于基于该特征融合网络，将该时域特征图和该频域特征图的图像特征加权融合，得到该图像对应的目标图像，该目标图像的分辨率大于该图像。
在一些实施例中，该第一确定模块1102，包括：
第一下采样单元，用于基于该时域特征提取网络中的每个下采样模块，对输入至该下采样模块的特征图进行下采样，得到多个第一特征图；
第一确定单元，用于基于注意力机制，确定每个下采样模块对应的多个该第一特征图的权重；
第二确定单元，用于基于该时域特征提取网络的第i个上采样模块，确定该上采样模块对应的第二特征图的权重，其中，i为大于1的整数；
第一上采样单元，用于基于该第二特征图的权重，对该第二特征图进行上采样，直到第N个上采样模块完成上采样，得到多个第三特征图，其中，N为时域特征提取网络中上采样模块的数量；
第一重置单元，用于将该第N个上采样模块输出的多个第三特征图进行像素重置，得到该时域特征图。
在一些实施例中，该第二确定模块1103，包括：
第二下采样单元，用于基于该频域特征提取网络中的每个下采样模块，对输入至该下采样模块的特征图进行下采样，得到多个第四特征图；
第三确定单元，用于基于注意力机制，确定每个下采样模块对应的多个该第四特征图的权重；
第四确定单元，用于基于该频域特征提取网络中的第j个上采样模块，确定该上采样模块对应的第五特征图的权重，其中，j为大于1的整数；
第二上采样单元，用于基于该第五特征图的权重，对该第五特征图进行上采样，直到第M个上采样模块完成上采样，得到多个第六特征图，其中，M为频域特征提取网络中上采样模块的数量；
第二重置单元，用于将该第M个上采样模块输出的多个第六特征图进行像素重置，得到该频域特征图。
在一些实施例中，该第二下采样单元，用于对于该频域特征提取网络中的每个下采样模块，分别对输入至该下采样模块的特征图进行下采样，得到第一下采样结果；对该第一下采样结果进行频域变换，得到第二下采样结果；将该第一下采样结果和该第二下采样结果融合，得到第四特征图。
在一些实施例中，该第二上采样单元，用于对于该频域特征提取网络中的每个上采样模块，基于该第五特征图的权重，分别对输入至该上采样模块的第五特征图进行上采样，得到第一上采样结果；对该第五特征图进行逆频域变换，得到第二上采样结果；将该第一上采样结果和该第二上采样结果融合，直到第M个上采样模块完成上采样，得到多个该第六特征图。
在一些实施例中，该融合模块1104，包括：
像素融合单元，用于基于该特征融合网络，分别将该时域特征图和该频域特征图中对应像素点的像素值加权融合，得到该目标图像。
在一些实施例中，该装置还包括：
第三确定模块，用于基于神经网络构建模型，确定该时域特征提取网络；
第四确定模块，用于基于该时域特征提取网络，确定该频域特征提取网络；
构建模块，用于将该时域特征提取网络的输出端和该频域特征提取网络的输出端分别与特征融合网络连接，得到该图像超分辨率模型。
在一些实施例中，该第三确定模块，包括：
第五确定单元，用于确定用于约束网络的约束信息；
第六确定单元，用于基于该约束信息，通过该神经网络构建模型确定符合该约束信息的多个网络，每个网络中包括串联的上采样模块和下采样模块；
第七确定单元，用于从多个该网络中，确定损失值最小的时域特征提取网络。
在一些实施例中，该第四确定模块，用于基于该时域特征提取网络，将该时域特征提取网络中每个下采样模块替换为频域下采样模块，以及，将该时域特征提取网络中的每个上采样模块替换为频域上采样模块，得到该频域特征提取网络。
在本申请实施例中，通过将时域特征提取网络和频域特征提取网络构建到同一图像超分辨率模型中，使得图像超分辨率模型能够提取待处理的图像的时域特征图和频域特征图，进而将时域特征图和频域特征图加权融合，得到目标图像，使得在确定目标图像时，能够结合待处理的图像的时域特征和频域特征，进而提高了目标图像的质量。
本申请实施例还提供了一种计算机可读介质，该计算机可读介质存储有至少一条程序代码，该至少一条程序代码由该处理器加载并执行以实现如上各个实施例示出的分辨率的调整方法。
本申请实施例还提供了一种计算机程序产品，该计算机程序产品存储有至少一条程序代码，该至少一条程序代码由该处理器加载并执行以实现如上各个实施例示出的分辨率的调整方法。
在一些实施例中，本申请实施例所涉及的计算机程序可被部署在一个计算机设备上执行，或者在位于一个地点的多个计算机设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算机设备上执行，分布在多个地点且通过通信网络互连的多个计算机设备可以组成区块链系统。
本领域技术人员应该可以意识到，在上述一个或多个示例中，本申请实施例所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个程序代码或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。
以上所述仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (12)

1.一种分辨率的调整方法，其特征在于，所述方法包括：
将待处理的图像输入图像超分辨率模型，所述图像超分辨率模型包括时域特征提取网络、频域特征提取网络和特征融合网络；
通过所述时域特征提取网络，确定所述图像的时域特征图；
基于所述频域特征提取网络，确定所述图像的频域特征图；
基于所述特征融合网络，将所述时域特征图和所述频域特征图的图像特征加权融合，得到所述图像对应的目标图像，所述目标图像的分辨率大于所述图像。
2.根据权利要求1所述的方法，其特征在于，所述通过所述时域特征提取网络，确定所述图像的时域特征图，包括：
基于所述时域特征提取网络中的每个下采样模块，对输入至所述下采样模块的特征图进行下采样，得到多个第一特征图；
基于注意力机制，确定每个下采样模块对应的多个所述第一特征图的权重；
基于所述时域特征提取网络的第i个上采样模块，确定所述上采样模块对应的第二特征图的权重，其中，i为大于1的整数；
基于所述第二特征图的权重，对所述第二特征图进行上采样，直到第N个上采样模块完成上采样，得到多个第三特征图，其中，N为时域特征提取网络中上采样模块的数量；
将所述第N个上采样模块输出的多个第三特征图进行像素重置，得到所述时域特征图。
3.根据权利要求1所述的方法，其特征在于，所述基于所述频域特征提取网络，确定所述图像的频域特征图，包括：
基于所述频域特征提取网络中的每个下采样模块，对输入至所述下采样模块的特征图进行下采样，得到多个第四特征图；
基于注意力机制，确定每个下采样模块对应的多个所述第四特征图的权重；
基于所述频域特征提取网络中的第j个上采样模块，确定所述上采样模块对应的第五特征图的权重，其中，j为大于1的整数；
基于所述第五特征图的权重，对所述第五特征图进行上采样，直到第M个上采样模块完成上采样，得到多个第六特征图，其中，M为频域特征提取网络中上采样模块的数量；
将所述第M个上采样模块输出的多个第六特征图进行像素重置，得到所述频域特征图。
4.根据权利要求3所述的方法，其特征在于，所述基于所述频域特征提取网络中的每个下采样模块，对输入至所述下采样模块的特征图进行下采样，得到多个第四特征图，包括：
对于所述频域特征提取网络中的每个下采样模块，分别对输入至所述下采样模块的特征图进行下采样，得到第一下采样结果；
对所述第一下采样结果进行频域变换，得到第二下采样结果；
将所述第一下采样结果和所述第二下采样结果融合，得到第四特征图。
5.根据权利要求3所述的方法，其特征在于，所述基于所述第五特征图的权重，对所述第五特征图进行上采样，直到第M个上采样模块完成上采样，得到多个第六特征图，包括：
对于所述频域特征提取网络中的每个上采样模块，基于所述第五特征图的权重，分别对输入至所述上采样模块的第五特征图进行上采样，得到第一上采样结果；
对所述第五特征图进行逆频域变换，得到第二上采样结果；
将所述第一上采样结果和所述第二上采样结果融合，直到第M个上采样模块完成上采样，得到多个所述第六特征图。
6.根据权利要求1所述的方法，其特征在于，所述基于所述特征融合网络，将所述时域特征图和所述频域特征图的图像特征加权融合，得到所述图像对应的目标图像，包括：
基于所述特征融合网络，分别将所述时域特征图和所述频域特征图中对应像素点的像素值加权融合，得到所述目标图像。
7.根据权利要求1所述的方法，其特征在于，所述方法还包括：
基于神经网络构建模型，确定所述时域特征提取网络；
基于所述时域特征提取网络，确定所述频域特征提取网络；
将所述时域特征提取网络的输出端和所述频域特征提取网络的输出端分别与特征融合网络连接，得到所述图像超分辨率模型。
8.根据权利要求7所述的方法，其特征在于，所述基于神经网络构建模型，确定所述时域特征提取网络，包括：
确定用于约束网络的约束信息；
基于所述约束信息，通过所述神经网络构建模型确定符合所述约束信息的多个网络，每个网络中包括串联的上采样模块和下采样模块；
从多个所述网络中，确定损失值最小的时域特征提取网络。
9.根据权利要求7所述的方法，其特征在于，所述基于所述时域特征提取网络，确定所述频域特征提取网络，包括：
基于所述时域特征提取网络，将所述时域特征提取网络中每个下采样模块替换为频域下采样模块，以及，将所述时域特征提取网络中的每个上采样模块替换为频域上采样模块，得到所述频域特征提取网络。
10.一种分辨率的调整装置，其特征在于，所述装置包括：
输入模块，用于将待处理的图像输入图像超分辨率模型，所述图像超分辨率模型包括时域特征提取网络、频域特征提取网络和特征融合网络；
第一确定模块，用于通过所述时域特征提取网络，确定所述图像的时域特征图；
第一确定模块，用于基于所述频域特征提取网络，确定所述图像的频域特征图；
融合模块，用于基于所述特征融合网络，将所述时域特征图和所述频域特征图的图像特征加权融合，得到所述图像对应的目标图像，所述目标图像的分辨率大于所述图像。
11.一种电子设备，其特征在于，所述电子设备包括处理器和存储器；所述存储器存储有至少一条程序代码，所述至少一条程序代码用于被所述处理器执行以实现如权利要求1至9任一所述的分辨率的调整方法。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有至少一条程序代码，所述至少一条程序代码用于被处理器执行以实现如权利要求1至9任一所述的分辨率的调整方法。
CN202111186827.2A 2021-10-12 2021-10-12 分辨率的调整方法、装置、电子设备及存储介质 Pending CN113837980A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111186827.2A CN113837980A (zh) 2021-10-12 2021-10-12 分辨率的调整方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111186827.2A CN113837980A (zh) 2021-10-12 2021-10-12 分辨率的调整方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN113837980A true CN113837980A (zh) 2021-12-24

Family

ID=78968749

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111186827.2A Pending CN113837980A (zh) 2021-10-12 2021-10-12 分辨率的调整方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN113837980A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114893390A (zh) * 2022-07-15 2022-08-12 安徽云磬科技产业发展有限公司 一种基于注意力与集成学习机制的泵机设备故障检测方法
CN115272261A (zh) * 2022-08-05 2022-11-01 广州大学 一种基于深度学习的多模态医学图像融合方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110675409A (zh) * 2019-09-20 2020-01-10 上海商汤智能科技有限公司 图像处理方法及装置、电子设备和存储介质
CN110688957A (zh) * 2019-09-27 2020-01-14 腾讯科技（深圳）有限公司 应用于人脸识别的活体检测方法、装置及存储介质
CN111080528A (zh) * 2019-12-20 2020-04-28 北京金山云网络技术有限公司 图像超分辨率和模型训练方法、装置、电子设备及介质
CN111242849A (zh) * 2020-01-16 2020-06-05 南京邮电大学 一种基于深度卷积神经网络的频谱超分辨率在线重建方法
WO2020232790A1 (zh) * 2019-05-17 2020-11-26 华南理工大学 超快光场的信息实时测量系统
CN112184548A (zh) * 2020-09-07 2021-01-05 中国科学院深圳先进技术研究院 图像超分辨率方法、装置、设备及存储介质
CN112734696A (zh) * 2020-12-24 2021-04-30 华南理工大学 基于多域特征融合的换脸视频篡改检测方法及系统
CN113140291A (zh) * 2020-12-17 2021-07-20 慧影医疗科技（北京）有限公司 图像分割方法、装置、模型训练方法及电子设备

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020232790A1 (zh) * 2019-05-17 2020-11-26 华南理工大学 超快光场的信息实时测量系统
CN110675409A (zh) * 2019-09-20 2020-01-10 上海商汤智能科技有限公司 图像处理方法及装置、电子设备和存储介质
CN110688957A (zh) * 2019-09-27 2020-01-14 腾讯科技（深圳）有限公司 应用于人脸识别的活体检测方法、装置及存储介质
CN111080528A (zh) * 2019-12-20 2020-04-28 北京金山云网络技术有限公司 图像超分辨率和模型训练方法、装置、电子设备及介质
CN111242849A (zh) * 2020-01-16 2020-06-05 南京邮电大学 一种基于深度卷积神经网络的频谱超分辨率在线重建方法
CN112184548A (zh) * 2020-09-07 2021-01-05 中国科学院深圳先进技术研究院 图像超分辨率方法、装置、设备及存储介质
CN113140291A (zh) * 2020-12-17 2021-07-20 慧影医疗科技（北京）有限公司 图像分割方法、装置、模型训练方法及电子设备
CN112734696A (zh) * 2020-12-24 2021-04-30 华南理工大学 基于多域特征融合的换脸视频篡改检测方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
吴玲风等: "基于改进曝光评估和双金字塔的曝光融合", 《激光与光电子学进展》 *
曹义亲等: "基于NSST的PCNN-SR卫星遥感图像融合方法", 《航天控制》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114893390A (zh) * 2022-07-15 2022-08-12 安徽云磬科技产业发展有限公司 一种基于注意力与集成学习机制的泵机设备故障检测方法
CN114893390B (zh) * 2022-07-15 2023-08-04 安徽云磬科技产业发展有限公司 一种基于注意力与集成学习机制的泵机设备故障检测方法
CN115272261A (zh) * 2022-08-05 2022-11-01 广州大学 一种基于深度学习的多模态医学图像融合方法

Similar Documents

Publication Publication Date Title
CN108022212B (zh) 高分辨率图片生成方法、生成装置及存储介质
CN111340711B (zh) 一种超分辨率重建方法、装置、设备和存储介质
CN109064428B (zh) 一种图像去噪处理方法、终端设备及计算机可读存储介质
CN112396115B (zh) 基于注意力机制的目标检测方法、装置及计算机设备
CN109522874B (zh) 人体动作识别方法、装置、终端设备及存储介质
CN110263909B (zh) 图像识别方法及装置
CN111369440B (zh) 模型训练、图像超分辨处理方法、装置、终端及存储介质
CN110288518B (zh) 图像处理方法、装置、终端及存储介质
CN110490296A (zh) 一种构造卷积神经网络（cnn）模型的方法和系统
CN109525859B (zh) 模型训练、图像发送、图像处理方法及相关装置设备
CN113837980A (zh) 分辨率的调整方法、装置、电子设备及存储介质
CN112602088B (zh) 提高弱光图像的质量的方法、系统和计算机可读介质
CN111047602A (zh) 图像分割方法、装置及终端设备
CN112862681A (zh) 一种超分辨率方法、装置、终端设备及存储介质
CN110766610B (zh) 一种超分辨率图像的重建方法及电子设备
CN112997479B (zh) 跨阶段跳跃连接处理图像的方法、系统和计算机可读介质
CN112950640A (zh) 视频人像分割方法、装置、电子设备及存储介质
CN109118490A (zh) 一种图像分割网络生成方法及图像分割方法
CN112991171A (zh) 图像处理方法、装置、电子设备及存储介质
WO2021258530A1 (zh) 图像分辨率处理方法、装置、设备及可读存储介质
CN115115724A (zh) 图像处理方法、装置、计算机设备及存储介质
CN113628115A (zh) 图像重建的处理方法、装置、电子设备和存储介质
CN114004750A (zh) 图像处理方法、装置和系统
CN115760658A (zh) 图像处理方法、装置、存储介质及电子设备
CN111798385A (zh) 图像处理方法及装置、计算机可读介质和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination