CN111951165A - 图像处理方法、装置、计算机设备和计算机可读存储介质 - Google Patents

图像处理方法、装置、计算机设备和计算机可读存储介质 Download PDF

Info

Publication number
CN111951165A
CN111951165A CN202010831473.1A CN202010831473A CN111951165A CN 111951165 A CN111951165 A CN 111951165A CN 202010831473 A CN202010831473 A CN 202010831473A CN 111951165 A CN111951165 A CN 111951165A
Authority
CN
China
Prior art keywords
feature
attention
local
image
spatial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010831473.1A
Other languages
English (en)
Inventor
成凯华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202010831473.1A priority Critical patent/CN111951165A/zh
Publication of CN111951165A publication Critical patent/CN111951165A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)

Abstract

本申请涉及一种图像处理方法、装置、计算机设备和存储介质。所述方法包括：获取待处理图像；提取待处理图像的低层特征；基于低层特征迭代进行局部注意力特征提取，并将每次局部注意力特征提取获得的结果进行特征融合，得到注意力特征；根据注意力特征和低层特征进行图像重建，得到重建图像；重建图像的分辨率高于待处理图像的分辨率。采用本方法能够提升图像超分辨率的重建效果。

Description

图像处理方法、装置、计算机设备和计算机可读存储介质
技术领域
本申请涉及计算机技术领域，特别是涉及一种图像处理方法、装置、计算机设备和计算 机可读存储介质。
背景技术
图像超分辨率重建是计算机视觉的一个经典应用，旨在从观测到的低分辨率图像重建出 相应的高分辨率图像，其在监控设备、卫星图像遥感、数字高清、显微成像、视频编码通信、 视频复原和医学影像等领域都有重要的应用价值。
随着电子图像的大量应用，如何提升图像超分辨率重建的效果已然成为业界内的重要研 究热点。
发明内容
本申请实施例提供了一种图像处理方法、装置、计算机设备、计算机可读存储介质，可 以提升图像超分辨率的重建效果。
一种图像处理方法，包括：
获取待处理图像；
提取待处理图像的低层特征；
基于低层特征迭代进行局部注意力特征提取，并将每次局部注意力特征提取获得的结果 进行特征融合，得到注意力特征；
根据注意力特征和低层特征进行图像重建，得到重建图像；重建图像的分辨率高于待处 理图像的分辨率。
一种图像处理装置，包括：
图像获取模块，用于获取待处理图像；
低层特征提取模块，用于提取待处理图像的低层特征；
注意力特征提取模块，用于基于低层特征迭代进行局部注意力特征提取，并将每次局部 注意力特征提取获得的结果进行特征融合，得到注意力特征；
图像重建模块，用于根据注意力特征和低层特征进行图像重建，得到重建图像；重建图 像的分辨率高于待处理图像的分辨率。
一种计算机设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机 程序被所述处理器执行时，使得所述处理器执行以下步骤：
获取待处理图像；
提取待处理图像的低层特征；
基于低层特征迭代进行局部注意力特征提取，并将每次局部注意力特征提取获得的结果 进行特征融合，得到注意力特征；
根据注意力特征和低层特征进行图像重建，得到重建图像；重建图像的分辨率高于待处 理图像的分辨率。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实 现以下步骤：
获取待处理图像；
提取待处理图像的低层特征；
基于低层特征迭代进行局部注意力特征提取，并将每次局部注意力特征提取获得的结果 进行特征融合，得到注意力特征；
根据注意力特征和低层特征进行图像重建，得到重建图像；重建图像的分辨率高于待处 理图像的分辨率。
上述图像处理方法、装置、计算机设备和计算机可读存储介质，基于待处理图像的低层 特征迭代进行局部注意力特征提取，并将每次局部注意力特征提取获得的结果进行特征融合， 根据得到的注意力特征和低层特征进行图像重建，获得分辨率高于待处理图像的分辨率的重 建图像。通过融合待处理图像每次局部注意力特征提取获得的结果和低层特征进行图像重建， 可以充分利用待处理图像不同感受野特征和低层特征进行图像重建，能够通过低层特征更好 地区分图像细节和噪声伪影，从而提升了图像超分辨率的重建效果。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术 描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一 些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些 附图获得其他的附图。
图1为一个实施例中图像处理方法的应用环境图；
图2为一个实施例中图像处理方法的流程图；
图3为一个实施例中获得本级结果的流程图；
图4为一个实施例中神经网络模型的模型结构示意图；
图5为一个实施例中混合注意力模块的结构示意图；
图6为一个实施例中残差单元的结构示意图；
图7为一个实施例中空间注意力部分的结构示意图；
图8为一个实施例中Mask模块的结构示意图；
图9为一个实施例中局部注意力模块的结构示意图；
图10为一个实施例中上采样和下采样的处理示意图；
图11为一个实施例中通道注意力部分的结构示意图；
图12为一个实施例中图像处理装置的结构框图；
图13为一个实施例中计算机设备的结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申 请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用 于限定本申请。
可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但 这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说， 在不脱离本申请的范围的情况下，可以将第一客户端称为第二客户端，且类似地，可将第二 客户端称为第一客户端。第一客户端和第二客户端两者都是客户端，但其不是同一客户端。
在过去的几十年中，成像技术得到了迅速发展，并且分辨率达到了一个新的水平，但对 于分辨率提升的需求在许多应用中都不容忽视。例如，为了保证记录设备的长期稳定运行， 以及动态场景的适当帧速率，数字监控产品往往在某种程度上牺牲了分辨率。遥感领域也存 在类似的情况：在空间，光谱和时间分辨率之间总是存在权衡。对于医学成像，在每种成像 模态中，特定的物理定律受到控制，定义了噪声的含义和成像过程的灵敏度。如何在降低辐 射水平的同时用高分辨率图像提取人体结构的三维模型仍然是一个挑战。
目前，超分辨率方法可以大致分为两类：传统方法和基于深度学习的方法。传统算法的 发展已经有几十年了，但在单张图像超分辨率(Single Image Super-Resolution，SISR)领域,目 前效果远不如深度学习的方法。因此,许多新算法都是用数据驱动的深度学习模型来重建所 需的细节，以获得精确的超分辨率。
目前基于深度学习方法的SISR的神经网络模型多数是基于众多卷积层的堆叠，网络的 非线性表达能力由网络的深度决定，网络越深，非线性表达能力越强，性能就越高，超分重 建的效果就越好。这样做的一个原因就是多层卷积堆叠可以提高感受野，每个卷积的感受野 有限，就是单层卷积只能使周围有限的点影响当前点的结果，而超分这种低级视觉应用(low level vision application)要重建效果真实，需要更大的感受野，只有在较大的感受野上才能够 区分哪些是需要重建的细节，哪些是噪声和伪影，而堆叠卷积层虽然提高了感受野，但是每 一层的卷积都会提取一次高阶的特征，这样虽然感受野提高了，但是到了网络的尾端，低阶 特征(比如梯度、对比度、简单结构)很难保留下来，而这些低阶特征是区分细节和噪声的 关键。
总的来说，就是超分重建需要网络能够提供更大的感受野，在更大范围的特征上区分细 节和噪声，但是目前多数网络只能用加深深度的方式来实现扩大感受野，这样做，又会损失 低阶特征，影响超分重建的效果。所以，如何在保证低阶特征不损失的前提下扩大感受野是 超分神经网络模型改进的关键。正如目前的SOTA(State Of The Art，最先进水平)的超分辨 率模型，例如ESRGAN(Enhanced Super-Resolution GenerativeAdversarial Networks，增强型 超分辨率生成对抗网络)，针对智能手机得到的高分辨率重建图像看上去很不真实。很大程度 上是因为ESRGAN这种网络深度很深，但是通过堆叠卷积层的方式低层特征很难保留，从效 果上看就是不论噪声或是细节还是伪影都会重建成近似的图像特征，在观感上有很严重的油 画感，影响了图像超分辨率重建的效果。
基于此，本申请提出了一种图像处理方法、装置、计算机设备、计算机可读存储介质， 可以提升图像超分辨率的重建效果。
图1为一个实施例中图像处理方法的应用环境示意图。如图1所示，该应用环境包括终 端102和服务器104，终端102和服务器104通过网络进行通信。具体地，终端102具备拍摄功能，拍摄获取第一分辨率的待处理图像，并通过网络将待处理图像发送至服务器104，服务器104基于接收的待处理图像的低层特征迭代进行局部注意力特征提取，并将每次局部 注意力特征提取获得的结果进行特征融合，根据得到的注意力特征和低层特征进行图像重建， 获得第二分辨率的重建图像，第二分辨率高于第一分辨率。服务器104还可以将重建图像反 馈至终端102。此外，也可以直接由服务器104对本地存储器中的待处理图像进行处理，获 得重建图像。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平 板电脑和便携式可穿戴设备，服务器104可以用独立的服务器或者是多个服务器组成的服务 器集群来实现。
图2为一个实施例中图像处理方法的流程图。本实施例中的图像处理方法，以运行于图 1中的服务器上为例进行描述。如图2所示，图像处理方法包括步骤202至步骤208。
步骤202，获取待处理图像。
具体地，待处理图像是需要进行超分辨率重建的图像，以获得更高分辨率的图像。待处 理图像可以通过传感器采集得到，如可以通过相机拍摄得到。图像空间分辨率是指传感器观 察或测量最小物体的能力，这取决于图像的像素大小。作为二维信号记录，在大多数应用中 总是需要具有更高分辨率的数字图像。
本实施例中，服务器获取待处理图像，如可以从终端接收待处理图像，或从本地端存储 器中获取待处理图像，以进行超分辨率重建处理，提高图像的分辨率。
步骤204，提取待处理图像的低层特征。
具体地，低层特征也称低阶特征，是指神经网络模型中较低层次网络结构感知的特征， 具体如梯度、对比度、简单结构等。一般地，随着神经网络结构层次的加深，网络结构感知 的特征层次越高。
本实施例中，服务器获取待处理图像后，进一步提取待处理图像的低层特征，如可以通 过单层卷积层对待处理图像进行处理，提取得到待处理图像的低层特征。
步骤206，基于低层特征迭代进行局部注意力特征提取，并将每次局部注意力特征提取 获得的结果进行特征融合，得到注意力特征。
具体地，迭代是重复反馈过程的活动，每一次对过程的重复称为一次“迭代”，而每一次 迭代得到的结果会作为下一次迭代的初始值。局部注意力特征提取为基于注意力机制进行局 部特征提取的处理，注意力机制(Attention Mechanism)源于对人类视觉的研究，人类视觉 通过快速扫描全局图像，获得需要重点关注的目标区域，也就是一般所说的注意力焦点，而 后对这一区域投入更多注意力资源，以获取更多所需要关注目标的细节信息，而抑制其他无 用信息。神经网络学习中的注意力机制从本质上和人类的选择性视觉注意力机制类似，核心 目标也是从众多信息中选择出对当前任务目标更关键的信息。局部注意力特征提取可以基于 注意力机制可以从低层特征提取获得不同感受野的局部特征。特征融合指将迭代进行局部注 意力特征提取的结果进行融合，以综合迭代进行局部注意力特征提取过程中各阶段的结果， 充分利用各阶段的局部特征，得到注意力特征。注意力特征基于注意力机制提取得到，且由 迭代进行局部注意力特征提取过程中各阶段的结果融合得到，能够充分表征待处理图像的各 阶特征，有利于提高超分辨率重建的效果。
本实施例中，服务器对得到的待处理图像的低层特征迭代进行局部注意力特征提取，并 融合每次局部注意力特征提取获得的结果，得到注意力特征。
步骤208，根据注意力特征和低层特征进行图像重建，得到重建图像；重建图像的分辨 率高于待处理图像的分辨率。
具体地，图像重建为根据注意力特征和低层特征进行超分辨率重建，得到分辨率高于待 处理图像的重建图像。
本实施例中，服务器获得低层特征和注意力特征后，根据注意力特征和低层特征进行图 像重建，具体可以通过单层卷积层进行图像重建，得到重建图像；重建图像的分辨率高于待 处理图像的分辨率，从而实现对待处理图像的超分辨率重建处理。
本实施例中的图像处理方法，基于待处理图像的低层特征迭代进行局部注意力特征提 取，并将每次局部注意力特征提取获得的结果进行特征融合，根据得到的注意力特征和低层 特征进行图像重建，获得分辨率高于待处理图像的分辨率的重建图像。通过融合待处理图像 每次局部注意力特征提取获得的结果和低层特征进行图像重建，可以充分利用待处理图像不 同感受野特征和低层特征进行图像重建，能够通过低层特征更好地区分图像细节和噪声伪影， 从而提升了图像超分辨率的重建效果。
在一个实施例中，基于低层特征迭代进行局部注意力特征提取，包括：将低层特征作为 局部注意力特征提取的输入特征；对输入特征进行局部注意力特征提取，得到本级局部注意 力特征提取的结果；将本级局部注意力特征提取的结果作为下一级局部注意力特征提取的输 入特征进行迭代。
具体地，输入特征为神经网络模型中实现局部注意力特征提取的网络层结构的输入，实 现局部注意力特征提取的网络层结构的数目至少为一个，各网络层结构的参数可以相同或不 同，根据实际需求进行灵活设置。本级局部注意力特征提取的结果指实现当前局部注意力特 征提取的网络层结构的输出。在迭代进行局部注意力特征提取的过程中，本级局部注意力特 征提取的结果将作为下一级局部注意力特征提取的输入特征，从而实现迭代。
本实施例中，基于低层特征迭代进行局部注意力特征提取时，服务器将低层特征作为局 部注意力特征提取的输入特征，以对输入特征进行局部注意力特征提取，得到本级局部注意 力特征提取的结果，再将本级局部注意力特征提取的结果作为下一级局部注意力特征提取的 输入特征进行迭代，从而实现对低层特征的迭代处理，得到不同局部注意力特征提取的结果。 通过对低层特征迭代进行局部注意力特征提取，可以基于注意力机制获取不同层次的局部特 征，以提高图像超分辨率重建的效果。
在一个实施例中，如图3所示，获得本级结果，即对输入特征进行局部注意力特征提取， 得到本级局部注意力特征提取的结果，包括步骤302至308：
步骤302，对输入特征进行残差特征提取，获得第一残差特征。
一般地，深度卷积网络自然的整合了低中高不同层次的特征，特征的层次可以靠加深网 络的层次来丰富。从而在构建卷积网络时，网络的深度越高，可抽取的特征层次就越丰富。 但是当使用更深层的网络时，会发生梯度消失、爆炸问题，这个问题很大程度通过标准的初 始化和正则化层来基本解决，这样可以确保几十层的网络能够收敛，但是随着网络层数的增 加，梯度消失或者爆炸的问题仍然存在，还会导致网络退化。残差的思想是假设一个网络层 存在最优化的网络层次，那么往往设计的深层次网络是有很多网络层为冗余层的，那么希望 这些冗余层能够完成恒等映射，保证经过该恒等层的输入和输出完全相同。具体哪些层是恒 等层，可以在网络训练的时候判断确定，能够有效解决梯度消失或梯度爆炸问题，提升网络 性能。
具体地，残差特征提取即通过神经网络模型的残差单元对输入特征进行残差特征提取， 获得第一残差特征。实现时，服务器可以通过神经网络模型的残差单元对输入特征进行残差 特征提取，获得第一残差特征。
步骤304，对第一残差特征进行局部空间注意力处理，得到局部空间注意力特征。
局部空间注意力处理用于根据第一残差特征感知局部空间注意力特征，局部空间注意力 特征反映了待处理图像中不同空间位置的像素点对最终待处理图像特征的贡献。具体地，服 务器对获得的第一残差特征进行局部空间注意力处理，如通过空间注意力模块进行局部空间 注意力处理，得到局部空间注意力特征。
步骤306，对局部空间注意力特征进行残差特征提取，得到第二残差特征。
服务器对局部空间注意力特征进行残差特征提取，如通过神经网络模型的残差单元对局 部空间注意力特征进行残差特征提取，得到第二残差特征。
步骤308，根据第二残差特征和输入特征得到本级局部注意力特征提取的结果。
服务器基于获得的第二残差特征和输入特征得到本级局部注意力特征提取的结果，该结 果包含了待处理图像不同位置像素点的特征。具体地，可以由服务器通过神经网络模型的注 意力模块对输入特征进行局部注意力特征提取，得到本级局部注意力特征提取的结果。本实 施例中，通过残差特征提取和局部空间注意力处理，可以在提前特征的同时，避免梯度消失 或爆炸，确保网络的性能，提高图像超分分辨率重建效果。
在一个实施例中，对第一残差特征进行局部空间注意力处理，得到局部空间注意力特征， 包括：对第一残差特征进行残差特征提取，得到第三残差特征；对第一残差特征进行空间注 意力图提取，得到空间注意力图；根据第三残差特征和空间注意力图得到空间加权特征；根 据空间加权特征和第一残差特征获得局部空间注意力特征。
具体地，对第一残差特征进行局部空间注意力处理时，一方面，服务器根据第一残差特 征进行残差特征提取，如可以通过残差单元实现，得到第三残差特征。另一方面，服务器对 第一残差特征进行空间注意力图提取，得到空间注意力图。其中，空间注意力图为表征了待 处理图像中空间上不同像素点对最终图像重建时特征贡献的权重，空间上不同像素点的对最 终图像重建时特征的贡献不同，对应的权重也不同。进一步地，服务器根据第三残差特征和 空间注意力图得到空间加权特征，具体可以为通过空间注意力图对第三残差特征进行加权处 理，从而对第三残差特征的贡献进行加权调节，得到空间加权特征。服务器再根据得到空间 加权特征和第一残差特征获得局部空间注意力特征，具体可以融合空间加权特征和第一残差 特征，得到局部空间注意力特征。
本实施例中，服务器根据第一残差特征进行局部空间注意力处理，具体通过空间注意力 图对第一残差特征进行残差特征提取得到的第三残差特征进行加权处理，得到有效表征了待 处理图像中不同空间上像素点贡献大小的局部空间注意力特征，从而能够提升图像超分辨率 重建的效果。
在一个实施例中，对第一残差特征进行空间注意力图提取，得到空间注意力图，包括： 对第一残差特征进行局部空间注意力特征提取，获得中间局部空间注意力特征；对中间局部 空间注意力特征进行尺度变换，得到空间注意力图。
具体地，服务器对第一残差特征进行局部空间注意力特征提取，如可以通过局部注意力 模块实现，获得中间局部空间注意力特征。再由服务器对中间局部空间注意力特征进行尺度 变换，如可以通过上采样和下采样处理实现，得到空间注意力图，空间注意力图表征了待处 理图像中空间上不同像素点对最终图像重建时特征贡献的权重。
本实施例中，服务器通过对第一残差特征进行局部空间注意力特征提取，并对提取得到 的中间局部空间注意力特征进行尺度变换，得到能够有效表征待处理图像中空间上不同像素 点对最终图像重建时特征贡献的权重的空间注意力图，从而基于注意力机制对待处理图像不 同空间上的像素点的特征进行加权，有效突出不同空间上的像素点的贡献，有利于提高图像 超分辨率重建的效果。
在一个实施例中，对第一残差特征进行局部空间注意力特征提取，获得中间局部空间注 意力特征，包括：通过预设滑窗对第一残差特征进行局部空间注意力特征提取，得到局部空 间特征图；根据第一残差特征和局部空间特征图进行数据变换，得到变换空间特征图；根据 变换空间特征图和局部空间特征图得到中间局部空间注意力特征。
具体地，服务器通过预设滑窗对第一残差特征进行局部空间注意力特征提取，得到局部 空间特征图，其中，滑窗的大小根据实际需求进行设置，如可以设置为K×K，则每个通道 的每个点都获取周围K×K的局部空间特征图，局部空间特征图即为经过滑窗后截取出的特 征。服务器再根据第一残差特征和局部空间特征图进行数据变换，以改变变换空间特征图的 数据排列方式，而不改变图像内容，得到变换空间特征图。服务器根据变换空间特征图和局 部空间特征图得到中间局部空间注意力特征，具体可以由服务器将变换空间特征图和局部空 间特征图进行点乘，得到中间局部空间注意力特征。
在一个实施例中，在对局部空间注意力特征进行残差特征提取，得到第二残差特征之后， 还包括：对第二残差特征进行通道注意力特征提取，获得混合注意力特征。
具体地，通道注意力特征提取是基于注意力机制在不同通道进行特征提取的处理，从而 确定不同通道的特征对图像超分辨率重建的贡献。服务器对经过空间注意力处理后得到的第 二残差特征进行通道注意力特征提取，得到混合注意力特征。混合注意力特征既携带了空间 注意力特征，也携带了通道注意力特征。
进一步地，根据第二残差特征和输入特征得到本级局部注意力特征提取的结果，包括： 根据混合注意力特征和输入特征得到本级局部注意力特征提取的结果。
具体地，服务器将混合注意力特征和输入特征进行融合，得到本级局部注意力特征提取 的结果，如可以由服务器将混合注意力特征和输入特征进行相加融合，得到本级局部注意力 特征提取的结果。
本实例中，通过对第二残差特征进行通道注意力特征提取，并根据得到的混合注意力特 征和输入特征得到本级局部注意力特征提取的结果，使得本级局部注意力特征提取的结果既 携带了空间注意力特征，也携带了通道注意力特征，充分利用了待处理图像的特征，有利于 提高图像超分辨率重建的效果。
在一个实施例中，对第二残差特征进行通道注意力特征提取，获得混合注意力特征，包 括：对第二残差特征进行通道对比度特征提取，得到通道注意力特征图；对通道注意力特征 图进行通道变换，得到混合注意力特征。
具体地，在对第二残差特征进行通道注意力特征提取时，服务器对第二残差特征进行通 道对比度特征提取，如逐通道根据第二残差特征的均值和对比度计算图像对比度，得到通道 注意力特征图，通道注意力特征图反映了图像对比度。再由服务器对通道注意力特征图进行 通道变换，如由服务器对通道注意力特征图进行通道数压缩和恢复，以降低通道上的分辨率， 避免在相邻通道上产生高频的跳变，得到混合注意力特征。
在一个实施例中，将每次局部注意力特征提取获得的结果进行特征融合，得到注意力特 征，包括：将每次局部注意力特征提取获得的结果进行多尺度通道融合，得到通道融合特征； 对通道融合特征进行通道转换，得到注意力特征。
具体地，在融合每次局部注意力特征提取获得的结果时，服务器将每次局部注意力特征 提取获得的结果进行多尺度通道融合，如可以由服务器将不同阶段局部注意力特征提取获得 的结果组合成更深的通道融合特征，并对得到的通道融合特征进行通道转换，具体可以在通 道层面融合各高阶和低阶的结果，得到注意力特征。
本实施例中，服务器通过多尺度融合将不同阶段局部注意力特征提取获得的结果进行融 合，可以充分利用待处理图像的特征，有利于提升图像超分辨率重建的效果。
在一个实施例中，提供了一种图像处理方法，该图像处理方法基于混合注意力机制的神 经网络模型实现图像超分辨率重建。如图4所示，为本实施例中，基于混合注意力机制的神 经网络模型的模型结构示意图，该基于混合注意力机制的神经网络模型可以将图像放大2x 倍，包括依次连接的低层特征层(Feature Convolution)、4个混合注意力模块(MAB，Mix Attention Block)、通道融合层(Concat)、通道转换层(Conv 1×1)、通道重建层(Tail Convolution)和上采样层(Upsample)，待处理图像输入低层特征层，各MAB的输出通过通 道融合层进行融合，融合后的结果通过通道转换层后与低层特征层输出的低层特征进行融合， 并通过通道重建层进行通道重建后由上采样层处理输出超分辨率重建得到的放大了2x的重 建图像。
其中，低层特征层和通道重建层分别负责提取低层特征和最终的通道重建，均由单层卷 积层实现，卷积核尺寸(filter size)为5×5。混合注意力模块为网络的主要单，包括空间注 意力部分(Spatial Attention Part)和通道注意力部分(Channel AttentionPart)以及起连接作 用的残差单元(RB，Residual Block)。通道融合层和通道转换层组成多尺度融合部分 (Multi-scale Fusion)，用于将多尺度特征进行融合。上采样层采用Space to Depth(空间到深 度)的方式实现。
具体地，低层特征层用于提取待处理图像的低层特征，转换图像到网络处理通道数(64)； 通道重建层用来从最高层特征重建输出的SR(Super-Resolution，超分辨率)图像，两个卷积 层的参数如下表1所示。
表1
卷积层名称 卷积核大小 输入通道 输出通道 缩放比例
低层特征层 5×5 3 64 ×1
通道重建层 5×5 64 12 ×1
如图5所示，混合注意力模块为整个神经网络结构的主要单元，主要包含空间注意力部 分、通道注意力部分以及起连接作用的残差单元，具体地空间注意力部分与通道注意力部分 通过两个残差单元连接，通道注意力部分与混合注意力模块的输入通过两个残差单元连接， 通道注意力部分的输出即作为混合注意力模块的输出。
残差单元是构成整个混合注意力模块的基本单位，其结构如图6所示，由前后两个3×3 卷积层Conv 3×3和中间的激活层Relu构成，3×3卷积层参数如下表2所示，如无特别说明， 在本实施例中网络中出现的Conv 3×3都如表2参数。
表2
卷积层名称 卷积核大小 输入通道 输出通道 缩放比例
Conv 3×3 3×3 64 64 ×1
空间注意力部分由Trunk(躯干)模块和Mask(掩膜)模块构成，如图7所示，虚线框为Trunk模块，由两个残差单元串联构成。空间注意力部分为由Trunk模块提取特征，Mask模块提取空间注意力图(Spatial Attention Map)而构成的残差模块，所谓空间注意力就是空 间上不同的点对最终特征的贡献是不同的，而空间注意力图就是表征这种不同贡献的权重图， Trunk模块得到的特征和Mask模块得到空间注意力图进行点乘
Figure RE-GDA0002705398790000071
就得到基本的经过空间 注意力加权的图像特征。
如图8所示，为Mask模块的结构，Mask模块是一个类似U-Net结构，U-Net是一个经典的全卷积网络，网络中没有全连接操作。首先经过局部注意力模块(LAB，LocalAttention Block)提取空间中局部区域K×K对当前计算点的影响，再将特征分辨率降低到输入的1/4 计算注意力图，结束后通过上采样单元再将注意力图放大到与Trunk模块得到的特征相同的 分辨率。局部注意力模块的结构如图9所示，主要由头部负责压缩通道的Conv 1×1，中间 负责获取每个点的局部特征图的滑窗(Sliding windows)以及矩阵乘法
Figure BDA0002638152010000081
和尾部负责还 原通道的z:1×1卷积层构成。其中，Conv 1×1和z:1×1卷积层的结构参数如下表3所示。
表3
卷积层名称 卷积核大小 输入通道 输出通道 缩放比例
Conv 1×1 1×1 64 32 ×1
z:1×1 1×1 32 64 ×1
Sliding Windows操作就是整张特征图滑窗，每个通道的每个点都获取周围K×K大小的 特征图，假设Sliding Windows输入的特征图为[H,W,C/2]大小，H，W表示特征图长宽，C/2 表示通道数，经过Sliding Windows后，特征图变为[H,W,C/2,K,K]大小。图9中虚线箭头表示 变更特征图数据的排列方式，而不改变图像内容。
下采样层和上采样层对是构成Mask模块中U-Net结构基本构建，就是图像降采样和上 采样操作，这么做是为了在低尺度上获取空间注意力图，防止空间上相邻的注意力权重变化 过快引起图像中的高频伪影(high-frequency artifact)。这里，实现图像降采样和上采样的方 法是分别是Space to Depth和Depth to Space(深度到空间)，如图10所示，就是降采样的时 候将相邻的特征图像素点分别排布到不同的通道中去(即Space toDepth)，在分辨率变为原 来1/4的同时，通道数变为原来的4倍，而上采样的过程(Depth toSpace)则正好相反。此 外，上采样可以采用Deconvolution(反卷积)方式实现，下采样可以采用stride>1的卷积层 Convolution来实现。进一步地，上采样和下采样还可以采用bi-cubic插值的方式实现。
相比空间注意力，通道注意力部分关注的是不同的通道对最终特征的贡献。如图11所示， 通道注意力部分由对比度层(Contrast Layer)和一个1×1卷积层构成，ContrastLayer提取 与图像对比度相关的通道注意力特征图，1×1卷积层用来进行通道融合。图像对比度由图像 的均值和对比度表示，如下式(1)所示，
Figure BDA0002638152010000082
其中，xc表示输入图像的x的第c个通道，Contrast是逐通道计算，Zc，即HGC(xc)就表示第c个通道的计算结果，H和W分别为待处理图像的高和宽，i和j的取值范围为输入图 像的x的第c个通道的范围。
在Contrast Layer之后，紧接在Contrast之后的是两个1×1卷积层，即压缩卷积层 (Squeeze:conv1×1)和扩展卷积层(Extension:conv1×1)，分别负责压缩和恢复通道数，降 低通道上的分辨率，作用和空间注意力部分的U-Net结构差不多，避免在相邻通道上产生高 频的跳变。
通道注意力部分中三个1×1卷积结构参数如下表4所示，
表4
卷积层名称 卷积核大小 输入通道 输出通道 缩放比例
Squeeze:1×1 1×1 64 16 ×1
Extension:1×1 1×1 16 64 ×1
Conv 1×1 1×1 64 64 ×1
多尺度融合，所谓尺度，就是在网络的不同深度提取出来的特征，一般来说，越靠近网 络尾部的特征越高阶，感受野越大，尺度越大，可以表示语义更复杂特征，局部信息少，全 局信息多。而越靠近网络头部的特征越低阶，感受野越小，尺度越小，可以表示语义简单的 特征，局部信息多，全局信息少。可以采用将不同阶段提取的特征融合的方法，将低阶和高 阶特征同时利用，避免单一尺度造成的信息丢失问题。多尺度融合部分包括ConcatLayer和 一个1×1卷积网络，Concat Layer把不同阶段的特征图组合成更深的一张特征图，如下式(2) 所示，
Xout＝Concat([MAB1out,MAB2out,MAB3out,MAB4out],dim＝1) (2)
其中，MAB1～4out分别表示4个MAB模块的输出，dim＝1表示是在通道维度合并四个输出特 征图，Concat()表征通道融合，Xout为通道融合的输出，输出的特征图的通道数是单个MAB 模块输出的4倍，即64×4＝256通道。
多尺度融合部分的conv 1×1卷积层负责在通道层面融合这些高阶和低阶的特征图，其 参数如下表5所示，
表5
卷积层名称 卷积核大小 输入通道 输出通道 缩放比例
Conv 1×1 1×1 256 64 ×1
此外，多尺度融合也可以采用不同的特征图相加的方法实现。而通道融合层的1×1卷积 层也可以采用更大的卷积核，比如3×3，5×5。
在通道重建层后的上采样层是网络最终图像的放大部分，采用的同样是Depth toSpace 方法。
本实施例中，基于混合注意力机制的神经网络模型和图像超分辨率重建方法，利用非局 部混合注意力残差块可以实现任意规定大小的网络感受野，计算一定范围的局部像素点级的 特征对于输出点的影响，同时，在混合注意力模块尾端，加入了基于对比度感知 (contrast-aware)的通道注意力层，不止考虑空间点的影响，还有不同通道的影响，充分的 利用的低分辨率图像的特征。一方面，利用局部注意力模块可以利用单层网络就实现任意感 受野，同时兼顾感受野和低层特征；另一方面，网络整体采用了多尺度结构，使得低阶和高 阶的特征可以同时被充分利用，更好的区分图像细节和噪声伪影，降低超分重建过程中产生 的油画感，从而提高了图像超分辨率重建的效果。
应该理解的是，虽然图2-3的流程图中的各个步骤按照箭头的指示依次显示，但是这些 步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行 并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-3中的至少一部分步 骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成， 而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可 以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
图12为一个实施例的图像处理装置的结构框图。如图12所示，该装置具体包括：图像 获取模块1202、低层特征提取模块1204、注意力特征提取模块1206和图像重建模块1208， 其中：
图像获取模块1202，用于获取待处理图像；
低层特征提取模块1204，用于提取待处理图像的低层特征；
注意力特征提取模块1206，用于基于低层特征迭代进行局部注意力特征提取，并将每次 局部注意力特征提取获得的结果进行特征融合，得到注意力特征；
图像重建模块1208，用于根据注意力特征和低层特征进行图像重建，得到重建图像；重 建图像的分辨率高于待处理图像的分辨率。
在一个实施例中，注意力特征提取模块1206包括输入特征确定模块、本级结果获得模块 和迭代模块；其中：输入特征确定模块，用于将低层特征作为局部注意力特征提取的输入特 征；本级结果获得模块，用于对输入特征进行局部注意力特征提取，得到本级局部注意力特 征提取的结果；迭代模块，用于将本级局部注意力特征提取的结果作为下一级局部注意力特 征提取的输入特征进行迭代。
在一个实施例中，本级结果获得模块包括第一残差模块、局部注意力处理模块、第二残 差模块和提取结果获得模块；其中：第一残差模块，用于对输入特征进行残差特征提取，获 得第一残差特征；局部注意力处理模块，用于对第一残差特征进行局部空间注意力处理，得 到局部空间注意力特征；第二残差模块，用于对局部空间注意力特征进行残差特征提取，得 到第二残差特征；提取结果获得模块，用于根据第二残差特征和输入特征得到本级局部注意 力特征提取的结果。
在一个实施例中，局部注意力处理模块包括第三残差模块、空间注意力图模块、空间特 征加权模块和空间注意力特征模块；其中：第三残差模块，用于对第一残差特征进行残差特 征提取，得到第三残差特征；空间注意力图模块，用于对第一残差特征进行空间注意力图提 取，得到空间注意力图；空间特征加权模块，用于根据第三残差特征和空间注意力图得到空 间加权特征；空间注意力特征模块，用于根据空间加权特征和第一残差特征获得局部空间注 意力特征。
在一个实施例中，空间注意力图模块包括中间特征模块和尺度变换模块；其中：中间特 征模块，用于对第一残差特征进行局部空间注意力特征提取，获得中间局部空间注意力特征； 尺度变换模块，用于对中间局部空间注意力特征进行尺度变换，得到空间注意力图。
在一个实施例中，中间特征模块包括滑窗处理模块、数据变换模块和中间特征获得模块； 其中：滑窗处理模块，用于通过预设滑窗对第一残差特征进行局部空间注意力特征提取，得 到局部空间特征图；数据变换模块，用于根据第一残差特征和局部空间特征图进行数据变换， 得到变换空间特征图；中间特征获得模块，用于根据变换空间特征图和局部空间特征图得到 中间局部空间注意力特征。
在一个实施例中，还包括通道注意力模块，用于对第二残差特征进行通道注意力特征提 取，获得混合注意力特征；提取结果获得模块，还用于根据混合注意力特征和输入特征得到 本级局部注意力特征提取的结果。
在一个实施例中，通道注意力模块包括对比度模块和通道变换模块；其中：对比度模块， 用于对第二残差特征进行通道对比度特征提取，得到通道注意力特征图；通道变换模块，用 于对通道注意力特征图进行通道变换，得到混合注意力特征。
在一个实施例中，注意力特征提取模块1206还包括多尺度融合模块和通道转换模块；其 中：多尺度融合模块，用于将每次局部注意力特征提取获得的结果进行多尺度通道融合，得 到通道融合特征；通道转换模块，用于对通道融合特征进行通道转换，得到注意力特征。
上述图像处理装置中各个模块的划分仅仅用于举例说明，在其他实施例中，可将图像处 理装置按照需要划分为不同的模块，以完成上述图像处理装置的全部或部分功能。
关于图像处理装置的具体限定可以参见上文中对于图像处理方法的限定，在此不再赘述。 上述图像处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块 可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设 备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构示 意图如图13所示，该服务器包括通过系统总线连接的处理器和存储器。其中，该处理器用于 提供计算和控制能力，支撑整个服务器的运行。存储器可包括非易失性存储介质及内存储器。 非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行，以用于 实现以下各个实施例所提供的一种图像处理方法。内存储器为非易失性存储介质中的操作系 统计算机程序提供高速缓存的运行环境。服务器可以用独立的服务器或者是多个服务器组成 的服务器集群来实现。本领域技术人员可以理解，图13中示出的结构，仅仅是与本申请方案 相关的部分结构的框图，并不构成对本申请方案所应用于其上的服务器的限定，具体的服务 器可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
本申请实施例中提供的图像处理装置中的各个模块的实现可为计算机程序的形式。该计 算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在电子设备的存储 器上。该计算机程序被处理器执行时，实现本申请实施例中所描述方法的步骤。
本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的 非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得 所述处理器执行图像处理方法的步骤。
一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行图像处理方 法。
本申请所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易 失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程 ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)，它用作外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静 态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线 (Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态 RAM(RDRAM)。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因 此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在 不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。 因此，本申请专利的保护范围应以所附权利要求为准。

Claims (12)

1.一种图像处理方法，其特征在于，包括：
获取待处理图像；
提取所述待处理图像的低层特征；
基于所述低层特征迭代进行局部注意力特征提取，并将每次所述局部注意力特征提取获得的结果进行特征融合，得到注意力特征；
根据所述注意力特征和所述低层特征进行图像重建，得到重建图像；所述重建图像的分辨率高于所述待处理图像的分辨率。
2.根据权利要求1所述的方法，其特征在于，所述基于所述低层特征迭代进行局部注意力特征提取，包括：
将所述低层特征作为局部注意力特征提取的输入特征；
对所述输入特征进行局部注意力特征提取，得到本级局部注意力特征提取的结果；
将本级局部注意力特征提取的结果作为下一级局部注意力特征提取的输入特征进行迭代。
3.根据权利要求2所述的方法，其特征在于，所述对所述输入特征进行局部注意力特征提取，得到本级局部注意力特征提取的结果，包括：
对所述输入特征进行残差特征提取，获得第一残差特征；
对所述第一残差特征进行局部空间注意力处理，得到局部空间注意力特征；
对所述局部空间注意力特征进行残差特征提取，得到第二残差特征；
根据所述第二残差特征和所述输入特征得到本级局部注意力特征提取的结果。
4.根据权利要求3所述的方法，其特征在于，所述对所述第一残差特征进行局部空间注意力处理，得到局部空间注意力特征，包括：
对所述第一残差特征进行残差特征提取，得到第三残差特征；
对所述第一残差特征进行空间注意力图提取，得到空间注意力图；
根据所述第三残差特征和所述空间注意力图得到空间加权特征；
根据所述空间加权特征和所述第一残差特征获得局部空间注意力特征。
5.根据权利要求4所述的方法，其特征在于，所述对所述第一残差特征进行空间注意力图提取，得到空间注意力图，包括：
对所述第一残差特征进行局部空间注意力特征提取，获得中间局部空间注意力特征；
对所述中间局部空间注意力特征进行尺度变换，得到空间注意力图。
6.根据权利要求5所述的方法，其特征在于，所述对所述第一残差特征进行局部空间注意力特征提取，获得中间局部空间注意力特征，包括：
通过预设滑窗对所述第一残差特征进行局部空间注意力特征提取，得到局部空间特征图；
根据所述第一残差特征和所述局部空间特征图进行数据变换，得到变换空间特征图；
根据所述变换空间特征图和所述局部空间特征图得到中间局部空间注意力特征。
7.根据权利要求3所述的方法，其特征在于，在所述对所述局部空间注意力特征进行残差特征提取，得到第二残差特征之后，还包括：
对所述第二残差特征进行通道注意力特征提取，获得混合注意力特征；
所述根据所述第二残差特征和所述输入特征得到本级局部注意力特征提取的结果，包括：
根据所述混合注意力特征和所述输入特征得到本级局部注意力特征提取的结果。
8.根据权利要求7所述的方法，其特征在于，所述对所述第二残差特征进行通道注意力特征提取，获得混合注意力特征，包括：
对所述第二残差特征进行通道对比度特征提取，得到通道注意力特征图；
对所述通道注意力特征图进行通道变换，得到混合注意力特征。
9.根据权利要求1所述的方法，其特征在于，所述将每次所述局部注意力特征提取获得的结果进行特征融合，得到注意力特征，包括：
将每次所述局部注意力特征提取获得的结果进行多尺度通道融合，得到通道融合特征；
对所述通道融合特征进行通道转换，得到注意力特征。
10.一种图像处理装置，其特征在于，包括：
图像获取模块，用于获取待处理图像；
低层特征提取模块，用于提取所述待处理图像的低层特征；
注意力特征提取模块，用于基于所述低层特征迭代进行局部注意力特征提取，并将每次所述局部注意力特征提取获得的结果进行特征融合，得到注意力特征；
图像重建模块，用于根据所述注意力特征和所述低层特征进行图像重建，得到重建图像；所述重建图像的分辨率高于所述待处理图像的分辨率。
11.一种计算机设备，包括存储器及处理器，所述存储器中储存有计算机程序，其特征在于，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至9中任一项所述的图像处理方法的步骤。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至9中任一项所述的图像处理方法的步骤。
CN202010831473.1A 2020-08-18 2020-08-18 图像处理方法、装置、计算机设备和计算机可读存储介质 Pending CN111951165A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010831473.1A CN111951165A (zh) 2020-08-18 2020-08-18 图像处理方法、装置、计算机设备和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010831473.1A CN111951165A (zh) 2020-08-18 2020-08-18 图像处理方法、装置、计算机设备和计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN111951165A true CN111951165A (zh) 2020-11-17

Family

ID=73343738

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010831473.1A Pending CN111951165A (zh) 2020-08-18 2020-08-18 图像处理方法、装置、计算机设备和计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN111951165A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113436076A (zh) * 2021-07-26 2021-09-24 柚皮(重庆)科技有限公司 逐步融合特征的图像超分辨率重建方法及电子设备
CN113642654A (zh) * 2021-08-16 2021-11-12 北京百度网讯科技有限公司 图像特征的融合方法、装置、电子设备和存储介质
CN114332592A (zh) * 2022-03-11 2022-04-12 中国海洋大学 一种基于注意力机制的海洋环境数据融合方法及系统
CN114612759A (zh) * 2022-03-22 2022-06-10 北京百度网讯科技有限公司 视频处理方法、查询视频的方法和模型训练方法、装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110717856A (zh) * 2019-09-03 2020-01-21 天津大学 一种用于医学成像的超分辨率重建算法
CN110852948A (zh) * 2019-11-01 2020-02-28 鹏城实验室 基于特征相关性的图像超分辨方法、存储介质及终端设备
CN111429355A (zh) * 2020-03-30 2020-07-17 新疆大学 一种基于生成对抗网络的图像超分辨率重建方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110717856A (zh) * 2019-09-03 2020-01-21 天津大学 一种用于医学成像的超分辨率重建算法
CN110852948A (zh) * 2019-11-01 2020-02-28 鹏城实验室 基于特征相关性的图像超分辨方法、存储介质及终端设备
CN111429355A (zh) * 2020-03-30 2020-07-17 新疆大学 一种基于生成对抗网络的图像超分辨率重建方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
丁明航 等: "基于注意力生成对抗网络的图像超分辨率重建方法", 计算机系统应用, vol. 29, no. 2, pages 2 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113436076A (zh) * 2021-07-26 2021-09-24 柚皮(重庆)科技有限公司 逐步融合特征的图像超分辨率重建方法及电子设备
CN113642654A (zh) * 2021-08-16 2021-11-12 北京百度网讯科技有限公司 图像特征的融合方法、装置、电子设备和存储介质
WO2023019996A1 (zh) * 2021-08-16 2023-02-23 北京百度网讯科技有限公司 图像特征的融合方法、装置、电子设备和存储介质
CN114332592A (zh) * 2022-03-11 2022-04-12 中国海洋大学 一种基于注意力机制的海洋环境数据融合方法及系统
CN114612759A (zh) * 2022-03-22 2022-06-10 北京百度网讯科技有限公司 视频处理方法、查询视频的方法和模型训练方法、装置
CN114612759B (zh) * 2022-03-22 2023-04-07 北京百度网讯科技有限公司 视频处理方法、查询视频的方法和模型训练方法、装置

Similar Documents

Publication Publication Date Title
CN111951165A (zh) 图像处理方法、装置、计算机设备和计算机可读存储介质
CN109886871B (zh) 基于通道注意力机制和多层特征融合的图像超分辨率方法
CN111179177B (zh) 图像重建模型训练方法、图像重建方法、设备及介质
Zeng et al. Coupled deep autoencoder for single image super-resolution
CN111683269B (zh) 视频处理方法、装置、计算机设备和存储介质
CN108475415B (zh) 用于图像处理的方法和系统
CN110246084B (zh) 一种超分辨率图像重构方法及其系统、装置、存储介质
KR102509817B1 (ko) 이미지 처리 방법 및 장치, 컴퓨터 디바이스, 및 저장 매체
CN111951167B (zh) 超分辨率图像重建方法、装置、计算机设备和存储介质
WO2021139439A1 (zh) 图像重建方法、装置、设备、系统及计算机可读存储介质
CN111028153A (zh) 图像处理和神经网络训练方法、装置及计算机设备
CN113554058A (zh) 视觉目标图像分辨率增强的方法、系统、装置及存储介质
CN112991171B (zh) 图像处理方法、装置、电子设备及存储介质
Dai et al. Image super-resolution via residual block attention networks
Chen et al. MICU: Image super-resolution via multi-level information compensation and U-net
CN117252761A (zh) 一种跨传感器遥感图像超分辨率增强方法
Deshpande et al. SURVEY OF SUPER RESOLUTION TECHNIQUES.
Khosravi et al. Data compression in ViSAR sensor networks using non-linear adaptive weighting
CN113628115B (zh) 图像重建的处理方法、装置、电子设备和存储介质
Tran et al. 3DVSR: 3D EPI volume-based approach for angular and spatial light field image super-resolution
CN111223046B (zh) 一种图像超分辨率重建方法及装置
CN111724309B (zh) 图像处理方法及装置、神经网络的训练方法、存储介质
CN116630152A (zh) 图像分辨率重建方法、装置、存储介质及电子设备
CN116612009A (zh) 一种多尺度连接生成对抗网络医学图像超分辨率重建方法
CN113191947B (zh) 一种图像超分辨率的方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination