CN114781601B - 图像超分辨率方法及装置 - Google Patents

图像超分辨率方法及装置 Download PDF

Info

Publication number
CN114781601B
CN114781601B CN202210359937.2A CN202210359937A CN114781601B CN 114781601 B CN114781601 B CN 114781601B CN 202210359937 A CN202210359937 A CN 202210359937A CN 114781601 B CN114781601 B CN 114781601B
Authority
CN
China
Prior art keywords
image
feature map
features
feature
resolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210359937.2A
Other languages
English (en)
Other versions
CN114781601A (zh
Inventor
祝晓斌
周鸿杨
殷绪成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology Beijing USTB
Original Assignee
University of Science and Technology Beijing USTB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology Beijing USTB filed Critical University of Science and Technology Beijing USTB
Priority to CN202210359937.2A priority Critical patent/CN114781601B/zh
Publication of CN114781601A publication Critical patent/CN114781601A/zh
Application granted granted Critical
Publication of CN114781601B publication Critical patent/CN114781601B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本公开涉及一种图像超分辨率方法及装置，其包括：获取第一图像和第一参考图像；其中，所述第一参考图像的分辨率大于所述第一图像的分辨率；针对所述第一图像的特征，在所述第一图像和所述第一参考图像中挖掘第一组相似特征，并通过聚合挖掘到的第一组相似特征对所述第一图像的特征进行纹理增强，得到所述第一图像的增强特征图；以及，对所述增强特征图依次进行上采样和卷积处理，得到所述第一图像的超分辨率图像；其中，所述超分辨率图像的分辨率等于所述第一参考图像的分辨率。

Description

图像超分辨率方法及装置
技术领域
本发明涉及图像传输处理技术领域，更具体地，涉及一种图像超分辨率方法及一种图像超分辨率装置。
背景技术
在图像传输中，为了提高传输速度，降低对传输网络的要求，通常会在发送装置一侧压缩待传输的原始图像，以降低原始图像的分辨率，进而降低需要传输的像素量，然后将压缩后的低分辨率图像发送至接收装置；接收装置在接收到低分辨率图像后，再基于接收到的低分辨率图像重建出高分辨率的原始图像，完成图像恢复。
从低分辨率图像重建出高分辨率图像被称之为图像超分辨率技术，由于图像超分辨率任务本身存在不适定性，导致现有的超分辨率方法无法精确重建细节纹理真实的高分辨率图像，因此，有必要提供一种能够提高细节纹理真实感的新的图像超分辨率方法。
发明内容
本公开实施例的一个目的是提供一种关于图像超分辨率的新的技术方案。
根据本发明的第一方面，提供了根据一实施例的图像超分辨率方法，其包括：
接收图像发送设备传输的第一图像；其中，所述第一图像为通过压缩原始图像的分辨率得到的低分辨率图像；
获取第一参考图像；其中，所述第一参考图像的分辨率大于或者等于所述原始图像的分辨率；
针对所述第一图像的特征，在所述第一图像和所述第一参考图像中挖掘第一组相似特征，并通过聚合挖掘到的第一组相似特征对所述第一图像的特征进行纹理增强，得到所述第一图像的增强特征图；
对所述增强特征图进行上采样和卷积处理，得到所述第一图像的超分辨率图像；其中，所述超分辨率图像的分辨率等于所述第一参考图像的分辨率。
可选地，所述针对所述第一图像的特征，在所述第一图像和所述第一参考图像中挖掘第一组相似特征，包括：
对所述第一参考图像进行下采样，得到分辨率与所述第一图像相同的第二参考图像；
针对所述第一图像的特征，在所述第一图像和所述第二参考图像中挖掘第二组相似特征；
在所述第二组相似特征包括在所述第二参考图像中挖掘到的外部相似特征的情况下，根据所述第一参考图像与所述第二参考图像间的空间位置对应关系，将所述第二组相似特征中的所述外部相似特征替换为所述第一参考图像中的对应特征，得到所述第一组相似特征。
可选地，所述针对所述第一图像的特征，在所述第一图像和所述第二参考图像中挖掘第二组相似特征，包括：
提取所述第一图像的深层特征，得到目标深层特征图，及提取所述第二参考图像的深层特征，得到第二深层特征图；
按照设定的分块规则，将所述目标深层特征图划分成多个目标像素块及将所述第二深层特征图划分成多个第二像素块，得到包括所述多个目标像素块和所述多个第二像素块的像素块集；其中，一个像素块对应一个特征，所述像素块集中所有像素块的像素数目相同；
针对所述目标像素块，在所述像素块集中挖掘得到相似度排序在前K个的其他像素块，作为所述第二组相似特征。
可选地，所述根据所述第一参考图像与所述第二参考图像间的空间位置对应关系，将所述第二组相似特征中的所述外部相似特征替换为所述第一参考图像中的对应特征，得到所述第一组相似特征，包括：
提取所述第一参考图像的深度特征，得到第一深度特征图；
对所述第一深度特征图的通道进行压缩，使得压缩后的第一深度特征图与所述第二深度特征图的像素数目相同；
按照所述分块规则，将所述压缩后的第一深度特征图划分成多个第一像素块，其中，所述多个第一像素块与所述多个第二像素块在空间位置上一一对应；
根据所述空间位置对应关系，将第二组相似特征中的第二像素块替换为对应的第一像素块。
可选地，所述方法在接收到所述第一图像之后，还包括：提取所述第一图像的浅层特征，得到所述第一图像的浅层特征图；
所述针对所述第一图像的特征，在所述第一图像和所述第一参考图像中挖掘第一组相似特征，并通过聚合挖掘到的第一组相似特征对所述第一图像的特征进行纹理增强，得到所述第一图像的增强特征图，包括：
通过N个串联连接的特征增强模型各执行一次所述针对所述第一图像的特征，在所述第一图像和所述第一参考图像中挖掘第一组相似特征，并通过聚合挖掘到的第一组相似特征对所述第一图像的特征进行纹理增强的步骤，得到所述第一图像的N个增强后的深层特征图；其中，
N为大于等于2的整数，所述第一参考图像输入至每一特征增强模型，所述浅层特征图输入至第1个特征增强模型，每一特征增强模型输出一个增强后的深层特征图，前一特征增强模型输出的增强后的深层特征图输入至相邻的后一特征增强模型，继续进行纹理增强；所述特征增强模型针对输入特征图的特征，在所述第一图像和所述第一参考图像中挖掘第一组相似特征，并通过聚合所述第一组相似特征对所述输入特征图的特征进行纹理增强，得到所述增强后的深层特征图；
根据所述浅层特征图和N个增强后的深层特征图，得到所述第一图像的增强特征图。
可选地，所述通过聚合所述第一组相似特征对所述输入特征图的特征进行纹理增强，得到所述增强后的深层特征图，包括：
根据所述第一组相似特征中相似特征与所述输入特征图的特征间的相似度，确定每一相似特征的聚合权重；
根据所述聚合权重，对所述第一组相似特征与所述输入特征图的特征进行聚合，并根据聚合后的特征图得到所述增强后的深层特征图。
可选地，所述通过聚合所述第一组相似特征对所述输入特征图的特征进行纹理增强，得到所述增强后的深层特征图，包括：
通过聚合所述第一组相似特征对所述输入特征图的特征进行纹理增强；
对所述输入特征图和聚合后的特征图的对应像素求和，得到所述增强后的深层特征图。
可选地，所述根据所述浅层特征图和N个增强后的深层特征图，得到所述第一图像的增强特征图，包括：
通过注意力层学习所述N个增强后的深层特征图间的关系，并根据所述关系对所述N个增强后的深层特征图进行合并，得到合并特征图；
对第N个增强后的深层特征图进行卷积处理，得到卷积后的特征图；
根据所述合并特征图，所述卷积后的特征图和所述浅层特征图，得到所述增强特征图。
根据本公开的第二方面，提供了根据另一实施例的图像超分辨率方法，其包括：
获取第一图像和第一参考图像；其中，所述第一参考图像的分辨率大于所述第一图像的分辨率；
针对所述第一图像的特征，在所述第一图像和所述第一参考图像中挖掘第一组相似特征，并通过聚合挖掘到的第一组相似特征对所述第一图像的特征进行纹理增强，得到所述第一图像的增强特征图；
对所述增强特征图依次进行上采样和卷积处理，得到所述第一图像的超分辨率图像；其中，所述超分辨率图像的分辨率等于所述第一参考图像的分辨率。
根据本公开的第三方面，还提供了一种图像超分辨率装置，其包括存储器和处理器，所述存储器用于存储计算机程序，所述处理器用于在所述计算机程序的控制下，执行根据本公开的第一方面或者第二方面所述的图像超分辨率方法。
本公开实施例的一个有益效果在于，本公开实施例的图像超分辨率方法，利用低分辨率图像自身和高分辨率参考图像，对低分辨率图像进行超分辨率处理，这在参考图像存在与低分辨率图像相似特征的情况下，能够从参考图像迁移高质量纹理细节；而在参考图像与低分辨率图像相似度较低的情况下，也能融合低分辨率图像自身的相似纹理细节进行超分辨率处理，因此，本公开实施例的图像超分辨率方法具有较强的鲁棒性，并且能够有效提高超分辨率图像的细节纹理真实感。
通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其优点将会变得清楚。
附图说明
被结合在说明书中并构成说明书的一部分的附图示出了本发明的实施例，并且连同其说明一起用于解释本发明的原理。
图1是本公开实施例的图像超分辨率方法的一个应用场景示意图；
图2是根据一实施例的图像超分辨率方法的流程示意图；
图3是根据一实施例的图像超分辨率方法的图像处理过程示意图；
图4是根据另一实施例的图像超分辨率方法的图像处理过程示意图；
图5是根据又一实施例的率方法的图像处理过程示意图；
图6是根据一个实施例的特征增强模块的图像处理过程示意图；
图7是在图像传输中应用一实施例的图像超分辨率方法的流程示意图；
图8是根据一实施例的图像超分辨率装置的硬件结构示意图。
具体实施方式
现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。
对于相关领域普通技术人物已知的技术、方法和设备可能不作详细讨论，但在适当情况下，技术、方法和设备应当被视为说明书的一部分。
在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
<硬件配置>
图1是可应用本公开实施例的图像超分辨率方法的应用场景示意图。
如图1所示，该应用场景包括图像发送设备1000和图像接收设备2000，图像发送设备1000与图像接收设备2000通过有线或者无线的方式通信连接，以进行图像传输。
图像发送设备1000在传输图像时，可以压缩待传输的原始图像，得到压缩后的低分辨率图像，以降低需要传输的像素量；然后再将压缩后的低分辨率图像发送至图像接收装置2000。图像接收装置2000在接收到低分辨率图像后，基于本公开实施例的图像超分辨率方法，从低分辨率图像重建出高分辨率的原始图像，完成图像恢复。
图像发送设备1000发送的图像可以是视频的各帧图像，也可以是任意的其他图像，在此不做限定。图像发送设备1000在传输视频文件的情况下，其中，视频文件包括多帧图像，图像接收装置2000在完成图像恢复后，就能得到高分辨率的视频文件进行播放。
图像发送设备1000可以包括处理器1100、存储器1200、接口装置1300、通信装置1400。
图像接收设备2000也可以包括处理器2100、存储器2200、接口装置2300、通信装置2400。
处理器1100、1200用于执行计算机程序，该计算机程序可以采用比如x86、Arm、RISC、MIPS、SSE等架构的指令集编写。存储器1200、2200例如包括ROM(只读存储器)、RAM(随机存取存储器)、诸如硬盘的非易失性存储器等。接口装置1300、2300例如包括USB接口、视频接口、网络接口等。通信装置1400、2400例如能够进行有线或无线通信，通信装置1400可以包括至少一种短距离通信模块，例如是基于Hilink协议、WiFi(IEEE 802.11协议)、Mesh、蓝牙、ZigBee、Thread、Z-Wave、NFC、UWB、LiFi等短距离无线通信协议进行短距离无线通信的任意模块，通信装置1400也可以包括远程通信模块，例如是进行WLAN、GPRS、2G/3G/4G/5G远程通信的任意模块。
图像发送设备1000的存储器1200用于存储计算机程序，该计算机程序用于控制处理器1100进行操作以至少执行如下步骤：压缩待传输的原始图像，得到压缩后的低分辨率图像；以及，将压缩后的低分辨率图像发送至图像接收装置。技术人员可以根据该方法步骤设计计算机程序，而且计算机程序如何控制处理器进行操作，这是本领域公知技术，故在此不再详细描述。
图像接收设备2000的存储器2200用于存储计算机程序，该计算机程序用于控制处理器2100进行操作以执行根据本公开任意实施例的图像超分辨率方法，以从接收到的低分辨率图像重建出高分辨率的原始图像，完成图像恢复。技术人员可以根据该方法步骤设计计算机程序，而且计算机程序如何控制处理器进行操作，这是本领域公知技术，故在此不再详细描述。
以上图像发送设备1000和图像接收设备2000可以是任意的具有图像处理能力的电子设备，例如可以是任意类型的用户终端设备，也可以是服务器等，在此不做限定。
<方法实施例>
图2示出了根据一个实施例的图像超分辨率方法的流程示意图。该图像超分辨率方法可以应用于图1所示的应用场景，也可以应用于任意的需要对图像进行超分辨率处理的其他场景，在此不做限定。
如图2和图3所示，本实施例的图像超分辨率方法可以包括如下步骤S210～S230：
步骤S210，获取第一图像和分辨率大于该第一图像的第一参考图像。
本实施例中，第一参考图像的分辨率高于第一图像，相对而言，第一图像为低分辨率图像，第一参考图像为高分辨率图像。
第一图像和第一参考图像通常是多通道的彩色图像，其中，该彩色图像是由多个单通道图像叠加形成。例如，二者可以都是3通道(RGB三通道)的彩色图像，也可以是更多通道如8通道、16通道或者32通道的彩色图像等。
本实施例中，第一参考图像可以是区别于第一图像的其他图像，也可以由第一图像中的高分辨率信息构成，在此不做限定。
步骤S220，针对第一图像的特征，在第一图像和第一参考图像中挖掘第一组相似特征，并通过聚合挖掘到的第一组相似特征对该第一图像的特征进行纹理增强，得到第一图像的增强特征图。
第一图像具有多个特征，每一特征对应第一图像的至少一个像素点。由于第一图像由多个单通道图像叠加而成，所以第一图像的一个像素点实际上又包括多个单通道像素点。
在本实施例中，可以对第一图像中的每一特征分别执行步骤S220的挖掘和聚合操作，以对每一特征进行纹理增强，进而得到增强后的第一图像。
应该理解的是，如图3所示，在针对第一图像中的特征0，在第一图像和第一参考图像中挖掘第一组相似特征1-6时，该第一组相似特征1-6并不包括特征0自身。
步骤S220中，针对第一图像的特征，可以在第一图像和第一参考图像中挖掘最为相似的K个相似特征，即，相似排序在前K个的相似特征，这K个相似特征即构成第一组相似特征。
该第一组相似特征可能仅包括从第一参考图像中挖掘的外部相似特征，也可能仅包括从第一图像中挖掘的内部相似特征，还可能即包括从第一参考图像中挖掘的外部相似特征，又包括从第一图像中挖掘的内部相似特征。
如图3所示，以第一图像的特征0为例，在针对特征0进行相似特征挖掘时，例如从第一图像中挖掘到3个内部相似特征1-3，以及从第一参考图像中挖掘到3个外部相似特征4-6。
该步骤S220中，为了使得相似特征的挖掘更易于进行，在一个实施例中，可以对第一参考图像进行下采样处理，得到分辨率等于第一图像的第二参考图像，并基于第二参考图像进行外部相似特征的挖掘。在该实施例中，如图5所示，针对第一图像的特征，可以在第一图像和第二参考图像中挖掘第二组相似特征，在第二组相似特征包含从第二参考图像中挖掘到的外部相似特征的情况下，根据第一参考图像与第二参考图像间的空间位置对应关系，将挖掘到的第二组相似特征中的外部相似特征替换为第一参考图像中的对应特征，得到第一组相似特征。
对于该实施例，仍以第一图像的特征0为例，如图5所示，挖掘得到特征0的第二组相似特征包括从第一图像中挖掘得到的特征1-3，以及从第二参考图像中挖掘到的特征4＇-6＇，然后基于第一参考图像和第二参考图像间的空间位置对应关系，将第二组相似特征中的特征4＇-6＇替换为第一参考图像中的对应特征4-6，得到第一组相似特征1-6。
在步骤S220中，可以采用任意的相似度计算手段，例如欧拉距离等，对相比较的两个特征进行相似度的计算。
各图像的特征可以通过对相应图像分块得到，每个像素块对应一个特征，每个像素块具有相同的像素数目。
由于每个特征或者像素块都是由多个单通道像素点构成，因此，可以通过由每个单通道像素点的像素值构成的一维特征向量表示所对应的特征，进而通过一维特征向量对相比较的两个特征进行相似度计算，这有利于减少计算量，且方便进行数据存储。
在针对第一图像的特征，挖掘到对应的第一组相似特征之后，便可通过在该特征的基础上聚合该第一组相似特征，来对该特征进行纹理增强，这样，通过对第一图像的所有特征进行这样的纹理增强，便得到了第一图像的增强特征图。
仍以第一图像的特征0为例，如图3所示，在得到特征0的第一组相似特征1-6之后，通过在特征0上聚合第一组相似特征1-6，得到纹理被增强的特征0＇，按照该种方式对第一图像的所有特征进行这样的纹理增强，便得到了第一图像的增强特征图，在此不再赘述。
步骤S230，对增强特征图进行上采样和卷积处理，得到第一图像的超分辨率图像；其中，该超分辨率图像的分辨率等于第一参考图像的分辨率。
步骤S230中，可以通过像素重组(Pixel Shuffle)对增强特征图进行上采样，提高增强特征图的分辨率，得到高分辨率的特征图。另外，可以通过对高分辨率的特征图进行卷积处理，得到第一图像的超分辨率图像，该超分辨率图像的分辨率等于第一参考图像的分辨率。上采样和卷积处理的顺序可以根据需要设定，在此不做限定。
一方面，本实施例方法通过内部相似特征和外部相似特征，对第一图像的特征进行纹理增强，能够有效提高超分辨率图像的细节纹理真实感。
另一方面，本实施例的方法在对低分辨率的第一图像的特征进行增强处理时，会同时在第一图像中挖掘内部相似特征及在第一参考图像中挖掘外部相似特征，使得第一图像的特征可以通过内部相似特征的纹理信息和外部相似特征的纹理信息，进行纹理增强。这在第一参考图像与第一图像相似度较高的情况下，能够从第一参考图像迁移高质量的纹理细节，对第一图像的特征进行纹理增强；而在第一参考图像与第一图像相似度较低的情况下，也能融合第一图像自身的相似纹理细节，对第一图像的特征进行纹理增强，因此，本实施例方法在第一参考图像与第一图像间的特征匹配度较低的情况下，也能获得较好的超分辨率效果，具有更强的适应性。
在一个实施例中，如图4所示，可以通过预先训练好的N个特征增强模型Si，对第一图像中的特征进行纹理增强，其中，N为大于或者等于1的整数，i取值为1至N的整数。该特征增强模型通过相似特征挖掘和相似特征聚合操作，实现该纹理增强处理。
在该实施例中，可以通过1个特征增强模型执行上述步骤S220中针对第一图像的特征，在第一图像和第一参考图像中挖掘第一组相似特征，并通过聚合挖掘到的第一组相似特征对该第一图像的特征进行纹理增强的步骤。也可以通过N个串联连接的特征增强模型各执行一次步骤S220中针对第一图像的特征，在第一图像和第一参考图像中挖掘第一组相似特征，并通过聚合挖掘到的第一组相似特征对该第一图像的特征进行纹理增强的步骤，以提高纹理增强效果。
该实施例中，在步骤S210与步骤S220之间还包括：提取该第一图像的浅层特征，得到第一图像的浅层特征图的步骤。提取第一图像的浅层特征，可以得到多个浅层特征子图，不同浅层特征子图对应不同的浅层特征，每一浅层特征子图又是多通道的，即，每一浅层特征子图又由多个单通道图像叠加而成，多个浅层特征子图构成该浅层特征图。如图4所示，可以将第一图像输入至第一卷积层(Conv)进行卷积，通过第一卷积层提取第一图像的浅层特征，以得到该浅层特征图F0。
进一步地，步骤S220中针对所述第一图像的特征，在所述第一图像和所述第一参考图像中挖掘第一组相似特征，并通过聚合挖掘到的第一组相似特征对所述第一图像的特征进行纹理增强，得到所述第一图像的增强特征图，可以包括：
步骤S2211，通过N个串联连接的特征增强模型各执行一次所述针对所述第一图像的特征，在所述第一图像和所述第一参考图像中挖掘第一组相似特征，并通过聚合挖掘到的第一组相似特征对所述第一图像的特征进行纹理增强的步骤，得到所述第一图像的N个增强后的深层特征图。
将浅层特征图和第一参考图像输入至N个特征增强模型，得到该第一图像的N个增强后的深层特征图。
本实施例中，特征增强模型Si包括第一输入端、第二输入端和输出端，特征增强模型Si通过第一输入端接收输入的特征图Fi-1，通过第二输入端接收输入的第一参考图像，通过输出端输出增强后的深层特征图Fi。
在N＝1的情况下，在步骤S2212中，浅层特征图F0输入至特征增强模型S1的第一输入端，第一参考图像输入至特征增强模型S1的第二输入端，特征增强模型S1输出增强后的深层特征图F1。
在N大于1时，可以通过多个特征增强模型Si依次对第一图像中的特征进行增强处理，进而能够获得更优良的增强效果。在N大于1的实施例中，如图4所示，N个特征增强模型Si串联连接，前一特征增强模型输出的增强后的深层特征图输入至相邻的后一特征增强模型，继续进行纹理增强。其中，浅层特征图F0输入至第1个特征增强模型S1的第一输入端，第一参考图像输入至每一特征增强模型的第二输入端，每一特征增强模型Si输出一个增强后的深层特征图Fi，后一特征增强模型的第一输入端与前一特征增强模型的输出端连接，以将前一特征增强模型输出的增强后的深层特征图输入至后一特征增强模型，形成串联连接结构。
在N大于1的情况下，通过步骤S2212可以得到增强后的深层特征图F1—FN。基于特征提取效果及处理速度的考虑，N可以大于或者等于5，且小于或者等于15，例如N＝10。
本实施例中，特征增强模型Si针对输入特征图Fi-1的特征，在第一图像和第一参考图像中挖掘第一组相似特征，并通过聚合第一组相似特征对输入特征图Fi-1的特征进行纹理增强，得到增强后的深层特征图。在此，特征增强模型S1的输入特征图即为浅层特征图F0，其他特征增强模型的输入特征图即为相邻的前一特征增强模块输出的增强后的深层特征图。
由于对应第一图像的输入特征图Fi-1的分辨率低于第一参考图像，而在输入特征图Fi-1与第一参考图像的分辨率不同的情况下，会增加相似特征挖掘的计算难度。为了使得相似特征的挖掘更易于进行，在一个实施例该中，参见图5，可以对第一参考图像进行下采样，并基于下采样后的第二参考图像进行相似特征挖掘，能够有效减少计算量。进一步地，在完成挖掘后，再基于第一参考图像与第二参考图像间的空间位置对应关系，将挖掘到的外部相似特征替换为第一参考图像中的对应特征，就可以实现高质量纹理细节的迁移，实现有效的特征增强。在该实施例中，针对输入特征图Fi-1的特征，在第一图像和第一参考图像中挖掘第一组相似特征，可以包括如下步骤S2211-1～S2211-3：
步骤S2211-1，对第一参考图像进行下采样，得到分辨率与第一图像相同的第二参考图像。
由于第二参考图像是对第一参考图像进行下采样得到，因此，第二参考图像的特征与第一参考图像的特征具有明确的空间位置对应关系。
步骤S2211-2，针对输入特征图的特征，在第一图像和第二参考图像中挖掘第二组相似特征。
在第一图像与第二参考图像具有相同分辨率的情况下，将使得相似特征的挖掘更易于进行，在一个实施例中，该步骤S2211-2中针对输入特征图的特征，在第一图像和第二参考图像中挖掘第二组相似特征，可以包括如下步骤S2211-2a～S2211-2c：
S2211-2a，提取输入特征图的深层特征，得到目标深层特征图；及提取第二参考图像的深层特征，得到第二深层特征图。
该步骤S2211-2a中，可以通过任意的深层特征提取网络进行深层特征的提取。例如，如图6所示，这可以通过由多个残差通道注意模块(Residual Channel AttentionBlock，RCBA)组成的深度特征提取网络，提取输入特征图和第二参考图像的深层特征。RCBA能够通过提取通道间的统计信息，使深层特征提取网络聚焦于有用的通道特征。
目标深层特征图与第二深层特征图具有相同的通道数、相同的分辨率和相同的像素数目。
S2211-2b，按照设定的分块尺寸，将目标深层特征图划分成多个目标像素块及将第二深层特征图划分成多个第二像素块，得到包括多个目标像素块和多个第二像素块的像素块集；其中，一个像素块对应一个特征，像素块集中所有像素块的像素数目相同。
该步骤S2211-2b中，参见图6，第i个特征增强模型按照相同的分块尺寸，对目标深层特征图
Figure BDA0003583432890000131
进行分块，得到目标像素块
Figure BDA0003583432890000132
及对第二深层特征图
Figure BDA0003583432890000133
进行分块，得到第二像素块
Figure BDA0003583432890000134
参见图6，一个像素块在每个通道上具有至少一个像素点，例如，一个像素块在每个通道上具有二维排列的四个像素点。理论上，分块尺寸越小，增强效果越好，但处理量也越大，因此，可以兼顾增强效果和处理量，选择分块尺寸。
该步骤S2211-2b中，分块得到的多个像素块之间不具有共用像素点，以降低聚合处理的难度。
S2211-2c，针对目标像素块，在像素块集中挖掘得到相似度排序在前K个的K个其他像素块，作为第二组相似特征。
K的取值可以根据性能需要确定，K可以大于或者等于2，且小于或者等于10，例如，可以取值为5或者6等。
该实施例中，一个目标像素块即代表输入特征图中的一个特征。
该实施例中，针对每一目标像素块执行步骤S2211-2c，即可为每一目标像素块挖掘到相似度最高的K个其他像素块。
在步骤S2211-2c中，对于像素块集中的每一像素块，可以通过由该像素块的每个单通道像素点的像素值构成的一维特征向量，来表示该像素块，进而通过像素块间的一维特征向量进行相似度计算。例如，可以按照公式(1)进行两个像素块间的相似度计算：
Figure BDA0003583432890000141
其中，sim(·)表示相似性函数；nj表示一个目标像素块，nk表示像素块集中的位于nj周围的其他像素块；h是设定的平滑参数，sim(nj,nk)为目标像素块nj与像素块集中其他像素块nk间的相似度。
该步骤S2211-2c中，可以构造k-近邻图来表示并记录挖掘结果，这能够通过图注意机制在图网络上更准确的聚合有用的内部和外部的相似纹理信息。在k-近邻图中，图节点即代表像素块，可以用对应像素块的一维特征向量表示，图中边用于指示像素块间(也即图节点间)的相似度，构造的k-近邻图可以表示为G1(V1，E)，其中，V1是图节点集，E表示图中边的相关集。
步骤S2211-3，在第二组相似特征包括在第二参考图像中挖掘到的外部相似特征的情况下，根据第一参考图像与第二参考图像间的空间位置对应关系，将第二组相似特征中的外部相似特征替换为第一参考图像中的对应特征，得到第一组相似特征。
在第二组相似特征包括在第二参考图像中挖掘到的外部相似特征的情况下，由于第一参考图像的分辨率大于第二参考图像，因此，需要将其替换为第一参考图像中的相应特征，以实现高质量细节纹理的迁移。
对应分块实施例，该步骤S2211-3中，根据第一参考图像与第二参考图像间的空间位置对应关系，将第二组相似特征中的外部相似特征替换为第一参考图像中的对应特征，可以包括步骤S2211-3a～S2211-3d：
步骤S2211-3a，提取第一参考图像的深度特征，得到第一深度特征图。
该步骤S2211-3a中，可以通过用于对第二参考图像和输入特征图进行深度特征提取的深层特征提取网络，来提取第一参考图像的深度特征，以保证深度特征提取的一致性。
步骤S2211-3b，对第一深度特征图的通道进行压缩，使得压缩后的第一深度特征图与第二深度特征图的像素数目相同。
由于第一深度特征图的分辨率高于第二深度特征图，在不压缩通道的情况下，此时，第一深度特征图与第二深度特征图具有相同通道数，按照相同的分块尺寸对第一深度特征图进行分块，将导致分得的第一像素块的像素数目多于第二像素块的像素数据，这会导致两种像素块的一维特征向量无法对齐。因此，该步骤S2211-3b中，通过对第一深度特征图的通道进行压缩，且压缩的倍数与分辨率的倍数相同，将可以保证第一像素块与第二像素块具有相同的像素数目，进而保证所有像素块具有相同长度的一维特征向量。
例如，参见图6，第一深度特征图
Figure BDA0003583432890000151
的分辨率是第二深度特征图的16倍，而二者均是16通道特征图(16C)，这样，将第一深度特征图的16通道压缩为1通道(1C)，就可以在分辨率是16倍的情况下，使得所有像素块具有相同的像素数目。
步骤S2211-3c，按照上述分块规则，将压缩后的第一深度特征图划分成多个第一像素块，其中，多个第一像素块与多个第二像素块在空间位置上一一对应。
继续参见图6，将压缩后的第一深度特征图
Figure BDA0003583432890000152
进行分块，得到第一像素块
Figure BDA0003583432890000153
第一像素块
Figure BDA0003583432890000154
在单通道上的像素数量是第二像素块
Figure BDA0003583432890000155
的16倍，但第二像素块
Figure BDA0003583432890000156
的通道数为第一像素块
Figure BDA0003583432890000157
的16倍，因此，第一像素块与第二像素块具有相同的像素数目。
步骤S2211-3d，根据该空间位置对应关系，将第二组相似特征中的第二像素块替换为对应的第一像素块，进而得到第一组相似特征。
在构造k-近邻图来表示并记录挖掘结果的实施例中，如图6所示，直接将k-近邻图中的对应第二像素块的图节点替换为对应第一像素块的图节点，生成最终图G2(V2，E)，V2表示由目标像素块和与目标像素块相似的第一像素块构成的图节点集，G2中的图中边的相关集E与G1相同。
在针对输入特征图Fi-1的特征，于第一图像和第一参考图像中挖掘得到第一组相似特征之后，便可以通过聚合第一组相似特征对该特征进行纹理增强，得到增强后的深层特征图Fi。聚合时，各相似特征可基于相同的权重进行聚合，然而，由于第一组相似特征中不同相似特征与输入特征图Fi-1的该特征具有不同的相似度，这样，基于该相似度为不同相似特征赋予不同权重进行聚合，将能够获得更优良的聚合效果。
因此，在一个实施例中，通过聚合第一组相似特征对输入特征图的特征进行纹理增强，得到增强后的深层特征图可以包括：根据第一组相似特征中相似特征与输入特征图的特征间的相似度，确定每一相似特征的聚合权重；以及，根据每一相似特征的聚合权重，对第一组相似特征与输入特征图的特征进行聚合，并基于聚合后的特征图得到第一图像的增强后的深层特征图。
该实施例中，输入特征图的不同特征对应不同的第一组相似特征，聚合时，每一第一组相似特征与各自对应的特征进行聚合，进而得到增强后的深层特征图。
在构造k-近邻图来表示并记录挖掘结果的实施例中，如图6所示，聚合可以构造的k-近邻图G2(V2，E)为输入，通过由V2中像素块的一维特征向量构成的矩阵计算相似矩阵W′：
W′＝V2×V2T 公式(2)；
在获取相似矩阵之后，可以使用了一个二维softmax函数来保证W′中对应同一特征的聚合权重之和为1，公式如下：
W＝softmax(W′) 公式(3)；
其中，W是最终的关系矩阵。
这样，将关系矩阵W应用于图G2上，也就是通过矩阵乘法来传播矩阵V2，便可将相似特征的特征信息从对应第一像素块的图节点聚合到对应目标像素块的图节点，进而得到k-近邻图G3，k-近邻图G3的图节点集为V3，其中，V3中的每个图节点已经聚合了k个近邻图节点的特征信息：
V3＝W×V2 公式(4)。
最后，再通过k-近邻图G3与特征图间的特征映射关系，将聚合图G3恢复为聚合后的特征图。
在完成挖掘和聚合后，可以将聚合后的特征图与输入特征图结合在一起，得到增强后的深层特征图，进而提高增强性能。例如，可以通过求和计算，将聚合后的特征图与输入特征图结合在一起，得到增强后的深层特征图。
步骤S2212，根据浅层特征图和N个增强后的深度特征图，得到所述第一图像的增强特征图。
该步骤S2212中，可以通过任意的能够融合浅层特征图和N个增强后的深度特征图的信息的计算手段，得到第一图像的增强特征图，包括但不限于合并(Concat)、卷积(Conv)、求和计算中的一项或者至少两项的组合。
该浅层特征图、增强后的深度特征图及增强特征图具有相同的通道数和相同的分辨率。
在一个实施例中，该步骤S2213中根据浅层特征图和N个增强后的深度特征图，得到所述第一图像的增强特征图可以包括：通过注意力层(Attention layer)学习N个增强后的深层特征图间的关系，并根据该关系对N个增强后的深层特征图进行合并，得到合并特征图；对第N个增强后的深层特征图进行卷积处理，得到卷积后的特征图；以及，对合并特征图，卷积后的特征图和浅层特征图求和，得到增强特征图。
对于本实施例的方法，结合第一图像的浅层特征图和增强后的深度特征图，得到第一图像的增强特征图，进而得到第一图像的超分辨率图像，有利于提高超分辨图像的细节纹理真实感。
对于本实施例的方法，通过预先训练好的特征增强模型对第一图像的特征进行纹理增强，尤其是通过串联连接的多个特征增强模型对第一图像的特征进行纹理增强，同样能够提高超分辨图像的真实感，而且还能够提高超分辨处理的鲁棒性。
在一个实施例中，以上特征增强模型可以通过具有标签的样本训练得到，通过样本训练，确定特征增强模型中模型参数的参数值，还可以进一步确定训练用超参数的参数值。
在模型训练中，可以采用的总损失函数可以表示为：
LTotal＝λ1Lrec+λ2Lpre+λ3Ladv 公式(5)；
其中，λ1、λ2和λ3是超参数；Lrec表示重建损失函数；Lper表示感知损失函数；Ladv表示对抗损失函数。
该实施例中，可以采用L1损失函数损作为重建损失函数。由于在图像超分辨率中，单个L1损失函数往往会导致生成的结果过度平滑，因此，该实施例在训练中还引入了反映感知损失的感知损失函数，以改善恢复图像的感质量；以及，引入对抗损失函数，以生成清晰且视觉上有利的超分辨率图像。
在一个实施例中，可以将以上任意实施例的图像超分辨率方法可以但不局限于应用在图像传输领域。在图像传输领域应用该方法，便可在图像发送设备一端压缩原始图像，在此，通过压缩原始图像的分辨率得到低分辨率的第一图像，再将第一图像通过有线或者无线方式传输至图像接收设备，并在图像接收设备一侧以上任意实施例的图像超分辨率方法，得到第一图像的超分辨率图像，以使得超分辨率图像的分辨率达到原始图像的水平，这样，可以提高传输速度，而且还不影响在图像接收设备一侧使用所传输图像的效果。
在该实施例中，如图7所示，该图像超分辨率方法可以包括步骤S710～S730：
步骤S710，接收图像发送设备传输的第一图像；其中，所述第一图像为通过压缩原始图像的分辨率得到的低分辨率图像；并获取第一参考图像，其中，所述第一参考图像的分辨率大于或者等于所述原始图像的分辨率。
步骤S720，针对第一图像的特征，在第一图像和第一参考图像中挖掘第一组相似特征，并通过聚合挖掘到的第一组相似特征对第一图像的特征进行纹理增强，得到第一图像的增强特征图。
步骤S730，对增强特征图进行上采样和卷积处理，得到第一图像的超分辨率图像；其中，该超分辨率图像的分辨率等于第一参考图像的分辨率。
<装置实施例>
图8是根据一个实施例的图像超分辨率装置的方框原理图。如图8所示，该图像超分辨率装置800可以包括处理器810和存储器820，存储器820用于存储计算机程序，处理器810用于在该计算机程序的控制下，执行根据本公开任意实施例的图像超分辨率方法。
该图像超分辨率装置800可以包含于图1所示的图像接收设备2000中，也可以是任意的有能力进行图像处理的其他设备，在此不做限定。
本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本发明的各个方面。
这里参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。对于本领域技术人物来说公知的是，通过硬件方式实现、通过软件方式实现以及通过软件和硬件结合的方式实现都是等价的。
以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人物来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人物能理解本文披露的各实施例。本发明的范围由所附权利要求来限定。

Claims (7)

1.一种图像超分辨率方法，其特征在于，包括：
接收图像发送设备传输的经压缩的第一图像；其中，所述第一图像为通过压缩原始图像的分辨率得到的低分辨率图像；
获取第一参考图像；其中，所述第一参考图像的分辨率大于或者等于所述原始图像的分辨率；
针对所述第一图像的特征，在所述第一图像和所述第一参考图像中挖掘第一组相似特征，并通过聚合挖掘到的第一组相似特征对所述第一图像的特征进行纹理增强，得到所述第一图像的增强特征图；
对所述增强特征图进行上采样和卷积处理，得到所述第一图像的超分辨率图像；其中，所述超分辨率图像的分辨率等于所述第一参考图像的分辨率，
其中，所述方法在接收到所述第一图像之后，还包括：提取所述第一图像的浅层特征，得到所述第一图像的浅层特征图；
所述针对所述第一图像的特征，在所述第一图像和所述第一参考图像中挖掘第一组相似特征，并通过聚合挖掘到的第一组相似特征对所述第一图像的特征进行纹理增强，得到所述第一图像的增强特征图，包括：
通过N个串联连接的特征增强模型各执行一次所述针对所述第一图像的特征，在所述第一图像和所述第一参考图像中挖掘第一组相似特征，并通过聚合挖掘到的第一组相似特征对所述第一图像的特征进行纹理增强的步骤，得到所述第一图像的N个增强后的深层特征图；其中，
N为大于等于2的整数，所述第一参考图像输入至每一特征增强模型，所述浅层特征图输入至第1个特征增强模型，每一特征增强模型输出一个增强后的深层特征图，前一特征增强模型输出的增强后的深层特征图输入至相邻的后一特征增强模型，继续进行纹理增强；所述特征增强模型针对输入特征图的特征，在所述第一图像和所述第一参考图像中挖掘第一组相似特征，并通过聚合所述第一组相似特征对所述输入特征图的特征进行纹理增强，得到所述增强后的深层特征图；
根据所述浅层特征图和N个增强后的深层特征图，得到所述第一图像的增强特征图，
其中，所述通过聚合所述第一组相似特征对所述输入特征图的特征进行纹理增强，得到所述增强后的深层特征图，包括：
通过聚合所述第一组相似特征对所述输入特征图的特征进行纹理增强；
对所述输入特征图和聚合后的特征图的对应像素求和，得到所述增强后的深层特征图，
其中，所述根据所述浅层特征图和N个增强后的深层特征图，得到所述第一图像的增强特征图，包括：
通过注意力层学习所述N个增强后的深层特征图间的关系，并根据所述关系对所述N个增强后的深层特征图进行合并，得到合并特征图；
对第N个增强后的深层特征图进行卷积处理，得到卷积后的特征图；
根据所述合并特征图，所述卷积后的特征图和所述浅层特征图，得到所述增强特征图。
2.根据权利要求1所述的方法，其特征在于，所述针对所述第一图像的特征，在所述第一图像和所述第一参考图像中挖掘第一组相似特征，包括：
对所述第一参考图像进行下采样，得到分辨率与所述第一图像相同的第二参考图像；
针对所述第一图像的特征，在所述第一图像和所述第二参考图像中挖掘第二组相似特征；
在所述第二组相似特征包括在所述第二参考图像中挖掘到的外部相似特征的情况下，根据所述第一参考图像与所述第二参考图像间的空间位置对应关系，将所述第二组相似特征中的所述外部相似特征替换为所述第一参考图像中的对应特征，得到所述第一组相似特征。
3.根据权利要求2所述的方法，其特征在于，所述针对所述第一图像的特征，在所述第一图像和所述第二参考图像中挖掘第二组相似特征，包括：
提取所述第一图像的深层特征，得到目标深层特征图，及提取所述第二参考图像的深层特征，得到第二深层特征图；
按照设定的分块规则，将所述目标深层特征图划分成多个目标像素块及将所述第二深层特征图划分成多个第二像素块，得到包括所述多个目标像素块和所述多个第二像素块的像素块集；其中，一个像素块对应一个特征，所述像素块集中所有像素块的像素数目相同；
针对所述目标像素块，在所述像素块集中挖掘得到相似度排序在前K个的其他像素块，作为所述第二组相似特征。
4.根据权利要求3所述的方法，其特征在于，所述根据所述第一参考图像与所述第二参考图像间的空间位置对应关系，将所述第二组相似特征中的所述外部相似特征替换为所述第一参考图像中的对应特征，得到所述第一组相似特征，包括：
提取所述第一参考图像的深度特征，得到第一深度特征图；
对所述第一深度特征图的通道进行压缩，使得压缩后的第一深度特征图与所述第二深度特征图的像素数目相同；
按照所述分块规则，将所述压缩后的第一深度特征图划分成多个第一像素块，其中，所述多个第一像素块与所述多个第二像素块在空间位置上一一对应；
根据所述空间位置对应关系，将第二组相似特征中的第二像素块替换为对应的第一像素块。
5.根据权利要求1所述的方法，其特征在于，所述通过聚合所述第一组相似特征对所述输入特征图的特征进行纹理增强，得到所述增强后的深层特征图，包括：
根据所述第一组相似特征中相似特征与所述输入特征图的特征间的相似度，确定每一相似特征的聚合权重；
根据所述聚合权重，对所述第一组相似特征与所述输入特征图的特征进行聚合，并根据聚合后的特征图得到所述增强后的深层特征图。
6.一种图像超分辨率方法，其特征在于，包括：
获取第一图像和第一参考图像；其中，所述第一参考图像的分辨率大于所述第一图像的分辨率；
针对所述第一图像的特征，在所述第一图像和所述第一参考图像中挖掘第一组相似特征，并通过聚合挖掘到的第一组相似特征对所述第一图像的特征进行纹理增强，得到所述第一图像的增强特征图；
对所述增强特征图依次进行上采样和卷积处理，得到所述第一图像的超分辨率图像；其中，所述超分辨率图像的分辨率等于所述第一参考图像的分辨率，
其中，所述方法在获取所述第一图像之后，还包括：提取所述第一图像的浅层特征，得到所述第一图像的浅层特征图；
所述针对所述第一图像的特征，在所述第一图像和所述第一参考图像中挖掘第一组相似特征，并通过聚合挖掘到的第一组相似特征对所述第一图像的特征进行纹理增强，得到所述第一图像的增强特征图，包括：
通过N个串联连接的特征增强模型各执行一次所述针对所述第一图像的特征，在所述第一图像和所述第一参考图像中挖掘第一组相似特征，并通过聚合挖掘到的第一组相似特征对所述第一图像的特征进行纹理增强的步骤，得到所述第一图像的N个增强后的深层特征图；其中，
N为大于等于2的整数，所述第一参考图像输入至每一特征增强模型，所述浅层特征图输入至第1个特征增强模型，每一特征增强模型输出一个增强后的深层特征图，前一特征增强模型输出的增强后的深层特征图输入至相邻的后一特征增强模型，继续进行纹理增强；所述特征增强模型针对输入特征图的特征，在所述第一图像和所述第一参考图像中挖掘第一组相似特征，并通过聚合所述第一组相似特征对所述输入特征图的特征进行纹理增强，得到所述增强后的深层特征图；
根据所述浅层特征图和N个增强后的深层特征图，得到所述第一图像的增强特征图，
其中，所述通过聚合所述第一组相似特征对所述输入特征图的特征进行纹理增强，得到所述增强后的深层特征图，包括：
通过聚合所述第一组相似特征对所述输入特征图的特征进行纹理增强；
对所述输入特征图和聚合后的特征图的对应像素求和，得到所述增强后的深层特征图，
其中，所述根据所述浅层特征图和N个增强后的深层特征图，得到所述第一图像的增强特征图，包括：
通过注意力层学习所述N个增强后的深层特征图间的关系，并根据所述关系对所述N个增强后的深层特征图进行合并，得到合并特征图；
对第N个增强后的深层特征图进行卷积处理，得到卷积后的特征图；
根据所述合并特征图，所述卷积后的特征图和所述浅层特征图，得到所述增强特征图。
7.一种图像超分辨率装置，其特征在于，包括存储器和处理器，所述存储器用于存储计算机程序，所述处理器用于在所述计算机程序的控制下，执行根据权利要求1至6中任一项所述的图像超分辨率方法。
CN202210359937.2A 2022-04-06 2022-04-06 图像超分辨率方法及装置 Active CN114781601B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210359937.2A CN114781601B (zh) 2022-04-06 2022-04-06 图像超分辨率方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210359937.2A CN114781601B (zh) 2022-04-06 2022-04-06 图像超分辨率方法及装置

Publications (2)

Publication Number Publication Date
CN114781601A CN114781601A (zh) 2022-07-22
CN114781601B true CN114781601B (zh) 2022-12-23

Family

ID=82428109

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210359937.2A Active CN114781601B (zh) 2022-04-06 2022-04-06 图像超分辨率方法及装置

Country Status (1)

Country Link
CN (1) CN114781601B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2015101167A4 (en) * 2015-07-26 2015-10-01 Macau University Of Science And Technology A Single Image Super-Resolution Method Using Transform-Invariant Directional Total Variation with S1/2+L1/2-norm
CN112001861A (zh) * 2020-08-18 2020-11-27 香港中文大学（深圳） 图像处理方法和装置、计算机设备及存储介质
CN112927139A (zh) * 2021-03-23 2021-06-08 广东工业大学 一种双目热成像系统及超分辨率图像获取方法
CN113112401A (zh) * 2021-03-18 2021-07-13 浙江工业大学 一种基于跨尺度纹理迁移的图像超分辨率方法
CN113538304A (zh) * 2020-12-14 2021-10-22 腾讯科技（深圳）有限公司 图像增强模型的训练方法及装置、图像增强方法及装置
CN113674146A (zh) * 2020-05-15 2021-11-19 微软技术许可有限责任公司 图像超分辨率

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10885608B2 (en) * 2018-06-06 2021-01-05 Adobe Inc. Super-resolution with reference images
CN113421188B (zh) * 2021-06-18 2024-01-05 广东奥普特科技股份有限公司 一种图像均衡增强的方法、系统、装置及存储介质
CN113554058A (zh) * 2021-06-23 2021-10-26 广东奥普特科技股份有限公司 视觉目标图像分辨率增强的方法、系统、装置及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2015101167A4 (en) * 2015-07-26 2015-10-01 Macau University Of Science And Technology A Single Image Super-Resolution Method Using Transform-Invariant Directional Total Variation with S1/2+L1/2-norm
CN113674146A (zh) * 2020-05-15 2021-11-19 微软技术许可有限责任公司 图像超分辨率
CN112001861A (zh) * 2020-08-18 2020-11-27 香港中文大学（深圳） 图像处理方法和装置、计算机设备及存储介质
CN113538304A (zh) * 2020-12-14 2021-10-22 腾讯科技（深圳）有限公司 图像增强模型的训练方法及装置、图像增强方法及装置
CN113112401A (zh) * 2021-03-18 2021-07-13 浙江工业大学 一种基于跨尺度纹理迁移的图像超分辨率方法
CN112927139A (zh) * 2021-03-23 2021-06-08 广东工业大学 一种双目热成像系统及超分辨率图像获取方法

Non-Patent Citations (8)

* Cited by examiner, † Cited by third party
Title
A brief survey on deep learning based image super-resolution;祝晓斌等;《High Technology Letters》;20210915;第27卷(第3期);第294-302页 *
A new image super resolution by texture transfer;Hyun-Seung Lee等;《2014 IEEE International Conference on Image Processing (ICIP)》;20150129;第3915-3918页 *
Video super-resolution based on a spatio-temporal matching network;XiaobinZhu等;《Pattern Recognition》;20210228;第110卷;第1-10页 *
基于内容的图像检索技术研究;祝晓斌等;《计算机仿真》;20150515;第32卷(第5期);第1-4+85页 *
基于纹理转移的露天矿区遥感图像超分辨率重建;杨宏业等;《煤炭学报》;20191215;第44卷(第12期);第3781-3789页 *
结合图像纹理分割的改进卷积神经网络超分辨率图像重建算法研究;刘仕通;《中国优秀硕士学位论文全文数据库 信息科技辑》;20190415(第4期);第I138-864页 *
超分辨率入门综述！（浅析）;阿布的足迹;《https://zhuanlan.zhihu.com/p/558813267》;20220829;第1页 *
超分辨率综述;陈建驱;《https://blog.csdn.net/qq_37394634/article/details/119799708》;20210819;第1页 *

Also Published As

Publication number Publication date
CN114781601A (zh) 2022-07-22

Similar Documents

Publication Publication Date Title
US11792553B2 (en) End to end network model for high resolution image segmentation
US11354785B2 (en) Image processing method and device, storage medium and electronic device
CN111047516B (zh) 图像处理方法、装置、计算机设备和存储介质
US20230021497A1 (en) Generating images using neural networks
CN110915215B (zh) 使用神经网络的图块化图像压缩
WO2021244270A1 (zh) 图像处理方法、装置、设备及计算机可读存储介质
CN110830802B (zh) 基于机器学习的视频压缩
KR20220029335A (ko) 깊이 이미지를 보완하는 방법 및 장치
CN110533712A (zh) 一种基于卷积神经网络的双目立体匹配方法
US20220286696A1 (en) Image compression method and apparatus
CN108701249B (zh) 使用神经网络生成图像
CN109996023B (zh) 图像处理方法和装置
KR20200044652A (ko) 영상의 주관적 품질을 평가하는 방법 및 장치
KR20220124622A (ko) 이미지 압축 방법 및 이미지 압축 장치
CN113762147B (zh) 人脸表情迁移方法、装置、电子设备及存储介质
KR20210045828A (ko) 영상 처리 장치 및 방법
US20240323441A1 (en) Image encoding and decoding method and apparatus
KR20190105769A (ko) 딥 러닝을 이용한 양안기반 초해상 이미징 방법 및 그 장치
JP2022532669A (ja) ビデオを識別するための方法及び装置
KR20200138079A (ko) 전역적 문맥을 이용하는 기계 학습 기반의 이미지 압축을 위한 방법 및 장치
CN115272565A (zh) 一种头部三维模型的重建方法及电子设备
JP2016071874A (ja) 視差画像生成方法及び視差画像生成装置
CN114781601B (zh) 图像超分辨率方法及装置
KR102624154B1 (ko) 이미지 복원 방법 및 장치
CN114445629A (zh) 模型生成、图像分割方法、系统、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant