CN110782395A - 图像处理方法及装置、电子设备和计算机可读存储介质 - Google Patents

图像处理方法及装置、电子设备和计算机可读存储介质 Download PDF

Info

Publication number
CN110782395A
CN110782395A CN201911031821.0A CN201911031821A CN110782395A CN 110782395 A CN110782395 A CN 110782395A CN 201911031821 A CN201911031821 A CN 201911031821A CN 110782395 A CN110782395 A CN 110782395A
Authority
CN
China
Prior art keywords
image
information
convolution
feature
feature map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911031821.0A
Other languages
English (en)
Other versions
CN110782395B (zh
Inventor
王楠楠
辛经纬
李志锋
龚迪洪
王巨宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Xian University of Electronic Science and Technology
Original Assignee
Tencent Technology Shenzhen Co Ltd
Xian University of Electronic Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd, Xian University of Electronic Science and Technology filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201911031821.0A priority Critical patent/CN110782395B/zh
Publication of CN110782395A publication Critical patent/CN110782395A/zh
Application granted granted Critical
Publication of CN110782395B publication Critical patent/CN110782395B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/002—Image coding using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本公开的实施例提供了一种图像处理方法及装置、电子设备和计算机可读存储介质，属于计算机和通信技术领域。所述方法包括：获取待处理图像；提取所述待处理图像中多尺度的当前图像特征信息；分别对所述当前图像特征信息的通道和平面空间进行编码以增强所述当前图像特征信息，获得当前图像编码信息；根据所述当前图像编码信息获得将所述待处理图像放大目标倍数的目标图像。本公开实施例的技术方案提供了一种图像处理方法，通过联合应用提取的多尺度的当前图像特征信息和增强所述当前图像特征信息的当前图像编码信息，能够在信息传递的过程中尽可能的避免信息丢失的情况发生，实现了一种低参数数量且低计算复杂度的快速的图像超分辨率重建。

Description

图像处理方法及装置、电子设备和计算机可读存储介质
技术领域
本公开涉及人工智能技术领域，具体而言，涉及一种图像处理方法及装置、电子设备和计算机可读存储介质。
背景技术
随着计算机视觉的发展，图像越来越多的出现在人们的日常生活中，人们对图像的要求越来越高。图像的分辨率是图像质量的重要评价指标，图像的分辨率越高，图像越精细，图像提供的细节更丰富。所以提高图像的分辨率具有重要的意义。
目前，提高图像分辨率的技术一般分为两种：第一种是通过硬件的改进来提高图像的分辨率，但是改进硬件设备技术较为复杂，所需成本较高；第二种方法是通过软件技术来提高图像的分辨率，但是相关技术中的方案在信息传递过程中容易丢失信息。
因此，需要一种新的图像处理方法及装置、电子设备和计算机可读存储介质。
需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本公开实施例提供一种图像处理方法及装置、电子设备和计算机可读存储介质，能够克服硬件提高图像分辨率技术复杂、成本较高的问题，同时实现在信息传递的过程中，尽可能避免信息丢失的情况发生。
本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。
本公开实施例提供一种图像处理方法，所述方法包括：获取待处理图像；提取所述待处理图像中多尺度的当前图像特征信息；分别对所述当前图像特征信息的通道和平面空间进行编码以增强所述当前图像特征信息，获得当前图像编码信息；根据所述当前图像编码信息获得将所述待处理图像放大目标倍数的目标图像。
本公开实施例提供一种图像处理装置，所述装置包括：图像获取模块，配置为获取待处理图像；特征提取网络，配置为提取所述待处理图像中多尺度的当前图像特征信息；特征增强模块，配置为分别对所述当前图像特征信息的通道和平面空间进行编码以增强所述当前图像特征信息，获得当前图像编码信息；图像放大模块，配置为根据所述当前图像编码信息获得将所述待处理图像放大目标倍数的目标图像。
在本公开的一些示例性实施例中，所述当前图像特征信息包括第一图像特征信息。其中，所述特征提取网络包括：初始特征提取单元，配置为通过初始卷积结构提取所述待处理图像的初始特征图；第一多尺度特征提取单元，配置为分别通过第一信息集成网络中的第一卷积结构、第二卷积结构和第三卷积结构对所述初始特征图进行处理，获得所述初始特征图的第一特征图、第二特征图和第三特征图；第二多尺度特征提取单元，配置为分别通过所述第一信息集成网络中的第四卷积结构和第五卷积结构对所述初始特征图的第二特征图进行处理，获得所述初始特征图的第四特征图和第五特征图；第一特征级联单元，配置为级联所述初始特征图的第一特征图、第二特征图、第三特征图、第四特征图和第五特征图，生成所述初始特征图的级联特征图；第一图像特征获取单元，配置为通过所述第一信息集成网络中的第一末端卷积结构对所述初始特征图的级联特征图进行处理，生成所述待处理图像中多尺度的第一图像特征信息。
在本公开的一些示例性实施例中，所述第一信息集成网络中的第一卷积结构包括顺次相连的第一卷积层、第二卷积层和第三卷积层；所述第一信息集成网络中的第二卷积结构包括顺次相连的第四卷积层和第五卷积层；所述第一信息集成网络中的第三卷积结构包括第六卷积层；所述第一信息集成网络中的第四卷积结构包括第七卷积层；所述第一信息集成网络中的第五卷积结构包括顺次相连的第八卷积层和第九卷积层。其中，所述第一信息集成网络中的第一卷积层、第六卷积层和第七卷积层的卷积核大小为1×1，用于增强所述第一信息集成网络的非线性性能；所述第一信息集成网络中的第二卷积层、第三卷积层、第四卷积层、第五卷积层、第八卷积层和第九卷积层的卷积核大小为3×3，用于提取所述待处理图像的深度特征。
在本公开的一些示例性实施例中，所述第一信息集成网络中的第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、第六卷积层、第七卷积层、第八卷积层和第九卷积层之后均设置有一个线性修正单元，用于给所述第一信息集成网络引入非线性因素以缓解梯度消失。
在本公开的一些示例性实施例中，所述当前图像编码信息包括第一图像编码信息。其中，所述特征增强模块包括：第一通道编码单元，配置为通过第一通道编码分支对所述第一图像特征信息进行处理，获得第一通道编码信息；第一空间编码单元，配置为通过第一空间编码分支对所述第一图像特征信息进行处理，获得第一空间编码信息；第一特征重标定系数获得单元，配置为根据所述第一空间编码信息和所述第一通道编码信息获得第一特征重标定系数；第一特征重标定信息获取单元，配置为根据所述第一图像特征信息和所述第一特征重标定系数获得第一特征重标定信息；第一图像编码获得单元，配置为根据所述第一特征重标定信息和所述初始特征图获得所述第一图像编码信息。
在本公开的一些示例性实施例中，所述第一通道编码分支包括顺次相连的非全局池化层、第一全连接层、第二全连接层和第三全连接层，其中所述非全局池化层用于将所述第一图像特征信息分解为多个元素，所述第一全连接层用于降维所述多个元素的元素数目，所述第二全连接层用于对降维后的元素进行非线性映射，所述第三全连接层用于将非线性映射后的元素数目扩展到与所述第一信息集成网络输出的特征图数量一样的大小。
在本公开的一些示例性实施例中，所述第一全连接层和所述第二全连接层之后均设置有一个线性修正单元，用于给所述第一通道编码分支引入非线性因素以缓解梯度消失；所述第三全连接层之后设置有一个激活函数，用于将所述第一通道编码信息映射到预定区间。
在本公开的一些示例性实施例中，所述第一空间编码分支包括顺次相连的第一卷积层、第二卷积层、第三卷积层、第四卷积层和第五卷积层；其中，所述第一空间编码分支的第一卷积层和第五卷积层的卷积核大小为1×1；所述第一空间编码分支的第二卷积层、所述第三卷积层和所述第四卷积层的卷积核大小为3×3。
在本公开的一些示例性实施例中，所述当前图像特征信息还包括第二图像特征信息。其中，所述特征提取网络还包括：第三多尺度特征提取单元，配置为分别通过第二信息集成网络中的第一卷积结构、第二卷积结构和第三卷积结构对所述第一图像编码信息进行处理，获得所述第一图像编码信息的第一特征图、第二特征图和第三特征图；第四多尺度特征提取单元，配置为分别通过所述第二信息集成网络中的第四卷积结构和第五卷积结构对所述第一图像编码信息的第二特征图进行处理，获得所述第一图像编码信息的第四特征图和第五特征图；第二特征级联单元，配置为级联所述第一图像编码信息的第一特征图、第二特征图、第三特征图、第四特征图和第五特征图，生成所述第一图像编码信息的级联特征图；第二图像特征获取单元，配置为通过所述第二信息集成网络中的第一末端卷积结构对所述第一图像编码信息的级联特征图进行处理，获取所述待处理图像中多尺度的第二图像特征信息。
在本公开的一些示例性实施例中，所述当前图像编码信息还包括第二图像编码信息。其中，所述特征增强模块还包括：第二通道编码单元，配置为通过第二通道编码分支对所述第二图像特征信息进行处理，获得第二通道编码信息；第二空间编码单元，配置为通过第二空间编码分支对所述第二图像特征信息进行处理，获得第二空间编码信息；第二特征重标定系数获得单元，配置为根据所述第二空间编码信息和所述第二通道编码信息获得第二特征重标定系数；第二特征重标定信息获取单元，配置为根据所述第二图像特征信息和所述第二特征重标定系数获得第二特征重标定信息；第二图像编码获得单元，配置为根据所述第二特征重标定信息、所述初始特征图和所述第一图像编码信息获得所述第二图像编码信息。
在本公开的一些示例性实施例中，所述图像放大模块包括：第一残差图像生成单元，配置为通过图像重构网络对所述第一图像编码信息进行处理，生成第一残差图像；第二残差图像生成单元，配置为通过所述图像重构网络对所述第二图像编码信息进行处理，生成第二残差图像；目标残差图像生成单元，配置为根据所述第一残差图像和所述第二残差图像生成目标残差图像；插值放大单元，配置为对所述待处理图像进行插值放大处理，生成插值放大图像；目标图像获得单元，配置为根据所述目标残差图像和所述插值放大图像获得所述目标图像。
在本公开的一些示例性实施例中，所述图像重构网络包括顺次相连的卷积层和转置卷积层。
本公开实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如上述实施例中所述的图像处理方法。
本公开实施例提供了一种电子设备，包括：一个或多个处理器；存储装置，配置为存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上述实施例中所述的图像处理方法。
在本公开的一些实施例所提供的技术方案中，一方面，通过提取待处理图像中多尺度的当前图像特征信息，能够实现待处理图像中具有不同感受野的多尺度特征的全面和高效地提取；另一方面，通过分别对所述当前图像特征信息的通道和平面空间进行编码以增强所述当前图像特征信息，获得当前图像编码信息，根据所述当前图像编码信息获得将所述待处理图像放大目标倍数的目标图像，能够实现将通道和平面空间两方面的注意力相结合，可以有效地增强待处理图像中各像素在整个特征空间中的信息，自适应地增强高频特征并舍弃冗余特征，进而能够实现在信息传递的过程中尽可能的避免信息丢失的情况发生，实现了一种低参数数量且低计算复杂度的快速的图像超分辨率重建。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1示出了可以应用本公开实施例的图像处理方法或图像处理装置的示例性系统架构的示意图；
图2示出了适于用来实现本公开实施例的电子设备的计算机系统的结构示意图；
图3示意性示出了根据本公开的一实施例的图像处理方法的流程图；
图4示出了图3中所示的步骤S320在一实施例中的处理过程示意图；
图5示出了图3中所示的步骤S330在一实施例中的处理过程示意图；
图6示出了图3中所示的步骤S320在另一实施例中的处理过程示意图；
图7示出了图3中所示的步骤S330在另一实施例中的处理过程示意图；
图8示出了图3中所示的步骤S340在一实施例中的处理过程示意图；
图9示意性示出了根据本公开的一实施例的整体网络架构图；
图10示意性示出了根据本公开的一实施例的第一特征提取网络的示意图；
图11示意性示出了根据本公开的一实施例的第一信息集成网络的示意图；
图12示意性示出了根据本公开的一实施例的第一特征重标定网络的示意图；
图13示意性示出了根据本公开的一实施例的特征提取网络n+1的示意图；
图14(a)示意性示出了根据本公开的一实施例的信息集成网络n+1的示意图；
图14(b)示意性示出了根据本公开的另一实施例的信息集成网络n+1的示意图；
图15示意性示出了根据本公开的一实施例的第n+1特征重标定网络的示意图；
图16示意性示出了根据本公开的一实施例的用于2倍放大的图像重构网络的示意图；
图17示意性示出了根据本公开的一实施例的用于3倍放大的图像重构网络的示意图；
图18示意性示出了根据本公开的一实施例的用于4倍放大的图像重构网络的示意图；
图19示意性示出了根据本公开的一实施例的SR方法的基准测试结果的示意图；
图20示意性示出了根据本公开的另一实施例的SR方法的基准测试结果的示意图；
图21示意性示出了根据本公开的又一实施例的SR方法的基准测试结果的示意图；
图22示意性示出了根据本公开的一实施例的图像处理装置的框图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。
此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本公开的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本公开的各方面。
附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
计算机视觉技术(Computer Visio，CV)是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR(Optical Character Recognition，光学字符识别)、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D(3-dimension，三维)技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
机器学习(Machine Learning，ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
本公开实施例提供的技术方案涉及人工智能技术的计算机视觉技术和机器学习技术等方面，下面通过具体的实施例进行举例说明。
图1示出了可以应用本公开实施例的图像处理方法或图像处理装置的示例性系统架构100的示意图。
如图1所示，系统架构100可以包括终端设备101、102、103中的一种或多种，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。比如服务器105可以是多个服务器组成的服务器集群等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机、台式计算机、可穿戴设备、智能家居设备等等。
服务器105可以是提供各种服务的服务器。例如用户利用终端设备103(也可以是终端设备101或102)选择待处理图像，向服务器105发送将所述待处理图像放大目标倍数的请求。服务器105可以基于该请求中携带的相关信息，提取所述待处理图像中多尺度的当前图像特征信息；分别对所述当前图像特征信息的通道和平面空间进行编码以增强所述当前图像特征信息，获得当前图像编码信息；并根据所述当前图像编码信息获得将所述待处理图像放大目标倍数的目标图像，服务器105将所述目标图像反馈给终端设备103，进而用户可以在终端设备103上查看显示的将所述待处理图像放大了目标倍数的目标图像。
又如终端设备103(也可以是终端设备101或102)可以是智能电视、VR(VirtualReality，虚拟现实)/AR(Augmented Reality，增强现实)头盔显示器、或者其上安装有即时通讯、导航、视频应用程序(application，APP)等的移动终端例如智能手机、平板电脑等，用户可以通过该智能电视、VR/AR头盔显示器或者该即时通讯、视频APP向服务器105发送各种请求。服务器105可以基于该请求，获取响应于所述请求的反馈信息返回给该智能电视、VR/AR头盔显示器或者该即时通讯、视频APP，进而通过该智能电视、VR/AR头盔显示器或者该即时通讯、视频APP将返回的反馈信息显示。
图2示出了适于用来实现本公开实施例的电子设备的计算机系统的结构示意图。
需要说明的是，图2示出的电子设备的计算机系统200仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图2所示，计算机系统200包括中央处理单元(CPU，Central Processing Unit)201，其可以根据存储在只读存储器(ROM，Read-Only Memory)202中的程序或者从储存部分208加载到随机访问存储器(RAM，Random Access Memory)203中的程序而执行各种适当的动作和处理。在RAM 203中，还存储有系统操作所需的各种程序和数据。CPU 201、ROM 202以及RAM 203通过总线204彼此相连。输入/输出(input/output，I/O)接口205也连接至总线204。
以下部件连接至I/O接口205：包括键盘、鼠标等的输入部分206；包括诸如阴极射线管(CRT，Cathode Ray Tube)、液晶显示器(LCD，Liquid Crystal Display)等以及扬声器等的输出部分207；包括硬盘等的储存部分208；以及包括诸如LAN(Local Area Network，局域网)卡、调制解调器等的网络接口卡的通信部分209。通信部分209经由诸如因特网的网络执行通信处理。驱动器210也根据需要连接至I/O接口205。可拆卸介质211，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器210上，以便于从其上读出的计算机程序根据需要被安装入储存部分208。
特别地，根据本公开的实施例，下文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读存储介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分209从网络上被下载和安装，和/或从可拆卸介质211被安装。在该计算机程序被中央处理单元(CPU)201执行时，执行本申请的方法和/或装置中限定的各种功能。
需要说明的是，本公开所示的计算机可读存储介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM(Erasable Programmable Read Only Memory，可擦除可编程只读存储器)或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读存储介质，该计算机可读存储介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF(RadioFrequency，射频)等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本公开各种实施例的方法、装置和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的模块和/或单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的模块和/或单元也可以设置在处理器中。其中，这些模块和/或单元的名称在某种情况下并不构成对该模块和/或单元本身的限定。
作为另一方面，本申请还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现如下述实施例中所述的方法。例如，所述的电子设备可以实现如图3或图4或图5或图6或图7或图8所示的各个步骤。
相关技术中，提出了一种基于卷积神经网络的图像超分辨率重建方法，构建一个包括浅层特征提取网络、多个U型网络模块、基于残差通道注意力的特征融合模块和重建模块的网络模型，将低分辨率图片输入到所述网络模型，得到低分辨率图片对应的高分辨率图片。相关技术中，还提出了一种基于深度学习的联级超分辨率重建的方法，通过预先训练得到的超分辨率重建模型对初始图片进行超分辨率重建，得到分辨率提高目标倍数的目标图片。超分辨率重建模型由初始构建模型进行机器学习得到，初始构建模型采用多个联级组，每一联级组包括串联的卷积层组成的卷积层结构和并联的反卷积层组成的平行反卷积层结构。相关技术中，还提出了一种基于反卷积稠密连接的图像超分辨率重构方法，方法可分为三个步骤：特征提取、非线性映射以及重建。其中特征提取层由一层卷积层和一层激励层组成，用于从低分辨率图像中提取特征，提取后的特征作为非线性映射的输入。
但是，上述相关技术中的三种方法，网络中特征提取的部分均是由多个相同的卷积层堆叠而成，各个特征图具有完全相同的感受野，特征之间相关程度较高，冗余信息较多。此外，相关技术中的通道注意力机制仅仅只关注了特征通道之间重要程度的差异，而忽略了图像平面空间中区域的重要程度差异的存在。
图3示意性示出了根据本公开的一实施例的图像处理方法的流程图。本公开实施例提供的方法可以由任意具备计算处理能力的电子设备执行，例如如图1中的终端设备101、102、103中的一种或多种和/或服务器105。在下面的举例说明中，以服务器105为执行主体进行示例说明。
如图3所示，本公开实施例提供的图像处理方法可以包括以下步骤。
在步骤S310中，获取待处理图像。
本公开实施例中，所述待处理图像可以是当前预备通过图像超分辨率(Super-Resolution，SR)重构技术将其放大目标倍数s(s为大于或等于2的正整数，例如可以取值为2、3、4等等中的任意一个)的低分辨率(Lower-Resolution，简称LR)图像。
需要说明的是，本公开实施例中的“低分辨率”和“高分辨率”是相对概念，原始待处理图像可以认为是低分辨率图像，将其放大了目标倍数后生成的即为原始待处理图像的高分辨率图像，并不限定具体的低分辨率取值。
在步骤S320中，提取所述待处理图像中多尺度的当前图像特征信息。
在步骤S330中，分别对所述当前图像特征信息的通道和平面空间进行编码以增强所述当前图像特征信息，获得当前图像编码信息。
在步骤S340中，根据所述当前图像编码信息获得将所述待处理图像放大目标倍数的目标图像。
本公开实施例中，所述目标图像是相对原始待处理图像的高分辨率(High-Resolution，简称HR)图像，高分辨率意味着图像中的像素密度高，能够提供更多的细节，而这些细节在许多实际应用中不可或缺。因此，可以将本公开实施例提供的方法应用于不同的场景，例如，在安防监控系统中，因为硬件技术的限制，摄像头拍摄画面会存在不清晰的情况，改进摄像头等硬件设备造成成本增加，可通过图像超分辨率重构技术，对摄像头获取到的原始待处理图像进行后处理，可重构出清晰的放大了目标倍数的目标图像，提供更多的细节信息，从而为嫌犯的身份确认、逃脱路线、案件侦破等提供更多的帮助。再例如，在医学图像方面，可以图像超分辨率技术提高医学影像的分辨率，高分辨率医疗图像有助于医生对于患者病灶的确认，加速了疾病的诊断，从而解决了医学影像不清晰而造成的对于疾病诊断的困难。再例如，在卫星图像方面，卫星图像对于地质勘探、军事侦察等方面有重要的作用，使用图像超分辨率重构技术将卫星采集的图像进行超分辨率重构，可获得具有丰富纹理细节的卫星图像。再例如，还可以应用于相关机器视觉任务(目标的检测、跟踪与识别)的预处理过程，如果能够提供高分辨的图像，计算机视觉中的模式识别的性能就会大大提高。
本公开实施方式提供的图像处理方法，一方面，通过提取待处理图像中多尺度的当前图像特征信息，能够实现待处理图像中具有不同感受野的多尺度特征的全面和高效地提取；另一方面，通过分别对所述当前图像特征信息的通道和平面空间进行编码以增强所述当前图像特征信息，获得当前图像编码信息，根据所述当前图像编码信息获得将所述待处理图像放大目标倍数的目标图像，能够实现将通道和平面空间两方面的注意力相结合，可以有效地增强待处理图像中各像素在整个特征空间中的信息，自适应地增强高频特征并舍弃冗余特征，进而能够实现在信息传递的过程中尽可能的避免信息丢失的情况发生，实现了一种低参数数量且低计算复杂度的快速的图像超分辨率重建。
图4示出了图3中所示的步骤S320在一实施例中的处理过程示意图。本公开实施例中，所述当前图像特征信息可以包括第一图像特征信息。如图4所示，本公开实施例中，上述步骤S320可以进一步包括以下步骤。
在步骤S321中，通过初始卷积结构提取所述待处理图像的初始特征图。
本公开实施例中，所述初始卷积结构可以包括相连的一个卷积层和一个ReLU(Rectified Linear Unit，修正线性单元)函数，该卷积层的特征深度例如可以为1×64，卷积核大小为3×3，将所述待处理图像输入至所述初始卷积结构的卷积层后，再经过ReLU函数的处理，可以提取出所述待处理图像的一组64个初始特征图。应当理解的是，这里初始卷积结构的组成及其卷积层的参数均是用于举例说明的，本公开并不限定于此。
在步骤S322中，分别通过第一信息集成网络中的第一卷积结构、第二卷积结构和第三卷积结构对所述初始特征图进行处理，获得所述初始特征图的第一特征图、第二特征图和第三特征图。
在示例性实施例中，所述第一信息集成网络中的第一卷积结构可以包括顺次相连的第一卷积层、第二卷积层和第三卷积层；所述第一信息集成网络中的第二卷积结构可以包括顺次相连的第四卷积层和第五卷积层；所述第一信息集成网络中的第三卷积结构可以包括第六卷积层。
在示例性实施例中，所述第一信息集成网络中的第一卷积层和第六卷积层的卷积核大小可以为1×1；所述第一信息集成网络中的第二卷积层、第三卷积层、第四卷积层和第五卷积层的卷积核大小可以为3×3。
在步骤S323中，分别通过所述第一信息集成网络中的第四卷积结构和第五卷积结构对所述初始特征图的第二特征图进行处理，获得所述初始特征图的第四特征图和第五特征图。
在示例性实施例中，所述第一信息集成网络中的第四卷积结构可以包括第七卷积层；所述第一信息集成网络中的第五卷积结构可以包括顺次相连的第八卷积层和第九卷积层。
在示例性实施例中，所述第一信息集成网络中的第七卷积层的卷积核大小可以为1×1，用于增强所述第一信息集成网络的非线性性能；所述第一信息集成网络中的第八卷积层和第九卷积层的卷积核大小可以为3×3，用于提取所述待处理图像的深度特征。
在示例性实施例中，所述第一信息集成网络中的第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、第六卷积层、第七卷积层、第八卷积层和第九卷积层之后均设置有一个线性修正单元(ReLU函数)，用于给所述第一信息集成网络引入非线性因素以缓解梯度消失。
在步骤S324中，级联所述初始特征图的第一特征图、第二特征图、第三特征图、第四特征图和第五特征图，生成所述初始特征图的级联特征图。
本公开实施例中，级联可以是并联或结合的意思，即各个特征图沿着通道维度进行拼接，由多个特征图重组为一个具有更大尺寸、包含更多特征信息的特征图。
本公开实施例中，可以将所述初始特征图的第一特征图、第二特征图、第三特征图、第四特征图和第五特征图拼接起来，生成所述初始特征图的级联特征图。
在步骤S325中，通过所述第一信息集成网络中的第一末端卷积结构对所述初始特征图的级联特征图进行处理，生成所述待处理图像中多尺度的第一图像特征信息。
本公开实施例中，所述第一信息集成网络中的第一末端卷积结构可以包括相连的一个卷积层和和一个ReLU函数，该卷积层的卷积核大小例如可以为3×3，特征深度为64×64。由于拼接后的所述初始特征图的级联特征图中的特征图个数比所述初始特征图多，例如大于64，通过所述第一信息集成网络中的第一末端卷积结构中的卷积层，可以将所述第一信息集成网络输出的第一图像特征信息中的特征图的个数保持与输入的初始特征图的个数一致，例如均为64个。
本公开实施例中，卷积核大小为3×3的卷积层可以用于有效的提取所述待处理图像的深度特征，卷积核大小为1×1的卷积层可以用于增强网络的非线性性能。ReLU函数给神经网络引入了非线性因素，使得神经网络可以任意逼近任何非线性函数。ReLU能够在数据大于0时保持梯度不衰减，从而缓解梯度消失问题，因此，本公开实施例提供的神经网络中大量使用了ReLU函数。
图5示出了图3中所示的步骤S330在一实施例中的处理过程示意图。本公开实施例中，所述当前图像编码信息可以包括第一图像编码信息。如图5所示，本公开实施例中，上述步骤S330可以进一步包括以下步骤。
在步骤S331中，通过第一通道编码分支对所述第一图像特征信息进行处理，获得第一通道编码信息。
在示例性实施例中，将所述第一图像特征信息输入至所述第一通道编码分支，所述第一通道编码分支可以包括顺次相连的非全局池化层、第一全连接层、第二全连接层和第三全连接层，其中所述非全局池化层用于将所述第一图像特征信息分解为多个元素，所述第一全连接层用于降维所述多个元素的元素数目，所述第二全连接层用于对降维后的元素进行非线性映射，所述第三全连接层用于将非线性映射后的元素数目扩展到与所述第一信息集成网络输出的特征图数量一样的大小。
在示例性实施例中，所述第一通道编码分支的第一全连接层和所述第二全连接层之后均可以设置有一个线性修正单元，用于给所述第一通道编码分支引入非线性因素以缓解梯度消失；所述第三全连接层之后可以设置有一个激活函数，用于将所述第一通道编码信息映射到预定区间，例如可以为S函数(Sigmoid function)，经由所述第一通道编码分支的第三全连接层后设置的S函数处理后输出所述第一通道编码信息。
在步骤S332中，通过第一空间编码分支对所述第一图像特征信息进行处理，获得第一空间编码信息。
在示例性实施例中，将所述第一图像特征信息输入至所述第一空间编码分支，所述第一空间编码分支包括顺次相连的第一卷积层、第二卷积层、第三卷积层、第四卷积层和第五卷积层。
在示例性实施例中，所述第一空间编码分支的第一卷积层和第五卷积层的卷积核大小可以为1×1；所述第一空间编码分支的第二卷积层、所述第三卷积层和所述第四卷积层的卷积核大小可以为3×3。
在示例性实施例中，所述第一空间编码分支的第一卷积层、第二卷积层、第三卷积层、第四卷积层和第五卷积层之后均可以设置有一个ReLU函数，经由所述第一空间编码分支的第五卷积层后的ReLU函数处理后，输出所述第一空间编码信息。
在步骤S333中，根据所述第一空间编码信息和所述第一通道编码信息获得第一特征重标定系数。
本公开实施例中，可以将所述第一空间编码信息与所述第一通道编码信息进行点乘，获得所述第一特征重标定系数。
在步骤S334中，根据所述第一图像特征信息和所述第一特征重标定系数获得第一特征重标定信息。
本公开实施例中，可以将所述第一图像特征信息和所述第一特征重标定系数进行点乘，获得所述第一特征重标定信息。
在步骤S335中，根据所述第一特征重标定信息和所述初始特征图获得所述第一图像编码信息。
本公开实施例中，可以拼接所述第一特征重标定信息和所述初始特征图，获得所述第一图像特征信息的级联特征图，再将所述第一图像特征信息的级联特征图输入至与第一通道编码分支和第一空间编码分支对应的第二末端卷积结构，使得输入至第一通道编码分支和第一空间编码分支的第一图像特征信息的特征图个数与该第二末端卷积结构输出的第一图像编码信息的特征图个数保持一致，例如均为64个，此时该第二末端卷积结构可以包括相连的一个卷积层和和一个ReLU函数，该卷积层的卷积核大小例如可以为3×3，特征深度为64×64。
本公开实施例中，一方面，采用非全局池化层能够将一个特征图分解为多个元素，而全局池化层只能将一个特征图分解为一个元素；另一方面，采用S函数，其取值范围为(0,1)，可以将一个实数映射到(0,1)的区间，在特征相差比较复杂或是相差不是特别大时，效果比较好，适用于二分类问题。本公开实施例中，在特征重标定网络中使用了S函数来辅助特征通道重要性的评估功能。
图6示出了图3中所示的步骤S320在另一实施例中的处理过程示意图。本公开实施例中，所述当前图像特征信息还可以包括第二图像特征信息。如图6所示，本公开实施例中，上述步骤S320可以进一步包括以下步骤。
在步骤S326中，分别通过第二信息集成网络中的第一卷积结构、第二卷积结构和第三卷积结构对所述第一图像编码信息进行处理，获得所述第一图像编码信息的第一特征图、第二特征图和第三特征图。
在示例性实施例中，所述第二信息集成网络具有与上述实施例中的第一信息集成网络相似的网络结构，例如所述第二信息集成网络包括第一卷积结构、第二卷积结构、第三卷积结构、第四卷积结构和第五卷积结构以及第一末端卷积结构。
在步骤S327中，分别通过所述第二信息集成网络中的第四卷积结构和第五卷积结构对所述第一图像编码信息的第二特征图进行处理，获得所述第一图像编码信息的第四特征图和第五特征图。
在示例性实施例中，所述第二信息集成网络中的第一卷积结构可以包括顺次相连的第一卷积层、第二卷积层和第三卷积层；所述第二信息集成网络中的第二卷积结构可以包括顺次相连的第四卷积层和第五卷积层；所述第二信息集成网络中的第三卷积结构可以包括第六卷积层；所述第二信息集成网络中的第四卷积结构可以包括第七卷积层；所述第二信息集成网络中的第五卷积结构可以包括顺次相连的第八卷积层和第九卷积层。其中，所述第二信息集成网络中的第一卷积层、第六卷积层和第七卷积层的卷积核大小可以为1×1；所述第二信息集成网络中的第二卷积层、第三卷积层、第四卷积层、第五卷积层、第八卷积层和第九卷积层的卷积核大小可以为3×3。
在示例性实施例中，所述第二信息集成网络中的第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、第六卷积层、第七卷积层、第八卷积层和第九卷积层之后均可以设置有一个线性修正单元。
在步骤S328中，级联所述第一图像编码信息的第一特征图、第二特征图、第三特征图、第四特征图和第五特征图，生成所述第一图像编码信息的级联特征图。
在步骤S329中，通过所述第二信息集成网络中的第一末端卷积结构对所述第一图像编码信息的级联特征图进行处理，获取所述待处理图像中多尺度的第二图像特征信息。
本公开实施例中，所述第二信息集成网络中的第一末端卷积结构用于使得所述第二信息集成网络输入的第一图像编码信息和输出的第二图像特征信息中的特征图个数保持一致。
图7示出了图3中所示的步骤S330在另一实施例中的处理过程示意图。本公开实施例中，所述当前图像编码信息还可以包括第二图像编码信息。如图7所示，本公开实施例中，上述步骤S330可以进一步包括以下步骤。
在步骤S336中，通过第二通道编码分支对所述第二图像特征信息进行处理，获得第二通道编码信息。
与上述实施例中的第一通道编码分支类似地，所述第二通道编码分支可以包括顺次相连的非全局池化层、第一全连接层、第二全连接层和第三全连接层。所述第二通道编码分支的第一全连接层和所述第二全连接层之后均可以设置有一个线性修正单元，所述第三全连接层之后可以设置有一个激活函数。
在步骤S337中，通过第二空间编码分支对所述第二图像特征信息进行处理，获得第二空间编码信息。
与上述实施例中的第一空间编码分支类似的，所述第二空间编码分支可以包括顺次相连的第一卷积层、第二卷积层、第三卷积层、第四卷积层和第五卷积层。其中，所述第二空间编码分支的第一卷积层和第五卷积层的卷积核大小可以为1×1；所述第二空间编码分支的第二卷积层、所述第三卷积层和所述第四卷积层的卷积核大小可以为3×3。
在步骤S338中，根据所述第二空间编码信息和所述第二通道编码信息获得第二特征重标定系数。
本公开实施例中，可以将所述第二空间编码信息与所述第二通道编码信息进行点乘，获得所述第二特征重标定系数。
在步骤S339中，根据所述第二图像特征信息和所述第二特征重标定系数获得第二特征重标定信息。
本公开实施例中，可以将所述第二图像特征信息与所述第二特征重标定系数进行点乘，获得所述第二特征重标定信息。
在步骤S3310中，根据所述第二特征重标定信息、所述初始特征图和所述第一图像编码信息获得所述第二图像编码信息。
本公开实施例中，可以将所述第二特征重标定信息、所述初始特征图和所述第一图像编码信息进行拼接，生成所述第二图像特征信息的级联特征图，然后将所述级联特征图输入至与所述第二通道编码分支和第二空间编码分支对应的第二末端卷积结构中，输出所述第二图像编码信息，其中该第二末端卷积结构用于使得所述第二图像编码信息和所述第二图像特征信息的特征图个数保持一致。
本公开实施例中，特征提取网络可以采取稠密连接的方式，可以获得更好的特征提取效果，这里仅以两个特征提取网络为例进行举例说明，但实际上可以有更多的特征提取网络进行稠密连接，当稠密连接的特征提取网络的数量越多时，特征提取的效果越好。
图8示出了图3中所示的步骤S340在一实施例中的处理过程示意图。如图8所示，本公开实施例中，上述步骤S340可以进一步包括以下步骤。
在步骤S341中，通过图像重构网络对所述第一图像编码信息进行处理，生成第一残差图像。
本公开实施例中，所述图像重构网络可以包括顺次相连的卷积层和转置卷积层。
在步骤S342中，通过所述图像重构网络对所述第二图像编码信息进行处理，生成第二残差图像。
在步骤S343中，根据所述第一残差图像和所述第二残差图像生成目标残差图像。
本公开实施例中，可以对第一残差图像和第二残差图像进行加权求和，获得所述目标残差图像。
在步骤S344中，对所述待处理图像进行插值放大处理，生成插值放大图像。
本公开实施例中，可以采用双三次(Bicubic)插值方法对所述待处理图像进行插值放大。但本公开并不限定于此，例如还可以采用最近邻插值、双线性插值、均值插值、中值插值等方法中的任意一种或者多种的组合。
在步骤S345中，根据所述目标残差图像和所述插值放大图像获得所述目标图像。
本公开实施例中，对所述目标残差图像和所述插值放大图像进行相加，可以生成所述目标图像。
本公开实施例中，通过对多个残差图像进行加权求和以获得目标残差图像，并与插值放大后的待处理图像进行相加获得最终所需的放大目标倍数的目标图像，可以提高最终生成的目标图像的清晰度。
下面结合图9-21对本公开实施例提供的方法进行举例说明。首先说明本公开实施例采用的仿真实验条件。
本公开实施例仿真实验的计算机配置环境可以为Linux操作系统，编程语言使用Python，深度网络框架使用Pytorch(Pytorch独特的动态图设计，可以高效地进行神经网络的构造和实现)，训练数据采用291数据集。测试数据包括：Set5数据集、Set14数据集、BSD100数据集以及Urban100数据集。
然后进入网络框架及损失函数的构建阶段。
首先进行实验数据的划分。将多个数据库中的图像划分为训练集和测试集。并根据图像观测模型(观测模型是指图像质量的退化过程，而超分辨重构的目的即反向的推理该过程)对于训练集中的图像进行下采样处理，下采样的倍数与网络预计要放大的目标倍数s一致。即假设训练集中的高分辨率图像I的高度和宽度分别为H和W，则下采样后的低分辨率图像的高度和宽度分别为H/s和W/s，s是H和W的公约数。
然后进行实验数据的存储。为了增大训练集中的样本数量，可以对训练集中的低分辨率图像和高分辨率图像进行分块处理，可以将每个低分辨率图像和高分辨率图像分成M块，M为大于或等于1的正整数，这里假设M＝64，在网络训练阶段可以同时将训练集中同一低分辨率图像的64个图像块输入至网络中，这里每个图像块可以看作是单独的图像。保持高分辨率图像及其下采样的低分辨率图像之间的一一对应关系，将其关联存储，例如可以存入HDF5(Hierarchical Data File 5，分层数据文件5)文件当中。HDF是一种能高效存储和分发科学数据的数据格式。对于一个HDF文件里的每一个数据对象，有关于该数据的综合信息(元数据)。在没有任何外部信息的情况下，HDF允许应用程序解释HDF文件的结构和内容。许多数据类型都可以被嵌入在一个HDF文件里。例如，通过使用合适的HDF数据结构，符号、数字和图形数据可以同时存储在一个HDF文件里。HDF允许把相关的数据对象组合在一起，放到一个分层结构中，向数据对象添加描述和标签。对于测试集中的低分辨率图像则可以直接转换为mat文件，mat文件是MATLAB(Matrix Laboratory，矩阵实验室)的数据存储的标准格式，数据的保存和读取方式十分灵活。
需要说明的是，上述训练集和测试集中的图像的存储格式并不限于上述例举的HDF5和mat，其可以采用任何合适的存储方式，本公开对此不作限定。
然后进行网络主体框架的设计。本公开实施例设计了一种多网络堆叠的网络模型。该网络模型中包括特征提取网络以及图像重构网络。堆叠的特征提取网络之间采用了稠密连接的方式。该网络模型最终输出的目标图像由图像重构网络生成的目标残差图像与将输入的待处理图像经过插值放大后的插值放大图像相加而成。该目标残差图像则是通过每个特征提取网络的输出结果经过图像重构网络处理后输出的各个残差图像线性组合而成。
图9示意性示出了根据本公开的一实施例的整体网络架构图。
如图9所示，将低分辨率的待处理图像输入至该网络模型的主体网络，该主体网络包括依次相连的初始卷积结构和N个特征提取网络，N为大于或等于1的正整数，将该待处理图像输入至该初始卷积结构后，输出初始特征图F0，将初始特征图F0分别输入至特征提取网络1至N。其中，将初始特征图F0输入至特征提取网络1后，输出第一图像编码信息F1。将第一图像编码信息F1输入至特征提取网络2后，输出第二图像编码信息F2。以此类推，直至将特征提取网络N-1输出的第N-1图像编码信息FN-1输入至特征提取网络N后，输出第N图像编码信息FN。
在图9的实施例中，主体网络中的各个特征提取网络之间是稠密连接的，即当前特征提取网络的输出结果作为其后各个特征提取网络的输入，同时，该当前特征提取网络之前的各个特征提取网络的输出结果也作为该当前特征提取网络的输入。例如，特征提取网络1的输出结果分别作为第特征提取网络2至N的输入；特征提取网络2的输出结果分别作为特征提取网络3至N的输入；其他以此类推。
继续参考图9，还将初始特征图F0跳跃连接至特征提取网络1，将第一图像编码信息F1跳跃连接至特征提取网络2，…将第N-1图像编码信息FN-1跳跃连接至特征提取网络N。
将特征提取网络1至N输出的第一图像编码信息F1、第二图像编码信息F2、…、第N图像编码信息FN分别输入到图像重构网络中，生成第一至第N残差图像，然后再进行第一至第N残差图像的加权求和，生成目标残差图像。对该待处理图像进行插值放大，将插值放大图像与目标残差图像相加，获得重构的高分辨率图像即目标图像。
本公开实施例中，上述图9中的每个特征提取网络又可进一步包括信息集成网络和特征重标定网络。下面以特征提取网络1即第一特征提取网络为例进行举例说明。
图10示意性示出了根据本公开的一实施例的第一特征提取网络的示意图。
如图10所示，上述图9中的特征提取网络1中可以包括信息集成网络1和特征重标定网络1。初始特征图F0输入至信息集成网络1，输出第一图像特征信息F0,I，然后将第一图像特征信息F0,I和初始特征图F0输入至特征重标定网络1，输出第一图像编码信息F1。
图11示意性示出了根据本公开的一实施例的第一信息集成网络的示意图。如图11所示，上述图10的信息集成网络1具体可以包括卷积结构1至5，卷积结构1至3并联，卷积结构4和5并联，并联的卷积结构4和5串联在卷积结构2之后。其中，卷积结构1包括依次相连的卷积层1(卷积核大小为1×1)、ReLU、卷积层2(卷积核大小为3×3)、ReLU函数、卷积层3(卷积核大小为3×3)和ReLU函数。卷积结构2包括依次相连的卷积层4(卷积核大小为3×3)、ReLU函数、卷积层5(卷积核大小为3×3)和ReLU函数。卷积结构3包括相连的卷积层6(卷积核大小为1×1)和ReLU函数。卷积结构4包括相连的卷积层7(卷积核大小为1×1)和ReLU函数。卷积结构5包括依次相连的卷积层8(卷积核大小为3×3)、ReLU函数、卷积层9(卷积核大小为3×3)和ReLU函数。
将初始特征图F0分别输入至卷积结构1至3，输出初始特征图F0的第一特征图、第二特征图和第三特征图，再将初始特征图F0的第二特征图分别输入至卷积结构4和5，输出初始特征图F0的第四特征图和第五特征图，再将初始特征图F0的第一特征图、第二特征图、第三特征图第四特征图和第五特征图进行级联，生成初始特征图F0的级联特征图，再将初始特征图F0的级联特征图输入至信息集成网络1的第一末端卷积结构(包括卷积层和ReLU函数，其中卷积层的特征深度为64×64，卷积核大小为3×3)，输出第一图像特征信息F0,I。
这里，每个信息集成网络具有并联的多个分支网络(例如卷积结构1至3)，该并联的分支网络中存在至少一个分支网络又串联了多个并联的子分支网络(例如卷积结构2后连接的卷积结构4和5)，各个分支网络和子分支网络中包含不同数量和卷积核大小的卷积层，这种串并联结合的网络结构设计，使得输入至信息集成网络的数据经过不同数量和卷积核大小的卷积层，从而能够捕获图像中具有不同感受野以及低相关性的特征，捕获到更丰富的多尺度特征。在每个信息集成网络的末端再经由一个卷积层(例如第一末端卷积结构中的卷积层)将各个分支网络和子分支网络的输出结果结合到一起，统一信息集成网络输入输出特征图的个数。
图12示意性示出了根据本公开的一实施例的第一特征重标定网络的示意图。如图12所示，上述图10的特征重标定网络1具体可以包括通道编码分支1和空间编码分支1。其中，通道编码分支1可以包括依次相连的非全局池化层、全连接层1、ReLU函数、全连接层2、ReLU函数、全连接层3和S函数。空间编码分支1可以包括依次相连的卷积层1(卷积核大小为1×1)、ReLU函数、卷积层2(卷积核大小为3×3)、ReLU函数、卷积层3(卷积核大小为3×3)、ReLU函数、卷积层4(卷积核大小为3×3)、ReLU函数、卷积层5(卷积核大小为1×1)和ReLU函数。将第一图像特征信息F0,I分别输入至通道编码分支1和空间编码分支1，分别输出第一通道编码信息和第一空间编码信息，再将第一通道编码信息和第一空间编码信息进行点乘，生成第一特征重标定系数，然后将第一特征重标定系数与第一图像特征信息F0,I进行点乘，获得第一特征重标定信息F0,I,R，再将第一特征重标定信息F0,I,R与跳跃连接的初始特征图F0进行级联，再将拼接的第一特征重标定信息F0,I,R与初始特征图F0输入至特征重标定网络1的第二末端卷积结构(包括卷积层和ReLU函数，其中卷积层的卷积核大小为3×3)，以使得特征重标定网络1的输入输出特征图的个数统一，输出第一图像编码信息F1。
这里，对于每个特征重标定网络的结构设计，使其具有两个分支，分别为通道编码分支和空间编码分支，其中通道编码分支用于对特征图的通道进行编码，捕获特征图中的各个通道的重要程度，空间编码分支则用于对特征图平面空间进行编码，捕获图像平面空间中每个像素的重要程度，再将两个分支的输出结果进行结合，得到针对于输入特征的特征重标定系数，并以点乘的方式将特征重标定系数与相应的输入特征进行结合并输出。
图13示意性示出了根据本公开的一实施例的特征提取网络n+1的示意图。如图13所示，对于上述图9中的特征提取网络n+1包括信息集成网络n+1和特征重标定网络n+1，n为大于或等于1且小于或等于N-1的正整数，将特征提取网络n输出的第n图像编码信息Fn输入至信息集成网络n+1，以输出第n+1图像特征信息Fn,I，再将第n+1图像特征信息Fn,I和跳跃连接的初始特征图F0，第一图像编码信息F1，…，第n图像编码信息Fn输入至特征重标定网络n+1，输出第n+1图像编码信息Fn+1。
图14(a)示意性示出了根据本公开的一实施例的信息集成网络n+1的示意图。如图14(a)所示，与上述信息集成网络1类似，上述图13中的信息集成网络n+1具体可以包括卷积结构1至5。其中，卷积结构1包括依次相连的卷积层1(卷积核大小为1×1)、ReLU函数、卷积层2(卷积核大小为3×3)、ReLU函数、卷积层3(卷积核大小为3×3)和ReLU函数。卷积结构2包括依次相连的卷积层4(卷积核大小为3×3)、ReLU函数、卷积层5(卷积核大小为3×3)和ReLU函数。卷积结构3包括相连的卷积层6(卷积核大小为1×1)和ReLU函数。卷积结构4包括相连的卷积层7(卷积核大小为1×1)和ReLU函数。卷积结构5包括依次相连的卷积层8(卷积核大小为3×3)、ReLU函数、卷积层9(卷积核大小为3×3)和ReLU函数。
将第n图像编码信息Fn分别输入至信息集成网络n+1的卷积结构1至3，获得第n图像编码信息Fn的第一至第三特征图，再分别通过信息集成网络n+1的卷积结构4和5对第n图像编码信息Fn的第二特征图进行处理，获得第n图像编码信息Fn的第四特征图和第五特征图，再分别将第n图像编码信息Fn的第一至第五特征图进行级联，获得第n图像编码信息Fn的级联特征图，再第n图像编码信息Fn的级联特征图输入至信息集成网络n+1的第一末端卷积结构(包括卷积层和ReLU函数，其中卷积层的卷积核大小为3×3)，输出第n+1图像特征信息Fn,I。
应当理解的是，本公开实施例中，信息集成网络并不限于上述例举的结构，可以对信息集成网络的结构进行任意的变形，也可以对各个分支网络和/或子分支网络中的卷积层数量、卷积层参数进行调整，只要能够实现捕获具有不同感受野的多尺度特征即可。
图14(b)示意性示出了根据本公开的另一实施例的信息集成网络n+1的示意图。如图14(b)所示，信息集成网络n+1可以包括并联的分支网络1、…、分支网络j(j为大于或等于1且小于或等于K的正整数)、…分支网络K(K为大于或等于2的正整数)，并联的K个分支网络中的任一一个或者多个分支网络之后又可以连接多个并联的子分支网络，这里以分支网络j为例进行举例说明，分支网络j后又分别连接子分支网络1、…子分支网络i(j为大于或等于1且小于或等于Q的正整数)、…子分支网络Q(Q为大于或等于1的正整数)，将第n图像编码信息Fn分别输入至分支网络1、…、分支网络j、…分支网络K，其中分支网络j的输出结果分别再输入至并联的子分支网络1、…子分支网络i、…子分支网络Q，然后再将分支网络1、…分支网络j的子分支网络1至Q、分支网络j+1、…、分支网络K的输出结果进行级联，然后再输入至分支融合网络(可以包括卷积层和ReLU函数，这里的分支融合网络的作用是使得信息集成网络n+1的输入输出特征图个数统一)，输出第n+1图像特征信息Fn,I。这里，各个分支网络和/或子分支网络中可以包括不同数量和卷积核大小的卷积层。
图15示意性示出了根据本公开的一实施例的特征重标定网络n+1的示意图。如图15所示，上述图13中的特征重标定网络n+1具体可以包括通道编码分支n+1和空间编码分支n+1。其中，通道编码分支n+1可以包括依次相连的非全局池化层、全连接层1、ReLU、全连接层2、ReLU、全连接层3和S函数。空间编码分支n+1可以包括依次相连的卷积层1(卷积核大小为1×1)、ReLU、卷积层2(卷积核大小为3×3)、ReLU、卷积层3(卷积核大小为3×3)、ReLU、卷积层4(卷积核大小为3×3)、ReLU、卷积层5(卷积核大小为1×1)和ReLU。将第n+1图像特征信息Fn,I分别输入至通道编码分支n+1和空间编码分支n+1，分别输出第n+1通道编码信息和第n+1空间编码信息，再将第n+1通道编码信息和第n+1空间编码信息进行点乘，生成第n+1特征重标定系数，然后将第n+1特征重标定系数与第n+1图像特征信息Fn,I进行点乘，获得第n+1特征重标定信息Fn,I,R，再将第n+1特征重标定信息Fn,I,R与跳跃连接的初始特征图F0、第一图像编码信息F1、…、第n图像编码信息Fn进行级联，再将拼接的第n+1特征重标定信息Fn,I,R与初始特征图F0、第一图像编码信息F1、…、第n图像编码信息Fn输入至特征重标定网络n+1的第二末端卷积结构(包括卷积层和ReLU函数，其中卷积层的卷积核大小为3×3)，以使得特征重标定网络n+1的输入输出特征图的个数统一，输出第n+1图像编码信息Fn+1。
在一些实施例中，可以首先并联初始特征图F0和第一图像编码信息F1，然后再过一个卷积层对并联后的初始特征图F0和第一图像编码信息F1进行处理，例如是一个从128到64的通道变换，卷积核大小为3×3的卷积层，再输入至特征重标定网络2中与第二特征重标定信息F1,I,R进行级联。在另一些实施例中，也可以直接将初始特征图F0和第一图像编码信息F1输入至特征重标定网络2，再与第二特征重标定信息F1,I,R进行级联，此时相应的改变特征重标定网络2的第二末端卷积结构中的卷积层的参数即可，使得特征重标定网络2输入输出的特征图个数统一即可。类似的，对于特征重标定网络3而言，可以首先并联初始特征图F0、第一图像编码信息F1和第二图像编码信息F2，然后再过一个卷积层对并联后的初始特征图F0、第一图像编码信息F1和第二图像编码信息F2进行处理，例如是一个从192到64的通道变换，卷积核大小为3×3的卷积层，再输入至特征重标定网络3中与第三特征重标定信息F2,I,R进行级联。在另一些实施例中，也可以直接将初始特征图F0、第一图像编码信息F1和第二图像编码信息F2输入至特征重标定网络3，再与第三特征重标定信息F2,I,R进行级联，此时相应的改变特征重标定网络3的第二末端卷积结构中的卷积层的参数即可，使得特征重标定网络3输入输出的特征图个数统一即可。其他的特征重标定网络以此类推。
本公开实施例中，图像重构网络主要由卷积层以及转置卷积层组成，根据图像放大的目标倍数的不同，卷积层以及转置卷积层的个数也随之改变。其中，转置卷积层完成了由单个像素到多个像素的映射过程，即反向的卷积操作。图16、17、18分别以放大的目标倍数分别为2倍、3倍、4倍为例进行举例说明，其中2倍和3倍放大的图像重构网络都是由一个卷积层和一个转置卷积层组成，只是转置卷积层的参数、卷积层的卷积核大小、卷积步长等参数的不同，转置卷积层串联在卷积层之后。4倍放大的图像重构网络是由两个卷积层和两个转置卷积层组成。
本公开实施例中，损失函数采用了一种多监督的方式，即每一个特征提取网络经过图像重构网络后输出的残差图像都会受到监督，同时由该多个残差图像加权得到的目标残差图像也会受到监督，并拥有更大的损失权重。通常情况下图像差异是通过图像之间的距离来衡量。这里采用L1 Loss作为距离度量函数。本公开实施例的损失函数L(θ)可以用如下公式表示：
Figure BDA0002250368610000281
上述公式中，α为网络模型的学习速率，M为同时输入该网络模型的低分辨率图像的图像块的个数(例如64)，N表示该网络模型中特征提取网络的个数，ωn代表第n个残差图像加权求和的权重；ym表示训练集中输入的低分辨率图像的第m个图像块对应的高分辨率图像的第m个图像块；
Figure BDA0002250368610000282
代表的是：以低分辨率图像的第m个图像块为输入，图像重构网络输出的第n个残差图像；
Figure BDA0002250368610000283
代表低分辨率图像的第m个图像块经过插值放大后的插值放大图像，ω代表残差图像加权求和的权重。
接着，进入该网络模型的训练和测试阶段。
首先进行数据的读取和模型的训练。将上述存入HDF5文件中一一对应的低分辨率图像和高分辨率图像对取出，并将其中的低分辨率图像输入该网络模型。该网络模型先通过一个初始卷积结构将输入的低分辨率图像分解为一组初始特征图(假设为64个，但本公开并不限定于此)，并将该组初始特征图以稠密连接的方式作为每个特征提取网络的输入。该网络模型中的每一个特征提取网络的输入均为之前所有特征提取网络的输出和图像分解得到的初始特征图，其输出也会作为后续所有特征提取网络的输入。每个特征提取网络的输出经过图像重构网络后得到其对应的残差图像，这些残差图像经过加权求和后得到的目标残差图像再与将输入的低分辨率图像经过插值放大后的插值放大图像进行求和，得到最终重建出的高分辨率图像。
接着根据上述所构建的损失函数来计算当前网络模型的预测损失，并将该损失反向传播以改变网络参数。
反复执行上述网络模型的训练步骤，直至网络模型预测的误差低于预先设定的阈值或网络模型的迭代次数超过设定值时，网络停止训练，并保存网络结构及参数。网络训练结束，得到已训练好的网络模型。其中，各个残差图像的权重是网络模型在训练过程中自适应学习到的。通过训练后，每个特征重标定网络中的两个分支可根据训练集数据的先验，实现对于特征图平面空间和特征图的通道的重要程度的获取。
在仿真实验中使用Bicubic(双三次)、SRCNN(Super-Resolution ConvolutionalNeural Network，基于卷积神经网络的超分辨率重构)、VDSR(Accurate image super-resolution using very deep convolutional networks，基于深度神经网络的超分辨率图像重构)、LapSRN(Deep laplacian pyramid networks for fast and accurate super-resolution，基于拉普拉斯金字塔网络的超分辨率图像重构)、DRRN(Image super-resolution via deep recursive residual network，基于残差学习与递归策略结合的深度学习方法的超分辨率重构)和MemNet(A persistent memory network for imagerestoration，基于持续记忆网络的图像重构)五种方法与本公开实施例的方法进行效果对比。
表1和图19-21示出了不同图像超分辨率重构方式在四个测试数据库上进行2倍放大的结果，各自输出的高分辨率图像(HR)的PSNR(Peak Signal to Noise Ratio，峰值信噪比)/SSIM(Structural Similarity Index，结构相似性)。
图19示意性示出了根据本公开的一实施例的SR方法的基准测试结果的示意图。如图19所示，在Set14测试数据库上，Bicubic、SRCNN、VDSR、LapSRN、DRRN、MemNet和本方案的HR PSNR/SSIM分别为：30.23/0.8691，31.65/0.9808，32.81/0.9871，32.81/0.9879，33.99/0.9902，34.48/0.9895，34.90/0.9907。
图20示意性示出了根据本公开的另一实施例的SR方法的基准测试结果的示意图。如图20所示，在Urban100测试数据库上，Bicubic、SRCNN、VDSR、LapSRN、DRRN、MemNet和本方案的HR PSNR/SSIM分别为：24.23/0.7166，25.26/0.7798，25.76/0.8046，25.71/0.8056，25.96/0.8172，25.99/0.8179，26.20/0.8243。
图21示意性示出了根据本公开的又一实施例的SR方法的基准测试结果的示意图。如图21所示，在Urban100测试数据库上，Bicubic、SRCNN、VDSR、LapSRN、DRRN、MemNet和本方案的HR PSNR/SSIM分别为：20.94/0.5230，22.39/0.5946，23.06/0.6833，22.79/0.6732，23.78/0.6905，23.63/0.7139，24.58/0.7201。
表1 SR方法的基准测试结果
数据库 Set5 Set14 BSD100 Urban100
Bicubic 33.66/0.9299 30.24/0.8688 29.56/0.8431 26.88/0.8403
SRCNN 36.66/0.9542 32.45/0.9067 31.36/0.8879 29.50/0.8946
VDSR 37.53/0.9587 33.03/0.9124 31.90/0.8960 30.76/0.9140
LapSRN 37.52/0.9591 33.08/0.9130 31.80/0.8950 30.41/0.9101
DRRN 37.74/0.9591 33.23/0.9136 32.05/0.8973 31.23/0.9188
MemNet 37.78/0.9597 33.28/0.9142 32.08/0.8978 31.31/0.9195
本方法 37.92/0.9603 33.42/0.9151 32.13/0.8989 31.52/0.9218
由实验结果可见，本公开实施例提供的方法在四个通用数据库上均取得了最好的效果。这是因为本公开实施例将提取多尺度的图像特征信息的信息集成网络和特征重标定网络联合应用，能够有效避免深度网络信息传递过程中信息丢失的问题。
本公开实施例中，可以将训练集和测试集中的图像存储至区块链中，也可以将待处理图像及其通过网络模型放大目标倍数的目标图像存储至所述区块链中，执行上述实施例的方法的主体可以作为区块链中的一个节点。
区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层。
区块链底层平台可以包括用户管理、基础服务、智能合约以及运营监控等处理模块。其中，用户管理模块负责所有区块链参与者的身份信息管理，包括维护公私钥生成(账户管理)、密钥管理以及用户真实身份和区块链地址对应关系维护(权限管理)等，并且在授权的情况下，监管和审计某些真实身份的交易情况，提供风险控制的规则配置(风控审计)；基础服务模块部署在所有区块链节点设备上，用来验证业务请求的有效性，并对有效请求完成共识后记录到存储上，对于一个新的业务请求，基础服务先对接口适配解析和鉴权处理(接口适配)，然后通过共识算法将业务信息加密(共识管理)，在加密之后完整一致的传输至共享账本上(网络通信)，并进行记录存储；智能合约模块负责合约的注册发行以及合约触发和合约执行，开发人员可以通过某种编程语言定义合约逻辑，发布到区块链上(合约注册)，根据合约条款的逻辑，调用密钥或者其它的事件触发执行，完成合约逻辑，同时还提供对合约升级注销的功能；运营监控模块主要负责产品发布过程中的部署、配置的修改、合约设置、云适配以及产品运行中的实时状态的可视化输出，例如：告警、监控网络情况、监控节点设备健康状态等。
平台产品服务层提供典型应用的基本能力和实现框架，开发人员可以基于这些基本能力，叠加业务的特性，完成业务逻辑的区块链实现。应用服务层提供基于区块链方案的应用服务给业务参与方进行使用。
本公开实施方式提供的图像处理方法，提出了一种能够提取多尺度特征的信息集成网络结构，每个特征提取网络中的信息集成网络具有多个串并联结合的分支网络和子分支网络，用以捕获具有不同感受野以及低相关性的图像特征，从而能够实现深度特征的高效提取，克服了相关技术中单一结构的卷积层堆叠所面临的特征信息丰富度较低的问题，使得获取的特征信息丰富且多样。并随后以一种全方面的特征重标定的方法对于深度特征进行再次的增强，自适应的增强高频特征并舍弃冗余特征，在信息传递的过程中尽可能的避免信息丢失的情况发生，即还提出了特征重校准策略，将注意力从通道扩展到整个特征空间，能够同时考虑到特征图中各个通道以及图像平面空间中每个像素的重要程度，其中通道的注意力表示每张特征图的重要程度，平面空间的注意力则体现在图像不同区域对于图像重建的贡献。将这两方面的注意力结合起来，可以有效地增强图像各像素在整个特征空间中的信息，克服了相关技术中的注意力机制仅仅关注通道重要程度的问题，使得本公开实施例提供的方法具有更完备的特征增强能力。由此能够实现低参数数量且低计算复杂度的快速的图像超分辨率重建。
图22示意性示出了根据本公开的一实施例的图像处理装置的框图。
如图22所示，本公开实施方式提供的图像处理装置2200可以包括：图像获取模块2210、特征提取网络2220、特征增强模块2230以及图像放大模块2240。
其中，图像获取模块2210可以配置为获取待处理图像。特征提取网络2220可以配置为提取所述待处理图像中多尺度的当前图像特征信息。特征增强模块2230可以配置为分别对所述当前图像特征信息的通道和平面空间进行编码以增强所述当前图像特征信息，获得当前图像编码信息。图像放大模块2240可以配置为根据所述当前图像编码信息获得将所述待处理图像放大目标倍数的目标图像。
在示例性实施例中，所述当前图像特征信息可以包括第一图像特征信息。其中，特征提取网络2220可以包括：初始特征提取单元，可以配置为通过初始卷积结构提取所述待处理图像的初始特征图；第一多尺度特征提取单元，可以配置为分别通过第一信息集成网络中的第一卷积结构、第二卷积结构和第三卷积结构对所述初始特征图进行处理，获得所述初始特征图的第一特征图、第二特征图和第三特征图；第二多尺度特征提取单元，可以配置为分别通过所述第一信息集成网络中的第四卷积结构和第五卷积结构对所述初始特征图的第二特征图进行处理，获得所述初始特征图的第四特征图和第五特征图；第一特征级联单元，可以配置为级联所述初始特征图的第一特征图、第二特征图、第三特征图、第四特征图和第五特征图，生成所述初始特征图的级联特征图；第一图像特征获取单元，可以配置为通过所述第一信息集成网络中的第一末端卷积结构对所述初始特征图的级联特征图进行处理，生成所述待处理图像中多尺度的第一图像特征信息。
在示例性实施例中，所述第一信息集成网络中的第一卷积结构可以包括顺次相连的第一卷积层、第二卷积层和第三卷积层；所述第一信息集成网络中的第二卷积结构可以包括顺次相连的第四卷积层和第五卷积层；所述第一信息集成网络中的第三卷积结构可以包括第六卷积层；所述第一信息集成网络中的第四卷积结构可以包括第七卷积层；所述第一信息集成网络中的第五卷积结构可以包括顺次相连的第八卷积层和第九卷积层。其中，所述第一信息集成网络中的第一卷积层、第六卷积层和第七卷积层的卷积核大小可以为1×1，可以用于增强所述第一信息集成网络的非线性性能；所述第一信息集成网络中的第二卷积层、第三卷积层、第四卷积层、第五卷积层、第八卷积层和第九卷积层的卷积核大小可以为3×3，可以用于提取所述待处理图像的深度特征。
在示例性实施例中，所述第一信息集成网络中的第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、第六卷积层、第七卷积层、第八卷积层和第九卷积层之后均可以设置有一个线性修正单元，可以用于给所述第一信息集成网络引入非线性因素以缓解梯度消失。
在示例性实施例中，所述当前图像编码信息可以包括第一图像编码信息。其中，特征增强模块2230可以包括：第一通道编码单元，可以配置为通过第一通道编码分支对所述第一图像特征信息进行处理，获得第一通道编码信息；第一空间编码单元，可以配置为通过第一空间编码分支对所述第一图像特征信息进行处理，获得第一空间编码信息；第一特征重标定系数获得单元，可以配置为根据所述第一空间编码信息和所述第一通道编码信息获得第一特征重标定系数；第一特征重标定信息获取单元，可以配置为根据所述第一图像特征信息和所述第一特征重标定系数获得第一特征重标定信息；第一图像编码获得单元，可以配置为根据所述第一特征重标定信息和所述初始特征图获得所述第一图像编码信息。
在示例性实施例中，所述第一通道编码分支可以包括顺次相连的非全局池化层、第一全连接层、第二全连接层和第三全连接层，其中所述非全局池化层用于将所述第一图像特征信息分解为多个元素，所述第一全连接层用于降维所述多个元素的元素数目，所述第二全连接层用于对降维后的元素进行非线性映射，所述第三全连接层用于将非线性映射后的元素数目扩展到与所述第一信息集成网络输出的特征图数量一样的大小。
在示例性实施例中，所述第一全连接层和所述第二全连接层之后均可以设置有一个线性修正单元，用于给所述第一通道编码分支引入非线性因素以缓解梯度消失；所述第三全连接层之后可以设置有一个激活函数，用于将所述第一通道编码信息映射到预定区间。
在示例性实施例中，所述第一空间编码分支可以包括顺次相连的第一卷积层、第二卷积层、第三卷积层、第四卷积层和第五卷积层。其中，所述第一空间编码分支的第一卷积层和第五卷积层的卷积核大小可以为1×1；所述第一空间编码分支的第二卷积层、所述第三卷积层和所述第四卷积层的卷积核大小可以为3×3。
在示例性实施例中，所述当前图像特征信息还可以包括第二图像特征信息。其中，特征提取网络2220还可以包括：第三多尺度特征提取单元，可以配置为分别通过第二信息集成网络中的第一卷积结构、第二卷积结构和第三卷积结构对所述第一图像编码信息进行处理，获得所述第一图像编码信息的第一特征图、第二特征图和第三特征图；第四多尺度特征提取单元，可以配置为分别通过所述第二信息集成网络中的第四卷积结构和第五卷积结构对所述第一图像编码信息的第二特征图进行处理，获得所述第一图像编码信息的第四特征图和第五特征图；第二特征级联单元，可以配置为级联所述第一图像编码信息的第一特征图、第二特征图、第三特征图、第四特征图和第五特征图，生成所述第一图像编码信息的级联特征图；第二图像特征获取单元，可以配置为通过所述第二信息集成网络中的第一末端卷积结构对所述第一图像编码信息的级联特征图进行处理，获取所述待处理图像中多尺度的第二图像特征信息。
在示例性实施例中，所述当前图像编码信息还可以包括第二图像编码信息。其中，特征增强模块2230还可以包括：第二通道编码单元，可以配置为通过第二通道编码分支对所述第二图像特征信息进行处理，获得第二通道编码信息；第二空间编码单元，可以配置为通过第二空间编码分支对所述第二图像特征信息进行处理，获得第二空间编码信息；第二特征重标定系数获得单元，可以配置为根据所述第二空间编码信息和所述第二通道编码信息获得第二特征重标定系数；第二特征重标定信息获取单元，可以配置为根据所述第二图像特征信息和所述第二特征重标定系数获得第二特征重标定信息；第二图像编码获得单元，可以配置为根据所述第二特征重标定信息、所述初始特征图和所述第一图像编码信息获得所述第二图像编码信息。
在示例性实施例中，图像放大模块2240可以包括：第一残差图像生成单元，可以配置为通过图像重构网络对所述第一图像编码信息进行处理，生成第一残差图像；第二残差图像生成单元，可以配置为通过所述图像重构网络对所述第二图像编码信息进行处理，生成第二残差图像；目标残差图像生成单元，可以配置为根据所述第一残差图像和所述第二残差图像生成目标残差图像；插值放大单元，可以配置为对所述待处理图像进行插值放大处理，生成插值放大图像；目标图像获得单元，可以配置为根据所述目标残差图像和所述插值放大图像获得所述目标图像。
在示例性实施例中，所述图像重构网络可以包括顺次相连的卷积层和转置卷积层。
本公开实施例提供的图像处理装置中的各个模块和单元的具体实现可以参照上述图像处理方法中的内容，在此不再赘述。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块和单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块和单元的特征和功能可以在一个模块和单元中具体化。反之，上文描述的一个模块和单元的特征和功能可以进一步划分为由多个模块和单元来具体化。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本公开实施方式的方法。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (15)

1.一种图像处理方法，其特征在于，包括：
获取待处理图像；
提取所述待处理图像中多尺度的当前图像特征信息；
分别对所述当前图像特征信息的通道和平面空间进行编码以增强所述当前图像特征信息，获得当前图像编码信息；
根据所述当前图像编码信息获得将所述待处理图像放大目标倍数的目标图像。
2.根据权利要求1所述的图像处理方法，其特征在于，所述当前图像特征信息包括第一图像特征信息；其中，提取所述待处理图像中多尺度的当前图像特征信息，包括：
通过初始卷积结构提取所述待处理图像的初始特征图；
分别通过第一信息集成网络中的第一卷积结构、第二卷积结构和第三卷积结构对所述初始特征图进行处理，获得所述初始特征图的第一特征图、第二特征图和第三特征图；
分别通过所述第一信息集成网络中的第四卷积结构和第五卷积结构对所述初始特征图的第二特征图进行处理，获得所述初始特征图的第四特征图和第五特征图；
级联所述初始特征图的第一特征图、第二特征图、第三特征图、第四特征图和第五特征图，生成所述初始特征图的级联特征图；
通过所述第一信息集成网络中的第一末端卷积结构对所述初始特征图的级联特征图进行处理，生成所述待处理图像中多尺度的第一图像特征信息。
3.根据权利要求2所述的图像处理方法，其特征在于，所述第一信息集成网络中的第一卷积结构包括顺次相连的第一卷积层、第二卷积层和第三卷积层；
所述第一信息集成网络中的第二卷积结构包括顺次相连的第四卷积层和第五卷积层；
所述第一信息集成网络中的第三卷积结构包括第六卷积层；
所述第一信息集成网络中的第四卷积结构包括第七卷积层；
所述第一信息集成网络中的第五卷积结构包括顺次相连的第八卷积层和第九卷积层；
其中，所述第一信息集成网络中的第一卷积层、第六卷积层和第七卷积层的卷积核大小为1×1，用于增强所述第一信息集成网络的非线性性能；所述第一信息集成网络中的第二卷积层、第三卷积层、第四卷积层、第五卷积层、第八卷积层和第九卷积层的卷积核大小为3×3，用于提取所述待处理图像的深度特征。
4.根据权利要求3所述的图像处理方法，其特征在于，所述第一信息集成网络中的第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、第六卷积层、第七卷积层、第八卷积层和第九卷积层之后均设置有一个线性修正单元，用于给所述第一信息集成网络引入非线性因素以缓解梯度消失。
5.根据权利要求2所述的图像处理方法，其特征在于，所述当前图像编码信息包括第一图像编码信息；其中，分别对所述当前图像特征信息的通道和平面空间进行编码以增强所述当前图像特征信息，获得当前图像编码信息，包括：
通过第一通道编码分支对所述第一图像特征信息进行处理，获得第一通道编码信息；
通过第一空间编码分支对所述第一图像特征信息进行处理，获得第一空间编码信息；
根据所述第一空间编码信息和所述第一通道编码信息获得第一特征重标定系数；
根据所述第一图像特征信息和所述第一特征重标定系数获得第一特征重标定信息；
根据所述第一特征重标定信息和所述初始特征图获得所述第一图像编码信息。
6.根据权利要求5所述的图像处理方法，其特征在于，所述第一通道编码分支包括顺次相连的非全局池化层、第一全连接层、第二全连接层和第三全连接层，其中所述非全局池化层用于将所述第一图像特征信息分解为多个元素，所述第一全连接层用于降维所述多个元素的元素数目，所述第二全连接层用于对降维后的元素进行非线性映射，所述第三全连接层用于将非线性映射后的元素数目扩展到与所述第一信息集成网络输出的特征图数量一样的大小。
7.根据权利要求6所述的图像处理方法，其特征在于，所述第一全连接层和所述第二全连接层之后均设置有一个线性修正单元，用于给所述第一通道编码分支引入非线性因素以缓解梯度消失；所述第三全连接层之后设置有一个激活函数，用于将所述第一通道编码信息映射到预定区间。
8.根据权利要求5所述的图像处理方法，其特征在于，所述第一空间编码分支包括顺次相连的第一卷积层、第二卷积层、第三卷积层、第四卷积层和第五卷积层；
其中，所述第一空间编码分支的第一卷积层和第五卷积层的卷积核大小为1×1；所述第一空间编码分支的第二卷积层、所述第三卷积层和所述第四卷积层的卷积核大小为3×3。
9.根据权利要求5所述的图像处理方法，其特征在于，所述当前图像特征信息还包括第二图像特征信息；其中，提取所述待处理图像中多尺度的当前图像特征信息，还包括：
分别通过第二信息集成网络中的第一卷积结构、第二卷积结构和第三卷积结构对所述第一图像编码信息进行处理，获得所述第一图像编码信息的第一特征图、第二特征图和第三特征图；
分别通过所述第二信息集成网络中的第四卷积结构和第五卷积结构对所述第一图像编码信息的第二特征图进行处理，获得所述第一图像编码信息的第四特征图和第五特征图；
级联所述第一图像编码信息的第一特征图、第二特征图、第三特征图、第四特征图和第五特征图，生成所述第一图像编码信息的级联特征图；
通过所述第二信息集成网络中的第一末端卷积结构对所述第一图像编码信息的级联特征图进行处理，获取所述待处理图像中多尺度的第二图像特征信息。
10.根据权利要求9所述的图像处理方法，其特征在于，所述当前图像编码信息还包括第二图像编码信息；其中，分别对所述当前图像特征信息的通道和平面空间进行编码以增强所述当前图像特征信息，获得当前图像编码信息，还包括：
通过第二通道编码分支对所述第二图像特征信息进行处理，获得第二通道编码信息；
通过第二空间编码分支对所述第二图像特征信息进行处理，获得第二空间编码信息；
根据所述第二空间编码信息和所述第二通道编码信息获得第二特征重标定系数；
根据所述第二图像特征信息和所述第二特征重标定系数获得第二特征重标定信息；
根据所述第二特征重标定信息、所述初始特征图和所述第一图像编码信息获得所述第二图像编码信息。
11.根据权利要求10所述的图像处理方法，其特征在于，根据所述当前图像编码信息获得将所述待处理图像放大目标倍数的目标图像，包括：
通过图像重构网络对所述第一图像编码信息进行处理，生成第一残差图像；
通过所述图像重构网络对所述第二图像编码信息进行处理，生成第二残差图像；
根据所述第一残差图像和所述第二残差图像生成目标残差图像；
对所述待处理图像进行插值放大处理，生成插值放大图像；
根据所述目标残差图像和所述插值放大图像获得所述目标图像。
12.根据权利要求11所述的图像处理方法，其特征在于，所述图像重构网络包括顺次相连的卷积层和转置卷积层。
13.一种图像处理装置，其特征在于，包括：
图像获取模块，配置为获取待处理图像；
特征提取网络，配置为提取所述待处理图像中多尺度的当前图像特征信息；
特征增强模块，配置为分别对所述当前图像特征信息的通道和平面空间进行编码以增强所述当前图像特征信息，获得当前图像编码信息；
图像放大模块，配置为根据所述当前图像编码信息获得将所述待处理图像放大目标倍数的目标图像。
14.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，配置为存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至12中任一项所述的图像处理方法。
15.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至12中任一项所述的图像处理方法。
CN201911031821.0A 2019-10-28 2019-10-28 图像处理方法及装置、电子设备和计算机可读存储介质 Active CN110782395B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911031821.0A CN110782395B (zh) 2019-10-28 2019-10-28 图像处理方法及装置、电子设备和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911031821.0A CN110782395B (zh) 2019-10-28 2019-10-28 图像处理方法及装置、电子设备和计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN110782395A true CN110782395A (zh) 2020-02-11
CN110782395B CN110782395B (zh) 2024-02-09

Family

ID=69387097

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911031821.0A Active CN110782395B (zh) 2019-10-28 2019-10-28 图像处理方法及装置、电子设备和计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN110782395B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111325794A (zh) * 2020-02-23 2020-06-23 哈尔滨工业大学 一种基于深度卷积自编码器的视觉同时定位与地图构建方法
CN111445392A (zh) * 2020-03-20 2020-07-24 Oppo广东移动通信有限公司 图像处理方法及装置、计算机可读存储介质和电子设备
CN111582353A (zh) * 2020-04-30 2020-08-25 恒睿(重庆)人工智能技术研究院有限公司 一种图像特征检测方法、系统、设备以及介质
CN112215243A (zh) * 2020-10-30 2021-01-12 百度(中国)有限公司 图像特征提取方法、装置、设备及存储介质
CN112668619A (zh) * 2020-12-22 2021-04-16 万兴科技集团股份有限公司 图像处理方法、装置、终端及存储介质
CN113973209A (zh) * 2020-07-24 2022-01-25 爱思开海力士有限公司 生成深度图的装置
TWI756996B (zh) * 2020-03-30 2022-03-01 財團法人工業技術研究院 生物檢體自動採檢系統及其採檢方法和非揮發性電腦可讀記錄媒體
WO2022057837A1 (zh) * 2020-09-16 2022-03-24 广州虎牙科技有限公司 图像处理和人像超分辨率重建及模型训练方法、装置、电子设备及存储介质
US11967063B2 (en) 2020-03-30 2024-04-23 Industrial Technology Research Institute Automatic bio-specimen inspection system and inspection method thereof

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109767386A (zh) * 2018-12-22 2019-05-17 昆明理工大学 一种基于深度学习的快速图像超分辨率重建方法
KR20190087265A (ko) * 2018-01-16 2019-07-24 한국과학기술원 이미지 파이프라인 처리 방법 및 장치
CN110147864A (zh) * 2018-11-14 2019-08-20 腾讯科技（深圳）有限公司 编码图案的处理方法和装置、存储介质、电子装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190087265A (ko) * 2018-01-16 2019-07-24 한국과학기술원 이미지 파이프라인 처리 방법 및 장치
CN110147864A (zh) * 2018-11-14 2019-08-20 腾讯科技（深圳）有限公司 编码图案的处理方法和装置、存储介质、电子装置
CN109767386A (zh) * 2018-12-22 2019-05-17 昆明理工大学 一种基于深度学习的快速图像超分辨率重建方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
应自炉;商丽娟;徐颖;刘健;: "面向图像超分辨率的紧凑型多径卷积神经网络算法研究", 信号处理, no. 06 *
陈书贞;解小会;杨郁池;练秋生;: "利用多尺度卷积神经网络的图像超分辨率算法", 信号处理, no. 09 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111325794B (zh) * 2020-02-23 2023-05-26 哈尔滨工业大学 一种基于深度卷积自编码器的视觉同时定位与地图构建方法
CN111325794A (zh) * 2020-02-23 2020-06-23 哈尔滨工业大学 一种基于深度卷积自编码器的视觉同时定位与地图构建方法
CN111445392A (zh) * 2020-03-20 2020-07-24 Oppo广东移动通信有限公司 图像处理方法及装置、计算机可读存储介质和电子设备
CN111445392B (zh) * 2020-03-20 2023-09-15 Oppo广东移动通信有限公司 图像处理方法及装置、计算机可读存储介质和电子设备
US11967063B2 (en) 2020-03-30 2024-04-23 Industrial Technology Research Institute Automatic bio-specimen inspection system and inspection method thereof
TWI756996B (zh) * 2020-03-30 2022-03-01 財團法人工業技術研究院 生物檢體自動採檢系統及其採檢方法和非揮發性電腦可讀記錄媒體
CN111582353A (zh) * 2020-04-30 2020-08-25 恒睿(重庆)人工智能技术研究院有限公司 一种图像特征检测方法、系统、设备以及介质
CN111582353B (zh) * 2020-04-30 2022-01-21 恒睿(重庆)人工智能技术研究院有限公司 一种图像特征检测方法、系统、设备以及介质
CN113973209A (zh) * 2020-07-24 2022-01-25 爱思开海力士有限公司 生成深度图的装置
WO2022057837A1 (zh) * 2020-09-16 2022-03-24 广州虎牙科技有限公司 图像处理和人像超分辨率重建及模型训练方法、装置、电子设备及存储介质
CN112215243A (zh) * 2020-10-30 2021-01-12 百度(中国)有限公司 图像特征提取方法、装置、设备及存储介质
CN112668619A (zh) * 2020-12-22 2021-04-16 万兴科技集团股份有限公司 图像处理方法、装置、终端及存储介质
CN112668619B (zh) * 2020-12-22 2024-04-16 万兴科技集团股份有限公司 图像处理方法、装置、终端及存储介质

Also Published As

Publication number Publication date
CN110782395B (zh) 2024-02-09

Similar Documents

Publication Publication Date Title
CN110782395B (zh) 图像处理方法及装置、电子设备和计算机可读存储介质
Zhang et al. Efficient long-range attention network for image super-resolution
CN109726794B (zh) 基于关注的图像生成神经网络
CN113284051B (zh) 一种基于频率分解多注意力机制的人脸超分辨方法
CN111460876A (zh) 用于识别视频的方法和装置
CN111862251A (zh) 医学图像重建技术的方法、装置、存储介质和电子设备
Robey et al. Optimal physical preprocessing for example-based super-resolution
CN117597703A (zh) 用于图像分析的多尺度变换器
Shi et al. Visual secure image encryption scheme based on compressed sensing and regional energy
CN114612902A (zh) 图像语义分割方法、装置、设备、存储介质及程序产品
Zhu et al. Semantic image segmentation with shared decomposition convolution and boundary reinforcement structure
Li et al. Lightweight adaptive weighted network for single image super-resolution
CN113379606B (zh) 一种基于预训练生成模型的人脸超分辨方法
Shi et al. Image encryption scheme based on multiscale block compressed sensing and Markov model
Wang et al. An ensemble multi-scale residual attention network (EMRA-net) for image Dehazing
Zhang et al. Embarrassingly simple binarization for deep single imagery super-resolution networks
Lai et al. Generative focused feedback residual networks for image steganalysis and hidden information reconstruction
Puchala et al. Image statistics preserving encrypt-then-compress scheme dedicated for JPEG compression standard
CN116563550A (zh) 基于混合注意力的滑坡解译语义分割方法、系统、装置及介质
CN116740078A (zh) 图像分割处理方法、装置、设备以及介质
Li et al. Model-informed Multi-stage Unsupervised Network for Hyperspectral Image Super-resolution
Son Layer decomposition learning based on gaussian convolution model and residual deblurring for inverse halftoning
Zou et al. DiffCR: A Fast Conditional Diffusion Framework for Cloud Removal From Optical Satellite Images
Li et al. Enhanced dual branches network for arbitrary‐scale image super‐resolution
Molnár et al. Representation learning for point clouds with variational autoencoders

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant