CN111028153A - 图像处理和神经网络训练方法、装置及计算机设备 - Google Patents

图像处理和神经网络训练方法、装置及计算机设备 Download PDF

Info

Publication number
CN111028153A
CN111028153A CN201911251254.XA CN201911251254A CN111028153A CN 111028153 A CN111028153 A CN 111028153A CN 201911251254 A CN201911251254 A CN 201911251254A CN 111028153 A CN111028153 A CN 111028153A
Authority
CN
China
Prior art keywords
image
training
feature map
feature
prior
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911251254.XA
Other languages
English (en)
Other versions
CN111028153B (zh
Inventor
刘宇男
张姗姗
戴宇荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Tencent Technology Shenzhen Co Ltd
Original Assignee
Nanjing University of Science and Technology
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology, Tencent Technology Shenzhen Co Ltd filed Critical Nanjing University of Science and Technology
Priority to CN201911251254.XA priority Critical patent/CN111028153B/zh
Publication of CN111028153A publication Critical patent/CN111028153A/zh
Application granted granted Critical
Publication of CN111028153B publication Critical patent/CN111028153B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/002—Image coding using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种图像处理方法、装置、计算机可读存储介质和计算机设备，所述方法包括：获取待处理图像；基于待处理图像迭代进行多尺度特征提取，获得第一重建特征图；根据第一重建特征图和待处理图像的先验特征图得到第二重建特征图；基于所述第二重建特征图迭代进行所述多尺度特征提取；根据每次所述多尺度特征提取的结果进行特征融合，得到第三重建特征图；根据所述第三重建特征图进行图像重建，得到重建图像；所述重建图像的分辨率高于所述待处理图像的分辨率。本申请提供的方案可以提高图像重建质量。

Description

图像处理和神经网络训练方法、装置及计算机设备
技术领域
本申请涉及计算机技术领域，特别是涉及一种图像处理方法、装置、计算机可读存储介质和计算机设备，以及一种神经网络训练方法、装置、计算机可读存储介质和计算机设备。
背景技术
随着计算机技术的发展，计算机视觉中的图像超分辨率重建技术受到越来越多的关注。图像超分辨率重建是指将给定的低分辨率图像通过特定的处理恢复成相应的高分辨率图像的过程，以克服或补偿由于图像采集系统或采集环境本身的限制，导致的成像图像模糊、质量低下、感兴趣区域不显著等问题。图像超分辨率重建在视频图像压缩传输、医学成像、遥感成像、显微成像、视频感知与监控等领域得到了广泛的应用与研究。
然而，目前的图像超分辨率重建技术，如基于插值的超分辨率重建，重建图像容易出现锯齿、模糊问题，重建质量较差。
发明内容
基于此，有必要针对图像超分辨率重建质量较差的技术问题，提供一种图像处理方法方法、装置、计算机可读存储介质和计算机设备，以及一种神经网络训练方法、装置、计算机可读存储介质和计算机设备。
一种图像处理方法，包括：
获取待处理图像；
基于待处理图像迭代进行多尺度特征提取，获得第一重建特征图；
根据第一重建特征图和待处理图像的先验特征图得到第二重建特征图；
基于所述第二重建特征图迭代进行所述多尺度特征提取；
根据每次所述多尺度特征提取的结果进行特征融合，得到第三重建特征图；
根据所述第三重建特征图进行图像重建，得到重建图像；所述重建图像的分辨率高于所述待处理图像的分辨率。
一种神经网络训练方法，包括：
获取训练图像和训练图像对应的基准图像，基准图像的分辨率高于训练图像的分辨率；
通过待训练的神经网络模型基于所述训练图像迭代进行多尺度特征提取，获得第一训练特征图；
通过所述待训练的神经网络模型根据所述第一训练特征图和所述训练图像的先验特征图得到第二训练特征图；
通过所述待训练的神经网络模型基于所述第二训练特征图迭代进行所述多尺度特征提取；
通过所述待训练的神经网络模型根据每次所述多尺度特征提取的结果进行特征融合，得到第三训练特征图；
通过所述待训练的神经网络模型根据所述第三训练特征图进行图像重建，得到训练重建图像；所述训练重建图像的分辨率高于所述训练图像的分辨率；
根据所述训练重建图像和所述训练图像对应的基准图像调整所述待训练的神经网络模型的参数后继续进行训练，直至满足训练结束条件时结束训练，得到训练完成的神经网络模型。
一种图像处理装置，所述装置包括：
图像获取模块，用于获取待处理图像；
第一重建特征图获得模块，用于基于待处理图像迭代进行多尺度特征提取，获得第一重建特征图；
第二重建特征图获得模块，用于根据第一重建特征图和待处理图像的先验特征图得到第二重建特征图；
第二重建特征图处理模块，用于基于所述第二重建特征图迭代进行所述多尺度特征提取；
第三重建特征图获得模块，用于根据每次所述多尺度特征提取的结果进行特征融合，得到第三重建特征图；
图像重建处理模块，用于根据所述第三重建特征图进行图像重建，得到重建图像；所述重建图像的分辨率高于所述待处理图像的分辨率。
在一个实施例中，特征提取结果确定模块包括特征映射图获得模块、特征压缩模块和特征图融合模块；其中：
特征映射图获得模块，用于将各不同尺度的特征图进行通道拼接，得到特征映射图；
特征压缩模块，用于对特征映射图进行特征压缩，得到压缩后的特征映射图；
特征图融合模块，用于融合压缩后的特征映射图和输入特征图得到本次多尺度特征提取的结果。
在一个实施例中，第二重建特征图获得模块包括第一通道拼接特征图获得模块和第一通道拼接特征图处理模块；其中：
第一通道拼接特征图获得模块，用于将第一重建特征图和待处理图像的先验特征图进行通道拼接，获得第一通道拼接特征图；
第一通道拼接特征图处理模块，用于对第一通道拼接特征图进行卷积处理，得到第二重建特征图。
在一个实施例中，还包括先验深层特征图获得模块和先验特征图获得模块；其中：
先验深层特征图获得模块，用于基于第一重建特征图迭代进行多尺度特征提取，获得先验深层特征图；
先验特征图获得模块，用于对先验深层特征图进行分辨率变换，得到待处理图像的先验特征图。
在一个实施例中，第三重建特征图获得模块包括浅层特征图获得模块、第二通道拼接特征图获得模块和第二通道拼接特征图处理模块；其中：
浅层特征图获得模块，用于获取待处理图像的浅层特征图；
第二通道拼接特征图获得模块，用于将每次多尺度特征提取的结果和浅层特征图进行通道拼接，获得第二通道拼接特征图；
第二通道拼接特征图处理模块，用于对第二通道拼接特征图进行卷积处理，得到第三重建特征图。
在一个实施例中，该装置还包括：
训练图像获取模块，用于获取训练图像和训练图像对应的基准图像，基准图像的分辨率高于训练图像的分辨率；
第一训练特征图获得模块，用于通过待训练的神经网络模型基于训练图像迭代进行多尺度特征提取，获得第一训练特征图；
第二训练特征图获得模块，用于通过待训练的神经网络模型根据第一训练特征图和训练图像的先验特征图得到第二训练特征图；
第二训练特征图处理模块，用于通过待训练的神经网络模型基于第二训练特征图迭代进行多尺度特征提取；
第三训练特征图获得模块，用于通过待训练的神经网络模型根据每次多尺度特征提取的结果进行特征融合，得到第三训练特征图；
训练图像重建处理模块，用于通过待训练的神经网络模型根据第三训练特征图进行图像重建，得到训练重建图像；训练重建图像的分辨率高于训练图像的分辨率；
训练迭代处理模块，用于根据训练重建图像和训练图像对应的基准图像调整待训练的神经网络模型的参数后继续进行训练，直至满足训练结束条件时结束训练，得到训练完成的神经网络模型。
在一个实施例中，待训练的神经网络模型包括先验估计分支；该装置还包括先验训练特征图获得模块、先验训练特征图处理模块和先验估计分支获得模块；其中：
先验训练特征图获得模块，用于通过先验估计分支基于第一训练特征图迭代进行多尺度特征提取，获得先验训练特征图；
先验训练特征图处理模块，用于通过先验估计分支对先验训练特征图进行分辨率变换，得到训练图像的先验特征图；
先验估计分支获得模块，用于根据先验特征图和训练图像相应预设的基准先验特征图调整先验估计分支的参数后继续进行训练，直至满足训练结束条件时结束训练，得到训练完成的先验估计分支；基准先验特征图通过对训练图像对应的基准图像进行先验特征提取得到。
一种神经网络训练装置，其特征在于，所述装置包括：
训练图像获取模块，用于获取训练图像和训练图像对应的基准图像，基准图像的分辨率高于训练图像的分辨率；
第一训练特征图获得模块，用于通过待训练的神经网络模型基于所述训练图像迭代进行多尺度特征提取，获得第一训练特征图；
第二训练特征图获得模块，用于通过所述待训练的神经网络模型根据所述第一训练特征图和所述训练图像的先验特征图得到第二训练特征图；
第二训练特征图处理模块，用于通过所述待训练的神经网络模型基于所述第二训练特征图迭代进行所述多尺度特征提取；
第三训练特征图获得模块，用于通过所述待训练的神经网络模型根据每次所述多尺度特征提取的结果进行特征融合，得到第三训练特征图；
训练图像重建处理模块，用于通过所述待训练的神经网络模型根据所述第三训练特征图进行图像重建，得到训练重建图像；所述训练重建图像的分辨率高于所述训练图像的分辨率；
训练迭代处理模块，用于根据所述训练重建图像和所述训练图像对应的基准图像调整所述待训练的神经网络模型的参数后继续进行训练，直至满足训练结束条件时结束训练，得到训练完成的神经网络模型。
在一个实施例中，待训练的神经网络模型包括先验估计分支；神经网络训练装置还包括先验训练特征图获得模块、先验训练特征图处理模块和先验估计分支获得模块；其中：
先验训练特征图获得模块，用于通过先验估计分支基于第一训练特征图迭代进行多尺度特征提取，获得先验训练特征图；
先验训练特征图处理模块，用于通过先验估计分支对先验训练特征图进行分辨率变换，得到训练图像的先验特征图；
先验估计分支获得模块，用于根据先验特征图和训练图像相应预设的基准先验特征图调整先验估计分支的参数后继续进行训练，直至满足训练结束条件时结束训练，得到训练完成的先验估计分支；基准先验特征图通过对训练图像对应的基准图像进行先验特征提取得到。
一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如上所述方法的步骤。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如上所述方法的步骤。
上述图像处理方法、装置、计算机可读存储介质和计算机设备，基于待处理图像迭代进行多尺度特征提取，根据获得的第一重建特征图和待处理图像的先验特征图得到第二重建特征图，从而利用待处理图像的先验知识提供丰富的重建辅助信息，并基于第二重建特征图迭代进行多尺度特征提取，将每次多尺度特征提取的结果进行特征融合，得到第三重建特征图，再根据第三重建特征图进行图像重建，得到分辨率更高的重建图像，充分利用了待处理图像的多尺度特征进行图像重建，从而提高了图像重建质量。
上述神经网络训练方法、装置、计算机可读存储介质和计算机设备，通过待训练的神经网络模型基于训练图像迭代进行多尺度特征提取，根据获得的第一训练特征图和训练图像的先验特征图得到第二训练特征图，从而使神经网络模型可以利用训练图像的先验知识提供丰富的重建辅助信息，并基于第二训练特征图迭代进行多尺度特征提取，将每次多尺度特征提取的结果进行特征融合，得到第三训练特征图，再根据第三训练特征图进行图像重建，得到分辨率更高的训练重建图像，使得训练得到的神经网络模型能够充分利用输入图像的多尺度特征进行图像重建，从而提高了图像重建质量。
附图说明
图1为一个实施例中图像处理方法的应用环境图；
图2为一个实施例中图像处理方法的流程示意图；
图3为一个实施例中获得第一重建特征图的流程示意图；
图4为一个实施例中二分支卷积神经网络的结构示意图；
图5为一个实施例中第一行为重建后人体语义解析的结果示意图；
图6为一个实施例中第二行为重建后人体姿态估计的结果示意图；
图7为一个实施例中添加先验估计分支前后的比较结果示意图；
图8为一个实施例中不同方式提取人体图像的先验知识的结果示意图；
图9为一个实施例中神经网络训练方法的流程示意图；
图10为一个实施例中图像处理装置的结构框图；
图11为一个实施例中神经网络训练装置的结构框图；
图12为一个实施例中计算机设备的结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
图1为一个实施例中图像处理的应用环境图。例如参照图1，该图像处理方法应用于图像超分辨率重建系统。该图像超分辨率重建系统包括终端110和服务器120。终端110和服务器120通过网络连接。终端110将待处理图像通过网络发送至服务器120，服务器120根据接收到的待处理图像迭代进行多尺度特征提取，根据获得的第一重建特征图和待处理图像的先验特征图得到第二重建特征图，从而利用待处理图像的先验知识提供丰富的重建辅助信息，并基于第二重建特征图迭代进行多尺度特征提取，将每次多尺度特征提取的结果进行特征融合，得到第三重建特征图，再根据第三重建特征图进行图像重建，得到分辨率更高的重建图像，服务120可以将得到的重建图像反馈至终端120。其中，终端110具体可以是台式终端或移动终端，移动终端具体可以手机、平板电脑、笔记本电脑等中的至少一种。服务器120可以用独立的服务器或者是多个服务器组成的服务器集群来实现。此外，也可以直接由服务器120从本地缓存中获取待处理图像进行图像处理，并得到分辨率更高的重建图像。
在一个实施例中，神经网络训练方法也可应用于图1所示图像超分辨率重建系统，例如可以通过图1中的服务器120基于训练图像进行训练，得到训练完成的神经网络模型，训练完成的神经网络模型可以对输入的待处理图像进行图像处理，输出比输入的待处理图像分辨率更高的重建图像。此外，神经网络训练方法可以由其他服务器预先训练再将训练完成的神经网络模型移植至服务器120中进行图像处理的应用。
如图2所示，在一个实施例中，提供了一种图像处理方法。本实施例主要以该方法应用于上述图1中的服务器120来举例说明。参照图2，该图像处理方法具体包括如下步骤：
S202，获取待处理图像。
待处理图像为需要进行图像超分辨率重建处理的低分辨率图像，需要将其恢复成可清晰显示的高分辨率图像。具体地，待处理图像可以为监控摄像头拍摄的监控图像、卫星采集的地面图像、医疗设备采集的医疗图像等。在具体应用时，待处理图像可以为包含特定对象的图像，如包含人体的人体图像、包含汽车的汽车图像等，从而可以对待处理图像中包含的特定对象进行有效地图像超分辨率重建。
S204，基于待处理图像迭代进行多尺度特征提取，获得第一重建特征图。
其中，迭代指每一次对过程的重复，且每一次迭代得到的结果会作为下一次迭代的初始值，即迭代指重复执行一系列运算步骤，从前面的量依次求出后面的量的过程，且此过程的每一次结果，都是由对前一次所得结果施行相同的运算步骤得到的。多尺度特征提取可以从处理对象中提取多个不同尺度的特征，多尺度特征提取的处理对象包括待处理图像及每一次迭代中多尺度特征提取的结果。第一重建特征图为对待处理图像迭代进行一次或多次多尺度特征提取后得到结果，具体应用时迭代次数可以根据计算资源的能力和特征复杂度的需求进行设置，得到的第一重建特征图融合了迭代进行多尺度特征提取得到的各种特征，可用于图像重建处理中。
具体实现时，多尺度特征提取可以通过不同的卷积操作进行实现，如通过不同的卷积核进行卷积操作。在一个具体应用中，通过不同扩张率的空洞卷积操作实现多尺度特征提取，空洞卷积操作使用的空洞卷积核中的各点间距进行了扩张，扩张率用于描述空洞卷积核中各点的间距，通过不同扩张率的空洞卷积操作可以在不增加计算量的前提下，有效提高卷积操作的感受野范围。
S206，根据第一重建特征图和待处理图像的先验特征图得到第二重建特征图。
其中，待处理图像的先验特征图反映了待处理图像的先验知识，结合该待处理图像对待处理图像进行图像重建，以利用待处理图像的先验知识进行图像重建，可以提高对待处理图像进行图像重建的重建质量。待处理图像的先验特征图可以通过对待处理图像进行先验特征提取得到，具体可以通过根据携带先验知识标签的训练图像进行训练得到的先验估计模型确定。具体地，获得第二重建特征图时，可以将第一重建特征图和待处理图像的先验特征图进行拼接，得到第二重建特征图，第二重建特征图包含了第一重建特征图的特征信息和待处理图像的先验特征图的先验知识，可以提高图像重建的质量。
S208，基于第二重建特征图迭代进行多尺度特征提取。
得到第二重建特征图后，基于该第二重建特征图迭代进行多尺度特征提取，以进一步获取不同感受野特征，丰富图像重建的特征，提高图像重建质量。具体实现时，基于第二重建特征图迭代进行多尺度特征提取时，可以将第二重建特征图作为多尺度特征提取的输入特征图，并基于该输入特征图迭代进行多次多尺度特征提取。在迭代进行多尺度特征提取时，将每一次多尺度特征提取的结果作为下一次多尺度特征提取的输入特征图进行处理，并在迭代次数达到预设迭代次数阈值时结束迭代，得到每次多尺度特征提取对应提取到的结果。在具体应用中，基于待处理图像迭代进行多尺度特征提取的迭代次数可以与基于第二重建特征图迭代进行多尺度特征提取的迭代次数相同，如均为N/2次，N可以根据实际需求进行设置，如N可以取6，则基于待处理图像迭代进行多尺度特征提取的迭代次数为3次，而基于第二重建特征图迭代进行多尺度特征提取的迭代次数也为3次。
S210，根据每次多尺度特征提取的结果进行特征融合，得到第三重建特征图。
其中，每次多尺度特征提取的结果包括基于待处理图像迭代进行多尺度特征提取中每次多尺度特征提取的结果和基于第二重建特征图迭代进行多尺度特征提取中每次多尺度特征提取的结果。例如，在一个具体应用中，基于待处理图像迭代进行多尺度特征提取中多尺度特征提取的次数为N/2次，得到N/2个结果；基于第二重建特征图迭代进行多尺度特征提取中多尺度特征提取的次数也为N/2次，得到N/2个结果；每次多尺度特征提取的结果数目为N个，即既包括基于待处理图像迭代进行多尺度特征提取中每次多尺度特征提取的结果，又包括基于第二重建特征图迭代进行多尺度特征提取中每次多尺度特征提取的结果。将每次多尺度特征提取的结果进行特征融合，具体可以将各多尺度特征提取的结果进行通道拼接，以实现特征融合，得到第三重建特征图，第三重建特征图包含了每次多尺度特征提取的结果，特征丰富，进行图像重建时可以有效提高重建质量。
S212，根据第三重建特征图进行图像重建，得到重建图像；重建图像的分辨率高于待处理图像的分辨率。
得到第三重建特征图后，基于该第三重建特征图进行图像重建，得到重建图像。具体地，可以通过一卷积核为12×12的反卷积层对该第三重建特征图进行卷积处理，得到重建图像，得到的重建图像的分辨率高于待处理图像的分辨率，从而实现了图像超分辨率重建。
上述图像处理方法，基于待处理图像迭代进行多尺度特征提取，根据获得的第一重建特征图和待处理图像的先验特征图得到第二重建特征图，从而利用待处理图像的先验知识提供丰富的重建辅助信息，并基于第二重建特征图迭代进行多尺度特征提取，将每次多尺度特征提取的结果进行特征融合，得到第三重建特征图，再根据第三重建特征图进行图像重建，得到分辨率更高的重建图像，充分利用了待处理图像的多尺度特征进行图像重建，从而提高了图像重建质量。
在一个实施例中，如图3所示，获得第一重建特征图的步骤，即基于待处理图像迭代进行多尺度特征提取，获得第一重建特征图包括：
S302，对待处理图像进行浅层特征提取，获得浅层特征图，并将浅层特征图作为多尺度特征提取的输入特征图。
本实施例中，基于待处理图像的浅层特征图迭代进行多尺度特征提取，在迭代次数满足预设迭代次数阈值时根据最后一次迭代的多尺度特征提取的结果得到第一重建特征图。具体地，得到待处理图像后，通过对待处理图像进行浅层特征提取，提取待处理图像的浅层特征图，浅层特征提取可以通过卷积操作实现。如可以依次通过两个卷积核为3×3的卷积层进行卷积操作处理后得到浅层特征图。将浅层特征图作为多尺度特征提取的输入特征图，即将该浅层特征图作为多尺度特征提取的处理初始对象进行特征提取处理。
S304，对输入特征图进行不同尺度特征提取，得到不同尺度的特征图。
确定多尺度特征提取的处理初始对象，即得到输入特征图后，对该输入特征图进行不同尺度特征提取，具体可以通过不同卷积操作，如通过多个扩张率不同的空洞卷积层对输入特征图进行卷积操作，得到不同尺度的特征图。具体应用中，可以通过5个空洞卷积层对输入特征图进行卷积操作，得到不同不同尺度的特征图，空洞卷积层的扩张率分别为1、2、3、4、5。通过带有不同扩张率的空洞卷积层输入特征图进行不同尺度特征提取，涉及参数量少，计算量小，同时能够有效提取出不同感受野特征。在具体实现时，还可以先对输入特征图进行卷积操作，已对输入特征图进行初步处理，如通过卷积核大小为3×3的卷积层对输入特征图进行卷积操作，再对卷积操作后的输入特征图进行不同尺度特征提取，得到不同尺度的特征图。
S306，根据不同尺度的特征图和输入特征图得到本次多尺度特征提取的结果。
根据得到的不同尺度的特征图和多尺度特征提取的处理初始对象，即输入特征图得到本次多尺度特征提取的结果，具体可以通过拼接各不同尺度的特征图，并融合输入特征图得到本次多尺度特征提取的结果。在具体实现时，可以将各不同尺度的特征图进行通道拼接，再对通道拼接的结果进行特征压缩，将特征压缩后的结果与输入特征图进行融合，得到本次多尺度特征提取的结果。其中，各不同尺度的特征图的通道对应于卷积操作中的卷积核，特征图通道的数目与卷积操作中的卷积核数目相同，即各不同尺度的特征图的通道数目与不同尺度特征提取中采用的卷积核的数目相同。
S308，将结果作为输入特征图，并返回对输入特征图进行不同尺度特征提取，得到不同尺度的特征图的步骤进行迭代，直到迭代次数达到迭代次数阈值时，获得第一重建特征图。
得到本次多尺度特征提取的结果后，将该本次多尺度特征提取的结果作为输入特征图，并返回对输入特征图进行不同尺度特征提取，得到不同尺度的特征图的步骤进行迭代，从而对本次多尺度特征提取的结果进行下一次的多尺度特征提取，提取更加丰富的特征用于图像重建。在迭代次数达到迭代次数阈值时，根据最后一次迭代的多尺度特征提取的结果得到第一重建特征图。具体地，可以在每一次进行多尺度特征提取后，确定迭代次数，在迭代次数达到预设的迭代次数阈值时，结束迭代，并将最后一次多尺度特征提取的结果作为第一重建特征图。其中，迭代次数阈值可以根据实际需求和条件，如计算资源能力和特征复杂度需求进行设定，如可以为3次。
在一个实施例中，根据不同尺度的特征图和输入特征图得到本次多尺度特征提取的结果包括：将各不同尺度的特征图进行通道拼接，得到特征映射图；对特征映射图进行特征压缩，得到压缩后的特征映射图；融合压缩后的特征映射图和输入特征图得到本次多尺度特征提取的结果。
本实施例中，拼接各不同尺度的特征图，并融合输入特征图作为本次多尺度特征提取的结果。具体地，获得本次多尺度特征提取的结果时，将各不同尺度的特征图进行通道拼接，得到特征映射图。各不同尺度的特征图的通道数目与不同尺度特征提取中采用的卷积核的数目相同，将各不同尺度的特征图进行通道拼接可以得到特征扩充后的特征映射图。具体实现时，将各不同尺度的特征图进行通道拼接时，按照各不同尺度的特征图对应的各通道对应进行拼接，得到特征映射图。例如一具体应用中，5个不同尺度64维的特征图，通过通道拼接，即按照通道拼接各64维的特征图后得到320维的特征映射图。对特征映射图进行特征压缩，得到压缩后的特征映射图，压缩后的特征映射图的特征维数与输入特征图的特征维数相同。具体实现时，可以通过卷积核为1×1的卷积层对特征映射图进行特征压缩，得到压缩后的特征映射图。如对320维的特征映射图进行特征压缩后，得到压缩后64维的特征映射图。融合压缩后的特征映射图和输入特征图，具体可以将压缩后的特征映射图和输入特征图按照元素，即按照像素点对应相加，实现压缩后的特征映射图和输入特征图的融合，得到本次多尺度特征提取的结果。在迭代进行多尺度特征提取时，将前一次多尺度特征提取的结果作为初始值进行多尺度特征提取，从而实现多尺度特征提取的迭代处理，提取出丰富的图像特征。
在一个实施例中，根据第一重建特征图和待处理图像的先验特征图得到第二重建特征图包括：将第一重建特征图和待处理图像的先验特征图进行通道拼接，获得第一通道拼接特征图；对第一通道拼接特征图进行卷积处理，得到第二重建特征图。
本实施例中，拼接第一重建特征图和待处理图像的先验特征图后进行卷积操作，得到第二重建特征图。具体地，得到第一重建特征图后，将第一重建特征图和待处理图像的先验特征图进行通道拼接，即按照第一重建特征图的通道和待处理图像的先验特征图的通道对应进行拼接，得到第一通道拼接特征图。再对第一通道拼接特征图进行卷积处理，如通过卷积核为1×1卷积层对第一通道拼接特征图进行卷积操作处理，得到第二重建特征图。
在一个实施例中，在根据第一重建特征图和待处理图像的先验特征图得到第二重建特征图之前，还包括：基于第一重建特征图迭代进行多尺度特征提取，获得先验深层特征图；对先验深层特征图进行分辨率变换，得到待处理图像的先验特征图。
本实施例中，基于第一重建特征图迭代进行多尺度特征提取，并对提取的结果进行分辨率变换，得到待处理图像的先验特征图。具体地，在在根据第一重建特征图和待处理图像的先验特征图得到第二重建特征图之前，基于第一重建特征图迭代进行多尺度特征提取，具体将第一重建特征图作为多尺度特征提取的输入特征图，并基于该输入特征图迭代进行多尺度特征提取。在迭代进行多尺度特征提取时，将每一次多尺度特征提取的结果作为下一次多尺度特征提取的输入特征图进行处理，并在迭代次数达到预设迭代次数阈值时结束迭代，得到每次多尺度特征提取对应提取到的结果。基于第一重建特征图迭代进行多尺度特征提取的迭代次数阈值可以根据实际需求进行设置，如可以设置为2次。对第一重建特征图迭代进行多尺度特征提取后，得到先验深层特征图，先验深层特征图反映了待处理图像深层的先验知识特征，在待处理图像为包含特定对象的图像，如待处理图像为人体图像，先验深层特征图反映了人体图像中人体的先验知识特征，基于该先验深层特征图进行图像重建，可以充分利用待处理图像深层的先验知识特征，提高图像重建的质量。
得到先验深层特征图后，对该先验深层特征图进行分辨率变换，得到待处理图像的先验特征图。具体地，对该先验深层特征图进行分辨率变换时，可以通过12×12的反卷积层对先验深层特征图进行分辨率增加变换，再通过卷积核为12×12的下采样卷积层对分辨率增加变换后的先验深层特征图进行卷积操作，得到待处理图像的先验特征图，该先验特征图的分辨率与第一重建特征图的分辨率相同。
在一个实施例中，根据每次多尺度特征提取的结果进行特征融合，得到第三重建特征图包括：获取待处理图像的浅层特征图；将每次多尺度特征提取的结果和浅层特征图进行通道拼接，获得第二通道拼接特征图；对第二通道拼接特征图进行卷积处理，得到第三重建特征图。
本实施例中，将每次多尺度特征提取的结果和待处理图像的浅层特征图进行通道拼接，并对通道拼接的结果进行卷积处理后得到第三重建特征图。具体地，融合每次多尺度特征提取的结果时，获取待处理图像的浅层特征图，浅层特征提取可以通过卷积操作实现，如可以依次通过两个卷积核为3×3的卷积层进行卷积操作处理后得到浅层特征图。将每次多尺度特征提取的结果和浅层特征图进行通道拼接，即按照每次多尺度特征提取的结果和浅层特征图的通道对应进行拼接，得到通道拼接后的第二通道拼接特征图，再对该第二通道拼接特征图进行卷积处理，如先后通过一个卷积核为1×1卷积层和一个卷积核为3×3卷积层进行卷积处理，得到特征融合后的第三重建特征图。
本实施例中，第三重建特征图根据每次多尺度特征提取的结果和待处理图像的浅层特征图按通道拼接得到，融合了各对象的特征，在进行图像重建时，可以确保图像重建的质量。
在一个实施例中，图像处理方法通过预训练的神经网络模型实现；神经网络模型的训练步骤包括：获取训练图像和训练图像对应的基准图像，基准图像的分辨率高于训练图像的分辨率；通过待训练的神经网络模型基于训练图像迭代进行多尺度特征提取，获得第一训练特征图；通过待训练的神经网络模型根据第一训练特征图和训练图像的先验特征图得到第二训练特征图；通过待训练的神经网络模型基于第二训练特征图迭代进行多尺度特征提取；通过待训练的神经网络模型根据每次多尺度特征提取的结果进行特征融合，得到第三训练特征图；通过待训练的神经网络模型根据第三训练特征图进行图像重建，得到训练重建图像；训练重建图像的分辨率高于训练图像的分辨率；根据训练重建图像和训练图像对应的基准图像调整待训练的神经网络模型的参数后继续进行训练，直至满足训练结束条件时结束训练，得到训练完成的神经网络模型。
本实施例中，通过预训练的神经网络模型实现该图像处理方法，神经网络模型具体可以包括但不限于包括信息蒸馏网络(information distillation network，IDN)、多尺度残差网络(Multi-scale Residual Network for Image Super-Resolution，MSRN)、残差信道注意网络(Residual Channel Attention Networks，RCAN)、深度背投网络(DeepBack-Projection Networks，DBPN)或卷积神经网络(Convolutional Neural Networks，CNN)等。该神经网络模型可以对输入的待处理图像进行图像重建，输出分辨率更高的重建图像。
训练神经网络模型时，获取训练图像和训练图像对应的基准图像，基准图像的分辨率高于训练图像的分辨率，训练图像可以通过对基准图像进行分辨率降低变换处理后得到。例如，可以对从ATR数据集中选取的高分辨率的基准图像进行分辨率降低变换处理，得到低分辨率的训练图像，具体可以通过双三次插值对从ATR数据集中选取的高分辨率的基准图像进行8倍下采样，得到基准图像对应的训练图像。
再通过待训练的神经网络模型对训练图像进行处理，得到训练重建图像。具体地，通过待训练的神经网络模型基于训练图像迭代进行多尺度特征提取，获得第一训练特征图；通过待训练的神经网络模型根据第一训练特征图和训练图像的先验特征图得到第二训练特征图；通过待训练的神经网络模型基于第二训练特征图迭代进行多尺度特征提取；通过待训练的神经网络模型根据每次多尺度特征提取的结果进行特征融合；得到第三训练特征图；通过待训练的神经网络模型根据第三训练特征图进行图像重建，得到训练重建图像。得到的训练重建图像的分辨率高于训练图像的分辨率。根据得到的训练重建图像和训练图像对应的基准图像调整待训练的神经网络模型的参数后继续进行训练，具体可以根据训练重建图像和训练图像对应的基准图像之间的差异，如最小化绝对误差，调整神经网络模型的参数并继续进行训练，直至满足训练结束条件时，如训练重建图像和训练图像对应的基准图像之间的差异满足预设精度要求时，结束训练，得到训练完成的神经网络模型。
在一个实施例中，待训练的神经网络模型包括先验估计分支；神经网络模型的训练步骤还包括：通过先验估计分支基于第一训练特征图迭代进行多尺度特征提取，获得先验训练特征图；通过先验估计分支对先验训练特征图进行分辨率变换，得到训练图像的先验特征图；根据先验特征图和训练图像相应预设的基准先验特征图调整先验估计分支的参数后继续进行训练，直至满足训练结束条件时结束训练，得到训练完成的先验估计分支；基准先验特征图通过对训练图像对应的基准图像进行先验特征提取得到。
本实施例中，待训练的神经网络模型还包括先验估计分支，先验估计分支用于对输入模型的待处理图像对应的第一重建特征图进行先验特征提取，得到待处理图像的先验特征图。训练先验估计分支时，通过先验估计分支对训练图像对应的第一训练特征图进行先验特征提取，得到待训练图像的先验特征图。具体地，通过先验估计分支基于第一训练特征图迭代进行多尺度特征提取，获得先验训练特征图；通过先验估计分支对先验训练特征图进行分辨率变换，得到训练图像的先验特征图。
根据得到的先验特征图和训练图像相应预设的基准先验特征图调整先验估计分支的参数后继续进行训练，直至满足训练结束条件时结束训练，得到训练完成的先验估计分支。其中，训练图像相应预设的基准先验特征图可以通过对训练图像对应的基准图像进行先验特征提取得到，具体可以通过非下采样剪切波变换或小波变换提取得到。其中，剪切波变换是一种高维信号的稀疏表示工具，在频域内逐层细分，非下采样剪切波变换避免了剪切波变换的下采样过程，并增加了平移不变性，提供了更优的图像稀疏表示能力。此外，对于训练图像包括的特定对象为人体时，还可以通过人体语义解析算法，如DeepCut算法、OpenPose算法等对训练图像对应的基准图像进行先验特征提取，得到训练图像对应的基准先验特征图。调整先验估计分支的参数时，根据得到的先验特征图和训练图像相应预设的基准先验特征图之间的差异，如最小化绝对误差，调整先验估计分支的参数并继续进行训练，直至满足训练结束条件时结束训练，得到训练完成的先验估计分支。在具体实现时，先验估计分支可以和神经网络模型同步进行训练，在满足整体训练的技术条件时，如同时满足先验估计分支和神经网络模型分别的训练条件时结束训练，从而得到整体效果满足需求的神经网络模型。
在一个实施例中，提供了一种图像处理方法，该方法通过二分支的卷积神经网络实现，该二分支卷积神经网络的结构如图4所示，包括图像重建分支和先验估计分支。在进行图像处理时，获取待处理图像，待处理图像为包括特定对象为人体的人体图像，且待处理图像的分辨率较低，需要通过图像超分辨率重建获得更高分辨率的重建图像。将待处理图像输入到图像重建分支，通过两个卷积核为3×3的卷积层后得到64维的浅层特征图F0，将浅层特征图F0作为多尺度特征提取的输入特征图，经过N/2个轻量化多尺度特征块进行多尺度特征提取。其中，对每一个轻量化多尺度特征块而言，轻量化多尺度特征块的输入表示为Fn-1，则轻量化多尺度特征块的处理包括，将Fn-1送入卷积核大小为3×3的卷积层，得到64维的特征图Mn；将得到的Mn，分别送入5个空洞卷积层，空洞卷积层的扩张率分别为1、2、3、4、5，通过每个空洞卷积层可以得到64维的特征图；将得到的各64维特征图按通道进行拼接，得到320维的特征映射图；将得到的320维的特征图输入卷积核为1×1的卷积层进行特征压缩，可以得到64维的特征压缩后的特征图
Figure BDA0002309103480000171
将轻量化多尺度特征块的输入Fn-1与得到的
Figure BDA0002309103480000172
按元素相加，得到轻量化多尺度特征块的输出Fn。
本实施例中的轻量化多尺度特征块中使用具有不同扩张率的空洞卷积层提取不同感受野上特征，使用空洞卷积的卷积核较小且保持固定，利用较少的参数量和计算量实现了轻量化的多尺度特征提取，具有参数量小，计算量少的优势，通过特征融合将所有感受野特征进行聚合和压缩即可获得多尺度特征。基于该轻量化多尺度特征块构建二分支卷积神经网络进行图像处理，对于先验估计分支可以充分考虑人体图像特殊的先验知识，对于图像重建分支，可以提供了丰富的上下文信息，从而为图像重建过程提供了丰富的形状与纹理细节，提高图像重建质量。
通过堆叠多个轻量化多尺度特征块，以实现对待处理图像的多尺度特征提取迭代。具体地，堆叠N个轻量化多尺度特征块时，将浅层特征图F0输入到第一个多尺度特征提取块中，并分别求取第n个轻量化特征块的输出，可以得到式(1)，
Fn＝Hn(Fn-1)＝Hn(Hn-1(···(H1(F0))···)) (1)
其中，n＝1,2,...,N，Fn表示第n个轻量化多尺度块的输出，Hn表示第n个轻量化多尺度块的操作函数，本实施例中，N＝6。
将第(N/2)个轻量化多尺度特征块输出的特征图F(N/2)输入到先验估计分支，先验分支堆叠E个轻量化多尺度特征块，得到人体先验的深层表示Fprior，其中，E＝2，将得到的Fprior输入到12×12的反卷积层，得到提高分辨率的上采样人体先验特征图
Figure BDA0002309103480000181
将得到的
Figure BDA0002309103480000182
输入到卷积核为12×12的下采样卷积层，得到与(2c)中F(N/2)相同分辨率的特征图，降采样的得到的先验特征图输入到图像重建分支，并与F(N/2)按通道拼接，则当n＞(N/2)时，图像重建分支中第n个轻量化特征块的输出，可以得到式(2)，
Figure BDA0002309103480000183
其中，C1表示卷积核为1×1卷积层函数，该层卷积输出64维的特征图，C2表示下采样卷积层函数，[]表示按通道拼接操作。
将图像重建分支中，所有多尺度特征块输出以及F0按通道进行拼接，并先后输入到一个卷积核为1×1卷积层和一个卷积核为3×3卷积层，得到64维的融合特征图FG，可以得到式(3)，
FG＝C0[F0,F1,...,FN] (3)
其中，C0表示卷积核分别为1×1和3×3卷积层的混合操作函数。
最后，将得到的特征图FG输入到卷积核为12×12的反卷积层，得到重建的高分辨率图像
Figure BDA0002309103480000184
从而实现对待处理图像的图像超分辨率重建处理。
进一步地，训练该二分支卷积神经网络时，先构建训练数据集和测试数据集。具体地，使用ATR数据集中的17506张图像作为训练集，从ATR、COCO及LIP数据集中分别选出200张，100张，100张组成三个测试集。将训练集图像作为高分辨率训练图像y，通过双三次插值对y进行8倍下采样，得到对应的低分辨率训练图像，并将其作为低分辨率图像作为二分支卷积网络的输入。对y进行一级非下采样剪切波变换得到10个高频子带，将10个高频子带按元素相加得到人体图像的先验特征图p。通过非下采样剪切变换波变换来表示人体图像的先验知识，可以从高分辨率人体图像中挖掘出全局的形状和局部的纹理信息，将这些信息用作人体图像的先验知识，通过先验估计分支进行估计后反馈给图像重建分支。非下采样变换可以有效地表示出人体图像的重要高频信息，这些高频信息主要包括人体的全局形状和局部纹理细节，可以为高分辨人体图像重建提供更丰富的细节。另外，当图像中人体处于遮挡严重或者姿势变化大的情况下，非下采样剪切波变换作为先验表示的方法仍然具有较好地鲁棒性，仍然可以提取出丰富的先验信息来辅助重建更好的高分辨人体图像。通过非下采样剪切波变换得到人体图像的先验特征图，可以有效地表示出高分辨率人体图像的全局形状和局部纹理信息。
模型训练时，在图像重建分支，使用最小化绝对误差损失函数计算图像重建误差，得到式(4)
Figure BDA0002309103480000191
其中，T为训练样本个数，y(i)和
Figure BDA0002309103480000192
分别表示第i个训练图像和第i个训练图像对应的重建图像，θ1表示图像重建分支的模型参数。
在先验估计分支，使用最小化绝对误差损失函数计算先验估计误差，得到式(5)，
Figure BDA0002309103480000193
其中，p(i)和
Figure BDA0002309103480000194
分别第i个训练特征图和第i个训练特征图对应估计的人体先验特征图，θ2表示先验估计分支的模型参数。
使用ADAM优化器同时训练两个分支，初始学习率为0.0001，训练样本全部训练50次后学习率降低一半，模型的整体损失函数可以得到式(6)，
Figure BDA0002309103480000201
其中，α为0.5，
Figure BDA0002309103480000202
表示整个二分支卷积神经网络模型需要学习的模型参数。在具体实现时，模型在单独一块Tesla P40GPU上收敛需要8个小时左右，即可完成训练。
进一步地，通过测试数据对模型进行了性能验证，并与传统方法进行对比。如下表1和表2所示，其中，表1为在人体语义解析任务上，不同图像处理方法重建图像的IoU(Intersection over Union，重叠度)结果；表2为在人体姿态估计任务上，不同图像处理方法重建图像的mAP(mean Average Precision，平均的平均精确度)结果。
测试集 双三次插值 DBPN RCAN 本实施例
ATR测试集 0.6997 0.7960 0.8054 0.8241
LIP测试集 0.6646 0.7825 0.7915 0.8080
表1
测试集 双三次插值 DBPN RCAN 本实施例
COCO测试集 0.602 0.701 0.714 0.725
表2
具体地，对于人体语义解析任务，使用已训练好的LIP(Logarithm ImageProcessing，对数图像处理)模型对不同超分辨率方法重建的人体图像进行语义解析，在ATR和LIP测试集上利用IoU指标评估人体语义解析的性能。对于人体姿态估计任务，使用已训练好的HRNet(High-Resolution Net，高分辨率网络)模型对不同超分辨率方法重建的人体图像进行关键点定位，在COCO测试集上给出mAP指标用来评估人体姿态估计的性能。IoU和mAP数值越大，表示性能越好。根据表1和表2可以看出，本实施例图像处理方法，在人体语义解析和人体姿态估计两项任务上，本实施例的性能均表现更好。
本实施例中，通过二分支卷积神经网络进行图像处理，实现对待处理图像的图像超分辨率重建，模型参数量少、超分辨率重建质量高。不仅可以用于图像超分辨率重建，改善低分辨率人体图像的视觉质量；还可以作为一种预处理方法，显著提升低分辨率人体图像在人体姿态估计和人体语义解析两项任务上的性能。
如图5和图6所示，为本实施例针对待处理图像为人体图像进行图像处理，及其他处理方式的效果比较示意图。其中，图5为第一行为超分辨率重建在人体语义解析任务的结果，图6为第二行为重建人体图像在人体姿态估计任务上的结果。可以看出，相比于传统的基于双三次插值的图像重建方法、DBPN方法和RCAN方法，本实施例重建的高分辨率图像视觉质量更高，人体更加清晰，且在人体图像语义解析和姿态估计任务上均展现了更优的性能，人体图像语义解析和姿态估计的结果准确性更高。
如下表3所示，为不同图像处理方法的参数量以及分别在ATR、LIP和COCO三个测试集进行图像重建结果的比较。表中，PSNR(Peak Signal to Noise Ratio)表示峰值信噪比，SSIM(Structural Similarity Index)表示结构相似性，这两种指标都可以用来衡量超分辨率重建图像的质量，数值越大表示重建图像越接近目标图像，说明超分辨率重建方法的性能越好。
Figure BDA0002309103480000211
表3
由表3可以看出，本实施例提供的图像处理方法参数量明显小于DBPN方法和RCAN方法，这尤其对于需要轻量化模型的移动端设备来说，本实施例的轻量化、高性能方法显然具有更大的应用价值。
此外，如图7所示，将本实施例中二分支卷积神经网络模型中的先验估计分支分别与IDN模型、MSRN模型、RCAN模型和DBPN模型进行结合，即在IDN模型、MSRN模型、RCAN模型和DBPN模型分别加入本实施例中的先验估计分支进行处理，得到在ATR测试集上添加先验估计分支前后的比较结果。可以看出，对于IDN模型，添加先验估计分支后，峰值信噪比提升了0.34dB；对于MSRN模型，添加先验估计分支后，峰值信噪比提升了0.28dB；对于RCAN模型，添加先验估计分支后，峰值信噪比提升了0.26dB；对于DBPN模型，添加先验估计分支后，峰值信噪比提升了0.23dB；即均取得到显著的性能提升效果。
进一步地，如图8所示，为另一个实施例中，通过不同方式，包括人体语义解析、小波变换、非下采样剪切波变换等提取人体图像的先验知识的处理比较。具体地，分别使用人体语义解析、小波变换以及非下采样剪切波变换来提取出人体图像的先验信息；然后，分别利用先验估计分支生成这些信息，并将这些信息作为额外的辅助信息反馈给图像重建分支。分别在ATR测试集、LIP测试集和COCO测试集三个测试集上进行测试。图8中，每个测试集从左到右分别为单独图像重建分支(无先验估计分支)的结果、结合人体语义解析先验估计分支的结果、结合小波变换先验估计分支的结果，以及结合非下采样剪切波变换先验估计分支的结果。可以看出，与无先验分支的模型相比，结合基于不同先验表示方法设计的先验估计分支的峰值信噪比都得到了不同程度的提升，即都可以带来超分辨率性能的显著提升。
在一个实施例中，如图9所示，提供了一种神经网络训练方法。本实施例主要以该方法应用于上述图1中的服务器120来举例说明，例如，训练得到的神经网络模型可以对服务器120接收到的待处理图像进行图像处理，输出该待处理图像对应的高分辨率的重建图像。具体地，神经网络模型可以基于输入的待处理图像迭代进行多尺度特征提取，根据获得的第一重建特征图和待处理图像的先验特征图得到第二重建特征图，从而利用待处理图像的先验知识提供丰富的重建辅助信息，并基于第二重建特征图迭代进行多尺度特征提取，将每次多尺度特征提取的结果进行特征融合，得到第三重建特征图，再根据第三重建特征图进行图像重建，输出得到的分辨率更高的重建图像。参照图9，该神经网络训练方法具体包括如下步骤：包括：
S902，获取训练图像和训练图像对应的基准图像，基准图像的分辨率高于训练图像的分辨率。
S904，通过待训练的神经网络模型基于训练图像迭代进行多尺度特征提取，获得第一训练特征图。
S906，通过待训练的神经网络模型根据第一训练特征图和训练图像的先验特征图得到第二训练特征图。
S908，通过待训练的神经网络模型基于第二训练特征图迭代进行多尺度特征提取。
S910，通过待训练的神经网络模型根据每次多尺度特征提取的结果进行特征融合，得到第三训练特征图。
S912，通过待训练的神经网络模型根据第三训练特征图进行图像重建，得到训练重建图像；训练重建图像的分辨率高于训练图像的分辨率。
S914，根据训练重建图像和训练图像对应的基准图像调整待训练的神经网络模型的参数后继续进行训练，直至满足训练结束条件时结束训练，得到训练完成的神经网络模型。
本实施例中，通过预训练的神经网络模型实现该图像处理方法，神经网络模型具体可以包括但不限于包括信息蒸馏网络(information distillation network，IDN)、多尺度残差网络(Multi-scale Residual Network for Image Super-Resolution，MSRN)、残差信道注意网络(Residual Channel Attention Networks，RCAN)、深度背投网络(DeepBack-Projection Networks，DBPN)或卷积神经网络(Convolutional Neural Networks，CNN)等。该神经网络模型可以对输入的待处理图像进行图像重建，输出分辨率更高的重建图像。
训练神经网络模型时，获取训练图像和训练图像对应的基准图像，基准图像的分辨率高于训练图像的分辨率，训练图像可以通过对基准图像进行分辨率降低变换处理后得到。例如，可以对从ATR数据集中选取的高分辨率的基准图像进行分辨率降低变换处理，得到低分辨率的训练图像，具体可以通过双三次插值对从ATR数据集中选取的高分辨率的基准图像进行8倍下采样，得到基准图像对应的训练图像。
再通过待训练的神经网络模型对训练图像进行处理，得到训练重建图像。具体地，通过待训练的神经网络模型基于训练图像迭代进行多尺度特征提取，获得第一训练特征图；通过待训练的神经网络模型根据第一训练特征图和训练图像的先验特征图得到第二训练特征图；通过待训练的神经网络模型基于第二训练特征图迭代进行多尺度特征提取；通过待训练的神经网络模型根据每次多尺度特征提取的结果进行特征融合；得到第三训练特征图；通过待训练的神经网络模型根据第三训练特征图进行图像重建，得到训练重建图像。得到的训练重建图像的分辨率高于训练图像的分辨率。根据得到的训练重建图像和训练图像对应的基准图像调整待训练的神经网络模型的参数后继续进行训练，具体可以根据训练重建图像和训练图像对应的基准图像之间的差异，如最小化绝对误差，调整神经网络模型的参数并继续进行训练，直至满足训练结束条件时，如训练重建图像和训练图像对应的基准图像之间的差异满足预设精度要求时，结束训练，得到训练完成的神经网络模型。
上述神经网络训练方法，通过待训练的神经网络模型基于训练图像迭代进行多尺度特征提取，根据获得的第一训练特征图和训练图像的先验特征图得到第二训练特征图，从而使神经网络模型可以利用训练图像的先验知识提供丰富的重建辅助信息，并基于第二训练特征图迭代进行多尺度特征提取，将每次多尺度特征提取的结果进行特征融合，得到第三训练特征图，再根据第三训练特征图进行图像重建，得到分辨率更高的训练重建图像，使得训练得到的神经网络模型能够充分利用输入图像的多尺度特征进行图像重建，从而提高了图像重建质量。
在一个实施例中，待训练的神经网络模型包括先验估计分支；神经网络训练方法还包括：通过先验估计分支基于第一训练特征图迭代进行多尺度特征提取，获得先验训练特征图；通过先验估计分支对先验训练特征图进行分辨率变换，得到训练图像的先验特征图；根据先验特征图和训练图像相应预设的基准先验特征图调整先验估计分支的参数后继续进行训练，直至满足训练结束条件时结束训练，得到训练完成的先验估计分支；基准先验特征图通过对训练图像对应的基准图像进行先验特征提取得到。
本实施例中，待训练的神经网络模型还包括先验估计分支，先验估计分支用于对输入模型的待处理图像对应的第一重建特征图进行先验特征提取，得到待处理图像的先验特征图。训练先验估计分支时，通过先验估计分支对训练图像对应的第一训练特征图进行先验特征提取，得到待训练图像的先验特征图。具体地，通过先验估计分支基于第一训练特征图迭代进行多尺度特征提取，获得先验训练特征图；通过先验估计分支对先验训练特征图进行分辨率变换，得到训练图像的先验特征图。
根据得到的先验特征图和训练图像相应预设的基准先验特征图调整先验估计分支的参数后继续进行训练，直至满足训练结束条件时结束训练，得到训练完成的先验估计分支。其中，训练图像相应预设的基准先验特征图可以通过对训练图像对应的基准图像进行先验特征提取得到，具体可以通过非下采样剪切波变换或小波变换提取得到。其中，剪切波变换是一种高维信号的稀疏表示工具，在频域内逐层细分，非下采样剪切波变换避免了剪切波变换的下采样过程，并增加了平移不变性，提供了更优的图像稀疏表示能力。此外，对于训练图像包括的特定对象为人体时，还可以通过人体语义解析算法，如DeepCut算法、OpenPose算法等对训练图像对应的基准图像进行先验特征提取，得到训练图像对应的基准先验特征图。调整先验估计分支的参数时，根据得到的先验特征图和训练图像相应预设的基准先验特征图之间的差异，如最小化绝对误差，调整先验估计分支的参数并继续进行训练，直至满足训练结束条件时结束训练，得到训练完成的先验估计分支。在具体实现时，先验估计分支可以和神经网络模型同步进行训练，在满足整体训练的技术条件时，如同时满足先验估计分支和神经网络模型分别的训练条件时结束训练，从而得到整体效果满足需求的神经网络模型。
图2为一个实施例中图像处理方法的流程示意图。图9为一个实施例中神经网络训练方法的流程示意图。应该理解的是，虽然图2或图9的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2或图9中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
如图10所示，在一个实施例中，提供了一种图像处理装置1000，包括：
图像获取模块1002，用于获取待处理图像；
第一重建特征图获得模块1004，用于基于待处理图像迭代进行多尺度特征提取，获得第一重建特征图；
第二重建特征图获得模块1006，用于根据第一重建特征图和待处理图像的先验特征图得到第二重建特征图；
第二重建特征图处理模块1008，用于基于第二重建特征图迭代进行多尺度特征提取；
第三重建特征图获得模块1010，用于根据每次多尺度特征提取的结果进行特征融合，得到第三重建特征图；
图像重建处理模块1012，用于根据第三重建特征图进行图像重建，得到重建图像；重建图像的分辨率高于待处理图像的分辨率。
在一个实施例中，第一重建特征图获得模块1004包括：输入特征图确定模块、多尺度特征提取模块、特征提取结果确定模块和特征提取迭代模块；其中：输入特征图确定模块，用于对待处理图像进行浅层特征提取，获得浅层特征图，并将浅层特征图作为多尺度特征提取的输入特征图；多尺度特征提取模块，用于对输入特征图进行不同尺度特征提取，得到不同尺度的特征图；特征提取结果确定模块，用于根据不同尺度的特征图和输入特征图得到本次多尺度特征提取的结果；特征提取迭代模块，用于将结果作为输入特征图，并返回对输入特征图进行不同尺度特征提取，得到不同尺度的特征图的步骤进行迭代，直到迭代次数达到迭代次数阈值时，获得第一重建特征图。
在一个实施例中，特征提取结果确定模块包括特征映射图获得模块、特征压缩模块和特征图融合模块；其中：特征映射图获得模块，用于将各不同尺度的特征图进行通道拼接，得到特征映射图；特征压缩模块，用于对特征映射图进行特征压缩，得到压缩后的特征映射图；特征图融合模块，用于融合压缩后的特征映射图和输入特征图得到本次多尺度特征提取的结果。
在一个实施例中，第二重建特征图获得模块1006包括第一通道拼接特征图获得模块和第一通道拼接特征图处理模块；其中：第一通道拼接特征图获得模块，用于将第一重建特征图和待处理图像的先验特征图进行通道拼接，获得第一通道拼接特征图；第一通道拼接特征图处理模块，用于对第一通道拼接特征图进行卷积处理，得到第二重建特征图。
在一个实施例中，还包括先验深层特征图获得模块和先验特征图获得模块；其中：先验深层特征图获得模块，用于基于第一重建特征图迭代进行多尺度特征提取，获得先验深层特征图；先验特征图获得模块，用于对先验深层特征图进行分辨率变换，得到待处理图像的先验特征图。
在一个实施例中，第三重建特征图获得模块1010包括浅层特征图获得模块、第二通道拼接特征图获得模块和第二通道拼接特征图处理模块；其中：浅层特征图获得模块，用于获取待处理图像的浅层特征图；第二通道拼接特征图获得模块，用于将每次多尺度特征提取的结果和浅层特征图进行通道拼接，获得第二通道拼接特征图；第二通道拼接特征图处理模块，用于对第二通道拼接特征图进行卷积处理，得到第三重建特征图。
在一个实施例中，还包括训练图像获取模块，用于获取训练图像和训练图像对应的基准图像，基准图像的分辨率高于训练图像的分辨率；
第一训练特征图获得模块，用于通过待训练的神经网络模型基于训练图像迭代进行多尺度特征提取，获得第一训练特征图；
第二训练特征图获得模块，用于通过待训练的神经网络模型根据第一训练特征图和训练图像的先验特征图得到第二训练特征图；
第二训练特征图处理模块，用于通过待训练的神经网络模型基于第二训练特征图迭代进行多尺度特征提取；
第三训练特征图获得模块，用于通过待训练的神经网络模型根据每次多尺度特征提取的结果进行特征融合，得到第三训练特征图；
训练图像重建处理模块，用于通过待训练的神经网络模型根据第三训练特征图进行图像重建，得到训练重建图像；训练重建图像的分辨率高于训练图像的分辨率；
训练迭代处理模块，用于根据训练重建图像和训练图像对应的基准图像调整待训练的神经网络模型的参数后继续进行训练，直至满足训练结束条件时结束训练，得到训练完成的神经网络模型。
在一个实施例中，待训练的神经网络模型包括先验估计分支；还包括先验训练特征图获得模块、先验训练特征图处理模块和先验估计分支获得模块；其中：先验训练特征图获得模块，用于通过先验估计分支基于第一训练特征图迭代进行多尺度特征提取，获得先验训练特征图；先验训练特征图处理模块，用于通过先验估计分支对先验训练特征图进行分辨率变换，得到训练图像的先验特征图；先验估计分支获得模块，用于根据先验特征图和训练图像相应预设的基准先验特征图调整先验估计分支的参数后继续进行训练，直至满足训练结束条件时结束训练，得到训练完成的先验估计分支；基准先验特征图通过对训练图像对应的基准图像进行先验特征提取得到。
如图11所示，在一个实施例中，提供了一种神经网络训练装置1100，包括：
训练图像获取模块1102，用于获取训练图像和训练图像对应的基准图像，基准图像的分辨率高于训练图像的分辨率；
第一训练特征图获得模块1104，用于通过待训练的神经网络模型基于训练图像迭代进行多尺度特征提取，获得第一训练特征图；
第二训练特征图获得模块1106，用于通过待训练的神经网络模型根据第一训练特征图和训练图像的先验特征图得到第二训练特征图；
第二训练特征图处理模块1108，用于通过待训练的神经网络模型基于第二训练特征图迭代进行多尺度特征提取；
第三训练特征图获得模块1110，用于通过待训练的神经网络模型根据每次多尺度特征提取的结果进行特征融合，得到第三训练特征图；
训练图像重建处理模块1112，用于通过待训练的神经网络模型根据第三训练特征图进行图像重建，得到训练重建图像；训练重建图像的分辨率高于训练图像的分辨率；
训练迭代处理模块1114，用于根据训练重建图像和训练图像对应的基准图像调整待训练的神经网络模型的参数后继续进行训练，直至满足训练结束条件时结束训练，得到训练完成的神经网络模型。
在一个实施例中，待训练的神经网络模型包括先验估计分支；神经网络训练装置1100还包括先验训练特征图获得模块、先验训练特征图处理模块和先验估计分支获得模块；其中：先验训练特征图获得模块，用于通过先验估计分支基于第一训练特征图迭代进行多尺度特征提取，获得先验训练特征图；先验训练特征图处理模块，用于通过先验估计分支对先验训练特征图进行分辨率变换，得到训练图像的先验特征图；先验估计分支获得模块，用于根据先验特征图和训练图像相应预设的基准先验特征图调整先验估计分支的参数后继续进行训练，直至满足训练结束条件时结束训练，得到训练完成的先验估计分支；基准先验特征图通过对训练图像对应的基准图像进行先验特征提取得到。
图12示出了一个实施例中计算机设备的内部结构图。该计算机设备具体可以是图1中的服务器120。如图12所示，该计算机设备包括该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、输入装置。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现图像处理方法或神经网络训练方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行图像处理方法或神经网络训练方法。
本领域技术人员可以理解，图12中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，本申请提供的图像处理装置可以实现为一种计算机程序的形式，计算机程序可在如图12所示的计算机设备上运行。计算机设备的存储器中可存储组成该图像处理装置的各个程序模块，比如，图10所示的图像获取模块1002、第一重建特征图获得模块1004、第二重建特征图获得模块1006、第二重建特征图处理模块1008、第三重建特征图获得模块1010和图像重建处理模块1012。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的图像处理方法中的步骤。
例如，图12所示的计算机设备可以通过如图10所示的图像处理装置中的图像获取模块1002执行获取待处理图像。计算机设备可通过第一重建特征图获得模块1004执行基于待处理图像迭代进行多尺度特征提取，获得第一重建特征图。计算机设备可通过第二重建特征图获得模块1006执行根据第一重建特征图和待处理图像的先验特征图得到第二重建特征图。计算机设备可通过第二重建特征图处理模块1008执行基于第二重建特征图迭代进行多尺度特征提取。计算机设备可通过第三重建特征图获得模块1010执行根据每次多尺度特征提取的结果进行特征融合，得到第三重建特征图。计算机设备可通过图像重建处理模块1012执行根据第三重建特征图进行图像重建，得到重建图像；重建图像的分辨率高于待处理图像的分辨率。
在一个实施例中，本申请提供的神经网络训练装置可以实现为一种计算机程序的形式，计算机程序可在如图12所示的计算机设备上运行。计算机设备的存储器中可存储组成该神经网络训练装置的各个程序模块，比如，图11所示的训练图像获取模块1102、第一训练特征图获得模块1104、第二训练特征图获得模块1106、第二训练特征图处理模块1108、第三训练特征图获得模块1110、训练图像重建处理模块1112和训练迭代处理模块1114。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的神经网络训练方法中的步骤。
例如，图12所示的计算机设备可以通过如图11所示的神经网络训练装置中的训练图像获取模块1102执行获取训练图像和训练图像对应的基准图像，基准图像的分辨率高于训练图像的分辨率。计算机设备可通过第一训练特征图获得模块1104执行通过待训练的神经网络模型基于训练图像迭代进行多尺度特征提取，获得第一训练特征图。计算机设备可通过第二训练特征图获得模块1106执行通过待训练的神经网络模型根据第一训练特征图和训练图像的先验特征图得到第二训练特征图。计算机设备可通过第二训练特征图处理模块1108执行通过待训练的神经网络模型基于第二训练特征图迭代进行多尺度特征提取。计算机设备可通过第三训练特征图获得模块1110执行通过待训练的神经网络模型根据每次多尺度特征提取的结果进行特征融合，得到第三训练特征图。计算机设备可通过训练图像重建处理模块1112执行通过待训练的神经网络模型根据第三训练特征图进行图像重建，得到训练重建图像；训练重建图像的分辨率高于训练图像的分辨率。计算机设备可通过训练迭代处理模块1114执行根据训练重建图像和训练图像对应的基准图像调整待训练的神经网络模型的参数后继续进行训练，直至满足训练结束条件时结束训练，得到训练完成的神经网络模型。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，计算机程序被处理器执行时，使得处理器执行上述图像处理方法的步骤。此处图像处理方法的步骤可以是上述各个实施例的图像处理方法中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时，使得处理器执行上述图像处理方法的步骤。此处图像处理方法的步骤可以是上述各个实施例的图像处理方法中的步骤。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，计算机程序被处理器执行时，使得处理器执行上述神经网络训练方法的步骤。此处神经网络训练方法的步骤可以是上述各个实施例的神经网络训练方法中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时，使得处理器执行上述神经网络训练方法的步骤。此处神经网络训练方法的步骤可以是上述各个实施例的神经网络训练方法中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (15)

1.一种图像处理方法，包括：
获取待处理图像；
基于所述待处理图像迭代进行多尺度特征提取，获得第一重建特征图；
根据所述第一重建特征图和所述待处理图像的先验特征图得到第二重建特征图；
基于所述第二重建特征图迭代进行所述多尺度特征提取；
根据每次所述多尺度特征提取的结果进行特征融合，得到第三重建特征图；
根据所述第三重建特征图进行图像重建，得到重建图像；所述重建图像的分辨率高于所述待处理图像的分辨率。
2.根据权利要求1所述的方法，其特征在于，所述基于所述待处理图像迭代进行多尺度特征提取，获得第一重建特征图包括：
对所述待处理图像进行浅层特征提取，获得浅层特征图，并将所述浅层特征图作为多尺度特征提取的输入特征图；
对所述输入特征图进行不同尺度特征提取，得到不同尺度的特征图；
根据所述不同尺度的特征图和所述输入特征图得到本次多尺度特征提取的结果；
将所述结果作为输入特征图，并返回所述对所述输入特征图进行不同尺度特征提取，得到不同尺度的特征图的步骤进行迭代，直到迭代次数达到迭代次数阈值时，获得所述第一重建特征图。
3.根据权利要求2所述的方法，其特征在于，所述根据所述不同尺度的特征图和所述输入特征图得到本次多尺度特征提取的结果包括：
将各所述不同尺度的特征图进行通道拼接，得到特征映射图；
对所述特征映射图进行特征压缩，得到压缩后的特征映射图；
融合所述压缩后的特征映射图和所述输入特征图得到所述本次多尺度特征提取的结果。
4.根据权利要求1所述的方法，其特征在于，所述根据所述第一重建特征图和所述待处理图像的先验特征图得到第二重建特征图包括：
将所述第一重建特征图和所述待处理图像的先验特征图进行通道拼接，获得第一通道拼接特征图；
对所述第一通道拼接特征图进行卷积处理，得到所述第二重建特征图。
5.根据权利要求1所述的方法，其特征在于，在所述根据所述第一重建特征图和所述待处理图像的先验特征图得到第二重建特征图之前，还包括：
基于所述第一重建特征图迭代进行多尺度特征提取，获得先验深层特征图；
对所述先验深层特征图进行分辨率变换，得到所述待处理图像的先验特征图。
6.根据权利要求1所述的方法，其特征在于，所述根据每次所述多尺度特征提取的结果进行特征融合，得到第三重建特征图包括：
获取所述待处理图像的浅层特征图；
将每次所述多尺度特征提取的结果和所述浅层特征图进行通道拼接，获得第二通道拼接特征图；
对所述第二通道拼接特征图进行卷积处理，得到所述第三重建特征图。
7.根据权利要求1至6任意一项所述的方法，其特征在于，所述方法通过预训练的神经网络模型实现；所述神经网络模型的训练步骤包括：
获取训练图像和所述训练图像对应的基准图像，所述基准图像的分辨率高于所述训练图像的分辨率；
通过待训练的神经网络模型基于所述训练图像迭代进行多尺度特征提取，获得第一训练特征图；
通过所述待训练的神经网络模型根据所述第一训练特征图和所述训练图像的先验特征图得到第二训练特征图；
通过所述待训练的神经网络模型基于所述第二训练特征图迭代进行所述多尺度特征提取；
通过所述待训练的神经网络模型根据每次所述多尺度特征提取的结果进行特征融合，得到第三训练特征图；
通过所述待训练的神经网络模型根据所述第三训练特征图进行图像重建，得到训练重建图像；所述训练重建图像的分辨率高于所述训练图像的分辨率；
根据所述训练重建图像和所述训练图像对应的基准图像调整所述待训练的神经网络模型的参数后继续进行训练，直至满足训练结束条件时结束训练，得到训练完成的神经网络模型。
8.根据权利要求7所述的方法，其特征在于，所述待训练的神经网络模型包括先验估计分支；所述神经网络模型的训练步骤还包括：
通过所述先验估计分支基于所述第一训练特征图迭代进行多尺度特征提取，获得先验训练特征图；
通过所述先验估计分支对所述先验训练特征图进行分辨率变换，得到所述训练图像的先验特征图；
根据所述先验特征图和所述训练图像相应预设的基准先验特征图调整所述先验估计分支的参数后继续进行训练，直至满足训练结束条件时结束训练，得到训练完成的先验估计分支；所述基准先验特征图通过对所述训练图像对应的基准图像进行先验特征提取得到。
9.一种神经网络训练方法，包括：
获取训练图像和所述训练图像对应的基准图像，所述基准图像的分辨率高于所述训练图像的分辨率；
通过待训练的神经网络模型基于所述训练图像迭代进行多尺度特征提取，获得第一训练特征图；
通过所述待训练的神经网络模型根据所述第一训练特征图和所述训练图像的先验特征图得到第二训练特征图；
通过所述待训练的神经网络模型基于所述第二训练特征图迭代进行所述多尺度特征提取；
通过所述待训练的神经网络模型根据每次所述多尺度特征提取的结果进行特征融合，得到第三训练特征图；
通过所述待训练的神经网络模型根据所述第三训练特征图进行图像重建，得到训练重建图像；所述训练重建图像的分辨率高于所述训练图像的分辨率；
根据所述训练重建图像和所述训练图像对应的基准图像调整所述待训练的神经网络模型的参数后继续进行训练，直至满足训练结束条件时结束训练，得到训练完成的神经网络模型。
10.根据权利要求9所述的方法，其特征在于，所述待训练的神经网络模型包括先验估计分支；所述方法还包括：
通过所述先验估计分支基于所述第一训练特征图迭代进行多尺度特征提取，获得先验训练特征图；
通过所述先验估计分支对所述先验训练特征图进行分辨率变换，得到所述训练图像的先验特征图；
根据所述先验特征图和所述训练图像相应预设的基准先验特征图调整所述先验估计分支的参数后继续进行训练，直至满足训练结束条件时结束训练，得到训练完成的先验估计分支；所述基准先验特征图通过对所述训练图像对应的基准图像进行先验特征提取得到。
11.一种图像处理装置，其特征在于，所述装置包括：
图像获取模块，用于获取待处理图像；
第一重建特征图获得模块，用于基于所述待处理图像迭代进行多尺度特征提取，获得第一重建特征图；
第二重建特征图获得模块，用于根据所述第一重建特征图和所述待处理图像的先验特征图得到第二重建特征图；
第二重建特征图处理模块，用于基于所述第二重建特征图迭代进行所述多尺度特征提取；
第三重建特征图获得模块，用于根据每次所述多尺度特征提取的结果进行特征融合，得到第三重建特征图；
图像重建处理模块，用于根据所述第三重建特征图进行图像重建，得到重建图像；所述重建图像的分辨率高于所述待处理图像的分辨率。
12.根据权利要求11所述的装置，其特征在于，所述第一重建特征图获得模块包括：
输入特征图确定模块，用于对所述待处理图像进行浅层特征提取，获得浅层特征图，并将所述浅层特征图作为多尺度特征提取的输入特征图；
多尺度特征提取模块，用于对所述输入特征图进行不同尺度特征提取，得到不同尺度的特征图；
特征提取结果确定模块，用于根据所述不同尺度的特征图和所述输入特征图得到本次多尺度特征提取的结果；
特征提取迭代模块，用于将所述结果作为输入特征图，并返回所述对所述输入特征图进行不同尺度特征提取，得到不同尺度的特征图的步骤进行迭代，直到迭代次数达到迭代次数阈值时，获得所述第一重建特征图。
13.一种神经网络训练装置，其特征在于，所述装置包括：
训练图像获取模块，用于获取训练图像和所述训练图像对应的基准图像，所述基准图像的分辨率高于所述训练图像的分辨率；
第一训练特征图获得模块，用于通过待训练的神经网络模型基于所述训练图像迭代进行多尺度特征提取，获得第一训练特征图；
第二训练特征图获得模块，用于通过所述待训练的神经网络模型根据所述第一训练特征图和所述训练图像的先验特征图得到第二训练特征图；
第二训练特征图处理模块，用于通过所述待训练的神经网络模型基于所述第二训练特征图迭代进行所述多尺度特征提取；
第三训练特征图获得模块，用于通过所述待训练的神经网络模型根据每次所述多尺度特征提取的结果进行特征融合，得到第三训练特征图；
训练图像重建处理模块，用于通过所述待训练的神经网络模型根据所述第三训练特征图进行图像重建，得到训练重建图像；所述训练重建图像的分辨率高于所述训练图像的分辨率；
训练迭代处理模块，用于根据所述训练重建图像和所述训练图像对应的基准图像调整所述待训练的神经网络模型的参数后继续进行训练，直至满足训练结束条件时结束训练，得到训练完成的神经网络模型。
14.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1至10中任一项所述方法的步骤。
15.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至10中任一项所述方法的步骤。
CN201911251254.XA 2019-12-09 2019-12-09 图像处理和神经网络训练方法、装置及计算机设备 Active CN111028153B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911251254.XA CN111028153B (zh) 2019-12-09 2019-12-09 图像处理和神经网络训练方法、装置及计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911251254.XA CN111028153B (zh) 2019-12-09 2019-12-09 图像处理和神经网络训练方法、装置及计算机设备

Publications (2)

Publication Number Publication Date
CN111028153A true CN111028153A (zh) 2020-04-17
CN111028153B CN111028153B (zh) 2024-05-07

Family

ID=70208545

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911251254.XA Active CN111028153B (zh) 2019-12-09 2019-12-09 图像处理和神经网络训练方法、装置及计算机设备

Country Status (1)

Country Link
CN (1) CN111028153B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111726633A (zh) * 2020-05-11 2020-09-29 河南大学 基于深度学习和显著性感知的压缩视频流再编码方法
CN111935417A (zh) * 2020-07-02 2020-11-13 清华大学 基于多尺度相机阵列的分级视频拼接方法及装置
CN112614072A (zh) * 2020-12-29 2021-04-06 北京航空航天大学合肥创新研究院 一种图像复原方法、装置、图像复原设备及存储介质
CN113538233A (zh) * 2021-06-25 2021-10-22 华东师范大学 一种基于自蒸馏对比学习的超分辨率模型压缩和加速方法
CN113538604A (zh) * 2020-04-21 2021-10-22 中移(成都)信息通信科技有限公司 图像生成方法、装置、设备及介质
CN113628144A (zh) * 2021-08-25 2021-11-09 厦门美图之家科技有限公司 人像修复方法、装置、电子设备及存储介质
CN115759202A (zh) * 2022-11-22 2023-03-07 江苏济远医疗科技有限公司 一种可变空洞卷积的稠密图像超分辨率网络
WO2023108968A1 (zh) * 2021-12-14 2023-06-22 北京邮电大学 基于知识驱动的深度学习图像分类方法和系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2656129A1 (fr) * 1989-12-20 1991-06-21 Gen Electric Cgr Procede de reconstruction multi-echelle de l'image de la structure d'un corps.
CN107240066A (zh) * 2017-04-28 2017-10-10 天津大学 基于浅层和深层卷积神经网络的图像超分辨率重建算法
CN108537731A (zh) * 2017-12-29 2018-09-14 西安电子科技大学 基于压缩多尺度特征融合网络的图像超分辨率重建方法
CN109410239A (zh) * 2018-11-07 2019-03-01 南京大学 一种基于条件生成对抗网络的文本图像超分辨率重建方法
CN109685717A (zh) * 2018-12-14 2019-04-26 厦门理工学院 图像超分辨率重建方法、装置及电子设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2656129A1 (fr) * 1989-12-20 1991-06-21 Gen Electric Cgr Procede de reconstruction multi-echelle de l'image de la structure d'un corps.
CN107240066A (zh) * 2017-04-28 2017-10-10 天津大学 基于浅层和深层卷积神经网络的图像超分辨率重建算法
CN108537731A (zh) * 2017-12-29 2018-09-14 西安电子科技大学 基于压缩多尺度特征融合网络的图像超分辨率重建方法
CN109410239A (zh) * 2018-11-07 2019-03-01 南京大学 一种基于条件生成对抗网络的文本图像超分辨率重建方法
CN109685717A (zh) * 2018-12-14 2019-04-26 厦门理工学院 图像超分辨率重建方法、装置及电子设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LIU HENG 等: "Single image super-resolution using multi-scale deep encoder-decoder with phase congruency edge map guidance", 《INFORMATION SCIENCES》, 31 January 2019 (2019-01-31), pages 1 - 30 *
刘宇男 等: "基于级联密集网络的轮廓波变换域图像复原", 《软件学报》, 9 August 2019 (2019-08-09), pages 3968 - 3980 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113538604A (zh) * 2020-04-21 2021-10-22 中移(成都)信息通信科技有限公司 图像生成方法、装置、设备及介质
CN113538604B (zh) * 2020-04-21 2024-03-19 中移(成都)信息通信科技有限公司 图像生成方法、装置、设备及介质
CN111726633A (zh) * 2020-05-11 2020-09-29 河南大学 基于深度学习和显著性感知的压缩视频流再编码方法
CN111935417A (zh) * 2020-07-02 2020-11-13 清华大学 基于多尺度相机阵列的分级视频拼接方法及装置
CN111935417B (zh) * 2020-07-02 2021-12-14 清华大学 基于多尺度相机阵列的分级视频拼接方法及装置
CN112614072A (zh) * 2020-12-29 2021-04-06 北京航空航天大学合肥创新研究院 一种图像复原方法、装置、图像复原设备及存储介质
CN112614072B (zh) * 2020-12-29 2022-05-17 北京航空航天大学合肥创新研究院 一种图像复原方法、装置、图像复原设备及存储介质
CN113538233A (zh) * 2021-06-25 2021-10-22 华东师范大学 一种基于自蒸馏对比学习的超分辨率模型压缩和加速方法
CN113628144A (zh) * 2021-08-25 2021-11-09 厦门美图之家科技有限公司 人像修复方法、装置、电子设备及存储介质
WO2023108968A1 (zh) * 2021-12-14 2023-06-22 北京邮电大学 基于知识驱动的深度学习图像分类方法和系统
CN115759202A (zh) * 2022-11-22 2023-03-07 江苏济远医疗科技有限公司 一种可变空洞卷积的稠密图像超分辨率网络
CN115759202B (zh) * 2022-11-22 2023-11-28 江苏济远医疗科技有限公司 一种可变空洞卷积的稠密图像超分辨率方法

Also Published As

Publication number Publication date
CN111028153B (zh) 2024-05-07

Similar Documents

Publication Publication Date Title
CN111028153B (zh) 图像处理和神经网络训练方法、装置及计算机设备
CN111179177B (zh) 图像重建模型训练方法、图像重建方法、设备及介质
US11227364B2 (en) Computer-implemented method using convolutional neural network, apparatus for generating composite image, and computer-program product
CN111369440B (zh) 模型训练、图像超分辨处理方法、装置、终端及存储介质
CN110599401A (zh) 遥感图像超分辨率重建方法、处理装置及可读存储介质
CN111476719B (zh) 图像处理方法、装置、计算机设备及存储介质
CN108765425B (zh) 图像分割方法、装置、计算机设备和存储介质
CN113177882B (zh) 一种基于扩散模型的单帧图像超分辨处理方法
WO2019218136A1 (zh) 图像分割方法、计算机设备和存储介质
CN107341776B (zh) 基于稀疏编码与组合映射的单帧超分辨率重建方法
CN112419153A (zh) 图像超分辨率重建方法、装置、计算机设备和存储介质
CN113269818B (zh) 一种基于深度学习的地震数据纹理特征重建方法
CN114418853A (zh) 基于相似图像检索的图像超分辨率优化方法、介质及设备
Liu et al. Learning cascaded convolutional networks for blind single image super-resolution
WO2020000877A1 (zh) 用于生成图像的方法和装置
CN116309070A (zh) 一种高光谱遥感图像超分辨率重建方法、装置及计算机设备
CN111951165A (zh) 图像处理方法、装置、计算机设备和计算机可读存储介质
Hui et al. Two-stage convolutional network for image super-resolution
Okarma Combined visual quality metric of remote sensing images based on neural network
CN113538246A (zh) 基于无监督多阶段融合网络的遥感图像超分辨率重建方法
CN115829834A (zh) 基于半耦合深度卷积字典学习的图像超分辨率重建方法
CN113674172A (zh) 一种图像处理方法、系统、装置及存储介质
CN114638761A (zh) 一种高光谱图像全色锐化方法、设备及介质
Liu et al. CNN-Enhanced graph attention network for hyperspectral image super-resolution using non-local self-similarity
Wang et al. Single image super-resolution via self-similarity and low-rank matrix recovery

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant