CN110136056A - 图像超分辨率重建的方法和装置 - Google Patents

图像超分辨率重建的方法和装置 Download PDF

Info

Publication number
CN110136056A
CN110136056A CN201810127266.0A CN201810127266A CN110136056A CN 110136056 A CN110136056 A CN 110136056A CN 201810127266 A CN201810127266 A CN 201810127266A CN 110136056 A CN110136056 A CN 110136056A
Authority
CN
China
Prior art keywords
image block
image
reconstruction
block
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810127266.0A
Other languages
English (en)
Other versions
CN110136056B (zh
Inventor
徐威
赵荣乾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201810127266.0A priority Critical patent/CN110136056B/zh
Publication of CN110136056A publication Critical patent/CN110136056A/zh
Application granted granted Critical
Publication of CN110136056B publication Critical patent/CN110136056B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供了一种图像超分辨率重建的方法和装置，该方法包括将待重建的图像划分为n个图像块，n为大于或等于2的整数；确定该n个图像块中各个图像块的类型；根据该n个图像块中各个图像块的类型，通过卷积神经网络重建模型对该各个图像块进行重建，获取该n个图像块中各个图像块的重建图像块，其中，该卷积神经网络重建模型包括多组重建参数集合，不同类型的图像块重建时所使用的卷积神经网络重建模型中的重建参数集合不同；将该n个图像块的重建图像块拼接在一起，得到该图像的超分辨率重建图像。本申请实施例能够提高高分辨率图像质量，提升用户体验。

Description

图像超分辨率重建的方法和装置
技术领域
本申请涉及图像处理领域，更具体地，特别涉及一种图像超分辨率重建的方法和装置。
背景技术
在电子图像应用领域，人们经常期望得到高分辨率(high resolution,HR)图像。然而，受限于成像设备的成本过高或物理条件约束等问题，用户可能仅能获取到低分辨率的图像，因此，为了获得高分辨率的图像，需要一种技术，能够对该低分辨率的图像进行处理以获取到期望的高分辨率图像。
图像超分辨率(super resolution，SR)重建技术就是将低分辨率(lowresolution,LR)的图像(如1080P：1920x1080)通过一定的算法重建提升到HR的图像(如4K：3840x2160)。
高分辨率图像具有更高的像素密度，更多的细节信息，更细腻的画质，因此图像超分辨率重建技术具有十分广泛和重要的应用价值。例如，在医学影像处理领域，更高分辨率的图像有助于医生更精确地判断病变区域，减少误判漏判，更高效地治疗病患。在安检领域，SR后的高分辨率图像能够帮助安检人员更清晰的看出行李中是否含有疑似违规物品，保障旅客安全；在卫星遥感图像分析领域，SR后的图像能方便专业人员更清晰地看清楚地貌地形，测绘分析；而在消费电子、数字高清电视(high definition television，HDTV)等领域，SR能够使用户体验到更高清的画质，增强主观视觉体验。
现有的一种图像超分辨率重建的方法是将分辨率的图像像输入到重建模型中，在该重建模型中对该低分辨率图像整体进行统一处理，最终输出高分辨率的图像。然而，通过该方式获取的高分辨率图像质量较差，影响用户体验。
发明内容
本申请提供一种图像超分辨率重建的方法和装置，能够提高高分辨率图像质量，提升用户体验。
第一方面，提供了一种图像超分辨率重建的方法，该方法包括：将待重建的图像划分为n个图像块，n为大于或等于2的整数；确定所述n个图像块中各个图像块的类型；根据所述n个图像块中各个图像块的类型，通过卷积神经网络重建模型对所述各个图像块进行重建，获取所述n个图像块中各个图像块的重建图像块，其中，所述卷积神经网络重建模型包括多组重建参数集合，不同类型的图像块重建时所使用的卷积神经网络重建模型中的重建参数集合不同；将所述n个图像块的重建图像块拼接在一起，得到所述图像的超分辨率重建图像。
因此，本申请实施例中针对不同类型的对象块使用不同的参数集合通过重建模型进行重建，避免对整个待重建图像统一处理的不足，能够针对不同的类型进行相对应的处理，提高输出图像质量，减小视觉差距，提升用户体验。
可选地，在第一方面的一种实现方式中，图像块的类型包括单一区域图像块、纹理区域图像块、边缘区域图像块和混合区域图像块。
具体的，单一区域图像块是指颜色上相同或者非常相似的区域，比如一幅白色的墙面的图像被划分成多个图像块，而这些图像块中仅包含白色的像素点，这些像素点的颜色取值可能不完全一致，但都属于白色。因此，该墙面对应的图像块的类型为单一区域图像块。
纹理区域图像块为纹理密集的图像块。
边缘区域图像块是指存在边缘的区域的图像块，比如一张证件照图像，包括人脸轮廓和背景相接的地方的图像块的类型就属于边缘区域图像块。
混合区域图像块是指单一区域、纹理区域、边缘区域中的至少2种区域混合存在的区域的图像块。
应理解，上述针对图像块的类型的描述仅是示例性的，在实际应用中，图像块还可以具有其他的类型，本申请实施例并不限于此。
此外，在实际应用中还可以采用其他的方式将图像块分为多种类型。例如，图像块的类型可以包括人物图像块(例如，具有人物图像的图像块)、风景图像块(例如，具有风景的图像块)、建筑图像块(例如，具有建筑的图像块)、混合图像块(例如，具有风景、人物和建筑物中至少两种图像的图像块)…，本申请实施例并不限于此。
可选地，在第一方面的一种实现方式中，所述多组重建参数集合与多个图像块的类型具有一一对应关系，所述根据所述n个图像块中各个图像块的类型，通过卷积神经网络重建模型对所述各个图像块进行重建，获取所述n个图像块中各个图像块的重建图像块，包括：根据所述n个图像块中各个图像块的类型从所述卷积神经网络重建模型中的多组重建参数集合中确定与所述各个图像块的类型对应的重建参数集合；使用所述各个图像块的类型对应的重建参数集合，通过所述卷积神经网络重建模型对所述各个图像块进行重建，获取所述n个图像块中各个图像块的重建图像块。
也就是说，本申请实施例中，重建装置可以根据图像块的类型确定重建图像块所使用的重建参数集合，并使用该重建参数集合通过该重建模型进行重建。
可选地，在第一方面的一种实现方式中，所述卷积神经网络重建模型包括至少一个卷积模块，其中，每个卷积模块包括至少一层卷积层，每个卷积层包括至少一个卷积核，所述多组重建参数集合中的每组重建参数集合包括所述至少一个卷积模块中的所有卷积核以及各个卷积核对应的偏置值。
可选地，在第一方面的一种实现方式中，每个卷积模块包括至少两个卷积层，所述至少两个卷积层中每个卷积层与所述每个卷积层之后的所有卷积层相连，所述每个卷积层的输出图像块作为所述每个卷积层之后的所有卷积层的输入图像块。
也就是说，每个卷积层与该每个卷积层后面的所有卷积层均相连，每个卷积层的输入图像块为该每个卷积层之前的所有卷积层的输出图像块。
现有SR重建技术中，通常都是串联连接，即各个卷积层之间依次连接，也就是说每个卷积层仅与后面的一个卷积层，因此为了获取较多的图像特征，导致现有的卷积层的卷积核数目较多。
本申请实施例，通过稠密连接，使得多层卷积层中的图像特征能够叠加，实现多特征的重用，能够加速各个卷积层的图像特征传播，减小各个卷积层汇总卷积核的数目，降低卷积神经网络模型的复杂度。
可选地，在第一方面的一种实现方式中，所述至少一个卷积模块可以为一个卷积模块，或者，所述至少一个卷积模块包括至少两个卷积模块，且所述至少两个卷积模块均相同，本申请实施例并不限于此。
也就是说，当该至少一个卷积模块包括多个卷积模块时，该多个卷积模块均相同。
因此，本申请实施例通过重复使用该相同的卷积模块，通过多次卷积操作，能够得到主、客观质量更佳的SR重建图像。
可选地，在第一方面的一种实现方式中，每个所述卷积模块包括7层卷积层。
具体而言，由于卷积层数目增加，会使网络加深，SR后图像主、客观质量可能会更好，但增加了计算量，处理时间变长；而卷积层数据减少，会加快计算速度，但有可能造成SR的主、客观质量相比更深的网络降低。
本申请实施例通过折中考虑准确性和性能的结果可以设置7层卷积层。因此，本申请实施例，通过每个卷积模块设置7层卷积层，能够在保证重建图像的质量的基础上减少重建时间，能够提升用户体验。
应理解，本申请实施例并不限于每个卷积模块设置7层卷积层，卷积模块中卷积层数目可根据实际使用需求缩减或增加，可减少到小于7层，或甚至增加至几十层，例如，每个卷积模块可以包括3层、5层、9层、11层或更多次层卷积核。
可选地，在第一方面的一种实现方式中，每个所述卷积层包括至少两种大小的卷积核。
例如，作为另一实施例，所述至少两种大小的卷积核包括1×1的卷积核、3×3的卷积核、5×5的卷积核、7×7的卷积核、9×9的卷积核、11×11的卷积核或更大的卷积核中的至少两种，例如，所述至少两种大小的卷积核包括1×1的卷积核、3×3的卷积核和5×5的卷积核中的至少两种，本申请实施例并不限于此。
现有SR重建技术中，通常每个卷积核均包括一种大小的卷积核，然而一种大小的卷积核仅能抽取出一种图像的特征，如果仅设置一种大小的卷积核会导致最终的重建图像质量较差。
因此，本申请实施例针对每个卷积层设置不同种类的卷积核，能够抽取出不同的图像特征，提高重建图像的质量，提升用户体验。
当然，为了兼容现有技术，本申请实施例中每个卷积层中也可以仅包括一种大小的卷积核，例如，仅使用3×3的卷积核或5×5的卷积核等，本申请实施例并不限于此。
可选地，在第一方面的一种实现方式中，所述卷积神经网络重建模型还包图像合并模块、图像重排列模块和图像融合模块，其中，所述通过卷积神经网络重建模型对所述各个图像块进行重建，获取所述n个图像块中各个图像块的重建图像块，包括：通过所述至少一个卷积模块对所述n个图像块中的第一图像块进行卷积操作获取所述第一图像块的m个卷积图像，所述第一图像块为所述n个图像块中的任意一个图像块，m表示所述卷积模块中的最后一个卷积层中卷积核的数目，m为大于或等于k2的整数，k表示超分辨率后的图像的长宽为原来图像长宽的倍数，k为大于或等于2的整数；将所述m个卷积图像中每m/k2个卷积图像作为一组通过所述图像平均模块进行合并处理，获取由所述m卷积图像生成的k2个合并图像；通过所述图像重排列模块对所述k2个合并图像进行重排列获取高分辨率图像，所述高分辨率图像的分辨率为待重建图像分辨率的k2倍；通过所述图像融合模块对所述高分辨率图像与所述第一图像块进行融合处理，获取所述第一图像块的重建图像块。
因此，本申请实施例中针对不同类型的对象块使用不同的参数集合通过重建模型进行重建，避免对整个待重建图像统一处理的不足，能够针对不同的类型进行相对应的处理，提高输出图像质量，减小视觉差距，提升用户体验。
应理解，本申请实施例中名词“合并处理”表示将一组大小为s×h的图像块合并为一幅大小为s×h的图像块。该合并处理可以为平均处理、取最大值、取最小值或取中间值处理等。例如，上述合并处理之后获取的该一幅大小为s×h的图像块中的各个像素的取值可以为该一组图像块对应像素的平均取值、中间值、最大值或最小值等，本申请实施例并不限于此。
应理解，本申请实施例中名词“重排列”表示将将一组图像块例如k2个大小为s×h的图像块合并为一幅大小为ks×kh的图像块。例如，将该k2个图像块中相同位置像素点组合成该ks×kh的重排列图像中的一个k×k的图像块。
应理解，本申请实施例中名词“融合处理”表示将大小为ks×kh的重排列图像块即Y通道图像块与第一图像块通过双三次差值放大至ks×kh后的图像块H的Y通道相加，得到第一图像块的重建图像块的Y通道，之后，将该第一图像块的重建图像块的Y通道与图像块H的U、V通道组合，最终得到该第一图像块的重建图像块。
应理解，本申请实施例中，该重建模型可以是预先训练好的。例如，该重建模型可以是该重建装置预先训练的。或者该重建模型也可以是由该重建装置从其他装置获取的，该重建模型是由其他装置预先训练好的，该其他装置可以是另外的重建装置或者专门用于训练重建模型的装置等，本申请实施例并不限于此。
应理解，本申请实施例中，该重建模型可以是预先训练好的。例如，该重建模型可以是该重建装置预先训练的。或者该重建模型也可以是由该重建装置从其他装置获取的，该重建模型是由其他装置预先训练好的，该其他装置可以是另外的重建装置或者专门用于训练重建模型的装置等，本申请实施例并不限于此。
可选地，在第一方面的一种实现方式中，在该重建模型是由该重建装置训练的情况下，在对所述待重建的图像进行超分辨率重建之前，所述方法还包括：获取不同类型的图像块样本；分别使用所述不同类型的图像块样本训练所述卷积神经网络重建模型，获取各个图像块类型对应的重建参数集合。
可选地，在第一方面的一种实现方式中，在该重建模型是由其他装置训练的情况下，在该重建装置将所述n个图像块中的各个图像块输入到重建模型，获取所述重建模型输出的所述各个图像块的重建图像块之前，所述方法还包括：获取该重建模型。可选地，在第一方面的一种实现方式中，所述确定所述n个图像块中各个图像块的类型包括：
将所述n个图像块中的各个图像块输入到卷积神经网络图像块分类模型，获取所述图像分类模型输出的所述各个图像块的类型，其中，所述卷积神经网络图像分类模型包括至少一层卷积层、至少一层池化层和至少一层全连接层。
具体而言，本申请实施例中，卷积神经网络(convolutional neural networks，CNN)图像块分类模型(以下简称“分类模型”)的输入是各个图像块，该分类模型的输出为各个图像块的类型。换句话说，图像块输入到该分类模型后，经过该分类模型中的各个层的处理，最终输出该图像块的类型。
应理解，本申请实施例中该分类模型可以为浅层CNN模型，本申请实施例并不限于此。
应理解，本申请实施例中，该分类模型可以是预先训练好的。例如，该分类模型可以是该重建装置预先训练的。或者该分类模型也可以是由该重建装置从其他装置获取的，该分类模型是由其他的装置预先训练好的，该其他装置可以是另外的重建装置或者专门用于训练分类模型的装置等，本申请实施例并不限于此。
可选地，在第一方面的一种实现方式中，该分类模型是由该重建装置训练的情况下，在确定所述n个图像块中各个图像块的类型之前，所述方法还包括：获取不同预定义类型的图像块样本；分别使用所述不同预定义类型的图像块样本训练所述图像块分类模型。
可选地，在第一方面的一种实现方式中，该分类模型是由其他装置训练的情况下，在该重建装置将所述n个图像块中的各个图像块输入到分类模型，获取所述分类模型输出的所述各个图像块的类型之前，所述方法还包括：获取该分类模型。
因此，本申请实施例通过采用简单的浅层网络(shallow network)即卷积神经网络图像块分类模型对不同的图像区域(图像块)进行分类，然后针对不同类型的图像块采用不同的稠密连接卷积神经网络(网络的结构相同但参数不一样)进行SR重建，由于该重建模型中卷积层之间为稠密连接，因此，能够强化图像的特征传播，支持特征重用，能够在保证SR图像质量的情况下，大大减少重建模型中每个卷积层的卷积核数量。
并且本申请实施例中，每个卷积层可以设置多种大小不同的卷积核，通过多种卷积核能够提取多种图像特征，能够提高SR的图像质量。
进一步的，本申请能够针对不同的类型的图像块采用不同的重建参数集合进行重建，对不同的图像块类型能够针对性的进行重建，能够提高SR的图像质量，得到更精确的SR结果，减小视觉差距，提升用户体验。
第二方面，提供了一种图像超分辨率重建的装置，所述装置包括用于执行第一方面或第一方面任一种可能实现方式中的方法的各个模块或单元。
第三方面，提供了一种图像超分辨率重建的装置，包括收发器、处理器和存储器。该处理器用于控制收发器收发数据，该存储器用于存储计算机程序，该处理器用于从存储器中调用并运行该计算机程序，使得该网络设备执行第一方面及其可能实现方式中的方法。
第四方面，提供了一种计算机可读介质，其上存储有计算机程序，该计算机程序被计算机执行时实现第一方面或第一方面的任一种可能的实现方式中的方法。
第五方面，提供了一种计算机程序产品，该计算机程序产品被计算机执行时实现第一方面或第一方面的任一种可能的实现方式中的方法。
第六方面，提供了一种处理装置，包括处理器和接口；
该处理器，用于作为上述第一方面或第一方面的任一可能的实现方式中的方法的执行主体来执行这些方法，其中相关的数据交互过程(例如获取待重建图像、获取分类模型或者获取重建模型)是通过上述接口来完成的。在具体实现过程中，上述接口可以进一步通过收发器来完成上述数据交互过程。
应理解，上述第六方面中的处理装置可以是一个芯片，该处理器可以通过硬件来实现也可以通过软件来实现，当通过硬件实现时，该处理器可以是逻辑电路、集成电路等；当通过软件来实现时，该处理器可以是一个通用处理器，通过读取存储器中存储的软件代码来实现，该存储器可以集成在处理器中，可以位于该处理器之外，独立存在。
附图说明
图1是卷积神经网络的基本框架图。
图2是根据本申请一个实施例的卷积操作过程示意图。
图3是根据本申请一个实施例的图像超分辨率重建的方法流程示意图。
图4是根据本申请另一实施例的图像超分辨率重建的方法流程示意图。
图5是根据本申请一个实施例的使用分类模型确定图像块类型的过程示意图。
图6是根据本申请另一实施例的使用分类模型确定图像块类型的过程示意图。
图7是根据本申请一个实施例的分类模型的结构示意框图。
图8是根据本申请一个实施例的全连接层的结构示意图。
图9是根据本申请一个实施例的使用重建模型对图像块进行重建的过程示意图。
图10是根据本申请另一实施例的使用重建模型对图像块进行重建的过程示意图。
图11是根据本申请一个实施例的重建模型的结构示意框图。
图12是根据本申请一个实施例的卷积层汇总卷积核结构示意框图。
图13是根据本申请一个实施例的图像合并处理过程示意图。
图14是根据本申请另一实施例的重建模型的结构示意框图。
图15是根据本申请一个实施例的图像超分辨率重建的装置示意框图。
图16是根据本申请另一实施例的图像超分辨率重建的装置示意框图。
具体实施方式
下面将结合附图，对本申请中的技术方案进行描述。
为了便于理解，先对神经网络进行详细介绍。神经网络一般包括多个神经网络层，各神经网络层可以实现不同的运算或操作。常见的神经网络层包括卷积层(convolutionlayer)、池化层(pooling layer)和全连接层(full-connection layer)等。
图1为卷积神经网络(convolutional neural networks，CNN)的基本框架图。参见图1，卷积神经网络包括卷积层、池化层和全连接层。其中，多个卷积层与多个池化层交替排列，卷积层之后可以为卷积层，也可以为池化层。
卷积层主要用于对输入矩阵执行卷积操作，池化层主要用于对输入矩阵执行池化操作。无论是卷积操作还是池化操作，均可对应一个核，其中卷积操作对应的核可以称为卷积核。下面对卷积操作和池化操作进行详细描述。
卷积操作主要用于图像处理领域，在图像处理领域，输入矩阵也可称为特征图。卷积操作对应一个卷积核。卷积核也可称为权矩阵，权矩阵中的每个元素为一个权值。在卷积过程中，输入矩阵会被滑动窗口划分成许多与权矩阵大小相同的子矩阵，每个子矩阵与权矩阵进行矩阵乘法，得到的结果即为每个子矩阵中的数据元素的加权平均。
为了便于理解，下面结合图2对卷积操作的过程进行举例说明。
如图2所示，输入矩阵为3×3的矩阵。为了保证输入矩阵与输出矩阵的维度一致，在对输入矩阵进行卷积操作之前，需要在输入矩阵的边缘补充2行2列0元素，从而将输入矩阵转换成5×5的矩阵。滑动窗口的尺寸代表的是卷积核的大小，图2是以卷积核为3×3的权矩阵为例进行说明的。滑动窗口可以以输入矩阵的左上角位置为起始位置，按照一定的滑动步长进行滑动，图2是以滑动步长＝1为例进行说明的。按照图2所示的方式执行9次卷积操作，即可得到输出矩阵，其中第一次卷积操作得到的是输出矩阵的元素(1,1)，第二次卷积操作得到的是输出矩阵的元素(1,2)，以此类推。
应理解，卷积操作通常要求输入矩阵和输出矩阵的维度一致，但本申请实施例不限于此，也可以不要求输入矩阵和输出矩阵的维度一致。如果卷积操作不要求输入矩阵和输出矩阵维度一致，那么输入矩阵在执行该卷积操作之前，可以不补0。
还应理解，上文是以卷积操作的滑动步长＝1为例进行说明的，但本申请实施例不限于此，卷积操作的滑动步长还可以为大于1。
池化操作一般用于降低输入矩阵的维度，即对输入矩阵进行降采样。池化操作与卷积操作类似，也是基于一个核对输入矩阵进行计算，因此，也存在一个滑动窗口，且池化操作的滑动步长通常大于1(也可以等于1)。池化操作的类型有多种，如平均池化和最大池化。平均池化是将滑动窗口中的所有元素取平均。最大池化是计算滑动窗口中的所有元素的最大值。池化过程与卷积过程大致类似，不同之处在于滑动窗口中的数据元素的运算方式不同，此处不再详述。
在卷积神经网络的最后接上几层全连接层，最终输出对待处理图像的处理结果。
现有的图像超分辨率重建中对整个图像统一处理，也就是说整个图像看成一个整体采用一组训练好参数进行SR处理，而实际上一幅图像中各个区域的类型是复杂多变的，一幅图像中可能存在不同类型的图像块(如纹理密集、边缘、均匀区域等)，如果对该低分辨率图像整体进行统一处理，由于没有考虑图像块类型的不同，通过该方式获取的高分辨率图像质量可能较差，与真实图像可能会存在较大的视觉差距，影响用户体验。
针对上述不足，本申请通过针对不同的类型使用不同的处理参数进行处理，避免统一处理的方案的不足，能够针对不同的类型进行相对应的处理，提高输出图像质量，减小视觉差距，提升用户体验。
具体的，如图3所示，本申请实施例首先将待重建的图像划分成多个大小为s×h的图像块，然后确定每一个图像块的类型，例如采用一个简单的浅层CNN模型确定各个图像块的类型。之后，在确定好各个图像块的类型后，对各个图像块进行重建，例如，通过稠密CNN模型进行尺度为k超分辨率重构，确定各个图像块的重建图像块，其中该稠密卷积神经网络包括多组重建参数集合，即重建参数集合1至重建参数集合n，其中，不同类型的图像块对应不同的重建参数集合。最后将所有的重建图像块按照图像划分时的原顺序重新组合，得到最终的SR之后的分辨率提升k2倍的图像。
因此，本申请实施例能够针对不同的类型进行相对应的处理，提高输出图像质量，得到更精确的SR结果，减小视觉差距，提升用户体验。
以下，作为示例而非限定，结合图4具体地例子，详细描述本申请实施例的图像超分辨率重建的方法。
图4是根据本申请一个实施例的图像超分辨率重建的方法示意性流程图。如图4所示的方法可以由图像超分辨率重建的装置执行。
应理解本申请实施例的图像超分辨率的方法可以应用于各种领域，例如，医学影像处理领域、云领域、安检领域、卫星遥感图像分析领域、测绘领域、监控领域、电视领域、电影领域、电子产品领域等各种需要进行图像超分辨率重建的领域，申请实施例并不限于此。
相应地，本申请实施例中的图像超分辨率重建的装置(以下简称“重建装置”)可以为上述各种领域中的具有图像超分辨率重建功能的装置，包括但不限于医学影像处理装置、云服务或云计算装置(例如，云服务平台)、安检装置、卫星遥感图像分析装置、测绘装置、监控装置、电视机(例如，数字高清电视(HDTV))、电影播放装置、智能手机、照相机、摄像机、计算设备、车载设备、可穿戴设备、无人机设备等，本申请实施例并不限于此，只要该重建装置能够实现图像超分辨率重建的方法即可。可选地，该重建装置还可以是芯片。
具体的，如图4所示的方法400包括：
410，将待重建的图像划分为n个图像块，n为大于或等于2的整数。
应理解，本申请实施例中待重建的图像为低分辨率的图像，该待重建的图像需要进行超分辨率重建以获取高分辨率的图像(即超分辨率重建图像)。
应理解，本申请实施例中该n个图像块的大小可以均相等，也可以不完全相等，本申请实施例并不对此做限定。
本申请实施例中该重建装置可以采用多种方式灵活的划分该待重建的图像，例如，对该待重建的图像均匀划分，或者根据该待重建的图像的分辨率大小将该待重建的图像灵活的划分成n个图像块，本申请实施例并不限于此。
例如，假设待重建的图像为一幅尺寸为300×300的图像，划分的图像块的标准尺寸30×30，那么由于待重建图像的尺寸300×300为图像块尺寸30×30的整数倍，因此，该待重建的图像可以划分为100(即n＝100)个30×30的图像块。这种情况下，该n个图像块的大小均相等。
再例如，待重建的图像为一幅尺寸为300×300的图像，划分的图像块标准尺寸为32×32，由于待重建的图像尺寸300×300不是图像块尺寸32×32的整数倍，那么在划分图像块时，在待重建图像边界处会出现32×12的图像块、12×32的图像块或12×12的图像块。在这种情况下，该n个图像块的大小不完全相等。
420，确定所述n个图像块中各个图像块的类型。
应理解，本申请实施例中，图像块的类型可以具有多种。例如，作为一个实施例，图像块的类型包括单一区域图像块、纹理区域图像块、边缘区域图像块和混合区域图像块。
具体的，单一区域图像块是指颜色上相同或者非常相似的区域，比如一幅白色的墙面的图像被划分成多个图像块，而这些图像块中仅包含白色的像素点，这些像素点的颜色取值可能不完全一致，但都属于白色。因此，该墙面对应的图像块的类型为单一区域图像块。
纹理区域图像块为纹理密集的图像块。
边缘区域图像块是指存在边缘的区域的图像块，比如一张证件照图像，包括人脸轮廓和背景相接的地方的图像块的类型就属于边缘区域图像块。
混合区域图像块是指单一区域、纹理区域、边缘区域中的至少2种区域混合存在的区域的图像块。
应理解，上述针对图像块的类型的描述仅是示例性的，在实际应用中，图像块还可以具有其他的类型，本申请实施例并不限于此。
此外，在实际应用中还可以采用其他的方式将图像块分为多种类型。例如，图像块的类型可以包括人物图像块(例如，具有人物图像的图像块)、风景图像块(例如，具有风景的图像块)、建筑图像块(例如，具有建筑的图像块)、混合图像块(例如，具有风景、人物和建筑物中至少两种图像的图像块)…，本申请实施例并不限于此。
可选地，作为一个实施例，确定所述n个图像块中各个图像块的类型包括：
将所述n个图像块中的各个图像块输入到卷积神经网络图像块分类模型，获取所述图像分类模型输出的所述各个图像块的类型，其中，所述卷积神经网络图像分类模型包括至少一层卷积层、至少一层池化层和至少一层全连接层。
具体而言，本申请实施例中，卷积神经网络(convolutional neural networks，CNN)图像块分类模型(以下简称“分类模型”)的输入是各个图像块，该分类模型的输出为各个图像块的类型。换句话说，图像块输入到该分类模型后，经过该分类模型中的各个层的处理，最终输出该图像块的类型。
应理解，本申请实施例中该分类模型可以为浅层CNN模型，本申请实施例并不限于此。
应理解，本申请实施例中，该分类模型可以是预先训练好的。例如，该分类模型可以是该重建装置预先训练的。或者该分类模型也可以是由该重建装置从其他装置获取的，该分类模型是由其他的装置预先训练好的，该其他装置可以是另外的重建装置或者专门用于训练分类模型的装置等，本申请实施例并不限于此。
下面分情况详细描述该分类模型由该重建装置或由其他装置分别训练的具体过程。
情况一：该分类模型是由该重建装置训练的。
在这种情况下，本申请实施例中，在重建装置确定所述n个图像块中各个图像块的类型之前，所述方法还包括：
训练该分类模型。
具体的，训练该分类模型包括：获取不同预定义类型的图像块样本；分别使用所述不同预定义类型的图像块样本训练所述图像块分类模型。
应理解，预定义类型的图像块样本可以为预先规定好其类型的图像块样本，例如，图像块样本的类型可以是人工标定的，例如，可以是专业人员根据先前经验预先定义的。可选地，该图像块样本的类型也可以是由该重建装置或者其他设备根据预定义规则预先确定的，本申请实施例并不限于此。
具体而言，如图5所示，该重建装置首先获取不同预定义类型的图像块样本。例如，可以选取代表性的不同类型的图像分块，人工标定其所属类型，作为训练样本。例如，该重建装置分别获取多个人工标定的单一区域图像块、纹理区域图像块、边缘区域图像块和混合区域图像块。之后重建装置将该不同预定义类型的图像块样本输入到该分类模型进行参数训练，具体的，可以训练该分类模型中各个层中的相应参数。例如，训练该分类模型的卷积层中的卷积核和全连接层中的权重参数，以及该卷积核和该权重参数分别对应的偏置值，本申请实施例并不限于此。在训练完该分类模型后，如图5所示，在实际应用中，该重建装置将待重建的图像的n个图像块输入到该分类模型，经过该分类模型的实时处理，最终确定该n个图像块中各个图像块的类型。
应理解，重建装置在训练完该分类模型后，在后续对图像重建时，可以直接使用该分类模型确定图像块的类型，无需再对该分类模型进行训练。或者，可选地，该重建装置仅需要定期的训练完善该分类模型，而不需要在每次对图像重建时都要训练该分类模型，本申请实施例并不限于此。
情况二：该分类模型是由其他装置训练的。
在这种情况下，本申请实施例中，在该重建装置将所述n个图像块中的各个图像块输入到分类模型，获取所述分类模型输出的所述各个图像块的类型之前，所述方法还包括：
获取该分类模型。
具体而言，重建装置首先从其他装置获取该分类模型。这种情况下，该分类模型可以是由该其他装置预先训练好的，或者该分类模型是由该其他装置从另外的设备获取的，该分类模型是由该另外的设备训练的，本申请实施例并不限于此。
应理解，这种情况下该分类模型的训练过程与上述情况一中由重建装置训练该分类模型的过程类似，为避免重复，此处不再赘述。
具体而言，如图6所示，该重建装置首先从该其他装置获取分类模型(该分类模型为已完成训练的模型)。之后，在实际应用中，该重建装置将待重建的图像的n个图像块输入到该分类模型，经过该分类模型的实时处理，最终确定该n个图像块中各个图像块的类型。
上文结合图5和图6描述了重建装置确定各个图像块类型的具体过程，即先训练分类模型或者从其他装置获取分类模型，然后使用分类模型确定各个图像块的类型。
下面结合具体的例子，详细描述本申请实施例中训练分类模型的方法以及使用分类模型确定各个图像块的类型的方法。
基于不同图像块之间的细节差异，本申请实施例可以将图像块的类型分为单一区域图像块、纹理区域图像块、边缘区域图像块和混合区域图像块。
本申请实施例中构造的分类模型可以为浅层CNN模型，具体的，如图7所示，该分类模型的结构可以包括两层卷积层(第一卷积层(conv1)和第二卷积层(conv2))、两层池化层(第一池化层(pooling1)和第二池化层(pooling2))和三层全连接层(第一全连接层(Fullconnection 1)、第二全连接层(Full connection 2)和第三全连接层(Full connection3))。其中，第一卷积层、第一池化层、第二卷积层、第二池化层、第一全连接层、第二全连接层和第三全连接层依次排列。下面描述以上各层的一种具体的例子。
第一卷积层包含20个5×5的卷积核，卷积步长为1；
第一池化层采用最大值池化，即取2×2区域内最大的像素值作为池化后的特征图的像素值，池化步长为2；
第二卷积层包含50个5×5的卷积核，卷积步长为1；
第二池化层采用最大值池化，即取2×2区域内最大的像素值作为池化后的特征图的像素值，池化步长为2；
第一全连接层共包含500个节点，所有节点都与第二池化层的特征图中的像素点相连；再通过激活函数(例如，ReLU激活函数)计算得到500个节点的输出；
第二全连接层共包含100个节点，所有节点都与第一全连接层的500个节点相连；再通过激活函数(例如，ReLU激活函数)计算得到输出；
第三全连接层，该层共包含4个节点(因为共有4种不同的图像块类型，可根据需要调节节点数目)，所有节点都与第二全连接层的100个节点相连；然后再通过一个函数进行归一化(例如，通过Softmax函数进行[0,1]归一化)输出图像块对应的图像块类型。
需要说明的是，上文仅列举了一种浅层CNN进行图像块分类的可行方案，但本申请实施例并不限于此，在实际应用中上述的分类模型可以进行一定的变形，例如，增加或减少卷积层、池化层数目；增加或减少每个卷积层中卷积核个数；增加或减少全连接层的数目；增加或减少全连接层中各个节点的数目等。这样的修改或变化也落入本申请实施例的范围内。
下面描述在构造好分类模型后，具体的训练过程。
为了使得训练过程更容易理解，下面首先描述该分类模型中卷积层、池化层和全连接层中的具体处理过程。
首先描述卷积层中的数据处理过程。
在卷积层中，各个卷积核对应的具体处理过程如下：
比如一个包含5×5＝25个像素点的图像I，卷积核w为：
那么w卷积I的结果就是让w在I上滑动，换言之，就是w与I所有3×3连续子矩阵做“对应元素积之和”运算。
具体在CNN中，在一个卷积层中，上一层的特征图与卷积核进行卷积，组合该卷积核的多个卷积运算，然后通过一个激活函数可以得到一个该卷积核对应的输出特征图，具体地，特征图可以由以下公式(1)表示：
其中，表示第l层的第j个特征图，f(.)表示激活函数，Mi代表选择的l-1层的特征图的集合，表示第j个特征图对应的偏置项，表示第l层第j个特征图与第l-1层第i个特征图连接之间的卷积核，“*”表示卷积运算。
例如，该激活函数为ReLU函数，其数学表达式为：
f(x)＝max(0,x)
为了更容易理解，下面举例说明卷积层的具体卷积操作：
假设第l-1层的第i个特征图为：
第l层第j个特征图与第l-1层第i个特征图连接之间的卷积核为：
那么卷积的结果就是让在上滑动，换言之，就是与所有2×2连续子矩阵做“对应元素积之和”运算，所以此时的结果为：
假设选择的特征图的集合Mi中仅有1个特征图，第j个特征图对应的偏置项取值为1，则最终输出的l层的第j个特征图为：
实际使用时一般每个卷积层中都会存在多个特征图，具体各个特征图可以按照上述过程计算即可获得。
根据上述描述可以得出，每个卷积核对应的需要训练的参数即为卷积核w和该卷积核对应的偏置值b。
下面描述池化层中的数据处理过程：
池化层又称下采样(Sub-sampling)层，在池化层中若N个输入图，对应就有N个图像此处变小的输出图，具体的，池化层中的处理公式表示如下：
其中，表示第l层的第j个特征图，down(.)表示池化操作，即取某个z×z小窗口中像素的均值来代替这个z×z小窗口的像素值(平均池化)，或者取z×z小窗口中最大的像素值来代替这个z×z小窗口的像素值(最大池化)。为了更容易理解，池化层的操作示例如下：
假设第l-1层的第j个特征图为：
池化窗口大小为2×2，则按照池化窗口大小将分割成6块不相交的2×2的小矩阵，对每个块中所有元素做求和平均操作，称为平均池化，取最大值，则称为最大池化。若平均池化，则有：
若最大值池化，则有：
简言之，根据上述描述可以得出，池化层一般没有参数需要训练。
下面描述全连接层中的数据处理过程：
所谓全接连层，即上一层的所有节点与下一层的所有节点都相连，每个相连节点之间都有一个权重参数，如图8所示为一个简单的全连接层示意图。
如图8所示，L1层有三个普通节点和一个偏置节点，标上“+1”的圆圈被称为偏置节点。L2层的每个普通节点都与L1层的所有节点相连，每个相连节点之间都会有一个权重参数，以L2层的输出为例，L2层第一个节点的输出为：
其中，为L1层的第一个节点与L2层的第一个节点之间的权重参数，为L1层的第二个节点与L2层的第一个节点之间的权重参数，为L1层的第三个节点与L2层的第一个节点之间的权重参数，为L1层的偏置节点与L2层的第一个节点之间的权重参数。f(.)表示激活函数，和卷积层一样，例如，为ReLU激活函数。以此类推，可以得到L2层第二个、第三个节点的输出和
类似的，可以得到L3的输出hw,b(x)。
假设用Wl-1表示l-1层与l层之间的权重参数的集合，用bl-1表示l-1层与第l层的偏置项参数的集合，则第l个全连接层的输出可简单表示为：
Xl＝Wl-1Xl-1+bl-1
简言之，根据上述描述可以得出，全连接层的需要训练的参数为权重参数的集合W和偏置项参数b。
下面描述具体的训练过程：
首先，选取代表性的图像块，人工标注其所属类型，作为训练样本，假设图像块xi的类别标记为yi，共有m个训练样本，即{(x1,y1),(x2,y2),…,(xm,ym)}。
将输入样本集{(x1,y1),(x2,y2),…,(xm,ym)}中的每个样本依次输入到构造好的浅层CNN网络中，随机初始化网络参数，计算得到初始的实际输出。假设浅层CNN一共有q层(这q层包括卷积层、池化层、全连接层，对于图7而言，q＝7)，第l层参数表示为Wl，第l层偏置项表示为bl，所有的这q层的参数用W表示(应理解，该n层的参数可以包括卷积层中的卷积核和全连接层中的权重参数，本文中为了描述的简便，将该q层的参数统一用W表示)，所有的这q层的偏置项用b表示；那么第i个输入样本(xi,yi)的实际输出可以表示为W和b相关的函数，即有f W,b(xi)，而实际输出和xi的类别yi之间的差异可用代价函数(也可以称为损失函数)表示：
而对所有m个输入样本，定义整体的代价函数为所有m个样本的代价函数的均值，即为：
然后本申请实施例中可以采用反向传播(back propogation，BP)算法优化该代价函数，得到训练好的浅层CNN的网络参数W和b。
应理解，上文描述了一种训练分类模型的方法仅是实例性的，在实际应用中可以进行各种变形，相应的变形也落入本申请实施例的范围内。例如，在实际训练中，也可以训练池化层中的参数，本申请实施例并不对此做限定。
下面描述在构造好(即训练完)分类模型后，具体的通过分类模型确定图像块的类型的具体过程：
即将待重建的图像的图像块xi作为浅层CNN的输入，按照构造好的分类模型以及训练好的网络参数逐层计算，直至最后输出分类预测值f(xi)，f(xi)以最大的概率属于哪种类型，就将该图像块划分为哪种类型。
430，根据该n个图像块中各个图像块的类型，通过卷积神经网络重建模型对各个图像块进行重建，获取该n个图像块中各个图像块的重建图像块。
其中，所述卷积神经网络重建模型包括多组重建参数集合，不同类型的图像块重建时所使用的卷积神经网络重建模型中的重建参数集合不同。
由此可见，卷积神经网络(convolutional neural networks，CNN)重建模型(以下简称“重建模型”)的输入是已知图像块类型的各个图像块，该重建模型的输出为各个图像块的重建图像块。换句话说，图像块输入到该重建模型后，经过该重建模型的处理，最终输出该图像块的重建图像块。
因此，本申请实施例中针对不同类型的对象块使用不同的参数集合通过重建模型进行重建，避免对整个待重建图像统一处理的不足，能够针对不同的类型进行相对应的处理，提高输出图像质量，减小视觉差距，提升用户体验。
进一步的，作为另一实施例，本申请实施例中该重建模型包括的多组重建参数集合与多个图像块的类型具有一一对应关系，所述根据所述n个图像块中各个图像块的类型，通过卷积神经网络重建模型对所述各个图像块进行重建，获取所述n个图像块中各个图像块的重建图像块，包括：
根据所述n个图像块中各个图像块的类型从所述卷积神经网络重建模型中的多组重建参数集合中确定与所述各个图像块的类型对应的重建参数集合；
使用所述各个图像块的类型对应的重建参数集合，通过所述卷积神经网络重建模型对所述各个图像块进行重建，获取所述n个图像块中各个图像块的重建图像块。
也就是说，本申请实施例中，重建装置可以根据图像块的类型确定重建图像块所使用的重建参数集合，并使用该重建参数集合通过该重建模型进行重建。
具体的，本申请实施例中，每一个图像块的类型可以是多种图像块的类型中的一种，各种图像块的类型对应的重建参数集合可以不同。例如，图像块的类型与重建参数集合之间可以存在如下对应关系：
表1
图像块的类型 重建参数集合
第一类型 第一组重建参数集合
第二类型 第二组重建参数集合
第三类型 第三组重建参数集合
… …
在上述表1中，当图像块的类型为第一类型时，可以对应第一组重建参数集合；当图像块的类型为第二类型时，可以对应第二组重建参数集合，以此类推。其中，第一类型、第二类型、第三类型…可以分别是上述划分的多种图像块类型中的一种，相应地，第一组重建参数集合、第二组重建参数集合、第三组重建参数集合…可以分别是与相应图像块的类型对应的重建参数集合。
由表1可知，图像块的类型与重建参数集合之间存在一一对应关系。在实际应用中，重建装置在确定了图像块的类型后，可以查询表1获取该类型的重建参数集合，然后使用该重建参数集合通过重建模型对该图像块进行重建。可选地，重建装置也可以在确定了图像块的类型后，可以查询表1直接使用该重建参数集合通过重建模型对该图像块进行重建，也就是说，由于该重建模型中预先保存有各中重建参数集合，重建装置在重建图像时可以没有确定参数集合的动作，而是在确定了图像块的类型后直接使用该图像块的类型对该图像块进行重建，本申请实施例对此并不做限定。
应理解，一组重建参数集合可以包括该重建模型中的卷积核以及卷积核对应的偏置值(也可以称为偏置项)，本申请实施例并不限于此。
可选地，作为另一实施例，所述卷积神经网络重建模型包括至少一个卷积模块。
应理解，在本申请实施例中，该卷积模块可以用于对图像块进行卷积操作。
可选地，作为另一实施例，所述至少一个卷积模块可以为一个卷积模块，或者，所述至少一个卷积模块包括至少两个卷积模块，且所述至少两个卷积模块均相同，本申请实施例并不限于此。
也就是说，当该至少一个卷积模块包括多个卷积模块时，该多个卷积模块均相同。
因此，本申请实施例通过重复使用该相同的卷积模块，通过多次卷积操作，能够得到主、客观质量更佳的SR重建图像。
下面详细描述该至少一个卷积模块的具体结构。
具体的，至少一个卷积模块中的每个卷积模块包括至少一层卷积层，每个卷积层包括至少一个卷积核，每个卷积核用于对图像块进行卷积操作，所述多组重建参数集合中的每组重建参数集合包括所述至少一个卷积模块中的所有卷积核以及各个卷积核对应的偏置值。
进一步地，作为另一实施例，本申请实施例中的重建模型中的每个卷积模块包括至少两个卷积层，所述至少两个卷积层中每个卷积层与所述每个卷积层之后的所有卷积层相连，所述每个卷积层的输出图像块作为所述每个卷积层之后的所有卷积层的输入图像块。
也就是说，本申请实施例中该重建模型可以为稠密CNN模型。具体的，在本申请实施例中的稠密CNN模型中每个卷积层与该每个卷积层后面的所有卷积层均相连，每个卷积层的输入图像块为该每个卷积层之前的所有卷积层的输出图像块。
现有SR重建技术中，通常都是串联连接，即各个卷积层之间依次连接，也就是说每个卷积层仅与后面的一个卷积层，因此为了获取较多的图像特征，导致现有的卷积层的卷积核数目较多。
本申请实施例，通过稠密连接，使得多层卷积层中的图像特征能够叠加，实现多特征的重用，能够加速各个卷积层的图像特征传播，减小各个卷积层汇总卷积核的数目，降低卷积神经网络模型的复杂度。
可选地，作为另一实施例，每个所述卷积模块包括7层卷积层。
具体而言，由于卷积层数目增加，会使网络加深，SR后图像主、客观质量可能会更好，但增加了计算量，处理时间变长；而卷积层数据减少，会加快计算速度，但有可能造成SR的主、客观质量相比更深的网络降低。
本申请实施例通过折中考虑准确性和性能的结果可以设置7层卷积层。因此，本申请实施例，通过每个卷积模块设置7层卷积层，能够在保证重建图像的质量的基础上减少重建时间，能够提升用户体验。
应理解，本申请实施例并不限于每个卷积模块设置7层卷积层，卷积模块中卷积层数目可根据实际使用需求缩减或增加，可减少到小于7层，或甚至增加至几十层，例如，每个卷积模块可以包括3层、5层、9层、11层或更多次层卷积核。
可选地，作为另一实施例，每个所述卷积层包括至少两种大小的卷积核。
例如，作为另一实施例，所述至少两种大小的卷积核包括1×1的卷积核、3×3的卷积核、5×5的卷积核、7×7的卷积核、9×9的卷积核、11×11的卷积核或更大的卷积核中的至少两种，本申请实施例并不限于此。
现有SR重建技术中，通常每个卷积核均包括一种大小的卷积核，然而一种大小的卷积核仅能抽取出一种图像的特征，如果仅设置一种大小的卷积核会导致最终的重建图像质量较差。
因此，本申请实施例针对每个卷积层设置不同种类的卷积核，能够抽取出不同的图像特征，提高重建图像的质量，提升用户体验。
当然，为了兼容现有技术，本申请实施例中每个卷积层中也可以仅包括一种大小的卷积核，例如，仅使用3×3的卷积核或5×5的卷积核等，本申请实施例并不限于此。
上文描述了该重建模型中的至少一个卷积模块，可选地，作为另一实施例，该重建模型还可以包括图像合并模块、图像重排列模块和图像融合模块。
下面描述重建装置通过该重建模型中的各个模块对图像块重建的具体过程。
相应地，作为一个实施例，所述通过卷积神经网络重建模型对所述各个图像块进行重建，获取所述n个图像块中各个图像块的重建图像块，包括：
通过所述至少一个卷积模块对所述n个图像块中的第一图像块进行卷积操作获取所述第一图像块的m个卷积图像，所述第一图像块为所述n个图像块中的任意一个图像块，m表示所述卷积模块中的最后一个卷积层中卷积核的数目，m为大于或等于k2的整数，k表示超分辨率后的图像的长宽为原来图像长宽的倍数，k为大于或等于2的整数；
将所述m个卷积图像中每m/k2个卷积图像(也可以称为特征图像)作为一组通过所述图像平均模块进行合并处理，获取由所述m卷积图像生成的k2个合并图像；
通过所述图像重排列模块对所述k2个合并图像进行重排列获取高分辨率图像，所述高分辨率图像的分辨率为待重建图像分辨率的k2倍；
通过所述图像融合模块对所述高分辨率图像与所述第一图像块进行融合处理，获取所述第一图像块的重建图像块。
因此，本申请实施例中针对不同类型的对象块使用不同的参数集合通过重建模型进行重建，避免对整个待重建图像统一处理的不足，能够针对不同的类型进行相对应的处理，提高输出图像质量，减小视觉差距，提升用户体验。
应理解，本申请实施例中名词“合并处理”表示将一组大小为s×h的图像块合并为一幅大小为s×h的图像块。该合并处理可以为平均处理、取最大值、取最小值或取中间值处理等。例如，上述合并处理之后获取的该一幅大小为s×h的图像块中的各个像素的取值可以为该一组图像块对应像素的平均取值、中间值、最大值或最小值等，本申请实施例并不限于此。
应理解，本申请实施例中名词“重排列”表示将将一组图像块例如k2个大小为s×h的图像块合并为一幅大小为ks×kh的图像块。例如，将该k2个图像块中相同位置像素点组合成该ks×kh的重排列图像中的一个k×k的图像块。
应理解，本申请实施例中名词“融合处理”表示将大小为ks×kh的重排列图像块即Y通道图像块与第一图像块通过双三次差值放大至ks×kh后的图像块H的Y通道相加，得到第一图像块的重建图像块的Y通道，之后，将该第一图像块的重建图像块的Y通道与图像块H的U、V通道组合，最终得到该第一图像块的重建图像块。
应理解，本申请实施例中，该重建模型可以是预先训练好的。例如，该重建模型可以是该重建装置预先训练的。或者该重建模型也可以是由该重建装置从其他装置获取的，该重建模型是由其他装置预先训练好的，该其他装置可以是另外的重建装置或者专门用于训练重建模型的装置等，本申请实施例并不限于此。
下面分情况详细描述该重建模型由该重建装置或由其他装置分别训练的具体过程。
情况一：该重建模型是由该重建装置训练的。
在这种情况下，本申请实施例中，在重建装置确定所述n个图像块中各个图像块的类型之前，所述方法还包括：
训练该重建模型。
具体的，训练该重建模型包括：获取不同类型的图像块样本；分别使用所述不同类型的图像块样本训练所述卷积神经网络重建模型，获取各个图像块类型对应的重建参数集合。
应理解，不同类型的图像块样本可以是预先规定好其类型的图像块样本，例如，图像块样本的类型可以是人工标定的，例如，可以是专业人员根据先前经验预先定义的。可选地，该不同类型的图像块样本中的各个图像块样本的类型可以是通过上文描述的分类模型确定的，本申请实施例并不限于此。
具体而言，如图9所示，该重建装置首先获取不同类型的图像块样本。例如，该重建装置分别获取多个单一区域图像块、纹理区域图像块、边缘区域图像块和混合区域图像块。之后重建装置将该不同图像块样本输入到该重建模型进行训练，具体的，可以训练该重建模型中各个层中的相应参数，其中，不同类型的图像块样本用于训练不同的重建参数集合。例如，训练卷积层中的卷积核和卷积核对应的偏置值，本申请实施例并不限于此。在训练完该重建模型后，如图9所示，在实际应用中，该重建装置将待重建的图像的n个图像块输入到该重建模型，经过该重建模型的实时处理，最终输出该n个图像块中各个图像块的重建图像块。
应理解，重建装置在训练完该重建模型后，在后续对图像重建时，可以直接使用该重建模型确定图像块的重建图像块，无需再对该重建模型进行训练。或者，可选地，该重建装置仅需要定期的训练完善该重建模型，而不需要在每次对图像重建时都要训练该重建模型，本申请实施例并不限于此。
情况二：该重建模型是由其他装置训练的。
在这种情况下，本申请实施例中，在该重建装置将所述n个图像块中的各个图像块输入到重建模型，获取所述重建模型输出的所述各个图像块的重建图像块之前，所述方法还包括：
获取该重建模型。
具体而言，重建装置首先从其他装置获取该重建模型。这种情况下，该重建模型可以是由该其他装置预先训练好的，或者该重建模型是由该其他装置从另外的设备获取的，本申请实施例并不限于此。
具体而言，如图10所示，该重建装置首先从该其他装置获取重建模型(该重建模型为已完成训练的模型)。之后，在实际应用中，该重建装置将待重建的图像的n个图像块输入到该重建模型，经过该重建模型的处理，最终输出该n个图像块中各个图像块的重建图像块。
上文结合图9和图10描述了重建装置确定各个图像块的重建图像块的具体过程，即先训练重建模型或者从其他装置获取重建模型，然后，使用重建模型确定各个图像块的重建图像块。
下面结合具体的例子，详细描述本申请实施例中训练重建模型的方法以及使用重建模型确定各个图像块的类型的方法。
本申请实施例中构造的重建模型可以为稠密卷积神经网络(denseconvolutional neural networks，DCNN)模型，具体的，如图11所示，该分类模型的结构可以包括一个卷积模块、图像合并模块、图像重排列模块和图像融合模块。其中，该卷积模块包括7层卷积层，即第一卷积层(Conv1)至第七卷积层(Conv7)，如图11所示，该7层卷积层中的前面的卷积层与后面的每个卷积层都相连，且前面的卷积层的输出图像块为后面各个卷积层的输入图像块。
本申请实施例，通过稠密连接，使得多层卷积层中的图像特征能够叠加，实现多特征的重用，能够加速各个卷积层的图像特征传播，减小各个卷积层汇总卷积核的数目，降低卷积神经网络模型的复杂度。
可选地，如图12所示，每个卷积层(Conv)中包括3种大小的卷积核，即1×1的卷积核、3×3的卷积核和5×5的卷积核。
因此，本申请实施例针对每个卷积层设置不同种类的卷积核，能够抽取出不同的图像特征，提高重建图像的质量，提升用户体验。
下面结合图11描述该重建模型中的上述各个模块的一种具体的例子。
应理解，本申请实施例中奖待重建的图像的n个图像块中的各个图像块的红绿蓝(RGB)颜色空间转换为亮度蓝色差红色差(YUV)颜色空间，取Y颜色通道的图像块作为该重建模型的输入，即将Y颜色通道的图像输入到该重建模型的卷积模块中的第一卷积层。
具体的，卷积模块中的第一卷积层(Conv1)，共包含m个1×1的卷积核，m个3×3的卷积核，m个5×5的卷积核，卷积步长为1，采用零填充(Zero Padding)；将m个1×1的卷积核分别对该网络的输入图像块进行卷积操作，再通过激活函数(例如，LeakyReLU激活函数)计算得到m张特征图A；同样地，将m个3×3的卷积核分别对该网络的输入图像块进行卷积操作，再通过激活函数(例如，Leaky ReLU激活函数)计算得到m张特征图B；将m个5×5的卷积核分别对该网络的输入图像块进行卷积操作，再通过激活函数(例如，Leaky ReLU激活函数)计算得到m张特征图C；将A、B、C这总共3m张图像串联(concatenation)，作为Conv1的输出。
应理解，本申请实施例中，“图像串联”是指将图像依次排列放置在一起，比如m张特征图A，m张特征图B，m张特征图C，将这3m张图依次排列放置在一起组成3m张图像。
应理解，本申请实施例中m可以为大于或等于1的整数，例如m取值为2、4、8、12或24等，本申请实施例并不限于此。
第二卷积层(Conv2)，共包含m个1×1的卷积核，m个3×3的卷积核，m个5×5的卷积核，卷积步长为1，采用零填充；将m个1×1的卷积核分别对Conv1输出的3m张特征图进行卷积操作，再通过激活函数(例如，Leaky ReLU激活函数)计算得到m张特征图A；将m个3×3的卷积核分别对Conv1输出的3m张特征图进行卷积操作，再通过激活函数(例如，Leaky ReLU激活函数)计算得到m张特征图B；将m个5×5的卷积核分别对Conv1输出的3m张特征图进行卷积操作，再通过激活函数(例如，Leaky ReLU激活函数)计算得到m张特征图C；将A、B、C这总共3m张图像串联，作为Conv2的输出。
第三卷积层(Conv3)，共包含m个1×1的卷积核，m个3×3的卷积核，m个5×5的卷积核，卷积步长为1，采用零填充；与之前的卷积层不同，Conv1与Conv3之间直接进行跨越连接(Skip Connection)，也就是说Conv3的输入是Conv1输出的3m张特征图与Conv2输出的3m张特征图进行串联后得到的共3m+3m＝6m张特征图；将m个1×1的卷积核分别对这6m张特征图进行卷积操作，再通过激活函数(例如，Leaky ReLU激活函数)计算得到m张特征图A；将m个3×3的卷积核分别对这6m张特征图进行卷积操作，再通过激活函数(例如，Leaky ReLU激活函数)计算得到m张特征图B；将m个5×5的卷积核分别对这6m张特征图进行卷积操作，再通过激活函数(例如，Leaky ReLU激活函数)计算得到m张特征图C；将A、B、C这总共3m张图像串联，作为Conv3的输出。
第四卷积层(Conv4)，共包含m个1×1的卷积核，m个3×3的卷积核，m个5×5的卷积核，卷积步长为1，采用零填充；除了普通的与Conv3相连之外，Conv1和Conv2都直接与Conv4进行跨越连接；也就是说将Conv1输出的3m张特征图、Conv2输出的3m张特征图以及Conv3输出的3m张特征图进行串联后得到的3m+3m+3m＝9m张特征图作为Conv4的输入；将m个1×1的卷积核分别对这9m张特征图进行卷积操作，再通过激活函数(例如，Leaky ReLU激活函数)计算得到m张特征图A；将m个3×3的卷积核分别对这9m张特征图进行卷积操作，再通过激活函数(例如，Leaky ReLU激活函数)计算得到m张特征图B；将m个5×5的卷积核分别对这9m张特征图进行卷积操作，再通过激活函数(例如，Leaky ReLU激活函数)计算得到m张特征图C；将A、B、C这总共3m张图像串联，作为Conv4的输出。
第五卷积层(Conv5)，共包含m个1×1的卷积核，m个3×3的卷积核，m个5×5的卷积核，卷积步长为1，采用零填充；除了普通的与Conv4相连之外，Conv1、Conv2和Conv3都直接与Conv5进行跨越连接；也就是说将Conv1输出的3m张特征图、Conv2输出的3m张特征图、Conv3输出的3m张特征图以及Conv4输出的3m张特征图进行串联后得到的12m张特征图作为Conv5的输入；将m个1×1的卷积核分别对这12m张特征图进行卷积操作，再通过激活函数(例如，Leaky ReLU激活函数)计算得到m张特征图A；将m个3×3的卷积核分别对这12m张特征图进行卷积操作，再通过激活函数(例如，Leaky ReLU激活函数)计算得到m张特征图B；将m个5×5的卷积核分别对这12m张特征图进行卷积操作，再通过激活函数(例如，Leaky ReLU激活函数)计算得到m张特征图C；将A、B、C这总共3m张图像串联，作为Conv5的输出。
第六个卷积层(Conv6)，共包含m个1×1的卷积核，m个3×3的卷积核，m个5×5的卷积核，卷积步长为1，采用零填充；除了普通的与Conv5相连之外，Conv1、Conv2、Conv3和Conv4都直接与Conv6进行跨越连接；也就是说将Conv1输出的3m张特征图、Conv2输出的3m张特征图、Conv3输出的3m张特征图、Conv4输出的3m张特征图以及Conv5输出的3m张特征图进行串联后得到的15m张特征图作为Conv6的输入；将m个1×1的卷积核分别对这15m张特征图进行卷积操作，再通过激活函数(例如，Leaky ReLU激活函数)计算得到m张特征图A；将m个3×3的卷积核分别对这15m张特征图进行卷积操作，再通过激活函数(例如，Leaky ReLU激活函数)计算得到m张特征图B；将m个5×5的卷积核分别对这15m张特征图进行卷积操作，再通过激活函数(例如，Leaky ReLU激活函数)计算得到m张特征图C；将A、B、C这总共3m张图像串联，作为Conv6的输出。
第七个卷积层(Conv7)，共包含m个1×1的卷积核，m个3×3的卷积核，m个5×5的卷积核，卷积步长为1，采用零填充；除了普通的与Conv6相连之外，Conv1、Conv2、Conv3、Conv4和Conv5都直接与Conv7进行跨越连接；也就说将Conv1输出的3m张特征图、Conv2输出的3m张特征图、Conv3输出的3m张特征图、Conv4输出的3m张特征图、Conv5输出的3m张特征图以及Conv6输出的3m张特征图进行串联后得到的18m张特征图作为Conv7的输入；将m个1×1的卷积核分别对这18m张特征图进行卷积操作，再通过激活函数(例如，Leaky ReLU激活函数)计算得到m张特征图A；将m个3×3的卷积核分别对这18m张特征图进行卷积操作，再通过激活函数(例如，Leaky ReLU激活函数)计算得到m张特征图B；将m个5×5的卷积核分别对这18m张特征图进行卷积操作，再通过激活函数(例如，Leaky ReLU激活函数)计算得到m张特征图C；将A、B、C这总共3m张图像串联，作为Conv7的输出。
图像合并模块，该模块中的操作无参数，仅进行特征图合并操作，例如，进行通道平均(Channel Average)；具体的，经过Conv7后输出3m张特征图，即3m个通道作为该图像合并模块的输入；假设超分辨率重构尺度为k(即超分辨率后图像长宽各为原图像块的k倍)，则按顺序依次取3m/k2个通道的特征图，计算其平均值作为图像合并模块的输出，即得到k2张特征图。例如，如图13所示，假设m＝8，k＝2，则按顺序依次取3*8/4＝6个通道的特征图，计算这6个特征图的平均值作为图像合并模块的输出，得到4张特征图。
由于本申请实施例中可以灵活的设置k的取值，因此可以灵活调节原图像的放大倍数，能够提升用户体验。
图像重排列模块，该模块中的操作没有参数，具体的，该模块中将图像合并模块得到的特征图重新排列，假设原低分辨率图像块的长宽为x、y，经过图像合并模块操作后，会得到k2张s×h的特征图，表示为k2×s×h的特征图矩阵，这里默认超分辨率的倍数为k，即长宽倍数分别为k，则将k×s×h重新排列为1个ks×kh的高分辨率图像。
图像融合模块，该模块中的操作没有参数。具体的，该模块中采用双三次差值(Bicubic)方法将大小为s×h的原分辨率图像块的分辨率提高到原来的k2倍，即得到大小为ks×kh的高分辨率图像块H，将H的Y通道的图像块与图像重排列模块得到的图像块相加，得到最终的Y通道的高分辨率图像块，之后再将该高分辨率图像块的Y通道与H的U、V通道的图像块组合，一起构成最终完整的高分辨率图像块，即超分辨率重建的最终结果，即图像块的重建图像块。
需要说明的是，上文仅列举了一种重建模型的可行方案，但本申请实施例并不限于此，在实际应用中上述的分类模型可以进行一定的变形，例如，如图14所示，该重建模型可以包括多个相同的卷积模块，其中每个卷积模块均与图11中的卷积模块的结构相同，图14中该模型中的其余模块与图11类似，为避免重复，此处不再赘述。
本申请实施例通过重复使用该相同的卷积模块，通过多次卷积操作，能够得到主、客观质量更佳的SR重建图像。
下面描述在构造好重建模型后，具体的训练过程。
具体的，本申请实施例中需要针对不同类型的图像块，训练其对应的同样的网络结构下的不同的网络参数。也就是说，本申请实施例中，当构造好基本的稠密卷积神经网络(即重建模型)的结构后，需要针对不同类型的图像块，训练不同的网络参数即重建参数集合；
基于不同图像块之间的细节差异，本申请实施例可以将图像块的类型分为单一区域图像块、纹理区域图像块、边缘区域图像块和混合区域图像块，共4种类型，即需要按照图13中描述的网络结构训练4组重建参数集合，例如，该4组重建参数集合对应的该重建模型分别称为DCNN1，DCNN2，DCNN3和DCNN4。
具体训练过程以单一区域图像块的DCNN1为例：
首先，获取训练图像块样本。例如，选择大量内容较为均匀单一的大小为ks×kh的图像块作为高分辨率图像块，取其YUV颜色空间中Y通道的图像块y；采用双三次差值(Bicubic)方法将这些图像块进行尺度为k的下采样，即得到大小为s×h的低分辨率图像块x，作为DCNN1的输入；假设共有n个图像块，则得到训练样本集{(x1,y1),(x2,y2),…,(xn,yn)}。
其次，构造代价函数(也可以称为损失函数)。假设DCNN1中所有卷积层的权重参数为W，偏置项参数为b，将第i个输入样本(xi,yi)输入随机初始化参数的DCNN1中，得到网络实际输出的高分辨率图像块f W,b(xi)，则f W,b(xi)与yi之间的差异可表示为：
即f W,b(xi)与yi对应位置处的像素值之间差值的平方除以2；而对l个输入样本，定义整体的代价函数为所有l个样本的代价函数的均值，即均方误差(Mean Square Error，MSE)：
然后本申请实施例中可以采用反向传播(back propogation，BP)算法优化该代价函数，得到训练好的DCNN1的网络参数W和b。
类型地，其余的图像块类型对应的重建参数集合可以按照上述方法进行，本申请实施例不再赘述。
下面描述在构造好(即训练完)重建模型后，具体的通过重建模型对各个图像块进行SR重建的具体过程：
具体的，将大小为s×h的图像块送入该重建模型，分别使用该图像块的类型对应的重建参数集合进行重建，即使用DCNN1、DCNN2、DCNN3和DCNN4中的一种进行重建，在已训练好参数的网络中通过上述重建模型中的各个模块的操作，输出最终该图像块的超分辨率结果，即图像块的超分辨率重建图像块。
440，将该n个图像块的重建图像块拼接在一起，得到超分辨率重建图像。
具体的，可以将该n个图像块的重建图像块按照该待重建的图像划分时的原顺序重新组合，得到最终的SR之后的分辨率提升k2倍的图像，即超分辨率重建图像。
假设待重建图像共划分为n个s×h的图像块，这些图像块在原图像中的位置为1,2,…,n；经过SR后这些图像块的重建图像块的分辨率变为ks×kh，按照这n个图像块在原图中对应的位置1,2,…,n依次排列，得到最终SR后的完整图像，即超分辨率重建图像。
因此，本申请实施例通过采用简单的浅层网络(shallow network)即卷积神经网络图像块分类模型对不同的图像区域(图像块)进行分类，然后针对不同类型的图像块采用不同的稠密连接卷积神经网络(网络的结构相同但参数不一样)进行SR重建，由于该重建模型中卷积层之间为稠密连接，因此，能够强化图像的特征传播，支持特征重用，能够在保证SR图像质量的情况下，大大减少重建模型中每个卷积层的卷积核数量。
并且本申请实施例中，每个卷积层可以设置多种大小不同的卷积核，通过多种卷积核能够提取多种图像特征，能够提高SR的图像质量。
进一步的，本申请能够针对不同的类型的图像块采用不同的重建参数集合进行重建，对不同的图像块类型能够针对性的进行重建，能够提高SR的图像质量，得到更精确的SR结果，减小视觉差距，提升用户体验。
应理解，上文中图1至图14的例子，仅仅是为了帮助本领域技术人员理解本申请实施例，而非要将本申请实施例限于所例示的具体数值或具体场景。本领域技术人员根据所给出的图1至图14的例子，显然可以进行各种等价的修改或变化，这样的修改或变化也落入本申请实施例的范围内。
应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
上文中，结合图1至图14详细描述了本申请实施例的图像超分辨率重建的方法，下面结合图15和图16描述本申请实施例的图像超分辨率重建的装置。
图15是根据本申请一个实施例的图像超分辨率重建的装置示意框图。应理解，本申请实施例中的图像超分辨率重建的装置(以下简称“重建装置”)可以为医学影像处理领域、云领域、安检领域、卫星遥感图像分析领域、测绘领域、监控领域、电视领域、电影领域、电子产品领域等各种需要进行图像超分辨率重建的领域中具有图像超分辨率重建功能的装置，包括但不限于医学影像处理装置、云服务或云计算装置(例如，云服务平台)、安检装置、卫星遥感图像分析装置、测绘装置、监控装置、电视机(例如，数字高清电视(HDTV))、电影播放装置、智能手机、照相机、摄像机、计算设备、车载设备、可穿戴设备、无人机设备等设备等，本申请实施例并不限于此，只要该重建装置能够实现图像超分辨率重建的方法即可。可选地，该重建装置还可以是芯片。
图15所示的图像超分辨率重建的装置1500包括：处理单元1510和存储单元1520。
具体地，所述存储用于存储卷积神经网络重建模型，所述处理单元用于：
将待重建的图像划分为n个图像块，n为大于或等于2的整数；
确定所述n个图像块中各个图像块的类型；
根据所述n个图像块中各个图像块的类型，通过所述卷积神经网络重建模型对所述各个图像块进行重建，获取所述n个图像块中各个图像块的重建图像块，其中，所述卷积神经网络重建模型包括多组重建参数集合，不同类型的图像块重建时所使用的卷积神经网络重建模型中的重建参数集合不同；
将所述n个图像块的重建图像块拼接在一起，得到所述图像的超分辨率重建图像。
因此，本申请实施例中针对不同类型的对象块使用不同的参数集合通过重建模型进行重建，避免对整个待重建图像统一处理的不足，能够针对不同的类型进行相对应的处理，提高输出图像质量，减小视觉差距，提升用户体验。
可选地，作为另一实施例，所述多组重建参数集合与多个图像块的类型具有一一对应关系，所述处理单元具体用于：
根据所述n个图像块中各个图像块的类型从所述卷积神经网络重建模型中的多组重建参数集合中确定与所述各个图像块的类型对应的重建参数集合；
使用所述各个图像块的类型对应的重建参数集合，通过所述卷积神经网络重建模型对所述各个图像块进行重建，获取所述n个图像块中各个图像块的重建图像块。
可选地，作为另一实施例，所述卷积神经网络重建模型包括至少一个卷积模块，其中，每个卷积模块包括至少一层卷积层，每个卷积层包括至少一个卷积核，所述多组重建参数集合中的每组重建参数集合包括所述至少一个卷积模块中的所有卷积核以及各个卷积核对应的偏置值。
可选地，作为另一实施例，每个卷积模块包括至少两个卷积层，所述至少两个卷积层中每个卷积层与所述每个卷积层之后的所有卷积层相连，所述每个卷积层的输出图像块作为所述每个卷积层之后的所有卷积层的输入图像块。
可选地，作为另一实施例，所述至少一个卷积模块包括至少两个卷积模块，且所述至少两个卷积模块均相同。
可选地，作为另一实施例，每个所述卷积模块包括7层卷积层。放在说明书中，解释吧。
可选地，作为另一实施例，每个所述卷积层包括至少两种大小的卷积核。
可选地，作为另一实施例，所述至少两种大小的卷积核包括1×1的卷积核、3×3的卷积核和5×5的卷积核中的至少两种。放在说明书发明内容的
可选地，作为另一实施例，所述卷积神经网络重建模型还包图像合并模块、图像重排列模块和图像融合模块，
其中，处理单元具体用于：
通过所述至少一个卷积模块对所述n个图像块中的第一图像块进行卷积操作获取所述第一图像块的m个卷积图像，所述第一图像块为所述n个图像块中的任意一个图像块，m表示所述卷积模块中的最后一个卷积层中卷积核的数目，m为大于或等于k2的整数，k表示超分辨率后的图像的长宽为原来图像长宽的倍数，k为大于或等于2的整数；
将所述m个卷积图像中每m/k2个卷积图像作为一组通过所述图像平均模块进行合并处理，获取由所述m卷积图像生成的k2个合并图像；
通过所述图像重排列模块对所述k2个合并图像进行重排列获取高分辨率图像，所述高分辨率图像的分辨率为待重建图像分辨率的k2倍；
通过所述图像融合模块对所述高分辨率图像与所述第一图像块进行融合处理，获取所述第一图像块的重建图像块。
可选地，作为另一实施例，在对所述待重建的图像进行超分辨率重建之前，所述处理单元还用于：
获取不同类型的图像块样本；
分别使用所述不同类型的图像块样本训练所述卷积神经网络重建模型，获取各个图像块类型对应的重建参数集合。
可选地，作为另一实施例，所述处理单元具体用于：
将所述n个图像块中的各个图像块输入到卷积神经网络图像块分类模型，获取所述图像分类模型输出的所述各个图像块的类型，其中，所述卷积神经网络图像分类模型包括至少一层卷积层、至少一层池化层和至少一层全连接层。
可选地，作为另一实施例，在确定所述n个图像块中各个图像块的类型之前，所述处理单元还用于：
获取不同预定义类型的图像块样本；
分别使用所述不同预定义类型的图像块样本训练所述图像块分类模型。
可选地，图15所述的重建装置还可以包括收发单元，该收发单元也可以称为通信单元，例如，可以为网络接口，处理单元可以通过该收发单元获取待重建的图像，或者获取图像块样本，本申请实施例并不限于此。
因此，本申请实施例通过采用简单的浅层网络(shallow network)即卷积神经网络图像块分类模型对不同的图像区域(图像块)进行分类，然后针对不同类型的图像块采用不同的稠密连接卷积神经网络(网络的结构相同但参数不一样)进行SR重建，由于该重建模型中卷积层之间为稠密连接，因此，能够强化图像的特征传播，支持特征重用，能够在保证SR图像质量的情况下，大大减少重建模型中每个卷积层的卷积核数量。
并且本申请实施例中，每个卷积层可以设置多种大小不同的卷积核，通过多种卷积核能够提取多种图像特征，能够提高SR的图像质量。
进一步的，本申请能够针对不同的类型的图像块采用不同的重建参数集合进行重建，对不同的图像块类型能够针对性的进行重建，能够提高SR的图像质量，得到更精确的SR结果，减小视觉差距，提升用户体验。
应理解，图15所示的重建装置能够实现图1至图14方法实施例中由图像超分辨率重建的装置执行的各个过程，重建装置1500中的各个模块的操作和/或功能，分别为了实现图1至图14中的方法实施例中的相应流程，具体可参见上述方法实施例中的描述，为避免重复，此处适当省略详述描述。
图16示出了根据本申请实施例的图像超分辨率重建的装置1600的示意性框图。具体地，如图16所示，该图像超分辨率重建的装置1600包括：处理器1610和存储器1620，处理器1610和存储器1620相连，可选地，该图像超分辨率重建的装置1600还包括收发器1630，收发器1630与处理器1610相连，其中，处理器1610、收发器1630和存储器1620之间通过内部连接通路互相通信，传递控制和/或数据信号。
该收发器1630可以为输入单元、通信单元、网络接口等组件，处理器1610可以通过该收发器1630获取待重建的图像，或者获取图像块样本。该存储器1620可以用于存储数据，例如，用于存储分类模型和重建模型，该存储器1620还可以用于存储指令，该处理器1610用于执行该存储器1620存储的指令，控制收发器1620收发送信息或信号，控制器1610在执行存储器1620中的指令能够完成上述图1至图14方法实施例中的各个过程。为避免重复，此处不再赘述。
应理解，图像超分辨率重建的装置1600可以与上述图15中的图像超分辨率重建的装置1500相对应，图像超分辨率重建的装置1500中的处理单元1510的功能可以由处理器1610实现，收发单元的功能可以由收发器1630实现，存储单元1520的功能可以由存储器1620实现。为避免重复，此处适当省略详细描述。
因此，本申请实施例通过采用简单的浅层网络(shallow network)即卷积神经网络图像块分类模型对不同的图像区域(图像块)进行分类，然后针对不同类型的图像块采用不同的稠密连接卷积神经网络(网络的结构相同但参数不一样)进行SR重建，由于该重建模型中卷积层之间为稠密连接，因此，能够强化图像的特征传播，支持特征重用，能够在保证SR图像质量的情况下，大大减少重建模型中每个卷积层的卷积核数量。
并且本申请实施例中，每个卷积层可以设置多种大小不同的卷积核，通过多种卷积核能够提取多种图像特征，能够提高SR的图像质量。
进一步的，本申请能够针对不同的类型的图像块采用不同的重建参数集合进行重建，对不同的图像块类型能够针对性的进行重建，能够提高SR的图像质量，得到更精确的SR结果，减小视觉差距，提升用户体验。
应理解，该图像超分辨率重建的装置1600还可以包括其它部件，例如，显示单元，例如，显示器。该显示单元可以向用户显示超分辨率重建图像。本领域技术人员可以理解，图中示出的图像超分辨率重建的装置的结构并不构成对本申请的限定，它既可以是总线形结构，也可以是星型结构，还可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。在本申请实施方式中。
输入单元用于实现用户与图像超分辨率重建的装置的交互和/或信息输入到移动终端中。例如，输入单元可以接收用户输入的数字或字符信息，以产生与用户设置或功能控制有关的信号输入。在本申请具体实施方式中，输入单元可以是触控面板，也可以是其他人机交互界面，例如实体输入键、麦克风等，还可是其他外部信息撷取装置，例如摄像头等。触控面板，也称为触摸屏或触控屏，可收集用户在其上触摸或接近的操作动作。比如用户使用手指、触笔等任何适合的物体或附件在触控面板上或接近触控面板的位置的操作动作，并根据预先设定的程式驱动相应的连接装置。可选的，触控面板可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸操作，并将检测到的触摸操作转换为电信号，以及将所述电信号传送给触摸控制器；触摸控制器从触摸检测装置上接收所述电信号，并将它转换成触点坐标，再送给处理单元。所述触摸控制器还可以接收处理单元发来的命令并执行。此外，可以采用电阻式、电容式、红外线(Infrared)以及表面声波等多种类型实现触控面板。在本申请的其他实施方式中，输入单元所采用的实体输入键可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。麦克风形式的输入单元可以收集用户或环境输入的语音并将其转换成电信号形式的、处理单元可执行的命令。
显示器也可以称为输出单元，输出单元可以包括但不限于影像输出单元、声音输出和触感输出单元。影像输出单元用于输出文字、图片和/或视频。所述影像输出单元可包括显示面板，例如采用LCD(Liquid Crystal Display，液晶显示器)、OLED(Organic Light-Emitting Diode，有机发光二极管)、场发射显示器(field emission display，简称FED)等形式来配置的显示面板。或者所述影像输出单元可以包括反射式显示器，例如电泳式(electrophoretic)显示器，或利用光干涉调变技术(Interferometric Modulation ofLight)的显示器。所述影像输出单元可以包括单个显示器或不同尺寸的多个显示器。在本申请的具体实施方式中，上述输入单元所采用的触控面板亦可同时作为输出单元的显示面板。例如，当触控面板检测到在其上的触摸或接近的手势操作后，传送给处理单元以确定触摸事件的类型，随后处理单元根据触摸事件的类型在显示面板上提供相应的视觉输出。虽然输入单元与输出单元是作为两个独立的部件来实现移动终端的输入和输出功能，但是在某些实施例中，可以将触控面板与显示面板集成一体而实现移动终端的输入和输出功能。例如，所述影像输出单元可以显示各种图形化用户接口(Graphical User Interface，简称GUI)以作为虚拟控制组件，包括但不限于窗口、卷动轴、图标及剪贴簿，以供用户通过触控方式进行操作。
处理器为图像超分辨率重建的装置的控制中心，利用各种接口和线路连接整个图像超分辨率重建的装置的各个部分，通过运行或执行存储在存储器内的软件程序和/或模块，以及调用存储在存储器内的数据，以执行图像超分辨率重建的装置的各种功能和/或处理数据。
应注意，本申请实施例中的处理器(例如，图16中的处理器)可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法实施例的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器、数字信号处理器(digital signal processor，DSP)、专用集成电路(application specificintegrated crcuit，ASIC)、现成可编程门阵列(field programmable gate array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。
可以理解，本申请实施例中的存储器(例如，图16中的存储器)可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(read-only memory，ROM)、可编程只读存储器(programmable ROM，PROM)、可擦除可编程只读存储器(erasable PROM，EPROM)、电可擦除可编程只读存储器(electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(randomaccess memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(static RAM，SRAM)、动态随机存取存储器(dynamicRAM，DRAM)、同步动态随机存取存储器(synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(double data rate SDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(direct rambus RAM，DR RAM)。应注意，本文描述的系统和方法的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
所述程序包括安装在图像超分辨率重建装置上的任何应用的程序，包括但不限于可以进行图像超分辨率重建的应用，或者与图像超分辨率重建的应用关联的应用，例如用于接收图像超分辨率重建的应用的重建图像，对该重建图像进行处理的应用，等等。
本申请实施例还提供了一种处理装置，包括处理器和接口；所述处理器，用于执行上述任一方法实施例中的图像超分辨率重建的方法。
应理解，上述处理装置可以是一个芯片。例如，该处理装置可以是现场可编程门阵列(field-programmable gate array，FPGA)，可以是专用集成芯片(applicationspecific integrated circuit，ASIC)，还可以是系统芯片(system on chip，SoC)，还可以是中央处理器(central processor unit，CPU)，还可以是网络处理器(networkprocessor，NP)，还可以是数字信号处理电路(digital signal processor，DSP)，还可以是微控制器(micro controller unit，MCU)，还可以是可编程控制器(programmable logicdevice，PLD)或其他集成芯片。
本申请实施例还提供一种平台系统，其包括前述的图像超分辨率重建装置。
本申请实施例还提供了一种计算机可读介质，其上存储有计算机程序，该计算机程序被计算机执行时实现上述任一方法实施例的方法。
本申请实施例还提供了一种计算机程序产品，该计算机程序产品被计算机执行时实现上述任一方法实施例的方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行该计算机指令时，全部或部分地产生按照本申请实施例该的流程或功能。该计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。该计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，该计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digitalsubscriber line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。该计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如，高密度数字视频光盘(digitalvideo disc，DVD))、或者半导体介质(例如，固态硬盘(solid state disk，SSD))等。
应理解，本文中涉及的第一、第二、第三、第四以及各种数字编号仅为描述方便进行的区分，并不用来限制本申请实施例的范围。
在本说明书中使用的术语“部件”、“模块”、“系统”等用于表示计算机相关的实体、硬件、固件、硬件和软件的组合、软件、或执行中的软件。例如，部件可以是但不限于，在处理器上运行的进程、处理器、对象、可执行文件、执行线程、程序和/或计算机。通过图示，在计算设备上运行的应用和计算设备都可以是部件。一个或多个部件可驻留在进程和/或执行线程中，部件可位于一个计算机上和/或分布在2个或更多个计算机之间。此外，这些部件可从在上面存储有各种数据结构的各种计算机可读介质执行。部件可例如根据具有一个或多个数据分组(例如来自与本地系统、分布式系统和/或网络间的另一部件交互的二个部件的数据，例如通过信号与其它系统交互的互联网)的信号通过本地和/或远程进程来通信。
应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
另外，本文中术语“系统”和“网络”在本文中常被可互换使用。本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
应理解，在本申请实施例中，“与A相应的B”表示B与A相关联，根据A可以确定B。但还应理解，根据A确定B并不意味着仅仅根据A确定B，还可以根据A和/或其它信息确定B。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本申请实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到本申请可以用硬件实现，或固件实现，或它们的组合方式来实现。当使用软件实现时，可以将上述功能存储在计算机可读介质中或作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是计算机能够存取的任何可用介质。以此为例但不限于：计算机可读介质可以包括RAM、ROM、EEPROM、CD-ROM或其他光盘存储、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质。此外。任何连接可以适当的成为计算机可读介质。例如，如果软件是使用同轴电缆、光纤光缆、双绞线、数字用户线(DSL)或者诸如红外线、无线电和微波之类的无线技术从网站、服务器或者其他远程源传输的，那么同轴电缆、光纤光缆、双绞线、DSL或者诸如红外线、无线和微波之类的无线技术包括在所属介质的定影中。如本申请所使用的，盘(Disk)和碟(disc)包括压缩光碟(CD)、激光碟、光碟、数字通用光碟(DVD)、软盘和蓝光光碟，其中盘通常磁性的复制数据，而碟则用激光来光学的复制数据。上面的组合也应当包括在计算机可读介质的保护范围之内。
总之，以上所述仅为本申请技术方案的较佳实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (21)

1.一种图像超分辨率重建的方法，其特征在于，包括：
将待重建的图像划分为n个图像块，n为大于或等于2的整数；
确定所述n个图像块中各个图像块的类型；
根据所述n个图像块中各个图像块的类型，通过卷积神经网络重建模型对所述各个图像块进行重建，获取所述n个图像块中各个图像块的重建图像块，其中，所述卷积神经网络重建模型包括多组重建参数集合，不同类型的图像块重建时所使用的卷积神经网络重建模型中的重建参数集合不同；
将所述n个图像块的重建图像块拼接在一起，得到所述图像的超分辨率重建图像。
2.根据权利要求1所述的方法，其特征在于，所述多组重建参数集合与多个图像块的类型具有一一对应关系，所述根据所述n个图像块中各个图像块的类型，通过卷积神经网络重建模型对所述各个图像块进行重建，获取所述n个图像块中各个图像块的重建图像块，包括：
根据所述n个图像块中各个图像块的类型从所述卷积神经网络重建模型中的多组重建参数集合中确定与所述各个图像块的类型对应的重建参数集合；
使用所述各个图像块的类型对应的重建参数集合，通过所述卷积神经网络重建模型对所述各个图像块进行重建，获取所述n个图像块中各个图像块的重建图像块。
3.根据权利要求1或2所述的方法，其特征在于，所述卷积神经网络重建模型包括至少一个卷积模块，其中，每个卷积模块包括至少一层卷积层，每个卷积层包括至少一个卷积核，所述多组重建参数集合中的每组重建参数集合包括所述至少一个卷积模块中的所有卷积核以及各个卷积核对应的偏置值。
4.根据权利要求3所述的方法，其特征在于，
每个卷积模块包括至少两个卷积层，所述至少两个卷积层中每个卷积层与所述每个卷积层之后的所有卷积层相连，所述每个卷积层的输出图像块作为所述每个卷积层之后的所有卷积层的输入图像块。
5.根据权利要求3或4所述的方法，其特征在于，
所述至少一个卷积模块包括至少两个卷积模块，且所述至少两个卷积模块均相同。
6.根据权利要求3至5中任一项所述的方法，其特征在于，
每个所述卷积层包括至少两种大小的卷积核。
7.根据权利要求3至6中任一项所述的方法，其特征在于，所述卷积神经网络重建模型还包图像合并模块、图像重排列模块和图像融合模块，
其中，所述通过卷积神经网络重建模型对所述各个图像块进行重建，获取所述n个图像块中各个图像块的重建图像块，包括：
通过所述至少一个卷积模块对所述n个图像块中的第一图像块进行卷积操作获取所述第一图像块的m个卷积图像，所述第一图像块为所述n个图像块中的任意一个图像块，m表示所述卷积模块中的最后一个卷积层中卷积核的数目，m为大于或等于k2的整数，k表示超分辨率后的图像的长宽为原来图像长宽的倍数，k为大于或等于2的整数；
将所述m个卷积图像中每m/k2个卷积图像作为一组通过所述图像平均模块进行合并处理，获取由所述m卷积图像生成的k2个合并图像；
通过所述图像重排列模块对所述k2个合并图像进行重排列获取高分辨率图像，所述高分辨率图像的分辨率为待重建图像分辨率的k2倍；
通过所述图像融合模块对所述高分辨率图像与所述第一图像块进行融合处理，获取所述第一图像块的重建图像块。
8.根据权利要求1至7中任一项所述的方法，其特征在于，在对所述待重建的图像进行超分辨率重建之前，所述方法还包括：
获取不同类型的图像块样本；
分别使用所述不同类型的图像块样本训练所述卷积神经网络重建模型，获取各个图像块类型对应的重建参数集合。
9.根据权利要求1至8中任一所述的方法，其特征在于，所述确定所述n个图像块中各个图像块的类型包括：
将所述n个图像块中的各个图像块输入到卷积神经网络图像块分类模型，获取所述图像分类模型输出的所述各个图像块的类型，其中，所述卷积神经网络图像分类模型包括至少一层卷积层、至少一层池化层和至少一层全连接层。
10.根据权利要求9所述的方法，其特征在于，在确定所述n个图像块中各个图像块的类型之前，所述方法还包括：
获取不同预定义类型的图像块样本；
分别使用所述不同预定义类型的图像块样本训练所述图像块分类模型。
11.一种图像超分辨率重建的装置，其特征在于，包括：
处理单元和存储单元，
所述存储用于存储卷积神经网络重建模型，所述处理单元用于：
将待重建的图像划分为n个图像块，n为大于或等于2的整数；
确定所述n个图像块中各个图像块的类型；
根据所述n个图像块中各个图像块的类型，通过所述卷积神经网络重建模型对所述各个图像块进行重建，获取所述n个图像块中各个图像块的重建图像块，其中，所述卷积神经网络重建模型包括多组重建参数集合，不同类型的图像块重建时所使用的卷积神经网络重建模型中的重建参数集合不同；
将所述n个图像块的重建图像块拼接在一起，得到所述图像的超分辨率重建图像。
12.根据权利要求11所述的装置，其特征在于，所述多组重建参数集合与多个图像块的类型具有一一对应关系，所述处理单元具体用于：
根据所述n个图像块中各个图像块的类型从所述卷积神经网络重建模型中的多组重建参数集合中确定与所述各个图像块的类型对应的重建参数集合；
使用所述各个图像块的类型对应的重建参数集合，通过所述卷积神经网络重建模型对所述各个图像块进行重建，获取所述n个图像块中各个图像块的重建图像块。
13.根据权利要求11或12所述的装置，其特征在于，所述卷积神经网络重建模型包括至少一个卷积模块，其中，每个卷积模块包括至少一层卷积层，每个卷积层包括至少一个卷积核，所述多组重建参数集合中的每组重建参数集合包括所述至少一个卷积模块中的所有卷积核以及各个卷积核对应的偏置值。
14.根据权利要求13所述的装置，其特征在于，
每个卷积模块包括至少两个卷积层，所述至少两个卷积层中每个卷积层与所述每个卷积层之后的所有卷积层相连，所述每个卷积层的输出图像块作为所述每个卷积层之后的所有卷积层的输入图像块。
15.根据权利要求13或14所述的装置，其特征在于，
所述至少一个卷积模块包括至少两个卷积模块，且所述至少两个卷积模块均相同。
16.根据权利要求13至15中任一项所述的装置，其特征在于，
每个所述卷积层包括至少两种大小的卷积核。
17.根据权利要求13至16中任一项所述的装置，其特征在于，所述卷积神经网络重建模型还包图像合并模块、图像重排列模块和图像融合模块，
其中，处理单元具体用于：
通过所述至少一个卷积模块对所述n个图像块中的第一图像块进行卷积操作获取所述第一图像块的m个卷积图像，所述第一图像块为所述n个图像块中的任意一个图像块，m表示所述卷积模块中的最后一个卷积层中卷积核的数目，m为大于或等于k2的整数，k表示超分辨率后的图像的长宽为原来图像长宽的倍数，k为大于或等于2的整数；
将所述m个卷积图像中每m/k2个卷积图像作为一组通过所述图像平均模块进行合并处理，获取由所述m卷积图像生成的k2个合并图像；
通过所述图像重排列模块对所述k2个合并图像进行重排列获取高分辨率图像，所述高分辨率图像的分辨率为待重建图像分辨率的k2倍；
通过所述图像融合模块对所述高分辨率图像与所述第一图像块进行融合处理，获取所述第一图像块的重建图像块。
18.根据权利要求11至17中任一项所述的装置，其特征在于，在对所述待重建的图像进行超分辨率重建之前，所述处理单元还用于：
获取不同类型的图像块样本；
分别使用所述不同类型的图像块样本训练所述卷积神经网络重建模型，获取各个图像块类型对应的重建参数集合。
19.根据权利要求11至18中任一所述的装置，其特征在于，所述处理单元具体用于：
将所述n个图像块中的各个图像块输入到卷积神经网络图像块分类模型，获取所述图像分类模型输出的所述各个图像块的类型，其中，所述卷积神经网络图像分类模型包括至少一层卷积层、至少一层池化层和至少一层全连接层。
20.根据权利要求19所述的装置，其特征在于，在确定所述n个图像块中各个图像块的类型之前，所述处理单元还用于：
获取不同预定义类型的图像块样本；
分别使用所述不同预定义类型的图像块样本训练所述图像块分类模型。
21.一种计算机可读存储介质，其特征在于，包括计算机程序，当所述计算机程序在计算机上运行时，使得所述计算机执行如权利要求1至10中任一项所述的方法。
CN201810127266.0A 2018-02-08 2018-02-08 图像超分辨率重建的方法和装置 Active CN110136056B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810127266.0A CN110136056B (zh) 2018-02-08 2018-02-08 图像超分辨率重建的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810127266.0A CN110136056B (zh) 2018-02-08 2018-02-08 图像超分辨率重建的方法和装置

Publications (2)

Publication Number Publication Date
CN110136056A true CN110136056A (zh) 2019-08-16
CN110136056B CN110136056B (zh) 2023-08-29

Family

ID=67567379

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810127266.0A Active CN110136056B (zh) 2018-02-08 2018-02-08 图像超分辨率重建的方法和装置

Country Status (1)

Country Link
CN (1) CN110136056B (zh)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110958469A (zh) * 2019-12-13 2020-04-03 联想(北京)有限公司 视频处理方法、装置、电子设备及存储介质
CN111091158A (zh) * 2019-12-25 2020-05-01 科大讯飞股份有限公司 针对教辅图像的图像质量的分类方法、装置及设备
CN111489293A (zh) * 2020-03-04 2020-08-04 北京思朗科技有限责任公司 图像的超分辨率重建方法及装置
CN111524068A (zh) * 2020-04-14 2020-08-11 长安大学 一种基于深度学习的变长输入超分辨率视频重建方法
CN111598796A (zh) * 2020-04-27 2020-08-28 Oppo广东移动通信有限公司 图像处理方法及装置、电子设备、存储介质
CN111598776A (zh) * 2020-04-29 2020-08-28 Oppo广东移动通信有限公司 图像处理方法、图像处理装置、存储介质与电子设备
CN111652850A (zh) * 2020-05-08 2020-09-11 怀光智能科技（武汉）有限公司 一种基于移动设备的筛查系统
CN111861881A (zh) * 2020-06-09 2020-10-30 复旦大学 一种基于cnn进行插值的图像超分辨率重建算法
CN112508780A (zh) * 2019-09-16 2021-03-16 中移(苏州)软件技术有限公司 一种图像处理模型的训练方法、装置及存储介质
WO2021072869A1 (zh) * 2019-10-15 2021-04-22 网宿科技股份有限公司 一种视频超分辨率重建的方法和装置
CN112734013A (zh) * 2021-01-07 2021-04-30 北京迈格威科技有限公司 图像处理方法、装置、电子设备及存储介质
CN113068029A (zh) * 2021-03-02 2021-07-02 北京四达时代软件技术股份有限公司 用于移动端的视频解码方法、系统、存储介质及电子设备
CN113298712A (zh) * 2021-05-21 2021-08-24 安谋科技（中国）有限公司 图像处理方法、电子设备及其可读介质
CN113793264A (zh) * 2021-09-07 2021-12-14 北京航星永志科技有限公司 一种基于卷积模型的档案图像处理方法、系统和电子设备
CN113838028A (zh) * 2021-09-24 2021-12-24 无锡祥生医疗科技股份有限公司 一种颈动脉超声自动多普勒方法、超声设备及存储介质
WO2022047719A1 (zh) * 2020-09-04 2022-03-10 华为技术有限公司 用于提高图像分辨率的方法、视频生成方法及相关装置
WO2022160980A1 (zh) * 2021-01-29 2022-08-04 中国科学院深圳先进技术研究院 一种超分辨率方法、装置、终端设备及存储介质
WO2023015871A1 (zh) * 2021-08-11 2023-02-16 南方科技大学 图像特征提取方法及装置、计算机设备和可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106339984A (zh) * 2016-08-27 2017-01-18 中国石油大学(华东) 基于k均值驱动卷积神经网络的分布式图像超分辨方法
CN106600538A (zh) * 2016-12-15 2017-04-26 武汉工程大学 一种基于区域深度卷积神经网络的人脸超分辨率算法
US20170372174A1 (en) * 2016-06-28 2017-12-28 Conduent Business Services, Llc System and method for expanding and training convolutional neural networks for large size input images
CN107633223A (zh) * 2017-09-15 2018-01-26 深圳市唯特视科技有限公司 一种基于深层对抗网络的视频人体属性识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170372174A1 (en) * 2016-06-28 2017-12-28 Conduent Business Services, Llc System and method for expanding and training convolutional neural networks for large size input images
CN106339984A (zh) * 2016-08-27 2017-01-18 中国石油大学(华东) 基于k均值驱动卷积神经网络的分布式图像超分辨方法
CN106600538A (zh) * 2016-12-15 2017-04-26 武汉工程大学 一种基于区域深度卷积神经网络的人脸超分辨率算法
CN107633223A (zh) * 2017-09-15 2018-01-26 深圳市唯特视科技有限公司 一种基于深层对抗网络的视频人体属性识别方法

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112508780A (zh) * 2019-09-16 2021-03-16 中移(苏州)软件技术有限公司 一种图像处理模型的训练方法、装置及存储介质
WO2021072869A1 (zh) * 2019-10-15 2021-04-22 网宿科技股份有限公司 一种视频超分辨率重建的方法和装置
CN110958469A (zh) * 2019-12-13 2020-04-03 联想(北京)有限公司 视频处理方法、装置、电子设备及存储介质
CN111091158A (zh) * 2019-12-25 2020-05-01 科大讯飞股份有限公司 针对教辅图像的图像质量的分类方法、装置及设备
CN111091158B (zh) * 2019-12-25 2024-04-30 科大讯飞股份有限公司 针对教辅图像的图像质量的分类方法、装置及设备
CN111489293A (zh) * 2020-03-04 2020-08-04 北京思朗科技有限责任公司 图像的超分辨率重建方法及装置
CN111524068A (zh) * 2020-04-14 2020-08-11 长安大学 一种基于深度学习的变长输入超分辨率视频重建方法
CN111524068B (zh) * 2020-04-14 2023-06-02 长安大学 一种基于深度学习的变长输入超分辨率视频重建方法
CN111598796A (zh) * 2020-04-27 2020-08-28 Oppo广东移动通信有限公司 图像处理方法及装置、电子设备、存储介质
CN111598796B (zh) * 2020-04-27 2023-09-05 Oppo广东移动通信有限公司 图像处理方法及装置、电子设备、存储介质
CN111598776A (zh) * 2020-04-29 2020-08-28 Oppo广东移动通信有限公司 图像处理方法、图像处理装置、存储介质与电子设备
CN111598776B (zh) * 2020-04-29 2023-06-30 Oppo广东移动通信有限公司 图像处理方法、图像处理装置、存储介质与电子设备
CN111652850A (zh) * 2020-05-08 2020-09-11 怀光智能科技（武汉）有限公司 一种基于移动设备的筛查系统
CN111861881A (zh) * 2020-06-09 2020-10-30 复旦大学 一种基于cnn进行插值的图像超分辨率重建算法
WO2022047719A1 (zh) * 2020-09-04 2022-03-10 华为技术有限公司 用于提高图像分辨率的方法、视频生成方法及相关装置
CN114450709A (zh) * 2020-09-04 2022-05-06 华为技术有限公司 用于提高图像分辨率的方法、视频生成方法及相关装置
CN112734013A (zh) * 2021-01-07 2021-04-30 北京迈格威科技有限公司 图像处理方法、装置、电子设备及存储介质
WO2022160980A1 (zh) * 2021-01-29 2022-08-04 中国科学院深圳先进技术研究院 一种超分辨率方法、装置、终端设备及存储介质
CN113068029A (zh) * 2021-03-02 2021-07-02 北京四达时代软件技术股份有限公司 用于移动端的视频解码方法、系统、存储介质及电子设备
CN113298712A (zh) * 2021-05-21 2021-08-24 安谋科技（中国）有限公司 图像处理方法、电子设备及其可读介质
WO2023015871A1 (zh) * 2021-08-11 2023-02-16 南方科技大学 图像特征提取方法及装置、计算机设备和可读存储介质
CN113793264A (zh) * 2021-09-07 2021-12-14 北京航星永志科技有限公司 一种基于卷积模型的档案图像处理方法、系统和电子设备
CN113838028A (zh) * 2021-09-24 2021-12-24 无锡祥生医疗科技股份有限公司 一种颈动脉超声自动多普勒方法、超声设备及存储介质

Also Published As

Publication number Publication date
CN110136056B (zh) 2023-08-29

Similar Documents

Publication Publication Date Title
CN110136056A (zh) 图像超分辨率重建的方法和装置
Wang et al. Pixel2Mesh: 3D mesh model generation via image guided deformation
CN110378381A (zh) 物体检测方法、装置和计算机存储介质
CN108701370A (zh) 基于机器学习的基于内容的医学成像渲染
Tian [Retracted] Immersive 5G Virtual Reality Visualization Display System Based on Big‐Data Digital City Technology
US9519981B2 (en) Visualizing brain network connectivity
US10855564B2 (en) Visualization of network data as a three-dimensional hierarchical data structure in a mixed reality environment
Kim et al. Comparison techniques utilized in spatial 3D and 4D data visualizations: A survey and future directions
CN109978984A (zh) 人脸三维重建方法及终端设备
KR102276936B1 (ko) 3차원 가상 전시 공간의 전시물 이용 서비스 제공 장치
US20160232703A1 (en) System and method for image processing
US8693752B2 (en) Sensitivity lens for assessing uncertainty in image visualizations of data sets, related methods and computer products
JP5557918B2 (ja) 体積イメージデータ処理
CN103503030A (zh) 通过进行图像处理来决定位于现实空间中的对象物的进深的图像处理装置、立体视觉装置、集成电路、程序
CN102893308A (zh) 图像处理系统、装置以及方法
Nowke et al. VisNEST—Interactive analysis of neural activity data
CN102915557B (zh) 图像处理系统、终端装置以及方法
CN108921830A (zh) 一种基于图像检索的人数统计方法
Hachaj Real time exploration and management of large medical volumetric datasets on small mobile devices—evaluation of remote volume rendering approach
CN109191508A (zh) 一种模拟整容装置、模拟整容方法及设备
CN109215131A (zh) 虚拟人脸的驱动方法及装置
WO2023202283A1 (zh) 图像生成模型的训练方法、图像生成方法、装置及设备
CN102833562A (zh) 图像处理系统以及方法
CN101261742A (zh) 医用图像显示装置
Zhao et al. Generation of hospital emergency department layouts based on generative adversarial networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant