CN109961397B - 图像重建方法及设备 - Google Patents

图像重建方法及设备 Download PDF

Info

Publication number
CN109961397B
CN109961397B CN201810327009.1A CN201810327009A CN109961397B CN 109961397 B CN109961397 B CN 109961397B CN 201810327009 A CN201810327009 A CN 201810327009A CN 109961397 B CN109961397 B CN 109961397B
Authority
CN
China
Prior art keywords
image
branch
reconstructed
sub
resolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810327009.1A
Other languages
English (en)
Other versions
CN109961397A (zh
Inventor
姚春凤
冯柏岚
颜波
徐名源
李可
巴合提亚尔·巴热
钱莉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fudan University
Huawei Technologies Co Ltd
Original Assignee
Fudan University
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fudan University, Huawei Technologies Co Ltd filed Critical Fudan University
Priority to CN201810327009.1A priority Critical patent/CN109961397B/zh
Publication of CN109961397A publication Critical patent/CN109961397A/zh
Application granted granted Critical
Publication of CN109961397B publication Critical patent/CN109961397B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Image Processing (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供一种图像重建方法及设备，该方法包括：对第一图像的M个部分分别进行重建得到M个重建的部分；第一图像的M个部分的组合为第一图像；第一图像的M个部分是根据第一图像中对象的固定结构划分的，M为大于1的正整数；第一图像的M个部分中每个部分的分辨率低于对应的重建的部分的分辨率；将M个重建的部分进行组合得到重建的第二图像。实施本申请实施例，可以提高重建图像的质量。

Description

图像重建方法及设备
技术领域
本申请涉及图像技术领域，尤其涉及一种图像重建方法及设备。
背景技术
图像超分辨率重建是指利用图像处理方法将低分辨率图像重建为高分辨率图像的技术，可有效提升图像的清晰度，对于视频监控、相机拍照、高清电视、医学图像等各领域具有重要意义。而图像超分辨率重建中，人脸超分辨率重建(face image super-resolution)应用广泛，人脸超分辨率重建又称人脸幻生(face hallucination)。
目前，人脸超分辨率重建的方法包括基于信号重建的方法和基于机器学习的方法。其中，基于信号重建方法主要通过信号处理领域中的信号重建理论来实现，例如傅里叶变换、多项式插值等。基于信号的重建方法通常实现简单，但重建得到的图像细节信息丢失严重，边缘模糊，锯齿状明显。
而基于机器学习的方法是输入低分辨率图像，然后通过超分辨率模型重建低分辨率图像得到极大后验概率估计的重建图像。基于机器学习的方法中最常用的超分辨率模型是深度学习的超分辨率网络。在对低分辨率图像进行处理时，超分辨率模型同时对图像进行整体重建，未考虑图像中各部分各自的特征，从而降低了图像重建质量。另外，对于深度学习的超分辨率网络，网络深度太浅导致图像重建质量不好，网络深度太深又会引起损失函数不易收敛。
发明内容
本申请实施例公开了一种图像重建方法及设备，，重建得到图像包含更多的图像特征，可以更加精确的对图像进行重建，从而可以提高图像重建质量。
第一方面，本申请实施例提供一种图像重建方法，包括：对第一图像的M个部分分别进行重建得到M个重建的部分；所述第一图像的M个部分的组合为所述第一图像；所述第一图像的M个部分是根据所述第一图像中对象的固定结构划分的，所述M为大于1的正整数；所述第一图像的M个部分中每个部分的分辨率低于对应的重建的部分的分辨率；将所述M个重建的部分进行组合得到重建的第二图像。
上述的图像重建方法中，对于每个部分来说，可以针对该部分的图像特征进行重建，重建得到的部分包含该部分特有的图像特征，可以更加精确的对该部分进行重建，从而可以提高图像的重建质量。
在一个实施例中，所述对第一图像的M个部分分别进行重建得到M个重建的部分，包括：将所述第一图像针对第一图像的第i个部分进行图像重建得到第三图像；所述第三图像的第i个部分的分辨率高于所述第一图像的第i个部分的分辨率；将所述第一图像避开所述第一图像的第i个部分进行图像遮罩得到第一遮罩图像；将所述第三图像和所述第一遮罩图像进行叠加得到第i个重建的部分，所述第i个重建的部分是所述第一图像的第i个部分的重建图像；所述i为满足1≤i≤M的正整数。
具体地，第三图像中第一部分与第一图像中第一部分相比，还具有更高的图像质量。具体地，第三图像中第一部分的峰值信噪比大于第一图像中第一部分的峰值信噪比，第三图像中第一部分的结构相似指数大于第一图像中第一部分的结构相似指数。
其中，第三图像中的第一部分和第一图像中的第一部分可以是指第三图像和第一图像中对象的相同的结构。
在一个实施例中，所述对第一图像的M个部分分别进行重建得到M个重建的部分之前，所述方法还包括：对所述第一图像进行双三次插值处理得到第四图像；所述将所述第一图像针对第一图像的第i个部分进行图像重建得到第三图像，包括：将所述第一图像针对第一图像的第i个部分进行图像重建得到第五图像；将所述第四图像和所述第五图像叠加得到所述第三图像。
在针对第一图像的某一部分进行图像重建的过程中，重建后得到图像的图像特征中即包含了经过处理之后的图像特征，也包含原始图像(即第一图像经过初始处理得到的第四图像)的图像特征，重建得到图像的图像特征包含了更丰富的图像信息，可以提高进行图像重建的精确度。
在一个实施例中，所述对第一图像的M个部分分别进行重建得到M个重建的部分之前，所述方法还包括：对所述第一图像提取图像特征；所述对第一图像的M个部分分别进行重建得到M个重建的部分，包括：根据所述图像特征分别对所述第一图像的M个部分进行重建得到M个重建的部分。
上述的图像重建方法中，在针对M个部分分别进行重建得到M个重建的部分之前，先对第一图像提取图像特征，M个分支中各个分支均可以使用该图像特征，可以简化超分辨率模型的架构，并提高图像重建精确度和质量。
可选的，可以通过门控强化单元对第一图像提取图像特征。
在一个实施例中，所述将所述第一图像针对第一图像的第i个部分进行图像重建得到第三图像，包括：将所述第一图像针对所述第一图像的第i个部分进行N次门控强化处理和去卷积操作得到所述第三图像；所述N为大于或等于1的正数；其中，门控强化处理是将第一图像特征进行去冗余、卷积操作和非线性变换得到第二图像特征，并将所述第一图像特征和所述第二图像特征加权和作为输出；所述第一图像特征是所述门控强化处理的输入特征。
其中，门控强化处理可以是门控强化单元GEU实现的。
上述使用GEU进行图像重建的过程中，输出的图像特征中既包含了经过处理之后的图像特征，也包含输入GEU的图像特征，重建得到的图像特征包含了更丰富的图像信息，可以提高进行图像重建的精确度和进行图像遮罩的精确度。
门控强化单元接收到输入图像特征x，通过去冗余结构来减少输入图像特征的过拟合，之后经过卷积层进行卷积操作，经过非线性变换层进行非线性变换得到输入图像特征的中间结果y。门强化单元还包括加权合并，用于对输入图像特征x和上述得到的输入图像特征的中间结果y进行加权合并。
其中，权重g可以是通过机器学习获得的。图像特征的中间结果y和输入图像特征x通过特征拼接层进行特征拼接，之后经过卷积层卷积操作，并通过归一化层将权重归一化之后，可以得到输入图像特征的中间结果y在加权合并时所占的权重g。上述的门控强化单元中每个层的参数可以通过机器学习获得。则加权合并之后的输出图像特征z为：
z＝g*y+(1-g)*x
可选的，门控强化单元中权重g也可以不是通过学习确定的，而是赋为固定值。
其中，去冗余结构可以使用dropout layer，可以用于为了防止上述CNNs模型的门控强化单元过拟合。非线性变换层可以是修正线性单元来实现。特征拼接层可以使用concat layer来实现。归一化层可以使用sigmoid函数来实现。
在一个实施例中，所述将所述第一图像避开所述第一图像的第i个部分进行图像遮罩得到第一遮罩图像，包括：通过对所述第一图像进行S次门控强化处理和去卷积操作得到所述第一遮罩图像；所述S为大于或等于1的正数；其中，门控强化处理是将第三图像特征进行去冗余、卷积操作和非线性变换得到第四图像特征，并将所述第三图像特征和所述第四图像特征加权和作为输出；所述第三图像特征是所述门控强化处理的输入特征。
上述使用GEU进行图像遮罩的过程中，输出的图像特征中既包含了经过处理之后的图像特征，也包含输入GEU的图像特征，遮罩得到的图像特征包含了更丰富的图像信息，可以提高进行图像重建的精确度和进行图像遮罩的精确度。
在一个实施例中，所述对第一图像的M个部分分别进行重建得到M个重建的部分之前，所述方法还包括：使用梯度下降算法训练得到第一超分辨率模型，所述第一超分辨率模型用于提高图像的分辨率；构建第二超分辨率模型，所述第二超分辨率模型包含M个分支，用于对图像的M个部分分别进行重建得到M个重建的部分；所述M个分支中每个分支的参数是使用所述第一超分辨率模型的参数进行初始化的；使用第k个部分的训练数据对第j个分支进行训练；所述第k个部分是图像的M个部分中的任一个部分，所述第j个分支是所述M个分支中的任一个分支，所述第j个分支用于获取所述第k个部分的重建的部分；所述对第一图像的M个部分分别进行重建得到M个重建的部分，包括：使用所述新的M个分支分别对第一图像的M个部分进行重建得到M个重建的部分。
在上述的超分辨率模型训练方法中，预先训练一个损失函数收敛的第一超分辨率模型。该第一超分辨率模型的参数可以用来初始化第二超分辨率模型的参数。第二超分辨率模型的参数不再是随机初始化的，而是预先训练得到的。使用上述的模型训练方法，可以加快在第二超分辨率模型训练过程中损失函数的收敛速度，从而可以提高第二超分辨率模型训练的效率。
在一个实施例中，所述第j个分支包含第一子分支和第二子分支；所述第一子分支用于针对图像的第k个部分进行图像重建；所述第二子分支用于避开图像的第k个部分进行图像遮罩；所述使用第k个部分的训练数据对第j个分支进行训练得到新的第j个分支，包括：使用所述第k个部分的训练数据的第一标注对所述第一子分支进行训练得到新的第一子分支；所述训练数据的第一标注用于对所述第一子分支针对所述图像的第k个部分进行图像重建训练；使用所述第k个部分的训练数据的第二标注对所述第二子分支进行训练得到新的第二子分支；所述训练数据的第二标注用于对所述第二子分支避开所述图像的第k个部分进行图像遮罩训练。
可选的，第一子分支可以是基于机器学习的算法，第二子分支也可以是基于机器学习的算法，第二子分支还可以是无需学习的通用算法。
第二方面，本申请实施例提供一种图像重建设备，包括处理器和存储器，所述存储器用于存储程序指令，所述处理器用于调用所述程序指令来执行如下操作：对第一图像的M个部分分别进行重建得到M个重建的部分；所述第一图像的M个部分的组合为所述第一图像；所述第一图像的M个部分是根据所述第一图像中对象的固定结构划分的，所述M为大于1的正整数；所述第一图像的M个部分中每个部分的分辨率低于对应的重建的部分的分辨率；将所述M个重建的部分进行组合得到重建的第二图像。
上述的图像重建设备中，对于每个部分来说，可以针对该部分的图像特征进行重建，重建得到的部分包含该部分特有的图像特征，可以更加精确的对该部分进行重建，从而可以提高图像的重建质量。
在一个实施例中，所述处理器具体用于调用所述程序指令来执行以下操作：将所述第一图像针对第一图像的第i个部分进行图像重建得到第三图像；所述第三图像的第i个部分的分辨率高于所述第一图像的第i个部分的分辨率；将所述第一图像避开所述第一图像的第i个部分进行图像遮罩得到第一遮罩图像；将所述第三图像和所述第一遮罩图像进行叠加得到第i个重建的部分，所述第i个重建的部分是所述第一图像的第i个部分的重建图像；所述i为满足1≤i≤M的正整数。
具体地，第三图像中第一部分与第一图像中第一部分相比，还具有更高的图像质量。具体地，第三图像中第一部分的峰值信噪比大于第一图像中第一部分的峰值信噪比，第三图像中第一部分的结构相似指数大于第一图像中第一部分的结构相似指数。
其中，第三图像中的第一部分和第一图像中的第一部分可以是指第三图像和第一图像中对象的相同的结构。
在一个实施例中，所述处理器执行对第一图像的M个部分分别进行重建得到M个重建的部分之前，所述处理器还用于调用所述程序指令来执行以下操作：对所述第一图像进行双三次插值处理得到第四图像；所述处理器具体用于调用所述程序指令执行将所述第一图像针对第一图像的第i个部分进行图像重建得到第五图像；将所述第四图像和所述第五图像叠加得到所述第三图像。
在针对第一图像的某一部分进行图像重建的过程中，重建后得到图像的图像特征中即包含了经过处理之后的图像特征，也包含原始图像(即第一图像经过初始处理得到的第四图像)的图像特征，重建得到图像的图像特征包含了更丰富的图像信息，可以提高进行图像重建的精确度。
在一个实施例中，所述处理器执行对第一图像的M个部分分别进行重建得到M个重建的部分之前，所述处理器还用于调用所述程序指令来执行以下操作：对所述第一图像提取图像特征；所述处理器具体用于调用所述程序指令执行根据所述图像特征分别对所述第一图像的M个部分进行重建得到M个重建的部分。
上述的图像重建方法中，在针对M个部分分别进行重建得到M个重建的部分之前，先对第一图像提取图像特征，M个分支中各个分支均可以使用该图像特征，可以简化超分辨率模型的架构，并提高图像重建精确度和质量。
可选的，可以通过门控强化单元对第一图像提取图像特征。
在一个实施例中，所述处理器具体用于调用所述程序指令来执行以下操作：将所述第一图像针对所述第一图像的第i个部分进行N次门控强化处理和去卷积操作得到所述第三图像；所述N为大于或等于1的正数；其中，门控强化处理是将第一图像特征进行去冗余、卷积操作和非线性变换得到第二图像特征，并将所述第一图像特征和所述第二图像特征加权和作为输出；所述第一图像特征是所述门控强化处理的输入特征。
其中，门控强化处理可以是门控强化单元GEU实现的。
上述使用GEU进行图像重建的过程中，输出的图像特征中既包含了经过处理之后的图像特征，也包含输入GEU的图像特征，重建得到的图像特征包含了更丰富的图像信息，可以提高进行图像重建的精确度和进行图像遮罩的精确度。
门控强化单元接收到输入图像特征x，通过去冗余结构来减少输入图像特征的过拟合，之后经过卷积层进行卷积操作，经过非线性变换层进行非线性变换得到输入图像特征的中间结果y。门强化单元还包括加权合并，用于对输入图像特征x和上述得到的输入图像特征的中间结果y进行加权合并。
其中，权重g可以是通过机器学习获得的。图像特征的中间结果y和输入图像特征x通过特征拼接层进行特征拼接，之后经过卷积层卷积操作，并通过归一化层将权重归一化之后，可以得到输入图像特征的中间结果y在加权合并时所占的权重g。上述的门控强化单元中每个层的参数可以通过机器学习获得。则加权合并之后的输出图像特征z为：
z＝g*y+(1-g)*x
可选的，门控强化单元中权重g也可以不是通过学习确定的，而是赋为固定值。
其中，去冗余结构可以使用dropout layer，可以用于为了防止上述CNNs模型的门控强化单元过拟合。非线性变换层可以是修正线性单元来实现。特征拼接层可以使用concat layer来实现。归一化层可以使用sigmoid函数来实现。
在一个实施例中，所述处理器具体用于调用所述程序指令来执行以下操作：通过对所述第一图像进行S次门控强化处理和去卷积操作得到所述第一遮罩图像；所述S为大于或等于1的正数；其中，门控强化处理是将第三图像特征进行去冗余、卷积操作和非线性变换得到第四图像特征，并将所述第三图像特征和所述第四图像特征加权和作为输出；所述第三图像特征是所述门控强化处理的输入特征。
上述使用GEU进行图像遮罩的过程中，输出的图像特征中既包含了经过处理之后的图像特征，也包含输入GEU的图像特征，遮罩得到的图像特征包含了更丰富的图像信息，可以提高进行图像重建的精确度和进行图像遮罩的精确度。
在一个实施例中，所述处理器执行对第一图像的M个部分分别进行重建得到M个重建的部分之前，所述处理器还用于调用所述程序指令来执行以下操作：使用梯度下降算法训练得到第一超分辨率模型，所述第一超分辨率模型用于提高图像的分辨率；构建第二超分辨率模型，所述第二超分辨率模型包含M个分支，用于对图像的M个部分分别进行重建得到M个重建的部分；所述M个分支中每个分支的参数是使用所述第一超分辨率模型的参数进行初始化的；使用第k个部分的训练数据对第j个分支进行训练；所述第k个部分是图像的M个部分中的任一个部分，所述第j个分支是所述M个分支中的任一个分支，所述第j个分支用于获取所述第k个部分的重建的部分；所述处理器具体用于调用所述程序指令执行使用所述新的M个分支分别对第一图像的M个部分进行重建得到M个重建的部分。
在上述的超分辨率模型训练方法中，预先训练一个损失函数收敛的第一超分辨率模型。该第一超分辨率模型的参数可以用来初始化第二超分辨率模型的参数。第二超分辨率模型的参数不再是随机初始化的，而是预先训练得到的。使用上述的模型训练方法，可以加快在第二超分辨率模型训练过程中损失函数的收敛速度，从而可以提高第二超分辨率模型训练的效率。
在一个实施例中，所述第j个分支包含第一子分支和第二子分支；所述第一子分支用于针对图像的第k个部分进行图像重建；所述第二子分支用于避开图像的第k个部分进行图像遮罩；所述处理器具体用于调用所述程序指令执行以下操作：使用所述第k个部分的训练数据的第一标注对所述第一子分支进行训练得到新的第一子分支；所述训练数据的第一标注用于对所述第一子分支针对所述图像的第k个部分进行图像重建训练；使用所述第k个部分的训练数据的第二标注对所述第二子分支进行训练得到新的第二子分支；所述训练数据的第二标注用于对所述第二子分支避开所述图像的第k个部分进行图像遮罩训练。
可选的，第一子分支可以是基于机器学习的算法，第二子分支也可以是基于机器学习的算法，第二子分支还可以是无需学习的通用算法。
第三方面，本申请实施例提供一种图像重建设备，该设备包括用于执行第一方面或第一方面的任一种可能实现方式所提供的图像重建方法的模块或单元。
第四方面，本发明实施例提供一种芯片系统，该芯片系统包括至少一个处理器，存储器和接口电路，该存储器、该接口电路和该至少一个处理器通过线路互联，该至少一个存储器中存储有程序指令；该程序指令被该处理器执行时，实现第一方面或者第一方面的任一可能实现方式所描述的方法。
第五方面，本发明实施例提供一种计算机可读存储介质，该计算机可读存储介质中存储有程序指令，当该程序指令由处理器运行时，实现第一方面或者第一方面的任一可能实现方式所描述的方法。
第六方面，本发明实施例提供一种计算机程序产品，当该计算机程序产品在由处理器上运行时，实现第一方面或者第一方面的任一可能实现方式所描述的方法。
本申请实施例中，对于每个部分来说，可以针对该部分的图像特征进行重建，重建得到的部分包含该部分特有的图像特征，可以更加精确的对该部分进行重建，从而可以提高图像的重建质量。另外，可以使用GEU进行图像重建或者图像遮罩，输出的图像特征中既包含了经过处理之后的图像特征，也包含输入GEU的图像特征，重建或者遮罩得到的图像特征包含了更丰富的图像信息，可以提高进行图像重建的精确度和进行图像遮罩的精确度。再者，在超分辨率模型训练过程中，可以预先训练一个损失函数收敛的第一超分辨率模型。该第一超分辨率模型的参数可以用来初始化第二超分辨率模型的参数。第二超分辨率模型的参数不再是随机初始化的，而是预先训练得到的。使用上述的模型训练方法，可以加快在第二超分辨率模型训练过程中损失函数的收敛速度，从而可以提高第二超分辨率模型训练的效率。
附图说明
下面对本申请实施例用到的附图进行介绍。
图1是本申请实施例提供的一种图像重建的场景示意图；
图2是本申请实施例提供的一种图像重建方法的流程示意图；
图3是本申请实施例提供的一种超分辨率模型10的结构示意图；
图4是本申请实施例提供的一种人脸图像重建过程示例；
图5是本申请实施例提供的另一种超分辨率模型10的结构示意图；
图6是本申请实施例提供的另一种人脸图像重建过程示例；
图7是本申请实施例提供的一种门控强化单元60的结构示意图；
图8是本申请实施例提供的另一种GEU的结构示意图；
图9是本申请实施例提供的又一种超分辨率模型10的结构示意图；
图10是本申请实施例提供的一种超分辨率模型的训练方法的示意图；
图11是本申请实施例提供的一种测试结果的示意图；
图12是本申请实施例提供的一种图像重建设备的结构示意图；
图13是本申请实施例提供的另一种图像重建设备的结构示意图。
具体实施方式
首先，为了便于理解本申请实施例，对本申请实施例涉及的一些概念或术语进行解释。
(1)超分辨率
超分辨率(super resolution，SR)是指利用图像处理方法通过计算机将低分辨率(low resolution，LR)图像重建为高分辨率(high resolution，HR)图像的技术。高分辨率图像即意味着图像具有高像素密度，可以提供更多的图像细节，这些细节往往在应用中起到关键作用。
图像超分辨率技术可以分为两类：基于重建的图像超分辨率方法和基于机器学习的图像超分辨率方法。其中，基于重建的图像超分辨率方法可以通过频域算法或者空域算法来统计估算最大后验概率的高分辨率图像。
基于机器学习的图像超分辨率方法可以包含训练阶段和测试阶段两个阶段。在训练阶段，首先建立初始的超分辨率模型和训练集。训练集中可以包括多张低分辨率图像以及每张低分辨率图像对应的高分辨率图像。通过训练集中的低分辨率图像以及它对应的高分辨率图像，学习高分辨率图像和低分辨率图像之间的对应关系，进而修正初始的超分辨率模型中的参数的取值，来使高分辨率图像和重建图像之间损失函数收敛，最终确定训练后得到的新建的超分辨率模型。在测试阶段，可以根据新建的超分辨率模型来指导图像的超分辨率重建。
其中，获取低分辨率图像以及低分辨率图像对应的高分辨率图像的方法可以是，将高分辨率图像通过模糊函数处理以得到相应的低分辨率图像。
随着手机终端、视频监控等场景的发展，上述基于机器学习的图像超分辨率方法可以用于人脸幻构(face hallucination)来获取高分辨率人脸图像的过程。获得的高分辨率人脸图像在人脸识别、图像美化和图像恢复等领域可以广泛应用。
(2)卷积神经网络
卷积神经网络(convolutional neural networks，CNNS)可以用于构造基于机器学习的超分辨率模型，该超分辨率模型可以重建图像来提高图像的分辨率。
神经网络可以是由神经单元组成的，神经单元可以是指以xs和截距1为输入的运算单元，该运算单元的输出可以为：
其中，s＝1、2、……n，n为大于1的自然数，Ws为xs的权重，b为神经单元的偏置。f为神经单元的激活函数(activation functions)，用于将非线性特性引入神经网络中，来将神经单元中的输入信号转换为输出信号。该激活函数的输出信号可以作为下一层卷积层的输入。激活函数可以是sigmoid函数。
①非线性变换层
激活函数也可以作为神经网络中的一层，可以称为非线性变换层。神经网络是将许多个上述单一的神经单元联结在一起形成的网络，即一个神经单元的输出可以是另一个神经单元的输入。每个神经单元的输入可以与前一层的局部接受域相连，来提取局部接受域的特征，局部接受域可以是由若干个神经单元组成的区域。
②卷积层
卷积神经网络(convosutionas neuras network，CNN)是一种带有卷积结构的深度神经网络。卷积神经网络包含了一个由卷积层和子采样层构成的特征抽取器。该特征抽取器可以看作是滤波器，卷积过程可以看作是使用一个可训练的滤波器与一个输入的图像或者卷积特征平面(feature map)做卷积。
卷积层是指卷积神经网络中对输入信号进行卷积处理的神经元层。在卷积神经网络的卷积层中，一个神经元可以只与部分邻层神经元连接。一个卷积层中，通常包含若干个特征平面，每个特征平面可以由一些矩形排列的神经单元组成。同一特征平面的神经单元共享权重，这里共享的权重就是卷积核。共享权重可以理解为提取图像信息的方式与位置无关。这其中隐含的原理是：图像的某一部分的统计信息与其他部分是一样的。即意味着在某一部分学习的图像信息也能用在另一部分上。所以对于图像上的所有位置，我们都能使用同样的学习得到的图像信息。在同一卷积层中，可以使用多个卷积核来提取不同的图像信息，一般地，卷积核数量越多，卷积操作反映的图像信息越丰富。
卷积核可以以随机大小的矩阵的形式初始化，在卷积神经网络的训练过程中卷积核可以通过学习得到合理的权重。另外，共享权重带来的直接好处是减少卷积神经网络各层之间的连接，同时又降低了过拟合的风险。
③去冗余层
在卷积神经网络中，可以增加去冗余层来减少卷积神经网络过拟合的情况。过拟合是指模型在训练集上误差很小，但是在测试集上误差很大，即泛化能力差。过拟合的原因一般是由于数据中存在噪声或者用了过于复杂的模型拟合数据。具体地，该去冗余层可以是dropout layer。在进行模型训练时，可以按照一定的概率将某些神经网络单元暂时从网络中丢弃。具体地，在进行模型训练时，一次更新参数的过程按一定的概率(retainingprobability)p来对卷积层的参数进行随机采样，将采样得到的这个子网络作为此次更新的目标网络。如果整个卷积神经网络有n个参数，那么可用的子网络个数为2^n。当n很大时，每次迭代更新使用的子网络基本上不会重复，从而可以减少过拟合。
④拼接层
卷积神经网络中，拼接层(concat layer)可以用于将两个或者多个层的输出进行拼接，拼接得到的图像特征包含这两个或者多个层输出的图像特征，来实现更好的性能。
⑤去卷积层(deconvnet layer)
去卷积层可以看成是卷积层的逆过程。去卷积层以卷积得到的特征图(featuremap)作为输入，去卷积层输出结果为残差图像。
⑥归一化
当不同的图像特征列在一起时，由于图像特征本身表达方式的原因在绝对数值上的小数据可能被大数据“吃掉”。因此，可以对抽取出来的features vector进行归一化处理，以保证每个图像特征被分类器平等对待。例如可以使用sigmoid函数进行归一化。
(3)梯度下降算法
在机器学习算法模型中，需要找出一组模型中的参数，这一组参数可以使机器学习算法的损失函数收敛。梯度下降算法的是沿梯度下降的方向求解损失函数的极小值以及对应的模型的参数值。其中，梯度方向可以通过对模型求导得到。梯度向量为零向量时，表明算法模型在该点是一个极值点，此时梯度的幅值也为0。因此，算法模型迭代的终止条件可以是梯度向量的幅值接近0。此时该算法模型可以训练结束，可以求解出算法模型在该极值点时的参数值。
其中，损失函数可以是均方误差(mean-square error，MSE)。均方误差是反映算法模型的估计量与被估计量的真值之间差异程度的一种度量，即：
其中MSE(θ1)是均方误差，θ1是算法模型的估计量，θ是被估计量的真值，N为样本数量。
(4)图像遮罩(mask)算法
图像遮罩算法可以用于对图像进行分割输出图像中对象的某一部分固定结构。图像遮罩算法也可以通过卷积神经网络实现。
例如，在人脸图像的场景下，可以训练得到一个图像遮罩算法，将人脸图像输入该图像遮罩算法，该图像遮罩算法的输出可以类似一个“面具”。该图像遮罩算法的输出与原始的人脸图像叠加可以得到人脸图像的某个部位，具体地，例如眉毛、眼睛、鼻子、嘴巴等。
本申请实施例中，图像遮罩算法可以是基于机器学习的算法，也可以是无需学习的通用算法。
除了人脸图像的场景，本申请实施例提供的图像遮罩算法可以用于任何包含固定结构的图像中。再例如，对于图像中的对象是桌子的场景下，可以训练得到一个图像遮罩算法，将桌子图像输入该图像遮罩算法。该图像遮罩算法的输出与原始的桌子图像叠加可以得到该桌子图像的某个部位，具体地，例如桌面、桌腿或者抽屉等。
本申请实施例中，后文中图像以人脸图像为例进行举例，可以理解的，本申请实施例中的图像可以扩展为其他任何包含固定结构的对象的图像，例如桌子、椅子、汽车等刚性物体，或者处于跑步、站立等特定姿态的生物等等。本申请实施例对此不作限定。
(5)双三次插值
双三次插值也可以对图像进行重建来提高图像的分辨率，可以看作是一种粗略的重建图像的算法。双三次插值用于在图像中增加像素(Pixel)数量或者像素密度。对一个图像进行双三次插值处理后，图像的像素增加。在需要扩大图像的像素时，可以使用双三次插值在不生成像素的情况下增加图像像素。处理后的图像并不能增加图像信息，因此处理后的图像没有原始图像锐利，处理后的图像可能会在图像质量上打折扣。
本申请实施例中，对图像进行初始处理的方法除了双三次插值之外，还可以是最近像素插值算法或者双线性插值算法。本申请实施例对图像进行初始处理的方法不作限定。
(6)图像质量
图像质量可以表征指观察对象对一幅图像视觉感受的主观评价。图像质量是指被测图像相对于标准图像(即图像的真值)在人眼视觉系统中产生误差的程度。图像质量又可包括图像逼真度和图像可懂度。图像逼真度描述所处理的图像和原始图像之间的偏离程度；而图像可懂度则表示人或机器能从图像中抽取有关特征信息的程度。
本申请实施例中，可以使用以下至少一项来表征图像质量：峰值信噪比(peaksignal to noise ratio，PSNR)和结构相似指数(structural similarity index，SSIM)。以下分别进行介绍。
峰值信噪比表示信号最大可能功率和影响它的表示精度的破坏性噪声功率的比值。峰值信噪比越大，表明重建得到的图像的图像质量越好。
结构相似指数可以衡量两幅图像相似度的指标。在图像重建领域，可以求得重建得到的高分辨率图像与低分辨率图像的真值之间的结构相似指数。结构相似指数越大，表明重建得到的图像的图像质量越好。
可以理解的，本申请实施例对表征图像质量的参数不作限定。本申请实施例还可以采用上述两种参数以外的参数来表征图像质量。
(7)图像特征
图像特征是指图像的颜色特征、纹理特征、形状特征和空间关系特征和图像高层语义特征。具体介绍如下：
图像的颜色特征是一种全局特征，描述了图像或图像区域所对应的景物的表面性质。
图像的纹理特征是图像的一种全局特征，描述了图像或图像区域所对应景物的表面性质。图像的纹理特征不是基于单个像素点的特征，是多个像素点组成区域中统计计算得到的特征。作为一种统计特征，图像的纹理特征对于噪声有较强的抵抗能力。但是，当图像的分辨率变化的时候，图像的纹理特征可能会发生较大偏差。可以用以下方法来描述图像的纹理特征：a.统计方法，例如从图像的自相关函数(或者说图像的能量谱函数)提取纹理特征，通过对图像的能量谱函数的计算，提取纹理的粗细度及方向性等特征参数。b.几何法，是建立在纹理基元(基本的纹理元素)理论基础上的一种纹理特征分析方法。该方法中，复杂的纹理特征可以由若干简单的纹理基元以一定的有规律的形式重复排列构成。c.模型法，是以图像的构造模型为基础，采用模型的参数表征纹理特征。
图像的形状特征可以包含两类表示方法，一类是轮廓特征，另一类是区域特征。图像的轮廓特征是指物体的外边界的轮廓，而图像的区域特征是指物体占据的整个形状区域。可以用以下方法描述图像的形状特征：a.边界特征法，是通过对边界特征的描述来获取图像的形状参数。b.傅里叶形状描述符法，是利用物体边界的傅里叶变换作为形状描述，并利用区域边界的封闭性和周期性，由边界点导出曲率函数、质心距离、复坐标函数的形状特征的表达。c.几何参数法：形状的表达和匹配采用区域特征描述方法，例如采用形状参数矩、面积、周长等来描述图像的形状特征。
图像的空间关系特征是指图像中分割出来的多个区域之间的相互的空间位置或相对方向关系，这些关系也可分为连接关系、邻接关系、交叠关系、重叠关系、包含关系和包容关系等。通常图像的空间位置可以分为两类：相对空间位置和绝对空间位置。相对空间位置强调的是目标之间的相对情况，如上下左右关系等。绝对空间位置强调的是目标之间的距离大小以及方位。图像的空间关系特征的使用可加强对图像内容的描述区分能力，但空间关系特征常对图像或目标的旋转、反转、尺度变化等比较敏感。
图像高层语义特征相对于图像的纹理特征、形状特征和空间关系特征来说，是更高层的认知的特征，用于描述人类对图像的理解。图像高层语义特征是以图像为对象，来确定图像中何位置有何目标，目标场景之间的相互关系、图像是何场景以及如何应用场景。提取图像高层语义特征是将输入的图像转换为可直观理解的类文本语言表达的过程。获取图像高层语义特征需要建立图像和语义文本之间的对应关系。
根据图像中各语义要素间组合的抽象程度，图像高层语义特征可分为对象语义特征、空间关系语义特征、场景语义特征、行为语义特征和情感语义特征等。其中，对象语义特征可以是用于确定人、动物和实物等的特征。空间关系语义特征例如可以是用于确定“人在房前”或者“球在草地上”的语义特征。场景语义特征例如可以是用于确定“大海”或者“原野”的语义特征。行为语义特征例如可以是用于确定“表演舞蹈”或者“运动竞赛”的语义特征。情感语义特征例如可以是用于确定“令人愉悦的图像”或者“令人兴奋的图像”的语义特征。对象语义特征和空间关系语义特征需要进行一定的逻辑推理并识别出图像中目标的类别。场景语义特征、行为语义特征和情感语义特征涉及到图像的抽象属性，需要对图像的特征的含义进行高层推理。
可以理解的是，上述对图像高层语义特征的举例仅仅用于解释本申请实施例中的图像高层语义特征，不应构成限定。
在卷积神经网络中，可以通过卷积层来提取图像特征，得到特征图谱(featuremap)。在卷积神经网络中的特征提取层中，每一种卷积核都能提取一张特征图谱,也就是说有多少种不同的卷积核，就会多少个不同的特征图谱，不同的卷积核可以进行不同的特征提取。卷积核的数量可以根据需求设定。
请参见图1，图1是本申请实施例提供的一种图像重建的场景示意图。如图1所示，该图像重建场景中，超分辨率模型10可以用于提高图像的分辨率。具体地，超分辨率模块10接收低分辨率图像20，并将低分辨率图像20重建为高分辨率图像。
其中，超分辨率模型10可以是基于机器学习的卷积神经网络。经过超分辨率模型10重建得到的高分辨率图像30可以用于图像识别、图像美化或者图像修复等。
在图1所描述的图像重建场景下，对低分辨率图像20进行重建时，超分辨率模型同时对低分辨率图像20进行整体重建，未考虑低分辨率图像20中各部分各自的特征，从而降低了图像重建质量。
基于上述图1所描述的图像重建的场景示意图，本申请实施例提供一种图像重建方法和设备，可以提高图像重建质量。
本申请实施例涉及的主要发明原理为：在进行图像重建时，可以对第一图像的M个部分分别进行重建得到M个重建的部分；第一图像的M个部分的组合为第一图像；第一图像的M个部分是根据第一图像中对象的固定结构划分的，M为大于1的正整数；第一图像的M个部分中每个部分的分辨率低于对应的重建的部分的分辨率；之后将M个重建的部分进行组合得到重建的第二图像。上述图像重建方法中，根据第一图像中对象的固定结构将第一图像划分为M个部分，并对这M个部分分别进行图像重建。
上述的图像重建过程中，对于每个部分来说，可以使用基于机器学习的方法针对该部分的图像特征进行重建，重建得到的部分包含该部分特有的图像特征，可以更加精确的对该部分进行重建，从而可以提高图像的重建质量。
举例说明，在人脸图像重建的场景中，可以根据人脸图像的固定结构将人脸图像划分为：眉毛、眼睛、鼻子、嘴巴和其他部分五部分。该五部分组合可以得到该人脸图像。则在对接收到的一张人脸图像进行重建时，可以针对该一张人脸图像的眉毛使用基于机器学习的超分辨率模型进行图像重建，得到该一张人脸图像的重建的眉毛。类似地，也可以使用四个基于机器学习的超分辨率模型分别针对眼睛、鼻子、嘴巴和其他部分进行图像重建，依次得到重建的眼睛、重建的鼻子、重建的嘴巴和重建的其他部分。之后将上述重建的眉毛、重建的眼睛、重建的鼻子、重建的嘴巴和重建的其他部分叠加即得到上述一张人脸图像的重建人脸图像。
上述对一张人脸图像针对不同的部位分别进行图像重建，重建得到的一张人脸图像的各个部位的图像包含该部位特有的图像特征，可以更加精确的对各个部位的图像进行重建，从而可以提高人脸图像的重建质量。
基于上述主要的发明原理，请参阅图2，图2是本申请实施例提供的一种图像重建方法的流程示意图，该图像重建方法包含但不限于步骤S101～S102。
S101、图像重建设备对第一图像的M个部分分别进行重建得到M个重建的部分。
其中，第一图像的M个部分的组合为第一图像；第一图像的M个部分是根据第一图像中对象的固定结构划分的，M为大于1的正整数；第一图像的M个部分中每个部分的分辨率低于对应的重建的部分的分辨率。
S102、图像重建设备将M个重建的部分进行组合得到重建的第二图像。
具体地，可以通过超分辨率模型10来执行步骤S101和步骤S102。
请参阅图3，图3是本申请实施例提供的一种超分辨率模型10的结构示意图。如图3所示，该超分辨率模型10包含M个分支101和组合模块102，这M个分支101可以包含第一分支1011、第二分支1012……第M分支1013。
M个分支101用于对第一图像20的M个部分分别进行重建得到M个重建的部分。第一图像20是输入超分辨率模型10的低分辨率图像。超分辨率模型10可以对第一图像20进行重建来提高分辨率。
具体地，第一分支1011用于重建第一图像20的第一部分，第二分支1012用于重建第一图像20的第二部分，……第M分支1013用于重建第一图像20的第M部分。组合模块102用于执行步骤S102，将M个重建的部分进行组合得到重建的第二图像30。第二图像30可以看作是第一图像20的重建图像。具体地，组合模块102可以将M个重建的部分进行拼接得到完整的重建图像(第二图像30)。
举例说明，请参阅图4，图4是本申请实施例提供的一种人脸图像重建过程示例。如图4所示，超分辨率模型10的M个分支101可以是五个分支。其中，第一分支可以用于重建第一图像的眉毛部分，得到重建的眉毛部分31。第二分支可以用于重建第一图像的眼睛部分，得到重建的眼睛部分32。第三分支可以用于重建第一图像的鼻子部分，得到重建的鼻子部分33。第四分支可以用于重建第一图像的嘴巴部分，得到重建的嘴巴部分34。第五分支可以用于重建第一图像的其他部分，得到重建的其他部分35。其中，其他部分可以是第一图像20除了眉毛部分、眼睛部分、鼻子部分和嘴巴部分之外的部分。之后，组合模块102将重建的眉毛部分31、眼睛部分32、鼻子部分33、嘴巴部分34和其他部分35进行拼接组合，可以得到第一图像20重建之后的第二图像30。
可以理解的是，示例仅仅用于解释本申请实施例，不应构成限定。图4所描述的示例中，超分辨率模型10包含的分支的数量可以多于或者少于5个。具体地，例如眉毛和眼睛也可以是通过一条共同的分支进行重建。本申请实施例对超分辨率模型10中包含的分支数量不作限定。
上述对第一图像20针对不同的部位分别进行图像重建，根据第一图像20中图像中对象特有的结构将图像进行划分并分别进行重建，重建得到的第二图像30的各个部位的图像包含该部位特有的图像特征，可以更加精确的对各个部位的图像进行重建，从而可以提高图像的重建质量。
可选的，步骤S102可以包括：将第一图像20针对第一图像20的第i个部分进行图像重建得到第三图像40；将第一图像避开第一图像的第i个部分进行图像遮罩得到第一遮罩图像50；将第三图像40和第一遮罩图像50进行叠加得到第i个重建的部分，第i个重建的部分是第一图像20的第i个部分的重建图像；i为满足1≤i≤M的正整数。
具体地，请参阅图5，图5是本申请实施例提供的另一种超分辨率模型10的结构示意图。该超分辨率模型10是基于图3所描述的超分辨率模型10改进的。如图5所示，该超分辨率模型10中，针对于M个分支101中的每个分支，包含两个子分支，其中一个分支(第一子分支)用于进行图像重建得到第三图像40；另一个子分支(第二子分支)用于将第一图像20进行图像遮罩得到第一遮罩图像50。
关于第一子分支、第二子分支和叠加模块的描述，以下详细进行介绍。
如图5所示，第一分支1011包含第一子分支10111、第二子分支10112和叠加模块10113。第一子分支10111用于针对第一图像20的第一部分进行图像重建得到第三图像41，第三图像41中第一部分的分辨率高于第一图像20中第一部分的分辨率。第二子分支10112用于避开第一图像20的第一部分对第一图像20进行遮罩得到第一遮罩图像51。叠加模块10113，用于将第三图像41和第一遮罩图像51叠加得到第一个重建的部分。另外，第三图像41中第一部分与第一图像20中第一部分相比，还具有更高的图像质量。具体地，第三图像41中第一部分的峰值信噪比大于第一图像20中第一部分的峰值信噪比，第三图像41中第一部分的结构相似指数大于第一图像20中第一部分的结构相似指数。
其中，第三图像41中的第一部分和第一图像20中的第一部分可以是指第三图像41和第一图像20中对象的相同的结构。具体地，例如，在人脸图像重建的场景下，第一图像20中的第一部分可以是低分辨率人脸图像中的眉毛部分，第三图像41中的第一部分可以是指对低分辨率人脸图像针对眉毛部分重建的高分辨率人脸图像中的眉毛部分。
如图5所示，第二分支1012包含第一子分支10121、第二子分支10122和叠加模块10123。第一子分支10121用于针对第一图像20的第二部分进行图像重建得到第三图像42，第三图像42中第二部分的分辨率高于第一图像20中第二部分的分辨率。第二子分支10122用于避开第一图像20的第二部分对第一图像20进行遮罩得到第一遮罩图像52。叠加模块10123，用于将第三图像42和第一遮罩图像52叠加得到第二个重建的部分。
如图5所示，第M分支1013包含第一子分支10131、第二子分支10132和叠加模块10133。第一子分支10131用于针对第一图像20的第M部分进行图像重建得到第三图像43，第三图像43中第M部分的分辨率高于第一图像20中第M部分的分辨率。第二子分支10132用于避开第一图像20的第M部分对第一图像20进行遮罩得到第一遮罩图像53。叠加模块10133，用于将第三图像43和第一遮罩图像53叠加得到第M个重建的部分。
其中，第三图像40包含第三图像41、第三图像42和第三图像43。第一遮罩图像50包含第一遮罩图像51、第一遮罩图像52和第一遮罩图像53。
其中，第一子分支包含第一子分支10111、第一子分支10121和第一子分支10131。第二子分支包含第二子分支10112、第二子分支10122和第二子分支10132。
需要说明的是，第一子分支可以是基于机器学习得到的算法，第二子分支也可以是基于机器学习得到的算法，第二子分支还可以是无需学习即可以得到的通用算法。具体地，例如，在人脸图像重建的场景中，用于重建眼睛部分的分支的第二子分支可以是通过机器学习得到的，学习得到的第二子分支用于避开图像中眼睛部分进行图像遮罩。重建眼睛部分的分支的第二子分支也可以是通用算法，该通用算法可以是避开图像的眼睛部分大略位置进行图像遮罩。
举例说明，请参阅图6，图6是本申请实施例提供的另一种人脸图像重建过程示例。图6所描述的人脸图像重建过程示例是基于图4所描述的人脸图像重建过程示例改进的。
如图6所示，超分辨率模型10的五个分支中，第一分支可以用于重建第一图像的眉毛部分，得到重建的眉毛部分31。具体地，第一分支的第一子分支用于针对第一图像20的眉毛部分进行图像重建得到第三图像41，第三图像41中眉毛部分的分辨率高于第一图像20中眉毛部分的分辨率。第一分支的第二子分支用于避开第一图像20的眉毛部分对第一图像20进行遮罩得到第一遮罩图像51。叠加模块将第三图像41和第一遮罩图像51叠加得到眉毛的重建的部分31。
第二分支可以用于重建第一图像的眼睛部分，得到重建的眼睛部分32。具体地，第二分支的第一子分支用于针对第一图像20的眼睛部分进行图像重建得到第三图像42，第三图像42中眼睛部分的分辨率高于第一图像20中眼睛部分的分辨率。第二分支的第二子分支用于避开第一图像20的眼睛部分对第一图像20进行遮罩得到第一遮罩图像52。叠加模块将第三图像42和第一遮罩图像52叠加得到眼睛的重建的部分32。
第三分支可以用于重建第一图像的鼻子部分，得到重建的鼻子部分33。具体地，第三分支的第一子分支用于针对第一图像20的鼻子部分进行图像重建得到第三图像43，第三图像43中鼻子部分的分辨率高于第一图像20中鼻子部分的分辨率。第三分支的第二子分支用于避开第一图像20的鼻子部分对第一图像20进行遮罩得到第一遮罩图像53。叠加模块将第三图像43和第一遮罩图像53叠加得到鼻子的重建的部分33。
第四分支可以用于重建第一图像的嘴巴部分，得到重建的嘴巴部分34。具体地，第四分支的第一子分支用于针对第一图像20的嘴巴部分进行图像重建得到第三图像44，第三图像44中嘴巴部分的分辨率高于第一图像20中嘴巴部分的分辨率。第四分支的第二子分支用于避开第一图像20的嘴巴部分对第一图像20进行遮罩得到第一遮罩图像54。叠加模块将第三图像44和第一遮罩图像54叠加得到嘴巴的重建的部分34。
第五分支可以用于重建第一图像的其他部分，得到重建的其他部分35。具体地，第五分支的第一子分支用于针对第一图像20的其他部分进行图像重建得到第三图像45，第三图像45中其他部分的分辨率高于第一图像20中其他部分的分辨率。第五分支的第二子分支用于避开第一图像20的其他部分对第一图像20进行遮罩得到第一遮罩图像55。叠加模块将第三图像45和第一遮罩图像55叠加得到其他的重建的部分35。其中，第一图像的其他部分可以是第一图像20除了眉毛部分、眼睛部分、鼻子部分和嘴巴部分之外的部分。
之后，组合模块102将重建的眉毛部分31、眼睛部分32、鼻子部分33、嘴巴部分34和其他部分35进行拼接组合，可以得到第一图像20重建之后的第二图像30。
其中，图6所描述的示例中，第三图像40包含第三图像41、第三图像42、第三图像43、第三图像44和第三图像45。第一遮罩图像50包含第一遮罩图像51、第一遮罩图像52、第一遮罩图像53、第一遮罩图像54和第一遮罩图像55。其中，第一子分支包含第一分支的第一子分支、第二分支的第一子分支、第三分支的第一子分支、第四分支的第一子分支和第五分支的第一子分支。第二子分支包含第一分支的第二子分支、第二分支的第二子分支、第三分支的第二子分支、第四分支的第二子分支和第五分支的第二子分支。
需要说明的是，本申请实施例中对第一图像的M个部分分别进行重建得到M个重建的部分的方法不限于上述通过两个分支来实现，也可以是其他方法，本申请实施例对此不作限定。
可选的，将第一图像针对第一图像的第i个部分进行图像重建得到第三图像，可以包括：通过对第一图像进行N次门控强化处理和去卷积操作得到第三图像；N为大于或等于1的正数；其中，门控强化处理是将第一图像特征进行去冗余、卷积操作和非线性变换得到第二图像特征，并将第一图像特征和第二图像特征加权和作为输出；第一图像特征是门控强化处理的输入特征或者输入图像。其中，图像特征可以是指图像对应的特征图谱。
首先，对门控强化处理进行介绍。请参阅图7，图7是本申请实施例提供的一种门控强化单元60(gated enhance unit，GEU)的结构示意图。该门控强化单元60可以是基于机器学习的图像处理模型。例如可以使用CNNS来构造门控强化单元60。该门控强化单元60用于对输入门控强化单元60的图像特征进行去冗余、卷积操作和非线性变换。
如图7所示，门控强化单元60接收到输入图像特征x，通过去冗余结构601来减少输入图像特征的过拟合，之后经过卷积层602进行卷积操作，经过非线性变换层603进行非线性变换得到输入图像特征的中间结果y。门强化单元60还包括加权合并607，用于对输入图像特征x和上述得到的输入图像特征的中间结果y进行加权合并。其中，权重g可以是通过机器学习获得的。如图7所示，图像特征的中间结果y和输入图像特征x通过特征拼接层进行特征拼接，之后经过卷积层605卷积操作，并通过归一化层606将权重归一化之后，可以得到输入图像特征的中间结果y在加权合并时所占的权重g。上述的门控强化单元60中每个层的参数可以通过机器学习获得。则加权合并之后的输出图像特征z为：
z＝g*y+(1-g)*x (1-3)
其中，去冗余结构601可以使用dropout layer，可以用于为了防止上述CNNs模型的门控强化单元过拟合。非线性变换层603可以是修正线性单元(rectified linear unit，ReLU)来实现。特征拼接层603可以使用concat layer来实现。归一化层606可以使用sigmoid函数来实现。
可以理解的，上述门控强化单元60的结构仅用于解释本申请实施例，不应构成限定。本申请实施例对门控强化单元60的结构不作限定。其中，去冗余结构601和可以是连接在非线性变换层603之后，本申请对去冗余结构601、卷积层602和非线性变换层603的连接先后位置不作限定。另外，门控强化单元60也可以是使用其他超分辨率算法实现的，本申请实施例对此不作限定。
可选的，图7所描述的门控强化单元60中权重g也可以不是通过学习确定的，而是赋为固定值。
本申请实施例对门控强化单元60中包含的卷积层和非线性变换层的数量不作限定。具体地，门控强化单元60中加权合并607之前，还可以包含另一组卷积层和非线性变换层。请参阅图8，图8是本申请实施例提供的另一种GEU的结构示意图。图8所描述的GEU是基于图7所描述的GEU的基础上改进的。如图8所示，该GEU结构中，输入的图像特征分别经过去冗余、卷积操作1、非线性变换1、卷积操作2、非线性变换2和卷积操作3得到输入图像特征的中间结果y。之后根据权重g将输入图像特征的中间结果y和输入图像特征x进行线性加权和得到输出图像特征z。
图7和图8所描述的GEU可以用于图像重建来提高图像的分辨率，也可以用来对图像进行图像遮罩得到遮罩图像。上述使用GEU进行图像重建或者图像遮罩的过程中，输出的图像特征中既包含了经过处理之后的图像特征，也包含输入GEU的图像特征，重建得到的图像特征或者遮罩得到的图像特征包含了更丰富的图像信息，可以提高进行图像重建的精确度和进行图像遮罩的精确度。
需要说明的是，本申请实施例中对针对图像的每个部分进行重建和遮罩的方法不限于上述通过GEU的结构实现，也可以是其他方法，例如CNN中多个卷积层来实现。本申请实施例对此不作限定。
可选的，在步骤S101之前，还可以先对第一图像提取图像特征，步骤S101包括：将提取的图像特征针对第一图像的M个部分分别进行重建得到M个重建的部分。
其中，对第一图像提取图像特征可以是使用一个或多个GEU来实现的。
在针对M个部分分别进行重建得到M个重建的部分之前，先对第一图像提取图像特征，M个分支中各个分支均可以使用该图像特征，可以简化超分辨率模型的架构，并提高图像重建精确度和质量。
可选的，步骤S101之前，还包括：对第一图像进行双三次插值处理得到第四图像；步骤S102包括：将第一图像针对第一图像的第i个部分进行图像重建得到第五图像；将第四图像和第五图像叠加得到第三图像。
具体地，请参阅图9，图9是本申请实施例提供的又一种超分辨率模型10的结构示意图。如图9所示，在进行图像重建时，将第一图像20进行初始处理得到第四图像120，图像初始处理的方法可以是双三次插值处理。第一图像20是需要进行图像重建的图像，第二图像30是对第一图像20的重建结果。第四图像120的分辨率与第二图像30的分辨率相同。第四图像120可以作为携带第一图像20的原始图像特征的图像，与重建得到的图像进行叠加。
如图9所示，将提取的图像特征针对第一图像20的M个部分分别进行重建得到M个重建的部分之前，可以先对第一图像20提取图像特征。具体地，可以通过一个或多个GEU对第一图像20提取图像特征。如图9所示，可以通过门控强化单元61、门控强化单元62和门控强化单元63对第一图像20提取图像特征。之后将提取的图像特征分别输入各个重建图像的分支进行图像重建。
具体地，第一分支1011的第一子分支中，可以通过门控强化单元64和门控强化单元65对提取的图像特征进行变换，以重建第一图像20的第一部分的图像特征。经过门控强化单元64和门控强化单元65输出的图像特征可以经过去卷层71得到第五图像1，第五图像1与第四图像通过叠加模块91进行叠加得到第三图像100。第三图像100的第一部分的分辨率高于第一图像20的第一部分的分辨率。且第三图像100的第一部分的图像质量也高于第一图像20的第一部分的图像质量。第一分支1011的第二子分支中，可以通过门控强化单元64和门控强化单元66对提取的图像特征进行变换，以避开第一图像20的第一部分对第一图像20进行遮罩。经过门控强化单元64和门控强化单元66输出的图像特征可以经过去卷层72得到第一遮罩图像110。第一遮罩图像110与第三图像100通过叠加模块10113进行叠加得到第一图像20的第一个重建部分130。
第M分支1013的第一子分支中，可以通过门控强化单元67和门控强化单元69对提取的图像特征进行变换，以重建第一图像20的第M部分的图像特征。经过门控强化单元67和门控强化单元69输出的图像特征可以经过去卷层73得到第五图像2，第五图像2与第四图像120通过叠加模块92进行叠加得到第三图像101。第三图像101的第M部分的分辨率高于第一图像20的第M部分的分辨率。且第三图像101的第M部分的图像质量也高于第一图像20的第M部分的图像质量。第M分支1012的第二子分支中，可以通过门控强化单元67和门控强化单元68对提取的图像特征进行变换，以避开第一图像20的第M部分进行图像遮罩。经过门控强化单元67和门控强化单元68输出的图像特征可以经过去卷层74得到第一遮罩图像111。第一遮罩图像111与第三图像101通过叠加模块10133进行叠加得到第一图像20的第M个重建部分132。
在针对第一图像的某一部分进行图像重建的过程中，重建后得到图像的图像特征中即包含了经过处理之后的图像特征，也包含原始图像(即第一图像经过初始处理得到的第四图像)的图像特征，重建得到图像的图像特征包含了更丰富的图像信息，可以提高进行图像重建的精确度。
其中，去卷层71输出的第五图像1、去卷层72输出的第一遮罩图像110、去卷层73输出的第五图像2和去卷层74输出的输出的第一遮罩图像111的分辨率大小可以相同，均与第二图像30的分辨率大小相同。
可选的，在对图9所描述的超分辨率模型进行训练时，可以针对每个第一子分支分别进行训练，并针对每个第二子分支分别进行训练。具体地，超分辨率模型10的M个分支101中的每个分支包含两个子分支，其中一个分支用于对第一图像20进行图像重建得到第三图像40。另一个子分支用于将第一图像20进行图像遮罩得到第一遮罩图像50。一个分支重建图像的过程可以使用N个GEU来进行图像特征处理输出重建的图像特征，之后将重建的图像特征输入第一去卷积层得到的残差图像即为第三图像40。另一个分支遮罩图像的过程也可以是使用S个GEU来进行图像特征处理输出图像遮罩的图像特征，之后将图像遮罩的图像特征输入第二去卷积层得到的残差图像即为第一遮罩图像50。
具体地，对于M个分支101中每个分支包含的两个子分支来说，每个子分支中GEU中的参数可以是使用训练数据对该分支进行训练来确定的。对于第一子分支来说，可以使用训练数据的第一标注来进行机器学习。训练数据的第一标注用于对所述第一子分支进行图像重建训练。对于第二子分支来说，可以使用第二训练数据来进行机器学习。第二训练数据用于对第二子分支进行图像遮罩训练。第一分支的第一子分支可以使用第一图像的第一个部分的训练数据的第一标注来进行机器学习，以确定第一分支的第一子分支中GEU的参数。第一图像的第一个部分的训练数据的第一标注用于对第一分支的第一子分支针对第一图像的第一个部分进行图像重建训练。第一分支的第二子分支可以使用第一图像的第一个部分的训练数据的第二标注来进行机器学习，以确定第一分支的第二子分支中GEU的参数。第一图像的第一个部分的训练数据的第二标注用于对第一分支的第二子分支针对第一图像的第一个部分进行图像遮罩训练。第二分支的第一子分支可以使用第一图像的第二个部分的训练数据的第一标注来进行机器学习，以确定第二分支的第一子分支中GEU的参数。第一图像的第二个部分的训练数据的第一标注用于对第二分支的第一子分支针对第一图像的第二个部分进行图像重建训练。第二分支的第二子分支可以使用第一图像的第二个部分的训练数据的第二标注来进行机器学习，以确定第二分支的第二子分支中GEU的参数。第一图像的第二个部分的训练数据的第二标注用于对第二分支的第二子分支针对第一图像的第二个部分进行图像遮罩训练。……，第M分支的第一子分支可以使用第一图像的第M个部分的训练数据的第一标注来进行机器学习，以确定第M分支的第一子分支中GEU的参数。第一图像的第M个部分的训练数据的第一标注用于对第M分支的第一子分支针对第一图像的第M个部分进行图像重建训练。第M分支的第二子分支可以使用第一图像的第M个部分的训练数据的第二标注来进行机器学习，以确定第M分支的第二子分支中GEU的参数。第一图像的第M个部分的训练数据的第二标注用于对第M分支的第二子分支针对第一图像的第M个部分进行图像遮罩训练。
其中，M个分支中各个分支的训练数据可以是一组训练数据针对图像的M个部分分别作不同的标注得到的。例如，在人脸图像重建的场景中，设置一组训练数据为一万张人脸图像，第一分支用于重建眉毛部分，第一分支的训练数据可以是上述一组训练数据进行标注，该标注表示使用上述一万张人脸图像提取眉毛部分的图像特征并重建眉毛部分。其中，第一分支的第一子分支的训练数据可以是第一分支的训练数据的第一标注来实现，第一分支的训练数据的第一标注表示使用上述一万张人脸图像针对眉毛部分进行图像重建。第一分支的第二子分支的训练数据可以是第一分支的训练数据的第二标注来实现，第一分支的训练数据的第二标注表示使用上述一万张人脸图像避开眉毛部分进行图像遮罩。关于第二分支的训练数据、第三分支的训练数据、第四分支的训练数据和第五分支的训练数据的具体描述类似第一分支的训练数据，这里不再赘述。
举例说明，前例(图4和图6所描述的示例)中，第一分支的第一子分支可以使用眉毛部分的训练数据的第一标注来进行机器学习，以确定第一分支的第一子分支中GEU的参数。眉毛部分的训练数据的第一标注用于对第一分支的第一子分支针对眉毛部分进行图像重建训练。第一分支的第二子分支可以使用眉毛部分的训练数据的第二标注来进行机器学习，以确定第一分支的第二子分支中GEU的参数。眉毛部分的训练数据的第二标注用于对第一分支的第二子分支针对眉毛部分进行图像遮罩训练。第二分支、第三分支、第四分支和第五分支中的各自的第一子分支和各自的第二子分支的训练过程可以类比第一分支，这里不再赘述。GEU中参数可以包含权重g。
训练的过程可以是根据损失函数确定超分辨率模型10中参数。具体地，超分辨率模型10的损失函数可以是均方差损失：
其中，L(w0,wb,wbm)表示超分辨率模型10的损失函数，N表示训练数据中的样本的数量，M表示第一图像中对象划分的部分数量，即超分辨率模型10包含的分支的数量，I表示低分辨率图像(第一图像)，Lf表示低分辨率图像对应的真值。其中，获取低分辨率图像以及低分辨率图像对应的真值的方法可以是，将高分辨率图像通过模糊函数处理以得到相应的低分辨率图像，则高分辨率图像即为低分辨率图像的真值。
F(I；w0,wb)表示超分辨率模型10中第b个分支的第一子分支输出的重建图像(第三图像)，b依次取值为1到M的整数。w0表示M个分支共享的参数，具体地，例如图9所描述的超分辨率模型10中门控强化单元61、门控强化单元62和门控强化单元63的参数。wb表示M个分支中第b个分支独立的参数。P(I；w0,wb,wbm)和Lbm分别表示M个分支中第b个分支的第二子分支预测出来的遮罩图像和它对应的标签，wbm表示第b个分支的第二子分支的独立参数。
其中，权重a可以用来平衡重建图像F(I；w0,wb)和遮罩图像P(I；w0,wb,wbm)在损失函数中所占的比重，例如在人脸图像重建场景中a可以设为0.01。
在使用上述损失函数对超分辨率模型10进行训练时，对于图5或者图9所描述的超分辨率模型来说，针对M个分支中每个分支，第一子分支可以是根据该第一子分支的损失函数训练该第一子分支来使该第一子分支的损失函数收敛。同样的，第二子分支可以是根据该第二子分支的损失函数训练该第二子分支来使该第二子分支的损失函数收敛。
图6所描述的示例的第一分支中，第一子分支的GEU中的参数可以是根据眉毛部分重建的损失函数进行机器学习确定的。第二子分支的GEU中的参数可以是根据避开眉毛部分遮罩的损失函数进行机器学习确定的。图6所描述的例子的第二分支、第三分支、第四分支和第五分支的子分支的GEU中参数确定可以类比第一分支，这里不再赘述。
可选的，超分辨率模型10的训练过程可以包括以下步骤：
step1：使用梯度下降算法训练得到第一超分辨率模型，第一超分辨率模型用于提高图像的分辨率。
step2：构建第二超分辨率模型。
其中，第二超分辨率模型即前述的超分辨率模型10，第二超分辨率模型包含M个分支，用于对图像的M个部分分别进行重建得到M个重建的部分；M个分支中每个分支的参数是使用第一超分辨率模型的参数进行初始化的；使用第k个部分的训练数据对第j个分支进行训练得到新的第j个分支；第k个部分是图像的M个部分中的任一个部分，第j个分支是M个分支中的任一个分支，第j个分支用于获取第k个部分的重建的部分。
预先训练一个损失函数收敛的第一超分辨率模型。该第一超分辨率模型的参数可以用来初始化第二超分辨率模型的参数。第二超分辨率模型的参数不再是随机初始化的，而是预先训练得到的。使用上述的模型训练方法，可以加快在第二超分辨率模型训练过程中损失函数的收敛速度，从而可以提高第二超分辨率模型训练的效率。
具体地，可以通过损失函数收敛的方法训练得到第一超分辨率模型。第一超分辨率模型可以用于重建图像，以提高图像的分辨率。即经过第一超分辨率模型重建得到的图像的分辨率高于输入第一超分辨率模型的原始图像的分辨率。
请参阅图10，图10是本申请实施例提供的一种超分辨率模型的训练方法的示意图。如图10所示，首先构建第一超分辨率模型，第一超分辨率模型的结构是根据第二超分辨率模型10的结构确定的。
如图10所示，第一超分辨率模型可以包含第二超分辨率模型10中用于重建第一图像的一个部分的结构。第一超分辨率模型中门控强化单元141、门控强化单元142和门控强化单元143的参数可以用于分别初始化第二超分辨率模型中门控强化单元61、门控强化单元62和门控强化单元63的参数。即将第一超分辨率模型中门控强化单元141、门控强化单元142和门控强化单元143的参数分别赋值给第二超分辨率模型中门控强化单元61、门控强化单元62和门控强化单元63的参数。第一超分辨率模型中门控强化单元144、门控强化单元145、去卷积层146和叠加模块147的参数可以用于分别初始化第二超分辨率模型的第一分支的门控强化单元64、门控强化单元65、去卷积层71和叠加模块91的参数。即将第一超分辨率模型中门控强化单元144、门控强化单元145、去卷积层146和叠加模块147的参数分别赋值给第二超分辨率模型的第一分支的门控强化单元64、门控强化单元65、去卷积层71和叠加模块91的参数。第二超分辨率模型的第一分支中，第二子分支的门控强化单元66、和去卷积层72的参数可以随机初始化。
M个分支中其他分支的第一子分支中的参数的初始化也可以是第一超分辨率模型中门控强化单元144、门控强化单元145、去卷积层146和叠加模块147的参数实现的。第一超分辨率模型中门控强化单元144、门控强化单元145、去卷积层146和叠加模块147的参数可以用于分别初始化第二超分辨率模型的第M分支的门控强化单元67、门控强化单元69、去卷积层73和叠加模块92的参数。即将第一超分辨率模型中门控强化单元144、门控强化单元145、去卷积层146和叠加模块147的参数分别赋值给第二超分辨率模型的第M分支的门控强化单元67、门控强化单元69、去卷积层73和叠加模块92的参数。第二超分辨率模型的第M分支中，第二子分支的门控强化单元68、和去卷积层74的参数可以随机初始化。
可以理解的是，上述第一超分辨率模型的结构示例仅用于解释本申请实施例，不应构成限定。第一超分辨率模型的结构还可以根据需求包含其他结构。例如，第一超分辨率模型还可以包含两个子分支，这两个子分支中一个子分支包含门控强化单元144、门控强化单元145、去卷积层146和叠加模块147，用于初始化第二超分辨率模型的第一子分支的门控强化单元64、门控强化单元65、去卷积层71和叠加模块91的参数。另一个子分支包含门控强化单元148和去卷积层149，用于初始化第二子分支的门控强化单元66、和去卷积层72的参数(图中未示出)。
上述第二超分辨率模型的参数初始化过程中，预先训练一个损失函数收敛的第一超分辨率模型。该第一超分辨率模型的参数可以用来初始化第二超分辨率模型的参数。第二超分辨率模型的参数不再是随机初始化的，而是预先训练得到的。使用上述的模型训练方法，可以加快在第二超分辨率模型训练过程中损失函数的收敛速度，从而可以提高第二超分辨率模型训练的效率，并提高模型训练的精确度。
请参阅图11，图11是本申请实施例提供的一种测试结果的示意图。如图11所示，第一列图像为第一图像的真值。第二列图像为使用双三次插值(Bicubic)方法对第一图像进行处理得到的图像。第三列图像为使用超分辨率卷积神经网络(super resolutionconvolutional neural networks，SRCNN)对第一图像进行处理得到的图像。第四列图像为使用很深的超分卷积网络(very deep convolutional networks super resolution，VDSR)对第一图像进行处理得到的图像。第五列图像为使用本申请实施例提供的图像重建方法对第一图像进行处理得到的图像。如图11所示，针对于每一个第一图像，相比于其他模型(Bicubic、SRCNN和VDSR)处理得到图像，本申请实施例提供的图像重建方法得到的图像的峰值信噪比和结构相似指数均较大。因此本申请实施例提供的图像重建方法可以提高重建图像的图像质量。
例如，如图11所示，对于真值1对应的第一图像的重建图像中，双三次插值得到的第一图像的重建图像的峰值信噪比为26.39，结构相似指数为0.7831。超分辨率卷积神经网络处理第一图像得到的第一图像的重建图像的峰值信噪比为28.46，结构相似指数为0.8575。很深的超分卷积网络处理第一图像得到的第一图像的重建图像的峰值信噪比为27.27，结构相似指数为0.8029。本申请使用的图像重建方法处理第一图像得到的第一图像的重建图像的峰值信噪比为33.38，结构相似指数为0.9574。可见，本申请实施例提供的图像重建方法得到的图像的峰值信噪比和结构相似指数均有明显提升。因此本申请实施例提供的图像重建方法可以提高重建图像的图像质量。
上述详细阐述了本发明实施例的方法，下面基于上述主要发明原理介绍了本申请实施例的装置。
请参阅图12，图12是本申请实施例提供的一种图像重建设备的结构示意图。该图像重建设备包含图3、图4和图9所描述的超分辨率模型10中的至少一个超分辨率模型。如图12所示，该设备可以包含接收模块1201、重建模块1202和组合模块1203，其中：
接收模块1201，用于接收第一图像；
重建模块1202，用于对第一图像的M个部分分别进行重建得到M个重建的部分；所述第一图像的M个部分的组合为所述第一图像；所述第一图像的M个部分是根据所述第一图像中对象的固定结构划分的，所述M为大于1的正整数；所述第一图像的M个部分中每个部分的分辨率低于对应的重建的部分的分辨率；
组合模块1203，用于将所述M个重建的部分进行组合得到重建的第二图像。
在一种可能的实施方式中，重建模块1202，具体用于将所述第一图像针对第一图像的第i个部分进行图像重建得到第三图像；所述第三图像的第i个部分的分辨率高于所述第一图像的第i个部分的分辨率；
将所述第一图像避开所述第一图像的第i个部分进行图像遮罩得到第一遮罩图像；
将所述第三图像和所述第一遮罩图像进行叠加得到第i个重建的部分，所述第i个重建的部分是所述第一图像的第i个部分的重建图像；
所述i为满足1≤i≤M的正整数。
在一种可能的实施方式中，图像重建设备还包括处理模块1204，重建模块1202对第一图像的M个部分分别进行重建得到M个重建的部分之前，处理模块1204，用于对所述第一图像进行双三次插值处理得到第四图像；
所述重建模块1202，具体用于将所述第一图像针对第一图像的第i个部分进行图像重建得到第五图像；
将所述第四图像和所述第五图像叠加得到所述第三图像。
在一种可能的实施方式中，重建模块1202对第一图像的M个部分分别进行重建得到M个重建的部分之前，处理模块1204，还用于对所述第一图像提取图像特征；
重建模块1202，具体用于根据所述图像特征分别对所述第一图像的M个部分进行重建得到M个重建的部分。
在一种可能的实施方式中，重建模块1202，具体用于将所述第一图像针对所述第一图像的第i个部分进行N次门控强化处理和去卷积操作得到所述第三图像；所述N为大于或等于1的正数；其中，门控强化处理是将第一图像特征进行去冗余、卷积操作和非线性变换得到第二图像特征，并将所述第一图像特征和所述第二图像特征加权和作为输出；所述第一图像特征是所述门控强化处理的输入特征。
在一种可能的实施方式中，重建模块1202，具体用于通过对所述第一图像进行S次门控强化处理和去卷积操作得到所述第一遮罩图像；所述S为大于或等于1的正数；其中，门控强化处理是将第三图像特征进行去冗余、卷积操作和非线性变换得到第四图像特征，并将所述第三图像特征和所述第四图像特征加权和作为输出；所述第三图像特征是所述门控强化处理的输入特征。
在一种可能的实施方式中，图像重建设备还包括训练模块1205，重建模块1202对第一图像的M个部分分别进行重建得到M个重建的部分之前，训练模块1205，用于使用梯度下降算法训练得到第一超分辨率模型，所述第一超分辨率模型用于提高图像的分辨率；
训练模块1205，还用于构建第二超分辨率模型，所述第二超分辨率模型包含M个分支，用于对图像的M个部分分别进行重建得到M个重建的部分；所述M个分支中每个分支的参数是使用所述第一超分辨率模型的参数进行初始化的；
训练模块1205，还用于使用第k个部分的训练数据对第j个分支进行训练；所述第k个部分是图像的M个部分中的任一个部分，所述第j个分支是所述M个分支中的任一个分支，所述第j个分支用于获取所述第k个部分的重建的部分；
重建模块1202，具体用于使用所述新的M个分支分别对第一图像的M个部分进行重建得到M个重建的部分。
在一种可能的实施方式中，所述第j个分支包含第一子分支和第二子分支；所述第一子分支用于针对图像的第k个部分进行图像重建；所述第二子分支用于避开图像的第k个部分进行图像遮罩；训练模块1205，具体用于使用所述第k个部分的训练数据的第一标注对所述第一子分支进行训练得到新的第一子分支；所述训练数据的第一标注用于对所述第一子分支针对所述图像的第k个部分进行图像重建训练；使用所述第k个部分的训练数据的第二标注对所述第二子分支进行训练得到新的第二子分支；所述训练数据的第二标注用于对所述第二子分支避开所述图像的第k个部分进行图像遮罩训练。
需要说明的是，各个模块的实现还可以对应参照图2所示的方法实施例的相应描述，这里不再赘述。
请参阅图13，图13是本申请实施例提供的另一种图像重建设备的结构示意图。该图像重建设备包含图3、图4和图9所描述的超分辨率模型10中的至少一个超分辨率模型。如图13所示，该设备包含处理器1301、存储器1302和通信接口1303，处理器1301、存储器1302和通信接口1303通过总线1304相互连接。其中：
存储器1302包括但不限于是随机存储记忆体(random access memory，RAM)、只读存储器(read-only memory，ROM)、可擦除可编程只读存储器(erasable programmableread only memory，EPROM)、或便携式只读存储器(compact disc read-only memory，CD-ROM)，该存储器1302用于存储相关指令及数据。
具体的，存储器1302可以用于存储程序代码来实现图3、图4和图9所描述的超分辨率模型10中的至少一个超分辨率模型。
存储器1302与处理器1301耦合，用于存储各种软件程序和/或多组指令。存储器1302可以存储操作系统(下述简称系统)，例如uCOS、VxWorks、RTLinux等嵌入式操作系统。
通信接口1303可以用于与其他设备进行通信，例如，可以用于接收训练集，训练集包含第一图像和第一图像的真值，第一图像的真值是高分辨率图像，第一图像是第四图像经过模糊化处理得到的低分辨率图像。通信接口1303还可以用于接收需要重建的低分辨率图像。
处理器1301可以是一个或多个中央处理器(central processing unit，CPU)，在处理器1301是一个CPU的情况下，该CPU可以是单核CPU，也可以是多核CPU。
图像重建设备中的处理器1301用于读取存储器1302中存储的程序代码，执行以下操作：
对第一图像的M个部分分别进行重建得到M个重建的部分；所述第一图像的M个部分的组合为所述第一图像；所述第一图像的M个部分是根据所述第一图像中对象的固定结构划分的，所述M为大于1的正整数；所述第一图像的M个部分中每个部分的分辨率低于对应的重建的部分的分辨率；
将所述M个重建的部分进行组合得到重建的第二图像。
在一种可能的实施方式中，所述处理器具体用于调用所述程序指令来执行以下操作：
将所述第一图像针对第一图像的第i个部分进行图像重建得到第三图像；所述第三图像的第i个部分的分辨率高于所述第一图像的第i个部分的分辨率；
将所述第一图像避开所述第一图像的第i个部分进行图像遮罩得到第一遮罩图像；
将所述第三图像和所述第一遮罩图像进行叠加得到第i个重建的部分，所述第i个重建的部分是所述第一图像的第i个部分的重建图像；
所述i为满足1≤i≤M的正整数。
在一种可能的实施方式中，所述处理器执行对第一图像的M个部分分别进行重建得到M个重建的部分之前，所述处理器还用于调用所述程序指令来执行以下操作：
对所述第一图像进行双三次插值处理得到第四图像；
所述处理器具体用于调用所述程序指令执行将所述第一图像针对第一图像的第i个部分进行图像重建得到第五图像；
将所述第四图像和所述第五图像叠加得到所述第三图像。
在一种可能的实施方式中，所述处理器执行对第一图像的M个部分分别进行重建得到M个重建的部分之前，所述处理器还用于调用所述程序指令来执行以下操作：
对所述第一图像提取图像特征；
所述处理器具体用于调用所述程序指令执行根据所述图像特征分别对所述第一图像的M个部分进行重建得到M个重建的部分。
在一种可能的实施方式中，所述处理器具体用于调用所述程序指令来执行以下操作：
将所述第一图像针对所述第一图像的第i个部分进行N次门控强化处理和去卷积操作得到所述第三图像；所述N为大于或等于1的正数；其中，门控强化处理是将第一图像特征进行去冗余、卷积操作和非线性变换得到第二图像特征，并将所述第一图像特征和所述第二图像特征加权和作为输出；所述第一图像特征是所述门控强化处理的输入特征。
在一种可能的实施方式中，所述处理器具体用于调用所述程序指令来执行以下操作：
通过对所述第一图像进行S次门控强化处理和去卷积操作得到所述第一遮罩图像；所述S为大于或等于1的正数；其中，门控强化处理是将第三图像特征进行去冗余、卷积操作和非线性变换得到第四图像特征，并将所述第三图像特征和所述第四图像特征加权和作为输出；所述第三图像特征是所述门控强化处理的输入特征。
在一种可能的实施方式中，所述处理器执行对第一图像的M个部分分别进行重建得到M个重建的部分之前，所述处理器还用于调用所述程序指令来执行以下操作：
使用梯度下降算法训练得到第一超分辨率模型，所述第一超分辨率模型用于提高图像的分辨率；
构建第二超分辨率模型，所述第二超分辨率模型包含M个分支，用于对图像的M个部分分别进行重建得到M个重建的部分；所述M个分支中每个分支的参数是使用所述第一超分辨率模型的参数进行初始化的；
使用第k个部分的训练数据对第j个分支进行训练；所述第k个部分是图像的M个部分中的任一个部分，所述第j个分支是所述M个分支中的任一个分支，所述第j个分支用于获取所述第k个部分的重建的部分；
所述处理器具体用于调用所述程序指令执行使用所述新的M个分支分别对第一图像的M个部分进行重建得到M个重建的部分。
在一种可能的实施方式中，所述第j个分支包含第一子分支和第二子分支；所述第一子分支用于针对图像的第k个部分进行图像重建；所述第二子分支用于避开图像的第k个部分进行图像遮罩；所述处理器具体用于调用所述程序指令执行以下操作：
使用所述第k个部分的训练数据的第一标注对所述第一子分支进行训练得到新的第一子分支；所述训练数据的第一标注用于对所述第一子分支针对所述图像的第k个部分进行图像重建训练；
使用所述第k个部分的训练数据的第二标注对所述第二子分支进行训练得到新的第二子分支；所述训练数据的第二标注用于对所述第二子分支避开所述图像的第k个部分进行图像遮罩训练。
需要说明的，图13所示的图像重建设备仅仅是本申请实施例的一种实现方式，实际应用中，图像重建设备还可以包括更多或更少的部件，这里不作限制。
需要说明的是，上述各个操作的实现还可以对应参照图1所示的方法实施例的相应描述，这里不再赘述。上述的图像重建设备可以是图像识别设备，例如人脸识别设备。上述的图像重建设备还可以是图像增强设备等。
本发明实施例还提供一种芯片系统，所述芯片系统包括至少一个处理器，存储器和接口电路，所述存储器、所述收发器和所述至少一个处理器通过线路互联，所述至少一个存储器中存储有指令；所述指令被所述处理器执行时，图2所示的方法流程得以实现。
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在处理器上运行时，图2所示的方法流程得以实现。
本发明实施例还提供一种计算机程序产品，当所述计算机程序产品在处理器上运行时，图2所示的方法流程得以实现。
可以理解的是，在本申请中，不同实施例之间的技术术语、技术方案可以依据其内在的逻辑相互参考、相互引用，本申请并不对技术术语和技术方案所适用的实施例进行限定。对不同实施例中的技术方案相互组合，还可以形成新的实施例。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者通过所述计算机可读存储介质进行传输。所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如，固态硬盘(Solid State Disk，SSD))等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，该流程可以由计算机程序来指令相关的硬件完成，该程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法实施例的流程。而前述的存储介质包括：ROM或随机存储记忆体RAM、磁碟或者光盘等各种可存储程序代码的介质。

Claims (13)

1.一种图像重建方法，其特征在于，包括：
对第一图像的M个部分分别进行重建得到M个重建的部分；所述第一图像的M个部分的组合为所述第一图像；所述第一图像的M个部分是根据所述第一图像中对象的固定结构划分的，所述M为大于1的正整数；所述第一图像的M个部分中每个部分的分辨率低于对应的重建的部分的分辨率；
其中，所述M个重建的部分中的第i个重建的部分通过以下步骤得到：
将所述第一图像针对所述第一图像的第i个部分进行N次门控强化处理和去卷积操作得到第三图像；所述N为大于或等于1的正数；其中，门控强化处理是将第一图像特征进行去冗余、卷积操作和非线性变换得到第二图像特征，并将所述第一图像特征和所述第二图像特征加权和作为输出；所述第一图像特征是所述门控强化处理的输入特征；所述第三图像的第i个部分的分辨率高于所述第一图像的第i个部分的分辨率；
将所述第一图像避开所述第一图像的第i个部分进行图像遮罩得到第一遮罩图像；
将所述第三图像和所述第一遮罩图像进行叠加得到第i个重建的部分，所述第i个重建的部分是所述第一图像的第i个部分的重建图像；
所述i为满足1≤i≤M的正整数；
将所述M个重建的部分进行组合得到重建的第二图像。
2.根据权利要求1所述的方法，其特征在于，所述对第一图像的M个部分分别进行重建得到M个重建的部分之前，所述方法还包括：
对所述第一图像进行双三次插值处理得到第四图像；
所述将所述第一图像针对第一图像的第i个部分进行图像重建得到第三图像，包括：
将所述第一图像针对第一图像的第i个部分进行图像重建得到第五图像；
将所述第四图像和所述第五图像叠加得到所述第三图像。
3.根据权利要求1所述的方法，其特征在于，所述对第一图像的M个部分分别进行重建得到M个重建的部分之前，所述方法还包括：
对所述第一图像提取图像特征；
所述对第一图像的M个部分分别进行重建得到M个重建的部分，包括：
根据所述图像特征分别对所述第一图像的M个部分进行重建得到M个重建的部分。
4.根据权利要求1所述的方法，其特征在于，所述将所述第一图像避开所述第一图像的第i个部分进行图像遮罩得到第一遮罩图像，包括：
通过对所述第一图像进行S次门控强化处理和去卷积操作得到所述第一遮罩图像；所述S为大于或等于1的正数；其中，门控强化处理是将第三图像特征进行去冗余、卷积操作和非线性变换得到第四图像特征，并将所述第三图像特征和所述第四图像特征加权和作为输出；所述第三图像特征是所述门控强化处理的输入特征。
5.根据权利要求1至4任一项所述的方法，其特征在于，所述对第一图像的M个部分分别进行重建得到M个重建的部分之前，所述方法还包括：
训练得到第一超分辨率模型，所述第一超分辨率模型用于提高图像的分辨率；
构建第二超分辨率模型，所述第二超分辨率模型包含M个分支，用于对图像的M个部分分别进行重建得到M个重建的部分；所述M个分支中每个分支的参数是使用所述第一超分辨率模型的参数进行初始化的；
使用第k个部分的训练数据对第j个分支进行训练；所述第k个部分是图像的M个部分中的任一个部分，所述第j个分支是所述M个分支中的任一个分支，所述第j个分支用于获取所述第k个部分的重建的部分；
所述对第一图像的M个部分分别进行重建得到M个重建的部分，包括：
使用所述M个分支分别对第一图像的M个部分进行重建得到M个重建的部分。
6.根据权利要求5所述的方法，其特征在于，所述第j个分支包含第一子分支和第二子分支；所述第一子分支用于针对图像的第k个部分进行图像重建；所述第二子分支用于避开图像的第k个部分进行图像遮罩；所述使用第k个部分的训练数据对第j个分支进行训练得到新的第j个分支，包括：
使用所述第k个部分的训练数据的第一标注对所述第一子分支进行训练得到新的第一子分支；所述训练数据的第一标注用于对所述第一子分支针对所述图像的第k个部分进行图像重建训练；
使用所述第k个部分的训练数据的第二标注对所述第二子分支进行训练得到新的第二子分支；所述训练数据的第二标注用于对所述第二子分支避开所述图像的第k个部分进行图像遮罩训练。
7.一种图像重建设备，其特征在于，包括处理器和存储器，所述存储器用于存储程序指令，所述处理器用于调用所述程序指令来执行如下操作：
对第一图像的M个部分分别进行重建得到M个重建的部分；所述第一图像的M个部分的组合为所述第一图像；所述第一图像的M个部分是根据所述第一图像中对象的固定结构划分的，所述M为大于1的正整数；所述第一图像的M个部分中每个部分的分辨率低于对应的重建的部分的分辨率；
其中，所述M个重建的部分中的第i个重建的部分通过以下步骤得到：
将所述第一图像针对所述第一图像的第i个部分进行N次门控强化处理和去卷积操作得到第三图像；所述N为大于或等于1的正数；其中，门控强化处理是将第一图像特征进行去冗余、卷积操作和非线性变换得到第二图像特征，并将所述第一图像特征和所述第二图像特征加权和作为输出；所述第一图像特征是所述门控强化处理的输入特征；所述第三图像的第i个部分的分辨率高于所述第一图像的第i个部分的分辨率；
将所述第一图像避开所述第一图像的第i个部分进行图像遮罩得到第一遮罩图像；
将所述第三图像和所述第一遮罩图像进行叠加得到第i个重建的部分，所述第i个重建的部分是所述第一图像的第i个部分的重建图像；
所述i为满足1≤i≤M的正整数；
将所述M个重建的部分进行组合得到重建的第二图像。
8.根据权利要求7所述的设备，其特征在于，所述处理器执行对第一图像的M个部分分别进行重建得到M个重建的部分之前，所述处理器还用于调用所述程序指令来执行以下操作：
对所述第一图像进行双三次插值处理得到第四图像；
所述处理器具体用于调用所述程序指令执行以下操作：
将所述第一图像针对第一图像的第i个部分进行图像重建得到第五图像；
将所述第四图像和所述第五图像叠加得到所述第三图像。
9.根据权利要求7所述的设备，其特征在于，所述处理器执行对第一图像的M个部分分别进行重建得到M个重建的部分之前，所述处理器还用于调用所述程序指令来执行以下操作：
对所述第一图像提取图像特征；
所述处理器具体用于调用所述程序指令执行根据所述图像特征分别对所述第一图像的M个部分进行重建得到M个重建的部分。
10.根据权利要求7所述的设备，其特征在于，所述处理器具体用于调用所述程序指令来执行以下操作：
通过对所述第一图像进行S次门控强化处理和去卷积操作得到所述第一遮罩图像；所述S为大于或等于1的正数；其中，门控强化处理是将第三图像特征进行去冗余、卷积操作和非线性变换得到第四图像特征，并将所述第三图像特征和所述第四图像特征加权和作为输出；所述第三图像特征是所述门控强化处理的输入特征。
11.根据权利要求7至10任一项所述的设备，其特征在于，所述处理器执行对第一图像的M个部分分别进行重建得到M个重建的部分之前，所述处理器还用于调用所述程序指令来执行以下操作：
训练得到第一超分辨率模型，所述第一超分辨率模型用于提高图像的分辨率；
构建第二超分辨率模型，所述第二超分辨率模型包含M个分支，用于对图像的M个部分分别进行重建得到M个重建的部分；所述M个分支中每个分支的参数是使用所述第一超分辨率模型的参数进行初始化的；
使用第k个部分的训练数据对第j个分支进行训练；所述第k个部分是图像的M个部分中的任一个部分，所述第j个分支是所述M个分支中的任一个分支，所述第j个分支用于获取所述第k个部分的重建的部分；
所述处理器具体用于调用所述程序指令执行使用所述M个分支分别对第一图像的M个部分进行重建得到M个重建的部分。
12.根据权利要求11所述的设备，其特征在于，所述第j个分支包含第一子分支和第二子分支；所述第一子分支用于针对图像的第k个部分进行图像重建；所述第二子分支用于避开图像的第k个部分进行图像遮罩；所述处理器具体用于调用所述程序指令执行以下操作：
使用所述第k个部分的训练数据的第一标注对所述第一子分支进行训练得到新的第一子分支；所述训练数据的第一标注用于对所述第一子分支针对所述图像的第k个部分进行图像重建训练；
使用所述第k个部分的训练数据的第二标注对所述第二子分支进行训练得到新的第二子分支；所述训练数据的第二标注用于对所述第二子分支避开所述图像的第k个部分进行图像遮罩训练。
13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有程序指令，当所述程序指令由处理器运行时，实现权利要求1-6任一项所述的方法。
CN201810327009.1A 2018-04-12 2018-04-12 图像重建方法及设备 Active CN109961397B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810327009.1A CN109961397B (zh) 2018-04-12 2018-04-12 图像重建方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810327009.1A CN109961397B (zh) 2018-04-12 2018-04-12 图像重建方法及设备

Publications (2)

Publication Number Publication Date
CN109961397A CN109961397A (zh) 2019-07-02
CN109961397B true CN109961397B (zh) 2023-07-28

Family

ID=67023119

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810327009.1A Active CN109961397B (zh) 2018-04-12 2018-04-12 图像重建方法及设备

Country Status (1)

Country Link
CN (1) CN109961397B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112508780A (zh) * 2019-09-16 2021-03-16 中移(苏州)软件技术有限公司 一种图像处理模型的训练方法、装置及存储介质
WO2021093718A1 (zh) * 2019-11-15 2021-05-20 北京金山云网络技术有限公司 视频处理方法、视频修复方法、装置及设备
DE102019220456A1 (de) * 2019-12-20 2021-06-24 Siemens Healthcare Gmbh Medizinische Bilddaten für longitudinale Studien
CN111445392B (zh) * 2020-03-20 2023-09-15 Oppo广东移动通信有限公司 图像处理方法及装置、计算机可读存储介质和电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106600538A (zh) * 2016-12-15 2017-04-26 武汉工程大学 一种基于区域深度卷积神经网络的人脸超分辨率算法
CN107302657A (zh) * 2017-05-16 2017-10-27 苏州大学 适用于物联网的图像采集系统
CN107451955A (zh) * 2017-06-20 2017-12-08 昆明理工大学 一种k‑t算法重建天文图像中斑点图的并行化实现方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6735474B2 (ja) * 2016-02-29 2020-08-05 パナソニックＩｐマネジメント株式会社 撮像装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106600538A (zh) * 2016-12-15 2017-04-26 武汉工程大学 一种基于区域深度卷积神经网络的人脸超分辨率算法
CN107302657A (zh) * 2017-05-16 2017-10-27 苏州大学 适用于物联网的图像采集系统
CN107451955A (zh) * 2017-06-20 2017-12-08 昆明理工大学 一种k‑t算法重建天文图像中斑点图的并行化实现方法

Also Published As

Publication number Publication date
CN109961397A (zh) 2019-07-02

Similar Documents

Publication Publication Date Title
CN109949255B (zh) 图像重建方法及设备
Chen et al. Progressive semantic-aware style transformation for blind face restoration
Lan et al. MADNet: a fast and lightweight network for single-image super resolution
Zhang et al. Semantic image inpainting with progressive generative networks
CN109961397B (zh) 图像重建方法及设备
CN109685819B (zh) 一种基于特征增强的三维医学图像分割方法
CN105917353A (zh) 用于生物认证的特征提取及匹配以及模板更新
Zhang et al. Image super-resolution reconstruction based on sparse representation and deep learning
CN116309648A (zh) 一种基于多注意力融合的医学图像分割模型构建方法
CN114820341A (zh) 一种基于增强Transformer的图像盲去噪方法及系统
Shiri et al. Identity-preserving face recovery from stylized portraits
Uddin et al. A perceptually inspired new blind image denoising method using $ L_ {1} $ and perceptual loss
Ko et al. Multi-laplacian GAN with edge enhancement for face super resolution
CN116012255A (zh) 一种基于循环一致性生成对抗网络的低光图像增强方法
Guo et al. Multifeature extracting CNN with concatenation for image denoising
CN116912924B (zh) 一种目标图像识别方法和装置
Luo et al. A fast denoising fusion network using internal and external priors
CN116912268A (zh) 一种皮肤病变图像分割方法、装置、设备及存储介质
CN116246110A (zh) 基于改进胶囊网络的图像分类方法
CN115761358A (zh) 一种基于残差胶囊网络对心肌纤维化进行分类的方法
Yang et al. Depth super-resolution with color guidance: a review
Kumar et al. A comprehensive review on the advancement of high-dimensional neural networks in quaternionic domain with relevant applications
Nanavati et al. Generative adversarial networks: A comparative analysis
CN114331894A (zh) 一种基于潜在特征重构和掩模感知的人脸图像修复方法
Xu et al. Laplacian Pyramid Based Convolutional Neural Network for Multi-Exposure Fusion

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant