CN106960415A - 一种基于像素递归超分辨率模型恢复图像的方法 - Google Patents

Abstract

本发明中提出的一种基于像素递归超分辨率模型恢复图像的方法，其主要内容包括：统计相关性、超分辨率网络、条件网络、先验网络、恢复图像，其过程为，基于低分辨率输入，通过对高分辨率图像像素的统计相关性的合理建模来表示一个多模态条件分布，使用一种PixelCNN架构来定义在自然图像上的强先验，并使用了一个深度调节卷积网络来联合优化这个先验，最终输出逼真的高分辨率图像。本发明突破了原图细节不足的情况下无法恢复图像的难题，设计了一个端到端训练的像素递归超分辨率模型，提高分辨率的同时生成合理细节，可以实现将低分辨率原图恢复成高分辨率且细节逼真的图像。

Description

一种基于像素递归超分辨率模型恢复图像的方法

技术领域

本发明涉及图像恢复领域，尤其是涉及了一种基于像素递归超分辨率模型恢复图像的方法。

背景技术

图像恢复常用于天文观测、遥感遥测、生物科学、医学影象、交通监控等领域，消除非理想失真。具体地，在医学影象领域内，应用于X光、CT等成像系统，用来抑制各种医学成像系统或图像获取系统的噪声，改善医学图像的分辨率。交通监控领域，可以对视频监控中的模糊的驾驶员、车牌、车辆等信息进行鉴定识别，除此之外，图像恢复还可用于对图书馆藏书中模糊褪色的文字进行识别，有利于保存文化遗迹。虽然在提高图像分辨率方面的研究颇多，但是在原图像细节不足的情况下，要给图像去模糊的同时还需要合成合理的细节，尚且存在一定的挑战。

本发明提出了一种基于像素递归超分辨率模型恢复图像的方法，能为图像合成逼真的细节同时还能提升它们的分辨率。基于低分辨率输入，通过对高分辨率图像像素的统计相关性的合理建模来表示一个多模态条件分布，使用一种PixelCNN架构来定义在自然图像上的强先验，并使用了一个深度调节卷积网络来联合优化这个先验，最终输出逼真的高分辨率图像。本发明突破了细节不足的情况下无法恢复图像的难题，设计了一个端到端训练的像素递归超分辨率模型，提高分辨率的同时生成合理细节，可以实现将低分辨率原图恢复成高分辨率且细节逼真的图像。

发明内容

针对现有方法在细节不足的情况下无法恢复图像的问题，设计了一个端到端训练的像素递归超分辨率模型，提高分辨率的同时生成合理细节，可以实现将低分辨率原图恢复成高分辨率且细节逼真的图像。

为解决上述问题，本发明提供一种基于像素递归超分辨率模型恢复图像的方法，其主要内容包括：

(一)统计相关性；

(二)超分辨率网络；

(三)条件网络；

(四)先验网络；

(五)恢复图像。

其中，所述的统计相关性，令x和y分别表示低分辨率和高分辨率图像，其中y^*表示真实的高分辨率图像，为了学习p_θ(y|x)的参数模型，采用低分辨率输入对应真实高分辨率输出的大数据集，表示为先收集一组高分辨率图像，然后根据需要降低它们的分辨率，可以简单地收集一个所需的大数据集，为了优化条件分布p的参数θ，最大化条件对数似然目标，如下定义：

明确p(y|x)的形式，能够对概率超分辨率模型进行有效的学习和推断，同时生成逼真的非模糊输出。

进一步地，所述的概率超分辨率模型，概率超分辨率模型的最简单的形式假定输出像素在给定输入的情况下是条件独立的，因此p(y|x)的条件分布被分解成独立像素预测的乘积，假设一个RGB输出y有M个像素，每个像素具有三个颜色通道，即则有：

像素预测模型的两种一般形式：高斯和多项分布，分别用来模拟连续和离散像素值。

进一步地，所述的高斯分布，

其中C_i(x)表示通过卷积神经网络的x非线性变换的第i个元素，C_i(x)是第i个输出像素y_i的估计平均值，σ²表示方差，通过最大化(1)的条件对数似然，减少最小化整个数据集的像素y_i和通道C_i(x)之间的均方误差(MSE)，基于MSE回归的超分辨率模型落入像素无关模型的族中，其中神经网络的输出参数化了一组固定带宽的高斯。

进一步地，所述的项分布，用一个多项分布作为像素预测模型，输出维度离散化为K个可能值(例如K＝256)，其中y_i∈{1,…,K}，基于多项softmax算子的像素预测模型表示为：

其中表示不同颜色通道和不同离散值的softmax权重。

其中，所述的超分辨率网络，包括一个条件网络和一个先验网络，其中条件网络是一个卷积神经网络(CNN)，其接收低分辨率图像作为输入，然后输出逻辑值——预测了每个高分辨率(HR)图像像素的条件对数概率，而先验网络则是一个PixelCNN(像素卷积神经网络)，其基于之前的随机预测进行预测(用虚线表示)，该模型的概率分布是作为softmax运算符在来自优先网络和条件网络的两个逻辑集之和上计算而得。

进一步地，所述的模型的概率分布，给定输入令表示一个条件网络，预测对应第i个输出像素可以取的K个可能值的一个逻辑值向量，概率模型通过简单地添加两组逻辑值并对它们应用softmax运算符，预测第i个输出像素的分布：

p(y_i|x,y_＜i)＝softmax(A_i(x)+B_i(y_＜i)) (6)

为了联合优化A和B的参数，我们执行随机梯度上升来最大化(1)中的条件对数似然，即优化了(6)中模型预测与离散真实标签之间的交叉熵损失：

其中lse(·)是对应于softmax分母的对数的指数函数的和的对数运算符，1[k]表示K维独热指示向量，其第k维设置为1。

其中，所述的条件网络，条件网络是一个像素独立预测模型，将低分辨率图像映射到高分辨率图像的概率框架，用(7)训练的模型倾向于忽略条件网络，因为像素和先前高分辨率像素之间的统计相关性比其与低分辨率输入的相关性更强，为了减轻这个问题，在目标中引入额外损失，以强制条件网络进行优化，这个额外损失通过softmax(A_i(x))和真实标签测量条件网络的预测之间的交叉熵，实验中优化后的总损失是两个交叉熵损失的总和：

一旦网络被训练，从模型采样即变得简单，使用(6)从i＝1开始，首先对高分辨率像素进行采样，然后逐像素地将先前采样的像素值馈送回网络，并绘制新的高分辨率像素，每个像素的三个通道依次顺序生成；

考虑到贪婪解码，总是选择具有最大概率的像素值，并从条件的softmax中进行采样，通过使用温度参数τ>0来调整分布p的集中度：

为了控制采样分布p(y_i|x,y_＜i)的集中度，只要将来自A和B的对数乘以参数τ即可，注意，当τ趋近于∞时，分布收敛于模式，并且采样收敛到贪婪解码。

其中，所述的先验网络，先验网络是一个PixelCNN，PixelCNN是一类强大的生成模型，它有易处理似然性从而易于进行抽样，其核心的卷积神经网络计算在一个像素值上的概率分布，且受左侧和上侧的像素值约束，其基于之前的随机预测进行预测，并定义在自然图像上的强先验，对输出像素之间的统计相关性进行建模，然后利用一个深度条件卷积网络来联合优化这个先验，最终通过添加自然的高分辨率细节以使输出看起来更逼真。

其中，所述的恢复图像，以低分辨率图像作为输入，经过条件网络，通过一系列深度残差网络(ResNet)区块和转置卷积层获取8×8的RGB图像，同时保持32个通道，最后一层使用1×1卷积将通道增加到256×3，并且使用所得到的激活，通过softmax运算符预测256个可能的子像素值的多项分布，该网络提供了在像素的边缘概率分布中吸收图像全局结构的能力，独立地采样子像素会将分布的分类进行混合；

先验网络提供了一种将子像素分布连接在一起的方式，并且允许取得彼此相关的样本，使用20个门控PixelCNN层，每层32个通道，直到网络的后面部分，在计算最终的联合softmax分布之前添加来自条件网络和先验网络的pre-softmax激活，最终输出图像，分辨率提高并且还原出原输入的逼真细节。

附图说明

图1是本发明一种基于像素递归超分辨率模型恢复图像的方法的系统流程图。

图2是本发明一种基于像素递归超分辨率模型恢复图像的方法的数据集创建和训练示例。

图3是本发明一种基于像素递归超分辨率模型恢复图像的方法的超分辨率模型网络图。

图4是本发明一种基于像素递归超分辨率模型恢复图像的方法的恢复流程图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合，下面结合附图和具体实施例对本发明作进一步详细说明。

图1是本发明一种基于像素递归超分辨率模型恢复图像的方法的系统流程图。主要包括统计相关性、超分辨率网络、条件网络、先验网络、恢复图像。

其中，所述的统计相关性，令x和y分别表示低分辨率和高分辨率图像，其中y^*表示真实的高分辨率图像，为了学习p_θ(y|x)的参数模型，采用低分辨率输入对应真实高分辨率输出的大数据集，表示为先收集一组高分辨率图像，然后根据需要降低它们的分辨率，可以简单地收集一个所需的大数据集，为了优化条件分布p的参数θ，最大化条件对数似然目标，如下定义：

明确p(y|x)的形式，能够对概率超分辨率模型进行有效的学习和推断，同时生成逼真的非模糊输出。概率超分辨率模型的最简单的形式假定输出像素在给定输入的情况下是条件独立的，因此p(y|x)的条件分布被分解成独立像素预测的乘积，假设一个RGB输出y有M个像素，每个像素具有三个颜色通道，即则有：

像素预测模型的两种一般形式：高斯和多项分布，分别用来模拟连续和离散像素值。

高斯分布，

其中C_i(x)表示通过卷积神经网络的x非线性变换的第i个元素，C_i(x)是第i个输出像素y_i的估计平均值，σ²表示方差，通过最大化(1)的条件对数似然，减少最小化整个数据集的像素y_i和通道C_i(x)之间的均方误差(MSE)，基于MSE回归的超分辨率模型落入像素无关模型的族中，其中神经网络的输出参数化了一组固定带宽的高斯。

多项分布，用一个多项分布作为像素预测模型，输出维度离散化为K个可能值(例如K＝256)，其中y_i∈{1,…,K}，基于多项softmax算子的像素预测模型表示为：

其中表示不同颜色通道和不同离散值的softmax权重。

其中，所述的超分辨率网络，包括一个条件网络和一个先验网络，其中条件网络是一个卷积神经网络(CNN)，其接收低分辨率图像作为输入，然后输出逻辑值——预测了每个高分辨率(HR)图像像素的条件对数概率，而先验网络则是一个PixelCNN(像素卷积神经网络)，其基于之前的随机预测进行预测(用虚线表示)，该模型的概率分布是作为softmax运算符在来自优先网络和条件网络的两个逻辑集之和上计算而得。

给定输入令表示一个条件网络，预测对应第i个输出像素可以取的K个可能值的一个逻辑值向量，概率模型通过简单地添加两组逻辑值并对它们应用softmax运算符，预测第i个输出像素的分布：

p(y_i|x,y_＜i)＝softmax(A_i(x)+B_i(y_＜i)) (6)

为了联合优化A和B的参数，我们执行随机梯度上升来最大化(1)中的条件对数似然，即优化了(6)中模型预测与离散真实标签之间的交叉熵损失：

其中lse(·)是对应于softmax分母的对数的指数函数的和的对数运算符，1[k]表示K维独热指示向量，其第k维设置为1。

其中，所述的条件网络，条件网络是一个像素独立预测模型，将低分辨率图像映射到高分辨率图像的概率框架，用(7)训练的模型倾向于忽略条件网络，因为像素和先前高分辨率像素之间的统计相关性比其与低分辨率输入的相关性更强，为了减轻这个问题，在目标中引入额外损失，以强制条件网络进行优化，这个额外损失通过softmax(A_i(x))和真实标签测量条件网络的预测之间的交叉熵，实验中优化后的总损失是两个交叉熵损失的总和：

一旦网络被训练，从模型采样即变得简单，使用(6)从i＝1开始，首先对高分辨率像素进行采样，然后逐像素地将先前采样的像素值馈送回网络，并绘制新的高分辨率像素，每个像素的三个通道依次顺序生成；

考虑到贪婪解码，总是选择具有最大概率的像素值，并从条件的softmax中进行采样，通过使用温度参数τ>0来调整分布p的集中度：

为了控制采样分布p(y_i|x,y_＜i)的集中度，只要将来自A和B的对数乘以参数τ即可，注意，当τ趋近于∞时，分布收敛于模式，并且采样收敛到贪婪解码。

其中，所述的先验网络，先验网络是一个PixelCNN，PixelCNN是一类强大的生成模型，它有易处理似然性从而易于进行抽样，其核心的卷积神经网络计算在一个像素值上的概率分布，且受左侧和上侧的像素值约束，其基于之前的随机预测进行预测，并定义在自然图像上的强先验，对输出像素之间的统计相关性进行建模，然后利用一个深度条件卷积网络来联合优化这个先验，最终通过添加自然的高分辨率细节以使输出看起来更逼真。

其中，所述的恢复图像，以低分辨率图像作为输入，经过条件网络，通过一系列深度残差网络(ResNet)区块和转置卷积层获取8×8的RGB图像，同时保持32个通道，最后一层使用1×1卷积将通道增加到256×3，并且使用所得到的激活，通过softmax运算符预测256个可能的子像素值的多项分布，该网络提供了在像素的边缘概率分布中吸收图像全局结构的能力，独立地采样子像素会将分布的分类进行混合。先验网络提供了一种将子像素分布连接在一起的方式，并且允许取得彼此相关的样本，使用20个门控PixelCNN层，每层32个通道，直到网络的后面部分，在计算最终的联合softmax分布之前添加来自条件网络和先验网络的pre-softmax激活，最终输出图像，分辨率提高并且还原出原输入的逼真细节。

图2是本发明一种基于像素递归超分辨率模型恢复图像的方法的数据集创建和训练示例。图中上半部分是试验数据集中输入输出对的一种创建方式，下半部分是，在这个数据集上训练的几个算法的预测示例，像素无关的L₂回归和交叉熵模型没有表现出多模态预测，PixelCNN输出是随机的，且多个样本时出现在每个角的概率各为50％。

图3是本发明一种基于像素递归超分辨率模型恢复图像的方法的超分辨率模型网络图。超分辨率网络包含了一个调节网络和一个先验网络。其中调节网络是一个CNN，其接收低分辨率图像作为输入，然后输出逻辑值——预测了每个高分辨率(HR)图像像素的条件对数概率。而先验网络则是一个PixelCNN，其基于之前的随机预测进行预测(用虚线表示)。该模型的概率分布是作为softmax运算符在来自优先网络和调节网络的两个逻辑集之和上计算而得的。

图4是本发明一种基于像素递归超分辨率模型恢复图像的方法的恢复流程图。基于一张低分辨率输入，通过对高分辨率图像像素的统计相关性的合理建模来表示一个多模态条件分布，使用一种PixelCNN架构来定义在自然图像上的强先验，并使用了一个深度调节卷积网络来联合优化这个先验，最终输出逼真的高分辨率图像。

对于本领域技术人员，本发明不限制于上述实施例的细节，在不背离本发明的精神和范围的情况下，能够以其他具体形式实现本发明。此外，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围，这些改进和变型也应视为本发明的保护范围。因此，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

Claims (10)

1.一种基于像素递归超分辨率模型恢复图像的方法，其特征在于，主要包括统计相关性(一)；超分辨率网络(二)；条件网络(三)；先验网络(四)；恢复图像(五)。

2.基于权利要求书1所述的统计相关性(一)，其特征在于，令x和y分别表示低分辨率和高分辨率图像，其中y^*表示真实的高分辨率图像，为了学习p_θ(y|x)的参数模型，采用低分辨率输入对应真实高分辨率输出的大数据集，表示为先收集一组高分辨率图像，然后根据需要降低它们的分辨率，可以简单地收集一个所需的大数据集，为了优化条件分布p的参数θ，最大化条件对数似然目标，如下定义：

明确p(y|x)的形式，能够对概率超分辨率模型进行有效的学习和推断，同时生成逼真的非模糊输出。

3.基于权利要求书2所述的概率超分辨率模型，其特征在于，概率超分辨率模型的最简单的形式假定输出像素在给定输入的情况下是条件独立的，因此p(y|x)的条件分布被分解成独立像素预测的乘积，假设一个RGB输出y有M个像素，每个像素具有三个颜色通道，即则有：

$\log p\left(y\right|x)=\underset{i=1}{\overset{3M}{\Σ}}\log p\left(y_i\right|x)---\left(2\right)$

像素预测模型的两种一般形式：高斯和多项分布，分别用来模拟连续和离散像素值。

4.基于权利要求书3所述的高斯分布，其特征在于，高斯中，

$\log p\left(y_i\right|x)=-\frac{1}{2{\mathrm{\δ}}^2}\left|\right|y_i-C_i\left(x\right)|{|}_2^2-log\sqrt{2{\mathrm{\δ}}^2\mathrm{\π}}---\left(3\right)$

其中C_i(x)表示通过卷积神经网络的x非线性变换的第i个元素，C_i(x)是第i个输出像素y_i的估计平均值，σ²表示方差，通过最大化(1)的条件对数似然，减少最小化整个数据集的像素y_i和通道C_i(x)之间的均方误差(MSE)，基于MSE回归的超分辨率模型落入像素无关模型的族中，其中神经网络的输出参数化了一组固定带宽的高斯。

5.基于权利要求书3所述的多项分布，其特征在于，用一个多项分布作为像素预测模型，输出维度离散化为K个可能值(例如K＝256)，其中y_i∈{1,…,K}，基于多项softmax算子的像素预测模型表示为：

$\log p(y_i=k|x)={w_{jk}}^T{C}_i\left(x\right)-log\underset{v=1}{\overset{K}{\Σ}}\exp \left\{{w_{jv}}^T{C}_i\left(x\right)\right\}---\left(4\right)$

其中表示不同颜色通道和不同离散值的softmax权重。

6.基于权利要求书1所述的超分辨率网络(二)，其特征在于，超分辨率网络包括一个条件网络和一个先验网络，其中条件网络是一个卷积神经网络(CNN)，其接收低分辨率图像作为输入，然后输出逻辑值——预测了每个高分辨率(HR)图像像素的条件对数概率，而先验网络则是一个PixelCNN(像素卷积神经网络)，其基于之前的随机预测进行预测(用虚线表示)，该模型的概率分布是作为softmax运算符在来自优先网络和条件网络的两个逻辑集之和上计算而得。

7.基于权利要求书6所述的模型的概率分布，其特征在于，给定输入令表示一个条件网络，预测对应第i个输出像素可以取的K个可能值的一个逻辑值向量，概率模型通过简单地添加两组逻辑值并对它们应用softmax运算符，预测第i个输出像素的分布：

p(y_i|x,y_＜i)＝softmax(A_i(x)+B_i(y_＜i)) (6)

为了联合优化A和B的参数，我们执行随机梯度上升来最大化(1)中的条件对数似然，即优化了(6)中模型预测与离散真实标签之间的交叉熵损失：

其中lse(·)是对应于softmax分母的对数的指数函数的和的对数运算符，1[k]表示K维独热指示向量，其第k维设置为1。

8.基于权利要求书1所述的条件网络(三)，其特征在于，条件网络是一个像素独立预测模型，将低分辨率图像映射到高分辨率图像的概率框架，用(7)训练的模型倾向于忽略条件网络，因为像素和先前高分辨率像素之间的统计相关性比其与低分辨率输入的相关性更强，为了减轻这个问题，在目标中引入额外损失，以强制条件网络进行优化，这个额外损失通过softmax(A_i(x))和真实标签测量条件网络的预测之间的交叉熵，实验中优化后的总损失是两个交叉熵损失的总和：

一旦网络被训练，从模型采样即变得简单，使用(6)从i＝1开始，首先对高分辨率像素进行采样，然后逐像素地将先前采样的像素值馈送回网络，并绘制新的高分辨率像素，每个像素的三个通道依次顺序生成；

考虑到贪婪解码，总是选择具有最大概率的像素值，并从条件的softmax中进行采样，通过使用温度参数τ>0来调整分布p的集中度：

$p^{\mathrm{\τ}}=\frac{p^{\mathrm{\τ}}}{\left|\right|p^{\mathrm{\τ}}|{|}_1}---\left(9\right)$

为了控制采样分布p(y_i|x,y_＜i)的集中度，只要将来自A和B的对数乘以参数τ即可，注意，当τ趋近于∞时，分布收敛于模式，并且采样收敛到贪婪解码。

9.基于权利要求书1所述的先验网络(四)，其特征在于，先验网络是一个PixelCNN，PixelCNN是一类强大的生成模型，它有易处理似然性从而易于进行抽样，其核心的卷积神经网络计算在一个像素值上的概率分布，且受左侧和上侧的像素值约束，其基于之前的随机预测进行预测，并定义在自然图像上的强先验，对输出像素之间的统计相关性进行建模，然后利用一个深度条件卷积网络来联合优化这个先验，最终通过添加自然的高分辨率细节以使输出看起来更逼真。

10.基于权利要求书1所述的恢复图像(五)，其特征在于，以低分辨率图像作为输入，经过条件网络，通过一系列深度残差网络(ResNet)区块和转置卷积层获取8×8的RGB图像，同时保持32个通道，最后一层使用1×1卷积将通道增加到256×3，并且使用所得到的激活，通过softmax运算符预测256个可能的子像素值的多项分布，该网络提供了在像素的边缘概率分布中吸收图像全局结构的能力，独立地采样子像素会将分布的分类进行混合；

先验网络提供了一种将子像素分布连接在一起的方式，并且允许取得彼此相关的样本，使用20个门控PixelCNN层，每层32个通道，直到网络的后面部分，在计算最终的联合softmax分布之前添加来自条件网络和先验网络的pre-softmax激活，最终输出图像，分辨率提高并且还原出原输入的逼真细节。