CN105809621B - 一种基于分辨率提升的照片翻新方法 - Google Patents

Abstract

本发明针对较低的分辨率、较低的清晰度的照片，提出了一种基于分辨率提升的照片翻新方法，首先，预处理训练照片.其次，获取基于混合专家模型的映射关系模型，再次，将待处理的低分辨率照片分割为块，最后，根据映射关系模型将低分辨率照片提升为高分辨率照片，本发明所述方法具有自适应好、速度快、效果好、可扩展等优点。

Description

一种基于分辨率提升的照片翻新方法

技术领域

本发明属于计算机视觉与图像处理领域，涉及照片的翻新方法，具体涉及一种基于分辨率提升的照片翻新方法。

背景技术

随着图像获取、传输、存储、显示技术的发展，人们从胶片时代步入了数字时代。数字照片更易保存、传输，更易进行后期处理。这使得人们对照片的欣赏要求也越来越高，不断追求更高的分辨率和更高的视觉效果。

另一方面，许多年代久远的照片由于技术手段限制，仍然具有较低的分辨率、较低的清晰度，以及较差的视觉效果。同时由于年代久远，照片保存时间较长，再加上各种外界因素的破坏，出现各种各样的质量退化。人们一方面想怀念过去照片，一方面对照片的质量又有了新的要求。为了满足人们对照片高质量效果的需求，照片翻新技术应运而生。照片的翻新其本质是应用数字图像处理技术，对原始照片进行处理，消除各种质量退化，以提高原始照片的视觉效果。照片是一种重要文化载体，对照片进行翻新，除提高照片的欣赏价值外，还可以使年代久远但具有较高价值的照片重新焕发活力，使其承载的文化更好的传承下去。因此，对年代久远的照片进行翻新就显现出了非常重要的意义。现有的照片翻新方法主要集中在增强和修复手段上，如去除噪声、去除模糊、去除划痕、增强对比度、增强色彩等。这些方法能对照片起到视觉效果增强的作用，但并没有对照片进行分辨率提升，因此没有从本质上满足人们对照片翻新的需求。

所谓的分辨率提升，是指将低分辨率的数字图像，通过一定方法，快速有效的生成一个高分辨率的图像。其难点在于如何突破原有低分辨率图像像素数量限制，填充本来不存在的像素点，既要保持原低分辨率图像的结构、纹理，又要在人眼看来更加自然合理。传统的对图像进行分辨率提升的方法，主要是基于插值的方法，即通过将已有的像素点进行线性组合，作为缺失的像素点。插值算法简单迅速，但是易出现“马赛克”效果或过平滑现象，尤其是在放大倍数较大时。而在照片的分辨率较低时，基于插值放大后的质量很难令人满意。因此，现有的基于插值的方法并不适合于照片翻新。

发明内容

本发明的技术解决问题是：本发明提供一种基于分辨率提升的照片翻新方法，将低分辨率的照片经过分辨率提升技术，转换为较高分辨率照片实现翻新。

本发明的技术解决方案为：一种基于分辨率提升的照片翻新方法，具体步骤为：

(1)预处理训练照片，包括：

(1.1)选择任意90～100幅高分辨率照片，使用均值为0，标准差为1的高斯核对这些照片进行卷积；

(1.2)获取原始低分辨率照片分辨率和目标分辨率，根据两者计算放大倍数，据此，将步骤(1.1)卷积后的照片进行采样，得到对应的低分辨率照片；

(1.3)把所得的每一幅低分辨率照片通过现有的分割标准，将其分割为不重叠小块作为训练数据；

(2)基于混合专家模型获得映射关系模型，包括：

(2.1)初始化混合专家模型；

(2.2)使用步骤(1.3)得到的训练数据，对步骤(2.1)得到的混合专家模型进行迭代优化；

(3)将待处理的低分辨率照片分割为块；

(4)根据步骤(2)得到的映射关系模型将低分辨率照片提升为高分辨率照片，包括：

(4.1)将步骤(3)得到的低分辨率照片块作为混合专家模型门函数的输入，计算每一个门函数的输出；

其中，x为低分辨率照片块，K为混合专家模型中专家的个数，v_i表示第i个门函数参数，均通过步骤(2)获得。

(4.2)使用输出值最大的门函数所对应的专家函数的参数计算对应的高分辨率照片块，其中专家函数的参数由步骤(2)得到；

(4.3)对每一个低分辨率照片块按照(4.1)和(4.2)的步骤进行分辨率提升，得到对应的高分辨率照片块，将所有的高分辨率照片块按照其对应的低分辨率照片块在低分辨率照片中的位置拼接为对应的高分辨率照片。

步骤(2.1)所述的混合专家模型包括专家和门函数两部分。其中专家负责对数据进行映射变换，本发明中的映射变换使用线性函数作为专家函数：

y＝Wx

其中W为专家参数，x和y分别表示低分辨率照片块和对应的高分辨率照片块；

门函数负责决定选择哪个专家对数据进行变换，本发明中第i个门函数表示为：

其中，x和y分别表示低分辨率照片块和对应的高分辨率照片块，v_i表示第i个门函数参数，v_j表示第j个门函数参数，K为混合专家模型中专家的个数。

步骤(2.1)所述初始化混合专家模型包括以下步骤：

①指定专家的数量K；

②指定专家的概率分布和专家参数的概率分布的参数σ和μ；

③采用k-均值算法将训练数据按照专家的数量K聚类，每个专家的参数的初始值W_i ⁽⁰⁾指定为类内斜率，每个门函数参数的初始值v_i ⁽⁰⁾初始化为聚类中心；

④根据下式计算每个门函数的初始值：

其中x表示低分辨率照片块，v_i ⁽⁰⁾表示第i个门函数参数的初始值，K为混合专家模型中专家的个数，即树形结构中叶子节点的个数。

步骤(2.2)所述对混合专家模型进行迭代优化包括以下步骤：

①指定迭代终止时的允许误差ε；

②计算本轮迭代中每个门函数的后验概率：

其中k为迭代步数，p_i(y|x，W_i ^(k))和p_j(y|x，W_j ^(k))表示专家的概率分布，g_i ^(k)(x，v_i ^(k))表示第i个门函数的第k步迭代值。

③更新每个专家参数：

其中k为迭代步数，X为训练数据中的所有低分辨率照片块x组成的向量，Y为训练数据中所有高分辨率照片块y组成的向量，X^T表示X的转置，I表示单位矩阵，H_i ^(k+1)表示第k+1步中第i个专家所对应的所有低分辨率照片块x的后验概率组成的向量。

④更新每一个门函数参数：

其中表示第k步迭代中第i个门函数参数，为第k步迭代中第i个门函数的后验概率，x^(t)表示第t个低分辨率照片块。

⑤计算本轮迭代中每个门函数的输出：

⑥计算本轮迭代中的似然概率：

其中，p_i(y|x，W_i ^(k+1))表示专家的概率分布，p(W_i ^(k+1))表示专家参数的概率分布。

⑦判断迭代是否收敛。当本轮迭代的似然概率与上一轮迭代的似然概率之差的绝对值小于迭代终止时的允许误差ε时，结束迭代。否则重复执行步骤②～⑦。

迭代结束时得到的门函数参数v_i、连同专家数量K、专家参数W_i、专家的概率分布的标准差σ和专家参数的概率分布的均值μ，一起作为最终的映射关系模型存储在磁盘中。

步骤(4.2)所述使用输出值最大的门函数所对应的专家函数的参数计算对应的高分辨率照片块包括以下步骤：

①计算取得最大输出值门函数的序号：i＝argmax(g_i)其中，g_i为第i个门函数的输出，通过步骤(4.1)获得。

②使用第i个专家函数计算高分辨率照片块：y＝W_ix

其中，W_i为第i个专家函数的参数，y为输入的低分辨率照片块x所对应的高分辨率照片块。

本发明与现有技术相比的优点在于：通过实施本发明得到的照片，从视觉效果上来看，照片细节完整、边缘清晰、纹理保持好，能保持照片的原有艺术风格。同时，本发明能够自适应计算放大倍数，可适应不同分辨率提升倍数的照片翻新需求。

附图说明

图1为本发明所述的基于分辨率提升的照片翻新方法的流程图。

图2为本发明所述的混合专家模型结构示意图。

具体实施方式

以下具体实施方式中以一个实例对本发明所述方法进行说明。

将一幅分辨率为1280*960的照片提升到分辨率为2560*1920的具体实施步骤如下：

(1)预处理训练照片

(1.1)选择任意90～100幅高分辨率照片。本实施例中，选择100幅高分辨率照片，使用均值为0，标准差为1的高斯核对这些照片进行卷积；

(1.2)获取原始低分辨率照片分辨率和目标分辨率，根据两者计算放大倍数。原始分辨率为1280*960，目标分辨率为2560*1920，放大倍数为：2560/1280＝2。据此，将卷积后的照片下采样到原始大小的1/2，得到对应的低分辨率照片。

(1.3)把所得的每一幅低分辨率照片通过现有的分割标准，将其分割为大小为10×10像素的不重叠小块，并从中选取1,000,000块作为训练数据。

(2)基于混合专家模型获得映射关系模型

(2.1)初始化混合专家模型

(2.1.1)指定专家的数量K。本实施例中，取K＝100；

(2.1.2)指定专家的概率分布和专家参数的概率分布的参数σ和μ，本实施例中，取σ＝0.32，μ＝0.58；

(2.1.3)采用k-均值算法将训练数据按照专家的数量K聚类，每个专家的W_i ⁽⁰⁾参数初始化为类内斜率，门函数参数v_i ⁽⁰⁾初始化为聚类中心；

(2.1.4)根据下式计算每个门函数的初始值：

其中x表示低分辨率照片块，v_i ⁽⁰⁾表示第i个门函数参数的初始值，K为混合专家模型中专家的个数，即树形结构中叶子节点的个数。

(2.2)使用步骤(1.3)得到的训练数据，对步骤(2.1)得到的混合专家模型进行迭代优化：

(2.2.1)指定迭代终止时的允许误差ε。本实施例中，取模型迭代终止所允许的误差ε＝0.01。

(2.2.2)计算本轮迭代中每个门函数的后验概率：

其中k为迭代步数，p_i(y|x，W_i ^(k))和p_j(y|x，W_j ^(k))表示专家的概率分布，g_i ^(k)(x，v_i ^(k))表示第i个门函数的第k步迭代值。

(2.2.3)更新每个专家参数：

其中k为迭代步数，X为训练数据中的所有低分辨率照片块x组成的向量，Y为训练数据中所有高分辨率照片块y组成的向量，X^T表示X的转置，I表示单位矩阵，H_i ^(k+1)表示第k+1步中第i个专家所对应的所有低分辨率照片块x的后验概率组成的向量。

(2.2.4)更新每一个门函数参数：

其中表示第k步迭代中第i个门函数参数，为第k步迭代中第i个门函数的后验概率，x^(t)表示第t个低分辨率照片块。

(2.2.5)计算本轮迭代中每个门函数的输出：

(2.2.6)计算本轮迭代中的似然概率：

其中，p_i(y|x，W_i ^(k+1))表示专家的概率分布，p(W_i ^(k+1))表示专家参数的概率分布。

(2.2.7)判断迭代是否收敛。当本轮迭代的似然概率与上一轮迭代的似然概率之差的绝对值小于迭代终止时的允许误差ε时，结束迭代。否则重复执行步骤(2.2.2)～(2.2.7)。

迭代结束时得到的门函数参数v_i、连同专家数量K、专家参数W_i、专家的概率分布的标准差σ和专家参数的概率分布的均值μ，一起作为最终的映射关系模型存储在磁盘中。

(3)将待处理的低分辨率照片分割为块：将低分辨率照片分割为10×10的块；

(4)根据步骤(2)得到的映射关系模型将低分辨率照片提升为高分辨率照片；

(4.1)将步骤(3)得到的低分辨率照片块作为门函数的输入，并计算每一个门函数的输出：

其中，x为低分辨率照片块，K为混合专家模型中专家的个数，v_i表示第i个门函数参数，均通过步骤(2.2)获得。

(4.2)使用输出值最大的门函数所对应的专家函数的参数W_i计算对应的高分辨率照片块：

(4.2.1)计算取得最大输出值门函数的序号：i＝argmax(g_i)。其中，g_i为第i个门函数的输出，通过步骤(4.1)获得。

(4.2.2)使用第i个专家函数计算高分辨率照片块：

y＝W_ix

其中，W_i为第i个专家函数的参数，x为输入的低分辨率照片块，其大小为10×10。y为分辨率提升后的高分辨率照片块，大小为20×20。

(4.3)对每一个低分辨率照片块按照(4.1)和(4.2)的步骤进行分辨率提升，得到对应的高分辨率照片块，将所有的高分辨率照片块按照其对应的低分辨率照片块在低分辨率照片中的位置拼接为对应的高分辨率照片。

Claims (3)

1.一种基于分辨率提升的照片翻新方法，其特征在于：具体步骤为：

(1)预处理训练照片，包括：

(1.1)选择任意90～100幅高分辨率照片，使用均值为0，标准差为1的高斯核对这些照片进行卷积；

(1.2)获取原始低分辨率照片分辨率和目标分辨率，根据两者计算放大倍数，据此，将步骤(1.1)卷积后的照片进行采样，得到对应的低分辨率照片；

(1.3)把所得的每一幅低分辨率照片通过现有的分割标准，将其分割为不重叠小块作为训练数据；

(2)基于混合专家模型获得映射关系模型，包括：

(2.1)初始化混合专家模型，包括以下步骤：

①指定专家的数量K；

②指定专家的概率分布和专家参数的概率分布的参数σ和μ；

③采用k-均值算法将训练数据按照专家的数量K聚类，每个专家的参数的初始值W_i ⁽⁰⁾指定为类内斜率，每个门函数参数的初始值v_i ⁽⁰⁾初始化为聚类中心；

④根据下式计算每个门函数的初始值：

其中x表示低分辨率照片块，v_i ⁽⁰⁾表示第i个门函数参数的初始值，v_j ⁽⁰⁾表示第j个门函数参数的初始值，K为混合专家模型中专家的个数，即树形结构中叶子节点的个数；

(2.2)使用步骤(1.3)得到的训练数据，对步骤(2.1)得到的混合专家模型进行迭代优化，包括以下步骤：

①指定迭代终止时的允许误差ε；

②计算本轮迭代中每个门函数的后验概率：

其中k为迭代步数，p_i(y|x，W_i ^(k))和p_j(y|x，W_j ^(k))表示专家的概率分布，g_i ^(k)(x，v_i ^(k))表示第i个门函数的第k步迭代值；

③更新每个专家参数：

其中k为迭代步数，X为训练数据中的所有低分辨率照片块x组成的向量，Y为训练数据中所有高分辨率照片块y组成的向量，X^T表示X的转置，I表示单位矩阵，H_i ^(k+1)表示第k+1步中第i个专家所对应的所有低分辨率照片块x的后验概率组成的向量；

④更新每一个门函数参数：

其中表示第k步迭代中第i个门函数参数，为第k步迭代中第i个门函数的后验概率，x^(t)表示第t个低分辨率照片块；

⑤计算本轮迭代中每个门函数的输出：

⑥计算本轮迭代中的似然概率：

其中，p_i(y|x，W_i ^(k+1))表示专家的概率分布，p(W_i ^(k+1))表示专家参数的概率分布；

⑦判断迭代是否收敛；当本轮迭代的似然概率与上一轮迭代的似然概率之差的绝对值小于迭代终止时的允许误差ε时，结束迭代；否则重复执行步骤②～⑦；

迭代结束时得到的门函数参数v_i、连同专家数量K、专家参数W_i、专家的概率分布的标准差σ和专家参数的概率分布的均值μ，一起作为最终的映射关系模型存储在磁盘中；

(3)将待处理的低分辨率照片分割为块；

(4)根据步骤(2)得到的映射关系模型将低分辨率照片提升为高分辨率照片，包括：

(4.1)将步骤(3)得到的低分辨率照片块作为混合专家模型门函数的输入，计算每一个门函数的输出；

其中，x为低分辨率照片块，K为混合专家模型中专家的个数，v_i表示第i个门函数参数，v_j表示第j个门函数参数，均通过步骤(2)获得；

(4.2)使用输出值最大的门函数所对应的专家函数的参数计算对应的高分辨率照片块，其中专家函数的参数由步骤(2)得到；

(4.3)对每一个低分辨率照片块按照(4.1)和(4.2)的步骤进行分辨率提升，得到对应的高分辨率照片块，将所有的高分辨率照片块按照其对应的低分辨率照片块在低分辨率照片中的位置拼接为对应的高分辨率照片。

2.根据权利要求1所述的照片翻新方法，其特征在于步骤(2.1)所述的混合专家模型包括专家和门函数两部分；

专家负责对数据进行映射变换，本发明中的映射变换使用线性函数作为专家函数：

y＝Wx

其中W为专家参数，x和y分别表示低分辨率照片块和对应的高分辨率照片块；

门函数负责决定选择哪个专家对数据进行变换，本发明中第i个门函数表示为：

其中，v_i表示第i个门函数参数，v_j表示第j个门函数参数，K为混合专家模型中专家的个数。

3.根据权利要求1所述的照片翻新方法，其特征在于：步骤(4.2)所述使用输出值最大的门函数所对应的专家函数的参数计算对应的高分辨率照片块包括以下步骤：

①计算取得最大输出值门函数的序号：i＝arg max(g_i)

其中，g_i为第i个门函数的输出，通过步骤(4.1)获得；

②使用第i个专家函数计算高分辨率照片块：y＝W_ix

其中，W_i为第i个专家函数的参数，y为输入的低分辨率照片块x所对应的高分辨率照片块。