CN107845064A - 基于主动采样和高斯混合模型的图像超分辨重建方法 - Google Patents
基于主动采样和高斯混合模型的图像超分辨重建方法 Download PDFInfo
- Publication number
- CN107845064A CN107845064A CN201710781808.1A CN201710781808A CN107845064A CN 107845064 A CN107845064 A CN 107845064A CN 201710781808 A CN201710781808 A CN 201710781808A CN 107845064 A CN107845064 A CN 107845064A
- Authority
- CN
- China
- Prior art keywords
- low resolution
- resolution
- mrow
- msub
- matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
Abstract
本发明公开了一种基于主动采样和高斯混合模型的图像超分辨率重建方法，可用于受限设备采集图像的超分辨率重建。其实现步骤为：(1)获取训练图像块；(2)对训练图像块进行主动采样；(3)提取联合训练特征向量；(4)训练高斯混合模型；(5)获取低分辨率测试特征向量；(6)重建高分辨率测试图像。本发明提高了重建图像的清晰度，尤其在重建结构轮廓、自然纹理等细节时，表现更佳。
Description
技术领域
本发明属于图像处理技术领域，更进一步涉及图像重建技术领域中的一种基于主动采样和高斯混合模型的图像超分辨重建方法。本发明可应用于计算机视觉、模式识别等领域，对受限设备采集的低分辨图像进行图像重建。
背景技术
超分辨率重建技术是通过信号处理、机器学习、统计理论等方法，对安防监控、高清电视、医学检测、刑事侦查等多个领域中受限设备采集到的低分辨率图像进行图像重建。其中，基于实例学习的图像超分辨率重建方法是假设低分辨率图像与对应高分辨率图像存在一定的映射关系，通过学习这一映射关系，并将其转移到输入的低分辨率特征空间来重建高分辨率图像。
深圳市华星光电技术有限公司在其申请的专利文献“一种图像超分辨率重建方法”(专利申请号：201611153801.7；申请公布号：CN106780333A)中提出了一种图像超分辨率重建方法。该方法主要通过将低分辨率特征空间和高分辨率特征空间构造成多个成对设置的低分辨率特征子空间和高分辨率特征子空间；然后在成对设置的低分辨率特征子空间和高分辨率特征子空间之间建立线性映射关系；最后根据线性映射关系将低分辨率重构图像重构成高分辨率重构图像。该方法存在的不足之处是，在划分特征子空间过程中仅使用K-均值算法进行硬聚类，而且该方法在重建过程中使用的是最近邻方法进行最优锚点搜索，如此一来，该工作就仅仅成为了一个聚类与匹配问题，而没有考虑到图像统计信息。
清华大学深圳研究生院与深圳市未来媒体技术研究院在其申请的专利文献“一种图像的超分辨率重建方法”(专利申请号：201710084743.5；申请公布号：CN106886978A)中提出了一种图像的超分辨率重建方法。该方法主要通过计算各图像块的中心像素点的位置向量所对应的结构张量，然后计算该结构张量的特征值，来判断图像块是否为平滑图像块；在图像块为平滑图像块时，将初始高分辨率图像块作为该图像块的最终高分辨率图像块；在图像块为非平滑图像块时，结合图论进行重建计算，最终得到重建的高分辨率图像。该方法存在的不足之处是，只考虑图像自身的结构信息，而没有引入外部训练样本，使得图像的先验细节不够丰富，使得重建效果大打折扣。
发明内容
本发明的目的在于针对已有技术的不足，提出一种基于主动采样和高斯混合模型的图像超分辨率重建方法，以提升图像重建效果。本发明与现有技术中其他图像超分辨率重建方法相比，重建效果更佳，鲁棒性更强。
本发明实现的具体步骤包括如下：
(1)获取训练图像块：
(1a)读入待训练的高分辨率彩色图像，对高分辨率彩色图像进行YCbCr空间转化，得到YCbCr空间训练图像，将YCbCr空间训练图像的非线性亮度分量划分成500万个大小为9×9的高分辨率训练图像块；
(1b)使用插值算法，对YCbCr空间训练图像的非线性亮度分量进行1/3倍下采样，得到低分辨率尺寸的低分辨率训练图像，对低分辨率尺寸的低分辨率训练图像进行3倍上采样，得到高分辨率尺寸的低分辨率训练图像，将高分辨率尺寸的低分辨率训练图像划分成5000000个大小为9×9的低分辨率训练图像块；
(2)对训练图像块进行主动采样：
(2a)按照下式，计算每一个低分辨率训练图像块的细节差异值：
其中，Var(xt)表示第t个低分辨率训练图像块的细节差异值，表示第t个低分辨率训练图像块的像素均值，||·||2表示2-范数求解操作，t＝1,2,...,5000000；
(2b)根据每一个低分辨率训练图像块的细节差异值，对所有的低分辨率训练图像块升序排序，将60％临界点处的低分辨率训练图像块的细节差异值作为差异阈值，将60％临界点处之后的2000000个低分辨率训练图像块作为有效低分辨率训练图像块；
(2c)在所有的高分辨率训练图像块中，选取与有效低分辨率训练图像块相对应的有效高分辨率训练图像块；
(3)提取联合训练特征矩阵：
(3a)对所有的有效低分辨率训练图像块进行特征提取，得到高维度的低分辨率训练特征向量；
(3b)对所有高维度的低分辨率训练特征向量进行排列，得到大小为324×2000000的高维度的低分辨率训练特征矩阵，使用主成分分析方法，对高维度的低分辨率训练特征矩阵进行降维，得到一个大小为30×2000000的低分辨率训练特征矩阵；
(3c)用每一个有效高分辨率训练图像块分别减去与之对应的有效低分辨率训练图像块，得到2000000个81维的高分辨率训练特征向量，对所有高分辨率训练特征向量进行排列，得到一个大小为81×2000000的高分辨率训练特征矩阵；
(3d)串接低分辨率训练特征矩阵和高分辨率训练特征矩阵，得到大小为111×2000000的联合训练特征矩阵；
(4)训练高斯混合模型：
(4a)对联合训练特征矩阵进行初始化操作，得到初始高斯混合模型；
(4b)使用期望最大化算法，迭代求解高斯混合模型；
(5)获取低分辨率测试特征向量：
(5a)读入待测试的低分辨率彩色图像，对低分辨率彩色图像进行YCbCr空间转化，得到YCbCr空间测试图像；
(5b)使用插值算法，分别对YCbCr空间测试图像的非线性亮度分量、蓝色色差分量、红色色差分量进行3倍上采样，得到高分辨率尺寸的低分辨率测试图像、高分辨率蓝色色差分量、高分辨率红色色差分量；将高分辨率尺寸的低分辨率测试图像划分成一组大小为9×9的低分辨率测试图像块；
(5c)从所有低分辨率测试图像块中筛选出有效低分辨率测试图像块，对所有的有效低分辨率测试图像块进行特征提取，将提取出的特征组成高维度的低分辨率测试特征向量；
(5d)将所有低分辨率测试特征向量重组，得到高维度的低分辨率测试特征矩阵，使用主成分分析方法，对高维度的低分辨率测试特征矩阵进行降维，得到低分辨率测试特征矩阵；
(6)重建高分辨率测试图像：
(6a)对每一个低分辨率测试特征矩阵的列向量，使用基于联合条件高斯分布的重建方法，得到高分辨率测试特征向量，将每一个高分辨率测试特征向量与其对应的低分辨率测试图像块相加，得到高分辨率测试图像块；
(6b)组合所有的高分辨率测试图像块，得到高分辨非线性亮度分量，将高分辨非线性亮度分量、高分辨率蓝色色差分量和高分辨率红色色差分量进行组合，得到YCbCr空间高分辨率测试图像，将YCbCr空间高分辨率测试图像转换成RGB格式，得到重建后的高分辨率图像。
本发明与现有技术相比具有以下优点：
第一，由于本发明采用主动采样方法，提取有效低分辨率训练图像块，克服了现有技术的只考虑待处理图像自身的结构信息，没有引入外部训练样本信息的问题，使得本发明可以重建出更丰富的图像细节信息，提高了重建效果。
第二，由于本发明通过训练高斯混合模型来划分特征子空间，克服了现有技术的在划分特征子空间过程中仅使用K-均值算法进行硬聚类的问题，使得本发明可以充分利用训练样本信息，提高重建效果。
第三，由于本发明采用基于联合条件高斯分布的重建方法，重建高分辨率图像，克服了现有技术的没有考虑到图像统计信息和先验信息的问题，使得本发明可以提高重建效果，更具鲁棒性。
附图说明
图1是本发明的流程图；
图2是本发明的仿真图。
具体实施方式
下面结合附图对本发明做进一步的描述。
参照图1，本发明实现的具体步骤如下。
步骤1，获取训练图像块。
读入待训练的高分辨率彩色图像，对高分辨率彩色图像进行YCbCr空间转化，得到YCbCr空间训练图像，将YCbCr空间训练图像的非线性亮度分量划分成500万个大小为9×9的高分辨率训练图像块。
使用插值算法，对YCbCr空间训练图像的非线性亮度分量进行1/3倍下采样，得到低分辨率尺寸的低分辨率训练图像，对低分辨率尺寸的低分辨率训练图像进行3倍上采样，得到高分辨率尺寸的低分辨率训练图像，将高分辨率尺寸的低分辨率训练图像划分成5000000个大小为9×9的低分辨率训练图像块。
其中，插值算法采用双三次插值算法。
所述的高分辨率尺寸的低分辨率训练图像来自于，对YCbCr空间训练图像的非线性亮度分量进行1/3倍下采样，得到低分辨率尺寸的低分辨率训练图像，对低分辨率尺寸的低分辨率训练图像进行3倍上采样，得到高分辨率尺寸的低分辨率训练图像。
步骤2，对训练图像块进行主动采样。
按照下式，计算每一个低分辨率训练图像块的细节差异值：
其中，Var(xt)表示第t个低分辨率训练图像块的细节差异值，表示第t个低分辨率训练图像块的像素均值，||·||2表示2-范数求解操作，t＝1,2,...,5000000；
根据每一个低分辨率训练图像块的细节差异值，对所有的低分辨率训练图像块升序排序，将60％临界点处的低分辨率训练图像块的细节差异值作为差异阈值，将60％临界点处之后的2000000个低分辨率训练图像块作为有效低分辨率训练图像块；
在所有的高分辨率训练图像块中，选取与有效低分辨率训练图像块相对应的有效高分辨率训练图像块；
步骤3，提取联合训练特征向量。
对所有的有效低分辨率训练图像块进行特征提取，得到高维度的低分辨率训练特征向量；
所述特征提取的步骤如下：
第1步，选取如下四种一阶、二阶梯度提取算子如下：
f1＝[-1,0,1]
f2＝f1 T
f3＝[-1,0,-2,0,1]
f4＝f3 T
其中，f1表示一阶水平梯度提取算子，f2表示一阶垂直梯度提取算子，f3表示二阶水平梯度提取算子，f4表示二阶垂直梯度提取算子，T表示转置操作；
第2步，对每个图像块，分别与四种一阶、二阶梯度提取算子进行卷积操作，得到四组81维的图像块特征，将四组图像块特征串接成一个324维的特征向量。
对所有高维度的低分辨率训练特征向量进行排列，得到大小为324×2000000的高维度的低分辨率训练特征矩阵，使用主成分分析方法，对高维度的低分辨率训练特征矩阵进行降维，得到一个大小为30×2000000的低分辨率训练特征矩阵；
所述使用主成分分析方法对高维度的特征矩阵进行降维的步骤如下：
第1步，对高维度的特征矩阵的每一行减去该行的均值，得到零均值高维度的特征矩阵；
第2步，计算零均值高维度的特征矩阵的协方差矩阵，对协方差矩阵进行特征分解，得到零均值高维度的特征矩阵的特征值和特征向量；
第3步，对零均值高维度的特征矩阵的特征值进行降序排序，据此顺序，对零均值高维度的特征矩阵的特征向量重新排列，得到成分矩阵，取成分矩阵的前30行作为映射矩阵；
第4步，按照下式，计算降维后的特征矩阵：
Y＝PX
其中，Y表示降维后的特征矩阵，X表示零均值高维度的特征矩阵，P表示映射矩阵。
用每一个有效高分辨率训练图像块分别减去与之对应的有效低分辨率训练图像块，得到2000000个81维的高分辨率训练特征向量，对所有高分辨率训练特征向量进行排列，得到一个大小为81×2000000的高分辨率训练特征矩阵；
串接低分辨率训练特征矩阵和高分辨率训练特征矩阵，得到大小为111×2000000的联合训练特征矩阵；
步骤4，训练高斯混合模型。
对联合训练特征矩阵进行初始化操作，得到初始高斯混合模型；
所述的初始化操作的步骤如下：
第1步，在联合训练特征矩阵中按列随机选取500个列向量，得到初始高斯混合模型中第k个子空间的均值μk，k＝1,2,...,500；
第2步，按照下式，计算初始高斯混合模型的协方差矩阵：
Ck＝C0
其中，Ck表示初始高斯混合模型中第k个子空间的协方差矩阵，C0表示联合特征矩阵的协方差矩阵；
第3步，对初始高斯混合模型中每个子空间的权值ωk赋值为1/500。
使用期望最大化算法，迭代求解高斯混合模型；
所述期望最大化方法的步骤如下：
第1步，按照下式，更新吸引度：
其中，γik表示第i个联合特征训练矩阵的列向量与高斯混合模型中第k个子空间之间的吸引度，i＝1,2,...,2000000，k＝1,2,...,500，ωk表示高斯混合模型中第k个子空间的权值，表示高斯分布，vi表示第i个联合特征训练矩阵的列向量，|表示条件概率符号，μk表示高斯混合模型中第k个子空间的均值，Ck表示高斯混合模型中第k个子空间的协方差矩阵，Σ(·)表示求和操作；
第2步，按照下式，更新高斯混合模型的参数：
ωk＝Wk/N
其中，Wk表示归一化吸引度，N表示吸引度矩阵的行数；
第3步，按照下式，计算当前的似然值：
其中，L表示当前的似然值，ln(·)表示取自然对数操作；
第4步，判断当前的似然值是否满足收敛条件|L-L′|/L＜10-6，若是，则执行第5步，否则，执行第1步，其中，L′表示前一次迭代的似然值；
第5步，停止迭代，得到高斯混合模型。
步骤5，获取低分辨率测试特征向量。
读入待测试的低分辨率彩色图像，对低分辨率彩色图像进行YCbCr空间转化，得到YCbCr空间测试图像；
使用插值算法，分别对YCbCr空间测试图像的非线性亮度分量、蓝色色差分量、红色色差分量进行3倍上采样，得到高分辨率尺寸的低分辨率测试图像、高分辨率蓝色色差分量、高分辨率红色色差分量；将高分辨率尺寸的低分辨率测试图像划分成一组大小为9×9的低分辨率测试图像块；
其中，插值算法采用双三次插值算法。
从所有低分辨率测试图像块中筛选出有效低分辨率测试图像块，对所有的有效低分辨率测试图像块进行特征提取，将提取出的特征组成高维度的低分辨率测试特征向量；
所述从低分辨率测试图像块中筛选有效低分辨率测试图像块是指，使用步骤(2a)中所述主动采样方法中计算细节差异值的公式，计算每一个低分辨率测试图像块的细节差异值，从所有低分辨率测试图像块中提取出所有细节差异值大于差异阈值的低分辨率测试图像块，组成有效低分辨率测试图像块。
所述特征提取的步骤如下：
第1步，选取如下四种一阶、二阶梯度提取算子如下：
f1＝[-1,0,1]
f2＝f1 T
f3＝[-1,0,-2,0,1]
f4＝f3 T
其中，f1表示一阶水平梯度提取算子，f2表示一阶垂直梯度提取算子，f3表示二阶水平梯度提取算子，f4表示二阶垂直梯度提取算子，T表示转置操作；
第2步，对每个图像块，分别与四种一阶、二阶梯度提取算子进行卷积操作，得到四组81维的图像块特征，将四组图像块特征串接成一个324维的特征向量。
将所有低分辨率测试特征向量重组，得到高维度的低分辨率测试特征矩阵，使用主成分分析方法，对高维度的低分辨率测试特征矩阵进行降维，得到低分辨率测试特征矩阵；
所述使用主成分分析方法对高维度的特征矩阵进行降维的步骤如下：
第1步，对高维度的特征矩阵的每一行减去该行的均值，得到零均值高维度的特征矩阵；
第2步，计算零均值高维度的特征矩阵的协方差矩阵，对协方差矩阵进行特征分解，得到零均值高维度的特征矩阵的特征值和特征向量；
第3步，对零均值高维度的特征矩阵的特征值进行降序排序，据此顺序，对零均值高维度的特征矩阵的特征向量重新排列，得到成分矩阵，取成分矩阵的前30行作为映射矩阵；
第4步，按照下式，计算降维后的特征矩阵：
Y＝PX
其中，Y表示降维后的特征矩阵，X表示零均值高维度的特征矩阵，P表示映射矩阵。
步骤6，重建高分辨率测试图像。
对每一个低分辨率测试特征矩阵的列向量，使用基于联合条件高斯分布的重建方法，得到高分辨率测试特征向量，将每一个高分辨率测试特征向量与其对应的低分辨率测试图像块相加，得到高分辨率测试图像块；
组合所有的高分辨率测试图像块，得到高分辨非线性亮度分量，将高分辨非线性亮度分量、高分辨率蓝色色差分量和高分辨率红色色差分量进行组合，得到YCbCr空间高分辨率测试图像，将YCbCr空间高分辨率测试图像转换成RGB格式，得到重建后的高分辨率测试图像。
所述基于联合条件高斯分布的重建方法的步骤如下：
第1步：按照下式，计算每一个低分辨率测试特征向量与每个高斯混合模型之间的吸引度：
其中，γ′mp表示第m个低分辨率测试特征向量与第p个高斯混合模型子空间之间的吸引度，p＝1,2,...,500，m＝1,2,...,R，ωp表示高斯混合模型中第p个子空间的权值，ym表示第m个低分辨率测试特征向量，μp表示高斯混合模型中第p个子空间的均值，Cp表示高斯混合模型中第p个子空间的协方差矩阵，R表示低分辨率测试特征向量的总数；
第2步，对吸引度进行降序排序，对于每个低分辨率测试特征向量，选取相应的最大吸引度所对应的高斯混合模型作为最佳匹配模型；
第3步，按照下式，划分最佳匹配模型的均值、协方差：
其中，μb、Cb分别表示第b个低分辨率特征向量对应的最佳匹配模型的均值、协方差矩阵，表示第b个低分辨率特征向量对应的最佳匹配模型的均值的前81维，表示第b个低分辨率特征向量对应的最佳匹配模型的均值的后30维，表示第b个低分辨率特征向量对应的最佳匹配模型的协方差矩阵左上位置的81×81大小的矩阵，表示第b个低分辨率特征向量对应的最佳匹配模型的协方差矩阵右上位置的81×30大小的矩阵，表示第b个低分辨率特征向量对应的最佳匹配模型的协方差矩阵左下位置的30×81大小的矩阵，表示第b个低分辨率特征向量对应的最佳匹配模型的协方差矩阵右下位置的9×9大小的矩阵；
第4步，按照下式，计算每一个高分辨率测试特征向量：
其中，zm表示与第m个高分辨率测试特征向量；
第5步，在高分辨率特征向量的基础上，加上相应的低分辨率测试图像块，得到高分辨率测试图像块。
下面结合仿真实验对本发明的效果做进一步的描述。
1、仿真实验条件：
本发明的仿真实验的硬件平台为：Intel Core i7-6700K@4.00GHZ、16GBRAM，软件平台为：MATLAB R2016b；
2、仿真内容及其结果分析：
本发明的仿真实验的训练样本采用的是，UC Berkeley大学的BSDS300库中的300张图像，本实验的测试样本采用的是，Set14的14幅高分辨率无失真24位RGB图像。
本发明的仿真实验中分别使用了本发明及其现有技术中的三种方法：
现有技术中的第一种方法是采用双三次插值算法对测试样本进行超分辨率重建；
现有技术中的第二种方法是采用基于稀疏表示的超分辨率重建方法(J.Yang,J.Wright,T.S.Huang,Y.Ma.:Image super-resolution via sparserepresentation.IEEE Trans.Image Process.,19(11),2861-2873(2010))对测试样本进行超分辨率重建，本发明的仿真实验中记为ScSR；
现有技术中的第三种方法是采用基于锚点领域回归的超分辨率重建方法(R.Timofte,V.De,L.Van Gool.:Anchored neighborhood regression for fastexample-based super-resolution.In Proc.IEEE Int.Conf.Comput.Vis.,pp.1920–1927.IEEE,Sydney(2013).)对测试样本进行超分辨率重建，本发明的仿真实验中记为ANR；
图2(a)是对测试样本中的低分辨率“Lenna”图的仿真实验结果图，图2(a)共5幅图，其中从左至右、从上至下依次为：测试样本中的低分辨率“Lenna”图、使用双三次插值对低分辨率“Lenna”图进行重建的结果图、使用ScSR方法对低分辨率“Lenna”图进行重建的结果图、使用ANR方法对低分辨率“Lenna”图进行重建的结果图、使用本发明对低分辨率“Lenna”图进行重建的结果图。对比4幅对低分辨率“Lenna”图进行重建的结果图，可以看出，本发明在对帽檐结构轮廓的重建效果较现有技术中的三种方法更加清晰且更加自然。
图2(b)是对测试样本中的低分辨率“zebra”图的仿真实验结果图，图2(b)共5幅图，其中从左至右、从上至下依次为：测试样本中的低分辨率“zebra”图、使用双三次插值对低分辨率“zebra”图进行重建的结果图、使用ScSR方法对低分辨率“zebra”图进行重建的结果图、使用ANR方法对低分辨率“zebra”图进行重建的结果图、使用本发明对低分辨率“zebra”图进行重建的结果图。对比4幅对低分辨率“zebra”图进行重建的结果图，可以看出，本发明在对斑马尾巴纹理的重建效果较现有技术中的三种方法更加清晰且更加自然。
利用峰值信噪比PSNR、结构相似度SSIM、信息保真度准则IFC三个评价指标，分别对本发明和现有技术中的三种方法的重建效果进行客观评价，三个评价指标越高，说明重建后的图像质量越好。本发明与上述现有技术中的三种方法重建Set14图像的客观评价指标的平均值的对比结果如表1所示：
表1本发明与对比方法重建图像的客观评价值评价表
由表1可以看出，本发明重建Set14测试样本后的三个客观评价指标的平均值均高于上述现有技术中的三种方法，说明本发明重建的图像更接近原始高分辨率的图像，取得更好的重建效果。
Claims (7)
1.一种基于主动采样和高斯混合模型的图像超分辨率重建方法，其特征在于，包括如下步骤：
(1)获取训练图像块：
(1a)读入待训练的高分辨率彩色图像，对高分辨率彩色图像进行YCbCr空间转化，得到YCbCr空间训练图像，将YCbCr空间训练图像的非线性亮度分量划分成500万个大小为9×9的高分辨率训练图像块；
(1b)使用插值算法，对YCbCr空间训练图像的非线性亮度分量进行1/3倍下采样，得到低分辨率尺寸的低分辨率训练图像，对低分辨率尺寸的低分辨率训练图像进行3倍上采样，得到高分辨率尺寸的低分辨率训练图像，将高分辨率尺寸的低分辨率训练图像划分成5000000个大小为9×9的低分辨率训练图像块；
(2)对训练图像块进行主动采样：
(2a)按照下式，计算每一个低分辨率训练图像块的细节差异值：
<mrow>
<mi>V</mi>
<mi>a</mi>
<mi>r</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>x</mi>
<mi>t</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mo>|</mo>
<mo>|</mo>
<msub>
<mi>x</mi>
<mi>t</mi>
</msub>
<mo>-</mo>
<msub>
<mover>
<mi>x</mi>
<mo>&OverBar;</mo>
</mover>
<mi>t</mi>
</msub>
<mo>|</mo>
<msub>
<mo>|</mo>
<mn>2</mn>
</msub>
</mrow>
其中，Var(xt)表示第t个低分辨率训练图像块的细节差异值，表示第t个低分辨率训练图像块的像素均值，||·||2表示2-范数求解操作，t＝1,2,...,5000000；
(2b)根据每一个低分辨率训练图像块的细节差异值，对所有的低分辨率训练图像块升序排序，将60％临界点处的低分辨率训练图像块的细节差异值作为差异阈值，将60％临界点处之后的2000000个低分辨率训练图像块作为有效低分辨率训练图像块；
(2c)在所有的高分辨率训练图像块中，选取与有效低分辨率训练图像块相对应的有效高分辨率训练图像块；
(3)提取联合训练特征矩阵：
(3a)对所有的有效低分辨率训练图像块进行特征提取，得到高维度的低分辨率训练特征向量；
(3b)对所有高维度的低分辨率训练特征向量进行排列，得到大小为324×2000000的高维度的低分辨率训练特征矩阵，使用主成分分析方法，对高维度的低分辨率训练特征矩阵进行降维，得到一个大小为30×2000000的低分辨率训练特征矩阵；
(3c)用每一个有效高分辨率训练图像块分别减去与之对应的有效低分辨率训练图像块，得到2000000个81维的高分辨率训练特征向量，对所有高分辨率训练特征向量进行排列，得到一个大小为81×2000000的高分辨率训练特征矩阵；
(3d)串接低分辨率训练特征矩阵和高分辨率训练特征矩阵，得到大小为111×2000000的联合训练特征矩阵；
(4)训练高斯混合模型：
(4a)对联合训练特征矩阵进行初始化操作，得到初始高斯混合模型；
(4b)使用期望最大化算法，迭代求解高斯混合模型；
(5)获取低分辨率测试特征向量：
(5a)读入待测试的低分辨率彩色图像，对低分辨率彩色图像进行YCbCr空间转化，得到YCbCr空间测试图像；
(5b)使用插值算法，分别对YCbCr空间测试图像的非线性亮度分量、蓝色色差分量、红色色差分量进行3倍上采样，得到高分辨率尺寸的低分辨率测试图像、高分辨率蓝色色差分量、高分辨率红色色差分量；将高分辨率尺寸的低分辨率测试图像划分成一组大小为9×9的低分辨率测试图像块；
(5c)从所有低分辨率测试图像块中筛选出有效低分辨率测试图像块，对所有的有效低分辨率测试图像块进行特征提取，将提取出的特征组成高维度的低分辨率测试特征向量；
(5d)将所有低分辨率测试特征向量重组，得到高维度的低分辨率测试特征矩阵，使用主成分分析方法，对高维度的低分辨率测试特征矩阵进行降维，得到低分辨率测试特征矩阵；
(6)重建高分辨率测试图像：
(6a)对每一个低分辨率测试特征矩阵的列向量，使用基于联合条件高斯分布的重建方法，得到高分辨率测试特征向量，将每一个高分辨率测试特征向量与其对应的低分辨率测试图像块相加，得到高分辨率测试图像块；
(6b)组合所有的高分辨率测试图像块，得到高分辨非线性亮度分量，将高分辨非线性亮度分量、高分辨率蓝色色差分量和高分辨率红色色差分量进行组合，得到YCbCr空间高分辨率测试图像，将YCbCr空间高分辨率测试图像转换成RGB格式，得到重建后的高分辨率测试图像。
2.根据权利要求1所述的基于主动采样和高斯混合模型的图像超分辨率重建方法，其特征在于，步骤(3a)、步骤(5c)中所述特征提取的步骤如下：
第1步，选取如下四种一阶、二阶梯度提取算子如下：
f1＝[-1,0,1]
f2＝f1 T
f3＝[-1,0,-2,0,1]
<mrow>
<msub>
<mi>f</mi>
<mn>4</mn>
</msub>
<mo>=</mo>
<msubsup>
<mi>f</mi>
<mn>3</mn>
<mi>T</mi>
</msubsup>
</mrow>
其中，f1表示一阶水平梯度提取算子，f2表示一阶垂直梯度提取算子，f3表示二阶水平梯度提取算子，f4表示二阶垂直梯度提取算子，T表示转置操作；
第2步，对每个图像块，分别与四种一阶、二阶梯度提取算子进行卷积操作，得到四组81维的图像块特征，将四组图像块特征串接成一个324维的特征向量。
3.根据权利要求1所述的基于主动采样和高斯混合模型的图像超分辨率重建方法，其特征在于，步骤(3b)、步骤(5d)中所述使用主成分分析方法对高维度的特征矩阵进行降维的步骤如下：
第1步，对高维度的特征矩阵的每一行减去该行的均值，得到零均值高维度的特征矩阵；
第2步，计算零均值高维度的特征矩阵的协方差矩阵，对协方差矩阵进行特征分解，得到零均值高维度的特征矩阵的特征值和特征向量；
第3步，对零均值高维度的特征矩阵的特征值进行降序排序，据此顺序，对零均值高维度的特征矩阵的特征向量重新排列，得到成分矩阵，取成分矩阵的前30行作为映射矩阵；
第4步，按照下式，计算降维后的特征矩阵：
Y＝PX
其中，Y表示降维后的特征矩阵，X表示零均值高维度的特征矩阵，P表示映射矩阵。
4.根据权利要求1所述的基于主动采样和高斯混合模型的图像超分辨率重建方法，其特征在于，步骤(4a)中所述初始化操作的步骤如下：
第1步，在联合训练特征矩阵中按列随机选取500个列向量，得到初始高斯混合模型中第k个子空间的均值μk，k＝1,2,...,500；
第2步，按照下式，计算初始高斯混合模型的协方差矩阵：
Ck＝C0
其中，Ck表示初始高斯混合模型中第k个子空间的协方差矩阵，C0表示联合特征矩阵的协方差矩阵；
第3步，对初始高斯混合模型中每个子空间的权值ωk赋值为1/500。
5.根据权利要求1所述的基于主动采样和高斯混合模型的图像超分辨率重建方法，其特征在于，步骤(4b)中所述期望最大化方法的步骤如下：
第1步，按照下式，更新吸引度：
其中，γik表示第i个联合特征训练矩阵的列向量与高斯混合模型中第k个子空间之间的吸引度，i＝1,2,...,2000000，k＝1,2,...,500，ωk表示高斯混合模型中第k个子空间的权值，表示高斯分布，vi表示第i个联合特征训练矩阵的列向量，|表示条件概率符号，μk表示高斯混合模型中第k个子空间的均值，Ck表示高斯混合模型中第k个子空间的协方差矩阵，Σ(·)表示求和操作；
第2步，按照下式，更新高斯混合模型的参数：
<mrow>
<msub>
<mi>W</mi>
<mi>k</mi>
</msub>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mi>N</mi>
</mfrac>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>N</mi>
</munderover>
<msub>
<mi>&gamma;</mi>
<mrow>
<mi>i</mi>
<mi>k</mi>
</mrow>
</msub>
</mrow>
ωk＝Wk/N
<mrow>
<msub>
<mi>&mu;</mi>
<mi>k</mi>
</msub>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<msub>
<mi>W</mi>
<mi>k</mi>
</msub>
</mfrac>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>N</mi>
</munderover>
<msub>
<mi>&gamma;</mi>
<mrow>
<mi>i</mi>
<mi>k</mi>
</mrow>
</msub>
<msub>
<mi>v</mi>
<mi>i</mi>
</msub>
</mrow>
<mrow>
<msub>
<mi>C</mi>
<mi>k</mi>
</msub>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<msub>
<mi>W</mi>
<mi>k</mi>
</msub>
</mfrac>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>N</mi>
</munderover>
<msub>
<mi>&gamma;</mi>
<mrow>
<mi>i</mi>
<mi>k</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<msub>
<mi>v</mi>
<mi>i</mi>
</msub>
<mo>-</mo>
<msub>
<mi>&mu;</mi>
<mi>k</mi>
</msub>
<mo>)</mo>
</mrow>
<msup>
<mrow>
<mo>(</mo>
<msub>
<mi>v</mi>
<mi>i</mi>
</msub>
<mo>-</mo>
<msub>
<mi>&mu;</mi>
<mi>k</mi>
</msub>
<mo>)</mo>
</mrow>
<mi>T</mi>
</msup>
</mrow>
其中，Wk表示归一化吸引度，N表示吸引度矩阵的行数；
第3步，按照下式，计算当前的似然值：
其中，L表示当前的似然值，ln(·)表示取自然对数操作；
第4步，判断当前的似然值是否满足收敛条件|L-L′|/L＜10-6，若是，则执行第5步，否则，执行第1步，其中，L′表示前一次迭代的似然值；
第5步，停止迭代，得到高斯混合模型。
6.根据权利要求1所述的基于主动采样和高斯混合模型的图像超分辨率重建方法，其特征在于：步骤(5c)中所述从低分辨率测试图像块中筛选有效低分辨率测试图像块是指，使用步骤(2a)中所述主动采样方法中计算细节差异值的公式，计算每一个低分辨率测试图像块的细节差异值，从所有低分辨率测试图像块中提取出所有细节差异值大于差异阈值的低分辨率测试图像块，组成有效低分辨率测试图像块。
7.根据权利要求1所述的基于主动采样和高斯混合模型的图像超分辨率重建方法，其特征在于：步骤(6a)中所述基于联合条件高斯分布的重建方法的步骤如下：
第1步：按照下式，计算每一个低分辨率测试特征向量与每个高斯混合模型之间的吸引度：
其中，γ′mp表示第m个低分辨率测试特征向量与第p个高斯混合模型子空间之间的吸引度，p＝1,2,...,500，m＝1,2,...,R，ωp表示高斯混合模型中第p个子空间的权值，ym表示第m个低分辨率测试特征向量，μp表示高斯混合模型中第p个子空间的均值，Cp表示高斯混合模型中第p个子空间的协方差矩阵，R表示低分辨率测试特征向量的总数；
第2步，对吸引度进行降序排序，对于每个低分辨率测试特征向量，选取相应的最大吸引度所对应的高斯混合模型作为最佳匹配模型；
第3步，按照下式，划分最佳匹配模型的均值、协方差：
<mrow>
<msub>
<mi>&mu;</mi>
<mi>b</mi>
</msub>
<mo>=</mo>
<mo>&lsqb;</mo>
<mtable>
<mtr>
<mtd>
<msubsup>
<mi>&mu;</mi>
<mi>b</mi>
<mi>h</mi>
</msubsup>
</mtd>
<mtd>
<msubsup>
<mi>&mu;</mi>
<mi>b</mi>
<mi>l</mi>
</msubsup>
</mtd>
</mtr>
</mtable>
<mo>&rsqb;</mo>
</mrow>
<mrow>
<msub>
<mi>C</mi>
<mi>b</mi>
</msub>
<mo>=</mo>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<msubsup>
<mi>C</mi>
<mi>b</mi>
<mrow>
<mi>h</mi>
<mi>h</mi>
</mrow>
</msubsup>
</mtd>
<mtd>
<msubsup>
<mi>C</mi>
<mi>b</mi>
<mrow>
<mi>h</mi>
<mi>l</mi>
</mrow>
</msubsup>
</mtd>
</mtr>
<mtr>
<mtd>
<msubsup>
<mi>C</mi>
<mi>b</mi>
<mrow>
<mi>l</mi>
<mi>h</mi>
</mrow>
</msubsup>
</mtd>
<mtd>
<msubsup>
<mi>C</mi>
<mi>b</mi>
<mrow>
<mi>l</mi>
<mi>l</mi>
</mrow>
</msubsup>
</mtd>
</mtr>
</mtable>
</mfenced>
</mrow>
其中，μb、Cb分别表示第b个低分辨率特征向量对应的最佳匹配模型的均值、协方差矩阵，表示第b个低分辨率特征向量对应的最佳匹配模型的均值的前81维，表示第b个低分辨率特征向量对应的最佳匹配模型的均值的后30维，表示第b个低分辨率特征向量对应的最佳匹配模型的协方差矩阵左上位置的81×81大小的矩阵，表示第b个低分辨率特征向量对应的最佳匹配模型的协方差矩阵右上位置的81×30大小的矩阵，表示第b个低分辨率特征向量对应的最佳匹配模型的协方差矩阵左下位置的30×81大小的矩阵，表示第b个低分辨率特征向量对应的最佳匹配模型的协方差矩阵右下位置的9×9大小的矩阵；
第4步，按照下式，计算每一个高分辨率测试特征向量：
<mrow>
<msub>
<mi>z</mi>
<mi>m</mi>
</msub>
<mo>=</mo>
<msubsup>
<mi>&mu;</mi>
<mi>b</mi>
<mi>h</mi>
</msubsup>
<mo>+</mo>
<msubsup>
<mi>C</mi>
<mi>b</mi>
<mrow>
<mi>h</mi>
<mi>l</mi>
</mrow>
</msubsup>
<msup>
<mrow>
<mo>(</mo>
<msubsup>
<mi>C</mi>
<mi>b</mi>
<mrow>
<mi>l</mi>
<mi>l</mi>
</mrow>
</msubsup>
<mo>)</mo>
</mrow>
<mrow>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msup>
<mrow>
<mo>(</mo>
<msub>
<mi>y</mi>
<mi>m</mi>
</msub>
<mo>-</mo>
<msubsup>
<mi>&mu;</mi>
<mi>b</mi>
<mi>l</mi>
</msubsup>
<mo>)</mo>
</mrow>
</mrow>
其中，zm表示与第m个高分辨率测试特征向量；
第5步，在高分辨率特征向量的基础上，加上相应的低分辨率测试图像块，得到高分辨率测试图像块。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710781808.1A CN107845064B (zh) | 2017-09-02 | 2017-09-02 | 基于主动采样和高斯混合模型的图像超分辨重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710781808.1A CN107845064B (zh) | 2017-09-02 | 2017-09-02 | 基于主动采样和高斯混合模型的图像超分辨重建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107845064A true CN107845064A (zh) | 2018-03-27 |
| CN107845064B CN107845064B (zh) | 2020-04-14 |
Family
ID=61683031
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710781808.1A Active CN107845064B (zh) | 2017-09-02 | 2017-09-02 | 基于主动采样和高斯混合模型的图像超分辨重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107845064B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110659665A (zh) * | 2019-08-02 | 2020-01-07 | 深圳力维智联技术有限公司 | 一种异维特征的模型构建方法及图像识别方法、装置 |
| CN110751643A (zh) * | 2019-10-21 | 2020-02-04 | 睿视智觉（厦门）科技有限公司 | 一种水质异常检测方法、装置及设备 |
| CN111709344A (zh) * | 2020-06-09 | 2020-09-25 | 上海海事大学 | 一种基于高斯混合模型的epll图像去光照识别处理方法 |
| CN112132108A (zh) * | 2020-10-09 | 2020-12-25 | 安徽江淮汽车集团股份有限公司 | 地面点云数据的提取方法、装置、设备及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8086549B2 (en) * | 2007-11-09 | 2011-12-27 | Microsoft Corporation | Multi-label active learning |
| CN102722865A (zh) * | 2012-05-22 | 2012-10-10 | 北京工业大学 | 一种超分辨率稀疏重建方法 |
| CN103854268A (zh) * | 2014-03-26 | 2014-06-11 | 西安电子科技大学 | 基于多核高斯过程回归的图像超分辨重建方法 |
| US9256958B2 (en) * | 2013-12-17 | 2016-02-09 | Snu R&Db Foundation | Active attentional sampling method for accelerating background subtraction |
| CN105405106A (zh) * | 2015-10-22 | 2016-03-16 | 华南农业大学 | 一种单图像超分辨率重建的方法 |
| CN105447840A (zh) * | 2015-12-09 | 2016-03-30 | 西安电子科技大学 | 基于主动采样与高斯过程回归的图像超分辨方法 |
-
2017
- 2017-09-02 CN CN201710781808.1A patent/CN107845064B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8086549B2 (en) * | 2007-11-09 | 2011-12-27 | Microsoft Corporation | Multi-label active learning |
| CN102722865A (zh) * | 2012-05-22 | 2012-10-10 | 北京工业大学 | 一种超分辨率稀疏重建方法 |
| US9256958B2 (en) * | 2013-12-17 | 2016-02-09 | Snu R&Db Foundation | Active attentional sampling method for accelerating background subtraction |
| CN103854268A (zh) * | 2014-03-26 | 2014-06-11 | 西安电子科技大学 | 基于多核高斯过程回归的图像超分辨重建方法 |
| CN105405106A (zh) * | 2015-10-22 | 2016-03-16 | 华南农业大学 | 一种单图像超分辨率重建的方法 |
| CN105447840A (zh) * | 2015-12-09 | 2016-03-30 | 西安电子科技大学 | 基于主动采样与高斯过程回归的图像超分辨方法 |
Non-Patent Citations (2)
| Title |
|---|
| 周颖等: "《基于结构组稀疏表示的红外云图超分辨率方法》", 《光电工程》 * |
| 路文等: "《一种利用像素局部相关性的图像质量评价方法》", 《西安电子科技大学学报》 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110659665A (zh) * | 2019-08-02 | 2020-01-07 | 深圳力维智联技术有限公司 | 一种异维特征的模型构建方法及图像识别方法、装置 |
| CN110659665B (zh) * | 2019-08-02 | 2023-09-29 | 深圳力维智联技术有限公司 | 一种异维特征的模型构建方法及图像识别方法、装置 |
| CN110751643A (zh) * | 2019-10-21 | 2020-02-04 | 睿视智觉（厦门）科技有限公司 | 一种水质异常检测方法、装置及设备 |
| CN111709344A (zh) * | 2020-06-09 | 2020-09-25 | 上海海事大学 | 一种基于高斯混合模型的epll图像去光照识别处理方法 |
| CN111709344B (zh) * | 2020-06-09 | 2023-10-17 | 上海海事大学 | 一种基于高斯混合模型的epll图像去光照识别处理方法 |
| CN112132108A (zh) * | 2020-10-09 | 2020-12-25 | 安徽江淮汽车集团股份有限公司 | 地面点云数据的提取方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107845064B (zh) | 2020-04-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110119780B (zh) | 基于生成对抗网络的高光谱图像超分辨重建方法 | |
| CN108537743B (zh) | 一种基于生成对抗网络的面部图像增强方法 | |
| US11537873B2 (en) | Processing method and system for convolutional neural network, and storage medium | |
| CN109671023A (zh) | 一种人脸图像超分辨率二次重建方法 | |
| CN103871041B (zh) | 基于认知正则化参数构建的图像超分辨率重构方法 | |
| CN102142137B (zh) | 基于高分辨率字典的稀疏表征图像超分辨重建方法 | |
| CN108648197B (zh) | 一种基于图像背景掩膜的目标候选区域提取方法 | |
| CN105046672B (zh) | 一种图像超分辨率重建方法 | |
| CN110473142B (zh) | 基于深度学习的单幅图像超分辨率重建方法 | |
| CN107845064A (zh) | 基于主动采样和高斯混合模型的图像超分辨重建方法 | |
| CN107977932A (zh) | 一种基于可鉴别属性约束生成对抗网络的人脸图像超分辨率重建方法 | |
| CN108830813A (zh) | 一种基于知识蒸馏的图像超分辨率增强方法 | |
| CN105243670B (zh) | 一种稀疏和低秩联合表达的视频前景对象精准提取方法 | |
| CN112001847A (zh) | 相对生成对抗超分辨率重建模型生成高质量图像的方法 | |
| CN102968766B (zh) | 基于字典数据库的自适应图像超分辨率重构方法 | |
| CN110211038A (zh) | 基于dirac残差深度神经网络的超分辨率重建方法 | |
| CN105513033B (zh) | 一种非局部联合稀疏表示的超分辨率重建方法 | |
| CN106157244A (zh) | 一种基于稀疏表示的QR Code图像超分辨重建方法 | |
| CN106920214A (zh) | 空间目标图像超分辨率重建方法 | |
| CN104021523B (zh) | 一种基于边缘分类的图像超分辨率放大的方法 | |
| Yang et al. | Image super-resolution based on deep neural network of multiple attention mechanism | |
| CN111882516B (zh) | 一种基于视觉显著性和深度神经网络的图像质量评价方法 | |
| CN110533591A (zh) | 基于编解码器结构的超分辨图像重建方法 | |
| CN109949200A (zh) | 基于滤波器子集选择和cnn的隐写分析框架构建方法 | |
| CN109146785A (zh) | 一种基于改进稀疏自动编码器的图像超分辨率方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |