CN107622476B - 基于概率生成模型的图像超分辨处理方法 - Google Patents

基于概率生成模型的图像超分辨处理方法 Download PDF

Info

Publication number
CN107622476B
CN107622476B CN201710739811.7A CN201710739811A CN107622476B CN 107622476 B CN107622476 B CN 107622476B CN 201710739811 A CN201710739811 A CN 201710739811A CN 107622476 B CN107622476 B CN 107622476B
Authority
CN
China
Prior art keywords
resolution
image
pricture
probabilistic model
low resolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710739811.7A
Other languages
English (en)
Other versions
CN107622476A (zh
Inventor
陈渤
李婉萍
张昊
王正珏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Electronic Science and Technology
Original Assignee
Xian University of Electronic Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Electronic Science and Technology filed Critical Xian University of Electronic Science and Technology
Priority to CN201710739811.7A priority Critical patent/CN107622476B/zh
Publication of CN107622476A publication Critical patent/CN107622476A/zh
Application granted granted Critical
Publication of CN107622476B publication Critical patent/CN107622476B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

本发明公开了一种基于概率生成模型的图像超分辨处理方法，其实现步骤为：(1)输入图像；(2)获取训练样本；(3)获取测试样本；(4)训练概率生成模型；(5)测试概率生成模型。本发明生成的高分辨图像分辨率高于一般方法，包含更多的信息，并且利用了概率生成模型的先验信息与隐变量隐含的信息，同时提高了图像超分辨的速度，是一种高效的图像超分辨处理方法。

Description

基于概率生成模型的图像超分辨处理方法
技术领域
本发明属于图像处理技术领域，更进一步涉及图像超分辨处理技术领域的一种基于概率生成模型的图像超分辨处理方法。本发明可用于先利用低分辨图像块生成对应的高分辨图像块，然后生成原低分辨图像对应的高分辨图像，进而再生成原低分辨图像对应的高分辨图像。
背景技术
超分辨光学图像可以克服低分辨光学图像的限制，并且在诸如医疗诊断、遥感、计算机视觉和监视等许多应用中显示出良好的结果。要获得高分辨率的光学图像，最直接的办法是采用高分辨率图像传感器，但由于传感器和光学器件制造工艺和成本的限制，在很多场合和大规模部署中很难实现。因此，利用现有的设备，通过超分辨率技术获取高分辨图像具有重要的现实意义。为了打破成像系统固有分辨率的限制，从算法角度提高光学图像分辨率的技术就应运而生。现有的图像超分辨算法主要有这几种：基于传统插值理论的方法、基于模型/重建的方法和基于机器学习的方法。
K.Zeng,J.Yu,R.Wang,C.Li,D.Tao等人在其发表的论文“Coupled deepautoencoder for single image super-resolution.”(IEEE Transactions onCybernetics,2015，pages 1–11.)中公开了一种基于深度学习网络的单幅光学图像超分辨处理方法。该方法使用耦合深度自编码模型来学习高分辨/低分辨图像块对的内在表示，同时得到低分辨图像块到高分辨图像块的映射，最后融合高分辨图像块，并生成原低分辨图像对应的高分辨图像。该方法在重构中表现出了比较好的性能，且在前向网络测试时有较快的速度。但是，仍然存在的不足之处是：该方法并没有考虑到使用模型的先验信息，也没有考虑模型中隐变量隐含的不确定因素，使得该方法无法利用原图像中包含的所有信息，只用了部分信息来生成对应的高分辨图像。
清华大学深圳研究生院在其申请的专利文献“一种图像超分辨方法”(专利申请专利号：201510338958.6，公开号：CN10499240A)中提出了一种基于聚类和协同表示的图像超分辨方法。该方法在组织聚类中心近邻时，又对搜索空间聚类，利用了数据的局部几何特性，从而更准确地恢复高分辨率图像的高频信息，得到更高质量的高分辨率图像。该方法能够在聚类时不仅能够确定聚类中心，而且可以得到各个聚类中心的统计特性，为进一步加快超分辨速度提供可能。但是，仍然存在的不足之处是：该方法只是利用了一个浅层的概率模型，只利用了低分辨图像表面的信息，没有考虑到高分辨/低分辨图像块对中隐含的信息，其中涉及的方法无法生成更多的信息来完善图像的分辨率，限制了最后得到的高分辨图像的分辨率。
发明内容
本发明的目的在于克服上述现有技术的缺陷，提出了一种基于概率生成模型的图像超分辨处理方法，充分利用模型中的先验信息，提高最终得到的高分辨图像的分辨率的同时提高图像超分辨的速度。
实现本发明上述目的的思路是：对所有输入的高分辨图像做下采样处理后，用双三次插值法，获得与高分辨图像尺寸大小一样的低分辨图像；训练概率生成模型，将对应的高分辨/低分辨图像块对作为训练样本，利用批量随机梯度下降法对概率生成模型的参数进行迭代更新；测试概率生成模型时，用训练概率生成模型时得到的参数，生成高分辨图像块后，排列高分辨图像块得到重构的高分辨图像；对高分辨图像微调，得到最终的高分辨图像。
为实现上述目的，本发明基于概率生成模型的图像超分辨处理方法，步骤如下：
(1)输入图像：
(1a)将多幅高分辨光学图像输入到训练集中；
(1b)将与训练集中不同的多幅高分辨光学图像输入到测试集中；
(2)获取训练样本：
(2a)对训练集中的每一幅高分辨光学图像，经下采样处理后用双三次插值法，获得与高分辨图像尺寸大小一样的低分辨图像；
(2b)分别从高分辨图像与低分辨图像的相同位置处，提取同样大小的图像块，组成高分辨-低分辨图像块对；
(2c)去除高分辨-低分辨图像块对中平滑的图像块对后，再去除高分辨-低分辨图像块对中相似的图像块对，得到高分辨-低分辨图像块对的训练样本；
(3)获取测试样本：
(3a)对测试集中的每一幅高分辨光学图像，经下采样处理后用双三次插值法，获得与高分辨图像尺寸大小一样的低分辨图像；
(3b)从低分辨图像中提取低分辨图像块，图像块大小与高分辨-低分辨图像块对训练样本中的图像块的大小相同，作为低分辨图像块的测试样本；
(4)训练概率生成模型：
(4a)从零均值、方差为0.01的高斯分布中随机采样，采样数和维度与概率生成模型中所有参数数目和维度相同，将随机采样的数组作为概率生成模型的初始化参数；
(4b)将训练样本输入概率生成模型的推理子模型中，使多层感知机的先验分布函数为标准高斯函数；
(4c)利用最大化变分下界公式，得到近似于真实后验分布函数的变分分布函数；
(4d)利用批量随机梯度下降方法，将概率生成模型的所有参数迭代更新8000次后，得到更新后的概率生成模型；
(5)测试概率生成模型：
(5a)将测试样本输入概率生成模型中，使用更新后的概率生成模型，得到生成的高分辨图像块；
(5b)按照从低分辨图像中提取低分辨图像块的位置，排列概率生成模型生成的高分辨图像块，对生成的高分辨图像块之间的重叠部分的像素值求平均值，得到重构高分辨图像；
(5c)对重构高分辨图像进行优化处理，得到最终的高分辨图像。
本发明与现有的技术相比具有以下优点：
第一，由于本发明利用概率生成模型中的多层感知机学习模型的参数，使用了模型的先验信息，与隐变量包含的深层信息，克服了现有技术中由于没有考虑到使用模型的先验信息，也没有考虑模型中隐变量隐含的不确定因素，导致无法利用原图像中包含的所有信息，只用了部分信息来生成对应的高分辨图像的不足，使得本发明生成的高分辨图像的包含的信息更多。
第二，由于本发明利用具有深层网络的概率生成模型，可以使用低分辨图像深层的信息以及高分辨/低分辨图像块对中隐含的信息处理高分辨图像，克服了现有技术存在的由于使用浅层的概率模型，只能利用了低分辨图像表面的信息，没有考虑到高分辨/低分辨图像块对中隐含的信息，导致无法生成更多的信息来完善图像的分辨率，限制了最后得到的高分辨图像的分辨率的不足，使得本发明提高了生成的高分辨图像的分辨率。
附图说明
图1是本发明的流程图；
图2是本发明实施例中高分辨图像；
图3是采用本发明处理高分辨图像后得到的低分辨图像；
图4是采用本发明得到的最终的高分辨图像。
具体实施方式
下面结合附图对本发明做进一步的描述。
参照图1，本发明的具体实施步骤如下。
步骤1.输入图像。
将多幅高分辨光学图像输入到训练集中。
将与训练集中不同的多幅高分辨光学图像输入到测试集中。
步骤2.获取训练样本。
对训练集中的每一幅高分辨光学图像，经下采样处理后用双三次插值法，获得与高分辨图像尺寸大小一样的低分辨图像。
所述的下采样处理是指，采用缩放因子2、3、4分别对高分辨光学图像进行下采样，得到大小为8×8像素，10×10像素，和12×12像素的低分辨图像。
分别从高分辨图像与低分辨图像的相同位置处，提取同样大小的图像块，组成高分辨-低分辨图像块对。
去除高分辨-低分辨图像块对中平滑的图像块对后，再去除高分辨-低分辨图像块对中相似的图像块对，得到高分辨-低分辨图像块对的训练样本。
步骤3.获取测试样本。
对测试集中的每一幅高分辨光学图像，经下采样处理后用双三次插值法，获得与高分辨图像尺寸大小一样的低分辨图像。
从低分辨图像中提取低分辨图像块，图像块大小与高分辨-低分辨图像块对训练样本中的图像块的大小相同，作为低分辨图像块的测试样本。
步骤4.训练概率生成模型。
从零均值、方差为0.01的高斯分布中随机采样，采样数和维度与概率生成模型中所有参数数目和维度相同，将随机采样的数组作为概率生成模型的初始化参数。
所述概率生成模型包含推理子模型、低分辨图像生成子模型、高分辨图像生成子模型三个子模型，每个子模型包含一个多层感知机，每个多层感知机包含两个隐层，每个隐层分别有400个节点，隐变量的维度为200。
将训练样本输入概率生成模型的推理子模型中，使多层感知机的先验分布函数为标准高斯函数。
利用最大化变分下界公式，得到近似于真实后验分布函数的变分分布函数。
所述最大化变分下界公式如下：
其中，ln(·)表示以e为底的对数操作，表示由低分辨图像生成子模型参数θ1与高分辨图像生成子模型参数θ2的分布概率，Xl表示低分辨图像的像素值，Xh表示高分辨图像的像素值，表示变分下界函数符号，φ表示推理子模型的参数。
利用批量随机梯度下降方法，将概率生成模型的所有参数迭代更新8000次后，得到更新后的概率生成模型。
步骤5.测试概率生成模型。
将测试样本输入概率生成模型中，使用更新后的概率生成模型，得到生成的高分辨图像块。
按照从低分辨图像中提取低分辨图像块的位置，排列概率生成模型生成的高分辨图像块，对生成的高分辨图像块之间的重叠部分的像素值求平均值，得到重构高分辨图像。
对重构高分辨图像进行优化处理，得到最终的高分辨图像。
所述优化处理是指利用下式进行的操作所述使用下采样处理与高斯平滑滤波处理是指利用下式进行的操作：
其中，表示最终的高分辨图像的像素值，表示使函数取最小值时Yh的值，其中Yh表示测试集中的高分辨图像的像素值，||·||表示范数操作，S表示下采样操作，H表示高斯平滑滤波操作，其中高斯平滑滤波操作是根据高斯函数的形状选择滤波权值的线性平滑滤波操作，Yl表示测试集中的高分辨图像相应的低分辨图像，表示二范数的二次方操作，c表示常数0.1，Yh′表示重构的高分辨图像。
本发明的效果可通过以下仿真进一步说明。
1.仿真条件：
本发明的仿真试验是在主频3.2GHz的Intel(R)Core(TM)i5-6500CPU、内存8GB的硬件环境和基于Python2.5的软件环境下进行的。
2.仿真内容：
本发明仿真是对例如图2的高分辨图像进行仿真实验，图2来源于公开的Set5图像集。本发明仿真所用的训练集为公开的具有91幅高分辨图像的图像集，所用测试集来自于Set5图像集、Set14图像集、NI图像集，共39幅高分辨图像。
本发明仿真内容为：采用本发明的方法处理训练集与测试集的高分辨图像，得到如图3的低分辨图像作为样本，用训练样本训练概率生成模型，用测试样本测试概率生成模型后，得到如图4的最终的高分辨图像。
3.仿真效果分析：
用本发明的方法、现有ScSR和BPFASR的方法对测试集Set5的图像作为测试数据进行图像超分辨实验，采用信噪比峰值PSNR，结构相似率SSIM和测试时间来作为比较标准，当PSNR值与SSIM值越高，图像超分辨的结果越好，测试时间越短，图像超分辨的速度越快。
其中，ScSR是一种基于稀疏表示的图像超分辨方法，BPFASR是一种利用Beta-因子分析模型的图像超分辨方法，结果如表1。
表1.ScSR、BPFASR、本发明方法在仿真中得到的PSNR、SSIM、测试时间
方法 PSNR(dB) SSIM(％) 测试时间(秒)
ScSR 29.51 83.83 65
BPFASR 29.24 82.41 327
本发明 30.28 85.95 4.05
表1为ScSR、BPFASR、本发明方法在仿真中得到的PSNR和SSIM的统计结果，以上结果表示：与现有的ScSR和BPFASR图像超分辨方法相比，本发明得到的信噪比峰值PSNR和结构相似率SSIM更高，所用测试时间最少，表示本发明提出的这种基于概率生成模型的图像超分辨方法，改进了上述两种方法的不足，能提高图像超分辨的精度，并提高图像超分辨的速度。

Claims (5)

1.一种基于概率生成模型的图像超分辨处理方法，包括如下步骤：
(1)输入图像：
(1a)将多幅高分辨光学图像输入到训练集中；
(1b)将与训练集中不同的多幅高分辨光学图像输入到测试集中；
(2)获取训练样本：
(2a)对训练集中的每一幅高分辨光学图像，经下采样处理后用双三次插值法，获得与高分辨图像尺寸大小一样的低分辨图像；
(2b)分别从高分辨图像与低分辨图像的相同位置处，提取同样大小的图像块，组成高分辨-低分辨图像块对；
(2c)去除高分辨-低分辨图像块对中平滑的图像块对后，再去除高分辨-低分辨图像块对中相似的图像块对，得到高分辨-低分辨图像块对的训练样本；
(3)获取测试样本：
(3a)对测试集中的每一幅高分辨光学图像，经下采样处理后用双三次插值法，获得与高分辨图像尺寸大小一样的低分辨图像；
(3b)从低分辨图像中提取低分辨图像块，图像块大小与高分辨-低分辨图像块对训练样本中的图像块的大小相同，作为低分辨图像块的测试样本；
(4)训练概率生成模型：
(4a)从零均值、方差为0.01的高斯分布中随机采样，采样数和维度与概率生成模型中所有参数数目和维度相同，将随机采样的数组作为概率生成模型的初始化参数；
(4b)将训练样本输入概率生成模型的推理子模型中，使多层感知机的先验分布函数为标准高斯函数；
(4c)利用最大化变分下界公式，得到近似于真实后验分布函数的变分分布函数；
(4d)利用批量随机梯度下降方法，将概率生成模型的所有参数迭代更新8000次后，得到更新后的概率生成模型；
(5)测试概率生成模型：
(5a)将测试样本输入概率生成模型中，使用更新后的概率生成模型，得到生成的高分辨图像块；
(5b)按照从低分辨图像中提取低分辨图像块的位置，排列概率生成模型生成的高分辨图像块，对生成的高分辨图像块之间的重叠部分的像素值求平均值，得到重构高分辨图像；
(5c)对重构高分辨图像进行优化处理，得到最终的高分辨图像。
2.根据权利要求1所述的基于概率生成模型的图像超分辨处理方法，其特征在于，步骤(2a)、步骤(3a)中所述的下采样处理是指，采用缩放因子2、3、4分别对高分辨光学图像进行下采样，得到与缩放因子对应的大小为8×8像素，10×10像素，和12×12像素的低分辨图像。
3.根据权利要求1所述的基于概率生成模型的图像超分辨处理方法，其特征在于，步骤(4a)中所述概率生成模型包含推理子模型、低分辨图像生成子模型、高分辨图像生成子模型三个子模型，每个子模型由两个多层感知机组成，每个多层感知机包含两个隐层，每个隐层分别有400个节点，隐变量的维度为200。
4.根据权利要求3所述的基于概率生成模型的图像超分辨处理方法，其特征在于，步骤(4c)中所述最大化变分下界公式如下：
其中，ln(·)表示以e为底的对数操作，表示由低分辨图像生成子模型参数θ1与高分辨图像生成子模型参数θ2的分布概率，Xl表示低分辨图像的像素值，Xh表示高分辨图像的像素值，表示变分下界函数，φ表示推理子模型的参数。
5.根据权利要求1所述的基于概率生成模型的图像超分辨处理方法，其特征在于，步骤(5c)中所述对重构高分辨图像进行优化处理是指利用下式进行的操作：
其中，表示最终的高分辨图像的像素值，表示使函数取最小值时Yh的值，其中Yh表示测试集中的高分辨图像的像素值，||·||表示范数操作，S表示下采样操作，H表示高斯平滑滤波操作，其中高斯平滑滤波操作是根据高斯函数的形状选择滤波权值的线性平滑滤波操作，Yl表示测试集中的高分辨图像相应的低分辨图像，表示二范数的二次方操作，c表示常数0.1，Yh′表示重构的高分辨图像。
CN201710739811.7A 2017-08-25 2017-08-25 基于概率生成模型的图像超分辨处理方法 Active CN107622476B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710739811.7A CN107622476B (zh) 2017-08-25 2017-08-25 基于概率生成模型的图像超分辨处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710739811.7A CN107622476B (zh) 2017-08-25 2017-08-25 基于概率生成模型的图像超分辨处理方法

Publications (2)

Publication Number Publication Date
CN107622476A CN107622476A (zh) 2018-01-23
CN107622476B true CN107622476B (zh) 2019-10-11

Family

ID=61088967

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710739811.7A Active CN107622476B (zh) 2017-08-25 2017-08-25 基于概率生成模型的图像超分辨处理方法

Country Status (1)

Country Link
CN (1) CN107622476B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109285119A (zh) * 2018-10-23 2019-01-29 百度在线网络技术（北京）有限公司 超分辨图像生成方法及装置
CN109615577B (zh) * 2018-10-26 2023-01-06 西安电子科技大学 基于卷积网络的高光谱图像超分辨处理方法
CN109584194B (zh) * 2018-10-26 2023-04-07 西安电子科技大学 基于卷积变分概率模型的高光谱图像融合方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102142137A (zh) * 2011-03-10 2011-08-03 西安电子科技大学 基于高分辨率字典的稀疏表征图像超分辨重建方法
CN103150713A (zh) * 2013-01-29 2013-06-12 南京理工大学 利用图像块分类稀疏表示与自适应聚合的图像超分辨方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9569684B2 (en) * 2013-09-09 2017-02-14 Adobe Systems Incorporated Image enhancement using self-examples and external examples

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102142137A (zh) * 2011-03-10 2011-08-03 西安电子科技大学 基于高分辨率字典的稀疏表征图像超分辨重建方法
CN103150713A (zh) * 2013-01-29 2013-06-12 南京理工大学 利用图像块分类稀疏表示与自适应聚合的图像超分辨方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于深度学习的图像超分辨算法研究;韩小虎;《中国优秀硕士学位论文全文数据库信息科技辑》;20170315;I138-4512 *

Also Published As

Publication number Publication date
CN107622476A (zh) 2018-01-23

Similar Documents

Publication Publication Date Title
CN107610194B (zh) 基于多尺度融合cnn的磁共振图像超分辨率重建方法
CN109191382B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN106796716B (zh) 用于为低分辨率图像提供超分辨率的设备和方法
CN102156875B (zh) 基于多任务ksvd字典学习的图像超分辨率重构方法
CN110415199B (zh) 基于残差学习的多光谱遥感图像融合方法及装置
CN109146831A (zh) 基于双支深度学习网络的遥感图像融合方法及系统
CN108510535A (zh) 一种基于深度预测和增强子网络的高质量深度估计方法
CN107464217B (zh) 一种图像处理方法及装置
CN105657402A (zh) 一种深度图恢复方法
CN101950365A (zh) 基于ksvd字典学习的多任务超分辨率图像重构方法
CN107622476B (zh) 基于概率生成模型的图像超分辨处理方法
CN110910437B (zh) 一种复杂室内场景的深度预测方法
CN109325513B (zh) 一种基于海量单类单幅图像的图像分类网络训练方法
Guo et al. Multiscale semilocal interpolation with antialiasing
CN113762147B (zh) 人脸表情迁移方法、装置、电子设备及存储介质
CN111626927A (zh) 采用视差约束的双目图像超分辨率方法、系统及装置
CN114241422A (zh) 一种基于ESRGAN和改进YOLOv5s的学生课堂行为检测方法
CN109859131A (zh) 一种基于多尺度自相似性与共形约束的图像复原方法
CN109978888A (zh) 一种图像分割方法、装置及计算机可读存储介质
CN109615577A (zh) 基于卷积网络的高光谱图像超分辨处理方法
CN115661459A (zh) 一种使用差异信息的2D mean teacher模型
CN103839233B (zh) 一种相机抖动造成的模糊图像复原方法
CN117115359B (zh) 一种基于深度图融合的多视图电网三维空间数据重建方法
Deng et al. Multiple frame splicing and degradation learning for hyperspectral imagery super-resolution
CN109584194A (zh) 基于卷积变分概率模型的高光谱图像融合方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant