CN106530231B - 一种基于深层协作表达的超分辨率图像的重建方法及系统 - Google Patents

一种基于深层协作表达的超分辨率图像的重建方法及系统 Download PDF

Info

Publication number
CN106530231B
CN106530231B CN201610985891.XA CN201610985891A CN106530231B CN 106530231 B CN106530231 B CN 106530231B CN 201610985891 A CN201610985891 A CN 201610985891A CN 106530231 B CN106530231 B CN 106530231B
Authority
CN
China
Prior art keywords
image
resolution
training set
low
resolution image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610985891.XA
Other languages
English (en)
Other versions
CN106530231A (zh
Inventor
卢涛
潘兰兰
管英杰
汪浩
曾康利
汪家明
陈希彤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Institute of Technology
Original Assignee
Wuhan Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Institute of Technology filed Critical Wuhan Institute of Technology
Priority to CN201610985891.XA priority Critical patent/CN106530231B/zh
Publication of CN106530231A publication Critical patent/CN106530231A/zh
Application granted granted Critical
Publication of CN106530231B publication Critical patent/CN106530231B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于深层协作表达的超分辨率图像的重建方法及系统。其中，该方法包括：重建过程；重建过程包括：对初始图像、低分辨率图像训练集中的图像和高分辨率图像训练集中的图像在像素域中划分图像块；计算由低分辨率图像训练集划分的图像块训练集对由初始图像划分的图像块进行重建时的最优权值系数；将由初始图像划分的图像块替换为由高分辨率图像训练集划分的图像块，用最优权值系数合成高分辨率图像块；将高分辨率图像块融合，获得高分辨率图像；将获得的高分辨率图像作为新的初始图像，进行至少一次重建过程，得到最终的高分辨率图像，解决了重建精度低的技术问题，满足了实际的分辨率重建需求。

Description

一种基于深层协作表达的超分辨率图像的重建方法及系统
技术领域
本发明涉及图像处理技术领域，尤其涉及一种基于深层协作表达的超分辨率图像的重建方法及系统。
背景技术
人脸图像超分辨率技术(也叫幻觉脸技术)是一种由低分辨率的人脸图像产生高分辨率的人脸图像的图像超分辨率重建方法。人脸图像超分辨率技术可以应用在很多领域，如人脸识别、人脸视频图像传输、人脸图像恢复以及人脸图像表情分析等。例如，在视频监控中，由于摄像头的分辨率有限且与目标距离较远等原因，监测到的人脸图像较小，分辨率低。为了能更好地观察和识别分析，需要对它们进行超分辨率重建。
但是，基于人脸的特殊性，现有的方法的重建精度低，无法满足实际的分辨率重建需求。
发明内容
本发明通过提供一种基于深层协作表达的超分辨率图像的重建方法及系统，解决了现有技术中重建精度低的技术问题，实现了满足实际的分辨率重建需求的技术效果。
本发明提供了一种基于深层协作表达的超分辨率图像的重建方法，包括：重建过程；所述重建过程至少包括：
对初始图像、低分辨率图像训练集中的图像和高分辨率图像训练集中的图像在像素域中划分相互重叠的图像块；
计算由所述低分辨率图像训练集划分得到的图像块训练集对由所述初始图像划分得到的图像块进行线性重建时的最优权值系数；
将所述由所述初始图像划分得到的图像块替换为位置对应的由所述高分辨率图像训练集划分得到的图像块，并用所述最优权值系数加权合成高分辨率图像块；
将所述高分辨率图像块进行融合，获得高分辨率图像；
将所述获得的高分辨率图像作为新的初始图像，进行至少一次所述重建过程，得到最终的高分辨率图像。
进一步地，所述计算由所述低分辨率图像训练集划分得到的图像块训练集对由所述初始图像划分得到的图像块进行线性重建时的最优权值系数，具体包括：
通过公式
Figure GDA0002452653640000021
计算得到所述最优权值系数
Figure GDA0002452653640000022
其中，yi是由所述初始图像划分得到的图像块，Li是由所述低分辨率图像训练集划分得到的图像块训练集，ai是初始图像划分得到的图像块的重建系数组成的行向量，τ是平衡重建误差和局部约束的正则化参数，
Figure GDA0002452653640000023
是欧式平方距离，i是样本序号。
进一步地，在每进行一次所述重建过程之后，对所述低分辨率图像训练集和所述高分辨率图像训练集进行更新。
进一步地，所述对所述低分辨率图像训练集和所述高分辨率图像训练集进行更新，至少包括：
将所述低分辨率图像训练集中的图像通过插值得到高分辨率图像，并在特征域提取特征，将提取到的特征划分为相互重叠的特征块；
在特征域中，从所述低分辨率图像训练集中的图像中提取与所述高分辨率特征块相对应的低分辨率特征块；
在像素域中，分别找到与所述高分辨率特征块、所述低分辨率特征块对应的图像块，分别作为更新后的高分辨率图像块训练集和低分辨率图像块训练集。
进一步地，所述从所述低分辨率图像训练集中的图像中提取与所述高分辨率特征块相对应的低分辨率特征块，具体包括：
基于KNN算法中的欧式距离从所述低分辨率图像训练集中的图像中提取K个与所述高分辨率特征块相对应的低分辨率特征块；
所述在像素域中，分别找到与所述高分辨率特征块、所述低分辨率特征块对应的图像块，分别作为更新后的高分辨率图像块训练集和低分辨率图像块训练集，具体包括：
根据所述欧式距离在像素域中分别找到与所述高分辨率特征块、所述低分辨率特征块对应的K个图像块，分别作为所述更新后的高分辨率图像块训练集和低分辨率图像块训练集。
本发明提供的基于深层协作表达的超分辨率图像的重建系统，包括：重建模块，所述重建模块至少包括：
图像块划分单元，用于对初始图像、低分辨率图像训练集中的图像和高分辨率图像训练集中的图像在像素域中划分相互重叠的图像块；
计算单元，用于计算由所述低分辨率图像训练集划分得到的图像块训练集对由所述初始图像划分得到的图像块进行线性重建时的最优权值系数；
替换单元，用于将所述由所述初始图像划分得到的图像块替换为位置对应的由所述高分辨率图像训练集划分得到的图像块，并用所述最优权值系数加权合成高分辨率图像块；
融合单元，用于将所述高分辨率图像块进行融合，获得高分辨率图像；
重建执行单元，将所述获得的高分辨率图像作为新的初始图像，至少再执行一次所述重建模块，得到最终的高分辨率图像。
进一步地，所述计算单元，具体用于通过公式
Figure GDA0002452653640000031
计算得到所述最优权值系数
Figure GDA0002452653640000041
其中，yi是由所述初始图像划分得到的图像块，Li是由所述低分辨率图像训练集划分得到的图像块训练集，ai是初始图像划分得到的图像块的重建系数组成的行向量，τ是平衡重建误差和局部约束的正则化参数，
Figure GDA0002452653640000042
是欧式平方距离，i是样本序号。
进一步地，还至少包括：
更新模块，用于在每执行一次所述重建模块之后，对所述低分辨率图像训练集和所述高分辨率图像训练集进行更新。
进一步地，所述更新模块，至少包括：
特征块划分单元，用于在每执行一次所述重建模块之后，将所述低分辨率图像训练集中的图像通过插值得到高分辨率图像，并在特征域提取特征，将提取到的特征划分为相互重叠的特征块；
特征块提取单元，用于在特征域中，从所述低分辨率图像训练集中的图像中提取与所述高分辨率特征块相对应的低分辨率特征块；
更新执行单元，用于在像素域中，分别找到与所述高分辨率特征块、所述低分辨率特征块对应的图像块，分别作为更新后的高分辨率图像块训练集和低分辨率图像块训练集。
进一步地，所述特征块提取单元，具体用于在特征域中，基于KNN算法中的欧式距离从所述低分辨率图像训练集中的图像中提取K个与所述高分辨率特征块相对应的低分辨率特征块；
所述更新执行单元，具体用于根据所述欧式距离在像素域中分别找到与所述高分辨率特征块、所述低分辨率特征块对应的K个图像块，分别作为所述更新后的高分辨率图像块训练集和低分辨率图像块训练集。
本发明中提供的一个或多个技术方案，至少具有如下技术效果或优点：
通过多次重建，即对本发明中的图像块和最优权值系数进行多次更新，从而得到最终的高分辨率图像，解决了现有技术中重建精度低的技术问题，从而实现了满足实际的分辨率重建需求的技术效果。
附图说明
图1为本发明实施例提供的基于深层协作表达的超分辨率图像的重建方法的流程图；
图2为本发明实施例提供的基于深层协作表达的超分辨率图像的重建方法中进行人脸图像划分的示意图；
图3为本发明实施例提供的基于深层协作表达的超分辨率图像的重建方法中对低分辨率图像训练集和高分辨率图像训练集进行更新的流程图；
图4为通过本发明实施例提供的基于深层协作表达的超分辨率图像的重建方法得到的4层平均SSIM值和平均PSNR值的结果图；
图5为本发明实施例提供的基于深层协作表达的超分辨率图像的重建系统的模块图；
图6为本发明实施例提供的基于深层协作表达的超分辨率图像的重建系统中更新模块600的结构模块图。
具体实施方式
本发明实施例通过提供一种基于深层协作表达的超分辨率图像的重建方法及系统，解决了现有技术中重建精度低的技术问题，实现了满足实际的分辨率重建需求的技术效果。
本发明实施例中的技术方案为解决上述技术问题，总体思路如下：
通过多次重建，即对本发明实施例中的图像块和最优权值系数进行多次更新，从而得到最终的高分辨率图像，解决了现有技术中重建精度低的技术问题，从而实现了满足实际的分辨率重建需求的技术效果。
为了更好地理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。
参见图1，本发明实施例提供的基于深层协作表达的超分辨率图像的重建方法，包括：重建过程；重建过程至少包括：
步骤S110：对初始图像、低分辨率图像训练集中的图像和高分辨率图像训练集中的图像在像素域中划分相互重叠的图像块；
参见图2，对本步骤进行说明，按照从左到右、从上到下的顺序划分图像块。当划分图像块至图像边缘时，如果剩余尺寸比预先设置的图像块的尺寸小，则以原图像的边缘为基准进行回退划分。如当横向划分到图像右边边缘处时，向左回退并以右边边缘为基准进行分块；当纵向划分到图像底边边缘处时，向上回退并以底边边缘为基准进行分块。
步骤S120：计算由低分辨率图像训练集划分得到的图像块训练集对由初始图像划分得到的图像块进行线性重建时的最优权值系数；
对本步骤进行说明，通过公式
Figure GDA0002452653640000061
计算得到最优权值系数
Figure GDA0002452653640000062
其中，yi是由初始图像划分得到的图像块，Li是由低分辨率图像训练集划分得到的图像块训练集，ai是初始图像划分得到的图像块的重建系数组成的行向量，τ是平衡重建误差和局部约束的正则化参数，
Figure GDA0002452653640000063
是欧式平方距离，i是样本序号。
在本实施例中，τ取0.00003。
步骤S130：将由初始图像划分得到的图像块替换为位置对应的由高分辨率图像训练集划分得到的图像块，并用最优权值系数加权合成高分辨率图像块；
其中，用最优权值系数加权合成高分辨率图像块，具体包括：
采用公式
Figure GDA0002452653640000064
计算获得高分辨率图像块Pi；
其中，Hi为高辨率图像块训练集。
步骤S140：将高分辨率图像块进行融合，获得高分辨率图像；
步骤S150：将获得的高分辨率图像作为新的初始图像，进行至少一次所述重建过程，即至少进行一次步骤S110-步骤S140的过程，得到最终的高分辨率图像。
在本实施例中，在每进行一次重建过程之后，对低分辨率图像训练集和高分辨率图像训练集进行更新，从而提高了本发明实施例的重建精度。
具体地，参见图3，对低分辨率图像训练集和高分辨率图像训练集进行更新，至少包括：
步骤S310：将低分辨率图像训练集中的图像通过插值得到高分辨率图像，并在特征域提取特征，将提取到的特征划分为相互重叠的特征块；
步骤S320：在特征域中，从低分辨率图像训练集中的图像中提取与高分辨率特征块相对应的低分辨率特征块；
步骤S330：在像素域中，分别找到与高分辨率特征块、低分辨率特征块对应的图像块，分别作为更新后的高分辨率图像块训练集和低分辨率图像块训练集。
其中，步骤S320具体包括：
在特征域中，基于KNN算法中的欧式距离从低分辨率图像训练集中的图像中提取K个与高分辨率特征块相对应的低分辨率特征块；
在这种情况下，步骤S330具体包括：
根据欧式距离在像素域中分别找到与高分辨率特征块、低分辨率特征块对应的K个图像块，分别作为更新后的高分辨率图像块训练集和低分辨率图像块训练集。
测试实施例
实验数据：实验采用FEI人脸数据集作为实验数据，该数据包括正面的整齐的人脸图像。人脸数据集中包括400张图像，分别从200个目标人物得到，100位男性和100位女性。每一位目标人物有两张正面的图像，一张没有表情，一张面带微笑。数据集中的男性图像主要是从19岁到40岁的不同年龄段、发型和装饰品。所有的照片都被裁剪成大小为120×100像素的图像。选取其中的360张作为训练样本集(180个目标人物)，剩下的40张图像用来测试(20个目标人物)。因此，所有的测试图像都不在训练集中。低分辨率人脸图像(初始图像)是根据高分辨率人脸图像下采样4倍得到的，因此，与高分辨率人脸图像对应的低分辨率人脸图像的大小为30×25像素。本发明实施例中划分人脸图像块的尺寸分别为：高分辨率人脸图像被划分为12×12的图像块，交叠为4个像素；低分辨率人脸图像被划分为3×3的图像块，交叠为1个像素。
本发明实施例包括三个部分，即单层协作表达、字典学习和深层协作表达。
具体地，单层协作表达至少包括：
步骤1：对初始的低分辨率人脸图像、高低分辨率人脸图像训练集中的每一张人脸图像采用回退的方式在像素域中划分成M个相互重叠的图像块。其中，由初始的低分辨率人脸图像X划分成的图像块为yi，由高分辨率人脸图像训练集
Figure GDA0002452653640000081
划分成的图像块的集合为
Figure GDA0002452653640000082
由低分辨率人脸图像训练集
Figure GDA0002452653640000083
划分成的图像块的集合为
Figure GDA0002452653640000084
其中，N为样本的数量。
步骤2：对于图像块yi，按照公式
Figure GDA0002452653640000085
计算由低分辨率人脸图像训练集
Figure GDA0002452653640000086
中所有低分辨率人脸样本图像该位置上的图像块对它进行线性重建时的最优权值系数
Figure GDA0002452653640000087
步骤3：把所有低分辨率人脸样本图像的图像块替换为位置对应的高分辨率人脸样本图像的图像块，用步骤2所得最优权重系数
Figure GDA0002452653640000088
根据公式
Figure GDA0002452653640000089
加权合成高分辨率人脸图像块pi；
步骤4：将步骤3合成所得高分辨率人脸图像块pi按照在人脸上的位置融合，得到一张高分辨率人脸图像。
字典学习至少包括：
步骤5：将低分辨率人脸图像训练集
Figure GDA00024526536400000810
中的人脸图像插值到高分辨率人脸图像训练集
Figure GDA0002452653640000091
然后通过公式
Figure GDA0002452653640000092
在水平方向和垂直方向上的第一和第二阶梯度滤波器将所得的插值人脸图像进行特征提取。
其中，
Figure GDA0002452653640000093
是滤波后的图像。f1和f2分别是在水平和垂直方向的梯度的高通滤波器。f3和f4分别是在水平方向和垂直方向的高通滤波器。*表示的是卷积。获得的特征图像集为
Figure GDA0002452653640000094
将获得的特征图像划分为M个相互重叠的特征块
Figure GDA0002452653640000095
则所有特征图像块的集合为
Figure GDA0002452653640000096
将初始的低分辨率人脸图像X插值到高分辨人脸图像大小XB，并按照公式
Figure GDA0002452653640000097
(3)进行特征提取，获得4个特征
Figure GDA0002452653640000098
j＝1,2,3,4，然后将所得到的特征划分为M个相互重叠的特征块
Figure GDA0002452653640000099
步骤6：按照公式
Figure GDA00024526536400000910
计算KNN算法中的欧氏距离dist，再按照公式
Figure GDA00024526536400000911
在特征域中的低分辨率图像块字典中提取出K个最近距离的图像块。其中，xi B是将初始的低分辨率图像插值到高分辨图像，并进行特征提取，获得特征，然后将所得到的特征划分为相互重叠的特征块；gi L是将低分辨率图像训练集中的图像通过插值得到高分辨率图像，并在特征域提取特征，将提取到的特征划分为相互重叠的特征块；K是在特征域中，从低分辨率图像训练集中提取的图像块的个数；dist|K是距离dist中距离最小的K个图像块；Support(dist|K)是根据距离dist选出距离最小的K个图像块。
步骤7：根据在特征域获得的欧式距离找到在像素域中对应的K个图像块，从而得到新的高分辨率人脸图像块集合
Figure GDA00024526536400000912
和新的低分辨率人脸图像块集合
Figure GDA00024526536400000913
分别作为新的高分辨率人脸图像块训练样本集和新的低分辨率人脸图像块训练样本集。
步骤8：字典学习后，根据公式
Figure GDA00024526536400000914
得到新的最优权值系数
Figure GDA0002452653640000101
和根据公式
Figure GDA0002452653640000102
将所得的最优权值系数加权合成新的高分辨人脸图像块pk。
深层协作表达至少包括：
步骤9：将单层协作表达扩展成4层协作表达，通过不断更新每层的初始低分辨率的人脸样本图像和高低分辨率人脸样本图像训练字典来更新最优权值系数，并加权合成高分辨率人脸图像块，最后将获得的人脸图像块融合，得到一张高分辨率人脸图像。
而步骤9的具体方法包括：
将单层协作表达扩展成4层协作表达，不断更新低分辨率人脸样本训练集并根据公式(7)更新得到最优权值系数
Figure GDA0002452653640000103
为了得到每层的学习字典，从第一张低分辨率图像开始，使用剩下的N-1张低分辨率图像作为新字典进行更新
Figure GDA0002452653640000104
并替换掉原来的插值低分辨率图像。通过同样的方法，从高分辨率图像中获得相应的新的高分辨率人脸图像训练集
Figure GDA0002452653640000105
目标高分辨率人脸图像可以按照上述字典学习方法中的公式(3)、公式(4)、公式(5)和公式(6)将中间字典更新，然后按照上述的单层协同表达方法中的公式(1)在输入的低分辨率图像块
Figure GDA0002452653640000106
新的低分辨率人脸图像块训练集
Figure GDA0002452653640000107
下获得最优权值系数，再按照公式(2)和公式(6)在新的高分辨率人脸图像块训练集
Figure GDA0002452653640000108
下加权融合成高分辨率人脸图像块。
以下提供实验对比说明本发明实施例的有效性。
如图4所示，我们列出了4层模型下的40个人脸图像的PSNR和SSIM的平均值。我们可以看到，随着层数的增加，本发明实施例的增益变得更加的显著。40张测试图像的平均PSNR和SSIM值，在四层模型比单层模型的结果要更加显著。上述结果验证了本发明实施例的有效性。
Figure GDA0002452653640000111
从以上表格明显看出，与其他算法相比，本发明实施例在平均PSNR和SSIM值上高于其他算法，验证了本发明实施例的有效性。
参见图5，本发明实施例提供的基于深层协作表达的超分辨率图像的重建系统，包括：重建模块100，重建模块100至少包括：
图像块划分单元1100，用于对初始图像、低分辨率图像训练集中的图像和高分辨率图像训练集中的图像在像素域中划分相互重叠的图像块；
计算单元1200，用于计算由低分辨率图像训练集划分得到的图像块训练集对由初始图像划分得到的图像块进行线性重建时的最优权值系数；
在本实施例中，计算单元1200，具体用于通过公式
Figure GDA0002452653640000112
计算得到最优权值系数
Figure GDA0002452653640000113
其中，yi是由初始图像划分得到的图像块，Li是由低分辨率图像训练集划分得到的图像块训练集，ai是初始图像划分得到的图像块的重建系数组成的行向量，τ是平衡重建误差和局部约束的正则化参数，
Figure GDA0002452653640000114
是欧式平方距离，i是样本序号。
在本实施例中，τ取0.00003。
替换单元1300，用于将由初始图像划分得到的图像块替换为位置对应的由高分辨率图像训练集划分得到的图像块，并用最优权值系数加权合成高分辨率图像块；
其中，用最优权值系数加权合成高分辨率图像块，具体包括：
采用公式
Figure GDA0002452653640000121
计算获得高分辨率图像块Pi；
其中，Hi为高辨率图像块训练集。
融合单元1400，用于将高分辨率图像块进行融合，获得高分辨率图像；
重建执行单元200，将获得的高分辨率图像作为新的初始图像，至少再执行一次重建模块100，得到最终的高分辨率图像。
在本实施例中，还至少包括：
更新模块，用于在每执行一次重建模块100之后，对低分辨率图像训练集和高分辨率图像训练集进行更新，从而提高了本发明实施例的重建精度。
参见图6，更新模块600，至少包括：
特征块划分单元610，用于在每执行一次重建模块100之后，将低分辨率图像训练集中的图像通过插值得到高分辨率图像，并在特征域提取特征，将提取到的特征划分为相互重叠的高分辨率特征块；
特征块提取单元620，用于在特征域中，从低分辨率图像训练集中的图像中提取与高分辨率特征块相对应的低分辨率特征块；
更新执行单元630，用于在像素域中，分别找到与高分辨率特征块、低分辨率特征块对应的图像块，分别作为更新后的高分辨率图像块训练集和低分辨率图像块训练集。
在本实施例中，特征块提取单元620，具体用于在特征域中，基于KNN算法中的欧式距离从低分辨率图像训练集中的图像中提取K个与高分辨率特征块相对应的低分辨率特征块；
在这种情况下，更新执行单元630，具体用于根据欧式距离在像素域中分别找到与高分辨率特征块、低分辨率特征块对应的K个图像块，分别作为更新后的高分辨率图像块训练集和低分辨率图像块训练集。
【技术效果】
1、通过多次重建，即对本发明实施例中的图像块和最优权值系数进行多次更新，从而得到最终的高分辨率图像，解决了现有技术中重建精度低的技术问题，从而实现了满足实际的分辨率重建需求的技术效果。
2、在每进行一次重建过程之后，对低分辨率图像训练集和高分辨率图像训练集进行更新，进一步提高了本发明实施例的重建精度。
本发明实施例将单层协作表达扩展成4层协作表达，使初始的低分辨率图像块的表达系数更加精确，合成更好的高分辨率人脸图像。并通过不断更新每层的初始的低分辨率的人脸样本图像和高低分辨率人脸样本图像训练集来更新最优权值系数，并加权合成高分辨率人脸图像块，使图像块的表示系数更加精确，最后将获取的人脸图像块融合，得到高分辨率人脸图像，从而提高了最终合成的高分辨率人脸图像的质量。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (4)

1.一种基于深层协作表达的超分辨率图像的重建方法，其特征在于，包括：重建过程；所述重建过程至少包括：
对初始图像、低分辨率图像训练集中的图像和高分辨率图像训练集中的图像在像素域中划分相互重叠的图像块；
计算由所述低分辨率图像训练集划分得到的图像块训练集对由所述初始图像划分得到的图像块进行线性重建时的最优权值系数；
将所述由所述初始图像划分得到的图像块替换为位置对应的由所述高分辨率图像训练集划分得到的图像块，并用所述最优权值系数加权合成高分辨率图像块；
将所述高分辨率图像块进行融合，获得高分辨率图像；
将所述获得的高分辨率图像作为新的初始图像，进行至少一次所述重建过程，得到最终的高分辨率图像；
在每进行一次所述重建过程之后，对所述低分辨率图像训练集和所述高分辨率图像训练集进行更新；
所述对所述低分辨率图像训练集和所述高分辨率图像训练集进行更新，至少包括：
将所述低分辨率图像训练集中的图像通过插值得到高分辨率图像，并在特征域提取特征，将提取到的特征划分为相互重叠的特征块；
在特征域中，从所述低分辨率图像训练集中的图像中提取与高分辨率特征块相对应的低分辨率特征块；
在像素域中，分别找到与所述高分辨率特征块、所述低分辨率特征块对应的图像块，分别作为更新后的高分辨率图像块训练集和低分辨率图像块训练集；
其中，所述在特征域中，从所述低分辨率图像训练集中的图像中提取与高分辨率特征块相对应的低分辨率特征块；
在像素域中，分别找到与所述高分辨率特征块、所述低分辨率特征块对应的图像块，分别作为更新后的高分辨率图像块训练集和低分辨率图像块训练集，具体包括：
按照公式
Figure FDA0002452653630000021
计算KNN算法中的欧氏距离dist，再按照公式
Figure FDA0002452653630000022
在特征域中的低分辨率图像块字典中提取出K个最近距离的图像块；其中，xi B是将初始的低分辨率图像插值到高分辨图像，并进行特征提取，获得特征，然后将所得到的特征划分为相互重叠的特征块；gi L是将低分辨率图像训练集中的图像通过插值得到高分辨率图像，并在特征域提取特征，将提取到的特征划分为相互重叠的特征块；K是在特征域中，从低分辨率图像训练集中提取的图像块的个数；dist|K是距离dist中距离最小的K个图像块；Support(dist|K)是根据距离dist选出距离最小的K个图像块；
根据在特征域获得的欧式距离找到在像素域中对应的K个图像块，从而得到新的高分辨率人脸图像块集合
Figure FDA0002452653630000023
和新的低分辨率人脸图像块集合
Figure FDA0002452653630000024
分别作为新的高分辨率人脸图像块训练样本集和新的低分辨率人脸图像块训练样本集。
2.如权利要求1所述的方法，其特征在于，所述计算由所述低分辨率图像训练集划分得到的图像块训练集对由所述初始图像划分得到的图像块进行线性重建时的最优权值系数，具体包括：
通过公式
Figure FDA0002452653630000025
计算得到所述最优权值系数
Figure FDA0002452653630000026
其中，yi是由所述初始图像划分得到的图像块，Li是由所述低分辨率图像训练集划分得到的图像块训练集，ai是初始图像划分得到的图像块的重建系数组成的行向量，τ是平衡重建误差和局部约束的正则化参数，
Figure FDA0002452653630000027
是欧式平方距离，i是样本序号。
3.一种基于深层协作表达的超分辨率图像的重建系统，其特征在于，包括：重建模块，所述重建模块至少包括：
图像块划分单元，用于对初始图像、低分辨率图像训练集中的图像和高分辨率图像训练集中的图像在像素域中划分相互重叠的图像块；
计算单元，用于计算由所述低分辨率图像训练集划分得到的图像块训练集对由所述初始图像划分得到的图像块进行线性重建时的最优权值系数；
替换单元，用于将所述由所述初始图像划分得到的图像块替换为位置对应的由所述高分辨率图像训练集划分得到的图像块，并用所述最优权值系数加权合成高分辨率图像块；
融合单元，用于将所述高分辨率图像块进行融合，获得高分辨率图像；
重建执行单元，将所述获得的高分辨率图像作为新的初始图像，至少再执行一次所述重建模块，得到最终的高分辨率图像；
还至少包括：
更新模块，用于在每执行一次所述重建模块之后，对所述低分辨率图像训练集和所述高分辨率图像训练集进行更新；
所述更新模块，至少包括：
特征块划分单元，用于在每执行一次所述重建模块之后，将所述低分辨率图像训练集中的图像通过插值得到高分辨率图像，并在特征域提取特征，将提取到的特征划分为相互重叠的特征块；
特征块提取单元，用于在特征域中，从所述低分辨率图像训练集中的图像中提取与高分辨率特征块相对应的低分辨率特征块；
更新执行单元，用于在像素域中，分别找到与所述高分辨率特征块、所述低分辨率特征块对应的图像块，分别作为更新后的高分辨率图像块训练集和低分辨率图像块训练集；
具体包括：
按照公式
Figure FDA0002452653630000031
计算KNN算法中的欧氏距离dist，再按照公式
Figure FDA0002452653630000032
在特征域中的低分辨率图像块字典中提取出K个最近距离的图像块；其中，xi B是将初始的低分辨率图像插值到高分辨图像，并进行特征提取，获得特征，然后将所得到的特征划分为相互重叠的特征块；gi L是将低分辨率图像训练集中的图像通过插值得到高分辨率图像，并在特征域提取特征，将提取到的特征划分为相互重叠的特征块；K是在特征域中，从低分辨率图像训练集中提取的图像块的个数；dist|K是距离dist中距离最小的K个图像块；Support(dist|K)是根据距离dist选出距离最小的K个图像块；
根据在特征域获得的欧式距离找到在像素域中对应的K个图像块，从而得到新的高分辨率人脸图像块集合
Figure FDA0002452653630000041
和新的低分辨率人脸图像块集合
Figure FDA0002452653630000042
分别作为新的高分辨率人脸图像块训练样本集和新的低分辨率人脸图像块训练样本集。
4.如权利要求3所述的系统，其特征在于，
所述计算单元，具体用于通过公式
Figure FDA0002452653630000043
计算得到所述最优权值系数
Figure FDA0002452653630000044
其中，yi是由所述初始图像划分得到的图像块，Li是由所述低分辨率图像训练集划分得到的图像块训练集，ai是初始图像划分得到的图像块的重建系数组成的行向量，τ是平衡重建误差和局部约束的正则化参数，
Figure FDA0002452653630000045
是欧式平方距离，i是样本序号。
CN201610985891.XA 2016-11-09 2016-11-09 一种基于深层协作表达的超分辨率图像的重建方法及系统 Active CN106530231B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610985891.XA CN106530231B (zh) 2016-11-09 2016-11-09 一种基于深层协作表达的超分辨率图像的重建方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610985891.XA CN106530231B (zh) 2016-11-09 2016-11-09 一种基于深层协作表达的超分辨率图像的重建方法及系统

Publications (2)

Publication Number Publication Date
CN106530231A CN106530231A (zh) 2017-03-22
CN106530231B true CN106530231B (zh) 2020-08-11

Family

ID=58350456

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610985891.XA Active CN106530231B (zh) 2016-11-09 2016-11-09 一种基于深层协作表达的超分辨率图像的重建方法及系统

Country Status (1)

Country Link
CN (1) CN106530231B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107169928A (zh) * 2017-05-12 2017-09-15 武汉华大联创智能科技有限公司 一种基于深层线性映射学习的人脸超分辨率重建算法
CN107527321B (zh) * 2017-08-22 2020-04-17 维沃移动通信有限公司 一种图像重建方法、终端及计算机可读存储介质
CN108596838B (zh) * 2018-05-09 2022-02-18 北京环境特性研究所 一种基于学习的单帧人脸图像超分方法及装置
CN112006651A (zh) * 2020-09-10 2020-12-01 孙礼华 一种白内障手术辅助诊断系统及其方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101477684A (zh) * 2008-12-11 2009-07-08 西安交通大学 一种利用位置图像块重建的人脸图像超分辨率方法
CN102521810A (zh) * 2011-12-16 2012-06-27 武汉大学 一种基于局部约束表示的人脸超分辨率重建方法
CN103824272A (zh) * 2014-03-03 2014-05-28 武汉大学 基于k近邻重识别的人脸超分辨率重建方法
CN104036482A (zh) * 2014-07-07 2014-09-10 武汉大学 一种基于字典渐近更新的人脸图像超分辨率方法
CN105469359A (zh) * 2015-12-09 2016-04-06 武汉工程大学 基于局部约束低秩表示的人脸超分辨率重建方法
CN105469399A (zh) * 2015-11-20 2016-04-06 中国地质大学（武汉） 一种面向混合噪声的人脸超分辨率的重建方法及装置
CN105761207A (zh) * 2015-05-08 2016-07-13 西安电子科技大学 基于最大线性块邻域嵌入的图像超分辨重建方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9324133B2 (en) * 2012-01-04 2016-04-26 Sharp Laboratories Of America, Inc. Image content enhancement using a dictionary technique

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101477684A (zh) * 2008-12-11 2009-07-08 西安交通大学 一种利用位置图像块重建的人脸图像超分辨率方法
CN102521810A (zh) * 2011-12-16 2012-06-27 武汉大学 一种基于局部约束表示的人脸超分辨率重建方法
CN103824272A (zh) * 2014-03-03 2014-05-28 武汉大学 基于k近邻重识别的人脸超分辨率重建方法
CN104036482A (zh) * 2014-07-07 2014-09-10 武汉大学 一种基于字典渐近更新的人脸图像超分辨率方法
CN105761207A (zh) * 2015-05-08 2016-07-13 西安电子科技大学 基于最大线性块邻域嵌入的图像超分辨重建方法
CN105469399A (zh) * 2015-11-20 2016-04-06 中国地质大学（武汉） 一种面向混合噪声的人脸超分辨率的重建方法及装置
CN105469359A (zh) * 2015-12-09 2016-04-06 武汉工程大学 基于局部约束低秩表示的人脸超分辨率重建方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Super Resolution Reconstruction of Compressed Low Resolution Images Using Wavelet Lifting Schemes;Liyakathunisa 等;《2009 Second International Conference on Computer and Electrical Engineering》;20091230;第2卷;第629–633页 *
基于深度学习的图像超分辨率算法研究;胡传平 等;《侦查与技术》;20160505;第26卷(第1期);第5-10页 *

Also Published As

Publication number Publication date
CN106530231A (zh) 2017-03-22

Similar Documents

Publication Publication Date Title
Zhou et al. Spatio-temporal filter adaptive network for video deblurring
Zou et al. Sdwnet: A straight dilated network with wavelet transformation for image deblurring
CN110969577B (zh) 一种基于深度双重注意力网络的视频超分辨率重建方法
US10929720B2 (en) Image processing method, image processing apparatus, and computer storage medium
CN106530231B (zh) 一种基于深层协作表达的超分辨率图像的重建方法及系统
CN111898701B (zh) 模型训练、帧图像生成、插帧方法、装置、设备及介质
WO2021048607A1 (en) Motion deblurring using neural network architectures
CN111062872A (zh) 一种基于边缘检测的图像超分辨率重建方法及系统
CN111091503A (zh) 基于深度学习的图像去失焦模糊方法
CN104134196A (zh) 基于非凸高阶全变差模型的Split Bregman权值迭代图像盲复原方法
CN112561909B (zh) 一种基于融合变异的图像对抗样本生成方法
CN113705675B (zh) 一种基于多尺度特征交互网络的多聚焦图像融合方法
CN112801104B (zh) 基于语义分割的图像像素级伪标签确定方法及系统
Li et al. A maximum a posteriori estimation framework for robust high dynamic range video synthesis
CN108171654A (zh) 带干扰抑制的汉字图像超分辨率重建方法
Mu et al. Triple-level model inferred collaborative network architecture for video deraining
Liu et al. Asflow: Unsupervised optical flow learning with adaptive pyramid sampling
CN116757930A (zh) 基于残差分离注意力机制的遥感图像超分辨率方法、系统及介质
CN108122262B (zh) 基于主结构分离的稀疏表示单帧图像超分辨率重建算法
CN110335228B (zh) 一种图像视差的确定方法、装置及系统
Chen et al. Dynamic degradation intensity estimation for adaptive blind super-resolution: A novel approach and benchmark dataset
EP3937120B1 (en) Computer-implemented method, computer program product and system for processing images
CN112598604A (zh) 一种盲脸复原方法及系统
CN115880157B (zh) 一种k空间金字塔特征融合的立体图像超分辨率重建方法
CN115578260B (zh) 针对图像超分辨率的方向解耦的注意力方法和系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant