CN104881842B - 一种基于图像分解的图像超分辨率方法 - Google Patents
一种基于图像分解的图像超分辨率方法 Download PDFInfo
- Publication number
- CN104881842B CN104881842B CN201510266433.6A CN201510266433A CN104881842B CN 104881842 B CN104881842 B CN 104881842B CN 201510266433 A CN201510266433 A CN 201510266433A CN 104881842 B CN104881842 B CN 104881842B
- Authority
- CN
- China
- Prior art keywords
- image
- resolution
- block
- sample
- low
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 122
- 230000015556 catabolic process Effects 0.000 title abstract description 15
- 238000012549 training Methods 0.000 claims abstract description 40
- 238000005070 sampling Methods 0.000 claims abstract description 24
- 239000000284 extract Substances 0.000 claims abstract description 19
- 238000002474 experimental method Methods 0.000 claims abstract description 15
- 238000012545 processing Methods 0.000 claims description 21
- 230000003321 amplification Effects 0.000 claims description 20
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 20
- 238000000354 decomposition reaction Methods 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 10
- 238000003672 processing method Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000012937 correction Methods 0.000 claims description 4
- 239000000203 mixture Substances 0.000 claims description 3
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 claims description 2
- 238000012804 iterative process Methods 0.000 claims description 2
- 230000000903 blocking effect Effects 0.000 abstract description 2
- 230000000694 effects Effects 0.000 description 13
- 238000009792 diffusion process Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 9
- 230000001815 facial effect Effects 0.000 description 9
- 238000001914 filtration Methods 0.000 description 7
- 238000011282 treatment Methods 0.000 description 7
- 238000012360 testing method Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 2
- 235000013399 edible fruits Nutrition 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 244000025254 Cannabis sativa Species 0.000 description 1
- 235000007926 Craterellus fallax Nutrition 0.000 description 1
- 240000007175 Datura inoxia Species 0.000 description 1
- 241000196324 Embryophyta Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- HUTDUHSNJYTCAR-UHFFFAOYSA-N ancymidol Chemical compound C1=CC(OC)=CC=C1C(O)(C=1C=NC=NC=1)C1CC1 HUTDUHSNJYTCAR-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000011221 initial treatment Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种利用图像分解和样例加权匹配的图像超分辨率的新方法。在离线训练过程中，先对图像进行卡通和纹理分解，然后提取下采样的低分辨的图像块、卡通块、和基于改进的方法所产生的基于偏微分方程插值后的高分辨率的预测差值块所组成的三元组。在线过程中，先对低分辨的图像进行卡通与纹理分解。接下来，进行所提出的基于权值的样例匹配的方法。最后，把放大后的卡通图像的块和数据库中的预测差值图像块进行优化的线性叠加。仿真实验表明，本方法的匹配准确度高，高分辨率的图像具有更丰富的细节，克服了传统超分辨率方法中的边缘模糊、块效应和一对多的问题。
Description
技术领域
本发明的技术邻域属于数字图像处理，为其中的图像超分辨(super-resolution)技术。即，对给定的一幅低分辨率图像进行放大，得到的一幅更清晰，细节纹理更加丰富的高分辨率的图像。此技术可应用于对数码相机中的图像、互联网上存储的图像、监控视频中的图像等邻域中的图像的放大，以提高其分辨率和清晰度。
背景技术
随着数字图像处理技术和互联网技术的发展，由于受到存储空间和传输带宽的限制，互联网上存在大量的低分辨的图像和视频。而人们对高分辨率图像与视频的需求与日俱增，希望能看到更高分辨率和更清晰的图像，同时高分辨率图像的播放技术已经成熟。因此，为满足这一需求，基于单幅图像的超分辨率技术就诞生了。
已有的图像超分辨率技术主要可以分为三类方法：第一类是早期的图像插值方法，它是基于单幅图像的插值放大，在插值过程中利用未知像素点与邻域内的已知像素点的某种关系，根据不同的关系产生了最近邻插值法、双线性插值法、双立方插值法等经典的插值算法，以及在此基础上的某些改进的方法；第二类是基于图像重建的方法，其主要思想是建立观察图像的退化模型，人为的提出约束条件，通过迭代计算重建出高分辨率图像，在这些方法中统计学、概率论等领域知识提供了有力的理论支持；第三类是近年来基于学习的图像超分辨率方法，其主要思想是针对重建算法中人为定义约束条件的缺陷，通过学习样本库中的图像来获得先验知识，再利用这些知识进行超分辨放大，是近年来性能较好的方法。
基于样例学习的超分辨算法是以上第三类基于学习的方法中的一种方法，该方法主要分为离线的样本库训练和在线的图像重构两个部分。在训练部分中，传统的方法首先对高分辨率图像进行标准差为1，大小为7*7的高斯模板滤波平滑处理，然后对高斯滤波后的图像进行下采样得到低分辨率的图像，而高分辨率的预测差值图像则通过原始图像减去低分辨率图像的双线性插值部分来获得，最后把所有图像进行分块处理，每块的高分辨率部分与低分辨率部分存在相对应的关系，可得到大量的低分辨率块和与之对应的高分辨率差值块。一个低分辨率的块和其对应的高分辨率差值块组成了一个样例对。然后把这些样例对存储到训练数据库中。这样，在训练数据库中就存在着低分辨率图像块和与之对应的高分辨率差值图像块的样例对。在图像超分辨率重构部分中，首先对输入的低分辨率图像进行双线性插值，然后对插值图像分块处理；接着依次的把低分辨率图像块与样本库中的图像低分辨率块进行匹配搜索，获得最佳的几个匹配的高分辨率的图像差值块；最后把和这几个匹配得到的样本块所对应的高分辨率信息通过线性的方法叠加到插值图像上以重构最终的高分辨率图像。
在以上的样本建立的过程中，只是简单的对高分辨率图像进行滤波和下采样处理作为低分辨率的图像，由于其线性分解会导致低分辨的图像的边缘信息的模糊，产生模糊效应，而使低分辨率的训练块不利于与实际图像块进行匹配。而且，所提取的样本中存在多对一的情况，即原本相差较小的低分辨率块，在训练数据库中对应着相差很大的高分辨率块。这样，仅利用低分辨率块来寻找高分辨率块，在很多情况下会产生较大的误差。同时，由于在匹配过程中，只是简单地计算像素值之间的绝对差值之和，并未考虑图像的本质内容的差别，这也降低了图像匹配的准确度。
另外，由于本发明可以应用到放大倍数为整数倍时的情况，而传统的基于插值或样例的放大方法所得到的重构图像质量较差，存在着模糊效应和块效应(blockartifact)。在放大倍数高时，这些失真效应尤其明显。
这样，为了能有效克服以上的图像超分辨率的方法中的缺点，在本发明中，将建立一种基于图像分解的超分辨率方法来克服以上缺点，取得更好质量和视觉效果的放大图像。在此，将利用卡通和纹理图像分解的方法，把待放大图像分解为卡通图像和纹理图像。由于，卡通图像中包含图像中的平滑部分，和物体边界部分的边缘信息，是分区域平滑的(piece-wise smooth)的，非常有利于重构出高质量的高分辨率的图像。同时，本发明在对低分辨率的卡通图像的插值方面，是利用偏微分方程(PDE)的方法，以使滤波沿着边缘的走向，而在垂直于边缘的方向基本不滤波，以减少插值后边缘的模糊(blur)。在本发明中，为了充分利用卡通图像的特性和其优点来提高重构后的图像的质量，对传统存储在数据库中的样例对(低分辨块和高分辨率差值块)进行了改进，在数据库中存储样例三元组(低分辨率块，低分辨率的卡通图像块，和高分辨率的预测差值)。在搜索和匹配方面，对重要的边缘像素提高了其权重，同时不仅利用低分辨率块来寻找匹配块，还利用了低分辨率的卡通块来寻找匹配块。这样，可以有效地克服以上所述的一对多的问题。最后，利用和所提出的匹配差值成反比的权重来重构高分辨率的图像块。
发明内容
(1)本发明所采用的基于卡通和纹理的图像分解方法
本发明提出了一种利用图像分解的图像超分辨率方法。这种图像分解方法是把低分辨率的训练图像、和待超分辨放大的图像先分解为卡通图像部分和纹理图像部分。在此方法中，利用图像的卡通和纹理分解技术对图像进行分解，把原始图像分解I分解为纹理部分图像T和卡通部分图像C，且I＝T+C。其中，卡通部分C包含图像中主要的结构信息和中低频信息，像素值变化在各物体内部是比较缓慢的，仅在各物体的边缘处有较剧烈的变化，所以是分区域平滑的(piece-wise smooth)。而图像的纹理部分的像素值的变化剧烈。相比较而言，卡通部分在超分辨处理中更容易处理，而纹理部分较难处理。由于以下文章中的分解方法具有较好的性能，本发明采用如下文献中的图像分解技术：“Modeling Textures withTotal Variation Minimization and Oscillating Patterns in Image Processing”，Journal of scientific computing，vol.19，issue 1-2，pp.553-572，Dec.2003，来先对低分辨率的图像进行卡通和纹理分解。在分解后，将对卡通图像和纹理图像进行和其特点相适应的处理方法。
(2)对卡通图像块的插值处理的新方法
虽然传统插值计算简单，但是其容易造成放大后的图像的边缘模糊问题。为进一步地减少放大后的图像的边缘模糊，本发明对传统的基于偏微分方程(PDE)的滤波方法进行改进，在先对卡通图像块进行传统的双线性插值后，再对其进行改进的PDE方法的处理。其处理方法如下所述。
作为非线性扩散的偏微分方程，方向扩散模型也是从尽量保持图像边缘信息的观点出发，扩散是沿着平行于边缘的切线方向进行，即垂直于图像的梯度矢量的方向。把水平集理论应用到图像处理中来，任一水平集的内部取值较外部大，因此水平集矢量为
其中，C为双线性插值过的卡通图像块，为其梯度，为其梯度的模，为对的散度的计算。
其图像的曲率可表示为：
于是，在传统的方法中所采取的方向扩散可以表示为
由于传统的基于方向扩散的图像滤波对边缘还是有一定的平滑和模糊问题，针对此问题，本发明提出加入一个与图像梯度相关的乘法因子使扩散率在边缘区域能迅速到达零，表达式为
其中，函数为乘法因子，在本发明中T为40(根据实验而优化地确定)。当图像边缘区域梯度大时，其扩散率迅速变为零而停止扩散，达到保持边缘效果。因此该方法能对放大图像起到消除边缘锯齿效应，在滤波的同时尽量保持了图像的边缘信息，与经典算法相比有一定的图像插值质量提高。
按照式(4)对图像进行方向扩散处理就等于图像中所有水平集在作曲率运动，而对该偏微分方程对所有偏导数采用中心差分离散化，就可以得到如下显式方案
C1(i，j)＝C(i，j) (5)
Ck+1(i，j)＝Ck(i，j)+ΔtQk(i，j) (6)
式中，Ck(i，j)为卡通图像第k次的处理结果，第1次初始处理时C1(i，j)＝C(i，j)，Δt为迭代参数，根据大量的实验结果，本发明中取Δt＝0.25，Qk(i，j)为第k次处理的增量，可用离散化的方式近似表示即有
其中，T＝40，
这样通过m次迭代即可得到区域平滑(piece-wise smooth)的图像块Cm(m的取值将由停止准则来确定)。在本发明中，此停止准则设计为d(Cm，Cm-1)≤ε，d(Cm，Cm-1)为块Cm和块Cm-1之间的欧氏距离，ε为一值较小的数。在本发明中，根据大量实验结果，ε优化地取值为W×H×1.3。其中，W为块的长度，H为块的宽度。
(3)基于卡通纹理分解的图像训练样本库的建立的新方法
在已有的方法中，对于原始的高分辨率的训练图像fH，首先进行下采样得到低分辨的图像fL＝DfH，(D为下采样矩阵)。然后对低分辨率的图像fL进行双线性插值得到高分辨率的预测图像fP。这样，其预测误差图像为fe＝fH-fP。然后，在离线的处理过程中，在数据库中存储从低分辨率的图像fL中提取的图像块PL(i)和其对应的高分辨率的预测误差图像fP中的图像块PHE(i)所组成的二元组(PL(i)，PHE(i))，i为此两个图像块所组成的二元组在数据库中的索引值，这个二元组在超分辨率的处理中叫做样例对(a pair of examples)。
在本发明中，训练样例的提取是和已有的方法不同的。在所提出的方法中，首先利用如上(1)中所述的方法对原始的高分辨率的训练图像fH进行卡通和纹理分解，得到高分辨率的卡通图像fHC和高分辨率的纹理图像fHT，且fH＝fHC+fHT。接着对高分辨率的图像、和高分辨率的卡通图像分别进行下采样得到低分辨率的图像fL＝DfH和CL＝DfHC。然后，对图像CL进行双线性插值得到图像C。接下来，对图像C采取如上(2)中所述的PDE处理，得到高分辨率的图像CM。图像CM将比传统的方法更能准确地预测原始图像(因为其不仅包括图像中的物体内的平滑的信息，还包括物体边界的高频的边缘信息)。因此，本发明将图像CM作为对原始图像的预测图像，得到预测误差图像f′e＝fH-CM。然后，在离线的处理过程中，在数据库中存储从低分辨率的图像fL、CL和高分辨率的预测误差图像f′e中提取的所对应的图像块PL(i)、PCL(i)、和P′HE(i)所组成的三元组(PL(i)，PCL(i)，P′HE(i))，i为此三个图像块所组成的三元组在数据库中的索引值。我们把这样的三元组称为训练样例三元组，当对训练图像库中所有的高分辨率的图像都提取并存储了以上所述的三元组后，就建立了基于卡通和纹理分解的图像训练样本库。此三元组在本发明中称为样例三元组。
(4)所提出的待放大区域和样本库中的训练样例三元组的匹配差值的确定方法
在传统的方法中，待放大的低分辨率块PxL和训练数据库中的样例的匹配搜索是根据匹配准则来进行的，一般采用的是绝对差值之和(SAD)的匹配准则来计算待放大块PxL和第i个样例的匹配值，即
其中，N为块中的像素个数，PxL(j)为块PxL中的第j个像素的像素值(如果为灰度图像，其为第j个像素的灰度值，如果为彩色图像，其为第j个像素的亮度值)，PL(i，j)为块PL(i)中的第j个像素的像素值。
以上的匹配准则中，存在一个问题，其对块中的所有像素都是采用同样的方法去计算绝对差值的。而在通常的图像块中，有的像素具有较大的重要性，需要在匹配过程中提高其权重。这样，可以使超分辨率放大的图像具有更好的效果。
对于一幅图像，人们的视觉总是对图像的边缘细节部分更加敏感。由于边缘细节作为图像内容的重要部分，本课题组认为需要在计算匹配准则时提高边缘像素的权重。在本发明中，利用Sobel算子进行边缘检测，对于Sobel梯度大于200的像素点，确定为边缘像素点；其他像素点为非边缘像素点。对于图像中的边缘点和非边缘点，其权值分别为A、和B，即若待放大块PxL中的第j个像素点为用Sobel算子检测出的边缘像素点，则其权重为w(j)＝A；否则，其权重w(j)＝B。(通过大量的实验和优化，在本发明中A＝2，B＝1)。
从上说明中可以看出，所提出的方法用到了卡通和纹理图像的分解，以及基于PDE的滤波方法，所提出的匹配准则必须充分考虑以上因素。因此，先对待放大块PxL进行如上(1)中所述的卡通和纹理分解，得到低分辨率的卡通图像块PxCL。在此基础上，所提出的匹配准则为
其中，w(j)为如上所述的权值，PxCL(j)为低分辨率的卡通图像块中的第j个像素的像素值，λ为一平衡因子。通过大量的实验和优化，在本发明中λ＝0.4。
(5)所提出的超分辨率的重构方法
在传统的方法中，可根据当前待放大的低分辨的块PxL，找到数据库中的K个和当前待放大块PxL的匹配准则SAD(PxL，PL(ki))最小的样例对中的低分辨率块PL(ki)，其中ki为第k个匹配准则最小的样例对在训练库中的索引值(index)。然后，对PL(ki)进行双线性的插值，得到高分辨率的预测块PmL(ki)。这样，所重构的高分辨率的块PcL为
其中，wi反比于SAD(PxL，PL(ki))，且PHE(ki)为数据库中的样例对(PL(ki)，PHE(ki))中和低分辨块PL(ki)所对应的高分辨率预测差值块。当把待放大图像中的所有待放大块都经过如上的重构，就得到了所需的高分辨率图像。
和传统的重构方法不同，在所提出的方法中，将不仅利用到预测差值块，还将利用到本发明在数据库中存储的样例三元组中的卡通图像块。即，先根据当前待放大的低分辨的块PxL，找到数据库中的K个和当前待放大块PxL的匹配准则SAD(PxL，PL(ki)，PCL(ki))(由以上式(9)定义的)最小的样例三元组中的低分辨率块PL(ki)和低分辨率的卡通块PCL(ki)，其中ki为第k个匹配准则最小的样例对在训练库中的索引值(index)。然后，按照以上(2)中所提出的对卡通块插值的方法，对低分辨率的卡通块PCL(ki)进行基于PDE的插值，得到插值之后的块为Cm(ki)。然后，根据SAD(PxL，PL(ki)，PCL(ki))的值来确定重构块。
其中，w′i反比于SAD(PxL，PL(ki)，PCL(ki))，且P′HE(ki)块由数据库中的样例三元组(PL(ki)，PCL(ki)，P′HE(ki))中的P′HE(ki)而得来。
当低分辨率的图像块都进行了超分辨率的重构之和，就可以得到超分辨率放大之后的高分辨率的图像。
(6)本发明的离线处理过程
本发明所提出的方法分为离线的建立训练样本库的过程，和在线的图像超分辨率放大的过程。其离线的训练数据库的建立过程如下所述。即对高分辨率的图像数据库中的每幅图像进行如下处理：
输入：很多高分辨率的训练图像。
输出：由提取的样例三元组(PL(i)，PCL(i)，P′HE(i))所组成的数据库。
步骤1)先对原始的训练的高分辨率的图像进行下采样得到低分辨率的图像。然后对每一幅高分辨率的图像利用如上(1)中所述的图像的卡通和纹理分解技术进行分解，同时对分解得到的卡通部分进行下采样，再对低分辨率的卡通图像进行如上(2)中所述的基于偏微分方程的插值以得到高分辨率的预测图像。接下来，计算原始图像和预测图像之间的差值，得到预测差值图像。这样，可以为提取样例三元组做准备。
步骤2)xL＝1，yL＝1，这里，(xL，yL)是低分辨率样例在低分辨率的图像中采集的第一个块的左上角的坐标。i＝1。
步骤3)令m＝2，提取下采样的低分辨的图像中从坐标(xL，yL)开始到(xL+2m+1，yL+2m+1)间的图像块PL(i)存储到数据库中。提取下采样的卡通图像中从坐标(xL，yL)开始到(xL+2m+1，yL+2m+1)间的图像块PcL(i)存储到数据库中。(2m+1)×(2m+1)为低分辨率块的大小。本发明中选择的块的大小为5×5。
步骤4)令xH＝1，yH＝1，(xH，yH)为高分辨率的样例在高分辨率图像中采集的第一个块的左上角的坐标。
步骤5)提取高分辨率的预测差值图像中从坐标(xH，yH)开始到(xH+4m+2，yH+4m+2)间的图像块P′HE(i)，存储到数据库中。(4m+2)×(4m+2)为高分辨率预测差值块的大小。本发明中选择的预测差值块的大小为10×10。这样，就存储了一个如上(3)中所述的样例三元组(PL(i)，PCL(i)，P′HE(i))，其中PL(i)和PcL(i)在步骤3)中存储，P′HE(i)在本步骤中存储。i＝i+1。
步骤6)令xL＝xL+2，样例在低分辨率图像的左上角的横坐标右移两个像素单位，以提取出下一个样例。xH＝xH+4，样例在高分辨率图像的左上角的横坐标右移四个像素单位。
步骤7)若xL≤Wf-2m(Wf为低分辨率图像的宽度)，则跳到步骤3)提取下一个样例三元组并把它存储在数据库中；否则这一行的样例三元组已提取完毕。
步骤8)令xL＝1，yL＝yL+2，样例在低分辨率图像的左上角的纵坐标下移两个像素。令xH＝1，yH＝yH+4，样例在高分辨率图像的左上角的纵坐标下移四个像素。步骤9)若yL≤Hf-2m(Hf为低分辨率图像的高度)，则跳到步骤3)提取下一个样例三元组；否则对当前训练图像的样例三元组的提取过程进行完毕，共存储了I＝i个样例三元组。
这样，对训练库中的每一个高分辨率图像经过此离线的处理方法，就得到了可用于超分辨率处理的很多样例三元组，并且这些样例三元组都存储在数据库中。
(7)本发明的在线处理过程
本发明对待放大的低分辨率图像进行超分辨率放大的在线过程如下所述。
输入：待放大的低分辨率的图像，和已经训练和保存好的由样例三元组所组成的数据库。
输出：放大的高分辨率的图像。
步骤1)xL＝1，yL＝1，这里，(xL，yL)是低分辨率的块在低分辨率的待放大图像中的第一个块的左上角的坐标。令xH＝1，yH＝1，(xH，yH)为高分辨率的块在高分辨率图像中第一个块的左上角的坐标。
步骤2)令m＝2，提取待放大的低分辨的图像中从坐标(xL，yL)开始到(xL+2m+1，yL+2m+1)间的图像块PxL。对图像块PxL进行卡通和纹理分解，得到低分辨率的卡通图像块PxcL。对图像块PxL运用Sobel算子提取其中的边缘像素，并根据以上(4)中所述的方法对边缘像素和非边缘像素赋权值。(2m+1)×(2m+1)为低分辨率块的大小。本发明中选择的块的大小为5×5。
步骤3)根据提取到的图像块PxL、PxcL和各像素的权值，按以上(4)中所述的方法，对训练数据库中的第i个样例三元组(PL(i)，PCL(i)，P′HE(i))，按式(9)计算其匹配差值SAD(PxL，PL(i)，PCL(i))，1≤i≤I，其中I为数据库中存储的样例三元组的个数。然后，选择匹配差值最小的K个样例三元组，和其中的低分辨率块PL(ki)和低分辨率的卡通块PCL(ki)，其中ki为第k个匹配准则最小的样例对在训练库中的索引值(index)。接下来，运用以上(2)中所述的方法得到插值之后的块为Cm(ki)，然后，根据SAD(PxL，PL(ki)，PCL(ki))的值和式(10)来确定重构块P′cL。
步骤4)从坐标(xH，yH)开始到(xH+4m+2，yH+4m+2)间的图像块设置为重构块P′cL，若在此区域中已有之前设置的块，则重叠区域的像素值由此区域中所有的设置块的像素值的平均值来确定。(4m+2)×(4m+2)为高分辨率预测差值块的大小。本发明中选择的高分辨率块的大小为10×10。
步骤5)令xL＝xL+3，在低分辨率图像的左上角的横坐标右移三个像素单位，以提取出下一个低分辨率块。xH＝xH+6，样例在高分辨率图像的左上角的横坐标右移六个像素单位。
步骤6)若xL≤Wf-2m(Wf为低分辨率图像的宽度)，则跳到步骤2)处理下一个块。步骤7)令xL＝1，yL＝yL+3，样例在低分辨率图像的左上角的纵坐标下移三个像素。令xH＝1，yH＝yH+6，样例在高分辨率图像的左上角的纵坐标下移六个像素。步骤8)若yL≤Hf-2m(Hf为低分辨率图像的高度)，则跳到步骤2)处理下一个块；否则对所有的图像块的处理完毕，得到由各重构块P′cL组成的高分辨率的图像。
综上所述，本发明的创新点在于：1)在离线的样本库建立中，利用图像卡通和纹理分解技术进行分解，以更好地提取图像中的光滑区域和物体边界处的信息。2)采用改进的PDE方法产生预测的高分辨率图像，接着对下采样的低分辨率图像、下采样的卡通图像、高分辨率的预测图像分块训练成由样例三元组形成的样本库，以克服传统方法中的低分辨率的样例块缺图像细节的问题。3)在所提出的方法的在线匹配搜索过程中，不仅利用待放大图像中的低分辨率块，还利用低分辨率的卡通块来在训练库中寻优，以克服传统方法中的一对多的问题。4)在匹配搜索样本块的过程中对重要的图像边缘点信息提高其权重，提出新的匹配准则，继续提高图像匹配的准确度。
本发明运用包括在线处理过程和离线处理过程。其中，离线处理过程可以在离线的情况下一次完成形成训练数据库。在线的处理过程是针对待放大的图像进行超分辨率放大处理，以利用训练好的数据库和新的匹配准则，得到高质量的高分辨率的图像。
以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地反映本发明的目的、特征和效果。
附图说明
图1是本发明所提出的利用图像分解的超分辨率方法的示意流程图；
图2是本发明对普通自然图像的超分辨率方法的实验结果图，此图把本方法的结果和已有的最新的效果好的方法的结果进行了对比，并把本发明中的2个方法进行了对比。图2中从左到右的每列依次为：图2(a)为基于样例学习的原有算法的实验结果图，图2(b)为在本发明中仅利用基于图像分解的方法的实验结果图，图2(c)为利用了本发明的所有创新的工具之后产生的实验结果图，图2(d)为原始的高分辨率图像。
图3是本发明利用Yale大学人脸库中的一部分图像用于训练的人脸图像原始图；
图4是本发明对人脸图像进行放大的实验结果图，图4中从左到右的每一列的图像依次为：图4(a)是下采样后的低分辨率图像，图4(b)是原来的基于样例学习的方法对图4(a)中的图像进行处理后的结果图，图4(c)为在本发明中仅利用基于图像分解的方法的实验结果图，图4(d)为利用了本发明的所有创新的工具之后对图4(a)中的图像进行处理后的结果图，图4(e)为原始的高分辨率图像。
具体实施方式
下面结合附图对本发明的实施例作详细说明：本实施例在以本发明技术方案前提下进行实施，以下给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
首先，先收集好大量的高分辨率的图像。高分辨率图像可以由网上的一些免费的图像数据库中获得，如本发明利用的Yale大学的人脸数据库等。然后对收集到的每幅高分辨率的图像进行如下处理：
输入：很多高分辨率的训练图像。
输出：由提取的样例三元组(PL(i)，PCL(i)，P′HE(i))所组成的数据库。
步骤1)先对原始的训练的高分辨率的图像进行下采样得到低分辨率的图像。然后对每一幅高分辨率的图像利用此文章(Modeling Textures with Total VariationMinimization and Oscillating Patterns in Image Processing”，Journal ofscientific computing，vol.19，issue 1-2，pp.553-572，Dec.2003)中所述的图像的卡通和纹理分解技术进行分解，同时对分解得到的卡通部分进行下采样，再对低分辨率的卡通图像进行如下所述的基于偏微分方程的插值以得到高分辨率的预测图像。首先，基于偏微分方程的插值方法中的初始图像为下采样的低分辨率的卡通图像，即，C1(i，j)＝C(i，j)，然后定义如下偏导数的离散化计算方法，有
利用这些偏导数可计算出第k次迭代应采取的修正量，即
利用这个修正量，可以得到第k次迭代产生的结果，给第k+1次迭代产生初始值，有
Ck+1(i，j)＝Ck(i，j)+0.25*Qk(i，j)
然后，重复此迭代过程，直到d(Cm，Cm-1)≤W×H×1.3，d(Cm，Cm-1)为块Cm和块Cm-1之间的欧氏距离，其中，W为块的长度，H为块的宽度。接下来，计算原始图像和预测图像之间的差值，得到预测差值图像。这样，可以为提取样例三元组做准备。步骤2)xL＝1，yL＝1，这里，(xL，yL)是低分辨率样例在低分辨率的图像中采集的第一个块的左上角的坐标。i＝1。
步骤3)令m＝2，提取下采样的低分辨的图像中从坐标(xL，yL)开始到(xL+2m+1，yL+2m+1)间的图像块PL(i)存储到数据库中。提取下采样的卡通图像中从坐标(xL，yL)开始到(xL+2m+1，yL+2m+1)间的图像块PcL(i)存储到数据库中。(2m+1)×(2m+1)为低分辨率块的大小。本发明中选择的块的大小为5×5。
步骤4)令xH＝1，yH＝1，(xH，yH)为高分辨率的样例在高分辨率图像中采集的第一个块的左上角的坐标。
步骤5)提取高分辨率的预测差值图像中从坐标(xH，yH)开始到(xH+4m+2，yH+4m+2)间的图像块P′HE(i)，存储到数据库中。(4m+2)×(4m+2)为高分辨率预测差值块的大小。本发明中选择的预测差值块的大小为10×10。这样，就存储了一个如上(3)中所述的样例三元组(PL(i)，PCL(i)，P′HE(i))，其中PL(i)和PcL(i)在以上步骤3)中存储，P′HE(i)在本步骤中存储。i＝i+1。
步骤6)令xL＝xL+2，样例在低分辨率图像的左上角的横坐标右移两个像素单位，以提取出下一个样例。xH＝xH+4，样例在高分辨率图像的左上角的横坐标右移四个像素单位。
步骤7)若xL≤Wf-2m(Wf为低分辨率图像的宽度)，则跳到步骤3)提取下一个样例三元组并把它存储在数据库中；否则这一行的样例三元组已提取完毕。
步骤8)令xL＝1，yL＝yL+2，样例在低分辨率图像的左上角的纵坐标下移两个像素。令xH＝1，yH＝yH+4，样例在高分辨率图像的左上角的纵坐标下移四个像素。步骤9)若yL≤Hf-2m(Hf为低分辨率图像的高度)，则跳到步骤3)提取下一个样例三元组；否则对当前训练图像的样例三元组的提取过程进行完毕，共存储了I＝i个样例三元组。
这样，对训练库中的每一个高分辨率图像经过此离线的处理方法，就得到了可用于超分辨率处理的很多样例三元组，并且这些样例三元组都存储在数据库中。
这样，经过此离线的处理方法，就得到了可用于超分辨率处理的很多低频样例和与此样例对应的高频块所组成的数据库。
对于待放大的图像，本发明对其进行如下所述的在线放大处理，具体步骤如下：
输入：待放大的低分辨率的图像，和已经离线训练和保存好的由样例三元组所组成的数据库。
输出：放大的高分辨率的图像。
步骤1)xL＝1，yL＝1，这里，(xL，yL)是低分辨率的块在低分辨率的待放大图像中的第一个块的左上角的坐标。令xH＝1，yH＝1，(xH，yH)为高分辨率的块在高分辨率图像中第一个块的左上角的坐标。
步骤2)令m＝2，提取待放大的低分辨的图像中从坐标(xL，yL)开始到(xL+2m+1，yL+2m+1)间的图像块PxL。对图像块PxL进行和离线方式相同的卡通和纹理分解，得到低分辨率的卡通图像块PxcL。对图像块PxL运用Sobel算子提取其中的边缘像素，并对边缘像素和非边缘像素赋权值，即，若PxL(j)为边缘像素，则w(j)＝2；否则，w(j)＝1。5×5为低分辨率块的大小。
步骤3)根据提取到的图像块PxL、PxcL和各像素的权值，对训练数据库中的第i个样例三元组(PL(i)，PCL(i)，P′HE(i))，计算其匹配差值SAD(PxL，PL(i)，PCL(i))，即，
1≤i≤I，其中I为数据库中存储的样例三元组的个数，PcL(j)和PxcL(j)分别为块PcL和块PxcL中的第j个像素的像素值。然后，选择匹配差值最小的K个样例三元组，和其中的低分辨率块PL(ki)和低分辨率的卡通块PCL(ki)，其中ki为第k个匹配准则最小的样例对在训练库中的索引值(index)。接下来，基于偏微分方程的插值方法中的初始图像块为下采样的低分辨率的卡通图像，即，C1(i，j)＝PxcL(i，j)，其中PxcL(i，j)为块PxcL中第i行和第j列的像素的像素值。然后，反复迭代使Ck+1(i，j)＝Ck(i，j)+0.25*Qk(i，j)，其中k为迭代次数，Qk(i，j)由说明书中的式(7)定义，直到d(Cm，Cm-1)≤W×H×1.3，d(Cm，Cm-1)为块Cm和块Cm-1之间的欧氏距离，其中，W为块的长度，H为块的宽度。然后，根据SAD(PxL，PL(ki)，PCL(ki))的值来确定重构块。
其中，w′i反比于SAD(PxL，PL(ki)，PCL(ki))，且P′HE(ki)块由数据库中的样例三元组(PL(ki)，PCL(ki)，P′HE(ki))中的P′HE(ki)而得来。
步骤4)从坐标(xH，yH)开始到(xH+4m+2，yH+4m+2)间的图像块设置为重构块P′cL，若在此区域中已有之前设置的块，则重叠区域的像素值由此区域中所有的设置块的像素值的平均值来确定。10×10为高分辨率预测差值块的大小。
步骤5)令xL＝xL+3，在低分辨率图像的左上角的横坐标右移三个像素单位，以提取出下一个低分辨率块。xH＝xH+6，样例在高分辨率图像的左上角的横坐标右移六个像素单位。
步骤6)若xL≤Wf-2m(Wf为低分辨率图像的宽度)，则跳到步骤2)处理下一个块。步骤7)令xL＝1，yL＝yL+3，样例在低分辨率图像的左上角的纵坐标下移三个像素。令xH＝1，yH＝yH+6，样例在高分辨率图像的左上角的纵坐标下移六个像素。步骤8)若yL≤Hf-2m(Hf为低分辨率图像的高度)，则跳到步骤2)处理下一个块；否则对所有的图像块的处理完毕，得到由各重构块P′cL组成的高分辨率的图像。
本发明分别以自然图像和人脸图像数据库作为实验对象进行实验，并通过主观评价和客观评价两个方面来对实验结果进行评价，其中主观评价指的是人眼通过观察重建图像对于其中细节的感受，客观评价主要采用PSNR和SSIM评价准则。原始图像表示为f(x，y)，而处理后得到的图像表示为g(x，y)，那么均方误差定义为：
而峰值信噪比为：
PSNR＝10*log(2552/MSE) (dB)
在实际应用中峰值信噪比的值越大，说明重构的图像越接近原始图像。
结构相似性度(SSIM)是从人眼的视觉系统角度出发来观测图像，形成有效的结合了图像亮度比较、对比度比较和结构信息的比较，其定义为：
式中，x，y分别表示原始图像与处理后的图像，l(x，y)，c（x，y)，s(x，y)分别为亮度对比、对比度对比、和结构信息对比量。SSIM评价指标的取值范围为(0，1)，而指标值越接近1，说明重构图像与原始图像的结构性越相似，视觉效果也越好。
实验一对普通图像进行图像超分辨率重构，实验中对41张内容类型不同的图像进行训练建立样本库，内容主要有人物、建筑、动物、植物等。训练中采用如说明书中所述的离线处理方法，通过训练得到包含八万多个由样例三元组所组成的样本数据库。
实验一采用如说明书所述的在线的放大方法，放大倍数为4×4。此实验的放大重建实验结果如说明书附图2所示，图中，(a)列中为基于样例学习的原有方法的结果图，(b)列中为在所提出的方法中仅采用图像分解方法的结果图，(c)列中为采用整个所提出的离线方法和在线方法的结果图(d)列中为原始高分辨率图像。从这些图像中，可以很明显地发现在基于样例学习方法的效果图(a)列中第一行的草丛和天空的交界处，第三行的建筑和天空的交界处都存在着伪轮廓，第一行人物拿着的杆也并不是直的，存在锯齿状断节的现象，而本发明提出的方法由于图像对应的高频信息较为丰富，解决了该问题，并未存在该现象。
客观评价指标采用峰值信噪比(PSNR)和结构相似度(SSIM)对实验结果进行对比评价，表1、表2分别为对以上4幅测试图像的各种方法的峰值信噪比和结构相似度的实验结果数据。通过表1、表2的横向对比，本发明所提出的实验结果的峰值信噪比和结构相似度的值都有一定的提高，这也验证了所提出的整个基于图像分解的超分辨率方法所处理出的图像的视觉效果较好。
表1 各种算法重建图像的PSNR比较
表2 各种算法重建图像的SSIM比较
实验二是专门对人脸图像进行图像超分辨率重构，实验中采用Yale大学的人脸数据库进行训练重建。人脸数据库中提取8位不同的人的人脸图像，每个人的人脸图像集包含有8种不同的表情的图像，共用64张图像进行离线的处理以形成样本库，高分辨率的训练图像集中的某些图像如说明书附图3中所示。实验二对这些图像离线训练形成一个储存样例三元组的样本库。然后输入样本库中没有的人脸进行图像超分辨率实验。其他参数设置与实验一相同，放大倍数为4×4倍。
说明书附图4为对四幅人脸图像进行了超分辨率重构的实验结果，图中(a)是低分辨率图像，(b)是样例学习的重构方法，(c)是本文提出的基于样例学习的超分辨率重构放，(d)是采用方向扩散插值图像作为低频块的方法，(e)为原始高分辨率图像。实验图像明显看出本发明提出的超分辨率算法实现的图像有一定的效果，样例学习算法重建的图像对比度较为分明，但是轮廓、眼睛等区域存在着一定的失真现象，本发明提出的两种算法都较好的保持了图像的大致轮廓，边缘细节信息也有一定的增加。由于人脸图像脸部的边缘梯度并不十分高，因此基于方向扩散算法对其影响不是很大。对实验结果分别计算PSNR值和MSSIM值，结果如表3和表4所示，无论哪个指标都有明显的提高，而因人脸图像的高梯度区域少，对插值图像进行了一定平滑，因此效果也没有未经方向扩散处理的方向效果稍差一点。通过与实验一的对比，基于方向扩散处理对梯度大的图像比较有效，针对梯度较小的图像最好不要使用。
表3 各种算法重构人脸图像的PSNR比较
表4 各种算法重构人脸图像的SSIM比较
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。
Claims (3)
1.一种图像超分辨率放大的方法，此方法包括离线的建立训练样本库的方法和在线对待放大的低分辨率图像进行超分辨率放大的得到高分辨率图像的方法，其离线的训练数据库的建立过程如下所述，即对高分辨率的图像数据库中的每幅图像进行如下处理：
步骤A)：
输入：多个高分辨率的训练图像，
输出：由提取的样例三元组(PL(i)，PCL(i)，P′HE(i))所组成的数据库，
步骤A1)先对原始的训练的高分辨率的图像进行下采样得到低分辨率的图像，然后对每一幅高分辨率的图像利用图像的卡通和纹理分解技术进行分解，同时对分解得到的卡通部分进行下采样，再对低分辨率的卡通图像进行所提出的基于偏微分方程的插值方法以得到高分辨率的预测图像，其基于偏微分方程的插值方法中的初始图像为下采样的低分辨率的卡通图像，即，C1(i，j)＝C(i，j)，然后定义如下偏导数的离散化计算方法，有
利用这些偏导数可计算出第k次迭代应采取的修正量，即
利用这个修正量，可以得到第k次迭代产生的结果，给第k+1次迭代产生初始值，有
Ck+1(i，j)＝Ck(i，j)+0.25*Qk(i，j)
然后，重复此迭代过程，直到d(Cm，Cm-1)≤W×H×1.3，d(Cm，Cm-1)为块Cm和块Cm-1之间的欧氏距离，其中，W为块的长度，H为块的宽度；
接下来，计算原始图像和预测图像之间的差值，得到预测差值图像，这样，可以为提取样例三元组做准备；
步骤A2)xL＝1，yL＝1，这里，(xL，yL)是低分辨率样例在低分辨率的图像中采集的第一个块的左上角的坐标，i＝1；
步骤A3)令m＝2，提取下采样的低分辨的图像中从坐标(xL，yL)开始到(xL+2m+1，yL+2m+1)间的图像块PL(i)存储到数据库中，提取下采样的纹理图像中从坐标(xL，yL)开始到(xL+2m+1，yL+2m+1)间的图像块PcL(i)存储到数据库中，(2m+1)×(2m+1)为低分辨率块的大小，本步骤中选择的块的大小为5×5；
步骤A4)令xH＝1，yH＝1，(xH，yH)为高分辨率的样例在高分辨率图像中采集的第一个块的左上角的坐标，
步骤A5)提取高分辨率的预测差值图像中从坐标(xH，yH)开始到(xH+4m+2，yH+4m+2)间的图像块P′HE(i)，存储到数据库中，(4m+2)×(4m+2)为高分辨率预测差值块的大小，本步骤中选择的预测差值块的大小为10×10，这样，就存储了一个样例三元组(PL(i)，PCL(i)，P′HE(i))，其中PL(i)和PcL(i)在步骤A3)中存储，P′HE(i)在本步骤中存储，i＝i+1；
步骤A6)令xL＝xL+2，样例在低分辨率图像的左上角的横坐标右移两个像素单位，以提取出下一个样例，xH＝xH+4，样例在高分辨率图像的左上角的横坐标右移四个像素单位；
步骤A7)若xL≤Wf-2m，Wf为低分辨率图像的宽度，则跳到步骤A3)提取下一个样例三元组并把它存储在数据库中，否则这一行的样例三元组已提取完毕；
步骤A8)令xL＝1，yL＝yL+2，样例在低分辨率图像的左上角的纵坐标下移两个像素，令xH＝1，yH＝yH+4，样例在高分辨率图像的左上角的纵坐标下移四个像素；
步骤A9)若yL≤Hf-2m，Hf为低分辨率图像的高度，则跳到步骤A3)提取下一个样例三元组；否则对当前训练图像的样例三元组的提取过程进行完毕，共存储了I＝i个样例三元组；
这样，对训练库中的每一个高分辨率图像经过此离线的处理方法，就得到了可用于超分辨率处理的多个样例三元组，并且这些样例三元组都存储在数据库中；
所提出的在线对待放大的低分辨率图像进行超分辨率放大的得到高分辨率图像的方法包括如下步骤：
步骤B)：
输入：待放大的低分辨率的图像，和已经训练和保存好的由样例三元组所组成的数据库，
输出：放大的高分辨率的图像，
步骤B1)xL＝1，yL＝1，这里，(xL，yL)是低分辨率的块在低分辨率的待放大图像中的第一个块的左上角的坐标，令xH＝1，yH＝1，(xH，yH)为高分辨率的块在高分辨率图像中第一个块的左上角的坐标；
步骤B2)令m＝2，提取待放大的低分辨的图像中从坐标(xL，yL)开始到(xL+2m+1，yL+2m+1)间的图像块PxL，对图像块PxL进行卡通和纹理分解，得到低分辨率的卡通图像块PxcL，对图像块PxL运用Sobe1算子提取其中的边缘像素，对于Sobe1梯度大于200的像素点，确定其权值为2，其他像素点的权值为1，(2m+1)×(2m+1)为低分辨率块的大小，本步骤中选择的块的大小为5×5；
步骤B3)根据提取到的图像块PxL、PxcL和各像素的权值，对训练数据库中的第i个样例三元组(PL(i)，PCL(i)，P′HE(i))，计算其匹配差值SAD(PxL，PL(i)，PCL(i))，1≤i≤I，其中I为数据库中存储的样例三元组的个数，然后，选择匹配差值最小的K个样例三元组，和其中的低分辨率块PL(ki)和低分辨率的卡通块PCL(ki)，其中ki为第k个匹配准则最小的样例对在训练库中的索引值(index)，接下来，运用以上步骤A1中的基于偏微分的插值的方法得到插值之后的块为Cm(ki)，然后，根据以下SAD(PxL，PL(ki)，PCL(ki))的值和式(10)来确定重构块P′cL；其中
这里，w′i为加权系数，P′HE(ki)块由数据库中的样例三元组(PL(ki)，PCL(ki)，P′HE(ki))中的P′HE(ki)而得来；
步骤B4)从坐标(xH，yH)开始到(xH+4m+2，yH+4m+2)间的图像块设置为重构块P′cL，若在此区域中已有之前设置的块，则重叠区域的像素值由此区域中所有的设置块的像素值的平均值来确定，(4m+2)×(4m+2)为高分辨率预测差值块的大小，本步骤中选择的高分辨率块的大小为10×10；
步骤B5)令xL＝xL+3，在低分辨率图像的左上角的横坐标右移三个像素单位，以提取出下一个低分辨率块，xH＝xH+6，样例在高分辨率图像的左上角的横坐标右移六个像素单位；
步骤B6)若xL≤Wf-2m，Wf为低分辨率图像的宽度，则跳到步骤B2)处理下一个块；
步骤B7)令xL＝1，yL＝yL+3，样例在低分辨率图像的左上角的纵坐标下移三个像素，令xH＝1，yH＝yH+6，样例在高分辨率图像的左上角的纵坐标下移六个像素；
步骤B8)若yL≤Hf-2m，Hf为低分辨率图像的高度，则跳到步骤B2)处理下一个块；否则对所有的图像块的处理完毕，得到由各重构块P′cL组成的高分辨率的图像。
2.如权利要求1所述的一种图像超分辨率放大的方法，在其方法中所用到的待放大区域和样本库中的训练样例三元组的匹配差值的确定方法，此方法先对图像块采用Sobe1梯度计算各像素点的梯度，对于梯度值大于200的像素点，确定其权值w(j)＝2；否则w(j)＝1，然后先对待放大块PxL进行卡通和纹理分解，得到低分辨率的卡通图像块PxCL，在此基础上，所提出的匹配准则为
其中，w(j)为所确定的权值，PxCL(j)为低分辨率的卡通图像块中的第j个像素的像素值，λ为一平衡因子，通过大量的实验和优化，在本步骤中λ＝0.4。
3.如权利要求1所述的一种图像超分辨率放大的方法，其中所提出的超分辨率的重构方法，此方法先根据当前待放大的低分辨的块PxL，找到数据库中的K个和当前待放大块PxL由以上式(9)定义的的匹配准则SAD(PxL，PL(ki)，PCL(ki))最小的样例三元组中的低分辨率块PL(ki)和低分辨率的卡通块PCL(ki)，其中ki为第k个匹配准则最小的样例对在训练库中的索引值(index)，然后，按照以上所提出的对卡通块插值的方法，对低分辨率的卡通块PCL(ki)进行如步骤A1所述的基于偏微分方程的插值，得到插值之后的块为Cm(ki)，然后，根据SAD(PxL，PL(ki)，PCL(ki))的值来确定重构块，
其中，w′i反比于SAD(PxL，PL(ki)，PCL(ki))，且P′HE(ki)块由数据库中的样例三元组(PL(ki)，PCL(ki)，P′HE(ki))中的P′HE(ki)而得来。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510266433.6A CN104881842B (zh) | 2015-05-18 | 2015-05-18 | 一种基于图像分解的图像超分辨率方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510266433.6A CN104881842B (zh) | 2015-05-18 | 2015-05-18 | 一种基于图像分解的图像超分辨率方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104881842A CN104881842A (zh) | 2015-09-02 |
| CN104881842B true CN104881842B (zh) | 2019-03-01 |
Family
ID=53949328
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510266433.6A Active CN104881842B (zh) | 2015-05-18 | 2015-05-18 | 一种基于图像分解的图像超分辨率方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104881842B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107341765B (zh) * | 2017-05-05 | 2020-04-28 | 西安邮电大学 | 一种基于卡通纹理分解的图像超分辨率重建方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007322404A (ja) * | 2006-06-05 | 2007-12-13 | Topcon Corp | 画像処理装置及びその処理方法 |
| CN103903241A (zh) * | 2014-04-03 | 2014-07-02 | 浙江师范大学 | 基于带邻边样例的图像超分辨率方法 |
| CN104021523A (zh) * | 2014-04-30 | 2014-09-03 | 浙江师范大学 | 一种基于边缘分类的图像超分辨率放大的新方法 |
-
2015
- 2015-05-18 CN CN201510266433.6A patent/CN104881842B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007322404A (ja) * | 2006-06-05 | 2007-12-13 | Topcon Corp | 画像処理装置及びその処理方法 |
| CN103903241A (zh) * | 2014-04-03 | 2014-07-02 | 浙江师范大学 | 基于带邻边样例的图像超分辨率方法 |
| CN104021523A (zh) * | 2014-04-30 | 2014-09-03 | 浙江师范大学 | 一种基于边缘分类的图像超分辨率放大的新方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于边缘像素点分类和插值的图像放大新算法;端木春江 等;《计算机时代》;20150430(第4期);第1-3页 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104881842A (zh) | 2015-09-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110827213B (zh) | 一种基于生成式对抗网络的超分辨率图像修复方法 | |
| CN110211045A (zh) | 基于srgan网络的超分辨率人脸图像重建方法 | |
| CN107492070A (zh) | 一种双通道卷积神经网络的单图像超分辨率计算方法 | |
| CN109671018A (zh) | 一种基于生成式对抗网络和ResNets技术的图像转换方法及系统 | |
| CN110111256B (zh) | 基于残差蒸馏网络的图像超分辨重建方法 | |
| WO2021022929A1 (zh) | 一种单帧图像超分辨率重建方法 | |
| CN106204447A (zh) | 基于总变差分和卷积神经网络的超分辨率重建方法 | |
| CN109166102A (zh) | 一种基于判别区域候选对抗网络的图像转图像翻译方法 | |
| CN103489174B (zh) | 一种基于残差保持的人脸超分辨率方法 | |
| Xiao et al. | A dual-UNet with multistage details injection for hyperspectral image fusion | |
| CN103020933B (zh) | 一种基于仿生视觉机理的多源图像融合方法 | |
| CN110211035A (zh) | 融合互信息的深度神经网络的图像超分辨率方法 | |
| CN107784628A (zh) | 一种基于重建优化和深度神经网络的超分辨率实现方法 | |
| CN104504672B (zh) | 基于NormLV特征的低秩稀疏邻域嵌入超分辨方法 | |
| Dou et al. | Medical image super-resolution via minimum error regression model selection using random forest | |
| Luo et al. | Bi-GANs-ST for perceptual image super-resolution | |
| CN109559278B (zh) | 基于多特征学习的超分辨图像重建方法及系统 | |
| Ge et al. | G-Loss: A loss function with gradient information for super-resolution | |
| CN112686817B (zh) | 一种基于不确定性估计的图像补全方法 | |
| CN117197627B (zh) | 一种基于高阶退化模型的多模态图像融合方法 | |
| Zheng et al. | Overwater image dehazing via cycle-consistent generative adversarial network | |
| CN104881842B (zh) | 一种基于图像分解的图像超分辨率方法 | |
| Wei et al. | Facial image inpainting with deep generative model and patch search using region weight | |
| Yu et al. | Single image super-resolution based on improved WGAN | |
| Wang | Single image super-resolution with u-net generative adversarial networks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |