CN105761207B - 基于最大线性块邻域嵌入的图像超分辨重建方法 - Google Patents
基于最大线性块邻域嵌入的图像超分辨重建方法 Download PDFInfo
- Publication number
- CN105761207B CN105761207B CN201511032823.3A CN201511032823A CN105761207B CN 105761207 B CN105761207 B CN 105761207B CN 201511032823 A CN201511032823 A CN 201511032823A CN 105761207 B CN105761207 B CN 105761207B
- Authority
- CN
- China
- Prior art keywords
- block
- image
- resolution
- neighborhood
- maximum linear
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000009021 linear effect Effects 0.000 title claims abstract description 99
- 238000000034 method Methods 0.000 title claims abstract description 94
- 238000003780 insertion Methods 0.000 title claims abstract description 32
- 230000037431 insertion Effects 0.000 title claims abstract description 32
- 238000012549 training Methods 0.000 claims abstract description 49
- 238000012360 testing method Methods 0.000 claims abstract description 25
- 239000011159 matrix material Substances 0.000 claims description 31
- 230000003321 amplification Effects 0.000 claims description 12
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 8
- 238000010276 construction Methods 0.000 claims description 6
- HUTDUHSNJYTCAR-UHFFFAOYSA-N ancymidol Chemical compound C1=CC(OC)=CC=C1C(O)(C=1C=NC=NC=1)C1CC1 HUTDUHSNJYTCAR-UHFFFAOYSA-N 0.000 claims description 5
- 230000000694 effects Effects 0.000 claims description 4
- 238000005259 measurement Methods 0.000 claims description 4
- 239000006227 byproduct Substances 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 9
- 238000003384 imaging method Methods 0.000 description 9
- 238000002474 experimental method Methods 0.000 description 6
- 239000003550 marker Substances 0.000 description 5
- 238000011161 development Methods 0.000 description 4
- 230000007812 deficiency Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- VMXUWOKSQNHOCA-UKTHLTGXSA-N ranitidine Chemical compound [O-][N+](=O)\C=C(/NC)NCCSCC1=CC=C(CN(C)C)O1 VMXUWOKSQNHOCA-UKTHLTGXSA-N 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/231—Hierarchical techniques, i.e. dividing or merging pattern sets so as to obtain a dendrogram
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于最大线性块邻域嵌入的图像超分辨重建方法,其主要步骤包括:构造训练样本集,采用层级分裂聚类法进行聚类,将非线性流形近似分为多个最大线性块,聚类之后,用中、高频特征,构建最大线性块;对低分辩测试图像分类,分为边缘块和非边缘块,用两种不同的邻域选取方式重构结果更加精准;邻域选取;邻域嵌入;图像重建,初始重构图像去模糊,得到一幅完整清晰的高分辨率重构图像。本发明通过聚类方法从训练样本的非线性流形中近似得到多个最大线性块结构,结合特征表示和邻域选取实现局部线性邻域嵌入,重构出更加准确的高频信息,大幅降低了时间复杂度,对自然图像的超分辨重建,能恢复更为清晰的边缘细节。
Description
技术邻域
本发明属于图像处理技术邻域,更进一步涉及一种图像超分辨重建方法,具体是一种基于最大线性块邻域嵌入的图像超分辨重建方法,可用于自然图像数据的超分辨重建,经过超分辨重建后的图像,更加易于分类、识别及进一步应用。
背景技术
随着电子信息技术的高速发展,数字图像采集技术被广泛地用于许多实际应用例如计算机视觉、遥感和医学成像、视频监控等等。在各个邻域,随着技术设备的发展以及人们的需求,对数字图像的分辨率有着越来越高的要求,然而由于物理成像系统和成像环境存在一定的局限性从而限制了高分辨率图像的获得。图像超分辨率重建旨在利用信号处理与图像处理的技术从单幅或多幅低分辨图像中恢复出高分辨率图像,克服了成像系统固有的分辨率限制和代价高的缺点,是一种低成本、高效的提高成像质量的方法。在近十年来图像超分辨率重建技术取得了不断的进步,使用信号处理技术从单幅或多幅低分辨图像中恢复出高分辨率图像。
图像超分辨率重建技术已被成功地应用到了遥感成像、医学、生物识别,视频应用等各种应用场景中。在遥感成像邻域,超分辨率重建技术可以促使获得优质的图像从而提高识别的准确性等;在医学邻域中,该技术可以避免由于诊断仪器得到的不好的成像结果而带来的误诊,可以帮助医生做出更加准确的诊断;在生物识别邻域中例如人脸识别、指纹识别等等,超分辨率重建技术可以确保识别的准确性,克服成像不良的缺陷;在视频应用中,该技术能突破原有影像的分辨率限制,促使得到更加清晰的图像视频,带给观众高清的视觉享受。综上所述,超分辨率图像重建技术无论对于科学研究,工业发展以及民生生活的实际应用具有很好的应用前景。
目前已经涌现出了大量的超分辨率图像重建方法,大致可以将它们分为三大类:
(一)基于插值的方法:该方法基于一般的光滑先验从而往往会平滑掉那些变化较小的边缘和区域。
(二)基于多幅图像的方法:该方法认为在低分辨率图像中丢失的高频细节经来自同一场景的一系列亚像素未对准的低分辨率图像而被分散。
(三)基于样例学习的方法:该方法认为低分辨率图像中丢失的高频细节可以从一系列训练样本中学习而获得。与基于多幅图像的方法不同,此类方法在训练样本(低分辨率LR和高分辨率HR图像对)的帮助下,由一副单独的低分辨率(LR)输入而产生高分辨率图像。此类方法被验证得知具有很强的超分辨率能力尤其当放大倍数比较大的时候。
上述三类方法具有一些不足,分别为:
一、不具有足够的判别能力,从而会导致图像模糊的问题;
二、在实际应用中往往不容易获得足够数量的低分辨率图像,并且多幅模糊含噪图像之间配准操作有很大的难度,因此它不适用于实际场景的工程化应用;
三、不合适的训练样本或者特征的提取等因素,都会导致明显的人工痕迹和噪声。
发明内容
本发明的目的在于针对上述已有技术的不足,提出一种基于最大线性块邻域嵌入的图像超分辨率重建方法,该方法利用了邻域的图像信息,能够快捷迅速的处理图像,并获得清晰的图像结果。
本发明是一种基于最大线性块邻域嵌入的图像超分辨重建方法,其特征在于,包括有以下步骤:
步骤1:根据待重构图像的特征,构造训练样本集,从一组训练图像块中提取中、高频特征,用该特征对该组训练样本所在的训练集,采用层级分裂聚类法进行聚类,聚类之后,根据中、高频特征,构建多个不同类的最大线性块(MLP),将不同类的最大线性块分别近似对应于不同的局部线性结构;
步骤2:对低分辩测试图像用梯度直方图特征进行分类,分为边缘块和非边缘块;
步骤3:邻域的选取,对不同类图像块在所构建的最大线性块(MLP)中分别进行各自对应方式的邻域选取,分别得到不同类别邻域图像块;
步骤4:邻域的嵌入,根据图像块的结构不同,为不同类低分辩测试图像块找到与之对应的最大线性块MLP;
步骤5:图像重建,根据上述选取的邻域图像块,使用最小二乘方法来计算重构的高分辨图像块HF,将这些高分辨图像块HF块按原图像顺序放到图中,得到初始估计的高分辨图像,将低分辩图像与之相加就得到了初始重构的图像;
步骤6:为了得到局部最优的重构结果,将得到的初始重构图像去模糊处理,最终得到一幅完整清晰的高分辨率重构图像。
实现本发明的技术方案是:通过聚类方法从训练样本的非线性流形中近似得到多个最大线性块结构,进而实现局部线性邻域嵌入,从而重构出尽可能准确的高频信息,最终完成超分辨重建任务。
本发明的实现还在于,步骤1中采用层级分裂聚类法聚类以及获取最大线性块的过程如下:
(1a)采用层级分裂聚类法进行聚类时,从训练样本集X中每次选择非线性程度最大的块进行分裂,直到所有块都达设定阈值的线性程度,从而得到了多个聚类,称为“最大线性块”,对训练样本集X进行不相交划分得到一组不相交的最大线性块X(i),近似于多个线性流形即:
其中P是局部块的个数,Ni是第i个局部块中数据点的个数,N是所有训练样本集X数据点的总个数,完成聚类;
(1b)聚类完成后,在构建最大线性块时,首先定义一个度量非线性程度的变量:该变量包含图像分块的欧氏距离矩阵DE和测地距离矩阵DG,测地距离矩阵DG和欧式距离矩阵DE之比R,矩阵距离比R(xi,xj)作为非线性程度度量的变量,用设定阈值δ来判别一个图像块是否属于最大线性块,如果该矩阵距离比超过该设定阈值δ,则认为此图像块不属于最大线性块,继续迭代,直至达到阈值,如果矩阵距离比小于等于该设定阈值δ,则属于最大线性块,矩阵距离比R(xi,xj)由下式获得:
R(xi,xj)=DG(xi,xj)/DE(xi,xj)
在估计测地距离DG时,需要构建KNN图,仅当xi是xj的前K个最近邻并且xj是xi的前K个最近邻,连接xi和xj,近邻图构建好后,采用Floyd的Dijkstra算法计算出所有数据点的最短路径,即得出估计测地距离DG,欧式距离DE可直接测得;
(1c)构造另一个大小为k×N的矩阵H,每列H(:,j)(j=1,2,…,N)是数据点xj的k近邻索引,H作为DE和DG计算的副产品,其构造不需要进行额外的计算,用非线性度量函数S(i)来度量一个最大线性块X(i)的非线性程度,非线性度量函数S(i)定义如下:
(1d)根据上述定义,层级分裂聚类法的详细步骤归纳为:
输入:低分辨率训练图像块集对应的高分辨率训练图像块集
第一步:初始化P=1;根据非线性度量函数S(i)定义=计算S(1);
第二步:选择具有最大非线性值S(i)的X(i)(i∈{1,2,…,P})作为双亲聚类(parentcluster);
第三步:如果S(i)>δ,则执行下面步骤:
(1)根据测地距离矩阵DG,从X(i)中选择两个最远的种子点,xl和xr,初始化左、右孩子聚类:更新X(i)←X(i)\{xl,xr};
(2)当执行
●对于当前根据邻域数据索引矩阵H,构造它的近邻点集,用Cl表示,Cl包含了在中所有点的KNN;
●对于当前的构造它的近邻点集,用Cr表示,与1)相似;
●更新:
(3)X(i)分裂成为:和更新:P←P+1,根据非线性度量函数S(i)计算和
第四步:否则即S(i)≤δ,说明满足迭代要求,返回当前聚类结果,层级分裂聚类法(HDC)终止;
第五步:若不满足条件,返回到第二步继续迭代,直至满足迭代要求,停止迭代;输出:不相交的最大线性块s{X(1),X(2),…,X(P)}集合,该不相交的最大线性块即
为层级分裂聚类结果。
以上即为对训练样本集,进行层级分裂聚类的全部过程。
本发明提出的层级分裂聚类法,针对邻域嵌入的超分辨重建中梯度特征以及其他简单线性线性特征的不足,使用中高频特征来匹配图像块,旨在恢复出更为准确的高频细节。由于大量的训练集往往具有非线性的流形结构,LLE线性嵌入并不能准确地找到嵌入流形,所以本发明采用层级分裂聚类(HDC)的方法来将非线性流形近似分为多个最大线性块,从而更适合使用线性嵌入的方法。
本发明的实现还在于,步骤2中对低分辩测试图像进行分类过程如下:
(2a)对输入的低分辩图像块进行分类,根据像素梯度信息建立一个块的直方图,先求出某像素点(i,j)处的梯度g(i,j)和角度θ(i,j),其中,
梯度:
角度:θ(i,j)=arctan(gy(i,j)/gx(i,j)),0<θ(i,j)<2π;
(2b)对于每个测试图像块,计算其角度直方图h(·):
如果g(i,j)>Tg
其中δθ表示在直方图中的间隔宽度,为了减小噪音问题,用阈值Tg用来限定梯度幅值;
(2c)对得到的直方图进行低通滤波,找到最大值l1和次大值l2,通过这两个值的大小关系来判断测试图像块是边缘块还是非边缘块;
(2d)如果l2<min(l1/3,T1),则该测试图像块为边缘块,反之l2≥min(l1/3,T1),为非边缘块,T1为一个阈值;至此,对低分辩测试图像块分类结束。
本发明虑到图像块的类别差异,将图像分为边缘块和非边缘块,采取两种不同的邻域选取方式对他们进行处理,从而使重构结果更精准。
本发明的实现还在于,步骤3邻域的选取过程如下:
(3a)领域粗选,在所选取的最大线性块中进行近邻选取,为了减小邻域选取的复杂度和冗余性,先在该最大线性块中,使用KNN选取较大范围的候选邻域K;
(3b)邻域精选,从上述粗选的K个近邻中选出更加准确的近邻:
(3b1)对于一个输入的低分辩边缘块,选出提供尖锐边缘信息并且没有振铃效应的高分辨率图像块近邻,采用以下的测量准则P1对边缘块进行邻域精选:
其中gmag(i,j)表示在放大的低分辩块和一个候选的高分辨块中像素(i,j)处的梯度,gHR(i,j)表示在放大的低分辩块和一个候选的高分辨块中像素(i,j)处的幅值,为了使得测量具有鲁棒性,只对集合A中,即梯度幅值足够大的那些像素点进行计算,因为尖锐的边缘的P1值较大,从K个候选近邻中选取P1最大的前k(k<<K)个高分辨近邻作为精选的高分辨近邻。
(3b2)对于一个输入的低分辩非边缘块,选取可以提供尖锐的细节并且不引入人工痕迹的高分辨近邻,使用放大的低分辩块的梯度幅值和角度以及一个候选的高分辨块,根据如下一个测量准则,用于同时测量两个块之间的结构相似度以及高分辨块的尖锐程度:
其中B表示在块中的所有像素的一个集合,Δθ(i,j)是在像素(i,j)处放大的低分辩块和候选高分辨块之间梯度的角度差,R值是根据gmag限定了HR像素的梯度值,从K个候选近邻中选取P2最大的前k(k<<K)个HF近邻作为精选的HF近邻。至此,领域的选取完成。
本发明将非线性流形分为多个最大线性块,在训练集中先粗选较多的候选近邻,然后根据使用梯度直方图判别块类别,在这些候选近邻中用不同的选取方法筛选出合适数量的近邻,在特征表示和邻域选取两部分做了改进,降低了时间复杂度,程序运行时间大幅缩短。
与现有技术相比,本发明有以下优点:
针对邻域嵌入的超分辨重建中梯度特征以及其他简单线性线性特征的不足,
1、本发明使用中、高频特征来匹配图像块,能够恢复出更为准确的高频细节;
2、本发明使用大量的训练集往往具有非线性的流形结构,普通LLE线性嵌入并不能准确地找到嵌入流形,所以采用一种层级分裂聚类(HDC)的方法来将非线性流形近似分为多个最大线性块,从而更适合使用线性嵌入的方法;
3、考虑到图像块的类别差异,先将图像块分类为边缘块和非边缘块,对他们分别采取两种不同的邻域选取方式,使得重构结果更加精准;
4、本发明结合特征表示和邻域选取两部分在邻域嵌入的方法上做了改进,大幅降低了时间复杂度,从多幅测试的自然图像的重建结果来看,该方法在视觉效果和数值上都取得了较好的结果,恢复出了更加清晰和丰富的高频细节,整体上优于其他几种具有代表性的对比方法,从而证实了其可行性和有效性。
附图说明
图1是基于最大线性块邻域嵌入的图像超分辨重建方法框图;
图2是由梯度特征和MF特征找到的近邻和重构的HR块;
图3是非线性流形局部近似线性示意图;
图4是层级分裂聚类方法示意图;
图5是边缘块和非边缘块的角度直方图。
具体实施方式
随着技术设备的发展,现代科学技术研究以及生产生活的需要,对数字图像的分辨率有着越来越高的要求,然而由于物理成像系统和成像环境存在一定的局限性从而限制了高分辨率图像的获得。图像超分辨率重建是为了利用信号处理与图像处理的技术从单幅或多幅低分辨图像中恢复出高分辨率图像,克服了成像系统固有的分辨率限制和代价高的缺点,是一种低成本、高效的提高成像质量的方法。
实施例1
本发明正是在超分辨技术领域进行创新和研究,具体是一种基于最大线性块邻域嵌入的图像超分辨重建方法,参见图1,本发明超分辨重建过程包括有以下步骤:
步骤1:根据待重构图像的特征,构造训练样本集,从一组训练图像块中提取中、高频特征,用该特征对该组训练样本所在的训练集,采用层级分裂聚类法进行聚类,将非线性流形近似分为多个最大线性块,以便适合使用线性嵌入,使得聚类结果更加准确,聚类之后,根据中、高频特征,构建多个不同类的最大线性块(MLP),将不同类的最大线性块分别近似对应于不同的局部线性结构。
中、高频的特征提取方法如下:
首先准备一组高、低分辨率的训练图像,其中低分辨率图像(LR)是通过对高分辨率图像(HR)模糊下采样得到的。对每幅LR图像用Bicubic插值放大至与其对应的HR图像,将该放大的LR图像记为MR,可以认为其中只包含低频和中频分量,则高频图像为HF=HR-MR。
其次,对MR进行高斯低通滤波,得到只包含低频信息的图像,记为MR1,则近似认为其中只包含低频分量,则中频分量图像为MF=MR-MR1。
最后,将所有的训练图像进行如上处理,得到它们各自的MF中频图像和HF高频图像,然后依次将HF和MF图像重叠分块并将图像块拉成列向量并归一化,于是便得到由HF和MF块的列向量构成的两个集合作为高、低分辨率的两个训练特征集,分别记为和其中表示中频特征向量,为高频特征向量,N是训练样本对的个数。
步骤2:对低分辩测试图像LF用梯度直方图特征进行分类,分为边缘块和非边缘块;
步骤3:邻域的选取,对不同类图像块在所构建的最大线性块(MLP)中分别进行各自对应方式的邻域选取,分别得到不同类别邻域图像块;
步骤4:邻域的嵌入,根据图像块的结构不同,为不同类低分辩测试图像块找到与之对应的最大线性块MLP;
步骤5:图像重建,根据上述选取的邻域图像块,使用最小二乘方法来计算重构的高分辨图像块HF,将这些高分辨图像HF块按原图像顺序放到图中,得到初始估计的高分辨图像,将低分辩图像LF与之相加就得到了初始重构的图像;
步骤6:为了得到局部最优的重构结果,将得到的初始重构图像去模糊处理,最终得到一幅完整清晰的高分辨率重构图像。
本发明对邻域嵌入的超分辨率重建,即邻域嵌入的超分辨重建,重建过程中对训练样本集的构造以及邻域选取进行了改进,旨在通过聚类方法从训练样本的非线性流形中近似得到多个最大线性块结构,进而实现局部线性邻域嵌入,从而重构出尽可能准确的高频信息,对于自然图像的超分辨重建问题,能够恢复出更为清晰的边缘细节,取得了目前较好的结果。
实施例2
基于最大线性块邻域嵌入的图像超分辨率重建方法同实施例1,步骤1中采用层级分裂聚类法聚类以及获取最大线性块的过程如下:
(1a)采用层级分裂聚类法进行聚类时,从训练样本集X中每次选择非线性程度最大的块进行分裂,直到所有块都达设定阈值的线性程度,从而得到了多个聚类,称为“最大线性块”,对训练样本集X进行不相交划分得到一组不相交的最大线性块X(i),近似于多个线性流形即:
其中P是局部块的个数,Ni是第i个局部块中数据点的个数,N是所有训练样本集X数据点的总个数,完成聚类;
(1b)聚类完成后,在构建最大线性块时,首先定义一个度量非线性程度的变量:该变量包含图像分块的欧氏距离矩阵DE和测地距离矩阵DG,测地距离矩阵DG和欧式距离矩阵DE之比R,矩阵距离比R(xi,xj)作为非线性程度度量的变量,用设定阈值δ来判别一个图像块是否属于最大线性块,如果该矩阵距离比超过该设定阈值δ,则认为此图像块不属于最大线性块,继续迭代,直至达到阈值,如果矩阵距离比小于等于该设定阈值δ,则属于最大线性块,矩阵距离比R(xi,xj)由下式获得:
R(xi,xj)=DG(xi,xj)/DE(xi,xj)
在估计测地距离DG时,需要构建KNN图,仅当xi是xj的前K个最近邻并且xj是xi的前K个最近邻,连接xi和xj,近邻图构建好后,采用Floyd的Dijkstra算法计算出所有数据点的最短路径,即得出估计测地距离DG,欧式距离DE可直接测得;
(1c)构造另一个大小为k×N的矩阵H,每列H(:,j)(j=1,2,…,N)是数据点xj的k近邻索引,H作为DE和DG计算的副产品,其构造不需要进行额外的计算,用非线性度量函数S(i)来度量一个最大线性块X(i)的非线性程度,非线性度量函数S(i)定义如下:
该函数能够有效的对图像块X(i)的非线性程度进行度量,通过一个阈值来判定,当S(i)>δ时,说明图像块未满足线性要求,对其继续迭代,直到S(i)≤δ,说明满足迭代要求,返回当前聚类结果,层级分裂聚类法HDC终止。
(1d)根据上述定义,层级分裂聚类法的详细步骤归纳为:
输入:低分辨率训练图像块集对应的高分辨率训练图像块集
第一步:初始化P=1;根据非线性度量函数S(i)定义=计算S(1);
第二步:选择具有最大非线性值S(i)的X(i)(i∈{1,2,…,P})作为双亲聚类(parentcluster);
第三步:如果S(i)>δ,则执行下面步骤:
(1)根据测地距离矩阵DG,从X(i)中选择两个最远的种子点,xl和xr,初始化左、右孩子聚类:更新X(i)←X(i)\{xl,xr};
(2)当执行
●对于当前根据邻域数据索引矩阵H,构造它的近邻点集,用Cl表示,Cl包含了在中所有点的KNN;
●对于当前的构造它的近邻点集,用Cr表示,与1)相似;
●更新:
(3)X(i)分裂成为:和更新:P←P+1,根据非线性度量函数S(i)计算和
第四步:否则即S(i)≤δ,说明满足迭代要求,返回当前聚类结果,层级分裂聚类法(HDC)终止;
第五步:若不满足条件,返回到第二步继续迭代,直至满足迭代要求,停止迭代;输出:不相交的最大线性块s{X(1),X(2),…,X(P)}集合,该不相交的最大线性块即为层级分裂聚类结果。
以上即为对训练样本集,进行层级分裂聚类的全部过程。
本发明做超分辨重建,需要对大量图像数据进行处理,使用了大量的训练集,而训练集往往具有非线性的流形结构,普通LLE线性嵌入并不能准确地找到嵌入流形,本发明采用上述层级分裂聚类(HDC)的方法来将非线性流形近似分为多个最大线性块,准确地找到嵌入流形,从而更适合使用线性嵌入的方法。
实施例3
基于最大线性块邻域嵌入的图像超分辨率重建方法同实施例1-2,步骤2中对低分辩测试图像进行分类过程如下:
(2a)对输入的低分辩图像块进行分类,根据像素梯度信息建立一个块的直方图,先求出某像素点(i,j)处的梯度g(i,j)和角度θ(i,j),其中,
梯度:
角度:θ(i,j)=arctan(gy(i,j)/gx(i,j)),0<θ(i,j)<2π;
(2b)对于每个测试图像块,计算其角度直方图h(·):
如果g(i,j)>Tg
其中δθ表示在直方图中的间隔宽度,为了减小噪音问题,用阈值Tg用来限定梯度幅值;
(2c)对得到的直方图进行低通滤波,找到最大值l1和次大值l2,通过这两个值的大小关系来判断测试图像块是边缘块还是非边缘块;
(2d)如果l2<min(l1/3,T1),则该测试图像块为边缘块,反之l2≥min(l1/3,T1),为非边缘块,T1为一个阈值;至此,对低分辩测试图像块分类结束。
本发明虑到图像块的类别差异,将图像分为边缘块和非边缘块,采取两种不同的邻域选取方式对进行处理,从而使重构结果更精准。
实施例4
基于最大线性块邻域嵌入的图像超分辨率重建方法同实施例1-3,步骤3邻域的选取过程如下:
(3a)领域粗选,在所选取的最大线性块中进行近邻选取,为了减小邻域选取的复杂度和冗余性,先在该最大线性块中,使用KNN选取较大范围的候选邻域K;
(3b)邻域精选,从上述粗选的K个近邻中选出更加准确的近邻:
(3b1)对于一个输入的低分辩边缘块,选出提供尖锐边缘信息并且没有振铃效应的高分辨率图像块近邻,采用以下的测量准则P1对边缘块进行邻域精选:
其中gmag(i,j)表示在放大的低分辩块和一个候选的高分辨块中像素(i,j)处的梯度,gHR(i,j)表示在放大的低分辩块和一个候选的高分辨块中像素(i,j)处的幅值,为了使得测量具有鲁棒性,只对集合A中,即梯度幅值足够大的那些像素点进行计算,因为尖锐的边缘的P1值较大,从K个候选近邻中选取P1最大的前k(k<<K)个高分辨近邻作为精选的高分辨近邻。
(3b2)对于一个输入的低分辩非边缘块,选取可以提供尖锐的细节并且不引入人工痕迹的高分辨近邻,使用放大的低分辩块的梯度幅值和角度以及一个候选的高分辨块,根据如下一个测量准则,用于同时测量两个块之间的结构相似度以及高分辨块的尖锐程度:
其中B表示在块中的所有像素的一个集合,Δθ(i,j)是在像素(i,j)处放大的低分辩块和候选高分辨块之间梯度的角度差,R值是根据gmag限定了HR像素的梯度值,从K个候选近邻中选取P2最大的前k(k<<K)个HF近邻作为精选的HF近邻。至此,邻域的选取完成。
本发明将非线性流形分为多个最大线性块,在训练集中先粗选较多的候选近邻,然后根据使用梯度直方图判别块类别,在这些候选近邻中用不同的选取方法筛选出合适数量的近邻,在特征表示和邻域选取两部分做了改进,降低了时间复杂度,程序运行时间大幅缩短。
本发明的效果可以通过以下仿真实验进一步说明。
实施例5
基于最大线性块邻域嵌入的图像超分辨率重建方法同实施例1-4,
1.仿真实验条件。
本实验采用IndianPines数据集作为实验数据,采用软件MATLAB 7.10.0作为仿真工具,计算机配置为Intel Core i5/2.27G/2G。
IndianPines高光谱数据92AV3C:该场景为AVIRIS传感器于1992年6月获得的印第安纳州西北部的IndianPines测试地,该数据大小为145×145,每个像元有220个波段,去掉含有噪声的20个波段,仅保留剩下的200个波段,该数据共包含16类地物。
2.仿真实验内容。
仿真1,在IndianPines高光谱数据上进行不同标记样本个数下的仿真实验,并将本发明方法与现有的以下四种降维方法进行对比:1)基于稀疏保持的半监督降维SSDRsp;2)基于成对约束的半监督降维SSDR;3)局部fisher判别分析LFDA;4)主成分分析PCA。
实验中,本发明空间一致性正则参数流形正则参数表中OA代表总体精度,AA表示平均精度,Kappa表示Kappa系数。
表1给出了标记样本个数分别取{5,6,8}时,用最近邻分类器对降维后数据进行30次仿真分类的实验对比结果。
表1:本发明与现有方法在不同标记样本个数下的对比结果
从表1可见,本发明在每类标记样本个数为{5,6,8}时,精度在表中所列的五种方法中是最高的,且方差是最小的,因此本发明具有较好的鲁棒性。
实施例6
基于最大线性块邻域嵌入的图像超分辨率重建方法同实施例1-4,仿真条件和内容同实施例5
仿真2,对每类标记样本个数为5和8时,用最近邻分类器对降维后的数据进行分类。结果如图4,其中图4(a)是标记样本个数为5时的分类结果标记图,图4(b)是标记样本个数为8时的分类结果标记图。
由图4可以看出,本发明在少量监督信息的情况下,就可以获取较好影像空间结构一致性,证明了本发明的有效性。
综上,本发明的基于最大线性块邻域嵌入的图像超分辨重建方法,其主要步骤包括:构造训练样本集,采用层级分裂聚类法进行聚类,将非线性流形近似分为多个最大线性块,以便使用线性嵌入,聚类之后,用中、高频特征,构建多个不同类的最大线性块;对低分辩测试图像用梯度直方图特征进行分类,采用两种不同的邻域选取方式,使重构结果更加精准;邻域的选取,为输入的测试块找到最相似的MLP,并判别输入块的类别进行不同方式的邻域选取;邻域的嵌入,为不同类低分辩测试图像块找到与之对应的最大线性块MLP;图像重建初始重构图像去模糊处理,最终得到一幅完整清晰的高分辨率重构图像。
本发明对邻域嵌入的超分辨率重建中训练样本集的构造以及邻域选取进行了改进,通过聚类方法从训练样本的非线性流形中近似得到多个最大线性块结构,进而实现局部线性邻域嵌入,从而重构出尽可能准确的高频信息,创新点在于,在对训练样本聚类的时候,提出了一种层级分裂聚类的方法,并且结合特征表示和邻域选取两部分在邻域嵌入的方法上做了改进,大幅降低了时间复杂度,对于自然图像的超分辨重建问题,能够恢复出更为清晰的边缘细节,取得了目前较好的结果。
Claims (4)
1.一种基于最大线性块邻域嵌入的图像超分辨重建方法,其特征在于,包括有以下步骤:
步骤1:根据待重构图像的特征,构造训练样本集,从一组训练图像块中提取中、高频特征,对该组训练样本所在的训练集进行聚类,具体采用层级分裂聚类法聚类,将非线性流形近似分为多个最大线性块,使用线性嵌入,聚类后,根据中、高频特征构建多个不同类的最大线性块,将不同类的最大线性块分别近似对应于不同的局部线性结构;
步骤2:对低分辩测试图像用梯度直方图特征进行分类,分为边缘块和非边缘块;
步骤3:邻域的选取,对不同类图像块在所构建的最大线性块中分别进行各自对应方式的邻域选取,分别得到不同类别邻域图像块;
步骤4:邻域的嵌入,根据图像块的结构不同,为不同类低分辩测试图像块找到与之对应的最大线性块;
步骤5:图像重建,根据上述选取的邻域图像块,使用最小二乘方法来计算重构的高分辨图像块HF,将这些高分辨图像块HF块按原图像顺序放到图中,得到初始估计的高分辨图像,将低分辩图像与之相加就得到了初始重构的图像;
步骤6:将得到的初始重构图像去模糊处理,最终得到一幅完整清晰的高分辨率重构图像。
2.根据权利要求1所述的基于最大线性块邻域嵌入的图像超分辨重建方法,其特征在于:步骤1中采用层级分裂聚类法聚类以及获取最大线性块的过程如下:
(1a)采用层级分裂聚类法进行聚类时,从训练样本集X中每次选择非线性程度最大的块进行分裂,直到所有块都达设定阈值的线性程度,从而得到了多个聚类,称为“最大线性块”,对训练样本集X进行不相交划分得到一组不相交的最大线性块X(i),近似于多个线性流形即:
其中P是局部块的个数,Ni是第i个局部块中数据点的个数,N是所有训练样本集X数据点的总个数,完成聚类;
(1b)聚类完成后,在构建最大线性块时,首先定义一个度量非线性程度的变量:该变量包含图像分块的欧氏距离矩阵DE和测地距离矩阵DG,矩阵距离比R(xi,xj)作为非线性程度度量的变量,用设定阈值δ来判别一个图像块是否属于最大线性块,如果该矩阵距离比超过该设定阈值δ,则认为此图像块不属于最大线性块,如果矩阵距离比小于等于该设定阈值δ,则属于最大线性块,矩阵距离比R(xi,xj)由下式获得:
R(xi,xj)=DG(xi,xj)/DE(xi,xj)
在估计测地距离DG时,需要构建KNN图,仅当xi是xj的前K个最近邻并且xj是xi的前K个最近邻,连接xi和xj,近邻图构建好后,采用Floyd的Dijkstra算法计算出所有数据点的最短路径,即得出估计测地距离DG;
(1c)构造另一个大小为k×N的矩阵H,每列H(:,j)(j=1,2,…,N)是数据点xj的k近邻索引,H作为DE和DG计算的副产品,用非线性度量函数S(i)来度量一个最大线性块X(i)的非线性程度,非线性度量函数S(i)定义如下:
(1d)根据上述定义,层级分裂聚类法的详细步骤归纳为:
输入:低分辨率训练图像块集对应的高分辨率训练图像块集
第一步:初始化P=1;根据非线性度量函数S(i)定义=计算S(1);
第二步:选择具有最大非线性值S(i)的X(i)(i∈{1,2,…,P})作为双亲聚类;
第三步:如果S(i)>δ,则执行下面步骤:
(1)根据测地距离矩阵DG,从X(i)中选择两个最远的种子点,xl和xr,初始化左、右孩子聚类:更新X(i)←X(i)\{xl,xr};
(2)当执行
●对于当前根据邻域数据索引矩阵H,构造它的近邻点集,用Cl表示,Cl包含了在中所有点的KNN;
●对于当前的构造它的近邻点集,用Cr表示,与1)相似;
●更新:
(3)X(i)分裂成为:和更新P←P+1,根据非线性度量函数S(i)计算和
第四步:否则即S(i)≤δ,说明满足迭代要求,返回当前聚类结果,层级分裂聚类法终止;
第五步:若不满足条件,返回到第二步继续迭代,直至满足迭代要求,停止迭代;
输出:不相交的最大线性块s{X(1),X(2),…,X(P)}集合,该不相交的最大线性块即为层级分裂聚类结果。
3.根据权利要求1所述的基于最大线性块邻域嵌入的图像超分辨重建方法,其特征在于:步骤2中对低分辩测试图像进行分类过程如下:
(2a)对输入的低分辩图像块进行分类,根据像素梯度信息建立一个块的直方图,先求出某像素点(i,j)处的梯度g(i,j)和角度θ(i,j),其中,
梯度:
角度:θ(i,j)=arctan(gy(i,j)/gx(i,j)),0<θ(i,j)<2π;
(2b)对于每个测试图像块,计算其角度直方图h(·):
如果g(i,j)>Tg
其中δθ表示在直方图中的间隔宽度,用阈值Tg用来限定梯度幅值;
(2c)对得到的直方图进行低通滤波,找到最大值l1和次大值l2,通过这两个值的大小关系来判断测试图像块是边缘块还是非边缘块;
(2d)如果l2<min(l1/3,T1),则该测试图像块为边缘块,反之l2≥min(l1/3,T1),为非边缘块。
4.根据权利要求1所述的基于最大线性块邻域嵌入的图像超分辨重建方法,其特征在于:步骤3邻域的选取过程如下:
(3a)领域粗选,在所选取的最大线性块中进行近邻选取,先在该最大线性块中,使用KNN选取较大范围的K个候选近邻;
(3b)邻域精选,从上述K个候选近邻中选出更加准确的近邻:
(3b1)对于一个输入的低分辩边缘块,选出提供尖锐边缘信息并且没有振铃效应的高分辨率图像块近邻,采用以下的测量准则P1对边缘块进行邻域精选:
其中gmag(i,j)表示在放大的低分辩块和一个候选的高分辨块中像素(i,j)处的梯度,gHR(i,j)表示在放大的低分辩块和一个候选的高分辨块中像素(i,j)处的幅值,只对集合A中,即梯度幅值足够大的那些像素点进行计算,因为尖锐的边缘的P1值较大,从K个候选近邻中选取P1最大的前k(k<<K)个高分辨近邻作为精选的高分辨近邻;
(3b2)对于一个输入的低分辩非边缘块,选取可以提供尖锐的细节并且不引入人工痕迹的高分辨近邻,使用放大的低分辩块的梯度幅值和角度以及一个候选的高分辨块,根据如下一个测量准则,用于同时测量两个块之间的结构相似度以及高分辨块的尖锐程度:
其中B表示在块中的所有像素的一个集合,Δθ(i,j)是在像素(i,j)处放大的低分辩块和候选高分辨块之间梯度的角度差,R值是根据gmag限定了HR像素的梯度值,从K个候选近邻中选取P2最大的前k(k<<K)个HF近邻作为精选的HF近邻。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510232417 | 2015-05-08 | ||
CN2015102324175 | 2015-05-08 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105761207A CN105761207A (zh) | 2016-07-13 |
CN105761207B true CN105761207B (zh) | 2018-11-16 |
Family
ID=56342308
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201511032823.3A Active CN105761207B (zh) | 2015-05-08 | 2015-12-31 | 基于最大线性块邻域嵌入的图像超分辨重建方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105761207B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106530231B (zh) * | 2016-11-09 | 2020-08-11 | 武汉工程大学 | 一种基于深层协作表达的超分辨率图像的重建方法及系统 |
CN108288250A (zh) * | 2017-12-29 | 2018-07-17 | 郑州升达经贸管理学院 | 基于tgv正则化的红外遥感图像超分辨率重建方法 |
CN110084752B (zh) * | 2019-05-06 | 2023-04-21 | 电子科技大学 | 一种基于边缘方向和k均值聚类的图像超分辨重建方法 |
CN112884736B (zh) * | 2021-02-08 | 2021-08-17 | 吉林省水利水电勘测设计研究院 | 一种水源地生态监测预警系统及其控制方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102243711A (zh) * | 2011-06-24 | 2011-11-16 | 南京航空航天大学 | 一种基于邻域嵌套的图像超分辨率重建方法 |
CN103714526A (zh) * | 2013-12-24 | 2014-04-09 | 西安电子科技大学 | 基于稀疏多流形嵌入的超分辨率图像重构方法 |
CN104504672A (zh) * | 2014-12-27 | 2015-04-08 | 西安电子科技大学 | 基于NormLV特征的低秩稀疏邻域嵌入超分辨方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8233676B2 (en) * | 2008-03-07 | 2012-07-31 | The Chinese University Of Hong Kong | Real-time body segmentation system |
-
2015
- 2015-12-31 CN CN201511032823.3A patent/CN105761207B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102243711A (zh) * | 2011-06-24 | 2011-11-16 | 南京航空航天大学 | 一种基于邻域嵌套的图像超分辨率重建方法 |
CN103714526A (zh) * | 2013-12-24 | 2014-04-09 | 西安电子科技大学 | 基于稀疏多流形嵌入的超分辨率图像重构方法 |
CN104504672A (zh) * | 2014-12-27 | 2015-04-08 | 西安电子科技大学 | 基于NormLV特征的低秩稀疏邻域嵌入超分辨方法 |
Non-Patent Citations (3)
Title |
---|
Dual-Geometric Neighbor Embedding for Image Super resolution with sparse tensor;shuyuan yang等;《IEEE transactions on image processing A publication of the IEEE signal processing society》;20140731;全文 * |
Single image super resolution via learned representative features and sparse manifold embedding;zhangliao等;《2014 international joint conference on neural networks(IJCNN)》;20140731;全文 * |
自适应邻域选取的邻域嵌入的超分辨率重建算法;曹明明等;《信号处理》;20150125;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN105761207A (zh) | 2016-07-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110717354B (zh) | 基于半监督k-svd与多尺度稀疏表示的超像元分类方法 | |
US20190205758A1 (en) | Gland segmentation with deeply-supervised multi-level deconvolution networks | |
CN105761207B (zh) | 基于最大线性块邻域嵌入的图像超分辨重建方法 | |
CN104504669B (zh) | 一种基于局部二值模式的中值滤波检测方法 | |
CN109165682A (zh) | 一种融合深度特征和显著性特征的遥感图像场景分类方法 | |
CN104881671B (zh) | 一种基于2D‑Gabor的高分遥感影像局部特征提取方法 | |
CN105528595A (zh) | 在无人机航拍图像中对输电线路绝缘子的识别定位方法 | |
CN107784319A (zh) | 一种基于增强卷积神经网络的病理图像分类方法 | |
CN106897681A (zh) | 一种遥感图像对比分析方法及系统 | |
CN111860570B (zh) | 一种云微粒子图像提取及分类方法 | |
CN111292336B (zh) | 基于分段式球面投影格式的全向图像无参考质量评价方法 | |
CN104298974A (zh) | 一种基于深度视频序列的人体行为识别方法 | |
CN111179187A (zh) | 基于循环生成对抗网络的单幅图像去雨方法 | |
CN109461163A (zh) | 一种用于磁共振标准水模的边缘检测提取算法 | |
CN104217459A (zh) | 一种球面特征提取方法 | |
CN114742799A (zh) | 基于自监督异构网络的工业场景未知类型缺陷分割方法 | |
CN105654122A (zh) | 基于核函数匹配的空间金字塔物体识别方法 | |
CN111291818B (zh) | 一种面向云掩膜的非均匀类别的样本均衡化方法 | |
CN113298039A (zh) | 一种顾及遥感图像旋转目标的目标检测方法 | |
CN106503743A (zh) | 一种数量多且维数高的图像局部特征点自适应聚类方法 | |
CN113850748A (zh) | 点云质量的评估系统及方法 | |
Lee et al. | Applying cellular automata to hyperspectral edge detection | |
CN107665347A (zh) | 基于滤波优化的视觉显著性目标检测方法 | |
CN111738310B (zh) | 物料分类方法、装置、电子设备和存储介质 | |
CN106548195A (zh) | 一种基于改进型hog‑ulbp特征算子的目标检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |