CN107155096B - 一种基于半误差反向投影的超分辨率重建方法及装置 - Google Patents
一种基于半误差反向投影的超分辨率重建方法及装置 Download PDFInfo
- Publication number
- CN107155096B CN107155096B CN201710258888.2A CN201710258888A CN107155096B CN 107155096 B CN107155096 B CN 107155096B CN 201710258888 A CN201710258888 A CN 201710258888A CN 107155096 B CN107155096 B CN 107155096B
- Authority
- CN
- China
- Prior art keywords
- image
- resolution
- definition picture
- error
- iterations
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 230000006870 function Effects 0.000 claims description 21
- 238000006073 displacement reaction Methods 0.000 claims description 14
- 238000003384 imaging method Methods 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 7
- 238000005070 sampling Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 4
- 230000000007 visual effect Effects 0.000 abstract description 5
- 230000001186 cumulative effect Effects 0.000 abstract description 2
- 230000003321 amplification Effects 0.000 description 5
- 238000003199 nucleic acid amplification method Methods 0.000 description 5
- 238000010845 search algorithm Methods 0.000 description 4
- 238000009825 accumulation Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000010187 selection method Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3179—Video signal processing therefor
- H04N9/3188—Scale or resolution adjustment
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B21/00—Projectors or projection-type viewers; Accessories therefor
- G03B21/14—Details
- G03B21/142—Adjusting of projection optics
Landscapes
- Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于半误差反向投影的超分辨率重建方法,该方法包括步骤:获得M帧实际观测图像;计算初始的高分辨率图像;根据实际观测图像及初始高分辨率图像,得到第t+1次迭代的高分辨率图像;对高分辨率图像进行模拟观测,获得相应的模拟观测低分辨率图像,计算t+1次迭代的实际观测图像与模拟观测低分辨率图像之间的误差;反向投影误差或者实际观测图像到高分辨率图像中;结果满意后停止迭代。该方法可以有效地减少“振铃”伪影的累积效应,使得重建的高分辨率图像有更好的质量和视觉体验。还公开了一种基于半误差反向投影的超分辨率重建装置。
Description
技术领域
本发明涉及图像及视频数据处理领域,特别涉及一种基于半误差反向投影的超分辨率重建方法及装置。
背景技术
对于同一场景来说,更高分辨率的图像包含更多的细节。无论是从应用角度还是从视觉体验的角度来说,都期望获得高分辨率的图像。然而在现实中,许多因素导致无法获得高分辨率的图像。这些因素非常多,比如由于成本控制,导致购得的摄像机不够好;或者在某些特定场景下,不能获得高分辨率的图像。这些因素也包括大气湍流,运动模糊,系统响应函数和噪声等。成像经过这些因素影响,常常获得的图像的分辨率不高,这样的图像被称之为低分辨率图像。然而,生产生活中迫切需要获得高分辨率场景的图像。如果通过更新硬件设备来提高图像质量,在许多情况下常常带来巨大成本。
一种有效的方法是通过软件来实现从低分辨率图像获得高分辨率图像。这类技术被称之为超分辨率图像重建。这些方法可以被分为基于插值的方法和基于最优化的方法。基于插值的方法是非迭代的,由于没有利用误差来修改前面的估计,结果会比基于最优化方法的差。尽管基于最优化的方法得到图像的分辨率更高,但是这种方法要么有运算时间很长,要么效果较差(比如,存在伪影)。其中反向迭代投影方法是计算量小,被广泛利用。这种方法的基本思路是,将低分辨率图像进行上采样放大,作为高分辨率的估计;然后将高分辨率估计,下采样得到模拟的低分辨率图像,再将实际观测的低分辨率图像与模拟观测低分辨率图像之间的误差投影到高分辨率图像中去,不断迭代获得高分辨率图像。然而这种方法有很大的缺点就是在重建的高分辨率图像的边缘部分,常常会带有“振铃”伪影。这种“振铃”伪影会严重影响视觉体验,使得它的应用范围受限。
发明内容
(一)要解决的技术问题
为了克服现有技术中存在的问题,本发明提出一种基于半误差反向投影的超分辨率重建方法及装置。
(二)技术方案
根据本发明的一个方面,提出了一种基于半误差反向投影的超分辨率重建方法,该方法包括步骤:
步骤1,获得M帧实际观测图像Xrl,M大于等于2,所述图像存储在一个四维数组中Xlr(i,j,k,m),其中i,j分别是低分辨率图像像素值的横纵坐标,k是图像的通道信息,m是图像的帧数;
步骤2,计算初始的高分辨率图像Yhr,0;
步骤3,根据实际观测图像及初始高分辨率图像,得到第t+1次迭代的高分辨率图像为Ylhr,t+1(p,q,k),对高分辨率图像进行模拟观测,获得相应的模拟观测低分辨率图像Xsl,t大于等于0;
步骤4,计算t+1次迭代的实际观测图像Xrl(i,j,k)与模拟观测低分辨率图像之间的误差Xdiff,t+1(i,j,k);
步骤5,反向投影误差或者实际观测图像Xrl到高分辨率图像Yhr中;
步骤6,令t=t+1,重复步骤4至步骤6,直到获得满意的结果。
根据本发明的另一方面,提出一种基于半误差反向投影的超分辨率重建装置,该装置包括存储器和处理器,其中存储器存储有计算机程序,所述处理器用于执行所述程序能够实现以下步骤:
步骤1,获得M帧实际观测图像Xrl,M大于等于2,所述图像存储在一个四维数组中Xlr(i,j,k,m),其中i,j分别是低分辨率图像像素值的横纵坐标,k是图像的通道信息,m是图像的帧数;
步骤2,计算初始的高分辨率图像Yhr,0;
步骤3,根据实际观测图像及初始高分辨率图像,得到第t+1次迭代的高分辨率图像为Ylhr,t+1(p,q,k),对高分辨率图像进行模拟观测,获得相应的模拟观测低分辨率图像Xsl,t大于等于0;
步骤4,计算t+1次迭代的实际观测图像Xrl(i,j,k)与模拟观测低分辨率图像之间的误差Xdiff,t+1(i,j,k);
步骤5,反向投影误差或者实际观测图像Xrl到高分辨率图像Yhr中;
步骤6,令t=t+1,重复步骤4至步骤6,直到获得满意的结果。
(三)有益效果
本发明的方法是基于半误差反向投影的,即,在反向投影时既投影误差,也投影实际观测的低分辨率图像。由于实际观测的低分辨率图像没有“振铃”伪影,并且包含高分辨率图像所需的信息。这样可以有效地减少“振铃”伪影的累积效应,使得重建的高分辨率图像有更好的质量和视觉体验。
附图说明
图1是基于半误差反向投影的超分辨率重建方法的流程图。
图2是一幅用于做超分辨率重建的低分辨率图像。
图3是反向投影算法的重建出来的高分辨率图像。
图4是本发明方法重建出来的高分辨率图像。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,以下结合具体实施例,并参照附图,对本发明进一步详细说明。
现有技术中使用的反向迭代投影方法,经过研究发现,其产生的“振铃”伪影是有规律的。一旦估计的高分辨率图像中存在“振铃”伪影,那么模拟的低分辨率图像中将会出现“振铃”伪影。然而模拟的低分辨率图像中的“振铃”伪影会通过上采样过程进入估计的高分辨率图像中,随着迭代不断增强。
本发明提出了一种基于多帧视频图像来重建高分辨率的方法,这种方法是基于半误差反向投影的。也就是说,在反向投影时既投影误差,也投影实际观测的低分辨率图像。
图1为本发明提出基于半误差反向投影的超分辨率重建方法的流程图。
参照图1,该方法包括步骤:
步骤1,获得M帧实际观测图像Xrl,M大于等于2。
在该步骤,通过成像设备在同一场景中获取小段视频或者多张图像。手持摄像或者其它因素使得图像之间存在微小的偏移。这些视频或图像可以是黑白的也可以彩色的。该步骤中提到的成像设备可以是数码相机,监控摄像头,手机等。这些视频或图像存储在一个四维数组中Xlr(i,j,k,m),其中i,j分别是低分辨率图像像素值的横纵坐标,即像素的位置信息,其值为图像横纵坐标的像素序号。k是图像的通道信息,对于黑白图像,其值为1;对于彩色图像,其值为3。m是图像的帧数,从重建精度来看,m越大越好;但是从应用角度来说,m应该控制在20帧以内。
步骤2,根据步骤1获取的图像,选取其中一帧作为参考图像Xref,利用区域匹配方法获取参考图像Xref与当前图像Xm之间的运动信息(即相对位移)Dm,其中m=1,2,…,M且Xref≠Xm。
该步骤优选使用三步搜索法来实现。这些相对位移能够提供低分辨率图像信息在高分辨率图像栅格中的准确位置。这是超分辨率重建的基础。
步骤2进一步包括:
步骤2.1,从实际观测的图像Xlr中选择其中一幅图像作为参考图像Xref。由于图像包含相同的场景,所以可以选择任何一帧作为参考图像Xref。同时为参考图像选择匹配区域。为了提高计算效率,这个匹配区域是一小块区域,优选包含3×3,5×5或者7×7像素的区域,根据实际需要,匹配区域的大小也可以是其他情况。为了提高配准精度,这些匹配区域是包含高频信息的部分,可以使用最大差分和来找到高频信息区域。同时匹配区域是多块,这样有利于增加配准的精度和稳定性。区域的块数K取决于实际问题,它的取值范围是1~K0,K0的取值是取满整个图像所用的块数。如果需要知道更多局部区域的运动细节信息,那么K应该取更大。
步骤2.2,为当前匹配图像Xm选择匹配区域。其选择方法与步骤2.1中参考图像匹配区域选择是相同的。也就是说,当前匹配图像中选择的匹配区域的大小、数量是完全一致的。为了提高计算效率,在当前图像中的搜索范围应该略大于图像的匹配区域大小与相对位移大小之和G,但不能太大,通常取1.2~1.5G。
步骤2.3,通过三步搜索法对图像进行配准,获得参考图像Xref与当前图像Xm的相对位移Dm。配准准则可以选择最小均方误差。
步骤3,计算初始的高分辨率图像Yhr,0。初始的超分辨率图像Yhr,0可以是参考图像按放大倍数插值后的图像,也可以是纯黑色图像(所有像素值为0)。根据放大的倍数T(一般取值为1~8,不宜过大),来确定高分辨率图像的大小。
步骤4,对高分辨率图像进行模拟观测,获得相应的模拟观测低分辨率图像Xsl。
用t+1表示迭代次数,第一次迭代t等于0。经过第t+1次迭代的模糊的高分辨率图像Ylhr,t+1(p,q,k)为:
Ylhr,t+1(p,q,k)=Yhr,t(p,q,k)*Xpsf(p,q,k)+ε(p,q,k)
其中p,q分别是高分辨率图像像素值的横纵坐标,即像素的位置信息,其值为图像横纵坐标的像素序号。Xpsf(p,q,k)是系统的点扩展函数,ε(p,q,k)是成像过程中的噪声。这些信息可以通过成像设备的参数说明或者测试获得。Yhr,t(p,q,k)是第t次迭代的高分辨率图像。Ylhr,t+1(p,q,k)是Yhr,t(p,q,k)经过系统点扩展函数和噪声模糊后的高分辨率图像。然后进行下采样S(i,j,p,q,k),得到模拟观测低分辨率图像Xsl,t+1(i,j,k),
Xsl,t+1(i,j,k)=S(i,j,p,q,k)Ylhr,t+1(p,q,k)
步骤5,计算t+1次迭代的实际观测图像Xrl(i,j,k)与模拟观测低分辨率图像之间的误差Xdiff,t+1(i,j,k)。在计算误差之前,先根据步骤2中获得的相对位移信息Dm(i,j,k),对模拟观测低分辨率图像Xsl,t+1(i,j,k)进行平移和旋转。然后计算二者之间的误差,
Xdiff,t+1(i,j,k)=Xrl(i,j,k)-Dm(i,j,k)Xsl,t+1(i,j,k)
步骤6,反向投影误差或者实际观测图像Xrl到高分辨率图像Yhr中。
Yhr,t+1(p,q,k)
=Yhr,t(p,q,k)
+W(p,q,k)B(p,q,k)S′(p,q,i,j,k)XLowR,t+1(i,j,k)
其中,
其中,S′(p,q,i,j,k)是运动补偿函数,具体实现就是根据以前的测得运动信息Dm,将相应的低分辨率图像或误差投影在高分辨率图像栅格的对应位置。B(p,q,k)是反向投影核函数。这个函数并不是固定的,可以是系统的点扩展函数,也可以是高斯函数等。W(p,q,k)是一个系数矩阵,用于控制投影后的高分辨率时的幅度,W(p,q,k)的所有元素是相同的,其值范围为0~1。在上面公式描述时,偶数次迭代时投影实际观测的低分辨率图像Xrl(i,j,k),奇数次迭代时投影误差图像Xdiff,t+1(i,j,k)。这只是一个例子,其它任意迭代组合都是有效的。或者说迭代次数是m时,投影误差;迭代次数是n时,投影实际观测图像;m和n大于等于1,m不等于n。例如,当迭代次数能被5整除时,投影误差图像,其它迭代次数时投影实际观测的低分辨率图像。不同的比例会产生不同效果。当投影实际观测的低分辨率的次数多一些,那么重建的高分辨率包含的“振铃”伪影更少,但是相对模糊些。当投影误差图像的次数多一些,那么重建的高分辨率更加清晰一些,但是包含的“振铃”伪影更多一些。在以前的方法中,反向投影的低分辨率图像XLowR,t+1(i,j,k)是实际观测图像与模拟观测图像之间的误差Xdiff,t+1(i,j,k)。然而,这常常导致在重建的高分辨率图像中有不同程度的“振铃”伪影。在本发明中,XLowR,t+1(i,j,k)可以是两者误差Xdiff,t+1(i,j,k)和实际观测的低分辨率图像Xrl(i,j,k)。在以前的方法中,出现“振铃”伪影是有规律的:只要高分辨率图像中出现“振铃”伪影,就会形成一个“高分辨率图像—模拟观测低分辨率—误差—高分辨率图像”的“振铃”伪影传播闭环,“振铃”伪影会随着迭代的增加而增强。本发明的方法就是切断这个闭环。使得“振铃”伪影不显著积累,获得更好重建的高分辨率图像。
步骤7,令t=t+1,重复步骤4至步骤6,直到获得满意的结果。满意结果应该是,在重建的高分辨率图像中没有可见的“振铃”伪影,图像细节更加清晰。
本发明的方法在超分辨率图像重建中,在反向投影阶段不但使用误差来更加精确地重建,且使用低分辨率图像来减少“振铃”伪影的积累。有如下优势:相对于基于传统插值技术的超分辨率,本发明的方法得到的图像具有更高的分辨率;本发明的方法在反向投影过程中,使用了没有“振铃”效应的实际观测的低分辨率图像。这有利于减少图像中“振铃”伪影的积累,也保持了丰富的细节;本发明提出了一种基于半误差反向投影的图像超分辨率方法,该方法同时投影实际观测的低分辨率图像,有效地减少“振铃”伪影的积累,使得图像有更好的视觉体验。
本发明还提出一种基于半误差反向投影的图像超分辨率装置,该装置包括存储器和处理器,其中存储器存储有计算机程序,所述处理器用于执行所述程序能够实现以下步骤:
步骤1,获得M帧实际观测图像Xrl,M大于等于2。
在该步骤,通过成像设备在同一场景中获取小段视频或者多张图像。手持摄像或者其它因素使得图像之间存在微小的偏移。这些视频或图像可以是黑白的也可以彩色的。该步骤中提到的成像设备可以是数码相机,监控摄像头,手机等。这些视频或图像存储在一个四维数组中Xlr(i,j,k,m),其中i,j分别是低分辨率图像像素值的横纵坐标,即像素的位置信息,其值为图像横纵坐标的像素序号。k是图像的通道信息,对于黑白图像,其值为1;对于彩色图像,其值为3。m是图像的帧数,从重建精度来看,m越大越好;但是从应用角度来说,m应该控制在20帧以内。
步骤2,根据步骤1获取的图像,选取其中一帧作为参考图像Xref,利用区域匹配方法获取参考图像Xref与当前图像Xm之间的运动信息(即相对位移)Dm,其中m=1,2,…,M且Xref≠Xm。
该步骤优选使用三步搜索法来实现。这些相对位移能够提供低分辨率图像信息在高分辨率图像栅格中的准确位置。这是超分辨率重建的基础。
步骤2进一步包括:
步骤2.1,从实际观测的图像Xlr中选择其中一幅图像作为参考图像Xref。由于图像包含相同的场景,所以可以选择任何一帧作为参考图像Xref。同时为参考图像选择匹配区域。为了提高计算效率,这个匹配区域是一小块区域,优选包含3×3,5×5或者7×7像素的区域,根据实际需要,匹配区域的大小也可以是其他情况。为了提高配准精度,这些匹配区域是包含高频信息的部分,可以使用最大差分和来找到高频信息区域。同时匹配区域是多块,这样有利于增加配准的精度和稳定性。区域的块数K取决于实际问题,它的取值范围是1~K0,K0的取值是取满整个图像所用的块数。如果需要知道更多局部区域的运动细节信息,那么K应该取更大。
步骤2.2,为当前匹配图像Xm选择匹配区域。其选择方法与步骤2.1中参考图像匹配区域选择是相同的。也就是说,当前匹配图像中选择的匹配区域的大小、数量是完全一致的。为了提高计算效率,在当前图像中的搜索范围应该略大于图像的匹配区域大小与相对位移大小之和G,但不能太大,通常取1.2~1.5G。
步骤2.3,通过三步搜索法对图像进行配准,获得参考图像Xref与当前图像Xm的相对位移Dm。配准准则可以选择最小均方误差。
步骤3,计算初始的高分辨率图像Yhr,0。初始的超分辨率图像Yhr,0可以是参考图像按放大倍数插值后的图像,也可以是纯黑色图像(所有像素值为0)。根据放大的倍数T(一般取值为1~8,不宜过大),来确定高分辨率图像的大小。
步骤4,对高分辨率图像进行模拟观测,获得相应的模拟观测低分辨率图像Xsl。
用t+1表示迭代次数,第一次迭代t等于0。经过第t+1次迭代的模糊的高分辨率图像Ylhr,t+1(p,q,k)为:
Ylhr,t+1(p,q,k)=Yhr,t(p,q,k)*Xpsf(p,q,k)+ε(p,q,k)
其中p,q分别是高分辨率图像像素值的横纵坐标,即像素的位置信息,其值为图像横纵坐标的像素序号。Xpsf(p,q,k)是系统的点扩展函数,ε(p,q,k)是成像过程中的噪声。这些信息可以通过成像设备的参数说明或者测试获得。Yhr,t(p,q,k)是第t次迭代的高分辨率图像。Ylhr,t+1(p,q,k)是Yhr,t(p,q,k)经过系统点扩展函数和噪声模糊后的高分辨率图像。然后进行下采样S(i,j,p,q,k),得到模拟观测低分辨率图像Xsl,t+1(i,j,k),
Xsl,t+1(i,j,k)=S(i,j,p,q,k)Ylhr,t+1(p,q,k)
步骤5,计算t+1次迭代的实际观测图像Xrl(i,j,k)与模拟观测低分辨率图像之间的误差Xdiff,t+1(i,j,k)。在计算误差之前,先根据步骤2中获得的相对位移信息Dm(i,j,k),对模拟观测低分辨率图像Xsl,t+1(i,j,k)进行平移和旋转。然后计算二者之间的误差,
Xdiff,t+1(i,j,k)=Xrl(i,j,k)-Dm(i,j,k)Xsl,t+1(i,j,k)
步骤6,反向投影误差或者实际观测图像Xrl到高分辨率图像Yhr中。
Yhr,t+1(p,q,k)
=Yhr,t(p,q,k)
+W(p,q,k)B(p,q,k)S′(p,q,i,j,k)XLowR,t+1(i,j,k)
其中,
其中,S′(p,q,i,j,k)是运动补偿函数,具体实现就是根据以前的测得运动信息Dm,将相应的低分辨率图像或误差投影在高分辨率图像栅格的对应位置。B(p,q,k)是反向投影核函数。这个函数并不是固定的,可以是系统的点扩展函数,也可以是高斯函数等。W(p,q,k)是一个系数矩阵,用于控制投影后的高分辨率时的幅度,W(p,q,k)的所有元素是相同的,其值范围为0~1。在上面公式描述时,偶数次迭代时投影实际观测的低分辨率图像Xrl(i,j,k),奇数次迭代时投影误差图像Xdiff,t+1(i,j,k)。这只是一个例子,其它任意迭代组合都是有效的。或者说迭代次数是迭代次数是m时,投影误差,迭代次数时n时,投影实际观测图像,m和n大于等于1,m不等于n。例如,当迭代次数能被5整除时,投影误差图像,其它迭代次数时投影实际观测的低分辨率图像。不同的比例会产生不同效果。当投影实际观测的低分辨率的次数多一些,那么重建的高分辨率包含的“振铃”伪影更少,但是相对模糊些。当投影误差图像的次数多一些,那么重建的高分辨率更加清晰一些,但是包含的“振铃”伪影更多一些。在以前的方法中,反向投影的低分辨率图像XLowR,t+1(i,j,k)是实际观测图像与模拟观测图像之间的误差Xdiff,t+1(i,j,k)。然而,这常常导致在重建的高分辨率图像中有不同程度的“振铃”伪影。在本发明中,XLowR,t+1(i,j,k)可以是两者误差Xdiff,t+1(i,j,k)和实际观测的低分辨率图像Xrl(i,j,k)。在以前的方法中,出现“振铃”伪影是有规律的:只要高分辨率图像中出现“振铃”伪影,就会形成一个“高分辨率图像—模拟观测低分辨率—误差—高分辨率图像”的“振铃”伪影传播闭环,“振铃”伪影会随着迭代的增加而增强。本发明的方法就是切断这个闭环。使得“振铃”伪影不显著积累,获得更好重建的高分辨率图像。
步骤7,令t=t+1,重复步骤4至步骤6,直到获得满意的结果。
以上所述的具体实施例,对本发明的目的、技术方案和有益效果进行了进一步详细说明,应理解的是,以上所述仅为本发明的具体实施例而已,并不用于限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (4)
1.一种基于半误差反向投影的超分辨率重建方法,其特征在于,该方法包括步骤:
步骤1,获得M帧实际观测图像Xrl,M大于等于2,所述图像存储在一个四维数组中Xlr(i,j,k,m),其中i,j分别是所述实际观测图像的像素值的横纵坐标,k是图像的通道信息,m是图像的帧数;
步骤2,根据步骤1获取的图像,选取其中一帧作为参考图像Xref,并获取参考图像Xref与当前图像Xm之间的相对位移信息Dm(i,j,k),其中m=1,2,…,M且Xref≠Xm;
步骤3,计算初始的高分辨率图像Yhr,0;
步骤4,对高分辨率图像进行模拟观测,获得相应的模拟观测低分辨率图像,该步骤进一步包括:
用t+1表示迭代次数,第一次迭代t=0,经过第t+1次迭代的模糊的高分辨率图像Ylhr,t+1(p,q,k)为:
Ylhr,t+1(p,q,k)=Yhr,t(p,q,k)*Xpsf(p,q,k)+ε(p,q,k)
其中p,q分别是高分辨率图像像素值的横纵坐标,即像素的位置信息,其值为图像横纵坐标的像素序号,Xpsf(p,q,k)是系统的点扩展函数,ε(p,q,k)是成像过程中的噪声,Yhr,t(p,q,k)是第t次迭代的高分辨率图像,然后进行下采样S(i,j,p,q,k),得到模拟观测低分辨率图像Xsl,t+1(i,j,k),Xsl,t+1(i,j,k)=S(i,j,p,q,k)Ylhr,t+1(p,q,k),
步骤5,先根据步骤2中获得的相对位移信息Dm(i,j,k),对模拟观测低分辨率图像Xsl,t+1(i,j,k)进行平移和旋转,然后计算t+1次迭代后,实际观测图像Xrl(i,j,k)与模拟观测低分辨率图像之间的误差Xdiff,t+1(i,j,k):
Xdiff,t+1(i,j,k)=Xrl(i,j,k)-Dm(i,j,k)Xsl,t+1(i,j,k);
步骤6,反向投影误差或者实际观测图像Xrl到高分辨率图像Yhr中:
Yhr,t+1(p,q,k)
=Yhr,t(p,q,k)
+W(p,q,k)B(p,q,k)S′(p,q,i,j,k)XLowR,t+1(i,j,k)
其中,Yhr,t+1(p,q,k)是第t+1次迭代的高分辨率图像,S′(p,q,i,j,k)是运动补偿函数,B(p,q,k)是反向投影核函数,W(p,q,k)是一个系数矩阵,用于控制投影后的高分辨率时的幅度,XLowR,t+1(i,j,k)是实际观测图像Xrl(i,j,k)或者Xdiff,t+1(i,j,k),迭代次数是m时,投影误差;迭代次数是 n时,投影实际观测图像,m和n大于等于1,m不等于n;
步骤7,令t=t+1,重复步骤4至步骤6,直到获得满意的结果。
2.根据权利要求1所述的方法,其特征在于,在步骤6,当迭代次数为奇数时,投影误差;迭代次数为偶数时,投影实际观测图像,或者当迭代次数为偶数时,投影误差;迭代次数为奇数时,投影实际观测图像。
3.一种基于半误差反向投影的超分辨率重建装置,其特征在于,该装置包括存储器和处理器,其中存储器存储有计算机程序,所述处理器用于执行所述计算机程序能够实现以下步骤:
步骤1,获得M帧实际观测图像Xrl,M大于等于2,所述图像存储在一个四维数组中Xlr(i,j,k,m),其中i,j分别是所述实际观测图像的像素值的横纵坐标,k是图像的通道信息,m是图像的帧数;
步骤2,根据步骤1获取的图像,选取其中一帧作为参考图像Xref,并获取参考图像Xref与当前图像Xm之间的相对位移信息Dm(i,j,k),其中m=1,2,…,M且Xref≠Xm;
步骤3,计算初始的高分辨率图像Yhr,0;
步骤4,对高分辨率图像进行模拟观测,获得相应的模拟观测低分辨率图像,该步骤进一步包括:
用t+1表示迭代次数,第一次迭代t=0,经过第t+1次迭代的模糊的高分辨率图像Ylhr,t+1(p,q,k)为:
Ylhr,t+1(p,q,k)=Yhr,t(p,q,k)*Xpsf(p,q,k)+ε(p,q,k)
其中p,q分别是高分辨率图像像素值的横纵坐标,即像素的位置信息,其值为图像横纵坐标的像素序号,Xpsf(p,q,k)是系统的点扩展函数,ε(p,q,k)是成像过程中的噪声,Yhr,t(p,q,k)是第t次迭代的高分辨率图像,然后进行下采样S(i,j,p,q,k),得到模拟观测低分辨率图像Xsl,t+1(i,j,k),Xsl,t+1(i,j,k)=S(i,j,p,q,k)Ylhr,t+1(p,q,k);
步骤5,先根据步骤2中获得的相对位移信息Dm(i,j,k),对模拟观测低分辨率图像Xsl,t+1(i,j,k)进行平移和旋转,然后计算t+1次迭代后,实际观测图像Xrl(i,j,k)与模拟观测低分辨率图像之间的误差Xdiff,t+1(i,j,k):
Xdiff,t+1(i,j,k)=Xrl(i,j,k)-Dm(i,j,k)Xsl,t+1(i,j,k);
步骤6,反向投影误差或者实际观测图像Xrl到高分辨率图像Yhr中:
Yhr,t+1(p,q,k)
=Yhr,t(p,q,k)
+W(p,q,k)B(p,q,k)S′(p,q,i,j,k)XLowR,t+1(i,j,k)
其中,Yhr,t+1(p,q,k)是第t+1次迭代的高分辨率图像,S′(p,q,i,j,k)是运动补偿函数,B(p,q,k)是反向投影核函数,W(p,q,k)是一个系数矩阵,用于控制投影后的高分辨率时的幅度,XLowR,t+1(i,j,k)是实际观测图像Xrl(i,j,k)或者Xdiff,t+1(i,j,k),迭代次数是m时,投影误差;迭代次数是n时,投影实际观测图像,m和n大于等于1,m不等于n;
步骤7,令t=t+1,重复步骤4至步骤6,直到获得满意的结果。
4.根据权利要求3所述的装置,其特征在于,在步骤6,当迭代次数为奇数时,投影误差;迭代次数为偶数时,投影实际观测图像,或者当迭代次数为偶数时,投影误差;迭代次数为奇数时,投影实际观测图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710258888.2A CN107155096B (zh) | 2017-04-19 | 2017-04-19 | 一种基于半误差反向投影的超分辨率重建方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710258888.2A CN107155096B (zh) | 2017-04-19 | 2017-04-19 | 一种基于半误差反向投影的超分辨率重建方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107155096A CN107155096A (zh) | 2017-09-12 |
CN107155096B true CN107155096B (zh) | 2019-07-12 |
Family
ID=59794286
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710258888.2A Active CN107155096B (zh) | 2017-04-19 | 2017-04-19 | 一种基于半误差反向投影的超分辨率重建方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107155096B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109886872B (zh) * | 2019-01-10 | 2023-05-16 | 深圳市重投华讯太赫兹科技有限公司 | 安检设备及其图像检测方法 |
CN112016456B (zh) * | 2020-08-27 | 2021-06-22 | 南京理工大学 | 基于自适应反向投影深度学习的视频超分辨率方法及系统 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN100382567C (zh) * | 2006-06-06 | 2008-04-16 | 王程 | 从因隔行采样引起降质的图像中重建超分辨率图像的方法 |
CN101551903A (zh) * | 2009-05-11 | 2009-10-07 | 天津大学 | 步态识别中的超分辨率图像恢复方法 |
CN101980289B (zh) * | 2010-10-25 | 2012-06-27 | 上海大学 | 基于频域配准和凸集投影的多帧图像超分辨率重建方法 |
CN102036095A (zh) * | 2010-12-31 | 2011-04-27 | 青岛海信信芯科技有限公司 | 应用于3d图像显示的分辨率补偿装置、3d电视机及方法 |
CN102682423A (zh) * | 2011-03-18 | 2012-09-19 | 索尼公司 | 图像处理设备和图像处理方法 |
CN102222320B (zh) * | 2011-05-24 | 2013-01-02 | 西安电子科技大学 | 基于全变分迭代反向投影的单帧图像空间分辨率增强方法 |
US8675999B1 (en) * | 2012-09-28 | 2014-03-18 | Hong Kong Applied Science And Technology Research Institute Co., Ltd. | Apparatus, system, and method for multi-patch based super-resolution from an image |
CN103020909B (zh) * | 2012-12-06 | 2015-02-18 | 清华大学 | 基于多尺度结构自相似与压缩感知的单图像超分辨率方法 |
CN104063849A (zh) * | 2014-06-20 | 2014-09-24 | 武汉工程大学 | 基于图像块自适应配准的视频超分辨重建方法 |
CN106373087B (zh) * | 2016-08-23 | 2019-04-23 | 大连理工大学 | 一种改进初始估计的图像超分辨率重建方法 |
CN106846250B (zh) * | 2017-01-22 | 2020-05-22 | 宁波星帆信息科技有限公司 | 一种基于多尺度滤波的超分辨率重建方法 |
-
2017
- 2017-04-19 CN CN201710258888.2A patent/CN107155096B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN107155096A (zh) | 2017-09-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7831088B2 (en) | Data reconstruction using directional interpolation techniques | |
US9230303B2 (en) | Multi-frame super-resolution of image sequence with arbitrary motion patterns | |
US8903191B2 (en) | Method and apparatus for noise reduction in video | |
WO2022222077A1 (zh) | 基于反射分解的室内场景虚拟漫游方法 | |
CN107292819A (zh) | 一种基于边缘细节保护的红外图像超分辨率重建方法 | |
CN112184549B (zh) | 基于时空变换技术的超分辨图像重建方法 | |
Liu et al. | Large motion video super-resolution with dual subnet and multi-stage communicated upsampling | |
Bareja et al. | An effective iterative back projection based single image super resolution approach | |
CN103440676A (zh) | 一种基于运动估计的肺4d-ct图像的超分辨率冠矢状面图像重建方法 | |
CN107155096B (zh) | 一种基于半误差反向投影的超分辨率重建方法及装置 | |
Zhang et al. | Video super-resolution with 3D adaptive normalized convolution | |
US10285586B2 (en) | Registration across frame boundaries in AO-SLO capture | |
CN113793272B (zh) | 图像降噪方法及装置、存储介质、终端 | |
CN106846250A (zh) | 一种基于多尺度滤波的超分辨率重建方法 | |
Cheng et al. | Quad‐fisheye Image Stitching for Monoscopic Panorama Reconstruction | |
Zeng et al. | SR-ITM-GAN: Learning 4K UHD HDR with a generative adversarial network | |
KR101341617B1 (ko) | 단일 영상의 오차모델을 기반으로 한 고해상도 영상 복원장치 및 방법 | |
Salvador et al. | Patch-based spatio-temporal super-resolution for video with non-rigid motion | |
Li et al. | Guided iterative back-projection scheme for single-image super-resolution | |
CN116801115A (zh) | 一种稀疏阵列相机部署方法 | |
Song et al. | Deformable transformer for endoscopic video super-resolution | |
JP2013069012A (ja) | 多眼撮像装置 | |
Seyid et al. | Hardware implementation of real-time multiple frame super-resolution | |
Patel Shreyas | Novel Iterative Back Projection Approach | |
Szeliski et al. | Dense motion estimation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |