CN104376544B - 一种基于多区域尺度放缩补偿的非局部超分辨率重建方法 - Google Patents

一种基于多区域尺度放缩补偿的非局部超分辨率重建方法 Download PDF

Info

Publication number
CN104376544B
CN104376544B CN201310356709.0A CN201310356709A CN104376544B CN 104376544 B CN104376544 B CN 104376544B CN 201310356709 A CN201310356709 A CN 201310356709A CN 104376544 B CN104376544 B CN 104376544B
Authority
CN
China
Prior art keywords
frame
feature
reconstruction method
compensated
multizone
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201310356709.0A
Other languages
English (en)
Other versions
CN104376544A (zh
Inventor
杨撒博雅
郭琦琨
白蔚
刘家瑛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University
Original Assignee
Peking University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University filed Critical Peking University
Priority to CN201310356709.0A priority Critical patent/CN104376544B/zh
Publication of CN104376544A publication Critical patent/CN104376544A/zh
Application granted granted Critical
Publication of CN104376544B publication Critical patent/CN104376544B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明涉及一种基于多区域尺度放缩补偿的非局部超分辨率重建方法,根据运动估计的图像区域划分算法和计算图像不同区域的尺度差异的算法,同时采用一种新的可以补偿尺度差异的方式,最终提升基于多帧融合的超分辨率重建方法的性能。本发明充分考虑了由于镜头缩放、物体运动后图像整体或其中的一部分的尺度发生了变化而导致相似信息不能很好地匹配的问题。

Description

一种基于多区域尺度放缩补偿的非局部超分辨率重建方法
技术领域
本发明属于图像超分辨率重建领域,具体涉及一种基于不同区域的多尺度变化的放缩尺度补偿的非局部平均超分辨率重建方法。可以灵活应用于高端多媒体系统的视频信号格式转换、视频监控感兴趣区域放大以及卫星、遥感等领域。
背景技术
图像的超分辨率重建就是克服成像设备或技术的限制,从单帧低分辨率图像或低分辨率图像序列重建一个高分辨率图像。基于重建的超分辨率旨在从多个低分辨率图像重建一个高分辨率图像。观察到这些低分辨率图像是模糊且有噪声的,因此超分辨率重建不仅仅需要提高图片的分辨率,还需要恢复图片的质量。
基于多帧的超分辨率重建的关键是把一系列的低分辨率图像融合成一幅高分辨率图像。其有效性基于多个相邻帧的低分辨率图像中包含相互补充的信息的假设。利用这些信息,我们可以生成一副较高分辨率的图像。多帧融合技术的关键在于从邻域内得到的互补信息的精确度与质量。传统的多帧融合算法往往追求更精确的运动估计以提高获取信息的位置精确度。但存在一些不可避免区域的无法进行精确估计(如因遮挡而使得部分区域在某一帧中不存在),这将会大大损害复原图像的质量。
许多研究人员专注于提高运动估计,以得到更准确的位置的冗余信息。正确的运动估计直接保证了精度,但因为场景的复杂性,也有不可避免的运动估计错误。Potter提出了一个NLM SR方法(M.Potter,M.Elad,H.Takeda,and P.Milanfar,“Generalizing thenonlocal-means to super-resolution reconstruction,”IEEE Transactions on ImageProcessing,vol.19,no.1,pp.36–51,January 2009.),这种算法估计邻域内图像块的相似性反映可能的运动估计的结果,最终的运动估计结果则通过许多可能的运动结果加权平均得到从而避免严重的错误。之后基于这种方法也有了很多的相关的延伸跟拓展,但是并没有考虑到由于镜头缩放、物体运动后图像整体或其中的一部分的尺度发生了变化而导致相似信息不能很好地匹配的问题。
针对上述问题和相关方法的缺陷,我们提出了一个基于多区域尺度放缩补偿的非局部超分辨率重建方法。
发明内容
基于上述分析,本发明的目的在于提出一种基于多区域尺度放缩补偿的非局部超分辨率重建方法,根据运动估计的图像区域划分算法和计算图像不同区域的尺度差异的算法,同时采用一种新的可以补偿尺度差异的方式,最终提升基于多帧融合的超分辨率重建方法的性能。
为实现以上目的,本发明采用的技术方案包括以下步骤:
一种基于多区域尺度放缩补偿的非局部超分辨率重建方法,其步骤包括:
1)对输入序列中的每一帧采用空域插值法,把原始低分辨率图像上插到设定分辨率的高分辨率图像,得到高分辨率图像;
2)对输入序列中的每一帧对应的高分辨率图像根据SIFT算法在参考帧和待修复帧提取得到特征点,得到参考帧和待修复帧的特征对应对;
3)采用加权卢卡斯金算法对所述特征对应对进行计算得到局部参数模型;
4)根据所述局部参数模型的边缘信息为每个局部参数模型提取支持区域,得到每张图像的支持区域划分图;
5)对于输入序列的任意帧中根据所述支持区域划分图划分的不同区域,根据SIFT算法计算得到待修复帧和参考帧中每个域中相邻帧的对应区域的尺度差异;
6)对于输入序列中的所述参考帧图像以及对应高分辨率图像的每一个像素块,根据所述尺度差异将参考帧的块调整至待修复帧的块的尺度;
7)计算所述参考帧图像中的每个像素点所对应的块与相邻帧或同帧周围参考块的相似度;根据该相似度把每一个块的中心像素值加权平均,得到所述参考块的中心像素值,所述中心像素值即为该帧的对应像素点的像素值;根据该帧所有像素点的像素值得到该帧对应的高分辨率图像。
更进一步,还包括:对每一帧图像重复所述步骤4)-6),得到连续帧的像素值,根据每帧图像的像素值得到整个视频串的高分辨率图像。
更进一步,所述空域插值法采用如下的任意一种:双线性插值或者双三次线性插值或者最临近像素插值。
更进一步,用颜色进行区分所述每张图像的的支持区域划分图,其中相同颜色代表所述区域内所有像素点共享相同仿射参数,不相同颜色则表示在该两个区域内的像素点的仿射参数不同。
更进一步,所述边缘信息采用Canny探测器检测。
更进一步,根据边缘信息和置信图为每一对特征点提取所述支持区域。
更进一步,使用一个球形而不是单个像素来执行置信图中的运动区域搜索同时对于提取的运动区域以一个结构元素对象为参数先腐蚀后膨胀,在不破坏运动边界的条件下填补运动邻域的洞得到最终的划分图。
更进一步,将所述每一帧按照X,Y两个方向分别上插到原先的设定大小的放大倍数。
更进一步,对所述特征对应对使用非局部方法生产掩膜,根据窗口内的每个像素与中心像素的相似性得到权重。
更进一步,采用加权的仿射模型描述所述局部参数模型中的局部光流得到局部仿射参数。
本发明的有益效果:
本发明根据运动估计的图像区域划分算法和计算图像不同区域的尺度差异的算法,同时采用一种新的可以补偿尺度差异的方式,最终提升基于多帧融合的超分辨率重建方法的性能。本发明考虑到了由于镜头缩放、物体运动后图像整体或其中的一部分的尺度发生了变化而导致相似信息的情况,计算尺度差异时采用Scale-Invariant FeatureTransform(SIFT)算子来提取特征点并加以利用来提取尺度信息。在度量块相似度时,根据尺度信息先对块进行下采上插的插值调整,从而进一步提升了相似度计算的准确性。
附图说明
图1为本发明的基于多区域尺度放缩补偿的非局部超分辨率重建方法流程示意图。
具体实施方式
下面以视频序列中某一帧进行2倍放大的超分辨率重建问题为例,对本发明的详细方法流程作进一步地描述:
在本发明的具体实施方式中,可以按照如下方案实现本发明:
(1)对于输入序列中的每一帧,用空域插值方法,把原始的低分辨率图像上插到需要的高分辨率图像;
(2)对于每一帧高分辨率图像检测特征点及其对应的相邻帧的高分辨率图像的特征点,对每一对特征点利用加权卢卡斯金算法计算出局部参数模型;
(3)基于参数模型的边缘信息为每个局部参数模型提取支持区域,得到每张图像的支持区域图并用颜色进行区分,其中相同颜色代表该区域内所有像素点共享相同的仿射参数,不相同颜色表示在这两个区域内的像素点的仿射参数不同;
(4)对于输入序列中的某一帧的不同区域,通过加权平均的算法,计算其与相邻帧的对应区域的尺度差异;
(5)对于输入序列中该帧图像的每个像素块,将来自于相邻帧一定相邻区域的块调整至待复原帧块的尺度;
(6)然后,计算该帧图像中的每个像素点所对应的块与相临帧或同帧周围参考块的相似度;根据相似度,把每一个块的中心像素值加权平均,得到参考块的中心像素值;得到的参考块的中心像素值就是超分辨率之后得到的这个点的像素值。
(7)对于每一帧图像的重复(4)到(6)步骤,从而最终实现了基于多帧融合的超分辨率重建方案。
以下结合结合附图对本发明的技术方案进行详细的说明,如图1所示是本发明的基于多区域尺度放缩补偿的非局部超分辨率重建方法流程示意图。
步骤(1)对于输入的视频序列,采用双线性插值或者双三次线性插值或者最临近像素插值,把每一帧的X,Y两个方向分别上插到原先的两倍大小。
步骤(2)使用SIFT在参考帧和待修复帧对应的高分辨率图像提取特征点,然后根据SIFT匹配这些点,参考帧是其他相邻提供信息的帧。
步骤(3)使用非局部方法(M.Potter,M.Elad,H.Takeda,and P.Milanfar,“Generalizing the nonlocal-means to super-resolution reconstruction,”IEEETransactions on Image Processing,vol.19,no.1,pp.36–51,January 2009.)生产掩膜,对于窗口内的每个像素(i,j),它的权重weight(i,j,k,l)由其与中心像素(k,l)的相似性来衡量。
其中Ri,j,Rk,l代表一个算子,它可以从一张图中提取出一个固定的现已决定大小(q×q)的图像块并且得到一个长度为q2的矢量,σ是一个平滑的参数控制两个不同的图像块之间的灰度级差异的影响,Y是图片,a是高斯核的标准差,C(k,l)是归一化常数,即为
步骤(4)使用加权的仿射模型来描述局部光流,仿射模型包含了六个未知的变量,由Lucas-Kanade算法计算下式仿射模型(3)使下式加权卢卡斯金算法(4)最小化。
其中,Hr和Hc为待复原帧和参考帧,是参考帧中的一个已匹配的特征点,是这个点的邻域,是待复原帧中的一个已匹配的特征点,是这个点的领域,weight(x)是由非局部均值方法计算得到的权重,T是局部仿射参数。
步骤(5)有了特征对应对局部仿射参数和由Canny探测器检测出来的边缘,使用置信图Ci为每一对特征点提取支持地区,这意味着在一个支持地区的所有像素共享相同的仿射参数。初始化置信图,如下式(5)。
其中ηc是一个事先定义好的临界值,Ti表示特征点对对应的仿射参数,Bk表示第k帧高分辨率图像。
步骤(6)使用一个球而不是单个像素来执行运动区域搜索(S.Zhang,T.Chen,Y.Zhang,S.Hu and R.Martin,“Vectorizing Cartoon Animations,”IEEE Trans.onVisualization and Computer Graphics,vol.15,no.4,pp.618-629,July 2009.)。起初,球有一个大的半径,然后当它不能再移动的时候它的半径也变小。最后只有由边缘点封闭的区域被留下。注意要按优先级顺序搜索这些地区。
步骤(7)对于提取的运动区域以一个结构元素对象SE=strel("arbitrary",eye(5))为参数先腐蚀后膨胀,在不破坏运动边界的条件下填补运动邻域的洞优化划分图,从而得到最终的划分图。
步骤(8)对于输入序列的每一帧的每一个区域,用SIFT计算得到的特征信息进行加权平均并进行匹配。根据如下公式进行计算:
其中,Mp为区域内匹配上的点对集合,sr,p,sc,p为待复原帧与参考帧的对应区域中特征点的尺度信息,即st,p为所有匹配上的点在两帧的对应区域中尺度差异的平均值,作为两帧图像的尺度差异值。
步骤(9)对于待复原帧的每一个区域的每一个像素,有了其与相邻帧对应区域的尺度差异后,我们依照如下操作来获得每一个经过尺度补偿的块:
MpP(i,j,t,p)=I(st,p)R(st,p,i,j)yt,p (7)
其中,yt,p为第t个参考帧第p个区域,R(st,p,i,j)指对其进行的以(i,j)为中心点的取尺度为st,p的块。I(st,p)则指对块进行双线性插值操作使其尺度与待复原帧相同。经过上述操作后原本位于不同尺度的相似块便被转化到同一尺度下。
步骤(10)得到修正后的块后,计算出每一个待复原块与参考块的相似度,以该相似度为权值,把每一个块的中心像素值加权平均,得到参考块的中心像素值。
对于任意点(k,l),有:
其中Res(k,l)为该点最终复原结果,得到的方法就是对所有处在待复原帧(k,l)点邻域的点yt(i,j)进行加权平均得到的。
具体地,w(k,l,i,j,t)按照如下公式进行计算:
其中Yr是由简单插值得到的高分辨率待复原帧图像,而yt指的是第t帧参考帧低分辨率图像。又由于我们之前已经对参考帧图像进行了预处理(步骤9),所以权值计算公式可以被化简为:
根据以上方法我们便可以得到图像任意一点的复原结果,也就从而复原了超分辨率的原始图像。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种基于多区域尺度放缩补偿的非局部超分辨率重建方法,其步骤包括:
1)对输入序列中的每一帧采用空域插值法,把原始低分辨率图像上插到设定分辨率的高分辨率图像,得到高分辨率图像;
2)对输入序列中的每一帧对应的高分辨率图像根据SIFT算法在参考帧和待修复帧提取得到特征点,得到参考帧和待修复帧的特征对应对;
3)采用加权卢卡斯金算法对所述特征对应对进行计算得到局部参数模型;
4)根据所述局部参数模型的边缘信息为每个局部参数模型提取支持区域,得到每张图像的支持区域划分图;
5)对于输入序列的任意帧中根据所述支持区域划分图划分的不同区域,根据SIFT算法计算得到待修复帧和参考帧中每个区域和相邻帧的对应区域的尺度差异;
6)对于输入序列中的所述参考帧图像以及对应高分辨率图像的每一个像素块,根据所述尺度差异将参考帧的块调整至待修复帧的块的尺度;
7)计算所述参考帧图像中的每个像素点所对应的块与相邻帧或同帧周围参考块的相似度;根据该相似度把每一个块的中心像素值加权平均,得到所述参考块的中心像素值,所述中心像素值即为该帧的对应像素点的像素值;根据该帧所有像素点的像素值得到该帧对应的高分辨率图像。
2.如权利要求1所述的基于多区域尺度放缩补偿的非局部超分辨率重建方法,其特征在于,还包括:对每一帧图像重复所述步骤4)-6),得到连续帧的像素值,根据每帧图像的像素值得到整个视频串的高分辨率图像。
3.如权利要求1所述的基于多区域尺度放缩补偿的非局部超分辨率重建方法,其特征在于,所述空域插值法采用如下的任意一种:双线性插值或者双三次线性插值或者最临近像素插值。
4.如权利要求1所述的基于多区域尺度放缩补偿的非局部超分辨率重建方法,其特征在于,用颜色进行区分所述每张图像的支持区域划分图,其中相同颜色代表所述区域内所有像素点共享相同仿射参数,不相同颜色则表示在两个区域内的像素点的仿射参数不同。
5.如权利要求1所述的基于多区域尺度放缩补偿的非局部超分辨率重建方法,其特征在于,所述边缘信息采用Canny探测器检测。
6.如权利要求1所述的基于多区域尺度放缩补偿的非局部超分辨率重建方法,其特征在于,根据边缘信息和置信图为每一对特征点提取所述支持区域。
7.如权利要求6所述的基于多区域尺度放缩补偿的非局部超分辨率重建方法,其特征在于,使用一个球形而不是单个像素来执行置信图中的运动区域搜索,同时对于提取的运动区域以一个结构元素对象为参数先腐蚀后膨胀,在不破坏运动边界的条件下填补运动邻域的洞得到最终的划分图。
8.如权利要求1所述的基于多区域尺度放缩补偿的非局部超分辨率重建方法,其特征在于,将所述每一帧按照X,Y两个方向分别上插到原先的设定大小的放大倍数。
9.如权利要求1所述的基于多区域尺度放缩补偿的非局部超分辨率重建方法,其特征在于,对所述特征对应对使用非局部方法生产掩膜,根据窗口内的每个像素与中心像素的相似性得到权重。
10.如权利要求1所述的基于多区域尺度放缩补偿的非局部超分辨率重建方法,其特征在于,采用加权的仿射模型描述所述局部参数模型中的局部光流得到局部仿射参数。
CN201310356709.0A 2013-08-15 2013-08-15 一种基于多区域尺度放缩补偿的非局部超分辨率重建方法 Expired - Fee Related CN104376544B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310356709.0A CN104376544B (zh) 2013-08-15 2013-08-15 一种基于多区域尺度放缩补偿的非局部超分辨率重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310356709.0A CN104376544B (zh) 2013-08-15 2013-08-15 一种基于多区域尺度放缩补偿的非局部超分辨率重建方法

Publications (2)

Publication Number Publication Date
CN104376544A CN104376544A (zh) 2015-02-25
CN104376544B true CN104376544B (zh) 2017-04-19

Family

ID=52555435

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310356709.0A Expired - Fee Related CN104376544B (zh) 2013-08-15 2013-08-15 一种基于多区域尺度放缩补偿的非局部超分辨率重建方法

Country Status (1)

Country Link
CN (1) CN104376544B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108537731A (zh) * 2017-12-29 2018-09-14 西安电子科技大学 基于压缩多尺度特征融合网络的图像超分辨率重建方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105719251B (zh) * 2016-01-19 2018-06-19 浙江大学 一种用于大像移线性模糊的压缩降质图像复原方法
CN107818545B (zh) * 2016-09-12 2020-07-14 北京大学 图像处理方法及装置
CN106960416B (zh) * 2017-03-20 2019-05-10 武汉大学 一种内容复杂性自适应的视频卫星压缩图像超分辨率方法
CN110415242B (zh) * 2019-08-02 2020-05-19 中国人民解放军军事科学院国防科技创新研究院 一种基于参考图像的超分辨倍率评价方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103020897A (zh) * 2012-09-28 2013-04-03 香港应用科技研究院有限公司 基于多区块的单帧图像的超分辨率重建的装置、系统和方法
CN103167218A (zh) * 2011-12-14 2013-06-19 北京大学 一种基于非局部性的超分辨率重建方法和设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101624210B1 (ko) * 2010-08-27 2016-05-31 한화테크윈 주식회사 초해상도 영상 복원 방법, 및 이를 이용한 불법 주정차 단속 시스템
CN103210645B (zh) * 2010-09-10 2016-09-07 汤姆逊许可公司 使用运动补偿的基于实例的超分辨率的视频解码

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103167218A (zh) * 2011-12-14 2013-06-19 北京大学 一种基于非局部性的超分辨率重建方法和设备
CN103020897A (zh) * 2012-09-28 2013-04-03 香港应用科技研究院有限公司 基于多区块的单帧图像的超分辨率重建的装置、系统和方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Generalizing the Nonlocal-Means to Super-Resolution Reconstruction;Matan Protter 等;《IEEE TRANSACTIONS ON IMAGE PROCESSING》;20090131;第18卷(第1期);36-51 *
Performance Evaluation of Multi-frame Super-resolution Algorithms;Kyle Nelson 等;《2012 International Conference on Digital Image Computing Techniques and Application(DICTA)》;20121205;1-8 *
图像超分辨率重建的非局部正则化模型与算法研究;肖亮 等;《计算机学报》;20110531;第34卷(第5期);931-942 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108537731A (zh) * 2017-12-29 2018-09-14 西安电子科技大学 基于压缩多尺度特征融合网络的图像超分辨率重建方法
CN108537731B (zh) * 2017-12-29 2020-04-14 西安电子科技大学 基于压缩多尺度特征融合网络的图像超分辨率重建方法

Also Published As

Publication number Publication date
CN104376544A (zh) 2015-02-25

Similar Documents

Publication Publication Date Title
US11308638B2 (en) Depth estimation method and apparatus, electronic device, program, and medium
US20220222776A1 (en) Multi-Stage Multi-Reference Bootstrapping for Video Super-Resolution
US11823363B2 (en) Infrared and visible light fusion method
US11017586B2 (en) 3D motion effect from a 2D image
Yuan et al. Multiframe super-resolution employing a spatially weighted total variation model
CN110634147B (zh) 基于双边引导上采样的图像抠图方法
CN104376544B (zh) 一种基于多区域尺度放缩补偿的非局部超分辨率重建方法
US10977765B2 (en) Hierarchical neural network image registration
CN106851046A (zh) 视频动态超分辨率处理方法及系统
CN107220957B (zh) 一种利用滚动导向滤波的遥感图像融合方法
CN111861880B (zh) 基于区域信息增强与块自注意力的图像超分与融合方法
CN106952286A (zh) 基于运动显著图和光流矢量分析的动态背景目标分割方法
EP4207051A1 (en) Image super-resolution method and electronic device
US20140105515A1 (en) Stabilizing and Deblurring Atmospheric Turbulence
CN108280804A (zh) 一种多帧图像超分辨率重建方法
CN104063849A (zh) 基于图像块自适应配准的视频超分辨重建方法
CN106846250B (zh) 一种基于多尺度滤波的超分辨率重建方法
CN111861888A (zh) 图像处理方法、装置、电子设备及存储介质
CN112801876B (zh) 信息处理方法、装置及电子设备和存储介质
CN105913409A (zh) 一种基于多帧图像融合的图像处理方法
CN106920213B (zh) 一种高分辨率图像的获取方法及系统
CN103914807A (zh) 一种缩放尺度补偿的非局部性图像超分辨率方法及系统
Yoshida et al. Robust face super-resolution using free-form deformations for low-quality surveillance video
Ning et al. Multi-frame image super-resolution reconstruction using sparse co-occurrence prior and sub-pixel registration
Al Ismaeil et al. Dynamic super resolution of depth sequences with non-rigid motions

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170419

CF01 Termination of patent right due to non-payment of annual fee