CN106846250B - 一种基于多尺度滤波的超分辨率重建方法 - Google Patents
一种基于多尺度滤波的超分辨率重建方法 Download PDFInfo
- Publication number
- CN106846250B CN106846250B CN201710054385.3A CN201710054385A CN106846250B CN 106846250 B CN106846250 B CN 106846250B CN 201710054385 A CN201710054385 A CN 201710054385A CN 106846250 B CN106846250 B CN 106846250B
- Authority
- CN
- China
- Prior art keywords
- image
- resolution
- images
- motion information
- observation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000001914 filtration Methods 0.000 title claims abstract description 14
- 238000004088 simulation Methods 0.000 claims abstract description 5
- 238000005070 sampling Methods 0.000 claims description 11
- 238000003384 imaging method Methods 0.000 claims description 7
- 238000006073 displacement reaction Methods 0.000 claims description 4
- 238000005316 response function Methods 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 2
- 238000011084 recovery Methods 0.000 abstract description 2
- 230000000694 effects Effects 0.000 description 4
- 230000006872 improvement Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于多尺度滤波的超分辨率重建方法,该方法包括步骤:步骤1,获得N帧图像I;步骤2,从多帧图像I中选取参考图像,并计算参考图像与其它图像之间的运动信息;步骤3,计算高分辨率图像的初始值;步骤4,从所述高分辨率图像中模拟观测得到相同尺度的观测图像;步骤5,根据运动信息下采样得到模拟的低分辨率图像;步骤6,计算实际观测图像和对应的模拟观测低分辨率图像之间的误差;步骤7,将误差反投影到当前的高分辨率图像中;重复步骤4至步骤7,直到图像获得满意的结果。本发明的方法在误差反向投影时使用了多尺度滤波,使得更多尺度的信息可以更好的恢复,有更好的细节恢复能力。
Description
技术领域
本发明涉及图像及视频数据处理领域,特别涉及一种基于多尺度滤波的超分辨率重建方法。
背景技术
人类获取的信息大部分来自于视觉。在信息爆炸信息时代里,在不同的领域里越来越多的视频数据可以容易地获得,如安全监控摄像头,手机等。这些成像设备给社会管理和我们的生活带来极大的便利。由于受价格和制造工艺的限制,一些成像产品(如手机的摄像机模块)的图像和视频的分辨率较低。然而更好的视觉体验需要更高的分辨率。又如,虽然一些高清摄像头用于安全监控,提高了视频图像的质量。但是这些设备的拍摄参数绝大部分情况是固定的,在雾霾天、下雨天或者目标较远等情况下,视频的质量将会大大降低。
这些有硬件或特殊环境形成的低分辨率图像可以通过软件的方法来提高。我们常常称这类技术为超分辨率图像重建。超分辨率图像重建可以分为两大类:单图像的超分辨重建与多帧图像的超分辨率重建。近年来应用的更多的是多帧超分辨率的图像,其中一类通用算法是基于迭代反向投影的超分辨率算法。这类算法具有效果好,收敛快,易于理解和实现等优点。但是这类算法都是基于单尺度投影核函数的。缺点是重建的图像细节不够丰富。目前提高重建的细节的通用方法是,结合更好的图像配准方法来提高帧与帧之间的相对运动信息的准确性,进而提高超分辨率重建图像的细节。然而这种方法的提高是有极限的,一些细节信息仍然无法恢复。
发明内容
本发明针对现有技术的不足,提出一种新的视频图像处理方法。这种方法是基于多尺度滤波的,以获得更多尺度的结构,达到更好的重建效果。
根据本发明提出的一种基于多尺度滤波的超分辨率重建方法,该方法包括步骤:步骤1,获得N帧图像I,N是大于等于2;步骤2,从所述多帧图像I中选取一幅参考图像,并参考图像与其它图像之间的运动信息;步骤3,计算初始高分辨率图像;步骤4,从当前高分辨率图像中模拟观测得到相同尺度的模糊图像;步骤5,根据运动信息下采样所述模糊图像得到模拟的低分辨率图像;步骤6,计算实际观测图像和对应的模拟观测低分辨率图像之间的误差;步骤7,将所述误差反投影到当前的高分辨率图像中,在反向投影核函数的尺度会随着迭代次数的变化而变化;重复步骤4至步骤7,直到图像获得满意的结果。
本发明的方法在误差反向投影时使用了多尺度滤波,使得更多尺度的信息可以更好的恢复,有更好的细节恢复能力。
附图说明
图1是基于多尺度滤波的超分辨率重建方法的流程图。
图2是一幅用于做超分辨率重建的低分辨率图像。
图3是本发明方法重建出来的高分辨率图像。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,以下结合具体实施例,并参照附图,对本发明进一步详细说明。
本发明提出了一种基于多尺度滤波的超分辨率重建方法,该方法基于多尺度滤波,以获得更多尺度的结构,达到更好的重建效果。
图1为本发明提出基于多尺度滤波的超分辨率重建方法的流程图。
参照图1,该方法包括步骤:
步骤1,通过成像设备在同一场景中获取一段视频。
从视频中获取连续多帧图像I。这些图像将是一个四维数组其中x,y是每个通道的图像像素值的横坐标与纵坐标,即标明像素所在位置;k是图像的通道信息,对于彩色图像k=3,常常是红绿蓝得顺序,如果是黑白图像,k=1;n是图像的帧序数,n的范围一般在几十帧以内,取值范围取决具体的情况。考虑到重建图像质量和重建速度,一般在10帧以内较好。这里的图像可以是彩色视频也可以是黑白视频。该步骤中提到的成像设备可以是手机、数码相机等。我们通常叫这些图像为实际观测图像。
步骤2,针对步骤1中获取的多帧图像I,利用块区域匹配方法获得其中两帧图像之间相对运动信息。这些运动信息将提供低分辨率图像信息的在高分辨率图像中的具体位置。可以根据运动信息,将这些低分辨率图像放在对应的高分辨率图像中,然后进行后面的反向投影操作。
步骤2进一步包括:
步骤2.2,在参考图像中选择m块固定大小的区域作为匹配的目标位置,m=1,2,…。为获得更好的效果,m一般大于2为宜。对于仅包含全局运动的情形,m=2即可。如果图像之间同时包含局部运动的情形,m取值需要更大,如果预先知道局部运动块的数量ml,那么m的最优取值是ml+2,其中2是用于全局运动的数目。从运行时间的角度来说,一般不建议m取值太大。块的大小可以根据实际情况选择,一般3×3或者5×5即可;对于要求精确运行信息的情形,建议使用更大的块。m块区域一般应是包含高空间频率的部分,可以是手动选择,也可以是自动选择。自动选择的准则也可以是多种多样的,如最大差分和。
或者是运动补偿后的多帧图像的一个平均图像
其中p和q代表高分辨率像素的坐标,即像素的位置信息;k是图像通道信息,对于彩色图像,k=3;W所进行的操作是将观测图像放在高分辨率的栅格中;B是一个用于模糊的滤波器,本发明使用的是高斯滤波器,B可以和后面使用反向投影核函数相同;N是图像的帧数。这里所包含的具体操作是这样的:利用步骤2获得的相对运动信息Pk,n将低分辨率图像的像素值放在高分分辨率图像栅格中,再进行模糊滤波B并叠加在一起(在数学上使用卷积和加法),然后除以图像的帧数得到平均图像。
步骤4,从当前高分辨率图像中模拟观测得到相同尺度的模糊图像,该图像表示为:
其中σ(p,q)为噪声水平,Ipsf(p,q)为系统响应函数,这两个参数可通过成像设备的参数和成像时所用的一些参数得到。i表示当前的迭代次数,表示第k通道在第i次迭代后的高分辨率图像,是对当前高分辨率图像使用系统响应函数进行模糊和加上噪声σ(p,q)之后得到的模糊图像,*代表卷积运算。如果是第一次迭代,那么
其中,S是下采样矩阵,下采样率可以是2~8,为保证重建质量,不建议使用更高的下采样率,Pk,n()按照运动信息Pk,n对模糊后的图像进行位移和旋转。这里n是指图像帧数,其总和为N。也就是和用于超分辨率重建的实际观测图像的总帧数是相同的。
其中,Bbp是反向投影核函数,这个函数形式可以根据需求选择,如果想获得平滑的结果,那么使用具有平滑作用的Bbp即可(如高斯函数)。在本发明方法中,反向投影核函数不再是同一个尺度,而是多个尺度。在本发明的方法中,测试时使用了二维高斯函数,这里高斯函数的变化是通过改变高斯函数的宽度实现的。具体方法是,本发明为每一帧模拟观测图像分配一个不同尺度的反向投影核函数,尺度是与下采样率有关。如果一共有N=5帧图像,下采样率是4,那么本发明反向投影核函数的尺度是4-a,4-0.5a,4,4+0.5a,4+a,其中a是一个拓展长度,它的大小可以自己定义,实验建议a一般应该在几个像素以内。
重复步骤4至步骤7,直到获得满意的结果。
以上所述的具体实施例,对本发明的目的、技术方案和有益效果进行了进一步详细说明,应理解的是,以上所述仅为本发明的具体实施例而已,并不用于限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于多尺度滤波的超分辨率重建方法,该方法包括步骤:
步骤1,获得N帧图像I,N是大于等于2;
步骤2,从所述多帧图像I中选取一幅参考图像,并参考图像与其它图像之间的运动信息;
步骤3,计算初始高分辨率图像;
步骤4,从当前高分辨率图像中模拟观测得到相同尺度的模糊图像;
步骤5,根据运动信息下采样所述模糊图像得到模拟的低分辨率图像;
步骤6,计算实际观测图像和对应的模拟观测低分辨率图像之间的误差;
步骤7,将所述误差反投影到当前的高分辨率图像中,在反向投影核函数的尺度会随着迭代次数的变化而变化,其中,每一帧所述模拟观测低分辨率图像被分配一个不同尺度的反向投影核函数,所述反向投影核函数的尺度与下采样率和拓展长度有关;
重复步骤4至步骤7,直到图像获得满意的结果。
2.根据权利要求1所述的方法,其特征在于,步骤2中是利用块区域匹配方法获得当前匹配图像与参考图像之间的运动信息。
3.根据权利要求1所述的方法,其特征在于,步骤2进一步包括:
步骤2.1,从获取的多帧图像中选择任何一帧作为参考图像;
步骤2.2,在参考图像中选择m块固定大小的区域作为匹配的目标位置;
步骤2.3,对当前匹配图像,使用与步骤2.2相同的方法为当前匹配图像选择匹配区域;
步骤2.4,对上述两帧图像利用块匹配方式进行配准,获得相对运动信息。
4.根据权利要求1所述的方法,其特征在于,在步骤1所获取的图像是四维数组Ik,n(x,y),其中x,y是每个通道的图像的横纵坐标,k是图像的通道信息,n是图像的帧序数。
5.根据权利要求4所述的方法,其特征在于,
或者是运动补偿后的多帧图像的一个平均图像
步骤4,从当前高分辨率图像中模拟观测得到相同尺度的模糊图像,该图像表示为:
其中σ(p,q)为噪声水平,Ipsf(p,q)为系统响应函数,这两个参数通过成像设备的参数和成像时所用的一些参数得到,i表示当前的迭代次数,表示第k通道在第i次迭代后的高分辨率图像,是对当前高分辨率图像使用系统响应函数进行模糊和加上噪声σ(p,q)之后得到的模糊图像,*代表卷积运算,第一次迭代的情况下,
其中,Bbp是反向投影核函数,
令i=i+1,返回步骤4,重复步骤4至步骤7,直到获得满意的结果。
6.根据权利要求3所述的方法,其特征在于,在步骤2.2,m大于2,m块区域是包含高空间频率的部分。
7.根据权利要求5所述的方法,其特征在于,块区域通过手动选择或是自动选择。
8.根据权利要求7所述的方法,其特征在于,自动选择的准则是最大差分和。
9.根据权利要求6所述的方法,其特征在于,在步骤2.3,配准准则是最小绝对误差或最小均方误差。
10.根据权利要求5所述的方法,其特征在于,在步骤5中,下采样率是2~8。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710054385.3A CN106846250B (zh) | 2017-01-22 | 2017-01-22 | 一种基于多尺度滤波的超分辨率重建方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710054385.3A CN106846250B (zh) | 2017-01-22 | 2017-01-22 | 一种基于多尺度滤波的超分辨率重建方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106846250A CN106846250A (zh) | 2017-06-13 |
CN106846250B true CN106846250B (zh) | 2020-05-22 |
Family
ID=59120473
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710054385.3A Active CN106846250B (zh) | 2017-01-22 | 2017-01-22 | 一种基于多尺度滤波的超分辨率重建方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106846250B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107155096B (zh) * | 2017-04-19 | 2019-07-12 | 清华大学 | 一种基于半误差反向投影的超分辨率重建方法及装置 |
CN107480772B (zh) * | 2017-08-08 | 2020-08-11 | 浙江大学 | 一种基于深度学习的车牌超分辨率处理方法及系统 |
CN108537731B (zh) * | 2017-12-29 | 2020-04-14 | 西安电子科技大学 | 基于压缩多尺度特征融合网络的图像超分辨率重建方法 |
CN108765343B (zh) * | 2018-05-29 | 2021-07-20 | Oppo(重庆)智能科技有限公司 | 图像处理的方法、装置、终端及计算机可读存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101551903A (zh) * | 2009-05-11 | 2009-10-07 | 天津大学 | 步态识别中的超分辨率图像恢复方法 |
CN102360498A (zh) * | 2011-10-27 | 2012-02-22 | 江苏省邮电规划设计院有限责任公司 | 图像超分辨率重建方法 |
CN103093445A (zh) * | 2013-01-17 | 2013-05-08 | 西安电子科技大学 | 基于联合稀疏约束的统一特征空间图像超分辨重建方法 |
CN103440676A (zh) * | 2013-08-13 | 2013-12-11 | 南方医科大学 | 一种基于运动估计的肺4d-ct图像的超分辨率冠矢状面图像重建方法 |
US9123140B1 (en) * | 2013-09-25 | 2015-09-01 | Pixelworks, Inc. | Recovering details in single frame super resolution images |
CN106296586A (zh) * | 2016-08-18 | 2017-01-04 | 电子科技大学 | 基于凸组合方式的多帧低分辨率图像超分辨率重建方法 |
-
2017
- 2017-01-22 CN CN201710054385.3A patent/CN106846250B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101551903A (zh) * | 2009-05-11 | 2009-10-07 | 天津大学 | 步态识别中的超分辨率图像恢复方法 |
CN102360498A (zh) * | 2011-10-27 | 2012-02-22 | 江苏省邮电规划设计院有限责任公司 | 图像超分辨率重建方法 |
CN103093445A (zh) * | 2013-01-17 | 2013-05-08 | 西安电子科技大学 | 基于联合稀疏约束的统一特征空间图像超分辨重建方法 |
CN103440676A (zh) * | 2013-08-13 | 2013-12-11 | 南方医科大学 | 一种基于运动估计的肺4d-ct图像的超分辨率冠矢状面图像重建方法 |
US9123140B1 (en) * | 2013-09-25 | 2015-09-01 | Pixelworks, Inc. | Recovering details in single frame super resolution images |
CN106296586A (zh) * | 2016-08-18 | 2017-01-04 | 电子科技大学 | 基于凸组合方式的多帧低分辨率图像超分辨率重建方法 |
Non-Patent Citations (2)
Title |
---|
基于学习的图像超分辨率重建算法研究;范开乾;《中国优秀硕士学位论文全文数据库 信息科技辑》;20141015(第10期);I138-806 * |
基于实时帧迭代反向投影算法的图像序列超分辨率处理;曹聚亮 等;《光学技术》;20090920;第30卷(第5期);558-561 * |
Also Published As
Publication number | Publication date |
---|---|
CN106846250A (zh) | 2017-06-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108898567B (zh) | 图像降噪方法、装置及系统 | |
US11823363B2 (en) | Infrared and visible light fusion method | |
CN110827200B (zh) | 一种图像超分重建方法、图像超分重建装置及移动终端 | |
CN108694705B (zh) | 一种多帧图像配准与融合去噪的方法 | |
US20220222776A1 (en) | Multi-Stage Multi-Reference Bootstrapping for Video Super-Resolution | |
USRE47274E1 (en) | Filtering control method for improving image quality of bi-linear interpolated image | |
US6285804B1 (en) | Resolution improvement from multiple images of a scene containing motion at fractional pixel values | |
CN106846250B (zh) | 一种基于多尺度滤波的超分辨率重建方法 | |
JP2009070123A (ja) | 画像処理装置及びその方法 | |
CN106169173B (zh) | 一种图像插值方法 | |
US20140105515A1 (en) | Stabilizing and Deblurring Atmospheric Turbulence | |
CN108961163A (zh) | 一种高分辨率卫星影像超分辨重建方法 | |
CN111062895A (zh) | 一种基于多视场分割的显微图像复原方法 | |
CN104376544B (zh) | 一种基于多区域尺度放缩补偿的非局部超分辨率重建方法 | |
Fu et al. | Raw image based over-exposure correction using channel-guidance strategy | |
CN114913095B (zh) | 基于域适应的深度去模糊方法 | |
CN107155096B (zh) | 一种基于半误差反向投影的超分辨率重建方法及装置 | |
CN107194874B (zh) | 基于偏置稳像的超分辨成像系统及方法 | |
RU2661537C2 (ru) | Способ и система сверхразрешения с помощью комбинированной разреженной аппроксимации | |
Mohan | Adaptive super-resolution image reconstruction with lorentzian error norm | |
CN112237002A (zh) | 图像处理方法和设备 | |
JP2013069012A (ja) | 多眼撮像装置 | |
CN108681988B (zh) | 一种基于多幅图像的鲁棒的图像分辨率增强方法 | |
Al Ismaeil et al. | Multi-frame super-resolution by enhanced shift & add | |
Bätz et al. | Multi-image super-resolution for fisheye video sequences using subpixel motion estimation based on calibrated re-projection |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |