CN103500445B - 一种彩色视频的超分辨率处理方法 - Google Patents
一种彩色视频的超分辨率处理方法 Download PDFInfo
- Publication number
- CN103500445B CN103500445B CN201310438358.8A CN201310438358A CN103500445B CN 103500445 B CN103500445 B CN 103500445B CN 201310438358 A CN201310438358 A CN 201310438358A CN 103500445 B CN103500445 B CN 103500445B
- Authority
- CN
- China
- Prior art keywords
- resolution
- luminance component
- interpolation
- super
- coloured image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Image Processing (AREA)
Abstract
本发明提出一种彩色视频的超分辨率处理方法,包括步骤:(1)对给定的低分辨率RGB彩色图像采用常规插值算法进行放大,得到插值后的彩色图像。(2)将给定的低分辨率视频序列的亮度分量进行超分辨率重构,得到高分辨率图像的亮度分量;(3)由高分辨率图像的亮度分量与插值图像的亮度分量之差的范数求得补偿系数矩阵;(4)对插值图像的R、G、B分量进行补偿,获得高分辨率的彩色图像。本发明通过将超分辨率处理后的亮度分量作为约束补偿的方法,对亮度分量进行超分辨率重构,增大了视频序列重构信息量,所提出的算法经过验证,效果要优于经典的双立方插值算法。
Description
技术领域
本发明涉及图像处理的技术领域,具体地涉及一种彩色视频的超分辨率处理方法。
背景技术
随着人们生活水平的提高和图像处理应用的需要,人们对图像分辨率的要求越来越高。但是从硬件上提高获得图像的分辨率,不仅成本高,风险也大。图像超分辨率技术是一种基于信号处理方法获得较高分辨率图像的技术。
视频超分辨率重构的主要目的是通过图像/视频处理技术从多帧低分辨率视频序列中获得高分辨率视频序列,这项技术可以广泛应用于图像和视频的处理领域,如:视频监控,医学成像和卫星成像。
针对彩色图像的视频超分辨率重构,传统的方法是采用双立方插值的方法对R、G、B三通道都进行处理,再合成一幅彩色图像。这种算法只用了一幅低分辨率图像进行处理,信息量不足。随着放大倍数的增大,缺失的信息越来越多。而且,不具有去模糊、去噪的能力,对于带噪声和模糊的图像恢复效果差,所得的图像往往带有较多的噪声和模糊。
发明内容
本发明的目的在于克服现有技术存在的上述不足,提供一种高效的彩色视频超分辨率处理方法,具体技术方案如下。
一种彩色视频的超分辨率处理方法,包括以下步骤:
(1)对给定的低分辨率(Lowresolution,LR)RGB彩色图像采用插值算法进行放大,得到插值后的彩色图像;
(2)将给定的低分辨率视频序列图像的亮度分量进行超分辨率重构,得到对应的高分辨率图像的亮度分量;
(3)将步骤(2)得到的高分辨率图像的亮度分量与插值后的彩色图像的亮度分量之差的范数平方取最小值,求得补偿系数矩阵;
(4)将所获得的补偿系数矩阵对插值后的彩色图像的R、G、B分量进行补偿,最终,将补偿后的R、G、B分量合成高分辨率的彩色图像。
优选的,所述步骤(3)将所得的高分辨率图像的亮度分量与插值后的彩色图像的亮度分量之差的范数,采用二范数的平方,对其取最小值求得补偿系数矩阵η。但本发明不仅限于采用二范数,还包括其他范数。
优选的,上述彩色视频超分辨率处理方法中,用补偿系数矩阵η对插值后的彩色图像的R、G、B分量进行补偿,获得高分辨率的彩色图像。
与现有技术相比,本发明通过将超分辨率处理后的亮度分量作为约束补偿的方法,对亮度分量进行超分辨率重构,增大了视频序列重构信息量,所提出的算法经过验证,效果要优于经典的双立方插值算法。
附图说明
图1为本发明的一种彩色视频超分辨率处理方法的流程图。
具体实施方式
以下结合附图对本发明的实施作进一步说明,但本发明的实施和保护不限于此。
如图1所示,本发明的彩色视频超分辨率处理的系统和方法,包括以下步骤:
(1)对给定的低分辨率RGB彩色图像y(k)采用双立方插值算法进行放大处理,得到插值后的彩色图像,将其分成R、G、B三个通道分量等待补偿,并提取插值后彩色图像的亮度分量y_Y插值(k),其中k为视频序列的第k帧图像。
(2)将给定的低分辨率图像y(k)作为参考帧,用其相邻的多帧视频序列做补偿。通过对低分辨率视频序列的亮度分量y_Y(k)进行3DSKR(ThreeDimensionalSteeringKernelRegression)超分辨率重构,得到对应高分辨率图像的亮度分量z_Y(k);
(3)将所得的高分辨率图像的亮度分量z_Y(k)与双立方插值图像的亮度分量y_Y插值(k)之差除以y_Y插值(k),求得补偿系数矩阵η;
补偿系数矩阵η的推导如下:
1)令ΔY=z_Y(k)-y_Y插值(k),
亮度由通过一定比例组合而成的,即:Y=α1R+α2G+α3B,(其中α1=0.2989,α2=0.5870,α3=0.1140);
2)通过超分辨率处理后的亮度信息对双立方插值得到的R、G、B分量进行补偿,表达式如下:
zR(k)=(1+η)·yR(k),
zG(k)=(1+η)·yG(k),
zB(k)(1+η)·yB(k);(1)
其中,zR(k)、zG(k)、zB(k)为补偿后的R、G、B分量;
3)由约束再将2)中的表达式代入约束中,可得:
4)式 对η求导,可得:
令上式等于零,求η的最优值:
-[ΔY-ηy_Y(k)][α1yR(k)+α2yG(k)+α3yB(k)]T=0(4)
则有:
当y_Y(k)≠0时,
当y_Y(k)=0时,y_R=y_G=y_B=0;(6)
(4)通过所获得的补偿系数矩阵η对双立方算法获得的R、G、B分量根据式(1)进行补偿,最终,将补偿后的R、G、B分量zR(k)、zG(k)、zB(k)合成一幅彩色图像,从而获得高分辨率的图像Z(k)。
本发明将超分辨率处理后图像的亮度信息z_Y(k)作为约束,令补偿后的亮度分量y_Y补偿(k)无限逼近z_Y(k),从而获得补偿的信息量,同时,避免了对R、G、B三通道都进行超分辨率的复杂处理。
为了比较本算法超分辨率重构的质量,下面给出重构的彩色图像及其峰值信噪比PSNR,结构相似指标SSIM的比较结果:
首先,我们将视频calendar和foliage进行退化处理,选取视频的前30帧图像,图像大小为720*480,采用3*3的统一点扩散函数进行模糊处理,空间下采样系数为4,再加上标准差σ=2的加性高斯白噪声。我们选取视频calendar的第11帧和视频foliage的第6帧,分别通过传统的算法和本文的算法对退化图像进行处理。
我们采用PSNR和SSIM值客观评价各种算法的效果,如表1所示。结果显示本文的算法重建结果的PSNR和SSIM值,要比传统的算法更大。这表明本文的算法比传统算法的效果好。
表1采用不同图像重构方法对应的PSNR和SSIM值
根据仿真结果可知,本文算法处理后的图像效果要优于传统的算法,本文算法的效果有明显的改善,恢复了图像的大部分结构,较好地去除了模糊和噪声。
Claims (3)
1.一种彩色视频的超分辨率处理方法,包括以下步骤:
(1)对给定的低分辨率RGB彩色图像采用插值算法进行放大,得到插值后的彩色图像;
(2)将给定的低分辨率视频序列图像的亮度分量进行超分辨率重构,得到对应的高分辨率图像的亮度分量;
(3)将步骤(2)得到的高分辨率图像的亮度分量与步骤(1)得到的插值后的彩色图像的亮度分量之差的范数平方取最小值,求得补偿系数矩阵;
(4)将所获得的补偿系数矩阵对插值后的彩色图像的R、G、B分量进行补偿,最终,将补偿后的R、G、B分量合成高分辨率的彩色图像。
2.根据权利要求1所述的彩色视频的超分辨率处理方法,其特征在于:所述步骤(3)将所得的高分辨率图像的亮度分量与插值后的彩色图像的亮度分量之差的范数,采用二范数的平方,对其取最小值求得补偿系数矩阵η。
3.根据权利要求2所述的彩色视频的超分辨率处理方法,其特征在于:用补偿系数矩阵η对插值后的彩色图像的R、G、B分量进行补偿,获得高分辨率的彩色图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310438358.8A CN103500445B (zh) | 2013-09-22 | 2013-09-22 | 一种彩色视频的超分辨率处理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310438358.8A CN103500445B (zh) | 2013-09-22 | 2013-09-22 | 一种彩色视频的超分辨率处理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103500445A CN103500445A (zh) | 2014-01-08 |
CN103500445B true CN103500445B (zh) | 2016-05-04 |
Family
ID=49865648
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310438358.8A Active CN103500445B (zh) | 2013-09-22 | 2013-09-22 | 一种彩色视频的超分辨率处理方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103500445B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI576789B (zh) * | 2015-07-13 | 2017-04-01 | 華碩電腦股份有限公司 | 影像處理方法、非暫態電腦可讀取記錄媒體及電子裝置 |
CN107155131A (zh) * | 2016-03-02 | 2017-09-12 | 王进洪 | 一种视频图像分辨率处理系统及方法 |
CN108921801B (zh) * | 2018-06-26 | 2020-01-07 | 北京字节跳动网络技术有限公司 | 用于生成图像的方法和装置 |
CN110675527B (zh) * | 2019-09-28 | 2021-01-29 | 侯小芳 | 碰瓷行为现场预防装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101917624A (zh) * | 2010-07-26 | 2010-12-15 | 清华大学 | 一种高分辨率视频图像重建方法 |
CN102122387A (zh) * | 2010-12-18 | 2011-07-13 | 浙江大学 | 一种鲁棒的超分辨率图像重建方法 |
CN102831583A (zh) * | 2012-08-02 | 2012-12-19 | 上海交通大学 | 基于分形分析的图像视频超分辨率与增强方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7596284B2 (en) * | 2003-07-16 | 2009-09-29 | Hewlett-Packard Development Company, L.P. | High resolution image reconstruction |
-
2013
- 2013-09-22 CN CN201310438358.8A patent/CN103500445B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101917624A (zh) * | 2010-07-26 | 2010-12-15 | 清华大学 | 一种高分辨率视频图像重建方法 |
CN102122387A (zh) * | 2010-12-18 | 2011-07-13 | 浙江大学 | 一种鲁棒的超分辨率图像重建方法 |
CN102831583A (zh) * | 2012-08-02 | 2012-12-19 | 上海交通大学 | 基于分形分析的图像视频超分辨率与增强方法 |
Non-Patent Citations (3)
Title |
---|
A multi-frame image super-resolution method;Xuelong Li et al.;《Signal Processing》;20090606;405-414 * |
A super-resolution reconstruction algorithm for surveillance images;Liangpei Zhang et al.;《Signal Processing》;20100331;第90卷(第3期);848-859 * |
一种视频序列的超分辨率重建算法;韩玉兵,陈小蔷,吴乐南;《电子学报》;20050131;第33卷(第1期);126-130 * |
Also Published As
Publication number | Publication date |
---|---|
CN103500445A (zh) | 2014-01-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Wang et al. | Robust object removal with an exemplar-based image inpainting approach | |
CN107392852B (zh) | 深度图像的超分辨率重建方法、装置、设备及存储介质 | |
CN106897981A (zh) | 一种基于引导滤波的低照度图像增强方法 | |
CN108428212A (zh) | 一种基于双拉普拉斯金字塔卷积神经网络的图像放大方法 | |
CN108269244B (zh) | 一种基于深度学习和先验约束的图像去雾系统 | |
CN103500445B (zh) | 一种彩色视频的超分辨率处理方法 | |
CN108921786A (zh) | 基于残差卷积神经网络的图像超分辨率重构方法 | |
CN104079914B (zh) | 基于深度信息的多视点图像超分辨方法 | |
CN112001843B (zh) | 一种基于深度学习的红外图像超分辨率重建方法 | |
US20230052483A1 (en) | Super resolution using convolutional neural network | |
CN102722865A (zh) | 一种超分辨率稀疏重建方法 | |
CN105096278B (zh) | 基于光照调整的图像增强方法和设备 | |
CN116152120B (zh) | 一种融合高低频特征信息的低光图像增强方法及装置 | |
CN103500436A (zh) | 图像超分辨率处理方法和系统 | |
CN105931210B (zh) | 一种高分辨率图像重建方法 | |
CN104299193B (zh) | 一种基于高频和中频信息的图像超分辨率重建方法 | |
CN107833182A (zh) | 基于特征提取的红外图像超分辨率重建方法 | |
CN115018708A (zh) | 一种基于多尺度特征融合的机载遥感图像超分辨率重建方法 | |
CN104732480B (zh) | 一种基于非局部正则化模型的遥感图像超分辨方法 | |
CN106254720B (zh) | 一种基于联合正则化的视频超分辨率重建方法 | |
CN102129671B (zh) | 基于凸集投影法和复数小波包域的遥感图像上采样方法 | |
CN106558021B (zh) | 基于超分辨率技术的视频增强方法 | |
CN106296626B (zh) | 一种基于梯度融合的夜间视频增强方法 | |
US20100225804A1 (en) | Method and Apparatus for Enhancement of High-Definition Video Content | |
US20230325974A1 (en) | Image processing method, apparatus, and non-transitory computer-readable medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |