CN104883579B - 一种基于空‑频域的联合视频图像的上采样方法 - Google Patents

一种基于空‑频域的联合视频图像的上采样方法 Download PDF

Info

Publication number
CN104883579B
CN104883579B CN201510309370.8A CN201510309370A CN104883579B CN 104883579 B CN104883579 B CN 104883579B CN 201510309370 A CN201510309370 A CN 201510309370A CN 104883579 B CN104883579 B CN 104883579B
Authority
CN
China
Prior art keywords
video image
sampling
dct
image
sampled
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201510309370.8A
Other languages
English (en)
Other versions
CN104883579A (zh
Inventor
邬震宇
陈长汶
万群
沈晓峰
冯健
周代英
窦衡
廖阔
况凌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN201510309370.8A priority Critical patent/CN104883579B/zh
Publication of CN104883579A publication Critical patent/CN104883579A/zh
Application granted granted Critical
Publication of CN104883579B publication Critical patent/CN104883579B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

本发明属于视频图像信号处理领域，尤其涉及视频图像信号的上采样方法。本发明基于空‑频域联合的思想，综合空‑频域各自的优势实现更加准确的上采样处理。本发明首先将待上采样的低分辨率图像分块后进行DCT变换，其系数作为上采样图像的低频部分，然后在空域对该低分辨率图像采用Wiener滤波器进行插值运算得到目标尺寸的图像，接着对Wiener滤波器插值后的图像进行锐化处理再分块进行DCT变换并提取其高频系数，最后将上述低频系数和高频系数重新组合成目标尺寸上采样图像的DCT块并进行IDCT变换得到最终的上采样视频图像。本发明能大大提高上采样视频图像的PSNR和主观质量，有效地减弱假轮廓和块效应等失真。

Description

一种基于空-频域的联合视频图像的上采样方法
技术领域
本发明属于视频图像信号处理领域，尤其涉及视频图像信号的上采样方法。
背景技术
视频图像信号上采样是增加图像分辨率大小的一个过程，其主要目的是解决视频源尺寸与接收终端显示屏幕不匹配、缺乏高分辨率片源等问题。目前视频图像上采样技术已经广泛应用于广播电视、网络视频以及视频节目制作中，如数字电视中标清节目在高清电视机上显示、高清节目在标清电视机上播放，多屏视频业务中同一视频要在多个不同空间分辨率的接收终端上播放，P2P业务中各种屏幕尺寸的peer之间相互传送视频信息。为满足不同视频应用的要求，商业上已经形成了从QCIF到UHDTV等多个固定格式。
视频图像上采样技术根据实现域不同可分为空域和频域转码技术。
空域转码技术是利用像素之间的空间相似性插入或者重构目标尺寸像素点的值，如经典的bilinear插值、bicubic插值；采样/插值滤波器法实现视频图像分辨率转换，立足于设计更逼近理想低通滤波器性能的采样滤波器，减少混叠或者镜像失真，如6-tap的Wiener插值滤波器、4-tap的cubic插值滤波器、16相位4-tap的cubic插值滤波器、13-tap的采样滤波器、以及根据输入图像自身特点设计的各种自适应Wiener滤波器；主观效果主导的上采样技术，如基于图像边缘方向性的采样插值方法、基于图像内容自适应采样插值方法。固定系数滤波器法相对简单，能获得客观质量(PSNR)相对较高的目标图像，但会引入明显的假轮廓、阶梯效应等失真，主观效果有待提高。主观质量主导的上采样技术能获得较好的主观质量，但是客观质量却无法保证且运算复杂度相对前者增加了若干倍。
频域上采样技术主要通过在DCT域进行高频截断或补零处理实现。由于在DCT域直接处理高频系数完成图像尺寸变换，因此能获得较好的客观(PSNR)质量，但是因为采样和插值过程是按块进行的，所以不可避免的会出现方块效应严重影响主观效果。Hybrid DCT-Wiener-Based Interpolation Scheme提出了一种空-频域联合的上采样方法。该方法以低分辨率的图像数据作为重构的高分辨率图像的DCT系数的低频部分，而将低分辨率的图像在空域采用Wiener滤波方法得到的高分辨图像的DCT系数的高频系数与上述低频系数结合起来组成重构高分辨率图像的DCT系数，最后通过IDCT变换得到上采样的图像数据。
如图1所示，Hybrid DCT-Wiener-Based Interpolation Scheme算法的数据处理方法。按视频图像编码习惯，通常将DCT系数分块成：flow代表低频部分，以8×8块大小为例，其低频部分是4×4的矩阵。代表高频分量，大小同flow一致，此时，i＝1,2,3。根据DCT和IDCT对矩阵的加法和乘法服从分配率，原始大尺寸图像每个块的像素Sorig可以表示为其中，0代表零矩阵(块大小为8×8时，0的尺寸为4×4)，代表原始高分辨率图像的各频率成分。通过Hybrid DCT-Wiener-Based Interpolation Scheme得到的上采样图像块这种方法融合了空-频域算法，能够兼得DCT域和空域上采样算法各自的优点，从而获得比一般空域或频域更好的主客观质量，但是，该方法重构的高频信息由于Wiener滤波器算法与DCT重构算法有1/2像素的位置漂移，大大降低了高频信息的准确性，并引入了假轮廓等失真，从而影响了该算法的整体效果。
发明内容
本发明的目的在于提供一种上采样质量比Hybrid DCT-Wiener-BasedInterpolation Scheme算法更好的空-频域联合视频图像上采样方法，避免空域与频域上采样过程中产生的像素位置漂移，恢复出更加准确的高频信息，实现客观质量与主观质量较传统上采样方法大幅度的提升。
本发明的思路是：本发明基于空-频域联合的思想，综合空-频域各自的优势实现更加准确的上采样处理。本发明首先将待上采样的低分辨率图像分块后进行DCT变换，其系数作为上采样图像的低频部分，然后在空域对该低分辨率图像采用Wiener滤波器进行插值运算得到目标尺寸的图像，接着对Wiener滤波器插值后的图像进行锐化处理再分块进行DCT变换并提取其高频系数，最后将上述低频系数和高频系数重新组合成目标尺寸上采样图像的DCT块并进行IDCT变换得到最终的上采样视频图像。
一种基于空-频域的联合视频图像的上采样方法，包括如下步骤：
S1、对待采样的视频图像在频域进行处理，得到频域上低频数据扩展以后的DCT系数，具体如下：
S11、对待采样的低分辨率视频图像进行N×N点离散余弦变换(Discrete CosineTransform，DCT)，得到变换后的N×N点DCT系数；
S12、对S11所述变换后的N×N点DCT系数进行扩展处理，得到频域上低频数据扩展以后的DCT系数，所述扩展处理为将S11所述变换后的N×N点DCT系数扩展至目标上采样倍数k，其中，k≥2且k为自然数；
S2、对待采样的视频图像在空域进行处理，具体为：
S21、采用Wiener滤波器进行上采样至目标倍数，所述目标倍数为k；
S22、对S21所述采样后的视频图像进行处理，得到视频图像DCT变换后的高频系数，具体为：
S221、根据公式g1(x,y,n)＝hLOG(x,y)*f(x,y,n)，采用改进型Laplican ofGaussian(LOG)算子对S31所述采样后的视频图像进行模糊处理，其中，g(x,y,n)是LOG模糊处理后的视频图像素点值，hLOG为LOG算子，f(x,y,n)为S21所述采样后的视频图像的像素点值，x,y表示像素点的位置，n表示是第n帧视频图像，var是视频图像的全局方差，δ为高斯分布的标准方差，δ＝0.7；
S222、根据公式gmask(x,y,n)＝f(x,y,n)-g1(x,y,n)对S221所述模糊处理后的视频图像进行反锐化掩蔽处理，其中，gmask(x,y,n)为反锐化掩蔽处理后的视频图像像素点值；
S223、根据公式fsharp(x,y,n)＝f(x,y,n)+λ×gmask(x,y,n)对S222所述反锐化掩蔽处理后的视频图像进行锐化处理，其中，fsharp(x,y,n)为锐化后的视频图像像素点值，λ是锐化深度因子，λ是经验值；
S224、对S223所述经过锐化处理的视频图像进行kN×kN点DCT变换，截取所述kN×kN点DCT变换后的视频图像的DCT变换后的高频系数；
S3、将S1所述频域上的低频扩展DCT系数和S2所述DCT变换后的高频系数组合形成上采样图像DCT系数；
S4、对S3所述上采样DCT系数进行离散余弦逆变换(Inverse Discrete CosineTransform，IDCT)变换，得到上采样图像的像素值完成上采样过程。
进一步地，S12所述扩展处理具体为对S11所述变换后的N×N点DCT系数进行添零。
进一步地，S12所述k＝2。
进一步地，S21所述采用Wiener滤波器进行上采样至目标倍数，具体过程为：
S211、根据上采样像素值与原始像素值的l2-律,训练求解得到其中，f(x,y)为待采样的低分辨率图像的像素点值，g(x',y')为原始高分辨率图像像素点值，u(x,y,x',y')为构造的自适应6-抽头Wiener滤波器；
S212、保持待采样的视频图像的整像素点值，采用S211所述u(x,y,x',y')进行非整像素点插值。
进一步地，S223所述λ的取值范围为：0.2≤λ≤0.7。
进一步地，S223所述λ＝0.7。
本发明的有益效果是：
本发明将待上采样的低分辨率视频图像分别在频域和空域进行上采样处理。在频域处理部分，完整地保留了待上采样视频图像的所有频率成分；在空域处理部分，本发明首先采用自适应Wiener滤波器有效地解决了像素位置漂移问题，然后对Wiener滤波后的图像进行锐化处理达到以牺牲整体质量而大幅度增强轮廓信息的目的，最终实现高频信息的更准确估计。
本发明能大大提高上采样视频图像的PSNR和主观质量，有效地减弱假轮廓和块效应等失真。
附图说明
图1Hybrid DCT-Wiener-Based Interpolation Scheme算法的数据处理示意图。
图2本发明流程图。
图3本发明与主要相关技术的主观效果比较图，其中，(a)为原始高清晰度图，(b)为Wiener滤波上采样图，(c)为Hybrid DCT-Wiener-Based Interpolation Scheme上采样图，(d)为本发明上采样图。
具体实施方式
下面结合实施例和附图，详细说明本发明的技术方案。
如图2所示：
S1、对待采样的视频图像在频域进行处理，得到频域上低频数据扩展以后的DCT系数，具体如下：
S11、对待采样的低分辨率视频图像进行4×4点离散余弦变换(Discrete CosineTransform，DCT)，得到变换后的4×4点DCT系数：其中，是4×4块的DCT变换矩阵。
S12、对S11所述4×4点DCT系数进行添零扩展至目标上采样倍数2，可得频域上低频数据扩展以后的DCT系数
S2、对待采样的视频图像在空域进行处理，具体为：
S21、采用Wiener滤波器进行上采样至目标倍数，所述目标倍数为k，具体如下：
S211、根据上采样像素值与原始像素值的l2-律训练求解得到其中，f(x,y)为待采样的低分辨率图像的像素点值，g(x',y')为原始高分辨率图像像素点值，u(x,y,x',y')为构造的自适应6-抽头Wiener滤波器；
S212、保持待采样的视频图像的整像素点值，采用S211所述u(x,y,x',y')进行非整像素点插值；
S22、对S21所述采样后的视频图像进行处理，得到视频图像DCT变换后的高频系数，具体为：
S221、根据公式g1(x,y,n)＝hLOG(x,y)*f(x,y,n)，采用改进型Laplican ofGaussian(LOG)算子对S21所述采样后的视频图像进行模糊处理，其中，g(x,y,n)是LOG模糊处理后的视频图像素点值，hLOG为LOG算子，f(x,y,n)为S21所述采样后的视频图像的像素点值，x,y表示像素点的位置，n表示是第n帧视频图像，var是视频图像的全局方差，δ为高斯分布的标准方差，δ＝0.7；
S222、根据公式gmask(x,y,n)＝f(x,y,n)-g1(x,y,n)对S221所述模糊处理后的视频图像进行反锐化掩蔽处理，其中，gmask(x,y,n)为反锐化掩蔽处理后的视频图像像素点值；
S223、根据公式fsharp(x,y,n)＝f(x,y,n)+λ×gmask(x,y,n)对S222所述反锐化掩蔽处理后的视频图像进行锐化处理，其中，fsharp(x,y,n)为锐化后的视频图像像素点值，λ＝0.7；
S224、对S223所述经过锐化处理的视频图像进行8×8点DCT变换，截取所述8×8点DCT变换后的视频图像的DCT变换后的高频系数其中，k＝2；
S3、将S1所述频域上的低频扩展DCT系数和S2所述DCT变换后的高频系数组合形成上采样图像DCT系数
S45、对S3所述上采样DCT系数进行离散余弦逆变换(Inverse Discrete CosineTransform，IDCT)变换，得到上采样图像的像素值完成上采样过程。
输入QCIF(176×144)视频图像，用本发明方案进行上采样至CIF大小(352×288)，如表1所示为几种上采样方法客观测试结果。
表1
可以看出，本发明较Hybird DCT-Wiener-Based Interpolation Scheme算法获得平均0.6dB的PSNR增益和0.02的SSIM增益；本发明较DCT-based算法获得平均0.7dBPSNR增益和0.03的SSIM增益。
输入960×540大小的视频图像，用本发明方案进行上采样至HD大小(1920×1080)，如表2所示为几种上采样方法客观测试结果。
表2
可以看出，本发明较Hybird DCT-Wiener-Based Interpolation Scheme算法获得平均0.76dB的PSNR增益和0.018的SSIM增益；本发明较DCT-based算法获得平均1.3dBPSNR增益和0.022的SSIM增益。
图3比较了本发明与Wiener滤波上采样、Hybrid DCT-Wiener-BasedInterpolation Scheme上采样的主观结果。本发明获得了比上述算法更加清晰的主观图并大大减小了Hybrid DCT-Wiener-Based Interpolation Scheme算法产生的假轮廓等失真。

Claims (6)

1.一种基于空-频域的联合视频图像的上采样方法，其特征在于，包括如下步骤：S1、对待采样的视频图像在频域进行处理，得到频域上低频数据扩展以后的DCT系数，具体如下：
S11、对待采样的低分辨率视频图像进行N×N点离散余弦变换(Discrete CosineTransform，DCT)，得到变换后的N×N点DCT系数；
S12、对S11所述变换后的N×N点DCT系数进行扩展处理，得到频域上低频数据扩展以后的DCT系数，所述扩展处理为将S11所述变换后的N×N点DCT系数扩展至目标上采样倍数k，其中，k≥2且k为自然数；
S2、对待采样的视频图像在空域进行处理，具体为：
S21、采用Wiener滤波器进行上采样至目标上采样倍数，所述目标上采样倍数为k；
S22、对S21所述采样后的视频图像进行处理，得到视频图像DCT变换后的高频系数，具体为：
S221、根据公式g1(x,y,n)＝hLOG(x,y)*f(x,y,n)，采用改进型Laplican of Gaussian(LOG)算子对S21所述采样后的视频图像进行模糊处理，其中，g1(x,y,n)是LOG模糊处理后的视频图像素点值，hLOG为LOG算子，f(x,y,n)为S21所述采样后的视频图像的像素点值，x,y表示像素点的位置，n表示是第n帧视频图像，var是视频图像的全局方差，δ为高斯分布的标准方差，δ＝0.7；
S222、根据公式gmask(x,y,n)＝f(x,y,n)-g1(x,y,n)对S221所述模糊处理后的视频图像进行反锐化掩蔽处理，其中，gmask(x,y,n)为反锐化掩蔽处理后的视频图像像素点值；
S223、根据公式fsharp(x,y,n)＝f(x,y,n)+λ×gmask(x,y,n)对S222所述反锐化掩蔽处理后的视频图像进行锐化处理，其中，fsharp(x,y,n)为锐化后的视频图像像素点值，λ是锐化深度因子，λ是经验值；
S224、对S223所述经过锐化处理的视频图像进行kN×kN点DCT变换，截取所述kN×kN点DCT变换后的视频图像的DCT变换后的高频系数；
S3、将S1所述频域上的低频扩展DCT系数和S2所述DCT变换后的高频系数组合形成上采样图像DCT系数；
S4、对S3所述上采样DCT系数进行离散余弦逆变换(Inverse Discrete CosineTransform，IDCT)变换，得到上采样图像的像素值完成上采样过程。
2.根据权利要求1所述的一种基于空-频域的联合视频图像的上采样方法，其特征在于：S12所述扩展处理具体为对S11所述变换后的N×N点DCT系数进行添零。
3.根据权利要求1所述的一种基于空-频域的联合视频图像的上采样方法，其特征在于：S12所述k＝2。
4.根据权利要求1所述的一种基于空-频域的联合视频图像的上采样方法，其特征在于：S21所述采用Wiener滤波器进行上采样至目标倍数，具体过程为：
S211、根据上采样像素值与原始像素值的l2-律,训练求解得到其中，f(x,y)为待采样的低分辨率图像的像素点值，g(x',y')为原始高分辨率图像像素点值，u(x,y,x',y')为构造的自适应6-抽头Wiener滤波器；
S212、保持待采样的视频图像的整像素点值，采用S211所述u(x,y,x',y')进行非整像素点插值。
5.根据权利要求1所述的一种基于空-频域的联合视频图像的上采样方法，其特征在于：S223所述λ的取值范围为：0.2≤λ≤0.7。
6.根据权利要求1或5所述的一种基于空-频域的联合视频图像的上采样方法，其特征在于：S223所述λ＝0.7。
CN201510309370.8A 2015-06-08 2015-06-08 一种基于空‑频域的联合视频图像的上采样方法 Expired - Fee Related CN104883579B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510309370.8A CN104883579B (zh) 2015-06-08 2015-06-08 一种基于空‑频域的联合视频图像的上采样方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510309370.8A CN104883579B (zh) 2015-06-08 2015-06-08 一种基于空‑频域的联合视频图像的上采样方法

Publications (2)

Publication Number Publication Date
CN104883579A CN104883579A (zh) 2015-09-02
CN104883579B true CN104883579B (zh) 2017-11-14

Family

ID=53950889

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510309370.8A Expired - Fee Related CN104883579B (zh) 2015-06-08 2015-06-08 一种基于空‑频域的联合视频图像的上采样方法

Country Status (1)

Country Link
CN (1) CN104883579B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105263027B (zh) * 2015-09-17 2019-01-29 东南大学 一种视频帧的下采样方法和上采样方法以及传输处理方法
WO2017065509A2 (ko) * 2015-10-13 2017-04-20 엘지전자 주식회사 영상 코딩 시스템에서 영상 디코딩 방법 및 장치
CN107277507B (zh) * 2017-07-17 2019-12-20 西安空间无线电技术研究所 一种空域变换域混合图像压缩方法
WO2022109910A1 (zh) * 2020-11-26 2022-06-02 深圳市大疆创新科技有限公司 视频编码方法、装置、编码器和存储介质
WO2022205094A1 (zh) * 2021-03-31 2022-10-06 深圳市大疆创新科技有限公司 数据处理方法、数据传输系统、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6456663B1 (en) * 2000-03-29 2002-09-24 Matsushita Electric Industrial Co., Ltd. DCT domain down conversion system that compensates for IDCT mismatch
CN101778275A (zh) * 2009-01-09 2010-07-14 深圳市融创天下科技发展有限公司 一种自适应时间域和空间域分辨率框架的图像处理方法
CN102378011A (zh) * 2010-08-12 2012-03-14 华为技术有限公司 一种图像上采样的方法、装置和系统
CN102769722A (zh) * 2012-07-20 2012-11-07 上海富瀚微电子有限公司 时域与空域结合的视频降噪装置及方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2701978T3 (es) * 2011-06-28 2019-02-26 Samsung Electronics Co Ltd Procedimiento de decodificación usando un filtro de interpolación

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6456663B1 (en) * 2000-03-29 2002-09-24 Matsushita Electric Industrial Co., Ltd. DCT domain down conversion system that compensates for IDCT mismatch
CN101778275A (zh) * 2009-01-09 2010-07-14 深圳市融创天下科技发展有限公司 一种自适应时间域和空间域分辨率框架的图像处理方法
CN102378011A (zh) * 2010-08-12 2012-03-14 华为技术有限公司 一种图像上采样的方法、装置和系统
CN102769722A (zh) * 2012-07-20 2012-11-07 上海富瀚微电子有限公司 时域与空域结合的视频降噪装置及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
视频转码新技术研究;邬震宇;《中国博士学位论文全文数据库 信息科技辑》;20120515;第二章 *

Also Published As

Publication number Publication date
CN104883579A (zh) 2015-09-02

Similar Documents

Publication Publication Date Title
CN106709875B (zh) 一种基于联合深度网络的压缩低分辨率图像复原方法
CN104883579B (zh) 一种基于空‑频域的联合视频图像的上采样方法
Iqbal et al. Satellite image resolution enhancement using dual-tree complex wavelet transform and nonlocal means
Acharya et al. Computational foundations of image interpolation algorithms.
US8275218B2 (en) Forward and backward image resizing method
JP4498361B2 (ja) レティネックス型アルゴリズムを高速化する方法
US9830682B2 (en) Upsampling and signal enhancement
WO1999016234A9 (en) System, method and medium for increasing compression of an image while minimizing image degradation
CN102378011B (zh) 一种图像上采样的方法、装置和系统
KR20010038010A (ko) 보간 영상의 화질 개선을 위한 필터링 제어방법
Witwit et al. Global motion based video super-resolution reconstruction using discrete wavelet transform
Jindal et al. A novel image zooming technique using wavelet coefficients
CN106558021B (zh) 基于超分辨率技术的视频增强方法
Rathod et al. A comparative study of transform domain methods for image resolution enhancement of satellite image
Choi et al. Color image interpolation in the DCT domain using a wavelet-based differential value
CN107659844B (zh) 一种基于小波变换的视频图像高分辨率重构方法
Bhushan et al. Super resolution blind reconstruction of low resolution images using framelets based fusion
Zhou et al. Video super-resolution via dynamic local filter network
Bhakiya et al. Satellite image resolution enhancement using dual-tree complex wavelet transform and adaptive histogram equalization
Panda et al. An Improved DCT interpolation using Bilateral filter
Stasiński et al. Improved POCS reconstruction of stereoscopic views
CN117523415A (zh) 一种遥感图像训练对的构建方法及装置
Messing et al. Improved multi-image resolution enhancement for colour images captured by single-CCD cameras
Patil et al. Solicitation of Wavelet Transforms for Satellite Picture Resolution Enrichment
Lian Improved compression, demosaicking and denoising for digital still cameras

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20171114

Termination date: 20210608