CN107659844B - 一种基于小波变换的视频图像高分辨率重构方法 - Google Patents
一种基于小波变换的视频图像高分辨率重构方法 Download PDFInfo
- Publication number
- CN107659844B CN107659844B CN201711051881.XA CN201711051881A CN107659844B CN 107659844 B CN107659844 B CN 107659844B CN 201711051881 A CN201711051881 A CN 201711051881A CN 107659844 B CN107659844 B CN 107659844B
- Authority
- CN
- China
- Prior art keywords
- high frequency
- frequency coefficient
- coefficient
- signal
- interpolation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 230000009466 transformation Effects 0.000 title claims abstract description 32
- 108090000623 proteins and genes Proteins 0.000 claims description 5
- 238000012216 screening Methods 0.000 claims description 3
- 230000000903 blocking effect Effects 0.000 abstract description 3
- 238000012545 processing Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- KZBUYRJDOAKODT-UHFFFAOYSA-N Chlorine Chemical compound ClCl KZBUYRJDOAKODT-UHFFFAOYSA-N 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 238000003825 pressing Methods 0.000 description 3
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 2
- 238000009412 basement excavation Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
- H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4023—Scaling of whole images or parts thereof, e.g. expanding or contracting based on decimating pixels or lines of pixels; based on inserting pixels or lines of pixels
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4084—Scaling of whole images or parts thereof, e.g. expanding or contracting in the transform domain, e.g. fast Fourier transform [FFT] domain scaling
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
Abstract
本发明公开了一种基于小波变换的视频图像高分辨率重构方法，其包括以下步骤：S1、获取像素域上插值后的视频图像信号；S2、进行一级小波变换，得到第一高频系数，并对第一高频系数进行筛选，得到第二高频系数；S3、重构第二高频系数并得到第三高频系数，将第三高频系数和其余高频系数组合形成第四高频系数；S4、将待重构的视频图像信号作为低频系数，组合低频系数与第四高频系数形成重构信号的小波系数，将重构信号的小波系数进行逆小波变换得到高分辨率视频图像信号的像素值，完成视频图像高分辨率重构。本发明能大大提高重构的高分辨率视频图像的客观和主观质量，有效地避免了假轮廓和块效应等失真。
Description
技术领域
本发明涉及视频图像信号处理领域，具体涉及一种基于小波变换的视频图像高分辨率重构方法。
背景技术
视频图像信号高分辨率重构是增加视频图像分辨率大小的一个过程，其主要目标的是提高视频图像信号的分辨率满足高端用户的需求，解决视频源尺寸与接收终端显示屏幕不匹配、缺乏高分辨率片源等问题。目前视频图像高分辨率重构技术已经广泛应用于照片分享、网络视频、广播电视以及视频节目制作，如多屏视频业务中同一视频要在多个不同空间分辨率的接收终端上播放，同一图片在不同尺寸终端上显示，视频图像的分级加密显示。为满足不同多媒体终端用户应用的要求，商业上已经形成了从QCIF到UHDTV等多个固定格式。
传统的视频图像高分辨率重构技术通常利用像素之间的空间相似性插入或者重构目标尺寸像素点的值，如经典的bilinear插值、bicubic插值；采样插值滤波器法实现视频图像高分辨率重构，立足于设计更逼近理想低通滤波器性能的采样滤波器，减少混叠或者镜像失真，如6-tap的Wiener插值滤波器、4-tap的cubic插值滤波器、16相位4-tap的cubic插值滤波器、13-tap的采样滤波器、以及根据输入图像自身特点设计的各种自适应Wiener滤波器；主观效果主导的上采样技术，如基于图像边缘方向性的采样插值方法、基于图像内容自适应采样插值方法。固定系数滤波器法相对简单，能获得客观质量(PSNR)相对较高的目标图像，但会引入明显的假轮廓、阶梯效应等失真，主观效果有待提高。
目前在频域实现视频图像高分辨率重构主要通过在DCT域进行高频截断或补零处理实现。由于在DCT域直接处理高频系数完成图像尺寸变换，因此能获得较好的客观(PSNR)质量，但是因为在DCT域处理采样和插值过程是按块进行的，所以不可避免的会出现方块效应严重影响主观效果。基于小波变换的视频图像高分辨率重构技术主要通过估计高频系数实现高分辨率重构。例如Kentaro Kinebuchi和Dong Hun Woo提出的HMT与GMM法利用输入视频图像信号一级小波变换的高频系数估计上一级(以输入信号为低频分量一级)的小波变换的重要高频系数概率密度函数，并根据该概率密度函数随机重构重要高频系数幅度值。虽然这些方法能获得比bilinear插值、bicubic插值技术更高的客观质量且避免了DCT域进行高分辨率重构产生的方块效应，但目前基于小波变换的重构技术研究具有随机性，主观和客观效果均不够理想也不稳定。
发明内容
针对现有技术中的上述不足，本发明提供的一种基于小波变换的视频图像高分辨率重构方法解决了现有视频或图像重构效果不理想的问题。
为了达到上述发明目的，本发明采用的技术方案为：提供一种基于小波变换的视频图像高分辨率重构方法，其包括以下步骤：
S1、将待重构的视频图像信号在像素域进行插值处理，得到像素域上插值后的视频图像信号；
S2、对像素域上插值后的视频图像信号进行一级小波变换，得到估计的第一高频系数，并对第一高频系数进行筛选，得到第二高频系数；
S3、将待重构的视频图像信号在像素域和小波域进行处理，重构第二高频系数并得到第三高频系数，将第三高频系数和第一高频系数除去第二高频系数的部分组合形成第四高频系数；
S4、按小波变换统一的系数组合方式将待重构的视频图像信号作为低频系数，组合低频系数与第四高频系数形成重构信号的小波系数，将重构信号的小波系数进行逆小波变换得到高分辨率视频图像信号的像素值，完成视频图像高分辨率重构。
进一步地，将待重构的视频图像信号在像素域进行插值处理，得到像素域上插值后的视频图像信号的方法包括以下步骤：
S1-1、对待重构的视频图像信号按下式进行像素扩展，得到水平和垂直像素个数为输入信号两倍尺寸的视频图像信号I；
I(2i-1,2j-1)＝Ilow(i,j),i＝1,2,…,N,j＝1,2,…,M
其中Ilow表示输入的视频图像信号大小为M×N；I的其他像素点值为零；
S1-2、对视频图像信号I进行45°和135°方向插值得到对角线像素点的值；对视频图像信号I进行0°和90°方向插值得到水平和垂直方向像素点的值。
进一步地，对视频图像信号I进行45°和135°方向插值得到对角线像素点的值的方法包括为：
S1-2-1-1、根据公式
G45＝|I(i+3,j-3)-I(i+1,j-1)|+|I(i+1,j-1)-I(i-1,j+1)|+|I(i-1,j+1)-I(i-3,j+3)|
G135＝|I(i+3,j+3)-I(i+1,j+1)|+|I(i+1,j+1)-I(i-1,j-1)|+|I(i-1,j-1)-I(i-3,j-3)|
得到待插值点45°和135°方向的梯度值G45和G135；其中i＝1,2,…,N,j＝1,2,…,M，M×N为视频图像大小；
S1-2-1-2、根据待插值点45°和135°方向的梯度值G45和G135的大小和公式
对对角线像素p进行插值，得到对角线像素点的值；其中
p3＝(w1p1+w2p2)/(w1+w2)
T1＝1.5
表示4-抽头Cubic卷积插值运算；其中i＝1,2,…,N,j＝1,2,…,M，M×N为视频图像大小；w1和w2均为中间参数。
进一步地，对视频图像信号I进行0°和90°方向插值得到水平和垂直方向像素点的值的方法包括以下步骤：
S1-2-2-1、根据公式
G0＝|I(i+1,j)-I(i+1,j+2)|+|I(i-1,j-2)-I(i-1,j)|+|I(i,j-1)-I(i,j+1)|
+|I(i+2,j-1)-I(i+2,j+1)|+|I(i-2,j-1)-I(i-2,j+1)|
G90＝|I(i,j+1)-I(i+2,j+1)|+|I(i-2,j-1)-I(i,j-1)|+|I(i-1,j)-I(i+1,j)|
+|I(i-1,j+2)-I(i+1,j+2)|+|I(i-1,j-2)-I(i+1,j-2)|
得到待插值点0°和90°方向的梯度值G0和G90；其中i＝1,2,…,N,j＝1,2,…,M，M×N为视频图像大小；
S1-2-2-2、根据待插值点0°和90°方向的梯度值G0和G90的大小和公式
对水平和垂直方向像素q进行插值，得到水平和垂直方向像素点的值；其中
q3＝(v1q1+v2q2)/(v1+v2)
T2＝1.15
表示4-抽头Cubic卷积插值运算；其中i＝1,2,…,N,j＝1,2,…,M，M×N为视频图像大小；v1和v2均为中间参数。
进一步地，对像素域上插值后的视频图像信号进行一级小波变换，得到估计的第一高频系数，并对第一高频系数进行筛选，得到第二高频系数的方法包括以下步骤：
S2-1、对像素域上插值后的视频图像信号进行一级小波变换，得到估计的第一高频系数和并根据公式
得到筛选阈值Ts LH、Ts HL和Ts HH；其中rank(·)表示降序排列的序号，Q表示CLH、CHL或CHH系数的总个数；α＝0.5％；其中i＝1,2,…,N,j＝1,2,…,M，M×N为视频图像大小；
S2-2、将第一高频系数绝对值大于相应阈值的系数和作为第二高频系数；其中
进一步地，将待重构的视频图像信号在像素域和小波域进行处理，重构第二高频系数并得到第三高频系数，将第三高频系数和其余高频系数组合形成第四高频系数的方法包括以下步骤：
S3-1、将待重构的视频图像信号进行一级小波变换得到低频小波系数与高频小波系数和
S3-2、将低频小波系数表示的视频图像信号采用与步骤S1相同的方法进行方向插值，得到水平和垂直像素个数扩大一倍的视频图像信号，并对该信号进行一级小波变换得到第三高频系数和
S3-3、将第二高频系数和映射到第三高频系数和
S3-4、根据公式
计算第二高频系数的调整因子；其中ab＝LH,HL,HH，(m,n)∈第二高频系数映射到第三高频系数的位置；
S3-5、根据公式
重构视频图像信号的第四高频系数和其中ab＝LH,HL,HH，(m,n)∈第二高频系数映射到第三高频系数的位置。
进一步地，步骤S4的具体方法为：
将待重构的视频图像信号作为低频系数组合低频系数与第四高频系数和形成重构信号的小波系数，将重构信号的小波系数进行逆小波变换得到高分辨率视频图像信号的像素值，完成视频图像高分辨率重构。
本发明的有益效果为：本发明基于小波变换思想本发明将待重构的低分辨率视频图像视为高分辨率信号的低频部分，在像素域估计待重构的视频图像的高频信号部分并通过低分辨率视频图像信号的小波系数深度挖掘重构的高频系数与真实高频系数之间的差异趋势重构待重构的高分辨率视频图像信号的高频部分，最终实现高频信息的更准确估计。
本发明能大大提高重构的高分辨率视频图像的客观和主观质量，有效地避免了假轮廓和块效应等失真。
附图说明
图1为本发明的流程图：
图2为对角线像素插值示意图；
图3为水平和垂直像素插值示意图。
具体实施方式
下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
如图1、图2和图3所示，该基于小波变换的视频图像高分辨率重构方法包括以下步骤：
S1、将待重构的视频图像信号在像素域进行插值处理，得到像素域上插值后的视频图像信号；
S2、对像素域上插值后的视频图像信号进行一级小波变换，得到估计的第一高频系数，并对第一高频系数进行筛选，得到第二高频系数；
S3、将待重构的视频图像信号在像素域和小波域进行处理，重构第二高频系数并得到第三高频系数，将第三高频系数和第一高频系数除去第二高频系数的部分组合形成第四高频系数；
S4、根据本领域常用的技术手段，将待重构的视频图像信号作为低频系数，组合低频系数与第四高频系数形成重构信号的小波系数，将重构信号的小波系数进行逆小波变换得到高分辨率视频图像信号的像素值，完成视频图像高分辨率重构。
将待重构的视频图像信号在像素域进行插值处理，得到像素域上插值后的视频图像信号的方法包括以下步骤：
S1-1、对待重构的视频图像信号按下式进行像素扩展，得到水平和垂直像素个数为输入信号两倍尺寸的视频图像信号I；
I(2i-1,2j-1)＝Ilow(i,j),i＝1,2,…,N,j＝1,2,…,M
其中Ilow表示输入的视频图像信号大小为M×N；I的其他像素点值为零；
S1-2、对视频图像信号I进行45°和135°方向插值得到对角线像素点的值；对视频图像信号I进行0°和90°方向插值得到水平和垂直方向像素点的值。
对视频图像信号I进行45°和135°方向插值得到对角线像素点的值的方法包括为：
S1-2-1-1、根据公式
G45＝|I(i+3,j-3)-I(i+1,j-1)|+|I(i+1,j-1)-I(i-1,j+1)|+|I(i-1,j+1)-I(i-3,j+3)|
G135＝|I(i+3,j+3)-I(i+1,j+1)|+|I(i+1,j+1)-I(i-1,j-1)|+|I(i-1,j-1)-I(i-3,j-3)|
得到待插值点45°和135°方向的梯度值G45和G135；其中i＝1,2,…,N,j＝1,2,…,M，M×N为视频图像大小；
S1-2-1-2、根据待插值点45°和135°方向的梯度值G45和G135的大小和公式
对对角线像素p进行插值，得到对角线像素点的值；其中
p3＝(w1p1+w2p2)/(w1+w2)
T1＝1.5
表示4-抽头Cubic卷积插值运算；其中i＝1,2,…,N,j＝1,2,…,M，M×N为视频图像大小；w1和w2均为中间参数。
对视频图像信号I进行0°和90°方向插值得到水平和垂直方向像素点的值的方法包括以下步骤：
S1-2-2-1、根据公式
G0＝|I(i+1,j)-I(i+1,j+2)|+|I(i-1,j-2)-I(i-1,j)|+|I(i,j-1)-I(i,j+1)|
+|I(i+2,j-1)-I(i+2,j+1)|+|I(i-2,j-1)-I(i-2,j+1)|
G90＝|I(i,j+1)-I(i+2,j+1)|+|I(i-2,j-1)-I(i,j-1)|+|I(i-1,j)-I(i+1,j)|
+|I(i-1,j+2)-I(i+1,j+2)|+|I(i-1,j-2)-I(i+1,j-2)|
得到待插值点0°和90°方向的梯度值G0和G90；其中i＝1,2,…,N,j＝1,2,…,M，M×N为视频图像大小；
S1-2-2-2、根据待插值点0°和90°方向的梯度值G0和G90的大小和公式
对水平和垂直方向像素q进行插值，得到水平和垂直方向像素点的值；其中
q3＝(v1q1+v2q2)/(v1+v2)
T2＝1.15
表示4-抽头Cubic卷积插值运算；其中i＝1,2,…,N,j＝1,2,…,M，M×N为视频图像大小；v1和v2均为中间参数。
对像素域上插值后的视频图像信号进行一级小波变换，得到估计的第一高频系数，并对第一高频系数进行筛选，得到第二高频系数的方法包括以下步骤：
S2-1、对像素域上插值后的视频图像信号进行一级小波变换，得到估计的第一高频系数和并根据公式
得到筛选阈值Ts LH、Ts HL和Ts HH；其中rank(·)表示降序排列的序号，Q表示CLH、CHL或CHH系数的总个数；α＝0.5％；
S2-2、将第一高频系数绝对值大于相应阈值的系数和作为第二高频系数；其中
将待重构的视频图像信号在像素域和小波域进行处理，重构第二高频系数并得到第三高频系数，将第三高频系数和其余高频系数组合形成第四高频系数的方法包括以下步骤：
S3-1、将待重构的视频图像信号进行一级小波变换得到低频小波系数与高频小波系数和
S3-2、将低频小波系数表示的视频图像信号采用与步骤S1相同的方法进行方向插值，得到水平和垂直像素个数扩大一倍的视频图像信号，并对该信号进行一级小波变换得到第三高频系数和
S3-3、将第二高频系数和映射到第三高频系数和
S3-4、根据公式
计算第二高频系数的调整因子；其中ab＝LH,HL,HH，(m,n)∈第二高频系数映射到第三高频系数的位置；
S3-5、根据公式
重构视频图像信号的第四高频系数和其中ab＝LH,HL,HH，(m,n)∈第二高频系数映射到第三高频系数的位置。
步骤S4的具体方法为：
将待重构的视频图像信号作为低频系数组合低频系数与第四高频系数和形成重构信号的小波系数，将重构信号的小波系数进行逆小波变换得到高分辨率视频图像信号的像素值，完成视频图像高分辨率重构。
实施例1：
S11、对待重构的176×144大小的视频帧信号按照式(1)进行像素扩展获得352×288尺寸的视频帧信号I；
I(2i-1,2j-1)＝Ilow(i,j),i＝1,2,…,N,j＝1,2,…,M(1)
其中Ilow表示输入的低分辨率视频帧信号大小为176×144；I的其他像素点值为零；
S12、对S11获得的视频帧信号I进行45o和135o方向插值得到对角线像素点(图2灰色像素点)的值，具体步骤如下：
S121、按照式(2)和式(3)计算待插值点45°和135°方向的梯度值G45和G135：
G45＝|I(i+3,j-3)-I(i+1,j-1)|+|I(i+1,j-1)-I(i-1,j+1)|+|I(i-1,j+1)-I(i-3,j+3)| (2)
G135＝|I(i+3,j+3)-I(i+1,j+1)|+|I(i+1,j+1)-I(i-1,j-1)|+|I(i-1,j-1)-I(i-3,j-3)| (3)
S122、根据G45和G135值大小对对角线像素p按照式(4)和式(5)进行插值；
其中
T1＝1.5
表示4-抽头Cubic卷积插值运算；w1和w2均为中间参数。
S13、对S11获得的视频帧信号I进行0°和90°方向插值获得水平和垂直方向像素点(图3白色像素点)的值，具体步骤如下：
S131、按照式(6)和式(7)计算待插值点0°和90°方向的梯度值G0和G90：
S132、根据G0和G90值大小对水平和垂直方向像素q按照式(8)和式(9)进行插值；
其中
T2＝1.15
表示4-抽头Cubic卷积插值运算；v1和v2均为中间参数。
S2、对待采样的视频帧信号在空域进行处理步骤S1得到的352×288信号进行一级小波变换，得到第一高频系数和
S3、对步骤S2估计得到的第一高频系数进行筛选，选出第二高频系数，具体如下：
S31、按式(10)计算筛选第二高频系数的阀值Ts LH、Ts HL和Ts HH：
其中rank(·)表示降序排列的序号，Q表示CLH、CHL或CHH系数的总个数；
S32、对步骤S2的第一高频系数进行筛选，绝对值大于相应阈值得系数和作为第二高频系数被选出；
S4、对输入待重构的视频帧信号在小波域进行处理，深度挖掘通过低分辨率视频帧信号重构的高频系数与真实高频系数之间的差异趋势，并重构步骤S2估计到的第二高频系数和得到待重构的视频帧信号的第三高频系数和将第三高频系数和第一高频系数除去第二高频系数的部分组合形成第四高频系数和具体步骤为：
S41、对输入待重构的视频帧信号进行一级小波变换得到低频小波系数与高频小波系数和
S42、对低频小波系数表示的低尺寸(88×72)图像按步骤S1进行方向插值得到176×144大尺寸的视频帧信号并对该大尺寸信号进行一级小波变换得到高频小波系数和
S43、将步骤S32筛选出的第二高频系数和映射到步骤S42获得的高频小波系数和
S44、按照式(11)计算第二高频系数的调整因子：
其中ab＝LH,HL,HH，(m,n)∈第二高频系数映射到第三高频系数的位置；
S45、按式(12)重构视频帧信号的第四高频系数和
其中ab＝LH,HL,HH，(m,n)∈第二高频系数映射到第三高频系数的位置；
S5、将输入待重构的视频帧信号视为低频系数并与对S4重构得到的第四高频系数和组合成为重构信号的小波系数，最后进行逆小波变换得到高分辨率视频帧信号的像素值，完成高分辨率重构过程。
输入QCIF(176×144)视频帧，用本发明方案进行重构至CIF大小(352×288)，如表1所示为几种插值方法客观测试结果比较。
表1
可以看出，本发明较GMM算法获得平均1.98dB的PSNR增益和0.06的SSIM增益；本发明较DCT-算法获得平均0.9dBPSNR增益和0.02的SSIM增益。
实施例2：
S1、对输入待重构的图像信号在像素域进行处理，得到像素域上插值后的大尺寸图像信号，具体如下：
S11、对待重构的256×256或188×188大小的图像信号按照式(1)进行像素扩展获得512×512或256×256尺寸的图像信号I；
I(2i-1,2j-1)＝Ilow(i,j),i＝1,2,…,N,j＝1,2,…,M (1)
其中Ilow表示输入的低分辨率图像信号大小为256×256或188×188；I的其他像素点值为零；
S12、对S11获得的图像信号I进行45°和135°方向插值得到对角线像素点(图2灰色像素点)的值，具体步骤如下：
S121、按照式(2)和式(3)计算待插值点45°和135°方向的梯度值G45和G135：
G45＝|I(i+3,j-3)-I(i+1,j-1)|+|I(i+1,j-1)-I(i-1,j+1)|+|I(i-1,j+1)-I(i-3,j+3)| (2)
G135＝|I(i+3,j+3)-I(i+1,j+1)|+|I(i+1,j+1)-I(i-1,j-1)|+|I(i-1,j-1)-I(i-3,j-3)| (3)
S122、根据G45和G135值大小对对角线像素p按照式(4)和式(5)进行插值；
其中
T1＝1.5
表示4-抽头Cubic卷积插值运算；w1和w2均为中间参数。
S13、对S11获得的图像信号I进行0°和90°方向插值获得水平和垂直方向像素点(图3白色像素点)的值，具体步骤如下：
S131、按照式(6)和式(7)计算待插值点0°和90°方向的梯度值G0和G90：
S132、根据G0和G90值大小对水平和垂直方向像素q按照式(8)和式(9)进行插值；
其中
T2＝1.15
表示4-抽头Cubic卷积插值运算；v1和v2均为中间参数。
S2、对待采样的图像信号在空域进行处理步骤S1得到的512×512或256×256信号进行一级小波变换，得到第一高频系数和
S3、对步骤S2的第一高频系数进行筛选，选出第二高频系数，具体如下：
S31、按式(10)计算筛选第二高频系数的阀值Ts LH、Ts HL和Ts HH：
其中rank(·)表示降序排列的序号，Q表示CLH、CHL或CHH系数的总个数；
S32、对步骤S2的第一高频系数进行筛选，绝对值大于相应阈值得系数和作为第二高频系数被选出；
S4、对输入待重构的图像信号在频域进行处理，深度挖掘通过低分辨率图像信号重构的高频系数与真实高频系数之间的差异趋势，并重构步骤S2的第二高频系数和得到待重构的图像信号的第三高频系数和最后将第三高频系数和第一高频系数除去第二高频系数的部分组合形成第四高频系数和具体步骤为：
S41、对输入待重构的图像信号进行一级小波变换得到低频小波系数与高频小波系数和
S42、对低频小波系数表示的低尺寸(188×188或94×94)信号按步骤S1进行方向插值得到256×256或188×188大尺寸的图像信号并对该大尺寸信号进行一级小波变换得到高频小波系数和
S43、将步骤S32筛选出的第二高频系数和映射到步骤S42获得的高频小波系数和
S44、按照式(11)计算第二高频系数的调整因子：
其中ab＝LH,HL,HH，(m,n)∈第二高频系数映射到第三高频系数的位置；
S45、按式(12)重构的图像信号的第四高频系数和
其中ab＝LH,HL,HH，(m,n)∈第二高频系数映射到第三高频系数的位置；
S5、将输入待重构的图像信号视为低频系数并与对S4重构得到的第四高频系数和组合成为重构信号的小波系数，最后进行逆小波变换得到高分辨率图像信号的像素值，完成高分辨率重构过程。
输入256×256或者128×128大小的图像，用本发明方案进行重构至512×512或者256×256大小，如表2所示为几种插值方法客观测试结果比较。
表2
可以看出，本发明较GMM算法获得平均0.95dB的PSNR增益和0.018的SSIM增益；本发明较DCT算法获得平均0.7dBPSNR增益和0.007的SSIM增益。
需特别说明的是，本文中提及的视频图像信号包括视频信号和图像信号，即视频信号和图像信号均可以采用本方法进行重构。
综上所述，本发明相比于Wiener滤波法、DCT法、HMT法、DCC法和GMM法的主观结果，本发明获得了比上述算法更加清晰的主观图并大大减小了DCT、HMT和GMM算法产生的假轮廓等失真。
Claims (3)
1.一种基于小波变换的视频图像高分辨率重构方法，其特征在于，包括以下步骤：
S1、对待重构的视频图像信号按下式进行像素扩展，得到水平和垂直像素个数为输入信号两倍尺寸的视频图像信号I；
I(2i-1,2j-1)＝Ilow(i,j),i＝1,2,…,N,j＝1,2,…,M
其中Ilow表示输入的视频图像信号大小为M×N；I的其他像素点值为零；
S2、对视频图像信号I进行45°和135°方向插值得到对角线像素点的值；对视频图像信号I进行0°和90°方向插值得到水平和垂直方向像素点的值，得到像素域上插值后的视频图像信号；
S3、对像素域上插值后的视频图像信号进行一级小波变换，得到估计的第一高频系数和并根据公式
得到筛选阈值和其中rank(·)表示降序排列的序号，Q表示CLH、CHL或CHH系数的总个数；α＝0.5％；其中i＝1,2,…,N,j＝1,2,…,M，M×N为视频图像大小；
S4、将第一高频系数绝对值大于相应阈值的系数和作为第二高频系数；其中
S5、将待重构的视频图像信号进行一级小波变换得到低频小波系数与高频小波系数和
S6、将低频小波系数表示的视频图像信号采用与步骤S1-步骤S2相同的方法进行方向插值，得到水平和垂直像素个数扩大一倍的视频图像信号，并对该信号进行一级小波变换得到第三高频系数和
S7、将第二高频系数和映射到第三高频系数和
S8、根据公式
计算第二高频系数的调整因子；其中ab＝LH,HL,HH，(m,n)∈第二高频系数映射到第三高频系数的位置；
S9、根据公式
获取视频图像信号的第四高频系数和其中ab＝LH,HL,HH，(m,n)∈第二高频系数映射到第三高频系数的位置；
S10、将待重构的视频图像信号作为低频系数，组合低频系数与第四高频系数形成重构信号的小波系数，将重构信号的小波系数进行逆小波变换得到高分辨率视频图像信号的像素值，完成视频图像高分辨率重构。
2.根据权利要求1所述的基于小波变换的视频图像高分辨率重构方法，其特征在于，对视频图像信号I进行45°和135°方向插值得到对角线像素点的值的方法包括为：
S1-2-1-1、根据公式
G45＝|I(i+3,j-3)-I(i+1,j-1)|+|I(i+1,j-1)-I(i-1,j+1)|+|I(i-1,j+1)-I(i-3,j+3)|
G135＝|I(i+3,j+3)-I(i+1,j+1)|+|I(i+1,j+1)-I(i-1,j-1)|+|I(i-1,j-1)-I(i-3,j-3)|
得到待插值点45°和135°方向的梯度值G45和G135；其中i＝1,2,…,N,j＝1,2,…,M，M×N为视频图像大小；
S1-2-1-2、根据待插值点45°和135°方向的梯度值G45和G135的大小和公式
对对角线像素p进行插值，得到对角线像素点的值；其中
p3＝(w1p1+w2p2)/(w1+w2)
T1＝1.5
表示4-抽头Cubic卷积插值运算；其中i＝1,2,…,N,j＝1,2,…,M，M×N为视频图像大小；w1和w2均为中间参数。
3.根据权利要求1所述的基于小波变换的视频图像高分辨率重构方法，其特征在于，对视频图像信号I进行0°和90°方向插值得到水平和垂直方向像素点的值的方法包括以下步骤：
S1-2-2-1、根据公式
G0＝|I(i+1,j)-I(i+1,j+2)|+|I(i-1,j-2)-I(i-1,j)|+|I(i,j-1)-I(i,j+1)|+|I(i+2,j-1)-I(i+2,j+1)|+|I(i-2,j-1)-I(i-2,j+1)|
G90＝|I(i,j+1)-I(i+2,j+1)|+|I(i-2,j-1)-I(i,j-1)|+|I(i-1,j)-I(i+1,j)|+|I(i-1,j+2)-I(i+1,j+2)|+|I(i-1,j-2)-I(i+1,j-2)|
得到待插值点0°和90°方向的梯度值G0和G90；其中i＝1,2,…,N,j＝1,2,…,M，M×N为视频图像大小；
S1-2-2-2、根据待插值点0°和90°方向的梯度值G0和G90的大小和公式
对水平和垂直方向像素q进行插值，得到水平和垂直方向像素点的值；其中
q3＝(v1q1+v2q2)/(v1+v2)
T2＝1.15
表示4-抽头Cubic卷积插值运算；其中i＝1,2,…,N,j＝1,2,…,M，M×N为视频图像大小；v1和v2均为中间参数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711051881.XA CN107659844B (zh) | 2017-10-30 | 2017-10-30 | 一种基于小波变换的视频图像高分辨率重构方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711051881.XA CN107659844B (zh) | 2017-10-30 | 2017-10-30 | 一种基于小波变换的视频图像高分辨率重构方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107659844A CN107659844A (zh) | 2018-02-02 |
| CN107659844B true CN107659844B (zh) | 2019-08-20 |
Family
ID=61095995
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711051881.XA Active CN107659844B (zh) | 2017-10-30 | 2017-10-30 | 一种基于小波变换的视频图像高分辨率重构方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107659844B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110583288A (zh) * | 2019-10-15 | 2019-12-20 | 西安石油大学 | 一种移动式园林绿化生态信息处理系统及方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0795197A1 (en) * | 1995-10-03 | 1997-09-17 | Koninklijke Philips Electronics N.V. | Method of reconstructing an image in a particle-optical apparatus |
| CN102298768A (zh) * | 2010-06-24 | 2011-12-28 | 江南大学 | 基于稀疏样本的高分辨率图像重建方法 |
| CN105046651A (zh) * | 2015-08-04 | 2015-11-11 | 深圳信息职业技术学院 | 一种图像的超分辨率重构方法和装置 |
| CN105184752A (zh) * | 2015-09-23 | 2015-12-23 | 成都融创智谷科技有限公司 | 一种基于小波变换的图像处理方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100586883B1 (ko) * | 2004-03-04 | 2006-06-08 | 삼성전자주식회사 | 비디오 스트리밍 서비스를 위한 비디오 코딩방법, 프리디코딩방법, 비디오 디코딩방법, 및 이를 위한 장치와, 이미지 필터링방법 |
-
2017
- 2017-10-30 CN CN201711051881.XA patent/CN107659844B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0795197A1 (en) * | 1995-10-03 | 1997-09-17 | Koninklijke Philips Electronics N.V. | Method of reconstructing an image in a particle-optical apparatus |
| CN102298768A (zh) * | 2010-06-24 | 2011-12-28 | 江南大学 | 基于稀疏样本的高分辨率图像重建方法 |
| CN105046651A (zh) * | 2015-08-04 | 2015-11-11 | 深圳信息职业技术学院 | 一种图像的超分辨率重构方法和装置 |
| CN105184752A (zh) * | 2015-09-23 | 2015-12-23 | 成都融创智谷科技有限公司 | 一种基于小波变换的图像处理方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107659844A (zh) | 2018-02-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Suganya et al. | Survey on image enhancement techniques | |
| WO2016045242A1 (zh) | 一种图像放大方法、图像放大装置及显示设备 | |
| CN104883579B (zh) | 一种基于空‑频域的联合视频图像的上采样方法 | |
| CN109302593A (zh) | 一种面向单传感器相机成像系统的去马赛克算法 | |
| Lama et al. | Interpolation using wavelet transform and discrete cosine transform for high resolution display | |
| CN107659844B (zh) | 一种基于小波变换的视频图像高分辨率重构方法 | |
| Khaire et al. | Resolution Enhancement of images with interpolation and DWT–SWT Wavelet domain components | |
| CN115272068A (zh) | 一种用于图像上采样的高效插值方法 | |
| CN106254720B (zh) | 一种基于联合正则化的视频超分辨率重建方法 | |
| Jindal et al. | A novel image zooming technique using wavelet coefficients | |
| KR101660447B1 (ko) | 베이어 패턴 컬러 필터 어레이 디모자이킹을 위한 다 방향 가중 보간 방법 | |
| Sung et al. | Color filter array demosaicking by using subband synthesis scheme | |
| Lama et al. | Color image interpolation for high resolution display based on adaptive directional lifting based wavelet transform | |
| Ramesh et al. | An aphoristic study on different interpolation techniques for medical image scaling and its comparative analysis | |
| Lama et al. | New interpolation method based on combination of discrete cosine transform and wavelet transform | |
| KR20110026942A (ko) | 저해상도 영상의 손실 정보 추정 방법과 고해상도 영상 변환 방법 | |
| KR102027886B1 (ko) | 대형 디스플레이의 영상 크기 조절 장치 및 방법 | |
| Oh et al. | Edge adaptive color demosaicking based on the spatial correlation of the Bayer color difference | |
| Takeda et al. | Spatio-temporal video interpolation and denoising using motion-assisted steering kernel (MASK) regression | |
| Okuhata et al. | Implementation of super-resolution scaler for Full HD and 4K video | |
| Sadaka et al. | Super-resolution using a wavelet-based adaptive wiener filter | |
| Bhakiya et al. | Satellite image resolution enhancement using dual-tree complex wavelet transform and adaptive histogram equalization | |
| Rafinazari et al. | Demosaicking algorithm for the Fujifilm X-Trans color filter array | |
| Jakhetiya et al. | A survey on image interpolation methods | |
| Chen et al. | A gradient inverse weighted filtering approach for video deinterlacing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |