CN106937118B - 一种基于主观感兴趣区域和时空域相结合的码率控制方法 - Google Patents
一种基于主观感兴趣区域和时空域相结合的码率控制方法 Download PDFInfo
- Publication number
- CN106937118B CN106937118B CN201710145120.4A CN201710145120A CN106937118B CN 106937118 B CN106937118 B CN 106937118B CN 201710145120 A CN201710145120 A CN 201710145120A CN 106937118 B CN106937118 B CN 106937118B
- Authority
- CN
- China
- Prior art keywords
- ctu
- value
- image
- target bit
- formula
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/167—Position within a video image, e.g. region of interest [ROI]
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明属于HEVC高清视频编码技术领域,公开了一种基于主观感兴趣区域和时空域相结合的码率控制方法,包括:基于空域计算每个CTU级目标比特分配权重;基于光流和全局运动估计算法计算每帧图像的运动区域作为时域感兴趣区域;依据由光流和全局运动估计算法得到的时域感兴趣区域结果,对得到的CTU级目标比特分配权重进行调整;将以时空域主观感兴趣区域检测得出的CTU级目标比特分配权重进行中心增强操作;得到最终编码CTU级目标比特分配进行编码操作;修改视频压缩最终评价标准。本发明相比于HM16.0压缩模型,在保证满足目标比特码率不变的情况下,使HEVC压缩主观效果更好。
Description
技术领域
本发明属于HEVC高清视频编码技术领域,尤其涉及一种基于主观感兴趣区域和时空域相结合的码率控制方法。
背景技术
高效视频编码HEVC(High Efficiency Video Coding)是JCT-VC会议提出的最新一代视频编码标准。随着实际生活应用中的高清、超高清视频压缩的需求日益增多,H.264视频编码标准已经不能满足高清视频压缩的需求。相较于H.264视频压缩编码标准,HEVC拥有更优异的编码性能,将得到广泛的应用。而码率控制技术是视频压缩编码中的一个重要部分,在实际的应用场合,如何在有限的带宽资源下保证编码后视频的质量,即为码率控制技术所要解决的问题。HEVC采用混合编码框架,包括码率控制、帧内预测、帧间预测、变换量化、熵编码、环路滤波等模块。其中码率控制模块包含目标码率分配和目标码率实现两个子模块。码率控制的目的是在满足总编码比特数小于目标比特数的前提下,为每一个编码单元确定最优的量化参数,使得总失真最小。码率控制模块主要包括两个步骤,目标比特分配和目标比特实现。目标比特分配主要任务为根据编码设定总目标比特数来确定每个编码单元的最优比特分配。现有的码率控制算法基于分层次进行码率分配,分别依次对GOP层、图像层、CTU层进行目标码率分配。进行分配的依据主要考虑帧编码格式(I、B、P帧)、图像复杂度及缓冲区状态等因素对码率进行动态分配;目标比特实现部分主要任务为建立目标比特与量化参数QP的关系模型(R-QP模型),根据每个编码单元的目标比特分配值确定量化参数QP进行下一步编码工作。现有的目标比特实现部分算法中多采用基于双曲线函数特性的R-λ-QP模型来确定量化参数。下面将分别介绍在HEVC中目标比特分配和目标比特实现两个过程的具体实现算法。1、目标比特分配。目标比特分配采用分层次的分配策略,分别依次对GOP层、图像层、CTU层进行目标比特分配。1)GOP层目标比特分配。GOP是码率控制算法需要处理的最大编码单元。GOP层目标比特分配策略主要参考信道速率和缓冲区状态两个因素为每个GOP分配目标比特数。具体分配公式为:
其中,NG为一个GOP中的帧数,为每一幅图像的平均目标比特数,参考公式如下:
其中,u为设定信道速率,Fr为帧率,Nv,c为当前视频序列已经编码的总帧数,这些帧的实际编码比特数为Rv,c,SW为固定参数。
2)图像层目标比特分配。该过程将GOP层得到的目标比特分配给每一幅图像,参考当前GOP已编码的实际比特数和分配权重来进行图像层目标比特分配。具体算法计算公式为:
Tf(j)=β·Ta(j)+(1-β)·Tb(j);
其中,β为固定参数。Ta(j)为根据GOP级的总目标比特分配数为每一幅图像分配的目标比特数,具体为:
Tb为根据当前GOP剩余编码比特数为该幅图像分配的目标比特数,具体为:
其中,RG,c为当前GOP中已编码图像的实际比特数,ωf(j)为图像级比特分配权重,根据不同的时域预测结构对GOP中不同的图像设置了固定的ωf(j)。由以上公式确定图像级的目标比特分配。
3)CTU层目标比特分配。在HEVC视频压缩编码过程中,将每幅图像划分为64x64大小的编码单元CTU,为最小的编码单元。目标比特分配具体公式参考如下:
其中,RL,c为当前帧已编码CTU所用实际比特数,Hf为图像头信息所用实际编码数,ωL(m)为当前CTU的比特分配权重,该权重值由当前CTU的内容特性决定。官方压缩模型中将该权重的值设定为前一帧图像中相同位置CTU编码MAD的平方,即通过前一帧预测得到该权重值。
通过以上分配策略完成HEVC视频编码过程中各级编码单元的分配编码比特数,为HEVC视频压缩码率控制的第一个步骤。
2、目标比特实现。由目标比特分配算法可以得到各级编码单元的目标比特分配。目标比特实现模块将已得到的目标比特通过一定的R-QP模型转化为量化参数QP值,用于变化量化模型进行压缩。该部分的重点为建立合适的R-QP模型,使得用该模型得到的QP进行量化编码后的比特数与目标设定比特数相同。
现行官方压缩模型中所用模型为R-λ-QP模型,该模型用双曲函数模型来模拟视频码率和失真之间关系,求得到拉格朗日优化因子λ,具体公式为:
QP=4.2005lnλ+13.7122;
其中,D为视频编码失真,R为视频码率,α和β为与视频内容特性有关的参数。在实现过程中,α和β为保持动态更新。编码当前CTU时α和β值参考前一帧编码图像相同位置CTU的α和β的更新值,编码完成后根据实际编码情况更新α和β的值,实现动态更新。
通过目标比特实现算法得到编码量化参数QP,参考该QP值进行变化量化过程即可实现HEVC视频编码的压缩过程。当每帧图像压缩完成后,在HEVC官方模型中衡量视频压缩质量的标准为PSNR,该参数由原始序列与编码重构后序列之间失真计算所得,具体公式为:
其中,MSE为均方误差值,计算公式为:
m,n为图像尺寸,I(i,j)和K(i,j)分别为原始图像和重构图像。
经过以上算法分析可知,在HEVC各级编码单元码率分配过程中有两点缺陷。
第一,在码率分配的过程中考虑了编码结构与视频序列内容特性等客观因素进行了码率分配。但由于人眼在观测视频的过程中,对每一帧图像的观测是有侧重区域的,合理的码率分配策略应该为在人眼关注的区域分配较多的码率,在人眼不关注的区域分配较少的码率,因此完全基于客观参数的码率分配策略并不是一种最优的分配策略。
第二,HEVC压缩编码最终结果评价标准为PSNR,该值是基于一帧图像的全局均方误差值MSE进行计算的,图像不同位置的误差值对最终结果的影响程度相同,同样基于此思想的PSNR评价标准与人眼观测到的主观评价结果相差还是较大,导致该参数并不能很好的反映视频真实的压缩质量好坏,需要对该最终评价结果进行一定的修正。
综上所述,现有技术存在的问题是:在HEVC各级编码单元码率分配过程中存在在人眼不关注的区域分配较少的码率;PSNR评价标准与人眼观测到的主观评价结果相差还是较大,导致该参数并不能很好的反映视频真实的压缩质量好坏。
发明内容
针对现有技术存在的问题,本发明提供了一种基于主观感兴趣区域和时空域相结合的码率控制方法。
本发明是这样实现的,一种基于主观感兴趣区域和时空域相结合的码率控制方法,所述基于主观感兴趣区域和时空域相结合的码率控制方法包括:
(1)在空间域方面,采用基于直方图分布的频率计算方式修改原算法中CTU级目标比特分配权重;具体包括:
步骤一,对每个64x64的CTU进行直方图统计,计算CTU编码块每级像素(0-255)出现的频率,
步骤二,基于得到的直方图分布,计算每个点的显著值,参考公式如下:
其中,I(x,y)为图像原始像素值,Fre(i)为在CTU中每级像素值出现的频率。由该公式计算得到的显著值D(x,y)有效的反应每个点在整个CTU中所占的显著权值;
步骤三,对CTU中每个点的显著值进行求和做为CTU的最终空域目标比特分配权重,参考公式如下:
(2)在时间域方面,基于光流和全局运动估计算法检测出视频帧中的运动区域,根据运动区域修改1中得到的CTU级目标比特分配权重;具体包括:
步骤一,计算视频序列中每帧图像的光流场,采用以SIFT算法为基础的光流估计算法;
步骤二,对一帧图像进行运动区域提取,基于得到的光流估计结果进行全局运动矢量估计,采用6参数的仿射模型来进行全局运动估计,具体公式参考如下:
dxi=a1xi+a2yi+a3;
dyi=a4xi+a5yi+a6;
其中,(xi,yi)为当前帧Fn中第i点所处位置,(dxi,dyi)为当前序列从第Fn-1帧到Fn帧的运动矢量,由光流估计得到,a=(a1,a2,a3,a4,a5,a6)为所要求得的运动矢量;
计算全局运动估计向量a公式参考如下:
直到一帧图像结束便得到了一帧图像的运动区域;
步骤三,将得到的图像运动检测图经过二值化处理得到二值化的运动区域图像,其中运动值大于平均值的归为运动点,否则归为非运动点;
步骤四,按编码CTU的划分,将得到的二值化运动区域图像进行处理,得到每帧图像中运动剧烈的CTU;
步骤五,基于得到的运动剧烈CTU检测,将由空域得到的CTU级目标比特分配值进行调整:
DL(m)=a*D(m);
其中,D(m)为由空域得到的CTU级目标比特分配权重值,a为权重参数,根据由得出的当前CTU是否属于运动剧烈CTU取不同的值,如果当前CTU属于运动剧烈CTU,那么a取大于1的值,否则,a取小于1的值;
(3)对得到的目标比特分配权重进行中心增强操作,得到最终CTU级目标比特分配,完成CTU级目标比特分配权重修改;对分配权重进行中心增强调整,具体参考公式:
其中,DL(m)为由时空域得到的CTU目标比特分配权重,row为当前CTU的行标识,col为当前CTU的列标识,midx为当前帧CTU划分行中值,midy为列中值,a为固定参数;由中心增强调整公式可知,当分配图像中心区域CTU时,公式中项的值大于1;当编码非中心区域CTU时,项的值小于1,实现了对于图像中心区域CTU目标比特分配的增强和非中心区域的减弱;
(4)修改视频压缩最终评价标准,基于眼动仪实验真实关注值对PSNR进行修改,形成更能反应人眼主观观测效果的ROI-PSNR;具体公式如下:
其中,m和n为图像宽和高,I(i,j)为图像原始像素点,K(i,j)为压缩重构后的图像像素点,ω(i,j)为每个点的权重参数,值计算公式参考如下:
其中,a和b为固定参数,V(i,j)为由眼动仪实验得到的图像中每一点的真实关注值,取值范围为0-255,为该帧图像的关注值平均值;
更新MSEp的计算方式,并带入PSNR计算公式中,得到更符合人眼主观观测的ROI-PSNR评价参数,公式参考如下:
进一步,所述基于主观感兴趣区域和时空域相结合的码率控制方法包括以下步骤:
步骤一,基于空域计算每个CTU级目标比特分配权重;
步骤二,基于光流和全局运动估计算法计算每帧图像的运动区域作为时域感兴趣区域;
步骤三,依据由光流和全局运动估计算法得到的时域感兴趣区域结果,对S1中得到的CTU级目标比特分配权重进行调整;
步骤四,将以时空域主观感兴趣区域检测得出的CTU级目标比特分配权重进行中心增强操作;
步骤五,将时空域感兴趣区域和中心增强得到的CTU级目标比特分配权重用于CTU级目标比特分配公式中,得到最终编码CTU级目标比特分配进行编码操作;
步骤六,修改视频压缩最终评价标准,基于眼动仪实验真实关注值对PSNR进行修改,形成更能反应人眼主观观测效果的ROI-PSNR,并用此作为改进码率控制算法的评价标准。
进一步,对根据每个CTU的直方图统计,计算图像中每个点的关注显著值,公式如下:
其中,I(x,y)为图像原始像素值,Fre(i)为在CTU中每级像素值出现的频率;对CTU中每个点的显著值进行求和做为CTU的空域目标码率分配权重,公式如下:
进一步,采用6仿射模型来进行全局运动估计,公式如下:
dxi=a1xi+a2yi+a3;
dyi=a4xi+a5yi+a6;
其中,(xi,yi)为当前帧Fn中第i点所处位置,(dxi,dyi)为当前序列从第Fn-1帧到Fn帧的运动矢量,由光流估计得到;
用最小二乘法迭代计算全局运动矢量,公式参考如下:
经过多次迭代检测出运动矢量与已求得全局运动矢量差距较大的点作为运动点进行区分;直到一帧图像结束便得到了一帧图像的运动区域;将图像运动区域信息经过二值化处理,得到每帧图像中运动剧烈的CTU,即得到时域感兴趣区域。
进一步,运动时域感兴趣区域检测结果对得到CTU级目标比特分配权重进行调整,公式参考如下:
DL(m)=a*D(m);
其中,D(m)为由空域得到的CTU级目标比特分配权重值,a为权重参数,根据由步骤五中得出的当前CTU是否属于运动剧烈CTU取不同的值,如果当前CTU属于运动剧烈CTU,那么a取大于1的值,否则,a取小于1的值。
进一步,中心增强的公式如下:
其中,DL(m)为由时空域得到的CTU目标比特分配权重,row为当前CTU的行标识,col为当前CTU的列标识,midx为当前帧CTU划分行中值,midy为列中值,a为固定参数;中心增强过后的值作为最终CTU级目标比特分配权重。
进一步,评价结果参数的修改以人眼真实主观关注显著图作为依据,对MSE计算公式增加权值计算,实现公式如下:
其中,m和n为图像宽和高,I(i,j)为图像原始像素点,K(i,j)为经压缩重构后的图像像素点,ω(i,j)为每个点的权重参数,值计算参考如下:
其中,a和b为固定参数,V(i,j)为由眼动仪实验得到的图像中每一点的眼动仪真实关注值,取值范围为0-255,为帧图像的关注值平均值;将MSEp带入PSNR计算公式,形成ROI-PSNR,具体参考公式如下:
本发明的优点及积极效果为:相比于HM16.0压缩模型,在保证满足目标比特码率不变的情况下,使HEVC压缩主观效果更好。本发明经过多次实验测试,设置合适的参数,使得视频序列不依赖于自身特性,大大提升了压缩质量。以主观评价参数ROI-PSNR作为评价标准,本发明的改进码率控制算法相较于HM16.0压缩算法,可以使最终压缩质量平均提升0.46dB;同时本发明适用于所有视频序列,对不同内容特性的压缩序列均有不同程度的提升。本发明在不影响编码目标码率实现的情况下,提升了序列结果的主观观测质量,并且不局限于特定特征的视频序列,对于图像分辨率和纹理特征等因素不过分依赖。
附图说明
图1是本发明实施例提供的基于主观感兴趣区域和时空域相结合的码率控制方法流程图。
图2是本发明实施例提供的检测出时域感兴趣CTU示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
下面结合附图对本发明的应用原理作详细的描述。
如图1所示,本发明实施例提供的基于主观感兴趣区域和时空域相结合的码率控制方法包括以下步骤:
S101:基于空域计算每个CTU级目标比特分配权重;
S102:基于光流和全局运动估计算法计算每帧图像的运动区域作为时域感兴趣区域;
S103:依据由光流和全局运动估计算法得到的时域感兴趣区域结果,对得到的CTU级目标比特分配权重进行调整;
S104:将以时空域主观感兴趣区域检测得出的CTU级目标比特分配权重进行中心增强操作;
S105:将时空域感兴趣区域和中心增强得到的CTU级目标比特分配权重用于CTU级目标比特分配公式中,得到最终编码CTU级目标比特分配进行编码操作;
S106:修改视频压缩最终评价标准,基于眼动仪实验真实关注值对PSNR进行修改,形成更能反应人眼主观观测效果的ROI-PSNR,并用此作为改进码率控制算法的评价标准。
本发明实施例提供的基于主观感兴趣区域和时空域相结合的码率控制方法具体步骤如下:
(1)基于空域计算每个CTU目标比特分配权重。对每个64x64的CTU进行直方图统计,计算该CTU编码块每级像素(0-255)出现的频率。然后根据得到的直方图分布,计算图像中每个点的关注显著值,参考公式如下:
其中,I(x,y)为图像原始像素值,Fre(i)为在该CTU中每级像素值出现的频率。由该公式计算得到的显著值D(x,y)能够有效的反应每个点在整个CTU中所占的显著权值。对该CTU中每个点的显著值进行求和做为该CTU的空域目标码率分配权重,参考公式如下:
(2)基于光流算法检测每帧图像的运动区域作为时域感兴趣区域。首先采用CeLiu于2009年提出的以SIFT算法为基础的光流估计算法计算每帧图像的光流场。
其次,对每帧图像进行运动区域检测。先基于光流估计结果进行全局运动矢量估计,该过程采用6仿射模型来进行全局运动估计,具体公式参考如下:
dxi=a1xi+a2yi+a3;
dyi=a4xi+a5yi+a6;
其中,(xi,yi)为当前帧Fn中第i点所处位置,(dxi,dyi)为当前序列从第Fn-1帧到Fn帧的运动矢量,由光流估计得到。
为计算全局运动估计向量a,本发明采用最小二乘法。公式参考如下:
通过以上公式,经过多次迭代跟新全局运动矢量,在迭代的过程中运动矢量与已求得全局运动矢量差距较大的点作为运动点进行区分。重复此过程,直到一帧图像结束便得到了一帧图像的运动区域。
将以上得到的图像运动区域信息经过二值化处理,其中运动显著值大于平均值的归为运动点,否则归为非运动点。然后按照编码CTU的划分,将二值化运动区域图像进行处理,得到每帧图像中运动剧烈的CTU。
(3)依据由光流和全局运动估计得到的运动剧烈CTU检测结果,对S101中得到的CTU级目标比特分配值进行调整。具体公式参考如下:
DL(m)=a*D(m);
其中,D(m)为由空域得到的CTU级目标比特分配权重值,a为权重参数,根据由步骤五中得出的当前CTU是否属于运动剧烈CTU取不同的值,如果当前CTU属于运动剧烈CTU,那么a取大于1的值,否则,a取小于1的值。
(4)将以时空域主观感兴趣区域检测为标准的的CTU级目标比特分配权重进行中心增强操作,具体参考公式如下:
其中,DL(m)为由时空域得到的CTU目标比特分配权重,row为当前CTU的行标识,col为当前CTU的列标识,midx为当前帧CTU划分行中值,midy为列中值,a为固定参数。
(5)将时空域感兴趣区域和中心增强得到的CTU级目标比特分配权重用于CTU级目标比特分配公式中,得到最终编码CTU级目标比特分配进行以后编码操作。具体参考公式如下:
其中,Tf为当前帧目标比特分配,RL,c为当前帧已编码CTU所用实际比特数,Hf为图像头信息所用实际编码数,ωL(m)为当前CTU的比特分配权重。
(6)在PSNR计算模块修改计算公式,以人眼真实主观关注显著图作为依据,对MSE计算公式增加权值计算,具体实现公式参考如下:
其中,m和n为图像宽和高,I(i,j)为图像原始像素点,K(i,j)为经压缩重构后的图像像素点,ω(i,j)为每个点的权重参数,该值计算参考如下:
其中,a和b为固定参数,V(i,j)为由眼动仪实验得到的图像中每一点的眼动仪真实关注值(取值范围为0-255),为该帧图像的关注值平均值。
由以上公式更新MSEp的计算方式,并带入PSNR计算公式中,最终得到更符合人眼主观观测的ROI-PSNR评价参数,公式参考如下:
由于人眼在观看视频时是有侧重的,从空间域上来说,人眼更偏向于观测每帧中的复杂区域;从时间域上来说,人眼更偏向于观测运动的区域;从观测习惯来说,人眼更偏向于关注图像的中心区域。针对这三方面,本发明分别在空间域和时间域上对CTU级目标比特权重ωL(m)计算进行了修改,同时进行了相应分配权重的中心增强操作,形成了一种改进的码率分配策略,使得最终码率更多地分配在人眼主观关注区域。并且对于最终评价标准PSNR进行了相应的修改,形成了更符合人眼主观观测结果的评测标准ROI-PSNR,用该参数作为改进码率控制算法的评价标准更为合理和。以下对于这四方面的发明改进进行分别说明:
1、空域CTU级码率分配修改。
在空间域方面,研究发现人眼观测视频的时候对于每帧图像中的高频区域相对于低频部分更感兴趣,所以在进行CTU级码率分配的时候应该使高频区域分的更多的码率,低频区域分的较少的码率。基于此分析,本发明采用基于直方图分布的频率计算方式修改原算法的CTU级目标比特分配,使得最终CTU级目标比特分配结果更主观更合理。该部分具体实现过程如下:
步骤一:首先对每个64x64的CTU进行直方图统计,计算该CTU编码块每级像素(0-255)出现的频率。
步骤二:基于步骤一中得到的直方图分布,计算每个点的显著值,参考公式如下:
其中,I(x,y)为图像原始像素值,Fre(i)为在该CTU中每级像素值出现的频率。由该公式计算得到的显著值D(x,y)能够有效的反应每个点在整个CTU中所占的显著权值。
步骤三:对该CTU中每个点的显著值进行求和做为该CTU的最终空域目标比特分配权重,参考公式如下:
经过以上三个步骤得到基于空间域的CTU级目标比特分配权重D(m),其本质相当于计算该CTU块的复杂程度,当D(m)值大时,表征该CTU文理较为复杂,属于高频块;当D(m)值较小时,表征该CTU块相对较为简单平缓,属于低频块。该过程利用人眼对高频区域感兴趣的思想得到了基于空域的CTU级目标比特分配权重。
2、时域CTU级目标比特分配修改。
在时间域方面,经研究可知人眼在观测视频时对运动区域比较感兴趣,合理的码率分配标准应该为在运动区域CTU目标比特分配更改更多,在非运动区域CTU目标比特分配应该相对较少。基于此思想本发明实现了一种基于运动区域检测的时域CTU目标码率调整方法。首先基于光流估计算法和全局运动矢量估计检测出每帧图像运动区域,并将运动区域进一步处理,提取出每帧图像中运动剧烈的CTU编码块,再基于此进行时域的码率分配调整。具体过程如下:
步骤一:计算视频序列中每帧图像的光流场,这里采用的是Ce Liu于2009年提出的以SIFT算法为基础的光流估计算法。
步骤二:对一帧图像进行运动区域提取。首先基于步骤一得到的光流估计结果进行全局运动矢量估计,该过程本发明采用6参数的仿射模型来进行全局运动估计,具体公式参考如下:
dxi=a1xi+a2yi+a3;
dyi=a4xi+a5yi+a6;
其中,(xi,yi)为当前帧Fn中第i点所处位置,(dxi,dyi)为当前序列从第Fn-1帧到Fn帧的运动矢量,由步骤一光流估计得到。a=(a1,a2,a3,a4,a5,a6)为所要求得的运动矢量。
为计算全局运动估计向量a,本发明采用最小二乘法。公式参考如下:
通过以上公式,经过多次迭代跟新全局运动矢量,在迭代的过程中运动矢量与已求得全局运动矢量差距较大的点作为运动点进行区分。重复此过程,直到一帧图像结束便得到了一帧图像的运动区域。
步骤三:将步骤二得到的图像运动检测图经过二值化处理得到二值化的运动区域图像。其中运动值大于平均值的归为运动点,否则归为非运动点。
步骤四:按编码CTU的划分,将步骤三中得到的二值化运动区域图像进行处理,得到每帧图像中运动剧烈的CTU。
步骤五:基于步骤四得到的运动剧烈CTU检测,将由空域得到的CTU级目标比特分配值进行调整。
DL(m)=a*D(m);
其中,D(m)为由空域得到的CTU级目标比特分配权重值,a为权重参数,根据由步骤四中得出的当前CTU是否属于运动剧烈CTU取不同的值,如果当前CTU属于运动剧烈CTU,那么a取大于1的值,否则,a取小于1的值。
经过以上六个步骤,实现了基于时空域相结合的目标比特分配权重修改。
3、基于中心增强的CTU级目标比特分配调整。
考虑人眼在观测视频过程中对于图像中心区域部分侧重比较大,所以本发明在完成了基于时空域的CTU级目标比特分配权重调整后,对该分配权重进行中心增强调整,具体参考公式:
其中,DL(m)为由时空域得到的CTU目标比特分配权重,row为当前CTU的行标识,col为当前CTU的列标识,midx为当前帧CTU划分行中值,midy为列中值,a为固定参数。由该中心增强调整公式可知,当分配图像中心区域CTU时,公式中项的值大于1;当编码非中心区域CTU时,该项的值小于1,实现了对于图像中心区域CTU目标比特分配的增强和非中心区域的减弱。
经过时空域和中心增强得到CTU级目标比特分配权重ωL(m)后,将该值用于CTU级目标比特分配即可。
其中,Tf为当前帧目标比特分配,RL,c为当前帧已编码CTU所用实际比特数,Hf为图像头信息所用实际编码数,ωL(m)为当前CTU的比特分配权重。
通过以上三个部分的改进,本发明实现了基于主观感兴趣区域和时空域相结合的码率控制算法。
4、算法评价结果参数PSNR修改。
对于算法结果的评价,本发明提出了一种基于真实观测显著值的改进ROI-PSNR评价参数,该参数以眼动仪真实观测结果作为MSE计算权重的更改依据,使最终计算结果的好坏更趋近与人眼主观观测。具体实现公式参考如下:
其中,m和n为图像宽和高,I(i,j)为图像原始像素点,K(i,j)为压缩重构后的图像像素点,ω(i,j)为每个点的权重参数,该值计算公式参考如下:
其中,a和b为固定参数,V(i,j)为由眼动仪实验得到的图像中每一点的真实关注值(取值范围为0-255),为该帧图像的关注值平均值。
由以上公式更新MSEp的计算方式,并带入PSNR计算公式中,最终得到更符合人眼主观观测的ROI-PSNR评价参数,公式参考如下:
相较于原始HEVC中码率控制算法,本发明中提出的算法在不改变最终压缩码率的情况下,在空间域、时间域、中心增强和最终评价标准四个方面进行了改进,使得改进后算法结果人眼主观观测效果更好。为测试发明效果,对部分HM标准测试序列在表1的环境下进行了实验,具体实验数据和分析数据由表2给出。
表1实验环境
表2实验数据及分析数据
在表2中,实验对原始HM16.0压缩算法和本发明改进的算法分别用参数RSNR和ROI-PSNR进行了比较。由表中测试结果可知,相较于原始HM16.0码率控制算法,考虑主观感兴趣区域和时空域相结合的码率控制算法,具有更好的主观压缩效果。以修改后的更合理更符合人眼主观观测的ROI-PSNR参数作为评价标准,对于不同的测试序列,本发明的改进码率控制算法可以使最终压缩质量提升平均0.46dB。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
Claims (1)
1.一种基于主观感兴趣区域和时空域相结合的码率控制方法,其特征在于,所述基于主观感兴趣区域和时空域相结合的码率控制方法包括:
(1)在空间域方面,采用基于直方图分布的频率计算方式修改原算法中CTU级目标比特分配权重;具体包括:
步骤一,对每个64x64的CTU进行直方图统计,计算CTU编码块每级像素(0-255)出现的频率,
步骤二,基于得到的直方图分布,计算每个点的显著值,参考公式如下:
其中,I(x,y)为图像原始像素值,Fre(i)为在CTU中每级像素值出现的频率;由该公式计算得到的显著值D(x,y)有效的反应每个点在整个CTU中所占的显著权值;
步骤三,对CTU中每个点的显著值进行求和做为CTU的最终空域目标比特分配权重,参考公式如下:
(2)在时间域方面,基于光流和全局运动估计算法检测出视频帧中的运动区域,根据运动区域修改( 1) 中得到的CTU级目标比特分配权重;具体包括:
步骤一,计算视频序列中每帧图像的光流场,采用以SIFT算法为基础的光流估计算法;
步骤二,对一帧图像进行运动区域提取,基于得到的光流估计结果进行全局运动矢量估计,采用6参数的仿射模型来进行全局运动估计,具体公式参考如下:
dxi=a1xi+a2yi+a3;
dyi=a4xi+a5yi+a6;
其中,(xi,yi)为当前帧Fn中第i点所处位置,(dxi,dyi)为当前序列从第Fn-1帧到Fn帧的运动矢量,由光流估计得到,a=(a1,a2,a3,a4,a5,a6)为所要求得的运动矢量;
计算全局运动估计向量a公式参考如下:
直到一帧图像结束便得到了一帧图像的运动区域;
步骤三,将得到的图像运动检测图经过二值化处理得到二值化的运动区域图像,其中运动值大于平均值的归为运动点,否则归为非运动点;
步骤四,按编码CTU的划分,将得到的二值化运动区域图像进行处理,得到每帧图像中运动剧烈的CTU;
步骤五,基于得到的运动剧烈CTU检测,将由空域得到的CTU级目标比特分配值进行调整:
DL(m)=a′*D(m);
其中,D(m)为由空域得到的CTU级目标比特分配权重值,a′为权重参数,根据由得出的当前CTU是否属于运动剧烈CTU取不同的值,如果当前CTU属于运动剧烈CTU,那么a′取大于1的值,否则,a′取小于1的值;
(3)对得到的目标比特分配权重进行中心增强操作,得到最终CTU级目标比特分配,完成CTU级目标比特分配权重修改;对分配权重进行中心增强调整,具体参考公式:
其中,DL(m)为由时空域得到的CTU目标比特分配权重,row为当前CTU的行标识,col为当前CTU的列标识,midx为当前帧CTU划分行中值,midy为列中值,a″为固定参数;由中心增强调整公式可知,当分配图像中心区域CTU时,公式中项的值大于1;当编码非中心区域CTU时,项的值小于1,实现了对于图像中心区域CTU目标比特分配的增强和非中心区域的减弱;
(4)修改视频压缩最终评价标准,基于眼动仪实验真实关注值对PSNR进行修改,形成更能反应人眼主观观测效果的ROI-PSNR;具体公式如下:
其中,m和n为图像宽和高,I(i,j)为图像原始像素点,K(i,j)为压缩重构后的图像像素点,ω(i,j)为每个点的权重参数,值计算公式参考如下:
其中,a″和b为固定参数,V(i,j)为由眼动仪实验得到的图像中每一点的真实关注值,取值范围为0-255,为该帧图像的关注值平均值;
更新MSEp的计算方式,并带入PSNR计算公式中,得到更符合人眼主观观测的ROI-PSNR评价参数,公式参考如下:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710145120.4A CN106937118B (zh) | 2017-03-13 | 2017-03-13 | 一种基于主观感兴趣区域和时空域相结合的码率控制方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710145120.4A CN106937118B (zh) | 2017-03-13 | 2017-03-13 | 一种基于主观感兴趣区域和时空域相结合的码率控制方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106937118A CN106937118A (zh) | 2017-07-07 |
CN106937118B true CN106937118B (zh) | 2019-09-13 |
Family
ID=59433020
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710145120.4A Active CN106937118B (zh) | 2017-03-13 | 2017-03-13 | 一种基于主观感兴趣区域和时空域相结合的码率控制方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106937118B (zh) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107529064A (zh) * | 2017-09-04 | 2017-12-29 | 北京理工大学 | 一种基于vr终端反馈的自适应编码方法 |
CN111492657B (zh) * | 2017-12-08 | 2023-06-30 | 上海科技大学 | 基于脸部区域检测的光场视频压缩 |
CN108171222B (zh) * | 2018-02-11 | 2020-08-25 | 清华大学 | 一种基于多流神经网络的实时视频分类方法及装置 |
CN109451316B (zh) * | 2018-11-21 | 2020-11-24 | 北京航空航天大学 | 一种基于cu显著性的qp选择算法 |
CN109309834B (zh) * | 2018-11-21 | 2021-01-05 | 北京航空航天大学 | 基于卷积神经网络和hevc压缩域显著信息的视频压缩方法 |
CN110072103A (zh) * | 2019-03-15 | 2019-07-30 | 西安电子科技大学 | 基于roi的视频快速压缩方法、高清视频系统、4k视频系统 |
CN110248195B (zh) * | 2019-07-17 | 2021-11-05 | 北京百度网讯科技有限公司 | 用于输出信息的方法和装置 |
CN110769254B (zh) * | 2019-10-10 | 2022-04-22 | 网宿科技股份有限公司 | 一种视频帧的码率配置方法、系统及设备 |
CN111079740A (zh) * | 2019-12-02 | 2020-04-28 | 咪咕文化科技有限公司 | 图像的质量评价方法、电子设备和计算机可读存储介质 |
CN111447446B (zh) * | 2020-05-15 | 2022-08-23 | 西北民族大学 | 一种基于人眼视觉区域重要性分析的hevc码率控制方法 |
CN114466189B (zh) * | 2021-12-27 | 2024-05-28 | 浙江大华技术股份有限公司 | 码率控制方法、电子设备及存储介质 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101325711A (zh) * | 2008-07-16 | 2008-12-17 | 上海大学 | 基于时空掩盖效应的自适应码率控制方法 |
CN101478678A (zh) * | 2008-12-30 | 2009-07-08 | 西安交通大学 | 基于感兴趣区域运动补偿时域滤波方法 |
CN102905200A (zh) * | 2012-08-07 | 2013-01-30 | 上海交通大学 | 一种视频感兴趣区域双流编码传输方法及系统 |
CN103096122A (zh) * | 2013-01-24 | 2013-05-08 | 上海交通大学 | 基于感兴趣区域内运动特征的立体视觉舒适度评价方法 |
CN103281530A (zh) * | 2013-05-07 | 2013-09-04 | 西安电子科技大学 | 基于率失真优化的hevc码率控制方法 |
CN104333761A (zh) * | 2014-11-20 | 2015-02-04 | 富春通信股份有限公司 | 一种hevc基本单元级码率分配方法 |
CN104539962A (zh) * | 2015-01-20 | 2015-04-22 | 北京工业大学 | 一种融合视觉感知特征的可分层视频编码方法 |
CN105049850A (zh) * | 2015-03-24 | 2015-11-11 | 上海大学 | 基于感兴趣区域的hevc码率控制方法 |
CN105430395A (zh) * | 2015-12-03 | 2016-03-23 | 北京航空航天大学 | 一种基于最佳比特分配的hevc ctu级码率控制方法 |
CN106358040A (zh) * | 2016-08-30 | 2017-01-25 | 上海交通大学 | 一种基于显著性的码率控制比特分配方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2286595A1 (en) * | 2008-06-16 | 2011-02-23 | Dolby Laboratories Licensing Corporation | Rate control model adaptation based on slice dependencies for video coding |
-
2017
- 2017-03-13 CN CN201710145120.4A patent/CN106937118B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101325711A (zh) * | 2008-07-16 | 2008-12-17 | 上海大学 | 基于时空掩盖效应的自适应码率控制方法 |
CN101478678A (zh) * | 2008-12-30 | 2009-07-08 | 西安交通大学 | 基于感兴趣区域运动补偿时域滤波方法 |
CN102905200A (zh) * | 2012-08-07 | 2013-01-30 | 上海交通大学 | 一种视频感兴趣区域双流编码传输方法及系统 |
CN103096122A (zh) * | 2013-01-24 | 2013-05-08 | 上海交通大学 | 基于感兴趣区域内运动特征的立体视觉舒适度评价方法 |
CN103281530A (zh) * | 2013-05-07 | 2013-09-04 | 西安电子科技大学 | 基于率失真优化的hevc码率控制方法 |
CN104333761A (zh) * | 2014-11-20 | 2015-02-04 | 富春通信股份有限公司 | 一种hevc基本单元级码率分配方法 |
CN104539962A (zh) * | 2015-01-20 | 2015-04-22 | 北京工业大学 | 一种融合视觉感知特征的可分层视频编码方法 |
CN105049850A (zh) * | 2015-03-24 | 2015-11-11 | 上海大学 | 基于感兴趣区域的hevc码率控制方法 |
CN105430395A (zh) * | 2015-12-03 | 2016-03-23 | 北京航空航天大学 | 一种基于最佳比特分配的hevc ctu级码率控制方法 |
CN106358040A (zh) * | 2016-08-30 | 2017-01-25 | 上海交通大学 | 一种基于显著性的码率控制比特分配方法 |
Non-Patent Citations (1)
Title |
---|
基于H.264感兴趣区域平稳视频主观质量的码率控制;路羊,李航,张阳,崔慧娟;《清华大学学报(自然科学版)》;20090115;第49卷(第1期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN106937118A (zh) | 2017-07-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106937118B (zh) | 一种基于主观感兴趣区域和时空域相结合的码率控制方法 | |
CN112913237B (zh) | 使用深度神经网络的人工智能编码和人工智能解码方法和设备 | |
CN104125462B (zh) | 图像编码方法及装置以及其解码方法及装置 | |
CN101710993B (zh) | 基于块的自适应超分辨率视频处理方法及系统 | |
CN102845060B (zh) | 用于视频的数据压缩 | |
CN106162167B (zh) | 基于学习的高效视频编码方法 | |
CN101964906B (zh) | 基于纹理特性的快速帧内预测方法和装置 | |
CN105306944B (zh) | 混合视频编码标准中色度分量预测方法 | |
JP2004514351A (ja) | ブロックマッチング処理を用いたビデオ符号化方法 | |
CN108989802B (zh) | 一种利用帧间关系的hevc视频流的质量估计方法及系统 | |
Moorthy et al. | Efficient video quality assessment along temporal trajectories | |
CN106131546B (zh) | 一种提前确定hevc合并和跳过编码模式的方法 | |
Xu et al. | Free-energy principle inspired video quality metric and its use in video coding | |
CN106941609B (zh) | 基于自适应分块压缩感知的视频压缩方法 | |
CN101478691B (zh) | Motion Jpeg2000视频客观质量的无参考评估方法 | |
CN106131554A (zh) | 基于主要边缘方向的hevc快速样点自适应补偿方法 | |
Feng et al. | Learned video compression with feature-level residuals | |
CN108769696A (zh) | 一种基于Fisher判别式的DVC-HEVC视频转码方法 | |
Banerjee et al. | Lossy event compression based on image-derived quad trees and poisson disk sampling | |
Zhang et al. | Efficient CTU-based intra frame coding for HEVC based on deep learning | |
CN103702131A (zh) | 一种基于模式预处理的帧内编码优化方法和系统 | |
Gao et al. | Quality constrained compression using DWT-based image quality metric | |
CN116723305A (zh) | 一种基于生成式对抗网络的虚拟视点质量增强方法 | |
CN110446040A (zh) | 一种适用于hevc标准的帧间编码方法与系统 | |
CN115665413A (zh) | 图像压缩最优量化参数的估计方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |