CN104284196A - 彩色与深度视频联合编码的比特分配及码率控制算法 - Google Patents
彩色与深度视频联合编码的比特分配及码率控制算法 Download PDFInfo
- Publication number
- CN104284196A CN104284196A CN201410587503.3A CN201410587503A CN104284196A CN 104284196 A CN104284196 A CN 104284196A CN 201410587503 A CN201410587503 A CN 201410587503A CN 104284196 A CN104284196 A CN 104284196A
- Authority
- CN
- China
- Prior art keywords
- centerdot
- beta
- distortion
- model
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明属于3D视频编码领域,为解决JVT-G012中码率控制与彩色深度视频之间比特分配不兼容的问题,同时更加准确的实现彩色/深度层及帧层的联合码率控制,为此,本发明采取的技术方案是,彩色与深度视频联合编码的比特分配及码率控制算法,包括如下步骤:1)建立虚拟视点失真模型:2)建立彩色及深度视频的失真模型Dt-Rt和Dd-Rd:3)建立Dv-Rt-Rt模型:4)计算当前编码视频的目标比特:5)基于计算的最优目标比特率进行编码。本发明主要应用于3D视频编码。
Description
技术领域
本发明属于3D视频编码领域,涉及一种彩色加深度视频的联合比特分配及码率控制方法。
技术背景
三维(3D)视频是对立体视觉场景的一种再现,可以使观察者体验到自然逼真的3D场景。基于深度感知、交互性等的特点,3D视频在许多领域都有着广泛的应用,如3D电视(3DTV)、自由视点电视(FTV)、可视会议等。为了促进这些应用,研究者们正在研究包括3D视频的采集、表示、编码、传输、虚拟视点绘制和显示等与3D视频相关的关键技术。
实际应用中的3D视频通常需要包含不同角度的多个视点的信息,多视点增加了存储空间和传输带宽的需求。为了解决这个问题,许多场景表示和视点绘制技术被相继提出。基于深度图的虚拟视点绘制(Depth Image-Based Rendering,DIBR)是一种灵活的、低代价的虚拟视点绘制技术。在DIBR中,虚拟视点可以通过彩色视频及与其对应的深度视频来绘制,它利用3D变换技术,可以根据需要绘制不同位置上的虚拟视点。经虚拟视点绘制技术获得的虚拟视点的质量会受到多方面因素影响,包括彩色视频和深度视频的压缩效率及虚拟视点绘制算法。此外,当彩色视频和深度视频编码的总比特率受到限制时,彩色视频和深度视频之间的比特分配对绘制的虚拟视点的质量也具有重要的影响。
为了尽量减少绘制视点的失真,研究者们提出不同的彩色视频和深度视频之间比特分配方法。Liu等提出了一种联合码率控制算法,该算法分为三个层,即视点层,彩色/深度层和帧层。视点层通过预编码来统计各类视点之间的比特进而得到最佳视点间的比特分配比;在彩色/深度层,为确保3D视频的质量,比特被非均匀的分配在彩色与深度视频中;帧层采用分层码率控制算法为每帧分配目标比特。Shao等提出了一种虚拟视点失真模型。该模型将合成视点失真表示为彩色视频的失真和深度视频的失真两部分。然后,两个失真基于二次失真模型分别建模。最后,在总比特限制下最小化绘制视点的失真,计算得到彩色与深度视频的最优比特分配方案。Yuan等推导了一个通用的虚拟视点失真模型,该模型包含彩色视频的失真、深度视频的失真及常数部分。然后,两个失真部分由线性失真模型分别建模。最后,在总比特限制下通过最小化绘制视点的失真,计算得到彩色与深度视频的最优比特分配方法。
现有的比特分配能够得到较为准确的比特分配方案,然而这些方案需要考虑编码的同步性,且不能直接应用在H.264/AVC的码率控制中。
发明内容
为了克服现有技术的不足,解决JVT-G012中码率控制与彩色深度视频之间比特分配不兼容的问题,同时更加准确的实现彩色/深度层及帧层的联合码率控制,为此,本发明采取的技术方案是,彩色与深度视频联合编码的比特分配及码率控制算法,包括如下步骤:
1)建立虚拟视点失真模型:
在不同的给定目标比特RT下预编码彩色视频及与之对应的深度视频,并采用虚拟视点绘制方法绘制虚拟视点;统计虚拟视点失真Dv,深度视频失真Dd与彩色视频失真Dt,建立模型,拟合模型参数,具体虚拟视点失真模型表示为:
Dv=A·Dt+B·Dd+C0
其中,A、B分别代表Dt和Dd对虚拟视点失真Dv的影响因子,C0是一个常数;
2)建立彩色及深度视频的失真模型Dt-Rt和Dd-Rd:
统计彩色视频/深度视频编码失真,输出比特率及对应的目标比特率,建立模型。
3)建立Dv-Rt-Rt模型:
统计虚拟视点失真Dv,深度视频目标比特Rd与彩色视频目标比特Rt,并建立模型。由步骤1)和2)可以推导出Dv-Rt-Rt,具体表示为:
其中,μ,ν分别代表Rt和Rd在虚拟视点的失真Dv的影响因子,C是一个常数;
4)计算当前编码视频的目标比特:
比特分配方案为:在总比特率RC的约束下,最小化的虚拟视点的失真,表示为
argminDv
s.t.Rt+Rd≤RC
st.表示使满足,基于Dv-Rt-Rd模型,最优比特分配问题可以改写为如下:
s.t.Rt+Rd≤RC
其中Ω表示所有(Rt,Rd)的集合。采用拉格朗日乘数法来解决在限制条件下求比特分配的最优解的问题。将限制条件下求极值的问题映射到等价的无约束条件的求极值问题,如下:
其中,λ是拉格朗日乘子,最优的彩色及深度视频的目标比特率Rt和Rd可以通过求解以下解方程组得到
从而,最优目标比特率Rt和Rd的计算如下:
5)基于计算的最优目标比特率进行编码。
步骤2)进一步具体为:考虑较为理想的情况,输出比特率RO和目标比特率RT之间的关系表示为
Ro≌RT
H.264/AVC的变换和量化采用整数DCT技术,基于DCT系数服从拉普拉斯分布的假设,香农率失真函数可以表示为
其中,γ是一个常数,D是输出失真。根据率失真函数及码率控制的准确性判定,输出失真D和目标比特率RT之间的关系可以建立一个指数模型,模型可以如下表示:
D=α·exp(-β·RT)+c
其中,α、β和c是模型参数。相应的彩色/深度视频的失真模型Dt-Rt和Dd-Rd可以描述为
Dt=αt·exp(-βt·Rt)+ct
Dd=αd·exp(-βd·Rd)+cd
其中,αt、βt、ct和αd、βd、cd分别是对应于彩色视频与深度视频的模型参数,Dt、Rt和Dd、Rd对应为彩色及深度视频的失真及目标码率。
与已有技术相比,本发明的技术特点与效果:
本发明所提出的码率控制技术简化了彩色视频和深度视频的码率控制计算,并提高了比特分配的精度,满足3D视频系统的应用要求。
附图说明
图1采用本文方法及固定比特分配比方法的率失真性能对比图;
图2给出了技术方案的流程图。
具体实施方式
本发明提出了一种有效的联合比特分配和码率控制的方法,通过采用指数失真模型简化计算,并提升了比特分配的准确度。本发明解决了原有JVT-G012中码率控制与彩色深度视频之间比特分配不兼容的问题,同时更加准确的实现了彩色/深度层及帧层的联合码率控制。
为了克服现有技术的不足,本发明提出了一种比特分配与码率控制算法,实现了更准确的多层码率控制,具体的技术方案分为下列步骤:
1建立虚拟视点失真模型。
在不同的给定目标比特RT下预编码彩色视频及与之对应的深度视频,并采用DIBR技术绘制虚拟视点。统计虚拟视点失真Dv,深度视频失真Dd与彩色视频失真Dt,建立模型,拟合模型参数,具体虚拟视点失真模型表示为:
Dv=A·Dt+B·Dd+C0
其中,A、B分别代表Dt和Dd对虚拟视点失真Dv的影响因子,C0是一个常数。
2建立彩色及深度视频的失真模型Dt-Rt和Dd-Rd。
统计彩色视频/深度视频编码失真,输出比特率及对应的目标比特率,建立模型。
考虑较为理想的情况,输出比特率RO和目标比特率RT之间的关系可表示为
Ro≌RT
H.264/AVC的变换和量化采用整数DCT技术,基于DCT系数服从拉普拉斯分布的假设,香农率失真函数可以表示为
其中,γ是一个常数,D是输出失真。根据率失真函数及码率控制的准确性判定,输出失真D和目标比特率RT之间的关系可以建立一个指数模型,模型可以如下表示:
D=α·exp(-β·RT)+c
其中,α、β和c是模型参数。相应的彩色/深度视频的失真模型Dt-Rt和Dd-Rd可以描述为
Dt=αt·exp(-βt·Rt)+ct
Dd=αd·exp(-βd·Rd)+cd
其中,αt、βt、ct和αd、βd、cd分别是对应于彩色视频与深度视频的模型参数,Dt、Rt和Dd、Rd对应为彩色及深度视频的失真及目标码率。
3建立Dv-Rt-Rt模型。
统计虚拟视点失真Dv,深度视频目标比特Rd与彩色视频目标比特Rt,并建立模型。由步骤1和2可以推导出Dv-Rt-Rt,具体表示为:
其中,μ,ν分别代表Rt和Rd在虚拟视点的失真Dv的影响因子,C是一个常数。
4计算当前编码视频的目标比特
比特分配方案为:在总比特率RC的约束下,最小化的虚拟视点的失真,可以表示为
argminDv
s.t.Rt+Rd≤RC
基于Dv-Rt-Rd模型,最优比特分配问题可以改写为如下:
s.t.Rt+Rd≤RC
其中Ω表示所有(Rt,Rd)的集合。采用拉格朗日乘数法来解决在限制条件下求比特分配的最优解的问题。将限制条件下求极值的问题映射到等价的无约束条件的求极值问题,如下:
其中,λ是拉格朗日乘子。最优的彩色及深度视频的目标比特率Rt和Rd可以通过求解以下解方程组得到
从而,最优目标比特率Rt和Rd的计算如下:
5.基于计算的最优目标比特率进行编码。
依据以上步骤求得的最优的彩色及深度视频的目标比特率Rt和Rd,分别设置彩色及深度视频的目标比特,实现帧层的码率控制。
下面对本发明的具体实施方式进行描述。
1建立虚拟视点失真模型。
在不同的给定目标比特RT下预编码彩色视频及与之对应的深度视频,并采用DIBR技术绘制虚拟视点。统计虚拟视点失真Dv,深度视频失真Dd与彩色视频失真Dt,建立模型,拟合模型参数,具体虚拟视点失真模型表示为:
Dv=A·Dt+B·Dd+C0
其中,A、B分别代表Dt和Dd对虚拟视点失真Dv的影响因子,C0是一个常数。
2建立彩色及深度视频的失真模型Dt-Rt和Dd-Rd。
统计彩色视频/深度视频编码失真,输出比特率及对应的目标比特率,建立模型,拟合对应的模型参数。在理想情况下,码率控制算法可使输出的比特率RO与设定的目标比特率RT相同。考虑较为理想的情况,输出比特率RO和目标比特率RT之间的关系可表示为
Ro≌RT
H.264/AVC的变换和量化采用整数DCT技术。基于DCT系数服从拉普拉斯分布的假设,香农率失真函数可以表示为
其中,γ是一个常数,D是输出失真。根据率失真函数及码率控制的准确性判定,输出失真D和目标比特率RT之间的关系可以建立一个指数模型,模型可以如下表示:
D=α·exp(-β·RT)+c
其中,α、β和c是模型参数。相应的彩色/深度视频的失真模型Dt-Rt和Dd-Rd可以描述为
Dt=αt·exp(-βt·Rt)+ct
Dd=αd·exp(-βd·Rd)+cd
其中,αt、βt、ct和αd、βd、cd分别是对应于彩色视频与深度视频的模型参数,Dt、Rt和Dd、Rd对应为彩色及深度视频的失真及目标码率。
3建立Dv-Rt-Rt模型。
统计虚拟视点失真Dv,深度视频目标比特Rd与彩色视频目标比特Rt,建立模型,拟合相应的模型参数。由步骤1和2可以推导出Dv-Rt-Rt,具体表示为:
其中,μ,ν分别代表Rt和Rd在虚拟视点的失真Dv的影响因子,C是一个常数。
4计算当前编码视频的目标比特
比特分配解决方案:在总比特率RC的约束下最小化的虚拟视点的失真,可以表示为
argminDv
s.t.Rt+Rd≤RC
基于Dv-Rt-Rd模型,最优比特分配问题可以改写为如下:
s.t.Rt+Rd≤RC
其中Ω表示所有(Rt,Rd)的集合。采用拉格朗日乘数法来解决在限制条件下求比特分配的最优解的问题。将限制条件下求极值的问题映射到等价的无约束条件的求极值问题如下:
其中,λ是拉格朗日乘子。最优的彩色及深度视频的目标比特率Rt和Rd可以通过求解以下解方程组得到
从而,最优目标比特率Rt和Rd的计算如下:
5.基于计算的最优目标比特率进行编码。
依据以上步骤求得的最优的彩色及深度视频的目标比特率Rt和Rd,分别设置彩色/深度视频的目标比特,实现帧层的码率控制。
下面结合附图说明实验效果:
为使本发明的效果具有可比性,我们采用ballet测试序列进行测试,其帧率为15fps,分辨率为1024×768。编码平台采用JM18.4,虚拟视点绘制采用DIBR技术。彩色及深度视频的目标比特设为500、750、1000、1500、2000、2500、3000、3500(Kbps),每个视点包含100帧,GOP长度设为8,搜索范围为32,熵编码方式采用CABAC。
图1为采用本文方法及固定比特分配比方法的率失真性能对比图。从图中可见,本方法优于固定比特分配比的方法。所提出的方法可以更精确地控制比特分配,提高虚拟视点的RD性能,满足3D视频系统的应用要求。
Claims (2)
1.一种彩色与深度视频联合编码的比特分配及码率控制算法,其特征是,包括如下步骤:
1)建立虚拟视点失真模型:
在不同的给定目标比特RT下预编码彩色视频及与之对应的深度视频,并采用虚拟视点绘制方法绘制虚拟视点;统计虚拟视点失真Dv,深度视频失真Dd与彩色视频失真Dt,建立模型,拟合模型参数,具体虚拟视点失真模型表示为:
Dv=A·Dt+B·Dd+C0
其中,A、B分别代表Dt和Dd对虚拟视点失真Dv的影响因子,C0是一个常数;
2)建立彩色及深度视频的失真模型Dt-Rt和Dd-Rd:
统计彩色视频/深度视频编码失真,输出比特率及对应的目标比特率,建立模型。
3)建立Dv-Rt-Rt模型:
统计虚拟视点失真Dv,深度视频目标比特Rd与彩色视频目标比特Rt,并建立模型。由步骤1和2可以推导出Dv-Rt-Rt,具体表示为:
其中,μ,ν分别代表Rt和Rd在虚拟视点的失真Dv的影响因子,C是一个常数;
4)计算当前编码视频的目标比特:
比特分配方案为:在总比特率RC的约束下,最小化的虚拟视点的失真,表示为
arg min Dv
s.t.Rt+Rd≤RC
基于Dv-Rt-Rd模型,最优比特分配问题可以改写为如下:
s.t.Rt+Rd≤RC
st.表示使满足,采用拉格朗日乘数法来解决在限制条件下求比特分配的最优解的问题。将限制条件下求极值的问题映射到等价的无约束条件的求极值问题,如下:
其中,λ是拉格朗日乘子,最优的彩色及深度视频的目标比特率Rt和Rd可以通过求解以下解方程组得到
从而,最优目标比特率Rt和Rd的计算如下:
5)基于计算的最优目标比特率进行编码。
2.如权利要求1所述的彩色与深度视频联合编码的比特分配及码率控制算法,其特征是,步骤2)进一步具体为:考虑较为理想的情况,输出比特率RO和目标比特率RT之间的关系表示为
RO≌RT
H.264/AVC的变换和量化采用整数DCT技术,基于DCT系数服从拉普拉斯分布的假设,香农率失真函数可以表示为
其中,γ是一个常数,D是输出失真,根据率失真函数及码率控制的准确性判定,输出失真D和目标比特率RT之间的关系可以建立一个指数模型,模型可以如下表示:
D=α·exp(-β·RT)+c
其中,α、β和c是模型参数。相应的彩色/深度视频的失真模型Dt-Rt和Dd-Rd可以描述为
Dt=αt·exp(-βt·Rt)+ct
Dd=αd·exp(-βd·Rd)+cd
其中,αt、βt、ct和αd、βd、cd分别是对应于彩色视频与深度视频的模型参数,Dt、Rt和Dd、Rd对应为彩色及深度视频的失真及目标码率。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410587503.3A CN104284196B (zh) | 2014-10-28 | 2014-10-28 | 彩色与深度视频联合编码的比特分配及码率控制算法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410587503.3A CN104284196B (zh) | 2014-10-28 | 2014-10-28 | 彩色与深度视频联合编码的比特分配及码率控制算法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104284196A true CN104284196A (zh) | 2015-01-14 |
CN104284196B CN104284196B (zh) | 2017-06-30 |
Family
ID=52258605
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410587503.3A Active CN104284196B (zh) | 2014-10-28 | 2014-10-28 | 彩色与深度视频联合编码的比特分配及码率控制算法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104284196B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105898331A (zh) * | 2016-05-12 | 2016-08-24 | 天津大学 | 一种深度视频编码的比特分配和码率控制方法 |
CN106878712A (zh) * | 2017-01-17 | 2017-06-20 | 天津大学 | 一种深度视频帧级比特分配方法 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030108101A1 (en) * | 2001-11-30 | 2003-06-12 | International Business Machines Corporation | System and method for encoding three-dimensional signals using a matching pursuit algorithm |
US20100091841A1 (en) * | 2008-10-07 | 2010-04-15 | Motorola, Inc. | System and method of optimized bit extraction for scalable video coding |
CN101835056A (zh) * | 2010-04-29 | 2010-09-15 | 西安电子科技大学 | 基于模型的纹理视频与深度图的最优码率分配方法 |
CN101888566A (zh) * | 2010-06-30 | 2010-11-17 | 清华大学 | 立体视频编码率失真性能估计方法 |
CN102300094A (zh) * | 2011-09-06 | 2011-12-28 | 中国科学院计算技术研究所 | 一种视频编码方法 |
CN102413353A (zh) * | 2011-12-28 | 2012-04-11 | 清华大学 | 立体视频编码过程的多视点视频和深度图的码率分配方法 |
CN102685531A (zh) * | 2012-04-24 | 2012-09-19 | 宁波大学 | 一种三维视频编码的深度和彩色码率分配方法 |
CN103873876A (zh) * | 2014-03-17 | 2014-06-18 | 天津大学 | 基于显著性的多视点彩色加深度视频编码方法 |
CN103918262A (zh) * | 2011-06-14 | 2014-07-09 | 王舟 | 基于结构相似度的码率失真优化感知视频编码方法和系统 |
-
2014
- 2014-10-28 CN CN201410587503.3A patent/CN104284196B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030108101A1 (en) * | 2001-11-30 | 2003-06-12 | International Business Machines Corporation | System and method for encoding three-dimensional signals using a matching pursuit algorithm |
US20100091841A1 (en) * | 2008-10-07 | 2010-04-15 | Motorola, Inc. | System and method of optimized bit extraction for scalable video coding |
CN101835056A (zh) * | 2010-04-29 | 2010-09-15 | 西安电子科技大学 | 基于模型的纹理视频与深度图的最优码率分配方法 |
CN101888566A (zh) * | 2010-06-30 | 2010-11-17 | 清华大学 | 立体视频编码率失真性能估计方法 |
CN103918262A (zh) * | 2011-06-14 | 2014-07-09 | 王舟 | 基于结构相似度的码率失真优化感知视频编码方法和系统 |
CN102300094A (zh) * | 2011-09-06 | 2011-12-28 | 中国科学院计算技术研究所 | 一种视频编码方法 |
CN102413353A (zh) * | 2011-12-28 | 2012-04-11 | 清华大学 | 立体视频编码过程的多视点视频和深度图的码率分配方法 |
CN102685531A (zh) * | 2012-04-24 | 2012-09-19 | 宁波大学 | 一种三维视频编码的深度和彩色码率分配方法 |
CN103873876A (zh) * | 2014-03-17 | 2014-06-18 | 天津大学 | 基于显著性的多视点彩色加深度视频编码方法 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105898331A (zh) * | 2016-05-12 | 2016-08-24 | 天津大学 | 一种深度视频编码的比特分配和码率控制方法 |
CN106878712A (zh) * | 2017-01-17 | 2017-06-20 | 天津大学 | 一种深度视频帧级比特分配方法 |
Also Published As
Publication number | Publication date |
---|---|
CN104284196B (zh) | 2017-06-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101835056B (zh) | 基于模型的纹理视频与深度图的最优码率分配方法 | |
CN102413353B (zh) | 立体视频编码过程的多视点视频和深度图的码率分配方法 | |
CN103179405B (zh) | 一种基于多级感兴趣区域的多视点视频编码方法 | |
CN100563340C (zh) | 基于深度图像渲染的多通道视频流编码器和解码器 | |
CN102065296B (zh) | 一种三维立体视频编码方法 | |
CN101986716B (zh) | 一种快速深度视频编码方法 | |
CN102137258B (zh) | 一种立体视频码率控制方法 | |
CN104159095B (zh) | 一种多视点纹理视频和深度图编码的码率控制方法 | |
CN104202612B (zh) | 基于四叉树约束的编码单元的划分方法及视频编码方法 | |
CN101674472A (zh) | 多视点视频编码的多级码率控制方法 | |
CN104717515A (zh) | 基于3d-hevc的纹理视频和深度图码率分配方法 | |
CN102685532A (zh) | 自由视点四维空间视频编码系统的编码方法 | |
CN103402097A (zh) | 一种自由视点视频深度图编码方法及其失真预测方法 | |
CN102413332B (zh) | 基于时域增强的视点合成预测多视点视频编码方法 | |
CN106375766A (zh) | 一种光场图像压缩方法 | |
CN104994382A (zh) | 一种感知率失真的优化方法 | |
CN105898331A (zh) | 一种深度视频编码的比特分配和码率控制方法 | |
CN105049866A (zh) | 基于绘制失真模型的多视点加深度编码的码率分配方法 | |
CN103873867B (zh) | 自由视点视频深度图失真预测方法和编码方法 | |
KR102028123B1 (ko) | 다시점 비디오 부호화 방법 및 장치, 다시점 비디오 복호화 방법 및 장치 | |
CN104284196B (zh) | 彩色与深度视频联合编码的比特分配及码率控制算法 | |
CN102316323A (zh) | 一种快速的双目立体视频分形压缩与解压缩方法 | |
CN106657961A (zh) | 立体视频的混合数字-模拟编码 | |
CN102595166B (zh) | 一种适用于深度图编码的拉格朗日因子计算方法 | |
CN102355582B (zh) | 一种三维立体视频编码的率失真模型优化方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |