CN104519365B - 一种应用于3个视点视频编码的视点间比特分配方法 - Google Patents

一种应用于3个视点视频编码的视点间比特分配方法 Download PDF

Info

Publication number
CN104519365B
CN104519365B CN201510018281.8A CN201510018281A CN104519365B CN 104519365 B CN104519365 B CN 104519365B CN 201510018281 A CN201510018281 A CN 201510018281A CN 104519365 B CN104519365 B CN 104519365B
Authority
CN
China
Prior art keywords
nbv
viewpoint
basic viewpoint
basic
distortion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201510018281.8A
Other languages
English (en)
Other versions
CN104519365A (zh
Inventor
元辉
郭志鑫
刘琚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN201510018281.8A priority Critical patent/CN104519365B/zh
Publication of CN104519365A publication Critical patent/CN104519365A/zh
Application granted granted Critical
Publication of CN104519365B publication Critical patent/CN104519365B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种应用于3个视点视频编码的视点间比特分配方法，首先确定基本视点的编码失真对非基本视点的编码失真的影响，确定基本视点和非基本视点的率失真模型；然后，将视点间的比特分配问题转换为在有限总比特开销条件下，最小化基本视点和非基本视点的整体编码失真的问题，并求出最优解，即最优的视点间比特分配方案。该方法提高了多视点视频的编码效率，使得在相同编码码率的条件下，解码端重建的多视点视频质量更高，具有高性能、通用性强等特点，可应用于多视点视频的编码标准中。

Description

一种应用于3个视点视频编码的视点间比特分配方法
技术领域
本发明涉及一种用于提高多视点视频编码效率的视点间比特分配方法，属于多视点视频编码标技术领域。
背景技术
三维(3D)视频作为未来主要的视频应用技术，是指用户通过三维视频显示设备可以享受到真实的三维视频内容。三维视频的相关技术，比如，三维视频采集、三维视频编码、三维视频的显示等技术已经得到广泛的关注。为了推动三维视频技术的标准化，2002年，运动图像专家组(Motion Picture Experts Group,MPEG)和视频编码专家组(Video CodingExperts Group,VCEG)已经制定了基于H.264的多视点视频编码(Multi View VideoCoding,MVC)标准(H.264/MVC)。目前MPEG和VCEG正在基于最新的高性能视频编码标准(High Efficiency Video Coding,HEVC)制定新一代MVC标准，即MV-HEVC。在多视点视频中，用户可以从不同的角度观看该角度的三维视频，使得用户有融入视频场景中的真实感受。多视点视频可广泛应用于广播通信、娱乐、教育、医疗和视频监控等领域。当需要更多的视点时，可以采用多视点视频-深度表示3D场景，并采用3D-HEVC编码标准进行编码；用户终端可以采用基于深度的视图合成技术(Depth Image Based Rendering,DIBR)合成需要的视点图像。因此，在现有的MV-HEVC编码标准框架中，仅定义了2个视点和3个视点的视频编码结构。
现有的多视点视频间比特分配方法是固定比例的比特分配方法，固定比例比特分配的编码流程如图1所示，采用预先设定的比例系数为不同的视点分配比特。对于2个视点的视频，BV和NBV之间的比特比例可以是2:8、4:6、6:4等；对于3个视点的视频BV和左侧非基本视点(NBVL)、右侧非基本视点(NBVR)的比特比例可以是4:3:3、6:2:2等。
固定比例的比特分配方法没有考虑BV的编码失真对NBV的编码失真的影响，仅凭经验设置一个固定的分配比例；因此不具备通用性，重建的多视点视频的整体质量也不高。由理论分析可知，BV对NBV有较大影响，BV的编码失真可以直接传播到NBV中，因此在多视点间的比特分配过程中，应该考虑BV对NBV的影响。
发明内容
针对固定比例的比特分配方法不具备通用性，重建视频整体质量不高的缺点，本发明依据基本视点(Base View,BV)对非基本视点(Non-Base View,NBV)的影响，提出一种应用于3个视点视频编码的视点间比特分配方法。该方法关注多视点视频的视点间比特分配，确定多视点视频中，基本视点的失真对非基本视点的影响，设计最优的基本视点和非基本视点之间的比特分配方法，提高多视点视频的编码效率，使得在相同编码码率的条件下，解码端重建的多视点视频质量更高。
本发明的应用于3个视点视频编码的视点间比特分配方法，首先确定基本视点的编码失真对非基本视点的编码失真的影响，确定基本视点和非基本视点的率失真模型；然后，将视点间的比特分配问题转换为在有限总比特开销条件下，最小化基本视点和非基本视点的整体编码失真的问题，并求出最优解(即最优的视点间比特分配方案)；包括以下步骤：
(1)定义基本视点的编码失真和编码比特数之间的数学模型为：
Dbv＝(abv·Rbv+bbv)-1,
其中Dbv表示基本视点的编码失真，Rbv表示BV的编码比特数，abv和bbv为模型参数，表示Rbv对Dbv的影响程度；左侧非基本视点(non-Base View Left,NBVL)的编码失真Dnbv,l与左侧非基本视点的编码比特数Rnbv,l和基本视点的编码比特数Rbv之间的关系为：
Dnbv_l＝ηl(abv·Rbv+bbv)-1+(anbv_lRnbv_l+bnbv_l)-1,
其中ηl表示当前帧BV的编码失真对左侧非基本视点的编码失真的影响程度，anbv,l和bnbv,l为模型参数，表示Rnbv,l对Dnbv,l的影响程度；右侧非基本视点(non-Base ViewRight,NBVR)的编码失真Dnbv,r与右侧非基本视点的编码比特数Rnbv,r和基本视点的编码比特数Rbv之间的关系为：
Dnbv_r＝ηr(abv·Rbv+bbv)-1+(anbv_rRnbv_r+bnbv_r)-1,
其中ηr表示当前帧基本视点的编码失真对右侧非基本视点的编码失真的影响程度，anbv,r和bnbv,r为模型参数，表示Rnbv,r对Dnbv,r的影响程度；
步骤(1)中所述的ηl和ηr通过下式计算：
其中，NumPU_InterViewSKIPMode_l表示当前帧的左侧非基本视点中，采用视点间跳跃模式(Inter View Skip Mode)编码的预测单元(Prediction Unit，PU)的数量，NumPU_l表示当前帧的左侧非基本视点中，所有预测单元的数量，NumPU_InterViewSKIPMode_r表示当前帧的右侧非基本视点中，采用视点间跳跃模式(Inter View Skip Mode)编码的预测单元(Prediction Unit，PU)的数量，NumPU_r表示当前帧的NBVR中，所有预测单元的数量。
(2)对多视点视频序列最开始的前W帧，采用码率控制算法确定每帧的基本视点、左侧非基本视点和右侧非基本视点的总比特数，并用预先设定的比例为不同的视点分配比特并编码，将编码后的基本视点的编码失真和编码比特数分别存储在数组向量和中，左侧非基本视点的编码失真和编码比特数分别存储在数组向量和中，右侧非基本视点的编码失真和编码比特数分别存储在数组向量和中；
步骤(2)中预先设定的比例(初始的比特分配比例)为：Rbv:Rnbv_l:Rnbv_r＝30:35:35。
(3)依据当前帧之前的W帧中的基本视点的失真与比特数以及步骤(1)中Dbv和Rbv之间的数学模型，通过线性回归求解方程组：
计算出基本视点的模型参数abv和bbv；
(4)依据当前帧之前的W帧中的左侧非基本视点的失真与比特数以及基本视点的比特数以及步骤(1)中Dnbv_l，Rnbv_l，以及Rbv之间的数学模型，通过线性回归求解方程组：
其中ηl,0…ηl,W-1表示已编码的W帧中，每帧的3个视点中，基本视点的失真对左侧非基本视点的失真的影响程度，计算出左侧非基本视点的模型参数anbv_l和bnbv_l；
(5)依据当前帧之前的W帧中的右侧非基本视点的失真与比特数以及基本视点的的比特数以及步骤(1)中Dnbv_r，Rnbv_r，以及Rbv之间的数学模型，通过线性回归求解方程组：
其中ηr,0…ηr,W-1表示已编码的W帧中，每帧的3个视点中，基本视点的失真对右侧非基本视点的失真的影响程度，计算出右侧非基本视点的模型参数anbv_r和bnbv_r；
(6)依据步骤(3)、步骤(4)和步骤(5)所得的abv，bbv，anbv_l，bnbv_l，anbv_r，bnbv_r，以及采用码率控制算法计算得到的当前帧的总比特数Rc，通过下式：
为当前帧的基本视点、左侧非基本视点和右侧非基本视点分配比特，即计算出当前帧的Rbv、Rnbv_l、Rnbv_r；
(7)按照“先进先出”的原则，将数组向量的第0个数据删除，并将当前帧的编码失真和编码比特数添加到数组向量的末尾，更新数组向量
(8)返回步骤(3)，对下一帧进行编码。
本发明主要提高多视点视频的编码效率，确定多视点视频的率失真模型，以及当前帧(包含多个视点图像)的基本视点对非基本视点的影响；然后采用码率控制技术计算当前帧可使用的总比特数，并用最优化方法，为每帧的基本视点和非基本视点分配比特，进而提高多视点视频的编码效率。与现有技术相比具有以下优点：
1)本发明依据基本视点的编码失真对非基本视点的编码失真的影响，设计了率失真性能最优的多视点间的比特分配方法，提高多视点视频的编码效率；
2)本发明对任何视频都可以调整视点间的比特分配比例，具有很强的自适应性。
附图说明
图1是固定比例比特分配的编码流程图。
图2是本发明的应用于3个视点编码时的比特分配方法的流程图。
图3是分别采用本发明的方法与固定比例比特分配的方法对三维视频序列Balloons的3个视点编码的实验结果(率失真曲线)比较图。
图4是分别采用本发明的方法与固定比例比特分配的方法对三维视频序列BookArrival的3个视点编码的实验结果(率失真曲线)比较图。
具体实施方式
本发明的应用于3个视点视频编码的视点间比特分配方法，如图2，具体过程如下：
(1)定义基本视点(Base View,BV)的编码失真和编码比特数之间的数学模型为
Dbv＝(abv·Rbv+bbv)-1,
其中Dbv表示BV的编码失真，Rbv表示BV的编码比特数，abv和bbv为模型参数，表示Rbv对Dbv的影响程度；左侧非基本视点(non-Base View Left,NBVL)的编码失真(Dnbv,l)与NBVL的编码比特数(Rnbv,l)和BV的编码比特数(Rbv)之间的关系为
Dnbv_l＝ηl(abv·Rbv+bbv)-1+(anbv_lRnbv_l+bnbv_l)-1,
其中ηl表示当前帧BV的编码失真对NBVL的编码失真的影响程度，anbv,l和bnbv,l为模型参数，表示Rnbv,l对Dnbv,l的影响程度；右侧非基本视点(non-Base View Right,NBVR)的编码失真(Dnbv,r)与NBVR的编码比特数(Rnbv,r)和BV的编码比特数(Rbv)之间的关系为
Dnbv_r＝ηr(abv·Rbv+bbv)-1+(anbv_rRnbv_r+bnbv_r)-1,
其中ηr表示当前帧BV的编码失真对NBVR的编码失真的影响程度，anbv,r和bnbv,r为模型参数，表示Rnbv,r对Dnbv,r的影响程度。
其中所述的ηl和ηr可以通过下式计算：
其中，NumPU_InterViewSKIPMode_l表示当前帧的NBVL中，采用视点间跳跃模式(InterView Skip Mode)编码的预测单元(Prediction Unit，PU)的数量，NumPU_l表示当前帧的NBVL中，所有预测单元的数量，NumPU_InterViewSKIPMode_r表示当前帧的NBVR中，采用视点间跳跃模式(Inter View Skip Mode)编码的预测单元(Prediction Unit，PU)的数量，NumPU_r表示当前帧的NBVR中，所有预测单元的数量。
(2)对多视点视频序列最开始的前W帧，采用码率控制算法确定每帧的BV、NBVL、NBVR的总比特数，并用预先设定的比例为不同的视点分配比特并编码，将编码后的BV的编码失真和编码比特数分别存储在数组向量和中，NBVL的编码失真和编码比特数分别存储在数组向量和中，NBVR的编码失真和编码比特数分别存储在数组向量和中。
所述预先设定的比例(初始的比特分配比例)为：Rbv:Rnbv_l:Rnbv_r＝30:35:35。
(3)依据当前帧之前的W帧中的BV的失真与比特数以及步骤(1)中Dbv和Rbv之间的数学模型，通过线性回归求解方程组
计算出BV的模型参数abv和bbv。
(4)依据当前帧之前的W帧中的NBVL的失真与比特数以及BV的比特数以及步骤(1)中Dnbv_l，Rnbv_l，以及Rbv之间的数学模型，通过线性回归求解方程组
其中ηl,0…ηl,W-1表示已编码的W帧中，每帧的3个视点中，BV的失真对NBVL的失真的影响程度，计算出NBVL的模型参数anbv_l和bnbv_l。
(5)依据当前帧之前的W帧中的NBVR的失真与比特数以及BV的的比特数以及步骤(1)中Dnbv_r，Rnbv_r，以及Rbv之间的数学模型，通过线性回归求解方程组
其中ηr,0…ηr,W-1表示已编码的W帧中，每帧的3个视点中，BV的失真对NBVR的失真的影响程度，计算出NBVR的模型参数anbv_r和bnbv_r。
(6)依据步骤(3)、步骤(4)和步骤(5)所得的abv，bbv，anbv_l，bnbv_l，anbv_r，bnbv_r，以及采用码率控制算法计算得到的当前帧的总比特数Rc，通过下式
为当前帧的BV、NBVL、NBVR分配比特，即计算出当前帧的Rbv、Rnbv_l、Rnbv_r。
(7)按照“先进先出”的原则，将数组向量的第0个数据删除，并将当前帧的编码失真和编码比特数添加到数组向量的末尾，更新数组向量
(8)返回步骤(3)，对下一帧进行编码。
本发明的效果可以通过实验进一步说明。
实验测试了在不同的带宽下，采用本发明对多视点视频进行编码后的编码码率和重建多视点视频的整体客观质量(峰值信噪比，PSNR)。图3和图4比较了采用本发明和固定比例的比特分配方法的率失真曲线。图3是对三维视频序列Balloons的3个试点编码的实验结果，图4是对三维视频序列BookArrival的3个视点编码的实验结果。由图3和图4可见，与固定比例的比特分配方法相比，采用本发明进行编码后，在相同编码码率下，重建多视点视频的整体质量更高，说明本发明提高了多视点视频的编码性能。

Claims (2)

1.一种应用于3个视点视频编码的视点间比特分配方法，其特征是，包括如下步骤：
(1)定义基本视点的编码失真和编码比特数之间的数学模型为：
Dbv＝(abv·Rbv+bbv)-1,
其中Dbv表示基本视点的编码失真，Rbv表示BV的编码比特数，abv和bbv为模型参数，表示Rbv对Dbv的影响程度；左侧非基本视点的编码失真Dnbv,l与左侧非基本视点的编码比特数Rnbv,l和基本视点的编码比特数Rbv之间的关系为：
Dnbv_l＝ηl(abv·Rbv+bbv)-1+(anbv_lRnbv_l+bnbv_l)-1,
其中ηl表示当前帧BV的编码失真对左侧非基本视点的编码失真的影响程度，anbv,l和bnbv,l为模型参数，表示Rnbv,l对Dnbv,l的影响程度；右侧非基本视点的编码失真Dnbv,r与右侧非基本视点的编码比特数Rnbv,r和基本视点的编码比特数Rbv之间的关系为：
Dnbv_r＝ηr(abv·Rbv+bbv)-1+(anbv_rRnbv_r+bnbv_r)-1,
其中ηr表示当前帧基本视点的编码失真对右侧非基本视点的编码失真的影响程度，anbv,r和bnbv,r为模型参数，表示Rnbv,r对Dnbv,r的影响程度；
(2)对多视点视频序列最开始的前W帧，采用码率控制算法确定每帧的基本视点、左侧非基本视点和右侧非基本视点的总比特数，并用预先设定的比例为不同的视点分配比特并编码，将编码后的基本视点的编码失真和编码比特数分别存储在数组向量和中，左侧非基本视点的编码失真和编码比特数分别存储在数组向量和中，右侧非基本视点的编码失真和编码比特数分别存储在数组向量和中；
(3)依据当前帧之前的W帧中的基本视点的失真与比特数以及步骤(1)中Dbv和Rbv之间的数学模型，通过线性回归求解方程组：
计算出基本视点的模型参数abv和bbv；
(4)依据当前帧之前的W帧中的左侧非基本视点的失真与比特数以及基本视点的比特数以及步骤(1)中Dnbv_l，Rnbv_l，以及Rbv之间的数学模型，通过线性回归求解方程组：
其中ηl,0…ηl,W-1表示已编码的W帧中，每帧的3个视点中，基本视点的失真对左侧非基本视点的失真的影响程度，计算出左侧非基本视点的模型参数anbv_l和bnbv_l；
(5)依据当前帧之前的W帧中的右侧非基本视点的失真与比特数以及基本视点的的比特数以及步骤(1)中Dnbv_r，Rnbv_r，以及Rbv之间的数学模型，通过线性回归求解方程组：
其中ηr,0…ηr,W-1表示已编码的W帧中，每帧的3个视点中，基本视点的失真对右侧非基本视点的失真的影响程度，计算出右侧非基本视点的模型参数anbv_r和bnbv_r；
(6)依据步骤(3)、步骤(4)和步骤(5)所得的abv，bbv，anbv_l，bnbv_l，anbv_r，bnbv_r，以及采用码率控制算法计算得到的当前帧的总比特数Rc，通过下式：
为当前帧的基本视点、左侧非基本视点和右侧非基本视点分配比特，即计算出当前帧的Rbv、Rnbv_l、Rnbv_r；
(7)按照“先进先出”的原则，将数组向量的第0个数据删除，并将当前帧的编码失真和编码比特数添加到数组向量的末尾，更新数组向量
(8)返回步骤(3)，对下一帧进行编码；
所述步骤(2)中预先设定的比例为：Rbv:Rnbv_l:Rnbv_r＝30:35:35。
2.根据权利要求1所述的应用于3个视点视频编码的视点间比特分配方法，其特征是，所述步骤(1)中的ηl和ηr通过下式计算：
其中，NumPU_InterViewSKIPMode_l表示当前帧的左侧非基本视点中，采用视点间跳跃模式编码的预测单元(Prediction Unit，PU)的数量，NumPU_l表示当前帧的左侧非基本视点中，所有预测单元的数量，NumPU_InterViewSKIPMode_r表示当前帧的右侧非基本视点中，采用视点间跳跃模式编码的预测单元的数量，NumPU_r表示当前帧的NBVR中，所有预测单元的数量。
CN201510018281.8A 2015-01-14 2015-01-14 一种应用于3个视点视频编码的视点间比特分配方法 Expired - Fee Related CN104519365B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510018281.8A CN104519365B (zh) 2015-01-14 2015-01-14 一种应用于3个视点视频编码的视点间比特分配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510018281.8A CN104519365B (zh) 2015-01-14 2015-01-14 一种应用于3个视点视频编码的视点间比特分配方法

Publications (2)

Publication Number Publication Date
CN104519365A CN104519365A (zh) 2015-04-15
CN104519365B true CN104519365B (zh) 2017-07-28

Family

ID=52793990

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510018281.8A Expired - Fee Related CN104519365B (zh) 2015-01-14 2015-01-14 一种应用于3个视点视频编码的视点间比特分配方法

Country Status (1)

Country Link
CN (1) CN104519365B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101242532A (zh) * 2007-12-12 2008-08-13 浙江万里学院 一种面向多视点视频的码率控制方法
CN101835056A (zh) * 2010-04-29 2010-09-15 西安电子科技大学 基于模型的纹理视频与深度图的最优码率分配方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9307252B2 (en) * 2012-06-04 2016-04-05 City University Of Hong Kong View synthesis distortion model for multiview depth video coding

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101242532A (zh) * 2007-12-12 2008-08-13 浙江万里学院 一种面向多视点视频的码率控制方法
CN101835056A (zh) * 2010-04-29 2010-09-15 西安电子科技大学 基于模型的纹理视频与深度图的最优码率分配方法

Also Published As

Publication number Publication date
CN104519365A (zh) 2015-04-15

Similar Documents

Publication Publication Date Title
CN106162195B (zh) 一种基于单深度帧内模式的3d‑hevc深度视频信息隐藏方法
CN101374242B (zh) 一种应用于3dtv与ftv系统的深度图编码压缩方法
CN101888566B (zh) 立体视频编码率失真性能估计方法
CN102065296B (zh) 一种三维立体视频编码方法
CN102413353B (zh) 立体视频编码过程的多视点视频和深度图的码率分配方法
CN103428499B (zh) 编码单元的划分方法及使用该方法的多视点视频编码方法
CN101309412A (zh) 基于深度图像渲染的多通道视频流编码器和解码器
CN104159095B (zh) 一种多视点纹理视频和深度图编码的码率控制方法
CN103581647A (zh) 一种基于彩色视频运动矢量的深度图序列分形编码方法
CN106210722A (zh) 基于hevc的分层深度视频残差层数据的编码方法
CN103873876A (zh) 基于显著性的多视点彩色加深度视频编码方法
CN102291579A (zh) 一种快速的多目立体视频分形压缩与解压缩方法
CN102790895B (zh) 一种基于最小二乘的多视点视频编码视点合成预测方法
CN104506871B (zh) 一种基于hevc的3d视频快速编码方法
CN109756719A (zh) 基于cu划分贝叶斯决策的3d-hevc帧间快速方法
CN102316323A (zh) 一种快速的双目立体视频分形压缩与解压缩方法
CN104519365B (zh) 一种应用于3个视点视频编码的视点间比特分配方法
CN106657961A (zh) 立体视频的混合数字-模拟编码
Yuan et al. Global rate-distortion optimization of video-based point cloud compression with differential evolution
CN104539971B (zh) 一种应用于2个视点视频编码的视点间比特分配方法
CN103139554B (zh) 一种三维视频率失真优化方法及优化装置
CN103826135B (zh) 基于恰可识别视差错误估计的三维视频深度图编码方法
CN102724524B (zh) 一种基于h.264 的立体视频码率控制方法
CN104284196B (zh) 彩色与深度视频联合编码的比特分配及码率控制算法
CN106303547A (zh) 三维视频编码方法和装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170728

CF01 Termination of patent right due to non-payment of annual fee