CN110611804B - 一种三维视频纹理和深度联合无线软传输优化方法 - Google Patents

一种三维视频纹理和深度联合无线软传输优化方法 Download PDF

Info

Publication number
CN110611804B
CN110611804B CN201910927796.8A CN201910927796A CN110611804B CN 110611804 B CN110611804 B CN 110611804B CN 201910927796 A CN201910927796 A CN 201910927796A CN 110611804 B CN110611804 B CN 110611804B
Authority
CN
China
Prior art keywords
block
coefficient
texture
depth
dimensional video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910927796.8A
Other languages
English (en)
Other versions
CN110611804A (zh
Inventor
罗雷
杨太海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Post and Telecommunications
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN201910927796.8A priority Critical patent/CN110611804B/zh
Publication of CN110611804A publication Critical patent/CN110611804A/zh
Application granted granted Critical
Publication of CN110611804B publication Critical patent/CN110611804B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及一种三维视频纹理和深度联合无线软传输优化方法，属于三维视频无线软传输技术领域。该方法包括：S1：输入三维视频深度图及纹理视频图像组；S2：分别对多视点的纹理视频和深度图执行4D‑DCT；S3：选择合适的分块尺寸对变换后的系数块进行分块；S4：对纹理部分和深度部分系数块进行元数据优化；S5：根据步骤S4得到的两部分优化数据块进行交织，形成混合块；S6：根据带宽要求对混合块进行块丢弃；S7：执行功率分配并调制映射到无线信道上传输。本发明能够减少三维视频中的冗余，提高传输效率。

Description

一种三维视频纹理和深度联合无线软传输优化方法
技术领域
本发明属于三维视频无线软传输技术领域，涉及一种三维视频纹理和深度联合无线软传输优化方法。
背景技术
由于无线信道条件的时变性，传统的基于信源和信道编码的传输方案会产生“悬崖效应”，不能满足广播和移动场景。
现有无线软传输方案主要针对二维视频传输，当其应用于三维视频传输时，不同视角间的纹理视频或深度图存在较大冗余，若进行分开传输，显然不是一个高效的策略。与自然视频相比，三维视频提供了身临其境的视觉享受，越来越多的三维视频应用出现在移动终端上。显然无线三维视频传输技术将在其中发挥至关重要的作用。传统SoftCast方案只是针对二维视频，三维视频不同视点间，纹理和深度间存在着大量冗余。已有相关文献给出了简单的解决方案，但其并不是最优的，因此本发明将利用这些冗余并设计出一个高效的联合传输方案。
发明内容
有鉴于此，本发明的目的在于提供一种三维视频纹理和深度联合无线软传输优化方法，减少三维视频中的冗余，提高传输效率。
为达到上述目的，本发明提供如下技术方案：
一种三维视频纹理和深度联合无线软传输优化方法，具体包括以下步骤：
S1：输入三维视频深度图及纹理视频图像组；
S2：分别对多视点的纹理视频和深度图执行4D-DCT；
S3：选择合适的分块尺寸对变换后的系数块进行分块；
S4：对纹理部分和深度部分系数块进行元数据优化；
S5：根据步骤S4得到的两部分优化数据块进行交织，形成混合块；
S6：根据带宽要求对混合块进行块丢弃；
S7：执行功率分配并调制映射到无线信道上传输。
进一步，所述步骤S4中，对变换后的系数块进行元数据优化，具体包括以下步骤：
S41：假设块宽度为W，块高度为H，块i种系数的坐标为(vi,w,h,ti,w,h,xi,w,h,yi,w,h)，同时0≤w≤W-1，0≤h≤H-1，则计算系数块中左上角系数的距离为：
Figure BDA0002219388110000021
S42：判断系数块左上角系数距离是否是块中距离原点最小的点，若是，则将此系数置为0并作为元数据传输，否则将系数块均值作为元数据传输。
进一步，所述步骤S5中，对两部分优化数据块进行块交织组成混合块，具体包括以下步骤：
S51：从纹理和深度部分各选出m个系数块，每个系数块的长度为N，其中m典型取10，N为原始系数块中系数个数；
S52：将每h个系数块打包成一组数据进行统一处理(此时应有2*m*N/h组数据，h取分块尺寸大小)；
S53：从纹理和深度部分总共选择N/h组数据交织组成新块，交织比例遍历0至(N/h-1)，并统计每次遍历后的总能量和；
S54：选择能使总能量和最小的交织比例，对所有系数块进行交织组成混合块。
进一步，所述步骤S6中，根据带宽要求对混合块进行块丢弃，具体包括以下步骤：
S61：计算模型参数αi和βi，其由下式决定：
Figure BDA0002219388110000022
其中，Dv,i为虚拟视点i的合成失真，
Figure BDA0002219388110000023
为参考视点纹理视频的平均失真，
Figure BDA0002219388110000024
为参考视点深度图的平均失真，Ci为模型参数；
S62：计算Rt和Rd，其分别为：
Figure BDA0002219388110000025
Figure BDA0002219388110000026
其中，K为参考视点的数量，L为所需显示的所有视点数量；
S63：计算每个块的能量并将其乘以Rt或Rd，对结果进行排序；
S64：根据带宽要求，选择较小排序结果的块进行丢弃。
进一步，所述步骤S7具体包括以下步骤：
S71：根据步骤S6得到的块丢弃结果，对每个重新组成的系数块进行功率分配，进而对系数块进行缩放；
S72：根据步骤S71得到的系数缩放结果，利用哈达玛变换对其进行加扰，进一步加强差错保护；
S73：根据步骤S72得到的加扰结果，系数两两成对进行星座映射，发送到OFDM信道。
本发明的有益效果在于：与传统的三维传输方法相比，本发明根据三维视频以及无线软传输框架的特点设计出一个高效的传输策略，减少了三维视频中的冗余，从而提高传输效率，同时传统传输方法的悬崖效应也得到克服。
本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。
附图说明
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：
图1为本发明中三维视频纹理和深度联合无线软传输优化方案框架示意图；
图2为Balloons序列采用本发明传输方案与4D-DCT SoftCast方案以及3D-DCTSoftCast方案性能对比示意图；
图3为Kendo序列采用本发明传输方案与4D-DCT SoftCast方案以及3D-DCTSoftCast方案性能对比示意图；
图4为Poznanstreet序列采用本发明传输方案与4D-DCT SoftCast方案以及3D-DCT SoftCast方案性能对比示意图；
图5为gtFly序列采用本发明传输方案与4D-DCT SoftCast方案以及3D-DCTSoftCast方案性能对比示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
请参阅图1～图5，如图1所示，为本发明的优选实施例，一种三维视频纹理和深度联合无线软传输优化方法，包括以下步骤：
步骤1：发送端输入一组三维视频深度图以及该组三维视频深度图对应的纹理图像。
步骤2：分别采用4D-DCT变换消除视点间的冗余，具体包括：
采用4D-DCT来完全减少多视点视频加深度图的空间(水平和垂直)，时间和视点间的冗余。令I(v,t,x,y)表示多视点视频加深度图的像素值，其中v是视点索引，t是帧索引，x和y是水平和垂直坐标。那么对I做4D-DCT变换可以表示为：
Figure BDA0002219388110000041
其中S是一个集合(S＝{V,T,X,Y})，同时有：
Figure BDA0002219388110000042
其中L代表总视点个数，G代表一个GOP的视频帧数量，N代表块的大小，cv(V)，ct(T)，cxy(X)和cxy(Y)是4个常数：
Figure BDA0002219388110000043
步骤3：选择合适的分块尺寸(如64*64)对变换后的系数块进行分块。
步骤4：对纹理部分和深度部分系数块进行元数据优化；具体包括以下步骤：
步骤41：假设块宽度为W，块高度为H，块i种系数的坐标为(vi,w,h,ti,w,h,xi,w,h,yi,w,h)，同时0≤w≤W-1，0≤h≤H-1，则计算系数块中左上角系数的距离为：
Figure BDA0002219388110000044
步骤42：判断系数块左上角系数距离是否是块中距离原点最小的点，若是，则将此系数置为0并作为元数据传输，否则将系数块均值作为元数据传输。
步骤5：根据步骤4得到的两部分优化数据块进行块交织，组成混合块；具体包括以下步骤：
步骤51：从纹理和深度部分各选出m个系数块，每个系数块的长度为N，其中m典型取10，N为原始系数块中系数个数；
步骤52：将每h个系数块打包成一组数据进行统一处理(此时应有2*m*N/h组数据，h取分块尺寸大小)；
步骤53：从纹理和深度部分总共选择N/h组数据交织组成新块，交织比例遍历0至(N/h-1)，并统计每次遍历后的总能量和；
步骤54：选择能使总能量和最小的交织比例，对所有系数块进行交织组成混合块。
步骤6：根据带宽要求对混合块进行块丢弃，具体包括以下步骤：
步骤61：计算模型参数αi和βi，其由下式决定：
Figure BDA0002219388110000051
其中，Dv,i为虚拟视点i的合成失真，
Figure BDA0002219388110000052
为参考视点纹理视频的平均失真，
Figure BDA0002219388110000053
为参考视点深度图的平均失真，Ci为模型参数；
步骤62：计算Rt和Rd，其分别为：
Figure BDA0002219388110000054
Figure BDA0002219388110000055
其中，K为参考视点的数量，L为所需显示的所有视点数量；
步骤63：根据下式将每个块的能量乘以相应的Rt或Rd，并根据乘积结果对结果进行排序；
Figure BDA0002219388110000056
其中，
Figure BDA0002219388110000061
Dtotal表示总失真；
Figure BDA0002219388110000062
上标(trans,dis)分别表示由传输过程引起的失真和由丢弃系数引起的失真。
步骤64：根据带宽要求，选择较小排序结果的块进行丢弃。
步骤7：根据步骤6得到的块丢弃结果，对每个重新组成的系数块进行功率分配，进而对系数块进行缩放。需要强调的是，功率分配策略与原始SoftCast方案相同。
步骤8：根据步骤7得到的系数缩放结果，利用哈达玛变换对其进行加扰，进一步加强差错保护。
步骤9：根据步骤8得到的加扰结果，系数两两成对进行星座映射，发送到OFDM信道。
步骤10：接收端采用最小似然估计算法对发送系数进行估计，同时经过相应逆操作得到重建的三维视频纹理图像和深度图像组。
仿真对比：
1)仿真测试条件
测试序列：在仿真中使用了4个多视点视频序列。表1列出了测试序列及其配置。对于分辨率为1920*1088的测试序列，分块大小设置为48*68。对于1024*768的分辨率，分块大小设置为64*64。
表1测试序列及配置参数
Figure BDA0002219388110000063
2)如图2-5所示，在本实施例中，对Balloons序列、Kendo序列、Poznanstreet序列和gtFly序列进行了性能对比实验，分别采用本发明的传输方案、原始3D-DCT SoftCast方案以及4D-DCT SoftCast方案。从图2～5可以看出，这三种方法在整个信道SNR范围内都提供了线性的质量转换。同时，与原始3D-DCT SoftCast相比，其余两种方法具有很大的性能改进。对于4D-DCT SoftCast方法，这种性能增益约为2.2-4.2dB。对于本发明传输方案，其具有元数据优化和块交织策略，进一步提升了传输增益。由此可知本方案的方法具有最佳性能，能够显著提高接收端三维视频整体质量。
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (4)

1.一种三维视频纹理和深度联合无线软传输优化方法，其特征在于，该方法具体包括以下步骤：
S1：输入三维视频深度图及纹理视频图像组；
S2：分别对多视点的纹理视频和深度图执行四维离散余弦变换4D-DCT；
S3：选择合适的分块尺寸对变换后的系数块进行分块；
S4：对纹理部分和深度部分系数块进行元数据优化，具体包括以下步骤：
S41：假设块宽度为W，块高度为H，块i中系数的坐标为(vi,w,h,ti,w,h,xi,w,h,yi,w,h)，同时0≤w≤W-1，0≤h≤H-1，则计算系数块中左上角系数的距离为：
Figure FDA0002956877480000011
其中，v是视点索引，t是帧索引，x和y是水平和垂直坐标；
S42：判断系数块左上角系数距离是否是块中距离原点最小的点，若是，则将此系数置为0并作为元数据传输，否则将系数块均值作为元数据传输；
S5：根据步骤S4得到的两部分优化数据块进行交织，形成混合块；
S6：根据带宽要求对混合块进行块丢弃；
S7：执行功率分配并调制映射到无线信道上传输。
2.根据权利要求1所述的一种三维视频纹理和深度联合无线软传输优化方法，其特征在于，所述步骤S5中，对两部分优化数据块进行块交织组成混合块，具体包括以下步骤：
S51：从纹理和深度部分各选出m个系数块，每个系数块的长度为N，N为原始系数块中系数个数；
S52：将每h个系数块打包成一组数据进行统一处理，其中h取分块尺寸大小；
S53：从纹理和深度部分总共选择N/h组数据交织组成新块，交织比例遍历0至(N/h-1)，并统计每次遍历后的总能量和；
S54：选择能使总能量和最小的交织比例，对所有系数块进行交织组成混合块。
3.根据权利要求1所述的一种三维视频纹理和深度联合无线软传输优化方法，其特征在于，所述步骤S6中，根据带宽要求对混合块进行块丢弃，具体包括以下步骤：
S61：计算模型参数αi和βi，其由下式决定：
Figure FDA0002956877480000012
其中，Dv,i为虚拟视点i的合成失真，
Figure FDA0002956877480000013
为参考视点纹理视频的平均失真，
Figure FDA0002956877480000014
为参考视点深度图的平均失真，Ci为模型参数；
S62：计算Rt和Rd，其分别为：
Figure FDA0002956877480000021
Figure FDA0002956877480000022
其中，K为参考视点的数量，L为所需显示的所有视点数量；
S63：计算每个块的能量并将其乘以Rt或Rd，对结果进行排序；
S64：根据带宽要求，选择较小排序结果的块进行丢弃。
4.根据权利要求1所述的一种三维视频纹理和深度联合无线软传输优化方法，其特征在于，所述步骤S7具体包括以下步骤：
S71：根据步骤S6得到的块丢弃结果，对每个重新组成的系数块进行功率分配，进而对系数块进行缩放；
S72：根据步骤S71得到的系数缩放结果，利用哈达玛变换对其进行加扰，进一步加强差错保护；
S73：根据步骤S72得到的加扰结果，系数两两成对进行星座映射，发送到OFDM信道。
CN201910927796.8A 2019-09-27 2019-09-27 一种三维视频纹理和深度联合无线软传输优化方法 Active CN110611804B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910927796.8A CN110611804B (zh) 2019-09-27 2019-09-27 一种三维视频纹理和深度联合无线软传输优化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910927796.8A CN110611804B (zh) 2019-09-27 2019-09-27 一种三维视频纹理和深度联合无线软传输优化方法

Publications (2)

Publication Number Publication Date
CN110611804A CN110611804A (zh) 2019-12-24
CN110611804B true CN110611804B (zh) 2021-05-11

Family

ID=68893885

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910927796.8A Active CN110611804B (zh) 2019-09-27 2019-09-27 一种三维视频纹理和深度联合无线软传输优化方法

Country Status (1)

Country Link
CN (1) CN110611804B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104378653A (zh) * 2014-11-27 2015-02-25 北京邮电大学 一种视频块划分方法及装置
CN108156440A (zh) * 2017-12-26 2018-06-12 重庆邮电大学 一种基于分块dct变换的三维视频深度图非编码传输方法
CN108347615A (zh) * 2018-03-06 2018-07-31 中国科学技术大学 一种解决屏幕分辨率异构问题的空域可伸缩视频传输方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9668019B2 (en) * 2013-03-15 2017-05-30 Samsung Electronics Co., Ltd. Electronic system with adaptive enhancement mechanism and method of operation thereof

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104378653A (zh) * 2014-11-27 2015-02-25 北京邮电大学 一种视频块划分方法及装置
CN108156440A (zh) * 2017-12-26 2018-06-12 重庆邮电大学 一种基于分块dct变换的三维视频深度图非编码传输方法
CN108347615A (zh) * 2018-03-06 2018-07-31 中国科学技术大学 一种解决屏幕分辨率异构问题的空域可伸缩视频传输方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
3-D displays and signal processing;Konrad J, Halle;《IEEE SIGNAL PROCESSING MAGAZINE》;20071130;全文 *
一种高效的三维视频深度图帧内编码算法;罗雷;《华中科技大学学报(自然科学版) 》;20140915;全文 *
立体视频的4维矩阵DCT编码算法;马行;《第二届立体图象技术及其应用（国际）研讨会论文集》;20071001;正文第1.2节 *

Also Published As

Publication number Publication date
CN110611804A (zh) 2019-12-24

Similar Documents

Publication Publication Date Title
CN103765474B (zh) 深度编码
CN101980537B (zh) 一种基于对象和分形的双目立体视频压缩编解码方法
CN100496121C (zh) 一种交互式多视点视频系统的图像信号处理方法
Park et al. Depth-image-based rendering for 3DTV service over T-DMB
CN107864380B (zh) 基于dct的3d-hevc快速帧内预测决策方法
Li et al. A novel upsampling scheme for depth map compression in 3DTV system
CN101980538B (zh) 一种基于分形的双目立体视频压缩编解码方法
CN104202612B (zh) 基于四叉树约束的编码单元的划分方法及视频编码方法
CN103581687B (zh) 一种基于压缩感知的自适应深度图像编码方法
CN108156440B (zh) 一种基于分块dct变换的三维视频深度图非编码传输方法
TW202147842A (zh) 點雲品質評估方法、編碼器、解碼器及儲存媒介
CN102438167A (zh) 一种基于深度图像绘制的立体视频编码方法
Shen et al. Inter mode selection for depth map coding in 3D video
CN104159095A (zh) 一种多视点纹理视频和深度图编码的码率控制方法
Daribo et al. Adaptive wavelet coding of the depth map for stereoscopic view synthesis
CN102316323B (zh) 一种快速的双目立体视频分形压缩与解压缩方法
CN110611804B (zh) 一种三维视频纹理和深度联合无线软传输优化方法
CN106657961A (zh) 立体视频的混合数字-模拟编码
CN104244008B (zh) 一种深度视频编码方法
CN116489333A (zh) 一种面向深度图编码单元划分的边缘分类模型构建方法
CN105704497B (zh) 面向3d-hevc的编码单元尺寸快速选择算法
Li et al. Soft transmission of 3D video for low power and low complexity scenario
Wang et al. Difference detection based early mode termination for depth map coding in MVC
CN103813149B (zh) 一种编解码系统的图像与视频重构方法
CN103139554A (zh) 一种三维视频率失真优化方法及优化装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant