CN110611804B - 一种三维视频纹理和深度联合无线软传输优化方法 - Google Patents
一种三维视频纹理和深度联合无线软传输优化方法 Download PDFInfo
- Publication number
- CN110611804B CN110611804B CN201910927796.8A CN201910927796A CN110611804B CN 110611804 B CN110611804 B CN 110611804B CN 201910927796 A CN201910927796 A CN 201910927796A CN 110611804 B CN110611804 B CN 110611804B
- Authority
- CN
- China
- Prior art keywords
- block
- coefficient
- texture
- depth
- dimensional video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000005540 biological transmission Effects 0.000 title claims abstract description 36
- 238000000034 method Methods 0.000 title claims abstract description 23
- 238000005457 optimization Methods 0.000 title claims abstract description 14
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000012856 packing Methods 0.000 claims description 3
- 230000008901 benefit Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- YYJNOYZRYGDPNH-MFKUBSTISA-N fenpyroximate Chemical group C=1C=C(C(=O)OC(C)(C)C)C=CC=1CO/N=C/C=1C(C)=NN(C)C=1OC1=CC=CC=C1 YYJNOYZRYGDPNH-MFKUBSTISA-N 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/194—Transmission of image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
本发明涉及一种三维视频纹理和深度联合无线软传输优化方法,属于三维视频无线软传输技术领域。该方法包括:S1:输入三维视频深度图及纹理视频图像组;S2:分别对多视点的纹理视频和深度图执行4D‑DCT;S3:选择合适的分块尺寸对变换后的系数块进行分块;S4:对纹理部分和深度部分系数块进行元数据优化;S5:根据步骤S4得到的两部分优化数据块进行交织,形成混合块;S6:根据带宽要求对混合块进行块丢弃;S7:执行功率分配并调制映射到无线信道上传输。本发明能够减少三维视频中的冗余,提高传输效率。
Description
技术领域
本发明属于三维视频无线软传输技术领域,涉及一种三维视频纹理和深度联合无线软传输优化方法。
背景技术
由于无线信道条件的时变性,传统的基于信源和信道编码的传输方案会产生“悬崖效应”,不能满足广播和移动场景。
现有无线软传输方案主要针对二维视频传输,当其应用于三维视频传输时,不同视角间的纹理视频或深度图存在较大冗余,若进行分开传输,显然不是一个高效的策略。与自然视频相比,三维视频提供了身临其境的视觉享受,越来越多的三维视频应用出现在移动终端上。显然无线三维视频传输技术将在其中发挥至关重要的作用。传统SoftCast方案只是针对二维视频,三维视频不同视点间,纹理和深度间存在着大量冗余。已有相关文献给出了简单的解决方案,但其并不是最优的,因此本发明将利用这些冗余并设计出一个高效的联合传输方案。
发明内容
有鉴于此,本发明的目的在于提供一种三维视频纹理和深度联合无线软传输优化方法,减少三维视频中的冗余,提高传输效率。
为达到上述目的,本发明提供如下技术方案:
一种三维视频纹理和深度联合无线软传输优化方法,具体包括以下步骤:
S1:输入三维视频深度图及纹理视频图像组;
S2:分别对多视点的纹理视频和深度图执行4D-DCT;
S3:选择合适的分块尺寸对变换后的系数块进行分块;
S4:对纹理部分和深度部分系数块进行元数据优化;
S5:根据步骤S4得到的两部分优化数据块进行交织,形成混合块;
S6:根据带宽要求对混合块进行块丢弃;
S7:执行功率分配并调制映射到无线信道上传输。
进一步,所述步骤S4中,对变换后的系数块进行元数据优化,具体包括以下步骤:
S41:假设块宽度为W,块高度为H,块i种系数的坐标为(vi,w,h,ti,w,h,xi,w,h,yi,w,h),同时0≤w≤W-1,0≤h≤H-1,则计算系数块中左上角系数的距离为:
S42:判断系数块左上角系数距离是否是块中距离原点最小的点,若是,则将此系数置为0并作为元数据传输,否则将系数块均值作为元数据传输。
进一步,所述步骤S5中,对两部分优化数据块进行块交织组成混合块,具体包括以下步骤:
S51:从纹理和深度部分各选出m个系数块,每个系数块的长度为N,其中m典型取10,N为原始系数块中系数个数;
S52:将每h个系数块打包成一组数据进行统一处理(此时应有2*m*N/h组数据,h取分块尺寸大小);
S53:从纹理和深度部分总共选择N/h组数据交织组成新块,交织比例遍历0至(N/h-1),并统计每次遍历后的总能量和;
S54:选择能使总能量和最小的交织比例,对所有系数块进行交织组成混合块。
进一步,所述步骤S6中,根据带宽要求对混合块进行块丢弃,具体包括以下步骤:
S61:计算模型参数αi和βi,其由下式决定:
S62:计算Rt和Rd,其分别为:
其中,K为参考视点的数量,L为所需显示的所有视点数量;
S63:计算每个块的能量并将其乘以Rt或Rd,对结果进行排序;
S64:根据带宽要求,选择较小排序结果的块进行丢弃。
进一步,所述步骤S7具体包括以下步骤:
S71:根据步骤S6得到的块丢弃结果,对每个重新组成的系数块进行功率分配,进而对系数块进行缩放;
S72:根据步骤S71得到的系数缩放结果,利用哈达玛变换对其进行加扰,进一步加强差错保护;
S73:根据步骤S72得到的加扰结果,系数两两成对进行星座映射,发送到OFDM信道。
本发明的有益效果在于:与传统的三维传输方法相比,本发明根据三维视频以及无线软传输框架的特点设计出一个高效的传输策略,减少了三维视频中的冗余,从而提高传输效率,同时传统传输方法的悬崖效应也得到克服。
本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述,并且在某种程度上,基于对下文的考察研究对本领域技术人员而言将是显而易见的,或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。
附图说明
为了使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明作优选的详细描述,其中:
图1为本发明中三维视频纹理和深度联合无线软传输优化方案框架示意图;
图2为Balloons序列采用本发明传输方案与4D-DCT SoftCast方案以及3D-DCTSoftCast方案性能对比示意图;
图3为Kendo序列采用本发明传输方案与4D-DCT SoftCast方案以及3D-DCTSoftCast方案性能对比示意图;
图4为Poznanstreet序列采用本发明传输方案与4D-DCT SoftCast方案以及3D-DCT SoftCast方案性能对比示意图;
图5为gtFly序列采用本发明传输方案与4D-DCT SoftCast方案以及3D-DCTSoftCast方案性能对比示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式,本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本发明的精神下进行各种修饰或改变。需要说明的是,以下实施例中所提供的图示仅以示意方式说明本发明的基本构想,在不冲突的情况下,以下实施例及实施例中的特征可以相互组合。
请参阅图1~图5,如图1所示,为本发明的优选实施例,一种三维视频纹理和深度联合无线软传输优化方法,包括以下步骤:
步骤1:发送端输入一组三维视频深度图以及该组三维视频深度图对应的纹理图像。
步骤2:分别采用4D-DCT变换消除视点间的冗余,具体包括:
采用4D-DCT来完全减少多视点视频加深度图的空间(水平和垂直),时间和视点间的冗余。令I(v,t,x,y)表示多视点视频加深度图的像素值,其中v是视点索引,t是帧索引,x和y是水平和垂直坐标。那么对I做4D-DCT变换可以表示为:
其中S是一个集合(S={V,T,X,Y}),同时有:
其中L代表总视点个数,G代表一个GOP的视频帧数量,N代表块的大小,cv(V),ct(T),cxy(X)和cxy(Y)是4个常数:
步骤3:选择合适的分块尺寸(如64*64)对变换后的系数块进行分块。
步骤4:对纹理部分和深度部分系数块进行元数据优化;具体包括以下步骤:
步骤41:假设块宽度为W,块高度为H,块i种系数的坐标为(vi,w,h,ti,w,h,xi,w,h,yi,w,h),同时0≤w≤W-1,0≤h≤H-1,则计算系数块中左上角系数的距离为:
步骤42:判断系数块左上角系数距离是否是块中距离原点最小的点,若是,则将此系数置为0并作为元数据传输,否则将系数块均值作为元数据传输。
步骤5:根据步骤4得到的两部分优化数据块进行块交织,组成混合块;具体包括以下步骤:
步骤51:从纹理和深度部分各选出m个系数块,每个系数块的长度为N,其中m典型取10,N为原始系数块中系数个数;
步骤52:将每h个系数块打包成一组数据进行统一处理(此时应有2*m*N/h组数据,h取分块尺寸大小);
步骤53:从纹理和深度部分总共选择N/h组数据交织组成新块,交织比例遍历0至(N/h-1),并统计每次遍历后的总能量和;
步骤54:选择能使总能量和最小的交织比例,对所有系数块进行交织组成混合块。
步骤6:根据带宽要求对混合块进行块丢弃,具体包括以下步骤:
步骤61:计算模型参数αi和βi,其由下式决定:
步骤62:计算Rt和Rd,其分别为:
其中,K为参考视点的数量,L为所需显示的所有视点数量;
步骤63:根据下式将每个块的能量乘以相应的Rt或Rd,并根据乘积结果对结果进行排序;
步骤64:根据带宽要求,选择较小排序结果的块进行丢弃。
步骤7:根据步骤6得到的块丢弃结果,对每个重新组成的系数块进行功率分配,进而对系数块进行缩放。需要强调的是,功率分配策略与原始SoftCast方案相同。
步骤8:根据步骤7得到的系数缩放结果,利用哈达玛变换对其进行加扰,进一步加强差错保护。
步骤9:根据步骤8得到的加扰结果,系数两两成对进行星座映射,发送到OFDM信道。
步骤10:接收端采用最小似然估计算法对发送系数进行估计,同时经过相应逆操作得到重建的三维视频纹理图像和深度图像组。
仿真对比:
1)仿真测试条件
测试序列:在仿真中使用了4个多视点视频序列。表1列出了测试序列及其配置。对于分辨率为1920*1088的测试序列,分块大小设置为48*68。对于1024*768的分辨率,分块大小设置为64*64。
表1测试序列及配置参数
2)如图2-5所示,在本实施例中,对Balloons序列、Kendo序列、Poznanstreet序列和gtFly序列进行了性能对比实验,分别采用本发明的传输方案、原始3D-DCT SoftCast方案以及4D-DCT SoftCast方案。从图2~5可以看出,这三种方法在整个信道SNR范围内都提供了线性的质量转换。同时,与原始3D-DCT SoftCast相比,其余两种方法具有很大的性能改进。对于4D-DCT SoftCast方法,这种性能增益约为2.2-4.2dB。对于本发明传输方案,其具有元数据优化和块交织策略,进一步提升了传输增益。由此可知本方案的方法具有最佳性能,能够显著提高接收端三维视频整体质量。
最后说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或者等同替换,而不脱离本技术方案的宗旨和范围,其均应涵盖在本发明的权利要求范围当中。
Claims (4)
1.一种三维视频纹理和深度联合无线软传输优化方法,其特征在于,该方法具体包括以下步骤:
S1:输入三维视频深度图及纹理视频图像组;
S2:分别对多视点的纹理视频和深度图执行四维离散余弦变换4D-DCT;
S3:选择合适的分块尺寸对变换后的系数块进行分块;
S4:对纹理部分和深度部分系数块进行元数据优化,具体包括以下步骤:
S41:假设块宽度为W,块高度为H,块i中系数的坐标为(vi,w,h,ti,w,h,xi,w,h,yi,w,h),同时0≤w≤W-1,0≤h≤H-1,则计算系数块中左上角系数的距离为:
其中,v是视点索引,t是帧索引,x和y是水平和垂直坐标;
S42:判断系数块左上角系数距离是否是块中距离原点最小的点,若是,则将此系数置为0并作为元数据传输,否则将系数块均值作为元数据传输;
S5:根据步骤S4得到的两部分优化数据块进行交织,形成混合块;
S6:根据带宽要求对混合块进行块丢弃;
S7:执行功率分配并调制映射到无线信道上传输。
2.根据权利要求1所述的一种三维视频纹理和深度联合无线软传输优化方法,其特征在于,所述步骤S5中,对两部分优化数据块进行块交织组成混合块,具体包括以下步骤:
S51:从纹理和深度部分各选出m个系数块,每个系数块的长度为N,N为原始系数块中系数个数;
S52:将每h个系数块打包成一组数据进行统一处理,其中h取分块尺寸大小;
S53:从纹理和深度部分总共选择N/h组数据交织组成新块,交织比例遍历0至(N/h-1),并统计每次遍历后的总能量和;
S54:选择能使总能量和最小的交织比例,对所有系数块进行交织组成混合块。
4.根据权利要求1所述的一种三维视频纹理和深度联合无线软传输优化方法,其特征在于,所述步骤S7具体包括以下步骤:
S71:根据步骤S6得到的块丢弃结果,对每个重新组成的系数块进行功率分配,进而对系数块进行缩放;
S72:根据步骤S71得到的系数缩放结果,利用哈达玛变换对其进行加扰,进一步加强差错保护;
S73:根据步骤S72得到的加扰结果,系数两两成对进行星座映射,发送到OFDM信道。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910927796.8A CN110611804B (zh) | 2019-09-27 | 2019-09-27 | 一种三维视频纹理和深度联合无线软传输优化方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910927796.8A CN110611804B (zh) | 2019-09-27 | 2019-09-27 | 一种三维视频纹理和深度联合无线软传输优化方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110611804A CN110611804A (zh) | 2019-12-24 |
CN110611804B true CN110611804B (zh) | 2021-05-11 |
Family
ID=68893885
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910927796.8A Active CN110611804B (zh) | 2019-09-27 | 2019-09-27 | 一种三维视频纹理和深度联合无线软传输优化方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110611804B (zh) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104378653A (zh) * | 2014-11-27 | 2015-02-25 | 北京邮电大学 | 一种视频块划分方法及装置 |
CN108156440A (zh) * | 2017-12-26 | 2018-06-12 | 重庆邮电大学 | 一种基于分块dct变换的三维视频深度图非编码传输方法 |
CN108347615A (zh) * | 2018-03-06 | 2018-07-31 | 中国科学技术大学 | 一种解决屏幕分辨率异构问题的空域可伸缩视频传输方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9668019B2 (en) * | 2013-03-15 | 2017-05-30 | Samsung Electronics Co., Ltd. | Electronic system with adaptive enhancement mechanism and method of operation thereof |
-
2019
- 2019-09-27 CN CN201910927796.8A patent/CN110611804B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104378653A (zh) * | 2014-11-27 | 2015-02-25 | 北京邮电大学 | 一种视频块划分方法及装置 |
CN108156440A (zh) * | 2017-12-26 | 2018-06-12 | 重庆邮电大学 | 一种基于分块dct变换的三维视频深度图非编码传输方法 |
CN108347615A (zh) * | 2018-03-06 | 2018-07-31 | 中国科学技术大学 | 一种解决屏幕分辨率异构问题的空域可伸缩视频传输方法 |
Non-Patent Citations (3)
Title |
---|
3-D displays and signal processing;Konrad J, Halle;《IEEE SIGNAL PROCESSING MAGAZINE》;20071130;全文 * |
一种高效的三维视频深度图帧内编码算法;罗雷;《华中科技大学学报(自然科学版) 》;20140915;全文 * |
立体视频的4维矩阵DCT编码算法;马行;《第二届立体图象技术及其应用(国际)研讨会论文集》;20071001;正文第1.2节 * |
Also Published As
Publication number | Publication date |
---|---|
CN110611804A (zh) | 2019-12-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101980537B (zh) | 一种基于对象和分形的双目立体视频压缩编解码方法 | |
CN100496121C (zh) | 一种交互式多视点视频系统的图像信号处理方法 | |
Park et al. | Depth-image-based rendering for 3DTV service over T-DMB | |
CN108156440B (zh) | 一种基于分块dct变换的三维视频深度图非编码传输方法 | |
CN105049866B (zh) | 基于绘制失真模型的多视点加深度编码的码率分配方法 | |
CN101980538B (zh) | 一种基于分形的双目立体视频压缩编解码方法 | |
CN104202612B (zh) | 基于四叉树约束的编码单元的划分方法及视频编码方法 | |
Li et al. | A novel upsampling scheme for depth map compression in 3DTV system | |
CN104469336B (zh) | 多视点深度视频信号的编码方法 | |
CN103581687B (zh) | 一种基于压缩感知的自适应深度图像编码方法 | |
Gu et al. | Fast bi-partition mode selection for 3D HEVC depth intra coding | |
CN103428499A (zh) | 编码单元的划分方法及使用该方法的多视点视频编码方法 | |
CN103024381B (zh) | 一种基于恰可察觉失真的宏块模式快速选择方法 | |
CN107222751B (zh) | 基于多视点视频特征的3d-hevc深度视频信息隐藏方法 | |
CN105141940B (zh) | 一种分区域的3d视频编码方法 | |
CN102438167A (zh) | 一种基于深度图像绘制的立体视频编码方法 | |
Shen et al. | Inter mode selection for depth map coding in 3D video | |
CN104159095A (zh) | 一种多视点纹理视频和深度图编码的码率控制方法 | |
Daribo et al. | Adaptive wavelet coding of the depth map for stereoscopic view synthesis | |
CN102316323B (zh) | 一种快速的双目立体视频分形压缩与解压缩方法 | |
CN104378653B (zh) | 一种视频块划分方法及装置 | |
CN110611804B (zh) | 一种三维视频纹理和深度联合无线软传输优化方法 | |
CN116489333A (zh) | 一种面向深度图编码单元划分的边缘分类模型构建方法 | |
CN104244008B (zh) | 一种深度视频编码方法 | |
CN105704497B (zh) | 面向3d-hevc的编码单元尺寸快速选择算法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |