CN106507132B - 一种基于移动端虚拟视点合成的云卸载方法及系统 - Google Patents
一种基于移动端虚拟视点合成的云卸载方法及系统 Download PDFInfo
- Publication number
- CN106507132B CN106507132B CN201611116368.XA CN201611116368A CN106507132B CN 106507132 B CN106507132 B CN 106507132B CN 201611116368 A CN201611116368 A CN 201611116368A CN 106507132 B CN106507132 B CN 106507132B
- Authority
- CN
- China
- Prior art keywords
- mobile terminal
- cloud
- synthesis
- block
- view synthesis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000015572 biosynthetic process Effects 0.000 title claims abstract description 115
- 238000003786 synthesis reaction Methods 0.000 title claims abstract description 115
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000007599 discharging Methods 0.000 title claims abstract description 24
- 230000011218 segmentation Effects 0.000 claims abstract description 33
- 230000000007 visual effect Effects 0.000 claims abstract description 21
- 230000005540 biological transmission Effects 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 10
- 238000013507 mapping Methods 0.000 claims description 5
- 238000005192 partition Methods 0.000 claims description 3
- 238000010561 standard procedure Methods 0.000 claims description 2
- 238000006467 substitution reaction Methods 0.000 claims description 2
- 230000002194 synthesizing effect Effects 0.000 claims description 2
- 230000006870 function Effects 0.000 description 8
- 238000012360 testing method Methods 0.000 description 5
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 235000013399 edible fruits Nutrition 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- YYJNOYZRYGDPNH-MFKUBSTISA-N fenpyroximate Chemical compound C=1C=C(C(=O)OC(C)(C)C)C=CC=1CO/N=C/C=1C(C)=NN(C)C=1OC1=CC=CC=C1 YYJNOYZRYGDPNH-MFKUBSTISA-N 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000013468 resource allocation Methods 0.000 description 1
- 239000011800 void material Substances 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Business, Economics & Management (AREA)
- Marketing (AREA)
- Mobile Radio Communication Systems (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
- Processing Or Creating Images (AREA)
- Image Generation (AREA)
Abstract
本发明公开了一种基于移动端虚拟视点合成的云卸载方法及系统，该方法包括如下步骤：A1.将输入帧，包括左右视点的纹理图和深度图，等分成n块；A2.参考上一帧分割块空洞数目，预测当前帧每一分割块进行视点合成的负载；A3.将每个图像块的负载代入云卸载模型，通过最小化移动端的功耗，得到分配结果；A4.根据A3分配结果，在云端或者在移动端分别对不同的图像块进行视点合成；A5.将云端和移动端合成的虚拟视点图像进行拼接，输出一个完整的虚拟视点。使用本发明的云卸载方法或系统，不仅能够提高虚拟视点合成的算法效率、降低移动端的功耗，而且还能高效地获取较高质量的合成的虚拟视点图像或者视频。
Description
技术领域
本发明涉及计算机视觉与数字图像处理领域，特别涉及一种基于云计算的虚拟视点合成的自适应卸载方法。
背景技术
随着移动互联网时代的来临以及智能移动端多核处理器记忆GPU等硬件处理设备的发展，移动端的功能越来越强大。这使越来越多的娱乐媒体活动慢慢的从PC机转移到了以移动端，移动端自由视点合成便是其主要方向之一。自由视点视频(FTV)可以为用户提供任意视点的场景图像，从而极大地增强用户的视觉体验效果，因而具有广阔的发展前景。如果能在移动终端上实现FTV，不仅能够极大地普及3D技术，而且还能够带来巨大的经济意义。
为了将高质量的任意视点图像应用于FTV，MPEG组织开发了VSRS(View SynthesisReference Software)参考软件,此软件用两个参考视点纹理图和相应的深度图作为输入来生成一个合成的虚拟视点。但是，VSRS运行耗时非常长，其虚拟视点合成速度大约是2帧/秒，远小于实时播放下要求的30帧/秒。这就造成了VSRS在现实中的应用受到了限制，特别是PC端和移动端等终端设备上。
随着云计算的流行，大量研究致力于将移动端应用中相对复杂的计算卸载到云端，以降低移动端的功耗。移动终端通过无线网络连接到云端，将本应在本地终端进行的计算工作及数据发送到云端，由云端多个虚拟机完成计算，以降低本地终端功耗。但是，现存的云卸载方案在卸载的同时会产生大量的功耗，也很难在降低本地功耗的同时获得高质量的合成的虚拟视点。
发明内容
本发明的主要目的在于解决现有技术中云卸载方案很难在降低本地功耗的同时获得高质量的合成的虚拟视点的问题，提供一种基于移动端虚拟视点合成的云卸载方法及系统。
本发明提供了一种基于移动端虚拟视点合成的云卸载方法，包括以下步骤：
A1.将输入帧，包括左右视点的纹理图和深度图，平均分成n块，其中n为用户自行设定的将每帧视频分割的块数，n为大于1的整数；
A2.参考上一帧分割块空洞数目，预测当前帧每一分割块进行视点合成的负载；
A3.将每个图像块的负载代入云卸载模型，通过最小化移动端的功耗，得到分配结果，实现资源的动态分配；
A4.根据A3分配结果，在云端或者在移动端分别对不同的图像块进行视点合成；
A5.将云端和移动端合成的虚拟视点图像进行拼接，生成一个完整的虚拟视点。
优选地，所述步骤A1中，将输入帧，包括左右视点的纹理图和深度图，平均分割成n块，分割为纵向分割或者横向分割，对左右视点的纹理图和深度图采用的分割方法完全相同。
优选地，所述步骤A2中对分割后的每帧图像块进行负载预测：
Ψ≈ΨF+ΨM，其中Ψ为每一块进行视点合成的负载，ΨF和ΨM分别为左右视点的纹理图向虚拟视点的映射的负载和左右视点向虚拟视点映射后的图像融合的负载；
ΨF＝2α1WH，其中，W和H分别为分割后的每块的宽度和高度；对于α1，把所有线程各自ForwardWarp()函数时间加在一起除以总的像素点，即
ΨM≈α2(2WH-Θ)，其中，Θ为空洞点的数目，对于α2，把所有线程各自Merge()函数时间加在一起除以总的非空洞像素点，即
其中，TMerge()为Merge()函数时间，Nonholes为非空洞像素点。
优选地，所述步骤A3中云卸载模型的表达式为：
其中，为向量，如果Ii(i＝1,2...n)为1，则第i块分配到云端进行虚拟视点合成，若Ii(i＝1,2...n)为0，则在移动端进行视点合成；Pc为移动端在计算时的功耗，Pi为移动端闲置时的功耗，Ptr为移动端在数据传送时的功耗；Cm为分配到移动端的算法复杂度，Cc为分配到云端的算法复杂度；f为移动端的每秒处理速度，S为每秒云端的计算速度，D是云端和移动端传输的数据的大小，B为带宽；
其中ψi(i＝1,2,…,n)为第i块进行视点合成的负载，ft为当前设备的每秒处理速度；
D＝Dm+Dc，其中Dm和Dc分别为在移动端上和在云端进行视点合成时需要传输到移动端的数据。
优选地，当视频在云端时，若某块需分配到移动端进行视点合成，需要传输到移动端的数据包括该合成块对应的左右视点的深度图和纹理图；当该块分配到云端进行视点合成时，需要传输到移动端的数据包括该合成块对应的左右视点的深度图和纹理图以及新合成的视点，即
其中，W、H为当前块的宽度和高度，n为将一帧视频分割的块数，对应于YUV 420,YUV 422和YUV 444的视频，γ分别为1.5，2和3。
优选地，当视频在移动端时，若某块需分配到移动端进行视点合成，由于视频原来就存储在移动端，需要传输到移动端的数据为0；当该块分配到云端进行视点合成时，需要先将该合成块对应的左右视点的深度图和纹理图传输到云端进行视点合成，待合成完毕后，需要将合成后的视点传输回移动端，即
其中，W、H为当前块的宽度和高度，n为将一帧视频分割的块数，对应于YUV 420,YUV 422和YUV 444的视频，γ分别为1.5，2和3。
优选地，所述步骤A4中在云端或者在移动端分别对不同的图像块进行视点合成，采用视点合成参考软件VSRS里的标准方法进行视点合成。
优选地，所述步骤A5中将云端和移动端合成的虚拟视点图像进行拼接，是指将合成的每块视点拼成完整的一帧。
本发明还提出一种基于移动端虚拟视点合成的云卸载系统，包括输入帧视点分割模块、负载预测模块、云卸载模块、虚拟视点合成模块、虚拟视点拼接模块；输入帧视点分割模块用于将输入的左右视点的深度图和纹理图的等份分割；负载预测模块用于预测分割后每块图像进行视点合成的负载；云卸载模块通过代入一帧中每块进行视点合成的负载，最小化移动端的功耗，得到分配结果，实现资源的动态分配；虚拟视点合成模块用于在移动端或云端进行虚拟视点合成；虚拟视点拼接模块用于将云端和移动端产生的虚拟视点图像进行拼接，输出一个完整的虚拟视点图像。
本发明的有益效果为：
使用本发明的基于移动端虚拟视点合成的云卸载方法或系统，对输入帧的左右视点的纹理图和深度图进行分割，预测各个分割块进行虚拟视点合成的负载，通过本发明提出的云卸载模型，将各个块分配到云端或者移动端进行虚拟视点合成，然后把各个子线程产生的虚拟视点图像进行拼接，产生一个完成的虚拟视点图像输出，不管待合成视点在云端还是在移动端，皆能够实现资源的动态分配，不仅能够提高虚拟视点合成的算法效率、降低移动端的功耗，而且还能高效地获取较高质量的合成的虚拟视点图像或者视频。
附图说明
图1是本发明实施例1中基于移动端虚拟视点合成的云卸载方法的流程图。
图2是本发明实施例1中待合成视点在云端时的云卸载系统结构示意图。
图3是本发明实施例1中待合成视点在移动端时的云卸载系统结构示意图。
图4a和4d是本发明实施例2中没有使用云卸载模型时合成的虚拟视点的图像。
图4b和4e是本发明实施例2中每帧视频被分割成4块时对应的合成的虚拟视点的图像。
图4c和4f是本发明实施例2中每帧视频被分割成8块时对应的合成的虚拟视点的图像。
具体实施方式
下面结合具体实施方式并对照附图对本发明做进一步详细说明，应该强调的是，下述说明仅仅是示例性的，而不是为了限制本发明的范围及其应用。
实施例1
本实施例提供了一种基于移动端虚拟视点合成的云卸载方法及系统，其方法流程如附图1所示，包括如下步骤：
A1.视点分割。将输入帧，包括左右视点的纹理图和深度图，等分成n块，其中n为用户自行设定的将每帧视频分割的块数，n为大于1的整数；
分割可以为纵向分割或者横向分割，对输入的左右视点的纹理图和深度图采取的分割方法完全相同。
A2.负载预测。参考上一帧分割块空洞数目，预测当前帧中每一分割块进行视点合成的负载；
通过观察线程时间和执行视点合成各个函数所用时间之间的关系发现，线程执行的视点合成函数是DoOneFrame()，而且此函数中包含的子函数ForwardWarp()和Merge()执行时间占了总时间的94％以上，故可以得到如下的关系：
Ψ≈ΨF+ΨM 公式(1)
其中Ψ为每一块进行视点合成的负载；ΨF和ΨM分别为参考视点向虚拟视点的映射的负载和左右视点向虚拟视点映射后的图像融合的负载。
参考视点向虚拟视点的映射时，它的时间与像素的总数是成正比，即
ΨF＝2α1WH 公式(2)
其中，W和H分别为分割后的每块的宽度和高度；乘以2是因为有左右两幅图像；对于α1，把所有线程各自ForwardWarp()函数时间加在一起除以总的像素点，即
对两种特征点执行融合，第一种是向虚拟视点映射后形成的空洞点，第二种是非空洞点，而且非空洞点越多，此函数执行时间越长，两者之间近乎成线性关系，即
ΨM≈α2(2WH-Θ) 公式(4)
其中，Θ为空洞点的数目，对于α2，把所有线程各自Merge()函数时间加在一起除以总的非空洞像素点，即
公式(5)分母求和的是整个图像的非空洞像素点的总数目。
A3.云卸载模型动态分配资源。将每个图像块的负载，代入云端卸载模型，通过最小化移动端的功耗，得到分配结果，实现资源的动态分配；
所述云卸载模型的表达式为：
其中，为向量，如果Ii(i＝1,2...n)为1，则第i块分配到云端进行虚拟视点合成，若Ii(i＝1,2...n)为0，则在移动端进行视点合成；Pc为移动端在计算时的功耗，Pi为移动端闲置时的功耗，Ptr为移动端在数据传送时的功耗；Cm为分配到移动端的算法复杂度，Cc为分配到云端的算法复杂度；f为移动端的每秒处理速度，S为每秒云端的计算速度，D是云端和移动端传输的数据的大小，B为带宽。
其中ψi(i＝1,2,…,n)为第i块进行视点合成的负载，ft为当前设备的每秒处理速度。
D＝Dm+Dc 公式(8)
Dm和Dc分别为在移动端上和在云端进行视点合成时需要传输到移动端的数据。
A4.移动端和云端视点合成。根据A3分配结果，在云端或者在移动端分别对分配到其平台上的不同的图像块进行虚拟视点合成，采用VSRS视频合成参考软件的方法；
A5.图像拼接。将云端和移动端合成的虚拟视点图像进行拼接，生成一个完整的虚拟视点。
然后在移动端输出一个完整的虚拟试点图像。
本实施例的上述基于移动端虚拟视点合成的云卸载方法是在云卸载系统上实现的，该云卸载系统包括输入帧视点分割模块(1)、负载预测模块(2)、云卸载模块(3)、虚拟视点合成模块和虚拟视点拼接模块(6)，其中虚拟视点合成模块又包括移动端虚拟视点合成模块(4)和云端虚拟视点合成模块(5)。
输入帧视点分割模块(1)用于将输入的左右视点的深度图和纹理图的等份分割；负载预测模块(2)用于预测分割后每块图像进行视点合成的负载；云卸载模块(3)通过将一帧中每块进行视点合成的负载代入云卸载模型，最小化移动端的功耗，得到分配结果，实现资源的动态分配；移动端虚拟视点合成模块(4)和云端虚拟视点合成模块(5)分别设置在移动端和云端，分别用于在移动端和云端进行虚拟视点合成；虚拟视点拼接模块(6)设置在移动端，用于将云端和移动端产生的虚拟视点图像进行拼接，在移动端输出一个完整的虚拟视点图像。
当视频在云端时，基于移动端虚拟视点合成的云卸载系统如附图2所示，输入帧视点分割模块(1)、负载预测模块(2)、云卸载模块(3)均设置在云端。此时，若某块需分配到移动端进行视点合成，需要传输到移动端的数据包括该合成块对应的左右视点的深度图和纹理图；当该块分配到云端进行视点合成时，需要传输到移动端的数据包括该合成块对应的左右视点的深度图和纹理图以及新合成的视点。因此，公式(8)中的Dm和Dc分别为：
其中，W、H为当前块的宽度和高度，n为将一帧视频分割的块数，对应于YUV 420,YUV 422和YUV 444的视频，γ分别为1.5，2和3。
当视频在移动端时，基于移动端虚拟视点合成的云卸载系统如附图3所示，输入帧视点分割模块(1)、负载预测模块(2)、云卸载模块(3)均设置在移动端端。此时，若某块需分配到移动端进行视点合成，由于视频原来就存储在移动端，需要传输到移动端的数据为0；当该块分配到云端进行视点合成时，需要先将该合成块对应的左右视点的深度图和纹理图传输到云端进行视点合成，待合成完毕后，需要将合成后的视点传输回移动端。因此，公式(8)中的Dm和Dc分别为：
其中，W、H为当前块的宽度和高度，n为将一帧视频分割的块数，对应于YUV 420,YUV 422和YUV 444的视频，γ分别为1.5，2和3。
实施例2
本实施例的基于移动端虚拟视点合成的云卸载方法，包括如下步骤：
A1.输入左右视点的深度和纹理视频，将每帧等分成n个图像块，4种视频对应的分割方法一致，其中n为用户自行设定的将每帧视频分割的块数，n为大于1的整数；
A2.参考上一帧分割块空洞数目，预测当前帧每一分割块进行视点合成的负载；
A3.将每个图像块的负载，代入云卸载模型：
其中，为向量，如果Ii(i＝1,2...n)为1，则第i块分配到云端进行虚拟视点合成，若Ii(i＝1,2...n)为0，则在移动端进行视点合成；Pc为移动端在计算时的功耗，Pi为移动端闲置时的功耗，Ptr为移动端在数据传送时的功耗；Cm为分配到移动端的算法复杂度，Cc为分配到云端的算法复杂度；f为移动端的每秒处理速度，S为每秒云端的计算速度，D是云端和移动端传输的数据的大小，B为带宽。
通过最小化移动端的功耗得到分配结果，实现资源的动态分配；
A4.按照A3最优化得到的分配结果，分别在移动端或云端进行视点合成，生成视点合成图。
A5.将云端和移动端合成的虚拟视点图像进行拼接，产生一个完整的虚拟视点输出。
本实验的测试平台数据HP iPAQ PDA，各数据参数为Pc为0.9W，Pi为0.3W，Ptr为1.3W。
原来测试序列如表1所示。本实验采用国际视频测试常用的视频序列，为简便，每个视频序列均取前100帧。输入视点列表示的是输入的左右参考视点位置，合成视点列是待合成的虚拟视点，如Bookarrival序列的左参考视点是视点10，右参考视点是视点8，待合成的虚拟视点位置是视点9。
表1输入的测试序列
| 输入序列 | 大小 | 帧数 | 输入视点 | 合成视点 |
| Bookarrival | 1024x768 | 100 | 10，8 | 9 |
| Champagne_tower | 1280x960 | 100 | 39，41 | 40 |
| Newspaper | 1024x768 | 100 | 4，6 | 5 |
| PoznanStreet | 1920x1080 | 100 | 3，5 | 4 |
| Kendo | 1024x768 | 100 | 5，3 | 4 |
| Lovebird1 | 1024x768 | 100 | 6，8 | 7 |
当测试平台为HP iPAQ PDA，带宽分别为2Mbps、20Mbps、40Mbps、60Mbps和80Mbps时，使用本发明云卸载方法时移动端节省的能量百分比如下表2所示。
表2云卸载动态资源分配结果和节省的能量百分比(％)
在表2中，n＝4和n＝8分别表示为分割成4块和8块，表中的数据表示，相对于未使用本发明所提出云卸载方法，使用本发明的云卸载方法时移动端节省的能量的百分比。从表2中可以看出，当带宽较小时，传输数据功耗较大，此时大部分块会被分配到移动端，移动端节省的能量的百分比较小；当带宽较大时，传输功耗较小，此时大部分块会被卸载到云端，移动端节省的能量的百分比较大；而且，带宽越大，移动端节省的能量越多。
使用本发明所提供的基于移动端虚拟视点合成的云卸载方法，得到的图像效果如附图4所示。图4a、图4d为没有使用云卸载方法时合成的虚拟视点的图像，图4b、图4e为每帧视频被分割成4块时对应的合成的虚拟视点的图像，图4c、图4f为每帧视频被分割成8块时对应的合成的虚拟视点的图像。由于并没有看到合成虚拟视点的区别，由此可知采用本发明提出的使用云卸载模型的虚拟视点合成方法，合成的虚拟视点的主观质量并没有下降。
通过本实施例提出的云卸载方法，对输入帧的左右视点的纹理图和深度图进行分割，预测各个分割块进行虚拟视点合成的负载，通过云卸载模型，将各个块分配到云端或者移动端进行虚拟视点合成，然后把各个子线程产生的虚拟视点图像进行拼接，产生一个完成的虚拟视点图像输出。本发明根据上述思路，实现了基于云卸载模型的虚拟视点合成方法，提高了VSRS的虚拟视点合成效率，大大降低了移动端进行虚拟视点合成的功耗，为FTV在移动终端上的实现开辟了道路。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。
Claims (8)
1.一种基于移动端的虚拟视点合成的云卸载方法，其特征在于，所述方法包括以下步骤：
A1.将输入帧，包括左右视点的纹理图和深度图，平均分成n块；其中n为用户自行设定的将每帧视频分割的块数，n为大于1的整数；
A2.参考上一帧分割块空洞数目，预测当前帧每一分割块进行视点合成的负载；
A3.将每个图像块的负载代入云卸载模型，通过最小化移动端的功耗，得到分配结果，实现资源的动态分配；
A4.根据A3的分配结果，在云端或者在移动端分别对不同的图像块进行视点合成；
A5.将云端和移动端合成的虚拟视点图像进行拼接，生成一个完整的虚拟视点；
所述步骤A3中云卸载模型的表达式为：
其中，为向量，如果Ii(i＝1,2...n)为1，则第i块分配到云端进行虚拟视点合成，若Ii(i＝1,2...n)为0，则在移动端进行视点合成；Pc为移动端在计算时的功耗，Pi为移动端闲置时的功耗，Ptr为移动端在数据传送时的功耗；Cm为分配到移动端的算法复杂度，Cc为分配到云端的算法复杂度；f为移动端的每秒处理速度，S为每秒云端的计算速度，D是云端和移动端传输的数据的大小，B为带宽；
其中为第i块进行视点合成的负载，ft为当前设备的每秒处理速度；
D＝Dm+Dc，其中Dm和Dc分别为在移动端上和在云端进行视点合成时需要传输到移动端的数据。
2.根据权利要求1所述的云卸载方法，其特征在于，所述步骤A1中，将输入帧，包括左右视点的纹理图和深度图，平均分割成n块，分割为纵向分割或者横向分割，对左右视点的纹理图和深度图采用的分割方法完全相同。
3.根据权利要求1所述的云卸载方法，其特征在于，所述步骤A2中对分割后的每帧图像块进行负载预测；
Ψ≈ΨF+ΨM，其中Ψ为每一块进行视点合成的负载；ΨF和ΨM分别为左右视点的纹理图向虚拟视点的映射的负载和左右视点向虚拟视点映射后的图像融合的负载；
ΨF＝2α1WH，其中，W和H分别为分割后的每块的宽度和高度；对于α1，把所有线程各自ForwardWarp()函数时间加在一起除以总的像素点，即
其中，为所有线程各自ForwardWarp()函数时间的总和；TForwardWarp()为ForwardWarp()函数时间；
ΨM≈α2(2WH-Θ)，其中，Θ为空洞点的数目，对于α2，把所有线程各自Merge()函数时间加在一起除以总的非空洞像素点，即
其中，为所有线程各自Merge()函数时间的总和，TMerge()为Merge()函数时间，为整个图像的非空洞像素点的总数目，Nonholes为非空洞像素点，Nonholes[i]为线程对应的图像块中第i行的非空洞像素点数目，Height为分割后每块的高度。
4.根据权利要求1所述的云卸载方法，其特征在于，当视频在云端时，若某块需分配到移动端进行视点合成，需要传输到移动端的数据包括该块对应的左右视点的深度图和纹理图；当该块分配到云端进行视点合成时，需要传输到移动端的数据包括该块对应的左右视点的深度图和纹理图以及新合成的视点，即
其中，W、H为当前块的宽度和高度，n为将一帧视频分割的块数，对应于YUV 420,YUV422和YUV 444的视频，γ分别为1.5，2和3。
5.根据权利要求1所述的云卸载方法，其特征在于，当视频在移动端时，若某块需分配到移动端进行视点合成，由于视频原来就存储在移动端，需要传输到移动端的数据为0；当该块分配到云端进行视点合成时，需要先将该块对应的左右视点的深度图和纹理图传输到云端进行视点合成，待合成完毕后，需要将合成后的视点传输回移动端，即
Dm＝0，其中，W、H为当前块的宽度和高度，n为将一帧视频分割的块数，对应于YUV 420,YUV 422和YUV 444的视频，γ分别为1.5，2和3。
6.根据权利要求1所述的云卸载方法，其特征在于，所述步骤A4中在云端或者在移动端分别对不同的图像块进行视点合成，采用视点合成参考软件VSRS里的标准方法进行视点合成。
7.如权利要求1所述的方法，其特征在于，所述步骤A5中将云端和移动端合成的虚拟视点图像进行拼接，是指将合成的每块视点拼成完整的一帧。
8.一种基于移动端虚拟视点合成的云卸载系统，其特征在于，系统包括输入帧视点分割模块、负载预测模块、云卸载模块、虚拟视点合成模块、虚拟视点拼接模块；输入帧视点分割模块用于将输入的左右视点的深度图和纹理图的等份分割；负载预测模块用于预测分割后每块图像进行视点合成的负载；云卸载模块通过代入一帧中每块进行视点合成的负载，最小化移动端的功耗，得到分配结果，实现资源的动态分配；虚拟视点合成模块用于在移动端或云端进行虚拟视点合成；虚拟视点拼接模块用于将云端和移动端产生的虚拟视点图像进行拼接，输出一个完整的虚拟视点图像；所述云卸载模块通过将每个图像块的负载代入云卸载模型来最小化移动端的功耗，其中，所述云卸载模型的表达式为：
其中，为向量，如果Ii(i＝1,2...n)为1，则第i块分配到云端进行虚拟视点合成，若Ii(i＝1,2...n)为0，则在移动端进行视点合成；Pc为移动端在计算时的功耗，Pi为移动端闲置时的功耗，Ptr为移动端在数据传送时的功耗；Cm为分配到移动端的算法复杂度，Cc为分配到云端的算法复杂度；f为移动端的每秒处理速度，S为每秒云端的计算速度，D是云端和移动端传输的数据的大小，B为带宽；
其中为第i块进行视点合成的负载，ft为当前设备的每秒处理速度；
D＝Dm+Dc，其中Dm和Dc分别为在移动端上和在云端进行视点合成时需要传输到移动端的数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611116368.XA CN106507132B (zh) | 2016-12-07 | 2016-12-07 | 一种基于移动端虚拟视点合成的云卸载方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611116368.XA CN106507132B (zh) | 2016-12-07 | 2016-12-07 | 一种基于移动端虚拟视点合成的云卸载方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106507132A CN106507132A (zh) | 2017-03-15 |
| CN106507132B true CN106507132B (zh) | 2019-03-08 |
Family
ID=58329749
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201611116368.XA Active CN106507132B (zh) | 2016-12-07 | 2016-12-07 | 一种基于移动端虚拟视点合成的云卸载方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106507132B (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102333230A (zh) * | 2011-09-21 | 2012-01-25 | 山东大学 | 一种提高三维视频系统中合成虚拟视图质量的方法 |
| CN105786610A (zh) * | 2016-04-07 | 2016-07-20 | 吉林大学 | 计算密集型任务向云服务器中卸载的方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10050847B2 (en) * | 2014-09-30 | 2018-08-14 | Keysight Technologies Singapore (Holdings) Pte Ltd | Selective scanning of network packet traffic using cloud-based virtual machine tool platforms |
-
2016
- 2016-12-07 CN CN201611116368.XA patent/CN106507132B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102333230A (zh) * | 2011-09-21 | 2012-01-25 | 山东大学 | 一种提高三维视频系统中合成虚拟视图质量的方法 |
| CN105786610A (zh) * | 2016-04-07 | 2016-07-20 | 吉林大学 | 计算密集型任务向云服务器中卸载的方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106507132A (zh) | 2017-03-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111918339B (zh) | 移动边缘网络中基于强化学习的ar任务卸载和资源分配方法 | |
| CN105096373B (zh) | 一种媒体内容渲染的方法、用户设备及系统 | |
| CN103379363B (zh) | 视频处理方法及装置、移动终端和系统 | |
| CN105263050A (zh) | 基于云平台的移动终端实时渲染系统及其方法 | |
| CN112765513A (zh) | 大规模建筑场景的细粒度化Web3D在线可视化方法 | |
| CN103021008A (zh) | 一种基于可编程gpu的骨骼动画处理方法 | |
| CN113613066B (zh) | 一种实时视频特效的渲染方法、系统、装置及存储介质 | |
| CN106055294A (zh) | 一种图层合成优化方法和装置 | |
| CN114356544A (zh) | 面向边缘集群的并行计算方法和系统 | |
| Huang et al. | Toward holographic video communications: A promising AI-driven solution | |
| CN112948043A (zh) | 大规模建筑场景的细粒度化Web3D在线可视化方法 | |
| CN103677930B (zh) | 基于拼墙系统的gis数据加载方法及装置 | |
| CN106507132B (zh) | 一种基于移动端虚拟视点合成的云卸载方法及系统 | |
| CN112989251B (zh) | 一种基于协同计算的移动Web增强现实3D模型数据服务方法 | |
| CN106331680B (zh) | 一种手机端2d转3d自适应云卸载方法和系统 | |
| CN107920252B (zh) | 一种全景视频数据处理方法、装置及系统 | |
| CN105763877B (zh) | 一种视频帧像素块的压缩方法和装置 | |
| CN117115326A (zh) | 三维场景模型的渲染方法、装置及分布式渲染服务器 | |
| CN109448092B (zh) | 一种基于动态任务粒度的负载均衡集群渲染方法 | |
| CN106803231B (zh) | 一种基于sort-first负载平衡的图形并行绘制方法 | |
| Aggrawal et al. | High throughput pipelined 2D Discrete cosine transform for video compression | |
| CN101645175B (zh) | 网络虚拟角色合成系统及方法 | |
| CN111770363B (zh) | 基于情景感知的低延迟高分辨率移动增强现实系统 | |
| CN104935830B (zh) | 拼接显示装置视频信息渲染、显示方法和系统 | |
| CN106791837A (zh) | 视频编码的前驱分析方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |