CN114928757B - 基于毫米波的360°vr视频数据传输方法、装置 - Google Patents
基于毫米波的360°vr视频数据传输方法、装置 Download PDFInfo
- Publication number
- CN114928757B CN114928757B CN202210855679.7A CN202210855679A CN114928757B CN 114928757 B CN114928757 B CN 114928757B CN 202210855679 A CN202210855679 A CN 202210855679A CN 114928757 B CN114928757 B CN 114928757B
- Authority
- CN
- China
- Prior art keywords
- transmission
- transmitted
- video
- video data
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000005540 biological transmission Effects 0.000 title claims abstract description 319
- 238000000034 method Methods 0.000 title claims abstract description 66
- 230000008569 process Effects 0.000 claims description 9
- 230000004044 response Effects 0.000 claims description 6
- 238000004891 communication Methods 0.000 abstract description 7
- 230000006870 function Effects 0.000 description 33
- 238000004590 computer program Methods 0.000 description 18
- 238000005265 energy consumption Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 13
- 230000015654 memory Effects 0.000 description 10
- 230000001934 delay Effects 0.000 description 4
- 238000005315 distribution function Methods 0.000 description 4
- 238000010276 construction Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000010521 absorption reaction Methods 0.000 description 2
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000005562 fading Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 229910052760 oxygen Inorganic materials 0.000 description 2
- 239000001301 oxygen Substances 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000011217 control strategy Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
- H04N21/2385—Channel allocation; Bandwidth allocation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B17/00—Monitoring; Testing
- H04B17/30—Monitoring; Testing of propagation channels
- H04B17/309—Measuring or estimating channel quality parameters
- H04B17/364—Delay profiles
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W52/00—Power management, e.g. TPC [Transmission Power Control], power saving or power classes
- H04W52/04—TPC
- H04W52/18—TPC being performed according to specific parameters
- H04W52/24—TPC being performed according to specific parameters using SIR [Signal to Interference Ratio] or other wireless path parameters
- H04W52/241—TPC being performed according to specific parameters using SIR [Signal to Interference Ratio] or other wireless path parameters taking into account channel quality metrics, e.g. SIR, SNR, CIR, Eb/lo
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W72/00—Local resource management
- H04W72/04—Wireless resource allocation
- H04W72/044—Wireless resource allocation based on the type of the allocated resource
- H04W72/0446—Resources in time domain, e.g. slots or frames
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- Multimedia (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本发明提供了一种基于毫米波的360°VR视频数据传输方法、装置,可以应用于无线通信技术领域。该方法包括:响应于来自客户端的视频请求,从视频源获取待传输视频数据,待传输视频数据中包括传输质量级别相同的多个视频帧数据;从毫米波基站获取毫米波信道状态信息和时延状态信息;根据预设统计时延阈值和预设统计时延违反概率阈值,确定传输待传输视频数据所需的有效容量信息;根据有效容量信息和毫米波信道状态信息,生成目标传输策略,目标传输策略包括待传输视频数据的传输时隙分配策略和发射功率分配策略;以及根据传输时隙分配策略和发射功率分配策略,通过毫米波基站向客户端发送待传输视频数据。
Description
技术领域
本发明涉及无线通信技术领域,具体涉及一种基于毫米波的360°VR视频数据传输方法、装置、电子设备和可读存储介质。
背景技术
全景虚拟现实视频使得用户可以在虚拟现实世界体验到最真实的感受,其模拟环境的真实性与现实世界难辨真假,让人有种身临其境的感觉,真正实现了人机交互。
对于全景虚拟现实视频,其本身的数据量特别大。在通过无线传输装置向客户端传输数据时,即,在传输全景虚拟现实视频数据过程中必须满足超低的延时、超大的带宽、稳定地传输,从而使得用户具有更好的体验感。但是,当多个用户同时在同一个全景虚拟现实视频中体验时,在传输数据的过程中满足具有相同视场内容的多个视频帧之间的超低延时、超大的带宽、稳定地传输更加的困难,尤其是通过无线传输。
现有技术中,大多数的全景虚拟现实视频传输设备都是通过有线的方式向用户端传输数据。然而,在用户体验全景虚拟现实视频时,有线设备会影响到客户的体验感,例如,当用户大范围的移动时,数据传输线会挡住用户的行走路线;当用户转动时,数据传输线由于被用户拉扯可能会使得视频设备掉落或者缠绕在用户身上等等。
与此同时,现有的无线传输设备都是用微波等方式对全景虚拟现实视频进行传输,还没有利用毫米波为介质的方式对全景虚拟现实视频进行传输,主要是由于毫米波自身的路径损耗和高吸氧性,导致毫米波信道的空口信道波动更加剧烈,使得毫米波在传输全景虚拟现实视频时具有不稳定的因素,不能够实现同步传输数据。
综上,利用毫米波传输全景虚拟现实视频是毫米波应用的技术空白。在用毫米波传输全景虚拟现实视频时,如何避免能耗过大的问题也亟待解决。在利用毫米波同步传输全景虚拟现实视频至多个用户时,不仅在传输过程中需要保证超低的延时、巨量的带宽资源、最优的能耗以及稳定的传输,而且还要保证用户的体验感。
发明内容
鉴于上述问题,本发明提供了一种基于毫米波的360°VR视频数据传输方法、装置、电子设备、可读存储介质。
本发明的一个方面,提供了一种基于毫米波的360°VR视频数据传输方法,包括:
响应于来自客户端的视频请求,从视频源获取待传输视频数据,待传输视频数据中包括传输质量级别相同的多个视频帧数据;
从毫米波基站获取毫米波信道状态信息和时延状态信息,其中,时延状态信息包括预设统计时延阈值和预设统计时延违反概率阈值;
根据预设统计时延阈值和预设统计时延违反概率阈值,确定传输待传输视频数据所需的有效容量信息;
根据有效容量信息和毫米波信道状态信息,生成目标传输策略,目标传输策略包括待传输视频数据的传输时隙分配策略和发射功率分配策略;以及
根据传输时隙分配策略和发射功率分配策略,通过毫米波基站向客户端发送待传输视频数据。
根据本发明的实施例,根据预设统计时延阈值和预设统计时延违反概率阈值,确定传输待传输视频数据所需的有效容量信息,包括:
根据预设统计时延阈值和预设统计时延违反概率阈值,确定传输待传输视频数据所需的最小服务质量指数;
根据最小服务质量指数,确定传输待传输视频数据所需的有效容量信息。
根据本发明的实施例,根据预设统计时延阈值和预设统计时延违反概率阈值,确定传输待传输视频数据所需的最小服务质量指数,包括:
根据预设统计时延阈值和预设统计时延违反概率阈值,确定传输待传输视频数据所需的有效带宽;
根据有效带宽和统计时延约束条件,确定传输待传输视频数据所需的最小服务质量指数,其中,统计时延约束条件是根据预设统计时延阈值和预设统计时延违反概率阈值确定的。
根据本发明的实施例,根据有效容量信息和毫米波信道状态信息,生成目标传输策略,目标传输策略包括待传输视频数据的传输时隙分配策略和发射功率分配策略,包括:
根据有效容量信息对应的参数和毫米波信道状态信息对应的参数,构建第一目标函数;
根据预设变量,将第一目标函数进行变量替换,得到第二目标函数;
通过计算第二目标函数的最优解,得到待传输视频数据的目标时隙分配结果和发射功率分配结果;
根据目标时隙分配结果和发射功率分配结果,生成目标传输策略。
根据本发明的实施例,根据目标时隙分配结果和发射功率分配结果,生成目标传输策略,包括:
根据目标时隙分配结果,确定待传输视频数据的目标传输时间区间;
根据发射功率分配结果,确定待传输视频数据的目标发射功率比例;
根据目标发射功率比例,确定待传输视频数据的目标发射功率;
根据目标传输时间区间和目标发射功率,生成目标传输策略。
根据本发明的实施例,响应于来自客户端的视频请求,从视频源获取待传输视频数据,待传输视频数据中包括传输质量级别相同的多个视频帧数据,包括:
响应于来自客户端的视频请求,从视频源获取第一待传输视频数据和第二待传输视频数据,其中,第一待传输视频数据中包括M个视频帧数据,第二待传输视频数据中包括N个视频帧数据,第一待传输视频数据和第二待传输视频数据的传输质量级别相同;
对比M个视频帧数据和N个视频帧数据,得到K个相同的视频帧数据;
在第一待传输视频数据中,标记K个相同的视频帧数据的传输模式为第一传输模式,并标记M-K个视频帧数据的传输模式为第二传输模式;
在第二待传输视频数据中,标记K个相同的视频帧数据的传输模式为第一传输模式,并标记N-K个视频帧数据的传输模式为第二传输模式,其中,M、N、K均为正整数,K小于M,且K小于N。
根据本发明的实施例,根据传输时隙分配策略和发射功率分配策略,通过毫米波基站向客户端发送待传输视频数据,包括:
根据传输时隙分配策略和发射功率分配策略,按照第一传输模式向客户端发送K个相同的视频帧数据;
按照第二传输模式向客户端发送M-K个视频帧数据和N-K个视频帧数据。
本发明的另一方面提供了一种基于毫米波的360°VR视频数据传输装置,包括:第一获取模块、确定模块、第二获取模块、生成模块和发送模块。其中,第一获取模块,用于响应于来自客户端的视频请求,从视频源获取待传输视频数据,待传输视频数据中包括传输质量级别相同的多个视频帧数据。第二获取模块,用于从毫米波基站获取毫米波信道状态信息和时延状态信息,其中,时延状态信息包括预设统计时延阈值和预设统计时延违反概率阈值。确定模块,用于根据预设统计时延阈值和预设统计时延违反概率阈值,确定传输待传输视频数据所需的有效容量信息。生成模块,用于根据有效容量信息和毫米波信道状态信息,生成目标传输策略,目标传输策略包括待传输视频数据的传输时隙分配策略和发射功率分配策略。发送模块,用于根据传输时隙分配策略和发射功率分配策略,通过毫米波设备向客户端发送待传输视频数据。
根据本发明的实施例,确定模块包括第一确定单元和第二确定单元。其中,第一确定单元,用于根据预设统计时延阈值和预设统计时延违反概率阈值,确定传输待传输视频数据所需的最小服务质量指数。第二确定单元,用于根据最小服务质量指数,确定传输待传输视频数据所需的有效容量信息。
根据本发明的实施例,第一确定单元包括第一确定子单元和第二确定子单元。其中,第一确定子单元,用于根据预设统计时延阈值和预设统计时延违反概率阈值,确定传输待传输视频数据所需的有效带宽。第二确定子单元,用于根据有效带宽和统计时延约束条件,确定传输待传输视频数据所需的最小服务质量指数,其中,统计时延约束条件是根据预设统计时延阈值和预设统计时延违反概率阈值确定的。
根据本发明的实施例,生成模块包括构建单元、替换单元、计算单元和生成单元。其中,构建单元,用于根据有效容量信息对应的参数和毫米波信道状态信息对应的参数,构建第一目标函数。替换单元,用于根据预设变量,将第一目标函数进行变量替换,得到第二目标函数。计算单元,用于通过计算第二目标函数的最优解,得到待传输视频数据的目标时隙分配结果和发射功率分配结果。生成单元,用于根据目标时隙分配结果和发射功率分配结果,生成目标传输策略。
根据本发明的实施例,第一获取模块包括获取单元、对比单元、第一标记单元和第二标记单元。其中,获取单元,用于响应于来自客户端的视频请求,从视频源获取第一待传输视频数据和第二待传输视频数据,其中,第一待传输视频数据中包括M个视频帧数据,第二待传输视频数据中包括N个视频帧数据,第一待传输视频数据和第二待传输视频数据的传输质量级别相同。对比单元,用于对比M个视频帧数据和N个视频帧数据,得到K个相同的视频帧数据。第一标记单元,用于在第一待传输视频数据中,标记K个相同的视频帧数据的传输模式为第一传输模式,并标记M-K个视频帧数据的传输模式为第二传输模式。第二标记单元,用于在第二待传输视频数据中,标记K个相同的视频帧数据的传输模式为第一传输模式,并标记N-K个视频帧数据的传输模式为第二传输模式,其中,M、N、K均为正整数,K小于M,且K小于N。
根据本发明的实施例,发送模块包括第一发送单元和第二发送单元。其中,第一发送单元,用于根据传输时隙分配策略和发射功率分配策略,按照第一传输模式向客户端发送K个相同的视频帧数据。第二发送单元,用于按照第二传输模式向客户端发送M-K个视频帧数据和N-K个视频帧数据。
本发明的另一方面提供了一种电子设备,包括:一个或多个处理器;存储器,用于存储一个或多个程序,其中,当所述一个或多个程序被所述一个或多个处理器执行时,使得一个或多个处理器执行上述基于毫米波的360°VR视频数据传输方法。
本发明的另一方面还提供了一种计算机可读存储介质,其上存储有可执行指令,该指令被处理器执行时使处理器执行上述基于毫米波的360°VR视频数据传输方法。
本发明的另一方面还提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述基于毫米波的360°VR视频数据传输方法。
根据本发明的实施例,通过采用从毫米波基站获取毫米波信道状态信息和时延状态信息,根据预设统计时延阈值和预设统计时延违反概率阈值,确定传输待传输视频数据所需的有效容量信息,并结合有效容量信息和毫米波信道状态信息生成待传输数据的传输时隙分配策略和发射功率分配策略,并按照待传输数据的传输时隙分配策略和发射功率分配策略通过毫米波基站向客户端发送待传输视频数据。由于待传输视频数据的传输时隙和发射功率是在统计时延约束条件下得到的,保证了基于毫米波的360°VR视频数据的传输质量的同时,以最优的传输时隙的发射功率进行传输,节约了带宽资源,降低了传输能耗。
附图说明
图1示意性示出了根据本发明实施例的基于毫米波的360°VR视频数据传输方法的应用场景图;
图2示意性示出了根据本发明实施例的基于毫米波的360°VR视频数据传输方法的流程图;
图3示意性示出了根据本发明实施例的确定传输待传输视频数据所需的有效容量信息的方法流程图;
图4示意性示出了根据本发明实施例的生成目标传输策略的方法流程图;
图5示意性示出了根据本发明实施例的获取待传输视频数据的方法流程图;
图6示意性示出了根据本发明实施例的投影不同质量级别且具有相同视频内容的视频帧数据的投影示意图;
图7示意性示出了根据本发明实施例的确定质量级别相同且具有相同视频内容的视频帧数据的示例示意图;
图8示意性示出了根据本发明实施例的基于毫米波的360°VR视频数据传输方法的示例性架构图;
图9示意性示出了根据本发明实施例的基于毫米波的360°VR视频数据传输装置的结构框图;以及
图10示意性示出了根据本发明实施例的适于实现基于毫米波的360°VR视频数据传输方法的电子设备的方框图。
具体实施方式
以下,将参照附图来描述本发明的实施例。但是应该理解,这些描述只是示例性的,而并非要限制本发明的范围。在下面的详细描述中,为便于解释,阐述了许多具体的细节以提供对本发明实施例的全面理解。然而,明显地,一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外,在以下说明中,省略了对公知结构和技术的描述,以避免不必要地混淆本发明的概念。
在此使用的术语仅仅是为了描述具体实施例,而并非意在限制本发明。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在,但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义,除非另外定义。应注意,这里使用的术语应解释为具有与本说明书的上下文相一致的含义,而不应以理想化或过于刻板的方式来解释。
在使用类似于“A、B和C等中至少一个”这样的表述的情况下,一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如,“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。
在传统的视频帧数据的传输方式中,一般规定同步传输多个视频帧数据的时延在确定性时延以内,以保证多个用户之间的实时性和交互性,从而避免某个用户相对于其他用户出现卡顿的现象,但是,为了保证每个用户的时延,则用户是否能接收到较高质量级别视频就不能保证。即,为了满足多个用户之间的实时性和交互性,必须要求多个用户的时延都在一定的时间内,如果个别用户的时延太长,只能对个别用户提供较短时延对应的质量级别视频。该质量级别视频不是用户请求的质量级别视频,从而影响用户的体验。例如,用户请求的是高质量级别视频,但是,为了保证多个用户之间的时延,只能传输低质量级别视频,则低质量级别视频会影响用户的体验。
需要注意的是,相对于较低质量级别的视频,较高质量级别的视频对应的数据量相对较大,则传输较高质量级别的视频的时延相对较长。可以理解为,针对具有相同视频内容的视频帧,传输质量级别越高的视频帧,则传输的时延越长。
由于毫米波具有巨量的带宽资源,传输较高质量级别视频的延时相对现有的传输方式的时延更短,既能保证用户能够体验较高质量级别视频,又能保证多个用户之间的时延。但是,由于毫米波自身的路径损耗和高吸氧性,导致毫米波信道的空口信道波动更加剧烈,使得利用毫米波传输全景虚拟现实视频时会出现波动。也就是说,由于毫米波信道具有波动性,会导致同步传输多个视频帧数据的时延出现波动,即,总会存在少量的时延(传输视频帧数据的时延)远远长于其余的时延,其中,该少量的时延偶尔会影响用户的体验。例如,为了同时满足多个用户之间的时延和用户请求的质量级别视频,通过预测具有相同视频内容的多个视频帧数据各自的时延,得到多个视频帧数据各自对应的预测时延,并与预设时延对比,可以得到超时视频帧数目与所有视频帧数目的比例。其中,预设统计时延是根据多个用户之间的实时性和交互性、人眼识别极限的时延以及毫米波设备的性能参数等等因素确定的。需要注意的是,人眼识别极限的时延可以理解为:由于人眼视觉的时间敏感度和分辨率是有一定限度的,如果帧数之间的延时过大,则人眼视觉会出现卡顿现象。根据人眼识别极限,设定确定性时延,帧数之间的延时小于确定性时延,则避免人眼视觉会出现卡顿现象。
有鉴于此,本发明的实施例提供了一种基于毫米波的360°VR视频数据传输方法,包括:响应于来自客户端的视频请求,从视频源获取待传输视频数据,待传输视频数据中包括传输质量级别相同的多个视频帧数据;从毫米波基站获取毫米波信道状态信息和时延状态信息,其中,时延状态信息包括预设统计时延阈值和预设统计时延违反概率阈值;根据预设统计时延阈值和预设统计时延违反概率阈值,确定传输待传输视频数据所需的有效容量信息;根据有效容量信息和毫米波信道状态信息,生成目标传输策略,目标传输策略包括待传输视频数据的传输时隙分配策略和发射功率分配策略;以及根据传输时隙分配策略和发射功率分配策略,通过毫米波基站向客户端发送待传输视频数据。
图1示意性示出了根据本发明实施例的基于毫米波的360°VR视频数据传输方法的应用场景图。
如图1所示,该实施例的应用场景100可以包括终端设备101、102、103、毫米波基站服务器104、360°VR视频服务器105。毫米波基站服务器104与360°VR视频服务器105、用户佩戴的终端设备101、102、103通过毫米波进行数据传输。需要注意的是,图1所示仅为可以应用本发明实施例的应用场景的示例,以帮助本领域技术人员理解本发明的技术内容,但并不意味着本发明实施例不可以用于其他设备、系统、环境或场景。
用户(VRP1,VRP2,...,VRPN)可以使用终端设备101、102、103与毫米波基站服务器104进行交互,以接收视频帧数据或发送视频请求。
终端设备101、102、103可以是具有显示屏并且支持用户体验全景虚拟现实视频的各种电子设备,包括但不限于VR眼镜、VR头盔等等。
毫米波基站服务器104可以是提供各种服务的服务器,例如对用户利用终端设备101、102、103所观看的视频提供支持的后台管理服务器。后台管理服务器可以对接收到的用户请求等数据进行分析等处理,并将处理结果(例如根据用户请求获取或生成的视频、信息、或数据等)反馈给终端设备。
需要说明的是,本发明实施例所提供的基于毫米波的360°VR视频数据传输方法一般可以由毫米波基站服务器104执行。相应地,本发明实施例所提供的毫米波基站服务器执行的数据传输装置一般可以设置于毫米波基站服务器104中。本发明实施例所提供的基于毫米波的360°VR视频数据传输方法也可以由不同于毫米波基站服务器104且能够与终端设备101、102、103和/或毫米波基站服务器104通信的服务器或服务器集群执行。相应地,本发明实施例所提供的基于毫米波的360°VR视频数据传输装置也可以设置于不同于毫米波基站服务器104且能够与终端设备101、102、103和/或毫米波基站服务器104通信的服务器或服务器集群中。
应该理解,图1中的终端设备、毫米波基站设备、360°VR视频服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、毫米波基站设备、360°VR视频服务器。
以下将基于图1描述的场景,通过图2~图8对本发明实施例的基于毫米波的360°VR视频数据传输方法进行详细描述。
图2示意性示出了根据本发明实施例的基于毫米波的360°VR视频数据传输方法的流程图。
如图2所示,该实施例的基于毫米波的360°VR视频数据传输方法包括操作S210~S250。
在操作S210,响应于来自客户端的视频请求,从视频源获取待传输视频数据,待传输视频数据中包括传输质量级别相同的多个视频帧数据。
根据本发明的实施例,响应于来自客户端的视频请求,从视频源获取的视频帧数据可以包括多个传输质量级别,例如:传输质量级别为q1的多个视频帧数据,传输质量级别为q2的多个视频帧数据。可以将传输质量级别相同的多个视频帧数据作为待传输视频数据。例如:将传输质量级别为q1的多个视频帧数据作为待传输视频数据A,将传输质量级别为q2的多个视频帧数据作为待传输视频数据B。
在操作S220,从毫米波基站获取毫米波信道状态信息和时延状态信息,其中,时延状态信息包括预设统计时延阈值和预设统计时延违反概率阈值。
根据本发明的实施例,毫米波信道状态信息可以包括毫米波信道的信噪比、用户与毫米波基站之间的距离、毫米波信道的带宽资源、毫米波信道的信道容量等等。时延状态信息可以包括预设统计时延阈值、预设统计时延违反概率阈值。由于在实际应用中,在一段时间区间内,视频数据的传输时延在一定范围内波动,统计时延阈值一般是根据该时延波动范围确定的,预设统计时延阈值可以根据视频传输的实际应用需求设定。预设统计时延违反概率阈值表示在实际视频数据传输过程中,实际发生的时延超过预设统计时延的概率。
在操作S230,根据预设统计时延阈值和预设统计时延违反概率阈值,确定传输待传输视频数据所需的有效容量信息。
根据本发明的实施例,为了保持不同的视频帧数据能够同步传输,那么待传输视频数据在实际传输过程中,实际发生的时延超过预设统计时延的概率必须不能超过统计时延违反概率阈值,如式(1)所示:
根据本发明的实施例,根据随机网络演算理论中有效带宽和有效容量的概念,可以推导出质量级别为q的待传输视频数据的统计时延约束条件如式(2)、(3)所示:
根据本发明的实施例,对于具有特定传输质量的待传输数据,可以等效为一个动态排队系统,为了能够达到统计时延约束条件,具有特定传输质量的待传输数据的有效容量和有效带宽需要匹配。可以得出待传输视频数据所需要的最低有效容量。
在操作S240,根据有效容量信息和毫米波信道状态信息,生成目标传输策略,目标传输策略包括待传输视频数据的传输时隙分配策略和发射功率分配策略。
根据本发明的实施例,有效容量信息表征传输质量级别为q的待传输数据所需要的最低有效容量,由于毫米波信道所提供的服务过程为平稳且各态历经的,并且在不同的时间帧之间独立同分布,因此,可以根据有效容量和毫米波信道状态信息,生成能够满足传输质量级别的要求,且能耗最少的待传输视频数据的传输时隙分配策略和发射功率分配策略。其中,传输时隙分配策略表示为待传输视频数据分配的传输时间区间。发射功率分配策略表示为待传输视频数据分配的发射功率。
在操作S250,根据传输时隙分配策略和发射功率分配策略,通过毫米波基站向客户端发送待传输视频数据。
根据本发明的实施例,可以按照传输时隙分配策略对应的待传输视频数据分配的传输时间区间、发射功率分配策略对应的待传输视频数据分配的发射功率,通过毫米波基站向客户端发送待传输视频数据。
根据本发明的实施例,通过采用从毫米波基站获取毫米波信道状态信息和时延状态信息,根据预设统计时延阈值和预设统计时延违反概率阈值,确定传输待传输视频数据所需的有效容量信息,并结合有效容量信息和毫米波信道状态信息生成待传输数据的传输时隙分配策略和发射功率分配策略,并按照待传输数据的传输时隙分配策略和发射功率分配策略通过毫米波基站向客户端发送待传输视频数据。由于待传输视频数据的传输时隙和发射功率是在统计时延约束条件下得到的,保证了基于毫米波的360°VR视频数据的传输质量的同时,以最优的传输时隙的发射功率进行传输,节约了带宽资源,降低了传输能耗。
图3示意性示出了根据本发明实施例的确定传输待传输视频数据所需的有效容量信息的方法流程图。
如图3所示,该实施例的确定传输待传输视频数据所需的有效容量信息的方法包括S310~S320。
在操作S310,根据预设统计时延阈值和预设统计时延违反概率阈值,确定传输待传输视频数据所需的最小服务质量指数。
根据本发明的实施例,可以根据预设统计时延阈值和预设统计时延违反概率阈值,确定传输待传输视频数据所需的有效带宽;在根据有效带宽和统计时延约束条件,确定传输待传输视频数据所需的最小服务质量指数,其中,统计时延约束条件是根据预设统计时延阈值和预设统计时延违反概率阈值确定的。
在操作S320,根据最小服务质量指数,确定传输待传输视频数据所需的有效容量信息。
根据本发明的实施例,为了能够达到统计时延约束条件,具有特定传输质量的待传输数据的有效容量和有效带宽需要匹配,可以根据公式(1)、(2)、(4)推导出满足待传输数据传输质量要求所需的最小服务质量指数:
根据本发明的实施例,由于有效容量和有效带宽需要匹配,传输待传输数据所需的最低有效容量可以等于最小服务质量指数对应的有效带宽。对于实际的毫米波信道,为待传输数据提供服务过程的有效容量需要满足以下条件:
根据本发明的实施例,根据预设统计时延阈值和预设统计时延违反概率阈值,确定满足最小服务质量指数对应的有效带宽,从而得到满足最小服务质量指数的服务过程对应的有效容量,利用随机网络演算理论分析毫米波信道衰落特征,填补了利用随机网络演算为基于毫米波的视频传输提供传输质量保障的技术空白。
图4示意性示出了根据本发明实施例的生成目标传输策略的方法流程图。
如图4所示,该实施例的生成目标传输策略的方法包括操作S410~S440。
在操作S410,根据有效容量信息对应的参数和毫米波信道状态信息对应的参数,构建第一目标函数。
根据本发明的实施例,利用香农公式,毫米波信道所能提供的瞬时服务速率可以表示为:
其中,表示毫米波信道所能提供的瞬时服务速率,表示待传输视频数
据集合中第M个待传输视频数据所分配的时间区间(时隙);B表示毫米波信道的带宽资源;l
表示客户端与毫米波基站之间的距离;α表示客户端与毫米波基站之间的路径损耗因子;表示待传输视频数据集合中第M个待传输视频数据所分配的发射功率比例;表
示毫米波信道的信噪比。
根据本发明的实施例,将公式(9)代入公式(8)可以得到:
其中,表示传输质量级别为q的待传输视频数据M对应的有效容量,表示毫米波信道所能提供的瞬时服务速率,表示待传输视频数据集合中第M个
待传输视频数据所分配的时间区间(时隙);B表示毫米波信道的带宽资源;l表示客户端与
毫米波基站之间的距离;α表示客户端与毫米波基站之间的路径损耗因子;表
示待传输视频数据集合中第M个待传输视频数据所分配的发射功率比例;表示毫米波信
道的信噪比;表示毫米波信道的信噪比的期望。
根据本发明的实施例,在利用毫米波信道传输待传输视频数据时,由于毫米波信道为独立同分布的块衰落信道,并且在每个时间帧T内毫米波信道状态保持不变,可以采用式(11)表示毫米波信道的信噪比的概率密度分布函数:
其中,表示毫米波信道的信噪比的概率密度分布函数;表示第k个
时间帧内的毫米波信道信噪比;表示第k个时间帧内的毫米波信道信噪比的均值;表示参数为M的Gamma函数;M表示待传输数据集合中第M个待传输数据,即本发明实
施例中包括具有相同传输质量级别的多个视频帧数据的待传输数据。
根据本发明的实施例,对于传输质量级别为q的待传输视频数据,待传输视频数据所分配的发射功率可以如式(12)所示:
根据本发明的实施例,结合式(11)和式(12)可以得到发射功率策略的约束条件,如式(13)所示:
根据本发明的实施例,第一目标函数可以如式(14)表示:
其中,P1表示第一优化问题函数;表示传输质量
级别为q的待传输视频数据M传输的平均能量消耗;s.t表示约束条件;表示传输
质量级别为q的待传输视频数据M对应的有效容量;表示传输质量级别为q的待传输视
频数据M所需的最低有效容量;表示待传输视频数据集合中第M个待传输视频数据所
分配的时间区间(时隙);H表示待传输视频数据集合;T表示传输待传输视频数据集合H所分
配的总时间区间;表示发射功率分配策略;表示毫米波信道的信噪
比的概率密度分布函数。
在操作S420,根据预设变量,将第一目标函数进行变量替换,得到第二目标函数。
其中,P2表示第二优化问题函数;表示传输质量级
别为q的待传输视频数据M传输的平均能量消耗;s.t表示约束条件; H表示待传输视频数据
集合;T表示传输待传输视频数据集合H所分配的总时间区间;表示发射功率
分配策略;表示最小服务质量指数;表示最优时隙分配对应的能量消耗。
在操作S430,通过计算第二目标函数的最优解,得到待传输视频数据的目标时隙分配结果和发射功率分配结果。
根据本发明的实施例,第二目标函数是一个典型的凸优化问题,通过求出最优解,
可以得到目标时隙分配结果和目标时隙分配结果对应的能量消耗,由于
等于目标时隙分配结果和目标发射功率的乘积,可以根据目标发射功率的乘积,得出目标
发射功率分配结果。
在操作S440,根据目标时隙分配结果和发射功率分配结果,生成目标传输策略。
根据本发明的实施例,可以根据目标时隙分配结果,确定待传输视频数据的目标传输时间区间。再根据发射功率分配结果,确定待传输视频数据的目标发射功率比例。再根据目标发射功率比例,确定待传输视频数据的目标发射功率。最后根据目标传输时间区间和目标发射功率,生成目标传输策略。
根据本发明的实施例,按照上述方法可以得到传输质量级别为q的待传输视频数据M的最优目标时隙分配结果和最优发射功率分配结果。同样,对于待传输视频数据集合H中的其他传输质量级别的待传输视频数据,也可以采用上述方法得到其他待传输视频数据对应的最优目标时隙分配结果和最优发射功率分配结果,从而生成整个待传输视频数据集合的目标传输策略,目标传输策略中包括不同质量级别的待传输视频数据对应的最优时隙分配结果和最优发射功率分配结果。
根据本发明的实施例,建立了具有统计时延质量保障的360°VR视频传输的最优联合时隙和功率控制策略,实现了在360°VR视频统计时延质量约束的场景下,360°VR视频传输的最优联合时隙分配和功率分配,节约了传输资源和功耗。
图5示意性示出了根据本发明实施例的获取待传输视频数据的方法流程图。
如图5所示,该实施例的获取待传输视频数据的方法包括操作S510~S540。
在操作S510,响应于来自客户端的视频请求,从视频源获取第一待传输视频数据和第二待传输视频数据,其中,第一待传输视频数据中包括M个视频帧数据,第二待传输视频数据中包括N个视频帧数据,第一待传输视频数据和第二待传输视频数据的传输质量级别相同。
根据本发明的实施例,来自客户端的视频请求,可以包括来自多个用户的视频请求,视频请求中可以包括用户的视场内容和视场内容对应的质量请求信息等等与用户相关的信息。视场内容是每个用户通过相应的VR设备所能看到的立体画面,该立体画面为全景虚拟现实立体画面的一部分。也就是说,视场内容只是视频帧内容的一部分。质量请求信息是用户根据自己的需求请求对应的质量级别视频。
根据本发明的实施例,待传输视频数据是一个视频帧的视频内容对应的数据,例如,对于多个用户同时请求一个视频帧时,由于每个用户请求的视场内容不同,则每个用户对应视场内容的视频帧数据也是不相同的。也就是说,一个待传输数据中可能存在多个视频帧数据。
根据本发明的实施例,例如:在多个用户同时请求全景虚拟现实VR视频流时,每个用户根据自身的需求,从而请求不同质量级别的全景虚拟现实VR视频流。为了便于利用数据冗余规避规则对所有用户对应的目标数据进行处理,先对多个用户进行划分,即,将多个用户具有相同质量级别的划分一个用户组,得到多个用户组。也就是说,所有用户请求了N个质量级别,则对应有N个用户组。其中,每个用户组中的用户数量可以是不同的。
根据本发明的实施例,例如:对于一个用户组,按照分组规则对该用户组中的所有用户进行分组,得到多个目标用户分组。也就是说,每个用户组可能具有多个目标用户分组。例如,两个用户站在一个水平面中心(以用户为中点的虚拟环境),第一用户能看到0°~90°的视场内容,第二用户能看到60°~150°的视场内容,则目标用户分组的所有情况:第一目标用户分组(第一用户)的视场内容为0°~90°、第二目标用户分组(第二用户)的视场内容为60°~150°、第三目标用户分组(第一用户和第二用户)的视场内容为0°~150°。
根据本发明的实施例,可以先根据用户的请求质量信息,对多个用户进行分组,再对具有相同质量用户组中的用户进行分组,以便于利用数据冗余规避规则处理用户对应的待传输数据。例如:先将多个用户中具有相同质量级别的用户划分为一个用户组,可以得到不同质量级别对应的用户组,即,第一质量级别用户组、第二质量级别用户组等等。则第一质量级别用户组中可以包括第一待传输数据和第二待传输数据。
在操作S520,对比M个视频帧数据和N个视频帧数据,得到K个相同的视频帧数据。
在操作S530,在第一待传输视频数据中,标记K个相同的视频帧数据的传输模式为第一传输模式,并标记M-K个视频帧数据的传输模式为第二传输模式。
根据本发明的实施例,第一传输模式可以为多播传输,第二传输模式可以为单播传输。
在操作S540,在第二待传输视频数据中,标记K个相同的视频帧数据的传输模式为第一传输模式,并标记N-K个视频帧数据的传输模式为第二传输模式,其中,M、N、K均为正整数,K小于M,且K小于N。
根据本发明的实施例,针对第一待传输视频数据和第二待传输视频数据的重复数据标记出来,可以以多播形式传输,将非重复数据也标记出来,可以以单播形式传输,从而避免待传输数据出现冗余数据。例如:多个用户同时在全景虚拟现实视频中体验时,多个用户对应的待传输数据可能会在一个具有相同视频内容的视频帧数据中。其中,多个用户之间的视场内容可能会出现重叠,即,多个用户各自的待传输数据可能存在相同的数据单元。当重叠视场内容被毫米波设备处理时,该重叠视场内容可能被多次数据化,造成了冗余数据。根据数据冗余规避规则,毫米波设备会避免对重叠视场内容进行多次的数据化,避免出现冗余数据。
根据本发明的实施例,例如:对于一个用户组中的所有用户,该用户组中只有一个用户,则确定该用户对应的待传输数据均标记为单播传输形式。该用户组中有至少两个用户,判断所有用户对应的视场内容是否有重叠,所有用户对应的视场内容均没有重叠,即,所有用户对应的待传输数据中没有重复数据,则多个用户各自的待传输数据均以单播形式传输;所有用户中至少有两个用户对应的视场内容有重叠且视场内容完全重叠,则无论多少个用户对应着该完全重叠的视场内容,这些用户只需要一个对应于重叠视场内容的待传输数据,则该待传输数据和其余用户各自的待传输数据集合均以多播形式传输;所有用户中至少有两个用户对应的视场内容有重叠且视场内容不完全重叠,即,针对与多个用户对应的多个待传输数据中彼此不同的至少两个待传输数据。例如,在一个用户组中的用户,将在一个用户对应的视场内容中对该用户单独对应的视场内容和该用户与其他用户分别共有的视场内容进行划分,得到该用户单独对应的视场内容和该用户与其他用户分别共有的视场内容。其中,单独对应的视场内容对应着待传输数据以单播传输,与其他用户共有的视场内容对应着待传输数据以多播传输。需要注意的是,该用户以单播传输的待传输数据只有一个且唯一;与此同时,该用户与其他用户的以多播传输的待传输数据可以是多个,比如,该用户与第一用户共有的是第一多播传输的数据,该用户与第二用户共有的是第二多播传输的数据,第一多播传输的数据和第二多播传输的数据分别对应不同的重叠视场内容。
根据本发明的实施例,利用数据冗余规避规则不仅能够避免毫米波设备处理后的数据出现冗余的数据,而且为后续的传输节省了能耗。
图6示意性示出了根据本发明实施例的投影不同质量级别且具有相同视频内容的视频帧数据的投影示意图。
如图6所示,在多个用户同一时刻向全景虚拟现实VR视频流请求时,毫米波基站服务器可以先对全景虚拟现实VR视频流进行预处理:利用上述的投影矩阵将不同质量级别Q的且具有相同视频内容的视频帧数据分别对应投射到不同的二维平面上,每一个二维平面对应着一个质量级别q的视频帧数据。其中,对每一个视频帧数据,可能多个用户同时进行请求,即,待传输数据可能存在多个视频帧数据。
需要注意的是,如图7所示,立体球形表示具有相同视频内容的视频帧;三维坐标表示不同质量级别Q的多个二维平面Vx×Vy,其中,质量级别Q={q1,q2……qn},二维平面中的图块代表的是视频帧数据中的数据单元。
图7示意性示出了根据本发明实施例的确定质量级别相同且具有相同视频内容的视频帧数据的示例示意图。
如图7所示,在同一时刻,三个用户对一个具有相同质量q1的视频帧请求,其中,虚线表示用户1,实线表示用户2,点划线表示用户3。具体示例如下:
待传输视频数据:Vx×Vy=6×4;
用户N:N={1,2,3};
用户对应的待传输视频Fn:F1={(1,2),(1,3),(2,2),(2,3)};
F2={(2,3),(2,4),(3,3),(3,4)};
F3={(3,2),(3,3),(4,2),(4,3)};
(F的小标号(1,2,3)代表用户1,用户2,用户3)
目标用户分组M:M1= {1},M2= {2},M3= {3},M4= {1,2},M5= {1,3},M6= {2,3},M7={1,2,3};
(M的小标号(1,2……7)代表第一目标用户分组,第二目标用户分组,……,第七目标用户分组)
目标用户分组对应的数据FM:
FM={1}={(1,2),(1,3),(2,2),(2,3)};
FM={2}={(2,3),(2,4),(3,3),(3,4)};
FM={3}={(3,2),(3,3),(4,2),(4,3)};
FM={1,2}={(1,2),(1,3),(2,2),(2,3),(2,4),(3,3),(3,4)};
FM={1,3}={(1,2),(1,3),(2,2),(2,3),(3,2),(3,3),(4,2),(4,3)};
FM={2,3}={(2,3),(2,4),(3,2),(3,3),(3,4),(4,2),(4,3)};
FM={1,2,3}={(1,2),(1,3),(2,2),(2,3),(2,4),(3,2),(3,3),(3,4),(4,2),(4,3)};
根据公式(17)可得到标记为单播传输的视频帧数据或标记为多播传输的视频帧数据RM:
RM={1}={(1,2),(1,3),(2,2)}; (17-2)
RM={2}={(2,4),(3,4)}; (17-3)
RM={3}={(3,2),(4,2),(4,3)}; (17-4)
RM={1,2}={(2,3)}; (17-5)
RM={1,3}= ∅; (17-6)
RM={2;3}={(3,3)}; (17-7)
RM={1,2,3}= ∅; (17-8)
根据公式(18),去除标记为单播传输的视频帧数据或标记为多播传输的视频帧数据为空集的情况,并得到集合R:R={ RM={1},RM={2},RM={3},RM={1,2},RM={2,2}};
根据公式(19)可得到集合R所对应的目标用户分组集合H:H={M1={1},M2={2},M3={3},M4={1,2},M6={2,3}};
根据本发明的实施例,可以举例说明通过公式(17)得到RM={1}={(1,2),(1,3),(2,2)}的详细过程:
RM={1}={(1,2),(1,3),(2,2)}。 (20-3)
根据本发明的实施例,可以举例说明通过公式(17)得到RM={1,2}={(2,3)}的详细过程:
RM={1,2}={(2,3)}。 (21-3)
图8示意性示出了根据本发明实施例的基于毫米波的360°VR视频数据传输方法的示例性架构图。
如图8所示,该示例性架构800包括视频源和毫米波基站服务器。毫米波基站服务器可以根据来自客户端的视频请求,从视频源获取传输质量级别不同的待传输数据,待传输数据在发射端的缓冲区按照上述数据冗余规避规则分别进行单播传输、多播传输的标记,然后根据时延状态信息和毫米波信道状态信息确定的最优时隙分配策略和最优发射功率分配策略,将待传输数据按照最优时隙分配策略和最优发射功率分配策略对应的目标传输时隙和目标发射功率以标记的传输模式,向客户端发送。
基于上述基于毫米波的360°VR视频数据传输方法,本发明还提供了一种基于毫米波的360°VR视频数据传输装置。以下将结合图9对该装置进行详细描述。
图9示意性示出了根据本发明实施例的基于毫米波的360°VR视频数据传输装置的结构框图。
如图9所示,该实施例的基于毫米波的360°VR视频数据传输装置包括第一获取模块910、第二获取模块920、确定模块930、生成模块940、发送模块950。
第一获取模块910,用于响应于来自客户端的视频请求,从视频源获取待传输视频数据,待传输视频数据中包括传输质量级别相同的多个视频帧数据。在一实施例中,第一获取模块910用于执行操作S210。
第二获取模块920,用于从毫米波基站获取毫米波信道状态信息和时延状态信息,其中,时延状态信息包括预设统计时延阈值和预设统计时延违反概率阈值。在一实施例中,第二获取模块920用于执行操作S220。
确定模块930,用于根据预设统计时延阈值和预设统计时延违反概率阈值,确定传输待传输视频数据所需的有效容量信息。在一实施例中,确定模块930用于执行操作S230。
生成模块940,用于根据有效容量信息和毫米波信道状态信息,生成目标传输策略,目标传输策略包括待传输视频数据的传输时隙分配策略和发射功率分配策略。在一实施例中,生成模块940用于执行操作S240。
发送模块950,用于根据传输时隙分配策略和发射功率分配策略,通过毫米波设备向客户端发送待传输视频数据。在一实施例中,发送模块950用于执行操作S250。
根据本发明的实施例,确定模块包括第一确定单元和第二确定单元。其中,第一确定单元,用于根据预设统计时延阈值和预设统计时延违反概率阈值,确定传输待传输视频数据所需的最小服务质量指数。第二确定单元,用于根据最小服务质量指数,确定传输待传输视频数据所需的有效容量信息。
根据本发明的实施例,第一确定单元包括第一确定子单元和第二确定子单元。其中,第一确定子单元,用于根据预设统计时延阈值和预设统计时延违反概率阈值,确定传输待传输视频数据所需的有效带宽。第二确定子单元,用于根据有效带宽和统计时延约束条件,确定传输待传输视频数据所需的最小服务质量指数,其中,统计时延约束条件是根据预设统计时延阈值和预设统计时延违反概率阈值确定的。
根据本发明的实施例,生成模块包括构建单元、替换单元、计算单元和生成单元。其中,构建单元,用于根据有效容量信息对应的参数和毫米波信道状态信息对应的参数,构建第一目标函数。替换单元,用于根据预设变量,将第一目标函数进行变量替换,得到第二目标函数。计算单元,用于通过计算第二目标函数的最优解,得到待传输视频数据的目标时隙分配结果和发射功率分配结果。生成单元,用于根据目标时隙分配结果和发射功率分配结果,生成目标传输策略。
根据本发明的实施例,第一获取模块包括获取单元、对比单元、第一标记单元和第二标记单元。其中,获取单元,用于响应于来自客户端的视频请求,从视频源获取第一待传输视频数据和第二待传输视频数据,其中,第一待传输视频数据中包括M个视频帧数据,第二待传输视频数据中包括N个视频帧数据,第一待传输视频数据和第二待传输视频数据的传输质量级别相同。对比单元,用于对比M个视频帧数据和N个视频帧数据,得到K个相同的视频帧数据。第一标记单元,用于在第一待传输视频数据中,标记K个相同的视频帧数据的传输模式为第一传输模式,并标记M-K个视频帧数据的传输模式为第二传输模式。第二标记单元,用于在第二待传输视频数据中,标记K个相同的视频帧数据的传输模式为第一传输模式,并标记N-K个视频帧数据的传输模式为第二传输模式,其中,M、N、K均为正整数,K小于M,且K小于N。
根据本发明的实施例,发送模块包括第一发送单元和第二发送单元。其中,第一发送单元,用于根据传输时隙分配策略和发射功率分配策略,按照第一传输模式向客户端发送K个相同的视频帧数据。第二发送单元,用于按照第二传输模式向客户端发送M-K个视频帧数据和N-K个视频帧数据。
根据本公开的实施例,第一获取模块910、第二获取模块920、确定模块930、生成模块940、发送模块950中的任意多个模块可以合并在一个模块中实现,或者其中的任意一个模块可以被拆分成多个模块。或者,这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合,并在一个模块中实现。根据本公开的实施例,第一获取模块910、第二获取模块920、确定模块930、生成模块940、发送模块950中的至少一个可以至少被部分地实现为硬件电路,例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC),或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现,或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者,第一获取模块910、第二获取模块920、确定模块930、生成模块940、发送模块950中的至少一个可以至少被部分地实现为计算机程序模块,当该计算机程序模块被运行时,可以执行相应的功能。
图10示意性示出了根据本发明实施例的适于实现基于毫米波的360°VR视频数据传输方法的电子设备的方框图。
如图10所示,根据本发明实施例的电子设备1000包括处理器1001,其可以根据存储在只读存储器(ROM)1002中的程序或者从存储部分1008加载到随机访问存储器(RAM)1003中的程序而执行各种适当的动作和处理。处理器1001例如可以包括通用微处理器(例如CPU)、指令集处理器和/或相关芯片组和/或专用微处理器(例如,专用集成电路(ASIC))等等。处理器1001还可以包括用于缓存用途的板载存储器。处理器1001可以包括用于执行根据本发明实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
在RAM 1003中,存储有电子设备1000操作所需的各种程序和数据。处理器 1001、ROM 1002以及RAM 1003通过总线1004彼此相连。处理器1001通过执行ROM 1002和/或RAM1003中的程序来执行根据本发明实施例的方法流程的各种操作。需要注意,程序也可以存储在除ROM 1002和RAM 1003以外的一个或多个存储器中。处理器1001也可以通过执行存储在一个或多个存储器中的程序来执行根据本发明实施例的方法流程的各种操作。
根据本发明的实施例,电子设备1000还可以包括输入/输出(I/O)接口1005,输入/输出(I/O)接口1005也连接至总线1004。电子设备1000还可以包括连接至I/O接口1005的以下部件中的一项或多项:包括键盘、鼠标等的输入部分1006;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分1007;包括硬盘等的存储部分1008;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分1009。通信部分1009经由诸如因特网的网络执行通信处理。驱动器1010也根据需要连接至I/O接口1005。可拆卸介质1011 ,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器1010上,以便于从其上读出的计算机程序根据需要被安装入存储部分1008。
本发明还提供了一种计算机可读存储介质,该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的;也可以是单独存在,而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序,当上述一个或者多个程序被执行时,实现根据本发明实施例的方法。
根据本发明的实施例,计算机可读存储介质可以是非易失性的计算机可读存储介质,例如可以包括但不限于:便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。例如,根据本发明的实施例,计算机可读存储介质可以包括上文描述的ROM 1002和/或RAM 1003和/或ROM 1002和RAM 1003以外的一个或多个存储器。
本发明的实施例还包括一种计算机程序产品,其包括计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。当计算机程序产品在计算机系统中运行时,该程序代码用于使计算机系统实现本发明实施例所提供的物品推荐方法。
在该计算机程序被处理器1001执行时执行本发明实施例的系统/装置中限定的上述功能。根据本发明的实施例,上文描述的系统、装置、模块、单元等可以通过计算机程序模块来实现。
在一种实施例中,该计算机程序可以依托于光存储器件、磁存储器件等有形存储介质。在另一种实施例中,该计算机程序也可以在网络介质上以信号的形式进行传输、分发,并通过通信部分1009被下载和安装,和/或从可拆卸介质1011 被安装。该计算机程序包含的程序代码可以用任何适当的网络介质传输,包括但不限于:无线、有线等等,或者上述的任意合适的组合。
在这样的实施例中,该计算机程序可以通过通信部分1009从网络上被下载和安装,和/或从可拆卸介质1011 被安装。在该计算机程序被处理器1001执行时,执行本发明实施例的系统中限定的上述功能。根据本发明的实施例,上文描述的系统、设备、装置、模块、单元等可以通过计算机程序模块来实现。
根据本发明的实施例,可以以一种或多种程序设计语言的任意组合来编写用于执行本发明实施例提供的计算机程序的程序代码,具体地,可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。程序设计语言包括但不限于诸如Java,C++,python,“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、部分在远程计算设备上执行、或者完全在远程计算设备或毫米波设备上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到用户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
本领域技术人员可以理解,本发明的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合,即使这样的组合或结合没有明确记载于本发明中。特别地,在不脱离本发明精神和教导的情况下,本发明的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本发明的范围。
以上对本发明的实施例进行了描述。但是,这些实施例仅仅是为了说明的目的,而并非为了限制本发明的范围。尽管在以上分别描述了各实施例,但是这并不意味着各个实施例中的措施不能有利地结合使用。本发明的范围由所附权利要求及其等同物限定。不脱离本发明的范围,本领域技术人员可以做出多种替代和修改,这些替代和修改都应落在本发明的范围之内。
Claims (8)
1.一种基于毫米波的360°VR视频数据传输方法,包括:
响应于来自客户端的视频请求,从视频源获取待传输视频数据,所述待传输视频数据中包括传输质量级别相同的多个视频帧数据;
从毫米波基站获取毫米波信道状态信息和时延状态信息,其中,所述时延状态信息包括预设统计时延阈值和预设统计时延违反概率阈值;
根据预设统计时延阈值和预设统计时延违反概率阈值,确定传输所述待传输视频数据所需的有效容量信息;
根据所述有效容量信息和所述毫米波信道状态信息,生成目标传输策略,所述目标传输策略包括所述待传输视频数据的传输时隙分配策略和发射功率分配策略;以及
根据所述传输时隙分配策略和所述发射功率分配策略,通过所述毫米波基站向所述客户端发送所述待传输视频数据;
其中,所述根据预设统计时延阈值和预设统计时延违反概率阈值,确定传输所述待传输视频数据所需的有效容量信息,包括:
根据预设统计时延阈值和预设统计时延违反概率阈值,确定传输所述待传输视频数据所需的有效带宽;
根据所述有效带宽和统计时延约束条件,确定所述传输所述待传输视频数据所需的最小服务质量指数,其中,所述统计时延约束条件是根据所述预设统计时延阈值和预设统计时延违反概率阈值确定的;
满足待传输数据传输质量要求所需的最小服务质量指数如式(6)所示:
根据所述最小服务质量指数,确定传输所述待传输视频数据所需的有效容量信息。
2.根据权利要求1所述的方法,其中,所述根据所述有效容量信息和所述毫米波信道状态信息,生成目标传输策略,所述目标传输策略包括所述待传输视频数据的传输时隙分配策略和发射功率分配策略,包括:
根据所述有效容量信息对应的参数和所述毫米波信道状态信息对应的参数,构建第一目标函数;
根据预设变量,将所述第一目标函数进行变量替换,得到第二目标函数;
通过计算所述第二目标函数的最优解,得到所述待传输视频数据的目标时隙分配结果和发射功率分配结果;
根据所述目标时隙分配结果和所述发射功率分配结果,生成所述目标传输策略。
3.根据权利要求2所述的方法,其中,所述根据所述目标时隙分配结果和所述发射功率分配结果,生成所述目标传输策略,包括:
根据所述目标时隙分配结果,确定所述待传输视频数据的目标传输时间区间;
根据所述发射功率分配结果,确定所述待传输视频数据的目标发射功率比例;
根据所述目标发射功率比例,确定所述待传输视频数据的目标发射功率;
根据所述目标传输时间区间和所述目标发射功率,生成所述目标传输策略。
4.根据权利要求1所述的方法,其中,所述响应于来自客户端的视频请求,从视频源获取待传输视频数据,所述待传输视频数据中包括传输质量级别相同的多个视频帧数据,包括:
响应于来自客户端的视频请求,从视频源获取第一待传输视频数据和第二待传输视频数据,其中,所述第一待传输视频数据中包括M个视频帧数据,所述第二待传输视频数据中包括N个视频帧数据,所述第一待传输视频数据和所述第二待传输视频数据的传输质量级别相同;
对比所述M个视频帧数据和所述N个视频帧数据,得到K个相同的视频帧数据;
在所述第一待传输视频数据中,标记所述K个相同的视频帧数据的传输模式为第一传输模式,并标记M-K个视频帧数据的传输模式为第二传输模式;
在所述第二待传输视频数据中,标记所述K个相同的视频帧数据的传输模式为所述第一传输模式,并标记N-K个视频帧数据的传输模式为所述第二传输模式,其中,M、N、K均为正整数,K小于M,且K小于N。
5.根据权利要求4所述的方法,其中,所述根据所述传输时隙分配策略和所述发射功率分配策略,通过所述毫米波基站向所述客户端发送所述待传输视频数据,包括:
根据所述传输时隙分配策略和所述发射功率分配策略,按照所述第一传输模式向所述客户端发送所述K个相同的视频帧数据;
按照所述第二传输模式向所述客户端发送所述M-K个视频帧数据和所述N-K个视频帧数据。
6.一种基于毫米波的360°VR视频数据传输装置,包括:
第一获取模块,用于响应于来自客户端的视频请求,从视频源获取待传输视频数据,所述待传输视频数据中包括传输质量级别相同的多个视频帧数据;
第二获取模块,用于从毫米波基站获取毫米波信道状态信息和时延状态信息,其中,所述时延状态信息包括预设统计时延阈值和预设统计时延违反概率阈值;
确定模块,用于根据预设统计时延阈值和预设统计时延违反概率阈值,确定传输所述待传输视频数据所需的有效容量信息;
生成模块,用于根据所述有效容量信息和所述毫米波信道状态信息,生成目标传输策略,所述目标传输策略包括所述待传输视频数据的传输时隙分配策略和发射功率分配策略;
发送模块,用于根据所述传输时隙分配策略和所述发射功率分配策略,通过毫米波设备向所述客户端发送所述待传输视频数据;
其中,所述确定模块包括
第一确定子单元,用于根据所述预设统计时延阈值和所述预设统计时延违反概率阈值,确定传输待传输视频数据所需的有效带宽;
第二确定子单元,用于根据所述有效带宽和统计时延约束条件,确定传输待传输视频数据所需的最小服务质量指数,其中,所述统计时延约束条件是根据预设统计时延阈值和预设统计时延违反概率阈值确定的;
满足待传输数据传输质量要求所需的最小服务质量指数如式(6)所示:
第二确定单元,用于根据所述最小服务质量指数,确定传输所述待传输视频数据所需的有效容量信息。
7.一种电子设备,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
其中,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器执行根据权利要求1~5中任一项所述的方法。
8.一种计算机可读存储介质,其上存储有可执行指令,该指令被处理器执行时使处理器执行根据权利要求1~5中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210855679.7A CN114928757B (zh) | 2022-07-21 | 2022-07-21 | 基于毫米波的360°vr视频数据传输方法、装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210855679.7A CN114928757B (zh) | 2022-07-21 | 2022-07-21 | 基于毫米波的360°vr视频数据传输方法、装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114928757A CN114928757A (zh) | 2022-08-19 |
CN114928757B true CN114928757B (zh) | 2022-12-30 |
Family
ID=82816075
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210855679.7A Active CN114928757B (zh) | 2022-07-21 | 2022-07-21 | 基于毫米波的360°vr视频数据传输方法、装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114928757B (zh) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103997743A (zh) * | 2014-05-07 | 2014-08-20 | 西安交通大学 | 一种认知无线电系统中基于有效容量的资源分配方法 |
WO2020077777A1 (zh) * | 2018-10-18 | 2020-04-23 | 西安交通大学 | 一种面向周期类urllc业务的上行传输方法 |
CN111970762A (zh) * | 2020-08-06 | 2020-11-20 | 北京邮电大学 | 一种频谱分配方法、装置及电子设备 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8363579B2 (en) * | 2008-12-08 | 2013-01-29 | Intel Corporation | Apparatus and method of communication in a wireless network |
GB2493732B (en) * | 2011-08-16 | 2014-03-05 | Canon Kk | Data blocks encoding and transmission over a diversity communication network |
CN103997761A (zh) * | 2014-05-20 | 2014-08-20 | 东南大学 | 一种多用户mimo系统下行通信的最优帧长选择方法 |
JP2017005387A (ja) * | 2015-06-05 | 2017-01-05 | キヤノン株式会社 | 通信装置およびその制御方法 |
US10871559B2 (en) * | 2017-09-29 | 2020-12-22 | Advanced Micro Devices, Inc. | Dual purpose millimeter wave frequency band transmitter |
CN109068151B (zh) * | 2018-08-14 | 2021-01-05 | 浙江万里学院 | 基于毫米波蜂窝网络的虚拟现实视频无线传输方法 |
CN110677178B (zh) * | 2019-08-28 | 2021-06-01 | 华北电力大学(保定) | 大规模mimo-noma系统中短包传输时延分析方法 |
-
2022
- 2022-07-21 CN CN202210855679.7A patent/CN114928757B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103997743A (zh) * | 2014-05-07 | 2014-08-20 | 西安交通大学 | 一种认知无线电系统中基于有效容量的资源分配方法 |
WO2020077777A1 (zh) * | 2018-10-18 | 2020-04-23 | 西安交通大学 | 一种面向周期类urllc业务的上行传输方法 |
CN111970762A (zh) * | 2020-08-06 | 2020-11-20 | 北京邮电大学 | 一种频谱分配方法、装置及电子设备 |
Also Published As
Publication number | Publication date |
---|---|
CN114928757A (zh) | 2022-08-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11857872B2 (en) | Content adaptive data center routing and forwarding in cloud computing environments | |
CN113038191B (zh) | 直播流的调度方法、装置、电子设备及可读存储介质 | |
CN104205927B (zh) | 用于调度自适应比特率流的方法与装置 | |
CN111010582B (zh) | 一种云桌面图像处理方法、装置、设备及可读存储介质 | |
US20240205655A1 (en) | Intent-based network configuration method, apparatus, and system | |
Reddy et al. | Qos-Aware Video Streaming Based Admission Control And Scheduling For Video Transcoding In Cloud Computing | |
US10620697B2 (en) | Wireless communication management for virtual reality devices | |
KR20210109625A (ko) | 통신 방법 및 장치, 컴퓨터 판독 가능형 매체 및 전자 장치 | |
EP3244621A1 (en) | Video encoding method, system and server | |
CN109074152B (zh) | 一种虚拟现实图像发送方法及装置 | |
KR20230058493A (ko) | 데이터 전송 방법 및 장치, 컴퓨터가 판독 가능한 저장 매체, 전자 디바이스 그리고 컴퓨터 프로그램 제품 | |
US20230082784A1 (en) | Point cloud encoding and decoding method and apparatus, computer-readable medium, and electronic device | |
Hsu | Mec-assisted fov-aware and qoe-driven adaptive 360 video streaming for virtual reality | |
GB2568020A (en) | Transmission of video content based on feedback | |
Huang et al. | Qoe-oriented resource allocation for 360-degree video transmission over heterogeneous networks | |
CN114928757B (zh) | 基于毫米波的360°vr视频数据传输方法、装置 | |
CN111934828B (zh) | 基于ofdma模式的数据传输方法及系统 | |
EP4142258A1 (en) | Edge computing network, data transmission method and apparatus, device and storage medium | |
WO2022062799A1 (zh) | 数据传输方法及相关装置 | |
WO2022126437A1 (zh) | 通信方法及装置 | |
US11201901B2 (en) | Methods and systems for streaming media data over a content delivery network | |
CN103561080A (zh) | 无线网络的远程资源服务装置、方法和远程显示服务系统 | |
EP3831033A1 (en) | Method, apparatus, system and computer program for data distribution | |
CN116996661B (zh) | 三维视频展示方法、装置、设备及介质 | |
US20230397244A1 (en) | Methods and systems for managing wireless communications |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |