CN114979089A - 一种实时传输全景视频的系统和方法 - Google Patents

一种实时传输全景视频的系统和方法 Download PDF

Info

Publication number
CN114979089A
CN114979089A CN202210442042.5A CN202210442042A CN114979089A CN 114979089 A CN114979089 A CN 114979089A CN 202210442042 A CN202210442042 A CN 202210442042A CN 114979089 A CN114979089 A CN 114979089A
Authority
CN
China
Prior art keywords
video
code rate
multicast
group
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210442042.5A
Other languages
English (en)
Other versions
CN114979089B (zh
Inventor
庄子睿
王敬宇
许怀若
孙海峰
盛道旭
王晶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN202210442042.5A priority Critical patent/CN114979089B/zh
Publication of CN114979089A publication Critical patent/CN114979089A/zh
Priority to US18/115,110 priority patent/US11974027B2/en
Application granted granted Critical
Publication of CN114979089B publication Critical patent/CN114979089B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2402—Monitoring of the downstream path of the transmission network, e.g. bandwidth available
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2407—Monitoring of transmitted content, e.g. distribution time, number of downloads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/64—Addressing
    • H04N21/6405—Multicasting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64746—Control signals issued by the network directed to the server or the client
    • H04N21/64761—Control signals issued by the network directed to the server or the client directed to the server
    • H04N21/64769—Control signals issued by the network directed to the server or the client directed to the server for rate control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/06—Selective distribution of broadcast services, e.g. multimedia broadcast multicast service [MBMS]; Services to user groups; One-way selective calling services
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

一种实时传输全景视频的系统和方法，专门针对全景360度视频提出新的分组方法与码率决策方法，其分组方法考虑到不同用户的视角情况，有效减少重复视频片段对带宽的消耗，同时在分配资源时保证用户公平性并充分利用网络带宽资源；本发明的系统和方法能够在带宽受限的情况下最大化用户的长期QoE，同时避免了现有技术方案复杂度大，难以满足用户的实时性需求的问题。

Description

一种实时传输全景视频的系统和方法
技术领域
本发明涉及一种实时传输全景视频的系统和方法，属于信息技术领域，特别是属于360度视频组播技术领域。
背景技术
移动数据流量在过去五年中增长了18倍，预计未来几年将继续以47％的年增长率增长。大多数(60-80％)移动数据流量携带视频内容。为了部分应对这一巨大需求，蜂窝网络运营商最近一直在考虑为流媒体直播视频会话(如热门体育赛事和音乐会)提供多播服务。单播(Unicast)服务无法支持大规模实时会话，因为所需的无线电资源随用户数量线性增长，即使所有用户同时接收相同的内容也是如此。组播(Multicast)提供了一种高效且可扩展的方法，可将实时视频流式传输给许多用户。例如，多媒体广播组播服务(MBMS)为组播组提供的传输速率取决于信道质量最差的用户。组播单频网络(MBSFN)可在一个MBMS区域内传输相同的信号，并在区域内的多个基站小区间同步传输。
随着视频组播技术的发展，不断有新的研究提出基于视频组播的用户分组方式与无线资源分配方式。在现有方案中，其考虑的多为单视角传统视频，未考虑到全景视频即360度视频的特殊情况，例如用户在观看过程中的视角情况，组播的使用优势在于聚合重复的视频内容，若将大量视角情况不同的用户聚合为一组，将会导致组播效用降低，网络资源无法充分利用。另外，现有方案的码率决策方法简单的追求资源的最大利用而忽视用户的QoE体验，在网络波动的环境下将导致码率的频繁切换，致使用户的QoE大幅度降低。
综上所述，如何以组播方式向移动用户实时流式传输360度视频，并且满足用户的长期QoE，成为360度视频组播技术领域急需解决的一个技术难题。
发明内容
有鉴于此，本发明的目的是发明一种系统和方法，实现以组播方式向移动用户实时流式传输360度视频，并且满足用户的长期QoE。
为了达到上述目的，本发明提出了一种实时传输全景视频的系统，包括BMSC网元、MBMS网关、无线基站和联结链路，所述系统还包括如下模块：
数据采集模块，该模块部署于BMSC网元；该模块的功能是：(1)整合服务提供商上传的360度视频流和终端移动用户上传的报告信息，具体内容是：先采用投影的方法将服务提供商上传的360度视频流映射为平面格式，再采用编码方案对所述平面格式的视频进行编码，最后基于相应的网络协议将所述编码后的视频划分成相应的格式MDP文件以进行传输；实时探测终端移动用户的信道质量指示CQI值，收集终端移动用户观看视频过程中请求的360度视频的视角Fov、缓冲事件次数、缓冲区长度、所观看Fov的平均码率信息、所观看Fov的空间平滑度、所观看Fov的时间平滑度；(2)整合组播管理模块下发的组播组信息，具体为：组播组个数G，每个组播组人数Gg，每个组播组所分得的无线电资源Xg，观看各tile的人数比例，各tile的大小，各码率质量函数，各组播组用户平均缓冲区长度；(3)整合上述的视频流数据和用户信息数据，并把上述信息发送给视频码率自适应模块；所述的视频流数据是指视频不同切分部分tile的大小信息、空间坐标信息、所有可选的码率信息；所述的用户信息数据即所述的组播组信息；
视频码率自适应模块，该模块部署于BMSC网元；该模块的包括码率选择子模块和视频下发子模块；该模块的功能是：所述的码率选择子模块为每个组播组内的所有终端移动用户选择视频不同切分部分tile的质量即码率，所述的视频下发子模块将对应码率的视频不同切分部分tile形成视频数据流，并将该视频数据流发送至组播管理模块的内容分发子模块；
组播管理模块，该部署于MBMS网关，该模块包括组划分与资源分配子模块和内容分发子模块；该模块的功能是：(1)根据所述MBMS网关中是否存在分组信息以及收到的移动用户信息是否发生改变来决定是否调用所述的组划分与资源分配子模块进行组划分与资源分配；(2)所述的组划分与资源分配子模块进行组划分与资源分配，即将所有的移动终端用户划分为不同的组播组，并为不同的组播组分配无线资源块，并将所述的组播组信息发送至所述数据采集模块；(3)所述的内容分发子模块在接收到视频码率自适应模块的视频数据流后通过组播技术分发至每个组的每个移动用户。
所述的码率选择子模块为每个组播组内的所有终端移动用户选择视频不同切分部分tile的码率的具体内容是：(1)根据从所述的数据采集模块所接收到的视频流数据和用户信息数据，为每一个组播组创建状态向量<Tg,Pg,u,d,Bg>，其中Tg为该组播组的接收速率信息，Pg表示请求同一个视频不同切分部分tile的用户数占所有用户数的比例，u指该视频不同切分部分tile的大小，d指的是码率质量函数，Bg指的是该组播组用户平均缓冲区长度；(2)将上述状态向量作为输入输入到深度强化学习模型，将将用户报告信息中的所观看Fov的平均码率信息、所观看Fov的空间平滑度、所观看Fov的时间平滑度、平均重新缓冲事件次数作为奖励值输入到所述的深度强化学习模型；(3)所述的深度强化学习模型根据所述的状态向量信息，为每个视频不同切分部分tile选择对应的码率，即动作向量，所述动作向量的维度与可选的所有码率数量相同，所述动作向量的每一个分量的数值代表了选择对应码率的概率，并根据概率最大值得到码率的选择策略；经过多次调用整理后形成所有tile的码率选择策略，并将该策略发送至所述的视频下发子模块。
所述的组划分与资源分配子模块进行组划分与资源分配的具体内容是：按照如下最优化问题进行组划分与资源分配：
Figure BDA0003614344290000031
Figure BDA0003614344290000032
|G1∪G2∪…∪Gk|＝M
Figure BDA0003614344290000033
Figure BDA0003614344290000034
上式中Gg代表组g中的用户集合，k代表组播组的个数，M代表所有用户的数量，
Figure BDA0003614344290000035
代表该组的调制与编码模式，其单位为bits/RB,ci表示用户i的调制与编码模式，xg代表分配给该组的无线资源块数量，S指其占用的所有时间槽数,Og代表组内各用户所请求的Fov的重叠程度；利用动态规划算法求解上述最优化问题。
本发明还提出了一种实时传输全景视频的方法，所述方法包括下列操作步骤：
(1)数据采集模块整合服务提供商上传的360度视频流和终端移动用户上传的报告信息；
(2)组播管理模块的组划分与资源分配子模块进行组划分与资源分配，将所述的组播组信息发送至所述数据采集模块；
(3)数据采集模块整合组播组信息，并把所述的组播组信息发送给视频码率适应模块；
(4)视频码率自适应模块的码率选择子模块针对于每个组播组，先为所有tile选择最低码率，然后针对每一个tile，调用深度强化学习模型为其选择合适的码率并将该码率决策送至视频下发子模块；
(5)视频下发子模块收到码率决策后下载各个对应的tile，形成视频流数据，发送到组播管理模块的内容分发子模块；
(6)内容分发子模块应用组播技术，将对应组播组的视频内容分发给该组的各个移动终端用户；
(7)在上述过程中，如果有新用户加入或者存在用户以特定的速度移动导致其信道状况发生变化，则MBMS网关报告的用户信息将发生改变，于是触发所述的组播管理模块再次调用组划分与资源分配子模块重新进行组划分与资源分配，并重复上述步骤(3)至步骤(6)的操作。
本发明的有益效果在于：本发明的系统和方法，专门针对360度视频提出新的分组方法与码率决策方法，其分组方法考虑到不同用户的视角情况，有效减少重复视频片段对带宽的消耗，同时在分配资源时保证用户公平性并充分利用网络带宽资源；本发明的系统和方法能够在带宽受限的情况下最大化用户的长期QoE，同时避免了现有技术方案复杂度大，难以满足用户的实时性需求的问题。
附图说明
图1是本发明提出的一种实时传输全景视频的系统的模块示意图。
图2是本发明提出的一种实时传输全景视频的方法的流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明作进一步的详细描述。
参见图1，介绍本发明提出的一种实时传输全景视频的系统，包括BMSC(BroadcastMulticast Service Center)网元、MBMS(Multimedia Broadcast Multicast Service)网关、无线基站和联结链路，所述系统还包括如下模块：
数据采集模块，该模块部署于BMSC网元；该模块的功能是：
(1)整合服务提供商上传的360度视频流和终端移动用户上传的报告信息，具体内容是：先采用投影的方法(在实施例中采用ERP,equirectangularprojection方法)将服务提供商上传的360度视频流映射为平面格式，再采用编码方案(在实施例中采用H.265/H.264)对所述平面格式的视频进行编码，最后基于相应的网络协议(在实施例中采用DASH,DynamicAdaptive Streaming over HTTP协议)将所述编码后的视频划分成相应的格式MDP(Media Presentation Description)文件以进行传输；实时探测终端移动用户的信道质量指示CQI(Channel Quality Indicator)值，收集终端移动用户观看视频过程中请求的360度视频的视角Fov(Field ofview)、缓冲事件次数、缓冲区长度、所观看Fov的平均码率信息、所观看Fov的空间平滑度、所观看Fov的时间平滑度；
实施例中，数据采集模块将服务提供商上传的360度视频首先切分为大小相等或不等的矩形块，称为tiles，例如以4×4或5×5固定大小划分。
所观看Fov的平均码率信息是指所观看的Fov包括的所有视频不同切分部分tile的平均码率，例如所观看的Fov包括tile1与tile2，其码率分别是512kbps和768kbps，则所观看Fov的平均码率为640kbps。
所观看Fov的空间平滑度是指所观看Fov的各tile码率之间的标准差，例如所观看的Fov包括tile1与tile2，其码率分别是512kbps和768kbps，则所观看Fov的平均码率为640kbps，码率之间的标准差为128kbps。
所观看Fov的时间平滑度是指所观看Fov的第一次平均码率和第二次平均码率之间的差值。例如第一次平均码率为640kbps，第二次平均码率为为768kbps那么所观看Fov的时间平滑度就是128kbps。
(2)整合组播管理模块下发的组播组信息，具体为：组播组个数G，每个组播组人数Gg，每个组播组所分得的无线电资源Xg，观看各tile的人数比例，各tile的大小，各码率质量函数，各组播组用户平均缓冲区长度；(3)整合上述的视频流数据和用户信息数据，并把上述信息发送给视频码率自适应模块；所述的视频流数据是指视频不同切分部分tile的大小信息(例如1kb)、空间坐标信息、所有可选的码率信息；所述的用户信息数据即所述的组播组信息；
无线电资源块是指业务信道资源分配的资源单位，在实施例中，占用一个时间槽0.5ms，占据12个子载波，带宽为180kHz；在实施例中，各码率质量函数采用f(x)＝x，即直接利用码率代表视频质量；
视频码率自适应模块，该模块部署于BMSC网元；该模块的包括码率选择子模块和视频下发子模块；该模块的功能是：所述的码率选择子模块为每个组播组内的所有终端移动用户选择视频不同切分部分tile的质量即码率，所述的视频下发子模块将对应码率的视频不同切分部分tile形成视频数据流，并将该视频数据流发送至组播管理模块的内容分发子模块；
组播管理模块，该部署于MBMS网关，该模块包括组划分与资源分配子模块和内容分发子模块；该模块的功能是：(1)根据所述MBMS网关中是否存在分组信息以及收到的移动用户信息是否发生改变来决定是否调用所述的组划分与资源分配子模块进行组划分与资源分配；(2)所述的组划分与资源分配子模块进行组划分与资源分配，即将所有的移动终端用户划分为不同的组播组，并为不同的组播组分配无线资源块，并将所述的组播组信息发送至所述数据采集模块；(3)所述的内容分发子模块在接收到视频码率自适应模块的视频数据流后通过组播技术分发至每个组的每个移动用户。
所述的码率选择子模块为每个组播组内的所有终端移动用户选择视频不同切分部分tile的码率的具体内容是：(1)根据从所述的数据采集模块所接收到的视频流数据和用户信息数据，为每一个组播组创建状态向量<Tg,Pg,u,d,Bg>，其中Tg为该组播组的接收速率信息，计算方式是该组播组的无线电资源块RB数量乘以其对应的调制与编码模式，调制与编码模式的单位为bits/RB，Pg表示请求同一个视频不同切分部分tile的用户数占所有用户数的比例，u指该视频不同切分部分tile的大小，d指的是码率质量函数，Bg指的是该组播组用户平均缓冲区长度；(2)将上述状态向量作为输入输入到深度强化学习模型，将将用户报告信息中的所观看Fov的平均码率信息、所观看Fov的空间平滑度、所观看Fov的时间平滑度、平均重新缓冲事件次数作为奖励值输入到所述的深度强化学习模型；(3)所述的深度强化学习模型根据所述的状态向量信息，为每个视频不同切分部分tile选择对应的码率，即动作向量，所述动作向量的维度与可选的所有码率数量相同，所述动作向量的每一个分量的数值代表了选择对应码率的概率，并根据概率最大值得到码率的选择策略；经过多次调用整理后形成所有tile的码率选择策略，并将该策略发送至所述的视频下发子模块。在实施例中，所述的深度强化学习模型为AC(Actor Critic)模型，也可以用其他的深度强化学习模型代替。
例如：假设共有5个码率水平供选择，分别为500kbps，1000kbps，2000kbps，5000kbps，10000kbps，则动作向量的维度为5，若该动作向量的值为(0.1,0.1,0.2,0.5,0.1)，那么指示选择5000kbps的概率最大，为0.5，因此码率的选择策略为选择5000kbps。
所述的组划分与资源分配子模块进行组划分与资源分配的具体内容是：按照如下最优化问题进行组划分与资源分配：
Figure BDA0003614344290000061
Figure BDA0003614344290000062
|G1∪G2∪…∪Gk|＝M
Figure BDA0003614344290000063
Figure BDA0003614344290000064
上式中Gg代表组g中的用户集合，k代表组播组的个数，M代表所有用户的数量，
Figure BDA0003614344290000065
代表该组的调制与编码模式，其单位为bits/RB,ci表示用户i的调制与编码模式，xg代表分配给该组的无线资源块数量，S指其占用的所有时间槽数,Og代表组内各用户所请求的Fov的重叠程度；在实施例中，Fov的重叠程度用组内各用户Fov中心点坐标之间的平均距离来衡量，例如三个用户的Fov中心对应坐标分别为(0,0)，(0,3)，(4,0)，则互相之间的距离为3，4，5，则平均距离即Fov的重叠程度为4。
利用动态规划算法求解上述最优化问题。
参见图2，介绍本发明提出的一种实时传输全景视频的方法，所述方法包括下列操作步骤：
(1)数据采集模块整合服务提供商上传的360度视频流和终端移动用户上传的报告信息；
(2)组播管理模块的组划分与资源分配子模块进行组划分与资源分配，将所述的组播组信息发送至所述数据采集模块；
(3)数据采集模块整合组播组信息，并把所述的组播组信息发送给视频码率适应模块；在实施例中组播组信息采用json(JavaScript ObjectNotation)格式；
(4)视频码率自适应模块的码率选择子模块针对于每个组播组，先为所有tile选择最低码率，然后针对每一个tile，调用深度强化学习模型为其选择合适的码率并将该码率决策送至视频下发子模块；在实施例中码率决策信息采用json(JavaScriptObjectNotation)格式；
(5)视频下发子模块收到码率决策后下载各个对应的tile，形成视频流数据，发送到组播管理模块的内容分发子模块；
(6)内容分发子模块应用组播技术，将对应组播组的视频内容分发给该组的各个移动终端用户；
(7)在上述过程中，如果有新用户加入或者存在用户以特定的速度移动导致其信道状况发生变化，则MBMS网关报告的用户信息将发生改变，于是触发所述的组播管理模块再次调用组划分与资源分配子模块重新进行组划分与资源分配，并重复上述步骤(3)至步骤(6)的操作。
发明人对所提出的系统和方法进行了大量实验，实验结果表明本发明所提出的系统和方法是可行有效的。

Claims (4)

1.一种实时传输全景视频的系统，包括BMSC网元、MBMS网关、无线基站和联结链路，其特征在于：所述系统还包括如下模块：
数据采集模块，该模块部署于BMSC网元；该模块的功能是：(1)整合服务提供商上传的360度视频流和终端移动用户上传的报告信息，具体内容是：先采用投影的方法将服务提供商上传的360度视频流映射为平面格式，再采用编码方案对所述平面格式的视频进行编码，最后基于相应的网络协议将所述编码后的视频划分成相应的格式MDP文件以进行传输；实时探测终端移动用户的信道质量指示CQI值，收集终端移动用户观看视频过程中请求的360度视频的视角Fov、缓冲事件次数、缓冲区长度、所观看Fov的平均码率信息、所观看Fov的空间平滑度、所观看Fov的时间平滑度；(2)整合组播管理模块下发的组播组信息，具体为：组播组个数G，每个组播组人数Gg，每个组播组所分得的无线电资源Xg，观看各tile的人数比例，各tile的大小，各码率质量函数，各组播组用户平均缓冲区长度；(3)整合上述的视频流数据和用户信息数据，并把上述信息发送给视频码率自适应模块；所述的视频流数据是指视频不同切分部分tile的大小信息、空间坐标信息、所有可选的码率信息；所述的用户信息数据即所述的组播组信息；
视频码率自适应模块，该模块部署于BMSC网元；该模块的包括码率选择子模块和视频下发子模块；该模块的功能是：所述的码率选择子模块为每个组播组内的所有终端移动用户选择视频不同切分部分tile的质量即码率，所述的视频下发子模块将对应码率的视频不同切分部分tile形成视频数据流，并将该视频数据流发送至组播管理模块的内容分发子模块；
组播管理模块，该部署于MBMS网关，该模块包括组划分与资源分配子模块和内容分发子模块；该模块的功能是：(1)根据所述MBMS网关中是否存在分组信息以及收到的移动用户信息是否发生改变来决定是否调用所述的组划分与资源分配子模块进行组划分与资源分配；(2)所述的组划分与资源分配子模块进行组划分与资源分配，即将所有的移动终端用户划分为不同的组播组，并为不同的组播组分配无线资源块，并将所述的组播组信息发送至所述数据采集模块；(3)所述的内容分发子模块在接收到视频码率自适应模块的视频数据流后通过组播技术分发至每个组的每个移动用户。
2.根据权利要求1所述的一种实时传输全景视频的系统，其特征在于：所述的码率选择子模块为每个组播组内的所有终端移动用户选择视频不同切分部分tile的码率的具体内容是：(1)根据从所述的数据采集模块所接收到的视频流数据和用户信息数据，为每一个组播组创建状态向量<Tg,Pg,u,d,Bg>，其中Tg为该组播组的接收速率信息，Pg表示请求同一个视频不同切分部分tile的用户数占所有用户数的比例，u指该视频不同切分部分tile的大小，d指的是码率质量函数，Bg指的是该组播组用户平均缓冲区长度；(2)将上述状态向量作为输入输入到深度强化学习模型，将将用户报告信息中的所观看Fov的平均码率信息、所观看Fov的空间平滑度、所观看Fov的时间平滑度、平均重新缓冲事件次数作为奖励值输入到所述的深度强化学习模型；(3)所述的深度强化学习模型根据所述的状态向量信息，为每个视频不同切分部分tile选择对应的码率，即动作向量，所述动作向量的维度与可选的所有码率数量相同，所述动作向量的每一个分量的数值代表了选择对应码率的概率，并根据概率最大值得到码率的选择策略，；经过多次调用整理后形成所有tile的码率选择策略，并将该策略发送至所述的视频下发子模块。
3.根据权利要求1所述的一种实时传输全景视频的系统，其特征在于：所述的组划分与资源分配子模块进行组划分与资源分配的具体内容是：按照如下最优化问题进行组划分与资源分配：
Figure FDA0003614344280000021
Figure FDA0003614344280000022
|G1∪G2∪…∪Gk|＝M
Figure FDA0003614344280000023
Figure FDA0003614344280000024
上式中Gg代表组g中的用户集合，k代表组播组的个数，M代表所有用户的数量，
Figure FDA0003614344280000025
代表该组的调制与编码模式，其单位为bits/RB,ci表示用户i的调制与编码模式，xg代表分配给该组的无线资源块数量，S指其占用的所有时间槽数,Og代表组内各用户所请求的Fov的重叠程度；利用动态规划算法求解上述最优化问题。
4.一种实时传输全景视频的方法，其特征在于：所述方法包括下列操作步骤：
(1)数据采集模块整合服务提供商上传的360度视频流和终端移动用户上传的报告信息；
(2)组播管理模块的组划分与资源分配子模块进行组划分与资源分配，将所述的组播组信息发送至所述数据采集模块；
(3)数据采集模块整合组播组信息，并把所述的组播组信息发送给视频码率适应模块；
(4)视频码率自适应模块的码率选择子模块针对于每个组播组，先为所有tile选择最低码率，然后针对每一个tile，调用深度强化学习模型为其选择合适的码率并将该码率决策送至视频下发子模块；
(5)视频下发子模块收到码率决策后下载各个对应的tile，形成视频流数据，发送到组播管理模块的内容分发子模块；
(6)内容分发子模块应用组播技术，将对应组播组的视频内容分发给该组的各个移动终端用户；
(7)在上述过程中，如果有新用户加入或者存在用户以特定的速度移动导致其信道状况发生变化，则MBMS网关报告的用户信息将发生改变，于是触发所述的组播管理模块再次调用组划分与资源分配子模块重新进行组划分与资源分配，并重复上述步骤(3)至步骤(6)的操作。
CN202210442042.5A 2022-04-25 2022-04-25 一种实时传输全景视频的系统和方法 Active CN114979089B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210442042.5A CN114979089B (zh) 2022-04-25 2022-04-25 一种实时传输全景视频的系统和方法
US18/115,110 US11974027B2 (en) 2022-04-25 2023-02-28 System and method for real-time transmission of a panoramic video

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210442042.5A CN114979089B (zh) 2022-04-25 2022-04-25 一种实时传输全景视频的系统和方法

Publications (2)

Publication Number Publication Date
CN114979089A true CN114979089A (zh) 2022-08-30
CN114979089B CN114979089B (zh) 2023-03-24

Family

ID=82978674

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210442042.5A Active CN114979089B (zh) 2022-04-25 2022-04-25 一种实时传输全景视频的系统和方法

Country Status (2)

Country Link
US (1) US11974027B2 (zh)
CN (1) CN114979089B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117156175B (zh) * 2023-10-30 2024-01-30 山东大学 基于视口预测距离控制的全景视频流QoE优化方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180146216A1 (en) * 2016-11-18 2018-05-24 Twitter, Inc. Live interactive video streaming using one or more camera devices
CN111083121A (zh) * 2019-11-29 2020-04-28 北京邮电大学 一种星地融合网络中的全景视频多播方法及装置
CN112714315A (zh) * 2019-10-24 2021-04-27 上海交通大学 基于全景视频的分层缓冲方法及系统
CN112929691A (zh) * 2021-01-29 2021-06-08 复旦大学 多用户全景视频传输方法
CN112995636A (zh) * 2021-03-09 2021-06-18 浙江大学 基于边缘计算和主动缓存的360度虚拟现实视频传输系统及参数优化方法
CN113194362A (zh) * 2021-04-30 2021-07-30 中国科学技术大学 边缘计算场景中视频组播分组和码率决策方法
CN113573140A (zh) * 2021-07-09 2021-10-29 西安交通大学 一种支持人脸检测与实时超分辨率的码率自适应决策方法
CN113905221A (zh) * 2021-09-30 2022-01-07 福州大学 一种立体全景视频非对称传输流自适应方法及系统
CN114071240A (zh) * 2021-09-18 2022-02-18 北方工业大学 一种基于自适应程度的移动视频QoE评估方法
CN114125452A (zh) * 2021-11-23 2022-03-01 江苏云从曦和人工智能有限公司 视频编码方法、传输方法、系统、装置及介质
US20220109713A1 (en) * 2019-06-28 2022-04-07 Samsung Electronics Co., Ltd. Content distribution server and method

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018011054A1 (en) * 2016-07-15 2018-01-18 Koninklijke Kpn N.V. Streaming virtual reality video
CN106385587B (zh) * 2016-09-14 2019-08-02 三星电子（中国）研发中心 分享虚拟现实视角的方法、装置及系统
CN108616557B (zh) * 2016-12-13 2022-01-25 中兴通讯股份有限公司 一种全景视频传输方法、装置、终端、服务器及系统
CN110945873B (zh) * 2017-06-02 2022-11-04 Vid拓展公司 下一代网络上的360度视频递送
US11159779B2 (en) * 2019-09-24 2021-10-26 At&T Intellectual Property I, L.P. Multi-user viewport-adaptive immersive visual streaming

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180146216A1 (en) * 2016-11-18 2018-05-24 Twitter, Inc. Live interactive video streaming using one or more camera devices
US20220109713A1 (en) * 2019-06-28 2022-04-07 Samsung Electronics Co., Ltd. Content distribution server and method
CN112714315A (zh) * 2019-10-24 2021-04-27 上海交通大学 基于全景视频的分层缓冲方法及系统
CN111083121A (zh) * 2019-11-29 2020-04-28 北京邮电大学 一种星地融合网络中的全景视频多播方法及装置
CN112929691A (zh) * 2021-01-29 2021-06-08 复旦大学 多用户全景视频传输方法
CN112995636A (zh) * 2021-03-09 2021-06-18 浙江大学 基于边缘计算和主动缓存的360度虚拟现实视频传输系统及参数优化方法
CN113194362A (zh) * 2021-04-30 2021-07-30 中国科学技术大学 边缘计算场景中视频组播分组和码率决策方法
CN113573140A (zh) * 2021-07-09 2021-10-29 西安交通大学 一种支持人脸检测与实时超分辨率的码率自适应决策方法
CN114071240A (zh) * 2021-09-18 2022-02-18 北方工业大学 一种基于自适应程度的移动视频QoE评估方法
CN113905221A (zh) * 2021-09-30 2022-01-07 福州大学 一种立体全景视频非对称传输流自适应方法及系统
CN114125452A (zh) * 2021-11-23 2022-03-01 江苏云从曦和人工智能有限公司 视频编码方法、传输方法、系统、装置及介质

Also Published As

Publication number Publication date
US20230345085A1 (en) 2023-10-26
US11974027B2 (en) 2024-04-30
CN114979089B (zh) 2023-03-24

Similar Documents

Publication Publication Date Title
US8441517B2 (en) Data processing apparatus and method, and network system
CN103813213B (zh) 基于移动云计算的实时视频分享平台和方法
US9313553B2 (en) Apparatus and method for simulcast over a variable bandwidth channel
Molisch et al. Caching eliminates the wireless bottleneck in video aware wireless networks
US20050244070A1 (en) Moving picture distribution system, moving picture distribution device and method, recording medium, and program
CN111654712B (zh) 适用于移动边缘计算场景的动态自适应流媒体组播方法
CN103476123A (zh) LTE网络视频业务QoE保障资源分配方法
US20100049864A1 (en) Multimedia broadcast system and method
RU2546543C2 (ru) Способ распределения ресурсов канала в системе широкополосного доступа при передаче данных, в том числе мультимедийных данных
CN108063911B (zh) 一种视频会议扩容方法
Do et al. Massive live video distribution using hybrid cellular and ad hoc networks
CN114979089B (zh) 一种实时传输全景视频的系统和方法
KR20160147946A (ko) 대역폭 최적화를 위한 적응형 데이터 세그먼트 전송 중재
Borgiattino et al. Efficient area formation for LTE broadcasting
Yang et al. QoE-driven resource allocation optimized for uplink delivery of delay-sensitive VR video over cellular network
Bilal et al. QoE-aware distributed cloud-based live streaming of multisourced multiview videos
CN105338549A (zh) 确定多媒体数据发送方式的方法和设备
CN114640870A (zh) 一种QoE驱动的无线VR视频自适应传输优化方法及系统
CN111447511A (zh) 一种带有用户感知体验质量的带宽分配方法
CN102957729B (zh) 一种多媒体会议音视频传输方法及设备
CN103402122A (zh) 移动流媒体服务控制方法及其装置
Pervez et al. Dynamic resource management to enhance video streaming experience in a C-V2X network
CN102843579B (zh) 图像质量自适应的无线视频分发方法与系统
CN114339311B (zh) 一种视频云转码及分发联合决策方法及系统
CN116723360A (zh) 一种基于混合网络的vbr编码视频内容分发方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant