CN109413448A - 基于深度强化学习的移动设备全景视频播放系统 - Google Patents

基于深度强化学习的移动设备全景视频播放系统 Download PDF

Info

Publication number
CN109413448A
CN109413448A CN201811309212.2A CN201811309212A CN109413448A CN 109413448 A CN109413448 A CN 109413448A CN 201811309212 A CN201811309212 A CN 201811309212A CN 109413448 A CN109413448 A CN 109413448A
Authority
CN
China
Prior art keywords
video
module
panoramic video
code rate
clarity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811309212.2A
Other languages
English (en)
Inventor
肖功伟
陈旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sun Yat Sen University
Original Assignee
Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sun Yat Sen University filed Critical Sun Yat Sen University
Priority to CN201811309212.2A priority Critical patent/CN109413448A/zh
Publication of CN109413448A publication Critical patent/CN109413448A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234309—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4 or from Quicktime to Realvideo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26208—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists the scheduling operation being performed under constraints
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43637—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637—Control signals issued by the client directed to the server or network components
    • H04N21/6373—Control signals issued by the client directed to the server or network components for rate control, e.g. request to the server to modify its transmission rate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Graphics (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

本发明公开了一种基于深度强化学习的移动设备全景视频播放系统，利用全景视频分块传输、动态码率选择、运动预测三项技术，在保证视频质量，节省网络带宽的同时，给用户提供能在无线移动设备上播放全景视频的体验。将全景视频信息分成多块具有多种清晰度的全景视频块，在动态码率选择中采用深度强化学习的方法根据运动预测自动选择码率、自动预测头部运动的效果，根据用户视角变化选择全景视频清晰度，最终在视频播放模块中显示出清晰度不同的流畅全景视频，为用户带来更好的体验。

Description

基于深度强化学习的移动设备全景视频播放系统
技术领域
本发明涉及计算机软件技术领域，更具体的说是涉及一种基于深度强化学习的移动设备全景视频播放系统。
背景技术
全景视频是虚拟现实，即VR的一种表现形式，目前全景视频越来越多的应用于日常生活中，全景视频传输的手段，大多是通过有线头戴式设备进行呈现，这是因为目前的技术，只有通过有线设备，才能满足对于视频画面传输的带宽要求。利用有线式头戴设备进行全景视频播放，由于头戴设备相对来说，重量更大，携带不方便，价格也更加昂贵，所以只能在相应的场所进行布置，不方便日常的使用，而通过无线移动设备进行传输的解决方案一般为利用LTE或者WIFI对全景视频进行传输。
但是由于全景视频传输对于网络的要求非常高，导致目前的LTE或者WIFI无法满足高质量全景视频传输的需求，所以相对来说，市场上几乎没有针对无线移动设备的全景视频传输解决方案。
因此，如何实现利用无线移动设备进行全景视频传输是本领域技术人员亟需解决的问题。
发明内容
有鉴于此，本发明提供了一种基于深度强化学习的移动设备全景视频播放系统，对全景视频的传输做出改进，从流量消耗的角度进行优化，降低全景视频传输带宽消耗，提高传输质量。
为了实现上述目的，本发明采用如下技术方案：
一种基于深度强化学习的移动设备全景视频播放系统，包括：服务器端和客户端；
其中，所述服务器端包括视频编码模块、视频切块模块和视频拆分模块；原始全景视频信息传输至所述视频编码模块；所述视频编码模块输出端连接所述视频切块模块输入端；所述视频切块模块输出端连接所述视频拆分模块输入端；所述视频拆分模块与所述客户端进行无线通讯；
所述客户端包括码率选择模块、运动记录模块和视频播放模块；所述视频播放模块与所述服务器端进行无线通讯；所述视频播放模块输出端连接所述运动记录模块的输入端和所述码率选择模块的输入端；所述运动记录模块的输出端连接所述码率选择模块；所述码率选择模块输出端连接所述视频播放模块输入端。
优选的，所述视频编码模块将所述原始全景视频信息编码成多种清晰度的全景视频，并发送至所述视频切块模块将所述多种清晰度全景视频进行切块处理，生成多块具有多种清晰度版本的全景视频块，并将所述全景视频块发送至所述视频拆分模块，进行切块处理可以在所述码率选择模块根据用户视角针对不同位置的所述全景视频块选择不同的清晰度以此来降低带宽消耗。
优选的，所述视频切块模块将原始全景视频信息变成物理空间上分块、每块都有几种不同清晰度的形式的多块所述全景视频块。
优选的，所述视频编码模块和所述视频切块模块采用H.265编码器进行Tile并行运算，使得视频编码与视频切块同步完成，得到具有不同清晰度的、带有播放坐标位置信息的多个所述全景视频块。
优选的，所述视频拆分模块接收所述全景视频块视频切块模块的输出，将所述全景视频块的所有清晰度版本均分割成时间长度相等的视频段，每个清晰度版本的视频段均生成一个对应的子文件，按照所述视频段的播放坐标位置、时间序号、清晰度版本，可以唯一定义一个所述子文件，并存储于所述服务器端，同时生成一个信息描述文件，发送至所述视频播放模块。
优选的，所述视频播放模块接收所述信息描述文件，获得所有所述子文件的播放坐标位置、时间序号、清晰度版本及存储路径信息，所述码率选择模块与所述运动记录模块结合计算出码率选择结果并发送至所述视频播放模块，所述视频播放模块结合所述码率选择结果，调取存储于所述服务器端的对应所述子文件，并进行缓存和播放，从而最大限度的节省了带宽。
优选的，所述视频拆分模块利用MPEG-DASH技术将所述全景视频块分割成所述视频段。
优选的，所述运动记录模块利用手持播放设备设置的陀螺仪，用于实时记录所述手持播放设备的运动速度与趋势，并将记录结果发送至所述码率选择模块。
优选的，所述码率选择模块接收所述记录结果，并采用深度强化学习的方法完成自动选择码率和自动预测下一个运动视角。
优选的，所述深度强化学习的方法将网络情况、下一个时间片各个版本清晰度所需要下载的文件大小、视频缓冲区情况和运动速度定义为状态，每一次全景视频块的码率选择定义为动作，用户体验、缓冲区占用情况定义为回报，建立一个深度强化学习模型，然后进行训练，最终完成码率的选择。
经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种基于深度强化学习的移动设备全景视频播放系统，通过设置视频编码模块将原始全景视频编码成多种清晰度版本的全景视频信息，之后通过视频切块模块将全景视频信息切割成多块具有多种清晰度版本的全景视频块，这样就可以针对网络下载速度、客户端当前缓冲区的情况，动态的选择下一个时间片所下载的视频码率，从而降低带宽消耗，最大限度的避免视频停滞，同时设置有运动记录模块和码率选择模块，根据用户运动速度和趋势判断下一时刻用户视角，然后根据视角选择不同清晰度的全景视频块进行播放，可以在用户主视角之外的全景视频播放清晰度较低的版本，从而降低带宽消耗，流畅播放全景视频。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1附图为本发明提供的整体系统结构示意图；
图2附图为本发明提供的服务器端全景视频信息处理流程结构示意图；
图3附图为本发明提供的客户端全景视频信息播放流程结构示意图；
图4附图为本发明提供的分割视频块示意图；
图5附图为本发明用户视角示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例公开了一种基于深度强化学习的移动设备全景视频播放系统，包括：服务器端和客户端；
其中，服务器端包括视频编码模块、视频切块模块和视频拆分模块；原始全景视频信息传输至视频编码模块；视频编码模块输出端连接视频切块模块输入端；视频切块模块输出端连接视频拆分模块输入端；视频拆分模块与所述客户端进行无线通讯；
客户端包括码率选择模块、运动记录模块和视频播放模块；视频播放模块与所述服务器端进行无线通讯；视频播放模块输出端连接运动记录模块的输入端和码率选择模块的输入端；运动记录模块的输出端连接码率选择模块；码率选择模块输出端连接视频播放模块输入端。
为了进一步优化上述技术方案，视频编码模块将原始全景视频信息编码成多种清晰度的全景视频，并发送至视频切块模块将多种清晰度全景视频进行切块处理，生成多块具有多种清晰度版本的全景视频块，并将全景视频块发送至视频拆分模块进行时间维度上的拆分处理，将每种版本的清晰度全景视频块拆分成多段视频段，之后在码率选择模块实时的根据用户视角变化，针对不同播放坐标位置选择不同清晰度的视频段以此来降低带宽消耗。
为了进一步优化上述技术方案，视频切块模块将原始全景视频信息变成物理空间上分块、每块都有几种不同清晰度的形式的多块全景视频块。
为了进一步优化上述技术方案，视频编码模块和视频切块模块采用H.265编码器进行Tile并行运算，使得视频编码与视频切块同步完成，得到具有不同清晰度的、带有播放坐标位置信息的多个全景视频块。
为了进一步优化上述技术方案，视频拆分模块接收全景视频块，将全景视频块的所有清晰度版本均分割成时间长度相等的视频段，每一个清晰度版本的视频段都生成一个相对应的子文件，并存储于服务器端，同时生成一个信息描述文件，发送至视频播放模块。
为了进一步优化上述技术方案，视频拆分模块利用MPEG-DASH技术将全景视频块分割成视频段。
为了进一步优化上述技术方案，信息描述文件中包含子文件的播放坐标位置信息、子文件清晰度版本情况、视频段长度信息和子文件在服务器的储存路径信息。
为了进一步优化上述技术方案，视频播放模块接收信息描述文件，同时接收码率选择模块发送的码率选择结果，根据信息描述文件中的信息以及运动记录模块、码率选择模块计算的码率选择结果，调用存储于服务器中的相应子文件，并进行缓存和播放，最大限度的节省了带宽。
为了进一步优化上述技术方案，运动记录模块利用手持播放设备设置的陀螺仪，用于实时记录手持播放设备的运动速度与趋势，并将记录结果发送至码率选择模块。
为了进一步优化上述技术方案，播放设备为头戴式播放设备，运动记录模块记录头部运动速度和趋势。
为了进一步优化上述技术方案，码率选择模块接收记录结果，并采用深度强化学习的方法完成自动选择码率和自动预测下一个运动视角。
为了进一步优化上述技术方案，深度强化学习的方法将网络情况、下一个时间片各个版本清晰度所需要下载的文件大小、视频缓冲区情况和运动速度定义为状态，每一次全景视频块的码率选择定义为动作，用户体验、缓冲区占用情况定义为回报，采用A3C算法进行深度强化学习训练，最终完成码率的选择。
实施例
码率选择模块的码率选择过程类似于马尔科夫决策过程，即下一步的动作与状态，只由当前的状态所决定，深度强化学习方法就是用来解决这一问题的，将播放时的网络情况、下一个时间片各个版本清晰度所需要下载的文件大小、视频缓冲区情况与运动速度等定义为状态、每一次全景视频块的码率选择定义为动作、取得的用户体验、缓冲区占用情况定义为回报，建立一个强化学习的模型，然后投入训练，最终得到一个码率选择的模块，可以动态的根据当前的状态，选择下一个时刻，呈现视频的每一块需要获取的视频块的清晰度版本。
全景视频具体播放过程为，首先，在第一个时间点上，用户的观察视角如图5所示，对角为t22-t43的方形区域为用户实际上能看到的范围，而t23-t44方形区域为通过运动记录模块与码率选择模块，动态推测出的下一个时刻用户将会看到的区域。在这个情况下，t22-t43方形区域和t23-t44方形区域均传输相对高清晰度版本，保证用户体验，其他块则传输低清晰度版本，降低带宽消耗。
在下一个时刻，用户产生运动，视角来到了预测范围内，t23-t44方形区域为用户视角所能看到的内容，而在上一个时间点，已经对用户的运动进行了预测，所以用户视野内的依然为高清晰度版本的内容。此时，对用户下一个时刻的运动进行预测，如t31-t52方形区域为用户视角所能看到的内容，因此在t23-t44方形区域与t31-t52方形区域所覆盖的区域均传输相对高清晰度版本。因此全景视频播放过程为结合网络情况、客户端缓冲区情况等状态，动态的选择下一个时间点，用户视野内传输什么版本的清晰度，而非视野内的内容，始终传输低清晰度版本的过程，本发明在保证用了户体验的同时提高了传输效率。
本发明利用全景视频分块传输、动态码率选择、运动预测三项技术，在保证视频质量的同时，给用户提供能在无线移动设备上播放全景视频的体验。全景视频在无线移动设备上流畅播放的限制因素就是全景视频传输对网络要求较高，需要较宽的带宽，因此本发明对全景视频的传输做出改进，从流量消耗的角度进行优化。将全景视频信息分成多块具有多种清晰度的全景视频块，然后根据网络下载速度、客户端当前缓冲区情况选择不同清晰度的全景视频块进行加载显示以最大限度避免卡顿现象发生；运动记录模块对头戴式播放设备的头部运动或者手持式播放设备的手部运动的运动速度和趋势进行记录；码率选择模块则是采用深度强化学习的方法根据采集的记录信息自动选择码率、自动预测头部或手部运动的效果，根据用户视角变化选择全景视频块的清晰度，最终在视频播放模块中显示出清晰度不同的流畅全景视频，在降低带宽消耗的同时为用户带来更好的视觉体验。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (9)

1.一种基于深度强化学习的移动设备全景视频播放系统，其特征在于，包括：服务器端和客户端；
其中，所述服务器端包括视频编码模块、视频切块模块和视频拆分模块；原始全景视频信息传输至所述视频编码模块；所述视频编码模块输出端连接所述视频切块模块输入端；所述视频切块模块输出端连接所述视频拆分模块输入端；所述视频拆分模块与所述客户端进行无线通信；
所述客户端包括码率选择模块、运动记录模块和视频播放模块；所述视频播放模块与所述服务器端进行无线通讯；所述视频播放模块输出端连接所述运动记录模块的输入端和所述码率选择模块的输入端；所述运动记录模块的输出端连接所述码率选择模块；所述码率选择模块输出端连接所述视频播放模块输入端。
2.根据权利要求1所述的基于深度强化学习的移动设备全景视频播放系统，其特征在于，所述视频编码模块将所述原始全景视频信息编码成多种清晰度的全景视频，并发送至所述视频切块模块将所述多种清晰度全景视频进行切块处理，生成多块具有多种清晰度版本的全景视频块，并将所述全景视频块发送至所述视频拆分模块。
3.根据权利要求1所述的基于深度强化学习的移动设备全景视频播放系统，其特征在于，所述视频编码模块和所述视频切块模块采用H.265编码器，视频编码与视频切块同步完成。
4.根据权利要求1或2所述的基于深度强化学习的移动设备全景视频播放系统，其特征在于，所述视频拆分模块接收所述全景视频块，将所述全景视频块的所有清晰度版本均分割成时间长度相等的视频段，每一个清晰度版本的所述视频段都生成一个相对应的子文件，并存储于所述服务器端，同时生成一个信息描述文件，发送至所述视频播放模块。
5.根据权利要求4所述的基于深度强化学习的移动设备全景视频播放系统，其特征在于，所述视频播放模块接收所述信息描述文件，根据所述信息描述文件以及运动记录模块和码率选择模块的码率选择结果，动态选择调取所述服务器中的对应所述子文件。
6.根据权利要求5所述的基于深度强化学习的移动设备全景视频播放系统，其特征在于，所述信息描述文件中包含所述子文件播放坐标位置信息、所述子文件清晰度版本情况和所述视频段长度信息。
7.根据权利要求1所述的基于深度强化学习的移动设备全景视频播放系统，其特征在于，所述运动记录模块利用手持播放设备中设置的陀螺仪，用于实时记录所述手持播放设备的运动速度与趋势，并将记录结果发送至所述码率选择模块。
8.根据权利要求5所述的基于深度强化学习的移动设备全景视频播放系统，其特征在于，所述码率选择模块接收所述记录结果，并采用深度强化学习的方法完成自动选择码率和自动预测下一个运动视角。
9.根据权利要求6所述的基于深度强化学习的移动设备全景视频播放系统，其特征在于，所述深度强化学习的方法将网络情况、下一个时间片各个版本清晰度所需要下载的文件大小、视频缓冲区情况和运动速度定义为状态，每一次全景视频块的码率选择定义为动作，用户体验、缓冲区占用情况定义为回报，建立一个深度强化学习模型，然后进行训练，最终完成码率的选择。
CN201811309212.2A 2018-11-05 2018-11-05 基于深度强化学习的移动设备全景视频播放系统 Pending CN109413448A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811309212.2A CN109413448A (zh) 2018-11-05 2018-11-05 基于深度强化学习的移动设备全景视频播放系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811309212.2A CN109413448A (zh) 2018-11-05 2018-11-05 基于深度强化学习的移动设备全景视频播放系统

Publications (1)

Publication Number Publication Date
CN109413448A true CN109413448A (zh) 2019-03-01

Family

ID=65471620

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811309212.2A Pending CN109413448A (zh) 2018-11-05 2018-11-05 基于深度强化学习的移动设备全景视频播放系统

Country Status (1)

Country Link
CN (1) CN109413448A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110248178A (zh) * 2019-06-18 2019-09-17 深圳大学 利用物体跟踪和历史轨迹全景视频的视口预测方法及系统
CN110619781A (zh) * 2019-09-30 2019-12-27 中仿智能科技（上海）股份有限公司 一种模拟飞行器的座舱系统
CN111901642A (zh) * 2020-07-31 2020-11-06 成都云格致力科技有限公司 基于强化学习的实时视频码率自适应调控方法与系统
CN112291495A (zh) * 2020-10-16 2021-01-29 厦门大学 一种基于强化学习的无线视频低时延抗干扰传输方法
CN112584119A (zh) * 2020-11-24 2021-03-30 鹏城实验室 一种基于强化学习的自适应全景视频传输方法及系统
CN113365156A (zh) * 2021-06-17 2021-09-07 合肥工业大学 一种基于有限视场反馈的全景视频多播流的视角预测方法
CN114157875A (zh) * 2021-11-26 2022-03-08 深圳创维新世界科技有限公司 Vr全景视频的预处理方法、设备及存储介质
CN114900506A (zh) * 2022-07-12 2022-08-12 中国科学技术大学 面向用户体验质量的360度视频视口预测方法
CN114979799A (zh) * 2022-05-20 2022-08-30 北京字节跳动网络技术有限公司 一种全景视频处理方法、装置、设备和存储介质
CN117156175A (zh) * 2023-10-30 2023-12-01 山东大学 基于视口预测距离控制的全景视频流QoE优化方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103905741A (zh) * 2014-03-19 2014-07-02 合肥安达电子有限责任公司 超高清全景视频实时生成与多通道同步播放系统
CN107439010A (zh) * 2015-05-27 2017-12-05 谷歌公司 流传输球形视频
CN108063961A (zh) * 2017-12-22 2018-05-22 北京联合网视文化传播有限公司 一种基于强化学习的自适应码率视频传输方法以及系统
CN108235131A (zh) * 2018-01-30 2018-06-29 重庆邮电大学 一种基于dash的全景视频自适应传输方法
WO2018127627A1 (en) * 2017-01-06 2018-07-12 Nokia Technologies Oy Method and apparatus for automatic video summarisation
CN108492322A (zh) * 2018-04-04 2018-09-04 南京大学 一种基于深度学习预测用户视场的方法
CN108551586A (zh) * 2018-03-14 2018-09-18 上海交通大学 多用户360度视频流服务器端码率自适应分配方法及系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103905741A (zh) * 2014-03-19 2014-07-02 合肥安达电子有限责任公司 超高清全景视频实时生成与多通道同步播放系统
CN107439010A (zh) * 2015-05-27 2017-12-05 谷歌公司 流传输球形视频
WO2018127627A1 (en) * 2017-01-06 2018-07-12 Nokia Technologies Oy Method and apparatus for automatic video summarisation
CN108063961A (zh) * 2017-12-22 2018-05-22 北京联合网视文化传播有限公司 一种基于强化学习的自适应码率视频传输方法以及系统
CN108235131A (zh) * 2018-01-30 2018-06-29 重庆邮电大学 一种基于dash的全景视频自适应传输方法
CN108551586A (zh) * 2018-03-14 2018-09-18 上海交通大学 多用户360度视频流服务器端码率自适应分配方法及系统
CN108492322A (zh) * 2018-04-04 2018-09-04 南京大学 一种基于深度学习预测用户视场的方法

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110248178B (zh) * 2019-06-18 2021-11-23 深圳大学 利用物体跟踪和历史轨迹全景视频的视口预测方法及系统
CN110248178A (zh) * 2019-06-18 2019-09-17 深圳大学 利用物体跟踪和历史轨迹全景视频的视口预测方法及系统
CN110619781A (zh) * 2019-09-30 2019-12-27 中仿智能科技（上海）股份有限公司 一种模拟飞行器的座舱系统
CN111901642A (zh) * 2020-07-31 2020-11-06 成都云格致力科技有限公司 基于强化学习的实时视频码率自适应调控方法与系统
CN111901642B (zh) * 2020-07-31 2022-09-30 成都云格致力科技有限公司 基于强化学习的实时视频码率自适应调控方法与系统
CN112291495A (zh) * 2020-10-16 2021-01-29 厦门大学 一种基于强化学习的无线视频低时延抗干扰传输方法
CN112584119A (zh) * 2020-11-24 2021-03-30 鹏城实验室 一种基于强化学习的自适应全景视频传输方法及系统
CN113365156A (zh) * 2021-06-17 2021-09-07 合肥工业大学 一种基于有限视场反馈的全景视频多播流的视角预测方法
CN114157875A (zh) * 2021-11-26 2022-03-08 深圳创维新世界科技有限公司 Vr全景视频的预处理方法、设备及存储介质
CN114157875B (zh) * 2021-11-26 2024-01-19 深圳创维新世界科技有限公司 Vr全景视频的预处理方法、设备及存储介质
CN114979799A (zh) * 2022-05-20 2022-08-30 北京字节跳动网络技术有限公司 一种全景视频处理方法、装置、设备和存储介质
CN114900506A (zh) * 2022-07-12 2022-08-12 中国科学技术大学 面向用户体验质量的360度视频视口预测方法
CN114900506B (zh) * 2022-07-12 2022-09-30 中国科学技术大学 面向用户体验质量的360度视频视口预测方法
CN117156175A (zh) * 2023-10-30 2023-12-01 山东大学 基于视口预测距离控制的全景视频流QoE优化方法
CN117156175B (zh) * 2023-10-30 2024-01-30 山东大学 基于视口预测距离控制的全景视频流QoE优化方法

Similar Documents

Publication Publication Date Title
CN109413448A (zh) 基于深度强化学习的移动设备全景视频播放系统
Park et al. Rate-utility optimized streaming of volumetric media for augmented reality
CN108551586B (zh) 多用户360度视频流服务器端码率自适应分配方法及系统
CN103024561B (zh) 一种拖拽进度条的显示方法及装置
CN106028092B (zh) 一种电视截屏的分享方法及装置
CN108419093A (zh) Vr视频下载方法及装置
US11694316B2 (en) Method and apparatus for determining experience quality of VR multimedia
JP2014506748A (ja) 適応ストリーミングのための様々なビットのビデオストリーム
CA2850416C (en) Method and device for transmitting streaming media
CN103607564A (zh) 一种基于摄像头的视频采集实现的方法及装置
JP2021510251A (ja) 画像データビットストリームを生成するための装置及び方法
Nguyen et al. A new adaptation approach for viewport-adaptive 360-degree video streaming
WO2012021174A2 (en) EXPERIENCE OR "SENTIO" CODECS, AND METHODS AND SYSTEMS FOR IMPROVING QoE AND ENCODING BASED ON QoE EXPERIENCES
CN102802054A (zh) 一种多流视频直播中的控制方法及装置
JP2020053760A (ja) 情報処理システム、端末装置およびプログラム
WO2002092177A2 (en) Method and arrangement for providing an interactive game including three-dimensional graphics
CN102724557A (zh) 一种多流视频直播中的编码控制方法及装置
CN108989845A (zh) 一种基于spice协议的视频传输方法
CN103270764B (zh) 用于处理视频信号的方法和设备
CN115037962A (zh) 视频自适应传输方法、装置、终端设备以及存储介质
CN104509061A (zh) 流媒体数据传输的调节方法及装置
CN1855824B (zh) 用于流式处理数据的方法和设备
Nguyen et al. An adaptive streaming method of 360 videos over HTTP/2 protocol
CN107172503B (zh) 显示设备
CN107172040A (zh) 一种虚拟角色的播放方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190301

RJ01 Rejection of invention patent application after publication