CN112584119B - 一种基于强化学习的自适应全景视频传输方法及系统 - Google Patents

一种基于强化学习的自适应全景视频传输方法及系统 Download PDF

Info

Publication number
CN112584119B
CN112584119B CN202011332537.XA CN202011332537A CN112584119B CN 112584119 B CN112584119 B CN 112584119B CN 202011332537 A CN202011332537 A CN 202011332537A CN 112584119 B CN112584119 B CN 112584119B
Authority
CN
China
Prior art keywords
video
quality
user
network
tile
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011332537.XA
Other languages
English (en)
Other versions
CN112584119A (zh
Inventor
潘宇轩
胡欣珏
刘雨
张琳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Peng Cheng Laboratory
Original Assignee
Beijing University of Posts and Telecommunications
Peng Cheng Laboratory
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications, Peng Cheng Laboratory filed Critical Beijing University of Posts and Telecommunications
Priority to CN202011332537.XA priority Critical patent/CN112584119B/zh
Publication of CN112584119A publication Critical patent/CN112584119A/zh
Application granted granted Critical
Publication of CN112584119B publication Critical patent/CN112584119B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Image Analysis (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明公开了一种基于强化学习的自适应全景视频传输方法及系统，用户观看全景视频前，下载深度学习模型，在正式观看全景视频时，客户端收集用户观看信息，通过预测用户在未来观看的内容，使用强化学习模型灵活根据带宽自适应选择获取预测内容所在瓦片的质量等级，对于需求更高的内容优先选择获取更高的质量，当相应的编码文件由远端视频服务器传输到用户所在的客户端后，客户端进行解码并播放给用户，满足用户的观看需求。

Description

一种基于强化学习的自适应全景视频传输方法及系统
技术领域
本发明涉及全景视频技术领域，尤其涉及一种基于强化学习的自适应全景视频传输方法及系统。
背景技术
全景视频是一种用3D摄像机进行全方位360度进行拍摄的视频，用户在观看视频的时候，可以随意调节视频上下左右进行观看。
用户在观看全景视频的时候，对于视频质量的损失非常敏感，因此有必要在用户观看全景视频时保证视频质量QoE(Quality of Experience，视频质量，或者体验质量)。此外，全景视频的传输本身需要大量带宽，用户的观看需求就对网络资源提出了极大要求，网络将变得不堪重负。在此情形下，如何设计全景视频的传输方式，节约网络资源并提高用户的QoE是一个亟待解决的问题。
现有技术方案主要从客观的视频质量评价指标出发实现方案的改进，很少考虑用户主观对于全景视频的感受方式，而这种主观的感受方式实际上会产生全景视频内容上的冗余。通过衡量用户主观感受的特点，有针对性地处理全景视频的内容，去除视频内容冗余，将节省大量网络带宽，并提高用户QoE。针对普通视频主观质量感受的问题，即非360度全景视频中的最低可察觉损失处理得到了大量研究，但在360全景视频领域还处于初步探索的阶段。目前较为先进的是基于物体检测衡量用户主观感受的方案，认为用户会对视频中处于画面中心的物体的清晰度等质量有更高要求。在检测到中心物体后，从空间维度将360度全景视频切分为多个瓦片(Tile)，将检测物体和其他内容分别提取出来。瓦片以多个等级进行编码，终端根据当前视口(FOV，Field of View，视场)的范围根据网络带宽，使用线性规划等优化算法自适应地选择视频的质量等级，对于检测物体所在的瓦片，在传输的过程中优先传输更高的编码质量的版本。从而这一方案能够在有限网络资源下，提升用户的QoE，但物体检测只能实现常见物体的提取，不适用于不同类型的全景视频，且当存在快速移动的物体时可能无法及时识别而削弱算法的效果。
因此，现有技术还有待于改进和发展。
发明内容
本发明的主要目的在于提供一种基于强化学习的自适应全景视频传输方法及系统，旨在解决现有技术中已有的全景视频的传输方式无法提供高质量视频给用户观看的问题。
为实现上述目的，本发明提供一种基于强化学习的自适应全景视频传输方法，所述基于强化学习的自适应全景视频传输方法包括如下步骤：
远端视频服务器对视频内容进行分析，使用光流法获取视频内容的运动速度和景深，得到视频质量的数值结果；
远端视频服务器根据视频质量进行瓦片分割，采用二维聚类算法将视频从空间上分为规定数目的不同尺寸的瓦片，对瓦片进行不同质量等级的编码，获得多个质量版本的编码结果；
远端视频服务器根据存储的带宽数据和多个质量版本的编码结果训练深度学习模型，并将深度学习模型作为瓦片自适应质量选择器；
客户端下载并在本地运行深度学习模型，收集来自用户设备的全景视频观看信息，通过视点预测获取用户在未来观看的视场区域内包含的瓦片范围，依照深度学习模型对于质量的选择结果，向远端服务器请求并获取相应的视频内容；
客户端获得视频内容后，对视频内容进行解码、瓦片拼接和渲染，将画面呈现给用户。
可选地，所述的基于强化学习的自适应全景视频传输方法，其中，所述远端视频服务器对视频内容进行分析，使用光流法获取视频内容的运动速度和景深，得到视频质量的数值结果，具体包括：
远端视频服务器读取存储的视频文件，按时间顺序进行分段处理；
远端视频服务器调用光流法神经网络，将分段后的视频输入到光流法神经网络，输出光流法检测结果；
远端视频服务器根据光流法检测结果，得到视频内容相对运动速度和相对景深，通过量化得到最低可察觉损失，计算当前视频质量，减去最低可察觉损失得到实际的视频质量的数值结果。
可选地，所述的基于强化学习的自适应全景视频传输方法，其中，所述远端视频服务器根据视频质量进行瓦片分割，采用二维聚类算法将视频从空间上分为规定数目的不同尺寸的瓦片，对瓦片进行不同质量等级的编码，获得多个质量版本的编码结果，具体包括：
远端视频服务器将视频段在空间上分割为预设区域大小的矩形基本瓦片；
计算每一个矩形基本瓦片的质量增长效率；
对矩形基本瓦片进行聚类操作，将相邻的矩形基本瓦片合成为指定数量的最终需要传输给用户的瓦片；
将分割得到的瓦片进行HEVC编码，使得每个瓦片分配多个不同等级的编码质量；
使用属性文件记录编码结果的信息。
可选地，所述的基于强化学习的自适应全景视频传输方法，其中，所述质量增长效率为采用最高级编码和最低级编码时基本瓦片的视频质量数值之差除以最高级编码和最低级编码对应的量化参数之差。
可选地，所述的基于强化学习的自适应全景视频传输方法，其中，所述远端视频服务器根据存储的带宽数据和多个质量版本的编码结果训练深度学习模型，并将深度学习模型作为瓦片自适应质量选择器，具体包括：
远端视频服务器初始化深度学习网络，为网络状态赋随机初值，并将反馈函数置为0；
读取网络带宽数据集中的带宽数据，更新网络状态；
网络决策器根据网络状态确定选择瓦片质量水平的决策，确认传输何种版本的瓦片编码文件给用户；
网络判决器根据网络决策器的选择，依据网络状态计算反馈函数的值；
判断反馈函数是否大于0，若否，则表示决策不适合当前网络状态，继续读取网络带宽数据集中的带宽数据，更新网络状态，若是，则表示决策对当前状态有增益；
若反馈函数大于0，则依据反馈函数值和决策反向传播更新网络决策器的网络参数，训练轮数加一；
判断训练轮数是否达到预设数值，若否，则网络需要继续训练，继续读取网络带宽数据集中的带宽数据，更新网络状态；
若训练轮数达到预设数值，则训练结束，保存网络决策器的参数作为强化学习的模型参数。
可选地，所述的基于强化学习的自适应全景视频传输方法，其中，所述客户端下载并在本地运行深度学习模型，收集来自用户设备的全景视频观看信息，通过视点预测获取用户在未来观看的视场区域内包含的瓦片范围，依照深度学习模型对于质量的选择结果，向远端服务器请求并获取相应的视频内容，具体包括：
客户端通过网络连接到远端视频服务器，并下载深度学习模型，在客户端将深度学习模型进行预加载；
客户端收集用户观看信息；
根据用户观看信息，使用线性回归算法进行用户视点预测，计算用户下一步观看位置所在瓦片的索引和最低可察觉损失；
将预测结果及当前的带宽数据等输入到深度学习模型中，运行模型确定需要获取的瓦片数据的质量水平；
客户端根据质量水平预测结果，向远端视频服务器发送HTTP格式的对应数据获取请求。
可选地，所述的基于强化学习的自适应全景视频传输方法，其中，所述客户端获得视频内容后，对视频内容进行解码、瓦片拼接和渲染，将画面呈现给用户，具体包括：
远端视频服务器接受客户端响应后发送视频数据，客户端接收数据包；
客户端将数据包中包含的视频编码文件送入系统缓存；
将数据包中的属性文件取出，解析属性文件中包含的瓦片位置信息；
根据属性文件中得到的信息，对编码的数据进行解码，得到原始的瓦片数据文件；
将瓦片拼接形成完整的视频画面，送入观看设备中进行渲染，向用户呈现出供观看的全景视频内容。
可选地，所述的基于强化学习的自适应全景视频传输方法，其中，所述编码结果的信息包括：量化参数、分辨率和瓦片在整个画面中的位置。
可选地，所述的基于强化学习的自适应全景视频传输方法，其中，所述用户观看信息包括：观看位置、网络带宽和视频质量。
此外，为实现上述目的，本发明还提供一种基于强化学习的自适应全景视频传输系统，其中，所述基于强化学习的自适应全景视频传输系统包括：
远端服务器和客户端，所述客户端通过网络和所述远端视频服务器建立连接；
远端视频服务器对视频内容进行分析，使用光流法获取视频内容的运动速度和景深，得到视频质量的数值结果；
远端视频服务器根据视频质量进行瓦片分割，采用二维聚类算法将视频从空间上分为规定数目的不同尺寸的瓦片，对瓦片进行不同质量等级的编码，获得多个质量版本的编码结果；
远端视频服务器根据存储的带宽数据和多个质量版本的编码结果训练深度学习模型，并将深度学习模型作为瓦片自适应质量选择器；
客户端下载并在本地运行深度学习模型，收集来自用户设备的全景视频观看信息，通过视点预测获取用户在未来观看的视场区域内包含的瓦片范围，依照深度学习模型对于质量的选择结果，向远端服务器请求并获取相应的视频内容；
客户端获得视频内容后，对视频内容进行解码、瓦片拼接和渲染，将画面呈现给用户。
本发明通过远端视频服务器对视频内容进行分析，使用光流法获取视频内容的运动速度和景深，得到视频质量的数值结果；远端视频服务器根据视频质量进行瓦片分割，采用二维聚类算法将视频从空间上分为规定数目的不同尺寸的瓦片，对瓦片进行不同质量等级的编码，获得多个质量版本的编码结果；远端视频服务器根据存储的带宽数据和多个质量版本的编码结果训练深度学习模型，并将深度学习模型作为瓦片自适应质量选择器；客户端下载并在本地运行深度学习模型，收集来自用户设备的全景视频观看信息，通过视点预测获取用户在未来观看的视场区域内包含的瓦片范围，依照深度学习模型对于质量的选择结果，向远端服务器请求并获取相应的视频内容；客户端获得视频内容后，对视频内容进行解码、瓦片拼接和渲染，将画面呈现给用户。本发明通过预测用户在未来观看的内容，使用深度学习模型灵活根据带宽自适应选择获取预测内容所在瓦片的质量等级，对于需求更高的内容优先选择获取更高的质量，当相应的编码文件由远端视频服务器传输到用户所在的客户端后，客户端进行解码并播放给用户，满足用户的观看需求。
附图说明
图1是本发明基于强化学习的自适应全景视频传输方法的较佳实施例的流程图；
图2是本发明基于强化学习的自适应全景视频传输方法的较佳实施例中步骤s101的流程图；
图3是本发明基于强化学习的自适应全景视频传输方法的较佳实施例中步骤s102的流程图；
图4是本发明基于强化学习的自适应全景视频传输方法的较佳实施例中步骤s103的流程图；
图5是本发明基于强化学习的自适应全景视频传输方法的较佳实施例中步骤s104的流程图；
图6是本发明基于强化学习的自适应全景视频传输方法的较佳实施例中步骤s105的流程图；
图7是本发明基于强化学习的自适应全景视频传输系统的较佳实施例的原理示意图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明较佳实施例所述的基于强化学习的自适应全景视频传输方法，如图1所示，所述基于强化学习的自适应全景视频传输方法包括以下步骤：
步骤s101、远端视频服务器对视频内容进行分析，使用光流法获取视频内容的运动速度和景深，得到视频质量的数值结果。
具体的过程请参阅图2，其为本发明提供的台标调整方法中步骤s101的流程图。
如图2所示，所述步骤s101包括：
s201、远端视频服务器读取存储的视频文件，按时间顺序进行分段(chunk)处理，默认为1秒/段；
s202、远端视频服务器调用光流法神经网络，将分段后的视频输入到光流法神经网络，输出光流法检测结果；
s203、远端视频服务器根据光流法检测结果，得到视频内容相对运动速度和相对景深，通过量化得到最低可察觉损失(Optical flow based Just-NoticeableDistortion，OJND)，计算当前视频质量，减去最低可察觉损失(OJND)得到实际的视频质量的数值结果。
其中，光流(optical flow)是空间运动物体在观察成像平面上的像素运动的瞬时速度；光流法是利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧跟当前帧之间存在的对应关系，从而计算出相邻帧之间物体的运动信息的一种方法。
光流法神经网络是一种卷积神经网络(CNN，Convolutional Neural Networks)，卷积神经网络是一类包含卷积计算且具有深度结构的前馈神经网络，是深度学习(deeplearning)的代表算法之一；卷积神经网络具有表征学习(representation learning)能力，能够按其阶层结构对输入信息进行平移不变分类。
步骤s102、远端视频服务器根据视频质量进行瓦片分割，采用二维聚类算法将视频从空间上分为规定数目的不同尺寸的瓦片，对瓦片进行不同质量等级的编码，获得多个质量版本的编码结果。
具体的过程请参阅图3，其为本发明提供的台标调整方法中步骤s102的流程图。
如图3所示，所述步骤s102包括：
s301、远端视频服务器将视频段在空间上分割为预设区域大小(区域较小)的矩形基本瓦片(例如12×24个)；
s302、计算每一个矩形基本瓦片的质量增长效率；其中，所述质量增长效率为采用最高级编码和最低级编码时基本瓦片的视频质量数值之差除以最高级编码和最低级编码对应的量化参数(Quality Parameter，QP)之差；
s303、对矩形基本瓦片进行聚类操作，将相邻的矩形基本瓦片合成为指定数量的最终需要传输给用户的瓦片；其中，聚类的算法通过最小化瓦片中包含的基本瓦片质量增长效率总方差之和的形式实现；
s304、将分割得到的瓦片进行HEVC(High Efficiency Video Coding，高效率视频编码，是一种新的视频压缩标准)编码，使得每个瓦片分配多个不同等级的编码质量，以满足客户端的需要；
s305、使用属性文件记录编码结果的信息，例如量化参数、分辨率、瓦片在整个画面中的位置等信息。
步骤s103、远端视频服务器根据存储的带宽数据和多个质量版本的编码结果训练深度学习模型，并将深度学习模型作为瓦片自适应质量选择器。
具体的过程请参阅图4，其为本发明提供的台标调整方法中步骤s103的流程图。
如图4所示，所述步骤s103包括：
s401、远端视频服务器初始化深度学习网络，为网络状态赋随机初值，并将反馈函数置为0；
s402、读取网络带宽数据集中的带宽数据，更新网络状态；
s403、网络决策器根据网络状态确定选择瓦片质量水平的决策，即确认传输何种(哪个)版本的瓦片编码文件给用户；
s404、网络判决器根据网络决策器的选择，依据网络状态计算反馈函数的值；
s405、判断反馈函数是否大于0，若否，则证明决策不适合当前网络状态，返回继续执行步骤s402；若是，则表示决策对当前状态有增益，继续执行步骤s406；
s406、依据反馈函数值和决策反向传播更新网络决策器的网络参数，训练轮数加一；
s407、判断训练轮数是否达到预设数值，若否，则网络需要继续训练，返回继续执行步骤s402；若是，继续执行步骤s408；
s408、若训练轮数达到预设数值，则训练结束，保存网络决策器的参数作为强化学习的模型参数。
步骤s104、客户端下载并在本地运行深度学习模型，收集来自用户设备的全景视频观看信息，通过视点预测获取用户在未来观看的视场区域内包含的瓦片范围，依照深度学习模型对于质量的选择结果，向远端服务器请求并获取相应的视频内容。
具体的过程请参阅图5，其为本发明提供的台标调整方法中步骤s104的流程图。
如图5所示，所述步骤s104包括：
s501、客户端(用户使用观看设备作为客户端)通过网络连接到远端视频服务器，并下载深度学习模型，在客户端将深度学习模型进行预加载；
s502、客户端收集用户观看信息，例如观看位置、网络带宽、视频质量等信息；
s503、根据用户观看信息，使用线性回归算法(线性回归就是能够用一个直线较为精确地描述数据之间的关系，这样当出现新的数据的时候，就能够预测出一个简单的值)进行用户视点预测，计算用户下一步观看位置所在瓦片的索引和最低可察觉损失；
s504、将预测结果及当前的带宽数据等输入到深度学习模型中，运行模型确定需要获取的瓦片数据的质量水平；
s505、客户端根据质量水平预测结果，向远端视频服务器发送HTTP格式的对应数据获取请求。
步骤s105、客户端下载并在本地运行深度学习模型，收集来自用户设备的全景视频观看信息，通过视点预测获取用户在未来观看的视场区域内包含的瓦片范围，依照深度学习模型对于质量的选择结果，向远端服务器请求并获取相应的视频内容。
具体的过程请参阅图6，其为本发明提供的台标调整方法中步骤s105的流程图。
如图6所示，所述步骤s105包括：
s601、远端视频服务器接受客户端响应后发送视频数据，客户端接收数据包；
s602、客户端将数据包中包含的视频编码文件送入系统缓存；
s603、将数据包中的属性文件取出，解析属性文件中包含的瓦片位置信息；
s604、根据属性文件中得到的信息，对编码的数据进行解码，得到原始的瓦片数据文件；
s605、将瓦片拼接形成完整的视频画面，送入观看设备中进行渲染，向用户呈现出供观看的全景视频内容。
本发明中，对用户主观感受进行建模，发现360度全景视频中用户感兴趣的区域(RoI，region of interest)是整个视频画面内容的一小部分，对运动内容、前景内容有更高的质量需求。
本发明在此基础上搭建了一个基于强化学习的全景视频传输的系统框架，首先远端视频服务器使用光流检测对全景视频进行分析，提取出视频内容的运动速度和景深的信息，使用最低可察觉损失量化这些信息，计算考虑用户主观质量感受的视频评价指标的数值，以评价指标作为分割瓦片的参照，将需要传输的360度全景视频进行分割，用户需求更高的内容和其他内容分别划分为单独的瓦片，每一个视频瓦片都被HEVC编码器压缩为不同质量等级的视频文件，同时针对这一视频在远端视频服务器训练深度学习中的深度学习模型，用于实现瓦片的自适应质量选择，用户观看全景视频前，首先下载深度学习模型，在正式观看全景视频时，客户端头戴式设备等收集用户观看信息，通过预测用户在未来观看的内容，使用深度学习模型灵活根据带宽自适应选择获取预测内容所在瓦片的质量等级，对于需求更高的内容优先选择获取更高的质量，当相应的编码文件由服务器端传输到用户所在的客户端后，客户端进行解码并播放给用户，满足用户的观看需求。
进一步地，如图7所示，基于上述基于强化学习的自适应全景视频传输方法，本发明还相应提供了一种基于强化学习的自适应全景视频传输系统，其中，所述基于强化学习的自适应全景视频传输系统包括：
远端服务器和客户端，所述客户端通过网络和所述远端视频服务器建立连接；远端视频服务器对视频内容进行分析，使用光流法获取视频内容的运动速度和景深，得到视频质量的数值结果；远端视频服务器根据视频质量进行瓦片分割，采用二维聚类算法将视频从空间上分为规定数目的不同尺寸的瓦片，对瓦片进行不同质量等级的编码，获得多个质量版本的编码结果；远端视频服务器根据存储的带宽数据和多个质量版本的编码结果训练深度学习模型，并将深度学习模型作为瓦片自适应质量选择器；客户端下载并在本地运行深度学习模型，收集来自用户设备的全景视频观看信息，通过视点预测获取用户在未来观看的视场区域内包含的瓦片范围，依照深度学习模型对于质量的选择结果，向远端服务器请求并获取相应的视频内容；客户端获得视频内容后，对视频内容进行解码、瓦片拼接和渲染，将画面呈现给用户。
本发明建立了与DASH(Dynamic Adaptive Streaming over HTTP)协议和边缘计算兼容的全景视频传输框架，采用基于卷积神经网络(CNN)的光流估计方法，精确提取各像素点的相对速度和景深，量化用户对全景视频播放质量失真的感知程度，提出了考虑用户主观感受的360°视频质量评价指标，提出了一种多尺寸的瓦片分割方案，将具有相似质量的内容分配到同一个瓦片下，并使用强化学习网络作为瓦片自适应比特率(Adaptive BitRate,ABR)选择的工具。
综上所述，本发明提供一种基于强化学习的自适应全景视频传输方法及系统，所述方法包括：远端视频服务器对视频内容进行分析，使用光流法获取视频内容的运动速度和景深，得到视频质量的数值结果；远端视频服务器根据视频质量进行瓦片分割，采用二维聚类算法将视频从空间上分为规定数目的不同尺寸的瓦片，对瓦片进行不同质量等级的编码，获得多个质量版本的编码结果；远端视频服务器根据存储的带宽数据和多个质量版本的编码结果训练深度学习模型，并将深度学习模型作为瓦片自适应质量选择器；客户端下载并在本地运行深度学习模型，收集来自用户设备的全景视频观看信息，通过视点预测获取用户在未来观看的视场区域内包含的瓦片范围，依照深度学习模型对于质量的选择结果，向远端服务器请求并获取相应的视频内容；客户端获得视频内容后，对视频内容进行解码、瓦片拼接和渲染，将画面呈现给用户。本发明通过预测用户在未来观看的内容，使用深度学习模型灵活根据带宽自适应选择获取预测内容所在瓦片的质量等级，对于需求更高的内容优先选择获取更高的质量，当相应的编码文件由远端视频服务器传输到用户所在的客户端后，客户端进行解码并播放给用户，满足用户的观看需求。
当然，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关硬件(如处理器，控制器等)来完成，所述的程序可存储于一计算机可读取的存储介质中，所述程序在执行时可包括如上述各方法实施例的流程。其中所述的存储介质可为存储器、磁碟、光盘等。
应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (6)

1.一种基于强化学习的自适应全景视频传输方法，其特征在于，所述基于强化学习的自适应全景视频传输方法包括：
远端视频服务器对视频内容进行分析，使用光流法获取视频内容的运动速度和景深，得到视频质量的数值结果；
远端视频服务器根据视频质量进行瓦片分割，采用二维聚类算法将视频从空间上分为规定数目的不同尺寸的瓦片，对瓦片进行不同质量等级的编码，获得多个质量版本的编码结果；
远端视频服务器根据存储的带宽数据和多个质量版本的编码结果训练深度学习模型，并将深度学习模型作为瓦片自适应质量选择器；
客户端下载并在本地运行深度学习模型，收集来自用户设备的全景视频观看信息，通过视点预测获取用户在未来观看的视场区域内包含的瓦片范围，依照深度学习模型对于质量的选择结果，向远端视频服务器请求并获取相应的视频内容；
客户端获得视频内容后，对视频内容进行解码、瓦片拼接和渲染，将画面呈现给用户；
所述远端视频服务器对视频内容进行分析，使用光流法获取视频内容的运动速度和景深，得到视频质量的数值结果，具体包括：
远端视频服务器读取存储的视频文件，按时间顺序进行分段处理；
远端视频服务器调用光流法神经网络，将分段后的视频输入到光流法神经网络，输出光流法检测结果；
远端视频服务器根据光流法检测结果，得到视频内容相对运动速度和相对景深，通过量化得到最低可察觉损失，计算当前视频质量，减去最低可察觉损失得到实际的视频质量的数值结果；
所述远端视频服务器根据视频质量进行瓦片分割，采用二维聚类算法将视频从空间上分为规定数目的不同尺寸的瓦片，对瓦片进行不同质量等级的编码，获得多个质量版本的编码结果，具体包括：
远端视频服务器将视频段在空间上分割为预设区域大小的矩形基本瓦片；
计算每一个矩形基本瓦片的质量增长效率；
对矩形基本瓦片进行聚类操作，将相邻的矩形基本瓦片合成为指定数量的最终需要传输给用户的瓦片，其中，聚类的算法通过最小化矩形基本瓦片的质量增长效率总方差之和的形式实现；
将分割得到的瓦片进行HEVC编码，使得每个瓦片分配多个不同等级的编码质量；
使用属性文件记录编码结果的信息；
所述远端视频服务器根据存储的带宽数据和多个质量版本的编码结果训练深度学习模型，并将深度学习模型作为瓦片自适应质量选择器，具体包括：
远端视频服务器初始化深度学习模型，为网络状态赋随机初值，并将反馈函数置为0；
读取网络带宽数据集中的带宽数据，更新网络状态；
网络决策器根据网络状态确定选择瓦片质量水平的决策，确认传输何种版本的瓦片编码文件给用户；
网络判决器根据网络决策器的选择，依据网络状态计算反馈函数的值；
判断反馈函数是否大于0，若否，则表示决策不适合当前网络状态，继续读取网络带宽数据集中的带宽数据，更新网络状态，若是，则表示决策对当前状态有增益；
若反馈函数大于0，则依据反馈函数值和决策反向传播更新网络决策器的网络参数，训练轮数加一；
判断训练轮数是否达到预设数值，若否，则网络需要继续训练，继续读取网络带宽数据集中的带宽数据，更新网络状态；
若训练轮数达到预设数值，则训练结束，保存网络决策器的参数作为强化学习的模型参数；
所述客户端下载并在本地运行深度学习模型，收集来自用户设备的全景视频观看信息，通过视点预测获取用户在未来观看的视场区域内包含的瓦片范围，依照深度学习模型对于质量的选择结果，向远端视频服务器请求并获取相应的视频内容，具体包括：
客户端通过网络连接到远端视频服务器，并下载深度学习模型，在客户端将深度学习模型进行预加载；
客户端收集用户观看信息；
根据用户观看信息，使用线性回归算法进行用户视点预测，计算用户下一步观看位置所在瓦片的索引和最低可察觉损失；
将预测结果及当前的带宽数据输入到深度学习模型中，运行模型确定需要获取的瓦片数据的质量水平；
客户端根据质量水平预测结果，向远端视频服务器发送HTTP格式的对应数据获取请求；
通过预测用户在未来观看的内容，使用深度学习模型灵活根据带宽自适应选择获取预测内容所在瓦片的质量等级，对于需求更高的内容优先选择获取更高的质量，当相应的编码文件由服务器端传输到用户所在的客户端后，客户端进行解码并播放给用户，满足用户的观看需求。
2.根据权利要求1所述的基于强化学习的自适应全景视频传输方法，其特征在于，所述质量增长效率为采用质量最高级编码和质量最低级编码时基本瓦片的视频质量数值之差除以质量最高级编码和质量最低级编码对应的量化参数之差。
3.根据权利要求1所述的基于强化学习的自适应全景视频传输方法，其特征在于，所述客户端获得视频内容后，对视频内容进行解码、瓦片拼接和渲染，将画面呈现给用户，具体包括：
远端视频服务器接受客户端响应后发送视频数据，客户端接收数据包；
客户端将数据包中包含的视频编码文件送入系统缓存；
将数据包中的属性文件取出，解析属性文件中包含的瓦片位置信息；
根据属性文件中得到的信息，对编码的数据进行解码，得到原始的瓦片数据文件；
将瓦片拼接形成完整的视频画面，送入观看设备中进行渲染，向用户呈现出供观看的全景视频内容。
4.根据权利要求1所述的基于强化学习的自适应全景视频传输方法，其特征在于，所述编码结果的信息包括：量化参数、分辨率和瓦片在整个画面中的位置。
5.根据权利要求1所述的基于强化学习的自适应全景视频传输方法，其特征在于，所述用户观看信息包括：观看位置、网络带宽和视频质量。
6.一种基于强化学习的自适应全景视频传输系统，其特征在于，所述基于强化学习的自适应全景视频传输系统包括：
远端视频服务器和客户端，所述客户端通过网络和所述远端视频服务器建立连接；
远端视频服务器对视频内容进行分析，使用光流法获取视频内容的运动速度和景深，得到视频质量的数值结果；
远端视频服务器根据视频质量进行瓦片分割，采用二维聚类算法将视频从空间上分为规定数目的不同尺寸的瓦片，对瓦片进行不同质量等级的编码，获得多个质量版本的编码结果；
远端视频服务器根据存储的带宽数据和多个质量版本的编码结果训练深度学习模型，并将深度学习模型作为瓦片自适应质量选择器；
客户端下载并在本地运行深度学习模型，收集来自用户设备的全景视频观看信息，通过视点预测获取用户在未来观看的视场区域内包含的瓦片范围，依照深度学习模型对于质量的选择结果，向远端视频服务器请求并获取相应的视频内容；
客户端获得视频内容后，对视频内容进行解码、瓦片拼接和渲染，将画面呈现给用户；
远端视频服务器读取存储的视频文件，按时间顺序进行分段处理；
远端视频服务器调用光流法神经网络，将分段后的视频输入到光流法神经网络，输出光流法检测结果；
远端视频服务器根据光流法检测结果，得到视频内容相对运动速度和相对景深，通过量化得到最低可察觉损失，计算当前视频质量，减去最低可察觉损失得到实际的视频质量的数值结果；
远端视频服务器将视频段在空间上分割为预设区域大小的矩形基本瓦片；
计算每一个矩形基本瓦片的质量增长效率；
对矩形基本瓦片进行聚类操作，将相邻的矩形基本瓦片合成为指定数量的最终需要传输给用户的瓦片，其中，聚类的算法通过最小化矩形基本瓦片的质量增长效率总方差之和的形式实现；
将分割得到的瓦片进行HEVC编码，使得每个瓦片分配多个不同等级的编码质量；
使用属性文件记录编码结果的信息；
远端视频服务器初始化深度学习模型，为网络状态赋随机初值，并将反馈函数置为0；
读取网络带宽数据集中的带宽数据，更新网络状态；
网络决策器根据网络状态确定选择瓦片质量水平的决策，确认传输何种版本的瓦片编码文件给用户；
网络判决器根据网络决策器的选择，依据网络状态计算反馈函数的值；
判断反馈函数是否大于0，若否，则表示决策不适合当前网络状态，继续读取网络带宽数据集中的带宽数据，更新网络状态，若是，则表示决策对当前状态有增益；
若反馈函数大于0，则依据反馈函数值和决策反向传播更新网络决策器的网络参数，训练轮数加一；
判断训练轮数是否达到预设数值，若否，则网络需要继续训练，继续读取网络带宽数据集中的带宽数据，更新网络状态；
若训练轮数达到预设数值，则训练结束，保存网络决策器的参数作为强化学习的模型参数；
客户端通过网络连接到远端视频服务器，并下载深度学习模型，在客户端将深度学习模型进行预加载；
客户端收集用户观看信息；
根据用户观看信息，使用线性回归算法进行用户视点预测，计算用户下一步观看位置所在瓦片的索引和最低可察觉损失；
将预测结果及当前的带宽数据输入到深度学习模型中，运行模型确定需要获取的瓦片数据的质量水平；
客户端根据质量水平预测结果，向远端视频服务器发送HTTP格式的对应数据获取请求；
通过预测用户在未来观看的内容，使用深度学习模型灵活根据带宽自适应选择获取预测内容所在瓦片的质量等级，对于需求更高的内容优先选择获取更高的质量，当相应的编码文件由服务器端传输到用户所在的客户端后，客户端进行解码并播放给用户，满足用户的观看需求。
CN202011332537.XA 2020-11-24 2020-11-24 一种基于强化学习的自适应全景视频传输方法及系统 Active CN112584119B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011332537.XA CN112584119B (zh) 2020-11-24 2020-11-24 一种基于强化学习的自适应全景视频传输方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011332537.XA CN112584119B (zh) 2020-11-24 2020-11-24 一种基于强化学习的自适应全景视频传输方法及系统

Publications (2)

Publication Number Publication Date
CN112584119A CN112584119A (zh) 2021-03-30
CN112584119B true CN112584119B (zh) 2022-07-22

Family

ID=75123259

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011332537.XA Active CN112584119B (zh) 2020-11-24 2020-11-24 一种基于强化学习的自适应全景视频传输方法及系统

Country Status (1)

Country Link
CN (1) CN112584119B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113905221B (zh) * 2021-09-30 2024-01-16 福州大学 一种立体全景视频非对称传输流自适应方法及系统
CN115022546B (zh) * 2022-05-31 2023-11-14 咪咕视讯科技有限公司 全景视频传输方法、装置、终端设备以及存储介质
CN114900506B (zh) * 2022-07-12 2022-09-30 中国科学技术大学 面向用户体验质量的360度视频视口预测方法
CN116996661B (zh) * 2023-09-27 2024-01-05 中国科学技术大学 三维视频展示方法、装置、设备及介质
CN117750135B (zh) * 2024-02-21 2024-04-30 北京铁力山科技股份有限公司 一种视频传输的优化方法、装置、设备及介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108156484B (zh) * 2016-12-05 2022-01-14 奥多比公司 利用自适应速率分配优先处理基于图块的虚拟现实视频流
CN109286855B (zh) * 2017-07-19 2020-10-13 北京大学 全景视频的传输方法、传输装置和传输系统
CN109413448A (zh) * 2018-11-05 2019-03-01 中山大学 基于深度强化学习的移动设备全景视频播放系统
CN110248210B (zh) * 2019-05-29 2020-06-30 上海交通大学 视频传输优化方法

Also Published As

Publication number Publication date
CN112584119A (zh) 2021-03-30

Similar Documents

Publication Publication Date Title
CN112584119B (zh) 一种基于强化学习的自适应全景视频传输方法及系统
US20220030244A1 (en) Content adaptation for streaming
JP2020512772A (ja) Ｖｒビデオ用に画像解像度を最適化してビデオストリーミングの帯域幅を最適化する画像処理のための方法及び装置
US20180063549A1 (en) System and method for dynamically changing resolution based on content
CN113170234B (zh) 多向视频的自适应编码和流式传输方法、系统和存储介质
CN101401434B (zh) 用于改变视频图像序列的时间频率的方法和装置
CN104096362A (zh) 基于游戏者关注区域改进视频流的码率控制比特分配
IL227673A (en) Scene-adjusted bit rate control
US10623744B2 (en) Scene based rate control for video compression and video streaming
CN106688239A (zh) 视频下载方法、装置及系统
Zhou et al. Reduced-reference stereoscopic image quality assessment based on view and disparity zero-watermarks
KR102472971B1 (ko) 인공지능 모델을 이용한 동영상 인코딩 최적화 방법, 시스템, 및 컴퓨터 프로그램
CN111263243B (zh) 视频编码方法、装置、计算机可读介质及电子设备
US9967581B2 (en) Video quality adaptation with frame rate conversion
EP4152755A1 (en) Methods, systems, and apparatuses for adaptive bitrate ladder construction based on dynamically adjustable neural networks
CN111970565A (zh) 视频数据处理方法、装置、电子设备及存储介质
US10944981B2 (en) Method for the contextual composition of an intermediate video representation
CN110149515B (zh) 数据传输方法及装置
CN113452996B (zh) 一种视频编码、解码方法及装置
US20190052799A1 (en) Perception-based image processing apparatus and associated method
CN115379291B (zh) 一种码表更新方法、装置、设备及存储介质
CN116980604A (zh) 视频编码方法、视频解码方法及相关设备
CN116033180A (zh) 视频处理方法、电子设备及存储介质
US11234004B2 (en) Block type prediction leveraging block-based pixel activities
CN112351282A (zh) 图像数据的传输方法及装置、非易失性存储介质及处理器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant