CN113852817B - 自适应码率传输服务器、码率确定方法、传输系统及方法 - Google Patents

自适应码率传输服务器、码率确定方法、传输系统及方法 Download PDF

Info

Publication number
CN113852817B
CN113852817B CN202010597786.5A CN202010597786A CN113852817B CN 113852817 B CN113852817 B CN 113852817B CN 202010597786 A CN202010597786 A CN 202010597786A CN 113852817 B CN113852817 B CN 113852817B
Authority
CN
China
Prior art keywords
code rate
client
media content
adaptive
network condition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010597786.5A
Other languages
English (en)
Other versions
CN113852817A (zh
Inventor
徐异凌
殷骄阳
张旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN202010597786.5A priority Critical patent/CN113852817B/zh
Publication of CN113852817A publication Critical patent/CN113852817A/zh
Application granted granted Critical
Publication of CN113852817B publication Critical patent/CN113852817B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明揭示了一种自适应码率传输的服务器及码率确定方法，自适应码率传输服务器包括动态调整模块，所述动态调整模块，根据传输给客户端的媒体内容的状况，采用质量评价函数对作出的所述码率决策的效果进行质量评价；其中，所述自适应码率传输服务器采用所述质量评价的结果优化用于作出码率决策的所述码率决策模型；所述质量评价函数能够根据码率决策质量评价的历史数据、再缓冲状况的历史数据、码率波动状况的历史数据进行调整。采用了本发明的技术方案，解决了现有码率自适应传输难以很好地应对网络高动态特性的问题，有利于保持较优的决策性能，保证用户在多种传输网络状况下均可以获得较高的媒体观看体验质量。

Description

自适应码率传输服务器、码率确定方法、传输系统及方法
技术领域
本发明属于互联网领域，尤其是一种媒体内容自适应码率传输的服务器及码率确定方法。
背景技术
随着互联网传输流量中视频流量所占比例的日益提升以及用户对于媒体质量要求的日渐增加，视频内容提供商越来越注重提升视频传输的质量以保证高用户主观体验质量，其中主要用到的一种方案就是自适应码率传输算法，即综合考虑传输网络历史吞吐率状况及用户端播放器状态，动态地为未来视频内容选择合适的传输码率，而不是以恒定的码率进行视频内容的传输，从而在保证用户观看视频高质量的同时，减少视频卡顿次数，降低传输时延，提升视频平滑度。然而，传输网络具有高动态特性，并且随着接入用户数量的不断上升以及网络流量的急剧增长，传输网络环境也正变得越来越复杂。
现有的码率自适应传输算法，在选取特定模型或模型参数后，都只能针对某种网络状况时达到较优的效果，当网络因为波动而出现完全不同的吞吐率状况时，即当客户端播放器遇到完全不同的网络状况时，码率自适应算法则无法取得较优的效果。现实生活中的媒体传输网络通常具有高动态特性，且媒体播放器广泛部署在移动客户端之中，客户端媒体播放器不可避免地会经历完全不同的网络状况。因此，考虑到单一码率自适应模型或固定模型参数在应对网络动态特性时存在的不足，以及客户端播放器处网络状况时变的属性，需要针对码率自适应传输提出一种采用可动态调整的质量评价函数评价码率决策效果的方案。
发明内容
本发明提供了一种自适应码率传输服务器及码率确认方法，在自适应码率传输中采用可动态调整的质量评价函数评价码率决策效果的技术方案，对自适应码率传输中所采用的相关模型进行优化和调整，解决媒体内容在多种不同的网络状况下传输质量不佳的问题。
依据上述目的，实施本发明的一种自适应码率传输服务器，用于根据客户端的网络状况及缓冲状况作出码率决策，确定传输给客户端的媒体内容的码率，其特征在于，包括动态调整模块，
所述动态调整模块，根据传输给客户端的媒体内容的状况，采用质量评价函数对作出的所述码率决策的效果进行质量评价；其中，
所述自适应码率传输服务器采用所述质量评价的结果优化用于作出码率决策的所述码率决策模型；
所述质量评价函数能够根据码率决策质量评价的历史数据、再缓冲状况的历史数据、码率波动状况的历史数据进行调整。
可选的，自适应码率传输服务器还包括网络状况判断模块和码率决策模块；
所述网络状况判断模块，根据网络状况预测模型，对接收到的客户端的网络状况的历史信息进行分析，判断客户端的未来网络状况；
所述码率决策模块，根据客户端的未来网络状况选择或切换相对应的码率决策模型，并结合客户端网络状况的历史信息、客户端的缓冲状况信息和码率决策模型作出码率决策，确定传输给客户端的媒体内容的码率。
可选的，所述传输给客户端的媒体内容的状况包括媒体质量、再缓冲状况、码率波动状况。
可选的，所述网络状况预测模型基于传统启发式算法或数据驱动的深度学习算法构建。
可选的，所述质量评价函数的调整包括对质量评价函数所包含的各项系数的大小和/或权重的大小进行调整。
依据上述目的，实施本发明的一种自适应码率传输的码率确定方法，其特征在于，包括如下步骤：
接收客户端的网络状况信息及缓冲状况信息；
根据客户端的网络状况信息、缓冲状况信息作出码率决策，确定传输给客户端的媒体内容的码率；
根据传输给客户端的媒体内容的状况，采用质量评价函数对作出的所述码率决策的效果进行质量评价；
采用所述质量评价的结果优化用于作出码率决策的码率决策模型；
根据码率决策质量评价的历史数据、再缓冲状况的历史数据、码率波动状况的历史数据调整所述质量评价函数。
可选的，根据客户端的网络状况信息、缓冲状况信息作出码率决策确定传输给客户端的媒体内容的码率，包括如下步骤：
根据客户端的网络状况的历史信息和网络状况预测模型，判断出客户端的未来网络状况；
根据客户端的未来网络状况选择或切换相对应的码率决策模型；
根据客户端的网络状况的历史信息、客户端的缓冲状况信息和码率决策模型，确定传输给客户端的媒体内容的码率。
可选的，确定传输给客户端的媒体内容的码率时，还需结合客户端的网络状况的当前信息。
可选的，所述网络状况预测模型基于传统启发式算法或数据驱动的深度学习算法构建。
可选的，所述传输给客户端的媒体内容的状况包括媒体质量、再缓冲状况、码率波动状况。
可选的，调整所述质量评价函数包括对质量评价函数所包含的各项系数的大小和/或权重进行调整。
依据上述目的，实施本发明的一种自适应码率传输的系统，其特征在于，包括客户端、自适应码率传输服务器、媒体服务提供商和内容存储服务器；
所述客户端，用于向媒体服务提供商发送认证信令和需要的媒体内容请求信息，向自适应码率传输服务器发送客户端的网络状况信息和缓冲状况信息，并根据媒体服务提供商反馈的媒体内容的存储地址及可用码率信息、自适应码率传输服务器反馈的合适码率，向对应存储地址的内容存储服务器请求合适码率的媒体内容；
所述媒体服务提供商，根据接收到的认证信令和需要的媒体内容请求信息，反馈媒体内容的存储地址及可用码率信息；
所述自适应码率传输服务器，采用前述任意一项所述的一种自适应码率传输服务器，根据接收到的客户端的网络状况信息和缓冲状况信息，确定传输给客户端的媒体内容的合适码率；
所述内容存储服务器，根据接收到的客户端的请求，向客户端发送合适码率的媒体内容。
依据上述目的，实施本发明的一种媒体内容的自适应码率传输方法，其特征在于，
发送认证信令和需要的媒体内容请求信息、客户端的网络状况信息和缓冲状况信息；
根据认证信令和需要的媒体内容请求信息，反馈媒体内容的存储地址及可用码率信息；
根据客户端的网络状况信息和缓冲状况信息，采用前述任意一项所述的一种自适应码率传输的码率确定方法，确定传输媒体内容的合适码率；
根据获得的媒体内容的存储地址和合适码率，向对应存储地址的内容存储服务器请求合适码率的媒体内容；
发送合适码率的媒体内容。
本发明提供了一种自适应码率传输服务器及码率确认方法，在自适应码率传输中动态调整质量评价函数的形式，基于码率决策的效果、网络状况的历史信息、再缓冲时间、码率波动大小等因素，判断当前质量评价函数的形式(所考虑因素及相关权重)是否是最合适的，进而动态调整自适应码率传输中的质量评价函数的形式，使得自适应码率传输中的质量评价函数能够更加准确地评价码率决策的效果，并且能够更好地优化码率决策模型，后续作出更好的码率决策。
附图说明
图1为自适应码率传输系统的示意图；
图2为网络状况预测模型的示意图。
具体实施方式
下面结合附图和实施例进一步说明本发明的技术方案。
如图1所示为自适应码率传输系统的示意图。自适应码率传输系统主要包括四部分：客户端、自适应码率传输服务器、媒体服务提供商和内容存储服务器。
客户端首先向媒体服务提供商发送认证信令及需要的媒体内容信息，媒体服务提供商返回相应媒体内容的存储地址及可用码率信息；与此同时，客户端向自适应码率传输服务器提供客户端处的网络状况信息和播放器缓冲状况信息，自适应码率传输服务器接收来自客户端播放器处的网络状况信息、播放器缓冲状况信息等，并基于上述信息以及自适应码率传输服务器内的网络状况预测模型、码率决策模型，做出传输码率决策，即确认媒体内容最合适的传输码率。
一个优选实施例中，自适应码率传输服务器从可用码率信息中选择确认媒体内容最合适的传输码率。
一个优选实施例中，可用码率信息中不存在自适应码率传输服务器选择确认的媒体内容最合适的传输码率，此时媒体服务提供商从传输网络中提取媒体内容，并根据上述最合适的传输码率对提取的媒体内容进行重新编码，并将重新编码后的媒体内容存储于内容存储服务器中。
根据自适应码率传输服务器做出的码率决策以及媒体服务提供商提供的信息，客户端会向相关的内容存储服务器请求确认最合适码率的媒体内容。内容存储服务器向客户端发送相应码率的媒体内容，客户端接收后，客户端上的播放器进行播放和呈现。
一个优选实施例中，自适应码率传输服务器在进行码率决策时，自适应码率传输服务器内部保存有码率决策模型；自适应码率传输服务器基于来自客户端的网络状况的历史信息、客户端的缓存状况信息以及内部存储的网络状况预测模型作出码率决策，确定传输给客户端的媒体内容的码率。
一个优选实施例中，自适应码率传输服务器在进行码率决策的同时，会基于来自客户端的历史网络状况信息以及内部存储的网络状况预测模型，进行未来网络状况的预测和判决。利用网络状况预测模型对客户端的历史网络状况信息的特征进行提取和分析，从而预测未来最有可能出现的网络状况。与此同时，由于自适应码率传输服务器内保存有适合于多种网络状况的码率决策模型，所以在确定了未来最有可能出现的网络状况后，服务器会依此进行码率决策模型的切换，即选择最适合于未来网络状况的码率决策模型用于之后的传输码率决策。
自适应码率传输服务器包括网络状况判断模块和码率决策模块，网络状况判断模块中保存有网络状况预测模型，码率决策模块中保持有适用于多种传输网络状况的码率决策模型。当自适应码率传输服务器接收到来自客户端的历史网络状况信息后，网络状况判断模块就会分析、提取上述历史网络状况信息的特征并采用网络状况预测模型进行分析，根据分析结果进行未来网络状况的预测和判决。当完成未来网络状况预测后，自适应码率传输服务器就会相应地进行码率决策模型的选择或切换，以使得未来所使用的码率决策模型适合于未来网络状况。
网络状况预测模型可以基于传统启发式算法构建，也可以基于数据驱动的深度学习算法构建。如图2所示为一个优选实施例中的网络状况预测模型的示意图，其网络状况预测模型基于深度学习算法构建，主要由卷积神经网络、池化层、批量归一化层、矩阵维度重塑层和全连接神经网络等组成；输入的客户端的历史网络状况信息为过去一段时间内的网络状况，如当前时刻前10s或前20s等时刻的客户端的历史网络状况信息；卷积神经网络，对接收到的所述历史网络状况信息进行卷积运算；池化层，对卷积运算后的数据进行一维池化处理；批量归一化层，对池化后的数据进行归一化处理；矩阵维度重塑层，对归一化处理后的数据进行矩阵维度重塑，将批量归一化后的数据的维度变成适合于后续全连接神经网络的输入维度；全连接神经网络，对矩阵维度重塑后的数据进行分类并最终输出网络状况的判决及预测结果，根据输出的判决及预测结果预测出客户端的未来网络状况。
一个优选实施例中，卷积神经网络选择一维卷积网络，由于一维卷积网络能够处理和学习到数据中的时间维度信息，因此采用一维卷积网络对输入数据(即历史网络状况信息)进行一维卷积运算，提取输入数据中的多层级特征，同时采用一维池化进一步降低所需的计算数据量。由于输入数据在经过多层卷积神经网络后可能产生数据分布的偏移，影响卷积神经网络的优化及收敛进程，因此采用批量归一化层对每层一维卷积+一维池化后的输出数据进行批量归一化操作，使得经卷积神经网络运算后的输出数据分布不会发生大范围的偏移。优选的，对输入数据采用三层一维卷积运算。
前述的历史网络状况信息输入的维度、卷积神经网络的结构、卷积神经网络的层数、节点数、激活函数种类等均可以根据具体情况进行适当地调整。
一个优选的实施例中，网络状况预测模型能够由带类型标注的历史网络数据进行训练，训练完成后的网络状况预测模型可以基于输入的历史网络状况信息进行网络状况的判决及预测。
一个优选实施例中，自适应码率传输服务器包括动态调整模块，所述动态调整模块，根据传输给客户端的媒体内容的状况，采用质量评价函数对作出的所述码率决策的效果进行质量评价；其中，所述自适应码率传输服务器采用所述质量评价的结果优化用于作出码率决策的所述码率决策模型；所述质量评价函数能够根据码率决策质量评价的历史数据、再缓冲状况的历史数据、码率波动状况的历史数据进行调整。
在自适应码率传输中，对于码率决策模型，质量评价函数主要具有两个作用。一方面，在对码率决策模型进行算法训练、迭代或者测试过程中，质量评价函数能够对基于码率决策模型所做出的码率决策的效果进行评价，即根据码率决策确认的码率所对应的媒体质量、再缓冲状况、码率波动状况等等，评价该码率决策的效果优劣。另一方面，在对码率决策模型的算法的训练或迭代过程中，由于算法还未收敛到最佳状态，质量评价函数的值可以反馈给码率决策模型的码率自适应算法本身，用于指导和约束码率决策模型的算法本身的优化及迭代方向，即码率决策模型自身的参数需要根据质量评价函数的值进行更新和迭代，以使得码率决策模型向可以取得更优质量评价的方向进行优化，并最终达到最优。在自适应码率传输中，优先调整和优化码率决策模型及其自身的参数，而且在码率决策模型的算法优化及训练过程中，其自身参数会在每次码率决策后都进行调整。
在自适应码率传输中，不仅需要利用质量评价函数来评价码率决策效果的优劣及用户主观体验质量，还需要基于历史决策效果(即媒体质量)、历史网络状况、再缓冲时间、码率波动状况等进行质量评价函数形式的动态调整，包括调整质量评价函数中所考虑因素的大小和/或相关因素的权重大小。例如，当前时刻所作出的码率决策得到的质量评价函数的值较低，且观测到在传输过程中再缓冲出现的次数较多、时间较长，说明此时质量评价函数中再缓冲的惩罚因子值偏小，不足以约束码率决策模型向最优的方向进行参数调整。因此，需要适当增大再缓冲的惩罚因子，以使得自适应码率传输中能够做出再缓冲时间趋于减少的决策，从而保证用户观看的后续媒体内容出现的卡顿次数更少、时延更低。
具体来说，自适应码率传输中所采用的质量评价函数的形式(包括所考虑因素及相关权重)在初始时刻为固定值，随着不断做出码率决策以及网络状况的变化，质量评价函数的形式也需要动态调整。质量评价函数形式的调整可以依据历史码率决策的效果、再缓冲状况的历史数据、码率波动状况的历史数据进行调整。
质量评价函数的调整为微调，而且调整的频率较低。在质量评价函数的值下降幅度比较大(下降幅度高于某一阈值)时，或者是长时间码率决策的效果均不佳的情况下，对质量评价函数的形式进行微调(不会进行大幅度的调整)。因为当质量评价函数的值下降比较大或者长时间码率决策的效果不好时，说明当前质量评价函数的形式不能够很好地适用于当前网络状况中的评价，并且由于该质量评价函数的形式和值涉及后续的码率决策模型的优化，即会影响后续码率决策模型的算法的优化方向和收敛速度，因此需要对质量评价函数进行微调。
对质量评价函数的形式进行调整时，若码率决策导致用户观看的媒体内容频繁出现再缓冲(即卡顿)现象，则可以将再缓冲项的惩罚因子增大；若网络状况较好，媒体内容传输时较少出现再缓冲现象，则可以将再缓冲项的惩罚因子减小；若用户观看的视频内容出现了较大的质量切换(即出现较大的码率波动)，则可以将码率波动项的惩罚因子增大；若码率决策确认的媒体内容码率偏低，用户体验质量较低，则可以增大媒体内容码率所对应的权重。与此同时，还可以增加考虑时延、接收帧率、网络抖动、丢包等因素；而传输网络状况较好时，长时间未出现再缓冲现象或者码率波动现象，则可以在后续评价码率决策的效果时不考虑再缓冲或者码率波动的因素。
自适应码率传输中的质量评价函数动态调整机制主要通过自适应码率传输服务器中的质量评价函数形式的动态调整模块实现，通过对历史码率决策的效果、再缓冲的历史状况、码率波动的历史状况等因素进行分析，判断当前的质量评价函数在当前传输网络状况下是否能够足够准确地描述码率决策的效果，是否足以约束码率决策模型的算法高效地做出码率决策，从而依据判断结果进行质量评价函数形式的动态调整，得到自适应码率传输中最合适的质量评价函数的形式。
一个优选实施例中，质量评价函数考虑了媒体内容码率大小、再缓冲时间、码率波动大小等因素，具体如下所示：
其中，q(Rn)表示某一个视频块(chunk，2-3s的视频片段)的质量，q(Rn)和视频块的码率有关，并且存在多种映射关系，例如直接映射、log函数映射或者映射为设定的具体数值等，高码率视频块对应高质量；Tn表示视频块的再缓冲时间(客户端中的播放器下载完视频片段与该视频片段应该被播放之间的时间差，反映观看视频的卡顿状况)；|q(Rn+1)-q(Rn)|表示相邻视频块之间的质量差异，反映视频码率的波动状况；α，β，μ为对应项(即所考虑因素)的权重(β，μ前带负号，也可称之为惩罚因子)，可以反映函数中各项对于质量评价函数整体的影响程度大小。上述是质量评价函数的一种主要形式，但是具体形式(具体包含的项、各项权重)可以进行调整。N为所需传输的视频块总数量。媒体内容码率高、再缓冲时间短、码率波动小，则表示所作出的码率决策效果较优，相应地，会得到一个较大的质量评价函数的值，表示用户体验质量较高。
媒体内容的自适应码率传输中所涉及的处理任务如下表一所示：
表一
本实施例的装置及方法具有如下作用和效果：
本发明通过在媒体内容的自适应码率传输的框架中加入基于网络状况的码率决策模型的切换机制，利用客户端的历史网络状况信息以及自适应码率传输服务器中的网络状况预测模型，对客户端处网络状况的特征提取和分析，从而实现对客户端处未来可能出现的网络状况的预测，并根据预测结果选择或切换最合适的码率决策模型。本发明弥补了现有码率自适应算法难以很好地应对网络高动态特性的问题，有利于码率自适应算法保持较优的决策性能，保证用户在多种传输网络状况下均可以获得较高的媒体观看体验质量。
本发明通过在媒体内容自适应码率传输算法中加入质量评价函数的动态调整机制，基于历史码率决策的效果、历史再缓冲状况、历史码率波动状况等因素，进行质量评价函数形式的调整，包括调整所考虑的影响因素项以及相关项的权重，从而使得质量评价函数能够更加准确地对码率决策的效果进行评价，并更加高效地指导构建码率决策模型的算法的调整与更新，有利于根据码率决策模型高效地做出最优的码率决策，从而进一步提升用户所观看媒体内容的体验质量。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置、模块、单元以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置、模块、单元以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置、模块、单元可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置、模块、单元也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置、模块、单元视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
所属领域的技术人员应当认识到，以上的说明书仅是本发明众多实施例中的一种或几种实施方式，而并非用对本发明的限定。任何对于以上所述实施例的均等变化、变型、组合及等同替代等技术方案，只要符合本发明的实质精神范围，都将落在本发明的权利要求书所保护的范围内。

Claims (11)

1.一种自适应码率传输服务器，用于根据客户端的网络状况及缓冲状况作出码率决策，确定传输给客户端的媒体内容的码率，其特征在于，包括动态调整模块，
所述动态调整模块，根据传输给客户端的媒体内容的状况，采用质量评价函数对作出的所述码率决策的效果进行质量评价；其中，
所述自适应码率传输服务器采用所述质量评价的结果优化用于作出码率决策的所述码率决策模型；所述质量评价函数能够根据历史码率决策的效果、历史再缓冲状况、历史码率波动状况进行动态调整，包括调整所考虑的影响因素项以及相关项的权重，调整所考虑的影响因素项包括媒体内容码率大小、再缓冲时间、码率波动大小的因素，质量评价函数为：
其中，q(Rn)表示第n个视频块的质量，q(Rn)和视频块的码率有关，并且存在多种映射关系，高码率视频块对应高质量；Tn表示视频块的再缓冲时间；|q(Rn+1)-q(Rn)|表示相邻视频块之间的质量差异，反映视频码率的波动状况；α，β，μ为对应项的权重，反映函数中各项对于质量评价函数整体的影响程度大小；N为所需传输的视频块总数量。
2.如权利要求1所述的一种自适应码率传输服务器，其特征在于，还包括网络状况判断模块和码率决策模块；
所述网络状况判断模块，根据网络状况预测模型，对接收到的客户端的网络状况的历史信息进行分析，判断客户端的未来网络状况；
所述码率决策模块，根据客户端的未来网络状况选择或切换相对应的码率决策模型，并结合客户端网络状况的历史信息、客户端的缓冲状况信息和码率决策模型作出码率决策，确定传输给客户端的媒体内容的码率。
3.如权利要求1所述的一种自适应码率传输服务器，其特征在于，
所述传输给客户端的媒体内容的状况包括媒体质量、再缓冲状况、码率波动状况。
4.如权利要求2所述的一种自适应码率传输服务器，其特征在于，
所述网络状况预测模型基于传统启发式算法或数据驱动的深度学习算法构建。
5.一种自适应码率传输的码率确定方法，其特征在于，包括如下步骤：
接收客户端的网络状况信息及缓冲状况信息；
根据客户端的网络状况信息、缓冲状况信息作出码率决策，确定传输给客户端的媒体内容的码率；
根据传输给客户端的媒体内容的状况，采用质量评价函数对作出的所述码率决策的效果进行质量评价；
采用所述质量评价的结果优化用于作出码率决策的码率决策模型；
所述质量评价函数能够根据历史码率决策的效果、历史再缓冲状况、历史码率波动状况进行动态调整，包括调整所考虑的影响因素项以及相关项的权重，调整所考虑的影响因素项包括媒体内容码率大小、再缓冲时间、码率波动大小的因素，质量评价函数为：
其中，q(Rn)表示第n个视频块的质量，q(Rn)和视频块的码率有关，并且存在多种映射关系，高码率视频块对应高质量；Tn表示视频块的再缓冲时间；|q(Rn+1)-q(Rn)|表示相邻视频块之间的质量差异，反映视频码率的波动状况；α，β，μ为对应项的权重，反映函数中各项对于质量评价函数整体的影响程度大小；N为所需传输的视频块总数量。
6.如权利要求5所述的一种自适应码率传输的码率确定方法，其特征在于，根据客户端的网络状况信息、缓冲状况信息作出码率决策确定传输给客户端的媒体内容的码率，包括如下步骤：
根据客户端的网络状况的历史信息和网络状况预测模型，判断出客户端的未来网络状况；
根据客户端的未来网络状况选择或切换相对应的码率决策模型；
根据客户端的网络状况的历史信息、客户端的缓冲状况信息和码率决策模型，确定传输给客户端的媒体内容的码率。
7.如权利要求6所述的一种自适应码率传输的码率确定方法，其特征在于，
确定传输给客户端的媒体内容的码率时，还需结合客户端的网络状况的当前信息。
8.如权利要求5所述的一种自适应码率传输的码率确定方法，其特征在于，
所述网络状况预测模型基于传统启发式算法或数据驱动的深度学习算法构建。
9.如权利要求5所述的一种自适应码率传输的码率确定方法，其特征在于，
所述传输给客户端的媒体内容的状况包括媒体质量、再缓冲状况、码率波动状况。
10.一种自适应码率传输的系统，其特征在于，包括客户端、自适应码率传输服务器、媒体服务提供商和内容存储服务器；
所述客户端，用于向媒体服务提供商发送认证信令和需要的媒体内容请求信息，向自适应码率传输服务器发送客户端的网络状况信息和缓冲状况信息，并根据媒体服务提供商反馈的媒体内容的存储地址及可用码率信息、自适应码率传输服务器反馈的合适码率，向对应存储地址的内容存储服务器请求合适码率的媒体内容；
所述媒体服务提供商，根据接收到的认证信令和需要的媒体内容请求信息，反馈媒体内容的存储地址及可用码率信息；
所述自适应码率传输服务器，采用如权利要求1-4中任意一项所述的一种自适应码率传输服务器，根据接收到的客户端的网络状况信息和缓冲状况信息，确定传输给客户端的媒体内容的合适码率；
所述内容存储服务器，根据接收到的客户端的请求，向客户端发送合适码率的媒体内容。
11.一种媒体内容的自适应码率传输方法，其特征在于，
发送认证信令和需要的媒体内容请求信息、客户端的网络状况信息和缓冲状况信息；
根据认证信令和需要的媒体内容请求信息，反馈媒体内容的存储地址及可用码率信息；
根据客户端的网络状况信息和缓冲状况信息，采用如权利要求5-9任意一项所述的一种自适应码率传输的码率确定方法，确定传输媒体内容的合适码率；
根据获得的媒体内容的存储地址和合适码率，向对应存储地址的内容存储服务器请求合适码率的媒体内容；
发送合适码率的媒体内容。
CN202010597786.5A 2020-06-28 2020-06-28 自适应码率传输服务器、码率确定方法、传输系统及方法 Active CN113852817B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010597786.5A CN113852817B (zh) 2020-06-28 2020-06-28 自适应码率传输服务器、码率确定方法、传输系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010597786.5A CN113852817B (zh) 2020-06-28 2020-06-28 自适应码率传输服务器、码率确定方法、传输系统及方法

Publications (2)

Publication Number Publication Date
CN113852817A CN113852817A (zh) 2021-12-28
CN113852817B true CN113852817B (zh) 2024-04-05

Family

ID=78972061

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010597786.5A Active CN113852817B (zh) 2020-06-28 2020-06-28 自适应码率传输服务器、码率确定方法、传输系统及方法

Country Status (1)

Country Link
CN (1) CN113852817B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117714744A (zh) * 2023-12-15 2024-03-15 广州速启科技有限责任公司 音视频流的数据处理方法及其云后台、云服务器和介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108063961A (zh) * 2017-12-22 2018-05-22 北京联合网视文化传播有限公司 一种基于强化学习的自适应码率视频传输方法以及系统
KR101982290B1 (ko) * 2018-02-27 2019-05-24 광운대학교 산학협력단 적응적 스트리밍 서비스의 체감 품질 향상을 위한 콘텐츠 특성 기반 스트리밍 시스템 및 방법
CN110708578A (zh) * 2019-10-22 2020-01-17 北方工业大学 一种视频码率自适应调整方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9398347B2 (en) * 2011-05-30 2016-07-19 Sandvine Incorporated Ulc Systems and methods for measuring quality of experience for media streaming

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108063961A (zh) * 2017-12-22 2018-05-22 北京联合网视文化传播有限公司 一种基于强化学习的自适应码率视频传输方法以及系统
KR101982290B1 (ko) * 2018-02-27 2019-05-24 광운대학교 산학협력단 적응적 스트리밍 서비스의 체감 품질 향상을 위한 콘텐츠 특성 기반 스트리밍 시스템 및 방법
CN110708578A (zh) * 2019-10-22 2020-01-17 北方工业大学 一种视频码率自适应调整方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
一种基于多服务器的DASH客户端优化算法;吴如亮;王子磊;奚宏生;;计算机工程(第11期);全文 *
基于Q-learning的HTTP自适应流码率控制方法研究;熊丽荣;雷静之;金鑫;;通信学报(第09期);第3节 *
基于强化学习的DASH自适应码率决策算法研究;冯苏柳;姜秀华;;中国传媒大学学报(自然科学版)(第02期);全文 *
自适应动态网络的流媒体传输策略;洪煌辉;袁清珂;;计算机工程与设计(第12期);第0-1节 *

Also Published As

Publication number Publication date
CN113852817A (zh) 2021-12-28

Similar Documents

Publication Publication Date Title
US8832709B2 (en) Network optimization
CN113475089B (zh) 用于面向用户的内容流的方法和系统
CN110809167B (zh) 一种视频播放方法、装置、电子设备及存储介质
US20210096933A1 (en) Multi-objective, multi-input, efficient decoupling holistic platform for communication selection
CN111083535A (zh) 视频数据传输码率自适应方法、系统、装置和存储介质
WO2023240909A1 (zh) 一种基于用户行为指标的视频传输质量评估和优化的方法和系统
Gao et al. Content-aware personalised rate adaptation for adaptive streaming via deep video analysis
CN113852817B (zh) 自适应码率传输服务器、码率确定方法、传输系统及方法
CN115633380B (zh) 一种考虑动态拓扑的多边缘服务缓存调度方法和系统
CN117221403A (zh) 一种基于用户移动和联邦缓存决策的内容缓存方法
Araújo et al. A hybrid energy-aware video bitrate adaptation algorithm for mobile networks
KR102006292B1 (ko) Fec를 이용한 초협대역 멀티미디어 전송 장치 및 방법, 그리고, fec 파라미터 결정을 위한 dnn 모델 선택 장치
Osman et al. A comparison of cache replacement algorithms for video services
Kheibari et al. Quality estimation for DASH clients by using Deep Recurrent Neural Networks
Xiao et al. Deep reinforcement learning-driven intelligent panoramic video bitrate adaptation
Yang et al. QoE-based MEC-assisted predictive adaptive video streaming for on-road driving scenarios
CN116016987A (zh) 面向边缘蜂窝网络基于强化学习的视频码率自适应方法
CN115967826A (zh) 一种轻量化自适应码率下的媒体内容的传输方法及系统
CN115022684A (zh) 一种quic协议下基于深度强化学习的视频流自适应传输方法
CN113852818A (zh) 一种自适应码率传输的服务器及码率确定方法
Feng et al. Adaptive video streaming based on learning intrinsic reward
Coutinho et al. Just-in-time proactive caching for dash video streaming
Lu et al. Deep-reinforcement-learning-based user-preference-aware rate adaptation for video streaming
US20230254518A1 (en) Centralized content moderation in live streaming media communication
Chen et al. Dynamic Adaptive Streaming based on Deep Reinforcement Learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant