CN113475089A - 用于面向用户的内容流的方法和系统 - Google Patents

用于面向用户的内容流的方法和系统 Download PDF

Info

Publication number
CN113475089A
CN113475089A CN202080016187.8A CN202080016187A CN113475089A CN 113475089 A CN113475089 A CN 113475089A CN 202080016187 A CN202080016187 A CN 202080016187A CN 113475089 A CN113475089 A CN 113475089A
Authority
CN
China
Prior art keywords
network
model
training
data
playback
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202080016187.8A
Other languages
English (en)
Other versions
CN113475089B (zh
Inventor
S.K.盖鲁博伊纳
P.查克拉伯蒂
L.S.库马尔
K.拉凯什
R.米塔
金钟圭
R.H.纳加努尔
R.钦塔拉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN113475089A publication Critical patent/CN113475089A/zh
Application granted granted Critical
Publication of CN113475089B publication Critical patent/CN113475089B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/612—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for unicast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/764—Media network packet handling at the destination 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26258—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists for generating a list of items to be played back in a given order, e.g. playlist, or scheduling item distribution according to such list
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44209—Monitoring of downstream path of the transmission network originating from a server, e.g. bandwidth variations of a wireless network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/4424—Monitoring of the internal components or processes of the client device, e.g. CPU or memory load, processing speed, timer, counter or percentage of the hard disk space used
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4524—Management of client data or end-user data involving the geographical location of the client
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4532—Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64723—Monitoring of network processes or resources, e.g. monitoring of network load
    • H04N21/64738—Monitoring network characteristics, e.g. bandwidth, congestion level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6581—Reference data, e.g. a movie identifier for ordering a movie or a product identifier in a home shopping application
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Computational Linguistics (AREA)

Abstract

在一个实施例中，本主题描述了一种在包括用户设备(UE)和具有预测分析模块的网络节点的网络环境中选择性地部署应用以促进在流式多媒体内容方面的体验质量(QoE)的方法和系统(200，400)。该方法包括从与UE相关的预测分析模块的版本、UE内的当前处理器占用率、UE内的功率电平、与接入网络相关的网络条件等中的至少一个中捕获与UE相关的参数。从关于UE的预测分析模块的版本、UE内的当前处理器占用率、UE内的功率电平中的至少一个中捕获与UE相关的参数。此后，分析一个或多个捕获的参数和观察到的网络条件。基于分析，进行推理以在UE的预测分析模型和网络节点的预测分析模型之间进行选择，从而在UE处实现多媒体内容的定制流。

Description

用于面向用户的内容流的方法和系统
技术领域
本公开涉及基于计算设备的通信系统，尤其涉及基于多媒体数据的流机制。
背景技术
众所周知，作为通过自适应比特率流(ABR)来流传输多媒体数据的一部分，内容提供商以不同的分辨率/质量提供单个视频。每个视频被进一步分成统一持续时间(例如，5秒)的小块，并存储在内容提供商的服务器上。客户端的视频播放器评估设备上的可用网络带宽，下载合适的视频质量并呈现视频。
当前技术水平的自适应商业流算法是基于规则的，并且至少不能提供最佳的视频质量，即在所有网络条件下最大化视频质量同时最小化重新缓冲和更好的视频回放平滑度。在一个例子中，底层算法至少不提供面向用户的视频流体验。此外，已知传统方法使用服务器进行预测，这增加了等待时间，并且在低网络条件下，视频流条件经常变得更差。
在一个例子中，一个上班族每天通勤到他的办公室。如果他穿过一个无/低网络条件的区域(隧道、山丘或连接不良的区域)，众所周知，基于标准规则的ABR算法将不能解决网络条件的急剧下降，并将导致缓冲，直到它重新进入稳定的网络区域。现在在这个阶段，即使是ML训练的模型也可能无法解释这种不可预见的情况，因为考虑到当前的输入参数，这种模型充其量只能做出一个理想的一般决策。
现有技术出版物公开了一种基于强化学习的自适应码率视频传输。虽然相同的方法使用基于机器学习(ML)的模型来执行，但是该方法需要大量的数据集来显示在所有网络条件下的显著性能。全球的网络条件往往变化很大，从全球各地收集数据可能不可行。现有技术没有考虑到输入空间的多样性，并且没有为用户提供个性化体验。
又一现有技术出版物讨论了媒体内容清单的修改，以向用户提供更好的流体验。然而，现有技术严重依赖于托管内容的服务器来包含逻辑，因此可能仅部署在服务器端。
因此，仍然存在使用更少的训练数据和训练时间来实现高视频流性能的长期未决需求。
此外，需要实现在不损害体验质量(QoE)的情况下在客户端设备上执行定制的多媒体数据流的需求。
发明内容
技术问题
提供本概述是为了以简化的形式介绍在本公开的详细描述中进一步描述的一些概念。该概述不旨在标识所要求保护的主题的关键或必要的发明概念，也不旨在确定所要求保护的主题的范围。
本主题描述了一种在包括用户设备(UE)和具有预测分析模块的网络节点的网络环境中选择性地部署应用以促进在流式多媒体内容方面的体验质量(QoE)的方法。该方法包括从关于UE的预测分析模块的版本、UE内的当前处理器占用率、UE内的功率电平、与接入网络相关的网络条件等中的至少一个中捕获与UE相关的参数。此后，分析一个或多个捕获的参数和观察到的网络条件。基于分析，进行推理在UE和网络节点之间进行选择，以依次选择预测分析模型，从而在UE处实现多媒体内容的定制流。
问题的解决方案
在另一个实施例中，本主题描述了一种在网络环境中为用户设备(UE)生成用户特定的数据流机制的方法。该方法包括基于合成网络轨迹和至少一个标准自适应比特率(ABR)逻辑来模拟内容回放；记录与所述模拟内容回放相关联的多个输入和输出状态，以创建标记数据的日志；使用所述标记数据日志，通过基于第一机器学习(ML)的标准，基于训练生成至少第一类型的模型；至少基于真实网络轨迹和根据第一模型选择的一个或多个比特率来重新模拟内容回放；以及通过基于对考虑到真实网络轨迹的内容回放的重新模拟的结果的分析，通过强化ML标准训练第一模型来生成第二模型。
本主题呈现了一种使用监督学习和强化学习的组合来生成定制ABR应用的技术，以使用更少的训练数据和训练时间来实现高视频流性能。这种经过训练的模型可以部署在设备、服务器、基于移动边缘计算(MEC)的服务器或所有服务器上。用户设备上的媒体播放器提供了基本无缝和不间断的视频流体验。
此外，使用智能策略从定制ABR应用的混合部署中选择适当的模型，可确保资源的最佳使用、稳定性和提高的准确性。此外，设备上模型随着时间的推移学习用户网络模式，并提供面向用户的视频流体验。此外，使用本地用户流量、用户数据和网络条件在MEC进行的训练和部署大大提高了预测准确度。
为了进一步阐明本公开的优点和特征，将通过参考在附图中示出的本公开的具体实施例来呈现本公开的更具体的描述。应当理解，这些附图仅描绘了本公开的典型实施例，因此不应被视为对其范围的限制。将结合附图以额外的特征和细节来描述和解释本公开。
发明的有利效果
根据基于各种实施例的系统及其方法，有可能在包括用户设备(UE)和具有预测分析模块的网络节点的网络环境中选择性地部署应用以促进在流式多媒体内容方面的体验质量(QoE)。根据本公开的各种实施例，该系统及其方法可以向用户提供最佳视频质量。例如，有可能在变化的网络条件下提供获得的视频质量平滑度并最大化视频质量，同时最小化重新缓冲。此外，可以向用户提供个性化的视频流体验。
附图说明
当参考附图阅读以下详细描述时，本公开的这些和其他特征、方面和优点将变得更好理解，在所有附图中，相同的字符表示相同的部分，其中:
图1示出了根据本公开的实施例的方法步骤；
图2示出了根据本公开实施例的系统；
图3示出了根据本公开的另一实施例的方法步骤；
图4示出了根据本公开的另一实施例的系统；
图5根据本公开的实施例示出了根据图1的方法步骤的示例网络环境；
图6根据本公开的实施例示出了图1的方法步骤的示例实现；
图7根据本公开的实施例示出了图1的方法步骤的另一示例实现；
图8示出了根据本公开的实施例的图3的方法步骤的示例实现；
图9根据本公开的实施例示出了图3的方法步骤的另一示例实现；和
图10示出了根据本主题的实施例的如图2和图4所示的系统的示例性基于计算设备的实现。
此外，本领域技术人员将会理解，附图中的元件是为了简化而示出的，并且不一定是按比例绘制的。例如，流程图根据所涉及的最显著的步骤来说明该方法，以帮助提高对本公开各方面的理解。此外，就该装置的构造而言，该装置的一个或多个部件可能已经在附图中用传统符号表示，并且附图可以仅示出与理解本公开的实施例相关的那些具体细节，以便不会用受益于这里的描述的本领域普通技术人员容易明白的细节来模糊附图。
具体实施方式
为了促进对本公开的原理的理解，现在将参考附图中示出的实施例，并且将使用特定的语言来描述这些实施例。然而，应当理解，并不由此意图限制本公开的范围，所示系统中的这种改变和进一步修改，以及其中所示的本公开的原理的这种进一步应用是本公开所涉及的领域的技术人员通常会想到的。
本领域技术人员将理解，前面的一般描述和下面的详细描述是对本公开的解释，而不是意欲对本公开限制。
在整个说明书中，对“一个方面”、“另一个方面”或类似语言的引用意味着结合该实施例描述的特定特征、结构或特性被包括在本公开的至少一个实施例中。因此，贯穿本说明书的短语“在一个实施例中”、“在另一个实施例中”和类似语言的出现可以但不一定都指同一实施例。
术语“包括”、“包含”或其任何其他变体旨在涵盖非排他性的包含，使得包括一系列步骤的过程或方法不仅包括那些步骤，还可以包括未明确列出的或这种过程或方法固有的其他步骤。类似地，由“包括”进行描述的一个或多个设备或子系统或元件或结构或组件，在没有更多限制的情况下,并不排除其它设备或其它子系统或其它元件或其它结构或其它组件或附加设备或附加子系统或附加元件或附加结构或附加组件的存在。
除非另有定义，本文使用的所有技术和科学术语具有与本公开所属领域的普通技术人员通常理解的含义相同的含义。这里提供的系统、方法和示例仅是说明性的，而不是限制性的。
下面将参照附图详细描述本公开的实施例。
现在参考图1，本主题描述了一种在包括用户设备(UE)和具有预测分析模块的网络节点的网络环境中选择性地部署应用以促进在流式多媒体内容方面的体验质量(QoE)的方法。该方法包括从关于UE的预测分析模块的版本、UE内的当前处理器占用率、UE内的功率电平中的至少一个中捕获与UE相关的参数(步骤102)。所述与设备相关的参数的捕获还包括捕获UE的当前媒体缓冲级别。
此外，该方法包括观察(步骤104)与UE正在接入的接入网络相关的一个或多个网络条件。对与接入网络有关的条件的这种观察包括提取以下一个或多个：数据段下载时间、UE和服务器之间的往返时间；和相对于接入网的历史吞吐量。
此外，该方法包括分析(步骤106)一个或多个捕获的参数和观察到的网络条件。此后，该方法包括基于所述分析进行推理(步骤108)，用于在UE的预测分析模型和网络节点的预测分析模型之间进行选择，从而使得能够在UE处实现多媒体内容的定制流。在一个示例中，用于选择预测分析模型的推理包括在UE处或网络节点处的基于机器学习(ML)的训练模型之间进行选择以供执行。这种基于ML的训练模型可以通过执行多种类型的ML机制定制可用的自适应比特率技术算法来获得。这种定制已经至少通过图3中的描述进行了解释。
图2示出了根据本公开实施例的系统200的详细内部结构。
系统200包括执行步骤102的捕获模块202、执行步骤104的观察模块204以及执行步骤106、108的推理模块206。类似地，在系统200内可以有一个杂项模块，其便于模块202至206之间的操作互连并执行其他辅助功能。
现在参考图3，本主题示出了在网络环境中为用户设备(UE)生成用户特定的数据流机制的方法。该方法包括基于合成网络轨迹和至少一个标准自适应比特率(ABR)逻辑来模拟(步骤302)内容回放。合成网络轨迹是指对应于一系列可用带宽的一组合成数据。在一个示例中，使用现有技术方法来模拟真实网络轨迹，从而生成合成网络轨迹。
此外，该方法包括记录(步骤304)与所述模拟内容回放相关联的多个输入和输出状态，以创建标记数据的日志。基于标记数据，基于使用所述标记数据日志通过基于第一机器学习(ML)的标准进行的训练，生成至少第一类型的模型(步骤306)。第一模型的这种生成对应于基于监督学习(SL)的基础模型的生成，并且可以基于作为第一ML标准的监督ML标准来实现。
通过定义关于在合成网络模拟上执行的内容回放模拟的输入状态来触发监督的ML标准的应用。输入状态可以被定义为缓冲级别、吞吐量、比特率和平均块大小参数中的至少一个。基于回放模拟，至少获得输出状态作为输出比特率。标记数据的日志是作为输入和输出状态之间的映射获得的。这种标记数据使得能够基于服从第一模型的监督学习来创建第一模型。在一个实现中，在第一模型的这种训练之前，该方法包括捕获与UE相关联的参数，该参数属于以下至少一个:
当前网络流量；
为所述UE分配的带宽；
信号强度；
段下载时间；
媒体缓冲级别；
吞吐量历史；
电池状态；
CPU负载；和
存储器状态。
此后，基于所述参数的捕获，在UE或网络节点(例如，服务器、多址边缘(MEC)服务器等)调度第一模型的训练，这导致第二模型的生成(步骤306)。此外，该方法包括至少基于真实网络轨迹和根据第一模型选择的一个或多个比特率来重新模拟(步骤308)内容回放。真实网络跟踪指的是作为以下一项或多项捕获的训练数据:
每块接收的媒体大小；
下载媒体块花费的时间；
媒体播放期间使用的网络类型；
使用的网络运营商；
媒体段的持续时间；
媒体内容回放的开始时间；
媒体内容回放的结束时间；
经度和纬度信息；和
芯片组信息。
此外，该方法包括通过以最大化体验质量为目的的强化ML标准训练第一模型来生成(步骤310)第二模型。这种训练是基于对内容回放的重新模拟的结果的分析。第二模型的这种生成是基于增强ML的执行，并且包括基于真实网络轨迹分析内容回放模拟，并且基于以下至少一个来针对模拟应用后处理和QoE改进:
回放失败类型；
启动时间；
重新缓冲持续时间；
重新缓冲状态；和
视频质量和比特率。
图4示出了根据本公开实施例的电信设备的系统400的详细内部结构。
系统400包括执行步骤302和304的合成网络轨迹和标记数据生成器402、执行步骤306的SL模块404(例如，基于SL的机器学习模块)、执行步骤308至310的强化学习模块406。类似地，系统400内可以有杂项模块408，其便于402至406之间的操作互连，并执行其他辅助功能。
图5示出了根据图1的方法步骤的示例网络环境500。
更具体地，网络环境500包括UE(或用户设备)510、视频流内容服务器506和多址边缘计算(MEC)服务器(或边缘服务器)508。网络环境500使用智能策略模块502(对应于图1的方法步骤102至108)来实现在UE 510和MEC服务器508或它们的组合上部署基于机器学习(ML)的训练的模型的方法，该智能策略模块502在运行时中决定使用哪个模型来进行推理以实现最佳可能的输出。
在一个示例中，如参考图1所描述的，UE 510上的智能策略模块502收集包括中CPU负载、可用的可用存储器、电池状态等的信息。因此，设备(即，UE 510)处的智能流模型504或来自MEC服务器508的智能流模型被选择用于从视频流内容服务器506向UE 510呈现定制的基于ABR的多媒体流。
图5中提到的“输入状态”对应于当前媒体缓冲级别、吞吐量、主要比特率和要被流式传输的参数的平均块大小中的一个或多个。“要选择的质量”至少指由智能模型(例如，UE510上的智能流模型504或MEC服务器508上的智能流模型)中的任一个所建议的“比特率”，用于流式传输多媒体内容。因此，至少作为从视频流内容服务器506请求“新质量”的UE 510的一部分，UE 510根据决定的比特率从视频流内容服务器506接收输入流。
图6根据本公开的实施例示出了图1的方法步骤的示例实现。
在步骤602，标注设备(即，UE 510)上存在的训练的模型的版本。
在步骤604，将步骤602中标注的训练的模型的版本与MEC版本进行比较，并确定差异。例如，确定与服务器的增量主版本差异(delta major-version difference)，并观察版本差异是否大于2.0。
作为系统参数确定的一部分，在步骤606检查当前电池百分比和CPU负载。具体地，在步骤608确定电池电量是否<约20％或“省电模式”＝开启或CPU负载>约90％。
作为网络参数确定的一部分，在步骤610确定当前下载速率和最后往返时间。具体而言，在步骤612确定下载速率是否>约200Kbps或往返时间<约1秒。
至少基于步骤602至612中的确定，选择在设备(即，UE)或在MEC服务器处实现的训练模型(通过SL和强化学习的组合获得)，用于推理。
总的来说，如步骤602至612中描述的前述决策对应于在设备侧发生的“智能策略”决策。至少随之而来的优势是最佳的资源使用和提高的准确率。在一个例子中，可以将其总结如下:
【表1】
系统参数 选定的智能模型
电池电量低条件 使用MEC/服务器端模型进行推理
高CPU负载 使用MEC/服务器端模型进行推理
低网络条件 使用设备端模型进行推理
过时的设备侧型号版本 使用MEC/服务器端模型进行推理
图7根据本公开的实施例示出了图1的方法步骤的另一示例实现。
在步骤702，作为多媒体数据流操作开始的一部分，下载对应于多媒体数据的初始段或分组数据。
在步骤704，捕获与内容流和媒体播放器状态相关的不同参数。在一个示例中，与内容流相关的参数包括缓冲器、吞吐量、比特率和平均块大小参数。在其他示例中，与媒体播放器状态相关的参数包括媒体缓冲级别(即在重新下载和缓冲期间媒体内容的缓冲剩余)以及吞吐量历史。
在步骤706，根据参照图6描述的步骤收集系统和网络参数。
在步骤708，决定使用设备或MEC(即服务器)的训练的ML模型来实现面向用户的流体验。
在步骤710，作为训练的模型的执行结果(即质量参数)，实现了新质量多媒体内容的下载。在一个例子中，新质量多媒体内容表示以由训练模型确定的比特率下载的内容。此外，控制被转回到步骤704，用于关于比特率的未来决策。
图8示出了根据本公开的实施例的图3的方法步骤的示例实现。
在步骤802，基于合成轨迹实现内容回放模拟。内容回放模拟对应于多视频质量类型(例如，2K、FHD和/或HD等)。编码可以定义为MPEGTS、FMP4等。流协议可以定义为HLS、DASH等。
合成网络轨迹表示模拟内容回放所需的模拟网络条件。本主题至少生成大量的状态空间作为合成轨迹的一部分，并且因此允许探索低概率角落的情况，从而确保以合适的方式解决相同的问题。基于这种合成生成的数据集，可以模拟不能作为接入网络(例如，5G网络)公开访问的这种场景。
更具体地，作为当前步骤802的一部分，创建具有不同粒度的范围从大约0Kbps(即，没有网络条件)的网络踪迹的语料库(corpus)。在另一个例子中，网络轨迹的范围从大约128Kbps到大约80Mbps。标尺的低端在连续比特率之间有一个非常小的间隙，当涉及到更高的比特率时，间隙会增加。网络轨迹可以使用例如最先进的马尔可夫模型来生成，其中每个状态表示在那个时间点的带宽。状态转移概率是可变的，以帮助对稳定(静态用例)和不稳定(移动用例)的网络条件进行建模。在特定状态下，可能无法期望在任意两个时间点都有相同的吞吐量。因此，可以从当前状态的带宽上的高斯分布中选取一个值。方差在0.05到0.5之间。
可以在牢记标准ABR算法(例如，基于缓冲器/基于带宽/模型预测控制或它们的组合)并考虑所有可能的真实网络BW范围(例如，从无网络到大约1Gbps)的情况下生成合成网络轨迹。如此生成的合成网络轨迹有助于监督学习，如即将到来的描述中所述，因为它们有助于探索所有可能的状态，并减少任何未探索状态的可能性。这反过来减少了在未探索的状态空间中次优性能的可能性，因为依赖于模型的一般化来覆盖这些区域。
在步骤804，标记数据被生成为用于监督学习(SL)的数据集。在一个例子中，作为如步骤802所示的内容回放模拟的一部分，采用基于缓冲器的ABR算法，因为它提供了稳定的性能，并且由于缺乏高度复杂的关系而相对容易原型化。在生成的合成轨迹上执行标准ABR，并创建输入状态和映射输出状态的元组。输入状态由缓冲器、吞吐量、比特率和平均块大小参数组成。这与所选的输出比特率相结合，并记录到例如一个CSV文件中。该数据集用于训练一个模型或基础模型。在一个例子中，使用标准的监督学习技术进行模型训练，例如带有分类交叉熵损失计算的RMSProp优化器。输出比特率被转换成一个热编码格式，以无缝工作
步骤806涉及基于标记数据集在模型(即，现有ABR算法)上执行监督学习(SL)。这种预训练步骤有助于更快的训练和更好的推广，而不需要在强化学习的后期的大量的真实网络轨迹。通过利用模拟视频播放器来进行SL预训练，该模拟视频播放器被修改以适应所选择的ABR算法。使用生成数据集的监督学习方法来训练模型至少允许创建能够促进进一步训练的稳定的基础模型。
步骤808涉及通过步骤806已经获得的基础模型的创建。基础模型的实现至少促进了现有算法级别上的性能。如果没有这一步，模型就有可能具有在强化过程中无法推广到特定或不可预见的情况的风险。此外，由于SL比强化学习(RL)快得多，因此基础模型的创建能够减少探索各种状态空间和做出次优决策所花费的不必要的时间。
然后，使用上述过程创建的基础模型被用作执行强化学习的起点。基础模型提供了一个平台，该平台允许将重点放在最大化性能上，并且受探索和推广开销的影响最小。这也大大缩短了通过强化学习获得训练模型所需的训练时间。
步骤810涉及基于真实网络轨迹的强化学习或RL阶段。在一个例子中，RL的算法范围包括优势异步参与者评论家(Advantage Asynchronous Actor Critic A3C)，DQN，IMPALA或这些算法的变体。来自步骤808的基础模型被用作该设置中的参与者，并且评论家是从零(scratch)开始训练的，但是具有更高的学习率。在一个示例中，基于基础模型或第一模型，模拟视频播放器用于内容回放模拟。这是因为在没有任何实际的基础ABR算法的情况下，基础模型现在自己充当ABR算法。这允许基础模型做出比特率决定，并且播放器在任何给定时刻考虑真实的网络条件和选定的比特率来模拟结果。至少这将完成一个视频所需的时间从几分钟减少到了几毫秒。使用了多个参与者评论家代理，每个代理接收随机轨迹以运行视频。这也有助于加快获得最终模型所需的时间。
此外，由于每个强化学习问题都有一个收敛的目标，所以当前场景中的目标是最大化模型为播放的视频实现的体验质量(QoE)。因此，在作为强化学习的一部分的实现中，通过捕获所述参数来实现关于模拟的后处理和QoE改善:
【表2】
Figure BDA0003225310700000111
图9根据本公开的实施例示出了图3的方法步骤的另一示例实现。
步骤902涉及由UE从内容托管服务器(例如，视频内容流服务器)流式传输多媒体内容。
步骤904涉及捕获与UE相关联的参数，所述参数属于以下至少一项:
当前网络流量或网络模式；
为所述UE分配的带宽；
带宽估计器提供的完整历史；
主要信号强度；
作为网络参数一部分的段下载时间；
作为媒体播放器统计的一部分的媒体缓冲级别；
关于当前接入网络的吞吐量历史；和
作为用户偏好的一部分进行流式传输的内容类型。
在步骤906，基于所收集的用户偏好、网络模式和可能分配给用户的预期体验质量，在充当远程连接的网络节点的设备或MEC服务器上调度基础模型的训练以生成训练模型。如果模型是在MEC服务器上训练的，那么训练好的模型随后由MEC服务器在设备上更新或实例化。
在一个实现中，不管基础模型的训练位置如何，以下是可以用作强化学习的一部分的示例训练数据(或真实网络轨迹)。
【表3】
Figure BDA0003225310700000121
在基础模型的训练在UE或设备处被调度的情况下，随后的参数可以被捕获作为UE处的基础模型的训练的一部分。
【表4】
参数类型 描述
网络模式 在设备/移动设备中看到的网络条件的模式或趋势
回放统计 用于分析的不同回放统计
视频的时间和类型 播放视频的持续时间以及视频的类型或类别
现在，在由UE基于由训练模型或第二模型促进的自适应比特率流执行的实际内容回放期间，可以确定与UE对训练模型的使用有关的以下信息:
【表5】
Figure BDA0003225310700000122
Figure BDA0003225310700000131
最后但同样重要的是，训练的模型可以用新的用户使用数据进一步更新，并且相应地可以在UE和MEC服务器上进行进一步的再训练。在一个示例中，基于未来的多媒体数据流和遇到的网络条件，可以用附加数据进一步训练UE上的训练的模型，以引起训练的模型的设备上个性化训练。在另一个例子中，在MEC服务器或任何网络节点/服务器处的训练的模型可以基于区域、位置、遇到的网络条件中的一个或多个进一步用附加数据训练，以在网络节点侧引起推理模型的个性化训练。
图10示出了根据本公开的实施例的又一示例性实现，以及以计算机系统1000形式的系统200、400的又一典型硬件配置。计算机系统1000可以包括一组指令，该组指令可以被执行以使计算机系统1000执行所公开的任何一种或多种方法。计算机系统1000可以作为独立设备操作，或者可以例如使用网络连接到其他计算机系统或外围设备。
在网络化部署中，计算机系统1000可以以服务器的资格运行，或者在服务器-客户端用户网络环境中作为客户端用户计算机运行，或者在对等(或分布式)网络环境中作为对等计算机系统运行。计算机系统1000还可以被实现为各种设备或跨各种设备结合，例如个人计算机(PC)、平板PC、个人数字助理(PDA)、移动设备、掌上计算机、膝上型计算机、台式计算机、通信设备、无线电话、陆地线路电话、网络设备、网络路由器、交换机或网桥，或能够执行指定该机器要采取的动作的一组指令(顺序的或其他的)的任何其他机器。此外，虽然示出了单个计算机系统1000，但是术语“系统”也应被理解为包括单独或共同执行一组或多组指令以执行一个或多个计算机功能的系统或子系统的任何集合。
计算机系统1000可以包括处理器1002，例如中央处理单元(CPU)、图形处理单元(GPU)或两者。处理器1002可以是各种系统中的组件。例如，处理器1002可以是标准个人计算机或工作站的一部分。处理器1002可以是一个或多个通用处理器、数字信号处理器、专用集成电路、现场可编程门阵列、服务器、网络、数字电路、模拟电路、它们的组合、或其他现在已知或以后开发的用于分析和处理数据的设备。处理器1002可以实现软件程序，例如手动生成的(即，编程的)代码。
计算机系统1000可以包括存储器1004，例如可以通过总线1008通信的存储器1004。存储器1004可以包括但不限于计算机可读存储介质，例如各种类型的易失性和非易失性存储介质，包括但不限于随机存取存储器、只读存储器、可编程只读存储器、电可编程只读存储器、电可擦除只读存储器、闪存、磁带或磁盘、光学介质等。在一个示例中，存储器1004包括用于处理器1002的高速缓存或随机存取存储器。在替代示例中，存储器1004与处理器1002分离，例如处理器的高速缓冲存储器、系统存储器或其他存储器。存储器1004可以是用于存储数据的外部存储设备或数据库。存储器1004可操作来存储可由处理器1002执行的指令。图中示出或描述的功能、动作或任务可以由编程处理器1002执行，用于执行存储在存储器1004中的指令。功能、动作或任务独立于特定类型的指令集、存储介质、处理器或处理策略，并且可以由软件、硬件、集成电路、固件、微代码等单独或组合操作来执行。同样，处理策略可以包括多处理、多任务、并行处理等。
如图所示，计算机系统1000可以或可以不进一步包括显示单元1010，例如液晶显示器(LCD)、有机发光二极管(OLED)、平板显示器、固态显示器、阴极射线管(CRT)、投影仪、打印机或其他现在已知或以后开发的用于输出确定信息的显示设备。显示器1010可以作为用户查看处理器1002的功能的界面，或者具体地作为与存储在存储器1004或驱动单元1016中的软件的界面。
此外，计算机系统1000可以包括输入设备1012，其被配置为允许用户与系统1000的任何组件进行交互。计算机系统1000还可以包括磁盘或光盘驱动单元1016。磁盘驱动单元1016可以包括计算机可读介质1022，其中可以嵌入一组或多组指令1024，例如软件。此外，指令1024可以体现所描述的一个或多个方法或逻辑。在特定示例中，在由计算机系统1000执行期间，指令1024可以完全或至少部分地驻留在存储器1004或处理器1002中。
本公开设想了一种计算机可读介质，其包括指令1024或响应于传播的信号接收和执行指令1024，使得连接到网络1026的设备可以通过网络1026传送语音、视频、音频、图像或任何其他数据。此外，可以经由通信端口或接口1020或使用总线1008在网络1026上发送或接收指令1024。通信端口或接口1020可以是处理器1002的一部分，或者可以是单独的组件。通信端口1020可以在软件中创建，或者可以是硬件中的物理连接。通信端口1020可以被配置为与网络1026、外部媒体、显示器1010或系统1000中的任何其他组件或其组合连接。与网络1026的连接可以是物理连接，例如有线以太网连接，或者可以如稍后讨论的那样无线建立。同样，与系统1000的其他组件的附加连接可以是物理连接或者可以无线建立。可选地，网络1026可以直接连接到总线1008。
网络1026可以包括有线网络、无线网络、以太网AVB网络或其组合。无线网络可以是蜂窝电话网络、802.11、802.16、802.20、802.1或WiMax网络。此外，网络1026可以是诸如因特网的公共网络、诸如内联网的专用网络或其组合，并且可以利用现在可用的或以后开发的各种网络协议，包括但不限于基于TCP/IP的网络协议。该系统不限于使用任何特定的标准和协议进行操作。例如，可以使用因特网和其他分组交换网络传输的标准(例如，TCP/IP、UDP/IP、HTML和/或HTTP)。
至少基于前述描述，本主题呈现了增加的比特率、更高的QoE并显著减少了重新缓冲时间。在一个示例中，本主题记录了从大约13％到15％的增加的比特率，从20％到32％范围内的增加的QoE，同时经历了大约30％到40％的重新缓冲时间的显著减少。
此外，“智能策略部署”模块用于推理UE和MEC服务器之间的选择，以执行训练后的结果，在正常条件下，电池性能提高约1％，在回放期间，以QoE提高为特征，电池性能提高约10％。
总的来说，本主题呈现定制模型，以通过特定参数(例如，GPS坐标、一天中的时间等)来预测这种网络区域的出现，并且在低网络区域的预期中主动降低视频质量，并且在离开该区域时返回到更高的质量。这使用户即使在低网络区域也能享受不间断的播放，并增强整体视频播放体验。
由于这种恶劣网络条件的情况在大小(可以持续10-60+秒之间的任何地方)和频率(经常发生的情况被给予更高的优先级)上因用户而异，根据本主题的设备上训练可能是允许用户特定模式的学习并根据用户的个人需求执行的最佳技术。
本主题通过使用监督学习和强化学习的组合，至少克服了在全球范围内收集大数据集的需要。不仅提高了模型的性能，而且减少了训练时间。它还关注各种各样的输入空间，包括但不限于块持续时间、内容编码参数、网络连接类型等。此外，它还学习用户网络模式和偏好的QoE，这将使我们能够为用户提供个性化的视频流体验。
总体而言，本主题呈现了基于设备、服务器和MEC服务器的模型的最优使用策略，以使用智能策略模块来优化电池、延迟和预测。
虽然已经使用了特定的语言来描述本公开，但是并不打算由此产生任何限制。对于本领域的技术人员来说显而易见的是，可以对该方法进行各种工作修改，以实现这里教导的发明概念。
附图和前面的描述给出了实施例的例子。本领域技术人员将理解，一个或多个所描述的元件可以很好地组合成单个功能元件。或者，某些元件可以被分成多个功能元件。来自一个实施例的元件可以被添加到另一个实施例。例如，这里描述的过程的顺序可以改变，并且不限于这里描述的方式。
此外，任何流程图的动作不需要以所示的顺序实现；也不一定需要执行所有的动作。此外，不依赖于其他动作的那些动作可以与其他动作并行执行。实施例的范围决不受这些具体例子的限制。无论是否在说明书中明确给出，许多变化都是可能的，例如结构、尺寸和材料使用的差异。实施例的范围至少与下面的权利要求所给出的一样宽。
上面已经针对具体实施例描述了益处、其他优点和问题的解决方案。然而，益处、优点、问题的解决方案以及可能导致任何益处、优点或解决方案出现或变得更加显著的任何组件不应被解释为任何或所有权利要求的关键的、必需的或必要的特征或组件。

Claims (15)

1.一种在包括用户设备(UE)和具有预测分析模块的网络节点的网络环境中选择性地部署应用以促进在流式多媒体内容方面的体验质量(QoE)的方法，该方法包括:
从以下至少一个中捕获(步骤102)与UE相关的参数:
关于UE的预测分析模块的版本；
UE内的当前处理器占用率；
UE内的功率电平；
观察(步骤104)与UE正在接入的接入网络相关的一个或多个网络条件；
分析(步骤106)一个或多个捕获的参数和观察到的网络条件；和
基于所述分析，进行推理(步骤108)，用于在所述UE的预测分析模型和所述网络节点的预测分析模型之间进行选择，从而在所述UE处实现多媒体内容的定制流。
2.根据权利要求1所述的方法，其中捕获与所述设备相关的参数还包括捕获所述UE的当前媒体缓冲级别。
3.根据权利要求1所述的方法，其中，观察与所述接入网络相关的条件包括提取以下一个或多个:
数据段下载时间；
UE和服务器之间的往返时间；和
相对于接入网的历史吞吐量。
4.根据权利要求1所述的方法，其中用于选择所述预测分析模型的所述推理包括在所述UE或所述网络节点处执行基于机器学习(ML)的训练模型，所述基于ML的训练模型是通过执行多种类型的ML机制定制可用的自适应比特率技术算法而获得的。
5.一种在网络环境中为用户设备(UE)生成用户特定的数据流机制的方法，该方法包括:
基于合成网络轨迹和至少一个标准自适应比特率(ABR)逻辑来模拟(步骤302)内容回放；
记录(步骤304)与模拟内容回放相关联的多个输入和输出状态，以创建标记数据的日志；
使用标记数据的日志，通过基于第一机器学习(ML)的标准，基于训练生成(步骤306)至少第一类型的模型；
至少基于真实网络轨迹和根据第一模型选择的一个或多个比特率来重新模拟(步骤308)内容回放；和
通过以最大化体验质量为目的的强化ML标准训练第一模型来生成(步骤310)第二模型，该训练基于对内容回放的重新模拟的结果的分析。
6.根据权利要求5所述的方法，其中，所述合成网络轨迹指的是对应于可用带宽范围的一组合成数据，所述一组合成数据是使用模拟真实网络轨迹的现有技术方法生成的，并且
其中真实网络轨迹指的是作为以下一项或多项捕获的训练数据:
每块接收的媒体大小；
下载媒体块花费的时间；
媒体播放期间使用的网络类型；
使用的网络运营商；
媒体段的持续时间；
媒体内容回放的开始时间；
媒体内容回放的结束时间；
经度和纬度信息；和
芯片组信息。
7.根据权利要求5所述的方法，其中，所述第一模型的生成对应于基于监督学习(SL)的基础模型的生成，并且基于作为所述第一ML标准的监督ML标准来实现，所述监督ML标准的应用由以下至少一个触发:
将关于在合成网络模拟上执行的内容回放模拟的输入状态定义为以下至少一个:
缓冲级别、吞吐量、比特率和平均块大小参数；
至少作为输出比特率获得关于模拟的输出状态；和
获得标记数据的日志，作为输入和输出数据之间的映射，以使得能够创建第一模型，以及
其中所述第二模型的生成基于所述增强ML的执行，并且包括:
分析基于真实网络轨迹的内容回放模拟；和
基于以下各项中的至少一项，对模拟应用后处理和QoE改进:
回放失败类型；
启动时间；
重新缓冲持续时间；
重新缓冲状态；和
视频质量和比特率。
8.根据权利要求5所述的方法，其中在训练第一模型之前，所述方法还包括:
捕获与UE相关联的参数，所述参数属于以下至少一项:
当前网络流量；
为所述UE分配的带宽；
信号强度；
段下载时间；
媒体缓冲级别；
吞吐量历史；
电池状态；
CPU负载；和
存储器状态，以及
基于参数的捕获，调度第一模型的训练以在UE或网络节点处生成第二模型。
9.根据权利要求8所述的方法，其中在所述网络节点调度所述第一模型的训练时，所述方法进一步包括:
实现在网络节点生成的第二模型；和
用所述网络节点处存在的第二模型无线更新所述UE，从而在所述UE处部署第二模型，以及
其中，在所述UE处调度第一模型的训练时，所述方法还包括捕获与以下各项相关的参数:
关于UE接入的网络的模式；
UE内的历史回放记录；和
由UE再现的内容回放类型的历史记录。
10.根据权利要求5所述的方法，进一步包括:
基于由第二模型促进的自适应比特率流，确定与由UE执行的实际内容回放有关的信息，该确定针对使用并且对应于以下一个或多个:
用于媒体流的应用的名称；
用于媒体流的类型/应用协议；
正在播放的媒体内容的类型；
内容交付网络；
用于流媒体的设备类型；和
正在发生媒体流的位置/区域。
11.根据权利要求5所述的方法，进一步包括:
用新的用户使用数据更新由第一和第二模型中的一个或多个定义的推理模型，并在UE和网络节点上重新训练推理模型；
基于未来的多媒体数据流和遇到的网络条件，用附加数据在UE上进一步训练推理模型，以引起推理模型的设备上个性化训练；和
基于区域、位置、遇到的网络条件中的一个或多个，在网络节点侧用附加数据进一步训练推理模型，以在网络节点侧对推理模型进行个性化训练。
12.一种系统(200)，用于在包括用户设备(UE)和具有预测分析模块的网络节点的网络环境中选择性地部署应用，以促进在流式多媒体内容方面的体验质量(QoE)，该系统(200)包括:
捕获模块(202)，用于从以下至少一个中捕获与UE相关的参数:
关于UE的预测分析模块的版本；
UE内的当前处理器占用率；
UE内的功率电平；
观察模块(204)，用于观察与UE正在接入的接入网络相关的一个或多个网络条件；
推理模块(206),用于:
分析一个或多个捕获的参数和观察到的网络条件；和
基于所述分析，进行推理，用于在所述UE的预测分析模型和所述网络节点的预测分析模型之间进行选择，从而在所述UE处实现多媒体内容的定制流。
13.根据权利要求12所述的系统，其中所述观察模块(204)被配置为通过提取以下一个或多个来观察与所述接入网络相关的条件:
数据段下载时间；
UE和服务器之间的往返时间；和
相对于接入网的历史吞吐量。
其中所述推理模块(206)被配置用于通过在所述UE或所述网络节点处执行基于机器学习(ML)的训练模型来选择所述预测分析模型，所述基于ML的训练模型是通过执行多种类型的ML机制定制可用的自适应比特率技术算法而获得的。
14.一种系统(400)，其在网络环境中操作以生成用于用户设备(UE)的用户特定的数据流机制，该系统(400)包括:
合成网络跟踪和标记数据生成器(402),被配置用于:
基于合成网络轨迹和至少一个标准自适应比特率(ABR)逻辑来模拟内容回放；和
记录与模拟内容回放相关联的多个输入和输出状态，以创建标记数据的日志；
基于SL的机器学习模块(404)，用于使用标记数据的日志，通过基于第一机器学习(ML)的标准，基于训练生成至少第一类型的模型；和
强化学习模块(406),用于:
至少基于真实网络轨迹和根据第一模型选择的一个或多个比特率来重新模拟内容回放；和
通过以最大化体验质量为目的的强化ML标准训练第一模型来生成(步骤310)第二模型，该训练基于对内容回放的重新模拟的结果的分析。
15.根据权利要求14所述的系统(400)，其中，所述SL训练模块(404)被配置为基于作为所述第一ML标准的监督ML标准生成基于监督学习(SL)的基础模型，所述监督ML标准的应用由以下至少一个触发:
将关于在合成网络模拟上执行的内容回放模拟的输入状态定义为以下至少一个:
缓冲级别、吞吐量、比特率和平均块大小参数；
至少作为输出比特率获得关于模拟的输出状态；和
获得标记数据的日志，作为输入和输出数据之间的映射，以使得能够创建第一模型，以及
其中所述强化学习模块(406)被配置为通过以下至少一个来执行所述强化学习:
分析基于真实网络轨迹的内容回放模拟；和
基于以下各项中的至少一项，对模拟应用后处理和QoE改进:
回放失败类型；
启动时间；
重新缓冲持续时间；
重新缓冲状态；和
视频质量和比特率。
CN202080016187.8A 2019-02-25 2020-02-24 用于面向用户的内容流的方法和系统 Active CN113475089B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
IN201941007335 2019-02-25
IN201941007335 2019-09-09
PCT/KR2020/002602 WO2020175866A1 (en) 2019-02-25 2020-02-24 Method and system for user-oriented streaming of content

Publications (2)

Publication Number Publication Date
CN113475089A true CN113475089A (zh) 2021-10-01
CN113475089B CN113475089B (zh) 2024-04-19

Family

ID=72242299

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080016187.8A Active CN113475089B (zh) 2019-02-25 2020-02-24 用于面向用户的内容流的方法和系统

Country Status (5)

Country Link
US (1) US11956506B2 (zh)
EP (1) EP3912361A4 (zh)
KR (1) KR102592036B1 (zh)
CN (1) CN113475089B (zh)
WO (1) WO2020175866A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11509703B2 (en) * 2018-09-26 2022-11-22 Vmware, Inc. System and method for widescale adaptive bitrate selection
EP4233365A1 (en) * 2020-10-21 2023-08-30 Nokia Technologies Oy Systems, apparatuses and methods for cognitive service driven handover optimization
CN113014968B (zh) * 2021-02-24 2022-02-08 南京大学 一种基于强化学习的多用户动态码率视频传输方法及系统
US11829971B2 (en) * 2021-10-15 2023-11-28 Block, Inc. Methods and systems for intent-based attribution schedule
US11689600B1 (en) * 2022-04-29 2023-06-27 At&T Intellectual Property I, L.P. Network capacity planning based on application performance
US11910032B1 (en) * 2022-08-02 2024-02-20 Rovi Guides, Inc. Systems and methods for distributed media streaming
EP4329256A1 (en) * 2022-08-25 2024-02-28 Nokia Solutions and Networks Oy Prediction of a metric of quality of a network
CN115514660B (zh) * 2022-09-07 2024-01-19 北京达佳互联信息技术有限公司 数据缓存方法、装置、电子设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110093605A1 (en) * 2009-10-16 2011-04-21 Qualcomm Incorporated Adaptively streaming multimedia
EP2916555A1 (en) * 2014-03-06 2015-09-09 Alcatel Lucent Method to determine re-buffering events in video sessions
US20170026713A1 (en) * 2015-03-26 2017-01-26 Carnegie Mellon University System and Method for Dynamic Adaptive Video Streaming Using Model Predictive Control
KR20170100079A (ko) * 2016-02-24 2017-09-04 경북대학교 산학협력단 네트워크 환경 적응형 클라우드 스트리밍 서비스 제공시스템 및 그 방법
US20170347159A1 (en) * 2016-05-30 2017-11-30 Samsung Sds Co., Ltd. Qoe analysis-based video frame management method and apparatus
US20190037270A1 (en) * 2017-07-31 2019-01-31 Zhilabs S.L. Determination of qoe in encrypted video streams using supervised learning

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8843427B1 (en) * 2011-07-01 2014-09-23 Google Inc. Predictive modeling accuracy
US9357210B2 (en) 2013-02-28 2016-05-31 Sonic Ip, Inc. Systems and methods of encoding multiple video streams for adaptive bitrate streaming
KR101823321B1 (ko) * 2013-05-24 2018-01-31 쏘닉 아이피, 아이엔씨. 적응적 비트레이트 스트리밍을 위해 적응적 양자화를 갖고 다수의 비디오 스트림들을 인코딩하는 시스템들 및 방법들
WO2016183251A1 (en) 2015-05-11 2016-11-17 Mediamelon, Inc. Systems and methods for performing quality based streaming
US10476943B2 (en) 2016-12-30 2019-11-12 Facebook, Inc. Customizing manifest file for enhancing media streaming
US20190102695A1 (en) 2017-09-29 2019-04-04 Coupa Software Incorporated Generating machine learning systems using slave server computers
CN108063961B (zh) 2017-12-22 2020-07-31 深圳市云网拜特科技有限公司 一种基于强化学习的自适应码率视频传输方法以及系统
CN108391143B (zh) 2018-04-24 2020-10-27 南京邮电大学 一种基于q学习的无线网络视频传输自适应控制方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110093605A1 (en) * 2009-10-16 2011-04-21 Qualcomm Incorporated Adaptively streaming multimedia
US9124642B2 (en) * 2009-10-16 2015-09-01 Qualcomm Incorporated Adaptively streaming multimedia
EP2916555A1 (en) * 2014-03-06 2015-09-09 Alcatel Lucent Method to determine re-buffering events in video sessions
US20170026713A1 (en) * 2015-03-26 2017-01-26 Carnegie Mellon University System and Method for Dynamic Adaptive Video Streaming Using Model Predictive Control
KR20170100079A (ko) * 2016-02-24 2017-09-04 경북대학교 산학협력단 네트워크 환경 적응형 클라우드 스트리밍 서비스 제공시스템 및 그 방법
KR101795537B1 (ko) * 2016-02-24 2017-12-04 경북대학교 산학협력단 네트워크 환경 적응형 클라우드 스트리밍 서비스 제공시스템 및 그 방법
US20170347159A1 (en) * 2016-05-30 2017-11-30 Samsung Sds Co., Ltd. Qoe analysis-based video frame management method and apparatus
US20190037270A1 (en) * 2017-07-31 2019-01-31 Zhilabs S.L. Determination of qoe in encrypted video streams using supervised learning

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
POLIAKOV VITALII ET AL: "Case for Caching and Model Predictive Control Quality Decision Algorithm for HTTP Adaptive Streaming: Is Cache-Awareness Actually Needed?", 《2016 IEEE GLOBECOM WORKSHOPS (GC WKSHPS)》 *
POLIAKOV VITALII ET AL: "Case for Caching and Model Predictive Control Quality Decision Algorithm for HTTP Adaptive Streaming: Is Cache-Awareness Actually Needed?", 《2016 IEEE GLOBECOM WORKSHOPS (GC WKSHPS)》, 4 December 2016 (2016-12-04), pages 1 - 6, XP033063040, DOI: 10.1109/GLOCOMW.2016.7848854 *
YI SUN ET AL: "ACM SIGCOMM 2016 CONFERENCE, ACM, 2 PENN PLAZA, SUITE 701 NEW YORK NY 10121-0701 USA", 《CS2P》 *
YI SUN ET AL: "ACM SIGCOMM 2016 CONFERENCE, ACM, 2 PENN PLAZA, SUITE 701 NEW YORK NY 10121-0701 USA", 《CS2P》, 22 August 2016 (2016-08-22), pages 272 - 285 *

Also Published As

Publication number Publication date
EP3912361A1 (en) 2021-11-24
US20220191592A1 (en) 2022-06-16
US11956506B2 (en) 2024-04-09
KR20210121148A (ko) 2021-10-07
EP3912361A4 (en) 2022-11-16
CN113475089B (zh) 2024-04-19
KR102592036B1 (ko) 2023-10-23
WO2020175866A1 (en) 2020-09-03

Similar Documents

Publication Publication Date Title
CN113475089B (zh) 用于面向用户的内容流的方法和系统
CN108063961B (zh) 一种基于强化学习的自适应码率视频传输方法以及系统
US11509703B2 (en) System and method for widescale adaptive bitrate selection
Guo et al. Adaptive bitrate streaming in wireless networks with transcoding at network edge using deep reinforcement learning
US9497243B1 (en) Content delivery
Vasilev et al. Predicting QoE factors with machine learning
WO2022028304A1 (zh) 一种多媒体数据处理方法、装置、设备及可读存储介质
US11451847B2 (en) Methods and systems for generating personalized data-streaming for a multimedia playback device
JPWO2019187296A1 (ja) 通信トラヒック分析装置、通信トラヒック分析方法、プログラム及び記録媒体
CN106134215A (zh) 用户体验质量QoE预测装置、网络设备和方法
CN104702592A (zh) 流媒体下载方法和装置
US20220368744A1 (en) System and method for dynamic manipulation of content presentation
CN114818454A (zh) 模型训练方法、数据处理方法、电子设备和程序产品
CN116962414A (zh) 一种基于无服务器计算的自适应视频流传输方法及系统
CN114040257B (zh) 一种自适应视频流传输播放方法、装置、设备及存储介质
EP4013006A1 (en) Method for playing on a player of a client device a content streamed in a network
US20200037010A1 (en) Intelligent content adjustment in live streaming
Liotou et al. Enriching HTTP adaptive streaming with context awareness: A tunnel case study
Hafez et al. Reinforcement learning-based rate adaptation in dynamic video streaming
CN113259657A (zh) 基于视频质量分数的dppo码率自适应控制系统和方法
Xie et al. Deep Curriculum Reinforcement Learning for Adaptive 360$^{\circ} $ Video Streaming With Two-Stage Training
CN115022684B (zh) 一种quic协议下基于深度强化学习的视频流自适应传输方法
Kheibari et al. Quality estimation for DASH clients by using Deep Recurrent Neural Networks
Kim et al. HTTP adaptive streaming scheme based on reinforcement learning with edge computing assistance
Lin et al. Knn-q learning algorithm of bitrate adaptation for video streaming over http

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant