CN107211193A - 感知体验质量估计驱动的智能适应视频流传输方法和系统 - Google Patents

感知体验质量估计驱动的智能适应视频流传输方法和系统 Download PDF

Info

Publication number
CN107211193A
CN107211193A CN201680008584.4A CN201680008584A CN107211193A CN 107211193 A CN107211193 A CN 107211193A CN 201680008584 A CN201680008584 A CN 201680008584A CN 107211193 A CN107211193 A CN 107211193A
Authority
CN
China
Prior art keywords
video
quality
experience
decision
stream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680008584.4A
Other languages
English (en)
Other versions
CN107211193B (zh
Inventor
王舟
曾凯
阿卜杜勒·雷曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Imas Co.
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Publication of CN107211193A publication Critical patent/CN107211193A/zh
Application granted granted Critical
Publication of CN107211193B publication Critical patent/CN107211193B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2402—Monitoring of the downstream path of the transmission network, e.g. bandwidth available
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/23805—Controlling the feeding rate to the network, e.g. by controlling the video pump
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明是一种系统或方法，其通过利用在视频准备阶段，在视频托管处或在缓存服务器端侧，或在视频传输网络内部执行并发送给客户端的感知视频体验预测，促进在客户端侧为在视频传输网络上的适应性视频流传输进行智能决策。与现有技术的适应性比特率视频流传输技术相比，本发明可以产生以下一个或多个优点：1)节省用于传输视频内容的总体带宽，而不牺牲客户端用户的体验质量；2)创造更好的客户端用户的总体视觉体验质量；3)创建更加流畅的客户端用户的视觉体验质量；以及4)降低在客户端用户侧发生重新缓冲或停顿事件的概率。

Description

感知体验质量估计驱动的智能适应视频流传输方法和系统
技术领域
本发明一般性地涉及将视频流从视频托管服务器通过视频传输网络传输到客户端，以便优化客户端用户的体验质量。更具体地说，将服务器侧的视频流分成多个片段，每个片段都具有不同比特率和分辨率的多个流。本发明涉及一种方法或系统，其在客户侧做出从服务器侧的多个流中挑选出下一个片段的最佳决策，以便实现以下一个或多个优点：1)节省用于传输视频内容的总体带宽，而不牺牲客户端用户的体验质量；2)创造更好的客户端用户的总体视觉体验质量；3)创建更加流畅的客户端用户的视觉体验质量；以及4)降低在客户端用户侧发生重新缓冲或停顿事件的概率。本发明可以使用在采用通用适应性流传输方式的很多应用中。
背景技术
在过去几年中，通过网络传输的视频数据量呈指数级增长。视频点播(VoD)应用的越来越流行的方式是采用适应性视频流传输技术。在适应性视频流传输中，在视频流准备阶段，每个源视频内容被编码/转码成不同比特率和分辨率的多个变体(或流)。视频流被分为多个时间片段，并且所有流都存储在视频托管服务器中。当客户端观看视频内容时，它可以基于网络带宽、缓冲区大小、回放速度等为每个时间片段适应性地挑选多个流中的一个。由于重复性的编码/转码需求和存储相同内容的多个流的增加的存储空间会导致CPU功率的提高，适应性视频流传输框架将负担加在服务器侧。然而，它允许为与网络连接的用户提供各种变体而不改变基础设施，并有可能为每个用户在每一时刻基础上提供最好的可能服务。
然而，适应性流传输技术的当前实施和部署的一个主要问题是不能适当地考虑观看者的体验质量(QoE)。近年来视频质量评估一直是一个活跃的研究课题。当我们使用视频质量这一术语时，意思是指视频流的感知质量，而不考虑视频正在进行网络传送、在具有不同的分辨率的不同设备上显示以及观看条件不同等情况下的感知质量差异。相比之下，用QoE，意思是指考虑尽可能多的这种差异。例如，在视频传输服务的服务器侧，只能评估视频质量，并且无法直接测量视频QoE，但可以估计可以帮助预测视频QoE的某些参数。在客户端侧，因为所有相关信息变得可用，所以可以估计视频QoE。由于视频传输服务的最终目标是为客户端提供在其可视视频QoE方面最佳的可能视频，适当地评估视觉QoE并使用这样的评估作为视频传输系统的设计和优化的关键因素是非常有利的。遗憾的是，这正是当前适应性视频流传输实现方式中所缺少的。现实系统通常使用比特率作为关键因素，将其等同于视觉质量指标，但使用相同的比特率对不同的视频内容进行编码可能导致显著不同的视觉质量，其范围可能在标准五类(优秀、良好、一般、较差、极差)人类主观评价的两个极端之间。更糟糕的是，实际的用户QoE取决于用于显示视频的设备而不同，这是通过比特率驱动的流传输策略无法考虑另一因素。
本发明涉及如何使视频QoE估计可用于客户端以及如何在客户端站点处在适应性视频流传输的决策步骤中使用QoE估计。回到驱动者的位置，重新设计视频传输系统。
发明内容
使用视觉QoE作为在视频传输网络上提供智能适应性视频流传输或智能流传输的关键因素的方法或系统。
一个实施例涉及通过视频传输网络的适应性视频流传输，其从相同的视频源内容创建不同比特率和分辨率的多个视频流，并将其划分为多个时间片段。生成QoE预测参数，并且将QoE预测参数在发送视频流之前或与视频流一起发送到接收者客户端站点。在客户端站点处，估计视觉QoE并用作请求视频流的下一个视频片段的关键决策因素。
另一实施例涉及通过将QoE预测参数与即时网络和接收器条件组合来在客户端站点处提供QoE估计，所述条件包括错误的发送和/或解码、初始缓冲和重新缓冲、观看设备的像素分辨率、观看设备的物理尺寸、设备上的视频帧像素分辨率、视频时间分辨率、设备上的视频回放速度、观看环境条件、用户偏好、用户视觉条件或用户期望。
另一实施例涉及使用全参考、简化参考和/或无参考客观视频质量评估的模型、使用能够比较不同空间和/或时间分辨率的视频质量的模型、以及使用根据观看设备的类型和设置、观看设备上的回放窗口的分辨率和/或观看条件预测感知QoE的模型产生QoE预测参数。
另一个实施例涉及将所述体验质量预测参数作为元数据在发送所述视频流之前或与视频流一起发送，或者通过将参数作为水印或隐藏消息嵌入到视频流中来发送所述体验质量预测参数。
另一个实施例涉及在客户站点处为每个视频流的每个片段创建观看者QoE的矩阵，并且通过将QoE估计与其他可用信息组合来决定视频的下一个片段，所述其他可用信息包括视频流的比特率、视频流的分辨率、网络的可用带宽以及解码速度、显示速度、缓冲区大小和接收设备的功率中的一个或多个。
另一个实施例涉及进行在所述客户端站点处选择视频的下一个片段的智能适应性流传输决策，通过使用QoE作为在不切换、切换到更低比特率以及切换到更高比特率之间决策的关键因素，来节省带宽、降低重新缓冲的概率、提高总体体验质量、和/或维持体验质量的平滑度。
另一个实施例涉及进行在客户端站点处选择视频的接着多个片段的智能适应性流传输决策，通过使用动态规划方法找到最大化视觉QoE的平均质量和/或平滑度的最佳路径，来节省带宽、降低重新缓冲的概率、提高总体体验质量、和/或维持体验质量的平滑度。
应当理解，本发明的应用不限于以及在说明书或其中提供的或在附图中示出的实例中阐述的结构细节和部件的布置。本发明能够具有其他实施例并且能够以各种方式实践和实施。应当理解，这里使用的措辞和术语是为了描述的目的，不应被视为限制。本应用中描述的特征和优点并不是穷尽的。对于本领域普通技术人员而言，在附图、权利要求和说明书的基础上，附加的特征和优点将是显而易见的。选择本应用程序中使用的语言以获得更好的可读性和指导目的，并且并非用于限制或限定所公开的主题。
附图说明
图1示出基于感知QoE估计的适应性视频流传输过程的系统图。
图2示出有关视频QoE预测的视频流准备阶段中的流程图。
图3示出本发明的一个实施例中视频托管服务器、视频传输网络和客户端之间的流程图。
图4示出使用接收到的QoE预测参数作为与其他即时侧信息组合的关键因素进行动态观看者QoE估计的流程图。
图5绘出为将每个视频流中的每个视频片段的接收到的视频QoE预测参数阵列转换成每个视频流中的每个视频片段的观看者QoE估计矩阵的流程图。
图6绘出选择下一个片段的智能适应性流传输决策的流程图。观看者QoE估计矩阵具有中心作用，附加信息包括视频流的比特率、视频流的分辨率、网络的可用带宽、以及解码速度、显示速度、缓冲区大小和接收设备的功率中的一个或多个。
图7绘出应用“流过滤器”的流程图，“流过滤器”将下一个片段的所有可用流的数量减少到至可承受的流的子集。通过对视频比特率、网络带宽、解码速度、显示速度、缓冲区大小和设备功率中的一个或多个的约束来实现“流过滤”过程。
图8绘出本发明的一个实施例中为下一个视频片段选择流的决策的流程图。现有技术方法不具有可用的QoE估计信息，但假设更高的比特率导致更高的QoE。本发明通过选择具有最大QoE的流来允许不同的决策。
图9绘出本发明的一个实施例中为下一个视频片段选择流的决策的流程图。当不进行切换，QoE维持在预定目标阈值水平或以上时，即使这样的切换是可承受的，本发明也可以拒绝切换到更高比特率和/或更高分辨率的流。这与现有技术方法不同，现有技术方法尽最大努力来请求最高可承受的比特率的流，而无论该流的实际QoE如何。
图10绘出本发明的一个实施例中为下一个视频片段选择流的决策的流程图。当进行切换导致QoE增加低于阈值时，即使这样的切换是可承受的，本发明也可以拒绝切换到更高比特率和/或更高分辨率的流。这与现有技术方法不同，现有技术方法尽最大努力来请求最高可承受的比特率的流，而无论通过切换到该流可以实现多少QoE改进。
图11绘出本发明的一个实施例中为下一个视频片段选择流的决策的流程图。即使没有看到网络带宽或缓冲区大小的下降，当进行切换导致QoE下降低于阈值时，并且当通过这种切换，QoE保持在预定目标阈值QoE水平或以上时，本发明也可以切换到更低比特率和/或更低分辨率的流。这与现有技术方法不同，现有技术方法尽最大努力来请求最高可承受的比特率的流。因此，当网络带宽或缓冲区大小没有下降时，现有技术方法将继续请求等于或高于当前流的比特率的流，但不会切换到更低的比特率流。
图12绘出本发明的一个实施例中为下一个视频片段选择流的决策的流程图。即使没有看到网络带宽或缓冲区大小的下降，当进行切换导致QoE下降低于阈值时，或者当通过这种切换，QoE保持在或高于预定目标阈值QoE水平时，本发明也可以切换到更低比特率和/或更低分辨率的流。这与现有技术方法不同，现有技术方法尽最大努力来请求最高可承受的比特率的流。因此，当网络带宽或缓冲区大小没有下降时，现有技术方法将继续请求等于或高于当前流的比特率的流，但不会切换到更低的比特率流。
图13绘出本发明的一个实施例中为下一个视频片段选择流的决策的流程图。即使没有看到网络带宽或缓冲区大小的下降，当预测到将来的视频片段需要高于当前比特率以维持相同水平的QoE时，本发明也可以切换到更低比特率和/或更低分辨率流。这与现有技术方法不同，现有技术方法尽最大努力来请求最高可承受的比特率的流，而不知晓在视频的未来部分中维持相同水平的QoE的困难。
图14绘出本发明的一个实施例中为下一个视频片段选择流的决策的流程图。即使没有看到网络带宽或缓冲区大小的增加，当不进行切换，QoE下降多于阈值，并且当在下一个片段处更高比特率的流和当前流之间QoE的差的绝对值低于另一阈值时，本发明也可以切换到更高比特率的流和/或更高分辨率的流。这与现有技术方法不同，现有技术方法不知晓在下一个片段中维持相同水平的QoE并保持在相同的流中的困难。
图15示出本发明的一个实施例中联合选择接着的多个视频的片段序列的决策的说明性示例，其通过执行动态规划优化来决定最大化平均质量和/或QoE的平滑度的最佳路径实现。现有技术的适应性流传输方法不具有可用的QoE信息，因此不能执行这样的优化过程，该优化过程在带宽、缓冲区大小和/或其他因素的约束下给出最佳总体QoE。
图16示出了现有技术的适应性视频流传输和本发明的实施例的智能流传输中帧索引的函数的缓冲区大小的说明性示例。
图17示出了现有技术适应性视频流(a)以及基于本发明的实施例的智能流传输(b)的切换决策的说明性示例。
图18示出了现有技术适应性视频流(a)以及基于本发明的实施例的智能流传输(b)中作为帧索引的函数的帧比特率的说明性示例。
图19示出了现有技术适应性视频流和基于本发明的实施例的智能流传输中作为帧索引的函数的基于SSIMplus的视觉QoE的说明性示例。
在附图中，举例说明了本发明的实施例。应当明确地理解，描述和附图仅仅是为了说明的目的，并且作为对理解的帮助，而不是作为对本发明的限制的定义。
具体实施方式
本公开涉及用于通过视频传输网络进行智能适应性视频流传输的方法、系统或计算机程序。我们称之为智能适应性视频流传输或智能流传输的技术具有以下一个或多个优点：1)节省用于传输视频内容的总体带宽，而不会牺牲客户端用户的体验质量；2)创造更好的客户端用户的总体视觉体验质量；3)创建更加流畅的客户端用户的视觉体验质量；以及4)降低在客户端用户侧发生重新缓冲或停顿事件的概率。
本发明的一个实施例是一种方法、系统或计算机程序，其包括以下步骤：1)100：从相同的视频源内容创建不同比特率和分辨率的多个视频流，并将其划分为多个时间片段；2)102：在视频准备阶段，在视频托管站点处和/或视频传输网络内执行视频流的QoE预测，得到用于视频流的QoE预测参数的多维阵列；3)104：将QoE预测参数在发送视频流之前或与视频流一起发送到接收方客户端站点；以及4)106：在客户端站点，使用接收到的体验质量预测参数和客户端侧网络、设备和观看环境信息来估计实际用户QoE，并且108：请求视频流的下一个片段。图1给出了整个系统流程图。图2给出了在视频流准备阶段有关视频流的QoE预测的流程图。图3给出了有关在视频托管服务器和/或视频传输网络处的视频流的QoE预测的流程图，其还给出了本发明的一个实施例中在创建即时QoE估计和进行流传输决策的客户端站点处的流程图。
本发明的另一个实施例通过直接使用从网络接收的QoE预测参数410在客户站点处静态地进行QoE估计。在本发明的又一个实施例中，客户端站点处的QoE估计412通过组合从具有一个或多个即时网络400的网络接收的QoE预测参数410和接收器条件402、404、406、408动态地执行。这些条件可以包括错误发送和/或解码、初始缓冲和重新缓冲、观看设备的像素分辨率、观看设备的物理尺寸、设备上的视频帧像素分辨率、视频时间分辨率、设备上的视频回放速度、观看环境条件、用户偏好、用户视觉条件和用户期望中的一个或多个。图4给出了示出QoE预测参数起关键作用的动态QoE估计过程。
在本发明的另一个实施例中，在视频准备阶段，在视频托管站点处或视频传输网络内，在视频流上进行人主观QoE测量。使用主观测量结果计算的统计特征，诸如主观意见得分的平均意见得分和标准偏差/方差，作为QoE预测参数。
在本发明的另一个实施例中，诸如PSNR[1]、SSIM[2,3]、MS-SSIM[4]、VQM[5]、MOVIE[6]和SSIMplus[7,8,9]的全参考、简化参考和/或无参考客观视频质量计算评估模型可以用作感知QoE预测因素。
本发明的另一个实施例使用产生能够将跨不同空间和/或时间分辨率的视频质量进行比较的参数的全参考和/或简化参考客观感知模型作为感知QoE预测因素。大多数现有的客观感知模型没有这种能力。用于此目的的理想候选是SSIMplus测量。
本发明的另一实施例使用根据观看设备的类型和设置、观看设备上的回放窗口的空间和时间分辨率和/或客户端站点处视频的观看条件来产生预测感知QoE的参数的客观感知视频质量模型。大多数现有的客观感知模型没有这种能力。用于此目的的理想候选是SSIMplus测量。
本发明的另一个实施例将所述体验质量预测参数作为元数据在视频流的发送之前或与所述视频流的发送一起发送。例如，QoE参数可以被包括在视频文件头中，或者在发送视频流之前作为发送到客户端XML文件中的元数据部分发送。在本发明的另一个实施例中，QoE预测参数可以使用水印或数据隐藏技术嵌入到视频流本身中，与视频流一起发送到客户端站点。
本发明的另一实施例在客户端站点504处为每个视频流的每个片段创建观看者QoE估计的矩阵502，然后在流传输决策步骤中使用该矩阵来选择视频的下一个片段。图5中示出了生成QoE估计矩阵512的过程，其中QoE预测参数500是与所有流中的所有片段的即时网络和接收器条件506(如图4所示)进一步组合的最关键因素。
本发明的另一实施例包括在客户端站点处选择视频的下一个片段608的流传输决策步骤606，其将QoE估计604与包括视频流的比特率600、视频流的分辨率602、网络的可用带宽610、解码速度614、显示速度616、缓冲区大小612和接收设备的功率618中的一个或多个其他可用信息组合。图6中示出了说明该过程的流程图。
本发明的另一个实施例包括在客户端站点处选择视频的下一个片段的流传输决策步骤，其在视频比特率、网络带宽、解码速度、显示速度、缓冲区大小和设备功率等的约束条件708下，挑选最大QoE视频流。在对于下一个片段的所有可用的视频流702、704应用所有这样的约束之后，留下了这些视频流的子集710、712。在该应用中将该过程称为“流过滤器706”，并且在应用流过滤器之后的剩余流被称为“可承受的流712”。例如，在采用视频流(以减少重新缓冲或停顿的可能性)之后，缓冲区大小应该保持在阈值水平以上，并且为了满足这样的条件，具有高比特率的一些流是不可承受的，因此被过滤掉。图7中示出了一般过程的流程图。
本发明的另一个实施例包括在客户端站点处选择视频的下一个片段的流传输决策步骤，其在视频比特率、网络带宽、解码速度、显示速度、缓冲区大小和设备功率的约束下，挑选最大QoE视频流。图8给出了流程图。现有技术方法没有可用的QoE估计信息，而是假设更高的比特率导致更高的QoE，并因此选择最高比特率的流804，其可能不是最佳QoE806、810的最佳选择。本发明通过找到所有可承受的流的最大QoE 806、810来允许不同的决策。这具有三个优点中的一个或多个：1)由QoE_{最高QoE流810}与QoE_{最高比特率流808}之间的差异给出的提高的QoE；2)由比特率_{最高比特率流808}-比特率_{最高QoE流810}之间的差异给出的降低的比特率；3)由于视频流的更低速率导致更大的缓冲区(给定相同的网络带宽条件)，这降低了可能在视频回放过程中触发重新缓冲或停顿的低或空缓冲区运行的概率，因此重新缓冲/停顿事件的概率更低。
本发明的另一个实施例包括在客户端站点处选择视频的下一个片段的流传输决策步骤，当不进行切换，QoE维持在预定目标阈值水平或以上时，通过拒绝914切换到可承受的更高比特率和/或更高分辨率的流，来节省带宽、降低重新缓冲的概率、提高总体QoE、和/或维持QoE的平滑度。图9示出了流程图。这与现有技术方法不同，现有技术方法尽最大努力来请求最高可承受的比特率的流，不管客户端的实际QoE如何。这样的差异使得本发明通过不切换到最高的可承受的比特率的流来节省比特率，并且由于可以在相同的网络带宽下缓冲更多的视频内容，所以降低了重新缓冲的概率。
本发明的另一个实施例包括在客户端站点处选择视频的下一个片段的流传输决策步骤，当进行切换导致QoE增加低于阈值1010时，通过拒绝1016切换到可承受的更高比特率和/或更高分辨率的流，来节省带宽、降低重新缓冲的概率、提高总体QoE、和/或维持QoE的平滑度。图10示出了流程图。这与现有技术方法不同，现有技术方法在客户端侧尽最大努力来请求最高可承受的比特率的流，不管通过切换到该流可以实现多少QoE改进。这种差异使得本发明通过不切换到更高的可承受的比特率的流节省了比特率，并且由于可以在相同的网络带宽下缓冲更多的视频内容，所以降低了重新缓冲的概率。
本发明的另一个实施例包括在客户端站点处选择视频的下一个片段的流传输决策步骤，无论有或没有看到网络带宽或缓冲区大小的下降，(A)当进行切换导致QoE下降低于阈值1108、1208时，和/或(B)当进行这种切换，QoE维持在预定目标阈值QoE水平1106、1206或以上时，通过切换到更低比特率和/或更低分辨率的流，来节省带宽、降低重新缓冲的概率、提高总体QoE、和/或维持QoE的平滑度。图11和图12示出了两个流程图，具有上述条件(A)和(B)的不同组合1118、1218。这与现有技术方法不同，现有技术方法在客户端处尽最大努力来请求最高可承受的比特率的流。因此，当网络带宽或缓冲区大小没有下降时，现有技术方法继续请求等于或高于当前流的比特率的流，而不会切换到更低的比特率的流。这样的差异使得本发明通过切换到更低比特率的流来节省比特率，并且由于可以在相同的网络带宽下缓冲更多的视频内容，因此降低了重新缓冲的概率。
本发明的另一个实施例包括在客户端站点处选择视频的下一个片段的流传输决策步骤，无论有或没有看到网络带宽或缓冲区大小的下降，当预见到未来视频片段需要高于当前比特率的以维持相同水平的QoE1310、1314时，通过切换到更低比特率和/或更低分辨率的流1316，以节省带宽、降低重新缓冲的概率、提高总体QoE、和/或维持QoE的平滑度。图13示出流程图。这与现有技术方法不同，现有技术在客户端处尽最大努力来请求最高可承受的比特率的流，而不知晓在视频的未来部分中维持相同水平的QoE的困难。因此，当不存在网络带宽或缓冲区大小的下降时，现在技术方法将继续请求等于或高于当前流的比特率的流，并且不会切换到更低的比特率流。切换到更低比特率流的能力使本发明与现有技术不同。这种差异使得本发明通过切换到更低比特率流1316来在低复杂度内容的当前时刻节省比特率，并为更复杂的并且希望更多比特率来维持QoE的未来视频片段预留带宽容量。因此，本发明导致QoE的平滑度得到改善，降低了未来复杂片段的重新缓冲和停顿事件的概率，并且提高了总体QoE。
本发明的另一实施例包括在客户端站点处选择视频的下一个片段的流传输决策步骤，无论是否看到网络带宽或缓冲区大小的增加，当不进行切换，QoE下降超过阈值1406、1414并且当在下一个片段处更高比特率的流与当前流之间的QoE的差的绝对值低于另一阈值1408、1416时，通过切换到更高比特率的流和/或更高分辨率的流来维持QoE的当前水平和平滑度。图14中给出了示出说明性示例的流程图。在当前流K中，当前片段i和下一个片段i+1的复杂度和QoE可能截然不同(QoE_{i，K}-QoE_{i+1，K}>T_h 1406)，因此下一个片段停留在流K则不能保持相同水平的QoE，并且还降低QoE随时间的平滑性。现有技术的适应性流传输方法由于缺乏QoE信息而没有意识到这点，并且当看不到网络带宽或缓冲区大小的增加时，将不会切换到更高的比特率流。相比之下，本发明检测潜在的QoE下降并找到另一个流J，其具有更高的比特率，但是下一个片段的QoE更好地与当前片段的流K的QoE匹配(Abs[QoE_{i+1，J}-QoE_{i，K}]<T_l 1408)。这使得本发明更好地维持QoE随时间的平滑度，从而更好地维持客户端用户的总体QoE。
本发明的另一个实施例包括在客户端站点处对视频的接着多个片段的序列的联合选择的流传输决策步骤，通过执行动态规划优化例如维特比算法来决定最大化QoE的平均质量和/或平滑度的最佳路径1502。图15中给出了说明性的示例。现有技术的适应性流传输方法不具有可用的QoE信息，因此不能执行在带宽、缓冲区大小和/或其他因素的约束下给出最佳的总体QoE这样的动态程序优化程序。相反，本发明的一个实施例使用QoE矩阵1500来执行关于固定网络带宽或某些网络带宽模式的可能的额外假设的动态规划优化。所得到的最佳路径1502可以提供可能的最佳的总体QoE和/或最平滑的QoE，这是不能通过现有技术方法实现的。
本文所描述的示例仅仅是为了举例说明本发明的可能实施例。本领域技术人员将认识到，本发明的其他实施例也是可能的。本领域技术人员将理解，在不脱离本发明的范围的情况下，也可以实施本文所描述的实施例的其他变型。因此，其他修改是可能的。
下面给出一个有启发性的例子。为了提高可读性，该示例在很大程度上是从现实世界的场景中简化而来的，并且仅使用演示发明的创新步骤的一部分。该示例主要用于说明本发明的智能流传输(SS)发明的实施例如何与现有技术的适应性流传输(AS)方法不同。该示例不应用于限制本发明的广泛用途。
假设在主机服务器上存在分别具有500kbps、1000kbps和2000kbps的比特率的来自相同源内容的3层视频流。(每个视频帧的实际比特率存在波动)。还假设网络带宽恒定在800kbps。还假设在播放视频之前，客户端侧的播放器最初缓冲了2秒的视频。
图16比较了现有技术适应性流传输方法和本发明的实施例160中智能流传输方法的作为帧索引函数的缓冲区大小，其中现有技术的适应性流传输方法使用8秒缓冲区和2秒缓冲区分别作为触发切换到更高的比特率和更低的比特率的阈值。在该特定示例中，由于800kbps的实际网络带宽在500kbps的第一层视频流的比特率和1000kbps的第二层视频流之间，所以现有技术的适应性流传输方法将在这两层之间交替切换。所得到的切换决策可以如图17(a)1700所示，并且所得实际比特率作为帧索引的函数示于图18(a)1800。因为比特率比帧索引平滑，所以现有技术适应性流传输中使用比特率作为视频质量的指标，这样的性能是正常和理想的。然而，恒定(或类似)的比特率并不意味着相同的视频质量或视觉QoE，这在很大程度上取决于视频内容的复杂度。在这种特殊情况下，视频内容的最后部分要比前面的部分复杂得多。结果，尽管现有技术适应性流传输视频的最后部分与较前的部分相比具有相似的比特率，但视觉QoE明显更低。这可以使用诸如SSIMplus的有效QoE测量来检测，并且图19所示的现有技术适应性流传输视频的SSIMplus曲线示出了观看者的QoE从视频1900的较前部分到稍后部分发生显著变化。这可能导致总体视觉QoE的显著下降，并且很大程度上影响用户不满意和客户参与。
相比之下，本发明的实施例中的智能流传输方法在这种情况下的行为不同。图16示出了作为帧索引1600的函数的缓冲区大小，图17(b)示出了智能流传输情况1702的实际切换决策，并且图18(b)给出了作为帧索引函数1802所得到的实际比特率。首先，因为每层视频流中未来帧的QoE可用，所以智能流传输模块不会在视频的中间部分触发切换到更高的比特率，这是因为这种切换不会导致QoE的充分改善，并且还因为智能流传输模块预见到高难度的未来片段(视频的最后部分)。第二，为了维持视频最后部分的视觉QoE的平滑度，智能流传输模块触发切换到2000kbps的第三层视频流，这是比网络带宽高得多的比特率。图17(b)中所得到的切换决策和图18(b)中作为帧索引的函数的实际比特率显示出在视频的最后部分至更高的比特率的很大的跳转，这是在现有技术的适应性流传输方法中观察不到的效果。这种新的决策策略导致图19中基于SSIMplus的QoE曲线，其中智能流传输曲线在整个视频中维持在高质量水平，在QoE 1900中具有显著更好的平滑度和总体性能。此外，智能流传输情况的总比特率甚至比适应性流传输情况的总比特率更低(其可以由图16中的曲线末端的缓冲区大小确定)。即使将来，图16中的智能流传输情况的缓冲区大小曲线高于适应性流传输的曲线，这意味着智能流传输更适于降低重新缓冲和停顿事件1600。总之，由于采用智能流传输方式作为本发明的一个实施例，比现有技术具有更好的总体用户QoE和更平滑的用户QoE，以及使用更低的总体比特率和维持更健康的缓冲区的潜力。
参考文献
[1]Z.Wang和A.Bovik,"Mean squared error:love it or leave it？-a newlook at signal fidelity measures(平均误差：爱它还是离开它？——信号保真措施的新观点),"IEEE Signal Processing Magazine(IEEE信号处理杂志),第26卷,第98-117页,2009年1月。
[2]Z.Wang,A.C.Bovik,H.R.Sheikh,和E.P.Simoncelli,"Image qualityassessment:From error visibility to structural similarity(图像质量评估：从错误可见性到结构相似性),"IEEE Transactions on Image Processing(关于图像处理的IEEE事务),第13卷,第4册,第600-612页,2004年4月。
[3]Z.Wang,L.Lu,和A.C.Bovik,"Video quality assessment based onstructural distortion measurement(基于结构失真测量的视频质量估计)"SignalProcessing:Image Communication(信号处理：图像通信),第19卷,第121-132页,2004年2月。
[4]Z.Wang,E.P.Simoncelli,和A.C.Bovik,"Multi-scale structuralsimilarity for image quality assessment(用于图像质量估计的多尺度结构相似性)",IEEE Asilomar Conference on Signals,Systems and Computers(关于信号、系统和计算机的IEEE Asilomar会议),2003年11月.
[5]M.H.Pinson,"A new standardized method for objectively measuringvideo quality(用于客观测量视频质量的新标准化方法)",IEEE Transactions onBroadcasting(关于广播的IEEE事务),第50卷,第3册,第312-322页,2004年9月。
[6]K.Seshadrinathan和A.C.Bovik,"Motion tuned spatio-temporal qualityassessment of natural videos(天然视频的运动调整的空-时质量评估)",IEEETransactions on Image Processing(关于图像处理的IEEE事务),第19卷,第2册,第335-350页,2010年2月。
[7]A.Rehman,K.Zeng和Z.Wang,https://ece.uwater100.ca/～z70wang/research/ssimplus/
[8]A.Rehman,K.Zeng和Z.Wang,"Display device-adapted video quality-of-experience assessment(适应显示设备的视频体验质量评估),"IS&T-SPIE ElectronicImaging,Human Vision and Electronic Imaging XX(IS&T-SPIE电子成像，人类视觉和电子成像XX),2015年2月。
[9]Z.Wang,A.Rehman和K.Zeng,"Method and system for perceptualobjective video quality assessment(感知客观视频质量评估方法与系统),"美国临时专利申请61/496,923,2013,PCT 2014。

Claims (33)

1.一种用于通过视频传输网络进行适应性视频流传输的方法，包括：
(a)从相同的视频源内容创建不同比特率和分辨率的多个视频流，并且将它们划分为多个时间片段；
(b)在视频准备阶段，在视频托管站点处和/或在所述视频传输网络内执行所述视频流的体验质量预测；
(c)将体验质量预测参数在发送所述视频流之前或与所述视频流一起发送到接收者客户端站点；
(d)使用所述接收到的体验质量预测参数和客户端侧网络、设备和观看环境信息来估计实际的用户体验质量并且请求视频流的下一个片段。
2.一种体验质量估计的方法，通过使用从网络接收的体验质量预测参数在客户端站点处静态地进行体验质量估计，或通过将从网络接收的体验质量预测参数与一个或多个即时网络和接收器条件进行组合来在客户端站点处动态地进行体验质量估计，其中所述条件包括错误的发送和/或解码、初始缓冲和重新缓冲、观看设备的像素分辨率、观看设备的物理尺寸、设备上的视频帧像素分辨率、视频时间分辨率、设备上的视频回放速度、观看环境条件、用户偏好、用户视觉条件或用户期望。
3.根据权利要求1所述的方法，还包括在视频准备阶段，在视频托管站点处或在视频传输网络内执行人主观体验质量测量，并且使用所述主观评级作为体验质量预测因素。
4.根据权利要求1所述的方法，还包括使用诸如PSNR、SSIM、MS-SSIM、VQM、MOVIE和SSIMplus的全参考、简化参考和/或无参考客观视频质量计算评估模型作为感知体验质量预测因素。
5.根据权利要求1所述的方法，还包括使用产生能够比较跨不同空间和/或时间分辨率的视频质量的参数的全参考和/或简化参考客观感知模型作为所述体验质量预测因素。
6.根据权利要求1所述的方法，还包括使用根据所述观看设备的类型和设置、所述观看设备上的回放窗口的分辨率和/或所述客户端站点处所述视频的观看条件来产生预测感知体验质量的参数的客观感知视频质量模型。
7.根据权利要求1所述的方法，还包括将所述体验质量预测参数作为元数据在发送所述视频流之前发送或与发送所述视频流一起发送。
8.根据权利要求1所述的方法，还包括通过将所述体验质量预测参数作为水印或隐藏消息嵌入到所述视频流中来发送所述体验质量预测参数。
9.根据权利要求1所述的方法，还包括基于如权利要求2所述的观看者的体验质量方法，在所述客户端站点处为每个视频流的每个片段创建观看者体验质量估计的矩阵，然后将所述矩阵用于选择视频的下一个片段的流传输决策步骤中。
10.根据权利要求1所述的方法，还包括在所述客户端站点处选择所述视频的下一个片段的流传输决策步骤，所述流传输决策步骤将体验质量估计与其他可用信息组合，所述其他可用信息包括视频流的比特率、所述视频流的分辨率、网络的可用带宽以及解码速度、显示速度、缓冲区大小和接收设备的功率中的一个或多个。
11.根据权利要求1所述的方法，还包括在所述客户端站点处选择所述视频的下一个片段的流传输决策步骤，所述流传输决策步骤在视频比特率、网络带宽、解码速度、显示速度、缓冲区大小和设备功率的约束下，挑选最大体验质量视频流。
12.根据权利要求1所述的方法，还包括在所述客户端站点处选择所述视频的下一个片段的流传输决策步骤，当不进行切换，体验质量维持在预定目标阈值水平或以上时，通过拒绝切换到可承受的更高比特率和/或更高分辨率的流，来节省带宽、降低重新缓冲的概率、提高总体体验质量、和/或维持体验质量的平滑度。
13.根据权利要求1所述的方法，还包括在所述客户端站点处选择所述视频的下一个片段的流传输决策步骤，当进行切换导致体验质量提高低于阈值时，通过拒绝切换到可承受的更高比特率和/或更高分辨率的流，来节省带宽、降低重新缓冲的概率、提高总体体验质量、和/或维持体验质量的平滑度。
14.根据权利要求1所述的方法，还包括在所述客户端站点处选择所述视频的下一个片段的流传输决策步骤，无论有或没有看到网络带宽或缓冲区大小的下降，当进行切换导致体验质量下降低于阈值时和/或当进行切换，体验质量维持在预定目标阈值体验质量水平或以上时，通过切换到更低比特率和/或更低分辨率的流，来节省带宽、降低重新缓冲的概率、提高总体体验质量、和/或维持体验质量的平滑度。
15.根据权利要求1所述的方法，还包括在所述客户端站点处选择所述视频的下一个片段的流传输决策步骤，无论有或没有看到网络带宽或缓冲区大小的下降，当预见到未来视频片段需要高于当前比特率以维持相同水平的体验质量时，通过切换到更低比特率和/或更低分辨率的流，来节省带宽、降低重新缓冲的概率、提高总体体验质量、和/或维持体验质量的平滑度。
16.根据权利要求1所述的方法，还包括在所述客户端站点处选择所述视频的下一个片段的流传输决策步骤，无论是否看到网络带宽或缓冲区大小的增加，当不进行切换，体验质量下降超过阈值并且当在下一个片段处更高比特率的流与当前流之间的体验质量的差的绝对值低于另一阈值时，通过切换到更高比特率的流和/或更高分辨率的流来维持体验质量的当前水平和平滑度。
17.根据权利要求1所述的方法，还包括在客户端站点处对视频的接着多个片段的序列的联合选择的流传输决策步骤，其通过执行例如维特比算法的动态规划优化来决定最大化体验质量的平均质量和/或平滑度的最佳路径。
18.一种用于通过视频传输网络进行适应性视频流传输的系统，包括：
(a)从相同的视频源内容创建不同比特率和分辨率的多个视频流，并且将它们划分为多个时间片段；
(b)在视频准备阶段，在视频托管站点处和/或在所述视频传输网络内执行所述视频流的体验质量预测；
(c)将体验质量预测参数在发送所述视频流之前或与所述视频流一起发送到接收者客户端站点；
(d)使用所述接收到的体验质量预测参数和客户端侧网络、设备和观看环境信息来估计实际的用户体验质量并且请求视频流的下一个片段。
19.一种体验质量估计的系统，通过使用从网络接收的体验质量预测参数在客户端站点处静态地进行体验质量估计，或通过将从网络接收的体验质量预测参数与一个或多个即时网络和接收器条件进行组合来在客户端站点处动态地进行体验质量估计，其中所述条件包括错误的发送和/或解码、初始缓冲和重新缓冲、观看设备的像素分辨率、观看设备的物理尺寸、设备上的视频帧像素分辨率、视频时间分辨率、设备上的视频回放速度、观看环境条件、用户偏好、用户视觉条件或用户期望。
20.根据权利要求18所述的系统，还包括使用诸如PSNR、SSIM、MS-SSIM、VQM、MOVIE和SSIMplus的全参考、简化参考和/或无参考客观视频质量计算评估模型作为感知体验质量预测因素。
21.根据权利要求18所述的系统，还包括使用产生能够将跨不同空间和/或时间分辨率的视频质量进行比较的参数的全参考和/或简化参考客观感知模型作为体验质量预测因素。
22.根据权利要求18所述的系统，还包括使用根据观看设备的类型和设置、观看设备上的回放窗口的分辨率和/或所述客户端站点处视频的观看条件来产生预测感知体验质量的参数的客观感知视频质量模型。
23.根据权利要求18所述的系统，还包括将所述体验质量预测参数作为元数据在发送所述视频流之前发送或与所述视频流一起发送。
24.根据权利要求18所述的系统，还包括通过将所述体验质量预测参数作为水印或隐藏消息嵌入到所述视频流中来发送所述体验质量预测参数。
25.根据权利要求18所述的系统，还包括基于如权利要求2所述的观看者的体验质量方法，在所述客户端站点处为每个视频流的每个片段创建观看者体验质量估计的矩阵，然后将所述矩阵用于选择视频的下一个片段的流传输决策步骤中。
26.根据权利要求18所述的系统，还包括在所述客户端站点处选择所述视频的下一个片段的流传输决策步骤，所述流传输决策步骤将体验质量估计与其他可用信息组合，所述其他可用信息包括视频流的比特率、视频流的分辨率、网络的可用带宽以及解码速度、显示速度、缓冲区大小和接收设备的功率中的一个或多个。
27.根据权利要求18所述的系统，还包括在所述客户端站点处选择所述视频的下一个片段的流传输决策步骤，所述流传输决策步骤在视频比特率、网络带宽、解码速度、显示速度、缓冲区大小和设备功率的约束下，挑选最大体验质量视频流。
28.根据权利要求18所述的系统，还包括在所述客户端站点处选择所述视频的下一个片段的流传输决策步骤，当不进行切换，体验质量维持在预定目标阈值水平或以上时，通过拒绝切换到可承受的更高比特率和/或更高分辨率的流，来节省带宽、降低重新缓冲的概率、提高总体体验质量、和/或维持体验质量的平滑度。
29.根据权利要求18所述的系统，还包括在所述客户端站点处选择所述视频的下一个片段的流传输决策步骤，当进行切换导致体验质量提高低于阈值时，通过拒绝切换到可承受的更高比特率和/或更高分辨率的流，来节省带宽、降低重新缓冲的概率、提高总体体验质量、和/或维持体验质量的平滑度。
30.根据权利要求18所述的系统，还包括在所述客户端站点处选择所述视频的下一个片段的流传输决策步骤，无论有或没有看到网络带宽或缓冲区大小的下降，当进行切换导致体验质量下降低于阈值时和/或当进行切换，体验质量维持在预定目标阈值体验质量水平或以上时，通过切换到更低比特率和/或更低分辨率的流，来节省带宽、降低重新缓冲的概率、提高总体体验质量、和/或维持体验质量的平滑度。
31.根据权利要求18所述的系统，还包括在所述客户端站点处选择所述视频的下一个片段的流传输决策步骤，无论有或没有看到网络带宽或缓冲区大小的下降，当预见到未来视频片段需要高于当前比特率以维持相同水平的体验质量时，通过切换到更低比特率和/或更低分辨率的流，来节省带宽、降低重新缓冲的概率、提高总体体验质量、和/或维持体验质量的平滑度。
32.根据权利要求18所述的系统，还包括在所述客户端站点处选择所述视频的下一个片段的流传输决策步骤，无论是否看到网络带宽或缓冲区大小的增加，当不进行切换，体验质量下降超过阈值并且当在下一个片段处更高比特率的流与当前流之间的体验质量的差的绝对值低于另一阈值时，通过切换到具有更高比特率的流和/或更高分辨率的流来维持体验质量的当前水平和平滑度。
33.根据权利要求18所述的系统，还包括在客户端站点处对视频的接着多个片段的序列的联合选择的流传输决策步骤，其通过执行例如维特比算法的动态规划优化来决定最大化体验质量的平均质量和/或平滑度的最佳路径。
CN201680008584.4A 2015-02-07 2016-02-08 感知体验质量估计驱动的智能适应视频流传输方法和系统 Active CN107211193B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562113401P 2015-02-07 2015-02-07
US62/113,401 2015-02-07
PCT/CA2016/050111 WO2016123721A1 (en) 2015-02-07 2016-02-08 Method and system for smart adaptive video streaming driven by perceptual quality-of-experience estimations

Publications (2)

Publication Number Publication Date
CN107211193A true CN107211193A (zh) 2017-09-26
CN107211193B CN107211193B (zh) 2021-04-13

Family

ID=56563275

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680008584.4A Active CN107211193B (zh) 2015-02-07 2016-02-08 感知体验质量估计驱动的智能适应视频流传输方法和系统

Country Status (6)

Country Link
US (1) US10863217B2 (zh)
EP (1) EP3254470B8 (zh)
JP (1) JP6845808B2 (zh)
CN (1) CN107211193B (zh)
CA (1) CA2975904C (zh)
WO (1) WO2016123721A1 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107800886A (zh) * 2017-11-15 2018-03-13 珠海市魅族科技有限公司 终端控制方法、装置、计算机装置及计算机可读存储介质
CN108462899A (zh) * 2018-03-19 2018-08-28 青岛海信电器股份有限公司 基于设备能力的流媒体码流自适应传输方法、设备及系统
CN109040744A (zh) * 2018-07-27 2018-12-18 华为技术有限公司 预测视频业务的关键质量指标的方法、装置及存储介质
CN109982118A (zh) * 2019-03-27 2019-07-05 北京奇艺世纪科技有限公司 一种视频码率自适应调整方法、装置及电子设备
CN110679153A (zh) * 2017-05-31 2020-01-10 奈飞公司 重新缓冲事件的时间放置
CN112202802A (zh) * 2020-10-10 2021-01-08 中国科学技术大学 C-ran架构中基于强化学习的vr视频多级缓存方法和系统
CN112771875A (zh) * 2018-09-25 2021-05-07 微软技术许可有限责任公司 在保持视频质量的同时提高视频比特率
KR20230132222A (ko) 2022-03-08 2023-09-15 에스케이케미칼 주식회사 재생 비스-2-히드록시에틸테레프탈레이트를 이용한 폴리에스테르 수지 및 이를 포함하는 물품
KR20230149644A (ko) 2022-04-20 2023-10-27 에스케이케미칼 주식회사 재생 비스(2-히드록시에틸)테레프탈레이트를 포함하는 폴리에스테르 수지 및 이를 이용한 필름

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9544352B2 (en) * 2013-06-11 2017-01-10 Bitmovin Gmbh Adaptation logic for varying a bitrate
US10129126B2 (en) * 2016-06-08 2018-11-13 Bank Of America Corporation System for predictive usage of resources
US10291487B2 (en) 2016-06-08 2019-05-14 Bank Of America Corporation System for predictive acquisition and use of resources
US10178101B2 (en) 2016-06-08 2019-01-08 Bank Of America Corporation System for creation of alternative path to resource acquisition
US10581988B2 (en) 2016-06-08 2020-03-03 Bank Of America Corporation System for predictive use of resources
US10440082B1 (en) * 2016-06-21 2019-10-08 Amazon Technologies, Inc. Adjusting parameter settings for bitrate selection algorithms
US11102535B1 (en) * 2016-06-21 2021-08-24 Amazon Technologies, Inc. Adjusting parameter settings for bitrate selection algorithms
KR102532645B1 (ko) * 2016-09-20 2023-05-15 삼성전자 주식회사 적응적 스트리밍 서비스에서 스트리밍 어플리케이케이션으로 데이터를 제공하는 방법 및 장치
US10454987B2 (en) * 2016-10-28 2019-10-22 Google Llc Bitrate optimization for multi-representation encoding using playback statistics
KR102633595B1 (ko) * 2016-11-21 2024-02-05 삼성전자주식회사 디스플레이장치 및 그 제어방법
US10834406B2 (en) 2016-12-12 2020-11-10 Netflix, Inc. Device-consistent techniques for predicting absolute perceptual video quality
US11153585B2 (en) 2017-02-23 2021-10-19 Netflix, Inc. Optimizing encoding operations when generating encoded versions of a media title
US10715814B2 (en) * 2017-02-23 2020-07-14 Netflix, Inc. Techniques for optimizing encoding parameters for different shot sequences
US11166034B2 (en) 2017-02-23 2021-11-02 Netflix, Inc. Comparing video encoders/decoders using shot-based encoding and a perceptual visual quality metric
US10742708B2 (en) 2017-02-23 2020-08-11 Netflix, Inc. Iterative techniques for generating multiple encoded versions of a media title
US10873775B2 (en) 2017-06-12 2020-12-22 Netflix, Inc. Staggered key frame video encoding
US10666992B2 (en) 2017-07-18 2020-05-26 Netflix, Inc. Encoding techniques for optimizing distortion and bitrate
US10623788B2 (en) 2018-03-23 2020-04-14 At&T Intellectual Property I, L.P. Methods to estimate video playback buffer
US11575958B2 (en) * 2018-08-31 2023-02-07 International Business Machines Corporation Progressive increase in multimedia streaming quality
US10735742B2 (en) 2018-11-28 2020-08-04 At&T Intellectual Property I, L.P. Adaptive bitrate video testing
EP3664456A1 (en) * 2018-12-03 2020-06-10 Nokia Solutions and Networks Oy Apparatus and method for playing streamed media
US11363345B2 (en) * 2019-03-26 2022-06-14 Ssimwave Inc. Unified end-to-end quality and latency measurement, optimization and management in multimedia communications
US20220256206A1 (en) * 2019-08-08 2022-08-11 Nec Corporation Communication control method, communication apparatus, and communication system
CN110572697A (zh) * 2019-09-16 2019-12-13 世纪海航(厦门)科技有限公司 一种多视频通道的远程教学方法、装置及服务器
FR3103988A1 (fr) * 2019-11-29 2021-06-04 Orange Procédé de gestion d’une liste de contenus accessibles au zapping, les contenus numériques étant téléchargeables en mode de téléchargement progressif adaptatif (HAS), dispositif de gestion, lecteur de flux multimédia et programme d’ordinateur correspondants.
KR20210067788A (ko) 2019-11-29 2021-06-08 삼성전자주식회사 전자 장치, 시스템 및 그 제어 방법
CN111031347A (zh) * 2019-11-29 2020-04-17 广州市百果园信息技术有限公司 一种视频处理的方法及装置、电子设备、存储介质
CN113132765A (zh) * 2020-01-16 2021-07-16 北京达佳互联信息技术有限公司 码率决策模型训练方法、装置、电子设备及存储介质
US20210233259A1 (en) * 2020-01-28 2021-07-29 Ssimwave Inc. No-reference visual media assessment combining deep neural networks and models of human visual system and video content/distortion analysis
US11962781B2 (en) * 2020-02-13 2024-04-16 Ssimwave Inc. Video encoding complexity measure system
IL298174A (en) 2020-05-14 2023-01-01 Ssimwave Inc Index-based content perceptual quality assessment and viewer-aware coding
US20210385513A1 (en) * 2020-06-04 2021-12-09 Comcast Cable Communications, Llc Distributed storage of content across storage subsystems
KR20220014715A (ko) 2020-07-29 2022-02-07 삼성전자주식회사 비디오 품질 평가 방법 및 장치
FR3116684B1 (fr) * 2020-11-20 2024-01-19 Orange Gestion du téléchargement progressif adaptatif d’un contenu acheté, tenant compte d’un historique de niveaux de qualité de lecture de contenu par un terminal lecteur de flux multimédia
CN113115077B (zh) * 2021-03-12 2022-04-26 上海交通大学 一种静态点云服务器码率自适应传输方法及系统
US11271984B1 (en) * 2021-03-29 2022-03-08 International Business Machines Corporation Reduced bandwidth consumption via generative adversarial networks
KR20220167469A (ko) * 2021-06-14 2022-12-21 주식회사 네트워크디파인즈 적응형 미디어 스트리밍 환경에서 비디오 편집 속도 향상 방법 및 장치
US11706104B2 (en) 2021-06-15 2023-07-18 Cisco Technology, Inc. Inferring quality of experience (QoE) based on choice of QoE inference model
WO2023013927A1 (en) * 2021-08-05 2023-02-09 Samsung Electronics Co., Ltd. Method and wearable device for enhancing quality of experience index for user in iot network
CN113905221B (zh) * 2021-09-30 2024-01-16 福州大学 一种立体全景视频非对称传输流自适应方法及系统
US11784945B2 (en) * 2021-10-04 2023-10-10 Nec Corporation Dynamic self-optimization of application quality-of-service requests to mobile networks
CN116419016A (zh) * 2021-12-30 2023-07-11 中兴通讯股份有限公司 一种码率分配方法、存储方法、装置、设备及存储介质
CN114640851B (zh) * 2022-03-18 2023-06-23 广西昊华科技股份有限公司 基于质量感知的自适应全向视频流的传输方法
US20230344666A1 (en) * 2022-04-26 2023-10-26 Zoom Video Communications, Inc. Virtual Background Adjustment For Quality Retention During Reduced-Bandwidth Video Conferencing
CN115720257B (zh) * 2022-10-13 2023-06-23 华能信息技术有限公司 一种视频会议系统的通信安全管理方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120278441A1 (en) * 2011-04-28 2012-11-01 Futurewei Technologies, Inc. System and Method for Quality of Experience Estimation
WO2013059930A1 (en) * 2011-10-28 2013-05-02 Avvasi Inc. Methods and apparatus for providing a media stream quality signal
WO2014096463A1 (en) * 2012-12-21 2014-06-26 Koninklijke Kpn N.V. Low-latency streaming
CN103959798A (zh) * 2011-09-30 2014-07-30 英特尔公司 无线网络上的体验质量增强

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130290492A1 (en) 2009-06-12 2013-10-31 Cygnus Broadband, Inc. State management for video streaming quality of experience degradation control and recovery using a video quality metric
US9124642B2 (en) * 2009-10-16 2015-09-01 Qualcomm Incorporated Adaptively streaming multimedia
US20130263167A1 (en) 2012-03-30 2013-10-03 Bytemobile, Inc. Adaptive Traffic Management in Cellular Wireless Networks
KR20170083641A (ko) * 2012-07-10 2017-07-18 브이아이디 스케일, 인크. 품질 주도형 스트리밍
US9125073B2 (en) * 2012-08-03 2015-09-01 Intel Corporation Quality-aware adaptive streaming over hypertext transfer protocol using quality attributes in manifest file
KR20150082320A (ko) * 2012-10-19 2015-07-15 인터디지탈 패튼 홀딩스, 인크 Ｈｔｔｐ 스트리밍을 위한 멀티-가설 레이트 적응
KR101758167B1 (ko) * 2013-01-15 2017-07-14 후아웨이 테크놀러지 컴퍼니 리미티드 미디어 콘텐츠의 적응 스트리밍을 위한 품질 정보의 사용
US9118480B2 (en) * 2013-02-11 2015-08-25 Telefonaktiebolaget Lm Ericsson (Publ) Frame quality estimation during viterbi decoding
US9756142B2 (en) 2013-03-14 2017-09-05 The Regents Of The University Of California System and method for delivering video data from a server in a wireless network by caching the video data
EP2979414B1 (en) * 2013-03-29 2019-04-10 Intel IP Corporation Quality-aware rate adaptation techniques for dash streaming
DE102013211571B4 (de) * 2013-06-19 2016-02-11 Opticom Dipl.-Ing. Michael Keyhl Gmbh Konzept zur bestimmung der qualität eines mediadatenstroms mit variierender qualität-zu-bitrate
US20150026358A1 (en) * 2013-07-19 2015-01-22 Futurewei Technologies, Inc. Metadata Information Signaling And Carriage In Dynamic Adaptive Streaming Over Hypertext Transfer Protocol
US10362081B2 (en) 2013-08-30 2019-07-23 Citrix Systems, Inc. Methods and systems for quantifying the holistic quality of experience for internet multimedia

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120278441A1 (en) * 2011-04-28 2012-11-01 Futurewei Technologies, Inc. System and Method for Quality of Experience Estimation
CN103959798A (zh) * 2011-09-30 2014-07-30 英特尔公司 无线网络上的体验质量增强
WO2013059930A1 (en) * 2011-10-28 2013-05-02 Avvasi Inc. Methods and apparatus for providing a media stream quality signal
WO2014096463A1 (en) * 2012-12-21 2014-06-26 Koninklijke Kpn N.V. Low-latency streaming

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11388472B2 (en) 2017-05-31 2022-07-12 Netflix, Inc. Temporal placement of a rebuffering event
CN110679153A (zh) * 2017-05-31 2020-01-10 奈飞公司 重新缓冲事件的时间放置
US11863814B2 (en) 2017-05-31 2024-01-02 Netflix, Inc. Temporal placement of a rebuffering event
CN110679153B (zh) * 2017-05-31 2022-06-07 奈飞公司 用于提供重新缓冲事件的时间放置的方法
CN107800886A (zh) * 2017-11-15 2018-03-13 珠海市魅族科技有限公司 终端控制方法、装置、计算机装置及计算机可读存储介质
CN108462899A (zh) * 2018-03-19 2018-08-28 青岛海信电器股份有限公司 基于设备能力的流媒体码流自适应传输方法、设备及系统
CN108462899B (zh) * 2018-03-19 2021-04-30 海信视像科技股份有限公司 基于设备能力的流媒体码流自适应传输方法、播放设备及播放系统
CN109040744A (zh) * 2018-07-27 2018-12-18 华为技术有限公司 预测视频业务的关键质量指标的方法、装置及存储介质
CN109040744B (zh) * 2018-07-27 2020-03-10 华为技术有限公司 预测视频业务的关键质量指标的方法、装置及存储介质
CN112771875A (zh) * 2018-09-25 2021-05-07 微软技术许可有限责任公司 在保持视频质量的同时提高视频比特率
CN109982118A (zh) * 2019-03-27 2019-07-05 北京奇艺世纪科技有限公司 一种视频码率自适应调整方法、装置及电子设备
CN112202802A (zh) * 2020-10-10 2021-01-08 中国科学技术大学 C-ran架构中基于强化学习的vr视频多级缓存方法和系统
CN112202802B (zh) * 2020-10-10 2021-10-01 中国科学技术大学 C-ran架构中基于强化学习的vr视频多级缓存方法和系统
KR20230132222A (ko) 2022-03-08 2023-09-15 에스케이케미칼 주식회사 재생 비스-2-히드록시에틸테레프탈레이트를 이용한 폴리에스테르 수지 및 이를 포함하는 물품
KR20230149644A (ko) 2022-04-20 2023-10-27 에스케이케미칼 주식회사 재생 비스(2-히드록시에틸)테레프탈레이트를 포함하는 폴리에스테르 수지 및 이를 이용한 필름

Also Published As

Publication number Publication date
EP3254470A1 (en) 2017-12-13
EP3254470B8 (en) 2022-06-08
CA2975904A1 (en) 2016-08-11
WO2016123721A1 (en) 2016-08-11
JP6845808B2 (ja) 2021-03-24
CA2975904C (en) 2023-02-14
CN107211193B (zh) 2021-04-13
EP3254470B1 (en) 2022-03-30
EP3254470A4 (en) 2018-06-20
US10863217B2 (en) 2020-12-08
JP2018520560A (ja) 2018-07-26
US20180041788A1 (en) 2018-02-08

Similar Documents

Publication Publication Date Title
CN107211193A (zh) 感知体验质量估计驱动的智能适应视频流传输方法和系统
Bampis et al. Towards perceptually optimized end-to-end adaptive video streaming
US11170472B2 (en) Method and apparatus for streaming data
US11166027B2 (en) Content adaptation for streaming
US11711588B2 (en) Video delivery
CN106537923B (zh) 自适应视频流的技术
Chen et al. From QoS to QoE: A tutorial on video quality assessment
US9571827B2 (en) Techniques for adaptive video streaming
CN104429041B (zh) 使能够进行平滑质量转换的自适应流感知节点、编码器以及客户端
CN103155580B (zh) 不同质量级别的自适应视频流
CN113170234B (zh) 多向视频的自适应编码和流式传输方法、系统和存储介质
Bampis et al. Towards perceptually optimized adaptive video streaming-a realistic quality of experience database
CN109618565A (zh) 流式视频用户体验质量的自动测量方法和系统
KR20170135069A (ko) QoE 분석 기반 비디오 프레임 관리 방법 및 그 장치
US20220398692A1 (en) Video conferencing based on adaptive face re-enactment and face restoration
CN113630576A (zh) 自适应视频流式传输系统和方法
CN114827617B (zh) 一种基于感知模型的视频编解码方法及系统
CN113395603B (zh) 一种基于模型预测控制的点云视频流自适应传输方法
WO2023281336A1 (en) Automatic visual media transmission error assessment
Kumar et al. Double sarsa based machine learning to improve quality of video streaming over HTTP through wireless networks
CN116074528A (zh) 视频编码方法及装置、编码信息调度方法及装置
CN115379248B (zh) 一种视频源流替换方法、系统、设备及存储介质
Shi et al. A user-perceived video quality assessment metric using inter-frame redundancy
CN114666620B (zh) 基于视觉敏感度的自适应流媒体方法
US20230196505A1 (en) Artificial intelligence-based image providing apparatus and method, and artificial intelligence-based display apparatus and method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20210325

Address after: 140 Columbia street, Waterloo, Ontario, Canada

Applicant after: Visual wave Co.

Address before: 430 Kelso Road, Waterloo, Ontario, Canada

Applicant before: Wang Zhou

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20240415

Address after: Rika University

Patentee after: Imas Co.

Country or region after: Canada

Address before: 140 Columbia street, Waterloo, Ontario, Canada

Patentee before: Visual wave Co.

Country or region before: Canada

TR01 Transfer of patent right