CN109618565B - 流式视频用户体验质量的自动测量方法和系统 - Google Patents

流式视频用户体验质量的自动测量方法和系统 Download PDF

Info

Publication number
CN109618565B
CN109618565B CN201780015530.5A CN201780015530A CN109618565B CN 109618565 B CN109618565 B CN 109618565B CN 201780015530 A CN201780015530 A CN 201780015530A CN 109618565 B CN109618565 B CN 109618565B
Authority
CN
China
Prior art keywords
quality
video
qoe
stalling
presentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780015530.5A
Other languages
English (en)
Other versions
CN109618565A (zh
Inventor
王舟
端木正方
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Publication of CN109618565A publication Critical patent/CN109618565A/zh
Application granted granted Critical
Publication of CN109618565B publication Critical patent/CN109618565B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/50—Network service management, e.g. ensuring proper service fulfilment according to agreements
    • H04L41/5061—Network service management, e.g. ensuring proper service fulfilment according to agreements characterised by the interaction between service providers and their network customers, e.g. customer relationship management
    • H04L41/5067—Customer-centric QoS measurements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/65—Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/23805—Controlling the feeding rate to the network, e.g. by controlling the video pump
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2401—Monitoring of the client buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2402—Monitoring of the downstream path of the transmission network, e.g. bandwidth available
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/50—Network service management, e.g. ensuring proper service fulfilment according to agreements
    • H04L41/508—Network service management, e.g. ensuring proper service fulfilment according to agreements based on type of value added network service under agreement
    • H04L41/509—Network service management, e.g. ensuring proper service fulfilment according to agreements based on type of value added network service under agreement wherein the managed service relates to media content delivery, e.g. audio, video or TV
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明公开了一种在感知传输给用户观看设备的视频时自动测量终端用户体验质量(QoE)的系统和方法。通过结合瞬时演示质量、回放平滑度质量及两者间的相互作用，测量并计算总体用户QoE。因此，预测准确度得到了显著提高。该系统和方法创建的瞬时过程结束QoE评价适用于流媒体传输系统和服务的监测与优化。

Description

流式视频用户体验质量的自动测量方法和系统
技术领域
本发明总体涉及向终端用户提供流式视频的领域。更具体地，本发明 涉及一种流式视频信号用户体验质量的自动测量方法和系统。
背景技术
在过去十年中，由于网络服务的快速发展和智能移动设备的显著增 长，流媒体应用有了巨大的增长。例如，在过顶(over-the-top，OTT)视频 传输领域中，很多方法，例如HTTP直播流媒体(HTTP Live Streaming， HLS)，银光平滑流式传输(Silverlight SmoothStreaming，MSS)，HTTP动 态流式传输(HTTP Dynamic Streaming，HDS)和基于HTTP的动态自适应 流式传输(Dynamic Adaptive Streaming over HTTP，DASH)均通过以各种比 特率提供视频流并将视频流分解为较小的HTTP文件片段来实现解码器驱动 的速率适配。将每个片段的媒体信息存储在清单文件中，该清单文件是在服 务器创建的并且传输给客户端，以便提供每个片段的规格和位置。在整个流 式传输过程中，客户端的视频播放器通过基于回放速率、缓冲条件和瞬时TCP 吞吐量选择片段，在可用流之间进行自适应切换。随着流媒体应用的快速发 展，对准确的体验质量(QoE)测量和QoE驱动的自适应视频传输方法的需求很大。
由于视频流传输服务越来越受欢迎，用户不断提高对更好服务的期望。已经有研究或调查探究了用户对视频传输服务类型的偏好，结果表明，在用户选择中，QoE在内容、时间、质量、易用性、可便携性、交互性和共享等类别中表现出了主导作用。收入的巨大损失可能是由于视频流质量差造成的。人们认为，较差的流式传输体验可能成为视频服务生态系统的一大威 胁。因此，实现最终观众的最佳QoE已经成为现代视频传输服务的核心目标。
由于在大多数应用中，人是视频的最终接收者，所以主观评价通常被 认为是评价流式视频QoE的最直接、最可靠的方法。全面的主观用户研究有 多个好处。它提供了有用的数据来研究人类在评价流式视频感知质量中的行 为；提供了测试集来评价，比较和优化流式传输策略；并且对于验证和比较 现有客观QoE模型的性能是很有用的。尽管这种主观的用户研究提供了可靠 的评价，但它们往往不方便，耗费时间并且较昂贵。更重要的是，它们很难 应用于任何实时回放调度框架中。因此，高精度、低复杂度、客观的评价对 于高效设计媒体传输系统的质量控制和资源分配协议而言是可取的。然而， 许多已知的方法设计成仅测量演示质量(或图像质量)或者仅测量初始缓冲 和回放停顿的影响。实际上，现有系统通常依赖于停顿事件的比特率和全球 统计数据进行QoE预测。这存在着问题，原因有以下两点。第一，使用相同 的比特率来编码不同的视频内容会导致截然不同的演示质量。第二，视频演 示质量和网络质量之间的相互作用在一些已知方法中很难解释或者根本无法 解释。
以上为大量终端用户进行实时客观QoE测量创造了挑战和约束。因 此，与现有技术相比，需要一种流式视频信号用户体验质量的自动测量方法 和系统。本发明的目标是减轻或消除上述至少一个缺点。
发明内容
本发明总体涉及在感知传输给用户观看设备的视频时终端用户体验质 量(QoE)的自动化测量。为了自动测量用户QoE，本发明结合了视频瞬时 演示质量(即平滑回放期间显现的视频帧的图像质量，可能受到有损压缩、 噪声、模糊、空间和时间尺度、预处理、后处理、传输损耗等方面的影响， 并且可基于用户端的观看设备和观看条件发生变化)、回放平滑度质量(即回 放过程的平滑度，可能受到因回放期间的缓冲、停顿等导致的初始停顿的影 响)及两者之间的相互作用。
本发明旨在提供一种一般流式视频的瞬时客观QoE测量方法或系统。 本发明不仅测量视频演示质量和回放平滑度质量，而且还说明了两者在这些 测量中的相互作用，这将在下面的描述中变得显而易见。
在本发明的一个实施例中，回放平滑度质量(即质量下降)对QoE的 影响不仅基于停顿事件的(时间)位置或持续时间，而且还基于发生停顿事 件的视频帧的演示质量进行测量。人们认为，将演示质量与回放平滑度质量 之间的相互作用(即依赖关系)包含在内可使用户QoE的测量更加精确。与 其他方法相比，根据本发明获得的瞬时和过程结束的QoE评价可能在监测和 优化媒体流传输系统和服务方面具有明显优势。
在本发明的第一方面，提供了一种生成流式视频的流式会话体验质量 (QoE)评价的方法。流式视频通过网络连接从服务器侧的视频托管服务器 传输到接收器侧的用户观看设备。该方法包括以下步骤：获得流式视频的演 示质量评价；在流式会话期间跟踪所有停顿事件的发生；获得流式视频的回 放平滑度质量评价，通过结合自流式会话开始起的所有停顿事件的贡献来评 估接收器侧的回放平滑度质量评价，并基于停顿事件发生之前流式视频的演 示质量以及发生之前的停顿事件所导致的记忆效应和质量衰减效应来计算停顿事件的贡献；以及通过结合演示质量评价和回放平滑度质量评价生成瞬时 QoE分数。
作为一种特征，该方法还包括累积自流式会话开始起的所有时间位置 上生成的瞬时QoE分数以获得流式会话的总体过程结束QoE分数的步骤。 作为另一种特征，在发生停顿事件之前基于视频帧的演示质量评价计算停顿 事件的贡献，视频帧可以是发生停顿事件之前立即完全呈现的帧。作为又一 种特征，记忆效应或质量衰减效应或两者可由随时间单调递减且随时间饱和 的一个或多个函数来表示。
作为又一种特征，演示质量评价是由全参考视频质量评估法获得的， 该评估法比较了流式视频原始来源生成的测试视频的质量与原始源视频的质 量作为参考，或者是由无参考视频质量评估法获得的，该视频质量评估法不 需要访问原始源视频且可适应于终端用户的用户观看设备和观看条件。
作为又一种特征，利用初始缓冲和回放停顿事件的时间位置和持续时 间评价回放平滑度质量评价。作为进一步的特征，停顿事件造成的回放平滑 度质量下降根据一个模型进行评价，不管是由于初始缓冲还是由于回放停 顿，在该模型中，在停顿事件之前所述下降随最后呈现的视频帧的演示质量 评价而提高。此外，可选择停顿事件导致的下降与最后呈现的视频帧的演示 质量评价成比例。
在本发明的另一方面，提供了一种测量流式视频用户体验质量(QoE) 的系统，所述流式视频通过网络连接从服务器侧的视频托管服务器传输到接 收器侧的用户观看设备。该系统包括演示质量评估单元，所述演示质量评估 单元生成或获得流式视频的演示质量评价；回放平滑度质量评估单元，所述 回放平滑度质量评估单元在流式会话期间跟踪所有停顿事件的发生并生成在 回放流式视频的用户观看设备处感知的回放平滑度质量的回放平滑度质量评 价，其中平滑度质量评价的生成结合了自流式会话开始起所有停顿事件的贡 献，并基于停顿事件发生之前流式视频的演示质量以及发生之前的停顿事件 所导致的记忆效应和质量衰减效应来计算停顿事件的贡献；以及QoE评估单 元，所述QoE评估单元将演示质量评价和回放平滑度质量评价结合成瞬时 QoE分数。
在又一方面，提供了一种非暂时性计算机可读介质，上面存储有计算 机可读代码，当计算设备的处理器执行该计算机可读代码时使该计算设备执 行根据上述任意一种方法所述的测量流式视频用户体验质量的方法。
本发明的其他方面提供了上述各个方面的各种组合与子集。
附图说明
出于描述而不是限制的目的，参照附图更详细地说明了本发明的上述 及其他方面。
图1是示出自动测量流式视频QoE的过程的图；
图2提供了说明性示例，示出了在边缘服务器的可选帮助下，通过通 信网络将流式视频从视频托管服务器传输到用户显示设备；云中的服务器可 从视频托管服务器、边缘服务器和/或用户显示设备收集信息；
图3提供了说明性示例，示出三个停顿事件对总体QoE下降的影响；
图4提供了说明性示例，示出停顿和视频演示质量在回放期间对每个 时间实例处总体QoE的影响；
图5提供了硬件计算单元的非限制性示例；以及
图6提供了说明性示例，示出自动测量流式视频QoE的系统。
具体实施方式
通过本发明原理的特定实施例的一个或多个示例的说明，提供了以下 描述及其中说明的实施例。提供这些示例是出于解释而非限制这些原理和本 发明的目的。在下面的描述中，在说明书及附图中类似的部分用各自相同的 引用数字进行标记。
本发明总体涉及在感知传输给用户观看设备的视频时终端用户体验质 量(QoE)的自动化测量。为了自动测量用户QoE，本发明结合了视频瞬时 演示质量、回放平滑度质量及两者间的相互作用。本文中的QoE是指观众对 通过网络从视频托管服务器传输给观众的接收和显示设备的视频流的回放体 验总体满意度。QoE集中于视频传输链端部的人类体验，可通过人类评分或 通过预测人类评分的客观模型来测量。QoE与服务质量(QoS)或传输质量 (QoD)理念不同，QoE集中于通过网络进行的视频传输过程的服务水平和 稳定性，通常通过网络服务以及带宽、误码率、丢包率和传输延迟等性能参 数进行测量。
图1是示出自动测量流式视频QoE的过程的图。该过程利用了统一的 QoE测量方法，包括视频演示质量、回放平滑度质量及两者之间的相互作用。 在回放流式视频100期间，从流式视频信号中提取两种类型的信息。第一种 类型102的信息包括发送给回放引擎的经过解码和处理的视频图像/帧；另一 种类型104一般包括回放性能参数，例如初始缓冲的持续时间、停顿事件的 位置和持续时间等。利用视频质量评估方法106来评价视频演示质量，该评 价可逐图像(或逐帧)进行，并且还测量或评估了回放平滑度质量108。这 两种评价不是独立的。例如，停顿事件期间呈现的视频帧的演示质量可能影 响停顿事件导致的质量下降水平。这两个质量评价之前的关系由图1中的相 互关系110表示，将在后面进行详细描述。每个帧上的总体瞬时QoE测量或 评估112通过结合演示质量测量和回放平滑度质量测量以及两者间的相互作 用影响而获得。累积之前所有帧上获得的总体瞬时QoE测量114，最终创建 过程结束QoE测量118。下面进一步说明该过程。
首先参照图2。在详细描述该过程之前，应理解，由于流式视频通过 网络连接204从服务器侧的视频托管服务器202传输到接收器侧的回放观看 设备或接收器206，可在服务器侧(例如通过视频托管服务器202)或在接收 器侧(例如通过回放观看设备206)测量视频演示质量。对于某些网络配置， 也可以在边缘服务器208进行测量，该边缘服务器208是视频服务器，供本 地服务提供器用于连接本地服务提供器直接服务的回放设备。边缘服务器 208与接收器206之间的连接通常是接收器206与网络之间的最终链接，尽 管可能存在附加链接。另一方面，回放平滑度质量在接收器206处而不是在 视频托管服务器202处测量。回放平滑度质量还可在连接到网络的服务器处 进行测量，例如专用QoE服务器、云服务器或边缘服务器208，以便粗略估 计接收器上的测量值。例如，回放观看设备可发送相关信息(例如停顿起点 和持续时间)到云中的服务器216，回放平滑度质量可在云服务器216处进 行测量。这些有时是可取的，因为边缘服务器或云服务器可配备有比回放设 备处使用的好得多的计算能力并且可配置为从单独回放设备接收回放状态信 息作为反馈并测量(因而监测)连接到边缘服务器的所有回放设备处的回放 平滑度质量或配置为由云服务器进行监测。
现在回过来参照图1，对于流式视频中的每个帧，在传输之前，其瞬 时视频演示质量评价Pn可在服务器侧通过帧级演示视频质量评估(VQA) 方法进行测量。可使用全参考或无参考VQA方法。对于全参考VQA，可从 全参考视频质量评估方法获得演示质量评价，该评估方法比较了流式视频原 始来源生成的测试视频的质量与原始源视频的质量作为参考。瞬时视频演示 质量评价可表达为流式视频与原始质量视频的当前帧的函数：
Pn＝VFR(Rn，Xn) (1)
其中，Rn和Xn分别是原始质量视频(例如从视频内容提供器212接收的或 存储在视频托管服务器202的数据存储设备214中的源视频)和服务器传输 的流式视频的第n个帧；VFR(·)是全参考VQA运算符。对于无参考VQA， 从无参考视频质量方法获得演示质量，该评估方法不需要访问原始源视频。 瞬时视频演示质量评价可单独表达为Xn的函数：
Pn＝VNR(Xn) (2)
其中，Xn是流式视频的第n个帧，VNR(·)是无参考VQA运算符。
任一VQA方法都可用于测量演示质量。一些已知示例包括峰值信噪 比(PSNR)、结构相似度指数(SSIM)、多尺度结构相似度指数(MS-SSIM) 和SSIMplus。为了实现总体QoE测量方法或系统的更好性能、灵活性和可 用性，可以使用VQA或视频QoE测量方法，该方法适用于终端用户的用户 观看设备和观看条件。根据具有观看设备和观看条件适应性的这些VQA方 法，同样的视频流可在被观看时基于观看设备和观看环境条件得到不同的评 分。例如，可以使用全参考VQA或全参考视频QoE测量方法来进行横向分 辨率测量，即，当评估测试视频的质量时，用于比较的参考视频可具有不同 的空间和/或时间分辨率。
能够满足观看设备/观看条件适应性和横向分辨率评估要求的这些 VQA或视频QoE测量方法中的一个示例是SSIMplus方法。这是全参考VQA 方法。原始源质量视频作为评价从源视频中生成的测试流式视频质量的参 考，例如通过压缩，还可将该原始源质量视频传输给用户。SSIMplus对照参 考视频测量测试视频的结构保真度，这可用于捕获局部失真(例如编码方法 不完善引起的模糊效应，尤其在低码率的情况下)并预测测试视频的感知质 量下降。该预测可采用不同的计算视觉科学模型，这些模型的选择可能影响 预测准确性。生成测试视频的总体质量预测。此外，SSIMplus还生成一个质 量地图，显示每个视频帧中每个像素位置的视频质量。一般而言，为SSIMplus 选择的计算视觉模型考虑了显示设备和观看条件参数，如观看距离或角度， 以及物理大小、空间分辨率(以像素的行和列为单位)和观看显示器的亮度。 正如所理解的，局部失真(例如流式视频压缩过程不完善所导致的模糊效应) 的可见性可能依赖于显示设备和观看条件参数。例如，在大尺寸、高清晰度电视显示屏上高度可见的失真在物理尺寸较小或分辨率较低的显示器上(例 如在手机屏幕上)可能会变得不那么明显甚至不可见。SSIMplus也是一种 VQA方法，可以适应显示设备和观看条件，可能包含人类视觉灵敏度模型， 可通过考虑视频内容和观看距离和角度等观看条件参数，以及物理尺寸、空 间分辨率、显示设备的亮度等显示设备参数来预测(即估计)演示质量。
如果在服务器202侧计算出质量分数或评价，在计算之后，质量分数 或评价与视频内容一起传输到接收器206，或者通过服务器202和接收器206 之间的单独通道传输。计算的质量分数Pn可以嵌入到描述视频规格的清单文 件中，并携带在视频容器的元数据中。将清单文件或元数据文件传输到接收 器侧，使得其信息可用于接收器。当发生停顿时，接收器206暂时不从服务 器接收视频信号或仅不接收不完全的视频信号，或者接收器206的解码/显示 速度与视频回放的速度不匹配。因此，接收器可以呈现最后成功解码的帧或 部分解码的帧。在常用的流协议中，如MPEG-DASH，部分解码的帧将不会 被发送用于渲染，因此观众将在停顿间隔期间看到最后成功解码的帧。
对于中断期间[i,j]的停顿时刻n，在实例n(即Pn)中表示视频演示质 量的一种方式是使用在停顿Pi-1之前立即出现的最后解码的帧的质量评价，
Pn＝Pi-1 (3)
该质量评价Pi-1将在所有时间位置(即期间[i,j]内的所有帧)重复，直到 停顿结束。当然，中断期间停顿时刻n的视频演示质量还可通过停顿之前获 得或计算的演示质量评价中的其他数量来表示，例如，某一平均值，甚至酌 情使用部分解码帧的某一值。
每个停顿事件都可以单独分析，并通过聚集每个停顿事件来计算总体 效应。注意，每个停顿事件将流式会话时间线划分为三个间隔，即停顿之前、 停顿期间和停顿之后的时间间隔。为了方便起见，这三个间隔通常被选择为 不重叠。由于停顿事件对每个间隔的影响是不同的，因此这三个间隔可以单 独分析。回放平滑度质量评价可以利用初始缓冲和回放停顿事件的时间位置 和持续时间来评价。这会在下面的示例中进一步描述。
第一，当观众没有经历任何中断时，可以在发生停顿之前对帧进行零 惩罚。第二，由于回放停顿开始，不满意度会随着停顿的继续而增加，直至 恢复回放。应理解，等待时间对排队服务用户体验的影响存在经济和心理学 两方面。换言之，停顿影响由随时间单调递减(即，随着停顿的继续，负面 体验会更多)且还随时间饱和的函数来表示。指数衰减可用于随着时间的推 移而粗略估计由于停顿次数和长度所导致的这种QoE损耗饱和度。换言之， 由于停顿事件导致的QoE损耗可通过指数衰减函数来粗略估计。第三，QoE 还取决于“后效应”的行为滞后。具体而言，停顿事件导致的之前不愉快的观 看体验往往会在未来对QoE进行惩罚，从而影响整个QoE。由于观察者开始 忘记烦恼，在回放恢复的时刻，不满度开始逐渐消失。随着时间的推移，缓 冲事件的记忆保持性下降通常是单调的。这种下降的影响可能通过使用赫尔 曼艾宾浩斯遗忘曲线包括在停顿事件影响的测量和计算中，
Figure BDA0001790823410000111
其中，M是记忆保持性，T是相对记忆强度，t是时间。
假设第k个停顿事件位于间隔[ik,ik+lk]，其中lk是停顿长度。可使用分 段模型测量每个停顿事件对QoE的影响，或由于停顿造成的QoE的变化
Figure BDA0001790823410000112
其中，Sk(t)表示由于第k个停顿事件在时间t导致的QoE分数的变 化，f是帧率，以帧/秒为单位，d(t)是随停顿事件(即lk)的长度而增加 的质量衰减函数，m(t)是在第k个停顿事件结束后测量该事件的持续影响 的记忆函数，Q是衰减函数的尺度系数，该函数将在下面的描述中变得显而 易见。
作为非限制性示例，出于解释而不是限制的目的，质量衰减函数d(t) 和记忆函数m(t)的时间变化可以表示为如下指数函数
Figure BDA0001790823410000113
和
Figure BDA0001790823410000114
其中，T0和T1分别表示不满意率和相对记忆强度。
衰减函数的尺度系数Q可在停顿之前(即ik-1时间(或帧)之前)由 所有帧的演示质量来计算。例如，演示质量可以用方程式(1)、(2)和(3) 来计算。作为非限制性示例，出于解释而不是限制的目的，尺度系数可由下 式计算
Figure BDA0001790823410000123
衰减函数的这个尺度系数具有两个功能：1)反映了观众对未来视频演 示质量的期望；2)将停顿效应规范化为相同规模的VQA内核。该公式与之 前论述的两个QoE因素之间的关系定性一致。应理解，Pik-l的选择和使用是 一个特定示例。一般而言，可使用适当描述或表示了停顿前演示质量的任何 适当的尺度系数，这可能是停顿前(例如就在停顿之前)一个特定帧的尺度 系数或者停顿前多个帧的平均尺度系数或者甚至是停顿前表示较长时期的分 数的尺度系数。进一步地，由于使用了尺度系数，衰减效应由衰减函数和尺 度系数共同表示，随演示质量而变化，具体而言与停顿前演示质量分数成比 例。应理解，一般而言，在停顿事件之前质量的下降随演示质量评价而增加， 并且停顿事件之前的演示质量评价(例如一个特定帧的评价或多个帧的平均 评价)可能包含在质量衰减效应或QoE分数变化(即QoE下降)的模型或 表达式中。
此外，由于回放期间初始缓冲和停顿的影响不同，所以使用了两组参 数，分别是用于初始延迟的
Figure BDA0001790823410000121
和用于其他回放停顿的{T0，T1}。 为简单起见，初始期望P0被选为常数。这样，初始缓冲时间与累积的体验 损失成比例。
(过去和当前的)所有停顿事件的滞后影响减少了瞬时QoE。所有停 顿事件造成的该瞬时QoE的下降可通过聚集每个停顿事件导致的所有QoE 下降来粗略估计。用于解释由于所有停顿事件导致的下降的聚集的表达式可 采用如下形式
Figure BDA0001790823410000122
其中，N是自流式会话开始起停顿事件的总数。图3对N进行了说明，示出 了由于共同贡献导致的如面板300所示的总体QoE下降S(t)，所述共同贡 献来自第一停顿导致的如面板302所示的第一QoE下降S1(t)，第二停顿导 致的如面板304所示的第二QoE下降S2(t)和第三停顿导致的如面板306 所示的第三QoE下降S3(t)。
影响总体QoE的另一个因素是停顿发生的频率。众所周知，停顿频率 与固定总长度L停顿的流式视频的QoE呈负相关。为了解释停顿频率，可选 择参数{T0，T1}满足T1>T0。通过该参数选择，上面描述的分段模型和质 量衰减函数d(t)和记忆函数m(t)都很好地捕获了停顿频率的影响趋势。
在某些应用中，需要测量单独帧中停顿的影响。为此，可通过在每个 离散时间实例n每1/f秒对函数进行采样，将方程式(5)中的连续函数转换 为离散形式：
Figure BDA0001790823410000131
在该离散形式中，在流式会话中每个时间单元n的瞬时QoE可以表示 为两个通道(即视频质量评估通道106(或Pn)和回放平滑度质量通道108 (或Sn))的聚合，如下：
Qn＝Pn+Sn(P1，P2，...，Pn) (10)
本文中，演示质量Pn和由于回放平滑度质量Sn造成的下降对总体QoE 的影响不仅仅是附加的。由于衰减d(t)和记忆m(t)在计算回放平滑度质 量Sn的下降影响中的效应(即所有过去事件的影响)均通过演示质量P(如 方程式(5)所示)所调制，这两个通道相互依赖且相互关联。例如，回放平 滑度质量Sn的下降影响可能依赖于当前和以前的演示质量Pi,P2,...,Pn。因 而，尽管方程式(10)表面上表明添加了仅两个通道的贡献，但这两个通道 之间的相互作用的贡献包括在所有之前事件的衰减和记忆贡献中。回放平滑 度质量Sn对当前和之前演示质量的依赖性以及回放平滑度质量和演示质量 对QoE(或质量下降)的共同效应构成了回放平滑度质量与演示质量之间的 相互作用。
实际上，通常需要单一的过程结束QoE评价。在整个回放期间预测的 QoE的平均值可用于评价总体QoE。当前时间的过程结束QoE可使用移动平 均法来计算：
Figure BDA0001790823410000141
其中An是流式会话中第n时间实例前的累积QoE。图4示出了一个例 证。图4(a)中用实线示出了表示每个帧中静态视频400的视频演示质量的 曲线，其中“*”表示停顿位置。图4(b)中示出了每个帧402中回放期间流 式视频的视频演示质量，其中“*”表示停顿位置，“o”表示恢复位置。图4(c) 示出了每个帧中由于每个停顿事件造成的QoE下降404。图4(c)中，实线 曲线示出了由于初始缓冲造成的QoE下降，虚线曲线示出了由于回放停顿造 成的QoE下降。图4(d)中示出了回放期间每个时间实例的总体QoE 406， 以便进行比较。
现在回过来再次参照图1。为了获得单个过程结束QoE评价，累积116 将所有前帧(或时间单位)产生的所有瞬时QoE评价114组合成单个过程结 束QoE评价，以表示在图1所示的过程所监测的期间内流式视频的总体QoE 分数。将这些瞬时QoE评价结合起来的一种方式是将它们累积起来并计算瞬 时QoE评价的移动平均数，例如使用方程式(11)的公式。
尽管在上述示例中已经描述了在接收器侧执行平滑度质量的评估和 QoE评价(或QoE分数)的评估，应理解这些评估不受限于在用户显示设备 上执行。用户显示设备206中包含计算硬件单元，并且可用于执行这些评估。 然而，用户显示设备可能仅具有有限的计算能力。因此，这些评估可由边缘 服务器208或云服务器216执行，它的计算能力往往比用户显示设备强大得 多并且可以是手持手机或可穿戴式显示设备。边缘服务器208或云服务器216 可配置为执行演示质量评估、回放平滑度质量评估、瞬时或总体QoE评估和 过程结束QoE评估等任务中的一个或多个(或全部)。
边缘服务器208还可配置为接收和存储显示设备的设备特定参数，例 如显示参数和观看条件参数到边缘服务器的存储设备，以便使边缘服务器执 行适应于终端用户显示设备和观看条件的VQA方法。因而，对于某些应用 (例如监测和记录大量终端用户显示设备的QoE分数)，边缘服务器208可 配置为利用观看设备和观看条件适应性执行这些评估和测量。
云服务器216还可配置为从视频托管服务器202、边缘服务器208和/ 或显示设备206接收和存储信息。该信息可包括发送到云服务器存储设备的 在视频托管服务器执行的全参考VQA评估的结果和/或显示设备的设备特定 参数，例如显示参数和观看条件参数，以便使云服务器能够执行适应于终端 用户显示设备和观看条件的VQA方法。因而，对于某些应用(例如监测和 记录大量终端用户显示设备的QoE分数)，云服务器216可配置为监测给定 的显示设备206清单并利用观看设备和观看条件适应性执行这些评估和测 量。
应理解，服务器通常是专用计算机硬件单元，具有处理器，可执行计 算机指令来计算质量分数。接收器可以是便携式计算设备，如便携式计算机、 平板电脑、智能手机、可穿戴显示器或观看设备等，并且包括计算硬件单元。 计算硬件单元可执行存储在其一个或多个存储设备上的或者通过网络连接从 远程位置接收的计算机指令。当指令被计算硬件(或者具体而言一个或多个 微处理器)执行时，服务器或接收器将计算上述的质量分数。
一般而言，服务器或接收器包括在其上执行了存储或接收的指令的一 个或多个硬件单元(为了便于描述，下面将假定服务器或接收器只有一个硬 件单元，尽管本发明并不限于所述一个硬件单元配置)。指令可以存储在存储 设备上，该存储设备构成或连接到硬件单元，或者可在执行指令期间将指令 传输到硬件单元。图5示出了硬件单元的非限制性示例。应理解，硬件单元 可包括比图5所示更多或更少的组件。硬件单元500可以是一个服务器或计 算机或具有计算能力的某一硬件设备，通常包含一个或多个微处理器或CPU502(中央处理器)、一个或多个内存存储设备(如瞬时记忆装置504和 长期存储设备506)、一些连接到本地设备的本地通信端口508、连接到通信 网络204的网络接口510以及在微处理器上执行的一个或多个应用模块512 或执行某些编程功能的CPU502。一个硬件单元可能有多个应用模块在其微 处理器或CPU上同时执行。然而，从上下文中能够清楚地看出哪一应用模块 导致微处理器或CPU执行某一特定功能(例如，执行质量评估操作的VQA单元)。如果上下文不能唯一地标识特定的模块或指出该模块是否是被引用的 硬件单元本身，那么将在描述中将其明确地标识出来。因而，应用模块提供 的所述功能将被理解为与硬件单元提供的相同，这是由程序的指令所编程 的。同样，当硬件单元被描述为执行一个功能时，应理解，硬件单元执行的 功能是由存储或接收的一个或多个应用模块的指令配置的。这些指令可以存 储在一个或多个非暂时性物理介质上，例如，存储在长期存储设备506上， 或者通过网络连接在网络接口510上接收。当指令由微处理器或CPU502执 行时，会导致硬件单元执行功能(例如VQA功能)或方法(例如测量QoE 的方法)，正如本文所述。
参照图1，描述了测量QoE的方法示例。应理解，一个计算机硬件单 元500(或多个计算机硬件单元)在适当配置时，例如通过使用存储或接收 的指令编程一个或多个微处理器或CPU 502，可以被看作设置在计算机系统 中用于测量QoE的功能单元。
图6是根据本发明示出测量QoE的计算机系统的图。
参照图6，系统600具有演示质量评估单元602、回放平滑度质量评估 单元604、QoE评估单元606以及可选的过程结束QoE累积单元608。系统 600在被配置并执行本文所述的过程时，测量流式视频的QoE，即系统的输 入，并作为输出生成过程结束QoE分数或瞬时QoE分数。
这些单元通过网络连接(和/或数据连接，前提是这些单元位于同一硬 件单元中)连接起来。这些单元可能全部位于(即托管于)同一硬件单元， 或者分别位于不同的硬件单元，或者一些单元可位于一个硬件单元而其他单 元则位于不同的硬件单元。例如，演示质量评估单元602可位于(即集成于) 视频托管服务器202，而回放平滑度质量评估单元604、QoE评估单元606 和可选的过程结束QoE累积单元608可位于终端用户的显示设备206。或者， 回放平滑度质量评估单元604、QoE评估单元606和可选的过程结束QoE累 积单元608可位于(即集成于)边缘服务器208或云服务器216。或者，作 为进一步可选方案，边缘服务器208或云服务器216可托管演示质量评估单 元602、回放平滑度质量评估单元604、QoE评估单元606和可选的过程结 束QoE累积单元608中的全部。
演示质量评估单元602针对流式视频各个帧，测量和形成流式视频 P1,P2,…Pn的视频演示质量评估。利用参照图1描述的任一适当的视频质量 评估方法来评价瞬时视频演示质量评价Pn。另外，回放平滑度质量评估单元 604跟踪在用户显示设备上经历的关于全部或部分呈现的帧的瞬时视频演示 质量的任何停顿事件，并产生(即估计)平滑度质量评价Sk n，其表示由于过 去的第k停顿事件在时间n导致的平滑度质量(或者实际上是下降效应)。从 这些平滑度质量评价Sk n中，回放平滑度质量评估单元604计算了在时间n上 的瞬时平滑度质量评价Sn，它考虑了(过去和当前的)所有停顿事件，例如， 通过增加所有平滑度质量评价Sk n，如方程式(7)所示。将瞬时视频演示质 量评价Pn和瞬时平滑度质量评价Sn发送到QoE评估单元606，以便结合成 瞬时QoE评价114，例如通过根据方程式(10)添加这两个质量评价，通过 将这两个评价乘以这两个评价的加权和，或者通过取这两个质量评价的最大 值或最小值。该瞬时QoE评价可作为系统600的输出提供给其他系统，以进 行进一步的处理或利用。例如，该QoE评价可作为对流式视频服务器的反 馈，以告知流式视频服务器客户端侧的感知质量，以便优化媒体流传输系统 和服务。或者，可以将该QoE评价提供给监测系统，以便监测或记录QoE 评价，作为客户端侧的感知质量。此外，该瞬时QoE评价可提供给过程结束 QoE累积单元608，以便将整个监测会话期间每一帧的瞬时QoE评价组合成 单一的量，即，过程结束QoE评价，其表明(即估计)了整个监测会话的 QoE。
现在已经详细描述了本发明的各个实施例。本领域的技术人员应理 解，在不背离本发明范围的情况下，可对这些实施例进行各种修改、调整和 变化，由附加的权利要求限定。权利要求的范围应进行最广泛的解释，与整 个说明书相一致，并不局限于在示例或其详细说明中提出的这些实施例。

Claims (62)

1.一种生成流式视频的流式会话的体验质量(QoE)评价的方法，所述流式视频通过网络连接从服务器侧的视频托管服务器传输到接收器侧的用户观看设备，所述方法包括：
获得所述流式视频的演示质量评价，
在所述流式会话期间跟踪所有停顿事件的发生，
获得所述流式视频的回放平滑度质量评价，所述回放平滑度质量评价由所述接收器通过结合自所述流式会话开始起的所有停顿事件的贡献来评估，停顿事件的贡献基于所述停顿事件开始出现之前所述流式视频的所述演示质量以及在计算时已发生的所述停顿事件所导致的记忆效应和质量衰减效应来计算，以及
通过结合所述演示质量评价和所述回放平滑度质量评价生成瞬时QoE分数；
根据以下表达式计算所述停顿事件的贡献：
Figure FDF0000014470720000011
其中所述停顿事件是第k个停顿事件，从ik开始且具有长度lk，该停顿发生在[ik,ik+lk]期间，f是流式视频的帧速率，以帧/秒为单位，d(t)是随时间t单调递减的质量衰减函数，m(t)是随t单调递减的记忆函数，Q是在发生所述停顿事件之前流式视频的演示质量的评价。
2.根据权利要求1所述的方法，还包括：
累积自所述流式会话开始起的所有时间位置上生成的瞬时QoE分数，以获得所述流式会话的总体过程结束QoE分数。
3.根据权利要求1所述的方法，其特征在于，计算所述停顿事件的贡献时利用的所述演示质量评价是在紧邻所述停顿事件发生之前的演示质量评价。
4.根据权利要求3所述的方法，其特征在于，计算所述停顿事件的贡献时利用的所述演示质量评价是发生所述停顿事件之前的视频帧的演示质量评价。
5.根据权利要求4所述的方法，其特征在于，所述视频帧是紧邻所述停顿事件之前的完全呈现的帧。
6.根据权利要求1所述的方法，其特征在于，所述记忆效应由随时间单调递减且随时间饱和的函数表示。
7.根据权利要求6所述的方法，其特征在于，所述记忆效应由赫尔曼艾宾浩斯遗忘曲线表示。
8.根据权利要求1所述的方法，其特征在于，所述质量衰减效应由随时间单调递减且随时间饱和的函数表示。
9.根据权利要求8所述的方法，其特征在于，所述质量衰减效应由指数衰减函数表示。
10.根据权利要求1所述的方法，其特征在于，所述回放平滑度质量评价通过利用初始缓冲和回放停顿事件的时间位置和持续时间进行评价。
11.根据权利要求10所述的方法，其特征在于，评价停顿事件期间的所述回放平滑度质量评价时利用的所述演示质量评价是所述停顿事件开始之前最后呈现的视频帧的演示质量评价。
12.根据权利要求11所述的方法，其特征在于，所述停顿事件造成的回放平滑度质量下降使回放平滑度质量评价减小，所述下降，不管是由于初始缓冲导致的还是由于回放停顿导致的，均根据一个模型进行评价，在该模型中，所述下降会随着在所述停顿事件之前的所述演示质量评价而增加。
13.根据权利要求12所述的方法，其特征在于，所述停顿事件造成的下降与所述最后呈现的视频帧的演示质量评价成比例。
14.根据权利要求1所述的方法，其特征在于，Q是发生所述停顿事件Pik-1之前最后完全呈现的帧的所述演示质量评价。
15.根据权利要求1所述的方法，其特征在于，所述质量衰减函数d(t)的形式是
Figure FDF0000014470720000031
并且记忆函数m(t)在第k个停顿事件且时间为t时的形式是
Figure FDF0000014470720000032
其中T0和T1是分别表示不满意率和相对记忆强度而选择的两个参数。
16.根据权利要求15所述的方法，其特征在于，选择了参数T0和T1，使得T1＞T0。
17.根据权利要求1所述的方法，其特征在于，所述回放平滑度质量评价通过将单独的停顿事件的贡献相加来获得所有停顿事件所导致的贡献的结合。
18.根据权利要求17所述的方法，其特征在于，通过将所述演示质量评价与所述回放平滑度质量评价相加的方式将所述演示质量评价与所述回放平滑度质量评价相结合，以生成所述瞬时QoE分数。
19.根据权利要求17所述的方法，其特征在于，通过将这两个质量评价相乘、将这两个质量评价加权求和或者取这两个质量评价的最大值或最小值的方式将所述演示质量评价与所述回放平滑度质量评价相结合，以生成所述瞬时QoE分数。
20.根据权利要求1所述的方法，其特征在于，所述演示质量评价是由全参考视频质量评估法生成的，所述评估法比较了流式视频原始来源生成的测试视频的质量与原始源视频的质量，以所述原始源视频的质量作为参考视频，或者是由无参考视频质量评估法生成的，所述无参考视频质量评估法不需要访问原始源视频。
21.根据权利要求20所述的方法，其特征在于，所述视频质量评估法适应于用户观看设备和终端用户的观看条件。
22.根据权利要求20所述的方法，其特征在于，所述全参考视频质量评估法评估的测试视频的空间和/或时间分辨率与所述参考视频不同。
23.根据权利要求1所述的方法，其特征在于，在所述服务器侧生成所述演示质量评价，并通过所述网络连接传输给所述接收器侧。
24.根据权利要求1所述的方法，其特征在于，在所述接收器侧生成所述演示质量评价。
25.根据权利要求24所述的方法，其特征在于，在所述用户观看设备处生成所述回放平滑度质量评价。
26.根据权利要求1所述的方法，其特征在于，所述演示质量评价由网络服务器生成。
27.根据权利要求26所述的方法，其特征在于，所述网络服务器是云服务器。
28.根据权利要求26所述的方法，其特征在于，所述网络服务器是所述接收器侧的边缘服务器。
29.根据权利要求26所述的方法，其特征在于，所述网络服务器接收参数，所述参数描述用户观看设备和终端用户的观看条件，并使用具有观看设备和观看条件适应性的视频质量评估法生成所述演示质量评价。
30.根据权利要求1所述的方法，其特征在于，所述回放平滑度质量评价由网络服务器生成。
31.根据权利要求30所述的方法，其特征在于，所述网络服务器是云服务器。
32.根据权利要求30所述的方法，其特征在于，所述网络服务器是所述接收器侧的边缘服务器。
33.根据权利要求1所述的方法，还包括：
通过累积所述流式会话期间的瞬时QoE评价来测量过程结束用户QoE的步骤。
34.根据权利要求33所述的方法，其特征在于，所述过程结束用户QoE利用移动平均法来评价，以便求所述流式会话期间的所述瞬时QoE评价的平均值。
35.一种测量流式视频用户体验质量(QoE)的系统，所述流式视频通过网络连接从服务器侧的视频托管服务器传输到接收器侧的用户观看设备，所述系统包括：
演示质量评估单元，所述演示质量评估单元生成或获得流式视频的演示质量评价；
回放平滑度质量评估单元，所述回放平滑度质量评估单元在所述流式会话期间跟踪所有停顿事件的发生并生成在回放流式视频的用户观看设备处感知的回放平滑度质量的回放平滑度质量评价，其中，所述平滑度质量评价的生成结合了自所述流式会话开始起所有所述停顿事件的贡献，停顿事件的贡献基于所述停顿事件开始出现之前所述流式视频的所述演示质量以及在计算时已发生的所述停顿事件所导致的记忆效应和质量衰减效应来计算所述停顿事件的贡献；以及
QoE评估单元，所述QoE评估单元将所述演示质量评价和所述回放平滑度质量评价结合成瞬时QoE分数；
其中，所述回放平滑度质量评价配置为根据以下表达式计算所述停顿事件的贡献：
Figure FDF0000014470720000061
其中所述停顿事件是第k个停顿事件，从ik开始且具有长度lk，该停顿发生在[ik,ik+lk]期间，f是流式视频的帧速率，以帧/秒为单位，d(t)是随时间t单调递减的质量衰减函数，m(t)是随t单调递减的记忆函数，Q是在发生所述停顿事件之前流式视频的演示质量的评价。
36.根据权利要求35所述的系统，还包括：
过程结束QoE单元，所述过程结束QoE单元累积所有瞬时QoE分数并将其结合成所述流式会话的单个总体过程结束QoE分数。
37.根据权利要求35所述的系统，其特征在于，所述回放平滑度质量评估单元配置为使得在计算所述停顿事件的贡献时利用的所述演示质量评价是紧邻所述停顿事件发生之前的演示质量评价。
38.根据权利要求37所述的系统，其特征在于，所述演示质量评估单元整合到所述视频托管服务器。
39.根据权利要求35所述的系统，其特征在于，所述演示质量评估单元整合在所述网络服务器中。
40.根据权利要求39所述的系统，其特征在于，所述网络服务器是云服务器，所述云服务器获得从所述服务器侧传输的所述演示质量评价。
41.根据权利要求39所述的系统，其特征在于，所述网络服务器是所述接收器侧的边缘服务器，所述边缘服务器获得从所述服务器侧传输的所述演示质量评价。
42.根据权利要求39所述的系统，其特征在于，所述网络服务器是所述接收器侧的边缘服务器，所述边缘服务器在所述接收器侧生成所述演示质量评价。
43.根据权利要求39所述的系统，其特征在于，所述网络服务器接收参数，所述参数描述用户观看设备和终端用户的观看条件，所述演示质量评价通过具有观看设备和观看条件适应性的视频质量评估方法生成。
44.根据权利要求39所述的系统，其特征在于，所述回放平滑度质量评估单元整合在所述网络服务器中。
45.根据权利要求35所述的系统，其特征在于，所述回放平滑度质量评估单元整合到所述网络服务器中。
46.根据权利要求45所述的系统，其特征在于，所述网络服务器是云服务器。
47.根据权利要求45所述的系统，其特征在于，所述网络服务器是所述接收器侧的边缘服务器，所述边缘服务器在所述接收器侧生成所述回放平滑度质量评价。
48.根据权利要求35所述的系统，其特征在于，所述回放平滑度质量评估单元使用随时间单调递减且随时间饱和的函数来表示所述记忆效应。
49.根据权利要求35所述的系统，其特征在于，所述回放平滑度质量评估单元使用随时间单调递减且随时间饱和的函数来表示所述质量衰减效应。
50.根据权利要求35所述的系统，其特征在于，所述回放平滑度质量评估单元利用初始缓冲和回放所述停顿事件的时间位置和持续时间来评估所述回放平滑度质量评价。
51.根据权利要求50所述的系统，其特征在于，在评价停顿事件期间的所述回放平滑度质量评价时利用的所述演示质量评价是所述停顿事件开始之前最后呈现的视频帧的演示质量评价。
52.根据权利要求51所述的系统，其特征在于，所述停顿事件造成的回放平滑度质量下降使回放平滑度质量评价减小，所述下降，不管是由于初始缓冲导致的还是由于回放停顿导致的，均根据一个模型进行评价，在该模型中，所述下降会随着在所述停顿事件之前最后呈现的视频帧的演示质量评价而提高。
53.根据权利要求35所述的系统，其特征在于，Q是发生所述停顿事件Pik-1之前最后完全呈现的帧的演示质量评价。
54.根据权利要求35所述的系统，其特征在于，所述质量衰减函数d(t)的形式是
Figure FDF0000014470720000081
记忆函数m(t)在第k个所述停顿事件且时间为t时的形式是
Figure FDF0000014470720000082
其中T0和T1是分别表示不满意率和相对记忆强度而选择的两个参数。
55.根据权利要求54所述的系统，其特征在于，选择了参数T0和T1，使得T1＞T0。
56.根据权利要求35所述的系统，其特征在于，所述QoE评估单元配置为通过将单独的停顿事件的贡献相加来获得所述回放平滑度质量评价。
57.根据权利要求56所述的系统，其特征在于，所述QoE评估单元配置为通过将所述演示质量评价与所述回放平滑度质量评价相加来获得所述瞬时QoE分数。
58.根据权利要求56所述的系统，其特征在于，所述QoE评估单元配置为通过将所述演示质量评价与所述回放平滑度质量评价相乘、将这两个质量评价加权求和或者取这两个质量评价的最大值或最小值来生成所述瞬时QoE分数。
59.根据权利要求35所述的系统，其特征在于，所述演示质量评估单元配置为由全参考视频质量评估法生成所述演示质量评价，该评估法比较了流式视频原始来源生成的测试视频的质量与原始源视频的质量，以所述原始源视频的质量作为参考，或者由无参考视频质量评估法生成所述演示质量评价，所述无参考视频质量评估法不需要访问原始源视频。
60.根据权利要求59所述的系统，其特征在于，所述视频质量评估法适应于用户观看设备和终端用户的观看条件。
61.根据权利要求59所述的系统，其特征在于，全参考视频质量评估法评估的测试视频的空间和/或时间分辨率与参考视频不同。
62.一种非暂时性计算机可读介质，计算机可读介质存储有计算机可读代码，当计算设备的处理器执行所述计算机可读代码时使所述计算设备执行根据权利要求1-34中的任意一项所述的测量流式视频用户体验质量的方法。
CN201780015530.5A 2016-03-06 2017-03-06 流式视频用户体验质量的自动测量方法和系统 Active CN109618565B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662304318P 2016-03-06 2016-03-06
US62/304,318 2016-03-06
PCT/CA2017/050299 WO2017152274A1 (en) 2016-03-06 2017-03-06 Method and system for automatic user quality-of-experience measurement of streaming video

Publications (2)

Publication Number Publication Date
CN109618565A CN109618565A (zh) 2019-04-12
CN109618565B true CN109618565B (zh) 2022-04-05

Family

ID=59788890

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780015530.5A Active CN109618565B (zh) 2016-03-06 2017-03-06 流式视频用户体验质量的自动测量方法和系统

Country Status (6)

Country Link
US (1) US10673921B2 (zh)
EP (2) EP3829182A1 (zh)
JP (1) JP7072754B2 (zh)
CN (1) CN109618565B (zh)
CA (1) CA3020707C (zh)
WO (1) WO2017152274A1 (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018019342A1 (en) * 2016-07-25 2018-02-01 Dynastrom Aps Synchronization with synthesized audio clock
US10834406B2 (en) * 2016-12-12 2020-11-10 Netflix, Inc. Device-consistent techniques for predicting absolute perceptual video quality
CA3028701A1 (en) * 2017-12-28 2019-06-28 Comcast Cable Communications, Llc Content-aware predictive bitrate ladder
US11457279B1 (en) * 2018-09-26 2022-09-27 Amazon Technologies, Inc. Live previewing of streaming video in the cloud
US10735742B2 (en) 2018-11-28 2020-08-04 At&T Intellectual Property I, L.P. Adaptive bitrate video testing
US11363345B2 (en) * 2019-03-26 2022-06-14 Ssimwave Inc. Unified end-to-end quality and latency measurement, optimization and management in multimedia communications
US20210233259A1 (en) * 2020-01-28 2021-07-29 Ssimwave Inc. No-reference visual media assessment combining deep neural networks and models of human visual system and video content/distortion analysis
ES2767475A1 (es) * 2020-02-07 2020-06-17 Univ Madrid Politecnica Metodo y sistema para la estimacion de calidad percibida en senal audiovisual
US11962781B2 (en) * 2020-02-13 2024-04-16 Ssimwave Inc. Video encoding complexity measure system
US11522939B2 (en) * 2020-06-19 2022-12-06 Exfo Inc. Over-the-top media service testing and QoE issues isolation
CN112101788B (zh) * 2020-09-15 2022-04-12 福州大学 基于长期记忆的视频QoE评价系统及方法
CN114339269A (zh) * 2020-10-10 2022-04-12 中国电信股份有限公司 视频传输方法、组播管理平台、终端以及存储介质
CN113115077B (zh) * 2021-03-12 2022-04-26 上海交通大学 一种静态点云服务器码率自适应传输方法及系统
US11558668B2 (en) * 2021-06-03 2023-01-17 Microsoft Technology Licensing, Llc Measuring video quality of experience based on decoded frame rate
CN114630150A (zh) * 2022-02-17 2022-06-14 儒安物联科技集团有限公司 一种适应用户多样性的视频流abr算法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102948126A (zh) * 2010-06-18 2013-02-27 诺基亚公司 生成和处理流媒体体验质量度量的方法和装置
CN104427402A (zh) * 2013-09-03 2015-03-18 中国科学院声学研究所 一种无线网络流媒体质量获取方法及系统

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008211579A (ja) 2007-02-27 2008-09-11 Nippon Telegr & Teleph Corp <Ntt> 映像品質推定方法および映像通信システム
US8656284B2 (en) * 2009-04-17 2014-02-18 Empirix Inc. Method for determining a quality of user experience while performing activities in IP networks
US20130290492A1 (en) 2009-06-12 2013-10-31 Cygnus Broadband, Inc. State management for video streaming quality of experience degradation control and recovery using a video quality metric
US9124642B2 (en) 2009-10-16 2015-09-01 Qualcomm Incorporated Adaptively streaming multimedia
US9191284B2 (en) 2010-10-28 2015-11-17 Avvasi Inc. Methods and apparatus for providing a media stream quality signal
US20120278441A1 (en) 2011-04-28 2012-11-01 Futurewei Technologies, Inc. System and Method for Quality of Experience Estimation
US9398347B2 (en) 2011-05-30 2016-07-19 Sandvine Incorporated Ulc Systems and methods for measuring quality of experience for media streaming
EP2761881A4 (en) 2011-09-30 2015-06-17 Intel Corp EXPERIENCE QUALITY IMPROVEMENTS BETWEEN WIRELESS NETWORKS
US20130263167A1 (en) 2012-03-30 2013-10-03 Bytemobile, Inc. Adaptive Traffic Management in Cellular Wireless Networks
TWI610554B (zh) 2012-07-10 2018-01-01 Ｖｉｄ衡器股份有限公司 無線傳輸/接收單元中內容切換/品質驅動切換的方法
JP6236459B2 (ja) 2012-10-19 2017-11-22 インターデイジタル パテント ホールディングス インコーポレイテッド Ｈｔｔｐストリーミングのための多仮説レート適合
KR101803621B1 (ko) 2012-12-21 2017-12-28 코닌클리즈케 케이피엔 엔.브이. 저 지연 스트리밍
JP6270873B2 (ja) 2013-01-15 2018-01-31 華為技術有限公司Ｈｕａｗｅｉ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏ．，Ｌｔｄ． メディアコンテンツの適応型ストリーミングのための品質情報の使用
US9756142B2 (en) 2013-03-14 2017-09-05 The Regents Of The University Of California System and method for delivering video data from a server in a wireless network by caching the video data
WO2014158264A1 (en) 2013-03-29 2014-10-02 Intel IP Corporation Quality-aware rate adaptation techniques for dash streaming
DE102013211571B4 (de) 2013-06-19 2016-02-11 Opticom Dipl.-Ing. Michael Keyhl Gmbh Konzept zur bestimmung der qualität eines mediadatenstroms mit variierender qualität-zu-bitrate
JP5933487B2 (ja) 2013-06-28 2016-06-08 日本電信電話株式会社 ＱｏＥ推定装置、ＱｏＥ推定方法及びプログラム
US10362081B2 (en) * 2013-08-30 2019-07-23 Citrix Systems, Inc. Methods and systems for quantifying the holistic quality of experience for internet multimedia
US9300991B2 (en) * 2013-11-13 2016-03-29 International Business Machines Corporation Use of simultaneously received videos by a system to generate a quality of experience value

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102948126A (zh) * 2010-06-18 2013-02-27 诺基亚公司 生成和处理流媒体体验质量度量的方法和装置
CN104427402A (zh) * 2013-09-03 2015-03-18 中国科学院声学研究所 一种无线网络流媒体质量获取方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Assessing quality of experience for adaptive HTTP video streaming;Jingteng Xue等;《2014 IEEE International Conference on Multimedia and Expo Workshops》;20141231;全文 *

Also Published As

Publication number Publication date
CA3020707C (en) 2024-02-13
US20190158564A1 (en) 2019-05-23
EP3427481A1 (en) 2019-01-16
JP7072754B2 (ja) 2022-05-23
EP3427481A4 (en) 2019-10-30
JP2019512991A (ja) 2019-05-16
WO2017152274A1 (en) 2017-09-14
EP3829182A1 (en) 2021-06-02
CN109618565A (zh) 2019-04-12
CA3020707A1 (en) 2017-09-14
US10673921B2 (en) 2020-06-02

Similar Documents

Publication Publication Date Title
CN109618565B (zh) 流式视频用户体验质量的自动测量方法和系统
US10841358B2 (en) System and method for determining quality of a media stream
Bampis et al. Towards perceptually optimized end-to-end adaptive video streaming
Duanmu et al. A quality-of-experience index for streaming video
CN111107440B (zh) 视频传输控制方法及装置、设备、存储介质
CA2915446C (en) Concept for determining the quality of a media data stream with varying quality-to-bitrate
US9503491B2 (en) Playback stall avoidance in adaptive media streaming
US10541894B2 (en) Method for assessing the perceived quality of adaptive video streaming
JP6662905B2 (ja) オーディオビジュアル品質推定装置、オーディオビジュアル品質推定方法、及びプログラム
JP4308227B2 (ja) 映像品質推定装置、映像品質管理装置、映像品質推定方法、映像品質管理方法、およびプログラム
EP3985984A1 (en) System and method for managing video streaming quality of experience
Zhang et al. A QOE-driven approach to rate adaptation for dynamic adaptive streaming over http
EP3902275A1 (en) A method for estimating bandwidth between a video server and a video client
JP4733071B2 (ja) 映像品質推定方法および装置
US11582278B2 (en) Content player performance detection
US8706895B2 (en) Determination of quality of a consumer&#39;s experience of streaming media
Menkovski Computational inference and control of quality in multimedia services
Ghosh et al. M-3R: A Memory Based Approach for Streaming QoE Prediction under 3R settings
Prakash et al. Efficient Data usage and Savingwhile Streaming Video

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant