CN104040953A - 视频传输的用户体验质量测试 - Google Patents

视频传输的用户体验质量测试 Download PDF

Info

Publication number
CN104040953A
CN104040953A CN201280058751.8A CN201280058751A CN104040953A CN 104040953 A CN104040953 A CN 104040953A CN 201280058751 A CN201280058751 A CN 201280058751A CN 104040953 A CN104040953 A CN 104040953A
Authority
CN
China
Prior art keywords
video
qoe
receiving system
network
transmission
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201280058751.8A
Other languages
English (en)
Inventor
惠捷
M·F·伊兹丁
M·塞缪尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
T Mobile USA Inc
Original Assignee
T Mobile USA Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by T Mobile USA Inc filed Critical T Mobile USA Inc
Publication of CN104040953A publication Critical patent/CN104040953A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/29—Arrangements for monitoring broadcast services or broadcast-related services
    • H04H60/32—Arrangements for monitoring conditions of receiving stations, e.g. malfunction or breakdown of receiving stations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/50—Network service management, e.g. ensuring proper service fulfilment according to agreements
    • H04L41/5061—Network service management, e.g. ensuring proper service fulfilment according to agreements characterised by the interaction between service providers and their network customers, e.g. customer relationship management
    • H04L41/5067—Customer-centric QoS measurements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/765—Media network packet handling intermediate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/004—Diagnosis, testing or measuring for television systems or their details for digital television systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44209—Monitoring of downstream path of the transmission network originating from a server, e.g. bandwidth variations of a wireless network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6131—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via a mobile phone network

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

在此描述了一种用于计算接收装置上播放的视频流的用户体验质量(QoE)的分数的技术。在计算QoE分数前，装置接收在接收装置播放视频流时捕捉的接收装置的显示屏幕的视频。装置还从参与视频流到接收装置的传输的至少一个装置接收传输指标。然后装置至少部分基于参考视频、所述传输指标和一个或多个QoE模型计算所述QoE分数。另外，在接收视频或传输指标前，装置可以通过至少一个网络模拟器将参考视频作为视频流从发送装置自动传输到接收装置，包括提供网络损伤设置到所述网络模拟器。

Description

视频传输的用户体验质量测试
技术领域
本申请要求2011年10月14日提交的、题为“Multimedia QoE Video Lab”的、申请号为61/547,652的美国临时专利申请的优先权。申请号为61/547,652的申请作为参考被全部合并于此。
本申请要求2012年10月11日提交的、题为“Quality of User ExperienceTesting for Video Transmissions”的、申请号为13/649,818的美国实用新型专利申请的优先权。申请号为13/649,818的申请作为参考被全部合并于此。
背景技术
随着网络技术、手持装置和数据传输技术的发展，使用手持装置来享受消耗高宽带的媒体(诸如视频流)越来越多。现在用户在视频聊天、视频会议和在线游戏中，会对来自远程视频流服务器的视频进行回放。为了量化用户消费视频的用户体验质量(QoE)，国际电信联盟(ITU-T)在J.341标准中定义了用于确定平均意见分数(MOS)中“感性分析”建议。MOS表示用户对质量的感受，可以由一组用户主观确定或基于模型客观确定。模型可以反过来基于关于多个视频的多个主观评价。
附图说明
参考附图做了详细的描述。在附图中，附图标记的最左边的数字辨别该附图标记第一次出现的图。不同的图中使用相同的附图标记指示相似或相同的项或特征。
图1a示出了视频QoE测试系统，包括测试控制器装置、发送装置、至少一个网络模拟器、接收装置和相机，所述系统计算观看显示在所述接收装置上的传输的视频流的用户体验的QoE分数；
图1b示出了视频QoE测试系统，包括测试控制器装置、视频流服务器、至少一个网络模拟器、接收装置和相机，所述系统计算观看显示在接收装置上的传输的视频流的用户体验的QoE分数；
图2示出了能够用作测试控制器装置、发送装置、接收装置、相机、电信网络模拟器、互联网协议(IP)网络模拟器、视频中继服务器或视频流服务器的计算装置的组件级视图；以及
图3示出了用于对多个视频流传输以及在改变传输条件的情况下计算在用户的接收装置上进行视频流回放的用户体验的QoE分数的示例性过程。
具体实施方式
本说明书部分描述了计算接收装置上播放的视频流的用户体验质量(QoE)分数的技术。在计算QoE分数之前，诸如视频测试系统的测试控制器装置的装置，接收在接收装置播放视频流的同时捕捉的接收装置的显示屏幕的视频。装置还从至少一个参与向接收装置传输视频流的装置接收传输指标。然后装置至少部分基于参考视频、传输指标和一个或多个QoE模型来计算所述接收的视频的QoE。另外，在接收视频或传输指标之前，装置可以随着通过至少一个网络模拟器从发送装置到接收装置的视频流自动传输参考视频。所述自动可以包括向网络模拟器提供网络损伤设置。
然后装置用给定的一组网络损伤设置多次重复其操作，以及在其他时间用其他损伤设置多次重复其操作。通过在变化的情况下执行多次测试，视频测试系统将达到准确反应用户体验的QoE分数。
示例性测试系统
图1示出了视频QoE测试系统，该系统包括测试控制器装置、发送装置、至少一个网络模拟器、接收装置和相机，所述系统计算观看显示在所述接收装置上的传输的视频流的用户体验的QoE分数。如图所示，测试控制器装置102可以通过至少一个网络模拟器106从发送装置104自动传输视频流到接收装置108。在接收装置108播放视频流的同时，相机110捕捉接收装置108的显示屏幕的视频，并提供所述视频到测试控制器装置102。在一些实施方式中，测试控制器装置102可以指示发送装置104通过IP网络模拟器112在网络(诸如互联网)116上将视频流传输到视频中继服务器114上。为了自动化传输视频流和计算相机110捕捉的视频的QoE分数，测试控制器装置102可以配置有多个模块，诸如测试管理器模块118、损伤设置模块120、自动化模块122、传输指标模块124、QoE计算模块126和QoE报告模块128。
在各种实施方式中，测试控制器装置102、发送装置104、电信网络模拟器106、接收装置108、相机110、IP网络模拟器112和视频中继服务器114中的每一个可以是或者可以包括服务器或服务器群、多个分布式服务器群、主机、工作站、个人电脑(PC)、笔记本电脑、平板电脑、个人数字助理、移动电话、媒体中心、嵌入式系统或任何其他种类的装置。在一些实施方式中，一个或多个测试控制器装置102、发送装置104、电信网络模拟器106、接收装置108、相机110、IP网络模拟器112和视频中继服务器114可以为在一个或多个计算装置上实现的一个或多个虚拟机。图2中示出了并在下面参考图2描述了示例性的能够用作控制器装置102、发送装置104、电信网络模拟器106、接收装置108、相机110、IP网络模拟器112或视频中继服务器114的计算装置。
在一些实施方式中，发送装置104可以被配置为与电信网络模拟器106通过一个或多个射频进行无线通信。发送装置104例如还经由通用串行总线(USB)连接器、以太网连接器或一些其他类型的连接器与测试控制器装置102物理耦合。而且，发送装置104可以从测试控制器装置102接收参考视频和/或自动指令。基于所述指令，发送装置104可以创建视频聊天、视频会议或其他到接收装置108的连接，以及可以将参考视频作为视频流通过电信网络模拟器106传输到接收装置108。在一些实施方式中，可以以点对点(P2P)的方式传输视频流；在其他实施方式中，发送装置104可以将视频流导向视频中继服务器114以用于随后传输到接收装置108。在其他实施方式中，可以由用户启动传输，而不是响应于自动化指令。不论何种情况，在传输视频流时，发送装置104可以记录传输指标，诸如帧率、比特率、往返时间、呼叫建立时间或编码率，以及可以自动或者根据请求向测试控制器装置102提供传输指标。
在各种实施方式，电信网络模拟器106可以模拟任何种类的电信网络，诸如全球移动通信系统(GSM)网络、通用移动通信系统(UMTS)网络、演进的高速分组接入技术(HSPA+)网络或长期演进(LTE)网络。电信网络模拟器106可以包括一个或多个能够在一个或多个射频上进行传输和接收的基站模拟器组件。例如，电信网络模拟器106可以包括用于与发送装置104通信的第一基站模拟器组件，和用于与接收装置108通信的第二基站模拟器组件。另外，电信网络模拟器106可以有线或无线地连接到IP网络模拟器112或网络116。而且，电信网络模拟器106可以例如经由USB连接器、以太网连接器或一些其他类型的连接器物理耦合到测试控制器装置102。
在一些实施方式中，电信网络模拟器106可以配置为从测试控制器装置102接收网络损伤设置，以及根据所述配置执行视频流的传输。例如，网络损伤设置可以指定射频(RF)损伤，以及电信网络模拟器106可以在所述RF损伤的情况下传输视频流。而且，电信网络模拟器106可以检查传输视频流的分组，以确定传输是P2P还是客户端-服务器式。如果是P2P，电信网络模拟器106可以在接下来将视频流传输到接收装置108。如果是客户端-服务器式，电信网络模拟器106可以通过IP网络模拟器112将视频流传输到视频中继服务器114，可以从视频中继服务器114将视频流接收回来，以及然后可以将视频流传输到接收装置108。在传输视频流时，电信网络模拟器106可以记录传输指标，诸如射频、帧率、比特率、往返率、呼叫建立时间、或编码率，以及可以自动或根据请求提供传输指标到测试控制器装置102。
在各种实施方式中，接收装置108被配置为从测试控制器装置102接收自动化指令，和从发送装置104接收视频流。接收装置108可以例如经由USB连接器、以太网连接器或一些其他类型的连接器物理耦合到测试控制器装置102。指令可以包括接收连接视频聊天、视频会议或视频广播的指令，以及在接收到视频流时播放与所述连接有关的视频流的指令。在其他实施方式中，并不是接收自动化指令，而是接收装置108可以接收响应于用户输入的连接。当播放视频流时，接收装置108可以同时以视频流播放的方式来记录视频流，而不需要对记录的视频进行任何后处理来去掉延迟、漏掉的帧等。然后，接收装置108可以自动或根据请求向测试控制器装置102提供记录的视频。而且在接收和播放视频流时，接收装置108可以记录传输指标，诸如帧率、比特率、往返时间、呼叫建立时间或编码率，以及可以自动或根据请求向测试控制器装置102提供传输指标。
在一些实施方式中，相机110可以被配置成从测试控制器装置102接收指令，来记录接收装置108的显示屏幕的视频。相机110可以经由例如USB连接器、以太网连接器或一些其他形式的连接器物理耦合到测试控制器装置102。可以对指令进行时控以当在接收装置108上开始回放时指令使得视频的记录开始。相机110还可以接收指令以停止记录。在完成记录时，相机110可以向测试控制器装置102提供视频。
在各个实施方式中，IP网络模拟器可以被配置成从测试控制器装置102接收网络损伤设置，以及根据所述设置执行视频流的传输。例如，网路损伤设置可以指定一个或多个IP损伤，诸如分组丢失、传输延迟、数据损坏或有限的吞吐量，以及IP网络模拟器112可以在所述IP损伤的条件下传输视频流。而且，IP网络模拟器112可以从耦合到IP网络模拟器112的电信网络模拟器106接收视频流，可以将视频流传输到可以直接或通过网络116耦合到IP网络模拟器112的视频中继服务器114，可以从视频中继服务器114接收回视频流，以及然后可以通过电信网络模拟器106向接收装置108传输视频流。当传输视频流时，IP网络模拟器112可以记录传输指标，诸如帧率、比特率、往返时间、呼叫建立时间或编码率，以及可以自动或根据请求提供传输指标到测试控制器装置102。
在一些实施方式中，视频中继服务器114可以被配置成接收去往接收装置108的视频流，以及可以将视频流传输到接收装置108。可以直接或通过网络116从IP网络模拟器112接收或可以向IP网络模拟器112传输视频流。
在进一步的实施方式中，网络116可以为任意一个或多个网络，诸如有线网络、无线网络和有线与无线网络的结合。进一步的，网络116可以包括任意一个公共或私有网络(例如电缆网络、互联网、无线网络等)或多个不同类型的公共或私有网络的结合。在一些情况下，计算装置使用安全协议(例如http)和/或任何其他协议或协议组(诸如传输控制协议/互联网协议(TCP/IP))来在网络116上进行通信。
如图1a所示，测试控制器装置102可以配置有多个模块，所述多个模块被配置成执行视频传输性能测试。所述模块包括测试管理器模块118。测试管理器模块118自动或基于设置或响应于用户输入来启动测试。例如可以经由测试用户接口来接收该用户输入。用户或者设置可以指定多个不同的网络损伤设置来测试以及指定给定数量的测试去执行特定的网络损伤设置。可替换的，可以使用一组默认的网络损伤设置和默认数量的测试迭代。
在一些实施方式中，在启动测试时，测试管理器模块118调用损伤设置模块120以及指定要提供给电信网络模拟器106和IP网络模拟器中的一者或两者的网络损伤设置。所述网络损伤设置的示例如上所述。然后损伤设置模块120提供网络损伤设置，以及在确定成功应用了所述网络损伤设置时，告知测试管理器模块118。
测试管理器模块118然后调用自动化模块，来将视频流从发送装置104自动传输到接收装置108。自动模块122可以向发送装置104提供参考视频，以及提供将参考视频作为视频流传输到接收装置108的指令。指令还可以指定传输是P2P传输还是使用视频中继服务器114的客户端-服务器传输。自动化模块122还可以提供指令给电信网络模拟器106和IP网络模拟器112来在接收到视频流时传输视频流，以及提供指令给接收装置108。给接收装置108的指令可以告诉接收装置108从发送装置104接收通信以及在接收后打开和播放与通信相关的视频流。在一些实施方式中，自动化模块122还指示接收装置108将视频流的回放记录为视频文档或指示相机在接收装置108播放视频流时记录接收装置108的显示屏幕的视频。如果指示相机，自动化模块122可以对指令计时，从而相机110与接收装置108开始回放基本同时启动视频捕捉操作。在提供指令之后，自动化模块122告知管理器模块118指令已被提供。
在各种实施方式中，测试管理器模块118然后调用传输指标模块124来从一个或多个发送装置104、电信网络模拟器106、接收装置108或IP网络模拟器112接收或检索传输指标。所述传输指标的示例如上所述。然后，传输指标模块124将传输指标模块124提供到测试管理器模块118。
在接收到传输指标时，测试管理器模块118调用QoE计算模块126，和给QoE计算模块126提供传输指标。QoE计算模块126还从接收装置108或相机110获取或检索视频流回放的视频。使用一个或多个QoE模块，然后QoE计算模块126计算视频的QoE分数。例如，QoE计算模块126可以使用第一QoE模型、视频和参考视频来基于参考视频和第一QoE模模型计算视频的QoE分数。QoE计算模块126然后可以使用一个或多个第二QoE模型、传输指标以及视频来基于传输指标和第二QoE模型计算视频的一个或多个另外的QoE分数。接下来，QoE计算模块126可以使用第三QoE模型，所述第三QoE模型基于QoE分数是否被计算使用参考视频或特定传输指标来给QoE分数权重，以将QoE分数合成为单个的视频QoE分数。在其他实施方式中，并不是使用传输指标和第二QoE模型计算另外的QoE分数，而是QoE计算模块126可以使用传输指标和第二QoE模型计算QoE分数调整，所述QoE分数调整被加入QoE分数中或者从QoE分数中减去。在计算视频的QoE分数后，QoE计算模块126可以提供QoE分数到测试管理器模块118。
在各种实施方式中，测试管理器模块118然后确定是否应该使用网络损伤设置来执行另外的测试迭代。例如，测试管理器模块118可以确定为给定一组网络损伤设置要执行的三个测试，以及确定需要执行的再两个测试迭代。在该情况下，所述测试管理器模块118可以再调用自动化模块122、传输设置模块124和QoE计算模块126，来获得每个测试迭代的QoE分数。此外，测试管理器模块118可以确定是否有其他网络损伤设置来测试，以及如果有，则经由损伤设置模块120提供所述网络损伤设置，以及使用所述网络损伤设置执行测试迭代。
在测试完成时，测试管理器模块118具有一个或多个QoE分数，每个QoE分数与测试迭代和一组网络损伤设置相关。测试管理器模块118可以将一些或所有分数综合起来(例如，计算平均值或中间值)。综合的QoE分数可以为所有QoE分数的综合或给定一组网络损伤设置的QoE分数的综合。测试管理器模块118然后可以调用QoE报告模块128和向QoE报告模块128提供QoE分数、合成的QoE分数和/或传输指标。QoE报告模块128然后可以经由例如测试用户界面或其他用户界面与用户分享QoE分数、合成的QoE分数和/或传输指标。
在一些实施方式中，测试管理器模块118或QoE报告模块128还可以根据一个或多个QoE分数生成模块，所述一个或多个QoE分数中的每个与一组给定的网络损伤设置或者传输指标中的一者或两者相关。然后模型可以被提供到其他用户或实体或被其他用户和实体使用，以评估其他用户或实体的视频回放体验的QoE。
图1b示出了视频QoE测试系统，包括测试控制器装置、视频流服务器、至少一个网络模拟器、接收装置和相机，所述系统计算观看显示在接收装置上的传输的视频流的用户的体验的QoE分数。在图1b中，通过视频流服务器130而不是发送装置104或视频中继服务器114提供视频流。
视频流服务器130可以是任意种类的配置为传输视频流的服务器，诸如经由用户网络浏览器给用户提供流化视频回放的网络服务器。视频流服务器130可以经由例如USB连接器、以太网连接器或其他任何形式的连接器物理耦合到测试控制器装置102。在其他实施方式中，视频流服务器130可以通过网络(诸如网络116)与测试控制器装置102通信。而且，视频流服务器130可以从测试控制器装置102接收参考视频和/或自动化指令。基于所述指令，视频流服务器130可以创建与接收装置108的数据连接，以及可以将参考视频作为视频流通过IP网络模拟器112和电信网络模拟器106发送到接收装置108。在传输视频流时，视频流服务器130可以就传输指标，诸如帧率、往返时间或编码率，以及可以自动或根据请求将传输指标提供给测试控制器装置102。
在一些实施方式中，在图1b的视频测试系统中，测试管理器模块118、损伤设置模块120、QoE计算模块126和QoE报告模块128与图1a的视频测试系统中一样操作。除了参考视频和传输指令提供给视频流服务器130而不是提供给发送装置104以外，自动化模块122也同样操作。而且，除了传输指令从视频流服务器130获取和接收而不是从发送装置104获取和接收外，传输指令模块也同样操作。
示例装置
图2示出了能够用作测试控制器装置102、发送装置104、电信网络模拟器106、接收装置108、相机110、IP网络模拟器112、视频中继服务器114或视频流服务器130的计算装置的组件级视图。如图所示，计算装置200包括系统存储器202，用于存储模块和数据204。而且，计算装置200包括处理器206、可移动存储208和不可移动存储210、输入装置及212、输出装置214和用于与其他计算装置218进行通信的通信连接216。
在各种实施方式中，系统存储器202为易失性(诸如RAM)、非易失性(诸如ROM、快闪存储器等)或这两者的一些结合。存储在系统存储器202中的模块或数据204可以包括方法、线程、进程、应用或任意其他种类的可执行指令，诸如用来执行测试控制器装置102、发送装置104、电信网络模拟器106、接收装置108、相机110、IP网络模拟器112、视频中继服务器114或视频流服务器130的操作。模块和数据204也可以包括文档和数据库。
在一些实施方式中，处理器206为中央处理单元(CPU)、图形处理单元(GPU)或CPU和GPU、或本领域中已知的其他处理单元或组件。
计算装置200还包括另外的数据存储装置(可移动和/或不可移动)，例如磁盘、光盘或磁带。图2中由可移动存储208和不可移动存储210示出了这种另外的存储。有形计算机可读介质可以包括用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移动和不可移动介质。系统存储器202、可移动存储208和不可移动存储210都是计算机可读存储介质的示例。计算机可读存储介质包括但不限于RAM、ROM、EEPROM、快闪存储器或其他存储器技术、CD-ROM、数字通用光盘(DVD)或其他光存储、磁带盒、磁带、磁盘存储或其他磁存储装置，或其他任何可以用来存储所需信息和可以由计算装置200访问的媒介。任何这种有形计算机可读介质可以为计算装置200的一部分。
计算装置200还具有输入装置212，诸如键盘、鼠标、触摸式显示器、语音输入装置等，以及还具有输出装置，诸如显示器、扬声器、打印机等。所述装置是本领域公知的，在此不再赘述。
计算装置200还包括通信连接216，该通信连接216允许计算装置200与其他计算装置218(诸如其他测试控制器装置102、发送装置104、电信网络模拟器106、接收装置108、相机110、IP网络模拟器112、视频中继服务器114或视频流服务器130)进行通信。
示例过程
图3示出了示例过程300。该过程以逻辑图表示出，过程的每个操作表示可以在硬件、软件或其结合中执行的操作序列。在软件情况下，操作表示存储在一个或多个计算机可读存储戒指上的计算机可执行指令，所述指令当被一个或多个处理器执行时执行所列出的操作。一般，计算机可执行指令包括例程、程序、对象、组件、数据结构和执行特定功能和实现特定抽象数据类型的指令。操作的顺序不用于做出限制，任意数量的所述操作可以以任意的顺序结合起来，或者可以并列执行所述过程。
图3示出了用于对多个视频流传输以及在改变传输条件的情况下计算在用户的接收装置上进行视频流回放的用户体验的QoE分数的示例性过程。过程300包括，在302通过测试控制器装置提供网络损伤设置到至少一个网络模拟器。所述至少一个网络模拟器可以为电信网络模拟器或IP网络模拟器中的一者。网络损伤设置可以包括RF损伤设置、分组丢失设置、传输延迟设置、数据损坏设置或吞吐量设置中的至少一者。
在304，测试控制器装置通过至少一个网络模拟器自动将参考视频作为视频流从发送装置传输到接收装置，包括将网络损伤设置提供给至少一个网络模拟器。在304a，自动包括指示发送装置或视频流服务器将参考视频作为视频流传输，指示至少一个网络模拟器将视频流传输到接收装置，以及指示接收装置接收和播放视频流。在304b，自动包括将参考视频提供到发送装置或视频流服务器。在304c，自动包括指示发送装置将视频流以点对点方式或者通过视频中继服务器以客户端-服务器方式传输到接收装置。
在306，测试控制器装置接收在接收装置播放视频流时捕捉的接收装置的显示屏幕的视频。在306a，接收包括从相机接收视频或从接收装置接收视频。接收装置可以从远程视频流服务器接收了视频流。
在308，测试控制器装置从至少一个参与向接收装置的视频流的传输的装置接收传输指标。传输指标可以包括帧率、比特率、往返时间、呼叫建立时间或编码率中的至少一者。
在310，测试控制器装置至少部分基于参考视频、传输指标和一个或多个QoE模型计算视频的QoE分数。一个或多个QoE模型可以包括至少一个用于基于参考视频计算视频的第一QoE分数的QoE模型或用于基于传输指标计算视频的第二QoE分数的QoE模型。而且，一个或多个QoE模型可以包括用于综合第一和第二QoE分数的QoE模型。而且或者可替换的，一个或多个QoE模型可以包括用于基于参考视频计算视频的第一QoE分数的QoE模型，和用于基于传输指标计算QoE分数调整的QoE模型。
在312，测试控制器装置确定是否存在为给定的参考视频和一组网络损伤设置执行的更多测试迭代。这可以包括将计数器与设置或阈值进行比较。如果测试控制器装置确定应该执行另一个测试迭代，则测试控制器装置重复在304-310示出的操作。
在314，测试控制器装置确定是否存在用参考视频测试的其他损伤设置。如果存在其他测试的网络损伤设置，则测试控制器重复在框302-312示出的操作。
结论
虽然以特定的结构特征和/或方法的语言描述了主体，但是应该理解，所附权利要求中限定的主题不必现定于所描述的特定特征或领域。而是，特定特征和领域作为实施权利要求的示例形式而公开。

Claims (21)

1.一种系统，该系统包括：
发送装置，被配置为将参考视频作为视频流传输；
接收装置，被配置为接收和播放所述视频流；
至少一个网络模拟器组件，被通信地耦合到所述发送装置和所述接收装置，以及被配置为将所述视频流从所述发送装置传输到所述接收装置；
相机，被配置为在所述接收装置播放所述视频流时捕捉所述接收装置的显示屏幕的视频；以及
测试控制器装置，被配置为：
将所述视频流从所述发送装置自动传输到所述接收装置，包括提供网络损伤设置到所述至少一个网络模拟器，
从所述发送装置、所述接收装置和所述至少一个网络模拟器中的至少一者接收传输指标，；
从所述相机接收所述视频；以及
至少部分基于所述参考视频、所述传输指标和一个或多个QoE模型，计算所述视频的用户体验质量(QoE)分数。
2.根据权利要求1所述的系统，其中所述至少一个网络模拟器为电信网络模拟器或互联网协议(IP)网络模拟器中的一者。
3.根据权利要求1所述的系统，其中所述发送装置、所述接收装置、所述至少一个网络模拟器和所述相机每者被物理耦合到所述测试控制器装置。
4.根据权利要求1所述的系统，该系统还包括视频中继服务器，该视频中继服务器经由IP网络连接到所述至少一个网络模拟器，以及被配置成从所述至少一个网络模拟器接收所述视频流和将所述视频流传输回所述至少一个网络模拟器。
5.根据权利要求4所述的系统，其中所述视频中继服务器被配置为基于损伤设置执行所述传输或接收。
6.一种方法，该方法包括：
由计算装置接收在接收装置播放视频流时捕捉的所述接收装置的显示屏幕的视频；
由所述计算装置从参与向所述接收装置的所述视频流的传输的至少一个装置接收传输指标；以及
由所述计算装置至少部分基于参考视频、所述传输指标和一个或多个QoE模型计算所述视频的用户体验质量(QoE)分数。
7.根据权利要求6所述的方法，其中接收所述视频包括从相机接收所述视频或从所述接收装置接收所述视频中的至少一者。
8.根据权利要求6所述的方法，该方法还包括通过至少一个网络模拟器将所述参考视频作为所述视频流从发送装置自动传输到所述接收装置，包括提供网络损伤设置到所述至少一个网络模拟器。
9.根据权利要求6所述的方法，其中所述接收装置从远程视频服务器接收所述视频流。
10.根据权利要求6所述的方法，其中所述传输指标包括帧率、比特率、往返时间、呼叫建立时间或编码率中的至少一者。
11.根据权利要求6所述的方法，其中所述一个或多个QoE模型包括以下至少一者：用于基于所述参考视频计算所述视频的第一QoE分数的QoE模型、或用于基于所述传输指标计算所述视频的第二QoE分数的QoE模型。
12.根据权利要求11所述的方法，其中所述一个或多个QoE模型包括用于综合所述第一QoE分数和所述第二QoE分数的QoE模型。
13.根据权利要求11所述的方法，其中所述一个或多个QoE模型包括用于基于所述参考视频计算所述第一QoE分数的QoE模型和基于所述传输指标计算QoE分数调整的QoE模型。
14.一种或多种有形计算机可读介质，其上存储有多个可执行指令，所述可执行指令配置为对计算装置编程以执行以下操作，包括：
通过至少一个网络模拟器将参考视频作为视频流从发送装置自动传输到接收装置，包括将网络损伤设置提供到所述至少一个网络模拟器；
接收在所述接收装置播放所述视频流时捕捉的所述接收装置的显示屏幕的视频；
从所述发送装置、所述接收装置或所述至少一个网络模拟器中的至少一个装置接收传输指标；以及
至少部分基于所述参考视频、所述传输指标和一个或多个QoE模型计算所述视频的用户体验质量(QoE)分数。
15.根据权利要求14所述的一个或多个有形计算机可读介质，其中所述网络损伤设置包括射频(RF)损伤设置、分组丢失设置、传输延迟设置、数据损坏设置或吞吐量设置中的至少一者。
16.根据权利要求14所述的一个或多个有形计算机可读介质，其中所述自动包括指示所述发送装置将所述参考视频作为所述视频流传输，指示所述至少一个网络模拟器将所述视频流传输到所述接收装置，以及指示所述接收装置接收和播放所述视频流。
17.根据权利要求14所述的一个或多个有形计算机可读介质，其中所述自动包括提供所述参考视频到所述发送装置。
18.根据权利要求14所述的一个或多个有形计算机可读介质，其中所述自动包括指示所述发送装置以点对点的方式或以通过视频中继服务器的客户端-服务器的方式将所述视频流传输到所述接收装置。
19.根据权利要求14所述的一个或多个有形计算机可读介质，其中所述操作还包括采用同一网络损伤设置和同一参考视频多次重复所述自动、所述接收所述视频和所述接收所述传输指标，以及基于所述参考视频、所接收的传输指标和所述一个或多个QoE模型为所接收的视频执行所述计算。
20.根据权利要求19所述的一个或多个有形计算机可读介质，其中所述操作还包括采用不同的网络损伤设置重复所述自动、所述接收所述视频、所述接收所述传输指标和所述计算。
21.根据权利要求20所述的一个或多个有形计算机可读介质，其中所述操作还包括生成将QoE分数与网络损伤设置或传输指标中的一者或两者相关联的模型。
CN201280058751.8A 2011-10-14 2012-10-12 视频传输的用户体验质量测试 Pending CN104040953A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201161547652P 2011-10-14 2011-10-14
US61/547,652 2011-10-14
US13/649,818 2012-10-11
US13/649,818 US8897144B2 (en) 2011-10-14 2012-10-11 Quality of user experience testing for video transmissions
PCT/US2012/060063 WO2013056123A2 (en) 2011-10-14 2012-10-12 Quality of user experience testing for video transmissions

Publications (1)

Publication Number Publication Date
CN104040953A true CN104040953A (zh) 2014-09-10

Family

ID=48082765

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280058751.8A Pending CN104040953A (zh) 2011-10-14 2012-10-12 视频传输的用户体验质量测试

Country Status (4)

Country Link
US (1) US8897144B2 (zh)
EP (2) EP3457704A1 (zh)
CN (1) CN104040953A (zh)
WO (1) WO2013056123A2 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104918042A (zh) * 2015-06-09 2015-09-16 国网四川省电力公司电力科学研究院 一种视频信号网络损伤模拟装置、系统及方法
CN108536575A (zh) * 2017-03-02 2018-09-14 中国移动通信有限公司研究院 在线音视频播放的用户体验指标的测试方法及装置
CN108702336A (zh) * 2016-03-17 2018-10-23 T移动美国公司 数据路由中的动态优化队列
CN111314690A (zh) * 2018-12-11 2020-06-19 中国移动通信集团广东有限公司 一种视频用户感知评估方法和装置

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8996917B1 (en) * 2012-12-10 2015-03-31 Google Inc. Systems and methods for testing a central controller in a centrally managed network
CN103974057B (zh) * 2013-01-24 2016-09-28 华为技术有限公司 一种视频质量用户体验值测评方法、设备及系统
CN104185285A (zh) * 2013-05-28 2014-12-03 华为技术有限公司 一种媒体数据的传输方法、装置和系统
US9965296B2 (en) 2013-06-30 2018-05-08 Vmware, Inc. Relative frame rate as display quality benchmark for remote desktop
US9264704B2 (en) * 2013-06-30 2016-02-16 Vmware, Inc. Frame image quality as display quality benchmark for remote desktop
DE102013219378B4 (de) 2013-09-26 2019-02-07 Carl Zeiss Industrielle Messtechnik Gmbh Messanordnung zum Messen einer relativen Position und/oder einer relativen Bewegung zweier relativ zueinander beweglicher Teile und Verfahren zum Betreiben der Messanordnung
DE102013219382B4 (de) 2013-09-26 2019-02-07 Carl Zeiss Industrielle Messtechnik Gmbh Anordnung und Verfahren zum Messen einer relativen Position und/oder einer relativen Bewegung zweier relativ zueinander beweglicher Teile
US10275344B2 (en) * 2014-03-03 2019-04-30 Lg Electronics Inc. Method for verifying operations for common application development of in-vehicle infotainment system and mobile terminal
US10491865B2 (en) 2014-07-07 2019-11-26 Louis Diep Camera control and image streaming
KR102232900B1 (ko) * 2014-10-02 2021-03-26 에스케이플래닛 주식회사 클라우드 스트리밍 서비스 시스템, 최적 gpu를 이용한 클라우드 스트리밍 서비스 방법 및 이를 위한 장치
US9871716B2 (en) * 2014-10-16 2018-01-16 Kollective Technology, Inc. Broadcast readiness testing in distributed content delivery networks
US9686338B1 (en) * 2014-10-24 2017-06-20 Amazon Technologies, Inc. Streaming content adjustment based on camera feedback
CN104469393B (zh) * 2014-11-25 2018-03-09 百度在线网络技术（北京）有限公司 获取云端模拟器音频的方法和系统
CN104506852B (zh) * 2014-12-25 2016-08-24 北京航空航天大学 一种面向视频会议编码的客观质量评估方法
US10601869B2 (en) * 2016-02-15 2020-03-24 Netscout Systems Texas, Llc System and method to estimate quality of experience for consumption of encrypted media network traffic
US9930381B1 (en) * 2016-09-29 2018-03-27 Disney Enterprises, Inc. Ancillary data video validator and QC system
US10834406B2 (en) * 2016-12-12 2020-11-10 Netflix, Inc. Device-consistent techniques for predicting absolute perceptual video quality
US10313717B2 (en) * 2017-07-12 2019-06-04 At&T Mobility Ii Llc Adaptive bit rate mobile video objective testing
US10735742B2 (en) 2018-11-28 2020-08-04 At&T Intellectual Property I, L.P. Adaptive bitrate video testing
US11032348B2 (en) * 2019-04-04 2021-06-08 Wowza Media Systems, LLC Live stream testing
US10574978B1 (en) * 2019-08-21 2020-02-25 Agora Lab, Inc. System and method for diagnosing QOE in real time communication
US11178107B2 (en) * 2019-09-30 2021-11-16 Michael Schloss System and method for detecting surreptitious packet rerouting
US11522939B2 (en) 2020-06-19 2022-12-06 Exfo Inc. Over-the-top media service testing and QoE issues isolation
CN111787308A (zh) * 2020-07-01 2020-10-16 浪潮云信息技术股份公司 一种基于gb28181标准协议视频监控终端的海量并发仿真方法
JP2022089616A (ja) * 2020-12-04 2022-06-16 パナソニックＩｐマネジメント株式会社 会議システム、ビデオ会議装置および映像処理方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE602004025490D1 (de) 2003-08-21 2010-03-25 Vidiator Entpr Inc Metriken für die qualität der erfahrung (qoe) für drahtlose kommunikationsnetze
CA2651247A1 (en) 2006-05-01 2007-11-15 Adaptive Spectrum And Signal Alignment, Inc. Methods and apparatus to perform line testing at customer premises
US20070271590A1 (en) 2006-05-10 2007-11-22 Clarestow Corporation Method and system for detecting of errors within streaming audio/video data
US8280994B2 (en) * 2006-10-27 2012-10-02 Rockstar Bidco Lp Method and apparatus for designing, updating and operating a network based on quality of experience
US7706291B2 (en) 2007-08-01 2010-04-27 Zeugma Systems Inc. Monitoring quality of experience on a per subscriber, per session basis
CN101442400B (zh) 2007-11-23 2012-03-07 国际商业机器公司 在数字内容传送系统中使用的质量管理器和方法
KR100922898B1 (ko) 2007-12-17 2009-10-20 한국전자통신연구원 ＩＰ 미디어의 ＱｏＥ 보장형 영상품질 측정장치 및측정방법
US20100058409A1 (en) * 2008-08-29 2010-03-04 Comarco Wireless Technologies, Inc. Audio and video testing methodology
US8311776B2 (en) 2009-12-01 2012-11-13 Verizon Patent And Licensing Inc. Methods, systems and computer program products for throughput-testing of electronic data systems
US8578020B2 (en) 2009-12-24 2013-11-05 Empire Technology Development Llc Dynamic mobile application quality-of-service monitoring and reporting
US8837298B2 (en) * 2010-04-16 2014-09-16 Empirix, Inc. Voice quality probe for communication networks
CN102170582B (zh) * 2011-05-20 2013-02-13 同济大学 基于QoS的视音频体验质量评测平台及评测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
尤峰华: "IPTV网络参数化QoE模型的研究", 《中国优秀硕士学位论文全文数据库（电子期刊）·信息科技辑》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104918042A (zh) * 2015-06-09 2015-09-16 国网四川省电力公司电力科学研究院 一种视频信号网络损伤模拟装置、系统及方法
CN104918042B (zh) * 2015-06-09 2017-09-29 国网四川省电力公司电力科学研究院 一种视频信号网络损伤模拟装置、系统及方法
CN108702336A (zh) * 2016-03-17 2018-10-23 T移动美国公司 数据路由中的动态优化队列
CN108536575A (zh) * 2017-03-02 2018-09-14 中国移动通信有限公司研究院 在线音视频播放的用户体验指标的测试方法及装置
CN111314690A (zh) * 2018-12-11 2020-06-19 中国移动通信集团广东有限公司 一种视频用户感知评估方法和装置

Also Published As

Publication number Publication date
US8897144B2 (en) 2014-11-25
EP3457704A1 (en) 2019-03-20
EP2767039B1 (en) 2018-12-05
WO2013056123A3 (en) 2013-06-20
US20130096904A1 (en) 2013-04-18
WO2013056123A2 (en) 2013-04-18
EP2767039A4 (en) 2015-04-15
EP2767039A2 (en) 2014-08-20

Similar Documents

Publication Publication Date Title
CN104040953A (zh) 视频传输的用户体验质量测试
CN108270738B (zh) 一种视频处理方法及网络设备
US20180109587A1 (en) System and method for determining quality of a media stream
CN107071399B (zh) 一种加密视频流的质量评估方法及装置
CN103957216B (zh) 基于音频信号特性分类的无参考音频质量评价方法和系统
CN113923441B (zh) 视频质量的评估方法、装置及电子设备
CN104581388B (zh) 播放状态的处理方法、装置及系统
WO2017148442A1 (zh) 一种音视频处理方法和装置、计算机存储介质
CN109040830B (zh) 直播播放卡顿的预测方法、切换方法及装置
CN106911927B (zh) 评估网络视频用户体验质量的方法、装置和dpi设备
Taheri et al. WebRTCbench: a benchmark for performance assessment of webRTC implementations
US20210409820A1 (en) Predicting multimedia session mos
US20230156068A1 (en) System and method for managing video streaming quality of experience
CN105872601A (zh) 视频播放方法、装置及系统
WO2017107670A1 (zh) 一种视频码率识别方法和装置
WO2023077813A1 (zh) 确定直播间刷量的方法及装置
CN103197836A (zh) 一种多媒体信息的交互方法、装置及系统
CN110493077B (zh) 802.11ax协议的延时丢包性能测试方法
CN106507101B (zh) 一种视频业务质量评价方法及装置
Baena et al. Video Streaming and Cloud Gaming services over 4G and 5G: a complete network and service metrics dataset
WO2021115255A1 (zh) 一种评测vr体验临场感的方法、装置及系统
CN108200471B (zh) 一种评测加密视频QoE的标准数据集的构建方法
Bartolec et al. Impact of user playback interactions on in-network estimation of video streaming performance
CN106899843A (zh) 一种视频业务质量评估方法及装置
US20230379551A1 (en) Cloud gaming benchmark testing

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20140910

RJ01 Rejection of invention patent application after publication