CN110651459B - 用于验证实时交互式媒体流系统的网络损伤模拟框架 - Google Patents

用于验证实时交互式媒体流系统的网络损伤模拟框架 Download PDF

Info

Publication number
CN110651459B
CN110651459B CN201880033973.1A CN201880033973A CN110651459B CN 110651459 B CN110651459 B CN 110651459B CN 201880033973 A CN201880033973 A CN 201880033973A CN 110651459 B CN110651459 B CN 110651459B
Authority
CN
China
Prior art keywords
network
simulated
simulation
video stream
test application
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880033973.1A
Other languages
English (en)
Other versions
CN110651459A (zh
Inventor
埃弗里·彭纳伦
郭旷野
罗伯特·麦库尔
多夫·齐姆林
尼尔·卡德维尔
赛弗·哈拉夫
贾尼·霍波宁
苏海尔·哈萨斯·耶加内
古鲁达斯·索马德尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN110651459A publication Critical patent/CN110651459A/zh
Application granted granted Critical
Publication of CN110651459B publication Critical patent/CN110651459B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/22—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks comprising specially adapted graphical user interfaces [GUI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0823—Errors, e.g. transmission errors
    • H04L43/0829—Packet loss
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/50—Testing arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/04—Processing captured monitoring data, e.g. for logfile generation
    • H04L43/045—Processing captured monitoring data, e.g. for logfile generation for graphical visualisation of monitoring data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W16/00—Network planning, e.g. coverage or traffic planning tools; Network deployment, e.g. resource partitioning or cells structures
    • H04W16/22—Traffic simulation tools or models
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W24/00—Supervisory, monitoring or testing arrangements
    • H04W24/06—Testing, supervising or monitoring using simulated traffic

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Environmental & Geological Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Debugging And Monitoring (AREA)
  • Telephonic Communication Services (AREA)

Abstract

一种在电子装置处执行的方法包括：执行应用；在正执行的应用、与所述应用相关联的远程服务器以及将来自会话的输出传输到输出装置的媒体装置之间建立所述会话，其中来自所述会话的所述输出包括来自所述正执行的应用的输出；以及向其上未执行和/或安装所述应用的一个或多个第二电子装置的用户呈现与所述会话相关联的会话标识符，其中所述会话标识符促进所述第二电子装置加入所述会话，并且识别可在所述一个或多个第二电子装置中的每一个上实施、用于使所述一个或多个第二电子装置的所述用户能够与所述会话交互的控制器配置。

Description

用于验证实时交互式媒体流系统的网络损伤模拟框架
技术领域
本申请总体上涉及计算机技术，包括但不限于，用于模拟网络损伤以测试启用网络的应用的方法和系统。
背景技术
流媒体系统已经发展了用于解决由拥塞、物理学和各种物理层协议特质引起的网络损伤的技术。此类技术的示例包括缓冲、动态比特率自适应和其它拥塞管理技术。对于诸如云游戏的领域，实时交互式流引入各种限制，这些限制不同于由被动消费流引起的限制。因此，由于都具有各种网络损伤以及应用的交互性质的多种可变因素在发挥作用，确定实时交互式流应用的拥塞管理技术的效率极其困难。
一种用于测试流媒体系统的技术涉及模拟网络的使用。然而，不仅准确地模拟现实世界通信网络非常困难，而且设计产生可再现结果的模拟也具有挑战性。
发明内容
本说明书中描述的实施方式涉及通过使用体现动态现实世界损伤的模拟测试网络来开发实时交互式流应用。
在一些实施方式中，存在一种网络模拟器，所述网络模拟器由模拟场景的集合来支配。流量生成器模拟实时编码器，所述流量生成器具有用于模拟目标比特率、误差校正和相关变量的控件，以创建与等效实时视频编码器所生成的流量类似的流量。开发客户端接收从流量生成器生成的流量。流量在去开发客户端的途中遍历网络模拟器。开发客户端参与协议以主动地记录流量。拥塞管理算法介接到流量生成器，从而基于来自开发客户端的反馈来调节流量生成器的行为。
所描述的实施方式允许实时流应用的开发人员预测特定应用将如何在各种类型的现实世界网络条件下执行。所描述的实施方式具有通过再现现实世界网络损伤来提供准确的性能评估的优点，并具有实验室环境的便利性。
根据一些实施方式，在具有一个或多个处理器以及存储器的电子装置处执行方法，所述存储器存储一个或多个程序，以由所述一个或多个处理器执行。所述方法包括：获得从多个预定义网络模拟场景中选择的第一网络模拟场景，每个所述网络模拟场景体现动态网络参数的特定组合，其中相应预定义模拟场景的所述动态网络参数基于与所述相应模拟场景对应的现实世界通信环境的测量；执行启用网络的测试应用；对与所述启用网络的测试应用的多个特定操作相关联的视频流进行编码；对于具有相关联的第一动态网络参数的第一网络模拟场景，在模拟测试网络中模拟所编码的视频流的传输；基于所述第一动态网络参数而生成过滤的数据流，所述过滤的数据流反映模拟测试网络对所编码的数据流的传输的模拟实时影响；以及确定所述过滤的数据流的多个时变质量度量。
根据一些实施方式，在具有一个或多个处理器以及存储器的电子装置处执行方法，所述存储器存储一个或多个程序，以由所述一个或多个处理器执行。所述方法包括：获得启用网络的测试应用；在计算系统的第一用户界面中显示与多个预定义网络模拟场景中的相应一个预定义网络模拟场景相关联的多个示能，每个所述网络模拟场景体现动态网络参数的特定组合，其中相应预定义模拟场景的动态网络参数基于与所述相应模拟场景对应的现实世界通信环境的测量；接收与第一网络模拟场景相关联的第一示能的用户选择；以及响应于所述第一示能的所述用户选择：对与所述启用网络的测试应用的多个特定操作相关联的视频流进行编码；对于具有相关联的第一动态网络参数的所述第一网络模拟场景，在模拟测试网络中模拟所编码的视频流的传输；基于过滤的数据流的多个时变质量度量，确定所述启用网络的测试应用的一个或多个性能方面；以及将所述启用网络的测试应用的所述一个或多个性能方面与所述第一模拟场景相关联。
根据一些实施方式，电子装置包括一个或多个处理器以及存储器，所述存储器存储一个或多个程序，以由所述一个或多个处理器执行。一个或多个程序包括用于执行上述方法中的任一者的指令。根据一些实施方式，非暂时性计算机可读存储介质存储一个或多个程序，所述一个或多个程序包括当由具有一个或多个处理器的电子装置执行时，使所述电子装置执行上述方法中的任一个方法的指令。
附图说明
图1是说明根据一些实施方式的示例交互式流环境的框图。
图2是说明根据一些实施方式的示例测试环境的框图。
图3是说明根据一些实施方式的示例开发控制台的框图。
图4A至图4F是说明根据一些实施方式的示例模拟环境的框图。
图5A至图5C是根据一些实施方式的示例网络损伤的图形。
图6A至图6D说明根据一些实施方式的示例用户界面。
图7是说明根据一些实施方式的用于追踪模拟用户体验的示例方法的流程图。
图8是说明根据一些实施方式的用于追踪模拟用户体验的示例方法的流程图。
图9是说明根据一些实施方式的用于导出模拟场景的参数的示例方法的流程图。
在整个附图中，相似参考编号指代对应部件。
具体实施方式
在本申请中所描述的各个实施方式中，测试环境包括网络模拟器，所述网络模拟器包括多个模拟场景。每个模拟场景体现动态网络参数的特定组合，并且相应模拟场景的动态网络参数基于与相应模拟场景对应的现实世界通信环境的测量。当在测试环境中执行启用网络的测试应用时，通过网络模拟器传输来自测试应用的输出数据流，其中输出数据流遭受与动态网络参数相关联的损伤。开发客户端接收所得的受损数据流并且确定测试应用的多个时变质量度量，其中质量度量特定于相应模拟场景。以此方式，可以在实验室环境中方便地基于现实世界网络条件而确定模拟用户体验。
图1是根据一些实施方式的示例交互式流环境100。交互式流环境100包括本地网络110上的客户端装置102以及可选的媒体装置106。在一些实施方式中，本地网络110支持有线(例如，以太网)和/或无线(例如，Wi-Fi)通信。例如，本地网络110包括将一个或多个装置联网到本地网络110的路由器装置。本地网络110通信地耦合到通信网络112(例如，广域网、因特网)。或者，客户端装置102和/或媒体装置106通信地耦合到通信网络112，而无需中间本地网络110。
在一些实施方式中，客户端装置102和媒体装置106通信地耦合。客户端装置102和媒体装置106可以通过本地网络110和/或直接地(例如，经由蓝牙或其它无线通信)彼此通信。在一些实施方式中，客户端装置102和媒体装置106是彼此本地的(例如，在同一房间中、在同一房屋中等)。媒体装置106耦合到一个或多个输出装置108，所述输出装置输出视觉和/或音频内容(例如，电视机、显示监视器、声音系统、扬声器等)。在一些实施方式中，媒体装置106是投射装置(例如，谷歌公司的CHROMECAST)，或否则包括投射功能的装置。
客户端装置102是包括一个或多个应用并且可以运行一个或多个应用的装置。在一些实施方式中，客户端装置102是智能电话、平板装置、膝上型计算机或笔记本计算机、台式计算机，或多媒体装置。
在一些实施方式中，客户端装置102包括一个或多个应用，所述应用被配置成结合媒体装置106操作。在一些实施方式中，应用包括用于将客户端装置102与媒体装置106配对并且配置媒体装置106的媒体装置应用。应用还包括将相关联内容投射到媒体装置106的一个或多个应用。在一些实施方式中，通过将数据/内容直接发送到媒体装置106(例如，经由本地网络110)，和/或通过将媒体装置106引导到远程位置(例如，到服务器系统处的位置的统一资源定位符(“URL”)或其它链接)，应用将数据和/或内容投射到媒体装置106，媒体装置106可以从所述远程位置流式传输或以其它方式接收数据/内容。媒体装置106从应用和/或远程位置接收数据/内容，并且将对应于所接收数据/内容的视觉和/或音频内容输出到输出装置108。
在交互式流环境100中，客户端装置102的用户(下文称为“用户”)通过启动要在客户端装置102处执行的流应用(例如，游戏应用)来开始流会话(例如，游戏)。执行的流应用与服务器114通信以建立会话。在一些实施方式中，用户指示流应用与媒体装置106通信，以引导媒体装置106接收与用于输出的流会话相关联的数据。对于这些实施方式，在流应用、远程服务器114与媒体装置106之间建立会话。
客户端装置102的用户可选地邀请另外的用户加入会话(例如，第一玩家邀请其它玩家加入游戏)。将会话的标识符呈现给一个或多个客户端装置104的用户。在一些实施方式中，会话标识符是或否则包括通知中的因特网链接(例如，统一资源定位符(“URL”))。如果另外的用户打开通知，则用户可以直接从通知访问会话标识符，或激活示能(affordance)以显示会话标识符(例如，在另一应用中)。随后，另外的用户在访问会话标识符后加入会话。具体地，当会话标识符用于客户端104处(例如，激活会话标识符链接)时，客户端104与服务器114通信以便加入会话。在客户端104加入会话之后，客户端102和104处的用户可以通过例如制造影响会话输出的输入来参与流会话(例如，玩游戏)。
在一些实施方式中，如果另外的客户端104已经在第一客户端102的本地网络110上，则服务器114与另外的客户端104之间的通信通过本地网络110进行。如果另外的客户端104不在本地网络110上，则服务器114与另外的客户端104之间的通信通过不同连接(例如，通过通信网络112)进行。
在一些实施方式中，作为客户端102/104加入会话的过程的一部分，服务器114访问客户端102/104的能力，和/或服务器114与客户端102/104之间的通信连接的质量。在一些实施方式中，服务器114测量客户端102/104与服务器114之间的网络延时。如果测量到的延时高于阈值并且较低延时连接可用，则服务器114建议客户端102/104改变到较低延时连接，或邀请客户端102/104的用户将客户端102/104改变到较低延时连接。例如，如果客户端104在蜂窝无线连接112上并且本地网络110可用，则服务器114建议客户端104应通过本地网络110连接。
在一些实施方式中，延时阈值要求在流应用之间不同。例如，一些流应用(例如，动作游戏)在较低延时连接上体验最佳，而一些其它流应用(例如，在线棋盘游戏或卡牌游戏)对延时要求不高，并且服务器114可以鉴于这些不同要求做出连接建议。
在一些实施方式，流应用需要与所述流应用相关联的伴随应用。对于流应用是游戏应用的实施方式，伴随应用是用于控制游戏玩法的虚拟游戏控制器应用。在一些实施方式中，服务器114与客户端102/104通信，以在玩家客户端102/104上建立虚拟游戏控制器。在一些实施方式中，服务器114评估客户端102/104是否具有虚拟游戏控制器的所需资源(例如，客户端102/104是否具有实施虚拟游戏控制器所需的应用，和/或客户端102/104与服务器114之间的通信连接是否具有适合于游戏会话的延时)。取决于客户端102/104处的可用资源、连接质量和游戏的要求，可以在客户端102/104处不同地实施虚拟游戏控制器(例如，对于连接质量低的情况，虚拟游戏控制器实施为包括较少特征的精简版本)。
在一些实施方式中，客户端102/104通过基于网页的界面访问流应用和/或伴随应用。例如，用于游戏的虚拟游戏控制器界面可以嵌入网页中，并且网页在客户端102/104上的web浏览器中渲染。如果基于网页的控制器界面是会话的选择控制器，则当客户端102/104加入会话时，服务器114将控制界面网页传输到客户端102/104。
图2是说明根据一些实施方式的示例测试环境200的框图。测试环境200包括开发控制台210和模拟环境230。
在一些实施方式中，开发控制台210包括：输入/输出(I/O)接口220，所述I/O接口包括输入装置222(例如，键盘和/或鼠标)；以及输出装置224(例如，显示器)，其用于促进开发控制台210与开发人员(或开发控制台210的任何其它用户)之间的交互。开发控制台210还包括存储器216、一个或多个处理器214(在本文中称为中央处理单元(CPU))、以及用于与模拟环境230介接(例如，通过信道213)的通信接口212。在一些实施方式中，模拟环境230包括用于与开发控制台210介接的通信接口232、一个或多个CPU 234、存储器236，以及模拟模块240。模拟模块240包括客户端模块242、测试应用(“测试app”)模块244，以及网络模拟器246。
客户端模块242供应输入数据流243(例如，模拟由客户端装置102的用户生成的输入数据，图1)。将来自客户端模块242的输入数据流243供应到测试应用模块244，其中所述输入数据流影响来自进行测试的应用的输出数据245(例如，来自服务器114的会话输出，图1)。来自测试app模块244的输出数据245(例如，视频流或编码的视频流)通过网络模拟器246传输，所述输出数据在网络模拟器中遭受各种损伤，如下文更详细地描述。来自网络模拟器的受损输出流247通过通信接口212和232传输到开发控制台210，并且显示在输出装置224上。在一些实施方式中，CPU 214从受损输出流247导出质量度量并且将质量度量显示在输出装置224上。在一些实施方式中，编码模块(例如，434，图4A)基于质量度量而调整测试app的拥塞管理算法。
图3是说明根据一些实施方式的示例开发控制台210的框图。开发控制台210包括一个或多个CPU 214、一个或多个通信接口212、存储器216、I/O接口220，以及用于将这些组件(有时称为芯片组)互连的一个或多个通信总线302。I/O接口220包括一个或多个输入装置222(例如，键盘、鼠标、语音命令输入单元或麦克风、触摸屏显示器、触敏输入板、手势捕获相机，或其它输入按钮或控件)，以及一个或多个输出装置224(例如，能够显示用户界面并且显示内容的视觉显示器)，用于促进开发控制台210与开发人员(或开发控制台210的任何其它用户)之间的交互。在一些实施方式中，开发控制台210被实施为不具有I/O接口220的服务器，并且替代地，开发人员和其它人使用诸如移动装置或其它客户端装置(未示出)的客户端系统来访问存储于开发控制台210中(例如，存储器216中)的其它信息和/或模拟数据，并且通过通信接口212将命令传送到开发控制台210。
存储器216包括高速随机存取存储器，诸如DRAM、SRAM、DDR RAM或其它随机存取固态存储器装置；并且可选地包括非易失性存储器，诸如一个或多个磁盘存储装置、一个或多个光盘存储装置、一个或多个闪存存储器装置，或一个或多个其它非易失性固态存储装置。存储器216可选地包括远离一个或多个处理单元214定位的一个或多个存储装置。存储器216或替代地存储器216内的非易失性存储器包括非暂时性计算机可读存储介质。在一些实施方式中，存储器216或存储器216的非暂时性计算机可读存储介质存储以下程序、模块和数据结构，或其子集或超集：
●操作系统312，其包括用于处理各种基本系统服务以及用于执行硬件相关的任务的过程；
●通信模块314，其用于经由一个或多个通信接口212(有线或无线)以及可选地诸如因特网、其它广域网、局域网、城域网等的一个或多个网络，将开发控制台连接到其它装置(例如，模拟环境230)；
●用户界面模块316，其用于使得在开发控制台210的输出装置224处能够呈现信息(例如，用于呈现应用、窗口小部件、网站以及其网页，和/或应用内容、文本等的图形用户界面)；
●设置输入模块318，其用于提示(例如，通过输出装置224)和接受(例如，通过输入装置222)模拟模块240的设置，包括客户端设置、测试app规范和模拟场景设置；
●app控制器模块320，其用于针对开发人员手动地控制测试应用(例如，玩正在测试的游戏)的实施方式，促进开发人员与指定的伴随应用(例如，虚拟游戏控制器)之间的交互；以及
●结果输出模块322，其用于基于受损输出流确定质量度量并且基于输出装置224上的质量度量显示结果。
上文所识别元件中的每一个可以存储在先前提及的存储器装置的一个或多个中，并且对应于用于执行上述功能的指令集。上文所识别的模块或程序(即，指令集)不需要被实施为单独的软件程序、过程、模块或数据结构，并且因此这些模块的各个子集可以在各个实施方式中组合或否则重新布置。在一些实施方式中，存储器216可选地存储上文所识别的模块和数据结构的子集。此外，存储器216可选地存储上文未描述的另外的模块以及数据结构。
图4A是说明根据一些实施方式的示例模拟环境230的框图，并且图4B至图4F是说明根据一些实施方式的图4A中的各个模块的内容的框图。模拟环境230包括一个或多个CPU234、一个或多个通信接口212、存储器236，以及用于将这些组件(有时称为芯片组)互连的一个或多个通信总线402。在一些实施方式中，模拟环境230被实施为服务器。
存储器236包括高速随机存取存储器，诸如DRAM、SRAM、DDR RAM或其它随机存取固态存储器装置；并且可选地包括非易失性存储器，诸如一个或多个磁盘存储装置、一个或多个光盘存储装置、一个或多个闪存存储器装置，或一个或多个其它非易失性固态存储装置。存储器236可选地包括远离一个或多个处理单元234定位的一个或多个存储装置。存储器236或替代地存储器236内的非易失性存储器包括非暂时性计算机可读存储介质。在一些实施方式中，存储器236或存储器236的非暂时性计算机可读存储介质存储以下程序、模块和数据结构，或其子集或超集：
●操作系统412，其包括用于处理各种基本系统服务以及用于执行硬件相关的任务的过程；
●通信模块414，其用于经由一个或多个通信接口232(有线或无线)以及可选诸如因特网、其它广域网、局域网、城域网等的地一个或多个网络，将模拟环境连接到其它装置(例如，开发控制台210)；
●模拟模块240，其用于模拟用户输入，执行测试应用以及模拟网络损伤，模拟模块240包括：
○客户端模块242，其用于执行预定义的用户输入(例如，由模拟用户输入)，或手动地输入的用户输入(例如，在手动地玩游戏过程或以其它方式控制测试应用的过程中，由开发人员输入)，客户端模块242包括：
■数据库、表格或其他客户端程序集合422，每个客户端程序包括特定客户端设置422-1至422-M(图4B)，其中特定客户端程序的设置包括(i)特定客户端的标识符(例如，初学者、新手、专家、客户-1、客户-2等)，以及(ii)表示模拟用户输入的特定命令序列(例如，运行w秒、在x时间戳跳转、在时间戳x+1在方向z发射武器等等)；以及
■数据库、表格，或其他控制器或伴随程序集合424(例如，参考图1描述的虚拟游戏控制器程序)，每个控制器程序包括特定设置424-1至424-N(图4C)，其中用于特定控制器或伴随程序的设置包括(i)特定程序的标识符(例如，完整的游戏控制器、简化的游戏控制器、媒体按钮集1、媒体按钮集2等)，(ii)用于每个设置的输入(例如，操纵杆、向上、向下、按钮A、按钮B、加速计等)，(iii)输入到特定命令的映射(例如，按钮A映射到跳转命令，按钮B映射到发射命令等)；以及(iv)控制器布局(例如，用户界面左侧的方向按钮、用户界面右侧的按钮A和B等)；
○测试应用模块244，其用于提供与测试应用(例如，游戏应用)相关联的服务器侧功能，包括但不限于，存储应用状态数据(例如，游戏状态数据)和其它应用相关的数据，处理来自客户端模块242的输入(例如，游戏玩法输入)，以及渲染在本文中称为输出数据流的输出(例如，游戏玩法输出)，测试应用模块244包括：
■数据库、表格或其他测试应用集合432(例如，待测试的游戏)，当由CPU 234在模拟环境中运行时，测试应用可选地由来自客户端模块242的输入命令422控制，以便产生用于进行编码的输出数据流，每个测试应用包括对应于测试应用432-1至432-P(图4D)的特定设置和数据，其中所述设置和数据包括：(i)特定测试应用的标识符，(ii)用于测试应用被配置成由特定伴随应用控制的实施方式的伴随/控制器设置；以及(iii)拥塞管理算法(可选地包括在编码模块434中)，其用于调整编码器控制以考虑变化的网络容量；以及
■编码器434，其具有用于模拟目标比特率、误差校正和相关变量的控件，以对输出数据流进行编码并将输出数据流传输到网络模拟器246；以及
○网络模拟器246，其用于模拟现实世界网络损伤(例如，图1中的本地网络110和/或通信网络112中存在的那些网络损伤)，编码的输出数据流在它到开发控制台210的途中通过网络模拟器来传输，网络模拟器246包括：
■数据库、表格或其他模拟场景集合442(下文更详细地描述)，每个模拟场景包括对应于模拟场景的特定设置和数据442-1至442-Q(图4E)，其中设置和数据包括：(i)特定模拟场景的标识符，(ii)与特定模拟损伤相关联的命令(例如，单向延时、往返延时、抖动、分组丢失、TCP重传等)，以及(iii)命令配方或序列，其用于以基于时间的方式执行上述命令(下文关于图5更详细地描述)；以及
■数据库、表格，或其他模拟数据集合444(下文参考图6C至图6D更详细地描述)，其中模拟数据444-1至444-R(图4F)表示CPU 234对于R模拟的分析结果，其中模拟数据包括：(i)场景数据，其识别针对模拟编程或选择的特定模拟场景，(ii)客户端数据，其识别针对模拟选择的特定客户端程序或针对模拟接收的手动输入，(iii)测试app数据，其识别已针对模拟测试的应用，(iv)编码的输出数据流(测试app模块244的输出)，(v)受损的输出数据流(网络模拟器246的输出)，(vi)基于受损的数据流的分析的事件、标志或其它感兴趣结果，其用于显示在输出装置224上(图6C至图6D)，以及(vii)模拟结果的摘要，其用于显示在输出装置224上(图6C至图6D)。
图5A至图5C是根据一些实施方式的示例命令配方442-1(iii)中的三种损伤的图形。网络损伤的示例包括但不限于：单向延时、往返延时、抖动、分组丢失和TCP重传。示例命令配方442-1(iii)包括第一损伤510、第二损伤520和第三损伤530。命令配方随时间动态地改变每个损伤，其中t0表示相对于特定模拟的初始时间索引(例如，模拟的开始)，并且t1到t7表示后续的时间索引。在t0处，第一损伤510处于初始水平512，第二损伤520处于初始水平522，并且第三损伤处于初始水平532。换句话说，通过网络模拟器246传输的数据流将遭受至少初始水平的三个损伤510、520和530，所述网络模拟器被编程为运行由命令配方442-1(iii)表征的模拟场景。例如，数据流可能会受到初始水平512的延时、初始水平522的抖动以及初始水平532的分组丢失的损害。在时间t3处，损伤510改变到增加的水平514，损伤520保持在初始水平522，并且损伤530改变到增加的水平534。在时间t5处，损伤510保持相同，而损伤520改变到增加的水平526并且损伤530再次增加到水平536。在时间t7处，损伤520减小到初始水平522，而损伤510和530保持不变。在一些实施方式中，损伤水平的改变以微秒水平发生。例如，图5中的每个时间索引之间的时间量(例如，从t0到t1，t1到t2等等)是1微秒。在一些实施方式中，损伤水平的一个或多个改变在相隔少于1微秒内以及相隔几分钟内发生。
各种网络损伤根据现实世界网络场景建模。例如，损伤510可能由于人在时间t3处关门导致，由此只要门保持关闭，就会阻碍WiFi信号；损伤520可能由于人在时间t5处打开微波炉导致，由此阻碍WiFi信号，直到微波炉在时间t7处关闭，这时由微波干扰引起的损伤完全消失；并且损伤530可能由于人持续地远离无线路由器导致，由此经历信号强度降低。通过对每个模拟场景中的各种损伤进行建模来模拟具有现实世界损伤(如上所述)的现实世界网络场景，所述模拟场景更真实地模拟现实世界环境。此外，通过捕获静态命令配方中的动态损伤变化，每个模拟场景提供可再现的动态变化损伤序列，由此在比较相同测试应用的不同版本时允许可重复测试和可靠结果。换句话说，测试交互式启用网络的应用(例如，基于云的游戏)的开发人员可以确保测试之间的结果变化是由于应用本身的更新，而不是测试环境的变化。
图6A至图6D说明根据一些实施方式的示例用户界面。在一些实施方式中，本文所描述的各个用户界面被配置成(例如，通过用户界面模块316)显示在开发控制台210的输出装置224上。
图6A描绘模拟设置界面600，所述模拟设置界面600包括用于加载用于在测试环境200中测试的应用(432-1)的示能602，以及用于选择特定模拟场景(442-1到442-10)的多个示能605a-j。在选择测试应用和特定模拟场景之后，用户继续使用示能608运行模拟(444)。
图6B描绘播放界面610，所述播放界面610包括用于显示测试应用的受损数据流(444-1(v))的显示区域612。在一些实施方式中，界面610示出在测试应用时的输出数据流，从而使得开发人员能够进行基本实时的观察。界面610中还包括：设置区域616，其用于显示与测试应用相关的设置(444-1(i-iii))；以及索引区域614，其用于在感兴趣的各种标志和/或事件615a-e(444-1(vi))与对应于所显示的输出数据流的时间线相关时显示所述标志和/或事件的图形描述；和/或事件区域618，其用于在模拟期间检测到感兴趣的各种标志和/或事件(444-1(vi))的更复杂列表时显示该列表。
图6C描绘结果界面620，所述结果界面620包括：事件区域622，其用于显示在模拟期间检测到的感兴趣的各种标志和/或事件(444-1(vi))的列表；摘要区域624，其用于显示来自模拟的结果的摘要(444-1(vii))；以及快照626，其示出来自表示相应事件444-1(vi)的受损输出流的多个图像帧或图像帧的子集。在一些实施方式中，示出参考帧，所述参考帧不具有作为损伤的结果的视觉伪像，从而促进在受损帧与非受损参考帧之间进行比较。例如，快照626-1示出不具有伪像的图像帧，所述图像帧可以用作参考帧。另一方面，快照626-2、626-3和626-4各自展现作为来自模拟432-1的相应损伤444-1(vi)的结果的伪像。
图6D描绘结果界面630，所述结果界面630包括用于显示从多个相应模拟产生的多个摘要(444-1(vi)、444-2(vi)、444-3(vi)和444-4(vi))的报告区域632。每个摘要包括细节示能634或否则与细节示能634相关联，所述细节示能634提供对每个相应模拟的更详细结果界面(例如，图6C的界面620)的访问。
显示在示例用户界面600、610、620和630中的各种示能、元素和区域仅仅是示例性的；本领域普通技术人员将认识到，图式中描绘的用于加载和选择文件以及显示结果的特定方式并不意味着限制在测试环境中与电子装置交互的上下文。
图7是根据一些实施方式的用于追踪模拟用户体验的方法700的流程图。方法700可以在具有一个或多个处理器(例如，CPU 214和/或234)和存储器(例如，存储器216和/或236)的电子装置(例如，开发控制台210、模拟环境230，或其组合)处执行，所述存储器存储一个或多个程序以由一个或多个处理器执行。在一些实施方式中，电子装置包括一个或多个程序以及存储器，所述存储器存储一个或多个程序，以由所述一个或多个处理器执行，并且所述一个或多个程序包括用于执行方法700的指令。在一些实施方式中，非暂时性计算机可读存储介质存储一个或多个程序，所述一个或多个程序包括指令，当由具有一个或多个处理器的电子装置执行时，所述指令使电子装置执行方法700。
电子装置(例如，图2的模拟环境230)获得(702)从多个预定义网络模拟场景中选择的第一网络模拟场景(例如，图4E的场景442-1)。每个网络模拟场景体现动态网络参数(例如，图4E的命令配方442-1(iii))的特定组合，其中相应预定义模拟场景的动态网络参数基于与相应模拟场景对应的现实世界通信环境的测量。用作模拟基础的示例场景包括有线通信信道(例如，以太网、DSL)、无线通信信道(例如，Wi-Fi)介质，以及其组合。为了准确地表示现实世界通信信道，每个模拟场景包括损伤的序列，其中一个或多个损伤随时间独立地变化(例如，图5的损伤510、520和530)。损伤的实例包括：单向延时、往返延时、抖动、分组丢失、信道噪声、信道带宽和TCP重传。每个模拟场景是当遭受不同损伤时现实世界网络如何表现的代表性示例。在一些实施方式中，各种现实世界场景包括在不同现实世界环境(例如，家、公寓、办公室、机场)中以及每个环境中的特定区域(例如，卧室、厨房、隔间、休息室、洗手间、阳台)中的Wi-Fi网络。在一些实施方式中，各种现实世界场景包括使用不同标准(例如，类别5、5e、6、7等等)和物理特征(例如，电缆长度、导体宽度和几何形状)的DSL网络。在一些实施方式中，在可用模拟场景的列表中包括多个模拟场景(例如，图6A的场景605)，在步骤702中(例如，由开发人员)从所述列表中选择一个模拟场景。
电子装置执行(704)测试应用(例如，图4D的432-1)。在一些实施方式中，测试应用是启用网络的应用(例如，基于云的应用)、交互式应用(例如，游戏应用)，或其组合。在一些实施方式中，客户端(例如，图2和图4A的242)通过与测试应用的多个特定操作对应的命令输入序列来控制测试应用。命令输入序列预存储在存储器(例如，图4B的422-1(ii))中，或由开发人员通过操作预配置的虚拟控制器(例如，图4C的424-1)手动地输入。测试应用基于客户端模块接收到的输入，或独立于任何输入提供输出数据流。在一些实施方式中，编码器(例如，图4A的434)对输出数据流进行编码，并且编码的输出数据流被传输到网络模拟器(例如，图2和图4A的246)。
对于具有相关联的第一动态网络参数(例如，图4E的442-1(iii))的第一网络模拟场景(例如，图4E的442-1)，网络模拟器在模拟测试网络中模拟(706)测试应用的输出数据流，或编码的输出数据流的传输。换句话说，输出数据(图2的245)通过网络模拟器(图2的246)传输，所述网络模拟器通过对应于特定预配置的网络模拟场景的损伤表征。在一些实施方式中，通过过滤输出数据，网络模拟器使输出数据遭受损伤。所得的过滤的数据流基于第一动态网络参数来反映模拟测试网络对所编码的数据流的传输的模拟实时影响。模拟测试网络对所编码的数据流的传输的影响的示例包括特定丢弃帧、特定丢失分组、特定延时度量、特定质量度量以及特定超时(例如，图4F的441-1(vi)；图6B的618)。
所过滤的数据流记录(708)在存储器(例如，图4F的444-1(v))中。在一些实施方式中，与损伤对数据流的影响对应的数据也记录在存储器(例如，图4F的444-1(vi))中。在一些实施方式中，所过滤的数据流和/或与损伤对数据流的影响对应的数据显示在开发控制台210的输出装置(例如，图2的224)上。在一些实施方式中，实时地(或近实时地)显示所过滤的数据流和/或与所过滤的数据流相关联的事件，同时测试应用仍在运行(例如，图6B)。在一些实施方式中，在测试应用终止之后，显示所过滤的数据流和/或与过滤后数据流相关联的事件(例如，图6C)。
电子装置确定(710)所过滤的数据流的一个或多个时变质量度量。质量度量的示例包括延时测量、抖动测量、丢弃分组、信道噪声水平以及信道带宽水平。在一些实施方式中，关于测试应用的运行时间，或关于测试应用的特定部分来确定质量度量。在一些实施方式中，基于质量度量(例如，丢弃分组的百分比、平均/高/低延时，和/或带宽水平等等)来确定测试应用的一个或多个性能方面。在一些实施方式中，确定模拟用户体验值，并且模拟用户体验值与用于测试应用的模拟场景相关联(例如，在图6C的摘要624中的“用户体验评分”)。在一些实施方式中，通过从多个质量度量中导出一个或多个模拟服务质量(QoS)值，以及将一个或多个模拟QoS值与一个或多个目标QoS值相比较，来确定模拟用户体验值。例如，CPU 214从时间窗的百分比中导出模拟QoS值，在所述时间窗期间，受损数据流展示丢弃分组的阈值百分比，并且模拟QoS值(例如，70％分组丢弃率)与目标QoS值(例如，5％分组丢弃率)相比较。如果模拟QoS值无法满足目标QoS值，则这反映为总体用户体验计算中的因素。取决于用户/开发人员偏好，其它阈值、因素以及因素的加权组合也是可能的。例如，取决于游戏应用对充分用户体验的低延时的依赖程度，与延时问题少的应用的QoS相比，基于目标延时的QoS可能相对更加严格。在一些实施方式中，显示所过滤的数据流的一个或多个渲染(例如，图6B的612；图6C的626)，并且基于所显示渲染的质量方面确定用户体验值。
在一些实施例中，电子装置基于一个或多个质量度量而调整(712)测试应用的一个或多个拥塞管理算法(例如，图4D的432-1(iii))。例如，如果模拟QoS低于目标QoS，则调整编码器的比特率以进行补偿。
图8是根据一些实施方式的用于追踪模拟用户体验的方法800的流程图。方法800可以在具有一个或多个处理器(例如，CPU 214和/或234)和存储器(例如，存储器216和/或236)的电子装置(例如，开发控制台210、模拟环境230，或其组合)处执行，所述存储器存储一个或多个程序以由一个或多个处理器执行。在一些实施方式中，电子装置包括一个或多个程序以及存储器，所述存储器存储一个或多个程序，以由所述一个或多个处理器执行，并且所述一个或多个程序包括用于执行方法800的指令。在一些实施方式中，非暂时性计算机可读存储介质存储一个或多个程序，所述一个或多个程序包括指令，当由具有一个或多个处理器的电子装置执行时，所述指令使电子装置执行方法800。
电子装置(例如，图2的开发控制台210)获得(801)测试应用(例如，图4D的启用网络的测试应序432-1)。在一些实施方式中，当开发人员使用开发控制台的用户界面元件(例如，图6A的602)加载或选择测试应用时，获得测试应用。在一些实施方式中，在选择测试应用之后，CPU 234将从存储器236中选择的的测试应用加载到测试应用模块244(图2)中。
电子装置显示(802)多个模拟场景(例如，图4E的442)。在一些实施方式中，在与步骤801中相同的用户界面中，或在不同用户界面中，模拟场景显示在多个示能(例如，图6A的605)中。在一些实施方式中，一次仅显示一个模拟场景。如上所述，每个模拟场景体现动态网络参数(例如，图4E的442-1(iii))的特定组合，并且每个模拟场景的动态网络参数基于与相应模拟场景对应的相应现实世界通信环境的测量。
电子装置接收(803)对第一模拟场景的选择(例如，通过示能605的选择)。在一些实施方式中，通过选择示能或对应于用于特定测试的所需模拟场景的其它用户界面元素，开发人员选择可用模拟场景。或者，作为测试脚本的一部分，自动地选择模拟场景。例如，特定测试脚本可以与DSL测试相关联，并且包括模拟场景442-6至442-10(图6A)。在选择DSL测试脚本之后，自动地选择第一场景(442-6)并且运行模拟。随后，自动地选择下一场景(442-7)，并且再次运行模拟。在一些实施方式中，在对模拟场景的任何种类的选择(例如，手动或自动)之后，CPU 234将从存储器236中选择的模拟场景加载到网络模拟器246(图2)中。
在一些实施方式中，电子装置还接收用于自动地控制测试应用的客户端程序或脚本(例如，图4B的422)的选择，和/或接收用于手动地控制测试应用的控制器程序或脚本(例如，图4C的424)的选择。在一些实施方式中，通过在与步骤801和/或802相同的用户界面上，或在不同用户界面上选择对应于所期望的客户端和/或控制器程序的示能或其它用户界面元素，开发人员选择可用客户端和/或控制器程序。在一些实施方式中，在选择客户端程序之后，CPU 234将从存储器236中选择的客户端程序加载到客户端模块246(图2)中。
在选择测试应用和模拟场景(以及可选地，客户端程序)之后，电子装置运行模拟。在一些实施方式中，在与步骤801和/或802中相同的用户界面上，或不同用户界面上选择示能(例如，图6A的608)或与开始模拟相关联的其它用户界面元素之后，运行模拟。
为了运行模拟，电子装置执行(804)测试应用。在执行测试应用之后，与测试应用或测试应用模块相关联的编码器(例如，图4A的434)对与启用网络的测试应用的多个特定操作相关联的数据流(例如，视频流)进行编码，所述操作由操作控制器(例如，图4C的虚拟游戏控制器424)的开发人员手动地输入，或由客户端程序(例如，图4B的422)自动地输入。在一些实施方式中，电子装置根据上文参考步骤704讨论的特征执行测试应用。
当正执行测试应用并且编码器正对数据流进行编码时，电子装置模拟(806)所编码的数据流通过所选择模拟场景的传输(例如，通过相关联的动态网络参数)。在一些实施方式中，电子装置根据上文参考步骤706讨论的特征模拟传输。
电子装置根据上文参考步骤708讨论的特征将所过滤的数据流记录(808)在存储器中，并且根据上文参考步骤710讨论的特征确定(810)所过滤的数据流的质量度量。在一些实施方式中，电子装置基于所过滤的数据流(如上所述)的多个质量度量而确定启用网络的测试应用的一个或多个性能方面，并且将性能方面中的一个或多个与正测试的测试应用的当前模拟场景相关联。
在一些实施方式中，在完成当前模拟场景之后，测试和评价结束(812：是)，并且在一些实施方式中，电子装置根据上文参考步骤712讨论的特征调整(814)测试应用的一个或多个拥塞管理算法。
或者，在完成当前模拟场景之后，测试和评价没有结束(812：否)，并且在一些实施方式中，电子装置前进到步骤802，在步骤802处显示一个或多个模拟场景以用于测试应用的后续模拟。例如，电子装置接收(803)与第二网络模拟场景相关联的第二示能的选择，并且作为响应，电子装置执行(804)测试应用，模拟(806)测试应用的所编码的数据流在第二模拟场景的模拟测试网络中的传输，记录(808)所得的所过滤的数据流，确定(810)所过滤的数据流的质量度量和性能方面，以及使性能方面与第二模拟场景相关联。
在一些实施方式中，在多个模拟之后，电子装置在结果用户界面(例如，图6D的630)上显示(例如，在输出装置224上)与针对特定测试应用(例如，用于第一场景444-1(vi)以及用于第二场景444-2(vi)的模拟数据)运行的每个模拟场景相关联的测试应用的一个或多个性能方面。
图9是根据一些实施方式的用于导出模拟场景的参数的方法900的流程图。方法900可以在具有一个或多个处理器(例如，CPU 214和/或234)和存储器(例如，存储器216和/或236)的电子装置(例如，开发控制台210和/或模拟环境230)处执行，所述存储器存储一个或多个程序以由一个或多个处理器执行。在一些实施方式中，电子装置包括一个或多个程序以及存储器，所述存储器存储一个或多个程序，以由所述一个或多个处理器执行，并且所述一个或多个程序包括用于执行方法900的指令。在一些实施方式中，非暂时性计算机可读存储介质存储一个或多个程序，所述一个或多个程序包括指令，当由具有一个或多个处理器的电子装置执行时，所述指令使电子装置执行方法900。
电子装置通过真实世界通信环境(例如，在现实公寓中建立的Wi-Fi网络、或在现实办公楼中建立的DSL网络等)将包括与启用网络的测试应用相关联的内容的第一部分的第一数据流传输(902)到用户装置。
通过在用户装置处表征测试应用在现实世界通信环境中的性能(例如，通过测量上述各种质量度量和/或性能方面)，电子装置在步骤902中产生(904)用于传输的第一性能数据。
电子装置基于第一性能数据而生成(906)测试网络，以便接近现实世界通信网络(例如，如上文参考图4E所描述，对命令配方进行编程)。在一些实施方式中，开发人员对命令配方进行编程。
电子装置通过在步骤906中生成的测试网络将包括与启用网络的测试应用相关联的内容的第一部分(例如，使数据流遭受与命令配方中的命令对应的损伤)的第二数据流传输(908)到客户端装置流。
通过在用户装置处表征测试应用在测试网络中的性能(例如，通过测量上述各种质量度量和/或性能方面)，电子装置在步骤908中产生(910)用于传输的第二性能数据。
电子装置将第一性能数据(与现实世界网络相关联)与第二性能数据(与模拟测试网络相关联)相比较(912)。
如果第一性能数据和第二性能数据不等于预定程度(例如，少于90％相似)，则当前模拟场景的参数导出被确定为不完整的(914：否)。在一些实施方式中，在确定当前模拟场景的参数导出不完整之后，调整(916)当前模拟场景的一个或多个测试网络参数，并且过程在步骤908处继续。
然而，如果第一性能数据和第二性能数据等于预定程度(例如，至少90％相似)，则当前模拟场景的参数导出被确定为完整的(914：是)。在一些实施方式中，在确定当前模拟场景的参数导出完整之后，调整(918)现实世界网络，或引入新的现实世界网络，并且在步骤902处开始，过程对于新的现实世界网络(以及与新的现实世界网络相关联的新的模拟场景)重复。
已经详细参考各个实施方式，在附图中说明实施方式的示例。在以上详细描述中，阐述许多具体细节以便提供对本发明以及所描述实施方式的整体理解。然而，可以在没有这些具体细节的情况下实践本发明。在其它实例中，不详细描述众所周知的方法、过程、组件和电路，以免不必要地混淆实施方式的方面。
还应理解，尽管词语“第一”、“第二”等在本文中可以用于描述各种元件，但是这些元件不应由这些词语限制。这些词语仅用于将一个元件与另一元件区分开。例如，第一装置可以称为第二装置，并且类似地，第二装置可以称为第一装置，而无需改变描述的含义，只要将第一装置的所有出现一致地进行重命名以及将第二装置的所有出现一致地进行重命名。第一装置和第二装置都是装置，但不是同一装置。
本文使用的术语仅出于描述具体实施方式的目的并且不意图限制权利要求。如实施方式和所附权利要求书的描述中使用的，单数形式“一”、“一个”和“所述”意图还包括复数形式，除非上下文另外明确指示。还应理解，如本文使用的词语“和/或”是指以及涵盖相关联所列项中的一个或多个项的任何和所有可能组合。应进一步理解，当用于本说明书中时，词语包括(“comprises”、“comprising”)指定所述特征、整数、步骤、操作、元件和/或组件的存在，但不排除一个或多个其它特征、整数、步骤、操作、元件、组件和/或其群组的存在或添加。
如本文所使用，取决于上下文，词语“如果”可以被解释为意指“当先决条件是正确的时”或“在先决条件是正确的之后”或“响应于先决条件是正确的”或“根据先决条件是正确的”或“响应于检测到先决条件是正确的”。类似地，取决于上下文，短语“如果确定[先决条件是正确的]”或“如果[先决条件是正确的]”或“当[先决条件是正确的]时”可以被解释为意指“在确定先决条件是正确的之后”或“响应于确定先决条件是正确的”或“根据确定先决条件是正确的”或“在检测到先决条件是正确的之后”或“响应于检测到先决条件是正确的”。
出于解释的目标，已参考特定实施方式描述前述描述。然而，以上说明性讨论并不意图穷举本发明为所公开的精确形式或将本发明限制为所公开的精确形式。鉴于以上教导，许多修改和变化是可能的。选择和描述实施方式是为了最好地解释本发明的原理以及其实际应用，从而使得本领域的其它技术人员能够最好地利用本发明和具有适合于预期特定用途的各种修改的各个实施方式。

Claims (13)

1.一种用于模拟网络损伤的方法，包括：
在具有一个或多个处理器和存储器的计算系统处：
获得从多个预定义网络模拟场景中选择的第一网络模拟场景，所述多个预定义网络模拟场景中的每个体现动态网络参数的特定组合；
执行启用网络的测试应用；
对与所述启用网络的测试应用的多个特定操作相关联的视频流进行编码；
对于具有相关联的第一动态网络参数的所述第一网络模拟场景，在模拟网络中模拟所编码的视频流的传输；
其中所述第一动态网络参数中的至少一个在第一时间段期间设定至第一水平以及在第二时间段期间设定至不同于所述第一水平的第二水平；
其中模拟所编码的视频流的传输包括基于所述第一动态网络参数来建模网络损伤并且基于所编码的视频流和所建模的网络损伤来生成另外的视频流，所述另外的视频流不同于所编码的视频流并且反映所建模的网络损伤对所编码的视频流的模拟实时影响；以及
确定所述另外的视频流的多个时变质量度量。
2.根据权利要求1所述的方法，还包括：
基于所述多个时变质量度量，确定与所述启用网络的测试应用和所述第一网络模拟场景相关联的模拟用户体验值。
3.根据权利要求2所述的方法，其中，确定所述模拟用户体验值包括：
从所述多个时变质量度量中导出一个或多个模拟服务质量值；
将所述一个或多个模拟服务质量值与一个或多个目标服务质量值相比较；以及
基于所述比较而确定所述模拟用户体验值。
4.根据权利要求2所述的方法，还包括：
显示所述另外的视频流的渲染；以及
基于所显示的所渲染的另外的视频流的质量来确定所述模拟用户体验值。
5.根据权利要求1所述的方法，还包括：
基于所述多个时变质量度量，来确定所述启用网络的测试应用的一个或多个性能方面。
6.根据权利要求1所述的方法，其中，所述模拟实时影响包括特定丢弃帧或特定丢失分组。
7.根据权利要求1所述的方法，其中，生成所述另外的视频流包括在所述计算系统的网络模拟器中生成所述另外的视频流用于在所述计算系统处的评价。
8.根据权利要求1所述的方法，其中，所述第一动态网络参数中的第二个在所述第一时间段和所述第二时间段期间设定至第一水平。
9.根据权利要求8所述的方法，其中，所述第一动态网络参数中的所述至少一个和所述第一动态网络参数中的所述第二个从由以下项组成的群组中选择：延时、抖动、分组丢失、信道噪声和信道带宽。
10.根据权利要求1至9中任一项所述的方法，还包括导出相应预定义网络模拟场景的所述动态网络参数，其中导出相应预定义网络模拟场景的所述动态网络参数包括：
通过相应现实世界通信环境将包括与所述启用网络的测试应用相关联的内容的第一部分的第一视频流传输到用户装置；
表征在所述用户装置处所述启用网络的测试应用在所述现实世界通信环境中的性能，以产生第一性能数据；以及
基于所述第一性能数据生成接近所述现实世界通信环境的模拟网络。
11.根据权利要求10所述的方法，其中，导出相应预定义网络模拟场景的所述动态网络参数还包括：
通过所述模拟网络将包括与所述启用网络的测试应用相关联的内容的所述第一部分的第二视频流传输到所述用户装置；
表征在所述用户装置处所述启用网络的测试应用在所述模拟网络中的性能，以产生第二性能数据；以及
基于所述第一性能数据与所述第二性能数据的比较来调整与所述现实世界通信环境对应的网络模拟场景的一个或多个动态网络参数。
12.一种计算系统，包括一个或多个处理器以及耦合到所述一个或多个处理器的存储器，所述存储器存储被配置成由所述一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行根据权利要求1至11中任一项所述的方法的指令。
13.一种非暂时性计算机可读存储介质，所述非暂时性计算机可读存储介质存储被配置用于由计算机系统执行的一个或多个程序，所述一个或多个程序包括用于执行根据权利要求1至11中任一项所述的方法的指令。
CN201880033973.1A 2017-12-21 2018-12-20 用于验证实时交互式媒体流系统的网络损伤模拟框架 Active CN110651459B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/851,610 2017-12-21
US15/851,610 US11140207B2 (en) 2017-12-21 2017-12-21 Network impairment simulation framework for verification of real time interactive media streaming systems
PCT/US2018/066844 WO2019126528A1 (en) 2017-12-21 2018-12-20 Network impairment simulation framework for verification of real time interactive media streaming systems

Publications (2)

Publication Number Publication Date
CN110651459A CN110651459A (zh) 2020-01-03
CN110651459B true CN110651459B (zh) 2022-03-15

Family

ID=65036901

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880033973.1A Active CN110651459B (zh) 2017-12-21 2018-12-20 用于验证实时交互式媒体流系统的网络损伤模拟框架

Country Status (4)

Country Link
US (2) US11140207B2 (zh)
EP (1) EP3607726B1 (zh)
CN (1) CN110651459B (zh)
WO (1) WO2019126528A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10733079B2 (en) * 2017-05-31 2020-08-04 Oracle International Corporation Systems and methods for end-to-end testing of applications using dynamically simulated data
US11128869B1 (en) * 2018-10-22 2021-09-21 Bitmovin, Inc. Video encoding based on customized bitrate table
CN111431758B (zh) * 2020-02-20 2022-05-31 平安科技（深圳）有限公司 云网络设备的测试方法、装置、存储介质和计算机设备
CN111338709B (zh) * 2020-02-25 2023-09-22 北京金山安全软件有限公司 客户端中目标场景的跳转方法、装置、设备及存储介质
US11689763B2 (en) * 2020-09-28 2023-06-27 T-Mobile Usa, Inc. Cross-party diagnostics
CN112245903B (zh) * 2020-10-26 2022-05-03 腾讯科技（深圳）有限公司 云应用中网络状态指示方法、操作系统、装置及存储介质
TWI763111B (zh) * 2020-11-05 2022-05-01 宇曜智能股份有限公司 模擬控制系統及模擬控制方法
CN114640596B (zh) * 2020-12-16 2024-02-06 慧盾信息安全科技(北京)有限公司 一种实现自动对两个实体间所有交互报文进行网络损伤模拟的系统和方法
US11431605B2 (en) * 2020-12-16 2022-08-30 Schweitzer Engineering Laboratories, Inc. Communication system tester and related methods
CN113645653A (zh) * 2021-08-06 2021-11-12 腾讯数码（深圳）有限公司 网络仿真测试方法、装置、电子设备及存储介质
CN113765702A (zh) * 2021-08-06 2021-12-07 江门市云争科技有限公司 信息处理方法及其装置、计算机可读存储介质
JP7454003B2 (ja) * 2022-02-16 2024-03-21 任天堂株式会社 情報処理プログラム、情報処理システム、情報処理装置、および情報処理方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101690092A (zh) * 2007-06-28 2010-03-31 莱贝尔沃克斯有限责任公司 多媒体通信装置
US7774440B1 (en) * 2001-07-25 2010-08-10 Scalable Network Technologies, Inc. Method and system for enhancing performance of a physical network under real-time control using simulation of a reference model
CN104115471A (zh) * 2012-02-14 2014-10-22 西里克斯系统公司 托管的服务中的客户端带宽模拟

Family Cites Families (110)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7548238B2 (en) 1997-07-02 2009-06-16 Nvidia Corporation Computer graphics shader systems and methods
US7200545B2 (en) * 2001-12-28 2007-04-03 Testout Corporation System and method for simulating computer network devices for competency training and testing simulations
US7803052B2 (en) 2002-06-28 2010-09-28 Microsoft Corporation Discovery and distribution of game session information
JP3495032B1 (ja) 2002-07-24 2004-02-09 コナミ株式会社 ゲーム進行管理装置、ゲーム用サーバ装置、端末装置、ゲーム進行管理方法及びゲーム進行管理プログラム
US20040198403A1 (en) 2002-07-25 2004-10-07 Pedersen Claus Aagaard Gaming concept for wireless terminals
US8549574B2 (en) 2002-12-10 2013-10-01 Ol2, Inc. Method of combining linear content and interactive content compressed together as streaming interactive video
WO2004052483A1 (en) 2002-12-10 2004-06-24 Nokia Corporation Method and device for continuing an electronic multi-player game, in case of an absence of a player of said game
US9138644B2 (en) 2002-12-10 2015-09-22 Sony Computer Entertainment America Llc System and method for accelerated machine switching
US10664138B2 (en) 2003-03-14 2020-05-26 Comcast Cable Communications, Llc Providing supplemental content for a second screen experience
EP1652044A4 (en) 2003-07-15 2006-08-30 Wildtangent Inc LAUNCHING MULTI-USER SESSIONS, SYSTEM AND INVITATION METHOD THEREOF
US7966642B2 (en) 2003-09-15 2011-06-21 Nair Ajith N Resource-adaptive management of video storage
EP1668520A4 (en) 2003-09-19 2007-01-31 Wildtangent Inc COMPOSITE CONSUMPTION OF CONTENT INVENTING METHOD AND DEVICES
US8241129B2 (en) 2005-06-20 2012-08-14 Microsoft Corporation Setting up on-line game sessions out of a game context
JP2009511200A (ja) 2005-10-11 2009-03-19 ティーエイチキュー・ワイヤレス・インコーポレーテッド プレーヤのための望ましいマルチプレーヤ・ゲームを見つけるための方法及び装置
KR20070082395A (ko) 2006-02-16 2007-08-21 엔에이치엔(주) 유알엘을 이용한 플래시 게임 초대 시스템 및 방법
EP1997085A4 (en) * 2006-02-27 2011-04-27 Inc Createasoft SYSTEM AND METHOD FOR DYNAMICALLY CONTINUING MARKED ENTITIES AND PRESCRIBING THEIR STATE
US20070293319A1 (en) 2006-06-20 2007-12-20 Microsoft Corporation Transfer of Features Between Gaming Devices
CN101068258B (zh) 2006-12-14 2011-09-21 腾讯科技（深圳）有限公司 一种电子游戏的控制方法及控制系统
US20080220878A1 (en) 2007-02-23 2008-09-11 Oliver Michaelis Method and Apparatus to Create or Join Gaming Sessions Based on Proximity
WO2008104221A1 (en) 2007-02-27 2008-09-04 Telefonaktiebolaget Lm Ericsson (Publ) Method and apparatus for use in multiplayer server-based gaming
KR101422005B1 (ko) 2007-07-04 2014-07-23 엘지전자 주식회사 디스펜서 및 이를 구비하는 냉장고
US8235817B2 (en) 2009-02-12 2012-08-07 Sony Computer Entertainment America Llc Object based observation
US8613673B2 (en) 2008-12-15 2013-12-24 Sony Computer Entertainment America Llc Intelligent game loading
US9498714B2 (en) 2007-12-15 2016-11-22 Sony Interactive Entertainment America Llc Program mode switching
JP5075727B2 (ja) 2008-04-25 2012-11-21 株式会社日立製作所 ストリーム配信システム及び障害検知方法
US8200795B2 (en) 2008-06-05 2012-06-12 Sony Computer Entertainment Inc. Mobile phone game interface
US9498711B2 (en) 2008-11-04 2016-11-22 Quado Media Inc. Multi-player, multi-screens, electronic gaming platform and system
WO2010093831A1 (en) 2009-02-11 2010-08-19 Social Gaming Network Apparatuses, methods and systems for an interactive proximity display tether with remote co-play
US8506402B2 (en) 2009-06-01 2013-08-13 Sony Computer Entertainment America Llc Game execution environments
US8621585B2 (en) 2009-06-16 2013-12-31 Z2Live, Inc. Invitation service for multi-device application sessions
US9155963B2 (en) 2009-11-25 2015-10-13 Disney Enterprises, Inc. Collaborative online ranking
US8352798B2 (en) 2009-12-10 2013-01-08 International Business Machines Corporation Failure detection and fencing in a computing system
AU2011222509C1 (en) 2010-03-05 2015-05-28 Infrared5, Inc. System and method for two way communication and controlling content in a web browser
US8619588B2 (en) * 2010-04-07 2013-12-31 Avaya Inc. System and method for predicting video transmission quality through a network
US8591334B2 (en) 2010-06-03 2013-11-26 Ol2, Inc. Graphical user interface, system and method for implementing a game controller on a touch-screen device
US8788243B2 (en) 2011-02-14 2014-07-22 Disney Enterprises, Inc. Performance metrics gathering from multiple video game platforms
US8814697B2 (en) 2011-04-19 2014-08-26 Sony Computer Entertainment America Llc Method and apparatus for use in preserving a game state
JP5076132B1 (ja) 2011-05-25 2012-11-21 株式会社スクウェア・エニックス・ホールディングス 描画制御装置、その制御方法、プログラム、記録媒体、描画サーバ、及び描画システム
US9412193B2 (en) 2011-06-01 2016-08-09 Apple Inc. Run-time optimized shader program
US20130017884A1 (en) 2011-07-13 2013-01-17 Igt Methods and apparatus for providing secure logon to a gaming machine using a mobile device
US8814956B2 (en) 2011-07-14 2014-08-26 Semiconductor Energy Laboratory Co., Ltd. Power storage device, electrode, and manufacturing method thereof
US9167260B2 (en) 2011-08-02 2015-10-20 Advanced Micro Devices, Inc. Apparatus and method for video processing
KR101817652B1 (ko) 2011-09-01 2018-02-22 삼성전자주식회사 게임 스트리밍 데이터 수신 방법 및 그를 위한 장치, 및 게임 스트리밍 데이터 제공 방법 및 그를 위한 서버
US9773344B2 (en) 2012-01-11 2017-09-26 Nvidia Corporation Graphics processor clock scaling based on idle time
EP3421109A1 (en) 2012-01-24 2019-01-02 Sony Interactive Entertainment Inc. Information processing apparatus and information processing system
US20130221923A1 (en) 2012-02-23 2013-08-29 Whalen Furniture Manufacturing Inc. Universal charging system and battery pack for video game controllers
US9868062B2 (en) 2012-03-13 2018-01-16 Sony Interactive Entertainment America Llc System, method, and graphical user interface for controlling an application on a tablet
US20130274020A1 (en) 2012-04-11 2013-10-17 Meteor Entertainment, Inc. Computing platform for supporting massively multi-player online games
US9208642B2 (en) 2012-04-23 2015-12-08 Touchspin Gaming Ag Multiplayer slot machine gaming
US20140006517A1 (en) 2012-07-02 2014-01-02 WUPIMA, Inc. System and method for social invitations to facilitate playing and sharing of mobile application or mobile game on mobile device
KR101923113B1 (ko) 2012-07-12 2018-11-28 캠프모바일 주식회사 이동통신 단말기의 메시징 서비스를 이용한 초대정보 처리방법, 이를 수행하는 서비스 서버, 이동통신 단말기 및 컴퓨터로 판독 가능한 기록매체
WO2014022311A2 (en) 2012-07-30 2014-02-06 Google Inc. Access control in communication environments
US8663004B1 (en) 2012-09-05 2014-03-04 Kabam, Inc. System and method for determining and acting on a user's value across different platforms
US20150009222A1 (en) 2012-11-28 2015-01-08 Nvidia Corporation Method and system for cloud based virtualized graphics processing for remote displays
US8870661B2 (en) 2012-12-21 2014-10-28 Sony Computer Entertainment America Llc Cloud-based game slice generation and frictionless social sharing with instant play
EP2750032B1 (en) 2012-12-27 2020-04-29 Sony Computer Entertainment America LLC Methods and systems for generation and execution of miniapp of computer application served by cloud computing system
US9794569B2 (en) 2013-01-30 2017-10-17 Intel Corporation Content adaptive partitioning for prediction and coding for next generation video
US11185783B2 (en) 2013-03-14 2021-11-30 Sony Interactive Entertainment Inc. Controller emulation for cloud gaming
US20140274384A1 (en) 2013-03-15 2014-09-18 Electronic Arts Inc. Delivering and consuming interactive video gaming content
US9295915B2 (en) 2013-05-20 2016-03-29 Microsoft Technology Licensing, Llc Game availability in a remote gaming environment
US9339733B2 (en) 2013-05-22 2016-05-17 Wesley John Boudville Barcode-based methods to enhance mobile multiplayer games
WO2014186858A1 (en) 2013-05-23 2014-11-27 KABUSHIKI KAISHA SQUARE ENlX HOLDINGS (ALSO TRADING AS SQUARE ENIX HOLDINGS CO., LTD.) Dynamic allocation of rendering resources in a cloud gaming system
US10587663B2 (en) * 2013-05-31 2020-03-10 Verily Life Sciences Llc Video stream preview
US9675874B1 (en) 2013-07-18 2017-06-13 nWay, Inc. Multi-player gaming system
US9723051B2 (en) 2013-08-13 2017-08-01 Criteo Sa Setting first-party cookies by redirection
US20150087414A1 (en) 2013-09-26 2015-03-26 Cellco Partnership D/B/A Verizon Wireless Cloud gaming implemented using a mobile device and a display device
JP6292707B2 (ja) 2013-10-22 2018-03-14 任天堂株式会社 情報処理システム、情報処理装置、情報処理プログラム、および情報処理方法
US9592446B2 (en) 2013-12-13 2017-03-14 DeNA Co., Ltd. Electronic game providing device and non-transitory computer-readable storage medium storing electronic game program
WO2015098165A1 (en) 2013-12-26 2015-07-02 Square Enix Holdings Co., Ltd. Rendering system, control method and storage medium
JP6376638B2 (ja) 2014-01-29 2018-08-22 株式会社コロプラ ゲームに関わるサーバコンピュータ及びゲームプログラム
US9912562B2 (en) 2014-03-31 2018-03-06 Microsoft Technology Licensing, Llc Measuring latency in an interactive application
US20150297998A1 (en) 2014-04-16 2015-10-22 Microsoft Corporation Hyperlink initiation of game sessions
GB2525437B (en) 2014-04-25 2016-05-25 Cheng Uei Prec Ind Co Ltd Push-button structure
JP6560259B2 (ja) 2014-06-13 2019-08-14 コンヴィーダ ワイヤレス， エルエルシー 自動サービスプロファイリングおよびオーケストレーション
US9393486B2 (en) 2014-06-27 2016-07-19 Amazon Technologies, Inc. Character simulation and playback notification in game session replay
US20160005257A1 (en) 2014-07-04 2016-01-07 Trendy Entertainment Influence system and methods
US10021214B2 (en) * 2014-07-22 2018-07-10 Microsoft Technology Licensing, Llc Synthetic transactions between communication endpoints
US10909809B2 (en) 2014-12-12 2021-02-02 Synergy Blue Llc Graphical user interface and computer processing techniques for facilitating user interaction with electronic gaming devices
US10255765B2 (en) 2015-08-20 2019-04-09 Synergy Blue, Llc Gaming aspects relating to multiplayer/tournament hybrid arcade/wager-based games
US20170124812A1 (en) 2014-12-12 2017-05-04 Synergy Blue, Llc Gaming and wagering techniques relating to skill-based gaming
US10007965B2 (en) 2014-12-16 2018-06-26 Intel Corporation Dynamic kernel modification for graphics processing units
US9396702B2 (en) 2014-12-23 2016-07-19 Sony Interactive Entertainment America Llc Latency tester
US20160279523A1 (en) 2015-03-25 2016-09-29 GAMEin30 Ltd. System and method for interactive gaming
US10130874B2 (en) 2015-05-01 2018-11-20 Microsoft Technology Licensing, Llc Removable controller accessory for a game controller
WO2016183253A1 (en) 2015-05-12 2016-11-17 Equinix, Inc. Programmable network platform for a cloud-based services exchange
US9609275B2 (en) 2015-07-08 2017-03-28 Google Inc. Single-stream transmission method for multi-user video conferencing
US10135892B2 (en) 2015-07-28 2018-11-20 Google Llc Independent control of interactive streaming media
US9946593B2 (en) 2015-09-18 2018-04-17 Salesforce.Com, Inc. Recovery strategy for a stream processing system
JP6646319B2 (ja) 2015-09-30 2020-02-14 ソニー・インタラクティブエンタテインメント エルエルシー クラウドゲームのためのマルチユーザデモストリーミングサービス
US20170097816A1 (en) 2015-10-01 2017-04-06 Motorola Mobility Llc Context-based applications for mobile devices
US10630773B2 (en) 2015-11-12 2020-04-21 Nvidia Corporation System and method for network coupled cloud gaming
US20170185464A1 (en) 2015-12-29 2017-06-29 Ca, Inc. Detecting flapping in resource measurements
US20170246544A1 (en) 2016-02-26 2017-08-31 Microsoft Technology Licensing, Llc Video game streaming for spectating
US10341128B2 (en) * 2016-03-12 2019-07-02 Wipro Limited Method and system for optimizing usage of network resources in a communication network
US10456672B2 (en) 2016-05-19 2019-10-29 Google Llc Methods and systems for facilitating participation in a game session
US11351468B2 (en) 2016-06-13 2022-06-07 Sony Interactive Entertainment LLC Generating challenges using a location based game play companion application
US10046236B2 (en) 2016-06-13 2018-08-14 Sony Interactive Entertainment America, LLC Browser-based cloud gaming
CN106328855B (zh) 2016-11-29 2019-06-04 宁德时代新能源科技股份有限公司 电池组件及电池模组
US10722803B2 (en) 2017-02-15 2020-07-28 Roblox Corporation Integrated chat and game play platform
US20180250591A1 (en) 2017-03-02 2018-09-06 The Fast Mind, LLC Methods of circumventing platform restrictions in gaming
US10512846B2 (en) 2017-03-07 2019-12-24 Sony Interactive Entertainment LLC Emulating player behavior after player departure
CN110678239B (zh) 2017-10-10 2024-02-09 谷歌有限责任公司 利用游戏元数据和量度的分布式基于样本的游戏剖析以及支持第三方内容的游戏api平台
EP3700640B1 (en) 2018-03-22 2021-05-26 Google LLC Methods and systems for rendering and encoding content for online interactive gaming sessions
US10773168B2 (en) 2018-04-02 2020-09-15 Google Llc Temporary game control by user simulation following loss of active control
JP7073526B2 (ja) 2018-04-02 2022-05-23 グーグル エルエルシー インタラクティブなクラウドゲームのための方法、デバイス、およびシステム
WO2019195300A2 (en) 2018-04-02 2019-10-10 Google Llc Input device for an electronic system
US11077364B2 (en) 2018-04-02 2021-08-03 Google Llc Resolution-based scaling of real-time interactive graphics
EP4141781B1 (en) 2018-04-10 2024-03-20 Google LLC Memory management in gaming rendering
US10950092B2 (en) 2018-10-07 2021-03-16 Synergy Blue Llc Skillful multi-level games and gaming machines in which players are granted free play sessions
CN112204529A (zh) 2018-11-16 2021-01-08 谷歌有限责任公司 用于复杂系统分析的实时交互式仿真的影子追踪

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7774440B1 (en) * 2001-07-25 2010-08-10 Scalable Network Technologies, Inc. Method and system for enhancing performance of a physical network under real-time control using simulation of a reference model
CN101690092A (zh) * 2007-06-28 2010-03-31 莱贝尔沃克斯有限责任公司 多媒体通信装置
CN104115471A (zh) * 2012-02-14 2014-10-22 西里克斯系统公司 托管的服务中的客户端带宽模拟

Also Published As

Publication number Publication date
US20190199772A1 (en) 2019-06-27
EP3607726A1 (en) 2020-02-12
WO2019126528A1 (en) 2019-06-27
CN110651459A (zh) 2020-01-03
US20220030047A1 (en) 2022-01-27
US11140207B2 (en) 2021-10-05
EP3607726B1 (en) 2022-10-19

Similar Documents

Publication Publication Date Title
CN110651459B (zh) 用于验证实时交互式媒体流系统的网络损伤模拟框架
EP3807766B1 (en) Shadow tracking of real-time interactive simulations for complex system analysis
CN114984569A (zh) 检测和补偿游戏系统中的显示滞后
US10165327B2 (en) Video studio creating method and service device
US10628294B2 (en) Mock services for software infrastructures
Claypool et al. On the performance of OnLive thin client games
US20090271152A1 (en) Load testing mechanism for server-based applications
CN109525461A (zh) 一种网络设备的测试方法、装置、设备及存储介质
Garcia et al. WebRTC testing: challenges and practical solutions
CN104040953A (zh) 视频传输的用户体验质量测试
CN111803921A (zh) 基于云手机系统的游戏互动方法、电子设备、存储介质
US10127002B2 (en) Method for real-time multimedia interface management
KR20220031001A (ko) 실시간 통신에서의 강화 학습
US11042622B2 (en) Authenticating users and improving virtual reality experiences via ocular scans and pupillometry
CN104394437A (zh) 一种在线直播的开播方法及系统
CN108224683A (zh) 数据同步方法、用户设备及计算机可读存储介质
JP2016181273A (ja) ロッカー管理システムおよび方法
CN111803954A (zh) 基于云手机的游戏直播方法、电子设备、存储介质
CN116506665A (zh) 自适应码率控制的vr串流方法、系统、装置及存储介质
US20080133974A1 (en) Media player test fixture
Metzger et al. Games and frames: A strange tale of qoe studies
US11173389B2 (en) Multipath wireless controller
WO2023173833A1 (zh) 虚拟场景的参数处理方法、装置、电子设备、计算机可读存储介质及计算机程序产品
Schulte et al. Stevens' Power Law in 3D tele-immersion: towards subjective modeling of multimodal cyber interaction
CN105446787B (zh) 一种应用程序的删除方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant