CN110460496A - 通过帧率控制实现网络自适应时延降低 - Google Patents
通过帧率控制实现网络自适应时延降低 Download PDFInfo
- Publication number
- CN110460496A CN110460496A CN201910744935.3A CN201910744935A CN110460496A CN 110460496 A CN110460496 A CN 110460496A CN 201910744935 A CN201910744935 A CN 201910744935A CN 110460496 A CN110460496 A CN 110460496A
- Authority
- CN
- China
- Prior art keywords
- frame per
- network
- rendering
- user
- delay
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
- H04L43/0852—Delays
- H04L43/0858—One way delays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
- H04L43/0876—Network utilisation, e.g. volume of load or congestion level
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/75—Media network packet handling
- H04L65/762—Media network packet handling at the source
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/80—Responding to QoS
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Environmental & Geological Engineering (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Information Transfer Between Computers (AREA)
Abstract
通过帧率控制实现网络自适应时延降低。针对云游戏系统中的一致的服务质量提供新颖的解决方案,其通过使用帧率封顶调制渲染的帧率以针对网络时延节省(或过剩)进行优化,以自适应地并动态地对欠佳的网络情况进行补偿。在进一步的实施例中,到客户端的编码/发送帧率还可以补充于将渲染的帧率封顶而进行管理,或作为将渲染的帧率封顶的可替代项。要求保护的实施例不仅为用户维持稳定的服务质量(QoS),还可被用来利用较高性能的网络以降低运营成本。
Description
本申请是分案申请,其原申请的中国国家申请号为201310741906.4,申请日为2013年12月27日,发明名称为“通过帧率控制实现网络自适应时延降低”。
背景技术
云计算按需求提供处理、容量和存储。典型的云计算设备允许用户按需求访问和申请使用来自共享的计算资源池的虚拟不限量的计算资源。通常,这些资源可包括实际计算机硬件系统(例如服务器)的虚拟化实例。
云计算提供者可包括许多不同类型的云服务。云计算中的日益普及的区域是云游戏。云游戏,也称点播游戏(gaming on-demand),是一类在线游戏,其允许游戏的直接和点播流典型地通过诸如互联网的网络到计算机或其他电子设备上。常规上,由云游戏运营者所提供的视频游戏将视频游戏的软件存储在一个或多个服务器上。当用户—典型地通过网络连接—访问服务器时,软件执行,结果的图形输出流到用户的计算机或显示设备。
一般地,构成对用户显示的图形内容的图像的实际渲染和处理也在服务器中实施,随后被编码(压缩)并传送(流)到用户设备,在用户设备上,被编码的视频流随后解码和显示。(典型地响应于所显示的图像的进展的)用户控制输入可接收自用户并直接传送回到服务器,在服务器上记录输入,并可处理、渲染、编码新的图像集,随后将其流回到用户或“客户端”设备。可针对每个用户连续实施该过程,并通常大致在用户进行视频游戏期间一直实施。
通过将大部分的存储器和处理需要从用户设备中摘取到服务器上,云游戏允许用户访问游戏而无需专用的游戏控制台或游戏系统,并大量消除针对用户的计算机系统的较高硬件要求。此外,消除了将视频游戏下载并安装到用户本地设备上所要求的时间,因为软件已经预加载在游戏运营者的服务器上。
不幸的是,与传统的、本地化的游戏解决方案相比,云游戏也引入许多新的挑战。例如,要求附加步骤以准备用于显示的图形输出,诸如实时地持续压缩视频、在用户的客户端设备上解压缩视频、以及持续将数据流过网络连接。在适应由于网络架构所导致的限制的同时足够快捷高效地实施这些步骤以不至显著影响用户体验,这是相当重要的。
该效率的一个可计量的测量是用户所体验的时延(latency)。时延是用户输入到服务器和返回的响应的测量,并可被多个变量影响,包括服务器运行得多快、服务器上运行的软件和硬件的效率、网络架构、以及网络行进到客户端侧上的用户设备的距离。例如在距离或网络跃距(hop)或网络质量上,用户设备与服务器越远,可能由于较长的传输或路由时间所引入的时延越长。通常被视频游戏玩家称为“延迟(lag)”的长时延是令人不悦的,尤其是在竞争性的游戏和/或游戏中的时间敏感性交互期间,并可对用户体验具有显著的负面影响。
不幸的是,许多传统云游戏系统完全不对归结于网络的时延负责,认为其是不可避免或无法避免的。云游戏运营者最多可能尝试通过在服务器侧供给附加资源以促进处理来管理时延。然而,这可能增加游戏运营者的资本支出成本,潜在地使其过高,并不是高效或有效的解决方案。仍有一些云游戏运营者可能尝试通过限制所提供的应用、具体来讲限制正渲染的图像的复杂性和数据传输的大小和/或频率、仅提供采用非同步的和/或与计时无关的机制的游戏,来避免总体时延。不幸的是,这也限制了用户对那些视频游戏的选择,并可能阻止用户访问软件娱乐的更丰富的库。
发明内容
提供发明内容来以简化的形式引入下文在具体实施方式中进一步描述的概念选择。发明内容不意图标识要求保护的主题的关键特征或重要特征,也不意图用来限制要求保护的主题的范围。
要求保护的主题的实施例指向系统和方法,所述系统和方法通过使用帧率封顶(capping)调制渲染的帧率以针对网络时延节省(或过剩)进行优化,来允许交付用于云游戏服务的、时延方面的更一致的服务质量。在进一步的实施例中,到客户端的编码/发送帧率还可以补充于将渲染的帧率封顶而进行管理,或作为将渲染的帧率封顶的可替代项。要求保护的实施例不仅为用户维持稳定的服务质量(QoS),还可被用来利用良好性能的网络以降低运营成本。
根据本发明的方面,提供了实现用于调制被渲染的帧率以优化网络时延的方法的云游戏系统。在实施例中,监视网络的时延,并基于被监视的时延,增加图像渲染器的帧率以补偿相对欠佳的网络时延或减少图像渲染器的帧率以利用高性能的网络并降低功耗级别,同时为用户维持稳定的时延体验。可实时实施网络时延的监视,并可随着网络和/或游戏情况改变动态地实施对渲染帧率的修改。
由于用于云渲染的时延的大部分可能归因于用户和云计算数据中心之间的网络架构(其由于与云数据中心的距离潜在地具有高度可变性),为了补偿欠佳的网络情况而进行的对渲染的帧率的增加可用来交付更一致的服务质量。同样,对于具有较高性能网络连接的用户,可将渲染帧率释放(减少)到最小或接近最小但仍确保稳定的显示帧率的帧率。
典型地,以稳定且预定的帧率显示视频游戏。传统上,该率与用户的客户端设备上显示的每秒帧数(常缩写为“fps”)相对应,并通常设置到30、60、或75帧每秒,但100或200fps或更高的帧率也是已知的。当网络情况良好—即当归因于网络的时延相对低时—可以以服务器能力、或甚至标准渲染速率之下的速率在服务器处理和渲染图像,只要在编码和流过网络之后图像可以以预定的帧率持续地显示。当以较低帧率渲染时,服务器要求较小功率来操作,并因此随着时间可节约大量运营成本。
附图说明
附图被包括在本说明书中并形成本说明书的一部分,示出本发明的实施例,并与实施方式一起用来解释本公开的特征:
图1是根据要求保护的主题的各实施例的、云游戏访问模型的框图。
图2是根据常规实践的、云游戏服务器架构的框图。
图3是根据要求保护的主题的各实施例的、用于动态地调整云游戏服务器中的渲染帧率的流程图示图。
图4是根据要求保护的主题的各实施例的、用于采用动态调整的渲染帧率显示图形输出的流程图的示图。
图5是根据要求保护的主题的各实施例的、例示性计算系统的框图。
具体实施方式
现在将对用于管理应用以避免云数据中心中的低和/或折衷的带宽的要求保护的主题的实施例做详细参考,其示例在附图中示出。虽然要求保护的主题将结合所公开的实施例加以描述,但应理解它们并不意图限定于这些实施例。相反,要求保护的主题旨在涵盖可包括在精神和范围内的由所附权利要求书定义的替代、修改和等同。
此外,下面对要求保护的主题实施例的详细描述中,陈述了大量具体细节来提供对要求保护的主题的更彻底理解。然而本领域内的普通技术人员应认识到要求保护的主题可在没有这些具体细节的情况下实施。在其他示例中,未详细描述公知的方法、程序、部件、及电路以避免对要求保护的主题的各方面内容造成不必要的混淆。
接下来依照程序、步骤、逻辑块、处理以及对可实施在计算机存储器中的数据比特进行操作其他象征性表示,来呈现出详细描述的一些部分。这些描述和表示是数据处理领域技术人员所使用的手段以向本领域的其他技术人员最有效地传达他们工作的实质。在此并且一般地,程序、由计算机生成的步骤、逻辑块、过程等等,被设想为得出期望结果的步骤或指令的自洽序列。步骤是那些要求对物理量进行物理操纵的步骤。通常,尽管不是必要地,这些量采用能在计算机系统中被存储、转移、组合、对比和另外操纵的电或磁信号的形式。已经证明,主要是出于共同使用的原因,将这些信号称为比特、值、元件、符号、字符、术语、数字等等有时是方便的。
然而应当牢记,所有这些和类似的术语都要与适当的物理量相关联,且仅仅是应用于这些量的便捷标签。除非特别声明,否则从下面的论述中显而易见,应意识到贯穿本要求保护的主题,利用术语诸如“存储”、“创建”、“防护”、“接收”、“加密”、“解密”、“破坏”等等的论述,指的是计算机系统或集成电路或类似的电子计算设备的动作和过程,其包括嵌入式系统,对以计算机系统寄存器或存储器内的物理(电子)量表示的数据进行操纵和转换为类似的以计算机系统存储器或寄存器或其他这类信息存储、传输或显示设备内的物理量表示的其他数据。
云访问模型
图1是根据本发明的各实施例的、例示性云访问模型100的示图。如图1所示,云访问模型100可包括具有多个服务器103、并经由互联网199可通信地耦连到客户端设备109的云数据中心101。根据各实施例,一个或多个服务器103可包括多个实例化的虚拟服务器105。服务器103可配置为包括与虚拟服务器相对应的多个逻辑部分,并可在其上托管或从其中执行一个或多个软件应用(例如游戏)。用户可通过连接到虚拟服务器(例如通过互联网199)来访问游戏,但图形输出的实际处理和渲染可实施在物理服务器自身上。
客户端设备109可包括多种消费者和个人电子设备。客户端设备109的示例包括但不限于:个人台式或膝上型计算机、移动蜂窝手机(例如使能电话)、平板计算机设备、机顶盒、(便携式)视频游戏控制台设备、或能够显示预渲染的图形内容并接收用户输入的任何其他设备。客户端设备109可以属于局域网(LAN),并通过路由器和/或调制解调器107连接到互联网199的一个或多个网关。根据一些实施例,客户端设备109可包括和/或与显示设备可通信地耦连,显示设备诸如屏幕或可通信地耦连的监视器。
在实施例中,客户端设备109的用户可通过执行客户端设备109上的、创建与云数据中心101中的相应服务器103的网络连接的软件的一部分来访问云游戏软件应用。在一些实例中,可生成并显示图形用户界面,其提示用户登录游戏运营者的服务器(例如通过认证进程)。一旦认证,则可发起游玩会话,并可在游玩会话通过客户端设备109和云数据中心101中的服务器103之间的网络连接期间持续传送图形内容。图形内容可包括,在被包括在服务器103中的一个或多个图形处理单元(GPU)中以一个或多个可变渲染帧率处理和渲染的一个或多个系列的图像。一旦被渲染,图像可压缩成被编码的视频、缓冲、并随后作为多个数据包流动。根据进一步的实施例,也可监视并可变地管理数据包从缓冲区流动的速率(即流帧率)。
一旦在客户端设备109中接收被编码的数据,则以所显示的帧率将数据解码(解压缩)并对用户显示(例如在显示设备中)。所显示的帧率可表达为所显示的每秒帧数(“fps”)的测量(例如30、60、90)。(通过图形用户界面、或其他硬件输入设备诸如鼠标、键盘、或控制器)在客户端设备109中接收的用户输入直接传送到服务器103,并可处理、渲染、编码响应于用户输入的、序列中的下一系列图像或新系列图像并将其流回客户端设备109。
根据本发明的方面,用户所体验到的时延,也就是说,在客户端设备109中接收的用户输入和显示设备中的下一系列图像的显示之间的时间长度被不断地监视。时延可被多种因素影响,包括服务器的渲染帧率和/或流帧率、云数据中心101和客户端设备109之间的网络架构的效率、以及网络中的云数据中心101和客户端设备109之间的距离(物理距离或“逻辑”距离二者之一)。较高时延可显现为用户动作和图形响应之间的延时(delay)(即“延迟”),一般是令人不悦的。根据各实施例,当检测到时延在某阈值之上时渲染帧率和流帧率中的一个或二者可动态地增加。
通过增加渲染和/或流帧率,在服务器内产生并渲染每帧的时间长度减少,降低服务器对整体时延的贡献。所渲染的每帧的数毫秒的降低对传输循环中的别处的时间进行相等长度的补偿。例如,以30fps进行渲染(例如与客户端设备109处的显示帧率相对应)得到约每33毫秒产生1帧。将渲染速率增加到60fps同时维持相同的显示帧率将1帧的产生时间降低到约每16毫秒1帧。“额外的”16到17毫秒每帧可用来补偿网络架构、网络距离、或客户端设备109处的解码中的延时。
同样,当由于邻近数据中心和/或高性能的架构而使归结于网络的时延不是问题时,以高于显示速率的速率所接收和解码的、被编码的视频数据可被缓冲在客户端设备处。为避免允许缓冲区过满,可使渲染帧率节流(throttle),即减少,因为额外的产生以补偿网络时延不再是必要的。通过减少渲染帧率,负责处理和渲染帧的部件(例如图形处理单元)可处于较低功率状态,从而使耗电率较低。典型地,对于云游戏运营者,成本的大部分是运行数据中心的成本,而由运行数据中心所招致的最大单个因素是所要求的电力使用。因此,利用高性能网络连接以改善功耗率可使云游戏运营者节约大量成本。
云访问模型
图2是根据本发明的各实施例的、例示性云游戏服务器架构200的示图。如图2所示,云游戏服务器架构200可包括经由互联网299可通信地耦连到客户端设备209的云游戏服务器201。如图2所描绘的,云游戏服务器201包括图像渲染部件203(例如一个或多个图形处理单元),其可操作地接收并处理来自存储器(未示出)的被编程的指令,并根据指令渲染图形图像。云游戏服务器201还被描绘为包括服务器控制模块205,其耦连到渲染部件203,并配置为监视流过与客户端设备209的网络连接的数据的时延以及基于所监视的时延动态地调整由渲染部件203渲染图像的速率。
在实施例中,在游戏会话期间,通过互联网299在客户端设备209中的客户端控制模块211与服务器201中的流部件207之间建立网络连接。在渲染部件203中渲染的帧可在服务器控制模块205中被接收并被传递到流部件207。流部件207可将接收的图像数据编码和压缩成被编码的视频,流部件207随后将其作为多个包随着时间传送到客户端设备209中的客户端控制模块211。在引用与用户输入相对应的被编程的指令以及处理和渲染新的或下一序列的图像之前,在客户端设备209中接收的用户输入(例如控制器输入)随后被转发回服务器201并被记录。游戏会话的时延(包括归因于网络的时延和归因于产生被编码的视频流的时延)与客户端设备209中的用户输入的接收和客户端设备209中的响应于用户输入的新或下一序列的图像的显示之间的时间长度相对应。根据各实施例,可由服务器控制模块205监视时延,或由随后通知服务器控制模块205检测到的时延的服务器客户端控制模块211监视时延。
当时延高(诸如在预定阈值之上)时,服务器控制模块205可动态地调高渲染部件203的功率状态,并增加渲染部件203的渲染帧率以降低游戏服务器的时延贡献。同样,流部件205也可分开地增加流速率,或增加渲染部件203的渲染帧率。当时延低(例如在第二预定阈值之下)时,服务器控制模块205可调低渲染部件203的功率状态,高效地使渲染部件203的渲染帧率封顶以增加游戏服务器的时延贡献但降低由渲染部件203所消耗的额定功率。基于客户端和服务器之间的带宽和时延,可以在渲染部件203中以N fps的速率渲染游戏图像,并以X的速率从流部件207中流动。根据一些实施例,可实时实施时延的监视并可动态地调整帧率和编码/解码速率中的一个或二者。根据又进一步的实施例,可根据实时传输协议(RTP)实施在活动游戏会话期间所实施的、服务器201和客户端设备209之间的数据传输。在RTP下,不断测量时延和丢包(由于带宽下降)。该数据被通信到流部件207,并中继到服务器控制模块205,实施服务器控制模块205将随后相应地修改游戏的渲染帧率。在又进一步的实施例中,可逐游戏创建和存储包括用于渲染、流和/或显示帧率的值的标准轮廓/启发式。动态地调整云游戏服务器中的渲染帧率
图3是根据实施例的、用于动态地调整云游戏服务器中的渲染帧率的流程图300的示图。具体来讲,方法描述所实施的响应于检测到的时延情况动态地调整图形图像的产生速率的步骤。步骤301-309描述包括图3的流程图300中描绘的过程的步骤。在一个实施例中,流程图300由云数据中心中的服务器来实施。
在步骤301,将图形图像的序列处理并渲染为帧。例如可由云数据中心中的、诸如图形处理单元的专用图形处理器来渲染图形图像。在实施例中,可以以预定的渲染帧率、并根据本地存储器中的被编程的指令来渲染图形图像。在又进一步的实施例中,图形图像可以以用于图形处理器的可能的最高渲染帧率来渲染,和/或与图形处理器的当前功率状态相对应。一旦被渲染,则在步骤303,将帧的序列编码成压缩格式的视频,并作为视频流过网络连接。在实施例中,在305,视频以例如流帧率的第二预定帧率流动,并可通过与各实施例相对应的多种互联网协议进行流动。这些协议包括例如实时协议(RTP)、实时流协议(RTSP)、会话发起协议(SIP)、超文本传输协议(HTTP)等等。流可在采用这些协议中的一个或多个所发起的游戏会话期间实施,并在通过诸如互联网的网络可通信地耦连到服务器的客户端设备中接收。
在步骤307,持续监视游戏会话期间的数据传输时延。可对伴随事件(例如成功或不成功的传输)和/或响应于频率触发事件随着周期性间隔持续实施监视。当监视的时延确定在正常的限界内、即不超过一个或多个预定阈值时,针对游戏会话的持续期重复步骤301-307。当监视的时延确定超过预定阈值、即如果时延在表示可接受量的时延的上边界的第一阈值之上时,动态地调整预定渲染帧率,使得以更高帧率渲染图像的下一序列。如上文所讨论的,增加渲染和/或流帧率降低了在服务器中产生并渲染每帧所要求的时间长度,从而降低服务器对整体时延的贡献。另一方面,如果时延在指示存在过剩的处理速度的另一阈值之下,那么可针对下一序列的图像动态地调整渲染帧率,使得以较慢的速率产生帧,并增加服务器对整体时延的贡献。在这类情况下,可防止渲染帧率下降到为了对用户维持稳定的服务质量(Qos)所要求的最小帧率(例如显示最小30fps)之下。在进一步的实施例中,可将渲染帧率减少到仍提供一致的QoS的最低帧率。在进一步的实施例中,可调整(减少)实施渲染的图形处理器和/或服务器自身的功率状态以与被调整的渲染帧率相对应。
一旦被调整(增加或减少),则采用被调整的帧率渲染下一序列的帧,并重复步骤301到307。在进一步的实施例中,与用户控制相对应的用户输入可伴随渲染的帧的显示。根据这类实施例,可响应于用户输入并以被调整的渲染帧率渲染下一序列的帧。在仍进一步的实施例中,还可出于与调整渲染帧率相同的目的在步骤309调整实施在步骤305中的被编码的视频的流的速率。
采用动态调整的渲染帧率显示图形输出
图4是根据实施例的、用于采用动态调整的渲染帧率显示图形输出的流程图400的示图。具体来讲,方法描述实施在客户端设备中的、采用动态调整的渲染帧率显示图像的步骤。步骤401-409描述包括图4的流程图400中所描绘的过程的步骤。在一个实施例中,流程图400实施在具有物理显示屏和(无线)网络能力的客户端设备中,其可包括(但不限于):移动智能电话、膝上型或平板计算机、个人数字助理、手持视频游戏控制台。在仍进一步的实施例中,流程图400实施在具有可通信地耦连的显示设备的客户端设备中。在这些实施例中,客户端设备可包括(但不限于):个人计算机、机顶盒、多媒体播放器、以及具有可通信地耦连的监视器的视频游戏控制台、电视、投影屏幕、或能够显示图形输出的其他设备。
在步骤401,用户输入接收在客户端设备中。用户输入可接收在用户输入设备中,其包括(但不限于):控制器、鼠标、或键盘;或通过物理输入设备诸如例如按钮、模拟控制板、或触发器。用户输入可响应于由远程定位的云数据中心中的服务器所渲染的图形输出并通过例如网络连接传送。在实施例中,可跟踪客户端设备中的用户输入的接收,例如作为发起(或恢复)网络时延的监视的信号。在步骤403,将用户输入传送到连接到的游戏服务器。可通过网络连接并根据一个或多个数据传输协议完成传输。根据一些实施例,当在游戏服务器中接收用户输入时,可渲染响应于所接收的输入渲染图像的序列。图像的序列可随后编码为视频并通过网络连接流动,在步骤405由客户端设备将其接收。在步骤407,编码数据被后续地解码,并在步骤409最终显示在显示设备中。一旦所接收的数据被解码和显示,可测量从接收用户输入开始的时间长度,并将其作为确定的时延通信到游戏服务器。游戏服务器可基于通信的时延确定时延的什么部分归因于网络,并可相应地调整各内部的产生或通信速率,如本文先前所描述的。
例示性计算设备
如图5所示,其上可实现本发明的实施例的系统包括通用计算系统环境诸如计算系统500。在实施例中,诸如上文针对图1和2所描述的服务器103和201的游戏服务器可实现为计算系统500。在替代实施例中,诸如上文同样针对图1和2所描述的客户端设备109或209的客户端设备可补充或替代游戏服务器实现为计算系统500。在其最基本配置中,计算系统500典型地包括至少一个处理单元501和存储器、以及用于通信信息的地址/数据总线509(或其他接口)。取决于计算系统环境的准确配置和类型,存储器可以是易失性的(诸如RAM502)、非易失性的(诸如ROM 503、闪速存储器等)或两者的某种组合。
计算机系统500还可包括可选的图形子系统505用于例如通过在通过视频电缆511所连接的所附显示设备上显示信息来向计算机用户展示信息。根据本要求保护的发明的实施例中,显示设备可以物理地安装在计算系统500上并耦连到图形子系统505。可替代地,图形子系统505可通过视频电缆511直接耦连到、或经由无线装置间接耦连到显示设备510。实现为游戏服务器的计算系统500可根据存储在存储器(502、503)中并在处理单元501中处理的被编程的指令处理并渲染图形子系统505中的图形图像。由游戏服务器所产生的图形输出可接收在实现为第二计算机系统500的客户端设备中、在第二计算机系统500的处理单元501中解码并在显示设备510中对用户显示。
此外,计算系统500还可具有附加的特征/功能性。例如,计算系统500还可包括附加存储(可移动的和/或不可移动的),包括但不限于磁盘或光盘或磁带。这类附加存储由数据存储设备507在图5中示出。计算机存储介质包括以任何方法或技术实现的、易失性和非易失性、可移动和不可移动的介质,用于诸如计算机可读指令、数据结构、程序模块或其他数据的信息的存储。RAM 502、ROM 503和数据存储设备507均是计算机存储介质的示例。
计算机系统500还包括可选的文字数字(alphanumeric)输入设备506、可选的游标控制或导向设备507、以及一个或多个信号通信接口(输入/输出设备,例如网络接口卡)509。可选的文字数字输入设备506可将信息和命令选择通信到中央处理器501。可选的游标控制或导向设备507耦连到总线509用于将用户输入信息和命令选择通信到中央处理器501。信号通信接口(输入/输出设备)509也耦连到总线509,其可以是串行端口。通信接口509还可包括无线通信机构。使用通信接口509,计算机系统500可以通过诸如例如互联网或内联网(例如局域网)的通信网络可通信地耦连到其他计算机系统,或可接收数据(例如数字电视信号)。
如本文所述,已提供要求保护的主题的实施例,其通过使用动态的帧率调整监视并调制渲染的帧率以针对网络时延节省(或过剩)进行优化,来允许交付用于云游戏服务的、时延方面的一致的服务质量。根据各实施例,到客户端的编码/流帧率可以与管理渲染的帧率一起进行管理,或作为管理渲染的帧率的可替代项。要求保护的实施例不仅为用户维持稳定的服务质量(QoS),还可被用来利用良好性能的网络以降低运营成本。虽然已经以针对结构特征和/或方法论的行为的语言描述了主题,但应理解的是所附权利要求中所限定的主题不是必须限制在上文所描述的具体特征或行为。而是公开了上文所描述的具体特征和行为作为实现权利要求的示例形式。
Claims (20)
1.一种提供信号的方法,所述方法包括:
在计算系统的处理器中以第一帧率渲染多个图像帧;
将所述多个图像帧编码成视频信息;
将所述视频信息通过网络中的连接流到计算设备;
监视与所述网络连接相对应的网络时延;以及
基于所述监视的网络时延动态地调整所述第一帧率,
其中所述计算设备位于相对于所述计算系统为远程的位置并经由所述网络连接可通信地耦连到所述计算系统,
进一步地,其中所述视频信息配置为在所述计算设备中解码并以第二帧率显示在与所述计算设备相关联的显示装置中。
2.根据权利要求1所述的方法,其中所述监视与所述网络连接相对应的所述网络时延包括,将所述网络时延与第一预定时延相比较。
3.根据权利要求2所述的方法,其中所述动态地调整所述第一帧率包括,如果所述网络时延超过所述第一预定时延则动态地增加所述第一帧率。
4.根据权利要求3所述的方法,其中所述动态地调整所述第一帧率包括,动态地增加所述第一帧率以补偿所监视的超过所述第一预定时延的网络时延。
5.根据权利要求2所述的方法,其中所述监视与所述网络连接相对应的所述网络时延包括,将所述网络时延与第二预定时延相比较。
6.根据权利要求5所述的方法,进一步包括如果所述网络时延小于所述第二预定时延则动态地减少所述第一帧率。
7.根据权利要求6所述的方法,其中所述动态地减少所述第一帧率与所述处理器的较低功耗率相对应。
8.根据权利要求1所述的方法,其中当动态地调整所述第一帧率时将所述第二帧率保持稳定。
9.根据权利要求1所述的方法,其中所述第二帧率与服务质量(QoS)情况相对应。
10.根据权利要求1所述的方法,进一步包括:
在所述计算系统中经由所述网络连接从所述计算设备接收用户输入;
响应于所述所接收的用户输入,在所述处理器中渲染包括视觉反馈的第二多个图像帧;
将所述第二多个图像帧编码成第二视频信息;
通过所述网络连接将所述第二视频信息流到所述计算设备,
其中所述第二视频信息配置为在所述计算设备中解码并显示在与所述计算设备相关联的所述显示装置中。
11.根据权利要求10所述的方法,其中所述监视所述网络时延包括,跟踪所述计算设备中的所述用户输入的接收和与所述计算设备相关联的所述显示装置中的所述第二视频信息的显示之间的时间长度,所述网络时延与所述跟踪的时间长度相对应。
12.一种系统,包括:
多个计算系统,其中所述多个计算系统的计算系统包括:
存储器,其可操作以存储多个被编程的指令;
多个处理器,其可操作以根据所述多个被编程的指令渲染多个图形图像并将所述多个图形图像编码成被编码的视频;
流模块,其配置为将与所述被编码的视频相对应的视频流通过远程计算设备与所述计算系统之间的网络连接传送到所述远程计算设备;以及
网络监视器,其配置为监视所述网络连接的情况,
其中所述多个图形图像由所述多个处理器以渲染帧率来渲染;
进一步地,其中所述渲染帧率响应于网络时延动态地调整。
13.根据权利要求12所述的系统,其中所述远程计算设备进一步可操作以解码接收自所述流模块的所述视频流。
14.根据权利要求13所述的系统,其中所述远程计算设备包括显示设备,所述显示设备可操作以向所述远程计算设备的用户显示所述被解码的视频流。
15.根据权利要求12所述的系统,其中所述渲染帧率响应于下降到第一预定义阈值之下的所述网络时延动态地降低。
16.根据权利要求12所述的系统,其中所述渲染帧率响应于超过第二预定义阈值的所述网络时延动态地增加。
17.根据权利要求12所述的系统,其中在所述远程计算设备中接收的用户输入被传送到所述计算系统。
18.根据权利要求17所述的系统,其中第二多个图形图像响应于所述用户输入在所述多个处理器中的处理器中渲染,所述第二多个图形图像被编码成第二视频并流到所述远程计算设备。
19.根据权利要求18所述的系统,其中所述网络时延与所述用户输入的在所述远程计算设备中的接收和所述远程计算设备的显示设备中的所述第二视频的显示之间的持续时间相对应。
20.根据权利要求12所述的系统,其中所述多个计算系统被包括在云数据中心中。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US13/728,927 | 2012-12-27 | ||
US13/728,927 US10616086B2 (en) | 2012-12-27 | 2012-12-27 | Network adaptive latency reduction through frame rate control |
CN201310741906.4A CN103905836A (zh) | 2012-12-27 | 2013-12-27 | 通过帧率控制实现网络自适应时延降低 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310741906.4A Division CN103905836A (zh) | 2012-12-27 | 2013-12-27 | 通过帧率控制实现网络自适应时延降低 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110460496A true CN110460496A (zh) | 2019-11-15 |
Family
ID=50928594
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310741906.4A Pending CN103905836A (zh) | 2012-12-27 | 2013-12-27 | 通过帧率控制实现网络自适应时延降低 |
CN201910744935.3A Pending CN110460496A (zh) | 2012-12-27 | 2013-12-27 | 通过帧率控制实现网络自适应时延降低 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310741906.4A Pending CN103905836A (zh) | 2012-12-27 | 2013-12-27 | 通过帧率控制实现网络自适应时延降低 |
Country Status (4)
Country | Link |
---|---|
US (4) | US10616086B2 (zh) |
CN (2) | CN103905836A (zh) |
DE (1) | DE102013114633B4 (zh) |
TW (1) | TW201440507A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111617466A (zh) * | 2020-05-12 | 2020-09-04 | 咪咕文化科技有限公司 | 编码格式的确定方法、装置及云游戏的实现方法 |
CN111836104A (zh) * | 2020-07-09 | 2020-10-27 | 海信视像科技股份有限公司 | 显示设备及显示方法 |
CN111901635A (zh) * | 2020-06-17 | 2020-11-06 | 北京视博云信息技术有限公司 | 一种视频处理方法、装置、存储介质及设备 |
Families Citing this family (47)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9930082B2 (en) | 2012-11-20 | 2018-03-27 | Nvidia Corporation | Method and system for network driven automatic adaptive rendering impedance |
US9201487B2 (en) * | 2013-03-05 | 2015-12-01 | Intel Corporation | Reducing power consumption during graphics rendering |
US9819604B2 (en) | 2013-07-31 | 2017-11-14 | Nvidia Corporation | Real time network adaptive low latency transport stream muxing of audio/video streams for miracast |
US9474967B2 (en) * | 2013-08-02 | 2016-10-25 | Activision Publishing, Inc. | Internet distance-based matchmaking |
JP5411386B1 (ja) * | 2013-08-12 | 2014-02-12 | 株式会社 ディー・エヌ・エー | ゲームを提供するサーバ及び方法 |
US10158868B2 (en) * | 2013-10-15 | 2018-12-18 | Nvidia Corporation | Systems and methods to limit lag between a client and a server for remote computing |
JP5545687B1 (ja) * | 2013-11-07 | 2014-07-09 | 株式会社 ディー・エヌ・エー | ゲームを提供するサーバ及び方法 |
US20150148965A1 (en) * | 2013-11-22 | 2015-05-28 | Honeywell International Inc. | Method to control a communication rate between a thermostat and a cloud based server |
JP5878938B2 (ja) * | 2014-01-29 | 2016-03-08 | 株式会社ソニー・コンピュータエンタテインメント | 配信システム、配信方法、配信プログラム |
US9503775B2 (en) * | 2014-03-18 | 2016-11-22 | Vixs Systems, Inc. | Content access device with polling processor and methods for use therewith |
US10813043B2 (en) | 2014-05-16 | 2020-10-20 | Huawei Technologies Co., Ltd. | System and method for communicating wireless transmissions spanning both licensed and un-licensed spectrum |
US10873941B2 (en) | 2014-05-16 | 2020-12-22 | Huawei Technologies Co., Ltd. | System and method for joint transmission over licensed and unlicensed bands using fountain codes |
US10536386B2 (en) | 2014-05-16 | 2020-01-14 | Huawei Technologies Co., Ltd. | System and method for dynamic resource allocation over licensed and unlicensed spectrums |
US10548071B2 (en) * | 2014-05-16 | 2020-01-28 | Huawei Technologies Co., Ltd. | System and method for communicating traffic over licensed or un-licensed spectrums based on quality of service (QoS) constraints of the traffic |
CN104159079B (zh) * | 2014-08-13 | 2018-01-30 | 上海航天电子通讯设备研究所 | 一种图像实时解码显示方法 |
CN105611316B (zh) * | 2014-11-21 | 2019-05-03 | 华为终端(东莞)有限公司 | 一种调整帧率的方法、装置及系统 |
CN104598292B (zh) * | 2014-12-15 | 2017-10-03 | 中山大学 | 一种应用于云游戏系统的自适应流适配和资源优化方法 |
JP6525576B2 (ja) * | 2014-12-17 | 2019-06-05 | キヤノン株式会社 | 制御装置、制御システム、制御方法、医用画像撮影装置、医用画像撮影システム、撮影制御方法およびプログラム |
CN105791735B (zh) * | 2014-12-24 | 2018-11-27 | 中国电信股份有限公司 | 用于视频通话码流动态调整的方法和系统 |
US9984653B1 (en) * | 2015-02-11 | 2018-05-29 | Synaptics Incorporated | Method and device for reducing video latency |
US10135890B2 (en) * | 2015-03-06 | 2018-11-20 | Sony Interactive Entertainment LLC | Latency-dependent cloud input channel management |
US10207185B2 (en) * | 2015-03-07 | 2019-02-19 | Sony Interactive Entertainment America Llc | Using connection quality history to optimize user experience |
US9800641B2 (en) * | 2015-05-04 | 2017-10-24 | Google Inc. | Pre-fetched encoding for application streaming |
US10530824B2 (en) * | 2015-09-25 | 2020-01-07 | Microsoft Technology Licensing, Llc | Real-time end-to-end latency monitoring |
US9904974B2 (en) | 2015-11-11 | 2018-02-27 | Amazon Technologies, Inc. | Placement optimization for virtualized graphics processing |
EP3286624B1 (en) | 2016-02-12 | 2022-01-12 | Hewlett Packard Enterprise Development LP | Keyboard data |
CN105871916B (zh) * | 2016-06-08 | 2019-04-12 | 浙江宇视科技有限公司 | 视频流送显处理方法、装置及系统 |
JP6288882B1 (ja) * | 2016-12-12 | 2018-03-07 | 株式会社コナミデジタルエンタテインメント | ゲーム制御装置、ゲームシステム、及びプログラム |
US10313679B2 (en) | 2017-04-21 | 2019-06-04 | ZeniMaz Media Inc. | Systems and methods for encoder-guided adaptive-quality rendering |
EP3503569A1 (en) * | 2017-12-19 | 2019-06-26 | Thomson Licensing | Method of transmitting video frames from a video stream to a display and corresponding apparatus |
US10924525B2 (en) * | 2018-10-01 | 2021-02-16 | Microsoft Technology Licensing, Llc | Inducing higher input latency in multiplayer programs |
CN109302637B (zh) * | 2018-11-05 | 2023-02-17 | 腾讯科技(成都)有限公司 | 图像处理方法、图像处理装置和电子设备 |
CN111694625B (zh) * | 2019-03-14 | 2023-05-19 | 阿里巴巴集团控股有限公司 | 一种车盒向车机投屏的方法和设备 |
WO2020253871A1 (zh) * | 2019-06-21 | 2020-12-24 | 广州虎牙科技有限公司 | 一种线上的视频数据输出方法、系统及云平台 |
US11731043B2 (en) * | 2019-11-19 | 2023-08-22 | Sony Interactive Entertainment Inc. | Adaptive graphics for cloud gaming |
US10904606B1 (en) * | 2020-01-23 | 2021-01-26 | Roku, Inc. | Using non-audio data embedded in an audio signal |
CN113556261B (zh) * | 2020-04-26 | 2024-02-13 | 阿里巴巴集团控股有限公司 | 数据通信方法、装置、电子设备及计算机可读存储介质 |
EP3903896B1 (en) * | 2020-04-30 | 2023-12-27 | INTEL Corporation | Cloud gaming adaptive synchronization mechanism |
US11446571B2 (en) | 2020-04-30 | 2022-09-20 | Intel Corporation | Cloud gaming adaptive synchronization mechanism |
CN111882626B (zh) * | 2020-08-06 | 2023-07-14 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、服务器及介质 |
CN113521729B (zh) * | 2021-07-02 | 2023-10-20 | 咪咕互动娱乐有限公司 | 云游戏延迟检测方法、服务器、客户端、系统及介质 |
CN114338550B (zh) * | 2022-03-14 | 2022-06-21 | 杭州子默网络科技有限公司 | 一种减低带宽的云电脑实时编码方法及系统 |
CN114827104B (zh) * | 2022-05-17 | 2024-02-23 | 咪咕文化科技有限公司 | 时延调整方法、装置、设备及计算机可读存储介质 |
US11776507B1 (en) | 2022-07-20 | 2023-10-03 | Ivan Svirid | Systems and methods for reducing display latency |
CN115278288B (zh) * | 2022-09-23 | 2022-12-20 | 腾讯科技(深圳)有限公司 | 一种显示处理方法、装置、计算机设备及可读存储介质 |
CN116440501B (zh) * | 2023-06-16 | 2023-08-29 | 瀚博半导体(上海)有限公司 | 自适应云游戏视频画面渲染方法和系统 |
CN116828215B (zh) * | 2023-08-30 | 2023-11-14 | 湖南马栏山视频先进技术研究院有限公司 | 一种降低本地算力负荷的视频渲染方法及系统 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1625848A (zh) * | 2001-03-15 | 2005-06-08 | 高通股份有限公司 | 无线通信系统中用于调节功率控制设定点的方法和装置 |
CN101467183A (zh) * | 2006-04-13 | 2009-06-24 | Igt公司 | 游戏机上的远程内容管理及资源共享及其实施方法 |
US20090252227A1 (en) * | 2008-04-07 | 2009-10-08 | Qualcomm Incorporated | Video refresh adaptation algorithms responsive to error feedback |
US20110263332A1 (en) * | 2006-04-13 | 2011-10-27 | Yosef Mizrachi | Method and apparatus for providing gaming services and for handling video content |
WO2012078640A2 (en) * | 2010-12-06 | 2012-06-14 | The Regents Of The University Of California | Rendering and encoding adaptation to address computation and network bandwidth constraints |
CN102571900A (zh) * | 2010-12-08 | 2012-07-11 | 中国电信股份有限公司 | 一种实现远端实时操控的系统和方法 |
Family Cites Families (72)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5995518A (en) * | 1997-05-01 | 1999-11-30 | Hughes Electronics Corporation | System and method for communication of information using channels of different latency |
US6259733B1 (en) * | 1998-06-16 | 2001-07-10 | General Instrument Corporation | Pre-processing of bit rate allocation in a multi-channel video encoder |
KR100533437B1 (ko) * | 1998-08-26 | 2005-12-06 | 소니 가부시끼 가이샤 | 비디오 데이터 처리 장치, 비디오 데이터 부호화 장치 및 그 방법 |
US6182125B1 (en) * | 1998-10-13 | 2001-01-30 | 3Com Corporation | Methods for determining sendable information content based on a determined network latency |
US6665751B1 (en) * | 1999-04-17 | 2003-12-16 | International Business Machines Corporation | Streaming media player varying a play speed from an original to a maximum allowable slowdown proportionally in accordance with a buffer state |
US6801947B1 (en) * | 2000-08-01 | 2004-10-05 | Nortel Networks Ltd | Method and apparatus for broadcasting media objects with guaranteed quality of service |
US7266704B2 (en) * | 2000-12-18 | 2007-09-04 | Digimarc Corporation | User-friendly rights management systems and methods |
US7116636B2 (en) * | 2001-05-15 | 2006-10-03 | Northrop Grumman Corporation | Data rate adjuster using transport latency |
EP1301041A1 (en) * | 2001-10-05 | 2003-04-09 | Matsushita Electric Industrial Co., Ltd. | Video data transmission method and apparatus |
US7245608B2 (en) * | 2002-09-24 | 2007-07-17 | Accton Technology Corporation | Codec aware adaptive playout method and playout device |
GB2393617A (en) * | 2002-09-24 | 2004-03-31 | Mitel Knowledge Corp | Adaptive predictive playout scheme for packet voice applications |
US8366552B2 (en) | 2002-12-10 | 2013-02-05 | Ol2, Inc. | System and method for multi-stream video compression |
US7225267B2 (en) * | 2003-01-27 | 2007-05-29 | Microsoft Corporation | Reactive bandwidth control for streaming data |
US7352952B2 (en) * | 2003-10-16 | 2008-04-01 | Magix Ag | System and method for improved video editing |
US20050132264A1 (en) * | 2003-12-15 | 2005-06-16 | Joshi Ajit P. | System and method for intelligent transcoding |
US7701884B2 (en) * | 2004-04-19 | 2010-04-20 | Insors Integrated Communications | Network communications bandwidth control |
US20060077902A1 (en) * | 2004-10-08 | 2006-04-13 | Kannan Naresh K | Methods and apparatus for non-intrusive measurement of delay variation of data traffic on communication networks |
US7536469B2 (en) * | 2004-12-10 | 2009-05-19 | Microsoft Corporation | System and process for controlling the coding bit rate of streaming media data employing a limited number of supported coding bit rates |
EP1844612B1 (en) * | 2005-02-04 | 2017-05-10 | Barco NV | Method and device for image and video transmission over low-bandwidth and high-latency transmission channels |
US20060184697A1 (en) | 2005-02-11 | 2006-08-17 | Microsoft Corporation | Detecting clock drift in networked devices through monitoring client buffer fullness |
US20090222873A1 (en) * | 2005-03-07 | 2009-09-03 | Einarsson Torbjoern | Multimedia Channel Switching |
US7516255B1 (en) * | 2005-03-30 | 2009-04-07 | Teradici Corporation | Method and apparatus for providing a low-latency connection between a data processor and a remote graphical user interface over a network |
US20060230171A1 (en) * | 2005-04-12 | 2006-10-12 | Dacosta Behram M | Methods and apparatus for decreasing latency in A/V streaming systems |
US20070024705A1 (en) * | 2005-08-01 | 2007-02-01 | Richter Roger K | Systems and methods for video stream selection |
US20070067480A1 (en) * | 2005-09-19 | 2007-03-22 | Sharp Laboratories Of America, Inc. | Adaptive media playout by server media processing for robust streaming |
US7620716B2 (en) * | 2006-01-31 | 2009-11-17 | Dell Products L.P. | System and method to predict the performance of streaming media over wireless links |
US20070201388A1 (en) * | 2006-01-31 | 2007-08-30 | Qualcomm Incorporated | Methods and systems for resizing multimedia content based on quality and rate information |
CN101438579B (zh) * | 2006-03-31 | 2012-05-30 | 皇家飞利浦电子股份有限公司 | 基于附加内容帧的视频内容的自适应再现 |
US20080043643A1 (en) * | 2006-07-25 | 2008-02-21 | Thielman Jeffrey L | Video encoder adjustment based on latency |
US8606966B2 (en) * | 2006-08-28 | 2013-12-10 | Allot Communications Ltd. | Network adaptation of digital content |
US20080055311A1 (en) * | 2006-08-31 | 2008-03-06 | Ati Technologies Inc. | Portable device with run-time based rendering quality control and method thereof |
US9154395B2 (en) * | 2006-10-05 | 2015-10-06 | Cisco Technology, Inc. | Method and system for optimizing a jitter buffer |
US8711929B2 (en) * | 2006-11-01 | 2014-04-29 | Skyfire Labs, Inc. | Network-based dynamic encoding |
US20080165280A1 (en) * | 2007-01-05 | 2008-07-10 | Deever Aaron T | Digital video stabilization with manual control |
US8305914B2 (en) | 2007-04-30 | 2012-11-06 | Hewlett-Packard Development Company, L.P. | Method for signal adjustment through latency control |
US9498714B2 (en) | 2007-12-15 | 2016-11-22 | Sony Interactive Entertainment America Llc | Program mode switching |
EP2073552A1 (en) | 2007-12-21 | 2009-06-24 | Telefonaktiebolaget L M Ericsson (Publ) | Method and arrangement for controlling a media consumption rate of a receiver |
JP5039921B2 (ja) * | 2008-01-30 | 2012-10-03 | インターナショナル・ビジネス・マシーンズ・コーポレーション | 圧縮システム、プログラムおよび方法 |
US8015310B2 (en) * | 2008-08-08 | 2011-09-06 | Cisco Technology, Inc. | Systems and methods of adaptive playout of delayed media streams |
US8386560B2 (en) * | 2008-09-08 | 2013-02-26 | Microsoft Corporation | Pipeline for network based server-side 3D image rendering |
US8446452B2 (en) * | 2008-11-07 | 2013-05-21 | Magor Communications Corporation | Video rate adaptation for congestion control |
WO2010111261A1 (en) * | 2009-03-23 | 2010-09-30 | Azuki Systems, Inc. | Method and system for efficient streaming video dynamic rate adaptation |
US9426502B2 (en) * | 2011-11-11 | 2016-08-23 | Sony Interactive Entertainment America Llc | Real-time cloud-based video watermarking systems and methods |
US9585062B2 (en) * | 2010-07-15 | 2017-02-28 | Dejero Labs Inc. | System and method for implementation of dynamic encoding rates for mobile devices |
US20110058554A1 (en) * | 2009-09-08 | 2011-03-10 | Praval Jain | Method and system for improving the quality of real-time data streaming |
WO2011068784A1 (en) * | 2009-12-01 | 2011-06-09 | Azuki Systems, Inc. | Method and system for secure and reliable video streaming with rate adaptation |
AU2010345675B2 (en) * | 2010-02-12 | 2014-09-04 | Thomson Licensing | Method for synchronized content playback |
CN102882845B (zh) | 2010-04-07 | 2016-07-13 | 苹果公司 | 实时或准实时流传输 |
US8606071B2 (en) * | 2010-04-15 | 2013-12-10 | Leonid Remennik | Method and apparatus for presenting interactive multimedia using storage device interface |
WO2011139305A1 (en) * | 2010-05-04 | 2011-11-10 | Azuki Systems, Inc. | Method and apparatus for carrier controlled dynamic rate adaptation and client playout rate reduction |
US9781477B2 (en) * | 2010-05-05 | 2017-10-03 | Cavium, Inc. | System and method for low-latency multimedia streaming |
US8918533B2 (en) | 2010-07-13 | 2014-12-23 | Qualcomm Incorporated | Video switching for streaming video data |
US8675577B2 (en) | 2010-12-20 | 2014-03-18 | Intel Corporation | Signaling techniques for a multimedia-aware radio and network adaptation |
US8489760B2 (en) * | 2011-03-31 | 2013-07-16 | Juniper Networks, Inc. | Media file storage format and adaptive delivery system |
US8619612B2 (en) | 2011-05-02 | 2013-12-31 | Intel Corporation | Measurement and feedback calculation for wireless communication network |
US8750293B2 (en) * | 2011-05-06 | 2014-06-10 | Google Inc. | Apparatus and method for rendering video with retransmission delay |
US9619916B2 (en) * | 2011-05-20 | 2017-04-11 | Dream Chip Technologies Gmbh | Method for transmitting digital scene description data and transmitter and receiver scene processing device |
US20150026309A1 (en) * | 2011-09-29 | 2015-01-22 | Avvasi Inc. | Systems and methods for adaptive streaming control |
US10320951B2 (en) * | 2011-10-31 | 2019-06-11 | Hurricane Electric | Systems and methods for establishing a virtual local area network |
US9014321B2 (en) | 2011-10-31 | 2015-04-21 | Texas Instruments Incorporated | Clock drift compensation interpolator adjusting buffer read and write clocks |
US9288248B2 (en) * | 2011-11-08 | 2016-03-15 | Adobe Systems Incorporated | Media system with local or remote rendering |
US9503497B2 (en) * | 2011-12-10 | 2016-11-22 | LogMeln, Inc. | Optimizing transfer to a remote access client of a high definition (HD) host screen image |
JP5899897B2 (ja) * | 2011-12-20 | 2016-04-06 | 富士通株式会社 | 情報処理装置、情報処理方法及びプログラム |
US10924582B2 (en) * | 2012-03-09 | 2021-02-16 | Interdigital Madison Patent Holdings | Distributed control of synchronized content |
JP5920006B2 (ja) * | 2012-05-14 | 2016-05-18 | 富士通株式会社 | 画面更新制御プログラム、画面更新制御方法、および情報処理装置 |
US10063606B2 (en) * | 2012-06-12 | 2018-08-28 | Taiwan Semiconductor Manufacturing Co., Ltd. | Systems and methods for using client-side video buffer occupancy for enhanced quality of experience in a communication network |
WO2013190146A2 (en) * | 2012-06-22 | 2013-12-27 | Universitaet Des Saarlandes | Method and system for displaying pixels on display devices |
US9060183B2 (en) * | 2012-10-25 | 2015-06-16 | Cambridge Silicon Radio Limited | Reduced latency media distribution system |
US8782122B1 (en) * | 2014-01-17 | 2014-07-15 | Maximilian A. Chang | Automated collaboration for peer-to-peer electronic devices |
US10250658B2 (en) * | 2017-03-17 | 2019-04-02 | The Directv Group, Inc. | Hybrid media stream delivery using multiple network connections |
US11077364B2 (en) * | 2018-04-02 | 2021-08-03 | Google Llc | Resolution-based scaling of real-time interactive graphics |
EP4345731A1 (en) * | 2018-04-10 | 2024-04-03 | Google LLC | Memory management in gaming rendering |
-
2012
- 2012-12-27 US US13/728,927 patent/US10616086B2/en active Active
-
2013
- 2013-12-20 DE DE102013114633.3A patent/DE102013114633B4/de active Active
- 2013-12-20 TW TW102147432A patent/TW201440507A/zh unknown
- 2013-12-27 CN CN201310741906.4A patent/CN103905836A/zh active Pending
- 2013-12-27 CN CN201910744935.3A patent/CN110460496A/zh active Pending
-
2020
- 2020-02-21 US US16/797,948 patent/US10999174B2/en active Active
- 2020-02-21 US US16/797,942 patent/US11012338B2/en active Active
-
2021
- 2021-04-05 US US17/222,631 patent/US11683253B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1625848A (zh) * | 2001-03-15 | 2005-06-08 | 高通股份有限公司 | 无线通信系统中用于调节功率控制设定点的方法和装置 |
CN101467183A (zh) * | 2006-04-13 | 2009-06-24 | Igt公司 | 游戏机上的远程内容管理及资源共享及其实施方法 |
US20110263332A1 (en) * | 2006-04-13 | 2011-10-27 | Yosef Mizrachi | Method and apparatus for providing gaming services and for handling video content |
US20090252227A1 (en) * | 2008-04-07 | 2009-10-08 | Qualcomm Incorporated | Video refresh adaptation algorithms responsive to error feedback |
WO2012078640A2 (en) * | 2010-12-06 | 2012-06-14 | The Regents Of The University Of California | Rendering and encoding adaptation to address computation and network bandwidth constraints |
CN102571900A (zh) * | 2010-12-08 | 2012-07-11 | 中国电信股份有限公司 | 一种实现远端实时操控的系统和方法 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111617466A (zh) * | 2020-05-12 | 2020-09-04 | 咪咕文化科技有限公司 | 编码格式的确定方法、装置及云游戏的实现方法 |
CN111901635A (zh) * | 2020-06-17 | 2020-11-06 | 北京视博云信息技术有限公司 | 一种视频处理方法、装置、存储介质及设备 |
CN111836104A (zh) * | 2020-07-09 | 2020-10-27 | 海信视像科技股份有限公司 | 显示设备及显示方法 |
CN111836104B (zh) * | 2020-07-09 | 2022-01-28 | 海信视像科技股份有限公司 | 显示设备及显示方法 |
Also Published As
Publication number | Publication date |
---|---|
US10999174B2 (en) | 2021-05-04 |
US10616086B2 (en) | 2020-04-07 |
DE102013114633B4 (de) | 2019-12-05 |
US20210226877A1 (en) | 2021-07-22 |
US11012338B2 (en) | 2021-05-18 |
US20200244559A1 (en) | 2020-07-30 |
CN103905836A (zh) | 2014-07-02 |
US20200195541A1 (en) | 2020-06-18 |
TW201440507A (zh) | 2014-10-16 |
US20140189091A1 (en) | 2014-07-03 |
US11683253B2 (en) | 2023-06-20 |
DE102013114633A1 (de) | 2014-07-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110460496A (zh) | 通过帧率控制实现网络自适应时延降低 | |
Carrascosa et al. | Cloud-gaming: Analysis of google stadia traffic | |
CN112104879B (zh) | 一种视频编码方法、装置、电子设备及存储介质 | |
Jurgelionis et al. | Platform for distributed 3D gaming | |
Huang et al. | GamingAnywhere: The first open source cloud gaming system | |
CN112870711B (zh) | 一种云游戏的处理方法、装置、设备及存储介质 | |
US9873045B2 (en) | Systems and methods for a unified game experience | |
Nguyen et al. | A new adaptation approach for viewport-adaptive 360-degree video streaming | |
EP2905963A1 (en) | Encoding control device and encoding control method | |
Xu et al. | A cost-efficient cloud gaming system at scale | |
US10158868B2 (en) | Systems and methods to limit lag between a client and a server for remote computing | |
Tizon et al. | MPEG-4-based adaptive remote rendering for video games | |
Hosseini et al. | Energy-budget-compliant adaptive 3D texture streaming in mobile games | |
Jiang et al. | HD3: Distributed dueling DQN with discrete-continuous hybrid action spaces for live video streaming | |
Vankeirsbilck et al. | Quality of experience driven control of interactive media stream parameters | |
Jurgelionis et al. | Testing cross-platform streaming of video games over wired and wireless LANs | |
WO2019058111A1 (en) | CONTINUOUS DIFFUSION OF GRAPHIC ELEMENTS | |
CN104038778B (zh) | 多媒体重定向播放的控制方法及装置 | |
CN112040235B (zh) | 视频资源的编码方法和装置,视频资源的解码方法和装置 | |
WO2023095307A1 (ja) | 配信装置、配信方法、及びプログラム | |
Pelayo | Bandwidth prediction for adaptive video streaming | |
Stensland et al. | Using a commodity hardware video encoder for interactive applications | |
Wang et al. | Adaptive bitrate streaming in cloud gaming | |
Ishioka et al. | Improving Quality of Experience in Cloud Gaming Using Speculative Execution | |
Benavente-Peces et al. | Architecture analysis and specification of the RacingDrones platform: Online Video Racing Drones |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |