CN113326088B - 同步具有远程设备输入的流应用环境的方法、系统和装置 - Google Patents

同步具有远程设备输入的流应用环境的方法、系统和装置 Download PDF

Info

Publication number
CN113326088B
CN113326088B CN202110656635.7A CN202110656635A CN113326088B CN 113326088 B CN113326088 B CN 113326088B CN 202110656635 A CN202110656635 A CN 202110656635A CN 113326088 B CN113326088 B CN 113326088B
Authority
CN
China
Prior art keywords
event
frame
input
virtual
streaming application
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110656635.7A
Other languages
English (en)
Other versions
CN113326088A (zh
Inventor
张倬领
吴平浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Priority to CN202110656635.7A priority Critical patent/CN113326088B/zh
Publication of CN113326088A publication Critical patent/CN113326088A/zh
Application granted granted Critical
Publication of CN113326088B publication Critical patent/CN113326088B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G06F9/452—Remote windowing, e.g. X-Window System, desktop virtualisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0852—Delays
    • H04L43/087—Jitter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6125—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6156—Network physical structure; Signal processing specially adapted to the upstream path of the transmission network
    • H04N21/6175—Network physical structure; Signal processing specially adapted to the upstream path of the transmission network involving transmission via Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637—Control signals issued by the client directed to the server or network components
    • H04N21/6377—Control signals issued by the client directed to the server or network components directed to server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8166—Monomedia components thereof involving executable data, e.g. software
    • H04N21/8173—End-user applications, e.g. Web browser, game
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Environmental & Geological Engineering (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本公开涉及同步具有远程设备输入的流应用环境的方法、系统和装置。在流应用环境中，可以部分地通过使用在远程设备和流应用环境之间传递的帧刷新事件使在远程设备中生成的输入与由流应用环境中的虚拟流应用生成的渲染内容同步，以使流应用环境能够有效地跟踪远程设备的帧刷新率，使得从远程设备接收到的输入事件可以以适当的帧间隔注入到虚拟流应用中。

Description

同步具有远程设备输入的流应用环境的方法、系统和装置
分案说明
本申请属于申请日为2017年9月21日的中国发明专利申请No.201780071409.4的分案申请。
技术领域
本公开涉及同步具有远程设备输入的流应用环境的方法、系统和装置。
背景技术
一些应用服务提供将软件应用(更简单地“应用”或“app”)交互“流传输”到远程设备(例如，诸如智能电话、平板电脑、车辆计算系统、可穿戴设备(例如，智能手表)等等的移动设备)的能力。这样的应用的流传输可以允许用户操作应用而无需在远程设备上本地实际下载和安装应用，这在具有有限处理和/或存储器资源的远程设备中可能是有用的，或者为了试用应用的目的。在一些实例中，可以通过在由一个或多个服务器(例如，共同形成的所谓的“云”)操作的虚拟机上安装应用来完成应用流传输，由此一个或多个输入/输出(“I/O”)流可以在虚拟机和远程设备之间建立以向虚拟机提供在远程设备处接收到的输入数据的各种模态，并且同样地向远程设备提供由来自于虚拟机的应用生成的输出数据的各种模态。
在一些实例中，应用服务在能够支持一个或多个虚拟流应用以供一个或多个远程设备使用的流应用环境中实现。此外，在一些实例中，虚拟流应用生成的内容可以以被捕获、编码并流传输到远程设备以进行视频回放的渲染帧缓冲器的形式输出。然后，在远程设备上，诸如手势或触摸事件和其他输入的用户控制信息可以被捕获、编码并被上传到流应用环境并注入虚拟流应用以相应地渲染其内容。
然而，即使超出在远程设备上的本地应用所渲染的同步挑战，将用户控制信息和其他输入的注入与远程设备上的应用内容的渲染同步也能够是有问题的。例如，在诸如移动设备的计算设备包括能够被用户的手指操纵的触摸屏的情况下，确保通过渲染的内容跟踪诸如手指滑动或滚动手势的用户输入即使对于本地已安装的应用也能够是挑战性的。
作为示例，使用多个事件来处理针对触摸屏的许多手势。在许多实例中，诸如手指滑动的手势通常由当用户第一次将手指放在触摸屏上时发出信号的“触摸开始(touchdown)”事件、当用户抬起手指离开触摸屏时发出信号的“触摸结束(touch up)”事件、以及在触摸触摸屏时跟踪手指移动的多个“触摸移动”事件来表示。在许多计算设备中，可以以与触摸屏计算设备的帧刷新速率匹配的速率(即在触摸屏上更新以帧形式渲染的内容的速率)在该设备上生成事件。此外，在许多计算设备中，帧可以以大约60Hz或更高的频率进行更新，并且因此，简单的手指滑动可以导致产生数十或数百个单独但相关的事件。此外，已经发现，当某些类型的用户输入事件未与在此期间生成输入事件的所渲染的内容帧适当地同步时，可能导致不良的用户体验。但是作为一个示例，通过在触摸屏上拖动用户的手指来缓慢滚动内容能够导致当与移动相关联的事件被映射到错误帧时的不稳定。
然而，在计算设备通过诸如因特网的分组交换网络在流应用环境中与虚拟流应用交互的情况下，前述同步挑战要大得多。由于因特网和其他分组交换网络的实际限制，包含用户输入和/或渲染内容的分组可能被完全延迟或丢失，并且可能无序地到达。此外，在许多移动和/或车辆应用中可能出现网络连接受损的情况下，分组丢失或延迟的风险更大。虽然诸如传输控制协议(TCP)的协议允许在丢失分组的情况下进行分组重传，但是等待接收所有分组以便于确保接收和处理所有输入数据和渲染内容可能会引入不可接受的延迟并减损用户体验。
发明内容
本文公开的一些实施方式可以包括在包括一个或多个处理器的流应用环境中执行的方法，其可以包括将虚拟流应用与通过分组交换网络耦合到流应用环境的远程设备对接，包括从分组交换网络接收在远程设备处生成的输入并且将响应于接收到的输入由虚拟流应用生成的输出显示表示通过分组交换网络流传输到远程设备，从远程设备接收帧刷新事件，每个帧刷新事件与远程设备上的帧相关联，从远程设备接收输入事件，每个输入事件与在远程设备上的帧期间生成的输入相关联，生成用于与和接收到的帧刷新事件相关联的帧相对应的虚拟流应用的虚拟帧，以及控制将接收到的输入事件注入到虚拟流应用中以将接收到的输入事件排列在与和接收到的输入事件相关联的帧相对应的虚拟帧内。
在一些实施方式中，分组交换网络包括因特网，并且远程设备包括移动电话、平板计算机、可穿戴计算机或车辆计算机。此外，在一些实施方式中，来自远程设备的帧刷新事件基于远程设备的帧刷新率来生成，并且生成虚拟帧包括控制虚拟帧刷新率以跟踪远程设备的帧刷新率。
此外，在一些实施方式中，生成用于虚拟流应用的虚拟帧包括响应于从远程设备接收到的第一帧刷新事件生成第一虚拟帧刷新事件。另外，在一些实施方式中，生成第一虚拟帧刷新事件包括控制在向虚拟流应用发出第一虚拟帧刷新事件和从远程设备接收第一帧刷新事件之间的延迟。此外，在一些实施方式中，控制延迟包括根据V(t)＝A(t′)+(t-t′)+D来调度第一虚拟帧刷新事件的发出，其中t是在从远程设备接收到的第一帧刷新事件内包括的时间戳，t'是相对最小的单向网络延迟，V(t)是发出第一虚拟帧刷新事件的流应用环境中的发出时间，A(t')是从远程设备接收第一帧刷新事件的流应用环境中的接收时间，并且D是最大回放延迟。
在一些实施方式中，控制延迟包括基于在分组交换网络中观察到的网络抖动来改变延迟。另外，在一些实施方式中，生成用于虚拟流应用的虚拟帧包括响应于发出第一虚拟帧刷新事件并且基于从远程设备接收到的先前帧刷新事件的外推来调度下一个虚拟帧刷新事件的发出使得不管来自远程设备的下一帧刷新事件的延迟或丢失如何也发出下一个虚拟帧刷新事件。此外，在一些实施方式，生成用于虚拟流应用的虚拟帧包括响应于发出第一虚拟帧刷新事件并且基于第一帧刷新事件和从远程设备接收到的稍后的帧刷新事件之间的内插来调度下一个虚拟帧刷新事件的发出，使得不管来自远程设备的下一个帧刷新事件的延迟或丢失如何也发出下一个虚拟帧刷新事件。
在一些实施方式中，流应用环境进一步包括视频流组件，该视频流组件被配置成流传输由虚拟流应用生成的输出显示表示，并且该方法进一步包括以相对于第一虚拟帧刷新事件的受控延迟调度第一流组件帧刷新事件到视频流组件的发出。此外，在一些实施方式中，控制接收到的输入事件到虚拟流应用中的注入包括：对接收到的输入事件进行排队，包括针对每个接收到的输入事件排队相关联的时间戳，以及在与远程设备上的第一帧相对应的第一虚拟帧期间，忽略是重复的任何排队输入事件，注入按时的任何排队输入事件，丢弃迟到的任何排队输入事件，并且继续排队早到的任何排队输入事件。另外，在一些实施方式中，每个输入事件与指向远程设备的触摸屏的用户输入相关联。
一些实施方式还可以包括在包括一个或多个处理器和显示器的设备中执行的方法，该方法可以包括从通过分组交换网络耦合到设备的流应用环境接收输出显示表示，输出显示表示由驻留在流应用环境中的虚拟流应用生成；在显示器上渲染接收到的输出显示表示的多个帧；响应于在渲染多个帧期间生成的输入，通过分组交换网络向流应用环境发出输入事件以用于通信，每个输入事件与多个帧中的在其间生成相关联的输入的帧相关联，以及通过分组交换网络向流应用环境发出多个帧中的每个帧的帧刷新事件以用于通信以使流应用环境能够控制输入事件的注入以将输入事件排列在与和输入事件相关联的帧相对应的虚拟流应用的虚拟帧内。
一些实施方式也包括系统，该系统包括一个或者多个处理器和可操作地与一个或多个处理器耦合的存储器，其中存储器存储指令，所述指令响应于所述被一个或多个处理器执行而使得一个或多个处理器执行上述任何方法。一些实施方式还可以包括包括指令的至少一个非暂时性计算机可读介质，所述指令响应于所述指令被一个或多个处理器执行而使得一个或多个处理器执行任何上述方法。
应当理解，本文更详细描述的前述概念和附加概念的所有组合都被认为是本文公开的主题的一部分。例如，出现在本公开结尾处的所要求保护的主题的所有组合被认为是本文公开的主题的一部分。
附图说明
图1图示根据各种实施方式的可以实践所公开的技术的示例环境。
图2是图示用于在图1的示例环境中处理输入事件的示例操作序列的流程图。
图3是图示用于在图1的示例环境中处理帧刷新事件的示例操作序列的流程图。
图4是图示用于在图1的示例环境中调度流应用环境帧刷新事件的示例操作序列的流程图。
图5是图示用于在图1的示例环境中接收帧刷新事件的示例操作序列的流程图。
图6是图示用于在图1的示例环境中回放的输入的示例操作序列的流程图。
图7是图示用于将输入事件处理为图2中所图示的示例操作序列的另一示例操作序列的流程图。
图8是图示用于将帧刷新事件处理为图3中所图示的示例操作序列的另一示例操作序列的流程图。
图9是图示用于在图1的示例环境中注入手势事件的示例操作序列的流程图。
图10图示适合于在图1的示例环境中实现一个或多个设备的计算机的示例架构。
具体实施方式
应用流允许用户在一些实例中在诸如移动电话的计算设备上运行应用，而不必在计算设备本身上下载和安装应用。在一些实例中，例如，流应用环境，例如，可以在云计算系统中的一个或多个服务器上实现，该云计算系统可以通过诸如因特网的网络由计算设备访问。应用可以作为流应用环境内的虚拟流应用运行，例如，通过在虚拟机中运行应用或者在一些实例中作为有效模拟物理计算设备和/或这些设备的操作系统的虚拟计算设备。另外，流应用环境可以包括将虚拟流应用与计算设备对接的功能，包括接收在计算设备处生成以控制虚拟流应用的输入的能力以及流传输由虚拟流应用生成的渲染的内容的输出显示表示的能力。
例如，图1图示能够托管一个或多个虚拟流应用(VSA)12并且通过一个或多个网络16将其与一个或多个远程设备14对接的示例流应用环境(SAE)10。如上所述，流应用环境10可以实现为例如云计算系统的服务，并且因此使用云计算系统的一个或多个硬件服务器来实现。尽管下文中的讨论主要集中于移动设备，诸如移动电话、平板电脑、车辆计算机、可穿戴计算机等，但是远离他们耦合但不同于流应用环境10的观点的设备14可以使用实际上能够访问云计算系统的任何类型的计算设备来实现。如上所述，设备14和流应用环境10之间的通信可以通过一个或多个网络16(其在一些实施方式中包括诸如局域网(LAN)、广域网(WAN)、因特网等的至少一个分组交换网络)进行，使得设备14和应用流环境10之间的通信利用分组以在它们之间传送数据。
在一些实施方式中，与作为移动设备的远程设备一致，图1图示示例远程设备14，其包括能够接收来自用户的触摸输入的触摸面板18以及能够向用户输出视频或图形内容的显示器20，该触摸面板18和显示器20在一些实施方式中可以被组合成单个触敏屏幕或触摸屏。设备14通常取决于设备的应用还可以包括附加传感器和用户输入组件22和/或附加输出组件24。可以在不同实施方式中使用的各种传感器和组件包括加速度计、GPS传感器、陀螺仪、硬按钮、键盘、指示设备、麦克风、成像设备、扬声器、指示器和触觉反馈设备等。
将理解对图1中所图示的环境的其他变化和修改，并且因此，本发明不限于本文公开的特定环境。
以下讨论的实施方式部分地解决在流应用环境中输入与渲染的可视内容的同步。出于简化讨论的目的，下文描述的实施方式将特别集中于用户手势与渲染的可视内容的同步，并且尤其是针对触摸屏的用户输入。然而，将会理解，本文公开的原理可以应用于其他类型的输入，包括诸如用户操纵鼠标、轨迹球或其他指示设备的其他用户输入、由成像设备或手持设备或可穿戴运动传感器捕获的用户手势、以及诸如传感器输入的附加输入。因此，本发明也不限于通过本文的示例公开的特定输入。
与触摸屏设备的共同用户交互是滚动和/或缩放显示的内容的单个或多个手指手势。在物理触摸屏设备上，触摸屏硬件可以触发触摸事件的连续流，其描述用户的手指在触摸屏上移动时的位置。这些事件通常由设备处理和解释以对设备上显示的内容进行相应的修改。因此，在专用于可滚动内容的显示器的区域中向上或向下滑动手指可以导致内容的相应滚动以跟随手指的运动。当内容的移动精确地跟随手指的运动时发生无缝的用户体验，并且已经发现通过物理设备上的相同时钟驱动触摸事件的速率(频率)和渲染的帧速率获得可接受的结果。因此，在标称时钟频率为60Hz的情况下，跨越1/60秒的短间隔的手指移动通常被映射到以60fps渲染的连续帧。然而，当丢失1/60秒移动到渲染帧之间的一对一对准时能够发生不可期待的结果，使得如果将两个1/60秒移动映射到单个帧同时在下一个帧看不到任何移动，则能够发生不平稳的滚动。
另一方面，利用应用流，触摸事件和帧渲染之间的交互类似地工作，除了在生成输入和显示渲染内容的设备以及处理该输入以生成在设备中显示的渲染内容的虚拟流应用之间存在多个组件和网络之外。
在其中(1)网络没有分组丢失且没有延迟抖动即网络往返时间(RTT)是恒定的并且(2)在虚拟流应用中的渲染帧速率、在流应用环境中的编码帧率以及远程设备中的帧刷新率是相同的例如所有都精确在60Hz的理想情况下，经由应用流的滚动将与在物理设备上的本地应用中滚动一样平滑，不具有由网络RTT引入的额外延迟和附加组件中的处理时间。然而，实际上一些触摸事件能够在网络中丢失，并且由于网络抖动，每个触摸事件能够花费不同数量的时间以从远程设备行进到流应用环境，并且甚至能够无序地到达。此外，一些远程设备并不总是使用相同的、一致的帧刷新率(例如，从60Hz稍微变化，并且在一些实例中，当进入省电模式时降低到较低的帧刷新率)，并且流应用环境中的组件可以包括导致被用于虚拟流应用的帧刷新率的变化的延迟。因此，通常存在增加的风险，即，多个触摸事件能够被映射到单个帧中，同时没有事件可以被映射到相邻帧中，导致不平稳的移动。
因此，在一些实施方式中，可以在远程设备14和流应用环境10内实现多个模块或组件，以利用应用流帮助输入与渲染的内容的同步。特别地，在一些实施方式中，远程设备14的操作系统26可以包括控制流传输器组件28和视频播放器组件30，其分别与在流应用环境10中实现的控制播放器组件32和视频流组件或视频流传输器34通信。
控制流传输器组件28用于将输入事件和帧刷新(FR)事件流传输到控制播放器组件32，其前者被流传输到控制播放器组件32中的输入处置器组件36，并且其后者被流传输到控制播放器组件32中的帧刷新(FR)处置器组件38。输入事件是由远程设备14生成以控制虚拟流应用12的事件，并且可以包括例如手势事件，诸如触摸事件，尽管将会理解，响应于其他输入(例如，其他用户输入和/或传感器数据)在远程设备14中生成的事件也可以以输入事件的形式被供应给虚拟流应用12。FR事件是响应于远程设备14中的帧刷新而生成的事件，例如，类似于在一些物理计算设备中与这些设备上的渲染帧相关联地生成的垂直同步事件。
如下将变得更加明显的，输入处置器组件36将由控制播放器组件32接收到的输入事件注入或“回放”到虚拟流应用12中。FR处置器组件38响应于控制播放器组件32接收的FR事件在流应用环境10内生成刷新事件，包括提供给虚拟流应用12和输入处置器组件36以使输入事件与其在远程设备上的相应帧同步的虚拟帧刷新(VFR)事件，以及被提供给视频流组件34以同步虚拟流应用12输出的渲染内容的编码和流传输的流组件帧刷新(SCFR)事件。在一些实施方式中，渲染内容以存储在由虚拟流应用12填充的帧缓冲器中的虚拟帧形式提供给视频流组件34，并且因此，由FR处置器组件38生成的VFR事件以由远程设备14生成的FR事件与远程设备14中的渲染帧相关联的方式类似的方式与虚拟流应用12的虚拟帧相关联。
视频流组件34可以通过对虚拟帧进行编码并将编码的虚拟帧传送到远程设备14的视频播放器组件30来处理虚拟帧，远程设备14的视频播放器组件30对编码的虚拟帧进行解码并在远程设备14的显示器20上显示渲染内容。在一些实施方式中，渲染内容可以被认为是输出显示表示，即，能够用于生成远程设备上的渲染内容的视觉描绘的数据。还将会理解，输出显示表示可以使用各种格式进行编码、未编码、加密、未加密或以其他方式定义，因此本发明不限于任何特定格式的数据，只要数据可以用于在显示器上生成渲染内容的视觉描绘。在一些实施方式中，例如，输出显示表示可以实现为编码数字视频流。
在一些实施方式中，控制流传输器组件28可以实现监听器和/或回调例程以处理操作系统26中的系统事件。例如，可以响应于响应于由操作系统26检测到的各种类型的触摸事件而生成的事件来生成一些输入事件。同样地，在一些实施方式中，可以响应于渲染用于在远程设备14上显示的新帧的帧渲染例程的调用来生成FR事件。可以例如以在一些实施方式中可以是大约60Hz的远程设备的垂直同步速率周期性地生成FR事件，并且FR事件和输入事件都可以包括表示相应系统事件发生时的远程设备系统时间的相关联的时间戳。此外，在一些实施方式中，如果有，通过落入当前帧或垂直同步间隔内的时间戳，即，在当前FR事件时间戳与前一个FR事件时间戳之间，每个帧渲染被配置成反映由输入事件触发的内容更新。在一些实施方式中，还可以在通过网络16进行通信之前对输入和FR事件进行序列化和/或加密。
例如，图2和图3分别图示可以在远程设备14的控制流传输器组件28中实现以分别生成用于传送到流应用环境10的输入和帧刷新(FR)事件的操作序列。如图2中所示，操作序列50可用于处理在远程设备14内生成的输入事件，例如，手势或触摸事件。在块52中，生成输入事件消息，包括远程设备系统时间戳、以及任何相关的事件参数，例如，触摸坐标、相关输入事件的标识符(例如，用于与特定手势相关联的触摸移动或触摸向上事件，开始该手势的初始触摸向下事件的时间戳)等。然后块54将生成的事件消息发送到流应用环境10，并且操作序列50完成。类似地，如图3中的操作序列60所图示，对于帧刷新事件，可以在块62中生成通常包括远程设备系统时间戳的FR事件消息，并且然后在块64中将其发送到流应用环境10中。将会理解，在两种情况下，消息的特定格式以及事件数据被编码成分组的方式可以部分地基于用于在远程设备14和流应用环境10之间进行通信的协议而在不同的实施方式中变化。
远程设备输入同步
如上所述，在一些实施方式中，流应用环境10被配置成将来自远程设备14的输入与由虚拟流应用12生成的渲染内容同步。具体地，在一些实施方式中，流应用环境10可以从远程设备14接收与远程设备14上的特定帧相关联的帧刷新事件，从远程设备14接收与在远程设备14上的帧期间生成的输入相关联的输入事件，生成与和接收到的帧刷新事件相关联的帧相对应的用于虚拟流应用12的虚拟帧，并且然后控制将所接收的输入事件注入到虚拟流应用12中，以将所接收的输入事件排列在与和所接收的输入事件相关联的帧相对应的虚拟帧内。
在一些实施方式中，例如，控制播放器组件32的帧刷新(FR)处置器组件38可以基于由远程设备14的控制流传输器组件28传送的FR事件有效地跟踪远程设备14的帧刷新率并且使用所跟踪的帧刷新率驱动输入事件到虚拟流应用12的注入，并且在一些实例中，驱动来自于视频流组件34的内容的流传输。在一些实施方式中，例如，FR处置器组件38可以以基本上跟踪远程设备的帧刷新率的虚拟帧刷新速率生成VFR事件。此外，在一些实施方式中，控制播放器组件32的输入处置器组件36可以实现作为抖动缓冲器有效地操作的队列，以将输入事件的注入同步到虚拟流应用12中。
为了跟踪帧刷新率，在一些实施方式中，FR处置器组件38可以以下面的方式调度VFR事件。出于此解释的目的，A(t)可以用于表示当流应用环境10接收到具有时间戳t的FR事件时的流应用环境系统时间。然后可以针对使用下面的等式(1)表示为V(t)的流应用环境系统时间调度与接收到的FR事件相对应的VFR事件的发出：
V(t)＝A(t′)+(t-t′)+D (1)其中D表示最大回放延迟(例如，在某些实施方式中设置为诸如20ms的值)并且t'是被选择使得对于迄今为止从远程设备接收到的所有FR事件A(t′)-t′不大于任何其他A(t)-t的参考时间戳。换句话说，可以认为t'对应于以最短的传输时间从远程设备行进到流应用环境10的FR事件，使得A(t′)-t′实际上是相对最小的单向网络延迟，这是相对的，因为A(t')使用的流应用环境系统时钟和t'使用的远程设备系统时钟没有被同步，并且通常不需要同步。在一些实施方式中，t'的选择可以被调整，特别是在流会话的开始处，但是通常将稳定到最终的最小值。利用上面定义的等式(1)，可以在V(t')＝A(t')+D(在来自远程设备的相应FR事件到达之后具有D的附加回放延迟)处发送具有时间戳t'的流应用环境VFR事件。另外，对于所有其他VFR事件，回放延迟通常永远不会大于D。此外，在一些实施方式中，D可以例如基于观察到的网络抖动而随时自动调整。
另外，在一些实施方式中，可以结合跟踪远程设备FR事件使用外推和/或内插。在图示的实施方式中，例如，每个VFR事件发送与先前的VFR事件的实际发送或者发出结合而被最初地调度。例如，就在V(t1)＝A(t′)+(t1-t′)+D处发送具有时间戳t1的VFR事件之后，具有时间戳t2的VFR事件可以被调度以在V(t2)＝A(t′)+(t2-t′)+D处被快速发送。
然而，如果具有时间戳t2的FR事件在网络中被显著延迟(或甚至丢失)，则此FR事件通过V(t1)可能仍未到达流应用环境，并且因此通过FR处置器组件38调度下一个VFR事件可能由于时间戳t2本身仍未知的事实而被复杂化。因此，在一些实施方式中，t2可以例如使用等式(2)从先前的FR事件时间戳来推断：
t2＝t1+(t1-t0) (2)
类似地，具有时间戳t2的FR事件可能尚未到达流应用环境，但是具有时间戳tn的后来的FR事件已到达。因此，在那种情况下，一些实施方式可以使用内插例如使用等式(3)来确定V(t2)：
t2＝t1+(tn-t1)/(n-1) (3)
通过使用外推和/或内插，可以以与来自远程设备14的FR事件速率基本匹配的速率周期性地发出VFR事件，并且通常甚至当一些FR事件被显著地延迟或丢失时。一旦更多FR事件到达环境中，就可以有效地重新校准VFR事件调度。
如上所述，FR处置器组件38还可以驱动视频流组件34。然而，在一些实施方式中，不是直接向视频流组件发出VFR事件，而是可以通过调度相应VFR事件的延迟版本(在此称为流组件帧刷新(SCFR)事件)来应用受控延迟。在一些实施方式中，例如，可以调度SCFR事件以发出大约10ms以适应虚拟流应用渲染虚拟帧所花费的时间，使得当视频流组件34从虚拟流应用帧缓冲器捕获虚拟帧时，相应的应用内容被完全渲染。然而，还将会理解，如果虚拟流应用被配置成在完成渲染时将虚拟帧推送到视频流组件34，则不能使用单独的SCFR事件。
例如，图4图示在一些实施方式中可由FR处置器组件38执行的用于在流应用环境10中调度帧刷新事件的示例操作序列70。操作序列可以例如响应于与当前FR事件相对应的调度的VFR事件的发出而被调用。块72首先确定是否已经接收到下一个FR事件，并且如果是，则将控制转到块74以使用所接收的下一个FR事件的时间戳例如使用上面的等式(1)来调度下一个VFR事件。然而，如果没有接收到下一个FR事件，则块72将控制转到块76以确定是否已经接收到后来的FR事件。如果不是，则控制转到块78，以使用外推例如通过使用上面的等式(2)从先前的两个FR事件时间戳外推来调度下一个VFR事件。另一方面，如果已经接收到后来的FR事件，则块76将控制转到块80以使用内插例如使用上面的等式(3)来调度下一个VFR事件。
一旦通过块74、78或80调度下一个VFR事件，控制转到块82以调度对应于VFR事件的SCFR事件，例如，通过向VFR事件的发出时间添加受控或固定的延迟。
接下来，块84基于观察到的网络抖动可选地调整一个或多个延迟(例如，上面的等式(1)中使用的D)。调整可以基于跟踪系统响应和网络相关延迟，并且可以在一些实例中基于启发法，并且在其他实例中基于各种机器学习技术。将会理解，增加D还会延迟输入事件回放时间表，并因此减少有效丢弃的迟到的输入事件的数量；但是，这样做的成本是更高的端到端延迟。
图5接下来图示用于处理FR处置器组件38中的所接收的FR事件的操作序列90。虽然主要操作序列90在适当的时间排队用于调度相应VFR事件的接收到的FR事件，如上所述，在一些实例中FR事件可能丢失或延迟，并且外推和/或内插可用于预测丢失或延迟的FR事件的时间戳。因此，在一些实施方式中可能期望在延迟的FR事件最终到达时更新或确认预测的时间戳。具体地，如块92中所图示的，可能期望确定是否已经调度对应于所接收的FR事件的VFR事件。如果不是，则控制转到块94以对FR事件进行排队以稍后调度相应的VFR事件。然而，如果是，则块92反而将控制转到块96以基于所接收的FR事件的时间戳更新调度的VFR事件(并且，如果被调度，则对应的SCFR事件)。
现在转到图6，该附图图示可由控制播放器组件32的输入处置器组件36执行的操作序列100以与远程设备的帧同步的方式回放到虚拟流应用12的输入。在一些实施方式中，输入处置器组件36可以连续地接收从控制流传输器组件28发送的输入事件，并将接收到的输入事件放置在优先级队列上，其中具有较小(较早)时间戳的输入事件具有比具有较大(较晚)时间戳的另一输入事件更高的优先级。然后可以基于回放时间表稍后检索排队的输入事件，并将其作为对应的虚拟输入事件注入或回放到虚拟流应用12中。可以通过响应于FR处置器组件38生成的VFR事件调用操作序列100来同步输入事件注入或回放。块102启动FOR循环以处理优先级队列上的每个输入事件。然后，对于每个输入事件，基于与输入事件相关联的时间戳相对于与触发操作序列100的VFR事件相关联的时间戳来处理该输入事件。
首先，如块104中所图示，在一些实施方式中，可能期望发送重复输入事件以解决网络中的潜在分组丢失，并且因此，如果输入事件在块104中被确定为重复事件，控制可以传递到块106以从优先级队列中弹出或移除重复事件，但是否则忽略该事件。例如，可以基于匹配已经注入的另一输入事件的时间戳，或者基于指示与输入事件相关联的输入已经被注入到虚拟流应用中的其他识别特征来检测重复事件。
如果输入事件不是重复事件，则操作序列100确定输入事件是迟到事件、早到事件或者按时事件。出于本讨论的目的，通过t表示排队的输入事件的时间戳，通过t1表示当前VFR事件的时间戳，并且通过t0表示前一个VFR事件的时间戳，其中t0<t1。排队的输入事件取决于其时间戳t与当前虚拟帧间隔(t0，t1)相比较的值而可以被认为是迟到事件、早到事件或按时事件。
例如，块108确定输入事件是否是迟到事件，例如，其中t≤t0。该输入事件可能被认为是迟到的，因为输入事件应该在具有时间戳t0的VFR事件处被注入，但稍后到达。因此，如果输入事件是迟到事件，则块108将控制转到块110以从优先级队列中弹出输入事件，否则忽略该事件以使其不干扰要在当前虚拟帧间隔中回放的其他按时事件。然而，在一些实施方式中，迟到事件稍后可能仍然有用，并且因此在当前虚拟帧间隔中丢弃的最后迟到事件也可以被高速缓存以将来使用，如下面将更详细地讨论的。
块112确定输入事件是否是按时事件，例如，其中t0<t<t1。在此实例中的输入事件应该从优先级队列中弹出并注入，并且因此，块112将控制转到块114以从优先级队列弹出输入事件并将输入事件注入到虚拟流应用中。对于重复事件、迟到事件和按时事件中的每一个，然后控制返回到块102以处理优先级队列上的下一个最高优先级输入事件。
返回到块112，如果输入事件不是按时事件，则输入事件是早到事件，例如，其中t>t1。在此实例中的输入事件应在未来的虚拟帧间隔中被回放。因此，块112可以通过将控制转到块116来处理这样的输入事件，以将输入事件留在优先级队列上并忽略它。另外，因为输入事件在优先级队列上按顺序处理，所以也不需要在此虚拟帧间隔中进一步处理优先级队列中的其他输入事件，因为从当前虚拟帧间隔的角度看它们全部是早到事件。
在一些实施方式中，每当所有输入事件已经由在块102中发起的FOR循环处理，或者每当处理早到事件时，完成当前虚拟帧间隔的输入事件的回放。在其他实施方式中，并且如下面将更详细讨论的，远程设备14中的控制流传输器28可以被配置成重新发送拖曳事件，因此在这样的实施方式中，块102和116可以反而将控制转到块118以确定是否缓存的迟到事件具有比最后注入的输入事件晚的时间戳，并且如果是，则将控制转到块120以注入高速缓存的事件。下面结合事件填充更详细地讨论该功能的进一步讨论。
恢复丢失或延迟的输入事件
如上所述，在一些实例中，特别是对于通过诸如因特网的分组交换网络无线耦合到流应用环境的移动设备，分组延迟和丢失能够对应用流性能产生不利影响，特别是从将输入事件注入虚拟流应用的角度来看。在一些实例中，能够使用自动处理分组重传、拥塞控制和重新排序的诸如传输控制协议(TCP)的协议来解决分组丢失，尽管TCP分组的使用尤其能够在有耗网络中导致不可接受的长延迟。使用更快但不太可靠的协议，诸如用户数据报协议(UDP)，能够避免与TCP重传和拥塞控制相关联的一些延迟；但是，丢失和无序分组能够导致应用控制不一致。
另一方面，在本文公开的各种实施方式中，可以单独地或共同地利用多种技术来解决分组丢失和延迟。在一些实施方式中，例如，可以通过多次发送输入事件来增加对输入流的冗余来增加针对分组丢失的弹性，可能在解决突发分组丢失的重复之间具有短的延迟。另外，在一些实施例中，可以在流应用环境内合成校正事件以考虑丢失和/或延迟的分组。
例如，在一些实施方式中，可以增加远程设备14的控制流传输器组件28以将每个输入分组重新发送N次，其中N可以基于分组丢失弹性和带宽消耗之间的折衷来确定。另外，在一些实例中，为了更好地处理其中在短突发中发送的连续分组倾向于一起丢失的突发分组丢失，重复的输入事件可以在先前传输之后以例如大约10ms的延迟被发送。例如，图7图示用于处理控制流传输器组件28中的输入事件的操作序列130，例如，作为图2的操作序列50的替代。在块132中，生成输入事件消息，包括远程设备系统时间戳，以及任何相关的事件参数，例如，触摸坐标、相关输入事件的标识符(例如，用于与特定手势相关联的触摸移动或触摸向上事件、开始手势的初始触摸向下事件的时间戳)等等。然后，块134将生成的事件消息发送到流应用环境10N次，并且可选地包括每次传输之间的延迟。然后完成操作序列130。
将会理解，即使事件重复，输入事件仍然能够与重复的输入事件一起丢失。在许多实例中，丢失事件的影响可能是暂时的，并且可能被后续输入事件快速覆盖。然而，对于某些事件，在此称为拖曳事件，情况可能不一定如此。这样，在一些实施方式中，可能期望另外增加控制流传输器组件38以合并事件填充。出于本公开的目的，拖曳事件可以被认为是在没有其他输入事件的静默期之前的序列中的最后输入事件。拖曳事件的常见示例是触摸屏上的滑动手势中的触摸向上事件。如果触摸向上事件与其所有重复事件一起丢失，则流应用环境将不能确定用户是否已经抬起他/她的手指或者手指是否仍然停留在屏幕上而没有进一步移动。因此，此未知状态不再是瞬态的，并且能够持续直到用户在长时间暂停之后开始下一个触摸手势为止。
因此，在一些实施方式中，还可能期待结合远程设备上的每个帧来检查该帧内是否接收到任何新的输入事件，并且如果没有，则重新发送最后的输入事件以确保静默期以FR速率被重复填充最后拖曳事件，并且拖曳事件最终将到达流应用环境以解决未知状态。在一些实施方式中，例如，可以结合控制流传输器组件28中的帧刷新事件的处理来实现这样的功能，例如，用作图3的操作序列60、图8的操作序列140的替代。在操作序列140中，在生成FR事件消息之前，块142可以确定在最后帧间隔期间是否已经发出任何输入事件。如果是，则控制转到块144以生成包括远程设备系统时间戳的FR事件消息，并且然后转到块146以将该消息发送到流应用环境10。另一方面，如果确定在最后帧间隔期间没有发出输入事件，则块142可以将控制转到块148以在将控制转到块144之前将最后输入事件作为拖曳事件重新发送。因此，在没有生成输入事件的帧期间，仍然发送拖曳事件，从而确保拖曳事件最终将由流应用环境接收。
接下来，从控制播放器组件32的角度来看，事件合成可以用于合成校正事件，并且在一些实例中，伴随事件解决丢失或延迟的输入事件。事件合成可以基于例如从按时注入的其他事件中得出的推论。在一些实施方式中，例如，如果适用，则从注入或回放事件合成校正事件，并且然后，对于每个合成校正事件和原始回放事件，如果适用，也可以合成伴随事件。
为了简单起见，以下关于校正事件的讨论将集中于诸如触摸屏手势的手势，并且尤其是关于在单个手指触摸屏上操纵的单触手势。将会理解，这种类型的典型手势将以手势开始事件开始并且以手势停止事件结束，并且在手势开始和停止事件之间发生一个或多个手势移动事件。在触摸屏手势的情况下，例如，用户首先将手指放在触摸屏上的触摸向下事件可以对应于手势开始事件，而其中用户将手指抬离触摸屏的触摸向上事件可以对应于手势停止事件，并且触摸移动事件可以对应于手势移动事件。然而，虽然在下文中描述单点触摸手势，但是将本文公开的技术扩展到其他手势，包括多指触摸手势、鼠标、轨迹球或其他指示设备手势、图像捕获手势以及具有定义的开始和停止事件的其他手势，会是简单的。因此，本发明不限于与这里描述的特定触摸事件一起使用。
为了促进事件的合成，控制播放器组件32可以被配置成跟踪注入到虚拟流应用中的包括合成事件的与手势相关的输入事件的状态，并且特别地可以维持手势的状态在正在开始或完成。在一些实施方式中，手势状态还可以对应于指针的状态，例如，其中开始的手势状态对应于指针向下状态，并且完成的手势状态对应于指针向上状态。在一些实施方式中还可以期待保留与最后注入或重放输入事件相关联的坐标，以及由td表示的最后注入或回放手势开始(例如，触摸向下)事件的时间戳。另外，可能期待在每个与手势相关的事件中包括表示发起当前手势的相关联的手势开始(例如，触摸向下)事件的时间戳的字段。将会理解，坐标可以对应于触摸屏或其他二维显示器上的二维位置，而在一些实施方式中，可以适当地使用三维坐标。
现在参考图9，该附图图示可由控制播放器组件32的输入处置器组件36执行以将手势事件注入到虚拟流应用中的操作序列150。例如，操作序列150可以对应于图6的块116和120中引用的注入操作。在操作序列150的块152-162中，可以单独地或共同地以不同的实施方式实现若干不同的场景被图示用于合成事件。
例如，块152测试要注入的事件是否是手势开始(例如，触摸向下)事件并且手势状态开始，这有效地对应于先前手势停止(例如，触摸向上)事件的丢失。如果是，则控制转到块154以生成对应于丢失的手势停止事件的适当的校正事件。例如，在一些实施方式中，可以通过重复手势事件但是将动作从开始(向下)改变为停止(向上)，将事件的坐标替换为最后注入的输入事件的坐标，并且用最后注入的手势开始事件的时间戳td替换时间戳，来生成校正事件。
块156测试要注入的事件是否为手势停止或者移动事件，但是当前状态仍然完成(向上)，这有效地对应于先前手势开始(例如，触摸向下)事件的丢失。如果是，则控制转到块158以生成对应于丢失的手势开始事件的适当的校正事件。例如，在一些实施方式中，可以通过重复手势停止或移动事件但是用开始替换停止或移动动作来生成校正事件。
块160测试要注入的事件是否为手势停止或者移动事件，当前状态是否开始(向下)，但是在要注入的事件中相关联的手势开始(例如，触摸向下)事件的时间戳与td不同，这有效地对应于要从新手势注入的事件，并且至少一个先前的手势停止(例如，触摸向上)和手势开始(例如，触摸向下)事件对已经丢失。如果是，则控制转到块162，以通过以与结合块154和158在上面描述的类似的方式执行校正手势停止和手势开始事件的合成，生成对应于丢失的手势停止和手势开始事件的适当的校正事件对。
在合成校正事件之后，或者如果不需要这样的校正事件，则控制接下来转到块164以注入手势事件。另外，在一些实施方式中，还可能期待此时注入一个或多个伴随事件。特别地，已经观察到在具有触摸屏的物理计算设备上，在每个触摸向下事件之后总是紧跟着触摸移动事件，并且在每个触摸向上事件之前总是紧跟着触摸移动事件。因此，在一些实施方式中，可能期待在块164中通过始终在具有伴随手势移动事件的任何手势停止事件(包括校正手势停止事件)之前并且在具有伴随手势移动事件的任何手势开始事件(包括校正手势开始事件)之后来合成此行为。例如，通过重复相关联的手势开始或停止事件并且简单地将动作从开始或停止改变为移动，可以生成伴随事件。
现在再次返回到图6，如上所述，在一些实例中可能期待缓存在当前虚拟帧间隔中丢弃的最后迟到输入事件(块110)。在弹出优先级队列中的所有迟到输入事件和按时输入事件并保留所有早到输入事件(块102-116)之后，可以将高速缓存的最后迟到输入事件与当前虚拟帧间隔中的最后注入的输入事件进行比较。虽然高速缓存的事件是迟到事件，但在某些实施方式中仍然可能是有用的，因为其可能是结合图8在上面描述的周期性重新发送的拖曳事件。因此，可以回放高速缓存的事件作为当前虚拟帧间隔中的最后事件，只要其时间戳大于注入或回放到虚拟流应用中的最后输入事件的时间戳。在块118中图示对此条件的测试，并且在块120中图示对高速缓存事件的注入。将会理解，时间戳的比较保留由虚拟流应用感知到的输入事件中的排序。
示例硬件环境
本文描述的技术可以在各种实施方式中在多个不同的计算机、计算机系统或计算设备中实现。例如，图10是可用于在应用流传输环境中实现远程设备和/或各种计算机系统的示例计算机200的块图。计算机200通常包括至少一个处理器204，其经由总线子系统202与多个外围设备通信。这些外围设备可以包括存储子系统212，包括例如存储器子系统214和文件存储子系统220、用户接口输出设备208、用户接口输入设备210和网络接口子系统206。输入和输出设备允许用户与计算机200交互，并且网络接口子系统206提供到外部网络的接口并且耦合到其他计算机中的相应接口设备。
用户接口输入设备210可以包括键盘；诸如鼠标、轨迹球、触摸板或图形输入板的指示设备；扫描仪；合并到显示器中的触摸屏；诸如语音识别系统的音频输入设备；麦克风和/或其他类型的输入设备。通常，术语“输入设备”的使用旨在包括所有可能类型的设备和将信息输入到计算机200中或到通信网络上的方式。
用户接口输出设备208可以包括显示子系统、打印机、传真机或诸如音频输出设备的非可视显示器。显示子系统可以包括阴极射线管(CRT)、诸如液晶显示器(LCD)的平板装置、投影装置或用于创建可视图像的一些其他机制。显示子系统还可以诸如经由音频输出设备提供非可视显示器。通常，术语“输出设备”的使用旨在包括所有可能类型的设备以及将信息从计算机系统510输出到用户或另一个机器或计算机系统的方式。
存储子系统212存储编程和数据构造，其提供本文描述的一些或所有模块的功能。例如，存储子系统212可以包括用于执行前述操作序列的所选方面和/或实现图1中所图示的各种设备和环境的一个或多个组件的逻辑。
这些软件模块通常由处理器204单独执行或与其他处理器组合执行。存储子系统中使用的存储器214能够包括多个存储器，包括用于在程序执行期间存储指令和数据的主随机存取存储器(RAM)218和其中存储固定指令的只读存储器(ROM)216。文件存储子系统220能够为程序和数据文件提供持久存储，并且可以包括硬盘驱动器、软盘驱动器以及相关联的可移动介质、CD-ROM驱动器、光盘驱动器或可移动介质盒。实现某些实施方式的功能的模块可以由文件存储子系统220存储在存储子系统212中，或者存储在处理器204可访问的其他机器中。
总线子系统202提供用于允许计算机200的各种组件和子系统按预期彼此通信的机制。虽然总线子系统202示意性地示为单个总线，但总线子系统的替代实施方式可以使用多个总线。
计算机200能够是各种类型，包括工作站、服务器、计算集群、刀片服务器、服务器群、或任何其他数据处理系统或计算设备。由于计算机和网络的不断变化的性质，图10中描绘的计算机200的描述仅旨在作为用于说明一些实施方式的目的的特定示例。计算机200的许多其他配置可能具有比图10中描绘的计算机系统更多或更少的组件。
此外，特别在计算机200被用于实现诸如移动电话、平板计算机、车辆计算机、可穿戴计算机等远程设备的情况下，还可以包括附加传感器222。可以使用诸如加速计、全球定位传感器、陀螺仪传感器、健康传感器等传感器。
虽然本文已经描述和说明若干实施方式，但是可以利用用于执行功能和/或获得结果和/或本文描述的一个或多个优点的各种其他手段和/或结构，并且这些变化和/或修改中的每一个被认为是在本文描述的实施方式的范围内。更一般地，本文描述的所有参数、尺寸、材料和配置旨在是示例性的，并且实际参数、尺寸、材料和/或配置将取决于使用教导的特定应用或应用。本领域的技术人员将认识到或者能够使用不超过常规的实验确定本文所述具体实施方式的许多等同物。因此，要理解，前述实施方式仅作为示例呈现，并且在所附权利要求及其等同物的范围内，可以以不同于具体描述和要求保护的方式实施实施方式。本公开的实施方式涉及本文描述的每个单独的特征、系统、物品、材料、套件和/或方法。此外，如果这些特征、系统、物品、材料、套件和/或方法不相互矛盾，则两个或更多个这样的特征、系统、物品、材料、套件和/或方法的任何组合被包括在本公开的范围内。

Claims (25)

1.一种由流应用环境的一个或多个处理器实现的方法，包括：
接收输入事件和帧刷新事件，所述输入事件和所述帧刷新事件是通过分组交换网络来传送到所述流应用环境的，
其中，所述输入事件是响应于输入而被传送到所述流应用环境，所述输入是在与设备相关联的用户输入组件处接收到的，所述设备是通过所述分组交换网络耦合到所述流应用环境，
其中，所述输入是在由所述设备渲染输出显示表示的多个帧期间在所述用户输入组件处接收的，所述输出显示表示是由所述流应用环境通过所述分组交换网络来流传输到所述设备的，以及
其中，所述帧刷新事件中的每一个是针对所述多个帧中的对应帧，并且是基于所述设备的帧刷新率来生成的；
生成所述输出显示表示的另外的帧，其中所述输出显示表示的所述另外的帧是基于以下来生成的：(a)所述输入事件以及(b)所述帧刷新事件，所述帧刷新事件均是基于所述设备的帧刷新率来生成的；和
通过所述分组交换网络向所述设备流传输所述输出显示表示的所述另外的帧，所述另外的帧是基于所述输入事件和基于所述帧刷新事件来生成的。
2.根据权利要求1所述的方法，其中，生成所述输出显示表示的所述另外的帧，包括：
为所述流应用环境的虚拟流应用生成和所述多个帧中与所述帧刷新事件相关联的帧相对应的虚拟帧，其中生成所述虚拟帧是以基于与所述帧刷新事件一起包括的时间戳的虚拟帧刷新率来进行的；和
基于生成的虚拟帧来生成所述另外的帧。
3.根据权利要求2所述的方法，其中，以基于与所述帧刷新事件一起包括的所述时间戳的所述虚拟帧刷新率生成所述虚拟帧包括与以下相关来生成所述虚拟帧：所述时间戳、相对最小的单向网络延迟以及最大回放延迟。
4.根据权利要求3所述的方法，其中，所述最大回放延迟是基于在所述分组交换网络中的观察到的网络抖动来确定的。
5.根据权利要求2所述的方法，其中，为所述虚拟流应用生成和与所述帧刷新事件相关联的帧相对应的所述虚拟帧包括：
对接收到的输入事件向所述虚拟流应用的注入进行同步，以将所述输入事件排列在和与接收到的输入事件相关联的帧相对应的虚拟帧内。
6.根据权利要求5所述的方法，其中，对所述输入事件向所述虚拟流应用的注入进行同步是基于所述输入事件所包括的时间戳。
7.根据权利要求6所述的方法，进一步包括：基于所述时间戳来对所述输入事件进行排队，并且其中，对所述输入事件向所述虚拟流应用的所述注入进行同步包括：对排队的输入事件的注入进行同步。
8.根据权利要求7所述的方法，其中，对排队的输入事件向所述虚拟流应用的注入进行同步包括：
忽略是重复的任何排队的输入事件；
注入按时的任何排队的输入事件；
丢弃迟到的任何排队的输入事件；以及
继续排队早到的任何排队的输入事件。
9.根据权利要求1所述的方法，其中，所述分组交换网络包括因特网。
10.根据权利要求1所述的方法，其中，所述设备包括移动电话、平板计算机、可穿戴计算机或车辆计算机。
11.根据权利要求1所述的方法，其中，每个输入事件与指向所述设备的触摸屏的用户输入相关联。
12.一种用于同步输入事件的系统，所述系统包括：
一个或多个流应用服务器；
设备，所述设备通过分组交换网络耦合到所述一个或多个流应用服务器，其中，所述设备包括：
显示器，
用户输入组件，
存储器，和
一个或多个处理器，所述一个或多个处理器执行存储在所述存储器中的指令以：
通过所述分组交换网络从所述流应用服务器接收输出显示表示，所述输出显示表示是由所述一个或多个流应用服务器的虚拟流应用生成的；
在所述显示器上渲染接收到的输出显示表示的多个帧；
响应于在渲染所述多个帧期间在所述用户输入组件处接收到的输入，通过所述分组交换网络向所述流应用服务器发出输入事件以用于通信，其中所述输入事件中的每一个与所述多个帧中的在其间接收到相关联的该输入事件的对应帧相关联；
通过所述分组交换网络向所述流应用服务器发出帧刷新事件以用于通信，其中所述帧刷新事件中的每一个是针对所述多个帧中的对应帧并且是基于所述设备的帧刷新率来生成的；
其中，所述流应用服务器包括一个或多个服务器处理器，所述一个或多个服务器处理器执行指令以：
接收所述输入事件和所述帧刷新事件；
为所述虚拟流应用生成和与所述帧刷新事件相关联的帧相对应的虚拟帧，其中生成所述虚拟帧是以基于与所述帧刷新事件一起包括的时间戳的虚拟帧刷新率来进行的，其中与所述帧刷新事件一起包括的所述时间戳是基于所述设备的所述帧刷新率；以及
对接收到的输入事件向所述虚拟流应用的注入进行同步，以将所述输入事件排列在和与接收到的输入事件相关联的帧相对应的虚拟帧内。
13.根据权利要求12所述的系统，其中，所述分组交换网络包括因特网。
14.根据权利要求12所述的系统，其中，所述设备包括移动电话、平板计算机、可穿戴计算机或车辆计算机。
15.根据权利要求12所述的系统，其中，在以基于与所述帧刷新事件一起包括的所述时间戳的所述虚拟帧刷新率生成所述虚拟帧时，所述服务器处理器中的一个或多个用于：
与以下相关来生成所述虚拟帧：所述时间戳、相对最小的单向网络延迟以及最大回放延迟。
16.根据权利要求15所述的系统，其中，所述最大回放延迟是基于在所述分组交换网络中的观察到的网络抖动来确定的。
17.根据权利要求12所述的系统，其中，在对所述输入事件向所述虚拟流应用的注入进行同步时，所述服务器处理器中的一个或多个用于基于与所述输入事件一起包括的时间戳来对所述输入事件的注入进行同步。
18.根据权利要求17所述的系统，其中，在执行所述指令时，所述服务器处理器中的所述一个或多个进一步用于基于所述时间戳来对所述输入事件进行排队，并且其中，在对所述输入事件向所述虚拟流应用的注入进行同步时，所述服务器处理器中的一个或多个用于对排队的输入事件的注入进行同步。
19.根据权利要求12所述的系统，其中，所述设备的所述显示器是触摸屏，并且其中，每个输入事件与指向所述触摸屏的用户输入相关联。
20.一种用于同步输入事件的系统，所述系统包括：
一个或多个流应用服务器，所述一个或多个流应用服务器通过分组交换网络耦合到设备，其中，所述一个或多个流应用服务器包括一个或多个服务器处理器，所述一个或多个服务器处理器执行指令以：
接收输入事件和帧刷新事件，所述输入事件和所述帧刷新事件是通过所述分组交换网络来传送到所述一个或多个流应用服务器的，
其中，所述输入事件是响应于输入而被传送到所述一个或多个流应用服务器，所述输入是在与所述设备相关联的用户输入组件处接收到的，
其中，所述输入是在由所述设备渲染输出显示表示的多个帧期间在所述用户输入组件处接收的，所述输出显示表示是由所述一个或多个流应用服务器通过所述分组交换网络来流传输到所述设备的，以及
其中，所述帧刷新事件中的每一个是针对所述帧中的对应帧，并且是基于所述设备的帧刷新率来生成的；
生成所述输出显示表示的另外的帧，其中所述输出显示表示的所述另外的帧是基于以下来生成的：(a)所述输入事件以及(b)所述帧刷新事件，所述帧刷新事件均是基于所述设备的帧刷新率来生成的；和
通过所述分组交换网络向所述设备流传输所述输出显示表示的所述另外的帧，所述另外的帧是基于所述输入事件和基于所述帧刷新事件来生成的。
21.一种用于同步输入事件的方法，所述方法包括，在包括一个或多个处理器的流应用环境中：
将虚拟流应用与通过分组交换网络耦合到所述流应用环境的远程设备对接，包括：从所述分组交换网络接收输入，所述输入是响应于在所述远程设备处显示的输出显示表示而在所述远程设备处生成的；
从所述远程设备接收帧刷新事件，每个帧刷新事件与所述远程设备上的帧相关联并且是基于所述远程设备的帧刷新率来生成的；
从所述远程设备接收输入事件，每个输入事件与在所述远程设备上的帧期间生成的输入相关联；
由所述虚拟流应用响应于所接收的帧刷新事件和所接收的输入事件，生成所述输出显示表示的另外的帧；以及
将响应于接收到的输入由所述虚拟流应用生成的输出显示表示通过所述分组交换网络流传输到所述远程设备。
22.根据权利要求21所述的方法，其中，响应于所述输入事件并基于所述帧刷新事件来生成所述输出显示表示的另外的帧包括：在所述虚拟流应用处处理所述输入事件和帧刷新事件。
23.根据权利要求22所述的方法，进一步包括：对所接收的输入事件向所述虚拟流应用处生成的虚拟帧的注入进行控制。
24.根据权利要求23所述的方法，其中，所述虚拟帧对应于与所述输入相关联的帧。
25.根据权利要求21所述的方法，其中，响应于所接收的帧刷新事件和所接收的输入事件来生成所述输出显示表示的所述另外的帧包括：
为所述虚拟流应用生成和与所述帧刷新事件相关联的帧相对应的虚拟帧，其中生成所述虚拟帧是以基于与所述帧刷新事件一起包括的时间戳的虚拟帧刷新率来进行的；和
基于生成的虚拟帧来生成所述另外的帧。
CN202110656635.7A 2016-11-18 2017-09-21 同步具有远程设备输入的流应用环境的方法、系统和装置 Active CN113326088B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110656635.7A CN113326088B (zh) 2016-11-18 2017-09-21 同步具有远程设备输入的流应用环境的方法、系统和装置

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201662424167P 2016-11-18 2016-11-18
US62/424,167 2016-11-18
US15/368,535 2016-12-02
US15/368,535 US10623460B2 (en) 2016-11-18 2016-12-02 Streaming application environment with remote device input synchronization
CN202110656635.7A CN113326088B (zh) 2016-11-18 2017-09-21 同步具有远程设备输入的流应用环境的方法、系统和装置
PCT/US2017/052598 WO2018093457A1 (en) 2016-11-18 2017-09-21 Streaming application environment with remote device input synchronization
CN201780071409.4A CN110268720B (zh) 2016-11-18 2017-09-21 同步具有远程设备输入的流应用环境的方法、系统和装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201780071409.4A Division CN110268720B (zh) 2016-11-18 2017-09-21 同步具有远程设备输入的流应用环境的方法、系统和装置

Publications (2)

Publication Number Publication Date
CN113326088A CN113326088A (zh) 2021-08-31
CN113326088B true CN113326088B (zh) 2024-05-14

Family

ID=60020618

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201780071409.4A Active CN110268720B (zh) 2016-11-18 2017-09-21 同步具有远程设备输入的流应用环境的方法、系统和装置
CN202110656635.7A Active CN113326088B (zh) 2016-11-18 2017-09-21 同步具有远程设备输入的流应用环境的方法、系统和装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201780071409.4A Active CN110268720B (zh) 2016-11-18 2017-09-21 同步具有远程设备输入的流应用环境的方法、系统和装置

Country Status (5)

Country Link
US (2) US10623460B2 (zh)
EP (2) EP3542543B1 (zh)
KR (1) KR102077754B1 (zh)
CN (2) CN110268720B (zh)
WO (1) WO2018093457A1 (zh)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10992336B2 (en) 2018-09-18 2021-04-27 Roku, Inc. Identifying audio characteristics of a room using a spread code
US10931909B2 (en) 2018-09-18 2021-02-23 Roku, Inc. Wireless audio synchronization using a spread code
US10958301B2 (en) 2018-09-18 2021-03-23 Roku, Inc. Audio synchronization of a dumb speaker and a smart speaker using a spread code
JP6560801B1 (ja) * 2018-09-26 2019-08-14 株式会社Ｃｙｇａｍｅｓ プログラム、電子装置、及び方法
US11113270B2 (en) 2019-01-24 2021-09-07 EMC IP Holding Company LLC Storing a non-ordered associative array of pairs using an append-only storage medium
US11599546B2 (en) 2020-05-01 2023-03-07 EMC IP Holding Company LLC Stream browser for data streams
US11604759B2 (en) 2020-05-01 2023-03-14 EMC IP Holding Company LLC Retention management for data streams
US11599420B2 (en) 2020-07-30 2023-03-07 EMC IP Holding Company LLC Ordered event stream event retention
CN111813491B (zh) * 2020-08-19 2020-12-18 广州汽车集团股份有限公司 一种车载助手的拟人化交互方法、装置及汽车
US11513871B2 (en) 2020-09-30 2022-11-29 EMC IP Holding Company LLC Employing triggered retention in an ordered event stream storage system
US11755555B2 (en) 2020-10-06 2023-09-12 EMC IP Holding Company LLC Storing an ordered associative array of pairs using an append-only storage medium
US11599293B2 (en) 2020-10-14 2023-03-07 EMC IP Holding Company LLC Consistent data stream replication and reconstruction in a streaming data storage platform
US11816065B2 (en) 2021-01-11 2023-11-14 EMC IP Holding Company LLC Event level retention management for data streams
US12099513B2 (en) 2021-01-19 2024-09-24 EMC IP Holding Company LLC Ordered event stream event annulment in an ordered event stream storage system
US11526297B2 (en) * 2021-01-19 2022-12-13 EMC IP Holding Company LLC Framed event access in an ordered event stream storage system
US11740828B2 (en) 2021-04-06 2023-08-29 EMC IP Holding Company LLC Data expiration for stream storages
US12001881B2 (en) 2021-04-12 2024-06-04 EMC IP Holding Company LLC Event prioritization for an ordered event stream
US11513714B2 (en) 2021-04-22 2022-11-29 EMC IP Holding Company LLC Migration of legacy data into an ordered event stream
US11954537B2 (en) 2021-04-22 2024-04-09 EMC IP Holding Company LLC Information-unit based scaling of an ordered event stream
US11681460B2 (en) 2021-06-03 2023-06-20 EMC IP Holding Company LLC Scaling of an ordered event stream based on a writer group characteristic
US11735282B2 (en) 2021-07-22 2023-08-22 EMC IP Holding Company LLC Test data verification for an ordered event stream storage system
US11971850B2 (en) 2021-10-15 2024-04-30 EMC IP Holding Company LLC Demoted data retention via a tiered ordered event stream data storage system
US11991242B1 (en) * 2022-12-14 2024-05-21 Dell Products L.P. Efficient distributed computing using edge computing devices

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2237526A1 (en) * 2009-03-30 2010-10-06 NEC Corporation Method for optimizing the remote display transfer in thin client computing environment
CN102713848A (zh) * 2009-11-25 2012-10-03 弗雷姆霍克公司 用于使用轻量级客户端通过网络来与虚拟化计算服务对接的方法
CN105103123A (zh) * 2013-02-28 2015-11-25 苹果公司 用于虚拟显示器的系统和方法

Family Cites Families (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6304297B1 (en) * 1998-07-21 2001-10-16 Ati Technologies, Inc. Method and apparatus for manipulating display of update rate
US8189662B2 (en) * 1999-07-27 2012-05-29 Microsoft Corporation Selection compression
WO2000007091A1 (en) * 1998-07-27 2000-02-10 Webtv Networks, Inc. Remote computer access
US6469744B1 (en) * 1999-07-06 2002-10-22 Hitachi America, Ltd. Methods and apparatus for encoding, decoding and displaying images in a manner that produces smooth motion
US6725287B1 (en) * 2000-11-09 2004-04-20 Elity Systems, Inc. Method and system for capturing streaming data by an actionable information engine
GB2373121A (en) * 2001-03-10 2002-09-11 Sharp Kk Frame rate controller
US9047102B2 (en) * 2010-10-01 2015-06-02 Z124 Instant remote rendering
US20040237102A1 (en) * 2003-03-07 2004-11-25 Richard Konig Advertisement substitution
US7583707B2 (en) * 2005-03-25 2009-09-01 Cisco Technology, Inc. System, method and apparatus for controlling a network post-demultiplexing function
US20070255763A1 (en) * 2006-04-27 2007-11-01 International Business Machines Corporation Database replication method and system
US20080134276A1 (en) * 2006-06-30 2008-06-05 Martin Orrell Receiver and aspects thereof
JP2008250961A (ja) * 2007-03-30 2008-10-16 Nec Corp 記憶媒体の制御装置、データ記憶装置、データ記憶システム、方法、及び制御プログラム
KR101498207B1 (ko) * 2008-11-26 2015-03-03 삼성전자주식회사 초고해상도 영상의 프레임 레이트 변환 장치 및 방법
JP5353277B2 (ja) * 2009-02-06 2013-11-27 日本電気株式会社 ストリーム信号伝送装置及び伝送方法
US8732749B2 (en) * 2009-04-16 2014-05-20 Guest Tek Interactive Entertainment Ltd. Virtual desktop services
KR101602221B1 (ko) * 2009-05-19 2016-03-10 엘지전자 주식회사 이동 단말 및 그 제어 방법
US8452846B2 (en) * 2010-08-12 2013-05-28 Talari Networks Incorporated Adaptive private network asynchronous distributed shared memory services
CA2768855A1 (en) 2009-07-24 2011-01-27 Xped Holdings Pty Ltd Remote control arrangement
US8301168B2 (en) * 2009-10-16 2012-10-30 At&T Mobility Ii Llc Devices and methods for selectively filtering message content
CN106843715B (zh) * 2010-10-05 2020-06-26 西里克斯系统公司 用于远程化的应用的触摸支持
US8806054B1 (en) * 2010-12-15 2014-08-12 Amazon Technologies, Inc. Sending application input commands over a network
US9007362B2 (en) * 2011-01-14 2015-04-14 Brian Mark Shuster Adaptable generation of virtual environment frames
CN103329462B (zh) 2011-01-22 2015-03-04 维尔塞特公司 用于高速率光通信的帧格式化
TW201235928A (en) 2011-02-22 2012-09-01 Acer Inc Handheld devices, electronic devices, and data transmission methods and computer program products thereof
US9558013B2 (en) 2011-04-12 2017-01-31 Citrix Systems, Inc. Responsive scroller controls in server-hosted applications
US8984107B2 (en) * 2011-05-26 2015-03-17 Electric Imp Incorporated Optically configured modularized control system to enable wireless network control and sensing of other devices
JPWO2013061525A1 (ja) * 2011-10-26 2015-04-02 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 放送受信装置、再生装置、放送通信システム、放送受信方法、再生方法およびプログラム
US20130159565A1 (en) * 2011-12-14 2013-06-20 Motorola Mobility, Inc. Method and apparatus for data transfer of touch screen events between devices
US20150003296A1 (en) * 2012-01-04 2015-01-01 Hongbing Fan System and method for providing p2p based reconfigurable computing and structured data distribution
US8990849B2 (en) * 2012-02-14 2015-03-24 Verizon Patent And Licensing Inc. Advertisement insertion into media content for streaming
US9743119B2 (en) * 2012-04-24 2017-08-22 Skreens Entertainment Technologies, Inc. Video display system
US8862695B2 (en) * 2012-10-29 2014-10-14 Vmware, Inc. Performance enhancement in virtual desktop infrastructure (VDI)
JP5331935B1 (ja) 2012-12-22 2013-10-30 淳也 榎本 無線による画面表示制御方法及びシステム
US9619673B1 (en) 2013-01-22 2017-04-11 Hypori, Inc. System, method and computer program product for capturing touch events for a virtual mobile device platform
US9703473B2 (en) * 2013-01-24 2017-07-11 Facebook, Inc. Predicting touch input
CN103984494A (zh) * 2013-02-07 2014-08-13 上海帛茂信息科技有限公司 用于多种设备间的直觉式用户互动系统及方法
US9257092B2 (en) * 2013-02-12 2016-02-09 Vmware, Inc. Method and system for enhancing user experience for remoting technologies
US9036084B2 (en) 2013-04-11 2015-05-19 Qualcomm Incorporated Apparatus and method for synchronous display of video data
US9205333B2 (en) 2013-06-07 2015-12-08 Ubisoft Entertainment Massively multiplayer gaming
US20140372506A1 (en) * 2013-06-13 2014-12-18 Microsoft Corporation Managing and using remote applications on a mobile device
US9858899B2 (en) * 2013-06-13 2018-01-02 Microsoft Technology Licensing, Llc Managing transitions of adaptive display rates for different video playback scenarios
US20160127508A1 (en) * 2013-06-17 2016-05-05 Square Enix Holdings Co., Ltd. Image processing apparatus, image processing system, image processing method and storage medium
US9601085B2 (en) 2013-09-20 2017-03-21 Synaptics Incorporated Device and method for synchronizing display and touch controller with host polling
US20180376177A1 (en) * 2013-10-23 2018-12-27 Vidillion, Inc. System and methods for individualized digital video program insertion
TWI516148B (zh) * 2013-10-29 2016-01-01 財團法人工業技術研究院 於車載網路環境中動態調整訊息產生頻率之系統與其方法
KR102102254B1 (ko) 2014-01-15 2020-04-20 삼성전자주식회사 통신 시스템에서 무선 네트워크의 혼잡 검출 장치 및 방법
US9549152B1 (en) * 2014-06-09 2017-01-17 Google Inc. Application content delivery to multiple computing environments using existing video conferencing solutions
US10032430B2 (en) * 2014-09-17 2018-07-24 Mediatek Inc. Processor for use in dynamic refresh rate switching and related electronic device
JP2018028559A (ja) * 2015-01-07 2018-02-22 シャープ株式会社 画像データ出力装置、画像データ出力方法、画像表示装置、および集積回路
KR102272108B1 (ko) * 2015-02-27 2021-07-05 삼성전자주식회사 영상 처리 장치 및 방법
JP6571203B2 (ja) * 2015-03-31 2019-09-04 華為技術有限公司Ｈｕａｗｅｉ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏ．，Ｌｔｄ． モバイル端末のプライバシー保護方法および保護装置、並びにモバイル端末
DE112016006734T5 (de) * 2015-04-26 2019-01-03 Intel Corporation Integriertes Android- und Windows-Gerät
US10241599B2 (en) * 2015-06-07 2019-03-26 Apple Inc. Devices and methods for processing touch inputs
US9910533B2 (en) * 2015-06-19 2018-03-06 Apple Inc. Timing scheme for touch screen supporting variable refresh rate
US10191962B2 (en) * 2015-07-30 2019-01-29 At&T Intellectual Property I, L.P. System for continuous monitoring of data quality in a dynamic feed environment
CN105607859B (zh) 2016-03-02 2018-12-11 腾讯科技（深圳）有限公司 一种数据处理方法和装置
US10219008B2 (en) * 2016-07-29 2019-02-26 At&T Intellectual Property I, L.P. Apparatus and method for aggregating video streams into composite media content
US10764375B2 (en) * 2016-10-13 2020-09-01 Sierraware, Llc Method for cloud based mobile application virtualization

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2237526A1 (en) * 2009-03-30 2010-10-06 NEC Corporation Method for optimizing the remote display transfer in thin client computing environment
CN102713848A (zh) * 2009-11-25 2012-10-03 弗雷姆霍克公司 用于使用轻量级客户端通过网络来与虚拟化计算服务对接的方法
CN105103123A (zh) * 2013-02-28 2015-11-25 苹果公司 用于虚拟显示器的系统和方法

Also Published As

Publication number Publication date
US20180146018A1 (en) 2018-05-24
US11303687B2 (en) 2022-04-12
US10623460B2 (en) 2020-04-14
KR20190085985A (ko) 2019-07-19
CN110268720B (zh) 2021-06-22
EP3542543B1 (en) 2020-03-11
CN110268720A (zh) 2019-09-20
US20200213378A1 (en) 2020-07-02
WO2018093457A1 (en) 2018-05-24
KR102077754B1 (ko) 2020-02-14
EP3745733A1 (en) 2020-12-02
EP3542543A1 (en) 2019-09-25
CN113326088A (zh) 2021-08-31

Similar Documents

Publication Publication Date Title
CN113326088B (zh) 同步具有远程设备输入的流应用环境的方法、系统和装置
US20220308747A1 (en) Streaming application environment with recovery of lost or delayed input events
US10771565B2 (en) Sending application input commands over a network
JP7072677B2 (ja) 仮想シーンのシーン画像を送信するための方法及び装置、コンピュータデバイス並びにコンピュータ読み取り可能記憶媒体
US9549152B1 (en) Application content delivery to multiple computing environments using existing video conferencing solutions
US20180014049A1 (en) Orientation Based, Aspect Ratio Switching Video Playback System
JP2022172232A (ja) ビデオ会議のための補足コンテンツを用いたビデオストリームの修正
CN111221491A (zh) 交互控制方法及装置、电子设备、存储介质
US20240236382A9 (en) Methods, apparatuses, readable media and electronic devices for live stream interaction
KR20230136128A (ko) 클라우드 게이밍에서 사용자 입력을 적응시키는 것에 관한 방법, 장치들 및 시스템들
CN115097994B (zh) 数据处理方法和相关装置
US8868702B2 (en) Server device and program product
US20150039688A1 (en) Self-Adaptive Sample Period for Content Sharing in Communication Sessions
US10506071B2 (en) Method and apparatus for playing multimedia contents in a communication
CN103414867B (zh) 多媒体通话控制方法、终端及系统
US11729239B1 (en) Electronic real-time communications
JP2020127082A (ja) 画像送信装置および画像表示装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant