CN102596342B - 交互式系统中的系统延迟缓解 - Google Patents

交互式系统中的系统延迟缓解 Download PDF

Info

Publication number
CN102596342B
CN102596342B CN201080048116.2A CN201080048116A CN102596342B CN 102596342 B CN102596342 B CN 102596342B CN 201080048116 A CN201080048116 A CN 201080048116A CN 102596342 B CN102596342 B CN 102596342B
Authority
CN
China
Prior art keywords
delay
display
user
postpones
lump
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201080048116.2A
Other languages
English (en)
Other versions
CN102596342A (zh
Inventor
K·拉贾马尼
S·S·索利曼
V·拉维德兰
J·马丁内斯包萨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN102596342A publication Critical patent/CN102596342A/zh
Application granted granted Critical
Publication of CN102596342B publication Critical patent/CN102596342B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35—Details of game servers
    • A63F13/358—Adapting the game course according to the network or server load, e.g. for reducing latency due to different connection speeds between clients
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/33—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using wide area network [WAN] connections
    • A63F13/332—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using wide area network [WAN] connections using wireless networks, e.g. cellular phone networks
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35—Details of game servers
    • A63F13/355—Performing operations on behalf of clients with restricted processing capabilities, e.g. servers transform changing game scene into an encoded video stream for transmitting to a mobile phone or a thin client
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/32—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using local area network [LAN] connections
    • A63F13/327—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using local area network [LAN] connections using wireless networks, e.g. Wi-Fi® or piconet
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1025—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals details of the interface with the game device, e.g. USB version detection
    • A63F2300/1031—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals details of the interface with the game device, e.g. USB version detection using a wireless connection, e.g. Bluetooth, infrared connections
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/20—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of the game platform
    • A63F2300/209—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of the game platform characterized by low level software layer, relating to hardware management, e.g. Operating System, Application Programming Interface
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/30—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/40—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of platform network
    • A63F2300/406—Transmission via wireless network, e.g. pager or GSM
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/50—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
    • A63F2300/53—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of basic data processing
    • A63F2300/534—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of basic data processing for network load management, e.g. bandwidth optimization, latency reduction
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/50—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
    • A63F2300/53—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of basic data processing
    • A63F2300/538—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of basic data processing for performing operations on behalf of the game client, e.g. rendering
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/61—Score computation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种方法发送信号以在显示器上渲染视觉信息，并接收用户对所渲染的视觉信息的响应。该用户响应包括第一延迟。该方法还向电子系统查询指示第二延迟的数据。该第二延迟是第一延迟的一部分并能归因于该电子系统。该方法进一步使用此指示第二延迟的数据来补偿在与用户交互期间的电子系统延迟。

Description

交互式系统中的系统延迟缓解
背景
领域
本公开一般涉及交互式电子系统，并且尤其涉及缓解交互式电子系统中的系统延迟效应。
背景
游戏应用通常在主机控制台/计算机上运行，该主机控制台/计算机在经由导线附连到该主机平台的显示器上渲染游戏的输出。如此，在游戏应用递交要被显示的帧的时刻与该帧为游戏玩家可见的时刻之间所招致的系统延迟通常是人类察觉不到的，并且相对于后续人类经由操纵杆或其他人工接口设备(HID)来响应于此视觉刺激的延迟而言通常是可忽略的。典型的游戏应用假定帧更新被递交给操作系统(OS)/图形子系统的时刻与从游戏玩家接收到HID响应的时刻之间的延迟主要是游戏玩家的延迟(用户的手眼协调的功能)。该延迟可被用来评判玩家的响应并可影响该游戏应用所作出的后续决策。如果此居间延迟的显著部分是由端到端系统在渲染该帧时的等待时间所引起的，那么上述假定即无效，并且游戏玩家可能受到不公平的惩罚。
目前，无线显示器技术正在发展中并开始商品化。典型的无线显示器包括无线主机和无线客户端，该无线客户端接收来自该无线主机的信号并将视觉信息渲染在显示器上。常规的无线显示器系统引入一定量的人类可察觉的延迟。
一种缓解无线显示器系统延迟效应的办法是使该延迟尽可能最小化。一种使延迟最小化的途径是使用高带宽的无线链路，诸如多个天线上的60GHz链路。高带宽链路的使用可消除在将帧传送到显示器之前先要压缩这些帧的需要，其中通常预期压缩和解压缩会造成延迟。然而，此类解决方案对于电池供电的设备而言可能是不适合的，这样的设备可能无法越空输出未经压缩的视频或在实践上支持大量天线。
概述
根据一个实施例，一种方法包括接收用户对视觉信息的响应，该用户响应包括第一延迟。该方法还包括向电子系统查询指示第二延迟的数据，该第二延迟是该第一延迟的一部分并且能归因于该电子系统。该方法进一步包括使用此指示第二延迟的数据来补偿在与用户交互期间的电子系统延迟。
根据另一实施例，一种电子系统包括与人工接口设备(HID)和显示器子系统处于通信的用户接口设备。该用户接口设备包括向该显示器子系统发送信号以渲染视觉刺激的视觉发生单元。该用户接口设备还包括用户交互单元，用于接收与该视觉刺激相关联的响应，向该电子系统的至少一部分查询指示该电子系统的延迟的数据，以及响应于此指示延迟的数据来调整与该用户的交互。
在另一实施例中，一种系统包括用于与用户交互的装置。该交互装置包括用于控制设备向该用户渲染数据的装置，用于接收用户对所渲染的数据的响应的装置，用于辨别此用户响应中能归因于至少一个电子子系统的延迟量的装置，以及用于补偿能归因于该至少一个电子子系统的延迟的装置。
在又一实施例中，一种有形地实施其上记录有计算机程序逻辑的计算机可读介质的计算机程序产品包括接收用户对刺激的响应的代码。该逻辑还具有辨别此用户响应中能归因于电子系统的延迟部分的代码，以及缓和在与用户的交互中此能归因于电子系统的延迟的效应的代码。
在另一实施例中，一种系统包括与人工接口设备(HID)和显示器系统处于通信的视频游戏系统。该视频游戏系统分别向HID和显示器系统查询与能归因于该HID和显示器系统的等待时间相关联的信息，并使用此与等待时间相关联的信息来调整与人类用户的交互。
在另一实施例中，一种系统包括显示器子系统。该显示器子系统包括主机单元和具有显示面板的客户端单元。该主机单元与来自请求单元的应用编程接口(API)通信，响应于该API向该客户端单元查询能归因于该客户端单元的等待时间，使用此能归因于客户端单元的等待时间来演算显示器子系统集总等待时间，并将指示此显示器子系统集总等待时间的信息发送给该请求单元。
前述内容已较宽泛地勾勒出本公开的特征和技术优势以力图使下面的详细描述可以被更好地理解。其他特征和优点将在此后描述，它们构成了本公开的权利要求的主题。本领域的技术人员应该领会，所公开的构思和具体实施例可容易地被用作改动或设计用于实施与本公开相同的目的的其他结构的基础。本领域的技术人员还应认识到，这样的等效构造并不脱离所附权利要求中所阐述的本公开的技术。被认为是本公开的特性的新颖特征在其组织和操作方法两方面连同进一步的目的和优点在结合附图来考虑以下描述时将被更好地理解。然而要清楚理解的是，提供每一幅附图均仅用于解说和描述目的，且无意作为对本公开的限定的定义。
附图简述
图1是根据本公开的一个实施例来适配的示例性系统的解说。
图2是可能出现在诸如图1的系统之类的系统中的延迟的解说。
图3是根据一实施例来适配的示例性过程的解说。
图4是根据一实施例来适配的示例性过程的解说。
详细描述
图1是根据本公开的一个实施例来适配的示例性系统100的解说。系统100包括用户交互控制台102，其示例可包括视频游戏控制台或其他交互式设备。用户通过使用HID 101来与用户交互控制台102交互，该HID被示为按键板，但也可包括操纵杆或任何其他有线或无线控制器。
用户交互控制台102与显示器主机103交换控制信号，并向其传送媒体信号。例如，在视频游戏系统示例中，用户交互控制台102将声音和视频信号发送至显示器主机103以在显示器104上被渲染。视频信号通常被渲染为帧，但是在显示器上渲染视觉信息的任何技术均落在各实施例的范围内。
显示器主机103使用无线链路110与显示器客户端104通信。能被适配成供实施例中使用的无线链路的示例包括空白空间信道、IEEE 802.11链路、超宽带(UWB)链路、蓝牙TM链路、和类似链路。在此示例中，显示器主机103接收来自用户交互式控制台102的音频和视频信号，将这些信号压缩并编码，并将这些信号传送给显示器客户端104。显示器客户端104随后将这些信号解压缩和解码，处理这些信号，并将该音频和视频信息呈现在屏幕和扬声器上。
图1中，链路110被示为无线链路，且设备102与103之间的链路和设备102与101之间的链路被示为有线链路。然而，给定链路可以是有线或无线的，这落在各实施例的范围内。此外，尽管系统100的各种组件被示为分开的，但是一个或更多个此类组件可被整合到一个或更多个设备中，这落在各实施例的范围内。例如，一个实施例包括与分开的无线显示器子系统处于通信的视频游戏控制台。在另一实施例中，计算机包括用户交互控制台102和与自立的无线显示器处于通信的显示器主机103。
用户交互控制台102、显示器主机103、以及显示器客户端104的功能性在以下更详细地描述。此类功能性可由硬件或软件执行并且在许多实施例中由一个或更多个执行存储到计算机可读存储介质的代码的计算机处理器来提供。在一些实施例中，提供此功能性的计算机处理器和其上存储有代码的存储器被包括在芯片集中供安装在各种设备之中的任何设备中。系统100的功能性由芯片集112、113和114提供，其分别被安装在用户交互控制台102、显示器主机103、以及显示器客户端104中。此外，用户交互控制台102的各种功能性可由写到计算机可读介质的计算机可执行代码(例如，视频游戏代码)来提供，该计算机可读介质诸如是游戏卡带、通用串行总线(USB)闪速驱动器、数字视频碟(DVD)或压缩碟(CD)只读存储器(ROM)、内部随机存取存储器(RAM)和/或ROM或类似介质。
系统100由于由显示器主机103和显示器客户端104对信号的处理而体验到人类可察觉的延迟。具体而言，系统100体验到一定量的能归因于信号的编码/解码、压缩/解压缩、以及传输的等待时间。还有额外的等待时间能归因于HID 101以及由用户交互式控制台102执行的处理，尽管相比与无线显示器系统等待时间而言这些额外的等待时间是可忽略的。
图2是可能出现在诸如图1的系统100之类的系统中的延迟的解说。从左向右跨时间线200移动，最左边的时间201是用户交互控制台发送信号以在显示器上渲染视觉数据的时间。存在第一流逝时间D，其为显示器系统延迟。对于有线系统而言，显示器系统延迟D通常小于无线显示器子系统将具有的显示器系统延迟。还存在用户响应延迟U，其从帧被渲染到光栅上开始直到该用户响应为止。HID系统延迟H是从该用户按下按钮或以其他方式与HID交互的时间到用户交互控制台接收到该用户响应的时间的延迟。用户交互式控制台处理该用户响应而招致控制台处理延迟G，并在时间202渲染下一帧。渲染下一帧还招致下一个显示器系统延迟D(该延迟可能与第一个显示器系统延迟D相同也可能不同)。所察觉到的用户响应延迟GU是从该帧被渲染的时间到该用户响应被用户交互式控制台察觉到的时间的延迟。所察觉到的系统响应延迟UG是如用户所察觉到的系统响应延迟。
在理想的系统中，HID系统延迟H为零且显示器系统延迟D为零，并且用户交互式控制台(或底下的交互式应用，例如视频游戏软件)可假定用户响应延迟GU等于U。在一些实例中，当所察觉到的用户响应延迟GU非常小时，假定所察觉到的用户响应延迟GU等于用户响应延迟U是可接受的。然而，当显示器系统延迟D或HID系统延迟H很大时，假定所察觉到的用户响应延迟GU等于用户响应延迟U通常是不可接受的，在步调很快的视频游戏中尤甚。在各种实施例中，用户交互式控制台从所察觉到的用户响应延迟GU减去显示器系统延迟D和HID系统延迟H，以准确地估计延迟中的用户分量以评价该用户的响应。另一个的问题是当该用户与HID交互时，该用户通常期望来自控制台的即时响应。无论控制台反应是否迅速，如果所察觉到的系统响应延迟UG很大，则该用户就会感觉该控制台是很迟缓的。然而，这样的问题不是本公开所针对解决的。
图3是根据一实施例来适配的示例性过程300的解说。过程300可例如由诸如图1的系统100之类的系统来执行。过程300包括各种功能单元之间或之中的动作，这些功能单元诸如是交互式应用301(例如，在用户交互式控制台上运行的软件应用(例如游戏))、OS显示器子系统302(例如，用户交互式控制台或显示器子系统主机的OS的单元)、显示器主机的无线显示器主机驱动器303、无线显示器客户端接收机304、以及显示面板305。图3示出了使用无线显示器，但是图3中所示的关于辨别显示延迟的概念也能被应用于使用有线显示器的系统。
交互式用户应用301作出接口调用(经由应用编程接口-API)以查询要从对所察觉到的用户响应延迟GU的计算中因子析出的显示器系统集总延迟D。在本示例中使用无线显示器的OS显示器子系统302包括与和该无线显示器通信的无线子系统的接口。交互式用户应用301使用本地API查询OS显示器子系统302，并且OS显示器子系统302返回显示器系统集总延迟D的值。
在此示例中，OS显示器子系统302本身不知道显示器系统集总延迟D的值，因为显示器系统集总延迟D是包括来自无线显示器主机驱动器303和无线显示器客户端接收机304的延迟的集总延迟。例如：无线显示器主机驱动器303本身进行一些处理，例如压缩等；无线传输涉及延迟，诸如媒体接入延迟之类；并且无线显示器客户端接收机304执行解码，而解码涉及延迟。显示面板305中的光栅也具有一定延迟。在其中各种组件来自一个供应商的场景中，这些不同的延迟有可能可以先验已知。相反，在其中显示器来自一个供应商、且用户交互式控制台来自另一供应商的系统中，客户端消息收发可查询各种组件来演算延迟的各种分量，如图3中所示。
OS显示器子系统302使用API向无线显示器主机驱动器303发送查询来询问关于显示器系统集总延迟D，该延迟在本示例中包括主机处理延迟加上传输延迟加上客户端处理延迟和面板渲染延迟(例如，光栅延迟)。客户端处理延迟和面板渲染延迟能归因于无线显示器客户端接收机304和显示面板305。无线显示器主机驱动器303和无线显示器客户端接收机304使用双向客户端消息收发来最终将接收机延迟信息投递给无线显示器主机驱动器303。无线显示器主机驱动器303随后计算主机处理延迟、传输延迟、以及能归因于无线显示器客户端接收机304和显示面板305的延迟的总和。无线显示器主机驱动器303随后将指示显示器系统集总延迟D的信息传递给OS显示器子系统302，该OS显示器子系统将该信息传递给交互式用户应用301。
过程300可由各种实施例在各种时间之中的任何时间执行。例如，过程300可以随每帧执行，每个游戏会话执行一次，按有规律的间隔来执行，或以类似方式执行。如果显示器系统集总延迟D帧与帧之间变动显著，则按诸如每帧一次之类的有规律的间隔来执行过程300可能是可取的，但如果变动较小，则不那么频繁地执行过程300就减少了开销。在许多情形中，可假定当编码延迟不显著变动时帧间延迟的变动不显著。然而，能归因于传输的延迟取决于例如有多少内容正在传输等而变动。所使用的API可以是同步或者异步的(随结果告示回调或事件)并且可独立于渲染显示数据的调用地被调起。附加地或替换地，可将查询与渲染显示数据的OS调用相组合。
图4是根据一实施例来适配的示例性过程400的解说。过程400类似于过程300，区别仅在于过程400是演算能归因于HID的延迟的技术，该延迟在图2中称为HID系统延迟H。在一些实施例中，HID是能被归因的延迟很显著的无线设备。另一方面，在一些实施例中，HID是能被归因的延迟很少的设备。在任一情形中，过程400均可由交互式用户应用301执行以辨别HID系统延迟H，这样就可演算能归因于用户的延迟。图4示出了使用无线HID，但是图4中所示出的关于辨别HID延迟的概念也可被应用于使用有线HID的系统。
交互式用户应用301向OS HID子系统402发送请求关于能归因于该HID的延迟的信息的查询。OS HID子系统402随后藉由API向无线HID主机驱动器403发送查询。HID集总延迟H包括主机处理延迟和外围设备延迟。外围设备延迟能归因于无线HID外围设备404本身，并包括输入/输出延迟和传输延迟。无线HID主机驱动器403和无线HID外围设备404使用双向查询消息收发来将指示能归因于无线HID外围设备404的延迟的信息投递给无线HID主机驱动器403。无线HID主机驱动器403随后演算HID集总延迟H，并将指示HID系统集总延迟H的信息发送给OS HID子系统402，该OS HID子系统将该信息传递给交互式用户应用301。
在用户交互式控制台和HID来自相同供应商的系统中，HID延迟可以是先验已知的。另一方面，在用户交互式控制台和HID来自不同供应商(或否则未知)的情形下，可执行过程400。
类似于过程300，可在启动时，在每一帧，按有规律的间隔，或以类似方式执行过程400。各实施例可执行方法300和/或400来适应于改变中的系统配置、改变中的带宽和计算要求、以及其他影响延迟的因素。
一旦交互式用户应用301具有指示显示系统集总延迟D和HID系统延迟H两者的信息，交互式用户应用301就能推导出哪个延迟是系统延迟以及哪个延迟是用户延迟。此类推导出的信息可随后被用户交互式控制台使用以缓解系统延迟的效应。在一个示例中，用户交互式控制台通过在评判用户的响应时不计入所演算出的系统延迟来调整自己与该用户的交互。在视频游戏的上下文中，根据用户的响应给予该用户的奖励或惩罚被调整以使得不因系统延迟而惩罚该用户。换言之，此类示例系统补偿其本身的延迟。
尽管以上给出的一些示例是在视频游戏的上下文中，但是并非所有的实施例都受限于此。各种实施例可被适配成供与视频游戏系统一起使用，并且其他实施例可被适配成供在用户延迟影响交互的各种其他应用之中的任何应用中使用。例如，各实施例可在利用图形用户接口(GUI)的个人电脑中实现以更为精确地演算用户鼠标移动或键敲击的上下文。附加的示例包括在无线触摸显示器校准单元中实现实施例以在检测多次触摸手势时计及系统延迟。
各种实施例包括胜过其他技术的优势。例如，各种实施例可比使用高带宽链路来降低延迟的更为功率密集的系统更好地适配成供与电池供电的设备一起使用。此外，对查询和响应使用闭环技术的实施例可以是能被适配成供与不同的主机平台、传输链路类型、以及显示器平台实现一起使用的。
尽管已详细描述了本公开及其优点，但是应当理解，可在本文中作出各种改变、替代和变更而不会脱离如由所附权利要求所定义的本公开的技术。此外，本申请的范围无意被限定于说明书中所描述的过程、机器、制造、物质组成、装置、方法和步骤的特定实施例。如本领域的普通技术人员将容易从本公开领会到的，可以利用根据本公开的现存或今后开发的与本文所描述的相应实施例执行基本相同的功能或实现基本相同结果的过程、机器、制造、物质组成、装置、方法或步骤。相应地，所附权利要求旨在将这样的过程、机器、制造、物质组成、装置、方法或步骤包括在其范围内。

Claims (23)

1.一种方法，包括：
接收对视觉信息的响应，所述响应包括第一延迟；
向电子系统查询指示第二延迟的数据，所述第二延迟是所述第一延迟的部分并且能归因于所述电子系统，并且所述指示第二延迟的数据包括指示显示器集总延迟的数据，所述指示显示器集总延迟的数据包括指示主机处理延迟、主机无线传输延迟、客户端无线处理延迟以及显示面板渲染延迟的数据；以及
使用所述指示第二延迟的数据来补偿与用户交互期间的电子系统延迟。
2.如权利要求1所述的方法，其特征在于，所述方法由基于处理器的游戏控制台执行。
3.如权利要求1所述的方法，其特征在于，所述第二延迟包括：
能归因于作为所述电子系统的部分的无线显示器单元的等待时间。
4.如权利要求1所述的方法，其特征在于，所述第二延迟包括：
能归因于作为所述电子系统的部分的人工接口设备(HID)的等待时间，所述HID提供所述响应。
5.如权利要求1所述的方法，其特征在于，所述电子系统包括控制无线显示器的无线主机，并且其中向所述电子系统查询包括：
使用应用编程接口(API)来向所述无线主机发送演算所述显示器集总延迟的请求。
6.如权利要求1所述的方法，其特征在于，所述主机处理延迟包括编码和压缩延迟，并且其中所述客户端无线处理延迟包括解码和解压缩延迟。
7.如权利要求1所述的方法，其特征在于，所述电子系统包括控制无线显示器的无线主机，其中所述无线主机和无线显示器包括来自不同制造商的设备，并且其中向所述电子系统查询包括：
使用应用编程接口(API)来向所述无线主机发送演算显示器集总延迟的请求，所述显示器集总延迟是所述第二延迟的部分。
8.如权利要求1所述的方法，其特征在于，所述指示第二延迟的数据被用来演算能归因于所述用户的延迟。
9.如权利要求1所述的方法，其特征在于，使用所述指示第二延迟的数据包括：
辨别所述第一延迟中不能归因于所述用户的量；以及
基于能归因于所述用户的延迟来确定是否要因所接收到的响应惩罚或奖赏所述用户。
10.一种电子系统，包括：
与人工接口设备(HID)和显示器子系统处于通信的用户接口设备，所述用户接口设备包括：
视觉发生单元，用于向所述显示器子系统发送信号以渲染视觉刺激；以及
用户交互单元，用于接收与所述视觉刺激相关联的响应，向所述电子系统的至少一部分查询指示所述电子系统的延迟的数据，以及响应于所述指示延迟的数据来调整与用户的交互，其中所述指示延迟的数据包括指示显示器集总延迟的数据，所述指示显示器集总延迟的数据包括指示主机处理延迟、主机无线传输延迟、客户端无线处理延迟以及显示面板渲染延迟的数据。
11.如权利要求10所述的电子系统，其特征在于，所述显示器子系统包括与所述用户接口设备处于通信的无线显示器主机、以及无线显示器客户端。
12.如权利要求11所述的电子系统，其特征在于，所述电子系统的所述延迟包括能归因于所述无线显示器主机和所述无线显示器客户端的延迟。
13.一种系统，包括：
用于与用户交互的装置，包括：
用于控制设备向所述用户渲染数据的装置；
用于接收用户对所渲染的数据的响应的装置；
用于辨别所述用户响应中能归因于至少一个电子子系统的延迟量的装置；以及
用于补偿能归因于所述至少一个电子子系统的延迟的装置，其中所述延迟包括显示器集总延迟，所述显示器集总延迟包括主机处理延迟、主机无线传输延迟、客户端无线处理延迟以及显示面板渲染延迟。
14.如权利要求13所述的系统，其特征在于，所述用于辨别延迟量的装置包括：
用于使用应用编程接口(API)来向显示器子系统请求等待时间信息的装置。
15.如权利要求13所述的系统，其特征在于，所述用于辨别延迟量的装置包括：
用于使用应用编程接口(API)来向人工接口设备(HID)请求等待时间信息的装置。
16.如权利要求13所述的系统，其特征在于，所述系统包括与显示器子系统处于通信的视频游戏控制台。
17.一种系统，包括：
与人工接口设备(HID)和显示器系统处于通信的视频游戏系统，所述视频游戏系统分别向所述HID和显示器系统查询与能归因于所述HID和显示器系统的等待时间相关联的信息，并使用所述与等待时间相关联的信息来调整与人类用户的交互，其中所述与等待时间相关联的信息包括指示显示器集总延迟的信息，所述指示显示器集总延迟的信息包括指示主机处理延迟、主机无线传输延迟、客户端无线处理延迟以及显示面板渲染延迟的信息。
18.如权利要求17所述的系统，其特征在于，所述视频游戏系统与无线显示器系统处于通信。
19.如权利要求17所述的系统，其特征在于，所述视频游戏系统包括视频游戏控制台。
20.如权利要求17所述的系统，其特征在于，所述视频游戏系统使用应用编程接口(API)来向所述HID和显示器系统查询。
21.一种系统，包括：
显示器子系统，包括：
主机单元；以及
具有显示面板的客户端单元，所述主机单元与来自请求单元的应用编程接口(API)通信，响应于所述API向所述客户端单元查询能归因于所述客户端单元的等待时间，使用所述能归因于所述客户端单元的等待时间来演算显示器子系统集总等待时间，并将指示所述显示器子系统集总等待时间的信息发送给所述请求单元，其中所述指示所述显示器子系统集总等待时间的信息包括指示客户端无线处理延迟以及显示面板渲染延迟的信息。
22.如权利要求21所述的系统，其特征在于，所述主机单元和客户端单元无线地通信。
23.如权利要求21所述的系统，其特征在于，所述主机单元使用双向客户端请求消息收发来向所述客户端单元查询。
CN201080048116.2A 2009-10-21 2010-10-21 交互式系统中的系统延迟缓解 Active CN102596342B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/603,344 2009-10-21
US12/603,344 US8674935B2 (en) 2009-10-21 2009-10-21 System delay mitigation in interactive systems
PCT/US2010/053531 WO2011050155A1 (en) 2009-10-21 2010-10-21 System delay mitigation in interactive systems

Publications (2)

Publication Number Publication Date
CN102596342A CN102596342A (zh) 2012-07-18
CN102596342B true CN102596342B (zh) 2015-06-03

Family

ID=43383498

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080048116.2A Active CN102596342B (zh) 2009-10-21 2010-10-21 交互式系统中的系统延迟缓解

Country Status (6)

Country Link
US (1) US8674935B2 (zh)
EP (1) EP2490777B1 (zh)
JP (3) JP2013508091A (zh)
CN (1) CN102596342B (zh)
TW (1) TW201136640A (zh)
WO (1) WO2011050155A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8674935B2 (en) * 2009-10-21 2014-03-18 Qualcomm Incorporated System delay mitigation in interactive systems
US20130274626A1 (en) * 2012-04-13 2013-10-17 UE Technology Measuring method for synchronizing bio-signals with stimulations
CN103376888A (zh) * 2012-04-23 2013-10-30 慧智网股份有限公司 可携式装置运作游戏的方法
KR102646030B1 (ko) 2016-12-15 2024-03-12 삼성전자주식회사 영상제공장치, 그의 제어 방법 및 영상제공시스템
US10942588B2 (en) * 2019-03-02 2021-03-09 Microsoft Technology Licensing, Llc Latency adjustment of user input devices
WO2021183158A1 (en) * 2020-03-12 2021-09-16 Google Llc Latency-aware player input filtering for player interactive windows in cloud gaming
US20220109617A1 (en) * 2020-10-06 2022-04-07 Nvidia Corporation Latency determinations for human interface devices
JP2023064256A (ja) * 2021-10-26 2023-05-11 シャープディスプレイテクノロジー株式会社 アクティブマトリクス基板及び表示装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6384821B1 (en) * 1999-10-04 2002-05-07 International Business Machines Corporation Method and apparatus for delivering 3D graphics in a networked environment using transparent video
CN1460031A (zh) * 2001-03-29 2003-12-03 皇家菲利浦电子有限公司 多人游戏中网络等待时间的补偿
EP1086731B1 (en) * 1999-09-14 2007-05-23 Sega Corporation Synchronous data processing method
JP2008125721A (ja) * 2006-11-20 2008-06-05 Konami Digital Entertainment:Kk ゲーム装置、操作評価方法、および、プログラム

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3526019B2 (ja) * 1999-11-30 2004-05-10 インターナショナル・ビジネス・マシーンズ・コーポレーション 画像表示システム、画像表示装置、および画像表示方法
JP2001175281A (ja) * 1999-12-20 2001-06-29 Seiko Epson Corp 動作指令処理方法および動作指令処理装置並びに動作指令処理プログラムを記録した記録媒体
JP2002026926A (ja) * 2000-07-07 2002-01-25 Sony Corp 無線伝送方法および無線伝送装置
DE10038749A1 (de) * 2000-08-09 2002-02-28 Fraunhofer Ges Forschung Verfahren und Vorrichtung zur Herstellung einer optisch antireflektierenden Oberfläche
JP2002152699A (ja) * 2000-11-09 2002-05-24 Nippon Telegr & Teleph Corp <Ntt> 動画像を同期して再生する方法及びそのシステム
JP2003005947A (ja) * 2001-06-25 2003-01-10 Toshiba Corp サーバ装置、携帯端末、コンテンツ配信方法、コンテンツ受信方法及びプログラム
US7053863B2 (en) * 2001-08-06 2006-05-30 Ati International Srl Wireless device method and apparatus with drawing command throttling control
US7451460B2 (en) * 2001-11-15 2008-11-11 General Instrument Corporation Programming interface for configuring a television settop terminal
JP4404180B2 (ja) * 2002-04-25 2010-01-27 ソニー株式会社 データ配信システム、データ処理装置及びデータ処理方法、並びにコンピュータ・プログラム
JP4817658B2 (ja) * 2002-06-05 2011-11-16 アーク・インターナショナル・ピーエルシー 音響仮想現実エンジンおよび配信された音声改善のための新技術
JPWO2004010695A1 (ja) * 2002-07-18 2005-11-17 シャープ株式会社 伝送システム、伝送装置、並びに、そのプログラムおよび記録媒体
JP2005323205A (ja) * 2004-05-10 2005-11-17 Sharp Corp 無線信号送信装置および無線信号受信装置ならびに無線信号伝送システム
JP4182437B2 (ja) * 2004-10-04 2008-11-19 ソニー株式会社 オーディオビデオ同期システム及びモニター装置
JP4557796B2 (ja) * 2005-05-19 2010-10-06 キヤノン株式会社 映像信号処理システム及び映像信号処理方法
KR100758288B1 (ko) * 2006-02-10 2007-09-13 한국과학기술연구원 손 동작 기반의 입출력 장치, 시스템 및 방법
US20070265043A1 (en) 2006-04-12 2007-11-15 Wang Andy Y Team-based networked video gaming and automatic event management
JP4386900B2 (ja) 2006-05-02 2009-12-16 アルプス電気株式会社 操作装置およびゲームコントローラ
US8070582B2 (en) 2007-03-01 2011-12-06 Cfph, Llc Automatic game play
JP5430842B2 (ja) 2007-11-16 2014-03-05 株式会社バンダイナムコゲームス サーバシステム及びプログラム
EP2081373A1 (en) * 2008-01-15 2009-07-22 Hitachi, Ltd. Video/audio reproducing apparatus
JP2009171079A (ja) * 2008-01-15 2009-07-30 Hitachi Ltd 映像音声再生装置
JP5084577B2 (ja) 2008-03-24 2012-11-28 株式会社ソニー・コンピュータエンタテインメント 情報処理装置
US9235644B2 (en) * 2008-07-14 2016-01-12 Qualcomm Incorporated Operator, device and platform independent aggregation, cross-platform translation, enablement and distribution of user activity catalogs
JP4718622B2 (ja) 2009-03-24 2011-07-06 株式会社スクウェア・エニックス ゲーム装置、ゲームの進行方法、ゲームプログラム及び記録媒体
JP5443832B2 (ja) 2009-05-29 2014-03-19 任天堂株式会社 ゲームプログラム及びゲーム装置
US8674935B2 (en) * 2009-10-21 2014-03-18 Qualcomm Incorporated System delay mitigation in interactive systems

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1086731B1 (en) * 1999-09-14 2007-05-23 Sega Corporation Synchronous data processing method
US6384821B1 (en) * 1999-10-04 2002-05-07 International Business Machines Corporation Method and apparatus for delivering 3D graphics in a networked environment using transparent video
CN1460031A (zh) * 2001-03-29 2003-12-03 皇家菲利浦电子有限公司 多人游戏中网络等待时间的补偿
JP2008125721A (ja) * 2006-11-20 2008-06-05 Konami Digital Entertainment:Kk ゲーム装置、操作評価方法、および、プログラム

Also Published As

Publication number Publication date
JP2015091332A (ja) 2015-05-14
US20110090144A1 (en) 2011-04-21
WO2011050155A1 (en) 2011-04-28
EP2490777B1 (en) 2018-08-22
JP2015057717A (ja) 2015-03-26
EP2490777A1 (en) 2012-08-29
JP6141249B2 (ja) 2017-06-07
TW201136640A (en) 2011-11-01
JP2013508091A (ja) 2013-03-07
US8674935B2 (en) 2014-03-18
CN102596342A (zh) 2012-07-18

Similar Documents

Publication Publication Date Title
CN102596342B (zh) 交互式系统中的系统延迟缓解
CN111882626B (zh) 图像处理方法、装置、服务器及介质
WO2021164532A1 (zh) 云游戏直播方法和装置
CN103959200A (zh) 自适应图像子系统功率和性能管理
CN111221491A (zh) 交互控制方法及装置、电子设备、存储介质
US20130219275A1 (en) Apparatus and method for providing user interface service in a multimedia system
EP1768346A1 (en) Provision of game applications across a network according to the display characteristics of a user terminal
US9143811B2 (en) System and method for providing cloud game service
KR101605047B1 (ko) 움직임 보상 및 디스플레이 리프레시의 전력 소모를 감소시키는 dram 압축 방안
US20180205967A1 (en) Image processing device and method
WO2023098017A1 (zh) 云游戏的控制方法及装置、存储介质及电子设备
CN109753262B (zh) 帧显示处理方法、装置、终端设备及存储介质
US11514615B2 (en) Streaming systems and methods of providing interactive streaming service
CN112188362B (zh) 一种播放方法、装置和计算机可读存储介质
US20080259023A1 (en) Method and System of Making a Computer as a Console for Managing Another Computer
US10210546B2 (en) System and method of preventing addiction to electronic device, and electronic device adapted to the same
US10016676B2 (en) Processing system, information processing apparatus, control method, program and storage medium
EP3343934B1 (en) Communication system, transmission device, receiving device, communication system control method and program
CN104703030B (zh) 影像编码方法及影像编码装置
CN103765856B (zh) 用于具有多层或多个流的渐进媒体下载的装置和方法
US20230247175A1 (en) Electronic device for processing video and method for operating the same
CN107454445A (zh) 一种用于进行视频播放调度的方法和装置
CN104284113A (zh) 视频数据显示系统以及视频数据显示方法
KR20220067871A (ko) 스트리밍 가속기 및 이를 포함하는 스트리밍 시스템
CN116033209A (zh) 投屏方法和电子设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant