CN110045858B - 提供图形反馈的方法和用于时延补偿的系统 - Google Patents

提供图形反馈的方法和用于时延补偿的系统 Download PDF

Info

Publication number
CN110045858B
CN110045858B CN201811561321.3A CN201811561321A CN110045858B CN 110045858 B CN110045858 B CN 110045858B CN 201811561321 A CN201811561321 A CN 201811561321A CN 110045858 B CN110045858 B CN 110045858B
Authority
CN
China
Prior art keywords
touch screen
feedback signal
graphical
processor
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811561321.3A
Other languages
English (en)
Other versions
CN110045858A (zh
Inventor
大卫·E·施图尔肯
彼得·J·巴特萨克斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Boeing Co
Original Assignee
Boeing Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Boeing Co filed Critical Boeing Co
Publication of CN110045858A publication Critical patent/CN110045858A/zh
Application granted granted Critical
Publication of CN110045858B publication Critical patent/CN110045858B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G06F9/452—Remote windowing, e.g. X-Window System, desktop virtualisation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/023—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D43/00—Arrangements or adaptations of instruments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Mechanical Engineering (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • User Interface Of Digital Computer (AREA)
  • Electromagnetism (AREA)

Abstract

本申请涉及提供图形反馈的方法和用于时延补偿的系统。用于补偿由耦合处理器控制的触摸屏中的时延的系统和方法，包括：在交互式触摸屏上输入之后显示来自耦合处理器的图形响应时保持延迟的历史数据，使用历史数据在交互式触摸屏上提供图形反馈信号，以减少用户由于对输入的延迟图形响应而导致的输入错误，并且在交互式触摸屏上显示图形反馈。

Description

提供图形反馈的方法和用于时延补偿的系统
技术领域
本公开涉及用于操作远程耦合处理器的触摸屏装置，更具体地，涉及用于在显示来自远程耦合处理器的反馈时补偿时延的系统和方法。
背景技术
个人数字助理(PDA)和平板电脑的使用日益增多，这促使为这种平台创建一系列有时非常专业的程序(或应用程序)，旨在帮助专业和/或技术人员履行职责。这些应用程序的范围从简单到高度复杂。例如，土地测量员可能会在其个人装置上具有地形图数据库，但也可能会使用提供虚拟经纬仪的应用程序。
然而，一些职业可能要求专业人员积极监视现有系统或仪表板。在这种情况下，使用PDA访问伴侣应用程序，无论该应用程序有多有用，都可能损害专业人员监视这些系统的能力。例如，商业飞行员在手持装置上可能有许多有用的应用程序，从油耗计算器到机场图表数据库，但仍不希望转移其对飞机仪表板的注意力。
解决这个问题的一种方法是将手持装置耦合或‘对接’到正在使用的计算机系统，以便专业人员通常使用的触摸屏接口可以用来控制耦合装置。遗憾的是，这种远程操作可能会导致时延或滞后增加，导致操作者烦躁甚至不准确的操作，因为在没有响应的情况下，可能会在触摸屏上多次输入命令。
需要一种能够将触摸屏耦合到相关装置的系统，该相关装置为系统内可能发生的时延提供主动补偿。
发明内容
本公开提供了用于在控制经由耦合触摸屏控制的处理器时补偿时延的系统和方法。
在一些方面，本公开可以提供用于在控制耦合处理器的交互式触摸屏上提供图形反馈的方法。该方法可以包括：在显示由交互式触摸屏上的输入引起的来自耦合处理器的图形响应时，保持延迟的历史数据的预定周期；使用历史数据，在交互式触摸屏上提供图形反馈信号，以减少响应于接收对输入的显示的图形响应的用户输入错误；并且使用交互式触摸屏显示图形反馈信号。
在一些方面，本公开可提供在使用本地触摸屏操作耦合处理器时的时延补偿的方法。该方法可以包括：测量在本地触摸屏上的用户输入和来自耦合处理器的由本地触摸屏显示的相应响应的显示之间经过的多个历史时延周期；基于多个测量的历史时延周期，确定平均时延周期；响应于第一用户输入并且在对应于确定的在第一用户输入之后的平均时延周期的第一时间间隔内，生成被配置为由用户检测的反馈信号。
在一些方面，本公开可以提供用于时延补偿的系统，其中，所述系统可以包括：本地处理器；交互式触摸屏装置，其向本地处理器提供输入并经由本地网络从本地处理器接收输出；以及辅助处理器，其经由耦合网络能操作地耦合到本地处理器，其中，所述本地处理器被配置为：允许用户经由交互式触摸屏装置远程操作辅助处理器；测量在交互式触摸屏装置上的用户输入和来自辅助处理器的由交互式触摸屏装置显示的相应响应的显示之间经过的多个历史时延周期；基于多个测量的历史时延周期，确定平均时延周期；并且响应于第一用户输入，在确定的在第一用户输入之后的平均时延周期内生成被配置为被用户检测的反馈信号。
这些特征、功能和优点可以在本公开的各个方面独立地实现，或者可以在其他方面结合，参考下面的描述和附图可以看到其进一步的细节。
附图说明
图1是飞行员、包括交互式触摸屏的仪表板以及经由中央处理器耦合到仪表板的平板电脑的示意图；
图2是从交互式触摸屏上的用户输入到中央处理器，并继续到耦合装置的信息流以及将在触摸屏上显示的流向中央处理器的装置响应的示意图；
图3是示出根据本公开的一个方面的用于在控制耦合处理器的交互式触摸屏上提供图形反馈的方法的流程图；
图4是示出根据本公开的一个方面的当使用本地触摸屏操作耦合处理器时用于时延补偿的方法的流程图；
图5A是交互式触摸屏上的触摸输入的示意图；图5B描述了在触摸屏上显示的示例性生成的图形反馈信号；图5C描述了由初始触摸输入触发的实际响应的触摸屏显示；
图6是响应于网络时延的变化而生成自适应图形反馈信号的示意图。
具体实施方式
本公开的方法和系统可以通过响应于触摸输入在触摸屏上显示图形反馈信号，并且在接收和/或显示来自耦合装置的响应之前，减少在远程耦合装置经由交互式触摸屏的用户操作期间的无意错误。
下面描述并在相关联的附图中示出用于提供图形反馈的方法以及时延补偿的方法和系统的各种实施例。除非另有说明，否则所公开的系统和方法可以但不是必须包含在本文中描述、示出和/或包含的结构、组件、功能和/或变化中的至少一个。
此外，结合本教导在本文中描述、示出和/或包含的结构、部件、功能和/或变化可以但不是必须与其他类似或相关的制造过程组合和/或包含在这些过程内。尽管公开为在飞机操作的环境中有用，但是本文中公开的系统和方法可以在任何合适的应用和合适的环境中使用，而不限于此。对各种示例的以下描述本质上仅仅是示例性的，决不旨在限制本公开、其应用或用途。另外，如下所述，由示例提供的优点本质上是说明性的，并非所有示例都可以提供相同的优点或相同程度的优点。
图1示意性地描述了飞机驾驶舱10，作为当前公开的时延补偿系统和方法可能是有利的环境的说明性示例。如图所示，驾驶舱10包括仪表板12，仪表板12包括几个交互式触摸屏接口14，触摸屏接口14被配置为在飞机操作期间显示信息和/或接受来自机组人员16的输入。还示出了代表性的个人数字装置18。
机组人员16可以选择访问驻留在装置18上的一个或多个应用程序。然而，装置18的直接操作(由箭头20表示)在飞机操作期间可能会不方便，甚至会分散注意力。由于装置18的操作可能会将机组人员16的注意力从仪表板12上转移开，因此在某些情况下，只要可行，优选地将机组人员16的注意力保留在仪表板12上。
因此，装置18可以经由中央处理器22(未示出)耦合到仪表板12上的交互式触摸屏14，使得机组人员16可以通过经由触摸屏14进行的输入间接操作装置18。如图1所示，通过将装置18耦合到中央处理器，机组人员16可以与触摸屏14交互(如箭头24所示)，以远程控制装置18(如箭头26所示)。
尽管装置18在图1中被描述为平板计算机，但是应当理解，该描述本质上是示例性的，并且装置18可以包括各种数字装置或系统中的任何一个。例如，装置18可以包括个人数字装置，例如，便携式电话、平板电脑、笔记本电脑、智能手表等。或者，装置18可以包括同一飞机内的一个或多个可替换的处理器，其中，经由触摸屏14控制可替换的处理器。在本公开的又一替代方面中，耦合装置18可包括云托管应用或服务、现场可编程门阵列(FPGA)、中央处理器的分区或来自以电子方式连接到中央处理器22的虚拟团队成员的人工输入。
如在本文中所使用的，包括触摸屏14和中央处理器22的仪表板12可以是整个飞机控制系统28的部件。例如，许多现代飞机可能包含“线控飞行”控制系统，该系统用电子接口代替纯机械飞行控制。当实现线控飞行控制系统时，飞行控制的运动转换成经由电子网络传输到一台或多台飞行控制计算机的电子信号，这些计算机然后确定每个飞机控制表面的致动器应该如何移动，以对飞机的飞行提供期望的效果。在线控飞行的一种变体中，飞机控制系统可以在所谓的光控飞行或光控航空电子系统中使用光纤电缆。
如图2所示，中央处理器22可以是飞机控制系统28的组件，包括触摸屏14。中央处理器22可以是负责解释飞行控制运动和控制表面致动的处理器。或者，中央处理器22可以是负责在仪表板12和飞机控制系统28的一个或多个额外处理器之间充当控制器或输入/输出设备的处理器。
通过将装置18耦合到中央处理器22，装置18经由适当的接口30与飞机控制系统28联网，使得中央处理器22能够在触摸屏14上镜像装置18的输出，并且中央处理器22还能够将来自触摸屏14的用户输入作为命令中继给装置18。换言之，一旦装置18已经经由接口30耦合到飞机控制系统28，中央处理器22可以被配置成模拟装置18在触摸屏14处的操作。
在本公开的一个方面，可以在触摸屏14处镜像装置18的操作。即，触摸屏14可以被配置为充当装置18的模拟。然而，应当理解，触摸屏14可用于显示从装置18接收的任何形式的数据。例如，可能在主要航空电子软件内托管远程应用程序和相关联的显示格式，并且访问耦合装置18，以检索影响本地托管的应用程序的数字数据，因为显示在触摸屏14上。即，可以在耦合装置上进行数据请求，以进行检索，并且可以在主要航空电子装置托管的应用程序中生成所得到的更新显示。
可替换地或另外，耦合装置18可以托管一个或多个应用程序，这些应用程序专门设计用于在触摸屏14上显示并且可能无法经由装置本身的直接操作来访问；或者感兴趣的应用程序可以在装置18的后台运行，使得不渲染本机平板显示接口。
装置18可以通过任何接口机制耦合到飞机控制系统28，该接口机制可以促进中央处理器22和装置18之间的电子通信和控制。接口30可以包括装置18和飞机控制系统28之间的物理或机械连接，例如，经由互补的对接端口，当装置18插入对接端口时，该对接端口产生到飞机控制系统的有线连接。可替换地或另外，接口30可以包括经由装置18上的数据端口的数据电缆。电缆可以被配置成符合各种标准，例如，通用串行总线(USB)、高清晰度多媒体接口(HDMI)、数字视觉接口(DVI)、以太网、DisplayPort、Thunderbolt和Lightning以及其他类型的标准和非标准数据接口标准。可替换地或另外，装置18可以通过无线接口协议耦合到飞机控制系统28，例如，蓝牙、亚GHz、Wi-Fi、zigbee、Z-Wave和Thread等。
经由触摸屏14的装置18的操作在图2中示意性地描述为显示模拟或镜像装置18的显示器或者检索数据的一个或多个示例或者装置18或远程应用程序的其他操作方面。用户32可以观看显示器并通过触摸交互式触摸屏14来创建输入。输入然后可以传输到中央处理器22，中央处理器22然后将输入中继到装置18。来自在装置18上运行的应用程序的响应然后可以传输到中央处理器22，中央处理器22进而改变触摸屏14上显示的图像，以反映来自装置18的响应。
遗憾的是，由于远程操作装置18，在触摸屏14上的初始输入时间和在触摸屏14上显示相应响应的时间之间，可能存在明显的延迟。这种延迟称为网络时延，并且可能是在网络系统上传送数据时累积的单独延迟的结果。
例如，如图2所示，初始输入和结果响应之间的总时延可以计算为多个单独贡献延迟的组合。将输入信号从触摸屏14传输到中央处理器22所需的时间标记为Δt1，而中央处理器接收、解释和传输结果信号到装置18所需的时间标记为Δt2。耦合接口30的带宽可导致额外的延迟Δt3，以将信号从中央处理器22传输到装置18，其中，延迟Δt3可以包含RF干扰、网络拥塞和网络时延的其他贡献的影响。根据装置18的能力以及响应触摸屏14上的输入所需的计算的复杂性，处理耦合应用成像内的输入并生成响应所需的时间可能需要时间间隔Δt4。类似于通信延迟Δt3，从装置18向中央处理器22传输响应，可能会引起另一通信延迟Δt5，而中央处理器接收、解释和传输结果信号到触摸屏14所需的时间标记为Δt6和Δt7。
因此，图2所示的系统中的总时延延迟可以计算为单独延迟的总和：
Δttotal＝Δt1+Δt2+Δt3+Δt4+Δt5+Δt6+Δt7 等式1
由于飞机控制系统28内部的通信和/或操作引起的时延可以计算为
Δtinternal＝Δt1+Δt2+Δt6+Δt7 等式2
Δtinternal对总时延的贡献可能较小，因为对应于在比较强大的中央处理器22上发生的有线连接和计算上传输的数据。然而，Δtinternal可能是基本稳定的，即，随着时间的推移是一致的，并且相对于耦合装置18的性质是不变的。因此，可以首先测量Δtinternal对总时延的贡献，然后被认为是已知值。
相反，Δt3、Δt4和Δt5的累积贡献可以大于Δtinternal，但是也可以根据耦合装置18的性质而显著变化。例如，较旧的个人装置可以采用较旧的、较慢的数据传输协议来与中央处理器22通信，从而增加Δt3和Δt5对总时延的贡献。可替换地或另外，较旧的装置可以采用较旧的、较慢的处理器，导致额外增加的计算时间贡献Δt4。
对系统时延的每个贡献的组合可能导致用户沮丧。例如，用户可以经由触摸屏14上的图形控件输入命令，并暂停，以查看预期的响应。在系统表现出显著的时延的情况下，看到来自耦合装置的响应所需的时间量可能会变得令人恼火。此外，如果在预期时没有出现响应，则用户可以经由图形控件再次输入相同的命令，可能输入多次，这可能会无意中多次输入预期的命令，这可能会进一步延迟来自耦合装置18的响应，或者可能会产生错误情况，甚至进一步延迟来自耦合装置的预期响应。
在本公开的一个方面中，除了促进经由触摸屏14控制耦合处理器18之外，中央处理器22还可以被配置为同时执行用于在控制耦合处理器18的交互式触摸屏14处提供图形反馈信号的方法，如图3的流程图34所示。更具体地，中央处理器22可以被配置为：在流程图34的36处，在显示由交互式触摸屏上的输入引起的来自耦合处理器的图形响应时，保持延迟的历史数据的预定周期；然后，在流程图34的38处，使用历史数据，在交互式触摸屏上提供图形反馈信号，以减少由于对输入的显示的图形响应的延迟而导致的用户输入错误；并且在流程图34的40处，使用交互式触摸屏显示图形反馈信号。
在图4的流程图42中描述了本公开的替代方法，其中，中央处理器可以被配置为执行在使用本地触摸屏操作耦合处理器时的时延补偿的方法，包括：在流程图42的44处，测量在本地触摸屏上的用户输入和来自耦合处理器的由本地触摸屏显示的相应响应的显示之间经过的多个历史时延周期；在流程图42的46处，基于多个测量的历史时延周期，确定平均时延周期；并且在流程图42的48处，响应于第一用户输入并且在对应于确定的在第一用户输入之后的平均时延周期的第一时间间隔内，生成被配置为由用户检测的反馈信号。
流程图34和42的方法包括收集与所公开的飞机控制系统耦合装置网络中的延迟相关的历史数据。即，必须随时间测量和收集相关网络的时延，以便预测潜在的未来时延。可以在预定时间段内测量和收集网络的时延，其中，选择预定时间段，以提供足够的历史数据，基于历史数据的未来时延的准确预测是有意义的。可以以提供足够准确的时延数据的任何方式来测量和收集该历史网络时延。
可以通过实时监视来确定网络时延。即，当对应于触摸输入的网络分组离开触摸屏接口时，可以用时间戳来标记该网络分组，然后可以将该时间戳与接收到期望响应的时间进行比较。该值将对应于往返时间或RTT，并且通常对应于等式1的Δttotal。可替换地或另外地，可以最小化为网络上的每个数据包测量RTT的计算需求，选择在给定时间段内要监视的数据包的代表性样本，尽管这种采样将需要通过网络的硬件组件来协调分组的选择。还可以实现用于测量网络时延的更复杂的方法，例如，有损差异聚合器(LDA)。
如在本文中所使用的，为了确定所公开的飞机控制系统耦合装置网络中的历史时延而记录的延迟间隔可以对应于在触摸屏14处输入之后和在触摸屏处的图形响应的相应显示之间经过的时间。然而，可以用多种方式测量延迟间隔。例如，延迟间隔可以是从输入本身到显示相应响应的时间测量的绝对延迟。或者，延迟间隔可以是相对延迟，对应于从预测响应时间到显示图形响应所经过的时间。可以任意选择预测响应时间，可以基于某个计算出的理想响应时间，或者可以本身基于从代表性或基准系统收集的历史性能数据。
不管历史延迟间隔的起点如何，延迟间隔的终点应该对应于触摸屏14上显示相应图形响应。如在本文中所使用的，相应的图形响应是在触摸屏上显示响应于触摸屏上给出的输入将在耦合装置本身上生成的适当响应，就好像在耦合装置本身上输入该输入一样。即，相应的图形响应反映了耦合装置18的图形控件在触摸屏上的镜像。
在耦合装置18最近才耦合到飞机控制系统28的情况下，可能没有该装置的历史数据可以用来计算延迟间隔。在这种情况下，历史数据可以对应于从先前耦合的装置或多个先前耦合的装置收集的数据。然而，在经由触摸屏14从耦合装置18的多个操作收集延迟数据之后，为了本方法的目的，耦合装置18和飞机控制系统28特定的延迟数据可以用作历史数据。
图形反馈信号
应该选择图形反馈信号，以向用户传达检测到并向耦合装置18传输其先前的输入，但是还没有接收到预期的相应图形响应。因此，应该选择图形反馈信号以在视觉上不同于预期的并且适当的图形响应，以免误导用户将其误认为预期的相应图形响应。应该另外选择图形反馈信号，以包含对用户的指示，即，其在交互式触摸屏上的输入指向耦合装置18的处理器。可替换地或另外地，可以选择图形反馈信号，以包含对用户的指示，即，其在交互式触摸屏上的输入指向在耦合处理器上运行的选择的应用程序。
在所公开的方法的一个方面，所生成的图形反馈信号可以是通用反馈信号，这与用户提供的输入类型无关。例如，图形反馈信号可以对应于在触摸屏14上的发生输入的位置处可能发生的视觉响应，该视觉响应仅指示在该位置处检测到触摸，并且该输入传输到耦合处理器。通过在输入点生成反馈信号，该反馈信号向用户提供了立即保证，即，记录其先前的输入，并且响应即将到来。例如，如图5A所示，用户32触摸在触摸屏14上的控制区域50，从而向耦合处理器18输入命令。在基于收集的历史延迟数据的延迟间隔之后，中央处理器在触摸屏14上生成图形反馈信号52，如图5B所示。图形反馈信号52可以是清楚地传达正在提供关于用户输入的反馈而不是相应响应的任何视觉提示。例如，图5B的反馈信号52被描述为以用户32接触的触摸屏14的区域为中心的三个同心圆，在这种情况下，对应于控制区域50。反馈信号52可以是静态图像，或者可以包含动画、变化颜色或任何其他图像效果，以突出显示信号52并将其与预期的图形响应区分开来。
在图5C中，在触摸屏14上显示来自耦合装置18的图形响应54，该图形响应是图5A的初始输入的结果。如图所示，图形响应54是控制区域50的简单突出显示。然而，应当理解，图形响应54可以对应于任何适当的图像、显示、操作或其他动作，在用户32在触摸屏14处输入之后，这些通常会由在耦合装置18处远程操作的应用程序显示。
自适应图形反馈
可以改变所生成的图形反馈信号，以便向用户提供适当类型的反馈。在图形反馈信号的性质响应于输入类型、控制的应用程序和预测时延中的一个或多个等而变化的情况下，反馈信号被认为是自适应图形反馈信号。
在所公开的方法的一个方面，可以选择图形反馈信号，来提供与用户输入的输入类型的相关性。例如，由触摸屏14处关闭对话框的触摸输入产生的反馈信号可以在视觉上不同于由触摸输入产生的反馈信号，该触摸输入旨在启动在耦合装置18上运行的相关联的应用程序的操作。
在所公开的方法的一个方面，在触摸屏14处显示的来自耦合装置18的图形反馈54可以响应于在网络中测量的时延而自适应。特别地，可以响应于所确定的历史时延数据来选择图形响应54的特定性质。
在一个实施例中，本公开的系统和方法可以提供本质上是二进制的自适应图形反馈。即，在飞机控制系统耦合装置网络的测量时延低于预定低阈值的情况下，中央处理器22可以被配置成使得不在触摸屏14上显示图形反馈信号，因为从耦合装置18中继的相应响应的显示足够快，以避免用户沮丧。在网络的测量时延高于预定低阈值的情况下，中央处理器22可以被配置为在初始输入和相应响应的显示之间的触摸屏14处提供图形反馈信号。
在替代实施例中，本公开的系统和方法可以提供可变图形反馈，以帮助传达网络和系统中经历的时延量。在该实施例中，反馈的特定性质至少在某种程度上取决于网络的所测量的历史时延的值。作为说明性示例，在图6中示出了几个示例性可变图形反馈信号。
如图6所示，显示初始输入60，作为触摸屏14上的轨迹，包括用户手指在触摸屏上注册的初始点62、用户手指在触摸屏上跟踪的跟踪路径64以及用户手指离开触摸屏的端点66。
在历史时延数据预测无时延或极小时延(箭头68)的情况下，处理器22可以被配置为在触摸屏14上不生成中间图形反馈信号，因为相应的响应将预期迅速显示，并且不需要图形反馈。
在网络中存在时延，但是中央处理器22预测时延为低(箭头70)的情况下，中央处理器可以生成图形反馈信号72，该图形反馈信号72紧密反映初始输入60。如图6所示，图形反馈信号72与用户跟踪的输入60的形状密切呼应，并向用户发出信号，表示已经接收其输入，并且在显示相应的响应之前可能会经历延迟。
在预测网络呈现甚至更大的时延(箭头74)的情况下，增加的延迟可以触发生成不明显的图形反馈信号76。即，视觉信号唤起了初始轨迹60，但是以这种方式简化，即，通知用户接收其输入，并且在显示相应的响应之前可能会经历更大的延迟。
此外，在预测网络将呈现非常高的时延(箭头78)的那些情况下，中央处理器可以被配置为通过显示与初始输入60的性质分离或无关的图形反馈信号80来传达这种高时延的存在，例如，沙漏或其他独特的图像，其可以是静态图像或动画图像。
图形反馈信号的时间和持续时间可以是预定的。即，对用户群体的研究可以在显示图形反馈信号之前提供最佳延迟和/或显示图形反馈信号的最佳持续时间，以使用户的检测最大化。
可替换地或另外地，根据为飞机控制系统耦合装置网络测量的时延量，图形反馈信号可以通过操纵图形反馈信号的显示时间和持续时间而变得自适应。特别地，检测用户输入和显示图形反馈信号之间的延迟应该足够短，以避免由于感觉到的无响应而引起的刺激。然而，在显示相应响应之前，历史时延数据预测长延迟的那些情况下，图形反馈信号的显示的持续时间可能会增加。在所公开的系统和方法的一个方面，在对应于所确定的历史平均时延的持续时间内显示反馈信号。或者，历史时延数据用于确保图形反馈信号在相应响应的预测出现之前终止，使得这两者不太可能同时在触摸屏14上显示。
显示的图形反馈信号的时间和外观可以独立于其他先前或之后的触摸输入来选择。即，可以在仅由记录的时延历史确定的触摸输入之后的间隔内显示图形反馈信号。可替换地或另外，可以协同确定多个图形反馈信号的精确时间和持续时间。例如，显示的图形反馈信号可以自适应地修改，其中，中央处理器22在显示对应于第一输入的反馈信号之前检测触摸屏14处的多个初始输入。例如，在生成第一图形反馈信号之前出现第二输入的那些情况下，在第一输入和产生的第一图形反馈信号之间最初计算的延迟可以缩短。基于触摸屏上的输入的数量和时间，可以类似地修改额外反馈图像的时间。
在所公开的系统和方法的另一方面，可以修改所生成的反馈信号的外观和时间和/或持续时间，以向用户传达更复杂的信息。例如，在第二用户输入发生在第一用户输入之后但在显示第一反馈信号之前的情况下，可以修改对第一输入的所生成的反馈信号，以指示其响应于第一用户输入，并且可以修改对第二输入的所生成的反馈信号，以指示其响应于第二用户输入。对反馈信号的任何可辨别和可解释的修改可用于指示其对应于特定输入，包括颜色、形状和尺寸的变化以及动画等。
设备和软件
用于执行本时延补偿方法的系统(包括但不限于用于选定飞机的控制系统)可以包括合适的数据处理系统，其可以进一步包括通信框架，以提供工作站、控制系统、处理器单元、存储器、持久存储器、通信单元、输入/输出(I/O)单元和显示器之间的通信。
用于执行所公开方法的适当操作系统、应用程序和/或程序的指令可以位于通过通信框架与一个或多个处理器单元通信的一个或多个存储装置中。这些指令可以具有永久存储器上的功能形式。这些指令可以加载到存储器中，以由处理器单元执行。
这些指令可以称为可由处理器读取和执行的程序指令、程序代码、计算机可用程序代码或计算机可读程序代码。不同实施例中的程序代码可以体现在不同的物理或计算机可读介质上。
可以利用计算机可读介质的任何组合。计算机可读介质可以是计算机可读信号介质和/或计算机可读存储介质。计算机可读存储介质可以包括电子、磁性、光学、电磁、红外和/或半导体系统、设备或装置，或者这些的任何适当组合。计算机可读存储介质的更具体的示例可以包括以下：具有一根或多根导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪存)、光纤、便携式光盘只读存储器(CD-ROM)、光存储装置、磁存储装置和/或这些的任何适当组合等。在本公开的上下文中，计算机可读存储介质可以包括任何合适的有形介质，该有形介质可以包含或存储由指令执行系统、设备或装置使用或与指令执行系统、设备或装置结合使用的程序。
计算机可读信号介质可以包括传播的数据信号，其中体现计算机可读程序代码，例如，在基带中或作为载波的一部分。这种传播信号可以采取多种形式中的任何一种，包括但不限于电磁、光学和/或其任何合适的组合。计算机可读信号介质可以包括任何计算机可读介质，该计算机可读介质不是计算机可读存储介质并且能够传送、传播或传输由指令执行系统、设备或装置使用或与指令执行系统、设备或装置结合使用的程序。
可以使用任何适当的介质来传输在计算机可读介质上体现的程序代码，包括但不限于无线、有线、光缆、RF等和/或这些的任何适当组合。
用于执行本公开的各方面的操作的计算机程序代码可以用编程语言中的一种或任何组合来编写，包括诸如Java、SmalTalk、C++等面向对象编程语言以及诸如C编程语言等常规过程编程语言。程序代码可以完全在中央处理器上执行，部分在中央处理器上执行，部分在一个或多个额外处理器上执行，或者完全在远程计算机或服务器上执行。在后一种情况下，远程计算机可以通过任何类型的网络连接到中央处理器，包括局域网(LAN)或广域网(WAN)，和/或可以与外部计算机(例如，使用互联网服务提供商，通过互联网)进行连接。
计算机程序代码或指令也可以加载到计算机、其他可编程数据处理设备和/或其他装置上，以促使在装置上执行一系列操作步骤，从而产生计算机实现的过程，使得在计算机或其他可编程设备上执行的指令提供用于实现本公开中指定的功能/动作的过程，例如，由流程图和/或方框图的一个或多个方框来体现。
示例、替代方案和优选实施例
本部分描述了本公开的系统和方法的额外方面和特征，这些方面和特征不限于作为一系列段落呈现，为了清楚和高效，其中的一些或全部可以字母数字表示。这些段落中的每一个可以以任何合适的方式与一个或多个其他段落组合，和/或与本申请中其他地方的公开内容组合。下面的一些段落明确提及并进一步限制了其他段落，提供了一些合适组合的示例，但不限于此。
A1.一种用于在控制耦合处理器的交互式触摸屏上提供图形反馈的方法，包括：
在显示由交互式触摸屏上的输入引起的来自耦合处理器的图形响应时，保持延迟的历史数据的预定周期；
使用历史数据，在交互式触摸屏上提供图形反馈信号，以减少由于对输入的显示的图形响应的延迟而导致的用户输入错误；并且
使用交互式触摸屏显示图形反馈信号。
A2.根据段落A1所述的方法，其中，所述图形反馈信号被配置为减少在所述交互式触摸屏上的重复用户输入。
A3.根据段落A1所述的方法，其中，在所述交互式触摸屏的输入和来自所述耦合处理器的响应的显示之间的时间间隔内，显示所述图形反馈信号。
A4.根据段落A1所述的方法，其中，所述历史数据包括在所述交互式触摸屏上的输入和来自所述耦合处理器的交互式触摸屏上的响应的显示之间测量的多个记录的时延间隔；
所述方法还包括基于历史数据计算投影时延间隔，并且显示图形反馈信号包括在从交互式触摸屏上的输入开始并对应于计算出的投影时延间隔的时间段内显示图形反馈信号。
A5.根据段落A1所述的方法，其中，所述图形反馈信号包括对用户的指示，即，在所述交互式触摸屏上的输入指向所述耦合处理器。
A6.根据段落A5所述的方法，其中，所述图形反馈信号包括对所述用户的指示，即，在所述交互式触摸屏上的输入指向在所述耦合处理器上运行的选择的应用程序。
B1.一种在使用本地触摸屏操作耦合处理器时的时延补偿的方法，包括：
测量在本地触摸屏上的用户输入和来自耦合处理器的由本地触摸屏显示的相应响应的显示之间经过的多个历史时延周期；
基于多个测量的历史时延周期，确定平均时延周期；
响应于第一用户输入并且在对应于确定的在第一用户输入之后的平均时延周期的第一时间间隔内，生成被配置为由用户检测的反馈信号。
B2.根据段落B1所述的方法，其中，生成反馈信号包括生成在本地触摸屏上显示的图形反馈信号。
B3.根据段落B1所述的方法，其中，生成反馈信号包括在从第一用户输入测量的第一时间间隔内生成反馈信号。
B4.根据段落B1所述的方法，其中，生成反馈信号包括生成通用反馈信号，而与第一用户输入类型无关。
B5.根据段落B1所述的方法，其中，生成反馈信号包括生成与第一用户输入类型相关联的特定反馈信号。
B6.根据段落B1所述的方法，其中，生成反馈信号包括在本地触摸屏上生成第一用户输入的图形再现。
B7.根据段落B1所述的方法，其中，生成反馈信号包括在对应于所确定的平均时延周期的时间间隔的持续时间内生成反馈信号。
B8.根据段落B1所述的方法，其中，在第一用户输入之后并且在生成反馈信号之前，发生第二用户输入，还包括生成指示第一用户输入的第一反馈信号和生成指示第二用户输入的第二反馈信号。
B9.根据段落B8所述的方法，其中，协同生成所述第一和第二反馈信号的时间和/或持续时间。
B10.根据段落B8所述的方法，其中，生成第一反馈信号和第二反馈信号，包括生成第一反馈信号和第二反馈信号，使得彼此可辨别。
C1.一种用于时延补偿的系统，包括：
本地处理器；
交互式触摸屏装置，其向本地处理器提供输入并经由本地网络从本地处理器接收输出；以及
辅助处理器，其经由耦合网络能操作地耦合到本地处理器；
其中，所述本地处理器被配置为：
允许用户经由交互式触摸屏装置远程操作辅助处理器；
测量在交互式触摸屏装置上的用户输入和来自辅助处理器的由交互式触摸屏装置显示的相应响应的显示之间经过的多个历史时延周期；
基于多个测量的历史时延周期，确定平均时延周期；并且
响应于第一用户输入，在确定的在第一用户输入之后的平均时延周期内生成被配置为被用户检测的反馈信号。
C2.根据段落C1所述的系统，其中，所述本地处理器和交互式触摸屏装置存在于车辆上。
C3.根据段落C1所述的系统，其中，所述本地处理器和交互式触摸屏装置集成在飞机的控制系统中。
C4.根据段落C1所述的系统，其中，所述辅助处理器存在于便携式电子装置中。
C5.根据段落C4所述的系统，其中，所述便携式电子装置是膝上型计算机、平板电脑或个人数字助理。
C6.根据段落C4所述的系统，其中，所述本地网络包括无线数据网络。
C7.根据段落C4所述的系统，其中，所述本地处理器被配置为在所述交互式触摸屏装置上镜像所述便携式电子装置的操作。
C8.根据段落C1所述的系统，其中，所述反馈信号是在所述平均时延周期期满之前在交互式触摸屏装置上显示的图形反馈信号。
C9.根据段落C8所述的系统，其中，所述反馈信号是在显示对所述第一用户输入的响应之前在所述交互式触摸屏装置上显示的图形反馈信号。
C10.根据段落C1所述的系统，其中，所述反馈信号包括所述交互式触摸屏装置上的第一用户输入的图形再现。
优势、特征、益处
当前公开的系统和方法解决了交互式触摸屏系统的现有缺点，其中，用户满意度随着系统时延的增加而下降。类似地，所公开的系统和方法解决了由于触摸屏系统中增加的系统时延而导致的输入错误率的相关增加。通过实时显示耦合到相关系统中观察到的实际时延的图形反馈，来减少误差，并且图形反馈耦合到观察到的时延，使得可以通过改变反馈信号的时间、外观和/或可见性来适应。这可能会降低用户输入错误率，提高对系统响应的满意度。
尽管所公开的系统和方法高度适用于经由网络触摸屏输入控制耦合装置的任何环境，但是对于在操作车辆(例如，汽车、卡车、火车、飞机等)时操作耦合装置可能特别有用，其中，来自车辆控制的潜在干扰可能具有不希望的结果。
结论
尽管已经在飞机控制系统的背景下示出和描述了本公开的系统和方法，但是对于本领域技术人员来说，上述操作原理和优选实施例显然适用于各种车辆操作系统以及可以远程操作耦合装置的任何其他情况。在不脱离本公开的精神和范围的情况下，可以在形式和细节上对所公开的系统和方法进行各种改变，本公开旨在涵盖落入所附权利要求的范围内的所有这些替换、修改和变化。
上述公开内容可以包括具有独立效用的多个不同发明。虽然均已经以其优选的形式公开了这些发明，但是在本文中公开和说明的其具体示例不应被认为是限制性的，因为许多变化是可能的。本公开的主题包括本文公开的各种元件、特征、功能和/或特性的所有新颖和非显而易见的组合和子组合。以下权利要求特别指出了某些被视为新颖和非显而易见的组合和子组合。在特征、功能、元件和/或属性的其他组合和子组合中体现的发明可以在要求本申请或相关申请的优先权的申请中要求保护。这种权利要求也被认为包括在本公开的主题内，无论是针对不同的发明还是针对相同的发明，无论在范围上是否比原始权利要求更宽、更窄、与其相同或不同。

Claims (23)

1.一种用于在控制耦合处理器的交互式触摸屏上提供图形反馈的方法，包括：
在显示由所述交互式触摸屏上的输入引起的来自所述耦合处理器的图形响应时，保持延迟的历史数据的预定周期；
使用所述历史数据，在所述交互式触摸屏上提供图形反馈信号，以减少由于对输入的显示的所述图形响应的延迟而导致的用户输入错误；并且
使用所述交互式触摸屏显示所述图形反馈信号，
其中，所述历史数据包括在所述交互式触摸屏上的输入和来自所述耦合处理器的所述交互式触摸屏上的响应的显示之间测量的多个记录的时延间隔；
所述方法还包括基于所述历史数据计算投影时延间隔，并且显示所述图形反馈信号包括在从所述交互式触摸屏上的输入开始以及对应于小于计算出的所述投影时延间隔的时间段的时间段内显示所述图形反馈信号。
2.根据权利要求1所述的方法，其中，所述图形反馈信号被配置为减少在所述交互式触摸屏上的重复用户输入。
3.根据权利要求1所述的方法，其中，在所述交互式触摸屏的输入和来自所述耦合处理器的响应的显示之间的时间间隔内，显示所述图形反馈信号。
4.根据权利要求1所述的方法，其中，所述图形反馈信号包括对用户的指示，指示在所述交互式触摸屏上的输入指向所述耦合处理器。
5.根据权利要求4所述的方法，其中，所述图形反馈信号包括对所述用户的指示，指示在所述交互式触摸屏上的输入指向在所述耦合处理器上运行的选择的应用程序。
6.一种在使用本地触摸屏操作耦合处理器时的时延补偿的方法，包括：
测量历史数据，所述历史数据包括在所述本地触摸屏上的用户输入与来自所述耦合处理器的由所述本地触摸屏显示的相应响应的显示之间经过的多个历史时延周期；
基于所述历史数据计算投影时延间隔，并且在从所述本地触摸屏上的输入开始以及对应于小于计算出的所述投影时延间隔的时间段的时间段内显示图形反馈信号。
7.根据权利要求6所述的方法，其中，生成反馈信号包括生成在所述本地触摸屏上显示的图形反馈信号。
8.根据权利要求6所述的方法，其中，生成反馈信号包括在从第一用户输入起测量的第一时间间隔期间生成所述反馈信号。
9.根据权利要求6所述的方法，其中，生成反馈信号包括生成通用反馈信号，而与第一用户输入类型无关。
10.根据权利要求6所述的方法，其中，生成反馈信号包括生成与第一用户输入类型相关联的特定反馈信号。
11.根据权利要求6所述的方法，其中，生成反馈信号包括在所述本地触摸屏上生成第一用户输入的图形再现。
12.根据权利要求6所述的方法，其中，生成反馈信号包括在与确定的平均时延周期对应的时间间隔的持续时间期间生成反馈信号。
13.根据权利要求6所述的方法，其中，在第一用户输入之后并且在生成反馈信号之前发生第二用户输入，还包括生成指示所述第一用户输入的第一反馈信号和生成指示所述第二用户输入的第二反馈信号。
14.根据权利要求6所述的方法，其中，协同生成第一反馈信号和第二反馈信号的时间和/或持续时间。
15.根据权利要求13所述的方法，其中，生成所述第一反馈信号和所述第二反馈信号包括生成所述第一反馈信号和所述第二反馈信号，使得所述第一反馈信号和所述第二反馈信号能彼此辨别。
16.一种用于时延补偿的系统，包括：
本地处理器；
交互式触摸屏装置，向所述本地处理器提供输入并经由本地网络从所述本地处理器接收输出；以及
辅助处理器，经由耦合网络能操作地耦合到所述本地处理器；
其中，所述本地处理器被配置为：
允许用户经由所述交互式触摸屏装置远程操作所述辅助处理器；
测量历史数据，所述历史数据包括在所述交互式触摸屏装置上的用户输入与来自所述辅助处理器的由所述交互式触摸屏装置显示的相应响应的显示之间经过的多个历史时延周期；
基于所述历史数据计算投影时延间隔，并且在从所述交互式触摸屏装置上的输入开始以及对应于小于计算出的所述投影时延间隔的时间段的时间段内显示图形反馈信号。
17.根据权利要求16所述的系统，其中，所述本地处理器和交互式触摸屏装置存在于车辆上。
18.根据权利要求16所述的系统，其中，所述本地处理器和交互式触摸屏装置集成在飞机的控制系统中。
19.根据权利要求16所述的系统，其中，所述辅助处理器存在于便携式电子装置中。
20.根据权利要求19所述的系统，其中，所述便携式电子装置是膝上型计算机、平板电脑或个人数字助理。
21.根据权利要求19所述的系统，其中，所述本地网络包括无线数据网络。
22.根据权利要求19所述的系统，其中，所述本地处理器被配置为在所述交互式触摸屏装置上镜像所述便携式电子装置的操作。
23.根据权利要求16所述的系统，其中，反馈信号包括所述交互式触摸屏装置上的第一用户输入的图形再现。
CN201811561321.3A 2017-12-21 2018-12-20 提供图形反馈的方法和用于时延补偿的系统 Active CN110045858B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/850,337 2017-12-21
US15/850,337 US10852934B2 (en) 2017-12-21 2017-12-21 Latency compensation in coupled processor systems

Publications (2)

Publication Number Publication Date
CN110045858A CN110045858A (zh) 2019-07-23
CN110045858B true CN110045858B (zh) 2024-06-04

Family

ID=64661055

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811561321.3A Active CN110045858B (zh) 2017-12-21 2018-12-20 提供图形反馈的方法和用于时延补偿的系统

Country Status (3)

Country Link
US (1) US10852934B2 (zh)
EP (1) EP3502882B1 (zh)
CN (1) CN110045858B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7075252B2 (ja) * 2018-03-23 2022-05-25 キヤノン株式会社 情報処理装置およびその制御方法、プログラム
US11094282B1 (en) * 2019-03-21 2021-08-17 Rockwell Collins, Inc. Systems and methods for minimizing touchscreen display latency for aircraft
FR3094964B1 (fr) * 2019-04-09 2021-06-11 Thales Sa Système d'interaction du cockpit d'un aéronef
JP7279622B2 (ja) * 2019-11-22 2023-05-23 トヨタ自動車株式会社 表示装置および表示プログラム
KR102504508B1 (ko) * 2020-12-24 2023-03-02 영풍전자 주식회사 모바일 디바이스를 활용한 전자비행계기 화면 복제 및 커스터마이징 방법 및 장치
KR102662966B1 (ko) * 2021-12-13 2024-05-03 연세대학교 산학협력단 선제적 및 반응적 입력 수량화 기반의 사용자 인터페이스 장치 및 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102591512A (zh) * 2011-01-07 2012-07-18 马克西姆综合产品公司 触觉反馈系统和用于提供触摸反馈的方法
CN103430519A (zh) * 2011-01-18 2013-12-04 萨万特系统有限责任公司 提供抬头操作和视觉反馈的远程控制接口
CN105723310A (zh) * 2013-08-09 2016-06-29 谷歌技术控股有限责任公司 用于用户交互数据存储的方法和装置
CN105723311A (zh) * 2013-08-09 2016-06-29 谷歌技术控股有限责任公司 用于动作指示选择的方法和设备

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2625591A4 (en) * 2010-10-05 2014-04-30 Citrix Systems Inc TOUCH SUPPORT FOR REMOTE APPLICATIONS
WO2014157839A1 (en) * 2013-03-26 2014-10-02 Samsung Electronics Co., Ltd. Terminal apparatus mountable in vehicle, mobile device for working with the terminal apparatus, and methods for providing service thereof
US10168979B2 (en) * 2015-06-05 2019-01-01 Getgo, Inc. Using a sync notification to indicate when a shared screen view of a presenter device has been delivered to an audience
US20170017455A1 (en) * 2015-07-16 2017-01-19 Yoshihiko SHIMOHIRA Electronic information terminal, image processing apparatus and image processing system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102591512A (zh) * 2011-01-07 2012-07-18 马克西姆综合产品公司 触觉反馈系统和用于提供触摸反馈的方法
CN103430519A (zh) * 2011-01-18 2013-12-04 萨万特系统有限责任公司 提供抬头操作和视觉反馈的远程控制接口
CN105723310A (zh) * 2013-08-09 2016-06-29 谷歌技术控股有限责任公司 用于用户交互数据存储的方法和装置
CN105723311A (zh) * 2013-08-09 2016-06-29 谷歌技术控股有限责任公司 用于动作指示选择的方法和设备

Also Published As

Publication number Publication date
EP3502882B1 (en) 2021-08-25
US20190196686A1 (en) 2019-06-27
EP3502882A1 (en) 2019-06-26
CN110045858A (zh) 2019-07-23
US10852934B2 (en) 2020-12-01

Similar Documents

Publication Publication Date Title
CN110045858B (zh) 提供图形反馈的方法和用于时延补偿的系统
US10276131B2 (en) Systems and methods for remote mouse pointer management
JP6266002B2 (ja) タッチスクリーンシステムのための乱れの軽減
US11087053B1 (en) Method, electronic device, and computer program product for information display
EP2620863A2 (en) Intelligent gesture-based user's instantaneous interaction and task requirements recognition system and method
CN108319490B (zh) 数值确定方法、数值确定装置、电子设备及存储介质
JP7309806B2 (ja) 軌跡を処理するための方法、装置、路側機、クラウド制御プラットフォーム及びコンピュータプログラム
JP6772652B2 (ja) プログラマブル表示器、更新処理装置、更新方法、情報処理方法およびプログラム
US10878337B2 (en) Assistance generation
CN105556455B (zh) 用于触敏装置的动态上下文菜单
US20140088927A1 (en) Systems and methods for simulation of virtual model
GB2551520A (en) Correction of vibration-induced error for touch screen display in an aircraft
US20150029195A1 (en) Image creation system
CN108379843A (zh) 虚拟对象控制方法与装置
KR20220083988A (ko) 인증코드의 동기화 방법, 장치, 전자 기기 및 저장 매체
US20160381204A1 (en) Mobile management framework
US11550693B2 (en) Data logger for a real-time robotic control system
US20150312095A1 (en) Information processing device and program
CN115575931A (zh) 标定方法、装置、电子设备及存储介质
CN112236786B (zh) 未来预测模拟装置、方法、记录装置
US20240058963A1 (en) Multi-mode robot programming
US10235890B1 (en) System for navigating an aircraft display with a mobile device
CN114675913B (zh) 页面布局信息处理方法、装置、电子设备和介质
CN114578966B (zh) 交互方法、装置、头戴显示设备、电子设备及介质
CN114860836B (zh) 失效兴趣点的挖掘方法及装置、设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant