CN111552431A - 平视显示器上的显示和输入镜像 - Google Patents

平视显示器上的显示和输入镜像 Download PDF

Info

Publication number
CN111552431A
CN111552431A CN202010086078.5A CN202010086078A CN111552431A CN 111552431 A CN111552431 A CN 111552431A CN 202010086078 A CN202010086078 A CN 202010086078A CN 111552431 A CN111552431 A CN 111552431A
Authority
CN
China
Prior art keywords
user interface
interaction
graphical user
determining
graphical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010086078.5A
Other languages
English (en)
Inventor
M·斯特兰德贝里
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Volvo Car Corp
Original Assignee
Volvo Car Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Volvo Car Corp filed Critical Volvo Car Corp
Publication of CN111552431A publication Critical patent/CN111552431A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0414—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using force sensing means to determine a position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G06F3/1438—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display using more than one graphics controller
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/143—Touch sensitive instrument input devices
    • B60K2360/1438—Touch screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18—Information management
    • B60K2360/184—Displaying the same information on different displays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/29—Instruments characterised by the way in which information is handled, e.g. showing information on plural displays or prioritising information according to driving conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04108—Touchless 2D- digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface without distance measurement in the Z direction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04801—Cursor retrieval aid, i.e. visual aspect modification, blinking, colour changes, enlargement or other visual cues, for helping user do find the cursor in graphical user interfaces

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本文所述的系统包括界面和一个或多个处理器。所述一个或多个处理器被配置为确定与由第一显示设备呈现的第一图形用户界面的交互区域进行的用户交互是否对应于选择输入。响应于确定用户交互不对应于所述选择输入，所述一个或多个处理器被配置为生成使得不同于第一显示设备的第二显示设备呈现包括第一图形用户界面的至少一部分的第二图形用户界面的信息，其中所述第一图形用户界面的至少一部分包括所述第一图形用户界面内的所述交互区域。

Description

平视显示器上的显示和输入镜像
技术领域
本申请涉及用户界面控制。
背景技术
触摸屏作为输入设备，就其本质而言，不是以用户可以导航触摸 屏来找到正确的输入区域的方式触知的。换句话说，考虑到触摸屏表 面的均匀性，没有指示用户输入工具(例如，用户的手指，手写笔或 触摸板指示器)相对于图形用户界面元素的位置的物理指示器。相反， 要找到按压以激活所需功能的触摸屏的正确区域，必须在激活所需图 形元素之前先看着屏幕以将其输入工具导航到正确的输入区域。
发明内容
触摸屏在许多现代个人乘用车中实现为关于导航和娱乐系统的主 输入形式。这些触摸屏通常位于交通工具的仪表板中控台(centerstack) 中。然而，这意味着，如果触摸屏的用户是交通工具的驾驶员，则驾 驶员必须将目光移离道路来察看交通工具的仪表板中控台以便导航触 摸屏的用户界面。这可能降低驾驶安全性。
根据本申请的技术，第一显示设备(例如，触摸屏)的输入设备 可在接收用户输入或用户交互时使用多种传感器(例如，压力传感器 或近程传感器)。如果输入设备接收到与选择输入相特征匹配的用户交 互的指示(例如，压力传感器检测到其压力水平高于阈值压力水平的 输入或者近程传感器检测到界面与输入工具之间接触)，则输入设备可 以像选择图形元素的传统用户交互那样处理用户交互。相反地，如果 输入设备接收到与选择输入不特征匹配的用户交互(例如，压力传感 器检测到其压力水平低于阈值压力水平的输入或者近程传感器检测到 输入工具定位为靠近界面但不与界面接触)，则第一显示设备的用户界 面的至少一部分可以被复制在具有所述第一显示设备的一部分的一些 指示的不同的第二显示设备(例如，平视显示器)上，随着所述输入 指示用户搜索要选择的用户界面元素，如果所述输入改变为与所述选 择输入相特征匹配，所述输入将激活。例如，第二显示设备可以在对 应于所述用户交互的位置处的用户界面的复制物上叠加图形元素，第 二显示设备可以将用户界面的一部分复制为以对应于用户交互的位置 为中心的用户界面的放大视图或缩小视图，或两者的某种组合。当输 入仍然不匹配选择输入时，第二显示设备可以继续复制用户界面，在 用户围绕第一显示设备的输入设备移动输入工具时动态更新，以向用 户提供输入工具的更新位置的指示。
在第一显示设备不位于方便用户视觉监视的位置的环境中，本文 中所描述的技术可将第一显示设备的用户界面的至少一部分镜像到第 二显示设备上，所述第二显示设备可处于使用户观察更方便且安全的 位置中。例如，在包括仪表板中控台中的触摸屏的乘用车的示例中， 当用户想要向触摸屏控制的系统提供输入时，用户界面可以被复制在 第二显示设备上更安全也更方便用户在他们正在驾驶时察看的位置， 诸如在仪表板面板上的平视显示器中或在驾驶员前方的交通工具挡风 玻璃上的投影上，而不是迫使驾驶员将他们的目光移离道路来察看触 摸屏。这种改进的图形用户界面系统可以提高驾驶员的安全性，减少 用户在他们希望与之交互的用户界面中定位图形元素所花费的时间 量，并且减少提供给系统的错误的用户交互的量。
在一个示例中，一种方法包括确定与由第一显示设备呈现的第一 图形用户界面的交互区域的用户交互是否对应于选择输入，并且响应 于确定用户交互不对应于选择输入，生成使得第二显示设备呈现包括 第一图形用户界面的至少一部分的第二图形用户界面的信息，其中所 述第一图形用户界面的所述至少一部分包括第一图形用户界面内的交互区域。
在另一示例中，一种设备包括界面和一个或多个处理器，所述处 理器被配置为确定与由第一显示设备呈现的第一图形用户界面的交互 区域进行的用户交互是否对应于选择输入，并且响应于确定用户交互 不对应于所述选择输入，生成使得第二显示设备呈现包括所述第一图 形用户界面的至少一部分的第二图形用户界面的信息，其中所述第一 图形用户界面的至少一部分包括所述第一图形用户界面内的所述交互 区域。
在另一示例中，一种非暂时性计算机可读的存储介质存储指令， 所述指令在由一个或多个处理器执行时，使所述一个或多个处理器确 定与由第一显示设备呈现的第一图形用户界面的交互区域进行的用户 交互是否对应于选择输入，并且响应于确定用户交互不对应于所述选 择输入，生成使得第二显示设备呈现包括所述第一图形用户界面的至 少一部分的第二图形用户界面的信息，所述第一图形用户界面的所述 至少一部分包括所述第一图形用户界面内的所述交互区域。
在另一示例中，一种设备包括用于确定与由第一显示设备呈现的 第一图形用户界面的交互区域进行的用户交互是否对应于选择输入的 装置，以及用于生成使得第二显示设备呈现包括第一图形用户界面的 至少一部分的第二图形用户界面的信息的装置，所述第一图形用户界 面的所述至少一部分包括所述第一图形用户界面内的所述交互区域。
在另一示例中，一种系统包括第一显示设备、与第一显示设备不 同的第二显示设备、以及一个或多个处理器，所述处理器被配置为接 收与由第一显示设备呈现的第一图形用户界面的交互区域进行的用户 交互的指示，确定用户交互是否对应于所述选择输入，以及响应于确 定用户交互不对应于所述选择输入，生成使得所述第二显示设备呈现 包括第一图形用户界面的至少一部分的第二图形用户界面的信息，所 述第一图形用户界面的所述至少一部分包括所述第一图形用户界面内 的所述交互区域。
在附图和以下描述中阐述本申请的一个或一个以上示例的细节。 根据描述和附图以及权利要求书，本申请的其他特征、目的和优点将 是显而易见的。
附图说明
图1是示出根据本申请的一个或多个方面的示例性交通工具系统 的框图，该示例性交通工具系统将用户界面的至少一部分从第一显示 设备镜像到第二显示设备上。
图2是示出根据本申请的一个或多个方面的示例性交通工具信息 系统的框图，该示例性交通工具信息系统将用户界面的至少一部分从 第一显示设备镜像到第二显示设备上。
图3是示出根据本申请的一个或多个方面的第一显示设备和第二 显示设备的概念图，其中第一显示设备接收用户交互，第二显示设备 基于接收到的用户交互的指示来镜像所述第一显示设备的用户交互的 一部分。
图4是示出根据本申请的一个或多个方面的第一显示设备和第 二显示设备的概念图，其中第一显示设备接收用户交互，第二显示设 备基于接收到的用户交互的指示来镜像第一显示设备的用户界面的至 少一部分。
图5是示出根据本申请的一个或多个方面的第一显示设备和第二 显示设备的概念图，其中第一显示设备接收用户交互，第二显示设备 基于接收到的用户交互的指示来镜像第一显示设备的用户界面的至少 一部分。
图6是示出根据本申请的一个或多个方面的示例性交通工具信息 系统的示例性操作的流程图，其中该示例性交通工具信息系统将用户 界面的至少一部分从第一显示设备镜像到第二显示设备上。
具体实施方式
图1是示出根据本申请的一个或多个方面的示例性交通工具信 息系统的概念框图，其中该示例性交通工具信息系统将用户界面的至 少一部分从第一显示设备镜像到第二显示设备上。交通工具100可以 包括任何类型的自动、半自动或非自动交通工具。交通工具100的示 例包括小汽车、卡车、公共汽车、摩托车、休闲车(RV)、牵引车、 全地形车、船舶或任何其他类型的交通工具。
计算设备102可以被配置为向交通工具100的乘员提供信息。例 如，计算设备102可以执行向交通工具的乘员提供信息的应用，所述 信息例如是交通工具信息(例如，速度、RPM、燃料指示器)、交通和 /或导航信息、多媒体信息(例如，音频和/或视频)等。在图1的示例 中，计算设备102包括一个或多个用户界面装置110和输入感应模块 120。
用户界面装置(UID)110A-110B(统称为UID 110)可以使得 交通工具100的乘员能够与计算设备102交互。UID 110可以用作计 算设备102的输入设备和/或输出设备。在UID110用作输入设备的情 况下，UID 110可以包括触敏输入设备、存在敏感输入设备(presence-sensitive input devices)、跟踪板(track pads)、麦克风、物 理按钮或旋钮、红外传感器等等。在UID 110用作输出设备的情况下， UID 110可以包括显示设备、扬声器、触觉反馈技术等。显示设备可 以包括触摸屏(例如，电容性或电阻性的)。示例性显示设备包括液晶 显示器(LCD)、发光二极管(LED)显示器、有机发光二极管(OLED) 显示器、电子墨水或被配置为向交通工具100的乘员显示信息的其他 设备。在UID 110用作输入和输出设备两者的情况下，UID 110可以 包括上述输入和输出设备的任何组合。如图1的示例所示，UID 110A 是位于交通工具100的中央控制台或中控台中的存在敏感输入设备 (例如，触摸屏显示器)，UID 110B位于交通工具100的仪表板中。 在另一示例中，UID 110可以位于平视显示器(例如，UID 110B可以 是交通工具100的仪表板中的投影仪，其将投影输出到交通工具100 的挡风玻璃上)、镜子(例如，后视镜或侧面镜)、头枕以及其他位置 中。
UID 110A可以由于计算设备102生成的信息而显示用户界面 116。用户界面116是包括与在计算设备102处执行的一个或多个应用 的功能相关联的文本和图形元素的图形用户界面。在各种示例中，用 户可以提供与用户界面116上文本或图形元素所处位置相对应的用户 交互。UID 110A可以向与所选择的元素相关联的相应应用提供用户交 互的位置的指示。以这种方式，用户界面116可以使得用户向在计算 设备102处执行的应用提供输入并且控制在计算设备102处执行的应 用的操作。
输入感应模块120可执行根据本申请的一个或多个方面的操作。 输入感应模块120可使用硬件、在硬件上执行的固件、在硬件上执行 的软件或其组合来执行所描述的操作。计算设备102可以使用一个或 多个处理单元来执行输入感应模块120。
根据本申请的技术，输入感应模块120可生成使第一显示设备呈 现用户界面116的信息。在图1的示例中，用户界面116可以是计算 设备102的操作系统的主屏幕，使得用户能够选择应用118A-118L(统 称为应用118)中的任一个。然而，与本文中所描述的技术类似的技 术可应用于UID 110A上的任何用户界面输出，例如在任何应用118 的执行期间向UID110A上的用户界面输出。
输入感应模块120可以接收与用户界面116内的交互区域122交 互的用户交互的指示。如图1所示，用户可以使用诸如用户的手指、 指示笔或触摸板的输入工具来尝试与交互区域122交互。例如，当UID 110A是具有压力传感器的触摸屏时，用户可以将指示笔或他们的手指 放置在交互区域122上，以尝试与用户界面116中的图形元素交互， 用户界面116中的图形元素例如是应用118图标中的任何图标。在其 他情况下，当UID 110A是具有近程传感器(proximity sensor)的触摸 屏时，用户可以将指示笔或他们的手指放置在与UID110A紧密接近 的位置，但不使其手指或指示笔触摸UID 110A。
UID 110A可以确定用户交互是否对应于选择输入。这些技术的一 些示例包括利用UID 110A中的一个或多个压力传感器，其可以测量 与交互区域122交互的用户交互的压力。使用这些测量，输入感应模 块120可以确定用户交互的压力水平。假定在UID 110A是触摸屏的 示例中，可能难以区分尝试与图形元素交互和尝试定位在输入工具位 于用户界面中的位置，输入感应模块120可利用压力传感器作为区分 这两个意图的一种方法。
在其他示例中，UID 110A可以包括近程传感器。输入感应模块 120可以利用这些近程传感器来感测靠近UID 110A悬停但不与UID 110A接触的输入工具。在这样的示例中，输入感应模块120可以将悬 停动作分类为意图确定输入工具相对于用户界面116的位置，而输入 感应模块120可以将用户使用输入工具触摸UID 110A分类为选择输 入。
响应于确定用户交互不对应于选择输入，输入感应模块120可以 生成使得UID110B呈现用户界面126的信息。用户界面126可以包 括用户界面116的至少一部分，用户界面116的至少一部分包括用户 界面116的交互区域122。例如，当用户在小于阈值压力水平的压力 下将输入工具放置在用户界面116的交互区域122上时，输入感应模 块120可收集对应于交互区域122的用户界面116的部分，以及用户 界面116的一些周围部分，并且将那些部分作为UID 110B中的用户 界面126输出。
相反，响应于确定所述用户交互是所选择的输入(即选择输入)， 输入感应模块120可以选择与用户界面116内的交互区域122相关联 的图形用户界面元素。例如，交互区域122可以最准确地对应于应用 程序118J的图标。这样，输入感应模块120可以将用户交互视为选择 与应用118J相关联的图形元素。
本文中所描述的技术还可利用用于区分两个意图的替代方法。例 如，输入感应模块120可以使用输入工具与UID 110A接触的时间长 度以区分尝试与图形元素交互和尝试定位在所述输入工具在用户界面 中的位置。以这种方式，如果输入工具与UID 110A短暂接触，则输 入感应模块120可以将输入分类为与交互区域122相关联的图形元素 交互的尝试。相反地，如果输入工具与UID 110A接触长于阈值时间， 则输入感应模块120可以将输入分类为尝试定位在输入工具位于用户 界面中的位置，并且遵循本文描述的技术将UID110B上用户界面116 的至少一部分输出在用户界面126中。一旦输入工具与UID 110A分离，只要输入感应模块120确定输入工具不再与UID 110A接触，输 入感应模块120就可以选择与最终交互区域相关联的图形元素。
在第一显示设备不处于方便用户视觉监测的位置的环境中，例如 图1中UID 110A位于交通工具100的中央控制台上的交通工具100 的示例中，将UID 110A的用户界面116的至少一部分镜像在UID 110B 上，因为UID 110B可以处于用户察看更方便和安全的位置。当用户 想要向由UID 110A控制的系统提供输入时，用户界面116可以被复 制在UID 110B上更安全的位置中，诸如在仪表板面板上的平视显示 器中或在交通工具100的驾驶员前方的挡风玻璃上的投影上，这在用 户驾驶时也更方便察看，而不是强迫驾驶员将目光移离道路来观看 UID 110A。这种改进的图形用户界面系统可以提高驾驶员的安全性， 减少用户在他们希望与之交互的用户界面中定位图形元素所花费的时 间量，并且减少被提供给系统的错误的用户交互的量。
图2是示出根据本申请的一个或多个方面的示例性交通工具信 息系统的框图，该示例性交通工具信息系统被配置为将用户界面的至 少一部分从第一显示设备镜像到第二显示设备上。计算设备202是图 1的计算设备102的更详细的示例。如图2所示，计算设备202包括 至少一个处理单元204、至少一个通信单元206、至少一个存储装置 208、至少一个用户界面装置210、和至少一个通信信道218。图2仅 示出计算设备202的一个特定示例，并且计算设备202的许多其他示 例可以在其他情况下使用，并且可以包括示例性计算设备202中含有 的部件的子集，或者可以包括图2中未示出的附加组件。
通信信道218可互连部件204、206、208和/或210中的每一个以 用于部件间通信(物理地、通信地和/或可操作地)。在一些示例中， 通信信道218可以包括系统总线、网络连接、一个或多个进程间通信 数据结构、或用于传送数据的任何其他部件。
用户界面装置(UID)210可以使得用户(例如，图1的交通工具 100的乘员)能够与计算设备202交互。UID 210可以包括一个或多个 输入设备212和/或更多输出设备214。输入设备212的示例包括显示 设备、麦克风、物理按钮或旋钮、触摸屏或触摸板等。
输入设备212还可以包括一个或多个传感器230(以下称为“传感 器230”)，诸如压力传感器、近程传感器或定时传感器(timing sensors)， 以测量在输入设备212处接收到的用户交互的各个方面。在传感器230 包括压力传感器的示例中，在感测到在输入设备212上施加一定水平 的压力的用户交互时，传感器230可以确定与输入设备212的用户交 互的压力水平。
在传感器230包括近程传感器的示例中，传感器230可以被配置 为检测输入工具是否与输入设备212物理接触或仅与输入设备212紧 密接近。例如，近程传感器可以包括感应传感器、电容传感器、光电 传感器或超声波传感器中的一个或多个。感应传感器检测含铁目标， 其中传感器230将创建从输入设备212发射的磁场，该磁场随着含铁 目标逐渐接近输入设备212而减小振荡幅度，直到磁场在物理接触时 消失。电容式传感器可以通过发射与电磁场相反的静电场来检测金属 和非金属目标两者。在进入静电场后，目标改变振荡器电路的电容， 指示目标的存在。其他近程传感器使用类似的技术，但是具有不同的 发射，诸如超声波发射或光电发射。
输出设备214的示例包括显示设备和扬声器等。显示设备可以包 括触摸屏(例如，电容性或电阻性的)。示例性显示设备包括液晶显示 器(LCD)、发光二极管(LED)显示器、有机发光二极管(OLED) 显示器、电子墨水或被配置为向用户显示信息的其他设备。在图2的示例中，UID 210可以包括至少两个显示设备。至少两个显示设备中 的第一显示设备可以是存在敏感输入/输出设备，并且至少两个显示设 备中的第二显示设备可以是与存在敏感输入/输出设备分开的平视显 示器，诸如位于包括计算设备202的交通工具的仪表板中的显示器或 将投影输出到包括计算设备202的交通工具的挡风玻璃上的投影仪。
通信单元206可以通过发送和/或接收数据来与一个或多个其他计 算设备进行通信。通信单元206可以包括有线和/或无线通信单元。有 线通信单元206的示例包括通用串行总线(USB)收发器。无线通信 单元206的示例包括GPS无线电、蜂窝(例如，LTE)无线电、BluetoothTM无线电(蓝牙无线电)、WiFiTM无线电(WiFi无线电)或任何其他无 线电。
处理单元204可实施为固定功能处理电路、可编程处理电路或其 组合。固定功能电路是指提供特定功能且预设可执行的操作的电路。 可编程电路是指可经编程以执行各种任务且在可执行的操作中提供灵 活功能的电路。例如，可编程电路可以执行软件或固件，其使得可编 程电路以软件或固件的指令所定义的方式操作。固定功能电路可执行 软件指令(例如，以接收参数或输出参数)，但固定功能处理电路执行 的操作的类型通常不可变。在一些示例中，所述单元中的一个或多个 可以为不同的电路块(固定功能或可编程的)，且在一些示例中，所述 一个或多个单元可为集成电路。
处理单元204还可以包括一个或多个界面232。界面232可以包 括使得处理单元204能够与诸如输入设备212、输出设备214和存储 装置208的其他部件通信的外围界面。界面232可实施为可解译从其 它部件接收的比特流的软件界面，或实施为可接收及处理从其它部件 接收的信号的硬件界面。
在一些示例中，存储装置208可以是暂时存储器，这意味着存储 装置208的主要目的不是长期存储。存储装置208可以被配置为易失 性存储器，用于信息的短期存储，并且因此在断电的情况下不保留所 存储的内容。易失性存储器的示例包括随机存取存储器(RAM)、动 态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)以及本 领域已知的其他形式的易失性存储器。
存储装置208可以包括一个或多个非暂时性计算机可读存储装 置。存储装置208可以被配置为存储比通常由易失性存储器存储的更 大量的信息。存储装置208还可以被配置作为非易失性存储器空间用 于长期存储信息，并在通电/断电周期之后保留信息。非易失性存储器 的示例包括磁性硬盘、光盘、闪存、或电可编程存储器(EPROM)或 电可擦除可编程(EEPROM)存储器的形式。存储装置208可存储程 序指令和/或信息(例如，数据)，所述程序指令和/或信息在被执行时 使得处理单元204执行本申请的技术。例如，存储装置208可以包括 与输入感应模块220、输入检测模块222和输入定位模块224相关联 的数据或信息。
根据本申请的技术，输入感应模块220可生成使得UID 210的第 一显示设备产生第一图形用户界面的信息。在图2的示例中，第一图 形用户界面可以是用于计算设备202的操作系统的主屏幕，使得用户 能够选择可由处理单元204执行的应用、在执行任何应用期间的用户 界面输出、或任何其他可接收用户交互以导航执行的程序或完成功能 的用户界面。
输入检测模块222可以接收与第一图形用户界面内的交互区域进 行交互的用户交互的指示。用户可以使用诸如用户的手指、指示笔或 触摸板之类的输入工具来尝试与第一图形用户界面中的交互区域交 互。例如，当UID 210的第一显示设备是触摸屏时，用户可以将他们 的手指放在交互区域上以尝试与用户界面中的图形元素交互。
如上所述，输入设备212可以包括传感器230，传感器230能测 量与UID 210的第一显示设备中的交互区域进行交互的用户交互的各 个方面。使用这些测量，输入检测模块222可以确定用户交互是否与 选择输入相对应。考虑到在UID 210的第一显示设备是触摸屏的示例 中，可能难以区分尝试与图形元素交互和尝试定位在输入工具位于用 户界面中的位置，输入检测模块222可以利用传感器230来区分这两 个意图。
在一些示例中，传感器230可以包括压力传感器。在这些情况下， 输入检测模块222可以利用用户交互的压力水平来确定用户交互是选 择输入还是用以确定输入工具相对于第一图形用户界面的位置的输 入。例如，如果输入检测模块222确定用户交互的压力水平大于压力 水平阈值，则输入检测模块222可以将交互分类为选择输入。相反地， 如果输入检测模块222确定用户交互的压力水平小于压力水平阈值， 则输入检测模块222可以不将交互分类为选择输入，而是将交互分类 为用以确定输入工具相对于第一图形用户界面的位置的输入。
在其他示例中，传感器230可以包括近程传感器。在这些情况下， 输入检测模块222可以利用这些近程传感器来感测悬停在输入设备 212附近但不与输入设备212接触的输入工具。例如，如果输入检测 模块222确定用于用户交互的输入工具与输入设备212接触，则输入 检测模块222可以将交互分类为选择输入。考虑到本申请的目的，“接 触”可以与“在……的阈值距离内”同义。相反地，如果输入检测模块222 确定用于用户交互的输入工具不与输入设备212接触，而是仅紧密接 近输入设备212，则输入检测模块222可以不将交互分类为选择输入， 而是将交互分类为用以确定输入工具相对于第一图形用户界面的位置 的输入。考虑到本申请的目的，“紧密接近”可以与“被解释为接触但在 输入工具可以被输入设备212感测到的第二阈值距离内的阈值距离的 外侧”同义。
响应于确定用户交互不对应于选择输入，输入定位模块224可以 生成使得UID210的第二显示设备呈现第二图形用户界面的信息。第 二图形用户界面可以包括含有来自第一图形用户界面的交互区域的第 一图形用户界面的至少一部分。在一些示例中，第二显示设备可以包 括默认的图形用户界面，其可以包括诸如交通工具的当前速度、交通 工具面向的方向、交通工具的里程油耗指示器、导航信息、或在交通 工具的驾驶员正在操作交通工具时可能对交通工具的驾驶员有用的任 何其他信息。在使得第二显示设备呈现第二图形用户界面时，输入定 位模块224可使得第二显示设备停止默认图形用户界面对第二显示设 备的输出并且使得第二显示设备呈现以显示第二图形用户界面来代替 所述默认图形用户界面。
在一些示例中，除了引起第二显示设备呈现第一图形用户界面的 至少一部分之外，输入定位模块224还可生成使第二显示设备在第二 图形用户界面中呈现在第二图形用户界面内的对应于第一图形用户界 面内的交互区域的位置处叠加在第二图形用户界面上的交互区域的图 形指示器的信息。如果用户在UID210的第一显示设备上使用输入工 具超过阈值压力水平，该图形指示器可以是表示交互区域的圆圈，表 示交互区域的十字线，或者有效地表示当前交互区域的任何其他附加 图形元素。在某些情况下，在第二图形用户界面中输出的第一图形用 户界面的部分是第一图形用户界面的整体，第二图形用户界面中显示 的图形指示器镜像了输入工具在第一显示设备上的运动。
在一些示例中，在第二图形用户界面中包含的第一图形用户界面 的一部分少于第一图形用户界面的整体。换句话说，第二图形用户界 面可以提供交互区域的放大视图或缩小视图，可能具有围绕第二图形 用户界面中所包含的交互区域的区域。在这样的示例中，除表示交互 区域的图形指示器外或代替表示交互区域的图形指示器，在第二图形 用户界面中包括的第一图形用户界面的部分的中心是与第一个图形用 户界面内的交互区域的中心相同的像素。这样，用户可以使用第二图 形用户界面的中心作为输入工具相对于第一图形用户界面所处位置的 指示，以帮助用户在UID 210的第一显示设备上的第一图形用户界面 内提供正确的输入。
相反地，响应于确定用户交互确实对应于选择输入，输入定位模 块224可以选择与第一图形用户界面内的交互区域相关联的图形用户 界面元素。例如，使用图1的示例，交互区域122可以最接近地对应 于用于在处理单元204可执行的应用内执行功能的按钮。这样，输入 定位模块224可以将用户交互视为对与应用118J相关联的图形元素的 选择。
在一些示例中，交互区域可以是第一交互区域，并且第一图形用 户界面的一部分可以是第一图形用户界面的第一部分。在这样的示例 中，在接收到用户交互的指示的同时，输入检测模块222可以接收用 户交互向第一图形用户界面内的第二交互区域移动的指示。在这样的 情况下，输入定位模块224可以生成引起第二显示设备呈现更新的第 二图形用户界面的更新信息，该更新的第二图形用户界面包括第一图 形用户界面的至少第二部分，所述第一图形用户界面的至少第二部分 包括第一图形用户界面内的第二交互区域。换句话说，用户可能会意 识到输入工具不在期望的位置，无法在第一图形用户界面中进行用户 期望的选择。代替强迫用户察看第一显示设备以定位适于用户输入的 实际期望位置，用户可以使输入工具在与第一显示设备轻微接触或与 第一显示设备紧密靠近的情况下横向滑过第一显示设备，当输入工具 的位置横向移过第一显示设备时，第二图形用户界面动态地更新，使 得当输入工具围绕第二图形用户界面移动并改变交互区域时，第二图 形用户界面始终显示第一图形用户界面中的当前交互区域。
该移动可以用上面描述的叠加图形指示器来示出。例如，响应于 确定用户交互的压力水平低于阈值压力水平，输入定位模块224可以 生成使得第二显示设备在第二图形用户界面中呈现在所述第二图形用 户界面内的对应于用户交互从第一图形用户界面内的第一交互区域向 第一图形用户界面内的第二交互区域的移动的动态位置处叠加在第二 图形用户界面的顶部上的图形指示器的信息。这可以进一步帮助用户 确定输入工具何时处于正确的位置以在第一图形用户界面中选择期望 的图形元素，使得用户能够在不察看第一显示设备的情况下做出这样 的选择。
在输入工具可以在搜索期望输入位置时横向移过第一显示设备的 一些示例中，在第二图形用户界面中包括的第一图形用户界面的第一 部分小于第一图形用户界面的整体。在这样的示例中，在第二图形用 户界面中包括的第一图形用户界面的第一部分的中心与第一图形用户 界面内的第一交互区域的中心是相同的像素，并且在更新的第二图形 用户界面中包括的第一图形用户界面的第二部分的中心与第一图形用 户界面内的第二交互区域的中心是相同的像素。换言之，当输入工具 围绕第一显示设备和第一图形用户界面移动时，第二图形用户界面可 以被输出，使得当输入工具横向移过第一显示设备时，第二图形用户 界面的中心是当前交互区域的中心。
图3是示出了根据本申请的一个或多个方面的第一显示设备和 第二显示设备的概念框图，其中第一显示设备接收用户交互，第二显 示设备基于所接收的用户交互的指示来镜像第一显示设备的用户界面 的至少一部分。
在图3的示例中，由于由计算设备(诸如图1的计算设备102) 生成的信息，用户界面316A和316B可以在诸如图1的UID 110A的 第一显示设备上输出。此外，由于由计算设备(诸如图1的计算设备 102)生成的信息，用户界面326A和326B可以在诸如图1的UID 110B的第二显示设备上输出。第一显示设备可以是存在敏感输入/输出设 备，第二显示设备可以是与存在敏感输入/输出设备分开的平视显示 器。这样，用户界面316A可以是交互式用户界面，但是其位于当用 户是不得不将他们的目光离开道路以察看用户界面316A的驾驶员时 对于用户而言不安全的设备上。此外，用户界面326A和326B可以被 输出以显示在如下位置处，即，将限制用户察看用户界面326A和326B 所需的眼睛移动量的位置处(包括交通工具的仪表板面板或投影到挡 风玻璃上)。这将使得用户能够精确地导航用户界面316A，而无需用 户在导航他们的交通工具的同时将他们的目光眼睛从道路移开。
如图3中所示，在时间T1处，用户界面316A包括用于计算设备 的操作系统的主屏幕，包括用于应用318A-318L(统称为“应用318”) 的图标。用户界面326A可包括默认图形用户界面，该默认图形用户 界面包括温度信息、包含显示设备的交通工具面向的方向、以及按照 交通工具的当前油耗水平预测的行驶距离。
在时间T2处，系统可以接收在用户界面316B的交互区域322处 用户交互的指示。这样，系统的一个或多个处理器可以停止用户界面326A的输出，而是输出用户界面326B来代替用户界面326A。如图3 中所示，用户界面326B包括用户界面316B的含有交互区域322的一 部分。在该示例中，用户界面326B中包括的用户界面316B的所述部 分小于用户界面316B的整体。用户界面326B中包括的用户界面316B 的所述部分的中心是与用户界面316B内的交互区域322的中心相同 的像素，这意味着用户界面326B以交互区域322为中心。
在用户界面326B中还示出了图形指示器330。图形指示器330表 示用户界面316B的交互区域322，并且在用户界面326B内与用户界 面316B内的交互区域322相对应的位置处叠加在用户界面326B的顶 部上。因此，当察看用户界面326B时，如果用户要将输入工具与第 一显示设备分离，或者如果用户要迫使输入工具与第一显示设备接触， 或者如果用户交互的压力开始超过阈值压力值，则用户知道将选择什 么。虽然被示出为虚线空心圆，但是在其他示例中，图形指示器330 可以包括实心圆、十字线、交互区域322中图形元素的颜色的改变(例 如，使图形元素的颜色的阴影变暗或变亮、使用图形元素的颜色的反 色(negatives)等)，或添加到用户界面326B以表示交互区域322的 任何其他合适的图形。
图4是示出根据本申请的一个或多个方面的第一显示设备和第 二显示设备的概念框图，其中第一显示设备接收用户交互，和第二显 示设备基于所接收的用户交互的指示来镜像第一显示设备的用户界面 的至少一部分。
在图4的示例中，由于由计算设备(诸如图1的计算设备102) 生成的信息，用户界面416A和416B可以在诸如图1的UID 110A的 第一显示设备上输出。此外，由于由计算设备(诸如图1的计算设备 102)生成的信息，用户界面426A和426B可以在诸如图1的UID 110B的第二显示设备上输出。第一显示设备可以是存在敏感输入/输出设 备，第二显示设备可以是与存在敏感输入/输出设备分开的平视显示 器。这样，用户界面416A可以是交互式用户界面，但是位于当用户 是不得不将他们的目光移离道路以察看用户界面416A的驾驶员时对 于用户而言不安全的设备上。此外，用户界面426A和426B可以被输 出以在将限制用户察看用户界面426A和426B所需的目光移动量的位 置(包括仪表板面板)处显示，或投影到交通工具的挡风玻璃上。这 将使得用户能够精确地导航用户界面416A，而无需用户在导航他们的 交通工具的同时将他们的目光从道路转移。
如图4中所示，在时间t3，用户界面416A包括用于计算设备的 操作系统的主屏幕，包括用于应用418A-418L(统称为“应用418”)的 图标。用户界面426A可以包括整个用户界面416A，但是尺寸减小， 这是由于与第一显示设备相比，第二显示设备的尺寸减小。
在时间T4处，系统可以接收在用户界面416B的交互区域422处 用户交互的指示。如图4中所示，用户界面426B包括用户界面416B， 用户界面416B还包括交互区域422。在用户界面426B中还示出了图 形指示器430。图形指示器430表示用户界面416B的交互区域422， 并且在用户界面426B内与用户界面416B内的交互区域422相对应的 位置处叠加在用户界面426B顶部上。因此，当察看用户界面426B时， 如果用户要将输入工具与第一显示设备分离，或者如果用户要迫使输 入工具与第一显示设备接触，或者如果用户交互的压力开始超过阈值 压力值，则用户知道将选择什么。虽然被示出为虚线空心圆，但是在 其他示例中，图形指示器430可以包括实心圆、十字线、交互区域422 中的图形元素的颜色的改变(例如，使图形元素的颜色的阴影变暗或 变亮、使用图形元素的颜色的反色等)、或添加到用户界面426B来表 示交互区域422的任何其他合适的图形。
图5是示出根据本申请内容的一个或多个方面的第一显示设备 和第二显示设备的概念框图，其中第一显示设备示出接收用户交互， 第二显示设备基于所接收的用户交互的指示来镜像第一显示设备的用 户界面的至少一部分。
在图5的示例中，由于由计算设备(诸如图1的计算设备102) 生成的信息，用户界面516A和516B可以在诸如图1的UID 110A的 第一显示设备上输出。此外，由于由计算设备(诸如图1的计算设备 102)生成的信息，用户界面526A和526B可以在诸如图1的UID 110B的第二显示设备上输出。第一显示设备可以是存在敏感输入/输出设 备，并且第二显示设备可以是与存在敏感输入/输出设备分开的平视显 示器。这样，用户界面516A可以是交互式用户界面，但是位于当用 户是将不得不将他们的目光移离道路以察看用户界面516A的驾驶员 时对于用户而言不安全的设备上。此外，用户界面526A和526B可以 被输出以用于在将限制用户察看用户界面526A和526B所需的目光移 动量的位置(包括仪表板面板)处显示，或投影到交通工具的挡风玻 璃上。这将使得用户能够精确地导航用户界面516A，而无需用户在导 航他们的交通工具的同时从道路转移他们的目光。
如图5中所示，在时间T5处，用户界面516A包括诸如音乐流应 用或无线电应用的音乐播放应用内的用户界面。音频调整按钮540A 被包括在用户界面516A中，并包含音量增大按钮、音量减小按钮和 静音按钮。音乐信息框542A也被包括在用户界面516A中，并包含关 于当前歌曲和正在通过音乐播放应用播放的当前艺术家的信息。
在时间T5处，用户可能希望通过音乐播放应用来调整在交通工 具的扬声器上输出的音频的音量。这样，用户可以尝试在交互区域 522A中与用户界面516A交互。根据本文描述的技术，用户界面526A 可以包括含有交互区域522A的用户界面516A的一部分。但是，由于 用户在驾驶的同时将注意力集中在道路上，因此初始交互区域522A 落在用户界面516A的音乐信息框542A中。这样，图形指示器530A 表示交互区域522A，用户界面526A包括用户界面516A的交互区域 522A和环绕部分，所述环绕部分包括音乐信息框542A的一部分。
在时间T6处，用户可以使用用户界面526B来尝试导航到音频调 整按钮540B。这样，系统的一个或多个处理器可以检测输入工具沿着 界面从交互区域522A到交互522B的移动，其或者与界面轻微接触， 或者仅与界面轻微分离。如图5中所示，在检测到输入工具的移动之 后，用户界面526B更新所显示的部分以包括表示当前的新交互区域 522B的图形指示器530B。用户界面526B现在包括音频调整按钮 540B，其向用户指示交互区域522B已经随着输入工具横向移过第一 显示设备而被更新。
未在图5中示出，当用户将输入工具沿着界面从交互区域522A 移动到交互区域522B时，用户界面526B可以更新以随着输入移动而 动态地包括当前交互区域。这种动态调整可以使得用户能够高效地导 航到期望的输入位置，而不必将他们的目光从对包括本文所描述的装 置的系统的交通工具的导航转移开。
图6是示出根据本申请的一个或多个方面的示例性交通工具信息 系统的示例性操作的流程图，其中所述示例性交通工具信息系统被配 置为将用户界面的至少一部分镜像到第二显示设备上。图6参考图1 的计算设备102进行描绘。但是，该过程也可适用于本文描述的任何 其他计算设备。
根据本文描述的技术，计算设备102可以生成使得第一显示设备 呈现第一图形用户界面(602)的信息。计算设备102然后可以确定计 算设备102是否接收到与第一图形用户界面内的交互区域交互的用户 交互的指示(604)。如果计算设备102未接收到用户交互的指示(604 的“否”分支)，则计算设备102可以继续等待要接收的用户交互(604)。 否则，如果计算设备102确实接收到用户交互的指示(604的“是”分 支)，则计算设备102可以利用压力传感器和/或近程传感器来分析用 户交互(606)。
使用来自框606的分析，计算设备102可以确定用户交互是否对 应于选择输入(608)，诸如通过确定用户交互的压力水平是否高于或 低于压力阈值，或者由用户控制的输入工具是否与界面接触或输入工 具是否接近但不与该界面接触。响应于确定用户交互不对应于选择输 入(608的“否”分支)，计算设备102可以生成使得第二显示设备呈现 第二图形用户界面的信息(610)。第二图形用户界面可以包括含有第 一图形用户界面内的交互区域的第一图形用户界面的至少一部分。计 算设备102然后可以继续分析用户交互(606)，只要用户交互仍然不 同于选择输入，就重复地生成使得第二显示设备呈现第二图形用户界 面的信息。
相反地，响应于确定用户交互确实对应于选择输入(608的“是” 分支)，计算设备102可以选择与第一图形用户界面内的交互区域相关 联的图形用户界面元素(612)。该选择可以使计算设备102执行与所 选择的交互区域相关联的动作(614)。计算设备102然后可以返回到 确定何时接收到进一步的用户交互(604)。
在第一显示设备不在便于用户视觉监视的位置的环境中，将第一 显示设备的用户界面的至少一部分镜像在可以处于用户察看更方便和 安全的位置的第二显示设备。例如，在包括位于仪表板中控台中的触 摸屏的乘用交通工具的示例中，当用户想向触摸屏控制的系统提供输 入时，用户界面可以被复制在更方便用户在他们正在驾驶时察看的更 安全位置处的第二显示设备上，诸如在仪表板面板上的平视显示器中 或在驾驶员前方的交通工具挡风玻璃上的投影上，而不用迫使驾驶员 将他们的目光从道路上转移到触摸屏上。这种改进的图形用户界面系 统可以提高驾驶员的安全性，减少定位用户希望与之交互的用户界面 中的图形元素所花费的时间量，并且减少提供给系统的错误的用户交 互的量。
应认识到，取决于示例，本文中所描述的技术中的任何技术的某 些动作或事件可按不同次序执行，可一起添加、合并或省略(例如， 并非所有所描述的动作或事件对于所述技术的实践都是必要的)。此 外，在某些示例中，可例如通过多线程处理、中断处理或多个处理器 同时而非依序执行动作或事件。
在一个或多个示例中，所描述的功能可以用硬件、软件、固件或 其任意组合来实现。如果以软件实现，功能可以作为一个或多个指令 或代码存储在计算机可读介质上或通过计算机可读介质传输，并由基 于硬件的处理单元执行。计算机可读介质可以包括计算机可读存储介 质，其对应于有形介质，例如数据存储介质，或者通信介质，其包括 例如根据通信协议便于将计算机程序从一个地方传送到另一个地方的 任何介质。以这种方式，计算机可读介质通常可以对应于(1)非暂时 性的有形计算机可读存储介质，或者(2)诸如信号或载波的通信介质。 数据存储介质可以是可由一个或多个计算机或一个或多个处理器访问 以检索指令、代码和/或数据结构来实现本公开中描述的技术的任何可 用介质。计算机程序产品可以包括计算机可读介质。
作为示例而非限制，这种计算机可读存储介质可以包括随机存取 存储器、只读存储器、可编程只读存储器、只读光盘或其他光盘存储 器、磁盘存储器或其他磁存储设备、闪存或任何其他可以用于存储指 令或数据结构形式的所需程序代码并且可以由计算机访问的介质。此 外，任何连接都被恰当地称为计算机可读介质。例如，如果使用同轴 电缆、光纤电缆、双绞线、数字用户线路(DSL)或无线技术(如红 外线、无线电和微波)从网站、服务器或其他远程源传输指令，则同 轴电缆、光纤电缆、双绞线、DSL或无线技术(如红外线、无线电和 微波)包括在介质的定义中。然而，应当理解，计算机可读存储介质 和数据存储介质不包括连接、载波、信号或其他暂时介质，而是针对 非暂时的、有形的存储介质。这里使用的盘(disk)和碟(disc)包括 光盘(CD)、激光盘、光盘、数字多功能盘(DVD)和蓝光光盘，其中盘通常磁性地再现数据，而碟用激光光学地再现数据。上述的组合 也应该包括在计算机可读介质的范围内。
指令可以由一个或多个处理器执行，例如一个或多个数字信号处 理器(DSPs)、通用微处理器、专用集成电路(ASICs)、现场可编程 门阵列(FPGAs)、复杂可编程逻辑器件(CPLDs)或其他等效的集成 或分立逻辑电路。因此，这里使用的术语“处理器”可以指任何前述结 构或适合于实现这里描述的技术的任何其他结构。此外，这些技术可 以完全在一个或多个电路或逻辑元件中实现。
本公开的技术可以在多种设备或装置中实现，包括无线手机、集 成电路(IC)或一组集成电路(例如，芯片组)。在本公开中描述了各 种组件、模块或单元以强调被配置为执行所公开的技术的设备的功能 方面，但是不是必须通过不同的硬件单元来实现。相反，如上所述， 各种单元可以由互操作硬件单元的集合结合合适的软件和/或固件来 提供，包括如上所述的一个或多个处理器。
已经描述了各种例子。这些和其他例子在以下权利要求的范围内。

Claims (20)

1.一种设备，包括：
用于确定与由第一显示设备呈现的第一图形用户界面的交互区域进行的用户交互是否对应于选择输入的确定装置；和
用于响应于确定用户交互不对应于所述选择输入来生成使得第二显示设备呈现包括所述第一图形用户界面的至少一部分的第二图形用户界面的信息的生成装置，所述第一图形用户界面的所述至少一部分包括所述第一图形用户界面内的所述交互区域。
2.如权利要求1所述的设备，其中，所述用户交互包括第一用户交互，其中，所述交互区域包括第一交互区域，并且其中，所述设备还包括：
用于接收与所述第一图形用户界面的第二交互区域进行第二用户交互的指示的接收装置；
用于确定所述第二用户交互是否对应于所述选择输入的确定装置；和
用于响应于确定所述第二用户交互对应于所述选择输入来选择所述第一图形用户界面内与所述第二交互区域相关联的图形用户界面元素的选择装置。
3.如权利要求1所述的设备，进一步包括：
用于响应于确定所述用户交互不对应于所述选择输入来生成使得所述第二显示设备在所述第二图形用户界面中呈现所述交互区域的图形指示器的信息的生成装置，所述图形指示器在所述第二图形用户界面内对应于所述第一图形用户界面内的交互区域的位置处叠加在所述第二图形用户界面的顶部上。
4.如权利要求1所述的设备，其中，所述交互区域包括第一交互区域，其中，所述第一图形用户界面的所述部分包括所述第一图形用户界面的第一部分，并且其中，所述设备还包括：
在接收到用户交互的指示时并且在所述用户交互不对应于所述选择输入时：
用于接收所述用户交互向所述第一图形用户界面的第二交互区域移动的指示的接收装置；
用于生成更新信息的生成装置，所述更新信息使得所述第二显示设备在所述第二图形用户界面中呈现所述第一图形用户界面的至少第二部分，所述第一图形用户界面的至少第二部分包括所述第一图形用户界面的所述第二交互区域；和
用于响应于确定所述用户交互不对应于所述选择输入来生成使得所述第二显示设备在所述第二图形用户界面中呈现在所述第二图形用户界面内的动态位置处被叠加在所述第二图形用户界面的顶部上的图形指示器的信息的生成装置，其中所述第二图形用户界面内的动态位置对应于所述用户交互从所述第一图形用户界面内的第一交互区域向第一图形用户界面内的第二交互区域的移动。
5.如权利要求1所述的设备，其中，用于确定用户交互是否对应于选择输入的确定装置包括：
用于确定所述用户交互的压力水平的确定装置；
用于响应于确定所述用户交互的所述压力水平小于压力阈值水平来确定所述用户交互不对应于所述选择输入的确定装置；和
用于响应于确定所述用户交互的所述压力水平大于所述压力阈值水平来确定所述用户交互对应于所述选择输入的确定装置。
6.如权利要求1所述的设备，其中，用于确定用户交互是否对应于选择输入的确定装置包括：
使用一个或多个近程传感器确定所述用户交互是否与输入设备接触或悬停在所述输入设备上方的确定装置；
用于响应于确定所述用户交互悬停在所述输入设备上方来确定所述用户交互不对应于所述选择输入的确定装置；和
用于响应于确定所述用户交互与所述输入设备接触来确定所述用户交互对应于所述选择输入的确定装置。
7.一种设备，包括：
界面；和
一个或多个处理器，所述处理器被配置为：
确定与由第一显示设备呈现的第一图形用户界面的交互区域进行的用户交互是否对应于选择输入，其中所述用户交互由所述界面接收；和
响应于确定用户交互不对应于所述选择输入来生成使得第二显示设备呈现包括所述第一图形用户界面的至少一部分的第二图形用户界面的信息，其中所述第一图形用户界面的所述至少一部分包括所述第一图形用户界面内的所述交互区域。
8.如权利要求7所述的设备，其中，所述用户交互包括第一用户交互，其中，所述交互区域包括第一交互区域，并且其中，所述一个或多个处理器还被配置为：
接收与所述第一图形用户界面的第二交互区域进行交互的第二用户交互的指示；
确定所述第二用户交互是否对应于所述选择输入；和
响应于确定所述第二用户交互对应于所述选择输入来选择与所述第一图形用户界面内的所述第二交互区域相关联的图形用户界面元素。
9.如权利要求7所述的设备，其中，所述一个或多个处理器进一步被配置为：
响应于确定所述用户交互不对应于所述选择输入来由所述一个或多个处理器生成使得所述第二显示设备在所述第二图形用户界面中呈现在所述第二图形用户界面内的对应于所述第一图形用户界面内的所述交互区域的位置处叠加在所述第二图形用户界面的顶部上的交互区域的图形指示器的信息。
10.如权利要求7所述的设备，其中，所述交互区域包括第一交互区域，其中，所述第一图形用户界面的所述部分包括所述第一图形用户界面的第一部分，并且其中，所述一个或多个处理器还被配置为：
在接收到用户交互的指示时并且在所述用户交互不对应于所述选择输入时：
接收所述用户交互向所述第一图形用户界面的第二交互区域移动的指示；和
生成使得所述第二显示设备在所述第二图形用户界面中呈现所述第一图形用户界面的至少第二部分的更新信息，所述第一图形用户界面的所述至少第二部分包括所述第一图形用户界面的所述第二交互区域；
其中，所述一个或多个处理器还被配置为：
响应于确定所述用户交互不对应于所述选择输入来生成使得所述第二显示设备在所述第二图形用户界面中呈现在所述第二图形用户界面内的动态位置处叠加在所述第二图形用户界面的顶部上的图形指示器的信息，所述第二图形用户界面内的动态位置对应于所述用户交互从所述第一图形用户界面内的所述第一交互区域向所述第一图形用户界面内的第二交互区域的移动。
11.如权利要求7所述的设备，其中，所述一个或多个处理器被配置为确定所述用户交互是否对应于所述选择输入包括所述一个或多个处理器被配置为：
确定所述用户交互的压力水平；
响应于确定所述用户交互的压力水平小于压力阈值水平来确定所述用户交互不对应于所述选择输入；和
响应于确定用户交互的压力水平大于所述压力阈值水平来确定所述用户交互对应于所述选择输入。
12.如权利要求7所述的设备，其中，所述一个或多个处理器被配置为确定所述用户交互是否对应于所述选择输入包括所述一个或多个处理器被配置为：
使用一个或多个近程传感器确定所述用户交互是否与输入设备接触或悬停在所述输入设备上方；
响应于确定所述用户交互悬停在所述输入设备上方，确定所述用户交互不对应于所述选择输入；和
响应于确定所述用户交互与所述输入设备接触，确定所述用户交互对应于所述选择输入。
13.一种方法，包括：
确定与由第一显示设备呈现的第一图形用户界面的交互区域进行的用户交互是否对应于选择输入；和
响应于确定用户交互不对应于所述选择输入来生成使得第二显示设备呈现包括所述第一图形用户界面的至少一部分的第二图形用户界面的信息，所述第一图形用户界面的所述至少一部分包括所述第一图形用户界面内的所述交互区域。
14.如权利要求13所述的方法，其中，所述用户交互包括第一用户交互，其中，所述交互区域包括第一交互区域，并且其中，所述方法还包括：
接收与所述第一图形用户界面的第二交互区域进行的第二用户交互的指示；
确定所述第二用户交互是否对应于所述选择输入；和
响应于确定所述第二用户交互对应于所述选择输入来选择与所述第一图形用户界面内所述第二交互区域相关联的图形用户界面元素。
15.如权利要求13所述的方法，还包括：
响应于确定所述用户交互不对应于所述选择输入来生成使得所述第二显示设备在所述第二图形用户界面中呈现在所述第二图形用户界面内对应于所述第一图形用户界面内的交互区域的位置处叠加在所述第二图形用户界面的顶部上的所述交互区域的图形指示器的信息。
16.如权利要求13所述的方法，其中所述交互区域包括第一交互区域，其中所述第一图形用户界面的所述部分包括所述第一图形用户界面的第一部分，并且其中所述方法还包括：
在接收到所述用户交互的指示时，并且在所述用户交互不对应于所述选择输入时：
接收所述用户交互向所述第一图形用户界面的第二交互区域移动的指示；
生成更新信息，所述更新信息使得所述第二显示设备在所述第二图形用户界面中呈现所述第一图形用户界面的至少第二部分，所述第一图形用户界面的所述至少第二部分包括所述第一图形用户界面的所述第二交互区域；和
响应于确定所述用户交互不对应于所述选择输入，生成使得所述第二显示设备在所述第二图形用户界面中呈现图形指示器的信息，所述图形指示器在所述第二图形用户界面内的对应于所述用户交互从所述第一图形用户界面内的所述第一交互区域向所述第一图形用户界面内的所述第二交互区域的移动的动态位置处叠加在所述第二图形用户界面的顶部上。
17.如权利要求13所述的方法，其中确定用户交互是否对应于选择输入包括：
确定所述用户交互的压力水平；
响应于确定所述用户交互的压力水平小于压力阈值水平来确定所述用户交互不对应于所述选择输入；和
响应于确定所述用户交互的压力水平大于所述压力阈值水平来确定所述用户交互对应于所述选择输入。
18.如权利要求13所述的方法，其中确定用户交互是否对应于选择输入包括：
使用一个或多个近程传感器确定所述用户交互是否与输入设备接触或悬停在所述输入设备上方；
响应于确定所述用户交互悬停在所述输入设备上方来确定所述用户交互不对应于所述选择输入；和
响应于确定所述用户交互与所述输入设备接触来确定所述用户交互对应于所述选择输入。
19.一种存储指令的非暂时性计算机可读存储介质，所述指令在由一个或多个处理器执行时使所述一个或多个处理器：
确定与由第一显示设备呈现的第一图形用户界面的交互区域进行的用户交互是否对应于选择输入；和
响应于确定用户交互不对应于所述选择输入来生成使得第二显示设备呈现包括所述第一图形用户界面的至少一部分的第二图形用户界面的信息，所述第一图形用户界面的所述至少一部分包括所述第一图形用户界面内的所述交互区域。
20.如权利要求19所述的非暂时性计算机可读存储介质，其中所述指令进一步使所述一个或多个处理器：
响应于确定用户交互不对应于所述选择输入来生成使得所述第二显示设备在所述第二图形用户界面中呈现在所述第二图形用户界面内对应于所述第一图形用户界面内的所述交互区域的位置处叠加在所述第二图形用户界面的顶部上的所述交互区域的图形指示器的信息。
CN202010086078.5A 2019-02-12 2020-02-11 平视显示器上的显示和输入镜像 Pending CN111552431A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/273,832 US20200257442A1 (en) 2019-02-12 2019-02-12 Display and input mirroring on heads-up display
US16/273,832 2019-02-12

Publications (1)

Publication Number Publication Date
CN111552431A true CN111552431A (zh) 2020-08-18

Family

ID=69571832

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010086078.5A Pending CN111552431A (zh) 2019-02-12 2020-02-11 平视显示器上的显示和输入镜像

Country Status (3)

Country Link
US (1) US20200257442A1 (zh)
EP (1) EP3696656A1 (zh)
CN (1) CN111552431A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10761636B2 (en) * 2018-03-08 2020-09-01 Capital One Services, Llc Systems and methods for providing an interactive user interface using a film and projector

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007237954A (ja) * 2006-03-09 2007-09-20 Xanavi Informatics Corp ナビゲーションシステム
CN102122226A (zh) * 2010-01-07 2011-07-13 索尼公司 显示控制设备、显示控制方法以及显示控制程序
JP2012006469A (ja) * 2010-06-24 2012-01-12 Toshiba Alpine Automotive Technology Corp 車両用ディスプレイ装置及び車両用ディスプレイの表示方法
US20120019488A1 (en) * 2009-12-14 2012-01-26 Mccarthy John P Stylus for a touchscreen display
US20130050131A1 (en) * 2011-08-23 2013-02-28 Garmin Switzerland Gmbh Hover based navigation user interface control
CN107491283A (zh) * 2016-06-12 2017-12-19 苹果公司 用于动态地调整音频输出的呈现的设备、方法和图形用户界面
CN107918504A (zh) * 2016-10-06 2018-04-17 丰田自动车株式会社 车载操作装置
US20180105040A1 (en) * 2015-07-01 2018-04-19 Lg Electronics Inc. Assistance Apparatus For Driving Of A Vehicle, Method Thereof, And Vehicle Having The Same
CN108334871A (zh) * 2018-03-26 2018-07-27 深圳市布谷鸟科技有限公司 基于智能座舱平台的平视显示设备的交互方法及系统
US20180232195A1 (en) * 2015-11-05 2018-08-16 Lg Electronics Inc. Electronic device and method for sharing images

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8665225B2 (en) * 2007-01-07 2014-03-04 Apple Inc. Portable multifunction device, method, and graphical user interface for interpreting a finger gesture
US9594489B2 (en) * 2014-08-12 2017-03-14 Microsoft Technology Licensing, Llc Hover-based interaction with rendered content
US10589676B2 (en) * 2016-06-02 2020-03-17 Magna Electronics Inc. Vehicle display system with user input display
KR102521032B1 (ko) * 2016-06-17 2023-04-13 삼성전자주식회사 사용자 입력 처리 방법 및 전자 장치
US10353658B2 (en) * 2016-09-22 2019-07-16 Toyota Motor Sales, U.S.A., Inc. Human machine interface (HMI) control unit for multiple vehicle display devices
US11262910B2 (en) * 2018-01-11 2022-03-01 Honda Motor Co., Ltd. System and method for presenting and manipulating a map user interface

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007237954A (ja) * 2006-03-09 2007-09-20 Xanavi Informatics Corp ナビゲーションシステム
US20120019488A1 (en) * 2009-12-14 2012-01-26 Mccarthy John P Stylus for a touchscreen display
CN102122226A (zh) * 2010-01-07 2011-07-13 索尼公司 显示控制设备、显示控制方法以及显示控制程序
JP2012006469A (ja) * 2010-06-24 2012-01-12 Toshiba Alpine Automotive Technology Corp 車両用ディスプレイ装置及び車両用ディスプレイの表示方法
US20130050131A1 (en) * 2011-08-23 2013-02-28 Garmin Switzerland Gmbh Hover based navigation user interface control
US20180105040A1 (en) * 2015-07-01 2018-04-19 Lg Electronics Inc. Assistance Apparatus For Driving Of A Vehicle, Method Thereof, And Vehicle Having The Same
US20180232195A1 (en) * 2015-11-05 2018-08-16 Lg Electronics Inc. Electronic device and method for sharing images
CN107491283A (zh) * 2016-06-12 2017-12-19 苹果公司 用于动态地调整音频输出的呈现的设备、方法和图形用户界面
CN107918504A (zh) * 2016-10-06 2018-04-17 丰田自动车株式会社 车载操作装置
CN108334871A (zh) * 2018-03-26 2018-07-27 深圳市布谷鸟科技有限公司 基于智能座舱平台的平视显示设备的交互方法及系统

Also Published As

Publication number Publication date
EP3696656A1 (en) 2020-08-19
US20200257442A1 (en) 2020-08-13

Similar Documents

Publication Publication Date Title
KR101646293B1 (ko) 리스트로 분류된 정보의 디스플레이 방법 및 장치
RU2475373C2 (ru) Способ индикации информации в автомобиле и индикаторное устройство для автомобиля
US10829041B2 (en) Automated pacing of vehicle operator content interaction
EP2829440B1 (en) On-board apparatus
US11279280B2 (en) Automated pacing of vehicle operator content interaction
KR102205251B1 (ko) 지능형 스텐실 마스크를 이용한 터치 스크린 인터페이스와 상호 작용하는 시스템 및 방법
US20070262953A1 (en) Multiple-view display system having user manipulation control and method
CN104471353A (zh) 低注意力手势用户界面
US20180307405A1 (en) Contextual vehicle user interface
JP2002304256A (ja) 情報処理装置
JP5700254B2 (ja) 操作入力システム
US20200142511A1 (en) Display control device and display control method
CN111552431A (zh) 平视显示器上的显示和输入镜像
JP2018195134A (ja) 車載用情報処理システム
JP2015132905A (ja) 電子システム、検出範囲の制御方法、及び制御プログラム
RU2410259C2 (ru) Интерактивное устройство управления и способ эксплуатации интерактивного устройства управления
CN108693981A (zh) 车辆用输入装置
JP6149555B2 (ja) タッチパネル装置
US20120147032A1 (en) Manipulation information input apparatus
US20200353818A1 (en) Contextual based user interface
US20230249552A1 (en) Control apparatus
KR102459532B1 (ko) 차량 및 그 제어방법
KR20180035088A (ko) 터치 입력장치, 이를 포함하는 차량, 및 제어방법
EP3125099B1 (en) Vehicle and method of controlling the same
JP2021114308A (ja) 表示制御装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200818

WD01 Invention patent application deemed withdrawn after publication