CN111052060A - 包括可配置虚拟小部件的触敏用户界面 - Google Patents

包括可配置虚拟小部件的触敏用户界面 Download PDF

Info

Publication number
CN111052060A
CN111052060A CN201880055690.7A CN201880055690A CN111052060A CN 111052060 A CN111052060 A CN 111052060A CN 201880055690 A CN201880055690 A CN 201880055690A CN 111052060 A CN111052060 A CN 111052060A
Authority
CN
China
Prior art keywords
virtual
touch
gui
widget
elements
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880055690.7A
Other languages
English (en)
Other versions
CN111052060B (zh
Inventor
W·J·利德尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microchip Technology Inc
Original Assignee
Microchip Technology Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microchip Technology Inc filed Critical Microchip Technology Inc
Publication of CN111052060A publication Critical patent/CN111052060A/zh
Application granted granted Critical
Publication of CN111052060B publication Critical patent/CN111052060B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547—Touch pads, in which fingers can move on a surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04809—Textured surface identifying touch areas, e.g. overlay structure for a virtual keyboard

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

本发明公开了一种触敏图形用户界面(GUI)，该触敏图形用户界面可包括触摸屏，该触摸屏被配置为显示图形用户界面，该图形用户界面包括一个或多个虚拟小部件的布置，每个虚拟小部件具有形状并且包括经由图形用户界面显示的一个或多个用户界面元素。一个或多个虚拟小部件的布置是可配置的。微控制器可被配置为感测触摸屏处的触摸，识别与触摸相对应的虚拟小部件，并且发起包括以下中的至少一者的动作：(a)控制致动器以在触摸屏的在其上显示识别的虚拟小部件的区域处提供触觉反馈；或(b)控制与用户界面系统相关联的电子设备。

Description

包括可配置虚拟小部件的触敏用户界面
相关专利申请
本专利申请要求(a)2017年10月24日提交的美国临时专利申请62/576,383和(b)2017年10月24日提交的美国临时专利申请62/576,563的优先权，这些申请的全部内容据此出于所有目的以引用方式并入。
技术领域
本公开涉及触敏用户界面，例如触摸屏，并且更具体地讲，涉及使用可配置虚拟小部件的布置的触敏用户界面。
背景技术
包含触摸感测的触摸界面用于多种应用，包括例如在平板计算机、个人计算机、智能电话和其他消费产品中。它们还用作汽车、家用电器(例如，冰箱、烤箱、洗衣机/烘干机等)、加热和空调控制系统、安全系统、自动柜员机(ATM)的控制面板。这些应用中的触摸界面可以是例如触摸板，或者可以包括屏幕和图形用户界面(GUI)。
发明内容
一般来讲，本公开的一些实施方案涉及创建用于搜索在接触敏感屏幕(例如，使用常规网格类型触摸位置报告的触摸屏)上显示的图形用户界面(GUI)的元素的指令的方法。方法包括解析GUI定义并响应于解析而识别GUI的元素；创建包括已识别元素的条目的记录；将已识别元素与相似定位的元素组相关联；将已识别元素的记录布置成树形结构；将相同组中的已识别元素折叠成树形结构中的单个叶；优化树形结构；以及响应于树形结构而创建搜索指令列表。
一般来讲，本公开的一些实施方案涉及一种用于使得计算机能够创建可执行指令以搜索图形用户界面(GUI)的元素的计算机程序产品。程序产品可以包括计算机可读介质和在计算机可读介质上的软件指令。计算机可读介质上的软件指令适于使得计算机能够执行以下操作：解析GUI定义并响应于所解析的GUI定义而识别GUI的元素；创建包括已识别元素的条目的记录；将已识别元素与相似定位的元素组相关联；将已识别元素的记录布置成树形结构；将相同组中的已识别元素折叠成树形结构中的单个叶；优化树形结构；以及响应于树形结构而创建搜索指令列表。
本公开的一些实施方案整体涉及可操作地耦接到被配置为显示图形用户界面(GUI)的触摸屏的微控制器。微控制器包括至少一个处理器和存储在非暂态存储介质上的一个或多个可执行指令。指令在由处理器执行时适于使得处理器能够：确定在触摸屏处的感测触摸的位置；以及识别与对应于感测触摸的触摸位置相关联的GUI元素。
一般来讲，本公开的一些实施方案涉及一种识别在触摸屏处显示的图形用户界面(GUI)的元素的方法。方法包括确定在触摸屏处的感测触摸的位置；响应于位置而执行一个或多个搜索指令，其中一个或多个搜索指令中的每个搜索指令对应于GUI元素，并且在被执行时适于返回搜索结果；以及响应于搜索结果而识别GUI元素。
本公开的一些实施方案整体涉及一种系统。系统包括显示子系统和触摸子系统。显示子系统被配置为控制显示器。触摸子系统包括触摸传感器和触摸控制器。触摸控制器被配置为确定在触摸传感器处的感测触摸的位置；响应于位置和搜索树而执行一个或多个搜索指令，其中一个或多个搜索指令中的每个搜索指令对应于GUI元素，并且在被执行时适于返回搜索结果；响应于搜索结果而识别GUI元素；以及响应于已识别GUI元素而生成触觉控制消息。
本公开的一些实施方案包括触敏GUI，该触敏GUI利用虚拟小部件，这些虚拟小部件各自包括各形状的组合(例如，包括一个或多个活动的UI元素)，这些形状包括在可显示的GUI屏幕中。例如，虚拟小部件可以包括虚拟按钮、滑块、旋钮、刻度盘等的多个实例和/或类型的定义组合。作为另一示例，虚拟小部件可以包括共同定义用于控制定义功能的界面的活动元素的定义组合。
在一些实施方案中，虚拟小部件可以显示在触摸屏上，但在一些实施方案中，仅在触摸屏配置模块/过程的背景下以及在触摸屏显示器上存在。虚拟小部件可以向主机进行报告。使用虚拟小部件可以降低触敏GUI的物理界面复杂性。例如，使用虚拟小部件可以减少主机上用于处理触摸位置的开销，并且对于物理转子、滑块等(例如，加热控件、无线电控件或任何其他类型的控件)，可能不需要单独的硬件或电子器件。
一些实施方案提供了用于以可配置的方式限定触摸屏的区域(例如，已配置的屏幕页面中的区域)以作为虚拟小部件(例如、按钮、滑块、刻度盘等)来操作的系统和方法。当在触摸屏上检测到触摸时，触摸控制器可以确定与用户触摸相对应的小部件的位置或状态(例如，与所检测到的触摸位置相对应的虚拟滑块的线性位置或虚拟刻度盘的旋转位置)，并且可以在“小部件消息”中将此位置/状态信息报告给主机，以作为对报告指示触摸屏上的触摸位置的“触摸消息”的替代或补充。例如，小部件消息可以指示用户选择的位置、旋转、“触摸”状态和/或在相应小部件上检测到的触摸的数量，其与检测到的触摸位置、力和/或触摸屏上检测到的触摸的其他可测量方面相对应。在一个实施方案中，小部件消息还可报告一组小部件(例如，按钮或键)的触摸/未触摸状态。
在一些实施方案或情况中，触摸虚拟按钮/小部件的动作可能具有以下效果：以持续到将来按钮按压的方式(例如，经由主机界面的自修改)更新屏幕上的“页面”或启用/禁用按钮，那时可能会或可能不会将小部件报告发送到主机(取决于实施方案或配置)，但之后触摸屏上的相同位置可产生不同的结果，例如从无线电切换到加热器控制。因此，主机将仅需要更新显示器以匹配所选择的页面图像。
此外，在一些实施方案中，如果触摸屏控制器被设置为控制屏幕存储器中的页面，则控制器可执行通过SPI或另一可用GPIO界面在屏幕存储器中选择页面以匹配相关小部件页面ID的过程。在这样的配置中，触摸屏控制器可整体地选择和显示屏幕页面，而不是在屏幕上绘制形状。例如，不同的屏幕页面可仅更改所定义的一组按钮或键上的标签。这样的配置可以是非常灵活的，并且可移除主机消息传输延迟并且非常有响应性。
使用虚拟小部件可以简化主机的所要求的处理。例如，使用虚拟小部件可以允许单个屏幕设计具有多个应用程序。例如，一个界面可以经由适当的配置来处理每一种产品变型。
附图说明
下文结合以下附图描述了本公开的示例性方面和实施方案：
图1是示出生成和使用搜索任务列表来识别GUI中接触的UI元素的过程的泳道图；
图2是根据本公开的一个实施方案的用于生成搜索任务列表的过程的流程图；
图3是根据本公开的一个实施方案的从UI结构定义中提取UI元素的过程的流程图；
图4是根据本公开的一个实施方案的生成中间搜索树的过程的流程图；
图5是根据本公开的一个实施方案的生成搜索任务树的过程的流程图；
图6是根据本公开的一个实施方案的生成搜索任务列表的过程的流程图；
图7是根据本公开的一个实施方案的确定在UI元素内是否发生触摸的UI元素/形状搜索过程的流程图；
图8示出了由UI元素(可用颜色)组成的无线电GUI的一个实施方案；
图9示出了根据本公开的实施方案分组的图8的无线电GUI的UI元素(可用颜色)；
图10A至图10E示出了根据本公开的实施方案形成的树结构中的UI元素(可用颜色)；
图11示出了包含搜索任务列表的系统的一个实施方案；
图12示出了包括与无线电GUI的至少一些UI元素(可用颜色)相关联的特征和参数的无线电GUI的一个实施方案；
图13示出了作为子系统并入汽车的主机中的图11的系统的一个实施方案；
图14示出了根据一个示例性实施方案的采用了如本文所公开的虚拟小部件的示例性触摸屏系统；并且
图15示出了根据一个示例性实施方案的示例性无线电触摸屏GUI，该示例性无线电触摸屏包括虚拟小部件的布置，这些虚拟小部件包括各种UI元素组。
具体实施方式
在以下具体实施方式中，参考了形成本公开的一部分的附图，并且在附图中以举例的方式示出了可实施本公开的实施方案的特定示例。充分详细地描述了这些实施方案，以使本领域的普通技术人员能够实践本公开。然而，可利用其他实施方案，并且可在不脱离本公开的范围的情况下进行结构、材料和过程的变化。本文所呈现的图示并不旨在为任何特定方法、系统、设备或结构的实际视图，而仅仅是用于描述本公开的实施方案的理想化表示。本文所呈现的附图未必按比例绘制。为了读者的方便，各附图中的类似结构或部件可保持相同或相似的编号；然而，编号的相似性并不意味着该结构或部件在尺寸、组成、配置或任何其他属性方面必须是相同的。
应当容易理解，如本文一般所述并且在附图中示出的实施方案的部件可以许多种不同的配置来布置和设计。因此，对各种实施方案的以下描述并不旨在限制本公开的范围，而是仅代表各种实施方案。虽然实施方案的各个方面可在附图中呈现，但是附图未必按比例绘制，除非特别指明。
以下描述可包括示例以帮助本领域的普通技术人员实践本发明所公开的实施方案。使用术语“示例性的”、“通过示例”和“例如”是指相关描述是说明性的，虽然本公开的范围旨在涵盖示例和法律等同形式，但使用此类术语并不旨在将实施方案或本公开的范围限制于指定的部件、步骤、特征或功能等。
此外，所示出和描述的特定实施方式仅为示例，并且不应理解为实施本公开的唯一方式，除非本文另外指明。元件、电路和功能可以框图形式示出，以便不以不必要的细节模糊本公开。相反，所示出和描述的特定实施方式仅为示例性的，并且不应理解为实施本公开的唯一方式，除非本文另外指明。另外，块定义和各个块之间逻辑的分区是特定实施方式的示例。对于本领域的普通技术人员将显而易见的是，本公开可通过许多其他分区解决方案来实践。在大多数情况下，已省略了关于定时考虑等的细节，其中此类细节不需要获得本公开的完全理解，并且在相关领域的普通技术人员的能力范围内。
本领域的普通技术人员将会理解，可使用多种不同技术和技法中的任何一者来表示信息和信号。例如，可在整个本说明书中参考的数据、指令、命令、信息、信号、位、符号和芯片可由电压、电流、电磁波、磁场或粒子、光场或粒子或者它们的任何组合来表示。为了清晰地呈现和描述，一些附图可以将信号示出为单个信号。本领域的普通技术人员应当理解，信号可表示信号总线，其中总线可具有多种位宽度，并且本公开可在包括单个数据信号在内的任意数量的数据信号上实现。
结合本文所公开的实施方案描述的各种例示性逻辑块、模块和电路可使用通用处理器、专用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者被设计成执行本文所述的功能的其他可编程逻辑设备、离散栅极或晶体管逻辑、离散硬件部件或它们的任何组合来实现或实施。通用处理器(在本文中可也称为“主机处理器”或简称“主机”)可以是微处理器，但在替代方案中，处理器可以是任何常规处理器、控制器、微控制器或状态机。处理器也可实现为计算设备的组合，诸如DSP和微处理器的组合、多个微处理器、与DSP核结合的一个或多个微处理器或任何其他此类配置。在通用计算机被配置为执行与本公开的实施方案相关的计算指令(例如，软件代码)时，包括处理器的通用计算机被认为是专用计算机。
实施方案可根据被描绘为流程图、流程示意图、结构图或框图的过程来描述。虽然流程图可将操作动作描述为顺序过程，但是这些动作中的许多动作可在另一序列中、并行地或基本上同时地执行。此外，可重新安排动作的顺序。
过程可以对应于方法、线程、函数、程序、子例程、子程序等。此外，本文所公开的方法可以在硬件、软件或两者中实现。如果在软件中实现，这些函数可作为一个或多个指令或代码存储或传输到计算机可读介质上。计算机可读介质包括计算机存储介质和通信介质两者，该通信介质包括有利于将计算机程序从一个位置传递到另一个位置的任何介质。
除非明确说明此类限制，否则使用名称诸如“第一”、“第二”等对本文的元件的任何引用不限制那些元件的数量或顺序。相反，这些名称可在本文中用作在两个或更多个元件或元件的实例之间进行区分的便利方法。因此，提及第一元件和第二元件并不意味着在那里只能采用两个元件，或者第一元件必须以某种方式在第二元件之前。此外，除非另外指明，一组元件可包括一个或多个元件。
如本文所用，涉及给定参数、属性或条件的术语“基本上”是指并且包括在本领域的普通技术人员将会理解的给定参数、属性或条件满足小程度的方差的程度，诸如例如在可接受的制造公差内。以举例的方式，取决于基本上满足的具体参数、属性或条件，参数、属性或条件可至少满足90％、至少满足95％、或甚至至少满足99％。
一般来讲，本公开中描述的各种实施方案涉及用于确定在接触敏感用户界面上选择的UI元素的技术以及使用这些技术来提供一个或多个触觉响应。如出于本文所述的实施方案的目的而理解的，接触传感器可响应于对象(诸如手指或触笔)与触摸界面的接触敏感区域接触或对象接近触摸界面的接触敏感区域。在本公开中，“接触”通常是指对象与接触敏感区域的物理接触，但它也可包含对象的紧密接近，该紧密接近通过接触传感器产生可测量的响应。另外，接触敏感区域是指触摸界面上的其中接触传感器可响应于对象接触的物理区域。
如本文所使用的接触敏感GUI或触摸屏是指与GUI集成的触摸界面。例如，GUI通常包括一个或多个显示区域和活动区域。在本公开中，显示区域是用户界面的向用户显示信息的区域。活动区域是GUI的允许用户相对于用户界面采取某种动作的区域，诸如按钮、滑块或菜单。一些显示区域也是活动区域，因为它们显示信息并且可以采取某种动作。在接触敏感GUI中，接触其上显示有活动区域的触摸敏感区域可以激活该区域(例如，轻敲触摸屏上的GUI按钮)。活动区域可以被显示为GUI元素/对象，例如全部具有各种形状和尺寸的按钮、滑块、可选窗格、菜单等。
一般来讲，如果在接触敏感区域处感测到接触，则使用一定过程来确定接触所对应于的GUI的活动区域(如果有的话)。例如，如果轻击“ENTER”按钮，则测量接触并执行算法以确定该接触是在ENTER按钮的位置处进行的。ENTER按钮是活动区域，因此在触摸敏感GUI和/或调用GUI的基础应用程序中创建事件。
另外，如果特定GUI元素与活动区域相关联，则与触摸界面集成的致动器可以提供一个或多个物理响应(通常称为触觉响应)。这些可以是以力、振动或移动的形式，并且可以模仿表面纹理、脊、边缘、交互(诸如按下/单击按钮)、以及其他模拟的感觉和响应。在GUI的情况下，触觉响应可以被本地化到用户与之交互的GUI元素。例如，如果用户触摸GUI按钮，则触觉响应可以使该按钮具有凸起并带边缘的感觉，就像它被按下一样，或者类似它具有粗糙的纹理。
如以下所讨论的(例如，参考图14和图15)，在一些实施方案中，接触敏感GUI可以利用“虚拟小部件”，这些虚拟小部件包括各形状的任何组合(例如，包括一个或多个活动的GUI元素/对象)，这些形状包括在可显示的GUI屏幕中。例如，虚拟小部件可以包括虚拟按钮、滑块、旋钮、刻度盘等的多个实例和/或类型的定义组合。作为另一示例，虚拟小部件可以包括共同定义用于控制定义功能的界面的活动元素的定义组合。例如，滑块式虚拟小部件或可旋转刻度盘型虚拟小部件可以由UI元素的定义集合组成，这些UI元素与滑块或可旋转刻度盘的位置选择范围有关，例如，如示例性图15所示的示例性可旋转刻度盘所示，下面将进行讨论。应当理解，本文关于GUI元素(也称为UI元素)或形状的任何公开内容类似地适用于虚拟小部件。
本文描述的各种实施方案有时可以涉及创建和更新电子记录。电子记录可以是以数据文件的形式，并且更新电子记录可以包括在记录的一个或多个字段中插入或删除数据条目。另选地，在运行时，它可以引用类对象和实例化对象，这些对象具有与所描述的记录一致的状态信息和变量。在本文描述的各种实施方案中都考虑了两种情况。
本公开的各种实施方案涉及用于识别已经在接触敏感界面上接触的那些GUI元素的技术。这些技术和相关结构在存储器使用和响应性方面特别有效。
另外，与其他技术相比，界面数据存储要求很小，并且在执行以识别UI元素时执行的任务的数量很少。
本公开的一些实施方案涉及用于创建优化搜索任务的列表的过程，该过程可以被执行以识别在接触敏感界面上接触的GUI元素。此搜索在本文中可以被称为UI元素搜索或“形状搜索”。搜索任务可以是处理器可执行指令，这些处理器可执行指令在被执行时将成功或失败消息返回给正在搜索已接触的GUI元素(如果有的话)的子系统。在一个实施方案中，基于定义文件创建搜索任务，该定义文件映射出GUI中的各种元素及其位置。搜索任务可以针对各种效率参数进行优化。
在一个实施方案中，与可在显示子系统(例如，汽车主机)中执行UI元素/形状搜索的本公开的发明人已知的常规接触敏感GUI相比，搜索任务列表可以由嵌入式设备(例如，触摸控制器)执行。在触摸控制器中执行对GUI元素的搜索节省与显示子系统进行通信的时间，以及子系统与例如触觉反馈子系统进行响应和通信的时间。与常规接触敏感GUI相比，节省的时间改进接触敏感GUI的响应性，并且从用户的角度来看，缩短从他/她触摸屏幕到他们接收到响应于该触摸的反馈的时间。
此外，任务搜索列表的创建是可配置的，并且取决于GUI，可以为实施方式选择针对特定应用进行优化的通用特征集。例如，在一些实施方案中，创建过程可以针对GUI进行优化，该GUI包括分页、遮挡其他GUI元素的下拉菜单和弹出窗口、某些形状的元素、或在被接触时移动或变形的元素。
图1示出了根据本公开的各种实施方案的系统的整体操作。在操作112中，软件应用程序工具102被配置为处理UI定义文件以创建有条件的可执行指令的搜索任务列表(操作108)，这些可执行指令用于执行UI元素/形状搜索以识别在接触敏感屏幕上已接触的UI元素(如果有的话)。
可以将搜索任务列表存储(操作110)在可由作为触摸系统的部分的一个或多个处理器访问的非暂态存储存储器中。当在触摸界面处发生接触事件时，触摸传感器106可以感测触摸(操作118)，并且向一个或多个触摸处理器104提供指示触摸的一个或多个信号。触摸处理器104确定(操作112)触摸界面上发生接触的位置，并且响应于该确定，搜索(操作114)并识别被接触的UI元素(如果有的话)。在一个实施方案中，触摸处理器104可以将搜索结果提供(操作116)给图形用户界面子系统。
将参考图2至图7描述创建搜索任务列表的过程的一个实施方案。本公开的实施方案利用根据树和网格技术来组织UI元素的搜索树结构。将各种UI元素划分成类似网格处理的相关组，组织成搜索树，并且然后生成各种搜索任务。使用这些指令来调节搜索任务以优化UI元素/形状搜索的执行。本领域普通技术人员将理解，可以使用其他算法将一个或多个屏幕划分成可搜索区域，例如，分而治之方法。
图2示出了生成用于执行UI元素/形状搜索的搜索任务列表的过程的一个实施方案。在操作202中，加载和解析UI的结构定义以识别屏幕、子屏幕、以及那些屏幕和子屏幕上的UI元素。UI结构定义可以是电子文件、数据库、原始数据等。在操作204中，将UI元素分组并且将可搜索区域划分成具有UI元素组的一个或多个可搜索区域。在操作206中，基于可搜索区域将UI元素组链接到树结构中。在操作208中，将搜索任务与搜索树分支和节点相关联以形成搜索树，并且优化搜索树。在操作210中，将搜索树的有条件的任务存储在列表中，该列表是可由处理器执行的任务列表。
在一个实施方案中，生成搜索任务列表的软件应用程序工具102可以被配置为将操作202、204、206、208和210中的一个或多个的结果写入输出文件。这可以由调试工具使用以查看过程结果。相同调试工具可以被配置为使用搜索任务列表的文本版本，并且在虚拟测试环境(作为例如，dos可执行文件)中执行它以验证搜索任务列表在操作方面准备就绪。
图3示出了用于从UI结构定义中提取UI元素的过程300的一个实施方案。在一个实施方案中，UI结构定义是将由应用程序工具的配置生成特征转换的显示器部分的xml定义。应用程序工具解析结构定义并抓取定义结构中定义的UI元素。在操作302中，加载每个UI元素，并且在操作304中，确定它是否是已知的UI元素。如果它不是已知的UI元素(即，这是第一次在结构定义中识别到该元素)，则在操作306中，过程为该类型的UI元素创建新元素定义(例如，按钮、旋钮、滑块等)。
在创建新定义之后，或者如果元素是已知的UI元素，则在操作308中，确定是否将元素分配给现有组。在一个实施方案中，基于各种预定参数(例如，元素的共同特征)确定是否分配给现有组，元素的共同特征诸如为元素的类型、显示UI元素的屏幕位置、层位置、与元素相关联的响应的类型(例如，视觉、触觉、音频等)等。如果决定将元素分配给新组，则在操作310中，使用与元素有关的参数来创建新组记录。
在创建新组记录之后，或者如果确定将元素分配给现有组，则在操作312中，将新元素条目插入到该新元素的组记录中。在一个实施方案中，条目包括用于元素的元素ID和位置(即元素在屏幕上的坐标)的字段。在操作314中，确定是否存在更多的UI元素，并且如果存在更多的UI元素，则针对在UI结构定义中识别的每个剩余的UI元素执行该过程。在操作316中，过程返回一个或多个元素、一个或多个元素定义和一个或多个组。
在一个实施方案中，如果UI结构定义包括多于一个屏幕定义，则为每个这样的屏幕分配屏幕ID，该屏幕ID是UI元素的参数。其也可以被合并作为每个组的参数。每个屏幕还可以包括子屏幕，这些子屏幕是所显示的GUI的定义区域，在这些定义区域中的一些UI元素动态改变，而这些区域之外的UI元素保持不变。作为非限制性示例，具有动态UI元素的区域可以包括可交换窗格、可滚动菜单、可激活信息窗格、导航按钮等。
图4示出了根据本公开的一个实施方案的创建搜索树的过程400。在该过程中，确定如何将UI定义中识别的每个屏幕划分成可搜索区域，每个可搜索区域包括一个或多个UI元素组。在图4所示的示例性实施方案中，选择划分线(x-y坐标)，该划分线划分UI元素组以使得至少一个UI元素组位于分隔线的一侧并且至少另一个UI元素组位于分隔线的另一侧。
划分线有效地将屏幕沿划分线划分成具有共享边界的两个可搜索区域。以递归方式划分UI元素组，直到无法进一步划分UI元素组。
在另一个实施方案中，同时在x和y两个坐标方向上划分屏幕或可搜索区域，这可导致UI元素组的多达四个子划分。该技术还可导致少于四个子划分，例如，UI元素组的三个划分和一个空的可搜索区域。
在又一些其他实施方案中，圆形、正方形和/或多边形可用于定义要从可搜索区域中排除的屏幕部分，使得屏幕不被子划分成可搜索区域。
在操作402中，加载具有两个或更多个组的第一可搜索区域。对于第一次迭代，这可以是包括所有组的整个屏幕。在该实施方案中，存在初始可搜索区域记录，其中区域被定义为涵盖整个屏幕，包括所有UI元素和UI元素组。在操作404中，选择网格线，该网格线将初始可搜索区域划分成各自具有一些组的两个可搜索区域。在操作406中，创建新记录，在初始记录和新记录之间对UI元素组进行排序，并且用其相应的可搜索区域来更新记录。划分线被记录为两个可搜索区域之间的分割/划分。第一可搜索区域以及其中的UI元素组和UI元素被链接到该划分，该划分继而被链接到新可搜索区域以及其中的UI元素组和UI元素。
在运行时，将存在UI元素的类对象、UI元素组的类对象、以及分割/划分的类对象。
对于包含多于一个UI元素组的每个可搜索区域，递归执行过程(操作408)以划分可搜索区域。
值得注意的是，在一个实施方案中，在该实施方案中通过对UI元素定义(例如，元素ID)的引用和到UI元素原点的移动来定义UI元素，由于不必单独定义每个UI元素，因此减小界面存储器要求。
一旦屏幕被完全划分，现在就存在中间搜索树，其中包括划分/分割、UI元素、和UI元素组、以及其间的链接。
在操作410中，为每个UI元素组创建组级搜索任务。组级任务是一个过程步骤或一系列过程步骤。这些任务可以包括：(i)确定UI元素内(或没有UI元素)是否发生了触摸或接触事件的任务；(ii)以某种方式修改搜索区域的任务；以及(iii)为下一个任务设置的任务。
每个组级任务可以包括在成功或失败的情况下要执行的下一个任务的指示。例如，每个任务可以包括具有到下一个任务地址的“偏移”的位。另外，每个组级任务在其被执行时可以接受参数。在一些实施方案中，先前任务可以提供参数或设置环境位/标志以指示哪些参数可用于下一个任务。
在一个实施方案中，UI元素组坐标中的偏移(位置角)可用于生成索引。如果配置了可搜索区域中的每个UI元素，则可以为其分配通过索引从可搜索区域的基础ID偏移的不同ID。结果是元素ID和偏移值。对于修改响应(例如，触觉)或元素ID，存在单独规定-因此一个组元素可能返回单个元素ID，但返回多个响应ID，并且另一个可能会针对多个不同元素返回一个响应ID。
组级搜索任务可以插入组记录中，插入搜索任务列表中，或插入到中间记录中。一旦组级搜索任务完成，则在操作412中，返回中间搜索树。
在一个实施方案中，可以为每个任务设置环境变量，其在适用的情况下指示如果执行该任务、该任务成功并且该任务是最终任务则将返回什么。通过非限制性示例，环境变量可以是触觉ID、用于控制如何针对组形状内的元素修改元素ID和触觉ID的值等。还可以设置环境标志，其指示要发送以伴随下一个任务描述的数据。通过使用某些约束和正确的环境变量，例如，圆的定义可以从7个字节减少到2个字节。
图5示出了对中间搜索树执行的优化过程500的一个实施方案。在操作502中，通过共同特征对所有UI元素进行分组。共同特征的示例包括UI元素类型、层中位置、相对于另一层中的另一个元素的位置(例如，都在相同UI元素后面)、显示组、形状或更多。在一个实施方案中，可以选择共同特征以优化UI元素/形状搜索过程。例如，如果通过层位置对UI元素进行分组，其中顶层上的UI元素处于搜索树的顶部处，则将首先搜索那些元素。通过另一个示例，在存在“分页”(即，可以滑动用户界面的各层以暴露其下的层或在一层上方拉出另一层)的应用程序中，通过显示组进行分组允许使用单个控件来控制所有显示的UI元素-例如，搜索显示组中的所有UI元素，响应于控件设置对这些UI元素施加改变，打开或关闭显示组中的所有UI元素等。在各种实施方案中，标识符可以用于识别通过共同特征(例如，层ID、位置ID、形状ID等)组织的组。
在操作504中，将搜索任务插入每个元素的搜索树中，并将其分割以形成中间搜索任务树。在操作506中，对中间搜索任务树进行重新排序以确保每个任务的单次通过。在操作508中，消除冗余或效率低下的搜索任务。在操作510中，返回优化的搜索任务树。
图6示出了创建搜索任务列表的过程600的一个实施方案。在操作602中，加载搜索任务树中的类对象，并且在操作604中，根据类对象创建指令词(即搜索任务)，并且将指令词(即搜索任务)插入搜索任务列表中。在图6所示的实施方案中，指令字包括任务代码字段和跳转字段。在一个实施方案中，指令词包括数据字段。每次失败(即元素不同)以及每次分割都需要跳转到另一个指令，除非下一个任务紧跟随存储器中的当前任务。
在操作606中，将任务代码插入任务代码字段中，并且在操作608中，将跳转值插入跳转字段中。
在一些实施方案中，直到所有任务都插入搜索任务列表中之后，才插入一些或所有跳转值。在其他实施方案中，可以从搜索任务树中推断出跳转值。
在操作610中，将搜索任务列表的各种任务级联在存储器中以形成有条件的搜索任务列表，如果所有对象都在列表中(操作612)，则过程在操作614中返回该有条件的搜索任务列表。搜索任务列表和搜索树可以存储在存储器中。
任务指令可能会因其中将实现搜索任务列表的特定环境中可用的容器尺寸约束(即，字节约束)而异。在一个实施方案中，与每个任务指令相关联的数据可以取决于系统要求而变化，包括指令界面要求(8位、12位、16位等)、可用存储器等。作为非限制性示例，可以仅使用x和y坐标数据以及边数来执行在8边多边形UI元素内进行搜索的指令。然而，如果指令界面和其他存储器要求允许，则可以包括附加数据。
图7示出了根据本公开的一个实施方案的确定UI元素内是否发生触摸的UI元素/形状搜索过程。使用提供的数据和搜索任务列表来执行搜索树的搜索。在操作702中，在处理器的界面上依次向每个任务的可执行指令提供每个任务的有效负载数据，并且在操作704中执行任务。当对搜索树进行搜索时，在操作706中确定在UI元素内是否发生触摸，以及每个任务的结果是真/假，成功/失败，其指示是否在UI元素内发生触摸。在操作708中，响应于当前任务成功的结果，处理器加载和接收下一个任务指令和相关数据。即，如果操作706的结果是成功，则执行任务列表中的下一个任务。
如果结果是失败，则响应于结果，处理器将加载并接收替代任务指令和相关数据。如果存在替代任务(操作714)，则在操作716中供应替代任务位置，并且过程循环回到操作702，并且从替代位置为处理器加载任务。当搜索结束时，找到或未找到UI元素。如果找到了UI元素，则在操作710中返回找到结果，并且在操作712中，返回该元素的ID以及任何环境设置/响应性参数。如果未找到操作，则在操作720中返回未找到结果。
在一个实施方案中，图7所示的UI元素/形状搜索过程可以是在触摸处理器(微控制器)处执行的固件应用程序。触摸处理器可以具有由闪速存储器中存储的搜索过程执行的一个或多个搜索任务。在一个实施方案中，搜索任务可以被存储在与显示控制器相关联的RAM处，并且搜索任务可以在设置或配置过程期间被提供给触摸处理器并且保持搜索过程可访问。
所描述的实施方案提供了优于替代方法的若干优点。存储器要求从线性搜索、纯网格方法或纯搜索树方法显著减小-最多50％；并且仍然是组合网格/树方法的改进。这部分是因为减小所执行的搜索操作的数量。因为减小了搜索操作的数量，所以响应周期显著短于替代方法(其包括常规方法)。例如，与范围是从72μs(纯网格)到1200μs(线性)的替代方法相比，在1200×1200接触敏感的GUI上实现了小于36μs的循环时间。对于用户而言，区别是响应性更强的触摸界面。
对于设计者而言，触摸界面可能更复杂，具有带不同响应特性的许多元素。
图8、图9和图10A至图10E示出了参考图2至图7示出和描述的过程，其结合作为可与本公开的实施方案一起使用的GUI的一个非限制性示例的用于无线电应用的GUI。图8所示的无线电GUI 810包括在表820中概述的八种类型的UI元素和总共144个UI元素。在一些实施方案中，GUI810可以是使用常规网格类型触摸位置报告的触摸屏。
图9示出了根据参考图3描述的方法分组的UI元素。在该实施方案中，已分组的元素832、834、836、838、840、842、844、846和848具有类似的触摸特性(例如，响应于触摸的触觉反馈)、屏幕上的物理位置、以及形状。
图10A至图10E示出了使用参考图4所描述的树和网格方法来形成的树结构850的示例。
图11示出了根据本公开的一个实施方案的可实现本文描述的UI元素/形状搜索方法的系统1000和相关工具1040。系统1000包括其上具有针对GUI元素的GUI元素搜索功能1012和响应确定1014的微控制器固件1010。执行微控制器固件1010的处理器耦接到响应驱动器1018，该响应驱动器可以从微控制器固件1010接收控制信号并继而在接触敏感界面1020中驱动响应。在一个实施方案中，接触敏感界面1020是包括一个或多个致动器的触摸屏，并且响应驱动器1018是被配置为生成将激励致动器的控制信号的触觉驱动器。感测电路1022可以响应于在接触敏感界面1020处的接触而生成一个或多个测量信号。接触测量和处理1016可以确定接触信息(例如，位置、类型等)，并且响应于来自感测电路1022的测量信号将其提供给响应确定1014和GUI元素搜索功能1012。在响应驱动器1018处接收的控制信号可以例如至少部分地基于接触信息，使得在接触敏感界面1020上的正确位置处提供触觉反馈。
在图11中还示出了根据本公开的一个实施方案的可实现搜索列表创建过程并且创建元素搜索任务列表和元素响应信息的工具1040。搜索列表创建应用程序1044被配置为实现参考图2至图6所描述的用于处理GUI定义XAML文件1042描述的过程以生成元素搜索任务列表。应用程序1044可以将元素搜索任务列表1046和元素响应信息1048作为文件提供给微控制器固件1010。在一个实施方案中，它也可以提供搜索树，但可以将其合并到搜索任务中。
在固件的一些实施方案中，固件可以包括力测量和处理功能以合并关于触摸事件的力水平信息。在那些实施方案中，触觉定序器可以使用由元素搜索功能返回的力水平信息和GUI元素ID以及触觉响应细节，以便响应于所述力水平、GUI元素ID和触觉响应细节来生成触觉控制信号。
图11的系统可以合并到利用触摸界面和触摸控制面板的各种消费产品、家用电器和机械中，包括汽车。
图12示出了用于汽车触摸控制面板的无线电GUI 1210的简化版本。专门调出三个区域：区域1、区域2和区域3。区域1是处于旋转刻度盘1214中间的用于温度控制的按钮1212。响应于具有强力水平的触摸事件而提供根据触觉简档ID#4的触觉反馈(振动)。区域2是旋转刻度盘1214，也用于温度控制。响应于具有轻力水平的触摸事件而提供根据触觉简档ID#3的触觉反馈(摩擦)。最后，区域3是用于调出汽车设置菜单的按钮1216。响应于具有强力水平的触摸事件而提供根据触觉简档ID#2的触觉反馈(点击)，并且响应于具有轻力水平的触摸事件而提供根据触觉简档ID#3的触觉反馈(摩擦)。
图13示出了合并到由主机1310命令的汽车控件中的图11的系统和图12的GUI，并且主机1310中的触觉效果由微控制器控制。在该实施方案中，触摸控制器1320和UI元素/形状搜索功能1324是汽车子系统的部分，其中汽车主机1310可以通过触觉反馈来响应于触摸而无需主机的处理电路的直接干预。触摸控制器1320被配置为根据触摸位置和力水平信息识别被触摸的屏幕按钮，并且运行包括按钮位置的触摸状态机以触发触觉效果。
在该实施方案中，力处理1326和触摸处理1322被集成到一个控制器部件1320中，并且触摸屏1332包含多个几何对象描述的定义(屏幕显示设计1336和搜索树定义1338)，其各自被要求引出由触摸控制器1320直接激活并由触觉设备1350执行的触觉效果的范围。触摸控制器1320还可经由触摸控制器配置单元1340来接收这些定义。
例如，在显示器1330处的触摸之后，触摸控制器1320从力处理1326和触摸处理1322接收力信息和触摸信息。信息可以包括来自力传感器1334的力测量和显示器上的触摸位置。UI元素/形状搜索1324提供与在发生触摸的显示器1330处显示的UI元素(如果有的话)相对应的UI元素信息。如果不存在与显示器上的位置相对应的UI元素，则UI元素/形状搜索1324提供空搜索结果。在搜索UI元素的形状信息时，UI元素/形状搜索1324可以使用存储在主机1310处的定义。在一个实施方案中，UI元素/形状搜索1324可以在配置过程期间接收定义，例如，当触摸控制器1320与主机1310集成在一起时，或者当主机1310通电时。
如果UI元素/形状搜索1324识别UI元素，则触觉信息由触觉控件1328使用以向触觉设备1350发送包括触觉效果和触觉效果位置的触觉激活消息。触觉激活消息可以包括指示触觉效果的水平的参数(例如，弱、中、强)。触觉设备1350在触觉设备处存储的触觉库1352中搜索触觉效果定义。触觉设备1350然后控制显示器1330处的致动器，使得显示器的特定区域表现出所请求的触觉效果。值得注意的是，不同的触觉设备可具有不同的触觉库，因此效果在设备之间可能不同。
在该实施方案中，GUI定义是XAML文件，其是图形用户界面的xml实施方式。XAML文件包含用于GUI的UI的屏幕元素的绘制指令的分层结构化列表。在XAML文件中，存在与GUI元素相关联的标签。例如，“宽度”、“高度”和“水平对齐”都是特定元素的有效标签。
虚拟小部件
如上面所讨论的，在一些实施方案中，接触敏感GUI(与GUI集成的触摸界面)可以例如结合以上讨论的任何特征来利用虚拟小部件。如本文所用，“虚拟小部件”是各形状的任何组合(例如，包括一个或多个活动的UI元素)，这些形状包括在可显示的GUI屏幕中。例如，虚拟小部件可以包括虚拟按钮、滑块、旋钮、刻度盘等的多个实例和/或类型的定义组合。作为另一示例，虚拟小部件可以包括共同定义用于控制定义功能的界面的活动元素的定义组合。例如，滑块式虚拟小部件或可旋转刻度盘型虚拟小部件可以由UI元素的定义集合组成，这些UI元素与滑块或可旋转刻度盘的位置选择范围有关，例如，如示例性图15所示的示例性可旋转刻度盘所示，下面将进行讨论。
虚拟小部件可以显示在触摸屏上，但在一些实施方案中，仅在触摸屏配置模块/过程的背景下以及在触摸屏显示器上存在。虚拟小部件可以向主机进行报告。使用虚拟小部件可以降低触敏GUI的物理界面复杂性。例如，使用虚拟小部件可以减少主机上用于处理触摸位置的开销，并且对于物理转子、滑块等(例如，加热控件、无线电控件或任何其他类型的控件)，可能不需要单独的硬件或电子器件。
一些实施方案提供了用于以可配置的方式限定触摸屏的区域(例如，已配置的屏幕页面中的区域)以作为虚拟小部件(例如、按钮、滑块、刻度盘等)来操作的系统和方法。当在触摸屏上检测到触摸时，触摸控制器可以确定与用户触摸相对应的小部件的位置或状态(例如，与所检测到的触摸位置相对应的虚拟滑块的线性位置或虚拟刻度盘的旋转位置)，并且可以在“小部件消息”中将此位置/状态信息报告给主机，以作为对报告指示触摸屏上的触摸位置的“触摸消息”的替代或补充。例如，小部件消息可以指示用户选择的位置、旋转、“触摸”状态和/或在相应小部件上检测到的触摸的数量，其与检测到的触摸位置、力和/或触摸屏上检测到的触摸的其他可测量方面相对应。
在一些实施方案中，例如，在下面讨论的图14所示的示例性实施方案中，将小部件消息在与触摸消息分开的流中传达给主机。在一些实施方案中，当检测到虚拟小部件上的触摸时，触摸控制器禁止向主机发送触摸消息；换句话说，在与虚拟小部件的触摸交互期间，可以挂起触摸消息以支持小部件消息。
使用此类虚拟小部件允许虚拟GUI控件以可配置和动态的方式定位在触摸屏上的任何位置。在一些实施方案中，可以通过例如基于上面公开的用于UI形状搜索的技术更改屏幕显示ID来更改和/或重新定位在屏幕上显示的虚拟控件。
图14示出了根据一个示例性实施方案的采用了如本文所公开的虚拟小部件的示例性GUI触摸屏系统1400。GUI触摸屏系统1400可以包括触敏触摸屏1402、触摸控制器1404和主机1406，其中每一个都可以提供部件中的任一个(例如，触摸传感器、微控制器、微控制器固件、处理器、存储器、触觉致动器等)并且提供有如上面所讨论的触摸屏、触摸控制器和主机所提供的功能中的任一个。在一些实施方案中，触摸控制器1404可以由微控制器中的固件体现。
系统1400还可以包括屏幕设计模块1410和触摸控制器配置模块1414。屏幕设计模块1410可以为可以在触摸屏1402处选择性地显示的一个或多个不同屏幕(也称为页面)中的每一个定义或配置屏幕设计。对于每个屏幕，屏幕设计模块1410可以选择要包括在屏幕中的虚拟小部件、以及所选择的小部件的布置/布局。屏幕设计模块1410可以将屏幕设计传达给主机1406以便存储，并且主机1406可以例如基于当前被选择用于显示的屏幕(例如，使用由主机1406所提供的屏幕选择状态机)在适当时选择性地将屏幕设计提供给GUI元素搜索引擎1424。然后，主机1406或另选地触摸控制器配置模块1414可以例如通过使用虚拟小部件的各种选择和/或布置而控制当前显示多个不同屏幕中的哪个来控制触摸屏上的显示。
屏幕设计模块1410还可以定义任何屏幕设计中包括的每个虚拟小部件的参数1412，并且将相应的小部件定义1416传达给触摸控制器配置模块1414以便存储。因此，触摸控制器配置模块1414可以存储每个虚拟小部件的小部件定义，该小部件定义可以包括一种或多种类型的相关UI元素的定义组合。如图所示，触摸控制器配置模块1414可以向GUI元素搜索引擎1424提供当前显示的屏幕中包括的小部件定义，以允许GUI元素搜索引擎1424基于在触摸屏上检测到的触摸来检测与虚拟小部件的用户交互。
如上所述，每个虚拟小部件可以包括在触摸屏上显示的形状的任何组合。每个虚拟小部件都可以具有小部件ID和在屏幕上的相对位置。例如，虚拟小部件可以进一步由诸如按钮编号(对于按钮型小部件)、转子位置/更改(对于转子型小部件)或滑块位置/更改(对于滑块型小部件)的参数来定义。例如，虚拟小部件也可以由形状配置定义，该形状配置可以由主机进行分页。
在操作中，当用户触摸/接触触摸屏1402时，触摸控制器1404的感测电路可以在1420处测量传感器信号并且响应于在触摸屏1402处的所测量的接触而生成一个或多个测量信号。接触测量1420和处理1422可以确定触摸信息(例如，位置、类型、力等)并将其提供给GUI元素搜索引擎(或“形状搜索”模块)1424。然后，GUI元素搜索引擎1424可以例如基于小部件定义1416中包括的小部件位置和形状参数来确定触摸位置是否与当前显示的虚拟小部件相对应。该确定可以采用以上讨论的用于UI元素触摸检测的各种技术中的任一种。
如果GUI元素搜索引擎1424确定触摸位置与当前显示的虚拟小部件相对应，则搜索引擎1424可以将小部件信息1426传达给小部件处理模块1428，该小部件信息包括相应的小部件ID、小部件形状索引、触摸了小部件内的哪个UI元素、和/或其他与触摸的虚拟小部件有关的相关信息。在1428处，小部件处理模块1428可以向消息接口1434生成小部件消息1430，该小部件消息包括从GUI元素搜索引擎1424所接收的小部件信息1426和/或小部件定义信息1416中的任一个，该消息接口可以将事件报告1440转发给主机1406，该事件报告包括来自小部件处理模块1428的信息。
在一些实施方案中，小部件处理模块1428可以为每个相关小部件触摸事件生成事件报告1440，该事件报告可以包括每个小部件触摸事件，该每个小部件触摸事件触发例如由小部件定义1416或者主机1406和/或触摸控制器1404生成或以其他方式可访问的其他逻辑所定义的触觉响应或其他用户反馈或控制功能。例如，相关的小部件触摸事件可以包括小部件上的触摸事件，这些触摸事件例如通过打开/关闭相应功能、或者增加或减小可调节的控制参数(例如，音量、风扇速度、显示器亮度等)来更改与小部件相关联的设置。小部件处理模块1428可以根据从GUI元素搜索引擎1424所接收的小部件信息1426和/或小部件定义信息1416识别相关的小部件触摸事件。
因此，主机1406可以经由消息接口1434从小部件处理模块1428接收小部件相关事件报告1440，并且通过控制触摸屏1402处的所显示的屏幕的各个方面和/或控制与被触摸的虚拟小部件相关联的至少一个外部系统或设备(例如，无线电、信息娱乐系统、地图/制导系统、灯、风扇、马达、引擎等)来响应每个事件报告1440。在一些实施方案中，主机1406可以控制相应的致动器以在触摸的位置处向用户提供定义的触觉反馈，例如，如小部件定义信息1416所定义。在其他实施方案中，可以通过触摸控制器1404而不是主机1406来控制和提供经由触摸屏1402的触觉反馈，这可以增加向用户提供反馈的响应时间。
此外，如图14中的1432处所指示，触摸控制器1404可以被配置为将所有已处理的触摸信息转发给消息接口1434，该消息接口可以经由事件报告1440生成此类信息并将其转发给主机1406。在一些实施方案中，小部件处理模块1428可以控制启用/禁用开关/逻辑1442，以在GUI元素搜索引擎1424识别出虚拟小部件触摸时，例如在小部件消息1430/小部件相关事件报告1440的生成以及从小部件处理模块1428到主机1406的转发期间，禁用或挂起该触摸信息1432的转发。
使用虚拟小部件可以简化主机1406的所要求的处理。例如，使用虚拟小部件可以允许单个屏幕设计具有多个应用程序。例如，一个界面可以经由适当的配置来处理每一种产品变型。
图15示出了根据一个示例性实施方案的在触摸屏GUI 1500上显示的示例性无线电屏幕(或页面)1502，其中无线电屏幕/页面1502包括虚拟小部件1504的布置，这些虚拟小部件包括各个UI元素组。触摸屏GUI 1500可以被配置为选择性地显示任何数量和类型的不同屏幕/页面，以控制无线电和/或一个或多个其他系统或设备(例如，信息娱乐系统、地图/制导系统、灯、风扇、马达、引擎等)。
在该示例中，无线电屏幕/页面1502包括各种示例性虚拟小部件1504，包括：无线电小部件1504A、一对无线电模式小部件1504B和1504C、频道预设小部件1504D、状态小部件1504E、音量控制激活小部件1504F和音量调节小部件1504G、调音器控制激活小部件1504H和调音器调节小部件1504I、低音控制小部件1504J和高音控制小部件1504K。
例如，上面讨论的接触敏感GUI(例如，触摸屏)可以用在任何合适的产品或系统(例如，家用电器)中或用于汽车控制。在一些实施方案中，触摸屏控制可以由固件(例如，体现在微控制器中)提供，而无需分立的微处理器/芯片。
由于可以经由配置来定义和更改GUI(例如，触摸屏)，因此可以出于多种不同目的和/或由多个不同的用户或顾客使用和选择性地配置相同的GUI硬件。此外，相同的GUI硬件可以在整个产品范围内提供多个不同的界面选项。常规方法通常提供单独的控件和/或使用主机来确定触摸屏上的按钮按压或其他接触，这不能提供所公开的系统的灵活性，并且可能需要额外的处理资源或时间。
为触摸屏的不同部分定义不同的特性和响应的能力主要由上面公开的UI元素/形状搜索算法提供，该算法允许灵活地定义传感器区域。这并不是常规触摸屏设计的典型方面。此外，为UI元素/小部件添加单独的消息传递流允许虚拟地创建诸如转子和滑块的功能，而无需任何物理设备。相同的功能允许绕过常规的触摸屏处理，将任何形状以其自己的ID报告为虚拟小部件。
本说明书中描述的许多功能单元可被示出、描述或标记为编程代码的模块、线程或其他分类，以便更具体地强调它们的实施独立性。模块可至少部分地以一种或另一种形式在硬件中实现。例如，模块可实现为硬件电路，该硬件电路包括定制的VLSI电路或门阵列、现有半导体诸如逻辑芯片、晶体管或其他分立部件。模块也可在可编程硬件设备诸如现场可编程门阵列、可编程阵列逻辑、可编程逻辑设备等中实现。模块也可使用存储在物理存储设备(例如，计算机可读存储介质)上、存储器中或其组合以由各种类型的处理器执行的软件或固件来实现。
可执行代码的所识别模块可例如包括计算机指令的一个或多个物理块或逻辑块，这些物理块或逻辑块可例如被组织为线程、对象、过程或功能。然而，所识别模块的可执行文件不需要物理地定位在一起，而是可包括存储在不同位置中的不同指令，这些指令在被逻辑地结合在一起时包括模块并实现模块的所述目的。
实际上，可执行代码的模块可以是单个指令或许多指令，并且甚至可分布在若干不同的代码段上、不同程序之间以及若干存储装置或存储器设备上。类似地，操作数据在本文中可在模块内被识别和示出，并且能够以任何合适的形式实施并在任何合适类型的数据结构内被组织。操作数据可作为单个数据集被收集，或者可分布在不同位置上，包括分布在不同存储设备上，并且可至少部分地仅作为系统或网络上的电子信号存在。
在模块或模块的部分在软件中实现的情况下，软件部分存储在一个或多个物理设备上，这些物理设备在本文中被称为计算机可读介质。
在一些实施方案中，软件部分以非暂态状态存储，使得软件部分或其表示在同一物理位置持续一段时间。另外，在一些实施方案中，软件部分存储在一个或多个非暂态存储设备上，这些非暂态存储设备包括能够存储非暂态状态和/或表示软件部分的信号的硬件元件，尽管非暂态存储设备的其他部分可能能够改变和/或传输信号。非暂态存储设备的示例是闪存存储器和随机存取存储器(RAM)。非暂态存储设备的另一个示例包括只读存储器(ROM)，该只读存储器可将表示软件部分的信号和/或状态存储一段时间。然而，存储信号和/或状态的能力不会因传输与所存储的信号和/或状态相同或表示所存储的信号和/或状态的信号的其他功能而减弱。例如，处理器可访问ROM以获得表示所存储的信号和/或状态的信号，以便执行对应的软件指令。
在实践水平上，可以在各种介质中的任何一种上提供使计算机系统能够执行本文描述的操作的软件。另外，本发明的方法和操作的实际实施方式实际上是以计算机语言编写的语句。此类计算机语言语句在由计算机执行时致使计算机根据语句的特定内容来起作用。另外，可能以任何数量的形式(包括但不限于原始源代码、汇编代码、目标代码、机器语言、前述内容的压缩或加密版本、以及任何和所有等效物)提供使得计算机系统能够根据本发明起作用的软件。
本领域普通技术人员将理解，如本文所使用的“介质”或“计算机可读介质”可以包括软盘，磁带，光盘，集成电路，ROM，CD，DVD，BLU-RAY，盒带，闪速存储器，存储棒或卡，或计算机可使用的任何其他非破坏性存储介质，包括现在已知或以后开发的那些。
尽管启用软件可以“写在”光盘上，“体现在”集成电路中，“承载在”通信电路上，“存储在”存储器芯片中，或“加载在”高速缓存存储器中，但应当理解，出于本申请的目的，该软件将被简单地称为在计算机可读介质“之中”或“之上”。因此，术语“之中”或“之上”旨在涵盖软件可以与计算机可读介质相关联的上述以及所有等效和可能的方式。
因此，为简单起见，术语“计算机程序产品”因此用于指代如上定义的计算机可读介质，其上具有使得计算机系统能够根据本发明的任何实施方案进行操作的任何形式的软件。
虽然本文关于某些图示实施方案描述了本发明，但本领域的普通技术人员将认识到并理解本发明不受此限制。相反，在不脱离下文所要求保护的本发明的范围及其法律等同形式的情况下，可对图示实施方案和所述实施方案进行许多添加、删除和修改。此外，来自一个实施方案的特征可与另一个实施方案的特征组合，同时仍被包括在发明人所设想的本发明的范围内。

Claims (21)

1.一种用户界面系统，包括：
触摸屏，所述触摸屏被配置为显示图形用户界面(GUI)，所述图形用户界面包括一个或多个虚拟小部件的布置，每个虚拟小部件具有形状并且包括经由所述GUI显示的一个或多个用户界面元素；
其中所述一个或多个虚拟小部件的所述布置是可配置的；和
处理器，所述处理器被配置为感测所述触摸屏处的触摸，识别与所述触摸相对应的虚拟小部件，并且发起包括以下中的至少一者的动作：(a)控制致动器以在所述触摸屏的在其上显示所述识别的虚拟小部件的区域处提供触觉反馈；或(b)控制与用户界面系统相关联的电子设备。
2.根据权利要求1所述的用户界面系统，其中所述处理器体现在微控制器中。
3.根据权利要求1至2中任一项所述的用户界面系统，还包括应用程序工具，所述应用程序工具被配置为通过以下方式生成包括在所述GUI中的GUI元素库：
解析GUI定义以识别所述GUI中的多个GUI元素；
创建包括识别的GUI元素的条目的记录；
基于所述识别的GUI元素的相对位置将所述识别的元素分组到虚拟小部件中；以及
将识别的GUI元素的所述记录布置成元素库。
4.根据权利要求3所述的用户界面系统，其中所述应用程序工具被配置为通过包括以下的过程将识别的GUI元素的所述记录布置成GUI元素库：
将识别的GUI元素的所述记录布置成GUI元素的树形结构；
将分组在一起的识别的GUI元素折叠成虚拟小部件，成为GUI元素的所述树形结构中的单个叶；以及
响应于GUI元素的元素的所述树形结构来生成搜索指令；并且
其中所述处理器被配置为使用所述搜索指令来识别与所述触摸屏处的所述触摸相对应的所述虚拟小部件。
5.根据权利要求1至4中任一项所述的用户界面系统，其中所述GUI的至少一个虚拟小部件包括多个活动GUI元素的组合，所述多个活动GUI元素包括至少一个虚拟按钮、虚拟滑块、虚拟旋钮、虚拟刻度盘或其他虚拟用户界面。
6.根据权利要求1至5中任一项所述的用户界面系统，其中所述GUI的至少一个虚拟小部件包括多个离散活动GUI元素的组合，所述多个离散活动GUI元素共同定义虚拟按钮、虚拟滑块、虚拟旋钮、虚拟刻度盘或其他虚拟用户界面。
7.根据权利要求1至6中任一项所述的用户界面系统，其中：
所述用户界面系统还包括主机；
所述处理器体现在与所述主机分开的触摸控制器处理器中；并且
所述触摸控制器处理器被配置为生成并向所述主机发送小部件消息，所述小部件消息指示与所述触摸屏处的所述触摸相对应的所述识别的虚拟小部件的位置或状态。
8.根据权利要求7所述的用户界面系统，其中由所述触摸控制器处理器发送到所述主机的所述小部件消息指示所述虚拟小部件上的触摸相关位置、旋转、触摸/未触摸状态或检测到的触摸的数量中的至少一者。
9.根据权利要求7至8中任一项所述的用户界面系统，其中所述触摸控制器处理器被配置为识别所述虚拟小部件的触摸相关状态作为所述触摸屏上的检测到的触摸位置、触摸力或所述检测到的触摸的其他可测量方面的函数，并且其中由所述触摸控制器处理器生成的所述小部件消息指示所述虚拟小部件的所述识别的触摸相关状态。
10.根据权利要求1至9中任一项所述的用户界面系统，其中所述触摸屏被配置为选择性地显示多个不同GUI页面，每个GUI页面包括不同组的虚拟小部件。
11.一种方法，包括：
在触摸屏处显示图形用户界面(GUI)，所述GUI包括一个或多个虚拟小部件的布置，每个虚拟小部件具有形状并且包括经由所述GUI显示的一个或多个用户界面元素；
其中所述一个或多个虚拟小部件的所述布置是可配置的；以及
由处理器感测所述触摸屏处的触摸；
由所述处理器来识别与所述触摸相对应的虚拟小部件；以及
由所述处理器发起包括以下中的至少一者的动作：(a)控制致动器以在所述触摸屏的在其上显示所述识别的虚拟小部件的区域处提供触觉反馈；或(b)控制与用户界面系统相关联的电子设备。
12.根据权利要求11所述的方法，其中所述处理器体现在微控制器中。
13.根据权利要求11至12中任一项所述的方法，还包括通过以下方式生成包括在所述GUI中的GUI元素库：
解析GUI定义以识别所述GUI中的多个GUI元素；
创建包括识别的GUI元素的条目的记录；
基于所述识别的GUI元素的相对位置将所述识别的元素分组到虚拟小部件中；以及
将识别的GUI元素的所述记录布置成元素库。
14.根据权利要求13所述的方法，其中将识别的GUI元素的所述记录布置成GUI元素库包括：
将识别的GUI元素的所述记录布置成GUI元素的树形结构；
将分组在一起的识别的GUI元素折叠成虚拟小部件，成为GUI元素的所述树形结构中的单个叶；以及
响应于GUI元素的元素的所述树形结构来生成搜索指令；并且
其中所述处理器被配置为使用所述搜索指令来识别与所述触摸屏处的所述触摸相对应的所述虚拟小部件。
15.根据权利要求11至14中任一项所述的方法，其中所述GUI的至少一个虚拟小部件包括多个活动GUI元素的组合，所述多个活动GUI元素包括至少一个虚拟按钮、虚拟滑块、虚拟旋钮、虚拟刻度盘或其他虚拟用户界面。
16.根据权利要求11至15中任一项所述的方法，其中所述GUI的至少一个虚拟小部件包括多个离散活动GUI元素的组合，所述多个离散活动GUI元素共同定义虚拟按钮、虚拟滑块、虚拟旋钮、虚拟刻度盘或其他虚拟用户界面。
17.根据权利要求11至16中任一项所述的方法，其中：
所述处理器体现在与主机分开的触摸控制器处理器中；并且
所述方法包括：
由所述触摸控制器处理器生成小部件消息，所述小部件消息指示与所述触摸屏处的所述触摸相对应的所述识别的虚拟小部件的位置或状态；以及
将所述小部件消息从所述触摸控制器处理器发送至所述主机。
18.根据权利要求17所述的方法，其中由所述触摸控制器处理器发送到所述主机的所述小部件消息指示所述虚拟小部件上的触摸相关位置、旋转、触摸/未触摸状态或检测到的触摸的数量中的至少一者。
19.根据权利要求17至18中任一项所述的方法，包括：
由所述触摸控制器处理器来识别所述虚拟小部件的触摸相关状态作为所述触摸屏上的检测到的触摸位置、触摸力或所述检测到的触摸的其他可测量方面的函数，并且
其中由所述触摸控制器处理器生成的所述小部件消息指示所述虚拟小部件的所述识别的触摸相关状态。
20.根据权利要求11至19中任一项所述的方法，包括在所述触摸屏处选择性地显示多个不同GUI页面，每个GUI页面包括不同组的虚拟小部件。
21.一种制品，包括非暂态机器可读介质，所述介质包括指令，所述指令在被执行时被配置为执行根据权利要求11至20中任一项所述的方法。
CN201880055690.7A 2017-10-24 2018-10-23 包括可配置虚拟小部件的触敏用户界面 Active CN111052060B (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201762576563P 2017-10-24 2017-10-24
US201762576383P 2017-10-24 2017-10-24
US62/576,383 2017-10-24
US62/576,563 2017-10-24
US16/165,136 US10866697B2 (en) 2017-10-24 2018-10-19 Touch-sensitive user-interface including configurable virtual widgets
US16/165,136 2018-10-19
PCT/US2018/057103 WO2019084002A1 (en) 2017-10-24 2018-10-23 TACTILE USER INTERFACE COMPRISING CONFIGURABLE VIRTUAL SOFTWARE GADGETS

Publications (2)

Publication Number Publication Date
CN111052060A true CN111052060A (zh) 2020-04-21
CN111052060B CN111052060B (zh) 2023-11-24

Family

ID=66169316

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201880055690.7A Active CN111052060B (zh) 2017-10-24 2018-10-23 包括可配置虚拟小部件的触敏用户界面
CN201880054204.XA Active CN111164549B (zh) 2017-10-24 2018-10-24 包括触觉反馈结构和对应的虚拟用户界面元素的触摸屏

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201880054204.XA Active CN111164549B (zh) 2017-10-24 2018-10-24 包括触觉反馈结构和对应的虚拟用户界面元素的触摸屏

Country Status (7)

Country Link
US (2) US10866697B2 (zh)
JP (2) JP7181929B2 (zh)
KR (2) KR102556638B1 (zh)
CN (2) CN111052060B (zh)
DE (2) DE112018005206T5 (zh)
TW (2) TWI787372B (zh)
WO (2) WO2019084002A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117608424A (zh) * 2024-01-24 2024-02-27 江苏锦花电子股份有限公司 一种基于物联网的触摸式旋钮屏管控系统及方法

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9330544B2 (en) * 2012-11-20 2016-05-03 Immersion Corporation System and method for simulated physical interactions with haptic effects
DE102017214941A1 (de) 2017-08-25 2019-02-28 Dometic Sweden Ab Freizeitfahrzeug, Kühlvorrichtung, Steuerungssystem und Verfahren zur Steuerung der Kühlvorrichtung
USD936665S1 (en) * 2018-11-21 2021-11-23 Biosense Webster (Israel) Ltd. Portion of a computer screen with a graphical user interface
US11126341B2 (en) * 2019-02-21 2021-09-21 Htc Corporation Object manipulating method, host device and computer readable storage medium
USD919633S1 (en) * 2019-05-14 2021-05-18 Rasimo Systems LLC Display screen with graphics
TWI807372B (zh) * 2020-07-21 2023-07-01 美商酷比公司 虛擬化用戶介面設備
WO2022054472A1 (ja) * 2020-09-08 2022-03-17 アルプスアルパイン株式会社 入力装置
US11385777B2 (en) 2020-09-14 2022-07-12 UiPath, Inc. User interface (UI) mapper for robotic process automation
EP3971691A1 (en) * 2020-09-18 2022-03-23 Dometic Sweden AB A recreational vehicle user interface
CN112596612A (zh) * 2020-12-28 2021-04-02 北京小米移动软件有限公司 触感反馈生成方法、触感反馈生成装置及存储介质
US11662822B1 (en) * 2021-12-20 2023-05-30 Huawei Technologies Co., Ltd. Systems and methods for generating pseudo haptic feedback
CN114911383B (zh) * 2022-06-02 2024-10-11 亿咖通(湖北)技术有限公司 窗口显示方法和车载终端
TWI846465B (zh) * 2023-05-12 2024-06-21 久正光電股份有限公司 具有表面觸覺回饋系統之顯示裝置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006020304A2 (en) * 2004-07-30 2006-02-23 Apple Computer, Inc. Mode-based graphical user interfaces for touch sensitive input devices
US20070220437A1 (en) * 2006-03-15 2007-09-20 Navisense, Llc. Visual toolkit for a virtual user interface
US20110099498A1 (en) * 2009-10-26 2011-04-28 Barkol Omer Graphical user interface hierarchy generation
CN102349038A (zh) * 2009-03-12 2012-02-08 伊梅森公司 用于纹理引擎的系统和方法
CN102473034A (zh) * 2009-07-22 2012-05-23 英默森公司 用于在输入控制手势以及关于虚拟设备的控制期间提供复杂触觉激励的系统和方法
CN102906667A (zh) * 2010-04-23 2013-01-30 伊梅森公司 用于提供触觉效果的系统和方法
CN104063212A (zh) * 2013-03-15 2014-09-24 安捷伦科技有限公司 创建用户界面的方法
CN105393202A (zh) * 2013-07-08 2016-03-09 三星电子株式会社 用于提供组合用户界面组件的便携式的设备和控制其的方法

Family Cites Families (113)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004221757A (ja) * 2003-01-10 2004-08-05 Renesas Technology Corp 動き検出装置及び探索領域形状可変動き検出器
GB0313808D0 (en) * 2003-06-14 2003-07-23 Binstead Ronald P Improvements in touch technology
US7657100B2 (en) * 2005-05-09 2010-02-02 Like.Com System and method for enabling image recognition and searching of images
CN104965621B (zh) * 2006-06-09 2018-06-12 苹果公司 触摸屏液晶显示器及其操作方法
US7791594B2 (en) * 2006-08-30 2010-09-07 Sony Ericsson Mobile Communications Ab Orientation based multiple mode mechanically vibrated touch screen display
US20090115734A1 (en) * 2007-11-02 2009-05-07 Sony Ericsson Mobile Communications Ab Perceivable feedback
AR064377A1 (es) * 2007-12-17 2009-04-01 Rovere Victor Manuel Suarez Dispositivo para sensar multiples areas de contacto contra objetos en forma simultanea
US8456438B2 (en) * 2008-01-04 2013-06-04 Tactus Technology, Inc. User interface system
US8922502B2 (en) * 2008-01-04 2014-12-30 Tactus Technology, Inc. User interface system
US8547339B2 (en) * 2008-01-04 2013-10-01 Tactus Technology, Inc. System and methods for raised touch screens
US8243038B2 (en) * 2009-07-03 2012-08-14 Tactus Technologies Method for adjusting the user interface of a device
US8928621B2 (en) * 2008-01-04 2015-01-06 Tactus Technology, Inc. User interface system and method
US8553005B2 (en) * 2008-01-04 2013-10-08 Tactus Technology, Inc. User interface system
US9557915B2 (en) * 2008-01-04 2017-01-31 Tactus Technology, Inc. Dynamic tactile interface
US8004501B2 (en) * 2008-01-21 2011-08-23 Sony Computer Entertainment America Llc Hand-held device with touchscreen and digital tactile pixels
US9829977B2 (en) * 2008-04-02 2017-11-28 Immersion Corporation Method and apparatus for providing multi-point haptic feedback texture systems
US8115745B2 (en) * 2008-06-19 2012-02-14 Tactile Displays, Llc Apparatus and method for interactive display with tactile feedback
US8659555B2 (en) * 2008-06-24 2014-02-25 Nokia Corporation Method and apparatus for executing a feature using a tactile cue
TW201005262A (en) * 2008-07-29 2010-02-01 Mitac Int Corp Navigation system
US20100060568A1 (en) * 2008-09-05 2010-03-11 Apple Inc. Curved surface input device with normalized capacitive sensing
US10289199B2 (en) * 2008-09-29 2019-05-14 Apple Inc. Haptic feedback system
JP2010086236A (ja) 2008-09-30 2010-04-15 Casio Computer Co Ltd タッチパネル
US20100088532A1 (en) * 2008-10-07 2010-04-08 Research In Motion Limited Method and handheld electronic device having a graphic user interface with efficient orientation sensor use
CA2680666A1 (en) * 2008-10-08 2010-04-08 Research In Motion Limited An electronic device having a state aware touchscreen
US20100088632A1 (en) * 2008-10-08 2010-04-08 Research In Motion Limited Method and handheld electronic device having dual mode touchscreen-based navigation
EP2175343A1 (en) * 2008-10-08 2010-04-14 Research in Motion Limited A method and handheld electronic device having a graphical user interface which arranges icons dynamically
US8760413B2 (en) * 2009-01-08 2014-06-24 Synaptics Incorporated Tactile surface
US8279184B2 (en) * 2009-01-27 2012-10-02 Research In Motion Limited Electronic device including a touchscreen and method
US8421761B2 (en) * 2009-08-26 2013-04-16 General Electric Company Imaging multi-modality touch pad interface systems, methods, articles of manufacture, and apparatus
US8730199B2 (en) * 2009-09-04 2014-05-20 Atmel Corporation Capacitive control panel
JP5704428B2 (ja) * 2009-11-18 2015-04-22 株式会社リコー タッチパネル装置及びタッチパネル装置の制御方法
WO2011087817A1 (en) * 2009-12-21 2011-07-21 Tactus Technology User interface system
US8619035B2 (en) * 2010-02-10 2013-12-31 Tactus Technology, Inc. Method for assisting user input to a device
EP2846465B1 (en) * 2010-04-14 2017-11-29 Frederick Johannes Bruwer Pressure dependent capacitive sensing circuit switch construction
WO2011133605A1 (en) * 2010-04-19 2011-10-27 Tactus Technology Method of actuating a tactile interface layer
GB201011146D0 (en) * 2010-07-02 2010-08-18 Vodafone Ip Licensing Ltd Mobile computing device
US8963874B2 (en) * 2010-07-31 2015-02-24 Symbol Technologies, Inc. Touch screen rendering system and method of operation thereof
US8576171B2 (en) * 2010-08-13 2013-11-05 Immersion Corporation Systems and methods for providing haptic feedback to touch-sensitive input devices
US8311514B2 (en) * 2010-09-16 2012-11-13 Microsoft Corporation Prevention of accidental device activation
US20120105354A1 (en) * 2010-10-31 2012-05-03 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Tactile Feedback Cover Lens for a Capacitive Touchscreen System
US20120256862A1 (en) * 2011-04-11 2012-10-11 Kurt Wagner Touchscreen guide
US20120268386A1 (en) * 2011-04-19 2012-10-25 Karamath James Robert Touch-screen device including tactile feedback actuator
US20120284631A1 (en) * 2011-05-02 2012-11-08 German Lancioni Methods to adapt user interfaces and input controls
US8717151B2 (en) * 2011-05-13 2014-05-06 Qualcomm Incorporated Devices and methods for presenting information to a user on a tactile output surface of a mobile device
US9671954B1 (en) * 2011-07-11 2017-06-06 The Boeing Company Tactile feedback devices for configurable touchscreen interfaces
US20120274596A1 (en) * 2011-07-11 2012-11-01 Ludwig Lester F Use of organic light emitting diode (oled) displays as a high-resolution optical tactile sensor for high dimensional touchpad (hdtp) user interfaces
US9778813B2 (en) * 2011-08-09 2017-10-03 Blackberry Limited Manipulating screen layers in multi-layer applications
JP5948074B2 (ja) * 2012-02-13 2016-07-06 株式会社日立ハイテクノロジーズ 画像形成装置及び寸法測定装置
US8493354B1 (en) * 2012-08-23 2013-07-23 Immersion Corporation Interactivity model for shared feedback on mobile devices
US9471185B2 (en) * 2012-02-21 2016-10-18 Atmel Corporation Flexible touch sensor input device
CA2879180A1 (en) * 2012-03-07 2013-09-12 Snap Trends, Inc. Methods and systems of aggregating information of social networks based on geographical locations via a network
US9046972B2 (en) * 2012-03-23 2015-06-02 Nokia Technologies Oy Structure for a tactile display
WO2013173624A2 (en) 2012-05-16 2013-11-21 Tactus Technology, Inc. User interface and methods
JP5799908B2 (ja) * 2012-07-13 2015-10-28 株式会社デンソー タッチ式スイッチ装置
KR101916416B1 (ko) * 2012-07-30 2018-11-08 삼성전자주식회사 플렉서블 디스플레이 장치 및 그 디스플레이 방법
KR101427917B1 (ko) * 2012-08-27 2014-08-08 현대자동차 주식회사 변형 가능한 터치 스크린
US9330544B2 (en) * 2012-11-20 2016-05-03 Immersion Corporation System and method for simulated physical interactions with haptic effects
US20140155690A1 (en) * 2012-12-05 2014-06-05 Ralph Clinton Morton Touchscreen Cunnilingus Training Simulator
US9323327B2 (en) * 2012-12-22 2016-04-26 Intel Corporation System and method for providing tactile feedback
KR102052153B1 (ko) * 2013-02-15 2019-12-17 삼성전자주식회사 보청기를 제어하는 휴대 단말 및 방법
KR102090964B1 (ko) * 2013-02-22 2020-03-19 삼성전자주식회사 터치 스크린에 디스플레이되는 아이콘을 제어하는 휴대 단말 및 방법
KR102154792B1 (ko) * 2013-02-28 2020-09-10 삼성전자주식회사 보호 케이스를 감지하는 방법 및 그 전자 장치
US9367938B2 (en) * 2013-02-28 2016-06-14 Nokia Technologies Oy Method and apparatus for automated real-time detection of overlapping painted markup elements
US9298324B1 (en) * 2013-03-11 2016-03-29 Amazon Technologies, Inc. Capacitive touch with tactile feedback
EP2989525B1 (en) * 2013-04-26 2019-09-25 Immersion Corporation Simulation of tangible user interface interactions and gestures using array of haptic cells
US9470919B2 (en) * 2013-05-14 2016-10-18 Microsoft Technology Licensing, Llc Methods for producing a glass-based non planar digital display
KR20140137616A (ko) * 2013-05-23 2014-12-03 삼성전자주식회사 다자간 대화를 제어하는 휴대 단말 및 방법
US9182864B2 (en) * 2013-06-03 2015-11-10 Rajkumari Mohindra Pressure sensitive projected capacitive touch sensing
US10120447B2 (en) * 2013-06-24 2018-11-06 Northwestern University Haptic display with simultaneous sensing and actuation
US9092291B1 (en) * 2013-07-11 2015-07-28 Sprint Communications Company L.P. Dynamic updating and renaming virtual pre-installation stub applications
CN103455590B (zh) * 2013-08-29 2017-05-31 百度在线网络技术（北京）有限公司 在触屏设备中进行检索的方法和装置
US9176635B2 (en) * 2013-10-14 2015-11-03 Parade Technologies, Ltd. Virtual buttons for a touch interface
US20150109214A1 (en) * 2013-10-22 2015-04-23 Weidong Shi Methods and Apparatuses of touch-fingerprinting Display
US20150185946A1 (en) * 2013-12-30 2015-07-02 Google Inc. Touch surface having capacitive and resistive sensors
CN106407954A (zh) * 2014-01-28 2017-02-15 深圳市汇顶科技股份有限公司 一种指纹识别模组、指纹识别装置及具有其的移动终端
US10380933B2 (en) * 2014-02-07 2019-08-13 Samsung Electronics Company, Ltd. Display with high transparency
US10565925B2 (en) * 2014-02-07 2020-02-18 Samsung Electronics Co., Ltd. Full color display with intrinsic transparency
US10453371B2 (en) * 2014-02-07 2019-10-22 Samsung Electronics Co., Ltd. Multi-layer display with color and contrast enhancement
US10416801B2 (en) * 2014-04-08 2019-09-17 Atmel Corporation Apparatus, controller, and device for touch sensor hand-configuration analysis based at least on a distribution of capacitance values
US10031582B2 (en) * 2014-06-05 2018-07-24 Immersion Corporation Systems and methods for induced electrostatic haptic effects
WO2016002675A1 (ja) 2014-06-30 2016-01-07 日本電気株式会社 スイッチモジュール、電子機器、および、電子機器の製造方法
US9696806B2 (en) * 2014-07-02 2017-07-04 Immersion Corporation Systems and methods for multi-output electrostatic haptic effects
US9710063B2 (en) * 2014-07-21 2017-07-18 Immersion Corporation Systems and methods for determining haptic effects for multi-touch input
CN104156133B (zh) * 2014-09-01 2017-04-19 深圳市华星光电技术有限公司 一种单层互容式触摸面板及电容式触摸屏
US20160328065A1 (en) * 2015-01-12 2016-11-10 Rockwell Collins, Inc. Touchscreen with Dynamic Control of Activation Force
KR20160088764A (ko) * 2015-01-16 2016-07-26 삼성전자주식회사 플렉서블 디바이스 및 그 동작 방법
JP6251214B2 (ja) 2015-05-14 2017-12-20 株式会社東芝 電子機器、方法及びプログラム
US10416799B2 (en) * 2015-06-03 2019-09-17 Microsoft Technology Licensing, Llc Force sensing and inadvertent input control of an input device
CN105117245A (zh) 2015-08-04 2015-12-02 小米科技有限责任公司 卸载应用程序的方法和装置
US9798413B2 (en) * 2015-08-27 2017-10-24 Hand Held Products, Inc. Interactive display
US9874965B2 (en) * 2015-09-11 2018-01-23 Apple Inc. Transparent strain sensors in an electronic device
JP6569415B2 (ja) * 2015-09-15 2019-09-04 株式会社リコー 表示入力装置、画像形成装置及び電子機器と表示制御方法並びにプログラム
KR20170046912A (ko) * 2015-10-22 2017-05-04 삼성전자주식회사 정보 제공 방법 및 이를 지원하는 전자 장치
US10386940B2 (en) * 2015-10-30 2019-08-20 Microsoft Technology Licensing, Llc Touch sensing of user input device
US9875625B2 (en) * 2015-12-18 2018-01-23 Immersion Corporation Systems and methods for multifunction haptic output devices
US20170192457A1 (en) * 2015-12-31 2017-07-06 AAC Technologies Pte. Ltd. Touch panle, haptics touch display using same, and manufacturing method for making same
US9898903B2 (en) * 2016-03-07 2018-02-20 Immersion Corporation Systems and methods for haptic surface elements
WO2017172635A1 (en) * 2016-03-31 2017-10-05 Osisoft, Llc Event based data collection, integration, and presentation
US9916032B2 (en) * 2016-05-18 2018-03-13 Honeywell International Inc. System and method of knob operation for touchscreen devices
US10488996B2 (en) * 2016-05-18 2019-11-26 Sensel, Inc. System for detecting and confirming a touch input
CN106200929B (zh) * 2016-06-30 2018-10-30 南京中电熊猫液晶显示科技有限公司 电容式触觉反馈显示装置、工作方法及其检测方法
US20180025200A1 (en) * 2016-07-20 2018-01-25 Ib Korea Ltd. Luminescent film with quantum dots
KR102579132B1 (ko) * 2016-08-02 2023-09-18 삼성전자주식회사 디스플레이를 구비한 전자 장치
KR102535056B1 (ko) * 2016-08-03 2023-05-22 삼성전자 주식회사 전자 장치 및 터치 인식 방법
KR102673041B1 (ko) * 2016-08-18 2024-06-07 한화비전 주식회사 이벤트 검색 시스템, 장치 및 방법
US10372214B1 (en) * 2016-09-07 2019-08-06 Apple Inc. Adaptable user-selectable input area in an electronic device
US10206044B2 (en) * 2016-09-08 2019-02-12 Microsoft Technology Licensing, Llc Display structure having a visual display and an audio output
KR102580327B1 (ko) * 2016-09-09 2023-09-19 삼성전자주식회사 전자 장치 및 전자 장치의 제어 방법
US10216335B1 (en) * 2016-10-18 2019-02-26 Google Llc Reducing false sensing of touchscreen inputs
US10209804B2 (en) * 2017-01-10 2019-02-19 Rockwell Collins, Inc. Emissive Display over resistive touch sensor with force sensing
US20180275757A1 (en) * 2017-03-23 2018-09-27 Immersion Corporation Systems and methods for in-cell haptics
EP3385831A1 (en) * 2017-04-04 2018-10-10 Lg Electronics Inc. Mobile terminal
US11226604B2 (en) * 2018-11-19 2022-01-18 Johnson Controls Tyco IP Holdings LLP Building system with semantic modeling based configuration and deployment of building applications

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006020304A2 (en) * 2004-07-30 2006-02-23 Apple Computer, Inc. Mode-based graphical user interfaces for touch sensitive input devices
US20070220437A1 (en) * 2006-03-15 2007-09-20 Navisense, Llc. Visual toolkit for a virtual user interface
CN102349038A (zh) * 2009-03-12 2012-02-08 伊梅森公司 用于纹理引擎的系统和方法
CN102473034A (zh) * 2009-07-22 2012-05-23 英默森公司 用于在输入控制手势以及关于虚拟设备的控制期间提供复杂触觉激励的系统和方法
US20110099498A1 (en) * 2009-10-26 2011-04-28 Barkol Omer Graphical user interface hierarchy generation
CN102906667A (zh) * 2010-04-23 2013-01-30 伊梅森公司 用于提供触觉效果的系统和方法
CN104063212A (zh) * 2013-03-15 2014-09-24 安捷伦科技有限公司 创建用户界面的方法
CN105393202A (zh) * 2013-07-08 2016-03-09 三星电子株式会社 用于提供组合用户界面组件的便携式的设备和控制其的方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
AJAYAN SUBRAMANIAN: "Integration of Natural User Interface in a Real-World Environment", 《2015 IEEE INTERNATIONAL CONFERENCE ON COMPUTATIONAL INTELLIGENCE & COMMUNICATION TECHNOLOGY》, pages 714 - 718 *
路翔;罗挺: "投影式电容触摸屏柔性振动触觉反馈研究", 《后勤工程学院学报》, pages 86 - 90 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117608424A (zh) * 2024-01-24 2024-02-27 江苏锦花电子股份有限公司 一种基于物联网的触摸式旋钮屏管控系统及方法
CN117608424B (zh) * 2024-01-24 2024-04-12 江苏锦花电子股份有限公司 一种基于物联网的触摸式旋钮屏管控系统及方法

Also Published As

Publication number Publication date
KR20200071722A (ko) 2020-06-19
KR102556638B1 (ko) 2023-07-17
DE112018004686T5 (de) 2020-06-04
WO2019084082A1 (en) 2019-05-02
US10866697B2 (en) 2020-12-15
DE112018005206T5 (de) 2020-06-18
JP7269924B2 (ja) 2023-05-09
CN111164549B (zh) 2023-11-03
US10747404B2 (en) 2020-08-18
KR102627023B1 (ko) 2024-01-18
TWI816706B (zh) 2023-10-01
JP2021500677A (ja) 2021-01-07
TWI787372B (zh) 2022-12-21
WO2019084002A1 (en) 2019-05-02
KR20200071721A (ko) 2020-06-19
US20190121500A1 (en) 2019-04-25
CN111164549A (zh) 2020-05-15
TW201923544A (zh) 2019-06-16
US20190121435A1 (en) 2019-04-25
TW201931076A (zh) 2019-08-01
CN111052060B (zh) 2023-11-24
JP2021500667A (ja) 2021-01-07
JP7181929B2 (ja) 2022-12-01

Similar Documents

Publication Publication Date Title
CN111052060B (zh) 包括可配置虚拟小部件的触敏用户界面
US11809626B2 (en) Techniques for identifying user interface elements and systems and devices using the same
US20120249461A1 (en) Dedicated user interface controller for feedback responses
US20140160030A1 (en) Sensor system and method for mapping and creating gestures
CN108351633B (zh) 食品工业中的机器的操作模块
US9552132B2 (en) Application program preview interface and operation method thereof
KR20150098366A (ko) 가상 터치패드 조작방법 및 이를 수행하는 단말기
KR101266194B1 (ko) 임베디드 시스템용 컴포넌트 기반 ｈｍｉ 요구사항 모델링 방법
WO2005031539A2 (en) Method for programming a graphic control device with numeric and textual characters
KR20160107139A (ko) 가상 터치패드 조작방법 및 이를 수행하는 단말기

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant