CN111164549A - 包括触觉反馈结构和对应的虚拟用户界面元素的触摸屏 - Google Patents

包括触觉反馈结构和对应的虚拟用户界面元素的触摸屏 Download PDF

Info

Publication number
CN111164549A
CN111164549A CN201880054204.XA CN201880054204A CN111164549A CN 111164549 A CN111164549 A CN 111164549A CN 201880054204 A CN201880054204 A CN 201880054204A CN 111164549 A CN111164549 A CN 111164549A
Authority
CN
China
Prior art keywords
touch screen
touch
user interface
widget
dielectric constant
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880054204.XA
Other languages
English (en)
Other versions
CN111164549B (zh
Inventor
W·J·利德尔
S·布吕内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microchip Technology Inc
Original Assignee
Microchip Technology Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microchip Technology Inc filed Critical Microchip Technology Inc
Publication of CN111164549A publication Critical patent/CN111164549A/zh
Application granted granted Critical
Publication of CN111164549B publication Critical patent/CN111164549B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547—Touch pads, in which fingers can move on a surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04809—Textured surface identifying touch areas, e.g. overlay structure for a virtual keyboard

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

本发明提供一种触敏触摸屏系统，触敏触摸屏系统可以包括：触摸屏覆盖层；以及触觉结构，触觉结构形成于触摸屏覆盖层中或联接到触摸屏覆盖层并且限定向用户的手指提供触觉反馈的非平面表面纹理(例如，体现为脊或其他凸起结构或者凹槽或其他凹陷)。在一些实施方案中，触觉结构由具有与触摸屏覆盖层不同的介电常数的至少一种材料形成。布置在触摸屏盖下方的触摸屏显示设备可以被配置为在与触觉结构相对应的位置处显示包括相应的虚拟用户界面元素的可配置的图形用户界面(GUI)。系统可以包括处理单元，处理单元被配置为感测在特定虚拟用户界面元素的位置处的触摸、识别特定虚拟用户界面元素并发起与虚拟用户界面元素相关联的动作。

Description

包括触觉反馈结构和对应的虚拟用户界面元素的触摸屏
相关专利申请
本专利申请要求(a)2017年10月24日提交的美国临时专利申请号62/576,383和(b)2017年10月24日提交的美国临时专利申请号62/576,563的优先权，所述申请的全部内容据此出于所有目的以引用方式并入。
技术领域
本公开涉及触敏用户界面(例如，触摸屏)，并且更具体地，涉及包括触觉反馈结构(例如，物理脊或凹槽)和对应的虚拟用户界面元素(例如，小部件)的触摸屏。
背景技术
包含触摸感测的触摸界面用于多种应用，包括例如在平板计算机、个人计算机、智能电话和其他消费产品中。它们还用作汽车、家用电器(例如，冰箱、烤箱、洗衣机/烘干机等)、加热和空调控制系统、安全系统、自动柜员机(ATM)的控制面板。这些应用中的触摸界面可以是例如触摸板，或者可以包括屏幕和图形用户界面(GUI)。
发明内容
一般来讲，本公开的一些实施方案涉及一种创建用于搜索在接触敏感屏幕上显示的图形用户界面(GUI)的元素的指令的方法。方法包括解析GUI定义并响应于解析而识别GUI的元素；创建包括已识别元素的条目的记录；将所述已识别元素与相似定位的元素组相关联；将所述已识别元素的所述记录布置成树形结构；将相同组中的已识别元素折叠成所述树形结构中的单个叶；优化所述树形结构；以及响应于树形结构而创建搜索指令列表。
一般来讲，本公开的一些实施方案涉及一种用于使得计算机能够创建可执行指令以搜索图形用户界面(GUI)的元素的计算机程序产品。程序产品可以包括计算机可读介质和在计算机可读介质上的软件指令。计算机可读介质上的软件指令适于使得计算机能够执行以下操作：解析GUI定义并响应于所解析的GUI定义而识别GUI的元素；创建包括所述已识别元素的条目的记录；将所述已识别元素与相似定位的元素组相关联；将所述已识别元素的所述记录布置成树形结构；将相同组中的已识别元素折叠成所述树形结构中的单个叶；优化所述树形结构；以及响应于树形结构而创建搜索指令列表。
本公开的一些实施方案整体涉及可操作地联接到被配置为显示图形用户界面(GUI)的触摸屏的微控制器。微控制器包括至少一个处理器和存储在非暂态存储介质上的一个或多个可执行指令。指令在由处理器执行时适于使得处理器能够：确定在触摸屏处的感测触摸的位置；以及识别与对应于感测触摸的触摸位置相关联的GUI元素。
一般来讲，本公开的一些实施方案涉及一种识别在触摸屏处显示的图形用户界面(GUI)的元素的方法。方法包括确定在触摸屏处的感测触摸的位置；响应于所述位置而执行一个或多个搜索指令，其中所述一个或多个搜索指令中的每个搜索指令对应于GUI元素，并且在被执行时适于返回搜索结果；以及响应于搜索结果而识别GUI元素。
本公开的一些实施方案整体涉及一种系统。系统包括显示子系统和触摸子系统。显示子系统被配置为控制显示器。触摸子系统包括触摸传感器和触摸控制器。触摸控制器被配置为确定在触摸传感器处的感测触摸的位置；响应于所述位置和搜索树而执行一个或多个搜索指令，其中所述一个或多个搜索指令中的每个搜索指令对应于GUI元素，并且在被执行时适于返回搜索结果；响应于所述搜索结果而识别GUI元素；以及响应于已识别GUI元素而生成触觉控制消息。
本公开的一些实施方案包括触敏GUI，该触敏GUI利用虚拟小部件，这些虚拟小部件各自包括各形状的组合(例如，包括一个或多个活动的UI元素)，这些形状包括在可显示的GUI屏幕中。例如，虚拟小部件可以包括虚拟按钮、滑块、旋钮、刻度盘等的多个实例和/或类型的定义组合。作为另一示例，虚拟小部件可以包括共同定义用于控制定义功能的界面的活动元素的定义组合。
在一些实施方案中，虚拟小部件可以显示在触摸屏上，但在一些实施方案中，仅在触摸屏配置模块/过程的背景下以及在触摸屏显示器上存在。虚拟小部件可以向主机进行报告。使用虚拟小部件可以降低触敏GUI的物理界面复杂性。例如，使用虚拟小部件可以减少主机上用于处理触摸位置的开销，并且对于物理转子、滑块等(例如，加热控件、无线电控件或任何其他类型的控件)，可能不需要单独的硬件或电子器件。
一些实施方案提供了用于以可配置的方式限定触摸屏的区域(例如，已配置的屏幕页面中的区域)以作为虚拟小部件(例如、按钮、滑块、刻度盘等)来操作的系统和方法。当在触摸屏上检测到触摸时，触摸控制器可以确定与用户触摸相对应的小部件的位置或状态(例如，与所检测到的触摸位置相对应的虚拟滑块的线性位置或虚拟刻度盘的旋转位置)，并且可以在“小部件消息”中将此位置/状态信息报告给主机，以作为对报告指示触摸屏上的触摸位置的“触摸消息”的替代或补充。例如，小部件消息可以指示用户选择的位置、旋转、“触摸”状态和/或在相应小部件上检测到的触摸的数量，其与检测到的触摸位置、力和/或触摸屏上检测到的触摸的其他可测量方面相对应。
使用虚拟小部件可以简化主机的所要求的处理。例如，使用虚拟小部件可以允许单个屏幕设计具有多个应用程序。例如，一个界面可以经由适当的配置来处理每一种产品变型。
一些实施方案可以包括集成在触摸屏表面中以用于向人提供触觉反馈的静态物理结构，例如物理脊、凸块、凹槽等。此类结构在本文中称为“静态小部件”。在一些实施方案中，静态小部件可以与以下各项结合使用：(a)虚拟小部件(例如，其中虚拟小部件与触摸屏表面中的对应的静态小部件协同定位)；和/或(b)实际物理小部件(例如，旋转刻度盘等)，这些实际物理小部件使用底层虚拟小部件来检测其位置。
静态小部件可以为在触摸屏处显示的对应的虚拟小部件或其他UI元素提供物理“感觉”。因此，静态小部件可以允许用户凭感觉在触摸屏GUI处提供输入而无需看着触摸屏，这在汽车应用程序或用户视觉焦点可能指向其他地方的其他应用程序中尤其有用。在一些实施方案中，该系统被配置为向主机报告被触摸的静态小部件的控制位置，这与屏幕上的触摸的位置坐标相反，因为该系统可以提供小部件区域的特殊触摸处理。
与常规系统相比，静态小部件可以代替物理运动部件以增加系统的耐用性，并且可以减少部件数和处理器间接口。另外，可以在单个屏幕上设置一种或多种类型或形状的静态小部件的多个实例。在某些情况下，静态小部件可以用于替换一个或多个转子(刻度盘或旋钮)、滑块、按钮、开关或任何其他类型的物理接口。
一些静态小部件可以至少部分地嵌入在触摸屏盖的主体中或以其他方式物理地联接到触摸屏盖的主体，因此被称为“嵌入式静态小部件”。在一些实施方案中，嵌入式静态小部件可以由与触摸屏盖的主体(例如，玻璃或聚合物)不同的一种或多种材料形成。例如，嵌入式静态小部件可以由例如具有比触摸屏盖的主体更高或更低的介电常数的材料形成，以提供期望的电容触敏响应。
因此，一个实施方案提供一种触摸屏系统，该触摸屏系统包括：触摸屏覆盖层，该触摸屏覆盖层由具有介电常数的第一材料形成；以及触觉结构，该触觉结构联接到触摸屏覆盖层并限定非平面表面纹理，其中该触觉结构由具有与触摸屏覆盖层的第一材料不同的介电常数的至少一种第二材料形成。
另一个示例性实施方案提供一种触敏触摸屏系统，该触敏触摸屏系统包括：触摸屏覆盖层；以及触觉结构，该触觉结构形成于触摸屏覆盖层中或联接到触摸屏覆盖层并且限定向用户的手指提供触觉反馈的非平面表面纹理(例如，体现为脊或其他凸起结构或者凹槽或其他凹陷)。在一些实施方案中，触觉结构由具有与触摸屏覆盖层不同的介电常数的至少一种材料形成。布置在触摸屏盖下方的触摸屏显示设备可以被配置为在与触觉结构相对应的位置处显示包括相应的虚拟用户界面元素的可配置的图形用户界面(GUI)。系统可以包括处理单元，处理单元被配置为感测在特定虚拟用户界面元素的位置处的触摸、识别特定虚拟用户界面元素并发起与虚拟用户界面元素相关联的动作。
附图说明
下文结合附图描述了本公开的示例性方面和实施方案：
图1是示出生成和使用搜索任务列表来识别GUI中接触的UI元素的过程的泳道图；
图2是根据本公开的一个实施方案的用于生成搜索任务列表的过程的流程图；
图3是根据本公开的一个实施方案的从UI结构定义中提取UI元素的过程的流程图；
图4是根据本公开的一个实施方案的生成中间搜索树的过程的流程图；
图5是根据本公开的一个实施方案的生成搜索任务树的过程的流程图；
图6是根据本公开的一个实施方案的生成搜索任务列表的过程的流程图；
图7是根据本公开的一个实施方案的确定在UI元素内是否发生触摸的UI元素/形状搜索过程的流程图；
图8示出了由UI元素(可用颜色)组成的无线电GUI的一个实施方案；
图9示出了根据本公开的实施方案分组的图8的无线电GUI的UI元素(可用颜色)；
图10A至图10E示出了根据本公开的实施方案形成的树结构中的UI元素(可用颜色)；
图11示出了包含搜索任务列表的系统的一个实施方案；
图12示出了包括与无线电GUI的至少一些UI元素(可用颜色)相关联的特征和参数的无线电GUI的一个实施方案；
图13示出了作为子系统并入汽车的主机中的图11的系统的一个实施方案；
图14示出了根据一个示例性实施方案的采用了如本文所公开的虚拟小部件的示例性触摸屏系统；
图15示出了根据一个示例性实施方案的示例性无线电触摸屏GUI，该示例性无线电触摸屏包括虚拟小部件的布置，这些虚拟小部件包括各种UI元素组；
图16示出了根据一个示例性实施方案的在触摸传感器(例如，电容传感器)上方的覆盖玻璃中形成的体现为脊的静态小部件和体现为凹槽的另一静态小部件的示例；
图17A和图17B示出了根据一个示例性实施方案的示例性触摸屏，该示例性触摸屏包括体现为圆形凹槽或脊的两个静态小部件；
图18示出了图17A和图17B所示的示例的静态小部件的成角度的侧视图，其中静态小部件被体现为圆形凹槽；
图19示出了根据一个示例性实施方案的在触摸屏中形成的脊型静态小部件的示例性结构；以及
图20示出了根据一个示例性实施方案的在触摸屏中形成的多部件脊型静态小部件的示例性结构。
具体实施方式
在以下具体实施方式中，参考了形成本公开的一部分的附图，并且在附图中以举例的方式示出了可实施本公开的实施方案的特定示例。充分详细地描述了这些实施方案，以使本领域的普通技术人员能够实践本公开。然而，可利用其他实施方案，并且可在不脱离本公开的范围的情况下进行结构、材料和过程的变化。本文所呈现的图示并不旨在为任何特定方法、系统、设备或结构的实际视图，而仅仅是用于描述本公开的实施方案的理想化表示。本文所呈现的附图未必按比例绘制。为了读者的方便，各附图中的类似结构或部件可保持相同或相似的编号；然而，编号的相似性并不意味着该结构或部件在尺寸、组成、配置或任何其他属性方面必须是相同的。
应当容易理解，如本文一般所述并且在附图中示出的实施方案的部件可以许多种不同的配置来布置和设计。因此，对各种实施方案的以下描述并不旨在限制本公开的范围，而是仅代表各种实施方案。虽然实施方案的各个方面可在附图中呈现，但是附图未必按比例绘制，除非特别指明。
以下描述可包括示例以帮助本领域的普通技术人员实践本发明所公开的实施方案。使用术语“示例性的”、“通过示例”和“例如”是指相关描述是说明性的，虽然本公开的范围旨在涵盖示例和法律等同形式，但使用此类术语并不旨在将实施方案或本公开的范围限制于指定的部件、步骤、特征或功能等。
此外，所示出和描述的特定实施方式仅为示例，并且不应理解为实施本公开的唯一方式，除非本文另外指明。元件、电路和功能可以框图形式示出，以便不以不必要的细节模糊本公开。相反，所示出和描述的特定实施方式仅为示例性的，并且不应理解为实施本公开的唯一方式，除非本文另外指明。另外，块定义和各个块之间逻辑的分区是特定实施方式的示例。对于本领域的普通技术人员将显而易见的是，本公开可通过许多其他分区解决方案来实践。在大多数情况下，已省略了关于定时考虑等的细节，其中此类细节不需要获得本公开的完全理解，并且在相关领域的普通技术人员的能力范围内。
本领域的普通技术人员将会理解，可使用多种不同技术和技法中的任何一者来表示信息和信号。例如，可在整个本说明书中参考的数据、指令、命令、信息、信号、位、符号和芯片可由电压、电流、电磁波、磁场或粒子、光场或粒子或者它们的任何组合来表示。为了清晰地呈现和描述，一些附图可以将信号示出为单个信号。本领域的普通技术人员应当理解，信号可表示信号总线，其中总线可具有多种位宽度，并且本公开可在包括单个数据信号在内的任意数量的数据信号上实现。
结合本文所公开的实施方案描述的各种例示性逻辑块、模块和电路可使用通用处理器、专用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者被设计成执行本文所述的功能的其他可编程逻辑设备、离散栅极或晶体管逻辑、离散硬件部件或它们的任何组合来实现或实施。通用处理器(在本文中可也称为“主机处理器”或简称“主机”)可以是微处理器，但在替代方案中，处理器可以是任何常规处理器、控制器、微控制器或状态机。处理器也可实现为计算设备的组合，诸如DSP和微处理器的组合、多个微处理器、与DSP核结合的一个或多个微处理器或任何其他此类配置。在通用计算机被配置为执行与本公开的实施方案相关的计算指令(例如，软件代码)时，包括处理器的通用计算机被认为是专用计算机。
实施方案可根据被描绘为流程图、流程示意图、结构图或框图的过程来描述。虽然流程图可将操作动作描述为顺序过程，但是这些动作中的许多动作可在另一序列中、并行地或基本上同时地执行。此外，可重新安排动作的顺序。
过程可以对应于方法、线程、函数、程序、子例程、子程序等。此外，本文所公开的方法可以在硬件、软件或两者中实现。如果在软件中实现，这些函数可作为一个或多个指令或代码存储或传输到计算机可读介质上。计算机可读介质包括计算机存储介质和通信介质两者，该通信介质包括有利于将计算机程序从一个位置传递到另一个位置的任何介质。
除非明确说明此类限制，否则使用名称诸如“第一”、“第二”等对本文的元件的任何引用不限制那些元件的数量或顺序。相反，这些名称可在本文中用作在两个或更多个元件或元件的实例之间进行区分的便利方法。因此，提及第一元件和第二元件并不意味着在那里只能采用两个元件，或者第一元件必须以某种方式在第二元件之前。此外，除非另外指明，一组元件可包括一个或多个元件。
如本文所用，涉及给定参数、属性或条件的术语“基本上”是指并且包括在本领域的普通技术人员将会理解的给定参数、属性或条件满足小程度的方差的程度，诸如例如在可接受的制造公差内。以举例的方式，取决于基本上满足的具体参数、属性或条件，参数、属性或条件可至少满足90％、至少满足95％、或甚至至少满足99％。
一般来讲，本公开中描述的各种实施方案涉及用于确定在接触敏感用户界面上选择的UI元素的技术以及使用这些技术来提供一个或多个触觉响应。如出于本文所述的实施方案的目的而理解的，接触传感器可响应于对象(诸如手指或触笔)与触摸界面的接触敏感区域接触或对象接近触摸界面的接触敏感区域。在本公开中，“接触”通常是指对象与接触敏感区域的物理接触，但它也可包含对象的紧密接近，该紧密接近通过接触传感器产生可测量的响应。另外，接触敏感区域是指触摸界面上的其中接触传感器可响应于对象接触的物理区域。
如本文所使用的接触敏感GUI是指与GUI集成的触摸界面。例如，GUI通常包括一个或多个显示区域和活动区域。在本公开中，显示区域是用户界面的向用户显示信息的区域。活动区域是GUI的允许用户相对于用户界面采取某种动作的区域，诸如按钮、滑块或菜单。一些显示区域也是活动区域，因为它们显示信息并且可以采取某种动作。在接触敏感GUI中，接触其上显示有活动区域的触摸敏感区域可以激活该区域(例如，轻敲触摸屏上的GUI按钮)。活动区域可以被显示为GUI元素/对象，例如全部具有各种形状和尺寸的按钮、滑块、可选窗格、菜单等。
一般来讲，如果在接触敏感区域处感测到接触，则使用一定过程来确定接触所对应于的GUI的活动区域(如果有的话)。例如，如果轻击“ENTER”按钮，则测量接触并执行算法以确定该接触是在ENTER按钮的位置处进行的。ENTER按钮是活动区域，因此在触摸敏感GUI和/或调用GUI的基础应用程序中创建事件。
另外，如果特定GUI元素与活动区域相关联，则与触摸界面集成的致动器可以提供一个或多个物理响应(通常称为触觉响应)。这些可以是以力、振动或移动的形式，并且可以模仿表面纹理、脊、边缘、交互(诸如按下/单击按钮)、以及其他模拟的感觉和响应。在GUI的情况下，触觉响应可以被本地化到用户与之交互的GUI元素。例如，如果用户触摸GUI按钮，则触觉响应可以使该按钮具有凸起并带边缘的感觉，就像它被按下一样，或者类似它具有粗糙的纹理。
如以下所讨论的(例如，参考图14和图15)，在一些实施方案中，接触敏感GUI可以利用“虚拟小部件”，这些虚拟小部件包括各形状的任何组合(例如，包括一个或多个活动的GUI元素/对象)，这些形状包括在可显示的GUI屏幕中。例如，虚拟小部件可以包括虚拟按钮、滑块、旋钮、刻度盘等的多个实例和/或类型的定义组合。作为另一示例，虚拟小部件可以包括共同定义用于控制定义功能的界面的活动元素的定义组合。例如，滑块式虚拟小部件或可旋转刻度盘型虚拟小部件可以由UI元素的定义集合组成，这些UI元素与滑块或可旋转刻度盘的位置选择范围有关，例如，如示例性图15所示的示例性可旋转刻度盘所示，下面将进行讨论。应当理解，本文关于GUI元素(也称为UI元素)或形状的任何公开内容类似地适用于虚拟小部件。
本文描述的各种实施方案有时可以涉及创建和更新电子记录。电子记录可以是以数据文件的形式，并且更新电子记录可以包括在记录的一个或多个字段中插入或删除数据条目。另选地，在运行时，它可以引用类对象和实例化对象，这些对象具有与所描述的记录一致的状态信息和变量。在本文描述的各种实施方案中都考虑了两种情况。
本公开的各种实施方案涉及用于识别已经在接触敏感界面上接触的那些GUI元素的技术。这些技术和相关结构在存储器使用和响应性方面特别有效。
另外，与其他技术相比，界面数据存储要求很小，并且在执行以识别UI元素时执行的任务的数量很少。
本公开的一些实施方案涉及用于创建优化搜索任务的列表的过程，该过程可以被执行以识别在接触敏感界面上接触的GUI元素。此搜索在本文中可以被称为UI元素搜索或“形状搜索”。搜索任务可以是处理器可执行指令，这些处理器可执行指令在被执行时将成功或失败消息返回给正在搜索已接触的GUI元素(如果有的话)的子系统。在一个实施方案中，基于定义文件创建搜索任务，该定义文件映射出GUI中的各种元素及其位置。搜索任务可以针对各种效率参数进行优化。
在一个实施方案中，与可在显示子系统(例如，汽车主机)中执行UI元素/形状搜索的本公开的发明人已知的常规接触敏感GUI相比，搜索任务列表可以由嵌入式设备(例如，触摸控制器)执行。在触摸控制器中执行对GUI元素的搜索节省与显示子系统进行通信的时间，以及子系统与例如触觉反馈子系统进行响应和通信的时间。与常规接触敏感GUI相比，节省的时间改进接触敏感GUI的响应性，并且从用户的角度来看，缩短从他/她触摸屏幕到他们接收到响应于该触摸的反馈的时间。
此外，任务搜索列表的创建是可配置的，并且取决于GUI，可以为实施方式选择针对特定应用进行优化的通用特征集。例如，在一些实施方案中，创建过程可以针对GUI进行优化，该GUI包括分页、遮挡其他GUI元素的下拉菜单和弹出窗口、某些形状的元素、或在被接触时移动或变形的元素。
图1示出了根据本公开的各种实施方案的系统的整体操作。在操作112中，软件应用程序工具102被配置为处理UI定义文件以创建有条件的可执行指令的搜索任务列表(操作108)，这些可执行指令用于执行UI元素/形状搜索以识别在接触敏感屏幕上已接触的UI元素(如果有的话)。
可以将搜索任务列表存储(操作110)在可由作为触摸系统的部分的一个或多个处理器访问的非暂态存储存储器中。当在触摸界面处发生接触事件时，触摸传感器106可以感测触摸(操作118)，并且向一个或多个触摸处理器104提供指示触摸的一个或多个信号。触摸处理器104确定(操作112)触摸界面上发生接触的位置，并且响应于该确定，搜索(操作114)并识别被接触的UI元素(如果有的话)。在一个实施方案中，触摸处理器104可以将搜索结果提供(操作116)给图形用户界面子系统。
将参考图2至图7描述创建搜索任务列表的过程的一个实施方案。本公开的实施方案利用根据树和网格技术来组织UI元素的搜索树结构。将各种UI元素划分成类似网格处理的相关组，组织成搜索树，并且然后生成各种搜索任务。使用这些指令来调节搜索任务以优化UI元素/形状搜索的执行。本领域普通技术人员将理解，可以使用其他算法将一个或多个屏幕划分成可搜索区域，例如，分而治之方法。
图2示出了生成用于执行UI元素/形状搜索的搜索任务列表的过程的一个实施方案。在操作202中，加载和解析UI的结构定义以识别屏幕、子屏幕、以及那些屏幕和子屏幕上的UI元素。UI结构定义可以是电子文件、数据库、原始数据等。在操作204中，将UI元素分组并且将可搜索区域划分成具有UI元素组的一个或多个可搜索区域。在操作206中，基于可搜索区域将UI元素组链接到树结构中。在操作208中，将搜索任务与搜索树分支和节点相关联以形成搜索树，并且优化搜索树。在操作210中，将搜索树的有条件的任务存储在列表中，该列表是可由处理器执行的任务列表。
在一个实施方案中，生成搜索任务列表的软件应用程序工具102可以被配置为将操作202、204、206、208和210中的一个或多个的结果写入输出文件。这可以由调试工具使用以查看过程结果。相同调试工具可以被配置为使用搜索任务列表的文本版本，并且在虚拟测试环境(作为例如，dos可执行文件)中执行它以验证搜索任务列表在操作方面准备就绪。
图3示出了用于从UI结构定义中提取UI元素的过程300的一个实施方案。在一个实施方案中，UI结构定义是将由应用程序工具的配置生成特征转换的显示器部分的xml定义。应用程序工具解析结构定义并抓取定义结构中定义的UI元素。在操作302中，加载每个UI元素，并且在操作304中，确定它是否是已知的UI元素。如果它不是已知的UI元素(即，这是第一次在结构定义中识别到该元素)，则在操作306中，过程为该类型的UI元素创建新元素定义(例如，按钮、旋钮、滑块等)。
在创建新定义之后，或者如果元素是已知的UI元素，则在操作308中，确定是否将元素分配给现有组。在一个实施方案中，基于各种预定参数(例如，元素的共同特征)确定是否分配给现有组，元素的共同特征诸如为元素的类型、显示UI元素的屏幕位置、层位置、与元素相关联的响应的类型(例如，视觉、触觉、音频等)等。如果决定将元素分配给新组，则在操作310中，使用与元素有关的参数来创建新组记录。
在创建新组记录之后，或者如果确定将元素分配给现有组，则在操作312中，将新元素条目插入到该新元素的组记录中。在一个实施方案中，条目包括用于元素的元素ID和位置(即元素在屏幕上的坐标)的字段。在操作314中，确定是否存在更多的UI元素，并且如果存在更多的UI元素，则针对在UI结构定义中识别的每个剩余的UI元素执行该过程。在操作316中，过程返回一个或多个元素、一个或多个元素定义和一个或多个组。
在一个实施方案中，如果UI结构定义包括多于一个屏幕定义，则为每个这样的屏幕分配屏幕ID，该屏幕ID是UI元素的参数。其也可以被合并作为每个组的参数。每个屏幕还可以包括子屏幕，这些子屏幕是所显示的GUI的定义区域，在这些定义区域中的一些UI元素动态改变，而这些区域之外的UI元素保持不变。作为非限制性示例，具有动态UI元素的区域可以包括可交换窗格、可滚动菜单、可激活信息窗格、导航按钮等。
图4示出了根据本公开的一个实施方案的创建搜索树的过程400。在该过程中，确定如何将UI定义中识别的每个屏幕划分成可搜索区域，每个可搜索区域包括一个或多个UI元素组。在图4所示的示例性实施方案中，选择划分线(x-y坐标)，该划分线划分UI元素组以使得至少一个UI元素组位于分隔线的一侧并且至少另一个UI元素组位于分隔线的另一侧。
划分线有效地将屏幕沿划分线划分成具有共享边界的两个可搜索区域。以递归方式划分UI元素组，直到无法进一步划分UI元素组。
在另一个实施方案中，同时在x和y两个坐标方向上划分屏幕或可搜索区域，这可导致UI元素组的多达四个子划分。该技术还可导致少于四个子划分，例如，UI元素组的三个划分和一个空的可搜索区域。
在又一些其他实施方案中，圆形、正方形和/或多边形可用于定义要从可搜索区域中排除的屏幕部分，使得屏幕不被子划分成可搜索区域。
在操作402中，加载具有两个或更多个组的第一可搜索区域。对于第一次迭代，这可以是包括所有组的整个屏幕。在该实施方案中，存在初始可搜索区域记录，其中区域被定义为涵盖整个屏幕，包括所有UI元素和UI元素组。在操作404中，选择网格线，该网格线将初始可搜索区域划分成各自具有一些组的两个可搜索区域。在操作406中，创建新记录，在初始记录和新记录之间对UI元素组进行排序，并且用其相应的可搜索区域来更新记录。划分线被记录为两个可搜索区域之间的分割/划分。第一可搜索区域以及其中的UI元素组和UI元素被链接到该划分，该划分继而被链接到新可搜索区域以及其中的UI元素组和UI元素。
在运行时，将存在UI元素的类对象、UI元素组的类对象、以及分割/划分的类对象。
对于包含多于一个UI元素组的每个可搜索区域，递归执行过程(操作408)以划分可搜索区域。
值得注意的是，在一个实施方案中，在该实施方案中通过对UI元素定义(例如，元素ID)的引用和到UI元素原点的移动来定义UI元素，由于不必单独定义每个UI元素，因此减小界面存储器要求。
一旦屏幕被完全划分，现在就存在中间搜索树，其中包括划分/分割、UI元素、和UI元素组、以及其间的链接。
在操作410中，为每个UI元素组创建组级搜索任务。组级任务是一个过程步骤或一系列过程步骤。这些任务可以包括：(i)确定UI元素内(或没有UI元素)是否发生了触摸或接触事件的任务；(ii)以某种方式修改搜索区域的任务；以及(iii)为下一个任务设置的任务。
每个组级任务可以包括在成功或失败的情况下要执行的下一个任务的指示。例如，每个任务可以包括具有到下一个任务地址的“偏移”的位。另外，每个组级任务在其被执行时可以接受参数。在一些实施方案中，先前任务可以提供参数或设置环境位/标志以指示哪些参数可用于下一个任务。
在一个实施方案中，UI元素组坐标中的偏移(位置角)可用于生成索引。如果配置了可搜索区域中的每个UI元素，则可以为其分配通过索引从可搜索区域的基础ID偏移的不同ID。结果是元素ID和偏移值。对于修改响应(例如，触觉)或元素ID，存在单独规定—因此一个组元素可能返回单个元素ID，但返回多个响应ID，并且另一个可能会针对多个不同元素返回一个响应ID。
组级搜索任务可以插入组记录中，插入搜索任务列表中，或插入到中间记录中。一旦组级搜索任务完成，则在操作412中，返回中间搜索树。
在一个实施方案中，可以为每个任务设置环境变量，其在适用的情况下指示如果执行该任务、成功并且是最终任务则将返回什么。通过非限制性示例，环境变量可以是触觉ID、用于控制如何针对组形状内的元素修改元素ID和触觉ID的值等。还可以设置环境标志，其指示要发送以伴随下一个任务描述的数据。通过使用某些约束和正确的环境变量，例如，圆的定义可以从7个字节减少到2个字节。
图5示出了对中间搜索树执行的优化过程500的一个实施方案。在操作502中，通过共同特征对所有UI元素进行分组。共同特征的示例包括UI元素类型、层中位置、相对于另一层中的另一个元素的位置(例如，都在相同UI元素后面)、显示组、形状或更多。在一个实施方案中，可以选择共同特征以优化UI元素/形状搜索过程。例如，如果通过层位置对UI元素进行分组，其中顶层上的UI元素处于搜索树的顶部处，则将首先搜索那些元素。通过另一个示例，在存在“分页”(即，可以滑动用户界面的各层以暴露其下的层或在一层上方拉出另一层)的应用程序中，通过显示组进行分组允许使用单个控件来控制所有显示的UI元素—例如，搜索显示组中的所有UI元素，响应于控件设置对这些UI元素施加改变，打开或关闭显示组中的所有UI元素等。在各种实施方案中，标识符可以用于识别通过共同特征(例如，层ID、位置ID、形状ID等)组织的组。
在操作504中，将搜索任务插入每个元素的搜索树中，并将其分割以形成中间搜索任务树。在操作506中，对中间搜索任务树进行重新排序以确保每个任务的单次通过。在操作508中，消除冗余或效率低下的搜索任务。在操作510中，返回优化的搜索任务树。
图6示出了创建搜索任务列表的过程600的一个实施方案。在操作602中，加载搜索任务树中的类对象，并且在操作604中，根据类对象创建指令词(即搜索任务)，并且将指令词(即搜索任务)插入搜索任务列表中。在图6所示的实施方案中，指令字包括任务代码字段和跳转字段。在一个实施方案中，指令词包括数据字段。每次失败(即元素不同)以及每次分割都需要跳转到另一个指令，除非下一个任务紧跟随存储器中的当前任务。
在操作606中，将任务代码插入任务代码字段中，并且在操作608中，将跳转值插入跳转字段中。
在一些实施方案中，直到所有任务都插入搜索任务列表中之后，才插入一些或所有跳转值。在其他实施方案中，可以从搜索任务树中推断出跳转值。
在操作610中，将搜索任务列表的各种任务级联在存储器中以形成有条件的搜索任务列表，如果所有对象都在列表中(任务612)，则过程在操作614中返回该有条件的搜索任务列表。搜索任务列表和搜索树可以存储在存储器中。
任务指令可能会因其中将实现搜索任务列表的特定环境中可用的容器尺寸约束(即，字节约束)而异。在一个实施方案中，与每个任务指令相关联的数据可以取决于系统要求而变化，包括指令界面要求(8位、12位、16位等)、可用存储器等。作为非限制性示例，可以仅使用x和y坐标数据以及边数来执行在8边多边形UI元素内进行搜索的指令。然而，如果指令界面和其他存储器要求允许，则可以包括附加数据。
图7示出了根据本公开的一个实施方案的确定UI元素内是否发生触摸的UI元素/形状搜索过程。使用提供的数据和搜索任务列表来执行搜索树的搜索。在操作702中，在处理器的界面上依次向每个任务的可执行指令提供每个任务的有效负载数据，并且在操作704中执行任务。当对搜索树进行搜索时，在操作706中确定在UI元素内是否发生触摸，以及每个任务的结果是真/假，成功/失败，其指示是否在UI元素内发生触摸。在操作708中，响应于当前任务成功的结果，处理器加载和接收下一个任务指令和相关数据。即，如果操作706的结果是成功，则执行任务列表中的下一个任务。
如果结果是失败，则响应于结果，处理器将加载并接收替代任务指令和相关数据。如果存在替代任务(操作714)，则在操作716中供应替代任务位置，并且过程循环回到操作702，并且从替代位置为处理器加载任务。当搜索结束时，找到或未找到UI元素。如果找到了UI元素，则在操作710中返回找到结果，并且在操作712中，返回该元素的ID以及任何环境设置/响应性参数。如果未找到操作，则在操作720中返回未找到结果。
在一个实施方案中，图7所示的UI元素/形状搜索过程可以是在触摸处理器(微控制器)处执行的固件应用程序。触摸处理器可以具有由闪速存储器中存储的搜索过程执行的一个或多个搜索任务。在一个实施方案中，搜索任务可以被存储在与显示控制器相关联的RAM处，并且搜索任务可以在设置或配置过程期间被提供给触摸处理器并且保持搜索过程可访问。
所描述的实施方案提供了优于替代方法的若干优点。存储器要求从线性搜索、纯网格方法或纯搜索树方法显著减小—最多50％；并且仍然是组合网格/树方法的改进。这部分是因为减小所执行的搜索操作的数量。因为减小了搜索操作的数量，所以响应周期显著短于替代方法(其包括常规方法)。例如，与范围是从72μs(纯网格)到1200μs(线性)的替代方法相比，在1200×1200接触敏感的GUI上实现了小于36μs的循环时间。对于用户而言，区别是响应性更强的触摸界面。
对于设计者而言，触摸界面可能更复杂，具有带不同响应特性的许多元素。
图8、图9和图10A至图10E示出了参考图2至图7示出和描述的过程，其结合作为可与本公开的实施方案一起使用的GUI的一个非限制性示例的用于无线电应用的GUI。图8所示的无线电GUI 810包括在表820中概述的八种类型的UI元素和总共144个UI元素。
图9示出了根据参考图3描述的方法分组的UI元素。在该实施方案中，已分组的元素832、834、836、838、840、842、844、846和848具有类似的触摸特性(例如，响应于触摸的触觉反馈)、屏幕上的物理位置、以及形状。
图10A至图10E示出了使用参考图4所描述的树和网格方法来形成的树结构850的示例。
图11示出了根据本公开的一个实施方案的可实现本文描述的UI元素/形状搜索方法的系统1000和相关工具1040。系统1000包括其上具有针对GUI元素的GUI元素搜索功能1012和响应确定1014的微控制器固件1010。执行微控制器固件1010的处理器联接到响应驱动器1018，该响应驱动器可以从微控制器固件1010接收控制信号并继而在接触敏感界面1020中驱动响应。在一个实施方案中，接触敏感界面1020是包括一个或多个致动器的触摸屏，并且响应驱动器1018是被配置为生成将激励致动器的控制信号的触觉驱动器。感测电路1022可以响应于在接触敏感界面1020处的接触而生成一个或多个测量信号。接触测量和处理1016可以确定接触信息(例如，位置、类型等)，并且响应于来自感测电路1022的测量信号将其提供给响应确定1014和GUI元素搜索功能1012。在响应驱动器1018处接收的控制信号可以例如至少部分地基于接触信息，使得在接触敏感界面1020上的正确位置处提供触觉反馈。
在图11中还示出了根据本公开的一个实施方案的可实现搜索列表创建过程并且创建元素搜索任务列表和元素响应信息的工具1040。搜索列表创建应用程序1044被配置为实现参考图2至图6所描述的用于处理GUI定义XAML文件1042描述的过程以生成元素搜索任务列表。应用程序1044可以将元素搜索任务列表1046和元素响应信息1048作为文件提供给微控制器固件1010。在一个实施方案中，它也可以提供搜索树，但可以将其合并到搜索任务中。
在固件的一些实施方案中，固件可以包括力测量和处理功能以合并关于触摸事件的力水平信息。在那些实施方案中，触觉定序器可以使用由元素搜索功能返回的力水平信息和GUI元素ID以及触觉响应细节，以便响应于所述力水平、GUI元素ID和触觉响应细节来生成触觉控制信号。
图11的系统可以合并到利用触摸界面和触摸控制面板的各种消费产品、家用电器和机械中，包括汽车。
图12示出了用于汽车触摸控制面板的无线电GUI 1210的简化版本。专门调出三个区域：区域1、区域2和区域3。区域1是处于旋转刻度盘1214中间的用于温度控制的按钮1212。响应于具有强力水平的触摸事件而提供根据触觉简档ID#4的触觉反馈(振动)。区域2是旋转刻度盘1214，也用于温度控制。响应于具有轻力水平的触摸事件而提供根据触觉简档ID#3的触觉反馈(摩擦)。最后，区域3是用于调出汽车设置菜单的按钮1216。响应于具有强力水平的触摸事件而提供根据触觉简档ID#2的触觉反馈(点击)，并且响应于具有轻力水平的触摸事件而提供根据触觉简档ID#3的触觉反馈(摩擦)。
图13示出了合并到由主机1310命令的汽车控件中的图11的系统和图12的GUI，并且主机1310中的触觉效果由微控制器控制。在该实施方案中，触摸控制器1320和UI元素/形状搜索功能1324是汽车子系统的部分，其中汽车主机1310可以通过触觉反馈来响应于触摸而无需主机的处理电路的直接干预。触摸控制器1320被配置为根据触摸位置和力水平信息识别被触摸的屏幕按钮，并且运行包括按钮位置的触摸状态机以触发触觉效果。
在该实施方案中，力处理1326和触摸处理1322被集成到一个控制器部件1320中，并且触摸屏1332包含多个几何对象描述的定义(屏幕显示设计1336和搜索树定义1338)，其各自被要求引出由触摸控制器1320直接激活并由触觉设备1350执行的触觉效果的范围。触摸控制器1320还可以经由触摸控制器配置单元1340来接收此类定义。
例如，在显示器1330处的触摸之后，触摸控制器1320从力处理1326和触摸处理1322接收力信息和触摸信息。信息可以包括来自力传感器1334的力测量和显示器上的触摸位置。UI元素/形状搜索1324提供与在发生触摸的显示器1330处显示的UI元素(如果有的话)相对应的UI元素信息。如果不存在与显示器上的位置相对应的UI元素，则UI元素/形状搜索1324提供空搜索结果。在搜索UI元素的形状信息时，UI元素/形状搜索1324可以使用存储在主机1310处的定义。在一个实施方案中，UI元素/形状搜索1324可以在配置过程期间接收定义，例如，当触摸控制器1320与主机1310集成在一起时，或者当主机1310通电时。
如果UI元素/形状搜索1324识别UI元素，则触觉信息由触觉控件1328使用以向触觉设备1350发送包括触觉效果和触觉效果位置的触觉激活消息。触觉激活消息可以包括指示触觉效果的水平的参数(例如，弱、中、强)。触觉设备1350在触觉设备处存储的触觉库1352中搜索触觉效果定义。触觉设备1350然后控制显示器1330处的致动器，使得显示器的特定区域表现出所请求的触觉效果。值得注意的是，不同的触觉设备可具有不同的触觉库，因此效果在设备之间可能不同。
在该实施方案中，GUI定义是XAML文件，其是图形用户界面的xml实施方式。XAML文件包含用于GUI的UI的屏幕元素的绘制指令的分层结构化列表。在XAML文件中，存在与GUI元素相关联的标签。例如，“宽度”、“高度”和“水平对齐”都是特定元素的有效标签。
虚拟小部件
如上面所讨论的，在一些实施方案中，接触敏感GUI(与GUI集成的触摸界面)可以例如结合以上讨论的任何特征来利用虚拟小部件。如本文所用，“虚拟小部件”是各形状的任何组合(例如，包括一个或多个活动的UI元素)，这些形状包括在可显示的GUI屏幕中。例如，虚拟小部件可以包括虚拟按钮、滑块、旋钮、刻度盘等的多个实例和/或类型的定义组合。作为另一示例，虚拟小部件可以包括共同定义用于控制定义功能的界面的活动元素的定义组合。例如，滑块式虚拟小部件或可旋转刻度盘型虚拟小部件可以由UI元素的定义集合组成，这些UI元素与滑块或可旋转刻度盘的位置选择范围有关，例如，如示例性图15所示的示例性可旋转刻度盘所示，下面将进行讨论。
虚拟小部件可以显示在触摸屏上，但在一些实施方案中，仅在触摸屏配置模块/过程的背景下以及在触摸屏显示器上存在。虚拟小部件可以向主机进行报告。使用虚拟小部件可以降低触敏GUI的物理界面复杂性。例如，使用虚拟小部件可以减少主机上用于处理触摸位置的开销，并且对于物理转子、滑块等(例如，加热控件、无线电控件或任何其他类型的控件)，可能不需要单独的硬件或电子器件。
一些实施方案提供了用于以可配置的方式限定触摸屏的区域(例如，已配置的屏幕页面中的区域)以作为虚拟小部件(例如、按钮、滑块、刻度盘等)来操作的系统和方法。当在触摸屏上检测到触摸时，触摸控制器可以确定与用户触摸相对应的小部件的位置或状态(例如，与所检测到的触摸位置相对应的虚拟滑块的线性位置或虚拟刻度盘的旋转位置)，并且可以在“小部件消息”中将此位置/状态信息报告给主机，以作为对报告指示触摸屏上的触摸位置的“触摸消息”的替代或补充。例如，小部件消息可以指示用户选择的位置、旋转、“触摸”状态和/或在相应小部件上检测到的触摸的数量，其与检测到的触摸位置、力和/或触摸屏上检测到的触摸的其他可测量方面相对应。
在一些实施方案中，例如，在下面讨论的图14所示的示例性实施方案中，将小部件消息在与触摸消息分开的流中传达给主机。在一些实施方案中，当检测到虚拟小部件上的触摸时，触摸控制器禁止向主机发送触摸消息；换句话说，在与虚拟小部件的触摸交互期间，可以挂起触摸消息以支持小部件消息。
使用此类虚拟小部件允许虚拟GUI控件以可配置和动态的方式定位在触摸屏上的任何位置。在一些实施方案中，可以通过例如基于上面公开的用于UI形状搜索的技术更改屏幕显示ID来更改和/或重新定位在屏幕上显示的虚拟控件。
图14示出了根据一个示例性实施方案的采用了如本文所公开的虚拟小部件的示例性GUI触摸屏系统1400。GUI触摸屏系统1400可以包括触敏触摸屏1402、触摸控制器1404和主机1406，其中每一个都可以提供部件中的任一个(例如，触摸传感器、微控制器、微控制器固件、处理器、存储器、触觉致动器等)并且提供有如上面所讨论的触摸屏、触摸控制器和主机所提供的功能中的任一个。在一些实施方案中，触摸控制器1404可以由微控制器中的固件体现。
系统1400还可以包括屏幕设计模块1410和触摸控制器配置模块1414。屏幕设计模块1410可以为可以在触摸屏1402处选择性地显示的一个或多个不同屏幕(也称为页面)中的每一个定义或配置屏幕设计。对于每个屏幕，屏幕设计模块1410可以选择要包括在屏幕中的虚拟小部件、以及所选择的小部件的布置/布局。屏幕设计模块1410可以将屏幕设计传达给主机1406以便存储，并且主机1406可以例如基于当前被选择用于显示的屏幕(例如，使用由主机1406所提供的屏幕选择状态机)在适当时选择性地将屏幕设计提供给GUI元素搜索引擎1424。然后，主机1406或另选地触摸控制器配置模块1414可以例如通过使用虚拟小部件的各种选择和/或布置而控制当前显示多个不同屏幕中的哪个来控制触摸屏上的显示。
屏幕设计模块1410还可以定义任何屏幕设计中包括的每个虚拟小部件的参数1412，并且将相应的小部件定义1416传达给触摸控制器配置模块1414以便存储。因此，触摸控制器配置模块1414可以存储每个虚拟小部件的小部件定义，该小部件定义可以包括一种或多种类型的相关UI元素的定义组合。如图所示，触摸控制器配置模块1414可以向GUI元素搜索引擎1424提供当前显示的屏幕中包括的小部件定义，以允许GUI元素搜索引擎1424基于在触摸屏上检测到的触摸来检测与虚拟小部件的用户交互。
如上所述，每个虚拟小部件可以包括在触摸屏上显示的形状的任何组合。每个虚拟小部件都可以具有小部件ID和在屏幕上的相对位置。例如，虚拟小部件可以进一步由诸如按钮编号(对于按钮型小部件)、转子位置/更改(对于转子型小部件)或滑块位置/更改(对于滑块型小部件)的参数来定义。例如，虚拟小部件也可以由形状配置定义，该形状配置可以由主机进行分页。
在操作中，当用户触摸/接触触摸屏1402时，触摸控制器1404的感测电路可以在1420处测量传感器信号并且响应于在触摸屏1402处的所测量的接触而生成一个或多个测量信号。接触测量1420和处理1422可以确定触摸信息(例如，位置、类型、力等)并将其提供给GUI元素搜索引擎(或“形状搜索”模块)1424。然后，GUI元素搜索引擎1424可以例如基于小部件定义1416中包括的小部件位置和形状参数来确定触摸位置是否与当前显示的虚拟小部件相对应。该确定可以采用以上讨论的用于UI元素触摸检测的各种技术中的任一种。
如果GUI元素搜索引擎1424确定触摸位置与当前显示的虚拟小部件相对应，则搜索引擎1424可以将小部件信息1426传达给小部件处理模块1428，该小部件信息包括相应的小部件ID、小部件形状索引、触摸了小部件内的哪个UI元素、和/或其他与触摸的虚拟小部件有关的相关信息。在1428处，小部件处理模块1428可以向消息接口1434生成小部件消息1430，该小部件消息包括从GUI元素搜索引擎1424所接收的小部件信息1426和/或小部件定义信息1416中的任一个，该消息接口可以将事件报告1440转发给主机1406，该事件报告包括来自小部件处理模块1428的信息。
在一些实施方案中，小部件处理模块1428可以为每个相关小部件触摸事件生成事件报告1440，该事件报告可以包括每个小部件触摸事件，该每个小部件触摸事件触发例如由小部件定义1416或者主机1406和/或触摸控制器1404生成或以其他方式可访问的其他逻辑所定义的触觉响应或其他用户反馈或控制功能。例如，相关的小部件触摸事件可以包括小部件上的触摸事件，这些触摸事件例如通过打开/关闭相应功能、或者增加或减小可调节的控制参数(例如，音量、风扇速度、显示器亮度等)来更改与小部件相关联的设置。小部件处理模块1428可以根据从GUI元素搜索引擎1424所接收的小部件信息1426和/或小部件定义信息1416识别相关的小部件触摸事件。
因此，主机1406可以经由消息接口1434从小部件处理模块1428接收小部件相关事件报告1440，并且通过控制触摸屏1402处的所显示的屏幕的各个方面和/或控制与被触摸的虚拟小部件相关联的至少一个外部系统或设备(例如，无线电、信息娱乐系统、地图/制导系统、灯、风扇、马达、引擎等)来响应每个事件报告1440。在一些实施方案中，主机1406可以控制相应的致动器以在触摸的位置处向用户提供定义的触觉反馈，例如，如小部件定义信息1416所定义。在其他实施方案中，可以通过触摸控制器1404而不是主机1406来控制和提供经由触摸屏1402的触觉反馈，这可以增加向用户提供反馈的响应时间。
此外，如图14中的1432处所指示，触摸控制器1404可以被配置为将所有已处理的触摸信息转发给消息接口1434，该消息接口可以经由事件报告1440生成此类信息并将其转发给主机1406。在一些实施方案中，小部件处理模块1428可以控制启用/禁用开关/逻辑1442，以在GUI元素搜索引擎1424识别出虚拟小部件触摸时，例如在小部件消息1430/小部件相关事件报告1440的生成以及从小部件处理模块1428到主机1406的转发期间，禁用或挂起该触摸信息1432的转发。
使用虚拟小部件可以简化主机1406的所要求的处理。例如，使用虚拟小部件可以允许单个屏幕设计具有多个应用程序。例如，一个界面可以经由适当的配置来处理每一种产品变型。
图15示出了根据一个示例性实施方案的在触摸屏GUI 1500上显示的示例性无线电屏幕(或页面)1502，其中无线电屏幕/页面1502包括虚拟小部件1504的布置，这些虚拟小部件包括各个UI元素组。触摸屏GUI 1500可以被配置为选择性地显示任何数量和类型的不同屏幕/页面，以控制无线电和/或一个或多个其他系统或设备(例如，信息娱乐系统、地图/制导系统、灯、风扇、马达、引擎等)。
在该示例中，无线电屏幕/页面1502包括各种示例性虚拟小部件1504，包括：无线电小部件1504A、一对无线电模式小部件1504B和1504C、频道预设小部件1504D、状态小部件1504E、音量控制激活小部件1504F和音量调节小部件1504G、调音器控制激活小部件1504H和调音器调节小部件1504I、低音控制小部件1504J和高音控制小部件1504K。
例如，上面讨论的接触敏感GUI(例如，触摸屏)可以用在任何合适的产品或系统(例如，家用电器)中或用于汽车控制。在一些实施方案中，触摸屏控制可以由固件(例如，体现在微控制器中)提供，而无需分立的微处理器/芯片。
由于可以经由配置来定义和更改GUI(例如，触摸屏)，因此可以出于多种不同目的和/或由多个不同的用户或顾客使用和选择性地配置相同的GUI硬件。此外，相同的GUI硬件可以在整个产品范围内提供多个不同的界面选项。常规方法通常提供单独的控件和/或使用主机来确定触摸屏上的按钮按压或其他接触，这不能提供所公开的系统的灵活性，并且可能需要额外的处理资源或时间。
为触摸屏的不同部分定义不同的特性和响应的能力主要由上面公开的UI元素/形状搜索算法提供，该算法允许灵活地定义传感器区域。这并不是常规触摸屏设计的典型方面。此外，为UI元素/小部件添加单独的消息传递流允许虚拟地创建诸如转子和滑块的功能，而无需任何物理设备。相同的功能允许绕过常规的触摸屏处理，将任何形状以其自己的ID报告为虚拟小部件。
静态小部件
一些实施方案可以包括集成在触摸屏表面中以用于向人提供触觉反馈的静态物理结构，例如物理脊、凸块、凹槽等。此类结构在本文中称为“静态小部件”。在一些实施方案中，静态小部件可以与虚拟小部件(上文讨论)结合使用，例如，其中虚拟小部件与物理地集成在触摸屏表面中的对应的静态小部件协同定位并且可以具有与其对应的形状。如上面所讨论的，虚拟小部件可以将所报告的触摸的位置、旋转、“触摸”状态、数量等报告给相关联的主机。
静态小部件可以为在触摸屏处显示的对应的虚拟小部件或其他UI元素提供物理“感觉”。因此，静态小部件可以允许用户凭感觉在触摸屏GUI处提供输入而无需看着触摸屏，这在汽车应用程序或用户视觉焦点可能指向其他地方的其他应用程序中尤其有用。在一些实施方案中，该系统被配置为向主机报告被触摸的静态小部件的控制位置，这与屏幕上的触摸的位置坐标相反，因为该系统可以提供小部件区域的特殊触摸处理。
与常规系统相比，静态小部件可以代替物理运动部件以增加系统的耐用性，并且可以减少部件数和处理器间接口。另外，可以在单个屏幕上设置一种或多种类型或形状的静态小部件的多个实例。在某些情况下，静态小部件可以用于替换一个或多个转子(刻度盘或旋钮)、滑块、按钮、开关或任何其他类型的物理接口。
图16示出了根据一个示例性实施方案的两个示例性静态小部件1600，具体为示例性脊型静态小部件1600A和示例性凹槽型静态小部件1600A，二者均形成在触摸传感器1608(例如，电容传感器)上方的覆盖玻璃层1604中。
在一些实施方案中，主机可以控制与设置在屏幕中的每个静态小部件1600相对应的显示区域。例如，主机可以例如通过经由特定虚拟小部件的对应的小部件ID而动态地调用特定虚拟小部件来动态地控制在每个静态小部件1600处显示的虚拟小部件。因此，例如，可以在每个相应的静态小部件1600处选择性地显示不同的虚拟小部件。在一些实施方案中，可在特定静态小部件1600处选择性地显示的不同虚拟小部件可以具有与特定静态小部件1600相对应的相同形状。如上面所讨论的，虚拟小部件可以由触摸屏控制器管理。
图17A和图17B示出了根据一个示例性实施方案的示例性触摸屏1700在两个不同模式下的两个视图，该示例性触摸屏包括两个静态小部件1702和1704，这两个静态小部件各自体现为圆形凹槽或脊。在图17A中，当前选择“调音器模式”，其中主机1708在触摸屏1700处显示第一屏幕1710A，该第一屏幕包括在静态小部件1702和1704的位置处显示的第一对虚拟小部件，即，分别在静态小部件1702和1704的位置处显示的圆形“音量”虚拟小部件1712和圆形“调音”虚拟小部件1714。当用户按下“模式”按钮1720时，主机1708可以调用针对“低音/高音”模式的第二屏幕1710B，该第二屏幕可以包括在静态小部件1702和1704的位置处显示的第二对虚拟小部件，即，分别在静态小部件1702和1704的位置处显示的圆形“低音”虚拟小部件1722和圆形“高音”虚拟小部件1724。
图18示出了根据一个示例性实施方案的体现为形成在触摸屏盖(例如，玻璃层)1802中的圆形物理凹槽的示例性静态小部件1800的成角度的侧视图。
参考上面讨论的图14，屏幕设计模块和/或触摸控制器配置模块可以基于屏幕几何结构推导出每个屏幕(或页面)和/或每个屏幕/页面内的虚拟小部件或其他UI元素的配置/布局。如上面所讨论的，虚拟小部件可以存在于屏幕的物理结构下方，并且因此可以存在于任何静态小部件下方，并且可以向主机发送小部件消息。在一些实施方案中，虚拟小部件可以生成复杂的触摸报告，例如，包括增益和阈值问题，其可以与主机分开地执行。
嵌入式静态小部件
一些实施方案可以通过由与触摸屏盖的主体不同的一种或多种不同的材料形成静态小部件结构来提供对上面讨论的静态小部件的增强。因此，静态小部件可以至少部分地嵌入在触摸屏盖的主体中或以其他方式物理地联接到触摸屏盖的主体，并且因此可以被称为“嵌入式静态小部件”。如下面所讨论的，在一些实施方案中，嵌入式静态小部件可以例如由介电常数比触摸屏盖的主体更高的材料形成，以跨脊提供恒定的触摸电容、或者提供增强的或减小的电容，这取决于期望的性能。
如上面所讨论的，静态小部件可以向用户提供触觉反馈，并且可以体现为例如屏幕中的静态脊或凹槽，而无任何运动部件。此外，如上面所讨论的，协同定位的虚拟小部件可以在检测到触摸时向主机发送小部件消息，这些小部件消息可以指示所报告的触摸的位置、旋转、“触摸”状态、数量等。
另外，使用如上面所公开的嵌入式静态小部件可以增强对戴着手套的用户的手指的检测。
对于某些静态小部件设计(例如，其中电容传感器布置在覆盖玻璃中的脊或凹槽下方)，触摸信号可能取决于覆盖玻璃的厚度和触摸尺寸(区域)。如果覆盖玻璃薄且触摸平坦，则可以通过以下公式来定义或近似得出基于触摸的电容：
Figure GDA0002438547670000251
根据公式1a，两个等面积平行板的电容C是一个板的面积(A)、板分开的厚度(t)和板分开的空间的介电常数(∈)的乘积。总介电常数∈是自由空间的介电常数(∈o)和材料的相对介电常数(∈r)的乘积。
另选地，如果手指显得很小并且远离屏幕，则考虑到屏幕节点具有固定尺寸，可以通过以下公式来近似得出基于触摸的电容：
Figure GDA0002438547670000261
在典型的实施方案和情况下，基于触摸的真实电容可以介于公式1a和1b之间，其可以表示为
Figure GDA0002438547670000262
因此，如果脊或其他物理结构使厚度t增加一倍，则电容C减小二到四倍，例如取决于公式1a或1b是否适合于特定情况。因此，该系统可以提供附加的触摸处理以例如补偿或解决屏幕中的脊、凹槽和其他物理结构，从而向用户提供触觉，而不会引起与触摸检测等有关的固件复杂性。
因此，一些实施方案可以为脊或其他静态小部件结构使用与触摸屏盖的基底材料(例如，玻璃或聚合物)不同的材料。此外，例如，如上面所讨论的，可以采用虚拟小部件来管理小部件消息传递。
图19示出了根据一个示例性实施方案的布置在电容传感器1904上方的触摸屏盖1902中的示例性脊型静态小部件1900的示例性结构。脊型静态小部件1900可以体现为插入件，该插入件形成在凹槽1920中，该凹槽形成在触摸屏盖1902中。
根据上文的公式1a和1b，高介电常数∈r造成电容耦合发生变化。
对于触摸显得平坦的情况，基于公式1a并且参考图19中所示的示例性结构，其中触摸屏盖的基底材料具有介电常数∈rc，而脊材料具有介电常数∈rr，平均介电常数可以表示为：
Figure GDA0002438547670000263
Figure GDA0002438547670000271
其在以下情况下可以始终保持恒定：
Figure GDA0002438547670000272
然而，如果触摸响应趋于公式1b：
Figure GDA0002438547670000273
(例如，其中手指显得很小并且远离屏幕)，则平均介电常数可以表示为：
Figure GDA0002438547670000274
其在以下情况下可以始终保持恒定：
Figure GDA0002438547670000275
因此，无论触摸显得平坦(公式1a适用)还是不平坦(公式1b适用)，介电常数都可以始终保持恒定。存在不同的介电常数的情况可以用来通过根据需要选择在脊插入件中使用的特定材料(具有所选择的介电常数)来增强或降低触摸响应。
例如，脊型小部件的覆盖基底材料和脊材料可以被选择成使得脊材料介电常数∈rr大于或小于覆盖基底材料介电常数∈rc。在一些实施方案中，一组电容相关参数(包括屏幕覆盖材料、脊材料、脊的形状、脊高度r、脊深度h、脊厚度(例如，最厚点处的厚度tr＝h+r)、基线覆盖厚度tcb、和/或在脊下方减小的覆盖厚度tcb中的任一者)可以一起被选择用于与从脊上移开的屏幕的参考区域(即，厚度为t的覆盖材料)相比，在脊上的一个或多个位置处提供增强的、中性的或减小的电容触摸检测灵敏度。
例如，所有电容相关参数中的任一个可以被选择用于在脊上的所有点/区域处提供增强的电容或减小的电容(与参考区域相比)。作为另一示例，所有电容相关参数中的任一个可以被选择用于在脊上的所选择的点/区域处提供增强的电容，但在脊上的其他点/区域处提供中性的或减小的电容，反之亦然。例如，参考图19，覆盖材料、基线覆盖厚度tbr、减小的覆盖厚度tcr、脊材料、脊形状和脊厚度tr可以被选择用于在脊的中心点或中心区域(以1910示出)处提供增强的电容，但在脊的横向边缘(以1912示出)附近提供中性的或减小的电容。
在一个示例性实施方案中，图19所示的示例性脊型静态小部件1900可以由介电常数比屏幕盖1902更高的材料形成，以跨脊1900提供恒定的或基本上恒定的触摸电容。
在一个实施方案中，脊型静态小部件(例如，限定转子)可以具有变化的角介电常数，使得在某些位置触摸显得较大(高介电常数)，而在其他位置触摸显得较小(低介电常数)，从而增强不同的小部件位置之间的识别力。
在一个示例性实施方案中，触摸屏盖1902由介电常数∈rc＝3.5的聚合物形成，而脊插入件由介电常数∈rr为约8(例如，介于7和8.5之间)的玻璃形成。例如，脊插入件可以由增强玻璃(例如，
Figure GDA0002438547670000281
的
Figure GDA0002438547670000282
玻璃或介电常数在7至8.5之间(例如，7.75)的任何类似的玻璃产品)在相关的加工速度下形成。
此外，在一些实施方案中，静态小部件可以包括由例如具有不同介电常数的多种不同材料形成的多个层、多个段或多个区域，以控制静态小部件的总体触敏响应。例如，静态小部件可以形成在基底覆盖层(例如，由玻璃或聚合物形成)上方、插入基底覆盖层中或以其他方式固定到基底覆盖层，并且可以包括由具有第一介电常数的第一材料形成的中心或主要区域、以及由具有不同于(大于或小于)第一介电常数的第二介电常数的第二材料形成的一个或多个次级区域，其中第一介电常数和第二介电常数中的每一个可以与基底覆盖层材料相同。
图20示出了根据一个示例性实施方案的布置在电容传感器2004上方的触摸屏盖2002中的示例性脊型静态小部件2000。脊型静态小部件2000可以大体上类似于图19中示出并在上面讨论的脊型静态小部件1900，但可以形成为多部件插入件，该多部件插入件包括形成在一对边缘脊部件或区域2012A和2012B之间的中心脊部件或区域2010。中心脊部件或区域2010可以由具有第一介电常数的第一材料形成，而边缘脊部件或区域2012A和2012B可以由具有不同于(大于或小于)第一介电常数的第二介电常数的第二材料形成。第一材料和第二材料中的每一种可以与基底覆盖层2002的材料相同或不同。此外，第一材料和第二材料的第一介电常数和第二介电常数中的每一个可以与基底覆盖层材料的介电常数相同或不同(大于或小于)。
在图20所示的示例性实施方案中，触摸屏覆盖层2002由具有介电常数∈rc＝3.5的聚合物形成，并且脊型静态小部件2000形成为多部件插入件，该多部件插入件包括(a)中心脊部件2010和(b)一对横向侧面区域2012A和2012B，该中心脊部件由增强玻璃(例如，
Figure GDA0002438547670000291
的
Figure GDA0002438547670000292
玻璃或如上面所讨论的具有介电常数∈rr2＝约8(例如，介于7和8.5之间)的任何类似的玻璃产品)，形成在该对横向侧面区域之间，该对横向侧面区域由与基底覆盖层2002相同的聚合物形成且因此具有介电常数∈rr1＝3.5。
在其他实施方案中，多部件静态小部件可以形成有相对于彼此垂直地(例如，以堆叠形式)布置的多个层或多个部件，与图19和图20所示的示例中的横向布置相反。
本说明书中描述的许多功能单元可被示出、描述或标记为编程代码的模块、线程或其他分类，以便更具体地强调它们的实施独立性。模块可至少部分地以一种或另一种形式在硬件中实现。例如，模块可实现为硬件电路，该硬件电路包括定制的VLSI电路或门阵列、现有半导体诸如逻辑芯片、晶体管或其他分立部件。模块也可在可编程硬件设备诸如现场可编程门阵列、可编程阵列逻辑、可编程逻辑设备等中实现。
模块也可使用存储在物理存储设备(例如，计算机可读存储介质)上、存储器中或其组合以由各种类型的处理器执行的软件或固件来实现。
可执行代码的所识别模块可例如包括计算机指令的一个或多个物理块或逻辑块，这些物理块或逻辑块可例如被组织为线程、对象、过程或功能。然而，所识别模块的可执行文件不需要物理地定位在一起，而是可包括存储在不同位置中的不同指令，这些指令在被逻辑地结合在一起时包括模块并实现模块的所述目的。
实际上，可执行代码的模块可以是单个指令或许多指令，并且甚至可分布在若干不同的代码段上、不同程序之间以及若干存储装置或存储器设备上。类似地，操作数据在本文中可在模块内被识别和示出，并且能够以任何合适的形式实施并在任何合适类型的数据结构内被组织。操作数据可作为单个数据集被收集，或者可分布在不同位置上，包括分布在不同存储设备上，并且可至少部分地仅作为系统或网络上的电子信号存在。在模块或模块的部分在软件中实现的情况下，软件部分存储在一个或多个物理设备上，这些物理设备在本文中被称为计算机可读介质。
在一些实施方案中，软件部分以非暂态状态存储，使得软件部分或其表示在同一物理位置持续一段时间。另外，在一些实施方案中，软件部分存储在一个或多个非暂态存储设备上，这些非暂态存储设备包括能够存储非暂态状态和/或表示软件部分的信号的硬件元件，尽管非暂态存储设备的其他部分可能能够改变和/或传输信号。非暂态存储设备的示例是闪存存储器和随机存取存储器(RAM)。非暂态存储设备的另一个示例包括只读存储器(ROM)，该只读存储器可将表示软件部分的信号和/或状态存储一段时间。然而，存储信号和/或状态的能力不会因传输与所存储的信号和/或状态相同或表示所存储的信号和/或状态的信号的其他功能而减弱。例如，处理器可访问ROM以获得表示所存储的信号和/或状态的信号，以便执行对应的软件指令。
虽然本文关于某些图示实施方案描述了本发明，但本领域的普通技术人员将认识到并理解本发明不受此限制。相反，在不脱离下文所要求保护的本发明的范围及其法律等同形式的情况下，可对图示实施方案和所述实施方案进行许多添加、删除和修改。此外，来自一个实施方案的特征可与另一个实施方案的特征组合，同时仍被包括在发明人所设想的本发明的范围内。

Claims (15)

1.一种用户界面系统，包括：
触摸屏覆盖层；
触觉结构，所述触觉结构形成于所述触摸屏覆盖层中或联接到所述触摸屏覆盖层，所述触觉结构限定向用户的手指提供触觉反馈的非平面表面纹理；
触摸屏显示设备，所述触摸屏显示设备布置在所述触摸屏盖下方并且被配置为在与所述触觉结构相对应的位置处显示包括相应的虚拟用户界面元素的可配置的图形用户界面(GUI)；和
处理器，所述处理器被配置为感测在特定虚拟用户界面元素的位置处的触摸、识别所述特定虚拟用户界面元素并发起与所述虚拟用户界面元素相关联的动作。
2.根据权利要求1所述的用户界面系统，其中所述处理器体现在微控制器中。
3.根据权利要求1至2中任一项所述的用户界面系统，其中：
所述触摸屏覆盖层由具有第一介电常数的第一材料形成；并且
所述触觉结构由具有与所述触摸屏覆盖层的所述第一材料的所述第一介电常数不同的介电常数的至少一种第二材料形成。
4.根据权利要求1至2中任一项所述的用户界面系统，其中：
所述触摸屏覆盖层由具有第一介电常数的第一材料形成；并且
所述触觉结构由具有比所述触摸屏覆盖层的所述第一材料的所述第一介电常数更高的介电常数的至少一种第二材料形成。
5.根据权利要求1至2中任一项所述的用户界面系统，其中：
所述触摸屏覆盖层由具有第一介电常数的第一材料形成；并且
所述触觉结构由具有比所述触摸屏覆盖层的所述第一材料的所述第一介电常数更低的介电常数的至少一种第二材料形成。
6.根据权利要求1至5中任一项所述的用户界面系统，其中形成于所述触摸屏覆盖层中或联接到所述触摸屏覆盖层的所述触觉结构由具有不同介电常数的至少两种不同材料形成。
7.一种触摸屏系统，包括：
触摸屏覆盖层，所述触摸屏覆盖层由具有介电常数的第一材料形成；和
触觉结构，所述触觉结构联接到所述触摸屏覆盖层并限定非平面表面纹理，其中所述触觉结构由具有与所述触摸屏覆盖层的所述第一材料不同的介电常数的至少一种第二材料形成。
8.根据权利要求7所述的触摸屏系统，还包括电容传感器，所述电容传感器布置在所述触摸屏覆盖层的下方并且被配置为检测所述触觉结构上的触摸以及所述触摸屏覆盖层的其他区域上的触摸。
9.根据权利要求7所述的触摸屏系统，还包括触摸屏显示元件，所述触摸屏显示元件位于所述触摸屏覆盖层的下方并且被配置为在与所述触觉结构相对应的位置处显示包括虚拟用户界面元素的图形用户界面。
10.根据权利要求7所述的触摸屏系统，还包括触摸屏显示元件，所述触摸屏显示元件位于所述触摸屏覆盖层的下方并且被配置为在与所述触觉结构相对应的位置处显示包括虚拟小部件的图形用户界面。
11.根据权利要求7所述的触摸屏系统，其中所述触觉结构由具有比所述触摸屏覆盖层的所述第一材料更高的介电常数的至少一种第二材料形成。
12.根据权利要求7所述的触摸屏系统，其中所述触觉结构由具有不同介电常数的至少两种不同材料形成。
13.根据权利要求7所述的触摸屏系统，其中所述触觉结构限定脊或凸块。
14.一种用户界面系统，包括：
根据权利要求7至13所述的触摸屏系统中的任一个；
触摸屏显示元件，所述触摸屏显示元件位于所述触摸屏覆盖层的下方并且被配置为在与所述触觉结构相对应的位置处显示包括虚拟用户界面元素的图形用户界面(GUI)；和
处理器，所述处理器被配置为识别在所述虚拟用户界面元素的位置处的触摸、识别所述虚拟用户界面元素并发起与所述虚拟用户界面元素相关联的动作。
15.一种方法，包括由根据权利要求1至14所述的系统中的任一个执行的操作。
CN201880054204.XA 2017-10-24 2018-10-24 包括触觉反馈结构和对应的虚拟用户界面元素的触摸屏 Active CN111164549B (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201762576383P 2017-10-24 2017-10-24
US201762576563P 2017-10-24 2017-10-24
US62/576,563 2017-10-24
US62/576,383 2017-10-24
US16/165,241 2018-10-19
US16/165,241 US10747404B2 (en) 2017-10-24 2018-10-19 Touchscreen including tactile feedback structures and corresponding virtual user interface elements
PCT/US2018/057208 WO2019084082A1 (en) 2017-10-24 2018-10-24 TOUCH SCREEN COMPRISING TOUCH FEEDBACK STRUCTURES AND CORRESPONDING VIRTUAL USER INTERFACE ELEMENTS

Publications (2)

Publication Number Publication Date
CN111164549A true CN111164549A (zh) 2020-05-15
CN111164549B CN111164549B (zh) 2023-11-03

Family

ID=66169316

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201880055690.7A Active CN111052060B (zh) 2017-10-24 2018-10-23 包括可配置虚拟小部件的触敏用户界面
CN201880054204.XA Active CN111164549B (zh) 2017-10-24 2018-10-24 包括触觉反馈结构和对应的虚拟用户界面元素的触摸屏

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201880055690.7A Active CN111052060B (zh) 2017-10-24 2018-10-23 包括可配置虚拟小部件的触敏用户界面

Country Status (7)

Country Link
US (2) US10866697B2 (zh)
JP (2) JP7181929B2 (zh)
KR (2) KR102556638B1 (zh)
CN (2) CN111052060B (zh)
DE (2) DE112018005206T5 (zh)
TW (2) TWI787372B (zh)
WO (2) WO2019084002A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114911383A (zh) * 2022-06-02 2022-08-16 亿咖通(湖北)技术有限公司 窗口显示方法和车载终端

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9330544B2 (en) * 2012-11-20 2016-05-03 Immersion Corporation System and method for simulated physical interactions with haptic effects
DE102017214941A1 (de) 2017-08-25 2019-02-28 Dometic Sweden Ab Freizeitfahrzeug, Kühlvorrichtung, Steuerungssystem und Verfahren zur Steuerung der Kühlvorrichtung
USD936665S1 (en) * 2018-11-21 2021-11-23 Biosense Webster (Israel) Ltd. Portion of a computer screen with a graphical user interface
US11126341B2 (en) * 2019-02-21 2021-09-21 Htc Corporation Object manipulating method, host device and computer readable storage medium
USD919633S1 (en) * 2019-05-14 2021-05-18 Rasimo Systems LLC Display screen with graphics
TWI807372B (zh) * 2020-07-21 2023-07-01 美商酷比公司 虛擬化用戶介面設備
JP7432746B2 (ja) 2020-09-08 2024-02-16 アルプスアルパイン株式会社 入力装置
US11385777B2 (en) 2020-09-14 2022-07-12 UiPath, Inc. User interface (UI) mapper for robotic process automation
EP3971691A1 (en) * 2020-09-18 2022-03-23 Dometic Sweden AB A recreational vehicle user interface
CN112596612A (zh) 2020-12-28 2021-04-02 北京小米移动软件有限公司 触感反馈生成方法、触感反馈生成装置及存储介质
US11662822B1 (en) * 2021-12-20 2023-05-30 Huawei Technologies Co., Ltd. Systems and methods for generating pseudo haptic feedback
CN117608424B (zh) * 2024-01-24 2024-04-12 江苏锦花电子股份有限公司 一种基于物联网的触摸式旋钮屏管控系统及方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102326135A (zh) * 2009-01-08 2012-01-18 帕西尼恩公司 触觉表面
US20140055382A1 (en) * 2012-08-27 2014-02-27 Hyundai Motor Company Deformable touch screen
US20140155690A1 (en) * 2012-12-05 2014-06-05 Ralph Clinton Morton Touchscreen Cunnilingus Training Simulator
US20140240253A1 (en) * 2013-02-28 2014-08-28 Samsung Electronics Co., Ltd. Method of detecting protection case and electronic device thereof
CN104428739A (zh) * 2012-05-16 2015-03-18 泰克图斯科技公司 用户界面和方法
CN105144035A (zh) * 2013-04-26 2015-12-09 意美森公司 利用触觉单元阵列模拟有形用户界面交互和手势
CN105431800A (zh) * 2013-06-24 2016-03-23 西北大学 具有同时感测和致动的触觉显示屏
US9671954B1 (en) * 2011-07-11 2017-06-06 The Boeing Company Tactile feedback devices for configurable touchscreen interfaces
CN106951115A (zh) * 2015-12-31 2017-07-14 瑞声科技(新加坡)有限公司 触觉反馈显示屏及其制造方法
US20170256144A1 (en) * 2016-03-07 2017-09-07 Immersion Corporation Systems and Methods for Haptic Surface Elements

Family Cites Families (111)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004221757A (ja) * 2003-01-10 2004-08-05 Renesas Technology Corp 動き検出装置及び探索領域形状可変動き検出器
GB0313808D0 (en) * 2003-06-14 2003-07-23 Binstead Ronald P Improvements in touch technology
EP1774427A2 (en) * 2004-07-30 2007-04-18 Apple Computer, Inc. Mode-based graphical user interfaces for touch sensitive input devices
US7657100B2 (en) * 2005-05-09 2010-02-02 Like.Com System and method for enabling image recognition and searching of images
US8578282B2 (en) * 2006-03-15 2013-11-05 Navisense Visual toolkit for a virtual user interface
CN104965621B (zh) * 2006-06-09 2018-06-12 苹果公司 触摸屏液晶显示器及其操作方法
US7791594B2 (en) * 2006-08-30 2010-09-07 Sony Ericsson Mobile Communications Ab Orientation based multiple mode mechanically vibrated touch screen display
US20090115734A1 (en) * 2007-11-02 2009-05-07 Sony Ericsson Mobile Communications Ab Perceivable feedback
AR064377A1 (es) * 2007-12-17 2009-04-01 Rovere Victor Manuel Suarez Dispositivo para sensar multiples areas de contacto contra objetos en forma simultanea
US8928621B2 (en) * 2008-01-04 2015-01-06 Tactus Technology, Inc. User interface system and method
US9557915B2 (en) * 2008-01-04 2017-01-31 Tactus Technology, Inc. Dynamic tactile interface
US8456438B2 (en) * 2008-01-04 2013-06-04 Tactus Technology, Inc. User interface system
US8547339B2 (en) * 2008-01-04 2013-10-01 Tactus Technology, Inc. System and methods for raised touch screens
US8553005B2 (en) * 2008-01-04 2013-10-08 Tactus Technology, Inc. User interface system
US8243038B2 (en) * 2009-07-03 2012-08-14 Tactus Technologies Method for adjusting the user interface of a device
US8004501B2 (en) * 2008-01-21 2011-08-23 Sony Computer Entertainment America Llc Hand-held device with touchscreen and digital tactile pixels
US9829977B2 (en) * 2008-04-02 2017-11-28 Immersion Corporation Method and apparatus for providing multi-point haptic feedback texture systems
US8115745B2 (en) * 2008-06-19 2012-02-14 Tactile Displays, Llc Apparatus and method for interactive display with tactile feedback
US8659555B2 (en) * 2008-06-24 2014-02-25 Nokia Corporation Method and apparatus for executing a feature using a tactile cue
TW201005262A (en) * 2008-07-29 2010-02-01 Mitac Int Corp Navigation system
US20100060568A1 (en) * 2008-09-05 2010-03-11 Apple Inc. Curved surface input device with normalized capacitive sensing
US10289199B2 (en) * 2008-09-29 2019-05-14 Apple Inc. Haptic feedback system
JP2010086236A (ja) * 2008-09-30 2010-04-15 Casio Computer Co Ltd タッチパネル
CA2681856A1 (en) * 2008-10-07 2010-04-07 Research In Motion Limited A method and handheld electronic device having a graphic user interface with efficient orientation sensor use
US8245143B2 (en) * 2008-10-08 2012-08-14 Research In Motion Limited Method and handheld electronic device having a graphical user interface which arranges icons dynamically
CA2680666A1 (en) * 2008-10-08 2010-04-08 Research In Motion Limited An electronic device having a state aware touchscreen
CA2674663A1 (en) * 2008-10-08 2010-04-08 Research In Motion Limited A method and handheld electronic device having dual mode touchscreen-based navigation
US8279184B2 (en) * 2009-01-27 2012-10-02 Research In Motion Limited Electronic device including a touchscreen and method
WO2010105012A1 (en) * 2009-03-12 2010-09-16 Immersion Corporation Systems and methods for a texture engine
KR20190077113A (ko) * 2009-07-22 2019-07-02 임머숀 코퍼레이션 플랫폼에 걸쳐 햅틱 피드백을 갖는 상호작용 터치 스크린 게임 메타포
US8421761B2 (en) * 2009-08-26 2013-04-16 General Electric Company Imaging multi-modality touch pad interface systems, methods, articles of manufacture, and apparatus
US8730199B2 (en) * 2009-09-04 2014-05-20 Atmel Corporation Capacitive control panel
US20110099498A1 (en) 2009-10-26 2011-04-28 Barkol Omer Graphical user interface hierarchy generation
JP5704428B2 (ja) * 2009-11-18 2015-04-22 株式会社リコー タッチパネル装置及びタッチパネル装置の制御方法
EP2517089A4 (en) * 2009-12-21 2016-03-09 Tactus Technology USER INTERFACE SYSTEM
CN102725716B (zh) * 2009-12-21 2016-04-13 泰克图斯科技公司 用户界面系统
US8619035B2 (en) * 2010-02-10 2013-12-31 Tactus Technology, Inc. Method for assisting user input to a device
EP2559164B1 (en) * 2010-04-14 2014-12-24 Frederick Johannes Bruwer Pressure dependent capacitive sensing circuit switch construction
WO2011133605A1 (en) * 2010-04-19 2011-10-27 Tactus Technology Method of actuating a tactile interface layer
EP2561424B1 (en) 2010-04-23 2019-02-20 Immersion Corporation Systems and methods for providing haptic effects
GB201011146D0 (en) * 2010-07-02 2010-08-18 Vodafone Ip Licensing Ltd Mobile computing device
US8963874B2 (en) * 2010-07-31 2015-02-24 Symbol Technologies, Inc. Touch screen rendering system and method of operation thereof
US8576171B2 (en) * 2010-08-13 2013-11-05 Immersion Corporation Systems and methods for providing haptic feedback to touch-sensitive input devices
US8311514B2 (en) * 2010-09-16 2012-11-13 Microsoft Corporation Prevention of accidental device activation
US20120105354A1 (en) * 2010-10-31 2012-05-03 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Tactile Feedback Cover Lens for a Capacitive Touchscreen System
US20120256862A1 (en) * 2011-04-11 2012-10-11 Kurt Wagner Touchscreen guide
US20120268386A1 (en) * 2011-04-19 2012-10-25 Karamath James Robert Touch-screen device including tactile feedback actuator
US20120284631A1 (en) * 2011-05-02 2012-11-08 German Lancioni Methods to adapt user interfaces and input controls
US8717151B2 (en) * 2011-05-13 2014-05-06 Qualcomm Incorporated Devices and methods for presenting information to a user on a tactile output surface of a mobile device
US20120274596A1 (en) * 2011-07-11 2012-11-01 Ludwig Lester F Use of organic light emitting diode (oled) displays as a high-resolution optical tactile sensor for high dimensional touchpad (hdtp) user interfaces
US9778813B2 (en) * 2011-08-09 2017-10-03 Blackberry Limited Manipulating screen layers in multi-layer applications
JP5948074B2 (ja) * 2012-02-13 2016-07-06 株式会社日立ハイテクノロジーズ 画像形成装置及び寸法測定装置
US8493354B1 (en) * 2012-08-23 2013-07-23 Immersion Corporation Interactivity model for shared feedback on mobile devices
US9471185B2 (en) * 2012-02-21 2016-10-18 Atmel Corporation Flexible touch sensor input device
CA2879180A1 (en) * 2012-03-07 2013-09-12 Snap Trends, Inc. Methods and systems of aggregating information of social networks based on geographical locations via a network
US9046972B2 (en) * 2012-03-23 2015-06-02 Nokia Technologies Oy Structure for a tactile display
JP5799908B2 (ja) * 2012-07-13 2015-10-28 株式会社デンソー タッチ式スイッチ装置
KR101916416B1 (ko) * 2012-07-30 2018-11-08 삼성전자주식회사 플렉서블 디스플레이 장치 및 그 디스플레이 방법
US9330544B2 (en) * 2012-11-20 2016-05-03 Immersion Corporation System and method for simulated physical interactions with haptic effects
US9323327B2 (en) * 2012-12-22 2016-04-26 Intel Corporation System and method for providing tactile feedback
KR102052153B1 (ko) * 2013-02-15 2019-12-17 삼성전자주식회사 보청기를 제어하는 휴대 단말 및 방법
KR102090964B1 (ko) * 2013-02-22 2020-03-19 삼성전자주식회사 터치 스크린에 디스플레이되는 아이콘을 제어하는 휴대 단말 및 방법
US9367938B2 (en) * 2013-02-28 2016-06-14 Nokia Technologies Oy Method and apparatus for automated real-time detection of overlapping painted markup elements
US9298324B1 (en) * 2013-03-11 2016-03-29 Amazon Technologies, Inc. Capacitive touch with tactile feedback
US9361074B2 (en) * 2013-03-15 2016-06-07 Keysight Technologies, Inc. Method for creating a user interface
US9470919B2 (en) * 2013-05-14 2016-10-18 Microsoft Technology Licensing, Llc Methods for producing a glass-based non planar digital display
KR20140137616A (ko) * 2013-05-23 2014-12-03 삼성전자주식회사 다자간 대화를 제어하는 휴대 단말 및 방법
US9182864B2 (en) * 2013-06-03 2015-11-10 Rajkumari Mohindra Pressure sensitive projected capacitive touch sensing
KR20150006235A (ko) * 2013-07-08 2015-01-16 삼성전자주식회사 결합된 ui 구성 요소를 제공하는 휴대 장치 및 그 제어 방법
US9092291B1 (en) * 2013-07-11 2015-07-28 Sprint Communications Company L.P. Dynamic updating and renaming virtual pre-installation stub applications
CN103455590B (zh) * 2013-08-29 2017-05-31 百度在线网络技术（北京）有限公司 在触屏设备中进行检索的方法和装置
US9176635B2 (en) * 2013-10-14 2015-11-03 Parade Technologies, Ltd. Virtual buttons for a touch interface
US20150109214A1 (en) * 2013-10-22 2015-04-23 Weidong Shi Methods and Apparatuses of touch-fingerprinting Display
US20150185946A1 (en) * 2013-12-30 2015-07-02 Google Inc. Touch surface having capacitive and resistive sensors
CN103793691A (zh) * 2014-01-28 2014-05-14 深圳市汇顶科技股份有限公司 指纹识别装置及具有其的移动终端
US10453371B2 (en) * 2014-02-07 2019-10-22 Samsung Electronics Co., Ltd. Multi-layer display with color and contrast enhancement
US10170030B2 (en) * 2014-02-07 2019-01-01 Samsung Electronics Company, Ltd. Dual-mode display
US10565925B2 (en) * 2014-02-07 2020-02-18 Samsung Electronics Co., Ltd. Full color display with intrinsic transparency
US10416801B2 (en) * 2014-04-08 2019-09-17 Atmel Corporation Apparatus, controller, and device for touch sensor hand-configuration analysis based at least on a distribution of capacitance values
US10031582B2 (en) * 2014-06-05 2018-07-24 Immersion Corporation Systems and methods for induced electrostatic haptic effects
WO2016002675A1 (ja) * 2014-06-30 2016-01-07 日本電気株式会社 スイッチモジュール、電子機器、および、電子機器の製造方法
US9696806B2 (en) * 2014-07-02 2017-07-04 Immersion Corporation Systems and methods for multi-output electrostatic haptic effects
US9710063B2 (en) * 2014-07-21 2017-07-18 Immersion Corporation Systems and methods for determining haptic effects for multi-touch input
CN104156133B (zh) * 2014-09-01 2017-04-19 深圳市华星光电技术有限公司 一种单层互容式触摸面板及电容式触摸屏
US20160328065A1 (en) * 2015-01-12 2016-11-10 Rockwell Collins, Inc. Touchscreen with Dynamic Control of Activation Force
KR20160088764A (ko) * 2015-01-16 2016-07-26 삼성전자주식회사 플렉서블 디바이스 및 그 동작 방법
JP6251214B2 (ja) * 2015-05-14 2017-12-20 株式会社東芝 電子機器、方法及びプログラム
US10416799B2 (en) * 2015-06-03 2019-09-17 Microsoft Technology Licensing, Llc Force sensing and inadvertent input control of an input device
CN105117245A (zh) * 2015-08-04 2015-12-02 小米科技有限责任公司 卸载应用程序的方法和装置
US9798413B2 (en) * 2015-08-27 2017-10-24 Hand Held Products, Inc. Interactive display
US9874965B2 (en) * 2015-09-11 2018-01-23 Apple Inc. Transparent strain sensors in an electronic device
JP6569415B2 (ja) * 2015-09-15 2019-09-04 株式会社リコー 表示入力装置、画像形成装置及び電子機器と表示制御方法並びにプログラム
KR20170046912A (ko) * 2015-10-22 2017-05-04 삼성전자주식회사 정보 제공 방법 및 이를 지원하는 전자 장치
US10386940B2 (en) * 2015-10-30 2019-08-20 Microsoft Technology Licensing, Llc Touch sensing of user input device
US9875625B2 (en) * 2015-12-18 2018-01-23 Immersion Corporation Systems and methods for multifunction haptic output devices
WO2017172635A1 (en) * 2016-03-31 2017-10-05 Osisoft, Llc Event based data collection, integration, and presentation
US9916032B2 (en) * 2016-05-18 2018-03-13 Honeywell International Inc. System and method of knob operation for touchscreen devices
JP6734937B2 (ja) * 2016-05-18 2020-08-05 センセル インコーポレイテッドＳｅｎｓｅｌ，Ｉｎｃ． タッチ入力を検出して確認する方法
CN106200929B (zh) * 2016-06-30 2018-10-30 南京中电熊猫液晶显示科技有限公司 电容式触觉反馈显示装置、工作方法及其检测方法
CN109791961A (zh) * 2016-07-20 2019-05-21 Ib韩国有限公司 具有量子点的发光膜
KR102579132B1 (ko) * 2016-08-02 2023-09-18 삼성전자주식회사 디스플레이를 구비한 전자 장치
KR102535056B1 (ko) * 2016-08-03 2023-05-22 삼성전자 주식회사 전자 장치 및 터치 인식 방법
WO2018034377A1 (ko) * 2016-08-18 2018-02-22 한화테크윈 주식회사 이벤트 검색 시스템, 장치 및 방법
US10372214B1 (en) * 2016-09-07 2019-08-06 Apple Inc. Adaptable user-selectable input area in an electronic device
US10206044B2 (en) * 2016-09-08 2019-02-12 Microsoft Technology Licensing, Llc Display structure having a visual display and an audio output
KR102580327B1 (ko) * 2016-09-09 2023-09-19 삼성전자주식회사 전자 장치 및 전자 장치의 제어 방법
US10216335B1 (en) * 2016-10-18 2019-02-26 Google Llc Reducing false sensing of touchscreen inputs
US10209804B2 (en) * 2017-01-10 2019-02-19 Rockwell Collins, Inc. Emissive Display over resistive touch sensor with force sensing
US20180275757A1 (en) * 2017-03-23 2018-09-27 Immersion Corporation Systems and methods for in-cell haptics
EP3385831A1 (en) * 2017-04-04 2018-10-10 Lg Electronics Inc. Mobile terminal
US20200159173A1 (en) * 2018-11-19 2020-05-21 Johnson Controls Technology Company Building system with semantic modeling based custom logic generation

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102326135A (zh) * 2009-01-08 2012-01-18 帕西尼恩公司 触觉表面
US9671954B1 (en) * 2011-07-11 2017-06-06 The Boeing Company Tactile feedback devices for configurable touchscreen interfaces
CN104428739A (zh) * 2012-05-16 2015-03-18 泰克图斯科技公司 用户界面和方法
US20140055382A1 (en) * 2012-08-27 2014-02-27 Hyundai Motor Company Deformable touch screen
US20140155690A1 (en) * 2012-12-05 2014-06-05 Ralph Clinton Morton Touchscreen Cunnilingus Training Simulator
US20140240253A1 (en) * 2013-02-28 2014-08-28 Samsung Electronics Co., Ltd. Method of detecting protection case and electronic device thereof
CN105144035A (zh) * 2013-04-26 2015-12-09 意美森公司 利用触觉单元阵列模拟有形用户界面交互和手势
CN105431800A (zh) * 2013-06-24 2016-03-23 西北大学 具有同时感测和致动的触觉显示屏
CN106951115A (zh) * 2015-12-31 2017-07-14 瑞声科技(新加坡)有限公司 触觉反馈显示屏及其制造方法
US20170256144A1 (en) * 2016-03-07 2017-09-07 Immersion Corporation Systems and Methods for Haptic Surface Elements
CN107168512A (zh) * 2016-03-07 2017-09-15 意美森公司 用于触觉表面元件的系统和方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
JUNJI ONISHI等: "Fundamental Study on Tactile Cognition through Haptic Feedback Touchscreen", 2013 IEEE INTERNATIONAL CONFERENCE ON SYSTEMS, MAN, AND CYBERNETICS *
余玉卿;宋爱国;陈大鹏;赵国普;: "用于触摸屏图像感知的指端力触觉再现系统", 仪器仪表学报, no. 06 *
王婷婷;陈建;孙晓颖;: "图像局部纹理特性的静电力触觉渲染", 中国图象图形学报, no. 10 *
路翔;罗挺;: "投影式电容触摸屏柔性振动触觉反馈研究", 后勤工程学院学报, no. 06 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114911383A (zh) * 2022-06-02 2022-08-16 亿咖通(湖北)技术有限公司 窗口显示方法和车载终端

Also Published As

Publication number Publication date
WO2019084082A1 (en) 2019-05-02
JP2021500677A (ja) 2021-01-07
CN111164549B (zh) 2023-11-03
KR102556638B1 (ko) 2023-07-17
US10866697B2 (en) 2020-12-15
TW201923544A (zh) 2019-06-16
KR102627023B1 (ko) 2024-01-18
CN111052060A (zh) 2020-04-21
DE112018005206T5 (de) 2020-06-18
WO2019084002A1 (en) 2019-05-02
KR20200071721A (ko) 2020-06-19
JP7181929B2 (ja) 2022-12-01
US10747404B2 (en) 2020-08-18
US20190121500A1 (en) 2019-04-25
TWI816706B (zh) 2023-10-01
TWI787372B (zh) 2022-12-21
KR20200071722A (ko) 2020-06-19
US20190121435A1 (en) 2019-04-25
JP2021500667A (ja) 2021-01-07
CN111052060B (zh) 2023-11-24
JP7269924B2 (ja) 2023-05-09
TW201931076A (zh) 2019-08-01
DE112018004686T5 (de) 2020-06-04

Similar Documents

Publication Publication Date Title
CN111164549B (zh) 包括触觉反馈结构和对应的虚拟用户界面元素的触摸屏
US11809626B2 (en) Techniques for identifying user interface elements and systems and devices using the same
US20150317054A1 (en) Method and apparatus for gesture recognition
US20120249475A1 (en) 3d user interface control
US20140160030A1 (en) Sensor system and method for mapping and creating gestures
KR20150098366A (ko) 가상 터치패드 조작방법 및 이를 수행하는 단말기
KR101692848B1 (ko) 호버링을 이용하는 가상 터치패드 조작방법 및 이를 수행하는 단말기
KR102318556B1 (ko) 입력장치 및 그 제어방법
KR20160107139A (ko) 가상 터치패드 조작방법 및 이를 수행하는 단말기

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant