CN111201501A - 用于向触敏显示装置的操作者提供触觉反馈的方法 - Google Patents

Abstract

本发明涉及一种用于向触敏显示装置(10)的操作者提供触觉反馈的方法，包括：以图像数据的形式提供在显示装置(10)中待显示的用户界面，该用户界面具有与待控制的功能相关联的至少一个按钮(21、22、23、26、29)，该至少一个按钮在用户界面中以图形方式显示，并且在图形上与用户界面的其余部分区分开；就用于表示按钮的形状的存在和位置分析图像数据；确定触敏显示装置(10)中被识别为按钮的待显示的形状的预期显示区域；在触敏显示装置(10)中显示用户界面的图像数据；当在触敏显示装置(10)的表面(12)的如下的区域中检测到触敏显示装置(10)被触摸时，输出触觉反馈，这样的区域对应于被识别为按钮的形状的显示区域。

Description

用于向触敏显示装置的操作者提供触觉反馈的方法

背景技术

从US 2008/0024459 A1中已知一种用于触屏的操作方法，在该操作方法中进行压力测量以确定在某个位置处对触屏的触摸，其中根据触摸并且根据图形用户界面的与触摸的位置相关联的元素向操作者输出触觉反馈。此外，触觉反馈可以取决于在触摸用户界面时在图形用户界面中所显示的元素的位置处所确定的压力。

发明内容

与此相比，根据本发明的用于向触敏显示装置的操作者提供触觉反馈的方法具有如下的优点：如果除了图像信息本身之外，没有从另一计算单元向具有触觉反馈的触敏显示装置传输或提供关于用户界面的设计的信息，特别是关于用户界面中的按钮的位置的信息，则对于触敏显示装置中所显示的用户界面可以利用在用户界面中所显示的按钮进行触觉反馈。

为了向用户提供关于用户是否真的点击并操作了按钮或者用户是否可能触摸了触敏显示装置的表面的未分配有按钮且在被触摸时不会触发待控制的电子设备的功能的区域的反馈，当用户在按钮的区域中触摸触敏显示装置时，应当有利地在这种初始情况下也向用户提供触觉反馈。因此，例如对于在操作期间显示装置不在操作者的视野内的情况也可以操作触敏显示装置。对于显示装置在操作者的视野内的情况，操作者通过触觉得到关于操作成功的直接反馈。然而，为此，应当被提供触觉反馈的位置对于具有触觉反馈的触敏显示装置必须是已知的，因为否则仅在按钮被触摸的情况下，有针对性的触觉反馈是不可能的。

在这里，按钮一方面可以理解为在被触摸时类似于按键进行切换的区域。然而，此外，按钮还应当理解为用于其他的、不同设计的操作元件的区域，例如滑动调节器或旋转元件。

为了将具有触觉反馈的触敏显示装置的操作设计得对用户而言目的明确且有意义，还必须在探测到触摸之后尽快进行触觉反馈。如果一秒或可能若干秒之后才进行触觉反馈，则用户可能会不再觉得触觉反馈是有帮助的。如果在传输所检测到的触摸位置之后，由外部计算单元提供关于是否输出触觉反馈的信息，则可能不再能够及时地输出触觉反馈。

因此，根据本发明，由触敏显示装置直接提供关于触觉反馈的信息，以便可以及时地进行触觉反馈。为此，除了所传输的图像数据之外，不必向触敏显示装置传输例如关于显示中按钮的显示位置的信息。因为显示装置能够仅从所传输的图像数据中自动地获得按钮在用户界面本身的待示出的显示中的可能位置。因此，当不从外部提供按钮在触敏显示器上的位置时，例如当外部计算装置仅传输用户界面的图像数据时，或当按钮在触敏显示装置上的位置已被用户或被应用改变时，对于该情况也可以在按钮被触摸时提供触觉反馈。因此，例如即使提供用户界面的计算装置不知道用于操作该计算装置的触敏显示装置通过由外部计算装置提供的用户界面在所显示的按钮被触摸时且在检测到多个按钮中的一个按钮被触摸时有针对性地提供触觉反馈，对于该情况也可以提供触觉反馈。特别地，可以省去附加地传输来自另一计算装置的用于具有触觉反馈的触敏显示装置的驱动数据，因为触觉反馈所需的所有数据由触敏显示装置本身提供。

借助于对用户界面的图像数据的自动图像分析来获取即时触觉反馈所需的关于在显示器中所显示的按钮的数据。在这里所利用的是，在显示器中以图形方式显示的用户界面中的按钮通常在其颜色、亮度和/或纹理方面明显区别于显示器中的背景，因为即使在没有触觉反馈的情况下进行选择时，用户也应当容易地识别出按钮。显示参数中的这些区别通过以下方式用于图像分析，即特别是在还考虑最小尺寸或最大尺寸、或最小面积或最大面积的情况下通过图像分析将规则结构(诸如边界线和从中所得到的形状)用于确定这样的按钮的位置。因此，如果用户界面的布局和特别是按钮的位置事先对于触敏显示装置是未知的，对于用户界面也可以实现快速的触觉反馈。

其他优点从从属权利要求中得到。特别地，有利的是，通过使触敏显示装置的表面振动来提供触觉反馈。这种触觉反馈可以相对较不费力地产生，并且可以被用户良好地感觉到。

此外，有利的是，将对触敏显示装置的触摸的坐标传输回提供用户界面的图像数据的计算单元。该计算单元可以从坐标中获得对用户界面的分配，从而分配功能或按钮，然后触发所分配的功能。因此，由用户进行的输入特别地也可以由外部计算装置处理。

特别地，通过无线接口进行图像数据的数据传输是有利的，因为由此还使得外部设备(例如智能电话)能够连接到触敏显示装置。

此外，有利的是，所存储的按钮形状包括多边形、椭圆形或具有预设的纹理或颜色的形状，因为由此可以探测多个可能的按钮。在这里，在第一实施方式中，形状可以理解为按钮的外部几何形状。在另一实施方式中，不同的形状也可以理解为以不同颜色设计的相同形状。因此，在一个实施方式中也可以仅通过与背景颜色不同的着色或与背景纹理不同的纹理来识别按钮的形状。

此外，有利的是，根据被识别为按钮的如下的形状的特性来选择触觉反馈的特性，这样的形状对应于触敏显示装置的表面的如下的显示区域，在这样的显示区域中检测到触摸。因此，还可以为不同形状的按钮提供不同的触觉反馈，例如不同频率的振动或不同数目的振动。因此，用户不仅可以确定他触摸了按钮而不是按钮的无功能的周围区域，而且可以向用户提供关于他触摸了哪个按钮的反馈。通过与所存储的形状集合进行比较分别自动地设定对于触觉反馈的不同的指示，通过这种方式便不必由外部计算装置将这样的形状规定与图像数据一起传输。相反，触敏显示装置本身可以确定这样的规定。

此外，有利的是，对于在触摸所获得的目前尚未被识别为按钮形状的形状时实际上在该区域中检测到触摸的情况，将目前尚未存储在存储器中的可能的形状确定为新的形状，并且将该形状作为按钮的可能形状提供给存储器。例如，这也可以在触敏显示装置在该形状的区域中被多次触摸时才进行。

特别地，有利的是，如果在将触摸的坐标传输给外部计算单元之后所传输的用户界面的那些图像数据发生变化，则将所显示的形状识别为按钮。因为对按钮的成功操作通常通过显示确认操作或通过显示新的操作菜单来导致用户界面的设计也发生变化。因此，如果用户在某个位置触摸屏幕并且随后屏幕内容完全或部分地改变，则由此可以推断完成了按钮的确认。有利地，将来在触摸相应的区域时可以触发触觉反馈。

此外，有利的是，仅当图像数据在预设的持续时间中保持不变时，才对所传输的图像数据进行分析。因此确保了所传输的图像数据是用户界面的如下的数据，这样的数据通常至少为了接收用户的操作而在预设的至少10秒的持续时间中保持不变。特别地，因此可以将动画(诸如操作窗口通过飞入或放大出现以及动态图像的显示)与用户界面的显示区分开，以用于分析可能的按钮，以便在触摸该按钮时再现触觉反馈。

在图像显示的变化期间对触觉反馈的这种抑制并不是不利的，因为通常例如在执行动画期间也不应进行用户输入。

在用于执行该方法的具有触敏表面的显示设备以及相应的计算机程序或存储有计算机程序的计算机可读介质中得到相应的优点。

附图说明

本发明的实施方式在附图中示出并且在以下说明中得以详细阐释。其中：

图1示出了与外部计算装置连接的具有触敏表面的显示设备，

图2示出了在根据图1的触敏显示器中所显示的用户界面与应当进行触觉反馈的区域的对应的示例，

图3示出了用于向触敏显示装置的操作者提供触觉反馈的方法的示例。

具体实施方式

本发明可以用于任何触敏显示装置。特别地，用于机动车中的驾驶员信息装置是有利的，因为车辆中的驾驶员应当专注于驾驶活动，并且因此驾驶员应当关注他所控制的车辆的交通环境。通过可以有利地为驾驶员提供触觉反馈，驾驶员可以将目光保持在道路上，而驾驶员特别地可以利用不同的按钮对用户界面进行盲操作。

此外，在车辆中可以通过不同的协议将移动电话(特别是所谓的智能电话)与安装在车辆中的驾驶员信息装置连接。在这里，在安装在车辆中的驾驶员信息系统的触敏显示装置中显示移动电话的用户界面。用户界面的图像由移动电话或便携式计算机设备产生并且优选地被渲染，其中由此产生的图像数据被传输到车辆中的驾驶员信息系统，并且由该驾驶员信息系统显示。但是，不会一起传输关于具体图像内容本身的附加信息(诸如按钮在用户界面中的位置)。然而，通过应用根据本发明的方法，驾驶员信息系统可以从所传输的图像数据中判断出如下的按钮位于所传输的图像的哪些位置，对于这样的按钮，在触摸车辆中的驾驶员信息装置的触敏显示装置的相应位置时，应当提供触觉反馈。因此，在下文中以车辆中的驾驶员信息装置为例阐释本发明。

在图1中示出了车辆中的驾驶员信息系统的触敏显示装置10。显示装置10具有显示单元11，该显示单元11具有显示表面12。显示单元11例如被实现为液晶显示器或OLED显示器。显示表面12被设计为触敏的，使得对显示表面12的触摸的坐标可以被获得并且由处理单元13评估并进一步处理。例如，特别是可以电容性地或通过评估压力矩阵来确定在表面12上的触摸的位置。

在显示表面12中所显示的图像内容由计算单元14提供。计算单元14预处理图像数据以用于在显示表面12中显示，在这里所示的实施方式中通过接口15从外部计算装置16通过数据连接17发送这些图像数据。为了通过数据连接17进行通信，计算装置16同样具有对应的接口18。数据连接17例如被实现为近场通信，诸如ZigBee或蓝牙。此外，WLAN连接或根据用于无线数据传输的另一协议的连接也是可行的。此外，备选地，有线数据传输也是可行的，例如通过USB接口。例如实现为便携式计算机(特别是移动电话或所谓的智能电话)的计算装置16的计算单元19确定在显示表面12中所显示的图像的图像数据。特别地，计算装置16的计算单元19确定用户界面的图像数据，计算装置16的功能应当利用该用户界面来控制。为此，用户界面的数据通过数据连接17被传输到计算单元14，该计算单元14预处理这些图像数据，并且使这些图像数据显示在显示表面12中。

在图1中示出了用户界面的显示的示例。在这里，在显示表面12的上半部分中示出了第一图标21、第二图标22和第三图标23。在触摸显示表面12时，触摸的坐标由处理单元13确定并且被发送到计算单元14。计算单元14将坐标值通过数据连接17传输到计算装置16。特别地，该坐标与相对于在显示表面12中所显示的整个用户界面范围的坐标一起被传输。例如，给出与所显示的用户界面的左上角的关系。因此，计算单元19可以将检测到的坐标的位置与以图像数据的形式传输到计算单元14的用户界面内的位置相关联。例如，如果在第一图标21的区域内触摸用户界面12，则计算单元19可以确定在第一图标21内发生了触摸。现在在计算单元19中运行软件，根据该软件为触摸第一图标21分配计算装置16的某个功能，例如启动行驶路线导航。现在计算装置16执行该功能。因此，在显示表面12中待显示的用户界面必要时会改变。因此，必要时将用于显示在显示表面12中的已改变的图像数据传输到计算单元14。

必要时，第二图标22和第三图标23与其他功能相关联。如果触摸发生在用户界面的这些图标中的一个图标之外的位置，例如发生在图1中由X标记的位置24，则计算单元19利用坐标确定对于该位置没有存储任何功能，从而显示表面12中的图像显示保持不变，并且也不会执行计算装置16的任何功能。

在显示表面12中还显示了没有输入功能的视觉分割线25、椭圆形按钮26、没有切换功能的文本信息27、28和滑动调节器29，在该滑动调节器29中调节元件30可以在滑动调节器29的区域内由用户通过以下方式控制和移动，即检测到显示表面12被触摸并且在随后持续触摸且沿箭头方向31移动(例如手指在显示表面12上的)接触点时，图形元素30同样沿箭头方向31移动。

现在期望的是，在显示表面12的显示中当图标21、22、23被触摸时应该与当按钮26或滑动调节器29被触摸时一样向用户进行触觉反馈。为此，显示表面12与振动单元40连接，该振动单元40由处理单元13或计算单元14驱动。在检测到触摸之后不久，以所谓的“点击”的形式进行触觉反馈，使得快速的触觉反馈给予用户按下了真实可感觉到的按键的感觉。振动的频率和/或点击的数目可以被预设并且根据选择必要时产生可感觉到的不同触觉反馈。对于完全由计算单元14计算和提供的用户界面，例如对于驾驶员信息功能的控制，可以向处理单元13或振动单元40提供关于应当在哪些位置进行触觉反馈的坐标表。有利地设置了附加的计算单元41，该计算单元41借助于该坐标信息驱动振动单元40，使得可以在检测到触摸显示表面12之后尽快地向用户提供触觉反馈。在从计算装置16发送的用户界面的情况下，例如根据图1中的图示，计算单元14的这种信息以及附加的计算单元41的这种信息最初并不存在。因此，对于在没有这种附加信息时从计算装置16发送用户界面的情况，借助于处理单元42开始分析方法，该处理单元42分析所传输的图像数据。

借助于对图像数据的分析确定应当进行触觉反馈的区域以及坐标。如果所传输的图像数据在预设的时间段(例如两秒至五秒)中保持不变，则进行这样的分析。因此，可以假定计算装置16不传输例如影片或用户界面的动画，而是提供用户界面的恒定图像显示。按钮的相应地获得的坐标信息在分析之后被存储并且由计算单元41用于驱动振动单元40，直至计算单元41确定由计算装置16传输的图像信息发生变化，并且因此可能还必须一起调整触觉反馈。

在下文中通过图像分析解释如下的坐标的确定，应当借助于这样的坐标进行触觉反馈。对于分析，特别地利用了按钮在用户界面的显示中以系统性的方式区别于按钮的周围环境。例如，按钮可以通过边缘与周围环境区分开。此外，按钮也可以在显示的亮度和/或颜色上区别于背景。通常通过直线或至少部分直线地或平滑地延伸的线条(例如弧线)将按钮相对于背景区分开。在图像分析中可以确定相应的颜色差异和/或亮度差异、所谓的边缘。因此，例如在根据图1的显示中，第一图标21通过框43与用户界面的背景区分开。因此，在第一实施例中可以通过分析来获得图像显示中的这种边缘及其位置，在该图像显示中亮度差异和/或颜色差异分别以至少一个最小程度在有限的区域中出现。因此，例如用于背景中颜色渐变的渐变显示可以被隐藏并且不再考虑。此外，有利的是，为边缘的长度设置最小尺寸，使得例如文本输出(诸如图1中的文本显示27、28)不会也被识别为显示中按钮的边界线。

在第一实施方式中，例如还可以为触摸视觉分割线25分配触觉反馈，特别是基于该视觉分割线25的长度。

在另一实施方式中，检测是否有多个直线包围一个区域，其中在这种情况下识别出按钮并且在按钮的边界线被触摸时输出触觉反馈。因此，图标21、22、23的框、分割线25、按钮26的框和滑动调节器29的框有利地被识别为如下的区域，在这样的区域上应当提供触觉反馈。优选地，为相应的框设置最小宽度作为用于触觉反馈的驱动规定。因此，在该实施例中，用户可以至少触摸到显示器中所显示的按钮的边缘。对于视觉分割线25不会输出任何触觉反馈，因为该视觉分割线25没有限定任何按钮。在另一实施方式中，按钮还可以借助于图像纹理(例如图案)来区别于背景，背景和/或按钮与该图案一起被存储。

为了确定被包围的区域，可以在识别出相应的边缘之后确定边缘是否相连接，并且是否从而划分出封闭区域。这种被划分出的区域首先被看作为如下的形状，这样的形状利用其显示覆盖显示表面12的表面的某个区域。现在计算单元14将所检测到的形状的大小、形状和/或尺寸与存储在存储器44中的形状或值进行比较。因此，有利地设置最小尺寸用于识别为按钮，该最小尺寸对应于通过手指或通过触摸元件操作。在存储器44中存储有用于按钮的形状的预设的示例，例如多边形(特别是矩形)和椭圆形(特别是圆形)，这些示例通常被用户界面的设计者用于功能控制。在这里，多边形或矩形还可以理解为角被做成圆形的多边形或矩形。在如下的表面区域中的坐标处，在显示表面12中在这样的表面区域上检测到应当用作按钮的形状的显示，应当在检测到触摸时在显示表面12的相应坐标处进行触觉反馈。相应的坐标信息由计算单元14传输到附加的计算单元41。此外，在另一实施方式中还可以获得相应形状的颜色(特别是形状的填充颜色)，并且对于按钮的识别可以考虑这些颜色。

在图2中以图示50示意性地示出了显示表面12，其中在触摸第一图标21的第一区域51、第二图标22的第二区域52、第三图标23的第三区域53、按钮26的第四区域54和滑动调节器29的第五区域55时输出触觉反馈。如果在区域51、52、53、54、55的外部(例如在以X标记的位置56处)操作用户界面，则不会进行触觉反馈。

在一个实施方式中，还可以例如根据触觉反馈过程的振动频率或数目依据如下的形状来选择触觉反馈，显示表面12在这些形状所对应的区域内被触摸。因此，当图标21、22、23中的一个图标的内部被触摸时，根据所属区域51、52、53的在图2中示出的第一阴影线进行第一触觉反馈，当触摸按钮26时进行由第四区域54的第二阴影线示出的第二触觉反馈，并且当操作滑动调节器29时进行由第五区域57的第三阴影线示出的第三触觉反馈。此外，在滑动调节器29的示例中可以区分出操作是在滑动调节元件30的区域内进行的还是在滑动调节器29的其余区域中进行的，其中在操作是在滑动调节器29的其余区域中进行的情况下进行由第六区域58的阴影线示出的第四触觉反馈。

在另一实施方式中，还可以以学习系统的形式(特别是以所谓的深度学习系统或神经网络的形式)来设计按钮的识别。学习例如可以通过以下方式进行，即最初未被探测为按钮的形状将来作为按钮被检测并存储。例如，假设椭圆形按钮26最初没有存储在存储器44中。在这里，在初始情况下仅存储了例如根据图标21、22、23和根据滑动调节器29的矩形按钮。计算单元14虽然在其分析中确定了封闭形状，但是确定该形状未被定义为按钮。如果随后在该按钮内触摸显示装置，则触摸坐标由计算单元14传递到计算装置16。因为在椭圆形区域26内的触摸被解读为按钮的触摸，所以计算装置16在当前的操作之后改变图像显示并且显示例如另一操作菜单。这由计算单元14探测。计算单元14将由于触摸用户界面而引起的图像数据变化检测为按钮被触摸。因此，计算单元14为将来对根据区域26的椭圆形区域的操作分配按钮的功能并且将该信息存储在存储器44中。

在另一实施方式中，还可以不在第一次可能的检测时就将形状的检测分配作为按钮，以避免由于偶然的图像变化引起的误分配。

此外，还可以使用图像分析的深入的方法(例如语义图像分析或包括符号识别或自动文本识别的图像分析)来分析所提供的用户界面。

为了开启这种功能，还可以使用经训练的神经网络，该神经网络利用特别是能够由不同的可能的计算装置(例如不同的智能电话)提供的多个不同的用户界面进行学习。因此，神经网络可以基于相应的分析为所提供的用户界面的每个像素分配以下信息，即该像素是否是按钮的一部分。

存储器44可以在本地分配给(例如车辆中的)计算单元14。但是，存储器44还可以通过数据网络与计算单元14连接并且被提供给多个计算单元。因此，学习算法还可以被设计为基于云的神经网络。

在图3中示出了示例性的方法流程。该方法从开始步骤60开始，例如从将移动计算装置连接到车辆中的驾驶员信息系统开始。在图像传输步骤61中，向触敏显示装置的计算单元传输图像信息。在随后的第一检验步骤62中，检查图像数据是否在预设的例如两秒的时间段内发生变化。如果图像数据在预设的例如两秒的时间段内发生变化，则分岔回到图像传输步骤61。如果图像数据在预设的例如两秒的时间段内没有发生变化，即如果图像数据至少在内容上保持不变，则分岔到分析步骤63，在该分析步骤63中就边缘或封闭形状位于哪些位置来分析所传输的图像数据。

在随后的评估步骤64中，通过将在所传输的图像数据中检测到的形状与所存储的形状(例如与所存储的边缘、多边形或椭圆形或任意形状)就其形状和/或其他特征属性(诸如颜色或纹理)进行比较来确定图像显示中的哪些元素是分配有切换功能的形状(特别是封闭区域)。显示表面的被分配给这些形状的坐标(即显示表面中被这些形状覆盖的区域)对于检测到在显示表面的这种坐标处的触摸的情况被分配有输出触觉反馈。应当进行触觉反馈的相应的坐标和不进行触觉反馈的坐标在评估步骤中被确定并且例如以适当的形式被存储在易失性存储器中。

在随后的第二检验步骤65中，检查图像数据是否发生变化。如果图像数据发生变化，则分岔回到图像数据传输步骤61。如果图像数据没有发生变化，则分岔到第三检验步骤66。在第三检验步骤66中，检查是否在应当进行触觉反馈的坐标处发生了对触敏显示装置的触摸。如果在应当进行触觉反馈的坐标处没有发生对触敏显示装置的触摸，则分岔回到第二检验步骤65。如果在应当进行触觉反馈的坐标处发生了对触敏显示装置的触摸，则分岔到触觉输出步骤67。从触觉输出步骤67分岔回到第二检验步骤65。只要计算装置16通过用户界面向触敏显示装置输出信息，就继续进行该方法。

Claims (11)

1.一种用于向触敏显示装置(10)的操作者提供触觉反馈的方法，包括：

以图像数据的形式提供在所述显示装置(10)中待显示的用户界面，所述用户界面具有与待控制的功能相关联的至少一个按钮(21、22、23、26、29)，所述至少一个按钮在所述用户界面中以图形方式被显示，并且在图形上与所述用户界面的其余部分区分开；

就用于表示按钮的形状的存在和位置分析所述图像数据；

确定所述触敏显示装置(10)中被识别为按钮的待显示的形状的预期显示区域；

在所述触敏显示装置(10)中显示所述用户界面的所述图像数据；

当在所述触敏显示装置(10)的表面(12)的如下的区域中检测到所述触敏显示装置(10)被触摸时，输出触觉反馈，所述区域对应于被识别为按钮的形状的显示区域。

2.根据权利要求1所述的方法，其特征在于，通过使所述触敏显示装置(10)的表面(12)振动来提供触觉反馈。

3.根据前述权利要求中任一项所述的方法，包括从所述触敏显示装置(10)向计算装置(16)输出对所述触敏显示装置(10)的触摸的坐标，所述用户界面的所述图像数据由所述计算装置(16)提供。

4.根据前述权利要求中任一项所述的方法，其特征在于，所述图像数据通过无线接口(17)被提供。

5.根据前述权利要求中任一项所述的方法，其特征在于，对所述图像数据的分析包括将所检测到的形状与存储在存储器(44)中的形状进行比较，其中按钮的所存储的形状特别地包括多边形、椭圆形或具有预设的纹理或颜色的形状。

6.根据前述权利要求中任一项所述的方法，其特征在于，在输出所述触觉反馈时根据被识别为按钮的如下的形状的特性来实现所述触觉反馈的特性，这样的形状对应于所述触敏显示装置(10)的表面(12)的如下的显示区域，在所述显示区域中检测到触摸。

7.根据前述权利要求中任一项所述的方法，包括在识别出待显示的形状之后在对应于所述形状的显示区域中检测到触摸的情况下存储将所识别的形状确认为按钮。

8.根据前述权利要求中任一项所述的方法，其特征在于，仅当所述图像数据至少在预设的持续时间中保持不变时，才对所述图像数据进行分析。

9.一种具有触敏表面的显示设备，所述显示设备具有用于产生触觉反馈的装置和适合于执行根据权利要求1至8中任一项所述的方法的步骤的装置。

10.一种计算机程序，包括促使根据权利要求9所述的显示设备执行根据权利要求1至8中任一项所述的方法的步骤的指令。

11.一种计算机可读介质，所述计算机可读介质上存储有根据权利要求10所述的计算机程序。

Images