CN104685447B - 显示装置及其控制方法 - Google Patents

Abstract

公开了一种使用触觉用户界面来给用户提供触觉反馈的显示装置。所述显示装置包括显示单元、触觉反馈单元和控制器。所述控制器：检测选择显示在所述显示单元上的第一对象的第一控制输入；检测与所述第一控制输入连贯的控制所述第一对象的第二控制输入；响应于所述第二控制输入控制所述第一对象；响应于所述第二控制输入根据所述第一对象的属性来生成第一触觉反馈；检测与所述第二控制输入连贯的控制所述第一对象的第三控制输入，在显示在所述显示单元上的第二对象的区域中检测所述第三控制输入；以及在所述第一对象由所述第三控制输入控制的同时，响应于所述第三控制输入维持所述第一触觉反馈。

Description

显示装置及其控制方法

技术领域

本说明书涉及显示装置，并且更具体地，涉及一种能够使用触觉用户界面来给用户提供触觉反馈的显示装置及其控制方法。

背景技术

显示装置可以给用户提供用于控制电子装置的用户界面。通过使用显示装置，用户能够通过在视觉上确认电子装置的操作状态来控制电子装置。最近的显示装置能够通过经由触敏功能检测用户触摸手势来接收用户的控制命令。这使得用户能够在不使用输入工具(诸如键盘、鼠标等)的情况下通过直接触摸数字装置来控制电子装置。这样的显示装置可以给用户提供各种用户界面，其示例可以包括视觉用户界面和触觉用户界面。

发明内容

技术问题

可与显示装置一起使用的常规触觉用户界面用来仅生成恒定触觉反馈，而不管用户的控制操作如何，进而在自适应地响应用户的控制操作时有困难。

问题的解决方案

因此，本说明书致力于基本上消除了由于现有技术的局限和缺点而导致的一个或更多个问题的显示装置及其控制方法。

本说明书的目的是提供一种显示装置，该显示装置提供能够响应于用户的控制操作自适应地生成触觉反馈的触觉用户界面。

本说明书的附加优点、目的和特征将在下面的描述中部分地阐述，并且部分地对于研究了下文的本领域普通技术人员而言将变得显而易见，或者可以从本发明的实践中习得。本说明书的目标和其它优点可以通过在所撰写的说明书及其权利要求书以及附图中特别地指出的结构来实现和获得。

为了实现这些和其它优点并且根据本说明书的目的，如本文所具体实现和广义描述的，一种显示装置包括：触敏显示单元，该触敏显示单元被配置为显示对象；触觉反馈单元，该触觉反馈单元被配置为生成触觉反馈；以及控制器，该控制器被配置为控制其它单元，其中，所述控制器被配置为：检测与显示在所述显示单元上的第一对象的区域接触的第一触摸；检测与所述第一触摸连贯的控制所述第一对象的第二触摸；响应于所述第二触摸控制所述第一对象；在所述第一对象的受控状态下响应于所述第二触摸、根据所述第一对象的属性来生成第一触觉反馈；检测与所述第二触摸连贯的控制所述第一对象的第三触摸，其中，在显示在所述显示单元上的第二对象的区域中检测所述第三触摸；并且在所述第一对象的受控状态下响应于所述第三触摸生成所述第一触觉反馈。

根据本说明书的另一方面，一种控制触敏显示装置的方法包括以下步骤：检测触摸显示在所述显示单元上的第一对象的区域的第一触摸；检测与所述第一触摸连贯的控制所述第一对象的第二触摸；响应于所述第二触摸控制所述第一对象；在所述第一对象的受控状态下响应于所述第二触摸、根据所述第一对象的属性来生成第一触觉反馈；检测与所述第二触摸连贯的控制所述第一对象的第三触摸，其中，在显示在所述显示单元上的第二对象的区域中检测所述第三触摸；以及在所述第一对象的受控状态下响应于所述第三触摸生成所述第一触觉反馈。

应当理解，本说明书的以上总体描述和以下详细描述这二者是示例性的和说明性的，并且旨在提供对如要求保护的本说明书的进一步说明。

发明的有益效果

根据本说明书的显示装置可以根据用户的控制操作自适应地生成触觉反馈。

此外，该显示装置可以提供在每区域基础上改变的预设的触觉反馈。

此外，该显示装置可以响应于用户手势来提供连续触觉反馈。

另外，该显示装置可以响应于用户手势来锁定触觉反馈，以便在用户控制对象的同时提供恒定触觉反馈。

附图说明

附图被包括以提供对本说明书的进一步理解，并且被并入本申请并构成本申请的一部分，附图例示了本说明书的实施方式，并且与本说明书一起用来说明本发明的原理。附图中：

图1是例示了根据本说明书的实施方式的视觉用户界面和触觉用户界面的视图；

图2是例示了根据本说明书的实施方式的触觉反馈区域取决于对象的移动而移动的视图；

图3是例示了根据本说明书的实施方式的取决于对象的移动而锁定移动方向的方法的视图；

图4是例示了根据本说明书的实施方式的取决于对象的移动而锁定触觉反馈的方法的视图；

图5是例示了根据本说明书的实施方式的显示装置的框图；

图6是例示了根据本说明书的实施方式的响应于控制对象的触摸手势来提供连续触觉反馈的方法的视图；

图7是例示了根据本说明书的另一实施方式的响应于控制对象的触摸手势来提供连续触觉反馈的方法的视图；

图8是例示了根据本说明书的实施方式的取决于对象或子对象的移动而锁定触觉反馈的方法的视图；

图9是例示了根据本说明书的另一实施方式的响应于控制对象的非接触控制输入来提供远程触觉反馈的方法的视图；以及

图10是例示了根据本说明书的另一实施方式的响应于控制对象的控制输入来提供连续触觉反馈的方法的视图。

具体实施方式

在下文中，将参照附图的例示和描述详细地描述本说明书的实施方式，但是本说明书不受这些实施方式限制或约束。

尽管在考虑依照本说明书获得的功能的同时尽可能多地从目前广泛地使用的通用术语中选择以下描述中使用的术语，但是这些术语可以基于本领域技术人员的意图、习惯、新技术的出现等由其它术语代替。并且，在特定情况下，可以使用由本说明书的申请人所任意地选择的术语。在这种情况下，可以在本说明书的对应描述部分中描述这些术语的意义。因此，应该注意，本文所使用的术语应该基于其实际意义和此说明书的整个内容来解释，而不是基于术语的名称被简单地解释。

在本说明书中，显示装置可以是包括显示单元和触觉反馈单元并且给用户提供视觉用户界面和触觉用户界面的电子装置。例如，显示装置可以包括具有显示单元的电子装置，诸如智能电话、个人数字助理(PDA)、蜂窝电话、MP3音乐播放器、膝上型计算机、智能板、平板个人计算机(PC)、电视和智能工作台。根据本说明书的显示装置可以使用视觉用户界面和触觉用户界面向用户发送信息。视觉用户界面可以使用显示装置的显示单元来给用户提供视觉反馈。用户能够在视觉上确认从显示装置提供的信息，并且控制该显示装置。触觉用户界面可以使用显示装置的触觉反馈单元来给用户提供触觉反馈。用户能够经由能够感知触觉的身体的特定部分(诸如手指等)来确认从显示装置提供的信息，并且控制该显示装置。可以单独地提供或可以同时提供视觉用户界面和触觉用户界面。

图1是例示了根据本说明书的实施方式的视觉用户界面和触觉用户界面的视图。数字装置10可以通过将对象显示在触敏显示单元上来提供视觉用户界面。显示装置10可以显示包括第一对象11和第二对象12的多个对象。用户能够在视觉上确认所显示的对象，并且通过触摸触敏显示单元来控制所对应的对象。显示装置10可以提供触觉用户界面，该触觉用户界面针对视觉用户界面生成触觉反馈。可以在显示有第一对象11和第二对象12的区域中生成触觉用户界面。显示装置10可以根据第一对象11的属性在显示有第一对象11的区域中生成第一触觉反馈13。同样地，显示装置10可以根据第二对象12的属性在显示有第二对象12的区域中生成第二触觉反馈14。这里，对象的属性可以包括所显示的对象的颜色、纹理、重量、图案和亮度中的至少一种。显示装置10可以针对具有不同的属性的相应对象生成不同的触觉反馈。例如，在图1中，假定第一对象11和第二对象12具有不同的纹理，第一触觉反馈13和第二触觉反馈14可以彼此不同。

显示装置10可以另外生成与所显示的第一对象11和用户的手指之间的摩擦相对应的触觉反馈。假定显示了背景图像并且在背景图像上显示了第一对象11，显示装置10可以根据第一对象11的属性和背景图像的属性生成第一触觉反馈13。

显示装置10可以检测触摸显示单元和推显示单元的用户触摸手势的压力。显示装置10可以控制与触摸手势的压力成比例的触觉反馈的强度。因此，用户能够感知到用户用多强压力触摸显示单元。显示装置10可以使用压电传感器或基于触摸手势的检测区域来检测触摸手势的压力。

图2是例示了根据本说明书的实施方式的触觉反馈区域取决于对象的移动而移动的视图。如果通过用户触摸手势来移动显示的对象，则显示装置可以根据对象的移动来同时移动针对对应的对象所生成的触觉反馈区域。如图2的上侧所例示的，显示装置10可以将第一对象11和第二对象12显示为视觉用户界面。另外，显示装置10可以针对第一对象11生成第一触觉反馈13并且针对第二对象12生成第二触觉反馈14，以给用户提供触觉用户界面。可以在显示有所对应的对象的区域中生成各个触觉反馈。如图2的下侧所例示的，如果用户触摸第一对象11并且将第一对象11拖曳到如由附图标记20表示的位置，则显示装置10可以移动第一对象11以便将第一对象11显示在位置20处。显示装置10还可以同时随着第一对象11的移动相对于第一对象11移动第一触觉反馈13。在这种情况下，可以在显示有第一对象11的区域中生成第一触觉反馈13。

显示装置10可以根据第一对象11的属性来生成第一触觉反馈13。这里，如以上参照图1所描述的，第一对象11的属性例如可以包括纹理、图案和颜色。除第一触觉反馈13之外，显示装置10还可以生成与所显示的第一对象11和用户的手指之间的摩擦相对应的触觉反馈。假定显示了背景图像并且第一对象11在背景图像上被控制，则除了第一触觉反馈13之外，显示装置10还可以根据第一对象11的属性和背景图像的属性生成触觉反馈。

可以在同一位置处不移动地显示未经受用户的以上所述的触摸和拖曳操作的第二对象12。从而，可以在不移动地显示有第二对象12的区域中生成针对第二对象12的第二触觉反馈14。以这种方式，即使用户移动所对应的对象，显示装置10也可以针对由用户选择的对象给用户提供连续触觉反馈。

图3是例示了根据本说明书的实施方式的根据对象的移动来锁定移动方向的方法的视图。显示装置10可以在响应于用户触摸手势而移动对象时锁定对象的特定移动方向。可以在触敏显示单元上将用户触摸手势划分为X轴分量和Y轴分量。当移动对象的用户触摸手势包含多个移动方向分量时，显示装置10可以通过仅提取触摸手势的主要移动方向分量来移动对象。更具体地，如图3所例示的，即使检测到移动第一对象11的触摸手势20具有X轴移动方向分量和Y轴移动方向分量，显示装置10也可以仅提取触摸手势20的Y轴移动方向分量。结果，显示装置10可以在没有X轴移动的情况下在正方向上沿着Y轴移动第一对象11。

显示装置10可以考虑到对象的属性执行特定移动方向的锁定。例如，在需要向上滚动或向下滚动的文档或网页的情况下，即使触摸手势20包含X轴移动方向分量和Y轴移动方向分量，显示装置10也可以使用仅Y轴移动方向分量向上或向下移动对象。同样地，在需要向左滚动或向右滚动的文档或网页的情况下，即使触摸手势20包含X轴移动方向分量和Y轴移动方向分量，显示装置10也可以使用仅X轴移动方向分量向左或向右移动对象。

显示装置10可以响应于移动对象的用户触摸手势生成触觉反馈。如图3的右侧所例示的，显示装置10可以响应于用户触摸手势20生成触觉反馈。当在第一对象11的区域中检测到用户触摸手势20时，显示装置10可以生成第一触觉反馈13。显示装置10可以在第一对象11正由触摸手势20移动情况下同时移动其中生成了第一触觉反馈13的区域。如果移动第一对象11的用户触摸手势20进入其中显示有第二对象12的区域，则显示装置10可以在第二对象12的区域中生成第二触觉反馈14。如果第一对象11和第二对象12具有不同的属性，则显示装置10可以在第二对象12的区域中生成与第一触觉反馈13不同的第二触觉反馈14。用户能够经由触觉感知到第二触觉反馈14，并且识别用户触摸手势20偏离第一对象11的区域并进入第二对象12的区域。以这种方式，显示装置10可以指示用户触摸手势20从第一对象11的区域转移到第二对象12的区域。

根据实施方式，以上所述的第二对象12可以是显示在显示装置10的显示单元上的背景图像。因此，即使在移动第一对象11的触摸手势20偏离其中显示有第一对象11的区域的情况下，显示装置10也可以生成与第一触觉反馈13不同的触觉反馈。即使在这种情况下，用户也能够感知到与第一触觉反馈13不同的触觉反馈，并且识别用户触摸手势20偏离第一对象11的区域。

图4是例示了根据本说明书的实施方式的取决于对象的移动而锁定触觉反馈的方法的视图。显示装置10可以在响应于用户触摸手势而控制显示的对象时给用户提供连续触觉反馈。具体地，即使在维持与触敏显示单元接触的同时触摸其中生成了第一触觉反馈的第一区域的用户触摸手势进入其中生成了第二触觉反馈的第二区域，显示装置10也可以生成初始第一触觉反馈。

如图4的左侧所例示的，显示装置10可以响应于用户触摸手势来控制显示的对象。对象的控制可以包括对象的移动、旋转、放大和缩小。并且，对象的控制可以包括对象的选择，或针对对象的下级菜单的调用。显示装置10可以响应于控制对象的用户触摸手势生成连续触觉反馈。如图4的右侧所例示的，显示装置10可以响应于用户触摸手势20生成触觉反馈。当在第一对象11的区域中检测到用户触摸手势20时，显示装置10可以生成第一触觉反馈13。

随着第一对象11被触摸手势20移动，显示装置10可以同时移动其中生成了第一触觉反馈13的区域。如以上参照图3所描述的，显示装置10可以通过仅提取触摸手势20的移动方向分量当中的垂直移动分量来移动第一对象11。因此，用户触摸手势20可以偏离第一对象11的区域并且进入第二对象12的区域。

如果在其中显示有第二对象12的区域中检测到移动第一对象11的触摸手势20，则显示装置10可以响应于触摸手势20而锁定触觉反馈并且在第二对象12的区域中生成第一触觉反馈13。即使第一对象11和第二对象12具有不同的属性，显示装置10也可以在第二对象12的区域中生成第一触觉反馈13而不是第二触觉反馈。也就是说，如图2所例示的，即使在第二对象12的区域中生成了第二触觉反馈14，当在第二对象12的区域中检测到控制第一对象11的触摸手势20时显示装置10也可以用第一触觉反馈13代替第二触觉反馈14。以这种方式，虽然用户触摸手势20控制第一对象11，但是显示装置10可以针对用户触摸手势20锁定触觉反馈，以便生成第一触觉反馈13，而不管其中检测到触摸手势20的区域如何。

如以上所述，显示装置10可以通过连续地生成第一触觉反馈13来指示在用户的控制之下的对象仍然是第一对象11，而不管其中检测到触摸手势20的区域如何。用户能够在视觉上确认用户触摸手势20触摸第二对象12的区域，并且经由触觉来识别用户触摸手势20控制第一对象11以得到第一触觉反馈13的生成。

在触摸手势针对第一对象的控制结束的情况下，显示装置10可以解锁针对所对应的触摸手势已被锁定的触觉反馈。显示装置10可以检测用户的手离开触敏显示单元的运动作为控制第一对象的触摸手势的结束。因此，如果控制第一对象的用户触摸手势随着用户的手离开第二对象12的区域而结束并且其后用户的手再次触摸第二区域12的区域，则显示装置10可以生成第二触觉反馈而不是在所对应的区域中已被锁定的第一触觉反馈。注意，显示装置10可以设定时间阈值。如果在用户的手从第二对象的区域离开之后用户在时间阈值内再次触摸第二对象的区域，则显示装置10可以连续地锁定触觉反馈，以便在第二对象的区域中生成第一触觉反馈。

显示装置10还可以在检测到触摸手势的位置与第一对象之间的距离超过预设距离阈值的情况下解锁已被锁定的触觉反馈。如果在从第一对象起超过距离阈值的区域中检测到控制第一对象的触摸手势，则显示装置10可以解锁已被锁定的触觉反馈。另外，即使在用户在维持与显示单元接触的同时将正在触摸第一对象的用户的手指移动到与第一对象间隔开大于距离阈值的位置情况下，显示装置10也可以解锁已被锁定的触觉反馈。在触觉反馈已被解锁后，显示装置10可以根据在其中检测到触摸手势的区域中显示的对象的属性来生成触觉反馈。

根据实施方式，以上所述的第二对象可以是显示在显示装置10的显示单元上的背景图像。因此，即使在移动第一对象的触摸手势偏离其中显示有第一对象的区域的情况下显示装置10也可以生成第一触觉反馈。即使在这种情况下，尽管触摸手势偏离第一对象的区域，但是用户也可以连续地感知到第一触觉反馈并且识别用户触摸手势连续地控制第一对象。

如上所述，显示装置10可以在多个对象之间或在对象与背景图像之间锁定触觉反馈。即使在单个对象内生成了多个反馈的情况下，也可以应用本说明书的实施方式。例如，用于分别生成第一触觉反馈和第二触觉反馈的第一区域和第二区域可以存在于第一对象内。如上所述，在触摸第一区域的触摸手势在控制第一区域的同时进入第二区域的情况下，显示装置10可以响应于所对应的触摸手势而锁定触觉反馈以便连续地生成第一触觉反馈。以这种方式，显示装置10可以响应于触摸手势在第二区域中生成第一触觉反馈。

图5是例示了根据本说明书的实施方式的显示装置的框图。在图5中，显示装置可以包括传感器单元101、显示单元102、触觉反馈单元103和控制器104。

传感器单元101可以使用装配在显示装置中的多个传感器来向控制器104发送由显示装置识别的用户输入或环境。传感器单元101可以包括多个感测装置。在实施方式中，例如，多个感测装置可以包括压电传感器、视频传感器和触摸传感器。在本说明书中，压电传感器和触摸传感器可以检测用户触摸手势。显示装置可以确定在显示单元上使用传感器单元101检测到触摸手势所在的位置。显示装置可以在检测到触摸手势的位置或区域处提供触觉反馈。传感器单元101是前述各种感测装置的通用术语，并且可以检测具有各种属性的触摸手势并将所感测到的结果发送到控制器104，以便使得显示装置能够执行对应的操作。前述传感器可以被具体实现成在显示装置中包括的单独元件，或者可以被组合成构成包括在显示装置中的至少一个元件。

显示单元102可以在显示屏幕上输出图像。在显示单元102是触敏显示类型的假定下显示单元102可以用作以上所述的触摸传感器。因此，显示单元102可以检测对其的触摸手势，并且将该触摸手势发送到控制器104。显示单元102可以用来将视觉用户界面显示在显示面板上，或者用来控制图像的显示。在本说明书中，显示单元102可以显示视觉用户界面，并且检测用户触摸手势。并且，显示单元102可以与将在下文中描述的触觉反馈单元103相结合地给用户提供触觉反馈。显示单元102以包括柔性显示器。

触觉反馈单元103可以提供触觉用户界面。触觉反馈单元103可以提供与由显示单元102提供的视觉用户界面对应的触觉用户界面。触觉反馈单元103可以根据显示的对象的属性来生成不同的触觉反馈。对象的属性可以包括颜色、纹理、重量、图案和亮度中的至少一种。

使用触觉反馈单元103来给用户提供触觉用户界面的方法如下。可以使用不断振动的致动器针对触摸显示单元102的用户的手指或触针提供触觉反馈。触觉反馈单元103可以调节振动的频率和大小，从而调节用户的手指与显示单元102之间的摩擦。另外，触觉反馈单元103可以通过对显示单元102施加精细电流来给用户提供触觉反馈。触觉反馈单元103可以调节电流的强度和生成周期，这可以给用户提供不同的触觉。触觉反馈单元103可以使用超声谐振来提供触觉反馈。触觉反馈单元103可以通过生成超声波多于一次并且使超声波在特定范围内谐振来给用户提供触觉反馈。触觉反馈单元103可以通过调节谐振频率的大小以及频率的谐振生成周期来提供不同的触觉反馈。

控制器104可以控制显示装置10的以上所述的单元，并且管理单元之间的数据发送/接收。在本说明书中，控制器104可以基于其中检测到要由用户触摸手势控制的对象和触摸手势的位置或者基于触摸手势的连续性来确定是否响应于触摸手势而锁定触觉反馈。例如，控制器104可以响应于在其中显示有第一对象的区域中检测到的触摸手势来提供第一触觉反馈。可以根据第一对象的属性来生成第一触觉反馈。如果触摸手势在控制第一对象的同时正将第一对象拖曳到显示有第二对象或背景图像的区域，则控制器104可以响应于所对应的触摸手势而锁定触觉反馈。也就是说，即使在触摸手势控制第一对象的同时在其中最初显示有第一对象的区域外面检测到第一对象，控制器104也可以在其中检测到触摸手势的区域中生成第一触觉反馈。控制器104可以在用户的手指经由触摸手势接触显示单元的同时连续地锁定触觉反馈。如果触摸手势与显示单元之间的接触结束，则控制器104可以针对该触摸手势解锁触觉反馈。换句话说，可能仅在用户的手离开触敏显示单元102时许可触觉反馈的解锁。

在本说明书中，控制器104可以激活触敏显示单元102以检测用户触摸手势。在这种情况下，触敏显示单元102不提供视觉用户界面，而是提供触觉用户界面。另外，为了检测用户触摸手势，控制器104可以激活传感器单元101的触摸传感器、压电传感器或压力传感器而不是触敏显示单元102。

图5是根据本说明书的实施方式的框图，并且单独地显示的块表示装置的逻辑上区分的元件。因此，可以根据装置设计将以上所述的装置的元件安装在单个芯片中或在多个芯片中。

图6是例示了根据本说明书的实施方式的响应于用来控制对象的触摸手势来提供连续触觉反馈的方法的视图。

显示装置可以检测触摸显示在显示单元上的第一对象的区域的第一触摸(S10)。可以将第一对象显示在显示单元上以帮助用户在视觉上确认第一对象。用户可以触摸其中显示有第一对象的区域，以便控制第一对象。

显示装置可以检测与第一触摸连贯的控制第一对象的第二触摸(S20)。第二触摸可以是第一触摸的连贯触摸手势。这里，如以上参照图4所描述的，连贯触摸手势可以指示在保持用户的手指与显示单元之间的接触的同时输入的触摸手势，或即使未维持用户的手指与显示单元之间的接触也在先前触摸手势结束之后在预设的时间阈值内检测到的触摸手势。显示装置可以检测控制第一对象的第二触摸。第二触摸可以控制第一对象以移动第一对象或使第一对象旋转。另外，第二触摸可以包括用来放大或缩小第一对象的运动。

显示装置可以响应于第二触摸控制第一对象(S30)。显示装置可以响应于所检测到的第二触摸控制第一对象。可以通过第二触摸在显示单元上移动第一对象或使第一对象旋转。另外，可以通过第二触摸来放大或缩小第一对象。

显示装置可以在对象的受控状态下响应于第二触摸根据第一对象的属性来生成第一触觉反馈(S40)。显示装置可以使用触觉反馈单元根据第一对象的属性来生成第一触觉反馈。如以上参照图5所描述的，触觉反馈单元可以响应于第二触摸使用超声振动、精细电流或超声谐振来生成第一触觉反馈。用户可以通过感知第一触觉反馈来识别第一对象在用户的控制之下。也就是说，显示装置可以使用显示单元来显示第一对象在控制之下，并且可以使用触觉反馈单元来生成表示第一对象在控制之下的第一触觉反馈。显示装置可以根据第一对象的属性来生成第一触觉反馈。显示装置可以考虑到所显示的第一对象的纹理、图案、形状、尺寸、强度和亮度中的至少一种来生成第一触觉反馈。

显示装置可以根据背景图像的属性来生成附加触觉反馈。显示装置可以同时考虑到背景图像和第一对象的属性来生成附加触觉反馈。例如，显示装置可以不仅生成第一触觉反馈，而且考虑到背景图像和第一对象的纹理来生成与摩擦对应的附加触觉反馈。

显示装置可以生成与第一对象和用户的手指之间的摩擦对应的附加触觉反馈。显示装置可以根据第一对象的纹理来确定第一对象与用户的手指之间的摩擦的大小，并且生成除第一触觉反馈之外的附加触觉反馈。

显示装置可以检测与第二触摸连贯的控制第一对象的第三触摸(S50)。在这种情况下，可以在显示在显示单元上的第二对象的区域中检测第三触摸。如以上参照图4所描述的，用户触摸手势可以偏离其中显示有第一对象的区域并且在连续地控制第一对象的同时进入其中显示有第二对象的区域。如果在其中显示有第二对象的区域中检测到控制第一对象的触摸手势，则显示装置可以将该触摸手势识别为第三触摸。如以上参照图4所描述的，第三触摸可以是在保持用户的手指与显示单元之间的接触的状态下作为与第二触摸连贯的输入的触摸手势。第三触摸可以指示尽管用户的手指未连续地触摸显示单元但是在第二触摸结束之后在预设的时间阈值内检测到的触摸手势。

显示装置可以在对象的受控状态下响应于第三触摸生成第一触觉反馈(S60)。如以上参照图4所描述的，显示装置可以在对象被控制的同时锁定触觉反馈。因此，显示装置可以响应于控制第一对象的第三触摸来生成第一触觉反馈。显示装置可以生成第一触觉反馈，而不管在第一对象由第三触摸控制的同时检测到第三触摸所在的区域或位置如何。在另选的实施方式中，显示装置可以生成第一触觉反馈直到通过第三触摸的用户的手指与显示单元之间的接触被释放为止。

如果第一对象通过第三触摸的控制结束，则显示装置可以解锁已被锁定的第一触觉反馈。在另选的实施方式中，显示装置可以解锁已被锁定的第一触觉反馈直到通过第三触摸的用户的手指与显示单元之间的接触被释放为止。即使当在从第一对象起超过预设距离阈值的位置处检测到第三触摸时，显示装置也可以解锁已被锁定的触觉反馈。在已解锁了触觉反馈后，显示装置可以根据显示在其中检测到用户触摸手势的区域中的对象或背景图像的属性来生成触觉反馈。

图7是例示了根据本说明书的另一实施方式的响应于用于控制对象的触摸手势来提供连续触觉反馈的方法的视图。

显示装置可以检测触摸显示在显示单元上的第一对象的区域的第一触摸(S110)。可以将第一对象显示在显示单元上以帮助用户在视觉上确认第一对象。用户可以触摸其中显示有第一对象的区域，以便控制第一对象。

显示装置可以检测与第一触摸连贯的控制第一对象的第二触摸，并且响应于第一触摸控制第一对象(S120)。第二触摸可以是第一触摸的连贯触摸手势。这里，如以上参照图4所描述的，连贯触摸手势可以指示在保持用户的手指与显示单元之间的接触的同时输入的触摸手势，或即使未维持用户的手指与显示单元之间的接触也在先前触摸手势结束之后在预设的时间阈值内检测到的触摸手势。显示装置可以检测控制第一对象的第二触摸。第二触摸可以控制第一对象以移动第一对象或使第一对象旋转。另外，第二触摸可以包括用来放大或缩小第一对象的运动。

显示装置可以响应于所检测到的第二触摸来控制第一对象。可以通过第二触摸在显示单元上移动第一对象或使第一对象旋转。另外，可以通过第二触摸来放大或缩小第一对象。

显示装置可以在对象的受控状态下响应于第二触摸根据第一对象的属性来生成第一触觉反馈(S130)。显示装置可以使用触觉反馈单元根据第一对象的属性来生成第一触觉反馈。如以上参照图5所描述的，触觉反馈单元可以响应于第二触摸使用超声振动、精细电流或超声谐振来生成第一触觉反馈。用户可以通过感知第一触觉反馈来识别第一对象在用户的控制之下。也就是说，显示装置可以使用显示单元来显示第一对象在控制之下，并且可以使用触觉反馈单元来生成表示第一对象在控制之下的第一触觉反馈。显示装置可以根据第一对象的属性来生成第一触觉反馈。显示装置可以考虑到所显示的第一对象的纹理、图案、形状、尺寸、强度和亮度中的至少一种来生成第一触觉反馈。

显示装置可以根据背景图像的属性来生成附加触觉反馈。显示装置可以考虑到背景图像和第一对象的属性来生成附加触觉反馈。例如，除第一触觉反馈之外，显示装置可以考虑到背景图像和第一对象的纹理来生成与摩擦对应的触觉反馈。

显示装置可以生成与第一对象和用户的手指之间的摩擦对应的附加触觉反馈。显示装置可以根据第一对象的纹理确定第一对象与用户的手指之间的摩擦的大小以生成除第一触觉反馈之外的附加触觉反馈。

显示装置可以判断第二触摸是否偏离第一对象的区域(S140)。如以上参照图4所描述的，用户触摸手势在控制第一对象的同时可以偏离其中显示有第一对象的区域。如果第二触摸不偏离第一对象的区域，则显示装置可以生成第一触觉反馈。

如果第二触摸偏离第一对象的区域则显示装置可以判断第二触摸与显示单元之间的接触是否被释放(S150)。如以上参照图4所描述的，显示装置可以在保持第二触摸与显示单元之间的接触的同时响应于第二触摸而锁定第一触觉反馈。如果第二触摸与显示单元之间的接触未被释放则显示装置可以生成第一触觉反馈，而不管其中检测到第二触摸的区域如何。

如果释放了第二触摸与显示单元之间的接触则显示装置可以生成第二触觉反馈(S160)。如以上参照图5所描述的，第二触觉反馈可以与第一触觉反馈不同。显示装置可以根据位于检测到第二触摸所在的区域中的对象或背景图像的属性来生成第二触觉反馈。显示装置可以考虑到其中检测到所显示的第二触摸的区域中的对象或背景图像的纹理、图案、形状、尺寸、强度和亮度中的至少一种来生成第二触觉反馈。

图8是例示了根据本说明书的实施方式的根据对象的移动而锁定触觉反馈的方法的视图。显示装置可以在响应于用户控制输入控制显示的对象时给用户提供连续触觉反馈。具体地，显示装置可以生成与要被用户控制输入控制的对象相对应的触觉反馈。另外，在对象在用户的控制之下的同时，即使在显示有另一对象的区域中检测到用户控制输入，显示装置也可以针对在用户的控制之下的对象维持触觉反馈。

如图8所例示的，显示装置可以根据用户控制输入来控制显示的对象。这里，对象的控制可以包括对象的移动、旋转、放大和缩小。另外，对象的控制可以包括对象的选择，或针对对象的下级菜单的调用。以这种方式，显示装置可以响应于控制对应对象的用户控制输入来生成连续触觉反馈。

在图8中，第一对象81可以包括第一子对象82和第二子对象83。这里，第一对象81、第一子对象82和第二子对象83可以分别对应于不同的触觉反馈。也就是说，显示装置10可以在显示有第一对象81的区域中生成第一触觉反馈，在显示有第一子对象82的区域中生成第二触觉反馈，并且在显示有第二子对象83的区域中生成第三触觉反馈。另外，显示装置10可以显示第二对象84，并且可以在显示有第二对象84的区域中生成第四触觉反馈。因此，用户能够在相应区域中感知到不同的触觉反馈，并且识别相应区域中的哪一个被用户触摸了。第一子对象82和第二子对象83被包括在第一对象81中，并且因此当用户控制第一对象81时可以被一起控制。

在图8中，用户可以通过触摸显示有第一子对象82的区域来控制第一对象81。显示装置10可以设定第一对象81以便向上或向下移动。如果用户右向上移动控制输入，则显示装置10可以向上移动第一对象81。因此，例如，随着用户控制输入被移动，显示装置10可以在显示有第一子对象82的区域中、在显示有第一对象81的区域中、在显示有第二子对象83的区域中、在显示有第一对象81的区域中并且在显示有第二对象84的区域中依次检测到用户控制输入。另外，显示装置10可以生成与检测到用户控制输入所在的位置对应的触觉反馈。也就是说，显示装置可以响应于用户控制输入按照这个顺序生成第二触觉反馈、第一触觉反馈、第三触觉反馈、第一触觉反馈和第四触觉反馈。

在另一实施方式中，如以上参照图4所描述的，显示装置可以锁定触觉反馈。当在对应区域中检测到在显示有第一对象的区域内移动的用户控制输入时，显示装置可以生成与各个区域对应的触觉反馈。也就是说，如果在显示有第一子对象的区域中、在显示有第一对象的区域中并且在显示有第二子对象的区域中依次检测到用户控制输入，则显示装置可以在检测到用户控制输入所在的相应区域中依次生成第二触觉反馈、第一触觉反馈和第三触觉反馈。换句话说，如果用户控制输入在用户的控制之下的第一对象内移动，则显示装置可以生成与检测到用户控制输入所在的各个区域对应的触觉反馈。

如果在第一对象在用户的控制之下的同时在显示有第二对象的区域中检测到用户控制输入，则显示装置可以锁定触觉反馈。更具体地，如果在第一对象在用户的控制之下的同时在检测到第二对象所在的区域中检测到用户控制输入，则显示装置可以生成与在第一对象中包括的任一个子对象对应的触觉反馈。如果第一对象包含多个子对象，则显示装置可以生成与用户控制输入在显示有第一对象的区域内触摸的最后子对象对应的触觉反馈。例如，在图8中，如果在显示有第二对象的区域中检测到用户控制输入则显示装置可以生成与该第二子对象对应的第三触觉反馈。这是因为第二子对象是用户控制输入在显示有第一对象的区域内触摸的最后子对象。在其中在显示有第一对象的区域中检测到用户控制单元之后，在预设的时间阈值时或之后在显示有第二对象的区域中检测到用户控制输入的情况下可以应用以上所述的触觉反馈锁定。

在另一实施方式中，显示装置可以响应于用户控制输入使用时间阈值来锁定触觉反馈。如果在第一对象在用户的控制之下的同时在显示有第二对象的区域中检测到用户控制输入则显示装置可以锁定触觉反馈。更具体地，如果在显示有第二对象的区域中检测到用户控制输入，则显示装置可以生成与在第一对象中包括的任一个子对象对应的触觉反馈。在图8中，如果用户控制输入在预设的时间阈值内从第一子对象移动到第二对象，则显示装置可以在显示有第二对象的区域中生成与第一子对象对应的第二触觉反馈。也就是说，显示装置可以响应于所对应的用户控制输入而锁定与用户控制输入在第一对象内最初触摸的第一子对象对应的第二触觉反馈。以这种方式，即使在时间阈值内用户控制输入被移向显示有第一对象的区域、显示有第二子对象的区域或显示有第二对象的区域并且在这些区域中而不是在显示有第一子对象的区域中被检测到，显示装置也可以维持与第一子对象对应的第二触觉反馈。

如上所述，显示装置可以通过连续地生成与在用户的控制之下的对象对应的触觉反馈来指示正由用户控制输入控制的对象。例如，用户可以在视觉上确认用户控制输入触摸显示有第二对象的区域，并且可以经由触觉识别第一对象在用户的控制之下。

图9是例示了根据本说明书的实施方式的生成非接触触觉反馈的方法的视图。由附图标记91指定的显示装置可以通过检测用户控制输入来生成非接触触觉反馈。这里，用户控制输入可以包括包含手运动、用户查看和使用控制装置的控制输入的用户运动。另外，即使用户不直接触摸显示装置，该显示装置也可以使用磁场、压缩空气、超声波、振动和可穿戴触觉装置向用户发送触觉反馈。显示装置可以包括空中超声触觉显示器。因此，显示装置可以通过使用空中超声触觉反馈对用户的手背施加声辐射压力来发送触觉反馈。在以下描述中，将描述显示装置感知用户手运动并且使用超声波来给用户提供触觉反馈的实施方式。

显示装置91可以通过检测用户90的控制输入来生成触觉反馈。显示装置91可以显示第一对象92和第二对象93，并且可以检测用户90控制第一对象92和第二对象93的控制输入。如果第一对象92在用户90的控制之下，即如果用户的手20存在于与第一对象92对应的第一区域94中，则显示装置91可以在第一区域94中生成第一触觉反馈。如果在第一对象92在用户的控制之下的同时在与第二对象93对应的第二区域95中检测到用户的手20，则显示装置可以锁定第一触觉反馈。也就是说，在第一对象92在用户90的控制之下的同时，显示装置可以在用户的手20所位于的区域中生成与第一对象92相对应的第一触觉反馈。以这种方式，即使在第一对象92在用户90的控制之下的同时用户控制输入被移向与第二对象93对应的第二区域95，也能够给用户提供第一触觉反馈。

显示装置可以在用户的手20所位于的位置处生成空中超声触觉反馈。如果用户控制输入采取用户查看或使用控制装置的控制输入的形式，则显示装置可以在除用户的手之外的其它身体部分中或在控制装置中生成第一触觉反馈。另外，如上所述，显示装置可以通过向用户喷射压缩空气或通过向触觉装置发送信号来转移触觉反馈。

图10是例示了根据本说明书的实施方式的生成非接触触觉反馈的方法的流程图。可以在接收到用户控制输入时操作显示装置。用户控制输入可以包括触摸输入、手势输入、声音输入和信号输入中的至少一个。显示装置可以检测选择显示在显示单元上的第一对象的第一控制输入(S210)。用户可以在视觉上确认第一对象，因为第一对象被显示在显示单元上。用户可以选择第一对象以便控制第一对象。

接下来，显示装置可以检测与第一控制输入连贯的控制第一对象的第二控制输入(S220)，并且可以响应于第二控制输入控制第一对象(S230)。第二控制输入可以是与第一控制输入连贯的控制输入。这里，连贯控制输入可以指代在先前控制输入结束之后在预设的时间阈值内检测到的下一个控制输入，如以上参照图4所描述的。以这种方式，显示装置可以检测到控制第一对象的第二控制输入。第二控制输入可以用来移动第一对象或使第一对象旋转。另外，第二控制输入可以包括第一对象的放大或缩小。显示装置可以响应于所检测到的第二控制输入来控制第一对象。从而，可以响应于第二控制输入在显示单元上移动第一对象或使第一对象旋转。另外，可以响应于第二控制输入在尺寸上放大或缩小第一对象。

接下来，显示装置可以在第一对象在用户的控制之下时响应于第二控制输入、根据第一对象的属性来生成第一触觉反馈(S240)。显示装置可以使用触觉反馈单元根据第一对象的属性来生成第一触觉反馈。触觉反馈单元可以像以上参照图5和图9所描述的那样响应于第二控制输入使用超声波、压缩的空气、振动、可穿戴的触觉装置或声辐射压力来生成第一触觉反馈。用户可以通过感测第一触觉反馈来识别第一对象在用户的控制之下。也就是说，显示装置可以使用显示单元来显示第一对象在用户的控制之下，并且可以使用触觉反馈单元来生成表示第一对象在用户的控制之下的第一触觉反馈。显示装置可以根据第一对象的属性来生成第一触觉反馈。也就是说，显示装置可以根据所显示的第一对象的纹理、图案、形状、尺寸、强度和亮度中的至少一种来生成第一触觉反馈。

另外，显示器可以根据背景图像的属性来生成附加触觉反馈。显示装置可以考虑到背景图像的属性以及第一对象的属性来生成附加触觉反馈。例如，除第一触觉反馈之外，显示装置可以考虑到背景图像的纹理和第一对象的纹理来生成与背景图像和第一对象之间的摩擦对应的新的触觉反馈。

接下来，显示装置可以检测与第二控制输入连贯的控制第一对象的第三控制输入(S250)。在这种情况下，可以在显示单元的显示有第二对象的区域中检测第三控制输入。如以上参照图9所描述的，用户控制输入可以偏离与第一对象对应的第一区域并且在第一对象在用户的控制之下的同时进入与第二对象对应的第二区域。如果在与第二对象对应的第二区域中检测到控制第一对象的控制输入则显示装置可以检测到第三控制输入。如以上参照图4所描述的，第三控制输入可以指在第二控制输入结束之后在预设的时间阈值内检测到的控制输入。

接下来，显示装置可以在第一对象在用户的控制之下时候响应于第三控制输入生成第一触觉反馈(S260)。触觉反馈单元可以像以上参照图5和图9所描述的那样响应于第三控制输入使用超声波、压缩空气、振动、远程触觉装置、可穿戴触觉装置或声辐射压力中的至少一种来生成第一触觉反馈。如以上参照图9所描述的，在第一对象在用户的控制之下的同时显示装置可以锁定触觉反馈。因此，显示装置可以响应于控制第一对象的第三控制输入来生成第一触觉反馈。在第三控制输入控制第一对象的同时显示装置可以响应于在第二区域中检测到的第三控制输入维持第一触觉反馈。

如果第一对象响应于第三控制输入的控制结束则显示装置可以解锁经锁定的触觉反馈。另外，即使当在从与第一对象对应的第一区域起超过预设距离阈值的位置处检测到第三控制输入时显示装置也可以解锁经锁定的触觉反馈。在解锁了经锁定的触觉反馈后，显示装置可以根据与检测到用户控制输入所在的区域对应的对象的属性或根据背景图像的属性来生成新的触觉反馈。

如上所述，显示装置可以响应于用户控制输入来提供连续触觉反馈，从而实现与在用户的控制之下的对象对应的触觉反馈的一致的提供。

如上所述，显示装置可以响应于用户触摸手势来提供连续触觉反馈，从而实现要由用户控制的对象和触觉反馈的不一致提供。

对于本领域技术人员而言将显而易见的是，在不脱离本说明书的精神或范围的情况下，能够对本说明书做出各种修改和变化。因此，本说明书旨在涵盖此说明书的修改和变化，只要它们落在所附权利要求及其等同物的范围内即可。

本发明的模式

已经在用于执行本发明的最佳模式下描述了各种实施方式。

对于本领域技术人员而言将显而易见的是，在不脱离本发明的精神或范围的情况下，能够对本发明做出各种修改和变化。因此，本发明旨在涵盖此发明的修改和变化，只要他们落在所附权利要求及其等同物的范围内即可。

工业适用性

如上所述，本发明全部地或部分地适用于电子装置。

Claims (14)

1.一种显示装置，该显示装置包括：

显示单元，该显示单元被配置为显示对象；

触觉反馈单元，该触觉反馈单元被配置为生成触觉反馈；以及

控制器，该控制器被配置为：

检测选择显示在所述显示单元上的第一对象的第一控制输入；

检测与所述第一控制输入连贯的控制所述第一对象的第二控制输入；

响应于所述第二控制输入控制所述第一对象；

在所述第一对象由所述第二控制输入控制的同时，响应于所述第二控制输入、根据所述第一对象的属性来生成第一触觉反馈；

检测与所述第二控制输入连贯的控制所述第一对象的第三控制输入，其中，在显示在所述显示单元上的第二对象的区域中检测所述第三控制输入；以及

在所述第一对象由所述第三控制输入控制的同时，响应于所述第三控制输入维持所述第一触觉反馈，

其中，所述控制器还被配置为：

在所述第三控制输入完成之后检测在所述第二对象的所述区域中输入的第四控制输入；

如果从当所述第三控制输入完成时的时间点到当检测到所述第四控制输入时的时间点的时间等于或小于预设的时间阈值，则生成所述第一触觉反馈；以及

如果从当所述第三控制输入完成时的所述时间点到当检测到所述第四控制输入时的所述时间点的所述时间超过所述预设的时间阈值，则根据所述第二对象的属性来生成第二触觉反馈。

2.根据权利要求1所述的显示装置，其中，所述控制输入包括触摸输入、手势输入、声音输入和信号输入中的至少一个。

3.根据权利要求1所述的显示装置，其中，所述控制器还被配置为：

检测在所述第二对象的所述区域中输入的第四控制输入，其中，所述第四控制输入不在所述第一对象的控制下；并且

响应于所述第四控制输入、根据所述第二对象的属性来生成第二触觉反馈。

4.根据权利要求1所述的显示装置，其中，所述控制器还被配置为：如果通过所述第三控制输入针对所述第一对象的控制结束，则响应于所述第三控制输入、根据所述第二对象的属性来生成第二触觉反馈。

5.根据权利要求1所述的显示装置，其中，所述控制器还被配置为在当开始在所述第二对象的所述区域中检测到所述第三控制输入时的时间点暂时生成与所述第一触觉反馈不同的第二触觉反馈。

6.根据权利要求1所述的显示装置，其中，所述控制器还被配置为：如果显示有所述第一对象的位置与所述第三控制输入被检测到的位置之间的距离超过预设的距离阈值，则响应于所述第三控制输入、根据所述第二对象的属性来生成第二触觉反馈。

7.根据权利要求1所述的显示装置，其中，所述第一对象包括多个子对象。

8.根据权利要求7所述的显示装置，其中，所述控制器还被配置为：当分别在第一子对象和第二子对象的区域中检测到所述第二控制输入时，根据所述第一子对象的属性来生成第三触觉反馈并且根据所述第二子对象的属性来生成第四触觉反馈。

9.根据权利要求8所述的显示装置，其中，所述控制器还被配置为：

当在所述第一子对象的所述区域中检测到所述第二控制输入时生成所述第三触觉反馈；

当在所述第二子对象的所述区域中检测到所述第二控制输入时生成所述第四触觉反馈；以及

当在所述第二对象的所述区域中检测到所述第三控制输入时维持所述第四触觉反馈。

10.根据权利要求9所述的显示装置，其中，如果从当检测到所述第二控制输入时的时间点到当检测到所述第三控制输入时的时间点的时间等于或超过时间阈值，则维持所述第四触觉反馈。

11.根据权利要求8所述的显示装置，其中，所述控制器还被配置为：

如果在所述第一子对象的所述区域中检测到所述第一控制输入，则生成所述第三触觉反馈；并且

如果从当检测到所述第二控制输入时的时间点到当检测到所述第三控制输入时的时间点的时间小于时间阈值，则维持所述第三触觉反馈。

12.根据权利要求1所述的显示装置，其中，所述触觉反馈单元被配置为使用超声振动来生成触觉反馈并且通过改变所述超声振动的频率和大小来控制所述触觉反馈的强度。

13.根据权利要求1所述的显示装置，其中，所述触觉反馈包括非接触触觉反馈。

14.根据权利要求13所述的显示装置，其中，所述触觉反馈单元被配置为使用超声振动、声辐射压力、磁场、压缩空气、可穿戴的触觉装置和远程触觉装置中的至少一种来生成触觉反馈。