CN105992990B - 用户接口和以3d手势模式无接触操作以硬件构成的操作元件的方法 - Google Patents

Abstract

一种用户接口以及一种用于以3D手势无接触地操纵用户接口的以硬件构成的操作元件的方法。在此推荐一种用户接口和用于以3D手势无接触地操纵用户接口的以硬件构成的操作元件(12)(以下称为“按钮”)的方法，借助该方法通过在自由空间中实施的手势(以下称为3D手势)操作用户接口。所述方法包含步骤：‑检测(100)用户的手(4)，‑将所述手(4)与用户接口(1)的配属按钮(12)的区域相关联(200)，并且作为对此的响应，‑向用户输出(300)提示(14,16)。

Description

用户接口和以3D手势模式无接触操作以硬件构成的操作元件 的方法

现有技术

本发明涉及一种用户接口以及一种用于无接触地操纵用户接口的以硬件构成的操作元件(“按钮”、“滑动调节器”、“旋按调节器”等)的方法。本发明尤其涉及一种用于与这种按钮无接触交互的新型方法。

在自由空间中的手势操作优点在于越来越高的任意性。用户借助这种手势能够与人机接口相互交流，而无需与输入设备发生肢体接触。例如通过基于光学和/或红外线的系统识别所述手势并且转换成控制指令。至今，手势操作仅局限于以软件呈现的开关面或其他交互区域。

DE102012000263A1公开了通过使用在三维空间中实施的手势来操作车辆中功能的方法和装置。若通过设置在车辆的车顶区域中的检测设备检测到用户的手在第一预定时长中出现在有效的检测区域中，则激活手势控制。

DE102006037156A1描述一种交互的操作装置，通过该操作装置实现了对在显示装置上显示的图形内容的手势操作。根据检测的操作意图，在显示装置上显示的图形内容被显示用于激活与其关联的功能。在接近开关面时例如开关面放大显示。

DE102009008041A1公开了一种用于操作具有触摸屏的汽车的方法，其中设置用于识别用于实施或启动实施汽车功能的手势。若在触摸屏的周围在没有触摸触摸屏的情况下实施手的手势，则汽车的功能被实施。

所述技术可能性通过前述现有技术仅能不充分地利用。因此本发明所要解决的技术问题在于满足之前显示的需求。

发明内容

前述技术问题按照本发明通过具有按照权利要求1所述的特征的方法以及通过具有按照权利要求9所述的特征的用户接口解决。此外，还推荐用户终端设备、计算机程序产品、信号串和行进器用于解决所述技术问题。所述方法用于无接触地操作以硬件构成的操作元件。作为硬件构成的操作元件(出于简洁性以下常常称为“按钮”)在本发明的范畴中理解为这样的元件，其外观不是主要通过位于其后的屏幕确定，例如其在所谓的触摸屏的透明的触敏表面中是这种情况。这种操作元件在现代汽车中数量很多且种类多样，用于例如实现座椅调节、空调调节、音乐播放的调节等。仅举例地将这些已知形式称为“按键”、“按钮”、“旋钮”、“旋按钮”和“滑动调节器”(“滑扭”)。按照本发明描述的用户接口设置为在3D手势模式中也可以识别在空间中自由实施的手势(3D-手势)并且作为控制指令被接收。为此在第一步骤中传感式检测用户的手。现有技术中尤其基于光学和/或红外线的系统被用作传感器，但本发明不局限于这些实施形式。所述传感器具有检测区域，其中其能够足够高分辨率地检测到通过用户的手实施的手势，用于根据预定的参照对该手势进行分类或评估。在第二步骤中，将手分配给用户接口的配属于按钮的区域。换句话说，传感式监测的检测区域的部分区域被分配给按钮，因此与按钮关联的功能能够通过检测区域的部分区域被调用。3D检测区域和在用户接口的显示屏上显示的区域优选这样与用户表面相互对应，即在图形用户表面(grafischen

)上的每个区域对应传感式监测的检测区域的相应部分区域。在这种情况中，也为按钮分配了在图形用户表面上的对应区域。此外若手进入(检测区域或图形用户表面的)配属按钮的区域，则为用户发出提示。换句话说，用户获知这样的事实，即其手已经到达配属按钮的检测区域。通过这种方式可以实现不同的操作步骤，其在本发明的描述中被详细描述。用户通过本发明至少获知，当前是否已经建立与按钮无接触的交互，或者其手是否为此必须进入到配属按钮的区域中。

从属权利要求显示了本发明的扩展设计。

如上所述，若用户已经将其手放入配属按钮的区域中，则用户可以实施用于启动配属该按钮的功能的手势。这种手势例如可以是点击手势(也称为“敲击手势”)、拖拉和/或投放(drag and drop)手势、长按(英文“Long Press”)手势或类似手势。按钮的关联的功能例如是调用配属按钮的菜单点(例如：“导航”、“广播”、“车载电脑”、“交通信息”等)。通过这种方式用户不必接触按钮并且因此也不必离开其舒适的乘坐位置来启动与按钮关联的功能。通过这种方式可以提高按照本发明构造的行进器的交通安全性，因为驾驶员的乘坐位置仅需为了操作按钮而略微改变。

检测区域的配属按钮的区域位于检测区域的边缘区域中。所述区域通常也配属在显示单元上显示的图形用户表面的边缘区域。因为在显示单元的边界内通常不设置按钮(屏幕始终是封闭的面)，但是显示单元常常被硬件操作元件环绕，由此实现特别直观可见的关联。当显示单元的仅在按钮的高度上设置的边缘区域的部段为观察者关联按钮，并且其他边缘区域配属其他按钮时，则实现了特别直观的关联。通过这种方式尤其产生这种可能性，即多个或全部的围绕显示单元的按钮按照本发明通过3D手势操作。

提示的输出例如可以在显示单元(屏幕)上进行，方法是配属按钮的区域被光学地凸显。例如还可以在屏幕上显示按钮的光学再现。其优选在配属按钮的区域中并且在按钮外进行，其中可选地其他屏幕内容被叠加。作为备选或补充可以借助声电转换器输出信息。作为备选或补充，按钮自身被光学地凸显。在现有技术中，调用预定功能的按钮可以廉价地和运行可靠地借助发光二极管(LED)背光照明。因此按钮的光学凸显通过改变光颜色和/或光强度进行。光强度的改变例如通过调制用于产生闪光信号的能量供给装置进行。

在预定时长结束之后，所述提示结束并且按钮的光学再现的显现逆向地进行。在此按钮的光学再现优选沿相反方向离开，其以原方向显现。换句话说，当扭矩布置在显示单元右侧时，光学再现向左插入显示单元的图形内容中，并且在预定的时长结束后或者手从用户接口的配属按钮的区域离开时，光学再现向右滑出。

为了光学地显示所述再现具有大量的造型可能性，它们以下仅扼要地讨论。光学再现例如作为显示单元的其他图形内容的(部分)透明的叠加而被叠放。通过这种方式可以凸显所述显现的临时的特性。作为备选或补充，光学再现可以动画显示并且在此具有不同的透明值、波状的运动和/或位置改变的闪光或“闪烁”。作为前述构造可能性的补充(借助所述构造标出光学再现的临时特性)，还可以附加地实现所述再现的视觉上吸引人的造型。

按照本发明的第二主题推荐一种用户接口，其具有用于识别在空间中自由实施的手势的传感器。此外提供一种显示单元(例如矩阵显示器的形式或“屏幕”)以及一种用于以传感器的信号识别多个手势的评估单元。所述评估单元例如设计为电子控制器并且包含可编程的处理器。设置在显示单元旁边的、以硬件构成的操作元件配备至少一个预定的功能。换句话说，可能在显示单元上叠加的触敏的操作表面在本发明的范畴中不能理解为“按钮”。按照本发明，用户接口设置用于作为对借助评估单元识别到的、在配属按钮的3D检测区域中的出现的响应，为用户输出提示。结合按照本发明的方法所作的说明这样适用于按照本发明的用户接口的特征、特征组合和由此得出的优点，即为了避免重复而引用上述说明。

按照本发明的第三主题推荐一种用户终端设备，其例如是移动电子设备。尤其电子无线通信设备(智能手机、笔记本电脑、平板电脑等)理解为按照本发明可用的用户终端设备。用户接口被集成在用户终端设备中，借助其用户终端设备设置用于实施按照本发明第一主题所述的方法。所述特征和优点相应地得出。

按照本发明的第四主题推荐一种计算机程序产品(例如数据存储器)，在其上保存指令，该指令使得用户接口的可编程处理器能够实施按照本发明第一主题所述的方法的步骤。所述计算机程序产品可以设计为CD、DVD、蓝光盘、闪存、硬盘、RAM/ROM、缓存等。

按照本发明的第五主题推荐一种再现所述指令的信号串，其使得用户接口的可编程处理器能够实施按照本发明第一主题所述的方法的步骤。通过这种方式还可以保护对于这种情况的指令的信息技术的提供，即为此需要的存储器位于所附权利要求的适用范围之外。

按照本发明的第六主题推荐一种行进器，其例如设计为轿车、运输器、卡车、陆地和/或水上交通工具。该行进器包含按照本发明第二主题的用户接口，其中显示单元设计为固定安装在行进器的仪表盘的中央屏幕和/或设计为行进器的组合仪表盘。通过这种方式，结合按照本发明的用户接口阐述的特征、特征组合和由此产生的优点能够通过按照本发明的行进器实现。

附图说明

以下参照附图详细描述本发明的实施例。在附图中：

图1示出在按照本发明的行进器的实施例中的按照本发明的用户接口的实施例的部件的示意概览图；

图2示出在按照本发明的用户终端设备的实施例中的按照本发明的用户接口的第二实施例的部件的示意概览图；

图3示出按照本发明的用户接口的第一操作步骤的视图；

图4示出用于操作按照本发明的用户接口的可能的手势的选择；

图5示出用于无触摸操作按钮的操作步骤的视图；

图6示出与图5中所示的操作步骤相连的操作步骤的视图；

图7示出与图6中所示的操作步骤相连的操作步骤的视图；

图8示出用户与第一按钮的光学再现的交互的视图；

图9示出用户与第二按钮的光学再现的交互的视图；

图10示出用于无触摸地操作按照根据本发明的用户接口的第二实施例的按钮的操作步骤的视图；

图11示出与图10所示的操作步骤相连的操作步骤的视图；和

图12示出按照本发明的方法的实施例的步骤的流程图。

具体实施方式

图1示出作为行进器的轿车10，其中屏幕3作为按照本发明的用户接口1的显示单元嵌入仪表盘中。传感器5设置在屏幕3下方，所述传感器在屏幕3之前的空间中展开检测区域9。扬声器11设置用于为用户输出提示。最后包含用来提供用于手势识别的预定义参照的数据存储器8。前述部件与电子控制器7形式的评估单元信息技术地相连。电子控制器7此外设置用于在屏幕3上显示菜单形式的图形内容2。

图2示出在按照本发明的智能手机20形式的用户终端设备的实施例中、按照本发明的用户接口的实施例的部件的概览图。智能手机20的按键6部分地剖切，从而能够看到位于按键后的部件。智能手机20的屏幕3呈现为显示单元，处理器7呈现为评估单元，闪存8呈现为存储器件，并且扬声器呈现为按照本发明的用户接口1的信号输出装置。此外红外LED条5作为传感器与微处理器7信息技术地相连。微处理器也与天线17耦连，用于与无线基站或其他用户设备无线地通信。

图3示出作为显示单元的屏幕3，在所述屏幕上显示了用于选择广播电台的菜单2。用户的手4位于传感器5在屏幕3前方的检测区域9中(传感器和检测区域这二者都未示出)，用户通过手可以实施用于操作导航的3D手势。

图4示出用于与按照本发明的用户接口1交互的可能的手悬停和手势。在子视图a中手4的打开的手心朝向屏幕3。手4的手指展开并略微分开。在子视图b中示出手4的指示手势，其中仅手4的食指4展开，而其余手指弯曲成拳头。在子视图c中示出点击手势或敲击手势，其中手4的食指首先展开并接下来朝向屏幕3弯折用于激活与开关面关联的功能。

图5示出用户接口的屏幕3，其上显示用于选择电台的菜单2作为图形内容。用户的手4位于(未示出的)检测区域的右上边缘区域中。该区域配属在屏幕3上通过红色框15标注的区域。在该区域右侧布置四个按钮12a、12b、12c、12d。所述按钮12a、12b、12c、12d作为按键配属功能“导航”、“交通提醒”、“车载电脑”、“主菜单”。镜像地在屏幕3的左侧设置四个其他按钮12e、12f、12g、12h，其配属功能“广播”、“媒体”、“电话”和“通话”。

图6示出用于为用户输出以下提示的可能性，即其手4停留在配属按钮12a、12b、12c、12d的用户接口的区域中。作为对此的响应，(未示出的)评估单元开始在菜单2中插入或与菜单2重叠地示出按钮12a、12b、12c、12d的光学再现14a、14b、14c、14d。

图7示出图6所示布局在进一步的插入过程的视图。

图8示出图7所示布局在插入过程结束时的视图。再现14a、14b、14c、14d和所配属的按钮12a、12b、12c、12d分别位于屏幕边缘的相同高度上。最上的按钮12a通过光学再现14a表征。为了与按钮12a交互，用户将其手4放入检测区域的配属于光学再现14a的部分区域中，这通过红框15显示。在此，红框15仅表征一个过程，该过程在图形的用户接口的区域中也称为“鼠标经过事件”。在现有技术中所有用于光学凸显开关面的已知措施可以被采用，以便以光学方式响应也用于光学再现14a的所述过程。为了选择与光学再现14a或按钮12a关联的功能“导航”，用户此时可以用其手4实施点击手势或敲击手势。备选的、用户可以向下改变其手4的位置，由此在图9中所示的、用于交通通知的相应视图出现。

图10示出具有备选构造的用户接口的操作步骤的视图。用户将其手4放入(未示出的)检测区域的下部区域中，该区域配属屏幕3的菜单2的下部区域。该区域通过红框15光学地凸显。设置在屏幕3的下方的开关面12i、12k、12l、12m、12n和12p配属空调设备。扬声器/音符标志16显示了声音提示的输出，借助其用户获知其手4进入了特征化的区域中。

图11显示了用户的手4在图10中凸显的区域中停留的结果。在此手4处于(未示出的)检测区域的部分区域中，该部分区域配属用于放脚空间的空气分布(参照红框15)。对应的功能调用的可能性再次通过输出声音信号(通过扬声器/音符标志16表征)提醒。通过水平运动，用户的手4也可以操作光学再现14i、14k、14l、14n或14p，用于控制与它们关联的功能。以硬件构成的按钮12i、12k、12l、12m、12n、12p的接触操作通过这种选项明显没有发生。

图12显示按照本发明的方法的实施例的方法步骤。在此，在步骤100中用户的手被传感式检测，并且在步骤200中将配属用户接口的按钮的区域与手关联。换句话说需要检测，手位于这样的区域中，该区域按照本发明地设置用于无接触地操作按钮。作为对步骤300的相应，为用户输出这样的提示，即他的手位于用于无接触操作按钮的区域中。为此在用户接口的屏幕上、在按钮的高度上显示按钮的光学再现。在步骤400中在该区域中检测到用户的预定义的手势，其与按钮关联的功能相关联。所述手势例如是用于操作所述再现的点击手势或敲击手势。作为对该预定义的手势的响应，在步骤500中调用与按钮关联的功能。结果是，以硬件构成的并且用于触摸操作的操作元件仅通过实施3D手势就能被使用以调用相关联的功能。

尽管按照本发明的主题和有利的实施形式借助结合附图描述的实施例被详细说明，而对于本领域技术人员仍可修改和组合所示实施例的特征，只要不脱离本发明的通过权利要求限定的保护范围即可。

附图标记清单

1 用户接口

2 菜单

3 屏幕

4 用户的手

5 红外LED条/传感器

6 按键

7 电子控制器/处理器

8 数据存储器

9 检测区域

10 汽车

11 扬声器

12 按钮

14 光学再现

15 红框

16 声音提示

17 天线

20 智能手机

100-500 方法步骤

Claims (17)

1.一种用于以3D手势模式无接触地操纵用户接口(1)的以硬件构成的操作元件(12)的方法，借助该方法通过在空间中自由实施的手势能够操作用户接口(1)，所述手势以下称为3D手势，所述方法包含以下步骤：

-检测(100)用户的手(4)，

-将所述手(4)与用户接口(1)的配属操作元件(12)的区域相关联(200)，从而使与操作元件关联的功能能够通过检测区域的部分区域被调用，并且作为对此的响应，

-向用户输出(300)提示(14,16)：手已经到达配属操作元件(12)的检测区域，

-在配属操作元件(12)的区域中识别(400)用户的预定义的手势，并且

-启动(500)与操作元件(12)关联的功能。

2.按照权利要求1所述的方法，其中，配属操作元件(12)的区域位于检测区域(9)的边缘区域中和/或用户接口(1)的显示单元(3)的边缘区域中。

3.按照前述权利要求之一所述的方法，其中，操作元件(12)与用户接口(1)的屏幕相邻地布置。

4.按照权利要求1所述的方法，其中，所述提示(14,16)的输出(300)

-在屏幕上和/或

-借助声电转换器(11)，和/或

-借助操作元件(12)的光学凸显进行。

5.按照权利要求4所述的方法，其中，所述提示(14,16)的输出(300)借助LED进行。

6.按照权利要求1所述的方法，其中，所述提示(14,16)包含操作元件(12)的光学再现(14)在屏幕(3)上的显现。

7.按照权利要求6所述的方法，其中，光学再现(14)的显现在屏幕(3)的边缘区域(13)中进行，该边缘区域紧邻所述操作元件(12)。

8.按照权利要求6或7所述的方法，其中，光学再现(14)的显现在离开配属操作元件(12)的区域之后经过预定的时长后结束。

9.按照权利要求1所述的方法，其中，所述操作元件是按钮。

10.一种用户接口装置，包含：

-用于识别在空间中自由实施的手势的传感器(5)，所述手势以下称为3D手势，

-显示单元(3)，

-用于识别传感器(5)的信号的形式的多个手势的评估单元(7)，和

-设置在显示单元(3)旁边的、以硬件形式构成的带有关联的功能的操作元件(12)，

其中，用户接口装置设置为，作为对借助评估单元(7)识别的、在配属操作元件(12)的区域中的3D手势的响应，向用户输出(300)提示(14,16)：手已经到达配属操作元件(12)的检测区域，并且在配属操作元件(12)的区域中识别用户的预定义的手势，并且启动与操作元件(12)关联的功能。

11.按照权利要求10所述的用户接口装置，其中，操作元件(12)设计为旋转调节器、开关、滑块调节器。

12.按照权利要求10或11所述的用户接口装置，其中，传感器(5)是光学传感器和/或在红外区域起作用的传感器。

13.按照权利要求10所述的用户接口装置，其中，所述操作元件是按钮。

14.一种用户终端设备(20)，包含按照权利要求10至13之一所述的用户接口装置。

15.按照权利要求14所述的用户终端设备，其中，所述用户终端设备是电子的无线通信设备。

16.一种汽车，其具有包含指令的计算机程序产品，当所述指令在按照权利要求10至13之一所述用户接口装置的评估单元(7)上实施时，所述指令触发评估单元(7)实施按照权利要求1至9之一所述的方法的步骤。

17.一种行进器，包含按照权利要求10至13之一所述的用户接口装置，其中显示单元(3)设计为固定安装在行进器(10)的仪表盘中的中央屏幕和/或设计为行进器(10)的多功能仪表。

Images