CN109643219A - 用于与在车辆中的显示设备上呈现的图像内容进行交互的方法 - Google Patents

Abstract

为了与在车辆中的显示设备上呈现的图像内容进行交互，呈现具有空间上的深度观感的图像内容，其中这些图像内容包括操作元件，这些操作元件在超过一个深度层中呈现。借助于至少一个设置在车辆中的传感器来检测用户的操作动作，其中确定应该在哪个深度层对操作元件进行操作。接着，根据所检测到的操作动作来与在所确定的深度层中呈现的操作元件进行交互。按照本发明的第一实施方式，设置触摸屏，用于用户的操作动作。在这种情况下，由用户施加的压强被检测并且根据所检测到的压强来与在不同的深度层的操作元件进行交互。按照本发明的第二实施方式，使用手势传感器，用于用户的操作动作。在这种情况下，在车辆内部空间中设置至少一个虚拟平面，该虚拟平面用于区别不同的深度层，其方式是探测用户的手或手的部分是处在该虚拟平面前面还是处在该虚拟平面后面。

Description

用于与在车辆中的显示设备上呈现的图像内容进行交互的 方法

技术领域

本发明涉及一种用于与在车辆中的显示设备上呈现的图像内容进行交互的方法和一种用于执行该方法的设备。

背景技术

当前在显示器技术方面的趋势是“立体3D能力”，其中观察者每只眼睛都获得略微不同的图像以便借此暗示图像的空间深度。在这种情况下，在所谓的静态3D（S3D）中存在对于最好的立体观感来说理想的观察点，其它方法能够实现多个理想的观察点（多视角3D）或者甚至在光场技术的范围内能够实现用于立体显示的大量的（理想地无限多个）观察点。

在这种情况下使用不同的3D显示器技术。这样，在用于产生三维观感的车辆立体显示器中同时呈现两个图像，其中借助于透镜光栅或者视差屏障来使各个像素的光在屏幕前面朝着不同的方向偏转而且各有一个不同的图像到达两只眼睛。同样可以将其它显示器类型用于产生深度观感，诸如：多层显示器，其中多个显示器层重叠地布置；或者光场显示器，其中使用微透镜光栅来将图像分成各个光线并且可以将图像调焦到不同的深度。

在车辆技术中，越来越多地使用用于全数字式组合仪表的显示器或者也包括布置在中控台中的多功能显示器。这里，到目前为止，通常二维呈现例如圆形仪表，如速度计或转速计、外部温度显示器、时间、里程表以及报警和提示符号，但是也包括针对信息娱乐领域的附加功能、如导航或电话进行二维呈现。然而，出发点应该是：将来这里也将使用3D显示器，因为通过图像的接着被觉察到的深度可以在空间中分散地呈现视觉信息。在GB2517793 A中描述了将车辆立体显示器用于机动车仪表板的三维呈现，其中对所呈现的信息的区分优先次序以如下形式来实现：对于驾驶员来说重要的信息在前景中呈现而对于驾驶员来说不是那么重要的功能在背景中呈现。

不仅可能会用于纯信息播放而且可能会用于操作车辆中的设备的3D显示器会通过以不同的深度呈现操作元件来实现用户的新的操作理念。然而，为此需要与空间上不一样远地呈现的操作元件进行交互。

发明内容

本发明的任务是提供一种用于与在3D显示器上以不同的深度来呈现的操作元件进行交互的可能性。

该任务通过具有权利要求1的特征的方法以及通过相对应的根据权利要求9的设备来解决。本发明的优选的设计方案是从属权利要求的主题。

按照本发明的用于与在车辆中的显示设备上呈现的图像内容进行交互的方法的特点在于如下步骤：

- 呈现具有空间上的深度观感的图像内容，其中这些图像内容包括如下操作元件，这些操作元件在超过一个深度层中呈现；

- 借助于至少一个设置在车辆中的传感器来检测用户的操作动作，其中确定应该在哪个深度层对操作元件进行操作；

- 根据所检测到的操作动作来与在所确定的深度层中呈现的操作元件进行交互。

按照本发明的第一实施方式，设置触摸屏，用于用户的操作动作。在这种情况下，由用户施加的压强被检测并且根据所检测到的压强来与在不同的深度层的操作元件进行交互。

对触摸屏的使用具有如下优点：所述对触摸屏的使用对于用户来说基本上已经熟悉。仅仅由用户在对触摸屏进行触摸时施加的压强的关系对于该触摸屏来说是新的并且借此应快速地被学习。

按照本发明的该第一实施方式的一个有利的扩展方案，该显示设备本身构造为触摸屏。这能够实现由用户特别直观地进行操作，因为操作元件借助于触摸屏在这些操作元件也被显示的地方被操作。

按照本发明的第二实施方式，使用手势传感器，用于用户的操作动作。在这种情况下，在车辆内部空间中设置至少一个虚拟平面，该虚拟平面用于区别不同的深度层，其方式是探测用户的手或手的部分是处在该虚拟平面前面还是处在该虚拟平面后面。

手势传感器的使用不仅具有可以非接触式地进行操作的优点，而且具有如下优点：可以使用和识别不同的操作手势（诸如接通和关断、向左或向右旋转调节器，或者移动所呈现的滑动调节器）。

按照本发明的该第二实施方式的一个有利的扩展方案，设置立体显示器作为显示设备，该立体显示器在该立体显示器的2D中性层中分配有虚拟平面。在这种情况下，在该虚拟平面与立体显示器的表面之间探测到用户的手或手的部分的情况下，与在立体显示器的表面后面显现的操作元件进行交互，而在该虚拟平面前面探测到用户的手或手的部分的情况下，与在立体显示器的表面前面显现的操作元件进行交互。

按照本发明的第三实施方式，在方向盘上设置操作元件，用于用户的操作动作。这能够使用户在不必将手从方向盘拿开的情况下对操作元件进行操作。

按照本发明的第四实施方式，不仅设置触摸屏而且设置手势传感器，用于用户的操作动作，其中该操作动作的一部分借助于触摸屏来实现而另一部分借助于手势传感器来实现。这尤其可以在操作动作复杂的情况下是有利的。

有利地，通过视觉和/或触觉反馈可以进一步简化用户的可操作性，该视觉和/或触觉反馈报告当前的深度层并且必要时报告在该深度层之内的当前的位置。

本发明的其它特征结合附图从随后的描述以及权利要求书中可见。

附图说明

图1示意性地示出了按照本发明的用于与在车辆中的显示设备上呈现的图像内容进行交互的方法；

图2示意性地示出了对于用户借助于手势的操作动作来说在显示设备前面的深度层的区别；

图3示出了针对图2的实施例的在车辆内部空间中的布置。

具体实施方式

为了更好地理解本发明的原理，随后依据附图更详细地阐述了本发明的实施方式。易于理解的是：本发明并不限于这些实施方式而且所描述的特征也可以组合或者修改，而不脱离本发明的保护范围，如该保护范围在权利要求书中限定的那样。

图1示意性地示出了用于与在车辆中的显示设备上呈现的图像内容进行交互的方法。在这种情况下，显示设备是3D显示器，在第一步骤1中，在该3D显示器上呈现具有空间上的深度观感的图像内容。在这种情况下，这些图像内容包括操作元件，这些操作元件在超过一个深度层中呈现。在第二步骤2中，借助于至少一个设置在车辆中的传感器来检测用户的操作动作。在这种情况下确定：应该在哪个深度层对操作元件进行操作；以及如果在所确定的深度层中存在多个操作元件，则应该与这些操作元件中的哪个操作元件进行交互。接着，在第三步骤3中，根据所检测到的操作动作来与在所确定的深度层中确定的操作元件进行交互。

按照第一实施方式，借助于触敏平面屏幕、也称作触摸屏来与操作元件进行交互。在这种触摸屏的情况下，通过用手指点击所呈现的图像的部分可以对技术设备进行控制。然而，在从现有技术公知的触摸屏的情况下，不可能与3D内容进行空间交互，因为在该触摸屏的二维表面上进行操作而且借此并不在视觉觉察到的3D对象的空间坐标上进行操作。现在，按照本发明，能够实现与3D内容进行空间交互，其方式是用户可根据由他施加的对显示器表面的压强来与不同的深度层进行交互。在这种情况下，该压强例如可以通过分析手指在触摸屏上占据的面积（小的面积：前面；大的面积：后面）来确定。同样，该压强也可以通过测量由于显示器的不同层的距离变化而引起的电容变化来实现。在伪立体2层显示器的情况下，例如在压力轻微时可以与第一层进行交互，在压力强时可以与第二层进行交互。在其它显示器技术中，在手指在触摸屏上的压强或面积不断增大/减小时在三维空间内的超过2个深度层之间的流畅的转变也是可能的。替代确定压强或除了确定压强之外，也可以分析对触摸屏的触摸的时长。在相对应的深度的视觉反馈（例如以指针（Pointer）的形式）提高了交互的可控性。同样可设想的是借助于显示器振动的触觉反馈。

按照第二实施方式，借助于布置在车辆中的手势传感器来与操作元件进行交互。在这种情况下，如在图2中示意性示出的那样，在车辆内部空间中在显示器10前面设置虚拟平面9，该虚拟平面用于区别两个不同的深度层。通过利用手势传感器来探测用户的手或手的部分5是处在该虚拟平面9前面还是处在该虚拟平面9后面，能够实现这一点。例如，在立体显示器中可以将该虚拟平面分配给立体显示器的2D中性层。在该虚拟平面与立体显示器的表面之间的空间区域8内探测到用户的手或手的部分5的情况下，可以与在该立体显示器的表面后面显现的操作元件进行交互。替代于此，在该虚拟平面前面的空间区域6内探测到用户的手或手的部分的情况下，可以与在该立体显示器的表面前面显现的操作元件进行交互。在所示出的示例中，两个调节器显现得就像它们会从显示器中走出来那样。因而，在虚拟平面9前面的空间内在位置4对呈现在左侧的调节器7进行操作。

图3示意性地示出了在使用该实施方式时车辆内部空间的一部分。在这种情况下，虚拟平面近似处在换挡杆12的高度上。在该示例中，手势传感器11在顶蓬处建造在后视镜的区域内，但是同样也可以布置在仪表板或中控台中。同样，必要时可以设置多个手势传感器。

手势传感器11例如可以借助于摄像机来探测驾驶员的手或手指的位置。为此，也可以例如利用红外光来进行照明。优选地，在这种情况下使用3D摄像机系统、尤其是TOF（飞行时间，Time Of Flight）摄像机，利用该TOF摄像机可以确定距各个图像点的距离。借此可能的是：产生三维图像数据并且这样可以对手的部分、如手的各个手指进行区别而且确定它们在空间中的位置。

由摄像机生成的图像或视频数据在视频处理单元中首先被预处理并且接着被输送给图像分析单元。接着，在探测到驾驶员的手或各个手指的情况下紧接着对手势进行识别，其中可以设置不同的预先限定的操作手势并且接着必须首先确定这些预先限定的操作手势中的哪个操作手势存在。为此，可以与在数据库中设置的不同的操作手势进行比较，其中可以直接将所拍摄的手或手指布局的图像数据与在数据库中的相对应的图示进行比较，或者首先可以借助于手或手指模型来进行抽象，以便接着执行比较。在这种情况下，尤其也可以识别和分析多个手指彼此间的手指相对位置。还可以规定：只有当用户的手处在3D显示器前面的预先限定的区域内时才激活手势识别。在这种情况下，在同一深度层有多个操作元件的情况下，根据手或手的手指相对于显示器表面的位置可以确定应该对这些操作元件中的哪个操作元件进行操作。如果不仅已经确定了操作手势而且已经确定了所要操纵的操作元件，则据此可以操作机动车中的设备，诸如导航设备、电话或收音机。接着，例如可以结束借助于手势识别的操作，其方式是用户的手从3D显示器的预先限定的区域移开。

同样可能的是：在通过手势传感器探测到手接近时才使操作元件或者也包括整个交互层视觉上可见或者使所述操作元件或者也包括整个交互层的图像呈现在深度方面空间移动。由此，所呈现的信息的一部分可以留在背景中而操作元件继续向前换位置。如果借助于手势传感器识别出手又从交互区消失，则使操作元件或交互层重新隐藏或者使空间移动倒回，使得重新在最初的深度的呈现位置进行呈现。

针对用户的阐明目前在哪个深度层检测该用户的操作动作的视觉反馈可以提高交互的可控性。这在不同的实施方式中例如可以以在当前的位置以相对应的深度呈现的点或指针的形式来实现。在手势识别的情况下，同样可以对手、必要时手指位置被探测到的手进行示意性呈现。即使不同于借助于触摸屏进行操作的情况，在手势识别的情况下用户与显示器表面没有身体接触，替代于视觉反馈或者除了视觉反馈之外，触觉反馈也仍是可设想的。为此，可以借助于超声发射器在空气中产生小的、但是可感觉到的振动，利用所述振动可以感受到空间中的几何形状。

借助于手势传感器的交互并不限于两个深度层，更确切地说，操作元件也可布置在超过两个交互层中。为此，在3D显示器前面的区域通过多个虚拟平面被分成多个分区，其中利用手势传感器来探测用户的手或手的部分5处在哪个分区。

按照另一实施方式，可以通过方向盘上的操作元件与操作元件进行交互。这里，例如可以借助于方向盘按键或方向盘触摸表面来控制3D光标，其中当前的操作位置被显示。在这种情况下，例如可以利用控制柄来操控在X-Y平面内的位置而借助于滑动调节器来调整沿Z方向的深度位置。同样，例如可以通过一层的操作元件进行切换并且通过经过多层的滑动调节器或按钮的压力来进行切换。接着，在这种情况下进行对相应活跃的层的视觉标记。

最后，也可以设置上面提到的操作形式的组合。这样，例如操作动作可开始于对触摸屏的操纵而且接着借助于在显示设备前面的空间内的手势来继续进行。同样，也可设想的是：首先利用手势来开始操作动作并且接着借助于触摸屏来继续该操作动作。

附图标记列表

1 在多个深度层呈现操作元件的第一方法步骤

2 在确定深度层的情况下检测操作动作的第二方法步骤

3 与在所确定的深度层的操作元件进行交互的第三方法步骤

4 所呈现的调节器的操作位置

5 用户的手

6 其中可与在显示器表面前面显现的操作元件进行交互的空间区域

7 所呈现的调节器的显示位置

8 其中可与在显示器表面后面显现的操作元件进行交互的空间区域

9 与显示器的中性层相对应的虚拟层

10 显示器

11 手势传感器

12 换挡杆。

Claims (10)

1.一种用于与在车辆中的显示设备（10）上呈现的图像内容进行交互的方法，其中所述方法包括如下步骤：

- 呈现（1）具有空间上的深度观感的图像内容，其中所述图像内容包括如下操作元件，所述操作元件在超过一个深度层中呈现；

- 借助于至少一个设置在车辆中的传感器（11）来检测（2）用户的操作动作，其中确定应该在哪个深度层对操作元件进行操作；

- 根据所检测到的操作动作来与在所确定的深度层中呈现的操作元件进行交互（3）。

2.根据权利要求1所述的方法，其中设置触摸屏，用于用户的操作动作，并且检测由用户对所述触摸屏施加的压强，而且其中根据所检测到的压强来与在不同的深度层的操作元件进行交互。

3.根据权利要求2所述的方法，其中所述显示设备（10）构造为触摸屏。

4.根据权利要求1所述的方法，其中设置手势传感器（11），用于用户的操作动作，而且在车辆内部空间中设置至少一个虚拟平面（9），所述虚拟平面用于区别不同的深度层，其方式是利用所述手势传感器来探测用户的手或手的部分（5）是处在所述虚拟平面前面还是处在所述虚拟平面后面。

5.根据权利要求4所述的方法，其中设置立体显示器作为显示设备（10），所述立体显示器在所述立体显示器的2D中性层中分配有虚拟平面（9），其中在所述虚拟平面与所述立体显示器的表面之间的空间区域（8）内探测到用户的手或手的部分（5）的情况下，与在所述立体显示器的表面后面显现的操作元件进行交互，而在所述虚拟平面前面的空间区域（6）内探测到用户的手或手的部分（5）的情况下，与在所述立体显示器的表面前面显现的操作元件进行交互。

6.根据权利要求1所述的方法，其中在方向盘上设置操作元件，用于用户的操作动作。

7.根据上述权利要求之一所述的方法，其中不仅设置触摸屏而且设置手势传感器，用于用户的操作动作，其中所述操作动作的一部分借助于所述触摸屏来实现而另一部分借助于所述手势传感器来实现。

8.根据上述权利要求之一所述的方法，其中视觉和/或触觉反馈报告当前的深度层并且必要时报告在所述深度层之内的当前的位置。

9.一种设备，用于执行根据上述权利要求之一所述的方法。

10.一种机动车，所述机动车具有根据权利要求9所述的设备。