CN109552340A - 用于车辆的手势和表情控制 - Google Patents

Abstract

本发明涉及一种车辆，所述车辆具有多个设备，所述车辆还具有用于以表情和/或手势来操控车辆的设备的功能的人机接口，所述人机接口包括用于检测车辆的特定乘员的摄像机以及与摄像机连接的控制单元。

Description

用于车辆的手势和表情控制

技术领域

本发明涉及一种车辆，所述车辆具有多个设备，所述车辆还具有用于以表情和/或手势来操控车辆的设备的功能的人机接口/人机界面(Human Machine Interface，HMI)，所述人机接口包括用于检测车辆的特定乘员的摄像机以及与摄像机连接的控制单元。此外，本发明还涉及一种用于借助于车辆的特定乘员的表情和手势来操控车辆的设备的功能的方法。

背景技术

现代车辆通常具有多个不同功能，所述功能部分地远远超出纯粹的车辆控制。相应地以这样的目标来研发车辆，即尤其能够为车辆的驾驶员实现尽可能简单地操控和监控所有设置的车辆功能。为此，通常通过一个或多个人机接口使得驾驶员能够使用车辆的各个功能。

因此每个人机接口允许驾驶员或车辆的其他乘员与车辆之间的大多数情况下双向的互动并能够以其最简单的形式包括例如操纵杆、旋钮、拨动开关或踏板以及模拟或数字显示器、控制-或报警灯。

车辆越来越多地装配有所谓的驾驶员辅助系统，所述驾驶员辅助系统在控制车辆时对驾驶员进行辅助和/或减轻驾驶员的负担，并由此减小车辆的事故风险或提高车辆乘员的安全性。例如，可获得在车辆停车时用于辅助驾驶员的驻车辅助，所述驻车辅助涵盖了从具有报警功能的简单的距离传感器，以及具有可舒适观察的屏幕的后区摄像机，直到全自动驻车辅助系统，该全自动驻车辅助系统实现了在没有驾驶员干预的情况下车辆自动倒车入库。

另一个先进的驾驶员辅助系统的例子是所谓的制动辅助系统，其监控在行驶的车辆前方的空间并且当车辆距在前行驶的车辆、其他交通参与者——像自行车骑行人或行人、或者其它障碍物的距离减小到一确定的、取决于车辆的速度的值以下时，自动使车辆制动。

许多车辆交通事故归因于相应的驾驶员的注意力不集中。由于走神、精神不集中、疲劳或打瞌睡会导致出现驾驶员的注意力不集中。用于识别驾驶员的注意力不集中的驾驶员辅助系统相应地需要高度专业化的人机接口。

因此DE 10 2015 011 522 A1公开一种用于车辆的驾驶员辅助装置，该驾驶员辅助装置包括具有内置在车辆的方向盘内的摄像机的图像检测装置。该摄像机基本上对准驾驶员的头部，以便针对驾驶员的注意力不集中或疲劳而检测重要的参数，像驾驶员的眨眼、闭眼、视角、头部倾斜和/或头部运动。当识别到驾驶员的注意力不集中或疲劳时，可以触发相应的报警。

由US 2011/0235919 A1已知一种类似装置，其为了识别眼睛的打开/闭合而包括摄像机和控制单元并且可以用在车辆中，以便确定驾驶员是否打瞌睡。除了眼睛的打开程度之外，该装置还分析了驾驶员的整个面部表情，以便当驾驶员的面部表情具有清醒状态中的闭眼或近似闭眼时，避免错误地确定打瞌睡。

相应地还已知驾驶员辅助系统，该驾驶员辅助系统的作用首先在于，既把车辆的功能的操控本身设计得更统一和直观也使得除了驾驶员外也至少部分地允许其他车辆乘员实现该操控。例如，其他车辆乘员能够通过相应的辅助系统实现舒适地操作娱乐系统、例如在车辆中安装的无线电设备或音乐设备。这种驾驶员辅助系统当然需要相应地设计复杂的人机接口。

DE 10 2014 218 457 A1公开一种可携带的存储器单元，其具有用于与车辆的驾驶员辅助系统的传感器的数据端口连接的处理器。存储器单元能与驾驶员辅助系统的不同的传感器连接且包括人机接口以用于和车辆乘员互动，该人机接口具有用于光学监控车辆空间的摄像机、用于车辆空间的照明或用于输出光信号的光源、用于声学监控车辆空间的麦克风、用于输出声学信号的扩音器和/或用于检测黑暗中车辆空间中的车辆乘员的雷达传感器。借助于摄像机能够检测确定的车辆乘员的手势或表情，以便确定车辆的待操控的功能。为此，必须通过语音指令激活对确定的车辆乘员的手势-或表情检测。当可携带的存储器单元被内置到车辆的钥匙中时，还可以规定，仅当借助于语音识别和/或面部识别成功地认证了驾驶员之后才允许启动车辆。

然而目前为止还不能使不同的车辆乘员、也就是说驾驶员和至少副驾驶或其他同乘者同时或时间上交叉地通过共同的人机接口与车辆互动。

发明内容

因此本发明的目的在于，提供一种具有改进的人机接口的车辆供使用，该改进的人机接口避免了所述缺点且实现了不同的车辆乘员同时或时间上交叉地与车辆的互动。此外，本发明的目的还在于，给出一种用于由不同的车辆乘员同时或时间上交叉地操控车辆的功能的方法。

本发明的主题是一种车辆，所述车辆具有多个功能设备，所述车辆具有用于以表情和手势来操控车辆的设备的功能的人机接口。所述人机接口包括用于检测车辆的特定的乘员的摄像机以及与摄像机连接的控制单元。

在一个实施方案中，控制单元被构造为用于，从由摄像机检测到的乘员图像序列中提取乘员的面部表情和手势并把特定乘员的提取的面部表情和提取的手势彼此组合，以便确定车辆的待操控的功能。当车辆已经具有用于检测车辆空间的摄像机以及控制单元时，则只需要在车辆的控制单元中安装特殊的软件模块以用于实现根据本发明的车辆。软件模块能够包括图像处理模块、操控模块和学习模块(机器学习引擎)，它们通过分别相应的接口彼此相互作用。此外，在控制单元中能够设置数据存储器，学习模块能够以读取和/或写入的方式访问该数据存储器。

表情和手势的组合相对于分别采用表情或手势本身来说扩展了乘员的表达可能性并容许了在与车辆的设备互动时较高的差异度以及实现了较低的错误率。根据本发明的人机接口尤其也会适用于无听觉人士。基于表情和手势表达的组合来区分他们的手语的表达。

此外，能够根据表情和手势的组合很好地区分车辆的多个乘员，以便即使当其他车辆乘员同时或时间上交叉地以手势与车辆互动时，也确保特定乘员、例如驾驶员不受干扰地与车辆互动。

在一个实施方案中，人机接口被构造为用于，根据乘员的面部表情识别乘员以及根据乘员的面部表情和/或手势识别设备的待操控的功能。面部表情特别良好地适合于认证特定的乘员，也就是说用于其身份认证，而手势允许与车辆的直观的功能性互动。可以通过把面部表情和手势彼此组合起来以进一步区分和改进与车辆的功能性互动。

在一个实施方案中，人机接口包括用于存储特定乘员的互动特征的数据存储器，该互动特征包括乘员的识别到的面部表情和识别到的手势的组合分别与设备的功能的多个配对。借助于数据存储器能够实现人机接口的学习功能。在特定乘员与车辆互动期间，人机接口在数据存储器中存储了特定乘员的典型的面部表情和手势。基于存储的表情和手势数据可以显著减小特定乘员错误控制的风险。每个车辆乘员的表情和手势数据的组合能够和设备的待操控的功能一起被汇编在个性化的互动特征中。同时可以由特定乘员决定面部表情和/或手势，其想要用该面部表情和/或手势操控车辆的特定设备的特定功能。

在一个优选的实施方案中，车辆具有与控制单元连接的通信单元，该通信单元被设计为用于和布置在车辆外部的服务器(汽车后端)无线通信，以便把车辆的乘员的存储在服务器的数据存储器中的互动特征——尤其在乘员同意的情况下——载入到控制单元中或者把车辆的乘员的互动特征——尤其在乘员同意的情况下——存储在服务器的数据存储器中。换句话说，使用不同车辆的车辆乘员不必重新训练每个人机接口学习其表情或手势表达的个性化特性。因此，车辆乘员能够例如容易地从车队的所有车辆访问其通过训练人机接口产生的互动特征。这可以用在较大的企业中，然而也可以用在汽车共享(CarSharings)的范围内。在本发明的这方面意义上的服务器也是计算机中心、分布式计算机中心、云或计算机群。

在人机接口的一个实施方案中，特定乘员是车辆的驾驶员和/或车辆中的同乘者。常见的车辆的控制要求驾驶员与车辆的广泛的互动。因此在这种车辆中，驾驶员大多从根据本发明的人机接口获益。此外，例如人机接口还实现了，在驾驶员操控车辆的安全相关的设备的同时，车辆的副驾驶或其他同乘者能操控车辆的娱乐设备。具有高度自动化或全自动化的自主行驶功能的车辆降低了对驾驶员的互动要求，从而在这种车辆中，与驾驶员互动相比，车辆的其他乘员的互动更为重要。

本发明的另一个主题是一种用于尤其借助于根据本发明的人机接口通过车辆的特定乘员以表情和手势来操控车辆的设备的功能的方法。

在根据本发明的方法中，借助于摄像机连续地实时拍摄特定乘员的图像序列。为此，由摄像机检测车辆的内部空间，车辆的驾驶员和可能还有其他乘员停留在该内部空间中。分析拍摄到的图像序列并借助于安装在车辆中的软件模块分别单独地从实时图像中提取特定乘员的面部表情和手势。在此，把在实时图像中检测到的面部表情和手势基于在实时图像中的相对空间布置分配给车辆的乘员。

根据本发明，把乘员的提取到的面部表情和手势彼此组合，以便确定车辆的待操控的功能。将表情的和手势的表达组合在一起能够减小错误操控的风险。除此之外，可以很好地在组合中区分开车辆的不同乘员的表情的和手势的表达。

随后操控车辆的确定的功能。换句话说，人机接口把车辆的特定乘员的识别到的面部表情和识别到的手势的组合阐释为发送给车辆的指令并自动操控车辆的设备的相应的功能。

在所述方法的一个实施方案中，根据面部表情识别乘员以及根据乘员的手势识别车辆的待操控的功能。面部表情尤其适合于认证特定乘员，也就是说用于其身份认证，而手势允许了特定乘员与车辆的直观的功能性的互动且更确切地说表达了待操控的车辆功能。然而面部表情和手势的不同权重不影响本发明的保护范围。

在所述方法的一个优选实施方案中，基于乘员的对应于面部和手部的、可见的和空间上分开的皮肤区域进行面部表情和手势的单独提取。在大多数情况下，可见的皮肤区域可以根据其颜色与衣物覆盖的身体区域区分开。通常面部和手部表现为车辆乘员的唯一可见的皮肤区域，而其它身体区域被衣物覆盖。相应地可以考虑皮肤和衣物之间的颜色对比以识别和提取面部表情和手势。

在所述方法的另一个实施方案中，借助于表情识别算法确定面部表情和/或借助于手势识别算法确定手势。这种用于识别表情和/或手势的算法能够包括在软件模块中且从实时图像中确定面部比例或面部表情和/或手位置或手势并彼此配对。

在所述方法的一个实施方案中，借助于用于机器学习的算法处理乘员的面部表情和手势，以便根据面部表情和/或手势更好地识别特定乘员。这种算法可以包括在软件模块中。借助于机器学习能够在不可避免的天然的不确定性的情况下仍然可靠地确定乘员的表情和手势表达并且根据识别到的表情和手势表达可靠地确定车辆的乘员。

在所述方法的一个实施方案中，乘员的识别到的面部表情和识别到的手势的组合与车辆设备的功能的多个配对被汇编在互动特征中。这种互动特征被分配给特定乘员并包括特定乘员的典型的面部表情和手势以及与之配对的待操控的设备功能。

在所述方法的另一个实施方案中，在特定乘员同意的情况下，借助于设置在车辆中的通信单元把互动特征存储在布置在车辆外部的数据存储器中和/或从布置在车辆外部的数据存储器中载入所述互动特征。当互动特征被存储在车辆外部时，其可被特定乘员在不同的车辆中使用。因此可以省去分别在不同的车辆中多次训练人机接口。必要时还能够在互动特征中存储特定乘员的其它数据以用在不同车辆中。换句话说，通过该实施方案实现了一种以乘员为中心的、用于操控车辆功能的方法，该方法相对于以车辆为中心的方法例如对于由企业的多个同事共同使用的车辆的车队来说是有利的。

附图说明

根据车辆的和方法的相应的实施方案在附图中示意性示出本发明并参考附图进一步描述本发明。附图示出：

图1示意性示出根据本发明的车辆的实施方案；

图2以框图示出根据本发明的车辆的控制单元的实施方案；以及

图3以流程图示出根据本发明的方法的实施方案。

附图标记列表：

10 车辆

11 设备

12 设备

13 设备

14 通信单元

20 乘员

21 乘员

30 人机接口

31 摄像机

32 摄像机

33 显示单元

40 控制单元

41 图像处理模块

42 操控模块

43 学习模块

44 数据存储器

45 数据存储器

50 服务器

51 数据存储器

100 方法

110 单独提取面部表情和手势

120 根据面部表情识别乘员

130 根据面部表情识别待操控的功能

140 根据手势识别待操控的功能

150 根据面部表情和手势的组合识别待操控的功能

160 操控功能

具体实施方式

图1示意性示出根据本发明的车辆10的实施方案。车辆10包括多个设备11、12、13，为了清楚仅仅示出其中三个。设备11、12、13可以是车辆照明装置、刮水器设备、空调设备、导航仪、娱乐设备等。

此外，车辆10还具有人机接口30(Human Machine Interface，HMI)。所述人机接口30包括两个摄像机31、32，所述摄像机对准车辆空间，以便检测车辆10的特定乘员20、21。示出的特定乘员20、21是车辆10的驾驶员20和同乘者21、例如车辆10中的副驾驶。然而人机接口30也可以如此设计，使得其仅仅检测驾驶员20、仅仅检测特定同乘者21或者还有额外的其他未示出的同乘者。此外，人机接口30包括显示单元33，在该显示单元上向特定乘员20、21显示例如设备11、12、13的运行状态。

人机接口30还包括控制单元40。控制单元40与摄像机31、32和显示单元33连接且被构造为用于，为特定乘员20、21实现同时以表情和/或手势来操控设备11、12、13的功能。

此外，车辆10具有与控制单元40连接的通信单元14。通信单元14被设计为用于与服务器50(汽车后端)无线通信，以便在服务器50的数据存储器51上存储数据或者从服务器50的数据存储器51载入数据。服务器50布置在车辆10外部且例如可以中央/集中布置在车辆10的制造商处或者布置在具有车辆10的车队的企业的总部中。

图2以框图示出根据本发明的车辆10的控制单元40的实施方案。在控制单元40中安装有图像处理模块41。图像处理模块41包括表情识别算法和手势识别算法并被构造为用于，基于特定乘员20、21的对应于面部和手部的、可见的和空间上分开的皮肤区域从由摄像机31、32检测到的图像序列中提取乘员20、21的面部表情和手势。

在控制单元40中还安装有操控模块42。操控模块42被构造为用于，由提取的面部表情和提取的手势的组合确定设备11、12、13的待操控的功能，操控设备11、12、13的功能，并在显示单元33上显示被操控的设备11、12、13的运行状态。

此外，在控制单元40中安装有学习模块43(机器学习引擎)。学习模块43包括用于机器学习的算法且被构造为用于识别、学习被提取的面部表情和被提取的手势，并将其分配给特定乘员20、21。特定乘员20、21的识别到的面部表情与识别到的手势的组合用于区分地且可靠地确定车辆10的设备11、12、13的、被特定乘员20、21期望的、待操控的功能。在此，学习模块43根据面部表情识别特定乘员20、21，而且？根据乘员20、21的面部表情和手势识别车辆10的设备11、12、13的待操控的功能。

此外，控制单元40包括第一数据存储器44，所述第一数据存储器被构造为用于存储和/或读取特定乘员20、21的互动特征。乘员20、21的互动特征包括多个配对，每个配对分别为乘员20、21的识别到的面部表情和识别到的手势的一个组合与车辆10的设备11、12、13的一个功能的配对。学习模块43能够对第一数据存储器44进行访问，以便建立并保持更新存储在第一数据存储器中的、车辆10的乘员20、21的互动特征。备选地或附加地，能够在第一数据存储器44中本地存储和更新由服务器50的数据存储器51载入的互动特征。

控制单元40还包括第二数据存储器45，该第二数据存储器被构造为用于，为学习模块43提供关于面部表情和手势的参考数据。参考数据来源于大量的人员并形成用于比较目的的数据库。对于学习模块43来说，由于第二数据存储器45的参考数据使得对提取的面部表情和手势的识别变得简单。

图3以流程图示出根据本发明的方法100的实施方案。在人机接口30的运行期间，借助于摄像机31、32连续地实时拍摄特定乘员20、21的图像序列。由图像处理模块41连续地分析拍摄到的图像序列。通过该分析由实时图像中分别单独地提取110特定乘员20、21的面部表情和手势。

面部表情和手势的单独提取110基于相应的乘员20、21的、对应于面部和手部的、可见的和空间上分开的皮肤区域进行。同时借助于包括在图像处理模块41中的表情识别算法确定面部表情以及借助于包括在图像处理模块41中的手势识别算法确定手势。

根据提取的面部表情识别120特定乘员20、21。设备11、12、13的待操控的功能首先分别独立地根据提取的面部表情识别130以及根据提取的手势识别140。为了区分地和/或可靠地识别设备11、12、13的待操控的功能，则使识别到的面部表情和识别到的手势彼此组合150。随后自动地操控160由乘员20、21期望的、设备11、12、13的功能。

借助于在学习模块43中执行的用于机器学习的算法来处理乘员20、21的面部表情和手势。由此对人机接口30来说实现了学习特定乘员20、21的面部表情和/或手势，在相应的训练之后越来越可靠地识别车辆10的设备11、12、13的相应待操控的功能以及同时容忍乘员20、21的表情和手势的不可避免的天然的不确定性。

特定乘员20、21的识别到的面部表情和识别到的手势的组合与车辆10的设备11、12、13的功能的多个配对被汇编为乘员20、21的互动特征并存储在控制单元40的第一数据存储器44中。

分别在特定乘员20、21同意的情况下，可以借助于通信单元14把来自于第一数据存储器44的互动特征存储在服务器50的数据存储器51中或者把来自服务器50的数据存储器51的互动特征载入第一数据存储器44中。

根据本发明的人机接口30通过如下方式为车辆10的乘员20、21提供了完全全新的互动结果：该人机接口允许乘员从其在车辆10中相应的座椅位置出发能够特别舒适、直观且可靠地与车辆10的设备11、12、13互动。除了驾驶员20外，同乘者21——与驾驶员20同时或者时间上交叉地——以表情和手势来操控车辆10的特定设备11、12、13。通过表情和手势控制的组合，乘员20、21与设备11、12、13的待操控的功能的错误配对被显著减少或者甚至完全排除。

Claims (11)

1.一种车辆(10)，所述车辆具有多个功能设备(11、12、13)，所述车辆还具有用于以表情和/或手势来操控设备(11、12、13)的功能的人机接口(30)，其特征在于，所述人机接口(30)包括用于检测车辆(10)的特定乘员(20、21)的摄像机(31、32)以及与摄像机(31、32)连接的控制单元(40)，所述控制单元被构造为用于，从由摄像机(31、32)检测到的乘员(20、21)图像序列中提取乘员(20、21)的面部表情和手势并把特定乘员(20、21)的提取的面部表情和提取的手势彼此组合，以便确定设备(11、12、13)的待操控的功能。

2.根据权利要求1所述的车辆，其特征在于，所述人机接口(30)被构造为用于，根据乘员(20、21)的面部表情识别乘员(20、21)以及根据乘员(20、21)的面部表情和/或手势识别设备(11、12、13)的待操控的功能。

3.根据权利要求1或2所述的车辆，其特征在于，所述人机接口(30)包括用于存储特定乘员(20、21)的互动特征的数据存储器(44)，所述互动特征包括乘员(20、21)的识别到的面部表情和识别到的手势的组合与设备(11、12、13)的功能的多个配对。

4.根据权利要求3所述的车辆，其特征在于，所述车辆具有与控制单元(40)连接的通信单元(14)，所述通信单元被设计为用于和布置在车辆(10)外部的服务器(50)无线通信，以便把车辆(10)的乘员(20、21)的存储在服务器(50)的数据存储器(51)中的互动特征——尤其在乘员同意的情况下——载入到控制单元(40)中或者把车辆(10)的乘员(20、21)的互动特征——尤其在乘员同意的情况下——存储在服务器(50)的数据存储器(51)中。

5.根据前述权利要求中任一项所述的车辆，其特征在于，所述特定乘员(20、21)是车辆(10)的驾驶员(20)和/或车辆(10)中的同乘者(21)。

6.一种用于通过车辆(10)的特定乘员(20、21)以表情和手势来操控车辆(10)的设备(11、12、13)的功能的方法(100)，所述车辆尤其是根据前述权利要求中任一项所述的车辆，其中

-借助于摄像机(31、32)连续地实时拍摄特定乘员(20、21)的图像序列，

-分析拍摄到的图像序列并借助于所述车辆(10)的控制单元(40)从实时图像中分别单独提取(110)特定乘员(20、21)的面部表情和手势，

-把乘员(20、21)的提取到的面部表情和手势彼此组合(150)，以便确定设备(11、12、13)的待操控的功能，以及

-对应于所确定的功能来操控(160)所述设备(11、12、13)。

7.根据权利要求6所述的方法，其特征在于，根据面部表情识别(120)乘员(20、21)和/或根据乘员(20、21)的面部表情和/或手势识别(130、140)设备(11、12、13)的待操控的功能。

8.根据权利要求6或7所述的方法，其特征在于，分别基于乘员(20、21)的对应于面部和手部的、可见的和空间上分开的皮肤区域进行面部表情和手势的单独提取，其中，尤其借助于表情识别算法来识别面部表情和/或借助于手势识别算法来识别手势。

9.根据权利要求6至8中任一项所述的方法，其特征在于，借助于学习模块(43)处理乘员(20、21)的面部表情和手势，以便学习特定乘员(20、21)的面部表情和/或手势。

10.根据权利要求6至9中任一项所述的方法，其特征在于，乘员(20、21)的识别到的面部表情和识别到的手势的组合与车辆(10)的设备(11、12、13)的功能的多个配对被汇编在互动特征中，尤其在特定乘员(20、21)同意的情况下，借助于设置在车辆中的通信单元(14)把所述互动特征存储在布置在车辆(10)外部的服务器(50)的数据存储器(51)中和/或从布置在车辆(10)外部的服务器(50)的数据存储器(51)中载入所述互动特征。

11.根据权利要求10所述的方法，其特征在于，把所述特定乘员(20、21)的互动特征存储在数据存储器(51)中并从所述数据存储器(51)中载入所述互动特征以选择性地在多个不同的车辆(10)中使用，尤其是在企业车队的车辆(10)中或汽车共享池的车辆(10)中使用。