CN105759955B

CN105759955B - 输入装置

Info

Publication number: CN105759955B
Application number: CN201511035963.6A
Authority: CN
Inventors: M·朗根贝格; E-S·瓦克; G·德伯尔; P·德罗伊
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2014-12-04
Filing date: 2015-12-04
Publication date: 2023-07-04
Anticipated expiration: 2035-12-04
Also published as: FR3029655B1; CN105759955A; ITUB20156045A1; DE102014224898A1; DE202015100273U1; FR3029655A1

Abstract

本发明涉及一种尤其机动车的输入装置，其具有用于无接触地检测使用者的手的至少一个手指的位置和/或位置改变的相机传感器，其中该输入装置被构造用于，依据所检测的手指的位置和/或位置改变识别输入或对输入进行判决并且实施该输入。

Description

输入装置

技术领域

背景技术

在当今的机动车中使用以下操作方案，其中输入装置和显示装置相邻靠近地布置。通常，对此设置所谓的触摸灵敏的显示屏和所谓的触摸屏，其中操作和显示在相同的部位上进行。通常，显示装置安装在机动车的操作面板或仪表板的上部的区域中，因此驾驶员为了读取不必过强地将其视线从交通事件移开。

在其它的车辆中，在驾驶员的扶手件的区域中存在触摸板、即触摸灵敏的传感器，并且在仪表板的区域中的通常的部位上存在显示装置。在传感器的操作的情况下的可视的对驾驶员的反馈在此能够以通过显示装置展示的、所标明的显而易见的手的形式进行。由此，驾驶员能够舒适地操纵输入装置，而还以有利的视角为驾驶员呈现显示。在该情况中同样能够考虑的是，显示装置不是构造为显示屏而是构造为抬头显示器(Head-Up-Display)。

传统的触摸灵敏的传感器或触摸板需要通过使用者的触摸以用于其操纵，而也已知以下输入装置，其无接触地识别或记录输入。在此，例如借助于深度传感器在空间中识别使用者的手、手指和/或手臂的位置并且对姿势操作进行分析。对手指姿势而言，需要高的分辨率，该分辨率能够利用传感器、诸如飞行时间(Time-of-Flight)传感器、利用立体相机、结构化的光或类似的达到。对于手姿势或身体姿势而言，也能够使用具有较小的分辨率的传感器，诸如雷达传感器。通过一个或多个传感器，因此检测使用者的手的位置或位置改变，其中依据所检测的位置和/或位置改变识别输入或对输入进行判决并且实施该输入。使用者因此利用其手的运动或利用其手的至少一个手指的运动为输入装置示出，使用者想要进行何种输入。输入装置借助于手/手指运动识别所期望的输入并且实施该输入，其方式是：该输入装置实施通过所述运动所预先设定的指令并且例如改变机动车的运行参数。因此，能够例如依据使用者的手指的位置和位置改变对“提高音量”的输入进行判决并且由输入装置来实施，其方式是：该输入装置提高例如机动车的娱乐系统的音量。

从公开文件US 2012 010 5613 A1中已经已知的是，借助于相机传感器拍摄手姿势或手指姿势，并且依据所识别的姿势控制机动车的功能。也已经从公开文件EP 2 441635 A1中已知类似的系统。该公开文件还公开了在自由的空间中的指尖的位置改变的时间曲线的探测。

发明内容

具有权利要求1的特征的根据本发明的输入装置具有的优点是，在使用者的有意的滑动姿势和非经意的回位运动或回摆运动之间以简单的和节约资源的方式和方法进行区分。对此，由相机传感器检测的图像被分为多个区域，其中使用者的手指和/或手的运动仅当所执行的位置改变在相应的区域中满足了通过相应的区域所定义的前提条件或条件时，才作为姿势识别或被考虑用于确定输入。在此，根据本发明规定，在由相机传感器所检测的图像中确定中性区域，至少一个姿势区域邻接在该区域上，其中在姿势区域中进行的位置改变仅当该位置改变来自于中性区域中时才作为输入被考虑。因此，使用者必须首先将手定位在中性区域中并且然后为了执行滑动姿势尤其将其手指从中性区域中向外移动到姿势区域中，以便其滑动姿势作为有意的滑动姿势被识别并且与之关联的活动通过输入装置来实施。尤其是，为使用者在显示装置上至少示意显示在相机传感器的检测区域中并且因此在由相机传感器检测的图像中的该使用者的手的位置，其中额外地适宜地显示中性区域和至少一个姿势区域，使得使用者能够轻松定向并且执行滑动姿势。在此，优选地选择中性区域的大小，使得与有意的滑动姿势相比通常更小得到的回摆姿势能够在中性区域中进行。由此避免，在回摆姿势中，手的手指可能无意地达到相邻的姿势区域中并且在那里作为输入被计算。因此对使用者而言可能的是，实施明确的滑动姿势，以便操作输入装置，或借助于输入装置操纵或操作机动车的其它装置。

按照本发明的一个优选的改型方案规定，构造输入装置，使得姿势区域中的位置改变仅当该位置改变沿从中性区域离开的方向进行时才被考虑作为输入。由此保证，手或手的手指的回位运动同样不被考虑作为输入姿势。

此外优选地规定，依据在所检测的图像中的手的位置确定中性区域，使得至少基本上静止的手至少基本上位于中性区域内。由此实现，尤其指尖的运动始终从中性区域向外进行，或在中性区域中开始。在此，中性区域尤其是矩形地构造，使得该区域能够完全地容纳使用者的伸展的手。优选地，中性区域的大小适配于在图像中所检测的手的大小。由此，例如也能够考虑，使用者的手与相机传感器多近。由此进一步提高了系统的可变性和鲁棒性。只要为使用者显示中性区域，则中性区域能够替代地作为在相机传感器的图像中的固定的区域来确定。

按照一个优选的改型方案规定，中性区域大于手地设定，使得姿势区域与位于中性区域中的手间隔。如之前已经提到的那样，由此保证，在引入滑动姿势的情况下，首先必须消除一块中性区域，直到指尖到达姿势区域中，由此不经意的姿势或者回摆运动在识别输入的情况下不被考虑。

特别优选地规定，中性区域随着手一同运动。由此能够尤其省略在由相机传感器所检测的图像中的手的显示。通过中性区域一同运动始终保证，使用者开始从中性区域向外的滑动姿势。对此优选地规定，中性区域以比典型的滑动姿势更小的速度运动，以便避免，中性区域随着滑动姿势一同运动并且由此不将滑动姿势识别为输入。替代地或附加地可以规定，运动的区域锚定在手的在执行滑动姿势的情况下通常比尤其指尖更慢地运动的点上。

对此，尤其是规定，确定手的重心并且中性区域依据手的重心的位置/位置改变一同运动。尤其是规定，确定手的手关节作为手的重心。这可以通过分析相机传感器的图像数据以已知的方式和方法进行。与手关节相比较，手指在滑动姿势中明显更加快速地移动，使得存在在手指和手关节之间或在手指和手的重心之间的、用于上文描述的方法的速度差。中性区域最大以手关节的或手的重心的速度运动，而手指能够以提高的速度离开中性区域并且进入姿势区域中，使得在确定输入的情况下考虑那里进行的一个或多个位置改变。

此外优选地规定，与中性区域邻接地设立至少两个彼此在中性区域处对置地布置的姿势区域。两个姿势区域如上文描述的那样运行或在分析滑动姿势的情况下使用。因此，使用者能够从中性区域起在两个方向上执行滑动姿势，以便例如通过快捷方式菜单向上运动，其方式是：该使用者将滑动姿势执行到一个姿势区域中，或者向下运动，其方式是：该使用者将滑动姿势执行到对置的、另外的姿势区域中。适宜地，在与手关节相对置的侧上同样设置与中性区域邻接的姿势区域。

此外优选地规定，如果在多个姿势区域中检测到位置改变，则仅为输入考虑在以下姿势区域中进行的一个或多个位置改变，在该姿势区域中检测到所述位置改变中的最多的位置改变。此外由此保证，如果使用者要执行非常大的回摆运动，在此期间，该使用者用其手到达他本来绝不愿意到达的姿势区域中，则仍然执行正确的输入。特别优选地，基于以下向量数据计算或确定位置改变，所述向量数据基于由相机传感器检测的图像来确定。由此能够确定明确的运动方向并且与姿势区域之一的例如允许的运动方向进行比较，以便保证位置改变的快速的分析和由此所期望的输入的快速的识别。

附图说明

在下文中应该借助于附图具体地阐释本发明。其中：

图1示出具有有利的输入装置的机动车的内部空间，并且

图2示出由输入装置的相机传感器所检测的图像。

具体实施方式

图1示出了这里未具体展示的机动车1的内部空间的示意图，该机动车具有用于无接触地输入控制指令的输入装置2。输入装置还具有无接触地工作的相机传感器3以及显示单元4。显示单元4置入地布置在仪表板中或机动车1的操作面板中。显示单元4构造为显示屏、尤其显示器并且能够例如是机动车1的导航系统或娱乐系统的组成部分。也能够考虑的是，显示单元4替代地或附加地被构造为抬头显示器(HUD)。相机传感器3优选地构造为二维工作的具有用虚线展示的检测区域的摄像机或相机装置。摄像机在此优选地被定向，使得它指向机动车1的中部的扶手件5的前侧的端部。扶手件5本身不具有真实的输入表面，在该输入表面上，驾驶员借助于这里仅示意展示的手6通过输入表面的接触能够输入指令。

代替于此，将输入装置2构造用于检测在空间中的手6的至少一个手指的位置和/或位置改变并且据此对输入进行识别并且实施该输入。对此，由相机传感器所检测的图像数据如下文中所描述的那样来分析并且被用于操作输入装置2。

图2示例性地示出由传感器3所检测的图像，并且就此而言是检测区域7。使用者的手6位于所检测的图像中。输入装置2能够实现，使用者在传感器3的检测区域中能够执行用于操作输入装置2的滑动姿势，其中忽略回摆运动和返摆运动。对此，在下文中所描述的方法考虑人类工程学地由手关节实施的滑动姿势。为了在有意的滑动姿势和非经意的回位运动之间区分，所述方法利用以下事实，在滑动的情况下，使用者的手6的手关节7或多或少地保持不动，并且手面、并且尤其是手6的手指8相对于手关节移动。如果在所展示的实施例中，执行向左的滑动姿势，如通过箭头9所表明的那样，则从右向左进行在手关节7的左侧上的滑动运动。回位运动因而从左向右进行并且因此首先不与向右的滑动进行区分。但是，通过所述运动仅仅进行至达到中性部位或在手关节7的左侧上(而非右侧上)的起始部位，这样的回位运动可以与向右的有意的滑动区分。在此前提条件是，滑动姿势相对于尽可能不动的基准点、诸如当前相对于手关节7进行，并且在手的回位中不明显地超越中性部位。

在图2中所展示的在手上的十字说明了相对不动的手中心或手6的重心10。为重心10在所检测的图像中分配中性区域11。中性区域11在当前的实施例中矩形地构造并且如下地定向和布置，使得手6基本上位于中性区域11的内部。在中性区域11中执行的位置改变或运动由信号装置2忽略。如果执行滑动姿势，则重心10也运动，但是在其表现和宽度上比具有同样的手6的所伸展的手指8的手面没那么强地运动。围绕重心10的足够大的中性区域11赋予信号装置2额外的鲁棒性，因为中性部位通过空间上伸展的区域来代表，并且因此不期望的滑动姿势不被识别或不导致输入。

与中性区域11邻接地，当前设立分别在一侧上与中性区域11邻接的四个姿势区域12、13、14和15。姿势区域12到15当前同样构造为矩形。

为了仅执行向左的滑动姿势，则具有手指8的手面必须从中央的区域中或从中性区域11中被引导到左侧的图像区域中、即区域12中。如果在该图像区域中探测到来自中性区域11方向上、按照箭头9进行的位置改变，则滑动姿势被识别为左滑动。在回位运动中，在相同的姿势区域12中探测到右运动。但是，在姿势区域12中信号装置2仅将来自中性区域11的方向上进行的位置改变识别为输入。在姿势区域12中的右运动因此是不允许的运动，该运动在识别输入的情况下不被信号装置2考虑。类似地，在“右滑动”的情况下检测到姿势区域14中的右运动，而在回位运动中在姿势区域14中进行的左运动是不允许的并且因此也不被考虑。

姿势区域12到15因此能够被理解为在所允许的滑动方向方面的一种单行道。在此，姿势区域12和14布置在中性区域11的对置的侧上。如果在多个姿势区域中、尤其在彼此对置的姿势区域12和14中检测到分别在允许的方向上进行的位置改变，则适宜地在识别输入的情况下仅考虑在以下姿势区域12或14中的位置改变，在该姿势区域中检测到最多的运动或位置改变。

为了执行所述方法，信号装置2具有这里未具体展示的、基于传感器3的视频图像执行运动探测的计算单元。对此，确定在图像中的光学的流动。由此作为结果得到了一定量的向量，所述向量对如在图2中所示的图像中的确定的图像点而言，相对于时刻t绘出了在时刻t+1的在图像平面中的偏移。所述量的向量在下文中被称为2D流动场并且代表在传感器3的检测区域2中的手6的运动。计算单元执行或实施在非易失性存储器上存放的算法，该算法基于该运动模型在每个时间步骤中确定手的尽可能不动的基准点、即之前所描述的重心10。这优选地通过以下方式进行，即从第一所得的流动场中首先在流动向量的长度(运动强度)方面进行带通过滤。由此，对于其它的计算仅还观察其长度位于第一阈值S₁之上但是位于第二阈值S₂之下的流动向量。在此，自动地基于流动场统计来确定阈值。例如能够选择阈值，使得该阈值对应百分之5和95。这意味着，在流动场中的流动向量的5％具有比第一阈值S₁更小的长度，并且流动向量的5％具有比第二阈值S₂更大的长度。通过第一阈值S₁，抑制例如由像素噪声引起的运动噪声。此外，利用第二阈值S₂的过滤消除了指尖的相对大的运动，所述相对大的运动在滑动时相对于较小活动的手中心(重心10)出现。然后优选地如下计算所过滤的流动场的重心：

在此，N表示在所过滤的流动场中的流动向量的数目，并且p(x_i，y_i)表示在图像坐标中的相应的流动向量j的空间点(Aufpunkt)。为了改善所计算的重心10的鲁棒性或惯性，该重心额外地关于时间被过滤。也就是说，在固定定义的滑动的、例如10个时间步骤的窗中，形成针对该时间窗所确定的重心的算术平均值。替代地也可以规定，使用更复杂的过滤办法、诸如高斯过滤，以便进一步提高鲁棒性。

然后相对于所确定的重心10确定用于不同的姿势区域和中性区域的图像坐标。在此，能够同样动态地借助于所过滤的流动场确定中性区域的最佳的延展。为此，首先计算围绕所过滤的流动场的、边界(边界框)形式的延展。然后相对于所过滤的流动场的所确定的延展(例如在每个方向上的延展的90％)确定围绕重心10的中性区域11。在按照图2的当前的实施例中，对重心10的右侧、即中性区域11的右边缘而言，选择较小百分比的延展，因为基于手生理学，向上的滑动运动相比于在其它的三个方向上的滑动具有较小的幅度。确定姿势区域12到15，使得所述姿势区域邻接于中性区域，如之前已经描述的那样。

此外，计算单元实施以下算法，该算法探测具有暂时最大的运动或具有暂时最大数量的位置改变的姿势区域。这有利地通过以下方式实现，即在每个时间步骤中，为姿势区域12到15中的每个计算所有的流动向量的平均长度。额外地，确定以下流动向量的数量，所述流动向量的长度位于第三阈值S₃之上，以便具有针对以下的度量，即快速运动的份额在该姿势区域中当前是多大。在此，优选地依据图像分辨率、传感器3的拍摄频率以及传感器3与相互作用平面的间距确定和恒定地选择第三阈值S₃。

针对以下姿势区域，在该姿势区域中不仅流动向量的平均长度而且“快速的”流动向量的数量最大，接下来进一步分析运动信息。对此，基本地从在该姿势区域中的所有的流动向量中，(优选以度)计算流动向量的平均的方向并且将其绘到单位圆的象限上。因此例如向左的运动对应从45°到135°的角度区域，向下到姿势区域15中的滑动对应从135°到225°的角度区域，向右到姿势区域14中的滑动对应从225°到315°的角度区域，并且向上到姿势区域13中的滑动对应从315°到45°的角度区域。

预定义的姿势顺序(Gestenalphabet)、即与不同的姿势相关联的活动，将所述四个象限中的一个分配给四个姿势区域12到15中的每个。为了识别向左的滑动姿势，因而必须识别例如在姿势区域12中的在从45°度到135°的角度区域中的运动。忽略在该区中的每个其它的运动。由此得到之前所描述的预先规定，即仅来自中性区域11的方向的运动被分析用于输入。类似地，这适用于姿势区域13、14和15的向下、向右和向上的滑动运动。

一般，滑动方向到单位圆上的象限的分配能够自由地被参数化，并且尤其取决于算法的具体的施行。此外，用于不同的方向的角度分辨率可以不等距离地并且任意地选择，以便例如在确定的方向上更加灵敏或最少灵敏地设计滑动姿势的识别。如果按照定义的姿势顺序在具有最大的运动的区中确定了允许的运动方向，则由输入装置2产生相应于姿势的事件，或调用或开始分配给姿势的活动。

取代通过纯粹的取平均数来计算在姿势区域中的流动方向，也能够设想的是，在平均的流动方向的计算中，将流动向量的方向信息利用其长度(运动强度)来加权。所描述的方法的前提是，在中性区域11中开始姿势。对此，必须在完成滑动运动之后，进行至中性区域中的回位运动，但是该回位运动本来就由大多数的使用者直觉地实施。如果回位运动的幅度或宽度如此地大，使得中性区域11完全地被横穿，则这导致回位运动不期望地识别为在对置的姿势区域中的姿势。姿势识别的鲁棒性因此能够额外地通过以下方式提高，即该回位运动明确地被一同建模。在该情况中，仅当在被识别的、正确的滑动运动之后，紧接着在预先设定的时间窗中同样识别相反的(回位)运动时，才开始所属的事件或识别所属的输入。在此，所述识别与不同的区域11到15无关。以这种方式，也能够鲁棒地忽视以下回位运动，所述回位运动的实施超过中性区域11进入到相邻的姿势区域中。在此，优选地依据传感器3的拍摄频率和回位运动的与本来的姿势的所期望的接近程度选择时间窗的大小。也能够设想的是时间窗对个别的使用者需求的适配。

通过检测手6的重心10，除了在识别输入的情况下鲁棒地“抑制”回位运动之外，此外在传感器3的检测区域7中的每个部位上的任意的滑动姿势的识别被覆盖，因为中性区域11随着手6的重心10一同运动。

作为扩展能够设想的是，除了识别简单的单向的滑动姿势之外，将姿势顺序或待识别的输入扩展成组合的滑动姿势。通过将检测区域划分成与重心10耦合的区域11到15，能够例如将左右手势从左滑动与紧接的回位运动区分，因为除了纯粹的方向信息之外现在也能够从粗略采样的位置信息中提取额外的用途。因而，所希望的手势导致很快依次出现的在姿势区域12中的左运动跟随着到姿势区域14中的右运动，其中能够用小地时间上的时延识别这样的手势。与此类似地，其它的复杂的滑动姿势能够作为所检测的运动方向和所属的姿势区域的总和来定义。不同的、对于输入而言待评价的姿势、即姿势顺序，适宜地在开始运行之前作为模型储存在非易失性的存储器中，并且与当前检测的姿势相比较地来考虑，以便对相应的输入进行判决。

Claims

1.一种输入装置（2），其具有用于无接触地检测使用者的手（6）的至少一个手指（8）的位置和/或位置改变的相机传感器（3），其中所述输入装置（2）被构造用于，依据至少一个手指（8）的位置和/或位置改变识别并且实施输入，其特征在于，输入装置（2）在由相机传感器（3）所检测的图像中确定中性区域（11），至少一个姿势区域（12-15）邻接于所述中性区域，其中仅当位置改变来自于中性区域（11）时，输入装置（2）才将在姿势区域（12-15）中进行的位置改变考虑为输入，

其中所述输入装置依据在所检测的图像中的手（6）的位置确定中性区域（11），使得至少基本上静止的手（6）至少基本上位于中性区域（11）的内部。

2.按照权利要求1所述的输入装置，其特征在于，所述输入装置是机动车（1）的输入装置。

3.按照权利要求1所述的输入装置，其特征在于，仅当以下位置改变在来自中性区域（11）的方向上进行时，所述输入装置才将在姿势区域（12-15）中的所述位置改变考虑为输入。

4.按照权利要求1至3之一所述的输入装置，其特征在于，所述输入装置将中性区域（11）比手（6）更大地设立，使得姿势区域（12-15）与至少基本上静止的手（6）相间隔。

5.按照权利要求1至3之一所述的输入装置，其特征在于，所述输入装置将中性区域（11）与手（6）一同运动。

6.按照权利要求1至3之一所述的输入装置，其特征在于，所述输入装置确定手（6）的重心（10）并且依据重心（10）的位置/位置改变将中性区域一同运动。

7.按照权利要求1至3之一所述的输入装置，其特征在于，所述输入装置与中性区域（11）邻接地设立至少两个彼此在中性区域（11）处对置地布置的姿势区域（12-15）。

8.按照权利要求1至3之一所述的输入装置，其特征在于，如果所述输入装置在多个姿势区域（12-15）中检测到位置改变，则所述输入装置仅考虑以下的位置改变用于输入，即所述位置改变在以下姿势区域（12-15）中进行，即在所述姿势区域中检测到最多的位置改变。