CN111095163A - 用于依据姿态来检测用户输入的方法和设备 - Google Patents

Abstract

在按照本发明的用于依据姿态来检测用户输入的方法中，检测图像数据并且依据所检测到的图像数据来执行分割，其中确定具有轮廓线（32）的对象（31）。依据对象（31）来确定参考点（33），而且针对在对象（31）的轮廓线（32）上的多个点来分别确定距参考点（33）的距离，而且依据所述距离来生成所测量的距离轮廓（37）。依据所测量的距离轮廓（37）来确定姿态，并且输出信号依据所确定的姿态来生成和输出。本发明还涉及一种用于依据姿态来检测用户输入的设备。该设备包括：检测单元（4），通过该检测单元能检测图像数据；以及分割单元（5），通过该分割单元，能依据所检测到的图像数据来执行分割，其中能确定具有轮廓线（32）的对象（31）。该设备还包括轮廓计算单元（6），通过该轮廓计算单元，能依据对象（31）来确定参考点（33），其中能针对在对象（31）的轮廓线（32）上的多个点来分别确定距参考点（33）的距离，并且能依据所述距离来生成所测量的距离轮廓（37）。该设备包括：分配单元（7），通过该分配单元，能依据所测量的距离轮廓（37）来确定姿态；和输出单元（8），通过该输出单元，输出信号能依据所确定的姿态来生成和输出。

Description

用于依据姿态来检测用户输入的方法和设备

技术领域

本发明涉及一种用于依据姿态来检测用户输入的方法。本发明还涉及一种用于依据姿态来检测用户输入的设备。

背景技术

在私人和职业生活的大部分地方使用的大量电子装置将关于其简单操作的技术研发作为优先事项。为此的方案是借助于姿态控制来进行操作，其中这里还存在创建能在日常生活中舒适使用的输入途径的挑战。

在DE 44 38 643 A1中所描述的用于借助于超声来进行对象识别的方法中，对工件进行定位和识别。为此，确定不同的反射轮廓，对它们进行比较允许得出有关对象表面的几何形状的说明。这些轮廓的走向还具有如下特征，这些特征被用于对工件进行分类和识别。

DE 198 02 261 A1提出了一种用于对数字化图像的时间序列进行信号处理的方法，其中识别对象并且分析这些对象的运动。为此，使用有时间延迟的神经元网络。

在DE 10 2015 103 022 A1中所描述的用于在三维机器视觉系统的视野中识别已知对象的方法规定：依据图像文件分两个步骤来确定特征，其中在这些步骤中对于与已知对象进行对照来说相关的搜索范围被缩小而且以这种方式使搜索变得容易。尤其是使用直方图，以便从图像文件中提取颜色和边缘方向的分布，还确定形状函数。

在DE 60 2004 004 048 T2中所描述的用于对象识别的方法中，对图像进行扫描，其中在扫描时所使用的窗的尺寸发生变化，以便探测不同尺寸的对象。在判断是否识别出对象时，依据窗尺寸来对多个估计进行计算和比较。

在WO 2012/088702 A1中所描述的用来提供用于姿态识别的机制的方法中，将图像序列划分成块并且针对这些块来确定运动状态。为了确定对象的运动方向，在依据这些块的运动状态来生成的直方图中观察边缘的运动。

WO 2013/085525 A1提出了用于姿态识别的技术，其中通过立体检测来减少在所检测到的图像中的待分析的像素的数目。为此，例如确定其中应识别对象的运动的图像区。

不过，在这些已知方法中的限制性因素常常是：为了可靠地识别出所检测到的姿态而必须应用巨大的计算能力，该巨大的计算能力尤其是在移动设备、比如在车辆技术的领域常常无法提供。

发明内容

因而，本发明所基于的任务在于：提供开头提到的类型的方法和设备，该方法和该设备能够实现对姿态的快速的、可靠的并且计算不那么密集的识别。

按照本发明，该任务通过具有权利要求1的特征的方法和具有权利要求15的特征的设备来解决。有利的设计方案和扩展方案从从属权利要求中得到。

在按照本发明的用于依据姿态来检测用户输入的方法中，检测图像数据。依据所检测到的图像数据来执行分割，其中确定具有轮廓线的对象。依据该对象来确定参考点，而且针对在该对象的轮廓线上的多个点来分别确定距该参考点的距离。依据这些距离来生成所测量的距离轮廓，而且依据所测量的距离轮廓来确定姿态。输出信号依据所确定的姿态来生成和输出。

在此，对姿态的识别有利地依据所测量的距离轮廓来进行，该距离轮廓可以依据特别简单的特征来表征。这导致：该方法可以特别快速地并且节省资源地也利用少量计算能力来实施。还可以将分辨率特别低的图像数据用于姿态识别。

就本发明而言，“姿态”被理解为：输入对象、例如用户的手或者其它身体部位的某个姿势；或者用该输入对象来实施的某个运动。在此，尤其是考虑输入对象在空间中的位置和/或取向。还可以规定：输入对象具有多个元素，例如手的手指，这些元素能在一定程度上彼此无关地运动，使得除了输入对象的姿势和/或运动之外，也可以考虑输入对象的元素的位置和取向。输入对象还可包括如下物品，该物品例如可以通过用户的手来引导并且被放置在空间中，例如铅笔或者其它物体。

姿态可以根据本身公知的方式来设计。这些姿态尤其是包括指姿态、擦姿态和在日常生活中使用的这种姿态，例如手转动、握姿态以及多个这种、必要时立即迅速地依次实施的姿态的组合。因而，通过姿态控制，向用户提供特别简单的并且直观的输入途径。

姿态在检测空间内被实施，尤其是在此用户不必接近确定的物品对象或者进行触摸。在其它实施例中规定：姿态包括对物品对象的触摸，其中该姿态在触摸、比如沿着触敏表面的触摸期间尤其是完全被检测。

姿态还可以分配有方向信息，该方向信息尤其是依据运动的方向或姿态的取向来确定。这种姿态可以类似于对模拟操作元件的操作那样形成，例如类似于推动操作元件或转动操作元件，其中然而物理操作元件实际上没有发生移动或转动，而是通过输入对象在检测空间内的运动仅仅来领会这种运动模式。用户通常可以特别好地觉察到这种姿态。这种方法还提供如下优点：用户不必像例如在开关或旋钮的情况下那样触摸某个表面区域。更确切地说，该用户将输入对象、比如他的手移动到检测空间中并且在那里实施相对应的姿态就足够。

在按照本发明的方法的一个设计方案中，所检测到的图像数据包括手的至少部分的影像而且姿态对应于这只手的伸开的手指的数目。由此，该姿态可以有利地借助于用户的手来实施，使得不必使用附加的输入对象。此外，姿态对于用户来说能特别简单地来执行。替选于考虑伸开的手指的数目或者除了考虑伸开的手指的数目之外，可以规定如下姿态，其中某个手指、例如食指伸开或者多根手指组合式地伸开，例如手的拇指和食指或者食指和中指同时伸开。在其它实施例中，替代手及其手指，可以使用其它输入对象。

姿态还可以分成多个阶段，其中尤其可以规定：至少一个阶段在检测空间中无接触地被检测。这些阶段可以形成为使得利用多个步骤来实现操作。例如，姿态可以包括：第一阶段，该第一阶段被解释为对功能的选择；和至少一个其它阶段，在该其它阶段，借助于所选择的功能来进行设置。

在该方法中，首先检测图像数据，例如通过摄像机系统来检测图像数据。在此，尤其是定义检测空间、比如如下空间区域，在该空间区域内，能通过摄像机系统来检测图像数据；或者定义如下空间区域，对所检测到的图像数据的检测或分析限于该空间区域。

这些图像数据包括空间分辨的信息、尤其是关于多个图像点的空间分辨的信息，这些图像点尤其是布置在矩阵中。这些信息可以是不同的类型，例如所探测到的电磁辐射的强度或其它特征或者借助于超声来获得的信息。这些图像数据还可以同时或者依次针对图像点来检测，例如借助于具有多个图像点的图像传感器或者借助于用于检测图像点的扫描仪依次来检测。这些图像数据例如可以包括一个被分配给确定的时间点的单张图像或者包括多个单张图像。尤其可以在检测空间内检测时间分辨的视频数据。在此，以本身公知的方式将时间点分配给单张图像，其中也可以给通过扫描过程来生成的图像分配单独的时间点，即使各个图像点仅仅是依次被检测到的。

还可以设置以其它方式形成的姿态检测装置，例如具有电阻性和/或电容性表面的姿态检测装置，通过该姿态检测装置至少可以检测姿态的第一阶段。

在检测图像数据时，还可以执行本身公知的信号调整，例如改善图像质量、平滑、过滤、校准或者其它措施。还可以读入图像信息、例如关于被分配给单张图像的时间点的图像信息。

在一个构造方案中，图像数据包括图像点，而且这些图像点分配有距离信息。由此，输入对象可以在图像数据之内特别可靠地被识别出。

尤其可以规定：借助于飞行时间（Time-of-Flight）摄像机（ToF摄像机）来检测图像数据。在此，发出光脉冲、通常在红外范围内的光脉冲，并且探测由在检测空间之内的对象所反射的光。在此，光源和探测器通常贴近地并排布置。确定在发送光脉冲与接收到光脉冲之间的时间偏移，以及作为结果来确定对象相对于摄像机的距离。以这种方式，可以针对每个图像点都检测距离信息。

这还允许依据距离信息来对所检测到的图像数据进行过滤，例如以便只考虑在确定的距离之内的图像数据并且比如将所探测到的背景丢弃。由此，可以精确地预先给定在其中对姿态进行检测的监控空间，其中该检测空间尤其是动态地被确定，例如在第一步骤中估计输入对象距传感器的距离之后动态地被确定。以这种方式可以滤出具有如下距离信息的图像点，这些距离信息表明由在所限定的检测空间之外的对象引起反射。此外，与其它系统相比，也可以可靠地识别出反射率低的对象，因为典型的ToF系统的灵敏度足以探测到微弱的反射。

在其它实施例中，具有距离信息的图像数据可以借助于其它方法来检测、例如借助于超声或者立体摄像机来检测。

依据所检测到的图像数据来执行分割，其中确定具有轮廓线的对象。按照本发明，“分割”被理解为对属于同一整体的图像区域的确定。尤其是，在此考虑如下这种图像数据，所述图像数据被分配给相同的时间点，例如单张图像的图像数据。该单张图像尤其包括图像点（picture elements（图像元素），像素），这些图像点比如作为矩阵来布置。接着，在分割时，以本身公知的方式来确定属于同一整体的图像点，这些属于同一整体的图像点尤其是形成在单张图像之内的属于同一整体的区域并且被视为对象。针对该对象来确定轮廓线，其中确定最外侧的图像点的走向。例如，在分割时识别出的对象表示输入对象的影像。

在分割时，还可以确定不要探测的对象，也就是说在图像数据之内的不应被分配给输入对象并且对于姿态的识别没有做出贡献的区域。被分配给这种对象的图像点可以被滤出，尤其是借助于多阶段方法来滤出。这以本身公知的方式来进行，例如依据针对对象的区域或者其它特征的上阈值和/或下阈值来进行。还可以将图像数据的其它元素滤出，例如在借助于手来实施的姿态的情况下的手腕和手臂。

在另一构造方案中，确定该对象的倾角并且实施针对该对象的补偿变换。由此，可以有利地实施对该对象的转动的修正并且可以使对姿态的识别变得容易。该对象尤其是手，其中该倾角这里例如可以依据手腕相对于所探测到的对象的其余区域的位置来确定。

在接下来的步骤中，依据该对象来确定参考点。在此，尤其可以考虑该对象所占据的区域和/或该轮廓线的走向。

在一个扩展方案中，参考点是该对象的几何中心、尤其是该对象的几何形心。这有利地使得对参考点的可再现的确定变得容易。

例如，具有m个图像点的对象的形心

可以根据如下公式来计算，其中所述m个图像点相同地被加权并且所述m个图像点分别分配有向量

：

。

现在，从参考点出发，生成距离轮廓，该距离轮廓包括对象的轮廓线距该参考点的距离。为此，例如可以定义指针，该指针从该参考点出发伸展到轮廓线上的点，而且可以确定该指针的长度。为了生成距离轮廓，该指针可以针对沿着轮廓线的多个点来生成和测量，其中该距离轮廓尤其是包括以从参考点出发的极坐标对轮廓线的参数化，也就是说，该距离轮廓说明了在轮廓线上的点与参考点的取决于该指针的角度的距离。该距离轮廓尤其是被生成为使得该指针的角度以确定的方式来限定，例如其方式是垂直指向上的指针取为0°的角度，而垂直指向下的指针取180°的角度。为了确定该距离轮廓，该指针的角度例如可以沿顺时针方向遍历从0°到360°的角度。

在其它实施方式中，可以规定对该距离轮廓的以其它方式的生成，尤其是借助于该对象的轮廓线的其它类型的参数化来对该距离轮廓的生成。例如，在轮廓线上的点可以沿着轮廓线等距地布置。

还可以规定：执行对该距离轮廓的数据的平滑和/或过滤，例如通过滑动平均或者用于抑制高频波动和/或噪声的另一种过滤来执行对该距离轮廓的数据的平滑和/或过滤。

在本发明的一个构造方案中，确定该对象的面积，并且依据所确定的面积来将所测量的距离轮廓标准化。由此，有利地，可以与该对象的实际尺寸无关地、例如与用来执行姿态的手的尺寸无关地来进行对姿态的识别。

为了进行标准化，例如可以确定面积圆，该面积圆的中心点与参考点重合而且该面积圆的半径r被确定为使得该面积圆的面积

与在该对象的面积

一致：

。

在这种情况下，在该对象的轮廓线上的点距参考点的距离可以相对于半径r来说明，比如通过与标准化因子

相乘来说明。在这种情况下，高于1的值表明：轮廓线在比面积圆的半径离参考点更远的位置处，而反过来，低于1的值表明：轮廓线在面积圆之内延伸。

依据所测量的距离轮廓来确定姿态，其中该确定可以以不同的方式来实现。

在另一构造方案中，确定所测量的距离轮廓的几何轮廓特征，而且依据所述几何轮廓特征来确定姿态。这有利地允许对该距离轮廓的主要特征的特别简单的几何提取。

几何轮廓特征例如可以是距离轮廓的极限值和/或转折点的数目和方位。对轮廓特征的确定尤其是以本身公知的曲线审议的方式来实现，其中确定数学曲线的表征性特征。

可以以不同的方式来将所确定的几何轮廓特征分配给姿态。在一个实施方式中，例如可以规定：将距离轮廓的多个最大值分配给姿态，例如当姿态通过所确定的数目个伸开的手指来表征而且这些最大值的数目刚好对应于该数目时，将距离轮廓的多个最大值分配给该姿态。替选地或附加地，例如可以使用在两个极限值之间的距离来分配姿态，例如以便识别手的两根并排的手指是否伸开，或者可以使用距离轮廓的导数，以便确定其它表征性轮廓特征。

在一个构造方案中，依据轮廓比较来确定姿态，其中将所测量的距离轮廓与多个参考距离轮廓进行比较，其中这些参考距离轮廓分别分配有姿态。由此，可以有利地预先给定确定的姿态而且也可以识别复杂的姿态。

这些参考距离轮廓例如可以由制造商在交付用于实施按照本发明的方法的设备时预先给定或者在稍后的时间点提供。替选地或附加地，可以规定用来例如检测和存储用户的新的参考距离轮廓的输入途径，比如以便学习新的姿态或者改善对已知的姿态的识别。

在一个构造方案中，针对这些参考距离轮廓确定几何参考特征，而且依据这些参考特征和所测量的距离轮廓的轮廓特征来执行轮廓比较。

这些参考距离轮廓可以以不同的方式来提供。例如，所测量的距离轮廓可具有确定的分辨率、也就是说尤其是距离轮廓的确定的数目个点。这些参考距离轮廓可以以相同的分辨率或者不同的分辨率来提供；替选地或者附加地，这些参考距离轮廓可包括如下参考特征，这些参考特征尤其是像上文所描述的针对所测量的距离轮廓来确定的轮廓特征那样来确定。通过直接提供这些参考特征，对于轮廓比较来说不必对这些参考距离轮廓重新进行分析。这样，还可以进一步降低轮廓比较的复杂性。

轮廓比较可以相对应地进行，使得这些参考距离轮廓的所提供的数据和所测量的距离轮廓可以特别高效地并且在没有不必要的计算花费的情况下被使用。

在另一构造方案中，确定所测量的距离轮廓的至少两个极限值，并且依据所测量的距离轮廓的所确定的极限值来进行轮廓比较。由此，有利地，该轮廓比较可以特别简单地并且以相对应地低的计算能力来进行。

例如，在进行该轮廓比较时，可以考虑极限值的数目、方位和/或幅值。这些参数能特别简单地来确定并且表征所测量的距离轮廓以及参考距离轮廓。因而，该轮廓比较可以特别简单地被执行。尤其是，对于轮廓比较来说所需的针对参考距离轮廓的数据、例如关于极限值的数据可以已经被预处理和存储，使得不需要重新分析这些参考距离轮廓。

在一个构造方案中，确定距离轮廓的一阶导数，并且依据所确定的导数来进行轮廓比较。在此，还可以确定二阶导数。由此，可以有利地确定距离轮廓的附加的相关参数并且使得分配到参考轮廓变得容易。尤其是，可以依据一阶导数和/或二阶导数来确定几何轮廓特征，比如距离轮廓的极限值和/或转折点的数目和方位。

在一个构造方案中，依据机器学习方法、例如依据神经元网络来执行轮廓比较。由此，该比较可以有利地特别精确地被执行。尤其是，对姿态的分类和识别可以借助于训练数据依据距离轮廓和轮廓比较来改善。

还可以规定：依据所确定的距离轮廓来学习新的姿态。这可以以不同的、本身公知的方式来实现，例如其方式是依据一个所测量的距离轮廓或多个所测量的距离轮廓来生成新的参考轮廓，该新的参考轮廓被分配给确定的姿态并且允许或改善对该姿态的识别。还可以使用机器学习方法，比如以便借助于神经元网络来学习新的姿态。

在另一构造方案中，所检测到的图像数据包括图像的、尤其是按时间顺序排列的序列，而且生成所测量的距离轮廓的、尤其是按时间顺序排列的序列。在此，依据所测量的距离轮廓的序列来确定姿态。

图像的序列例如可以依据视频数据来检测。图像序列尤其包括单张图像，这些单张图像分别被分配给一个时间点。在此，这些时间点尤其可以等距地并且连续地来布置。在该方法中，对于这些单张图像中的每个单张图像来说，可以分别生成单独的距离轮廓。在此，尤其可以针对每个单张图像分别确定新的参考点。替选地或附加地，可以对该图像序列进行分析，使得针对至少两个单张图像确定共同的参考点。还可以将距离轮廓标准化，例如依据上文所描述的面积圆来将距离轮廓标准化，其中针对单独的单张图像或者针对至少两个单张图像同样可以进行标准化。

在考虑单张图像时，可以考虑输入对象的某个姿势、例如手和各个手指的姿势作为姿态，而在分析单张图像的序列时可以分析该姿势的变化。例如，可以考虑输入对象的方位变化、位置、角度。

在一个构造方案中，姿态包括手的运动、例如整只手或者各个手指的方位的变化、手指的伸开或者弯曲、手或各个手指的转动和/或位置变化。尤其是，在此可以考虑各个手指相对于彼此以及相对于手的姿势。以这种方式，有利地，借助于姿态可以实现例如缩放、挪动、标记和/或选择。此外，借助于图像序列可以识别出多个依次实施的姿态。

还可以识别如下姿态，该姿态借助于手来实施，使得所检测到的图像数据基本上包括手心或手背的影像、必要时是带有这只手的手指的手心或手背的影像。还可以规定：识别手的侧视图，例如在手转动使得手边缘对准传感器之后识别手的侧视图。例如，手的这种方位可以依据细长的对象来识别。还可以识别手的方位的变化，其方式是标识所识别出的对象的特性的变化，比如偏心率、圆度、幅度或在距离轮廓之内的重复的变化。

在该方法中，输出信号依据所确定的姿态来生成和输出。输出信号尤其可以包括针对如下装置的控制数据，输出信号在输出时被传输给该装置。在此，该输出不一定必须以使得输出能由人类检测到的信息的方式来进行，而是可以仅向装置进行该输出。然而，替选地或附加地，可以进行人类能察觉到的输出，例如其方式是根据输出信号来生成和输出能以视觉、光学和/或声音方式察觉到的输出，其中该输出借助于输出单元来进行。

按照本发明的用于依据姿态来检测用户输入的设备包括：检测单元，通过该检测单元能检测图像数据；和分割单元，通过该分割单元，能依据所检测到的图像数据来执行分割，其中能确定具有轮廓线的对象。该设备还包括轮廓计算单元，通过该轮廓计算单元，能依据该对象来确定参考点，其中能针对在该对象的轮廓线上的多个点来分别确定距该参考点的距离，并且能依据所述距离来生成所测量的距离轮廓。该设备还包括：分配单元，通过该分配单元，能依据所测量的距离轮廓来确定姿态；以及输出单元，通过该输出单元，输出信号能依据所确定的姿态来生成和输出。

按照本发明的设备尤其被构造为实现上文描述的按照本发明的方法。因此，该设备具有与按照本发明的方法相同的优点。

该输出单元尤其包括接口，借助于该接口，能将输出信号传输给其它装置，其中并不强制生成对于人类用户来说能察觉到的输出。该输出例如可以以本身公知的方式被传输给其它装置，使得针对该装置来实现姿态控制。

该设备尤其布置在车辆中和/或被该车辆所包括。

附图说明

现在，本发明参考附图依据实施例来阐述。

图1示出了具有按照本发明的设备的实施例的车辆；

图2示出了按照本发明的方法的实施例；而

图3A至8B示出了对象和所属的距离轮廓的实施例，如它们可能在按照本发明的方法中出现的那样。

具体实施方式

参考图1，阐述了具有按照本发明的设备的实施例的车辆。

车辆1包括检测单元4，该检测单元与控制单元2耦合。该车辆还包括：存储单元9以及装置3、在所示出的实施例中是收音机3，它们二者同样与控制单元2耦合。在此，控制单元2包括分割单元5、轮廓计算单元6、分配单元7和输出单元8。

在该实施例中，检测单元4包括飞行时间（Time-of-Flight）摄像机4，该飞行时间摄像机以本身公知的方式来构造。尤其是，在红外范围内的光脉冲被发出并且在对象上被反射。这种由在检测区内的对象反射的光被探测，而且针对飞行时间摄像机4的图像点的矩阵来确定在发出光脉冲与探测到被反射的光之间发生怎样的时间偏移。依据时间偏移和光速来计算光的传播路程和进行反射的对象的距离。依据在探测时生成的数据，可以生成图像数据，其中每个图像点都分配有距离信息，例如进行反射的对象的距离的值。还可以检测关于所探测到的强度、散射或者其它参数的数据。

在其它实施例中，替选地或附加地，检测单元4可包括其它传感器或探测器类型，例如立体摄像机、超声系统、激光扫描仪或者具有类似的工作原理的其它单元，这些传感器或探测器类型尤其能够确定图像数据的距离信息。还可以设置如下检测单元4，其中确定没有距离信息的图像数据，例如依据简单的摄像机来确定没有距离信息的图像数据。

在该实施例中，还规定：通过检测单元4来检测单张图像的序列。在此，所检测到的图像数据包括视频数据。然而，在另一实施例中也可以规定：仅仅检测单张图像。

参考图2阐述了按照本发明的方法的实施例。在此，以按照本发明的设备的在上文参考图1所阐述的实施例为出发点。

在第一步骤21中，通过检测单元4来检测图像数据。在该实施例中，图像数据包括单张图像的图像点，这些图像点分别被分配给一个时间点。尤其是检测按时间顺序排列的单张图像的序列，在其它实施例中可以检测各个单张图像。

图像数据被传输给控制单元2并且在那里进一步处理。在第二步骤22中，以本身公知的方式来进行信号调整，其中比如可以识别在图像数据之内的单张图像，比如对于视频序列的情况来说可以识别在图像数据之内的单张图像。此外，除了真正的图像数据之外，也可以读入元数据，比如关于被分配给单张图像的时间数据的图像信息或者其它信息。还可以执行过滤和/或校准。

在接下来的步骤23中，通过该设备的分割单元5来执行分割。该分割以本身公知的方式进行，而且依据图像数据来确定具有轮廓线的对象。该对象尤其是依据就内容而言属于同一整体的、连续的图像点来确定。在分割时，不要探测的对象或图像点被标识并且被除去，其中可以使用多阶段方法。

在该实施例中规定：借助于手来执行的姿态被识别。在步骤23中进行分割时，首先，连接到手上的手腕以及手臂被标识并且从图像中被除去，因为这些区域不应该被用于姿态识别。还可以规定：手的倾角被确定和补偿，其中例如可以使用被滤出的手腕的位置。在分割步骤23中，确定在至少一个单张图像之内的对象并且确定轮廓线，该轮廓线例如被定义为该对象的最外侧的边缘的走向或者被定义为经过位于该对象的边缘处的图像点的中心点的线。

替选地或附加地，在其它实施例中，可以检测和识别依据其它输入对象来执行的姿态。以相对应地适配的方式来执行分割步骤23。

在其它实施例中，在信号调整22和/或分割23时，可以使用其它本身公知的图像处理方法，比如用于识别某个输入对象、尤其是手，而且用于辨别不要识别的对象、比如在单张图像的背景中的不要识别的对象。

在接下来的步骤24中，依据在分割时所确定的对象来执行对特征的提取。为此，在该实施例中，确定面积圆，其中首先所识别出的对象的区域的几何形心被确定为面积圆的中心点。为了对面积圆进行参数化，还确定半径，使得面积圆的面积等于所确定的对象的面积。

在接下来的步骤中，通过轮廓计算单元6来确定距离轮廓，其中该对象的轮廓线借助于以面积圆的中心点为原点的极坐标来参数化。为此，例如可以定义指针，该指针的原点位于面积圆的中心点而且该指针伸展直至该对象的轮廓线。距离轮廓说明了该指针的取决于如下角度的长度，该指针与垂直指向上的、延伸经过中心点的线围出该角度。例如，距离轮廓在此被生成为使得指针的长度在从垂直指向上的位置出发沿顺时针方向的一圈完整的旋转内被绘制。在此，指针的角度例如可以以弧度来说明并且通过标准化因子

来标准化到1。还可以依据面积圆的半径r、也就是说借助于标准化因子

来实现对距离轮廓的标准化，使得距离轮廓的值在为1的标准化值左右波动。

在其它实施例中，可以针对沿着轮廓线等距地布置的点来确定距离轮廓。

可选地，可以执行对距离轮廓的预处理，例如借助于平滑来执行对距离轮廓的预处理，以便抑制噪声。

提取距离轮廓的特征，其中尤其是以曲线审议的方式来执行计算。尤其是，确定距离轮廓的一阶导数和二阶导数。在该实施例中规定：提取基于形状的特征，尤其是距离轮廓的极限值的位置、距离和/或幅值以及转折点的位置。

例如，在姿态借助于至少部分地打开的并且朝向检测单元4的传感器的手来执行的情况下，可以依据距离轮廓的被提取的最大值的数目来确定伸开的手指的数目。在此，可以使用其它方法，例如以便避免误探测，其方式是考虑极限值的最小或最大幅值的阈值或者在极限值环境下的曲线走向的确定的宽度的阈值。

在其它实施例中，替选地或附加地，可以提取其它特征。

在该实施例中，在接下来的步骤25中辨别：是否应该执行对姿态的识别或者是否应该训练系统，比如以便重新学习姿态或者改善对已知的姿态的识别。

如果应该对姿态进行识别，则在步骤26中通过分配单元7来执行分类。这可以被称作该方法在“在线模式”下的流程，其中应该识别姿态并且生成和输出相对应的输出信号。在此，在该实施例中，依据之前确定的距离轮廓和/或所提取的轮廓特征来确定所分配的姿态。在此，所确定的姿态可以分配有确定的特征，例如距离轮廓的确定数目个最大值。在这种情况下，可以辨别：是否有一根或多根手指伸开以及仅仅伸开的手指的数目是否就可允许对姿态的分配。

必要时，该分类可以多阶段地进行，例如其方式是首先依据某些特征来执行分类而紧接着依据其它特征来将该分类细化。

还可以执行轮廓比较，其中使用参考轮廓，这些参考轮廓在该实施例中由存储单元9来提供。可以以不同的方式来进行轮廓比较。

例如，针对参考轮廓可以执行预处理，尤其是类似于在步骤24中对距离轮廓的特征的提取。针对参考轮廓的这种预处理的结果可以在实施该方法之前就已经实现，而且最终得到的轮廓特征可以被存储和提供。接着，轮廓比较可以比较简单地被执行，其方式是比如考虑极限值的数目、这些极限值的形状和方位、必要时相对于彼此的形状和方位和/或在这些极限值之间的曲线走向，比如依据转折点的参数来考虑极限值的数目、这些极限值的形状和方位、必要时相对于彼此的形状和方位和/或在这些极限值之间的曲线走向。

为了识别对象并且尤其是为了将姿态分配给该对象，在用于实施该方法的程序运行时，例如针对在单张图像中识别出的对象遍历针对某些姿态的表示并且将这些表示与所确定的距离轮廓进行比较。这些表示尤其是存储在微控制器中并且可以以这种方式在运行时特别快速地被遍历和分析。这些表示可以包括来自训练过程的特征，其中针对可识别出的姿态来执行训练。如果在这种遍历的情况下识别姿态，则该结果可以被报告给上级系统或输出信号可以被生成和输出。

在一个花费较高的实施方案中，轮廓比较可以依据机器学习方法来执行，尤其是借助于神经元网络来执行。这通常需要较高的计算能力，然而尤其可以被用于依据较复杂的距离轮廓对姿态的识别。这里，为了进行轮廓比较，例如使用整个距离轮廓以及必要时参考轮廓的相对应的数据。尤其是，这里对于轮廓比较来说不仅仅考虑各个被提取的轮廓特征。

在其它实施例中，该轮廓比较可以以其它方式来进行，其中距离轮廓分配有一个参考轮廓或者一组参考轮廓。尤其是，这些参考轮廓分别被分配给一个姿态。

在依据所检测到的图像数据确定了姿态之后，在接下来的步骤27中执行后处理，其中输出信号通过输出单元8来生成和输出。在该实施例中规定：输出信号包括针对装置3、在这种情况下是收音机3的控制信号，而且该输出信号被传输给该收音机，其中没有进行对于人类用户来说能检测到的输出。以本身公知的方式进行对收音机3的姿态控制，其中例如当识别出具有确定的数目个手指的姿态时可以设置电台。在其它实施例中，输出可以以对于用户来说能检测到的方式来输出，比如借助于能以视觉方式察觉到的显示来输出。

在其它实施例中，可以借助于姿态控制来控制其它装置3，其中依据姿态来检测输入。

如果在判断步骤25中识别出应该执行对姿态识别的训练，则在步骤28中执行模型训练并且在接下来的步骤29中生成模型。这可以通过存储单元9非易失性地来存储并且可以被提供用于稍后的遍历。训练的过程可以作为“离线模式”、也就是说在不生成输出信号的情况下来执行。在此新生成的模型相对于旧的模型被改变，比如以便更好地识别已知的姿态，或者可以生成新的模型，比如用于要新学习的姿态。模型尤其可以包括参考轮廓或者类似的数据，这些参考轮廓或者类似的数据可以被用于依据距离轮廓来识别姿态。可选地，紧接着可以进行用于对姿态进行识别的分类以及对输出信号的生成和输出。

在另一实施例中，在此可以训练神经元网络的分类器或者执行其它机器学习方法。

上文所阐述的在在线或离线模式下的方法可以视已知的对象和应用情况而定单独地或者依次被实施，其中尤其是应考虑到：针对姿态的识别可靠性通常可以通过增加训练来改善。

参考图3A至8B来阐述对象和所属的距离轮廓的实施例，如它们可能在按照本发明的方法的情况下出现的那样。在此，尤其是以在上文参考图1所描述的按照本发明的设备的实施例以及在上文参考图2所描述的按照本发明的方法的实施例为出发点。

分别在图3A、4A、5A、6A、7A和8A中示出的图像对应于通过检测单元4所检测到的输入对象在分割步骤之后的影像，在该分割步骤中标识出了对象31。对于每个图像点来说，比如可以检测由输入对象所反射的强度和/或距离值。在图3B、4B、5B、6B、7B和8B中的图形分别至少部分地示出了相应的距离轮廓37，在该示例中，该距离轮廓是在训练过程中、也就是说在按照本发明的方法的离线模式下获得的。依据在图像数据中识别出的对象31所检测到的特征可以完整地、例如作为图像数据完整地或者以压缩形式来存储，比如其方式是提取和存储轮廓特征。

在图3A中示出的示例中，对象31是在图像数据的一个单张图像之内被识别出的，该单张图像对象例如对应于具有伸开的手指的手。对于对象31来说，生成了轮廓线32，该轮廓线对应于经过对象31的像素的相应的中心点的闭合线。还确定了面积圆38，该面积圆的中心点33与对象31的重心重合而且该面积圆的半径34被选择为使得面积圆38的面积与对象31的面积一致。

为了生成距离轮廓37，对象31的轮廓线32被参数化。为此，对于沿着轮廓线32的点来说，距面积圆38的中心点33的距离被确定并且依据面积圆38的半径34来标准化。也就是说，轮廓线32与面积圆38的交点在任何时候都具有为1的距离。距离轮廓37说明了在轮廓线32上的点与它们在轮廓线32上的位置相关的标准化距离，其中位置作为沿着轮廓线32的距离来计算，开始于在轮廓线32上的任意的点。

在其它实施例中，距离轮廓37可以说明与角度相关的标准化距离，在中心点33与在轮廓线32上的点之间的连接线例如与垂直线围出该角度。

在图3A中示出的对象31的距离轮廓37在图3B中示出。沿着X轴示出了沿着轮廓线32的距离的片段，被标准化到0与1之间的值。在此，所要观察的片段可以以本身公知的方式来确定。该片段包括在图3A中示出的极限值，即两个最小值36（作为星号来示出）和一个最大值35（作为三角形来示出）。对极限值35、36的确定以本身公知的方式进行，尤其是借助于距离轮廓37的一阶导数和二阶导数以及必要时平滑来进行。还可以考虑阈值，例如其方式是在超过下阈值时才识别最大值35而在低于上阈值时才识别最小值36。

在图3A和3B中示出的示例中，比如可以依据距离轮廓37来标识最大值35，该最大值对应于伸开的手指。也就是说，这种姿态已经可以依据距离轮廓37来识别。

在其它实施例中规定：将距离轮廓37与一个或多个参考轮廓进行比较。在该轮廓比较的情况下，可以对曲线走向进行比较和/或可以对轮廓特征进行提取和比较，以便例如检查所测量的距离轮廓37是否具有与参考轮廓相同数目个最大值35。在其它实施例中，为了执行轮廓比较，可以使用神经元网络或者其它方法。

依据在该示例中在离线模式下所检测到的数据，可以生成模型，例如以便学习新的姿态，其方式是所提取的特征35、36以存储在模型中的方式来寄存并且稍后能作为参考轮廓来调用。还可以更新和存储模型、尤其是一个或多个参考轮廓，所述参考轮廓被分配给这里所识别出的姿态。

在图4A和4B中示出的示例中，检测到了五根手指都打开的手的图像数据。以上文所描述的方式确定了距离轮廓37，该距离轮廓在图4B中示出。依据距离轮廓37可以标识出五个最大值35（作为三角形来示出），这在该示例中对应于伸开的手指的数目。

在图5A和5B中示出的示例中，检测到了有两根手指、比如拇指和食指伸开的手的图像数据。以上文所描述的方式确定了距离分布，该距离分布在图5B中示出而且在该距离分布中标识出两个最大值35（作为三角形来示出）。在该示例中，这对应于伸开的手指的数目。还可以分析曲线走向而且例如可以分析被分配给伸开的手指的最大值35的距离。所识别出的姿态例如可以被解释为缩放姿态。

与在图5A和5B中示出的示例类似，在图6A和6B中示出的示例中，检测到了有两根手指、比如食指和中指伸开的手的图像数据。以上文所描述的方式确定了距离轮廓，该距离轮廓在图6B中示出而且在该距离轮廓中标识出两个最大值35（作为三角形来示出）。在该示例中，这对应于伸开的手指的数目。为了将该姿态与上文参考图5A和5B所示出的姿态区分开，例如可以考虑距离轮廓的一阶导数和二阶导数。也就是说，上升的走向和幅度大小加入到被分配给相应的姿态的模型中。例如，在所示出的情况下可以确定：这两个最大值35彼此离得有多远和/或在这些最大值35之间的距离轮廓37有多陡峭地延伸。

在其它实施例中，为了依据距离轮廓37来识别姿态，可以使用神经元网络或者类似的方法。这种识别通常比所描述的借助于各个轮廓参数的识别花费高得多，所述轮廓参数可以简单地依据曲线审议的工具来确定。

在上文所提到的示例中，手被视为输入对象。在其它实施例中，还可以使用其它物品和输入对象，比如脚、头或者日常用品，用于对姿态的检测。为此，可以生成和存储模型、尤其是具有参考轮廓的模型。尤其是当在不同的姿态下出现相应的距离轮廓的相同数目个极限值35、36或转折点时，可以使用距离轮廓37的导数和这些距离轮廓的相应的特征，用于对姿态的识别。在此，与其它技术相比，在按照本发明的方法中使用非常小的存储器大小，例如每个对象低于50字节，而且可以确保特别快速的处理，例如借助于具有低于1Mips（million instructions per second（每秒百万条指令））的低计算能力的微控制器就可以确保特别快速的处理。

替选地或附加地，依据距离轮廓37可以提取其它不同的轮廓特征，例如偏心率、圆度、幅度的摆幅、空间中的斜度和/或曲线的重复，例如对周期性的识别。

在按照本发明的方法的所描述的实施例中，还通过依据面积圆38的半径34的标准化来保证可以在不同大小的输入对象、例如不同的手的情况下识别出姿态。

在图7A和7B中示出的示例中，检测到了圆形区域、比如球体或者圆牌的图像数据。以上文所描述的方式确定了距离轮廓37，该距离轮廓在图7B中示出而且示出了与面积圆38的轮廓32基本上平行的走向。尤其是没有探测到曲线的极限值35、36。因此，依据这种线可以标识圆形的输入对象。

在图8A和8B中示出的示例中，检测到了方形的图像数据。以上文所描述的方式确定了距离轮廓37，该距离轮廓在图8B中示出而且每隔一段时间就具有四个最大值35，在这四个最大值之间每隔同样一段时间就布置有四个最小值36。此外，比如可以依据所检测到的以及必要时二阶导数来确定：该距离轮廓在这些最大值35之间的走向基本上周期性地重复。因此，这种线可以被分配给方形的输入对象。

例如可以使用像在上文参考图7A至8B所阐述的情况下那样的特征，以便辨别不同的输入对象，比如手、脚和头。

在其它实施例中，还借助于摄像机来检测图像数据，使得依据其它图像处理方法、比如依据神经元网络可以识别不同的输入对象，其中尤其是使用本身公知的图像处理方法。由此，例如可以检测和定位确定的输入对象、比如手，以便使对图像数据的分割变得容易和/或以便限定该输入对象已被定位在其中的检测空间。接着，借助于按照本发明的方法对姿态的识别可限于图像数据的确定的范围并且更快地被执行。

在其它实施例中，可以考虑如下特征，这些特征通过与在分割时识别出的对象31的最外侧的轮廓线32不同的轮廓线来形成。例如，在分割时识别出的对象31可具有“孔”、也就是说被对象31的区域所包围的区域，该区域本身并不属于该对象31。这种区域例如可能在像在潜水员之间流行的“OK”信号那样的手势下形成。这种被包围的区域可以作为其它特征被用于对姿态的识别。还可以规定：对该被包围的区域进行参数化并且在此在对姿态进行识别时同样考虑所确定的参数。

在另一实施例中，这些图像数据包括单张图像的按时间顺利排列的序列。在此，可以分别单独地对各个图像进行分析，或者可以确定姿态随时间的变化。替选地或附加地，可以检测对姿态进行检测的时长。在这些情况下，基本上如上文所描述的那样来处理图像数据，其中相应的单张图像的图像数据可以单独地被分析。替选地或附加地，可以通过所测量的距离轮廓37的变化的过程来表征姿态、例如缩放姿态，其中两根伸开的手指彼此间的距离发生变化，这可以依据在距离轮廓37中的最大值35的变化的距离来探测。替选地或附加地，其它姿态可以以本身公知的方式来规定并且被识别。

附图标记列表

1 车辆

2 控制单元

3 装置；收音机

4 检测单元；飞行时间（TOF）摄像机

5 分割单元

6 轮廓计算单元

7 分配单元

8 输出单元

9 存储单元

21 检测图像数据

22 信号调整

23 分割

24 提取特征

25 在训练还是识别之间进行辨别

26 分类

27 后处理

28 模型训练

29 生成模型

31 对象

32 轮廓线

33 参考点；中心点

34 半径

35 轮廓特征；极限值；最大值

36 轮廓特征；极限值；最小值

37 距离轮廓

38 面积圆。

Claims (15)

1.一种用于依据姿态来检测用户输入的方法，其中

检测图像数据；

依据所检测到的图像数据来执行分割，其中确定具有轮廓线（32）的对象（31）；

依据所述对象（31）来确定参考点（33）；

针对在所述对象（31）的轮廓线（32）上的多个点，分别确定距所述参考点（33）的距离，而且依据所述距离来生成所测量的距离轮廓（37）；

依据所述所测量的距离轮廓（37）来确定姿态；而且

输出信号依据所确定的姿态来生成和输出。

2.根据权利要求1所述的方法，

其特征在于，

所检测到的图像数据包括手的至少部分的影像而且所述姿态对应于所述手的伸开的手指的数目。

3.根据上述权利要求之一所述的方法，

其特征在于，

所检测到的图像数据包括图像点而且所述图像点分配有距离信息。

4.根据上述权利要求之一所述的方法，

其特征在于，

确定所述对象（31）的倾角并且实施针对所述对象（31）的补偿变换。

5.根据上述权利要求之一所述的方法，

其特征在于，

所述参考点（33）是所述对象（31）的几何中心。

6.根据上述权利要求之一所述的方法，

其特征在于，

确定所述对象（31）的面积并且依据所确定的面积来将所述所测量的距离轮廓（37）标准化。

7.根据上述权利要求之一所述的方法，

其特征在于，

确定所述所测量的距离轮廓（37）的几何轮廓特征（35、36）并且依据所述几何轮廓特征（35、36）来确定所述姿态。

8.根据上述权利要求之一所述的方法，

其特征在于，

依据轮廓比较来确定所述姿态，其中将所述所测量的距离轮廓（37）与多个参考距离轮廓进行比较，其中所述参考距离轮廓分别分配有姿态。

9.根据权利要求8所述的方法，

其特征在于，

针对所述参考距离轮廓来确定几何参考特征，而且依据所述参考特征和所述所测量的距离轮廓的轮廓特征（35、36）来执行所述轮廓比较。

10.根据权利要求8或9所述的方法，

其特征在于，

确定所述所测量的距离轮廓的至少两个极限值（35、36），而且依据所述所测量的距离轮廓（37）的所确定的极限值（35、36）来进行所述轮廓比较。

11.根据权利要求8至10之一所述的方法，

其特征在于，

确定所述距离轮廓（37）的一阶导数，而且依据所确定的导数来进行所述轮廓比较。

12.根据权利要求8至11之一所述的方法，

其特征在于，

所述轮廓比较依据机器学习方法来执行。

13.根据上述权利要求之一所述的方法，

其特征在于，

所检测到的图像数据包括图像的序列，而且生成所测量的距离轮廓（37）的序列，其中依据所测量的距离轮廓（37）的序列来确定所述姿态。

14.根据权利要求13所述的方法，

其特征在于，

所述姿态包括手的运动。

15.一种用于依据姿态来检测用户输入的设备，所述设备具有：

检测单元（4），通过所述检测单元能检测图像数据；

分割单元（5），通过所述分割单元，能依据所检测到的图像数据来执行分割，其中能确定具有轮廓线（32）的对象（31）；

轮廓计算单元（6），通过所述轮廓计算单元，能依据所述对象（31）来确定参考点（33），其中能针对在所述对象（31）的轮廓线（32）上的多个点来分别确定距所述参考点（33）的距离，并且能依据所述距离来生成所测量的距离轮廓（37）；

分配单元（7），通过所述分配单元，能依据所述所测量的距离轮廓（37）来确定姿态；和

输出单元（8），输出信号能通过所述输出单元依据所确定的姿态来生成和输出。

Images