CN111095164B - 用于依据姿态来检测用户输入的方法和设备 - Google Patents

Abstract

本发明涉及一种用于依据姿态来检测用户输入的方法，其中检测具有至少两个单张图像的图像数据，其中这些单张图像分配有拍摄时间点。依据所检测到的单张图像，分别执行分割，其中针对每个单张图像分别确定单张图像对象（31）并且依据该单张图像对象（31）来确定参考点（33、39）。依据这些单张图像的参考点（33、39）来确定轨迹（40），并且依据轨迹（40）来确定姿态。输出信号依据所确定的姿态来生成和输出。本发明还涉及一种用于依据姿态来检测用户输入的设备，该设备具有：检测单元（4），用于检测图像数据；分割单元（5），用于执行分割；轨迹计算单元（10），用于确定轨迹（40）；分配单元（7），用于确定姿态；和输出单元（8）。

Description

用于依据姿态来检测用户输入的方法和设备

技术领域

本发明涉及一种用于依据姿态来检测用户输入的方法和设备。

背景技术

在私人和职业生活的大部分地方使用的大量电子装置将关于其简单操作的技术研发作为优先事项。为此的方案是借助于姿态控制来进行操作，其中这里还存在创建能在日常生活中舒适使用的输入途径的挑战。

在DE 44 38 643 A1中所描述的用于借助于超声来进行对象识别的方法中，对工件进行定位和识别。为此，确定不同的反射轮廓，对它们进行比较允许得出有关对象表面的几何形状的说明。这些轮廓的走向还具有如下特征，这些特征被用于对工件进行分类和识别。

DE 198 02 261 A1提出了一种用于对数字化图像的时间序列进行信号处理的方法，其中识别对象并且分析这些对象的运动。为此，使用有时间延迟的神经元网络。

在DE 10 2015 103 022 A1中所描述的用于在三维机器视觉系统的视野中识别已知对象的方法规定：依据图像文件分两个步骤来确定特征，其中在这些步骤中对于与已知对象进行对照来说相关的搜索范围被缩小而且以这种方式使搜索变得容易。尤其是使用直方图，以便从图像文件中提取颜色和边缘方向的分布，还确定形状函数。

在DE 60 2004 004 048 T2中所描述的用于对象识别的方法中，对图像进行扫描，其中在扫描时所使用的窗的尺寸发生变化，以便探测不同尺寸的对象。在判断是否识别出对象时，依据窗尺寸来对多个估计进行计算和比较。

在WO 2012/088702 A1中所描述的用来提供用于姿态识别的机制的方法中，将图像序列划分成块并且针对这些块来确定运动状态。为了确定对象的运动方向，在依据这些块的运动状态来生成的直方图中观察边缘的运动。

WO 2013/085525 A1提出了用于姿态识别的技术，其中通过立体检测来减少在所检测到的图像中的待分析的像素的数目。为此，例如确定其中应识别对象的运动的图像区。

不过，在这些已知方法中的限制性因素常常是：为了可靠地识别出所检测到的姿态而必须应用巨大的计算能力，该巨大的计算能力尤其是在移动设备、比如在车辆技术的领域常常无法提供。

发明内容

因而，本发明所基于的任务在于：提供开头提到的类型的方法和设备，该方法和该设备能够实现对姿态的快速的、可靠的并且计算不那么密集的识别。本发明尤其应该实现：以节省资源的方式分析复杂的姿态和运动。

按照本发明，该任务通过如下所述的方法和设备来解决。有利的设计方案和扩展方案也由本发明公开中得到。

在按照本发明的用于依据姿态来检测用户输入的方法中，检测具有至少两个单张图像的图像数据，其中这些单张图像分配有拍摄时间点。依据所检测到的单张图像，分别执行分割，其中针对每个单张图像分别确定单张图像对象并且依据该单张图像对象来确定参考点。依据这些单张图像的参考点来确定轨迹，其中针对每个单张图像，分别确定所述单张图像对象的轮廓线，而且针对在所述单张图像对象的轮廓线上的多个点，分别确定距所述单张图像对象的参考点的距离，其中针对每个单张图像对象，依据所述距离来生成所测量的距离轮廓。并且依据该轨迹来确定姿态。还依据所述所测量的距离轮廓和依据轮廓比较来确定所述姿态，其中在轮廓比较时将所述所测量的距离轮廓与多个参考距离轮廓进行比较，其中所述参考距离轮廓分别分配有姿态，其中确定所述距离轮廓的一阶导数，而且依据所确定的导数来进行所述轮廓比较。输出信号依据所确定的姿态来生成和输出。

就本发明而言，“姿态”被理解为：输入对象、例如用户的手或者其它身体部位的某个姿势；或者用该输入对象来实施的某个运动。尤其是，姿态包括静态和动态元素的组合，比如输入对象在运动期间的姿势的变化。在此，尤其是考虑输入对象在空间中的位置和/或取向。还可以规定：输入对象具有多个元素，例如手的手指，这些元素能在一定程度上彼此无关地运动，使得除了输入对象的姿势和/或运动之外，也可以考虑输入对象的元素的位置和取向。输入对象还可包括如下物品，该物品例如可以通过用户的手来引导并且被放置在空间中，诸如铅笔或者其它物体。

姿态可以根据本身公知的方式来设计。这些姿态尤其是包括指姿态、擦姿态和如其在日常生活中使用的这种姿态，例如手转动、握、擦、推或拉姿态以及多个这种、必要时立即迅速地依次实施的姿态的组合。因而，通过姿态控制，向用户提供特别简单的并且直观的输入途径。

姿态在检测空间内被实施，尤其是在此用户不必接近确定的物品对象或者进行触摸。在其它实施例中规定：姿态包括对物品对象的触摸，其中该姿态在触摸、比如沿着触敏表面的触摸期间尤其是完全被检测。

姿态还可以分配有方向信息，该方向信息尤其是依据运动的方向或姿态的取向来确定。这种姿态可以类似于对模拟操作元件的操作那样形成，例如类似于推动操作元件或转动操作元件，其中然而物理操作元件实际上没有发生移动或转动，而是通过输入对象在检测空间内的运动仅仅来领会这种运动模式。用户通常可以特别好地觉察到这种姿态。这种方法还提供如下优点：用户不必像例如在开关或旋钮的情况下那样触摸某个表面区域。更确切地说，该用户将输入对象、比如他的手移动到检测空间中并且在那里实施相对应的姿态就足够。替选地或附加地，在该姿态的情况下，方向可以通过静态几何参数来标明，例如其方式是输入对象呈现出某个形状，通过该形状来限定轴或者方向。

姿态还可以分成多个阶段，其中尤其可以规定：至少一个阶段在检测空间中无接触地被检测。这些阶段可以形成为使得利用多个步骤来实现操作。例如，姿态可以包括：第一阶段，该第一阶段被解释为对功能的选择；和至少一个其它阶段，在该其它阶段，借助于所选择的功能来进行设置。

在该方法中，首先检测图像数据，例如通过摄像机系统来检测图像数据。这些图像数据包括至少两个单张图像，这些单张图像分别分配有拍摄时间点。这些单张图像可以按时间顺序排列地连续地被检测，其中尤其是每隔一段时间就检测单张图像的较长的序列。尤其是，这些图像数据作为视频数据以本身公知的方式被检测。在此，该检测空间尤其被定义为如下空间区域，在该空间区域内，能通过摄像机系统来检测图像数据；或者该检测空间被定义为如下空间区域，对所检测到的图像数据的检测和/或分析限于该空间区域。

这些图像数据包括空间分辨的信息、尤其是关于多个图像点的空间分辨的信息，这些图像点尤其是布置在矩阵中。这些信息可以是不同的类型，例如所探测到的电磁辐射的强度或其它特征或者借助于超声来获得的信息。这些图像数据还可以同时或者依次针对图像点来检测，例如借助于具有多个图像点的图像传感器或者借助于用于检测图像点的扫描仪依次来检测。在此，以本身公知的方式将时间点分配给单张图像，其中也可以给通过扫描过程来生成的图像分配单独的时间点，即使各个图像点并不是完全同时、而是依次被检测到的。

还可以设置以其它方式形成的姿态检测装置，例如具有电阻性和/或电容性表面的姿态检测装置，通过该姿态检测装置至少可以检测姿态的第一阶段。这里，也可以检测空间分辨的数据并且将这些数据作为就本发明而言的图像数据来分析。

在检测图像数据时，还可以执行本身公知的信号调整，例如改善图像质量、平滑、过滤、校准或者其它措施。还可以读入图像信息，这些图像信息例如涉及被分配给单张图像的时间点，或者可以读入关于实施该姿态的用户的信息。

依据所检测到的图像数据，针对所检测到的单张图像来分别执行分割，其中确定单张图像对象。按照本发明，“分割”被理解为对属于同一整体的图像区域的确定。尤其是，在此考虑如下这种图像数据，所述图像数据被分配给相同的时间点、也就是说确定的单张图像的数据。该单张图像尤其包括图像点（picture elements（图像元素），像素），这些图像点比如作为矩阵来布置。接着，在分割时，以本身公知的方式来确定属于同一整体的图像点，这些属于同一整体的图像点尤其是形成在该单张图像之内的属于同一整体的区域并且被视为单张图像对象。例如，在分割时识别出的单张图像对象表示输入对象在所分配的拍摄时间点的单张图像中的影像。也就是说，连续的单张图像的单张图像对象可以是同一输入对象的在时间上依次被检测到的影像。

在分割时还可以确定不应作为单张图像对象来检测的区域，也就是说在图像数据之内的不应被分配给输入对象并且对于姿态的识别没有做出贡献的区域。这例如是不同于输入对象本身的其它对象。被分配给这种区域的图像点可以被滤出，尤其是借助于多阶段方法来滤出。这以本身公知的方式来进行，例如依据针对单张图像对象的区域或者其它特征的上阈值和/或下阈值来进行。还可以将图像数据的其它元素滤出，例如在借助于手来实施的姿态的情况下的手腕和手臂，其中尤其可以执行简单的图像识别。

在接下来的步骤中，依据单张图像对象来确定参考点。这可以以本身公知的方式进行，其中尤其是考虑单张图像对象所占据的区域和/或轮廓线的走向。

在按照本发明的方法的一个扩展方案中，参考点是单张图像对象的几何中心、尤其是单张图像对象的几何形心。这有利地使得对参考点的可再现的确定变得容易。

例如，具有m个图像点的单张图像对象的形心可以根据如下公式来计算，其中所述m个图像点相同地被加权并且所述m个图像点分别分配有向量/>：

。

这里，向量尤其说明了图像点在单张图像的二维网格之内的位置。如在更下面所阐述的那样，可以进行针对更高维度的、尤其是三维的向量的一般化。

依据针对这些单张图像来确定的参考点，确定参考点的位置随时间的变化。这被参数化为轨迹，也就是说，参考点的位置被呈现为与时间相关的参量。

在一个构造方案中，借助于连续性检查来识别连续的单张图像的属于同一整体的单张图像对象，并且依据这些属于同一整体的单张图像对象来确定轨迹。由此，可以有利地保证：该轨迹涉及属于同一整体的单张图像对象、尤其是同一输入对象的多个影像，而且测量数据并没有由于例如不同的输入对象的运动错误地被解释为唯一的输入对象的轨迹而失真。

该连续性检查可以以不同的方式进行，例如其方式是确定针对单张图像对象的参考点在两个连续的单张图像之间已经移动了多远，其中跳跃式的移动可以作为不可信而被丢弃。此外，在连续的单张图像中的可能属于同一整体的单张图像对象所占据的面积的变化可以有关其可信性予以检查，使得例如该面积的跳跃式的或者不连续的增加或减小可以被解释为误探测。类似于此，以这种方式，可以依据连续的单张图像的单张图像对象的形状来有关可信性对变化进行检查，以便比如排除其形状以难以相信的方式发生变化的单张图像对象。

例如，在该连续性检查时可以规定阈值，该阈值限定了沿着轨迹的最大速度，而且在两个连续的单张图像之间超过该速度时可以在这样确定的部位使该轨迹中断。替选地或附加地，可以规定其它阈值或其它方法来进行连续性检查。

依据轨迹对姿态的确定可以以不同的方式进行，而且尤其是可以考虑：该轨迹的不同的参数，也就是说例如运动过程的速度和/或方向；以及这种参数的时间导数，比如加速度和/或方向变化。这些单张图像的参考点的运动还可以借助于过滤器来处理，通过该过滤器，比如可以将非常微小的运动滤出并且将这些单张图像对象作为静态对象来处理。

例如，姿态可包括从一侧到另一侧的擦、翻页或者推姿态。姿态还可以描述运动路径，沿着该运动路径，生成可操作对象的运动，比如在图形用户界面上的运动。

在该方法中，输出信号依据所确定的姿态来生成和输出。输出信号尤其可以包括针对如下装置的控制数据，输出信号在输出时被传输给该装置。在此，该输出不一定必须以使得输出能由人类检测到的信息的方式来进行，而是可以仅向装置进行该输出。替选地或附加地，可以进行人类能察觉到的输出，例如其方式是根据输出信号来生成和输出能以视觉、光学和/或声音方式察觉到的输出，其中该输出借助于输出单元来进行。

在另一构造方案中，针对单张图像对象来确定取向并且还依据这些单张图像对象的取向来确定姿态。尤其是，这些取向作为与时间相关的参数来确定并且被考虑用于对姿态的确定。由此，可以有利地检测复杂的姿态，这些复杂的姿态例如包括输入对象的转动。

替选地或附加地，可以使用当前的关于这些取向的信息来进行对数据的修正，比如以便在没有由于这些单张图像对象的不同的取向而可能发生的干扰的情况下对姿态进行识别。由此，可以有利地实施对单张图像对象的转动的修正并且可以使与所确定的取向无关地对姿态的识别变得容易。为此，对于这些单张图像对象来说，依据这些取向来确定倾角，而且依据这些倾角可以实施针对这些单张图像的单张图像对象的补偿变换。由此，姿态可以与倾角无关地被检测。如果输入对象例如是用户的手，则该倾角尤其可以依据手腕相对于所探测到的单张图像对象的其余区域的位置来确定。

在一个构造方案中，图像数据包括图像点，而且这些图像点分配有距离信息。由此，输入对象可以在图像数据之内特别可靠地被识别出并且可以使用附加的信息，以便特别有区别地对姿态进行识别。

尤其可以规定：借助于飞行时间（Time-of-Flight）摄像机（ToF摄像机）来检测图像数据。在此，发出光脉冲、通常在红外范围内的光脉冲，并且探测由在检测空间之内的对象所反射的光。在此，光源和探测器通常贴近地并排布置。确定在发送光脉冲与接收到光脉冲之间的时间偏移，以及作为结果来确定对象相对于摄像机的距离。以这种方式，可以针对每个图像点都检测距离信息。

这还允许依据距离信息来对所检测到的图像数据进行过滤，例如以便只考虑在确定的距离之内的图像数据并且比如将所探测到的背景丢弃。由此，可以精确地预先给定在其中对姿态进行检测的监控空间，其中该检测空间尤其是动态地被确定，例如在第一步骤中估计输入对象距传感器的距离之后动态地被确定。以这种方式可以滤出具有如下距离信息的图像点，这些距离信息表明由在所限定的检测空间之外的对象引起反射。此外，与其它系统相比，也可以可靠地识别出反射率低的对象，因为典型的ToF系统的灵敏度足以探测到微弱的反射。

在其它实施例中，具有距离信息的图像数据可以借助于其它方法来检测、例如借助于超声或者立体摄像机来检测。

此外，针对单张图像对象的参考点也可以依据距离信息来确定。经此，例如可以确定参考点的三维位置，即依据在二维单张图像之内的位置数据以及所属的距离信息来确定参考点的三维位置。例如，可以使用上文所阐述的公式来计算形心，其中被分配给图像点的向量分别表示三维位置。这有利地允许：依据多个时间上连续的单张图像的参考点来确定输入对象相对于传感器的三维轨迹。以这种方式，比如可以检测朝向传感器或从该传感器远离的推和拉姿态。

在一个构造方案中，针对每个单张图像，分别确定单张图像对象的轮廓线，而且针对在该单张图像对象的轮廓线上的多个点，分别确定距该单张图像对象的参考点的距离。在此，针对每个单张图像，依据这些距离来生成所测量的距离轮廓并且还依据所测量的距离轮廓来确定姿态。这有利地允许对单张图像对象的特别简单的参数化和对姿态的可再现的识别。

单张图像对象的轮廓线可以以本身公知的方式来确定，其中尤其是确定最外侧的图像点的走向。在此，对姿态的识别有利地依据所测量的距离轮廓来进行，该距离轮廓可以依据特别简单的特征来表征。这导致：该方法可以特别快速地并且节省资源地也利用少量计算能力来实施。还可以将分辨率特别低的图像数据用于姿态识别。

从参考点出发，生成距离轮廓，该距离轮廓包括单张图像对象的轮廓线距该参考点的距离。为此，例如可以定义指针，该指针从该参考点出发伸展到轮廓线上的点，而且可以确定该指针的长度。为了生成距离轮廓，该指针可以针对沿着轮廓线的多个点来生成和测量，其中该距离轮廓尤其是包括以从参考点出发的极坐标对轮廓线的参数化，也就是说，该距离轮廓说明了在轮廓线上的点与参考点的取决于该指针的角度的距离。该距离轮廓尤其是被生成为使得该指针的角度以确定的方式来限定，例如其方式是垂直指向上的指针取为0°的角度，而垂直指向下的指针取180°的角度。为了确定该距离轮廓，该指针的角度例如可以沿顺时针方向遍历从0°到360°的角度。

在其它实施方式中，可以规定对该距离轮廓的以其它方式的生成，尤其是借助于单张图像对象的轮廓线的其它类型的参数化来对该距离轮廓的生成。例如，在轮廓线上的点可以沿着轮廓线等距地布置。

还可以规定：执行对该距离轮廓的数据的平滑和/或过滤，例如通过滑动平均或者用于抑制高频波动和/或噪声的另一种过滤来执行对该距离轮廓的数据的平滑和/或过滤。

在本发明的一个构造方案中，针对这些单张图像对象，分别确定面积，并且依据所确定的面积来将相对应的所测量的距离轮廓标准化。由此，有利地，可以与单张图像对象的实际尺寸无关地、例如与用来执行姿态的手的尺寸无关地来进行对姿态的识别。

为了进行标准化，例如可以确定面积圆，该面积圆的中心点与参考点重合而且该面积圆的半径r被确定为使得该面积圆的面积与在单张图像中的单张图像对象的面积/>一致：

。

在这种情况下，在单张图像对象的轮廓线上的点距参考点的距离可以相对于半径r来说明，比如通过与标准化因子相乘来说明。在这种情况下，高于1的值表明：轮廓线在比面积圆的半径离参考点更远的位置处，而反过来，低于1的值表明：轮廓线在面积圆之内延伸。

该标准化尤其是针对所有单张图像对象都单独地被实施，使得依据数值数据来进一步分析所检测到的姿态。以这种方式来确定的标准化因子还可以在确定姿态时被考虑。例如，为此可以考虑单张图像对象的尺寸随时间的变化。

姿态可以依据单独的所测量的距离轮廓或者依据不同的距离轮廓的序列、尤其是针对多个单张图像对象的不同的距离轮廓的序列以不同的方式来确定。也就是说，一个姿态可以由多个部分姿态组成，或者部分姿态的确定的序列可以被解释为单个姿态。

在另一构造方案中，确定所测量的距离轮廓的几何轮廓特征，而且依据所述几何轮廓特征来确定姿态。这有利地允许对该距离轮廓的主要特征的特别简单的几何提取。

几何轮廓特征例如可以是距离轮廓的极限值和/或转折点的数目和方位。对轮廓特征的确定尤其是以本身公知的曲线审议的方式来实现，其中确定数学曲线的表征性特征。类似于此，替选地或附加地，处理关于轨迹的数据，比如通过借助于曲线审议对轨迹的分析来处理关于轨迹的数据。

可以以不同的方式来将所确定的几何轮廓特征分配给姿态。在一个实施方式中，例如可以规定：将距离轮廓的多个最大值分配给姿态，例如当姿态通过所确定的数目个伸开的手指来表征而且这些最大值的数目刚好对应于该数目时，将距离轮廓的多个最大值分配给该姿态。替选地或附加地，例如可以使用在两个极限值之间的距离来分配姿态，例如以便识别手的两根并排的手指是否伸开，或者可以使用距离轮廓的导数，以便确定其它表征性轮廓特征。因为对于图像序列的多个单张图像来说存在这些轮廓特征，所以在确定姿态时也可以考虑这些轮廓特征的变化并且尤其是考虑这些变化的速度。

在一个构造方案中，依据轮廓比较来确定姿态，其中将所测量的距离轮廓与多个参考距离轮廓进行比较，其中这些参考距离轮廓分别分配有姿态。由此，可以有利地预先给定确定的姿态用于识别而且也可以识别复杂的姿态。

这些参考距离轮廓例如可以由制造商在交付用于实施按照本发明的方法的设备时预先给定或者在稍后的时间点提供。替选地或附加地，可以规定用来例如检测和存储用户的新的参考距离轮廓的输入途径，比如以便学习新的姿态或者改善对已知的姿态的识别。

替选地或附加地，可以将所确定的轨迹与参考轨迹进行比较，而且可以类似于针对参考距离轮廓所描述的方法那样来实现对姿态的确定。

在一个构造方案中，针对这些参考距离轮廓确定几何参考特征，而且依据这些参考特征和所测量的距离轮廓的轮廓特征来执行轮廓比较。由此，有利地，可以进一步降低轮廓比较的复杂性。

这些参考距离轮廓可以以不同的方式来提供。例如，所测量的距离轮廓可具有确定的分辨率、也就是说尤其是距离轮廓的确定的数目个点。这些参考距离轮廓可以以相同的分辨率或者不同的分辨率来提供；替选地或者附加地，这些参考距离轮廓可包括如下参考特征，这些参考特征尤其是像上文所描述的针对所测量的距离轮廓来确定的轮廓特征那样来确定。通过直接提供这些参考特征，对于轮廓比较来说不必对这些参考距离轮廓重新进行分析。

轮廓比较可以相对应地进行，使得这些参考距离轮廓的所提供的数据和所测量的距离轮廓可以特别高效地并且在没有不必要地高的计算花费的情况下被使用。

在另一构造方案中，确定所测量的距离轮廓的至少两个极限值，并且依据所测量的距离轮廓的所确定的极限值来进行轮廓比较。由此，有利地，该轮廓比较可以特别简单地并且以相对应地低的计算能力来进行。

例如，在进行该轮廓比较时，可以考虑极限值的数目、方位和/或幅值。这些参数能特别简单地来确定并且表征所测量的距离轮廓以及参考距离轮廓。因而，该轮廓比较可以特别简单地被执行。尤其是，对于轮廓比较来说所需的针对参考距离轮廓的数据、例如关于极限值的数据可以已经被预处理和存储，使得不需要重新分析这些参考距离轮廓。

类似于此，轨迹可以被处理并且通过对位置走向的极限值、速度发展的极限值或者加速度的极限值的分析来被分配给姿态。

在一个构造方案中，确定距离轮廓的一阶导数，并且依据所确定的导数来进行轮廓比较。在此，还可以确定二阶导数。由此，可以有利地确定距离轮廓的附加的相关参数并且使得分配到参考轮廓变得容易。尤其是，可以依据一阶导数和/或二阶导数来确定几何轮廓特征，比如距离轮廓的极限值和/或转折点的数目和方位。类似于此，对轨迹的分析尤其可以通过与参考轨迹的比较来执行。

在一个构造方案中，依据机器学习方法、例如依据神经元网络来执行轮廓比较。由此，该比较可以有利地特别精确地被执行。尤其是，对姿态的分类和识别可以借助于训练数据依据轨迹、距离轮廓和轮廓比较来改善。

还可以规定：依据所确定的距离轮廓和/或轨迹来学习新的姿态。这可以以不同的、本身公知的方式来实现，例如其方式是依据所检测到的图像数据的距离轮廓或者依据大量彼此分开地被检测到的图像数据来生成新的参考轮廓，该新的参考轮廓被分配给确定的姿态并且允许或改善对该姿态的识别。类似于此，可以生成新的参考轨迹。还可以使用机器学习方法，比如以便借助于神经元网络来学习新的姿态。

在按照本发明的方法的一个设计方案中，所检测到的图像数据包括手的至少部分的影像。尤其是，依据手的伸开的手指的数目来确定姿态。由此，该姿态可以有利地借助于用户的手来实施，使得不必使用附加的输入对象。此外，姿态对于用户来说能特别简单地来执行。替选于考虑伸开的手指的数目或者除了考虑伸开的手指的数目之外，可以规定如下姿态，其中某个手指、例如食指伸开或者多根手指组合式地伸开，例如手的拇指和食指或者食指和中指同时伸开。在其它实施例中，替代手及其手指，可以使用其它输入对象。

在一个构造方案中，姿态包括手的运动、例如整只手或者各个手指的方位的变化、手指的伸开或者弯曲、手或各个手指的转动和/或位置变化。尤其是，在此可以考虑各个手指相对于彼此以及相对于手的姿势。以这种方式，有利地，借助于姿态可以实现例如缩放、挪动、标记和/或选择。此外，借助于所检测到的图像序列可以识别出多个依次实施的姿态。

在一个构造方案中，在确定姿态时检查这些单张图像的至少一个单张图像对象是否被识别为手。由此，可以有利地保证：用手来执行的姿态被检测，使得可以避免误探测。

单张图像对象在轨迹的走向内被分析并且可以有关手的特征被检查。例如，可以确定单张图像对象的形状并且检查例如是否能识别出手指。例如，如果探测到手臂的某个部分，则情况就不是如此。如果手在轨迹的整个走向内不能被识别出，则可以使对姿态的识别取决于这只手是否在某个时间点被识别出了和/或是否在该轨迹之内的一个位置处被识别出了。

在另一构造方案中，姿态包括手的转动。有利地，这种姿态能特别简单地来实施并且可以在没有辅助工具的情况下被使用。

在对姿态进行检测时，所检测到的图像数据例如可以基本上包括手心或手背的影像，必要时是带有这只手的手指的手心或手背的影像。还可以规定：识别手的侧视图，例如在手转动使得手边缘对准传感器之后识别手的侧视图。例如，手的这种方位可以依据细长的单张图像对象来识别。还可以识别手的方位的变化，其方式是依据所识别出的单张图像对象的至少一个特性来标识变化，比如偏心率、圆度、幅度或在距离轮廓之内的重复。

按照本发明的开头提到的类型的设备包括检测单元，通过该检测单元能检测具有至少两个单张图像的图像数据，其中这些单张图像能分配有拍摄时间点。该设备还包括分割单元，通过该分割单元，能依据所检测到的单张图像来分别执行分割，其中针对每个单张图像能分别确定单张图像对象并且能依据该单张图像对象来确定参考点，其中针对每个单张图像能分别确定所述单张图像对象的轮廓线，而且针对在所述单张图像对象的轮廓线上的多个点能分别确定距所述单张图像对象的参考点的距离，其中能针对每个单张图像对象依据所述距离来生成所测量的距离轮廓。该设备还包括：轨迹计算单元，通过该轨迹计算单元，能依据这些单张图像的参考点来确定轨迹，而且还能依据所述所测量的距离轮廓和依据轮廓比较来确定所述姿态，其中在轮廓比较时能将所述所测量的距离轮廓与多个参考距离轮廓进行比较，其中所述参考距离轮廓分别能分配有姿态，其中能确定所述距离轮廓的一阶导数，而且能依据所确定的导数来进行所述轮廓比较；以及分配单元，通过该分配单元，能依据该轨迹来确定姿态；和输出单元，输出信号能通过该输出单元依据所确定的姿态来生成和输出。

按照本发明的设备尤其被构造为实现上文描述的按照本发明的方法。因此，该设备具有与按照本发明的方法相同的优点。

该输出单元尤其包括接口，借助于该接口，能将输出信号传输给其它装置，其中并不强制生成对于人类用户来说能察觉到的输出。该输出例如可以以本身公知的方式被传输给其它装置，使得针对该装置来实现姿态控制。

在按照本发明的设备的一个设计方案中，针对每个单张图像，能分别确定单张图像对象的轮廓线，而且通过轮廓计算单元，能针对在该单张图像对象的轮廓线上的多个点分别确定距该单张图像对象的参考点的距离，其中针对每个单张图像对象都能依据距离来生成所测量的距离轮廓。这里，姿态能依据所测量的距离轮廓来确定。

该设备尤其布置在车辆中和/或被该车辆所包括。

附图说明

现在，本发明参考附图依据实施例来阐述。

图1示出了具有按照本发明的设备的实施例的车辆；

图2A至2C示出了按照本发明的方法的实施例；而

图3A至8B示出了单张图像对象和所属的距离轮廓的实施例，如它们可能在按照本发明的方法中出现的那样。

具体实施方式

参考图1，阐述了具有按照本发明的设备的实施例的车辆。

车辆1包括检测单元4，该检测单元与控制单元2耦合。该车辆还包括：存储单元9和装置3、在所示出的实施例中是收音机3，它们二者同样与控制单元2耦合。在此，控制单元2包括分割单元5、轮廓计算单元6、分配单元7和输出单元8。还有轨迹计算单元10与控制单元2耦合。

在该实施例中，检测单元4包括飞行时间（Time-of-Flight）摄像机4，该飞行时间摄像机以本身公知的方式来构造。尤其是，在红外范围内的光脉冲被发出并且在对象上被反射。这种由在检测区内的对象反射的光被探测，而且针对飞行时间摄像机4的图像点的矩阵来确定在发出光脉冲与探测到被反射的光之间发生怎样的时间偏移。依据时间偏移和光速来计算光的传播路程和进行反射的对象的距离。依据在探测时生成的数据，可以生成图像数据，其中每个图像点都分配有距离信息，例如进行反射的对象的距离的值。还可以检测关于所探测到的强度、散射或者其它参数的数据。

在其它实施例中，替选地或附加地，检测单元4可包括其它传感器或探测器类型，例如立体摄像机、超声系统、激光扫描仪或者具有类似的工作原理的其它单元，这些传感器或探测器类型尤其能够确定图像数据的距离信息。还可以设置如下检测单元4，其中确定没有距离信息的图像数据，例如依据简单的摄像机来确定没有距离信息的图像数据。

在该实施例中，还规定：通过检测单元4来检测单张图像的序列。在此，所检测到的图像数据包括视频数据。然而，在另一实施例中，也可以规定：以其它方式来检测单张图像的按时间顺序排列的序列。

参考图2A、2B和2C阐述了按照本发明的方法的实施例。在此，以按照本发明的设备的在上文参考图1所阐述的实施例为出发点。

在第一步骤21中，通过检测单元4来检测图像数据。在该实施例中，图像数据包括单张图像的图像点，这些图像点分别被分配给一个时间点。按时间顺序排列的单张图像的序列尤其是以视频数据的形式被检测。这些图像点还分配有通过ToF摄像机4所检测到的距离信息。

图像数据被传输给控制单元2并且在那里进一步处理。在第二步骤22中，以本身公知的方式来进行信号调整，其中比如可以识别在图像数据之内的单张图像，比如对于视频序列的情况来说可以识别在图像数据之内的单张图像。此外，除了真正的图像数据之外，也可以读入元数据，比如关于被分配给单张图像的拍摄时间点的图像信息、其它时间数据或者其它信息。还可以执行过滤和/或校准。

在接下来的步骤23中，通过该设备的分割单元5以本身公知的方式来执行针对所检测到的单张图像的分割。图2B示出了示例性的结果的示意图：单张图像对象31、这里是手31作为属于同一整体的区域被识别，而且手31的轮廓线32被确定。单张图像对象31尤其是依据就内容而言属于同一整体的、连续的图像点来确定。在分割时，不要探测的区域、比如在探测区中有其它对象的反射的区域或图像点被标识并且被除去，其中可以使用多阶段方法。

在该实施例中规定：借助于手31来执行的姿态被识别。为此，在步骤23中，针对每个单张图像都执行分割。首先，连接到手31上的手腕以及手臂被标识并且从图像中被除去，因为这些区域不应该被用于姿态识别。还可以规定：手31的倾角被确定和补偿，其中例如可以使用被滤出的手腕相对于手的其余部分的位置。紧接着被确定的轮廓线32例如被定义为手31的最外侧的边缘的走向或者被定义为经过位于手31的边缘处的图像点的中心点的线。

替选地或附加地，在其它实施例中，可以检测和识别依据其它输入对象31来执行的姿态。接着，以相对应地适配的方式来执行分割步骤23。

在其它实施例中，在信号调整22和/或分割23时，可以使用其它本身公知的图像处理方法，比如用于识别某个输入对象、尤其是手31，而且用于辨别不应被识别的对象、比如在单张图像的背景中的不应被识别的对象。

在接下来的步骤24中，依据在分割时所确定的单张图像对象31来执行对特征的提取。为此，在该实施例中，确定面积圆38，其中首先所识别出的单张图像对象31的区域的几何形心33被确定为面积圆38的中心点33。为了对面积圆38进行参数化，还确定半径34，使得面积圆38的面积等于所确定的单张图像对象31的面积。

面积圆38的中心点33可以依据如下像素位置二维地来确定，这些像素位置被分配给单张图像的各个图像点。在该实施例中，还规定：这些单张图像的通过ToF摄像机4所检测到的图像数据的图像点包括三维的位置信息，尤其是像素在二维矩阵之内的位置以及各个像素的距离信息。接着，面积圆38的中心点33也可以三维地被确定。尤其是还包括关于针对每个像素的所反射的光的强度的数据。这允许对面积圆38的中心点33的确定的其它权重和其它方式。

在该实施例中，面积圆38的中心点33的位置被传输给轨迹计算单元10并且在那里被存储，尤其是以所属的单张图像的拍摄时间点来存储。该方法被应用于在时间上连续的单张图像的序列。因而，可以提供多个先前的参考点39作为位置，其中单张图像对象31是分别被探测到的。所属的单张图像的拍摄时间点可以分别被分配给这些先前的参考点39。也就是说，用于在这些单张图像中识别出的单张图像对象31的面积圆38的中心点33的位置可以随时间被跟踪。确定轨迹40，该轨迹说明了中心点33、39的位置的走向。以这种方式，尤其是可以跟踪输入对象的运动，该输入对象作为单张图像对象31被投影在这些单张图像中。还可以以其它方式来生成轨迹40。

在接下来的步骤中，通过轮廓计算单元6来确定距离轮廓，其中单张图像对象的轮廓线借助于以面积圆的中心点为原点的极坐标来参数化。为此，例如可以定义指针，该指针的原点位于面积圆的中心点而且该指针伸展直至单张图像对象的轮廓线。距离轮廓说明了该指针的取决于如下角度的长度，该指针与垂直指向上的、延伸经过中心点的线围出该角度。例如，距离轮廓在此被生成为使得指针的长度在从垂直指向上的位置出发沿顺时针方向的一圈完整的旋转内被绘制。在此，指针的角度例如可以以弧度来说明并且通过标准化因子来标准化到1。还可以依据面积圆的半径r、也就是说借助于标准化因子/>来实现对距离轮廓的标准化，使得距离轮廓的值在为1的标准化值左右波动。

可选地，针对这些单张图像的标准化因子被存储并且作为时间的函数来分析。类似于其中面积圆38的中心点33被视为时间的函数的轨迹40，可以使用标准化因子的发展，以便表征所探测到的单张图像对象31的变化。

在其它实施例中，可以针对沿着轮廓线等距地布置的点来确定距离轮廓。

可选地，可以执行对距离轮廓的预处理，例如借助于平滑来执行对距离轮廓的预处理，以便抑制噪声。

提取距离轮廓的特征，其中尤其是以曲线审议的方式来执行计算。尤其是，确定距离轮廓的一阶导数和二阶导数。在该实施例中规定：提取基于形状的特征，尤其是距离轮廓的极限值的位置、距离和/或幅值以及转折点的位置。

例如，在姿态借助于至少部分地打开的并且朝向检测单元4的传感器的手来执行的情况下，可以依据距离轮廓的被提取的最大值的数目来确定伸开的手指的数目。在此，可以使用其它方法，例如以便避免误探测，其方式是考虑极限值的最小或最大幅值的阈值或者在极限值环境下的曲线走向的确定的宽度的阈值。

在其它实施例中，替选地或附加地，可以提取其它特征。

在该实施例中规定：执行连续性检查，其中连续的单张图像的属于同一整体的单张图像对象被识别。实现这一点来保证轨迹40涉及确定的输入对象的运动并且没有跳跃式地发生变化。为此，可以应用不同的方法，尤其是检查是否能在轨迹40的走向中观察到跳跃式的、不可信的运动。还可以检查：是否发生所探测到的单张图像对象31的突然的尺寸变化并且表明有误探测。

因为存在单张图像的序列的数据，所以该轨迹也可以以曲线审议的方式来分析并且被用于姿态识别。还可以识别并且考虑从这些单张图像中提取的特征的变化。在此，尤其是提取轨迹特征，例如方向或者距离的极限值的方位和大小、速度和加速度以及该轨迹在这些极限值之间的走向。

在该实施例中，在接下来的步骤25中辨别：是否应该执行对姿态的识别或者是否应该训练系统，比如以便重新学习姿态或者改善对已知的姿态的识别。

如果应该对姿态进行识别，则在步骤26中通过分配单元7来执行分类。这可以被称作该方法在“在线模式”下的流程，其中应该识别姿态并且生成和输出相对应的输出信号。在此，在该实施例中，依据之前确定的距离轮廓、轨迹和/或所提取的轨迹特征或轮廓特征来确定所分配的姿态。在此，所确定的姿态可以分配有确定的特征，例如距离轮廓的确定数目个最大值或者轨迹的方向。在这种情况下，可以辨别：是否有一根或多根手指伸开以及仅仅伸开的手指的数目是否就可允许对姿态的分配。

还可以考虑针对图像数据的单张图像来确定的特征的随时间的变化。例如可以对轨迹40进行分析，而且例如可以确定运动方向、速度和/或加速度作为特征。这例如可以表征擦或推姿态，该擦或推姿态包括从一侧到另一侧的运动。在对轨迹的三维检测的情况下，还可以探测朝向传感器或者从该传感器远离的运动，尤其是结合推或拉姿态来探测朝向传感器或者从该传感器远离的运动。

可选地，还可以如上文所阐述的那样提取标准化因子的变化作为特征并且在分类时考虑标准化因子的变化。

必要时，该分类可以多阶段地进行，例如其方式是首先依据某些特征来执行分类而紧接着依据其它特征来将该分类细化。

还可以在多个层面上进行分类，其中一方面考虑在这些单张图像中识别出的姿态（这里也被视为部分姿态）而另一方面考虑单张图像的所探测到的序列的姿态的可变的参数。

可以执行轮廓比较，其中使用参考轮廓，这些参考轮廓在该实施例中由存储单元9来提供。可以以不同的方式来进行轮廓比较。

例如，针对参考轮廓和/或参考轨迹可以执行预处理，尤其是类似于在步骤24中对距离轮廓和轨迹的特征的提取。针对参考轮廓的这种预处理的结果可以在实施该方法之前就已经实现，而且最终得到的轮廓特征可以被存储和提供。接着，轮廓比较可以比较简单地被执行，其方式是比如考虑极限值的数目、这些极限值的形状和方位、必要时相对于彼此的形状和方位和/或在这些极限值之间的曲线走向，比如依据转折点的参数来考虑极限值的数目、这些极限值的形状和方位、必要时相对于彼此的形状和方位和/或在这些极限值之间的曲线走向。这些参考轮廓还可具有随时间的变化，比如朝着某个方向并且以某个速度和/或加速度的运动。在这种情况下，也可以进行预处理，使得适当的特征可以已经提前被提取而且被提供用于轮廓比较。

为了识别单张图像对象并且尤其是为了将姿态分配给该单张图像对象，在用于实施该方法的程序运行时，例如针对在单张图像中识别出的单张图像对象遍历针对某些姿态的表示并且将这些表示与所确定的距离轮廓进行比较。这些表示尤其是存储在微控制器中并且可以以这种方式在运行时特别快速地被遍历和分析。这些表示可以包括来自训练过程的特征，其中针对可识别出的姿态来执行训练。如果在这种遍历的情况下识别姿态，则该结果可以被报告给上级系统或输出信号可以被生成和输出。

在一个花费较高的实施方案中，轮廓比较可以依据机器学习方法来执行，尤其是借助于神经元网络来执行。这通常需要较高的计算能力，然而尤其可以被用于依据较复杂的距离轮廓和/或轨迹对姿态的识别。这里，为了进行轮廓比较，例如使用轨迹、整个距离轮廓以及必要时参考轮廓的相对应的数据。尤其是，这里对于轮廓比较来说不仅仅考虑各个被提取的轮廓特征。

在其它实施例中，可以以其它方式来进行轨迹和轮廓比较，其中该距离轮廓分配有一个参考轮廓或者一组参考轮廓或该轨迹分配有一个参考轨迹或一组参考轨迹。尤其是，这些参考轮廓或参考轨迹分别被分配给一个姿态。

在依据所检测到的图像数据确定了姿态之后，在接下来的步骤27中执行后处理，其中输出信号通过输出单元8来生成和输出。在该实施例中规定：输出信号包括针对装置3、在这种情况下是收音机3的控制信号，而且该输出信号被传输给该收音机，其中没有进行对于人类用户来说能检测到的输出。以本身公知的方式进行对收音机3的姿态控制，其中例如当识别出具有确定的数目个手指的姿态时可以设置电台或者可以通过朝着一个方向的擦动来切换到另一电台。在其它实施例中，输出可以以对于用户来说能检测到的方式来输出，比如借助于能以视觉方式察觉到的显示来输出。

在其它实施例中，可以借助于姿态控制来控制其它装置3，其中依据姿态来检测输入。

如果在判断步骤25中识别出应该执行对姿态识别的训练，则在步骤28中执行模型训练并且在接下来的步骤29中生成模型。这可以通过存储单元9非易失性地来存储并且可以被提供用于稍后的遍历。训练的过程可以作为“离线模式”、也就是说在不生成输出信号的情况下来执行。在此新生成的模型相对于旧的模型被改变，比如以便更好地识别已知的姿态，或者可以生成新的模型，比如用于要新学习的姿态。模型尤其可以包括参考轮廓、参考轨迹或者类似的数据，这些参考轮廓、参考轨迹或者类似的数据可以被用于依据距离轮廓和/或轨迹来识别姿态。可选地，紧接着可以进行用于对姿态进行识别的分类以及对输出信号的生成和输出。

在另一实施例中，在此可以训练神经元网络的分类器或者执行其它机器学习方法。

上文所阐述的在在线或离线模式下的方法可以单独地或者依次被实施，其中尤其是应考虑到：针对姿态的识别可靠性通常可以通过增加训练来改善。

参考图3A至8B来阐述单张图像对象和所属的距离轮廓的实施例，如它们可能在按照本发明的方法的情况下在图像数据的单张图像中出现的那样。在此，尤其是以在上文参考图1所描述的按照本发明的设备的实施例以及在上文参考图2A至2C所描述的按照本发明的方法的实施例为出发点。所描述的实施例涉及在单张图像之内探测到的静态姿态。如上文所阐述的那样，按照本发明，还确定轨迹40并且在对姿态进行识别时考虑该轨迹40。

分别在图3A、4A、5A、6A、7A和8A中示出的图像对应于通过检测单元4所检测到的输入对象在分割步骤之后的影像，其方式是标识出了单张图像对象31。对于每个图像点来说，比如可以检测由输入对象所反射的强度和/或距离值。在图3B、4B、5B、6B、7B和8B中的图形分别至少部分地示出了相应的距离轮廓37，在该示例中，该距离轮廓是在训练过程中、也就是说在按照本发明的方法的离线模式下获得的。依据在图像数据中识别出的单张图像对象31所检测到的特征可以完整地、例如作为图像数据完整地或者以压缩形式来存储，比如其方式是提取和存储轮廓特征。

在图3A中示出的示例中，单张图像对象31是在图像数据的一个单张图像之内被识别出的，该单张图像对象例如对应于具有伸开的手指的手。对于单张图像对象31来说，生成了轮廓线32，该轮廓线对应于经过单张图像对象31的像素的相应的中心点的闭合线。还确定了面积圆38，该面积圆的中心点33与单张图像对象31的重心重合而且该面积圆的半径34被选择为使得面积圆38的面积与单张图像对象31的面积一致。

为了生成距离轮廓37，单张图像对象31的轮廓线32被参数化。为此，对于沿着轮廓线32的点来说，距面积圆38的中心点33的距离被确定并且依据面积圆38的半径34来标准化。也就是说，轮廓线32与面积圆38的交点分别具有为1的距离。距离轮廓37说明了在轮廓线32上的点与它们在轮廓线32上的位置相关的标准化距离，其中位置作为沿着轮廓线32的距离来计算，开始于在轮廓线32上的任意的点。

在其它实施例中，距离轮廓37可以说明与角度相关的标准化距离，在中心点33与在轮廓线32上的点之间的连接线例如与垂直线围出该角度。

在图3A中示出的单张图像对象31的距离轮廓37在图3B中示出。沿着x轴示出了沿着轮廓线32的距离的片段，被标准化到0与2之间的值。在此，所要观察的片段可以以本身公知的方式来确定。该片段包括在图3A中示出的极限值，即两个最小值36（作为星号来示出）和一个最大值35（作为三角形来示出）。对极限值35、36的确定以本身公知的方式进行，尤其是借助于距离轮廓37的一阶导数和二阶导数以及必要时平滑来进行。还可以考虑阈值，例如其方式是在超过下阈值时才识别最大值35而在低于上阈值时才识别最小值36。

在图3A和3B中示出的示例中，比如可以依据距离轮廓37来标识最大值35，该最大值对应于伸开的手指。也就是说，这种姿态已经可以依据距离轮廓37来识别。

在其它实施例中规定：将距离轮廓37与一个或多个参考轮廓进行比较。在该轮廓比较的情况下，可以对曲线走向进行比较和/或可以对轮廓特征进行提取和比较，以便例如检查所测量的距离轮廓37是否具有与参考轮廓相同数目个最大值35。在其它实施例中，为了执行轮廓比较，可以使用神经元网络或者其它方法。

依据在该示例中在离线模式下所检测到的数据，可以生成模型，例如以便学习新的姿态，其方式是所提取的特征35、36以存储在模型中的方式来寄存并且稍后能作为参考轮廓来调用。还可以更新和存储模型、尤其是一个或多个参考轮廓，所述参考轮廓被分配给这里所识别出的姿态。

在图4A和4B中示出的示例中，检测到了五根手指都打开的手的图像数据。以上文所描述的方式确定了距离轮廓37，该距离轮廓在图4B中示出。依据距离轮廓37可以标识出五个最大值35（作为三角形来示出），这在该示例中对应于伸开的手指的数目。

在图5A和5B中示出的示例中，检测到了有两根手指、比如拇指和食指伸开的手的图像数据。以上文所描述的方式确定了距离分布，该距离分布在图5B中示出而且在该距离分布中标识出两个最大值35（作为三角形来示出）。在该示例中，这对应于伸开的手指的数目。还可以分析曲线走向而且例如可以分析被分配给伸开的手指的最大值35的距离。尤其是当在所检测到的图像序列内识别出距离的变化时，所识别出的姿态例如可以被解释为缩放姿态。

与在图5A和5B中示出的示例类似，在图6A和6B中示出的示例中，检测到了有两根手指、比如食指和中指伸开的手的图像数据。以上文所描述的方式确定了距离轮廓，该距离轮廓在图6B中示出而且在该距离轮廓中标识出两个最大值35（作为三角形来示出）。在该示例中，这对应于伸开的手指的数目。为了将该姿态与上文参考图5A和5B所示出的姿态区分开，例如可以考虑距离轮廓的一阶导数和二阶导数。也就是说，上升的走向和幅度大小加入到被分配给相应的姿态的模型中。例如，在所示出的情况下可以确定：这两个最大值35彼此离得有多远和/或在这些最大值35之间的距离轮廓37有多陡峭地延伸。

在其它实施例中，为了依据距离轮廓37来识别姿态，可以使用神经元网络或者类似的方法。这种识别通常比所描述的借助于各个轮廓参数的识别花费高得多，所述轮廓参数可以简单地依据曲线审议的工具来确定。

在上文所提到的示例中，手被视为输入对象。在其它实施例中，还可以使用其它物品和输入对象，比如脚、头或者日常用品，用于对姿态的检测。为此，可以生成和存储模型、尤其是具有参考轮廓的模型。尤其是当在不同的姿态下出现相应的距离轮廓的相同数目个极限值35、36或转折点时，可以使用距离轮廓37的导数和这些距离轮廓的相应的特征，用于对姿态的识别。在此，与其它技术相比，在按照本发明的方法中使用非常小的存储器大小，例如每个单张图像对象低于50字节，而且可以确保特别快速的处理，例如借助于具有低于1Mips（million instructions per second（每秒百万条指令））的低计算能力的微控制器就可以确保特别快速的处理。

替选地或附加地，依据距离轮廓37可以提取其它不同的轮廓特征，例如偏心率、圆度、幅度的摆幅、空间中的斜度和/或曲线的重复，例如对周期性的识别。

在按照本发明的方法的所描述的实施例中，还通过依据面积圆38的半径34的标准化来保证可以在不同大小的输入对象、例如不同的手的情况下识别出姿态。

在图7A和7B中示出的示例中，检测到了圆形区域、比如球体或者圆牌的图像数据。以上文所描述的方式确定了距离轮廓37，该距离轮廓在图7B中示出而且示出了与面积圆38的轮廓32基本上平行的走向。尤其是没有探测到曲线的极限值35、36。因此，依据这种线可以标识圆形的输入对象。

在图8A和8B中示出的示例中，检测到了方形的图像数据。以上文所描述的方式确定了距离轮廓37，该距离轮廓在图8B中示出而且每隔一段时间就具有四个最大值35，在这四个最大值之间每隔同样一段时间就布置有四个最小值36。此外，比如可以依据所检测到的以及必要时二阶导数来确定：该距离轮廓在这些最大值35之间的走向基本上周期性地重复。因此，这种线可以被分配给方形的输入对象。

例如可以使用像在上文参考图7A至8B所阐述的情况下那样的特征，以便辨别不同的输入对象，比如手、脚和头。

在其它实施例中，还借助于摄像机来检测图像数据，使得依据其它图像处理方法、比如依据神经元网络可以识别不同的输入对象，其中尤其是使用本身公知的图像处理方法。由此，例如可以检测和定位确定的输入对象、比如手，以便使对图像数据的分割变得容易和/或以便限定该输入对象已被定位在其中的检测空间。接着，借助于按照本发明的方法对姿态的识别可限于图像数据的确定的范围并且更快地被执行。

在其它实施例中，可以考虑如下特征，这些特征通过与在分割时识别出的单张图像对象31的最外侧的轮廓线32不同的轮廓线来形成。例如，在分割时识别出的单张图像对象31可具有“孔”、也就是说被单张图像对象31的区域所包围的区域，该区域本身并不属于该单张图像对象31。这种区域例如可能在像在潜水员之间流行的“OK”信号那样的手势下形成。这种被包围的区域可以作为其它特征被用于对姿态的识别。还可以规定：对该被包围的区域进行参数化并且在此在对姿态进行识别时同样考虑所确定的参数。

替选地或附加地，可以检测对姿态进行检测的时长。在这些情况下，基本上如上文所描述的那样来处理图像数据，其中相应的单张图像的图像数据可以单独地被分析。替选地或附加地，可以通过所测量的距离轮廓37的变化的过程来表征姿态、例如缩放姿态，其中两根伸开的手指彼此间的距离发生变化，这可以依据在距离轮廓37中的最大值35的变化的距离来探测。还可以考虑：在确定的时段内检测确定的姿态。替选地或附加地，其它姿态可以以本身公知的方式来规定并且被识别。

附图标记列表

1 车辆

2 控制单元

3 装置；收音机

4 检测单元；飞行时间（TOF）摄像机

5 分割单元

6 轮廓计算单元

7 分配单元

8 输出单元

9 存储单元

10 轨迹计算单元

21 检测图像数据

22 信号调整

23 分割

24 提取特征

25 在训练还是识别之间进行辨别

26 分类

27 后处理

28 模型训练

29 生成模型

31 单张图像对象；手

32 轮廓线

33 参考点；中心点；几何中心

34 半径

35 轮廓特征；极限值；最大值

36 轮廓特征；极限值；最小值

37 距离轮廓

38 面积圆

39 先前的参考点

40 轨迹

Claims (12)

1.一种用于依据姿态来检测用户输入的方法，其中

检测具有至少两个单张图像的图像数据，其中所述单张图像分配有拍摄时间点；

依据所检测到的单张图像，分别执行分割；其中

针对每个单张图像，分别确定单张图像对象（31）并且依据所述单张图像对象（31）来确定参考点（33、39）；

依据所述单张图像的参考点（33、39）来确定轨迹（40），其中针对每个单张图像，分别确定所述单张图像对象（31）的轮廓线（32），而且针对在所述单张图像对象（31）的轮廓线（32）上的多个点，分别确定距所述单张图像对象（31）的参考点（33、39）的距离，其中针对每个单张图像对象（31），依据所述距离来生成所测量的距离轮廓（37）；

依据所述轨迹（40）来确定姿态；而且

还依据所述所测量的距离轮廓（37）和依据轮廓比较来确定所述姿态，其中在轮廓比较时将所述所测量的距离轮廓（37）与多个参考距离轮廓进行比较，其中所述参考距离轮廓分别分配有姿态，其中确定所述距离轮廓（37）的一阶导数，而且依据所确定的导数来进行所述轮廓比较；以及

输出信号依据所确定的姿态来生成和输出。

2.根据权利要求1所述的方法，

其特征在于，

所述参考点（33、39）是所述单张图像对象（31）的几何中心（33、39）。

3.根据权利要求1所述的方法，

其特征在于，

借助于连续性检查来识别连续的单张图像的属于同一整体的单张图像对象（31）；而且

所述轨迹（40）依据所述属于同一整体的单张图像对象（31）来确定。

4.根据权利要求1所述的方法，

其特征在于，

针对所述单张图像对象（31）来确定取向；而且

所述姿态还依据所述单张图像对象（31）的取向来确定。

5.根据权利要求1所述的方法，

其特征在于，

所检测到的图像数据包括图像点而且所述图像点分配有距离信息。

6.根据上述权利要求1-5之一所述的方法，

其特征在于，

确定所述所测量的距离轮廓（37）的几何轮廓特征（35、36）；而且

所述姿态依据所述几何轮廓特征（35、36）来确定。

7.根据上述权利要求1-5之一所述的方法，

其特征在于，

针对所述参考距离轮廓来确定几何参考特征；而且

依据所述参考特征和所述所测量的距离轮廓（37）的轮廓特征（35、36）来执行所述轮廓比较。

8.根据上述权利要求1-5之一所述的方法，

其特征在于，

确定所述所测量的距离轮廓的至少两个极限值（35、36）；而且

依据所述所测量的距离轮廓（37）的所确定的极限值（35、36）来进行所述轮廓比较。

9.根据上述权利要求1-5之一所述的方法，

其特征在于，

所述轮廓比较依据机器学习方法来执行。

10.根据上述权利要求1-5之一所述的方法，

其特征在于，

在确定所述姿态时，检查所述单张图像的至少一个单张图像对象（31）是否被识别为手。

11.根据上述权利要求1-5之一所述的方法，

其特征在于，

所述姿态包括手的转动。

12.一种用于依据姿态来检测用户输入的设备，所述设备具有：

检测单元（4），通过所述检测单元能检测具有至少两个单张图像的图像数据，其中所述单张图像能分配有拍摄时间点；

分割单元（5），通过所述分割单元，能依据所检测到的单张图像来分别执行分割，其中针对每个单张图像能分别确定单张图像对象（31）并且能依据所述单张图像对象（31）来确定参考点（33、39），其中针对每个单张图像能分别确定所述单张图像对象（31）的轮廓线（32），而且针对在所述单张图像对象（31）的轮廓线（32）上的多个点能分别确定距所述单张图像对象（31）的参考点（33、39）的距离，其中能针对每个单张图像对象（31）依据所述距离来生成所测量的距离轮廓（37）；

轨迹计算单元（10），通过所述轨迹计算单元，能依据所述单张图像的参考点（33、39）来确定轨迹（40），而且还能依据所述所测量的距离轮廓（37）和依据轮廓比较来确定所述姿态，其中在轮廓比较时能将所述所测量的距离轮廓（37）与多个参考距离轮廓进行比较，其中所述参考距离轮廓分别能分配有姿态，其中能确定所述距离轮廓（37）的一阶导数，而且能依据所确定的导数来进行所述轮廓比较；

分配单元（7），通过所述分配单元，能依据所述轨迹（40）来确定姿态；和

输出单元（8），输出信号能通过所述输出单元依据所确定的姿态来生成和输出。