CN102027440A - 对象与运动检测 - Google Patents

Abstract

例如人手的运动、位置或者构型能够通过以下步骤来识别：在各个时帧内发射多个发射信号；接收多个接收信号；利用发射信号和接收信号确定多个信道脉冲响应；限定脉冲响应矩阵，其中邻近时帧的脉冲响应彼此邻近；并且分析矩阵以得到与运动位置或构型相对应的图案(22)。

Description

对象与运动检测

技术领域

本发明具体地涉及一个或者多个对象的探测、定位和/或追踪，其应用超声波，但是不排出其他的。

背景技术

众所周知，应用飞行时间测量结合三角测量或者其它几何求交技术，可以利用一个超声波发射器和接收器阵列来追踪一个或者多个对象。与多数的成像技术一样，分辨率随着所应用的传感器的数量而提高。特别地，为了使来自一个对象的信号能够与来自另一个对象的信号分离，需要提供足够的分辨率，这需要大量传感器。由此可见，当具有足够大的传感器阵列时，可以追踪多个对象，例如，手上的手指，为了与个人计算相互作用。实际上此类追踪的多种方案已被提出-例如，在美国专利申请US 2006/0161871(Apple的)或者US 2007/0121097(Navisense的)。然而，这些方案均有缺点。特别地，应用大量传感器以给出多个对象的精确轨迹，使得系统具有高复杂度和高成本。

发明内容

本发明目的在于采取一种不同的方法。

从第一方面看，本发明提供了一种识别人手运动的方法，包括：

在各个时帧内发射多个发射信号；

接收多个接收信号，至少一些所述接收信号被所述人手反射；

使用所述发射信号和接收信号来确定多个信道脉冲响应；

限定脉冲响应矩阵，其中，邻近时帧的脉冲响应彼此邻近；并且

分析与所述人手运动相对应的所述图案矩阵。

本发明扩展至用于识别人手运动的设备，包括：

发射装置，被设置成在各个时帧内发射多个发射信号；

接收装置，被设置成接收多个接收信号，至少一些所述接收信号由所述手反射；并且

处理装置，被设置成通过使用所述发射信号和接收信号确定多个信道脉冲响应，定义脉冲响应矩阵，其中，邻近时帧的脉冲响应彼此邻近，并分析与人手运动相对应的所述图案矩阵。

本发明还扩展至一种计算机软件产品以及一种承载计算机软件产品的载体，计算机软件产品被设置成，当在计算机上运行时，为了识别人手运动，此软件具有输入，该输入用于多个在各个时帧内的发射信号以及多个接收信号，并且此软件进一步包括逻辑，该逻辑被设置成：通过使用所述发射和接收信号确定多个信道脉冲响应；限定脉冲响应矩阵，其中，邻近时帧的脉冲响应彼此邻近；并分析与一个或多个对象相对应的所述图案矩阵。

因此本领域普通技术人员可见，根据本发明，矩阵被构造成，其中，手的运动由与脉冲响应相对应的图案代表，该脉冲响应是在连续时帧内由从手的反射所产生的。这允许，在本发明的多种实施例中，对于人手运动的识别允许了在不需要任何物理接触(-即，非接触界面)的情况下，在控制界面中使用该运动。运动识别可以是例如：追踪一根手指的运动；寻找由整个手作出的手势；寻找手的形状、方向或者构型的改变；或者甚至这些行为的任意组合。此处所披露的很多方面和特征有助于达到的显著优势是，上面所提及的运动识别能够在如下情况下实现：无需高成像分辨率；能够成功地具有对由过低分辨率产生的噪声和固有模糊性的容忍。

本发明的观念还包括识别由手控制的无生命对象的运动，或者除了人手之外的对象的运动，例如，另一人体部分或者动物体部分。它还包括识别具体位置、形状、和构型而非运动。因此，当从第二方面看时，本发明提供了一种在成像域确定一个或者多个对象的状态的方法，包括：

在各个时帧内发射多个发射信号；

接收多个接收信号；

使用所述发射信号和接收信号确定多个信道脉冲响应；

限定脉冲响应矩阵，其中，邻近时帧的脉冲响应彼此邻近；并且

分析与一个或者多个对象相对应的所述图案矩阵。

本发明因此扩展至在成像域确定一个或者多个对象的状态的设备，包括：

发射装置，被设置成在各个时帧内发射多个发射信号；

接收装置，被设置成接收多个接收信号；以及

处理装置，被设置成通过使用所述发射信号和接收信号确定多个信道脉冲响应，定义脉冲响应矩阵，其中邻近时帧的脉冲响应彼此邻近，并分析与一个或者多个对象相对应的所述图案矩阵。

本发明类似地还扩展至一种计算机软件产品以及一种承载该计算机软件产品的载体，计算机软件产品被设置为，当在计算机上运行时，在成像域内确定一个或者多个对象的状态，此软件具有输入，该输入用于多个在各个时帧内的发射信号和多个接收信号，此软件进一步包括逻辑，该逻辑设置成：通过使用所述发射和接收信号确定多个信道脉冲响应；定义脉冲响应矩阵，其中邻近时帧的脉冲响应彼此邻近；并分析与一个或者多个对象相对应的所述图案矩阵。

在本发明的具体实施例中，此方法和软件被用于控制电子装置，该电子装置能够是计算机、PDA、移动电话、显示装置、视听装置或者声音再现装置(目的在于给出一些非限制性示例)。本发明因此扩展至由此处所披露的方法和软件所控制的电子装置。

可以恰当地选择发射信号的特性。在一个简单实施例中，它们能够包括单一脉冲或者尖峰，即，在可用带宽限制范围内接近Diracdelta函数。这在需要少量(如果存在的话)处理“原始信号(rawsignal)”以计算脉冲响应(在理论条件下的纯脉冲，不需要计算)方面具有一些优点，但由于刻意的短传输而给出了差的信噪比。在另外的实施例中，发射信号可由一系列或者一连串的脉冲组成。这给出了比单一脉冲更好的信噪比而不需要大幅提高所需的计算。在其它实施例中，发射信号包括一个或者多个连续变频信号(chirp)-即带有上升或者下降频率的信号。这些给出了好的信噪比并且用于使用适用于“原始(raw)”接收信号的相应解线性调频函数(de-chirpfunction)来计算脉冲响应。

矩阵可以是包括记录在计算机装置的存储器或者其它存储介质中的数据的逻辑结构；同样地其可被视为图像，其中，矩阵的值与图像中的亮度级相对应。在任一表现形式中，各个时帧的脉冲响应被方便地对齐，以使静止对象的响应由水平线表示。然而这并非必不可少的；例如，取样方案和此类矩阵不需要是方形或者矩形的；它可以是不同形状的，例如六边形。通常地，矩阵由不同时间的脉冲响应的采样所组成，此处，脉冲响应自身是时间的函数。

申请人已经认识到，通过组织脉冲响应而使它们能够被描绘成图像(无论它们是否实际上是被如此描绘)，可以利用图像的有效分析来推断关于对象(们)的有用信息。当这种分析在下文中被论述时，将参考脉冲响应图像；然而本领域普通技术人员应当理解的是，这样的分析同样能够通过矩阵中的数据实现，无论它是否如此储存或者无论它是否为纯粹逻辑结构，并且此处不应该认为具有固有的限制，能够将本方面限制成需要产生实际图像或者任何其它描绘。

当在此参考脉冲响应和脉冲响应图像时，这些术语将被理解为包括所接收脉冲响应的简单线性变换，例如，可逆或者线性比例变换。因此，术语脉冲响应和脉冲响应图像在下文中应当被理解为包括所有这样的等同物。

在一些已知系统里，通过对比连续反射信号对(即通过对比它们的相位)实现对象追踪。这可被认为是“原始信号”域。然而，申请人已经意识到，根据本发明，通过实现在脉冲响应图像域中的追踪，能够实现显著优点。例如，较少地需要分离大量小脉冲或者找到波的前缘(对比当在“原始信号”域操作时的情况)。本发明的优选实施例对于“场景(scene)”进行总体观察，这进而能够实现对于具体对象及其移动的图像的各部分的识别的更好质量的评估，这与在任何给定时间简单实施“搜索(search)”操作是相对的。

与对象及其运动相对应的脉冲响应“图像”中的图案将典型地由来自大量连续时间区间的脉冲响应组成。通过与绝对大(simplemaxima)、小、零相位点或者列偶(column-pair)相位或者时延对比，使用根据本发明的图案能够对于图像内的趋势进行更精确和可靠的分析，这进而又实现了可靠的对象识别、定位和/或追踪。在本发明的一些实施例中，脉冲响应图像允许进行复帧运动评估-即，该运动评估不是从“帧到帧”被简单计算出来并然后可能地对这些帧求平均而实现的运动评估，而是在该运动评估中，利用从开始处右侧的几个帧而计算该运动。这可被有效地视为执行“提取(extraction)之前的“合成(synthesis)”并且从根本上与已有技术不同，在已有技术中，数据“在运行中(on the fly)”提取然后过滤、求平均值或者用别的方法被平滑。

然而在本发明的一些方面，这并非必不可少的。脉冲响应图像也允许运动评估，其中针对多个对象和/或单个对象内的多个像素计算出可能的运动，无论它是针对脉冲响应对或者多个脉冲响应：多像素/多候选运动评估而被计算的。这种运动评估可以使用由两个或者更多个连续时间得到的脉冲响应样本。实际上，我们的研究已经表明，由于对象的尺寸和方向，对象表面上的不同点可以具有不同的运动图案。如果，例如，手是沿着直线以匀速在靠近接收器/发射器装置前方运动，则在手的一侧上的反射点或者部分对象与在另一侧上的点或者部分对象不具有到接收器/收发器装置的相同的系列的距离。

相比之下，一些现有技术是基于计算信号从一帧到下一个帧的相位延迟。这假设了具有单一的“平均(average)”的相位延迟，或者“质心(centroid)的相位延迟”，其将对象作为一个整体表示。然而申请人已经发现，这经常是一个非精确假设，依赖于被追踪对象的形状。可能导致模糊，例如在追踪曲线上具有不想要的伪差，其能够导致关于对象位置运动的混淆，并因此导致错误的位置评估，特别是当计算2D或者3D位置时。

因此，本发明的至少一些实施例能够在脉冲响应图像内为多个反射点或者对象的部分提供运动信息，这些点的运动与具体局部性的“亮(bright)”或“暗(dark)”像素的从脉冲响应矩阵的一列到下一列的运动有关。此脉冲响应中的“像素运动(motion of thepixel)”也可比作光流场(optical flow field)。

因此，根据优选实施例，脉冲响应图像能够使用复帧来追踪单一(有效点)对象，或者使用两个或者更多帧来追踪多个对象或者有限尺寸对象的多个部分；或者实际上这些的任意组合。

可以将此方法与一些现有技术的追踪方法相对比，现有技术的追踪方法事实上仅是试图在一个时间点定位对象然后通过寻找在下一个时间点的位置变化来追踪它的运动，例如，使用相位延迟技术。对脉冲响应计算相位延迟，然后以全部时间求平均值。然而，因为每一此类逐对对比对于噪声和误差敏感(特别是如果存在引起噪声脉冲响应的噪声突发(burst，脉冲))，此过程的变化趋向于随着时间增长(虽然它可能具有零均值)。此结果是具有这样的趋势，即，在所跟踪的飞行时间(times of flight，渡越时间)内在每一信道发生漂移，其当试图组合这些位置以确定空间中的二维或者三维位置时可能导致产生更严重的伪差。虽然这里有几种途径(其中，此类漂移能够得到修正)，但是，本发明的实施例的益处在于避免这样的漂移，因此排除了对应用此类修正的需求。

另外已有技术方法不能充分应对所追踪对象在场中过于接近另一对象时的情况。此外，它们不能充分应对当两个对象距离“发射器-接收器对”处于相似飞行时间距离时的情况，即使这些对象在空间上并不彼此接近。本发明(至少在其使用复帧运动评估的优选实施例中)在回声或者脉冲响应的逐对对比中具有优于现有技术的易错状态的优点，通过替代地同时采用几个回声脉冲响应。

在优选实施例中，图案包括亮度等高线(intensity)。明显地，此类等高线的良好结构依赖发射信号的特性；并且由于重叠线之间的干扰可能引起闪变上升(flicker)，它们可能并不稳定。然而，等高线优选地能够由一些线近似得出。此类线可以是直线或者曲线，并且在一些优选实施例中，以多个线段近似得出线本身。

在简单应用中，本发明的实施例可被用于现有的检测-例如通过寻找图像预定区域中的实质主要的线来指示对象。线的特性(例如它们的宽度或者图案)能够被用于确定对象的特性-例如它与周边对象相对比的尺寸、形状或者反射率。通常，当对象出现在成像域时，脉冲响应图像将包括能量和明确方向两者的特征(例如，对于静止对象是水平位置的，对于运动对象是有角度的)；而噪声趋向于具有能量但没有可识别方向。

如果(如优选的)静止对象在脉冲响应图像中以水平线代表，运动对象将以非水平线代表。以固定比率扩展或者缩短从发射器到对象并且返回到接收器的飞行时间的运动将以与水平成一定角度的直线代表，而其它运动将以曲线代表。申请人因此已经认识到，对这些线的分析能够用以确定对象的运动。而且另外认识到，通过应用一些源自对象运动的物理原理的简单定律，多个对象的运动能够被跟踪，甚至通过不充分分辨率也能够在任意给定瞬间区分对象。

对象的运动能够被视为关键原理，允许它们被分离而无需通常所认为的能够使它们独立成像的充分分辨率，甚至即使对象是重叠的。这源于回声定位进程是线性的观测；来自于一个对象的回声重叠在另一个对象的回声的顶部，使得全部图像成为源于场中各种反射体的运动的“透明(transparent)”脉冲响应图像的总和。因此本发明的优选实施例使用复帧透明运动评估，它的一个简单的实现途径是，假设不同的文本被印到透明纸上且该些透明纸是一张落在另一张上面的。如果这些纸相对于彼此是静止的，则可能很困难或者不可能阅读任何文本。然而如果它们相对运动，则阅读它们将容易得多。

应用运动来分离紧密排列或者重叠的对象的概念可被视为通过利用时间域内的更高分辨率来提高空间域内的低分辨率。

从另一方面看，本发明提供了一种在成像域中出现一个或者多个其它对象时跟踪对象的方法，包括向所述成像域发射能量，接收从成像域反射的能量，以连续时间区间计算一系列脉冲响应，并且选择与连续运动相对应的所述脉冲响应的子集。本发明扩展至被构造成实现此类方法的设备以及被构造成实现前述计算和选择步骤的计算机软件产品。

所发射的能量可以是间歇性的(规律或者不规律地)，例如以单独脉冲、脉冲行列、线性调频脉冲等形式；或者它可以是连续的。

这意味着，至少在它的优选实施例中，本发明能够实现利用比其它方法更少的传感器来追踪多个对象的运动。根据本发明的技术有效地实现在无需完整成像的情况下进行运动检测，即使是重叠对象。与第一对象的运动相对应的脉冲响应图像中的图案能够被分别识别和隔离作为脉冲响应图像的子集(例如，线)。这有效地将复合图像拆解成为与独立运动相对应的独立层。当然在对象图案重叠之处，上面所提及的图像“子集”的部分也属于与其它对象的运动相应的“子集”。

为给出对脉冲响应图像应用物理原理的示例，如果说被追踪对象是手上的手指，则可在一定速度和/或加速度条件下通过仅考虑连续运动而做出关于运动的智能评估。这能够被转化为脉冲响应图像中的线的特性：线是连续的；其具有在阈值以下的斜率；并且其可能具有在阈值以下的曲率。此最后一个标准可被用作最佳线性部分的斜率最大变化。当然，不同斜率和不同阈值可应用于具有不止一个“发射器-接收器对”的系统中的每一个不同“信道”。

这里有很多途径，其中可以分析脉冲响应图像以确定对象的运动。在一些条件下，相对简略的分析可能就足够了。例如，系统可被构造成检测在某一阈值上的脉冲响应中的总变化，或者其预定部分，而不需要确定变化或引起变化的运动的精确特性。对此仅提供一个示例，可确定如果脉冲响应在给定时间段内变化超过例如10％，其可被理解为是运动的。

如果需要更多的判别分析，可以使用多种不同方法。例如，过滤装置或者线性或非线性变换的任何装置能够被应用，包括但不限定于：曲线滤波器、霍夫变换(Hough-transforms)、拉东变换(radontransforms)、pi-tau变换、和傅里叶或者分数傅里叶变换，应用于整个脉冲响应图像或者其部分。在另一选择中，能够通过匹配或者滑动图像的分块(子块，sub-block)至一组基本图像区块而使用投影法。

在另一替换形式中，自适应滤波器或者任意其它合适的数学技术能够被应用，以“拆解(deconstruct)”与两个或者更多个对象的运动相对应的两个或者更多个层。

在另一个替换形式中，图像能够用函数数据分析来表现。而在再一替换形式中，滤波器能够在傅里叶变换域、分数傅里叶变换域、或者时域中得以实现，包括脉冲响应列的偏移和移动的平均。在一些实施例中，脉冲响应图像可通过上、下或者再取样滤波器得以变换。在某些实施例中，滤波器在变换到脉冲响应域之前可被应用到接收信号(即“原始”信号域)。

几个此类分析可被组合以用于单一脉冲响应图像，以使(例如)一个或者多个滤波器被应用于脉冲响应图像；可通过例如小波变换来变换合成滤波图像；一个或者多个另外的滤波器被应用到变换图像；应用逆变换；并且在脉冲响应图像域中应用一个或者多个另外的滤波器。

然而，申请人已经意识到，在脉冲响应图像中(而不是在变换域中)进行某些分析是有利的，例如就计算简化而言，其原因在于，从脉冲响应图像中更容易显现对象的静止和运动。

此方法的一组优选实施例包括对图像应用一个或者多个线滤波器。线滤波器是一个增强图像的某些部分的运算法则，所述的某些部分依赖于相对于图像剩余部分的预定线。这可通过如下操作来实现：从这些部分的初始亮度开始增强这些部分，降低其它部分的亮度，或者两者的结合。线滤波器的另一优点是，它们能有效降低信道噪声的伪、临时突发的影响，例如能够提高矩阵中的“坏列(badcolumns)”并因此其能够干扰传统的飞行时间追踪系统。

在一组优选实施例中，使用直线滤波器。这些直线滤波器具有的优点是，给出相对简单的计算，尽管如此简单，但却能够被用以通过连续曲线(如果这是需要的)拟合来对非线性运动进行近似。单一滤波器可被用于(例如)仅寻找特定运动的系统-但优选地，多个不同滤波器被应用。通过各个滤波器所达到的结果进而能够被对比，以确定一个或者多个“优胜者(winners)”-即，在给定区域上或之内给出最强结果的那些。阈值结果强度可被应用于，例如，如果没有引人关注的运动出现，避免错误配对。

优选地，线滤波器掩模被构造成在其边缘具有滚压(roll off)；也就是说，不是明显(sharp，锋利)边界，存在远离线中心的递减差异增强，优选地，在垂直于线(即如果水平则在线的上方和下方)以及远离线末端的两个方向上。

简单线滤波器可被视为在图像上的线性运算，包括求和或者求平均。然而，可以设想对滤波器的简单或者复杂的非线性修改，例如，通过具有在求和或求平均之前移除具有高噪声概率的列、行或者像素的自适应异常值滤波器(adaptive outlier-filter)来增强它的性能，以避免噪音像素对其它像素的损害。

另外或者可替换地，应用边缘滤波器。与线滤波器相比(线滤波器在线性带宽厚度内的任意位置匹配)，边缘滤波器仅匹配此带宽的一个或者全部两个边界。边缘滤波器因此一般需要逼近高幅区域和低幅(即接近于0)区域(幅度是脉冲响应的绝对值)。边缘滤波器可以是水平的，但优选成预定角度。因此在预定类型运动的早期确定中是有用，因为其仅在脉冲响应图像内的线边缘强烈匹配。这能与对象的前方或者后方检测相对应并且可被有效用于定位，例如，人的手指。

另外或者可选择地，滤波器掩模的列可通过代表发射信号带宽的正弦信号被卷积。这允许来自邻近线的信息被组合，因此允许提取更多的可见线。

另外或者可选择地，复合滤波器能够被应用，其有效地捕捉对象运动的相位、方向和振幅。

在一些条件下，合适的是使得滤波器掩模结合脉冲响应图像中的多个线，以给出更少量的线，例如单一线。例如，如果所关注对象正在移近强反射体，比方说计算机屏幕，则脉冲响应图像将包括与直接从对象反射开的信号相对应的类似线；以及那些同样分别经屏幕反射的线。

申请人还已经意识到，并不总是需要计算二维滤波器掩模，其在一些应用中可能需要过多的计算资源；可选择地，例如，可应用移动平均(rolling average)、无限脉冲响应滤波器、或者基于子带编码的滤波器。将理解，此类滤波器还能够对来自于两个或者更多个连续脉冲响应的信息起作用。

此外并非必须使用直线滤波器。例如，对应特定曲线的滤波器，即曲线滤波器，能够替代或者附加应用。在另一替换形式中，更复杂的掩模可被用以寻找特定运动，特别是在多个运动对象的情况下-例如在手势识别中。有关于此的一个实例可以是用来探测往复的对象运动(例如挥手)的正弦波滤波器。

然而申请人已经意识到，取代使用相对复杂形状的掩模，可以通过记录简单滤波器被匹配至脉冲响应的顺序来确定脉冲响应图像中的图案。这允许通过运动在脉冲响应图像中的对应图案来检测特定类型的运动(例如手势)，不管手势的特殊位置、方向或速度。因此一组优选实施例包括：记录滤波器匹配至脉冲响应图像的相应部分的顺序，以及将所述顺寻与一个或者多个预定的顺序对比以识别脉冲响应中的特性图案，例如与特殊手势相对应。预定的顺寻可包括专门预定的滤波器，但优选包括滤波器组的顺序，此处来自于正确组的任意滤波器能够满足该顺序。

在一个实例中，如果正向滤波器被给定系列的滤波器所匹配(该系列包括向上倾斜滤波器，接下来是水平滤波器，然后接下来是向下倾斜的滤波器)，那么可推定是规则运动(例如摆动)。此技术可被用于检测手势，例如在挥手或者招手手势中一个或多个人的手指的有节奏的摆动的姿势。检测此类特殊手势可使所连接电子系统执行响应手势的特定动作。在所匹配的内容中识别相对简单的滤波器的顺序的这种方法与应用一个复合滤波器相比通常在计算方面较为便宜，例如正弦曲线滤波器，尤其是如果这是在应用简单追踪曲线时所必须的线滤波器之外完成的。它还是更通用的，因为例如正弦曲线滤波器仅匹配追踪中的窄频率波动范围。此方法能够应用于线滤波器、边缘滤波器、捕捉关于对象方向信息的其它滤波器，或者这些中的一些或者全部的组合。

通常滤波器掩模的形状能够通过很多途径改变。例如，与增强特定的线并列或者取代该功能，它可被用来抑制或者更强烈地抑制脉冲响应图像的特定区域-例如与噪声、干扰或不关注的运动的已知或者预先识别的源相对应的区域。

在本发明最简单实施例中，本发明能够被用于仅利用单一发射器和单一传感器/接收器来给出关于单一或者多个对象的存在或者运动有关的信息。然而优选地，设置了多个发射器和/或多个接收器。

本发明的一些实施例能够仅使用单一发射器和接收器对。这些可以是物理独立的传感器或者可以由单一转换器提供。但是，在至少一些实施例中，设置了多个接收器。优选地，可以对每个传感器构造一个脉冲响应图像。可以从这些图像中的每一个确定一个或者多个“优胜(winning)”线，并且线以某种途径被组合以提供二维或者三维空间内的全部线。然而优选地，使用这样的滤波器，例如线滤波器，针对每一特定传感器信道来调整该线滤波器，这种调整是从一般速度推测开始的。也就是说，系统优选地推测与先前轨迹和物理规则相一致的对象的速度并且将此速度推测转化为用于每一传感器信道的线(或者其它)滤波器。每一传感器信道对于给定轨迹要求不同的滤波器，因为每一个传感器信道将根据传感器相对于对象的不同位置在脉冲响应图像的一列和下一列之间给出微小不同变化。

在至少一些优选实施例中，使用了多个发射器。在一组优选实施例中，对每一传感器的发射信号使用不同时延。由于例如根据每一传感器相对于其它传感器的位置而针对该每一传感器给出了适当的时间延迟，因此甚至是全方位发射器也能够一起发射一窄“波束(beam)”发射信号，以使仅在波束路径中的对象被检测或者追踪。这有利于允许使用更小的发射器总功率，这在移动电池供电装置环境下是重要的，其原因在于，波束的形成给出了更大的选择性并且需要很小的总功率来达到给定最小的信噪比。

类似想法能够被应用于多传感器。因此在一些包括多个传感器的优选实施例中，人工时延被附加到至少一些传感器的脉冲响应中，以使系统仅对从由传感器位置和各自时间延迟确定的相应波束内发出的回声敏感。波束的方向当然能够通过改变所应用的时延的图案得到适当的改变。它的聚焦能力也能够通过应用合适的加权被改变。波束的方向优选基于被追踪对象的预测运动而确定。正如前面所论述的，此类预测能够基于先前轨迹和基于运动连续性和最大加速度的简单物理规则。再多发射器条件下，此类波束的形成有效地实现了对来自于不受关注的方向的信号的抑制，并实现了所关注对象的更精确追踪。

在一些实施例中(例如那些相对较低的分辨率就已经足够的情况)，根据本发明的发射信号能够包括设置有非传输周期的离散脉冲。在其它实施例中，例如，在需要更高分辨率的情况下，使用连续传输。这可以以时隙周期规律性地重复其倍数，或者以另一周期进行。应当理解，当使用连续传输时，时隙可以是纯粹抽象构成，与所发射的物理信号没有关系。在此条件下“时隙(timeslots)”可以是与当构造脉冲响应图像时的具体采样间隔的脉冲响应相关的简单标记。

可以应用任何合适的技术来计算脉冲响应。例如，如果发射离散脉冲，则在它们之间可有足够的时间用于回声，或者不干涉，或者仅对能够通过已知技术被分离的信号的范围进行干涉。当脉冲被更紧密地排列或者使用连续传输时，其它方法能够使用，例如在WO 2006/067436中公开的互相关联或者连续的反演技术。

脉冲响应图像在复帧或多点的运动评估中的应用凭借其自身的能力被认为是具有新颖性和创造性的，并因此当从另一方面看时，本发明提供了在成像域内确定一个或者多个对象的运动的方法，包括：

发射连续或者非连续的发射信号；

接收多个接收信号；

通过使用所述发射信号和接收信号来确定多个信道脉冲响应；

限定脉冲响应矩阵，其中各自时间区间的脉冲响应相互邻近；并且

从所述矩阵中分离出与所述对象中的一个对象的运动相对应的图案。

本发明扩展至用于在成像域内确定一个或者多个对象的状态的设备，包括：

发射装置，被设置成发射连续或者非连续的发射信号；

接收装置，被设置成接收多个接收信号；以及

处理装置，被设置成通过使用所述发射信号和接收信号确定多个信道脉冲响应，限定脉冲响应矩阵，其中邻近时帧的脉冲响应彼此邻近，并从所述矩阵中分离出与所述对象的一个对象的运动相对应的图案。

本发明还扩展至一种计算机软件产品以及一种承载该计算机软件产品的载体，计算机软件产品被设置为，当在计算机上运行时，在成像域内确定一个或者多个对象的状态，此软件具有用于连续或者非连续发射信号和多个接收信号的输入并且进一步包括逻辑，该逻辑被设置成：通过使用所述发射信号和接收信号确定多个信道脉冲响应；限定脉冲响应矩阵，其中邻近时帧的脉冲响应彼此邻近；并从所述矩阵中分离出与所述对象中的一个对象的运动相对应的图案。

根据本发明的所有前面所提到的方面，如已经描述的，能够在时域内分析脉冲响应信息。然而另外或者可替换地，在本发明的一些优选实施例中，脉冲响应在频域中得以分析。优选地，对于至少一些脉冲响应，这是通过实施傅里叶变换实现的，优选地通过快速傅里叶变换实现。申请人已经认识到，能够从此类频域分析中获得其它信息。例如，能够区分对象旋转运动和平移运动，因为旋转运动将引起幅值谱的零点内的漂移(由破坏性干扰引起)而平移运动不会。因此优选实施例包括在频域内分析幅值谱。

另外，已经认识到，对于平行移动的单一对象，频谱的形状(在每一频率的能量相对量)将保持恒定，尽管绝对能级将取决于距离发射器/接收器的距离。然而如果存在多个移动对象，则频谱的形状随时间变化。例如，此信息可用于确定如何在时域内更精确或者更有效地分析运动。因此优选地，频谱内随时间的改变被确定。

还已经意识到，如果成像域内的对象的尺寸或者形状在观察时窗期间改变，则其频谱将改变。例如，尺寸改变可引起频率漂移。例如，这可被用在简单运算中检测手从闭合到打开构型的松开，且无须实施对于各个手指的位置的详细追踪。

类似地，如果对象改变了它的形状，则它在脉冲响应图像的相应部分中的相应频率表征也将改变。一种频率信息(其使用了傅里叶变换)的使用应用可简单地是检测对象的形状或者对象已经改变了它的形状。如果对象改变了它的形状(例如拇指被伸出或者拉回)，则这将改变脉冲响应相应部分的频谱和相位。这进而可被当做计算机的执行特定动作的一个命令，例如将动作当作鼠标点击。这是在对于时域内的先前论述的分析的在频域内的必然结果，借此检测了脉冲响应中的变化的阈值水平，或者借此检测了使用适当滤波器的一连串“击打(hits)”。

如利用时域分析的通常情况，特定类型运动能够被识别和/或对象被追踪而无需通过利用频域分析知道对象的尺寸、形状或者绝对位置。这可被视为“概率性(probabilistic)”追踪法，其与点对点“确定性(deterministic)”追踪法相对照。

频域分析凭借其自身能力被认为具有新颖性和创造性，因此从另一方面看时，本发明提供了一种识别对象的预定运动的方法，包括发射发射信号，在第一时间区间期间接收第一接收信号，确定所述第一接收信号的第一频率分量，在第二时间区间期间接收第二接收信号，确定所述第二接收信号的第二频率分量并确定在所述第一和第二频率分量之间是否存在预定差别。

本发明扩展至用于识别对象预定运动的设备，包括：

发射装置，被设置成传输发射信号；

接收装置，被设置成在第一时间区间期间接收第一接收信号并且在第二时间区间期间接受第二接收信号；以及

处理装置，被设置成：确定所述第一接收信号的第一频率分量；确定所述第二接收信号的第二频率分量；并确定在所述第一和第二频率分量之间是否存在预定差别。

本发明还扩展至一种计算机软件产品以及一种承载该计算机软件产品的载体，该计算机软件产品被设置为，当在计算机上运行时，识别对象的预定运动，此软件具有用于第一时间区间期间的第一接收信号和第二时间区间期间的第二接收信号的输入；此软件进一步包括逻辑，该逻辑被设置成：确定所述第一接收信号的第一频率分量；确定所述第二接收信号的第二频率分量；并确定在所述第一和第二频率分量之间是否存在预定差别。

上述想法可扩展至覆盖多个信号或者多个脉冲响应，一起采集和分析所述多个信号或者多个脉冲响应。正如在时域中的，脉冲信号的频域表征可以被排列(例如)在矩阵中，以便能够使用这里所描述的分析技术；例如，线滤波器可被用于在频谱图案中提取最小或者最大的运动。

另外，能够使用时间和空间之间的中间域(例如分数傅里叶域或者小波域)来进行分析，其能够提供关于对象运动的时间或者频率方面的附加信息。因此，从另一方面看，本发明提供了一种用以识别对象预定运动的方法，包括：

发射发射信号；

在第一时间区间期间接收第一接收信号并且在第二时间区间期间接收第二接收信号；

将所述第一接收信号转换至预定的域；

将所述第二接收信号转换至所述域；并且

确定在所述域内所述第一和第二信号之间是否存在预定差别。

本发明扩展至被构造成实现此方法的设备和计算机软件产品以及一种承载该软件产品的载体，其被设置成用于实现该转换和确定步骤。

域可以是如先前所描述的频域，但可替换地，可以是分数傅里叶域、小波域、或者任何其它合适的域。

在一组优选实施例中，在此所描述的方法被用于追踪人手或者其部分的运动。优选地，这被用于控制电子装置，包括但不被限于带有视觉显示的装置，例如计算装置、移动式装置、手机、PDA、笔记本计算机、台式计算机、电视机、音乐系统、摄像机、或者任何装置，这些装置静止地或者便携地执行这些或者其它功能的任意组合。一个特殊的非限制性的实例是追踪用户手指的运动来控制带有图案用户界面(GUI)的计算装置或者其它装置的光标。

在一组特殊优选实施例中，根据本发明的方法包括识别手势的步骤。这些手势存在多种可能性-接下来将给出其中的一些实例。然而对于本领域普通技术人员明显的是，存在多种可能选择，根据本发明实施例的原理以及可以得到优点使得这些可能选择是方便的或可能的。

在一个实例中，系统被布置为用来探测两个移向一起或者移动分开的手指(即汇聚或者分离)。当然，能够根据特殊用途来决定对于功能控制的特殊手势的映射。然而，此手势可方便地被用于例如指示屏幕对象被分别地缩小或者放大。在一个优选实例中，从脉冲响应图像的各个半部或者部分中的不同方向运动中识别出上面所提及的手势。将意识到，根据本发明的此实施例，这样的识别能够被成功实现，因为脉冲响应图像允许通过相对粗糙水平的空间分辨率来进行运动识别。而且，并不需要确定任何手指的精确位置。反而，仅仅需要应用“概率性追踪”法(与精确的“确定性追踪”相对照)来确定相对分离或者汇聚。可以使用图像的某种预滤波-例如通过识别与指尖运动大概相对应的高反射能量区域。

在一组实施例中，对象形状的变化在时域中被检测。在一些实施例中，这是通过监视脉冲响应中的预定形变来实现的。当给定时帧内的脉冲响应的各个部分在邻近时帧内偏移时，产生形变于。这意味着来自一个时帧的脉冲响应并不能通过在时间方向内的简单移位而与来自下一个时帧的脉冲响应相匹配。当从脉冲响应图像中看时，这显示为各个线是分离或者汇聚的。通过代表运动对象(该对象形状不改变)的对比线，在它们之间保持恒定间隔。此技术作用很大，因为它不依赖于确定性方法，在确定性方法中，对象的各个部分被追踪并且然后计算相对运动；而是能够检测形状的总体改变(包括扩张和收缩)，不管位置、方向或者甚至起始形状如何。这使得它对于检测手势来说很有用，且不需要确定性手指追踪所需要的计算资源。

能够利用检测手的构型的能力的另一途径是用它来确定何时应当追踪运动以及何时不应当追踪。非接触控制系统在确保系统仅响应刻意命令而不响应邻近它的敏感区的无意运动方面存在普遍问题。围绕此的几种途径已被提出。一个是应用物理结构或者标示来向用户表明敏感区的边界位于何处，并且忽略所检测的位于此区域外的运动。另一方法是“虚拟(virtually)”地限定此区域，即无物理结构勾画其轮廓，而是当在此区域内检测到运动时提供某种类型的反馈。然而，根据本发明的一些设想实施例，手的构型能够被用于确定系统是否将解释(interpret)运动或者手势。为举出一个非限定性实例，系统可以被构造成通过一个伸出的手指来区分张开的手和闭合的手，其中，仅有后一构型中的手所做出的手势或者运动被追踪或者解释。此构思显著降低了在高度用户友好方式中无意运动解释的机会。

从另一方面看，本发明提供了一种非接触控制系统，其被构造成对于在第一构型中的手的运动进行响应；但当手在第二构型中时忽略手的运动。

在另一实例中，手的转动被检测。这可被用在例如计算机游戏的控制中。在此例中，脉冲响应图像很可能包括更多重叠线，但根据优选实施例，此类运动仍能被区分-例如通过适当设计的滤波器和/或使用频域分析。

在另一实例中，拇指的运动被探测。这可被用于例如模拟点击计算机鼠标键。在脉冲响应图像中，此类运动可显示为其中一些线(与拇指相对应)与一组中的剩余的(与手的剩余部分相对应)相比较呈现不同斜率。这是上面所描述的特征的一个实例，借此脉冲响应中的预定变形被检测以确定对象形状的改变。它说明了根据本发明的方法能够被用于跟踪或者检测具有显著尺寸(也就是说不能被近似视为点对象)的对象中的运动。

更普遍地，申请人已经意识到，对比使用指示手指(食指，pointing figure)的轻敲的先前提案来说，使用拇指的运动引起一个动作(例如相当于鼠标点击)在计算机界面中更有优势。指示手指(食指)在轻敲期间的运动能够引起在所检测的手指侧面位置中的无意运动，因此引发光标的不期望的相应运动，这可能意味着刻意动作未被执行。这对于用户是很沮丧的。

从另一方面看，本发明提供了用于控制装置的设备，包括用于检测第一手指(first digit)的运动以控制该装置的第一动作的工具和用于检测第二手指相对第一手指的运动以控制该装置的第二动作的工具。

优选地，所述第一动作包括在多个可替换位置之间移动选择符-这可以是例如一个光标或者一个菜单。优选地，所述第二动作包括与所述选择符的位置相对应的动作。

优选地，第一手指是食指。优选地第二手指是拇指。已经发现食指能够被自然地用于移动和指点，同时拇指容易地且自然地与“点击(click)”动作中的食指无关地移动。当手被放在一个平面上时这特别自然。在一些优选实施例中，在确定第一手指是静态条件下仅执行所述第二动作。

可见，用于检测第二手指的相对于第一手指的运动的装置能够应用概率法来检测相对运动。由此意味着优选不通过独立确定第一和第二手指的绝对位置并对比这些位置来检测相对运动。

通常，前面所提到内容说明了，根据本发明优选实施例，特定类型的运动例如：平移或者转动；或者一个对象不同部分之间的相对运动能够被检测而无须知道或者测量对象的精确形状或尺寸。这具有明显的计算优势，但也意味着大范围对象可能被最小化地识别，或者没有“学习(learning)”。

正如上面所解释的，构造脉冲响应图像并且分析其中的线和形状的技术在本发明优选实施例中给出了显著的优点。然而用于实现此类分析的关键原理之一(应用符合物理规则的运动来分离重叠的或者未分解的对象)能够同样被应用到其它情况中。例如，在成像系统中，“未分解(unresolved)”或者重叠的对象能够被识别或者追踪。在不是必须构造脉冲相应图像的系统中，穿越大量信道(例如从大量传感器中)的脉冲响应能够被组合以产生(每时间区间一次)对象位置的二或三维图像，或者在场中所有反射点的反射率的二维或者三维映射。这里有几种波束成形或者成像技术能够被应用到此环境中，但在一些优选实施例中，延时叠加成像得以应用。

能够应用先前所描述的运动分离技术来随着时间分析此类图像中的变化。也就是说，此技术能够被应用到对象的物理位置映射中，正如它们能够被应用到脉冲响应图像中。

因此当从另一方面看时，本发明提供了一种识别或者追踪对象的方法，包括持续地或者连续地发射发射信号，在多个时间区间内在传感器处接收由所述对象反射的信号，基于来自于所述多个时间区间的接收信号来构建图像并分析所述图像以得到与所述对象的预定运动相对应的一个或者多个图案。

本发明扩展至用于识别或者追踪对象的设备，包括用于持续地或者连续地发射发射信号的装置、在多个时间区间内在传感器处接收由所述对象反射的信号的装置、和处理装置，该处理装置被设置为用以基于来自于所述多个时间区间的接收信号构建图像并分析所述图像以得到与所述对象的预定运动相对应的一个或者多个图案。

本发明还扩展至一种计算机软件产品，和一种承载所述软件产品的载体，该软件产品被设置成，当在计算机上运行时识别或者追踪对象，此软件具有在多个时间区间内在传感器处由所述对象反射的信号的输入以及逻辑系统，该逻辑系统被设定为基于来自于所述多个时间区间的接收信号构建图像并分析所述图像以得到与所述对象的预定运动相对应的一个或者多个图案。

正如在本发明的先前方面中，可应用线滤波器对比图像-即，仅选择图像的与预定运动一致的那些部分。当然分析将普遍地应用来自于两个以上时间区间的结果并且这将当然地提高了对象能够被追踪的精确性。优选地，使用了时间区间的滚动时窗(rollingwindow)。

反射体物理映射的一个优点是映射过程自动地解决了“非物理(unphysical)”或者劣质的数据(例如来自于一个信道)，其与来自于其它信道的不一致(因为它们正在接收来自于同一物理对象的反射)。这有效给出了该数据的预滤波的要素(element)。

同样正如在本发明的先前方面中，反射体的物理映射不需要被视觉表现但可包括这样的数据，即，从该数据能够得到视觉表征。

此处所描述的任何其它特征与本发明的先前方面的优选或者可能特征一样能够等同地被应用到以上所描述的物理图像中。

在此处所有方法中，优选地，结果被储存在非永久性或者非易失性存储器中。另外或者可替换地，它们被显示在显示装置上。它们因此优选地包括向显示装置提供显示信号的步骤。另外或者可替换地，此方法被用于控制外设装置。它们因此优选地包括向外设装置提供控制信号的步骤。

本发明的方法优选地应用计算机手段、计算机器、数据处理设备或者任何其它能够执行所存储的指令的装置实现。此类装置可以是静止的，虽然本发明能够等同地与移动式装置一起使用。实际上根据本发明至少一些实施例所能达到的优点使得本发明特别适合在移动式装置中应用，这些优点在于不需绝对的方向或位置以及分离不同运动的能力。当从另一方面看时，因此本发明提供了一种移动式装置，其包括超声波发射器和独立的/集成的超声波接收器，所述装置被设定以使它的至少一个操作通过根据上文所阐明的任一方法确定用户手的运动来控制。

在此处介绍其中信号被对象发射、反射并且进而被接收的装置的同时，原理等同应用于“活动对象”，即，其中被检测或追踪的对象本身包括发射器，以使信号是来自于对象而不是被它反射的。

在本发明的所有方面，信号优选地是超声波信号。这意味着声音信号具有比正常人类听力范围更高的频率；通常这意味着信号具有的频率(或基础频率或者中间频率)大于20kHz，例如在30到50kHz之间。

附图说明

现在将参照附图仅通过示例的方式描述本发明的某些优选实施例，附图中：

图1是示出了一种超声波多对象追踪系统的主要部分的示意图；

图2是代表单一静止对象的脉冲响应图像的示意图；

图3示出了当对象在取样窗口期间运动时脉冲响应图像如何变化；

图4a是一个特殊运动如何能够通过大量帧被识别的示意图；

图4b示出了某一运动的能量分布；

图4c示出了此运动的变型的能量分布；

图5是与两个移动互相经过的对象相对应的脉冲响应图像的示意图；

图6a示出了线滤波器被应用后图5的脉冲响应；

图6b示出了边缘滤波器被应用后图5的脉冲响应；

图7是与“拇指点击(thumb click)”相对应的脉冲响应图像的示意图；

图8a是与“变焦动作(zoom action)”相对应的脉冲响应图像的示意图；

图8b示出了应用了线滤波器后图8a的脉冲响应图像；并且

图8c示出了进一步应用了线滤波器后图8b的脉冲响应图像。

具体实施例

首先参照图1，将描述一种对计算机的图形用户界面的非接触控制的本发明的原理的示例性实施方式。信号发生器2以超声波频率产生信号，其通过超声波发射器4被转化成超声波。这些波被待追踪的对象6(例如手)弹回，并且被附近的任何其它障碍物弹回。所反射的能量被一个或者多个超声波接收器8接收，该超声波接收器8将能量转化回模拟电信号，该模拟电信号被传递至处理器10。正如以下将被更加详细解释的，处理器10计算脉冲响应，执行滤波，组合脉冲响应图像使其变成2D或者3D图像等等，以最终确定对象6的运动。关于对象6的存在和位置的信息被传递至显示器12以控制光标14的运动。显示器可以是一个独立系统或者实际上是计算机的一部分，处理器10被设置于其上。光标14在屏幕上再现了对象的运动。

处理器10与信号发生器2耦接以使处理器控制精确发射时间、信号代码或者其它图案(如果这是必需的)。

由超声波接收器8输出的模拟信号被用于计算“信道(channel)”的“脉冲响应(impulse responses)”，包括：超声波发射器4、包含所关注对象6的成像域以及超声波接收器。

评估信道脉冲响应的一个途径是使一短脉冲进入信号并且倾听所接受的回声和所接收的直通通路能量。然而，因为在不给发射器“冲击(shock)”的情况下可能很难发射此类信号，所以寻求包含处于脉冲响应评估的带宽之外的频率成分。其它技术可能更合适，例如互相关联或者脉冲压缩技术。

首先可以假设在一个信道上的信号的发射遵循以下模型；

y(t)＝h(t)*x(t)+n(t)            等式(1)

其中：

x(t)是发射信号

y(t)是接收信号

h(t)是信道的脉冲响应

n(t)是一个环境噪声项

*表示卷积运算符

发射信号被表示为时间序列，即，位于规律时间区间的一系列离散信号值。接收信号也被表示为时间序列，因为它将是取样信号。脉冲响应h(t)是寻求被测量的。假设信道h(t)至少在任何所用的实际时窗内是恒定的或者相对于x(t)和y(t)的变化是非常缓慢变化的。并不是说时变信道不能被测量，实际上至少在它的优选实施例中，本发明与信道如何随时间变化有关；仅仅是说信道变化与信号变化相比应当是缓慢的。

信道可被表示为Q节点有限脉冲响应(FIR)滤波器。正如在本领域众所周知的，这是一种结构，其中信道h(t)被视为将被应用到输入信号的先前Q时取样的一系列权重。假设信号x(t)已经通过扩音器被发射，它通过麦克风被重新接收成为y(t)。接收信号y(t)与发射信号x(t)产生联系如下：

$y\left(l\right)=[x\left(t\right)*h\left(t\right)]\left(l\right)=\underset{k=0}{\overset{K-1}{\mathrm{\Σ}}}x(l-k)h\left(k\right)$ 等式(A)

即，y(t)的样本是x(t)的最后K个样本的线性组合，其中线性权重是以“滤波器系数(filter coefficient)”h(0)，...h(K-1)给出。为评估信道，需要评估这些滤波器系数。在此技术中，假设信号x(t)是“白的(white)”，对于所有的t从负无穷大到正无穷大。也就是说假设信号对于所有非零变换与自身无关。在一个等式中对此表达为：

等式(B)

此处P是一个正实数，假设x(t)具有有限支集(support)，即对于大的t的+/-值它为0，并且在其它地方具有有限值。通过其自身的时间倒数对信号卷积与信号本身相关性相同，即计算信号的自相关。所以假设x(t)确实是白的，将x(t)与其自身相关，这在时延为0时产生正值P并且在其它任何地方为0。另一种书写方式为：

$x\left(t\right)*x(-t)P\·\∂\left(t\right)$ 等式(C)

此处

是狄拉克(Dirac)δ函数。现在假设等式(B)同样保持近似围绕时间点t₀，其具有N+1样本长度和x(t)时间窗，所以：

等式(D)

围绕t₀卷积y(t)和x(-t)给出：

${[y\left(t\right)*x(-t)]}_{t_0}\left(l\right)=\underset{k=-N/2}{\overset{N/2}{\mathrm{\Σ}}}y(l+t_0-k)x(t_0-k)$ 等式(E)

并且计算总和中的内项给出：

$y(l+t_0-k)=\underset{i=0}{\overset{K-1}{\mathrm{\Σ}}}x(l+t_0-k-i)h\left(i\right)$ 等式(F)

并且因此：

${[y\left(t\right)*x(-t)]}_{t_0}\left(l\right)=\underset{k=-N/2}{\overset{N/2}{\mathrm{\Σ}}}\underset{i=0}{\overset{K-1}{\mathrm{\Σ}}}x(l+t_0-k-i)h\left(i\right)x(t_0-k)=$ 等式(G)

$\underset{i=0}{\overset{K-1}{\mathrm{\Σ}}}\left[\underset{k-N/2}{\overset{N/2}{\mathrm{\Σ}}}x(l+t_0-k-i)x(t_0-k)\right]h\left(i\right)\≈P*h\left(l\right)$

正如从上面的等式(D)可见，等式(G)中的括号中的项当且仅当l＝i时是P(近似地)，否则为0(近似地)。因此通过选取l＝1，卷积

(l)的结果将是P乘以h(1)，如果1＝2，则是P乘以h(2)等等。在此方法中，滤波器系数h(.)能够通过围绕某一“中心(centre)”时间样本t₀卷积x(t)窗和y(t)窗被评估出。

在存在很多回声并且脉冲响应需要频繁更新的情况下，出现了来自于上一输出信号x(t)的回声泄露至下一帧的接收信号y(t)中去的问题。一种解决此问题的途径是应用驱动信号x(t)，此处每一子段尽可能垂直相交，即与其它的具有零互相关(cross-correlation)函数。当以给定时间步长评图脉冲响应时，仅利用在所关注的时间区间内输出的部分x(t)来做出相关性。实际上，可能很难构建这样的信号x(t)，对于该信号x(t)，开窗片段(windowed snapshot)是垂直的。在WO 2006/067436中，一种方法被提出以解决此问题，即，通过应用不同模型来连续地评估信道脉冲响应，无需x(t)的完美逐段垂直信号部分。本发明包括应用此方法，或者其它用于评估脉冲响应顺序并随后在脉冲响应图像中汇集它们并以此来追踪、运动评估、检测或者运动特征提取的任何方法。

例如如上所计算的，脉冲响应对于一系列邻近的时间间隙，随后能够被安排互相邻近以形成脉冲响应图像。一个样本脉冲响应图像的视觉表现被展示在图2中。在实际系统中，此类视觉表现可能实际上并不需要，因为能够对所计算的脉冲响应进行相关分析而不显示它们。图像中的每一纵列像素代表一个取样窗或者时隙。因此纵坐标是滤波器节点节点(tap，抽头)。水平坐标是样本数。脉冲响应图像因此能够被认为是产生于：将脉冲响应的连续时间线切成长度与取样窗长度相等的多个段，并且将这些长度段相互紧邻排列。

在图2中示出了通过成像域内的单一静止对象所获得的(在应用了阈值滤波器以提高清晰度后)脉冲响应图像。下面的一组线16是对象(例如手)的脉冲响应。因为对象是静止的，脉冲响应在每一时隙内是相同的并且因此线16是直的和水平的。

上面的一组线18对应直通通路信号，即，信号从发射器直接到达接收器。此直通通路的此作用18以及也可能从例如设备各部分反射到脉冲响应图像的背景反射，能够通过很多途径被方便地移除。一个简单途径是从一组列中计算脉冲响应的一个“典型(representative)”列-其可例如是平均、中间或者最大的近似列-并且从每一列中将其扣除。这是对已知排列的一种改进，其中在发射和接收之间使用空白期，即，在给定时隙内对于前几个滤波器节点不计算脉冲响应。已知排列并非理想的，因为存在这样的情况，其中在来自于所关注对象的反射和直通通路或者背景反射之间能够发生重叠。当然，可以使用更先进的技术在直通通路对图像的作用与来自于移动对象的回声的作用重叠的情况下进行分离。

图3展示了当直通通路信号被移除(如上所解释)并且手在传感器装置前挥动时，图2的示意脉冲响应图像如何被改变。线20保持连续，但现在具有相应的外形。线20的正斜率代表朝向接收器的运动而负斜率代表离开接收器的运动。

很多不同途径用于能够自动分析脉冲响应图像能够以确定对象在成像域内的存在或者运动。现将给出对于用来完成此工作的线滤波器的应用的解释。

线滤波器是一种运算法则，其被应用于脉冲响应图像并且压缩图像的并不位于给定斜率的直线上的部分，即，它相对于图像其它部分增强了图像的沿线分布的部分。线滤波器在其边缘具有滚降(roll-off)，而不是尖锐的边界。另外，滤波器掩模的每一列与代表发射信号带宽的正弦函数卷积。其组合来自于邻近线的信息以提取更明显的线。

图4a到4c示出了一种途径，其中可以分析图3的图像。脉冲响应图像22通过滤波器组24被发送以产生一组线滤波图像26，与所应用的滤波器一一对应。当然，每一滤波器图像是不同的，因为每一滤波器挑选出原始图像的不同部分。

对于给定的时间步长t，也就是说在沿着每一滤波图像26的给定水平位置，切过整组图像的“平板(slab)”被取出并收集在矩阵28中，以下以Z(t)指代矩阵。Z(t)被布置以使最左边的列对应线滤波脉冲响应图像26，为此，线滤波器中的线向上急剧倾斜(线滤波器组24中最上面的线)，而最右边的列对应线滤波器，为此，线向下急剧倾斜(滤波器组24中最下面的线)。中间列表示应用于脉冲响应图像22的中间线滤波器。

此表征有利于检测特定运动倾向。例如，如果矩阵Z(t)具有如图4b中所表明的宽布局，则它表明了在场的上部(即，表示了对象接近发射器/接收器(TX/RX)装置)，这些对象的运动是朝向TX/RX装置的。在图像的下部(表示对象远离TX/RX)设置，对象正在移离TX/RX。此情况也可是更局部话的，如由图4c所表明的。在此，移动非常接近或者非常远离TX/RX装置的不是很多。然而在中间，存在移动更加移近TX/RX装置的对象以及远离移动得稍微更远的对象。这能够通过使用矩阵Z(t)上的滤波器F被检测，标记为

w(t)＝Z(t)*F         等式(H)

此处F是一个二维掩模，通常与图4c中所展示的布局的中间部分相同，除了它的列和行被翻转。此技术被公知为匹配滤波(matched filtering)。通常，F具有与Z(t)相同数量的列，因而使得卷积的法定部分(legal part)输出单一列向量。此列向量中的每一元素包括一个分数，该分数表明所期望的手势的存在度。显然，一整组滤波器可被用于探测同一手势的变化，或者分离更多手势。另外，由于Z(t)是由多种线滤波器所滤波的脉冲响应图像的(原始)滤波的结果，其可有利于计算此矩阵的包络(envelope)，因为数值本身将趋向在正值和负值之间快速波动。此包络提取能够通过以下计算完成：

w(t)＝(|Z(t)|*B)*F           等式(I)

此处|.|是提取矩阵中的取绝对值并将它们布置在相应矩阵中的运算符，即，一个元素接一个元素的绝对值运算符，并且B是二维或一维的掩模，可以是高斯分布。如果B是二维掩模，它将模糊由相似线滤波器滤波的脉冲响应图像，因此表明相似线之间缺少区别，这对某些应用可能更好。如果B是一维竖直掩模，这不会发生。其它滤波方法(例如通过拉普拉斯变换法的包络提取)也能够等同地得到很好的应用。

上述“运动滤波(motion filter)”方法超出它们在来自于线滤波的脉冲响应图像的矩阵Z(t)的应用。如果背景数据不是脉冲响应图像，而是通过逆变换或者其它方式产生的二维或者三维图像，则滤波掩模B和F将是3路或者4路的滤波掩模，表示在2或3个空间维度和一个时间维度中的滤波。此变型可有利于检测通过考虑来自单一TX/RX信道的脉冲响应无法容易地识别的情况，例如，对象在3维空间的旋转方向，或者检测手指分离运动的发生所沿的精确轴线。同样显然地，滤波掩模F并非必须是线滤波器，并且卷积运算符‘*’并不限定于代表线性滤波运算。非线性滤波器或者滤波器组合能够被应用，例如最大/最小或者平均滤波器。滤波器的多种局部组合(例如在窗口的上部提取最大值和在下部提取最小值)可被应用。另外，可应用基础数据材料的任何线性或非线性提取来实现滤波运算；一个元素接一个元素的绝对值|.|运算符仅是一个实例。

除了线滤波器之外或者取代线滤波器，边缘滤波器可包括在滤波器组24中。边缘滤波器是一种算法，其被应用到脉冲响应图像并压缩图像的不在给定斜率的直线的边缘上的部分，即，它增强了图像内的平行于滤波器的线的边缘。这可被用作沿垂直于边缘滤波器斜率的斜率的强度变化的阈值率。这能够有利于在对象接近或者远离发射器/接收器时追踪对象的边缘，特别是对象的前缘或者后缘或者表面。在一些情况中，其有助于应用非定向边缘或者线滤波器，其传递任意方向的边缘或者线。

图5是与移动分开、换位并且然后换回至它们的原始构型的两个对象相对应的脉冲响应图像的示意图。因此可见，在当对象在“飞行时间(time of flight)”方向内开始分离的点A处，图像的左手侧的平行线组分开。给定的飞行时间和它们之间的发射器和接收器(通常是物理分开的)确定了一个椭圆，发射器和接收器位于其两个焦点。所检测到的运动是实际运动的沿连接对象和椭圆中心的线的分量。这可被认为是飞行时间方向。

两对象然后再次运动到一起并且换位，使得它们在B点被再次分离。此后它们再次换位至它们的原始位置(点C)，此处它们保持静止并且使得线再次平行。

图6a展示了线滤波器被应用后图5的脉冲响应。能够意识到，合成图像更易于软件辨识。滤波器(以及具有不同斜率的相似滤波器可被应用)所强调的能量图案能够由一种在期望位置寻找能量的算法来解释。

图6b展示了边缘滤波器被应用后图5的脉冲响应图像。同具有线滤波一样，由边缘滤波器所强调的能量图案能够由一种在期望位置寻找能量的算法所解释。

图7展示了与“拇指点击(thumb click)”相对应的脉冲响应图像：即，一只手用一个食指在其它手指的前方轻触桌面，在桌面上移动。在图像的上部是平坦的30、32的那些部分，前指保持不动但拇指相对于其它手指的运动34、36能够被看见。

图8a展示了两个手指移动分离的图。38展示了最前面手指的曲线，40指出了一个人很难看见在其它方向移动的另一个手指的情况。42展示了在图中连续出现的一些粗实线-它们代表与“手的剩余部分(rest of the hand)”相关的脉冲响应中的峰值，其在两个手指移动时或多或少保持静止。分离和检测因此能够被作为传至计算机的信号以放大图像，或者抓住一个对象(捏在一起)或者释放一个对象(分开手指)。

图8b展示了图8a的脉冲响应图像，但大部分水平线(与静止元素相对应)已通过合适的滤波器被移除。现在上下运动均可见。

图8c展示了进一步应用合适的线滤波器后的脉冲响应图像。已从非常杂乱的原始脉冲响应图像(图8a)中被提取出所关注的运动，该运动清晰可见。

这些简单实例说明本发明的实施例允许使用简单的能量图案匹配算法来自动解释相对复杂的手势。以上所描述的方法不是分析地追踪单独手指(并且因此比此类追踪本应当具有的分辨率要求和计算功率更加低)并且其对于象手到传感器的距离、运动速度、手的形状和方向、和甚至在成像域存在其他对象这样的因素具有高容限度。然而应当意识到，如果需要或者期望，本发明的原理同样能够被应用到分离单独对象(例如手指)的运动，以使它们能够被追踪。

考虑到以上所阐述的线滤波器法更具分析性，所以线滤波器能够被普遍用于确定在位置x(t)处出现沿空间方向Δx(t)运动的反射体。

如果假设在点x(t)处出现在空间中以方向Δx(t)运动的反射体，则空间中的下一点将是：

x(t+1)＝x(t)+Δx(t)

假设是局部线性运动。x(t)和x(t+l)均引起对于每一发射器/接收器对的飞行距离{d_k(t)}和{d_k(t+1)}，即，对于每一信道，k。对于特定信道k的从d_k(t)到d_k(t+1)的时延的变化与脉冲响应图像中的线一致，具有角度：

α_k＝tan^-1{d_k(t+1)-d_k(t)}

因此，一种用以检验位于x(t)的反射体是否真的在方向Δx(t)内移动的途径是检查每一脉冲响应图像，Z₁，Z₂，...Z_K，通过线滤波器滤波的每一图像Z_k具有带有倾角α_k的线滤波器，以看它在列中是否具有与时间指标t相对应的高能量。

设定：

W_k＝F(Z_k，α_k)

表示通过具有等于α_k的倾角的线滤波器对图像Z_k滤波，必须检查图像W₁，W₂，..，W_K在列中是否具有与时间指标t相对应的高能量。为达精确，使W_k(t，d)表示在发射器和可能的反射点和接收器之间的与第t时帧和传导时间d(在样本中)相对应的滤波图像W_k的值，然后，用于检测的检测观测器将是：

$z\{x\left(t\right),\mathrm{\Δx}\left(t\right)\}=\underset{i=1}{\overset{K}{\mathrm{\Σ}}}{W}_k(t,d_k\left(t\right))$

如果此数是高的，则在位置x(t)存在以方向Δx(t)移动的反射对象的可能性高。为找到对于检测观测器的基础分布，z{x(t)，Δx(t)}的分布可在声音场的“空白区(empty areas)”中取样。

显然，一旦初始位置x(t₀)被找到，此检测可被用于在整个场中追踪对象，因为一直到点已经从一帧移到下一帧之处，能够执行检测。为提高追踪质量，可在每一步骤试用有限数量的不同Δx(t)，即，仅是与对可能的物理运动的合理猜测相对应的那些。显然，从一个时阶到另一时阶的加速度不可能是无限的。

追踪过程还可被用于点{x_i(t)}邻近，因而提高了追踪过程的耐用性，特别是对于在系统频带内不是以点反射体表示的反射体。可能的反射点组{x_i(t)}可与所追踪的对象现有知识有关，例如它们可以表明手的模型或者一组手指，比方说通过说明手指仅能在一定方向内弯曲。此类模型不需要是静止的，它可是一个柔性(flexible，能变形的)模型，例如活动形状(active shape)模型，统计形状模型，活动外观(active appearance)模型，蛇纹或者“活动的模糊的东西(active blob)”。在脉冲响应域内的这种运动模型追踪允许对于特殊对象的更精确追踪。它也可被用在2D或者3D成像域中。

应用上述方法优于现有技术的一个优点是，在场内可同时追踪多个反射点，即使这些在一个或者多个信道内引起了相同的飞行时间或者信道时延。接下来，因为相应重叠曲线通过使用线滤波器被“分解(resolved)”。特别是，由于当追踪一个对象时，对于特殊对象的运动，仅一窄范围Δx(t)被检测出，两个对象能够比“没有”的情况更加频繁地“穿过(cross)”彼此的路径而不引起混乱，所述混乱例如哪个对象属于飞行时间的哪个顺序。当追踪多个手、手指、指示笔或者场内的对象时这是一个优点。

应用线滤波器的另外一个优点是，它们有效地允许具有在空间内的物理“方向(direction)”的对象的脉冲响应图像能量与一般噪声的分离。当在声音场中探测一个对象的存在和初始位置时，这很重要，因为当不应用此运动信息滤波时，追踪系统将很容易给出场中反射体的存在和位置的错误-肯定的表示。特别地，人们可能想要追踪从手伸出的手指，即，比手的其余部分更靠近TX/RX装置。然而，当手指伸出的手移进声音场时，手指的运动通常不会与手的运动有很大区别。因此，运动信息将有效地被用于分段(segmentation)目的，即，识别以特定方向和速度运动的(整个)对象。被认为是运动段的某特定尺寸的对象的检测可作为开始追踪的提示信号。例如，这将使得系统可以辨别手、手指、或者被插入声音场的较小或较大的对象成为可能。另一好处是，它能够帮助定位移进场的对象的外形，例如指尖。指尖此时能够被定义为该段的最前部分，该段再次被定义为以特定方向和速度运动的点的集合。

在本发明的某些方面的某些实施例中，先前所描述的用于运动分离的技术能够被应用到例如由延迟求和成像形成的场的三维图像。此技术背后的原理是评估3维栅格内的点的反射率。这些栅格点进而有效地变成了3维场的表示，以使栅格点与3维图像的“体元(voxel)”(与2D成像中的像素等同的3维等同物)相关联。

为解释延迟求和成像如何工作，首先假设具有位于位置r₁，r₂，...r_N的N个球形接收器以及位于起点的单一发射器(显然此概念能够被扩展至覆盖应用多于一个发射器的可能性)。目标是计算位于空间x₁，x₂，...x_Q的不同点的“体元”值，即，这些值表明在这些点的反射率。通过发射器的脉冲发射或者通过如先前所述的其它方法，脉冲响应在各个接收器被记录/计算；这些被定义为i₁(s)，i₂(s)，...i_N(s)。

现在，无论是否进行检测并且到何种程度，这里存在位于位置x_k的反射点。

声音信号从位于起点的发射器到假设反射点x_k然后到接收器r_j的传递所经过的距离由以下给出：

d_jk＝‖x_k‖+‖x_k-r_j‖

如果在所选点确实存在反射体，则此距离此时将与任一给定接收器j的脉冲响应中的“峰值”相匹配。对于反射体的存在的工作假设是，“如果(a)一个脉冲是在时间零发出，且(b)由位于x_k的反射体弹回，那么，在声音碰撞反射体后的给定时间，每一接收器将探测到能量的爆发”。此距离通过乘以f/c被转化为时间节点(timing)(以取样数量进行测量)，此处f是取样频率而c是声音速度。

也就是说，对于任意j，表达式的值应当是大值，因为脉冲响应简单地测量了在任意给定取样时间点处有多少能量被接收。乘以f/c的操作简单地将传递距离d转化为脉冲响应中的取样指标。因此，在点x_k内的对反射能力的评估将是：

$E_k=\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{i}_j(\frac{f}{c}\×d_{\mathrm{jk}})$

已经计算了与点x₁，x₂，...x_Q相对应的反射能力值或者“体元”强度值E₁，E₂，...E_Q，延迟求和成像完成。显然，取样点的选择对于成像质量很重要，各个接收器(与/或发射器)的定位一样重要。信号带宽同样重要以最小化“旁瓣(sidelobes)”和“栅瓣”效应，如果采用欠采样阵列，则这种“旁瓣(sidelobes)”和“栅瓣”效应将引起问题。

Claims (101)

1.一种识别人手运动的方法，包括：

在各个时帧内发射多个发射信号；

接收多个接收信号，所述接收信号中的至少一些由所述手反射；

使用所述发射信号和所述接收信号来确定多个信道脉冲响应；

限定脉冲响应矩阵，其中邻近时帧的脉冲响应彼此邻近；

以及

分析所述矩阵以得到与所述手的运动相对应的图案。

2.一种确定成像域内的一个或多个对象的状态的方法，包括：

在各个时帧内发射多个发射信号；

接收多个接收信号；

使用所述发射信号和所述接收信号确定多个信道脉冲响应；

限定脉冲响应矩阵，其中邻近时帧的脉冲响应彼此邻近；

以及

分析所述矩阵以得到与一个或多个对象相对应的图案。

3.根据权利要求1或2所述的方法，其中，每一发射信号是一系列脉冲。

4.根据权利要求1或2所述的方法，其中，每一发射信号包括一个或多个间歇噪音。

5.根据前述权利要求中的任一项所述的方法，包括记录所述矩阵作为计算装置的存储介质中的数据。

6.根据前述权利要求中的任一项所述的方法，其中，各个时帧的脉冲响应被对齐，以使与静止对象相对应的图案为水平线。

7.根据前述权利要求中的任一项所述的方法，包括从所述脉冲响应矩阵确定对象的多个反射点或部分的运动信息。

8.根据前述权利要求中的任一项所述的方法，其中，所述图案包括强度等高线。

9.根据权利要求8所述的方法，还包括通过直线或曲线来近似所述等高线。

10.根据权利要求9所述的方法，其中，所述线中的一条是通过多个线段来近似的。

11.根据权利要求9或10所述的方法，包括分析所述线以确定所述一个或多个对象的运动。

12.根据权利要求9至11中任一项所述的方法，包括识别从以下组成的组中选取的所述线之一的特性：连续的线；具有低于斜率阈值的斜率的线；以及具有低于曲率阈值的曲率的线。

13.根据前述权利要求中的任一项所述的方法，包括通过分析所述矩阵追踪多个对象的运动。

14.根据前述权利要求中的任一项所述的方法，包括通过测定所述信道脉冲响应中的总变化或者所述信道脉冲响应的在阈值之上的预定部分来确定对象的运动。

15.根据前述权利要求中的任一项所述的方法，还包括确定所述一个或多个对象的尺寸、形状或者反射率。

16.根据前述权利要求中的任一项所述的方法，包括对所述矩阵或者所述矩阵的一部分应用从由以下组成的组中挑选出的一个或者多个函数：曲线滤波器，线滤波器，直线滤波器，正弦滤波器，边缘滤波器，上采样滤波器，下采样滤波器，重复采样滤波器，霍夫变换，小波变换，拉东变换，pi-tau变换，傅里叶变换，分数傅里叶变换，列变换，列的移动求平均，滚动平均，无限脉冲响应滤波器和基于子带编码的滤波器。

17.根据前述权利要求中的任一项所述的方法，包括对所述矩阵或者所述矩阵的一部分应用非水平平均滤波器。

18.根据前述权利要求中的任一项所述的方法，包括对所述矩阵应用多个滤波器并比较所述多个滤波器的输出，以确定在所述矩阵的全部区域或给定区域内给出最强结果的滤波器。

19.根据前述权利要求中的任一项所述的方法，包括确定被应用到所述矩阵的滤波器的输出是否超出阈值。

20.根据前述权利要求中的任一项所述的方法，包括对所述矩阵应用在所述线的边缘具有滚降的线滤波器。

21.根据前述权利要求中的任一项所述的方法，包括对所述矩阵应用自适应异常值滤波器，所述自适应异常值滤波器移除具有处于阈值概率之上的噪声可能性的列、行或者条目。

22.根据前述权利要求中的任一项所述的方法，包括匹配或者滑动所述矩阵的子块至一组基本区块。

23.根据前述权利要求中的任一项所述的方法，包括卷积滤波器掩模和代表所述发射信号的带宽的正弦信号并应用所述卷积滤波器掩模至所述矩阵。

24.根据前述权利要求中的任一项所述的方法，包括对所述矩阵应用复合滤波器，所述复合滤波器捕捉对象运动的相位、方向和振幅。

25.根据前述权利要求中的任一项所述的方法，包括对所述矩阵应用滤波器掩模来组合所述矩阵内的多条线以给出更少数量的线。

26.根据前述权利要求中的任一项所述的方法，包括将所述矩阵转换至傅里叶变换域、分数傅里叶变换域或者时间域，并且对所述变换矩阵应用滤波器。

27.根据前述权利要求中的任一项所述的方法，包括对一个或者多个所述接收信号应用滤波器并使用滤波后的接收信号来限定脉冲响应的矩阵。

28.根据前述权利要求中的任一项所述的方法，其中，分析所述矩阵以得到图案的步骤包括：记录与所述矩阵的各个部分匹配的滤波器的顺序，并将所述顺序与一个或者多个预定顺序对比以识别所述矩阵中的特征图案。

29.根据权利要求28所述的方法，其中，所述特征图案对应于特殊手势。

30.根据权利要求29所述的方法，其中，所述特殊手势是由人的手指或手作出的有节奏的挥手或者招手手势。

31.根据权利要求28至30中的任一项所述的方法，其中，所述预定顺序包括滤波器的组的顺序，其中来自正确组的任一滤波器能够满足所述顺序。

32.根据权利要求28至31中的任一项所述的方法，其中，所述滤波器的顺序包括处于预定角度的线滤波器的顺序。

33.根据前述权利要求中的任一项所述的方法，包括对所述矩阵应用滤波器以抑制所述矩阵的特殊区域。

34.根据前述权利要求中的任一项所述的方法，包括在多个接收装置中的每一个处接收多个接收信号，并且对于每一接收装置限定脉冲响应的矩阵。

35.根据权利要求34所述的方法，包括对每一所述矩阵应用滤波器，根据对所述一个或者多个对象的一般速度推测来调整被应用到每一矩阵的滤波器。

36.根据前述权利要求中的任一项所述的方法，包括在多个接收装置中的每一个处接收多个接收信号，并且对至少一些所述接收装置的脉冲响应增加相应的人工时延，以使所述分析仅对从由所述接收装置的位置和相应的时延所限定的相应波束内发出的回声敏感。

37.根据权利要求36所述的方法，包括自适应地改变所述人工时延的图案。

38.根据权利要求36或37所述的方法，包括对所述人工时延的图案应用权重。

39.根据权利要求36至38中的任一项所述的方法，包括追踪对象，确定所追踪对象的预测运动，并且基于所述预测运动调整所述相应波束的方向。

40.根据前述权利要求中的任一项所述的方法，包括在各个不同时延后从多个发射装置中的每个发射多个发射信号。

41.根据前述权利要求中的任一项所述的方法，其中，所述多个发射信号包括设置有非发射周期的离散脉冲。

42.根据权利要求1至40中的任一项所述的方法，其中，所述多个发射信号构成连续发射。

43.根据权利要求42所述的方法，其中，所述连续发射以时隙周期或者所述时隙周期的倍数有规律地重复。

44.一种控制电子装置的至少一个操作的方法，包括使用根据前述权利要求中的任一项所述的方法。

45.一种用于识别人手运动的设备，包括：

发射装置，被布置为在各个时帧内发射多个发射信号；

接收装置，被布置为接收多个接收信号，至少一些所述接收信号由所述手反射；和

处理装置，被布置为利用所述发射信号和接收信号确定多个信道脉冲响应，限定脉冲响应的矩阵，其中邻近时帧的脉冲响应彼此邻近，并分析与所述手的运动相对应的图案的所述矩阵。

46.一种在成像域内确定一个或者多个对象的状态的设备，包括：

发射装置，被布置为在各个时帧内发射多个发射信号；

接收装置，被布置为接收多个接收信号；和

处理装置，被布置为利用所述发射信号和接收信号确定多个信道脉冲响应，限定脉冲响应的矩阵，其中邻近时帧的脉冲响应彼此邻近，并分析与一个或者多个对象相对应的图案的所述矩阵。

47.根据权利要求45或46所述的设备，包括多个发射器-接收器对。

48.一种计算机软件产品，被设置为，当在计算机上运行时，确定成像域内的一个或者多个对象的状态，所述软件具有用于各个时帧内的多个发射信号和多个接收信号的输入，并且进一步包括逻辑系统，所述逻辑系统被布置为：利用所述发射信号和接收信号确定多个信道脉冲响应；限定脉冲响应的矩阵，其中邻近时帧的脉冲响应彼此邻近；并分析与一个或者多个对象相对应的图案的所述矩阵。

49.一种在成像域中出现一个或者多个其它对象时跟踪一个对象的方法，包括向所述成像域发射能量，接收从所述成像域反射的能量，以连续时间区间计算一系列脉冲响应并且选择与连续运动相对应的所述脉冲响应的子集。

50.根据权利要求49所述的方法，其中，所发射的能量是间歇性的。

51.一种在成像域中出现一个或者多个其它对象时跟踪一个对象的设备，包括：

发射装置，被布置成向所述成像域发射能量；

接收装置，被布置成从所述成像域接收被反射的能量；

和

处理装置，被布置成以连续时间区间计算一系列脉冲响应并且选择所述脉冲响应的与连续运动相对应的子集。

52.一种计算机软件产品，被设置为，当在计算机上运行时，在成像域中出现一个或者多个其它对象时跟踪一个对象，所述软件具有用于能量发射和反射能量接收的输入，并且进一步包括逻辑系统，所述逻辑系统被布置为以连续时间区间计算一系列脉冲响应并且选择与连续运动相对应的所述脉冲响应的子集。

53.一种在确定成像域中的一个或者多个对象的运动的方法，包括：

发射连续或者非连续的发射信号；

接收多个接收信号；

利用所述发射信号和接收信号来确定多个信道脉冲响应；

限定脉冲响应的矩阵，其中各个时间区间的脉冲响应彼此邻近；和

从所述矩阵中分离出与一个所述对象的运动相对应的图案。

54.根据权利要求1至44、49、50和53中的任一项所述的方法，包括在频域内分析所述脉冲响应。

55.根据权利要求1至44、49、50、53和54中的任一项所述的方法，包括在频域内分析所述脉冲响应的幅值谱。

56.根据权利要求1至44、49、50、53和54中的任一项所述的方法，包括确定所述脉冲响应的频谱随时间的变化。

57.根据权利要求1至44、49、50、和53至56中的任一项所述的方法，包括在频域内分析所述脉冲响应并且从中确定对象正在或者已经改变所述对象的形状。

58.根据权利要求1至44、49、50、和53至57中的任一项所述的方法，其中，一个或者多个对象包括人手或者其部分。

59.根据权利要求1至44、49、50、和53至58中的任一项所述的方法，包括追踪对象并响应于所述追踪来控制电子装置。

60.根据权利要求1至44、49、50、和53至59中的任一项所述的方法，包括追踪用户手指的运动并响应于所述追踪通过图形用户界面来控制装置上的光标。

61.根据权利要求1至44和53至60中的任一项所述的方法，包括检测用户手指中的两个手指移向一起或分开。

62.根据权利要求61所述的方法，其中，从在所述矩阵的各个半部或者部分中的不同方向运动来识别所述移向一起或分开的运动。

63.根据权利要求1至44、49、50、和53至62中的任一项所述的方法，包括在时域内确定对象的形状的变化。

64.根据权利要求63所述的方法，其中，所述检测形状变化的步骤包括监控所述脉冲响应中的预定变形。

65.一种用于确定成像域内的一个或者多个对象的运动的设备，

包括：

发射装置，被布置成发射连续或者非连续的发射信号；

接收装置，被布置成接收多个接收信号；和

处理装置，被布置成利用所述发射信号和接收信号来确定多个信道脉冲响应，限定脉冲响应的矩阵，其中邻近时帧的脉冲响应彼此邻近，并从所述矩阵中分离出与所述对象中的一个对象的运动相对应的图案。

66.一种计算机软件产品，被设置为，当在计算机上运行时，确定成像域内的一个或者多个对象的运动，所述软件具有用于连续或者非连续的发射信号和多个接收信号的输入，并且进一步包括逻辑系统，所述逻辑系统被布置成：利用所述发射信号和接收信号确定多个信道脉冲响应；限定脉冲响应的矩阵，其中邻近时帧的脉冲响应彼此邻近；并从所述矩阵中分离出与所述对象中的一个对象的运动相对应的图案。

67.一种识别对象的预定运动的方法，包括：发射发射信号，在第一时间区间期间接收第一接收信号，确定所述第一接收信号的第一频率分量，在第二时间区间期间接收第二接收信号，确定所述第二接收信号的第二频率分量，并确定在所述第一频率分量和第二频率分量之间是否存在预定差别。

68.根据权利要求67所述的方法，包括：在各个时帧内发射多个发射信号；接收多个接收信号；确定所述接收信号的相应的频率分量；限定频率分量的矩阵，其中邻近时帧的频率分量彼此邻近；并分析所述矩阵。

69.根据权利要求67或68所述的方法，其中，所述预定运动是人手或者其部分的手势。

70.根据权利要求67至69中任一项所述的方法，包括识别用户手的构型，并且从所述构型确定运动或者手势是否将被识别作为预定运动。

71.一种用于识别对象的预定运动的设备，包括：

发射装置，被布置成发射发射信号；

接收装置，被布置成在第一时间区间期间接收第一接收信号并且在第二时间区间期间接收第二接收信号；和

处理装置，被布置成：确定所述第一接收信号的第一频率分量；确定所述接收信号的第二频率分量；并确定在所述第一频率分量和第二频率分量之间是否存在预定差别。

72.一种计算机软件产品，被设置为，当在计算机上运行时，识别对象的预定运动，所述软件具有用于在第一时间区间期间的第一接收信号和在第二时间区间期间的第二接收信号的输入；所述软件进一步包括逻辑系统，所述逻辑系统被布置成：确定所述第一接收信号的第一频率分量；确定所述第二接收信号的第二频率分量；并确定在所述第一频率分量和第二频率分量之间是否存在预定差别。

73.一种用于识别对象的预定运动的方法，包括：

发射发射信号；

在第一时间区间期间接收第一接收信号并在第二时间区间期间接收第二接收信号；

将所述第一接收信号转换至预定的域；

将所述第二接收信号转换至所述域；以及

确定在所述域内的所述第一信号和第二信号之间是否存在预定差别。

74.根据权利要求73所述的方法，其中，所述预定的域是分数傅里叶域或者小波域。

75.一种用于识别对象的预定运动的设备，包括：

发射装置，被布置成发射发射信号；

接收装置，被布置成在第一时间区间期间接收第一接收信号并在第二时间区间期间接收第二接收信号；

处理装置，被布置成：将所述第一接收信号转换至预定的域；将所述第二接收信号转换至所述域；并且确定在所述域内的所述第一信号和第二信号之间是否存在预定差别。

76.一种计算机软件产品，被设置为，当在计算机上运行时，识别对象的预定运动，所述软件具有用于在第一时间区间期间的第一接收信号和在第二时间区间期间的第二接收信号的输入；所述软件进一步包括逻辑系统，所述逻辑系统被布置为：将所述第一接收信号转换至预定的域；将所述第二接收信号转换至所述域；并且确定在所述域内的所述第一信号和第二信号之间是否存在预定差别。

77.一种非接触控制系统，被构造成响应处于第一构型中的手的运动；但当所述手处于第二构型中时忽略所述手的运动。

78.根据权利要求77所述的系统，被构造成检测所述手的转动。

79.根据权利要求77或78所述的系统，被构造成检测拇指的运动。

80.根据权利要求79所述的系统，被布置成通过检测所述拇指的运动来模仿计算机鼠标键的点击。

81.一种用于控制装置的设备，包括用于检测第一手指的运动以控制所述装置的第一动作的工具和用于检测第二手指相对于所述第一手指的运动以控制所述装置的第二动作的工具。

82.根据权利要求81所述的设备，其中，所述第一动作包括在多个可选位置之间移动选择器。

83.根据权利要求81或82所述的设备，其中，所述第二动作包括与所述选择器的位置相对应的动作。

84.根据权利要求81至83中任一项所述的设备，其中，所述第一手指是食指。

85.根据权利要求81至84中任一项所述的设备，其中，所述第二手指是拇指。

86.根据权利要求81至85中任一项所述的设备，其中，所述第二动作仅当确定所述第一手指是静态时才被执行。

87.一种识别或者追踪对象的方法，包括持续地或者连续地发射发射信号，在传感器处以多个时间区间接收由所述对象反射的信号，基于来自于所述多个时间区间的接收信号构建图像并且分析所述图像以得到与所述对象的预定运动相对应的一个或者多个图案。

88.根据权利要求87所述的方法，包括对所述图像应用线滤波器。

89.根据权利要求87或88所述的方法，其中，所述分析使用了时间区间的滚动窗口。

90.一种用于识别或追踪对象的设备，包括用于持续地或者连续地发射发射信号的装置、在传感器处以多个时间区间接收由所述对象反射的信号的装置以及处理装置，所述处理装置被构造为基于来自于所述多个时间区间的接收信号构建图像并分析所述图像已得到与所述对象的预定运动相对应的一个或者多个图案。

91.一种计算机软件产品，被设置为，当在计算机上运行时，识别人手运动，所述软件具有用于在各个时帧内的多个发射信号和多个接收信号的输入，并且进一步包括逻辑系统，所述逻辑系统被布置为：利用所述发射信号和接收信号确定多个信道脉冲响应；限定脉冲响应的矩阵，其中邻近时帧的脉冲响应彼此邻近；并分析与一个或者多个对象相对应的图案的所述矩阵。

92.一种计算机软件产品，被设置为，当在计算机上运行时，识别或者追踪对象，所述软件具有用于在传感器处以多个时间区间接收的由所述对象反射的信号的输入，以及逻辑系统，所述逻辑系统被设置为基于来自于所述多个时间区间的所述接收信号构建图像并分析所述图像以得到与所述对象的预定运动相对应的一个或者多个图案。

93.根据权利要求1至44、49、50、53至64、67至70、73、74、和87至89中的任一项所述的方法，其中，所述信号是超声波信号。

94.根据权利要求45至47、51、65、71、75、81至86和90中的任一项所述的设备，其中，所述信号为超声波信号。

95.一种控制电子装置的至少一个操作的方法，使用根据权利要求1至44、49、50、53至64、67至70、73、74、87至89和93中的任一项所述的方法。

96.根据权利要求1至44、49、50、53至64、67至70、73、74、87至89、93和95中的任一项所述的方法，进一步包括在存储器中存储结果。

97.根据权利要求1至44、49、50、53至64、67至70、73、74、87至89、93、95和96中的任一项所述的方法，进一步包括为显示装置提供显示信号。

98.根据权利要求1至44、49、50、53至64、67至70、73、74、87至89、93和95至97中的任一项所述的方法，进一步包括为外部装置提供控制信号。

99.一种电子装置，包括根据权利要求45至47、51、65、71、75、81至86、90和94中的任一项所述的设备，用于控制所述电子装置的至少一个操作。

100.一种移动式装置，包括超声波发射器和独立/集成的超声波接收器，所述装置被构造成使得所述装置的至少一个操作通过根据权利要求1至44、49、50、53至64、67至70、73、74、87至89、93、和95至98中的任一项所述的方法确定用户手的运动来控制。

101.一种载体，承载根据权利要求48、52、66、72、76、91和92中任一项所述的计算机软件产品。

Images