CN103038725A - 使用连续波超声信号的无触摸感测和手势辨识 - Google Patents

Abstract

实施例提供用于使用连续波声音信号进行无触摸感测和手势辨识的系统和方法。由发射器发射的例如超声等连续波声音可从物体反射，且由一个或一个以上声音接收器接收。可对声音信号进行时间编码。可处理接收到的声音信号以确定通道脉冲响应或计算飞行时间。可处理所确定的通道脉冲响应以提取可辨识特征或角度。可将所提取的特征与特征数据库进行比较以识别与所匹配的特征相关联的用户输入手势。通道脉冲响应曲线的角度可与输入手势相关联。可使用来自每一接收器的飞行时间值来确定所述反射物体的坐标。可将实施例实施为图形用户接口的部分。可使用实施例来确定发射器的位置。

Description

使用连续波超声信号的无触摸感测和手势辨识

相关申请案

本申请案主张2010年6月29日申请的标题为“使用连续波声音信号的无触摸感测和手势辨识(Touchless Sensing and Gesture Recognition using Continuous Wave SoundSignals)”的第61/359,728号美国临时专利申请案的优先权的权益，所述临时专利申请案的整个内容以引用的方式并入本文中。

技术领域

本发明大体上涉及用于计算装置的用户接口系统，且更明确地说，涉及采用连续波声音的无触摸用户接口。

背景技术

超声是定义为在人类听力的上限以上或大约20kHz以上的频率下操作的循环声压。超声已在各种各样的应用中实施，用于成像、源位置确定和测距。这些应用中的许多应用集中于超声的穿透介质且经由反射提供介质内的物体的结构信息的能力。大多数应用通过测量发射超声的时间与检测到回声的时间之间的时间延迟来利用超声。一般来说，两种类型超声系统是脉冲回声和连续波。

发明内容

实施例提供用于无触摸感测和手势辨识的系统和方法，其适合用作使用连续波超声信号的用户接口。超声信号可被发射并从物体(例如用户的手指或手)反射。所反射的超声信号可由超声麦克风接收。可基于所接收到的超声信号计算通道脉冲响应。通道脉冲响应可经受不同滤波器，且可提取或辨识可辨识特征。可将这些可辨识特征与和预定义用户手势相关的所存储特征模式进行比较，以确定所提取的特征是否与任何已知模式匹配。如果所提取的特征与已知模式匹配，那么可由计算装置实施与匹配模式相关联的命令(例如，用户输入命令)。在另一实施例中，可使通道响应中的可辨识特征与特定所反射信号相关。可计算所反射信号的飞行时间，且将其用以得出反射物体相对于计算装置的坐标，例如通过使用椭圆相交计算。此方法还可跟踪反射物体的运动作为一系列位置，且运动跟踪数据可与手势相关以提供辨识。

附图说明

并入本文中并构成本说明书的部分的附图说明本发明的示范性实施例，且连同上文给出的概括描述和下文给出的详细描述一起用以阐释本发明的特征。

图1是经配置以使用超声传感器进行手势辨识的实施例系统的说明。

图2是说明正从发射器或扬声器传播、从用户的手反射且被检测器接收的超声波前的概念图。

图3是用于用连续波超声来辨识手势的实施例系统的功能和组件框图。

图4是实施例系统的各种处理和硬件模块的功能系统框图。

图5A是在存在反射物(例如，用户的手)的情况下原型系统中的麦克风的通道脉冲响应对时间的曲线图。

图5B是不存在反射物的情况下原型系统中的麦克风的通道脉冲响应对时间的曲线图。

图5C是原型系统中单独计算为图5A中说明的通道脉冲响应与图5B中说明的通道脉冲响应之间的差的反射物的通道脉冲响应对时间的曲线图。

图5D也是差脉冲响应的曲线图。

图6A到6C是展示将不同形式的边缘滤波应用于差通道响应的结果对时间的曲线图，其中用户的手指朝原型系统中的麦克风移动和远离麦克风移动。

图7A到7C是展示将不同形式的边缘滤波应用于差通道响应的结果对时间的曲线图，其中用户的手在原型系统中的麦克风前面从左到右和从右到左移动两次。

图8A到8D是展示使用四个不同相关函数对远离麦克风移动的用户手指的模拟结果的统计相关分析的结果的曲线图。

图9A到9C是展示使用三个不同相关算法对远离麦克风移动的用户手指的模拟结果的统计相关分析的结果的曲线图。

图10A到10C是说明如由原型系统中的三个间隔开的麦克风测量的用户手势的通道脉冲响应对时间的曲线图。

图11A是说明从图10A到10C中说明的通道脉冲响应对时间确定的最大脉冲响应值对时间的曲线图。

图11B是说明从图10A到10C中说明的通道脉冲响应对时间确定的最大脉冲响应指数对时间的曲线图。

图11C是说明在从图10A到10C中说明的通道脉冲响应对时间确定的最大指数下的脉冲响应的测得值对时间的曲线图。

图12A到12C是在存在移动反射物的情况下三个麦克风的原始脉冲响应确定对时间的曲线图。

图13A到13C是在存在移动反射物的情况下三个麦克风的经低通滤波且阈值化的脉冲响应确定对时间的曲线图。

图14是用于基于脉冲响应的所确定角度从所反射的超声信号辨识用户接口手势的实施例方法的过程流程图。

图15A到15C分别是图13A到13C中展示的脉冲响应模式的所检测角度的曲线图。

图16A到16C是在存在朝麦克风和远离麦克风移动的反射物的情况下三个麦克风的经低通滤波的脉冲响应确定对时间的曲线图。

图17A到17C分别是图16A到16C中展示的脉冲响应模式的所检测角度的曲线图。

图18是用于基于从通道脉冲响应提取的信号特征辨识手势的实施例方法的过程流程图。

图19是用于基于所提取的信号特征以及反射物的坐标变化辨识手势的实施例方法的过程流程图。

图20是适合结合各种方面使用的实例计算机的组件框图。

图21是适合结合各种方面使用的实例移动装置的组件框图。

图22是与连续波超声交互的两个移动装置的实施例系统。

图23A是用于在发射装置上确定装置之间的方向的实施例方法的过程流程图。

图23B是用于在接收装置上确定装置之间的方向的实施例方法的过程流程图。

具体实施方式

将参看附图来详细地描述各种实施例。只要可能，将在整个图式中使用相同的参考标号来指代相同或相似的部分。对具体实例和实施方案做出的参考是出于说明性目的，且不希望限制本发明或权利要求书的范围。

词语“示范性的”在本文中意味着“充当实例、个例或说明”。在本文中描述为“示范性”的任何实施方案不一定阐释为比其它实施方案优选或有利。

如本文所使用，术语“计算装置”指代任何形式的具有用户接口的可编程计算机装置，包含(但不限于)膝上型和桌上型计算机、电视机、家用电器、蜂窝式电话、个人电视装置、个人数据助理(PDA)、掌上型计算机、无线电子邮件接收器(例如，

和

装置)、具有多媒体因特网能力的蜂窝式电话(例如，Blackberry

)，全球定位系统(GPS)接收器、无线游戏控制器、交通工具(例如，汽车)内的接收器、交互游戏装置、笔记本型计算机、智能本、上网本、移动电视装置或任何数据处理设备。

各种实施例提供用于由计算装置通过使用从装置发射且由一个或一个以上检测器或麦克风接收的连续波超声信号进行无触摸用户接口感测和手势辨识的系统和方法。连续波超声可由发射器或扬声器发射、从物体(例如，用户的手)反射，且由一个或一个以上接收器或麦克风接收。举例来说，超声发射器或扬声器可发射经适当编码的连续波超声。超声可通过空气传播，且如果用户的手位于反射检测区内，那么从用户的手反射。所反射的超声可由位于计算装置附近的一个、两个、三个或三个以上超声检测器或麦克风接收。在各种实施例中，“通道”可包含从超声发射器通过空气到用户的手的声音路径、从用户的手通过空气到每一检测器的反射以及每一检测器的响应。此通道的特性可用通道脉冲响应来表达，可使用已知的信号处理方法和电路(例如，数字信号处理器)来确定通道脉冲响应。因此，随着用户在计算装置的反射检测区内移动手或物体，通道的特性以及通道脉冲响应将因所反射超声的不同发射路径而变化。这可包含所反射回声的模式因手表面相对于所发射超声的入射角度的变化而发生的变化。可分析通道脉冲响应随时间的此些变化以揭露模式，可将所述模式与存储在存储器中的已知模式进行比较，以便辨识既定用户输入手势。并且，可处理用户的手产生所辨识通道脉冲响应模式的任何大反射或部分，以测量超声的飞行时间，计算装置可据此使用众所周知的椭圆三角测量计算来确定环绕计算装置的3D空间内的反射表面的位置。用于确定到反射表面的距离的准确方法可使用众所周知的处理算法，例如卡尔曼滤波，以便解决系统中的噪声。

除提供三维用户输入手势辨识能力之外，各种实施例的无触摸手势感测能力提供其它优点。所述系统可检测并解译在环绕计算装置(例如，在计算装置周围30到40厘米内)的大体积内的用户手势。另外，由于用户接口空间在计算装置上方，因此用户接口可经配置以抵抗外部条件，例如湿气、污物等。因此，各种实施例可应用于其中常规计算机不合适的环境、系统和位置。

总之，可以用使所接收到的所反射信号能够与所发射信号相关的方式来调制连续波超声信号。匹配信号可允许系统确定通道脉冲响应，或计算发射与接收之间的时间差，或飞行时间。可随着时间的过去而缓冲系统通道输入响应快照或图像，以使得能够辨识响应的变化并将其与从训练会话存储的模式进行比较。可使用特殊滤波来对通道脉冲响应的此些经缓冲图像进行滤波，以提取可与用户输入手势的预训练模板库匹配的特征。除处理脉冲响应之外，还可处理特定回声特征(例如可与最强回声或第一到达回声相关联)，以便使用飞行时间分析来获得3D空间中的回声源的位置的准确估计。可使用数学处理(例如卡尔曼滤波)，以便准确地确定在存在噪声的情况下的飞行时间或距离，这可能是大多数使用情形下的情况。为了分析和匹配接收到的反射，实施例可包括各种信号处理元件。这些信号处理元件可从接收到的通道响应中滤出模式和特征，并使这些特征与手势相关，而从不解析通道中的反射物体。

通过将所检测到的通道脉冲响应中的模式与存储在存储器中的模式(例如来自用户训练会话)进行比较，计算装置可识别最密切匹配的模式。通过使特定用户输入命令与特定所训练手势模式相关，计算装置可经配置以将特定用户手部移动辨识为用户输入命令。因此，在一些实施例中，可将超声检测系统实施为操作系统的图形用户接口部分的一部分。在此些实施例中，当通道脉冲响应模式与存储器中的模式匹配时，可由计算装置识别并实施相关联的用户命令。以此方式，用户可通过使手指向计算装置上方或附近或在计算装置上方或附近移动来控制计算装置，类似于可使用已知的指向装置或触摸屏显示器来输入用户命令的方式。

虽然将各种实施例描述为发送和接收超声，但也可用具有低于典型超声区的频率的声音来实施所述实施例。假如所发射的频率高于可听范围，那么可以本文所述的方式用高频声音来实施各种实施例。超声是有利的，因为其小波长使得能够解析用户手部的精细结构。然而，由于空气的低密度，使用常规扬声器来产生较低频率的声音可能较容易且较高效，且较低频率的声音较容易在常规麦克风中接收。因此，本文对超声的参考无意将所附权利要求书的范围限于特定频率范围内的声音，除非明确陈述如此。

图1展示膝上型计算机100上的各种实施例的说明性实施方案。在所说明的实施例中，膝上型计算机100内的用户接口系统包含超声发射器101，以及位于计算机100的各个部分上的多个超声检测器102a、102b、102c。在使用中，用户可将手104定位在3D空间106内位于计算机100上方或附近。不是使用常规指向装置(例如触摸板110)，用户可在一区(其在本文中称为反射检测区)内移动手104，在所述区内，超声反射可由超声检测器102a、102b、102c检测，以执行计算装置可辨识和实施的用户输入手势。类似于其它图形用户接口系统，手势的图形表示可在显示器108上呈现。因此，通过使手104在计算机100上方或周围在坐标系106的X、Y和Z轴内移动，用户可在不触摸任何表面的情况下与计算机100介接。实施例实现无触摸用户接口系统，其中可在3D空间中执行用户输入手势，从而实现全3D用户接口能力，这不同于完全二维的常规图形用户接口装置(例如，计算机鼠标、触摸板或触摸屏)。

图2展示可如何使用超声来检测用户的手104的位置和定向的简单表示。超声发射器101可发射通过空气传播的连续波超声206。通过编码所发射超声中的信息，可用连续波声音来确定关于用户的手104的位置信息。为了表示的简单性，用同心弧来说明连续波超声内的可辨识特征。当用户的手104在反射检测区内时，所发射的超声206将从用户的手104反射，从而产生所反射的超声207、208。由于用户的手是三维的，因此多个所反射的超声波前207、208将由于来自用户的手上的各种特征的反射而产生。由于所述特征位于距超声发射器101不同距离处，因此在任一给定时刻从每一特征反射的波前将不同。另外，从用户的手上的各种特征到每一超声检测器102的距离也将不同。因此，从用户的手104反射的声音将在多个波前(其在时间上各自彼此稍稍偏移)中到达检测器102。到达检测器102的所反射的超声因此编码与用户的手的位置、形状和定向有关的信息。在常规成像超声系统中，由检测器102测量的回声到达时间可用以产生反射表面的图像。

现代超声成像系统使用定相阵列系统，以便形成准确图像。然而，此图像产生密集使用处理器，且因此不适合基本用户接口系统。各种实施例绕过成像过程，且代替地通过处理横跨发射器101、反射表面104和检测器102以及介入空间的通信通道的通道脉冲响应的变化来利用编码于所接收到的超声中的位置、形状和定向信息。

图3说明实施各种实施例的计算系统300。实施例计算系统300可包含超声发射器101以及一个或一个以上超声检测器或麦克风102a、102b、102c，其耦合到数字信号处理器302，数字信号处理器302耦合到计算装置的中央处理器304。中央处理器304可耦合到存储器306且耦合到超声调制器/放大器电路308，超声调制器/放大器电路308耦合到超声发射器101。超声调制器/放大器电路308可经配置以从处理器304接收待编码到连续波超声中的信息，例如伪随机数或伪随机噪声。超声调制器/放大器电路308可使用此信息来产生施加到超声发射器101以发射经调制超声的电信号。在一些实施方案中，超声调制器/放大器电路308可耦合到数字信号处理器302，且经配置以从数字信号处理器302而不是从中央处理器304接收待调制成超声的信息的信号。

在一些实施例中，超声发射器101可为单独的声音发射组件，例如安装在计算装置的表面上的超声换能器。在其它实施例中，超声发射器101可为计算装置的扬声器或扬声器内的元件，例如压电扬声器或高频扬声器元件。类似地，在一些实施例中，超声检测器或麦克风102a、102b、102c可为单独组件，例如专用超声换能器。在其它实施例中，超声可由计算装置的麦克风或麦克风内的元件(例如高频感测组件)感测。在另一实施例中，一个或一个以上超声换能器可充当超声发射器或充当超声检测器。

如上文所述，各种实施例利用通信通道310，其被定义为涵盖超声发射器101、通过空气从超声发射器101到用户的手104的传播路径312、从用户的手指或手104的反射、通过空气从用户的手104到超声检测器102a的传播路径314，以及超声检测器102a、102b、102c。单独的通信通道因此将存在于包含在计算系统300中的超声发射器101与超声检测器102a、102b、102c的每一者之间。尽管可用单个超声检测器102a来实施各种实施例，但两个或两个以上超声检测器可定位于计算系统300上的各个位置中，以便获得关于用户的手104的位置、形状和定向的更多信息，或更好地区分用户输入手势。

类似于任何通信通道，通过空气的超声迁移通道310的元件中的任一者中的变化可导致通道脉冲响应的变化。在大多数操作条件下，可假定超声发射器101和检测器102a的性质以及周围空气的声音传播特性在典型用户接口手势的时间帧内恒定，所述时间帧将仅持续几秒。因此，可忽略通信通道312的这些元件因温度、湿度等的变化而发生的变化。因此，可完成通信通道310的分析，假定脉冲响应的所有变化是因为反射表面(例如用户的手104)的位置、形状和定向的变化。举例来说，用户的手104朝超声发射器101的移动将减小发射器到手传播路径312，且最可能改变(加长或缩短)手到检测器传播路径314。并且，用户的手104的移动(例如旋转、伸展或缩回手指等)将改变反射表面相对于冲击超声的定向，且因此改变由检测器102a接收的所反射超声的模式。另外，用户的手104朝超声发射器101或远离超声发射器101的快速移动还可导致由超声检测器102a接收的所反射超声中的多普勒移位。通信通道310中因用户的手104在反射检测区内的移动而产生的此些变化将反映在通道的脉冲响应中。因此，通过分析通信通道310的脉冲响应随时间的变化，计算系统300可获得关于用户的手104的位置、形状和定向的信息。通过将三个或三个以上超声检测器102a、102b、102c放置在计算系统300上的各个位置中，例如在三个维度中间隔开，例如在下文描述的图20中说明，计算系统300可获得关于用户的手104的三维位置信息。

由超声检测器102a、102b、102c接收的超声信号的取样中所涉及的计算，以及每一通信通道310的通道脉冲响应的确定可由数字信号处理器302或另一经合适配置的处理电路执行。通道脉冲响应数据的处理(例如下文所述的各种实施例的滤波、灰度级处理和统计分析)可在数字信号处理器302中执行，或部分在数字信号处理器302中且部分在中央处理器304中执行。可使用由中央处理器304或计算系统300内的另一处理器执行的模式比较算法，将通过在数字信号处理器302和/或中央处理器304中执行的处理从通道脉冲响应提取的可辨识特征与存储在存储器306中的模式进行比较。如果中央处理器304确定从通信通道310中的一者或一者以上的通道脉冲响应提取的模式与存储在存储器306中的模式匹配，那么中央处理器304可确定与所匹配的模式相关联的用户输入命令，且像任何其它用户输入命令那样实施所述命令。

图4说明实施例系统400的功能模块和硬件元件。为了产生所发射的连续波超声，伪随机噪声或伪随机数产生器模块402可产生伪随机代码。可将此代码提供给扩频调制器和脉冲压缩模块404，其包含提供给数/模转换器和放大器模块406的数字信息中的伪随机噪声。此模块406可将模拟信号提供给超声发射器101。如上文所述，所发射的超声206从用户的手104反射，从而产生经反射的超声208，其由一个或一个以上超声检测器或麦克风102a、102b、102c接收。来自一个或一个以上超声检测器或麦克风102a、102b、102c的信号可由放大器和模/数转换器模块407处理，所得数字数据传递到数字信号处理器409。在一些实施方案中，模/数转换处理模块407可包含在数字信号处理器409内。数字信号处理器409可配置有DSP可执行软件模块，包含通道脉冲响应分析模块408和特征提取模块410。下文更详细地描述在通道脉冲响应分析模块408和特征提取模块410中完成的处理。

来自特征提取模块410的结果可由通道脉冲响应模式比较模块412处理，通道脉冲响应模式比较模块412将所提取的特征与存储在存储器306中的模式进行比较。通道脉冲响应模式比较模块412可计算相关值，其反映通道脉冲响应模式与存储在存储器中的模式的匹配或相似程度。这些结果可由手势辨识模块414处理，手势辨识模块414用以选择最佳匹配模式，且识别其相关联的用户输入命令。手势辨识模块414可考虑用户输入手势或当前操作状态的情境，以在所匹配的模式之间选择与当前操作条件最相关的模式。在这样做时，如果其相关联的用户输入命令与当前操作状态相关，那么手势辨识模块414可选择具有相对较高相关因子的模式。举例来说，如果多个模式具有相对较高的相关因子，但所述模式中的一些模式具有无法在当前操作状态下执行的相关联用户输入命令(例如，与当前不在执行的应用程序有关的命令)，那么手势辨识模块414可丢弃那些模式。并且，手势辨识模块414可在具有相对较高的相关因子的模式之间进行选择时考虑先前的输入手势(例如，选择命令)，以在与先前用户输入命令相关的命令相关联的模式之间进行选择。举例来说，如果先前输入手势是选择命令，那么手势辨识模块414可在与选定对象相关的命令相关联的模式(例如与移动、复制或切割命令相关联的模式)之间进行选择。

可将与多种情况下的最佳匹配模式相关联且与由手势辨识模块414识别的当前操作状态一致的单个命令传递到用户接口模块416，以像任何其它用户接口命令那样执行。用户接口模块416可将所识别的命令传递到处理器以供执行。用户接口模块416还可产生被提供给计算装置显示器的与所识别的命令一致的显示。举例来说，如果手势辨识模块414确定用户已执行了选择命令(例如，通过指向3D空间中的对象，将两根手指捏在一起，或握拳)，那么用户接口模块416可产生图形用户接口显示，其展示对象已被选择，例如以类似于选定对象如何在以计算机鼠标、触摸板或触摸屏用户接口装置为特征的图形用户接口中展示的方式。作为另一实例，如果手势辨识模块414确定用户已执行了移动命令(例如，通过在执行选择命令之后将手从一个位置移到另一位置)，那么用户接口模块416可产生展示选定对象在所显示的图像内移动的显示。

在另一实施例中，可基于用户的手指或手的三维位置来确定或实施用户输入手势。在此些实施例中，计算装置有必要确定用户的手指或手在反射检测区内的绝对或相对位置。这可通过飞行时间计算模块418和坐标确定模块420来实现。可基于超声检测器处的所反射超声的到达时间来确定反射物在反射检测区内的位置。此飞行时间将取决于从发射器到用户的手以及从手到每一超声检测器的距离。由于计算装置知道每一经编码信号广播的时间或相对时间且可基于所述信号内包含的信息检测反射的到达，因此可基于所述经编码信号来确定飞行时间。接着可由坐标确定模块422处理来自每一超声检测器的所确定的飞行时间数据，以使用椭圆三角测量方法来估计反射物的位置。由于接收到的所反射超声有可能是有噪声的通道，因此可使用所述数据的卡尔曼滤波来确定最可能的到达时间，其接着可用于椭圆三角测量计算中。下文更全面地描述用于确定反射物的坐标的实施例方法。

由坐标确定模块420确定的用户的手的坐标可用作到用户接口模块416的输入。举例来说，由坐标确定模块420确定的用户的手指尖的坐标可由用户接口模块416用来将光标或指针定位在图形用户接口显示上。以此方式，用户可在反射检测区内四处移动手指，以便以类似于用户如何使用计算机鼠标、触摸板或触摸屏用户输入装置来操纵光标和指针的方式在显示屏上操纵光标或指针。作为另一实例，由坐标确定模块420确定的用户的手的坐标可由用户接口模块416用来定位图形用户接口显示中展示的选定对象。

手势辨识模块414可基于通道脉冲响应特征中的所匹配模式且基于用户的手或手指的坐标来辨识一些用户接口手势。因此，反射坐标还可由坐标确定模块420提供给手势辨识模块414。手势辨识模块414可接着基于模式匹配相关值、情境或操作条件以及用户的手或手指在反射检测区内的位置来确定用户输入手势。举例来说，取决于靠近还是远离计算装置显示器或键盘执行运动，用户的手的给定移动可具有不同意义(即，与不同用户输入命令相关)。因此，用户在距显示器某一距离处来回摆手可与唤醒计算机或去活显示器上的屏幕保护程序的命令相关联，而用户在靠近显示器处来回摆手可与擦除或删除显示器的选定对象或部分的命令相关联。

图4被提供为各种实施例过程和操作的一个可能组织的实例，但无意将所附权利要求书的范围限于所说明的配置。各种实施例的处理和操作可以硬件、软件或硬件与软件的组合配置，所述硬件和软件可以与图4中所示的方式不同的方式组织或交互。

可用以将时间信息编码成连续波发射的声音的一种方法是产生伪随机噪声且利用频谱调制方案。以此方式，在每一时刻，嵌入的超声不同于所有其它实例(取决于噪声的随机程度)，其使从不同反射点到达的所反射声音能够编码关于在比所述声音的波长长的距离外的反射表面的位置、定向和形状的信息。使用伪随机噪声而不是非随机或系统编码(例如，连续扫掠过超声频率范围)可使系统变得较不易受噪声和确定性干扰的影响，因为在一个实例中导致降级的通道响应的任何条件或干扰不可能被再次遇到，除非同一随机噪声和频率组合被发射，而当使用合适随机化方法时，这将是极其罕见的。用于产生伪随机噪声的方法在通信技术中是众所周知的，且包含产生编码到信号中的长伪随机数。伪随机数是在非常大数目的位上表现为随机的二进制序列。将伪随机噪声调制成连续波超声可产生横跨较宽频率范围的超声信号。这可通过使用扩频调制方法(例如正交频分多路复用(OFDM)调制和脉冲压缩)编码伪随机数来实现。

使用包含在连续波超声内的时间信息，可从接收到的所反射超声提取与反射物(例如，用户的手)的位置和表面特征有关的信息。然而，如上文所述，反射物的成像将需要大量的处理能力，但不必完成用户输入手势辨识。代替的是，各种实施例通过确定通道脉冲响应且将数据随时间的变化与存储在存储器中的此数据的模式进行比较，来分析编码在所反射的超声中的信息。

通道脉冲响应指代通信通道响应于某一外部变化的反应。在各种实施例中，外部变化是反射物(即，用户的手或手指)在反射检测区内的移动。通道脉冲响应描述随着用户的手或手指在反射检测区内移动，通道依据时间而变的反应。可以许多众所周知的方式分析特定发射器-手-检测器超声传输路径通道的通道脉冲响应。举例来说，可将通道的输出y(t)建模为施加到通道的脉冲x(t)(即，在此实例中所发射的超声信号)与通道的脉冲响应h(t)的乘积的总和。换句话说，y(t)=x(t)*h(t)。可使用下文的等式1来估计通道输出。

y(n)=x(n)*h(0)+x(n-1)*h(1)+...x(n-M-1)*h(M-1)   等式1

为了在取样周期内使用信号分支测量来解此等式，可将等式1变换为矩阵格式，以通过计算机处理器(例如，DSP)来实现求解。如果将时间n时的已知所发射信号模式定义为x(n)，那么可将X矩阵定义为x(n),x(n-l),...x(n-N-M)的矩阵，其为已知的所发射信号模式。将表示接收到的信号的矩阵Y定义为Y=[y(n)y(n-l)...y(n-N-l)]'，其中y(n)由等式1给出。接着可将矩阵H(其为待计算的通道脉冲响应)定义为H=[h(0),h(l),...h(M-l)]'。通道输出可接着由Y=X*H定义，其中Y为N乘以1矩阵，H为M乘以1矩阵，且X为N乘以M矩阵。因此，通道脉冲响应H可由H=X^-1*Y确定。在真实系统中，H为声学和电子通道两者的卷积结果。H=H_a*H_e。X*H=X*H_a*H_e=Y+N，其中N为噪声，H_a为声学路径，且H_e为电路径。在给定电通道的情况下，可获得声学路径为：H_a=(X*He)^-1*Y。

在一实施例中，超声带中的带通滤波器可用以预处理输入信号，以便抑制音频带噪声。如果这样，那么其脉冲响应将为脉冲响应H的一部分(即，包含在脉冲响应H内)。

由于所发射的超声信号模式X(n)是已知的，因此可使用许多伪矩阵求逆方法(例如一般化单值分解)来计算矩阵X的逆。由于接收到的麦克风信号中噪声的存在，可能需要合适的规则化测量来得出稳定解。使用所述结果，可从由超声检测器测量的信号计算通道脉冲响应。接着可通过使用平滑因子来平滑所计算的脉冲响应H以减少噪声。虽然前面的内容展示可如何从时域测量值计算通道脉冲响应，但也可在频域中计算通道脉冲响应。

脉冲响应更新速率可由矩阵X的大小以及H的长度确定，其为分配给与超声手势辨识过程相关联的处理的存储器的问题。举例来说，如果N+M=800，那么可对接收到的超声信号进行取样，且可每秒240次(即，240Hz)更新通道脉冲响应。

如图4中所说明，存在到达检测器102的两组超声信号：作为所要方面的所反射组信号208，以及所发射声音206的直接发射。可将直接声音发射称为串扰。计算装置可处理总通道脉冲响应以删除响应的归因于直接发射的部分，以便揭露表示归因于所反射的超声的通道脉冲响应的差异。可通过从基于测得的超声信号计算的总通道脉冲响应减去平均背景通道脉冲响应(即，当反射检测区中不存在反射物时测得的通道脉冲响应)来确定归因于所反射的超声的通道脉冲响应。由于超声是人耳不可听到的，因此每当反射检测区内不存在反射物时，就可以预定间隔测量背景通道测量值。从总通道脉冲响应减去平均背景通道脉冲响应得出“反射物通道脉冲响应”。因此，H_r=H_t-H_bg(下文“等式2”)，其中H_r为反射物通道脉冲响应，H_t为总通道脉冲响应，且H_bg为背景通道脉冲响应。通过矩阵求逆计算的通道脉冲响应可能对麦克风处的噪声敏感。反射物通道响应可对噪声较稳健。

可跟踪反射物通道脉冲响应依据时间而变的变化，且将其用以测量反射物通道脉冲响应对时间的相对变化。可将“差通道脉冲响应”计算为第一取样时间时的反射物通道脉冲响应与下一取样时间时的反射物通道脉冲响应的差。换句话说：H_d(n)=H_r(n)-H_r(n-1)(下文“等式3”)，其中H_d(n)为时间n时的差通道脉冲响应。可使用差通道脉冲响应来辨识动态用户输入手势，其中用户正在反射检测区内移动手或手指。为了促进分析，随着时间的过去，可在存储器中将差通道脉冲响应缓冲为一系列图像。

图5A到5D说明处理在原型系统中获得的差通道脉冲响应图像的结果的实例。图5A展示在存在反射物(例如用户的手)的情况下计算单个麦克风的通道脉冲响应对时间的原始结果。在此原型中，使用70个信号分支来测量通道脉冲响应。将图5A中展示的总的测得通道脉冲响应中的特征与串扰通道脉冲响应混合，因此在可确定所反射的通道脉冲响应中的特征之前，需要减去背景通道脉冲响应。图5B说明当反射检测区中不存在用户的手时，用同一系统获得的测得背景通道脉冲响应。在不存在反射物的情况下，通道脉冲响应可预见地随时间过去是相对均匀的。通过从图5A中所示的测得总通道脉冲响应减去图5B中所示的背景通道脉冲响应，可使用等式2获得反射物通道脉冲响应。接着，通过使用等式3测量差通道脉冲响应，可揭露反射物通道脉冲响应中的趋势，如图5C中所示。如图5C说明，差通道脉冲响应含有关于反射物(即，用户的手)在反射检测区内的移动的大量信息。图5D说明如在原型中测得的差脉冲响应的另一视图。

用于区分通道脉冲响应数据中的可辨识特征的方法之一涉及将灰度等级协方差矩阵分析应用于数据。可根据经边缘滤波的通道脉冲响应确定灰度等级协方差矩阵。灰度等级协方差矩阵是众所周知的图像处理技术，其可涉及对灰度等级的不同组合以给定偏移出现在图像矩阵中的频率的制表。灰度等级可表示范围从简单的开和关到任何数目的变量的值的谱。举例来说，图像的灰度等级可在从零到四的范围内，其中零为白色，四为黑色，且之间的数字表示灰色深浅度。为了形成灰度等级协方差矩阵，可设定偏移参数。此偏移定义将如何对元素的组合进行分组以进行比较。举例来说，可定义偏移参数，使得将每一图像矩阵元素与右边的相邻元素进行比较。取决于每一组合的两个元素的灰度等级，将值添加到灰度等级协方差矩阵中的元素中的一者。灰度等级协方差矩阵的每一元素将含有表示一起组合且比较某些灰度等级的次数的值。灰度等级协方差矩阵中的元素的总和等于比较的数目，但如果灰度等级在图像中聚集，那么某些元素将含有相对高的值。反过来，如果图像的灰度等级良好混合，且图像相对均质，那么元素中的值将均匀地分散。

通常将灰度等级协方差矩阵应用于图像，但它们可用以搜索任何矩阵内的值或灰度等级的分散的模式。经缓冲的差通道脉冲响应图像可各自用以填充灰度等级协方差矩阵。可从这些灰度等级协方差矩阵中的每一者得出统计特征。通过对差通道脉冲响应应用灰度级处理，可获得包含在信号内的模式中的进一步细节。

为了揭露或提取差通道脉冲响应内的特征，可使用边缘滤波器来处理差通道脉冲响应图像。边缘滤波可有助于揭露或提取图像内的所关注方面，且减少从通道脉冲响应数据获得有用信息所需的总处理。可使用许多边缘滤波过程。举例来说，可如下文所示使用东南和西北边缘滤波器：

$f_{s\_\mathrm{enw}}=\left[\begin{array}{ccc}6& 0& -6\\ 0& 0& 0\\ -6& 0& 6\end{array}\right]$

通过使用不同类型的边缘滤波器，可基于用户的手在反射检测区内的位置和移动的变化，在所分析的通道脉冲响应中检测不同模式。图6A到图7C中说明此些模式。

参看图6A到6C，使用原型系统，当用户远离和朝向反射物检测区中的麦克风移动手指时，获得差通道脉冲响应数据。接着用三种类型的边缘滤波器来处理差通道脉冲响应数据。图6A中展示将水平边缘滤波器应用于所述数据的结果，其中图的左半部对应于当用户的手指正远离麦克风而移动时，且图的右半部对应于当用户的手指朝向麦克风而移动时。图6B展示将对角边缘滤波器应用于同一数据的结果，且图6C展示将最大水平和对角边缘滤波器应用于同一数据的结果。

图7A到7C展示可在用户的手移动时使用应用于差通道脉冲响应的边缘滤波器来检测的模式的实例。使用原型系统，当用户在反射检测区内来回移动手时，获得差通道脉冲响应数据。用三种类型的边缘滤波器来处理差通道脉冲响应数据。水平边缘滤波器得出图7A中所示的模式，对角边缘滤波器得出图7B中所示的模式，且最大水平和对角边缘滤波器得出图7C中所示的模式。

尽管过程通道脉冲响应数据中的模式的完整特征可能难以用人眼来区分，但从图中可体会到一些可清楚辨识的模式。可以类似于二维条形码如何由条形码读取器系统读取的方式来处理或辨识此些模式。通过处理随时间过去经边缘滤波的差通道脉冲响应的结果，计算装置可将测得模式与存储在存储器中的模式进行比较，以便使用众所周知的模式辨识算法来识别最紧密匹配的模式。接着可使最紧密匹配的模式与存储在计算装置的存储器中的用户输入手势相关。

虽然可应用多种不同滤波器，但实施例可在给定分析中仅应用一种类型的滤波器。举例来说，水平边缘滤波器可对用户的手在反射检测区内保持静止(例如手指悬停在适当位置)敏感，且可为用以提取因此些位置而产生的可辨识模式的优选边缘滤波器。相反，对角边缘滤波器可对用户的手与反射检测区内的传感器之间的相对移动更敏感。因此，计算装置可尝试不同的边缘滤波器以选择为特定用户手势提供最佳特征提取的边缘滤波器类型，且接着继续使用选定边缘滤波器来处理差通道脉冲响应图像，以便提取特征以与存储在存储器中的模式进行比较。

所提取的特征可用以聚集或分类差通道脉冲响应图像。可使用差通道脉冲响应图像的统计处理来完成此举。可实施的一种方法是灰度等级协方差矩阵分析。可从根据经边缘滤波的响应计算的灰度等级协方差矩阵提取频域和空域特征。空间特征可包含相关函数、二次函数、逆差矩阵函数或差熵函数。下文提供此分析的实例。

如果g定义为灰度等级，那么可将i定义为数列i＝1,2...g，且可将j定义为j=1,2...g。另外，可将p_x定义为

$p_x=\underset{j=1}{\overset{g}{\mathrm{\Σ}}}p(i,j),i=\mathrm{1,2},...g$ 且可将p_y定义为

$p_y=\underset{i=1}{\overset{g}{\mathrm{\Σ}}}p(i,j),i=\mathrm{1,2},...g$

如果u_x=mean(p_x)且u_y=mean(p_y)，且如果σ_x=var(p_x)且σ_y=var(p_y)，且g为灰度等级，那么相关函数可定义为

$f=\{\underset{i=1}{\overset{g}{\mathrm{\Σ}}}\underset{j=1}{\overset{g}{\mathrm{\Σ}}}i*j*p(i,j)-u_x-u_y\}/{\mathrm{\σ}}_x{\mathrm{\σ}}_y$     等式4

二次函数可定义为

$f_1=\underset{i=1}{\overset{g}{\mathrm{\Σ}}}\underset{j=1}{\overset{g}{\mathrm{\Σ}}}{\left\{p(i,j)\right\}}^2$     等式5

逆差矩阵函数可定义为

$f_5=\underset{i=1}{\overset{g}{\mathrm{\Σ}}}\underset{j=1}{\overset{g}{\mathrm{\Σ}}}\frac{1}{1+{(i-j)}^2}p(i,j)$     等式6

P_x-y(k)和k可定义为

$P_{x-y}\left(k\right)=\underset{i=1}{\overset{g}{\mathrm{\Σ}}}\underset{j=1}{\overset{g}{\mathrm{\Σ}}}p(i,j),k=\mathrm{0,1},...g-1,|i-j|=k$     等式7

差熵函数可定义为

$f_{11}=\underset{i=0}{\overset{g-1}{\mathrm{\Σ}}}{p}_{x-y}\left(i\right)\log \left[p_{x-y}\left(i\right)\right]$     等式8

图8A到8D展示针对其中用户的手指远离麦克风移动的情形而执行的相关的模拟结果。图8A说明来自以0度应用等式4的相关结果。图8B说明来自以90度应用等式4的相关结果。图8C说明来自以45度应用等式4的相关结果。图8D说明来自以135度应用等式4的相关结果。度数指示滤波器系数的梯度变化的方向，如下：

0度=[-101;-111;-101]

90度=[111;010;-1-1-1]

45度=[011;-111;-1-10]

135度=[110;11-1;0-1-1]。

图9A展示针对其中用户的手指远离麦克风移动的情形而执行的角二次相关的模拟结果。

图9B展示针对其中用户的手指远离麦克风移动的情形而执行的逆差矩阵相关的模拟结果。

图9C展示针对其中用户的手指远离麦克风移动的情形而执行的差熵相关的模拟结果。

在另一实施例中，还可提取频域特征。在此实施例中，可通过将二维快速傅里叶变换(FFT)应用于差通道脉冲响应图像来获得功率谱密度。功率谱密度可在反射物朝向接收器移动时展示较多低频分量，且在反射物远离接收器移动时展示较多高频分量，且因此可提供可用以辨识或分类用户输入手势的进一步信息。

在另一实施例中，可使用FFT结果的环形和楔形取样来识别脉冲响应波方向。可在从反射检测区的中心延伸的一系列径向对准的半环形区和楔形区上完成环形和楔形取样。半圆形环形区域的取样可提供关于差通道脉冲响应图像中的空间频率的分布的与定向无关的信息，而角楔形区域的取样可提供与标度无关的信息。

可使用差通道脉冲响应图像的分类来识别用于进行飞行时间计算的最强反射点，其可用以确定3D空间中的最强反射点的位置。可针对所识别的反射点计算飞行时间。可使发射器和若干接收器同步到同一系统时钟，且借此消除对超声发射加时戳的需要。因此，对每一接收器的飞行时间测量可简单地为信号的发射时间与所匹配信号的接收时间的差。

可使用飞行时间值来确定三维空间中的反射点的坐标。坐标可在以发射器、接收器或某一其它位置为原点的参考系中。可先前已知或确定接收器相对于原点的坐标。可通过将三个或三个以上接收器的飞行时间值转换为基于超声速度的距离且在椭圆相交方法中使用所述距离，来确定反射点的坐标。可将声音的速度假定为常数a，因为通道条件不可能在每次测量之间的短周期内大幅波动，但在变化的通道条件下，可能需要随时间调整所述常数。可使用以下等式，其中x，y，z是反射坐标，mx1，my1，mz1是麦克风1的坐标，且0，0，0是扬声器坐标。

待用于确定反射坐标的飞行时间值可为有噪声的。为了解决此问题，可使用卡尔曼滤波器来克服噪度，且确定反射坐标。对于非线性系统，可使用经扩展(EKF)或“无察觉卡尔曼滤波器”。卡尔曼滤波器通过对预测的值和测得值进行加权和组合来预测测量值和所计算估计的真实值。卡尔曼滤波器可预测值且估计所预测值的不确定性。卡尔曼滤波器过程可基于不确定性将加权指派给预测值，其中较高权数给予较确定的值，且接着用测得值计算加权平均值。以此方式，可将有噪声的测得值调整为较接近真实值，因为加权平均值与预测值或测得值相比具有较佳估计的不确定性。

图10A到10C展示对用户的手指在具有三个麦克风的计算机装置的表面上方约1cm处悬停的模拟中产生的数据的卡尔曼滤波的结果。图10A展示第一麦克风的模拟通道脉冲响应对时间结果。图10B展示第二麦克风的模拟通道脉冲响应对时间结果。图10C展示第三麦克风的模拟通道脉冲响应对时间结果。由于麦克风定位在计算装置上的不同位置处，因此它们展现不同的通道脉冲响应。

使用经卡尔曼滤波的结果，可确定最大通道脉冲响应值、指数以及到最大信号的距离。图11A展示针对所有三个麦克风从图10A到10C中说明的处理中确定的通道脉冲响应的最大振幅对时间。图11B展示针对所有三个麦克风从图10A到10C中说明的处理中确定的通道脉冲响应的指数值对时间。图11C展示针对所有三个麦克风从图10A到10C中说明的处理中确定的在最大指数下的测量值的振幅对时间。

一旦定义手势特征，就可使用训练数据集(手势特征)来训练分类器。分类器可为简单的KNN分类器或较复杂的ANN或HMM模型。通过先前分析方法提取的特征可与特定的用户输入手势相关，例如可在用户训练序列中定义。可使用众所周知的模式比较或相关方法将从通道脉冲响应提取的模式与存储在存储器中的模式进行比较。可用于此目的的相关方法的三个实例为k个最近邻域算法、人工神经网络分析以及隐式马尔可夫模型。人工神经网络或隐式马尔可夫模型可先前已在学习阶段加以训练。下文更详细地描述这三个实例相关方法；然而，也可以类似方式使用其它相关方法。

k个最近邻域算法通过数目k个最近邻域的多数票决来对对象进行分类。从一组已经正确分类的对象(在此情况下为从差通道脉冲响应图像提取的模式)取得邻域。设定定义哪些经分类对象或邻域为最近的规则。举例来说，坐标中的某些特征或变化可为邻域，且事先经分类或与某些手势相关。从待分类的差通道脉冲响应图像提取的模式可具有用靠近某些邻域的值提取的特征。取决于所选择的参数k，可比较若干邻域。如果k等于五，那么具有最近特征值的五个相邻模式可确定将从差通道脉冲响应图像提取的模式分类为什么。如果五个邻域的大多数与某一手势相关，那么从差通道脉冲响应图像提取的模式可与同所述大多数一样的手势相关。使用此比较算法，有可能通过接近性或任何其它一个或一个以上性质对邻域的票决进行加权。

人工神经网络是使用充当互连人工神经元群组的对象的计算的比较方法，其可基于在学习阶段期间在网络中流动的信息来改变结构。神经网络中的连接的强度或加权可变化。每一人工神经元可为简单的处理代码或函数，但网络整体可展现复杂的行为。人工神经网络可通过使用一组观察找出对根据预定义的成本函数测量最佳值的任务的最佳解来进行学习。举例来说，在学些阶段期间，可要求用户数次执行特定的用户输入手势，使得可获得若干观察。可将从差通道脉冲响应图像提取的观察或模式馈入到神经网络，并穿过各个节点和连接以产生解。可根据成本函数对神经网络产生的解进行分级。可基于此分级对连接的加权进行调整。一旦经合适训练，神经网络的加权值便可固定。神经网络可用于通过将从差通道脉冲响应图像提取的模式进行比较以从训练会话学习模式来进行手势的辨识或分类。解可类似于某些用户输入手势。坐标中的特征或变化可充当先前训练的神经网络的输入，所述先前训练的神经网络接着将使所述输入与基于神经网络结构的解或手势相连接。在学习阶段中，可先前用已知手势或特征来训练神经网络。

隐式马尔可夫模型假定正建模的系统为具有未知状态但具有取决于所述状态的已知令牌的马尔可夫过程。马尔可夫过程是其中状态随时间过去而波动且其中未来状态仅取决于现存状态且不取决于先前状态的过程。每一可能状态具有可能令牌上的概率分布以及关于接下来将是哪一状态的概率分布。因此，令牌给出关于过程中的状态序列的一些信息。在手势辨识中，状态可为与用户输入手势相关联的类似特征，且令牌可与从差通道脉冲响应图像提取的模式类似。令牌上以及状态之间的概率分布可为预定义参数，或可在学习阶段中设定。在学习阶段中，可输入从已知手势或特征的差通道脉冲响应图像提取的模式以训练和形成模型的参数值。可从经训练的隐式马尔可夫模型(例如通过维特比算法)递归地确定最可能的状态或手势序列。

在另一实施例中，可使用直接从脉冲响应曲线得到的角特征来完成简单的手势辨识任务，例如识别反射物的移动方向。图12A到16C说明可如何辨识不同反射物移动的脉冲响应模式以及其对应的响应曲线角信息。

图12A到12C中说明对在有手指朝向麦克风移动的情况下原型中的三个麦克风中的每一者的脉冲响应确定的曲线图。这些图展示在用对角边缘滤波器进行处理之后的原始脉冲响应确定。如在这些图中可见，用户的手指朝向麦克风的运动可导致脉冲响应确定依据时间而变的可察觉角度，如样本帧指数中所指示。

虽然用真实可辨识特征来进行原始脉冲响应确定，但可通过对块通道脉冲响应使用低通滤波处理信号来增强此些特征。呈值一的5X5矩阵的形式的低通滤波器的实例为：

$M=\left[\begin{array}{ccccc}1& 1& 1& 1& 1\\ 1& 1& 1& 1& 1\\ 1& 1& 1& 1& 1\\ 1& 1& 1& 1& 1\\ 1& 1& 1& 1& 1\end{array}\right]$

图13A到13C中说明在用环路低通滤波器进行处理之后有手指朝向麦克风移动的情况下，对原型中的三个麦克风中的每一者的脉冲响应确定的曲线图。这些图揭露了将低通滤波器应用于脉冲响应提供可用以确定脉冲响应的角度的较不同模式。

由于可容易地确定脉冲响应中的模式的角度，因此可将此角度用作可链接到特定移动的可辨识特征。举例来说，小于90度的角度可表示反射物(例如，用户的手或手指)正更靠近麦克风移动，而介于90与180度之间的角度可表示反射物正远离麦克风移动。接着可使用简单的表查找方法来使此用户移动与特定用户接口命令(例如，鼠标指针移动)相关。

图14说明可在计算装置中实施以基于确定脉冲响应的角度而从自反射检测区内的用户的手反射的超声辨识用户输入手势的实施例方法450。在方法450中，在步骤452中，处理器可产生伪随机噪声或伪随机数代码，或其它时间编码信息，且在步骤454中用脉冲压缩在扩频调制中编码所述信息。接着在步骤456中，将此经编码信号作为连续波超声从超声发射器发射。在步骤458中，在超声检测器处接收超声，包含反射信号和串扰信号。在步骤460中，处理器(例如，DSP)可基于接收到的超声信号计算通道脉冲响应。作为步骤460的一部分，处理器可使用上文所述的方法减去基线通道脉冲响应以获得经反射的通道脉冲响应。在步骤462中，计算装置处理器可计算随时间的差通道脉冲响应，且使用上文所述的计算方法来维持一系列那些值作为差通道脉冲响应图像。并且作为步骤462的一部分，计算装置处理器可将边缘滤波器、低通滤波器和阈值化操作应用于所计算的差脉冲响应。在步骤464中，处理器可选择具有各种滤波角度的矩形滤波器。在步骤466中，处理器可选择通道脉冲响应的含有可覆盖整个矩形滤波器的某一数目的样本帧的区。在步骤468中，处理器可在所述区内移动滤波器，同时对滤波器内的点进行求和，以便计算滤波器内的所有点的总和的最大值。在步骤470中，处理器可针对选定矩形滤波器的每一角度重复步骤466和468。一旦已处理滤波器的所有角度，在步骤472中，处理器就可在于整个脉冲响应矩阵上选择区之后确定每一帧的脉冲响应曲线的角度。在步骤474中，处理器实施对应于脉冲响应曲线的确定角度的用户输入命令。作为步骤474的一部分，计算装置可以类似于其它用户接口系统的方式显示对应于所实施的用户输入命令的用户接口图像。

步骤472中确定脉冲响应曲线的角度可利用以下等式：

${\mathrm{Rect}}_i=\underset{t=t0}{\overset{t\max }{\mathrm{\Σ}}}\underset{n=1}{\overset{M}{\mathrm{\Σ}}}p(n,t)$

其中p(n,t)是图13A到13C中的任一者中点(n,t)处的脉冲响应的振幅，且(t0,tmax,M)是矩形滤波器的大小。接着可将角度确定为Rect_i的最大自变量。换句话说：角度=argmax(Rect_i)，其中i=l:N。N是等分角的数目，且每一角度的递增步长为π/N。

作为使用这些方法辨识用户输入手势的过程的一部分，可随时间标绘脉冲响应曲线的角度，如图15A到15C中说明。这些图说明针对其中用户的手指正朝向系统的三个麦克风移动的情况，脉冲模式的以度数计的所检测角度依据样本帧指数而变的变化。

来自所有三个麦克风的脉冲响应曲线的所得角度可唯一地确定在3D空间内的反射物移动方向。如图15A到15C中所说明，当三个麦克风定位在计算装置上或附近的不同位置中时，角度随时间的变化将针对三个麦克风中的每一者而不同。当反射物正平行于连接两个麦克风的线而移动时，可使用所述两个麦克风来确定反射物移动的方向。

此方法可用于辨识较复杂的用户输入手势，例如用户的手指朝向和远离系统麦克风移动，如图16A到17C中所说明。举例来说，图16A到16C用曲线图表示在用环路低通滤波器进行处理之后，在有手指朝向且接着远离麦克风移动的情况下，原型中的三个麦克风的每一者的脉冲响应确定。这些图揭露了随着用户的手指朝向、接着远离且接着朝向麦克风移动，脉冲响应曲线的角度如何从第一值变为第二值，且接着再次变回。图17A到17C用曲线图表示针对系统中的三个麦克风中的每一者，针对图16A到16C中所示的脉冲响应曲线的脉冲响应曲线的角度。

实施例分析方法实现了手势辨识，同时避免了对解调所接收超声的需要，因为将反射物成像对手势辨识是不必要的。超声并不用作来自发射器的信息的载体，而是用作关于反射物(即，用户的手)的信息的收集器，其中所述信息是以受反射检测区内的任何反射表面影响的通道脉冲响应的形式提取。通过依靠通道响应的模式和特征，实施例方法避免了解析或形成反射表面(例如用户的手)的图像的数据密集过程。代替的是，通过依靠通道脉冲响应的变化来完成手势辨识，而不必映射所反射数据或确定通道是什么。

图18说明可在计算装置中实施以从自反射检测区内的用户的手反射的超声辨识用户输入手势的实施例方法500。在方法500中，在步骤502中，处理器可产生伪随机噪声或伪随机数代码，或其它时间编码信息，且在步骤504中用脉冲压缩在扩频调制中编码所述信息。接着在步骤506中，将此经编码信号作为连续波超声从超声发射器发射。在步骤508中，在超声检测器处接收超声，包含反射信号和串扰信号。在步骤510中，处理器(例如，DSP)可基于接收到的超声信号计算通道脉冲响应。作为步骤510的一部分，处理器可使用上文所述的方法减去基线通道脉冲响应以获得经反射的通道脉冲响应。在步骤512中，计算装置处理器可计算随时间的差通道脉冲响应，且使用上文所述的计算方法来维持一系列那些值作为差通道脉冲响应图像。在步骤514中，处理器可将边缘滤波器应用于差通道脉冲响应图像以突出可辨识特征。在步骤516中，处理器可计算灰度等级协方差矩阵，以便从经边缘滤波的差通道脉冲响应图像提取可辨识特征。在步骤518中，处理器可将从经边缘滤波的差通道脉冲响应图像提取的特征与存储在数据库中的与用户手势相关联的模式进行比较，以便识别匹配的记录。如上文所论述，步骤518可涉及将与计算装置中的我们的当前操作状态或应用程序或其它与状态有关的考虑因素相关的手势的模式进行比较。步骤518中的处理可使用相关方法，例如k个最近邻域、人工神经网络以及隐式马尔可夫模型。步骤518的结果可为与所匹配的手势模式相关联的所识别用户输入命令。在步骤520中，计算装置可实施与所匹配的模式相关联的所识别用户命令。作为步骤520的一部分，计算装置可以类似于其它用户接口系统的方式显示对应于辨识手势的用户接口图像。

图18中说明的过程也可在训练序列中使用，除了可提示用户执行特定手势，且代替于步骤518中比较所提取的特征，处理器可将所提取的特征存储在数据库中。

图19说明其中可使用方法500的特征提取和相关步骤来识别反射物体且辨识物体的运动的替代实施例方法600。如在方法500中，可在步骤502到506中产生和发射时间编码超声信号。在步骤508到512中，可接收和处理超声信号和从用户的手的反射，以获得差通道脉冲响应图像。在步骤514到516中，差通道脉冲响应图像可经边缘滤波且用灰度等级协方差矩阵进行分析以提取可辨识特征。

与方法500不同，在方法600中，在步骤618中，可使用所提取的特征来为飞行时间计算识别所关注的反射点。基于所提取特征选择关注点可依靠步骤516中所使用的相同相关方法。可使用这些方法来使指示强初级或次级反射物的所提取特征相关。通过对强反射的适当分组，可区分初级反射物并将其识别为主反射物。在步骤620中，可通过计算来自从所识别的主反射点反射的信号的发射和接收的时间差来确定飞行时间值。在步骤622中，可用上文所论述的相同方法和等式(包含卡尔曼滤波)来计算所识别的反射点的坐标，以克服飞行时间值中的噪度。在步骤624中，可随时间而跟踪所识别的反射点的坐标，其中在步骤624中计算坐标的变化且(任选地)使其与用户输入手势相关。在步骤626中，计算装置实施与所匹配的模式相关联的所识别用户命令。作为步骤626的一部分，计算装置可以类似于其它用户接口系统的方式显示对应于辨识手势的用户接口图像，包含其在3D空间内的位置，如步骤620到622中所确定。

图19中说明的过程也可在训练序列中使用，除了可提示用户执行特定手势，且代替于步骤624中比较所提取的特征，处理器可将所提取的特征存储在数据库中。

图20中说明呈适合结合各种实施例使用的膝上型计算机700的形式的实例计算系统，包含超声发射器101以及麦克风102a、102b和102c的实例位置。许多膝上型计算机包含充当计算机的指向装置的触摸板触摸表面。膝上型计算机700通常将包含处理器701，其耦合到易失性存储器702和大容量非易失性存储器，例如磁盘驱动器703。计算机700还可包含耦合到处理器701的软盘驱动器704和压缩光盘(CD)驱动器705。计算机装置700还可包含耦合到处理器701的若干连接件端口，其用于建立数据连接或接收外部存储器装置，例如USB或Fire

连接件插口或其它网络连接电路706(用于将处理器701耦合到网络)。在笔记本型计算机配置中，计算机外壳包含触摸板707、键盘708和显示器709，其全部耦合到处理器701。

超声发射器101和接收器/麦克风102a到102c可在系统外壳上经选择以促进基于飞行时间差的3D坐标计算的位置中与膝上型计算机700集成。在一些实施例中，超声发射器101和接收器/麦克风102a到102c还可用作用于其它音频功能的计算装置扬声器和麦克风。由实施例系统或方法确定的手势可充当计算机700的输入，且用以控制其上的程序或与图形用户接口交互。在各种实施例中，超声无触摸感测能力可扩充或代替触摸板707或键盘708。

移动装置(例如手机或PDA)也可经配置以使用各种实施例。适合结合各种实施例使用的典型移动装置800可包含图21中说明的组件。举例来说，示范性移动接收器装置800可包含处理器801，其耦合到内部存储器802、显示器803以及扬声器809。另外，移动装置800可具有用于发送和接收电磁辐射的天线804，其连接到耦合到处理器801的无线数据链路和/或蜂窝式电话收发器805和/或耦合到处理器801的移动多媒体广播接收器808。移动装置通常还包含小键盘806或微型键盘和菜单选择按钮或摇臂开关807，用于接收用户输入。除这些输入之外，可用用于无触摸用户接口的实施例来扩充移动装置800。移动装置800可使用扬声器804来发射超声，或可并入有单独的超声发射器，例如超声发射器101。移动装置可通过一个或一个以上接收器/麦克风102a到102c例如从反射或其它移动装置接收超声。

处理器701、801可为任何可编程微处理器、微计算机或多处理器芯片，其可由软件指令(应用程序)配置以执行多种功能，包含本文所述的各种实施例的功能。在一些移动装置中，可提供多个处理器701、801，例如专用于无线通信功能的一个处理器以及专用于运行其它应用程序的一个处理器，例如单独处理器304。通常，软件应用程序在被存取和加载到处理器801中之前可存储在内部存储器702、802中。在一些移动装置中，处理器701、801可包含足以存储应用程序软件指令的内部存储器。出于此描述的目的，对存储器的一般参考指代可由处理器701、801存取的所有存储器，包含内部存储器702、703、704、802，插入装置中的可装卸存储器，以及处理器701、801本身内的存储器。

进一步实施例可涉及一起工作的配置有超声发射和接收元件的多个装置。如图22中说明的示范性系统900中所示，两个移动装置800a、800b可经由连续波超声交互。装置800a、800b可在空间中靠近彼此而定位。每一装置可包含其自己的发射器101和接收器102，但装置800a、800b可经配置以使得一个装置800a在发射模式下操作，其中装置的发射器101为活动的且发射连续波超声206，而另一装置800b处于接收模式，其经由装置的接收器102a、102b和102c接收连续波超声206。通过根据各种实施例接收和处理连续波超声206，接收模式装置800b可确定到发射装置800a的距离和方向。

实施例进一步包含用于确定到发射器装置800a和接收器装置800b的相对坐标或从发射器装置800a到接收器装置800b的距离的方法。图23A中说明可在以发射模式操作的移动装置800a上实施的实施例方法1000。在方法1000中，在步骤1002中，两个装置可通信以协调角色且共享关于时序和译码的信息。此通信可发生在无线通信链路(例如蓝牙、WiFi或任何其它形式的无线数据连接)上。装置可协调以确定哪一装置将为发射装置(即，将发射超声的装置)，且哪一装置将为接收装置(即，将接收和处理超声)，从而防止装置之间的干扰。装置还可共享关于发射装置将开始发射的超声发射帧的时序的数据，以及关于待发射的代码的数据。一旦此协调已发生，发射装置就可产生伪随机噪声代码扫掠(步骤502)，应用扩频调制和脉冲压缩(步骤504)，且将所述代码作为连续波超声而发射(步骤506)，类似于先前论述的实施例。

图23B中说明可在以接收模式操作的移动装置800b上实施的实施例方法1020。在方法1020中，装置可如上文所论述在步骤1002中协调发射/接收角色、以及时序和编码格式。接收装置可接着在步骤1004中从发射装置接收通过空气行进的连续波超声。为了接收超声发射，接收可能需要在某一范围内。在步骤1006中，接收装置可基于步骤1002中交换的时序和代码信息使在每一接收器处接收到的超声信号与如可由接收器装置处理器再现的所发射信号相关。关于时序和代码信息的信息是必要的，因为不同于先前实施例，接收器102和发射器101不是连到同一时钟的同一装置的部分。使用经相关信号，接收装置可在步骤1008中计算所发射信号到达每一接收器的飞行时间，且在步骤1010中，飞行时间值可结合卡尔曼滤波器使用以确定坐标。可以类似于上文相对于其它实施例所论述的方式类似的方式执行飞行时间计算和卡尔曼滤波过程，不同的是接收装置正确定发射装置而不是反射表面的相对坐标。一旦装置之间的相对坐标被确定，就可以数学方式将这些坐标转换为距离或角方向。举例来说，可使用以下等式来确定两个装置之间的距离：

$\sqrt{{(x-x_2)}^2+{(y-y_2)}^2}-\sqrt{{(x-x_1)}^2+{(y-y_1)}^2}=d_2-d_1$     等式9

在此计算中，可从以下等式确定d2-d1的值：

d₂-d₁=音速*τ_ML等式10

其中， ${\mathrm{\τ}}_{\mathrm{ML}}=\underset{t}{\arg \max }{\∫}_{-\∞}^{\∞}{\mathrm{\ψ}}_{\mathrm{ML}}\left(f\right)X_1\left(f\right)X_2^{*}\left(f\right)e^{j2\mathrm{\πft}}\mathrm{df}$

且X₁(f),X₂(f)为来自两个麦克风的频域信号，且ψ_ML(f)为加权因子。对于一般化交叉相关(GCC)，ψ_ML(f)=1。

一旦坐标、方向或距离被确定，就可将此信息用于许多不同任务。举例来说，用户可基于装置相对于发送装置的相对坐标或方向来选择既定用于文件共享的正确装置。不同连接将用于文件传送，但从处理超声信号确定的坐标或方向可用以选择文件的目的地或来源，而不是依靠用户可能不知道的地址或特殊名称。举例来说，如果用户处于有若干个人正在使用此些装置的房间中，那么用户可仅通过环顾四周就可区分不同装置。用户可通过经由装置图形用户接口选择具有与既定接收者匹配的坐标或方向的装置来将文件发送给站在左边的朋友，从而避免不慎将文件发送给陌生人。作为另一实例，用户可能想要将歌曲从音频播放器传送到立体声音响。如果立体声音响在充满具有类似的无触摸接口的其它电器的房间中，那么用户可依靠从此些超声跟踪系统确定的相对坐标或方向来选取立体声音响而不是微波炉或洗碗机。

图22A和22B中的示范性方法说明其中较多装置中的两者可使用各种实施例交互的方式中的仅一种方式。作为另一实例，可以与先前实施例中所论述的方式类似的方式使用所述装置，其中装置代替用户的手。接收装置可跟踪发射装置的移动，或提取可与各种命令或其它通信相关的发射装置的移动的特征或模式。

前述方法描述和过程流程图仅作为说明性实例而提供，且既定不需要或暗示必须以所呈现的次序执行各种实施例的步骤。如所属领域的技术人员将了解，前述实施例中的步骤次序可以任何次序执行。例如“其后”、“接着”、“接下来”等词语无意限制步骤的次序；这些词语仅用以引导阅读者阅读对方法的描述。另外，举例来说，使用冠词“一”或“所述”以单数对权利要求元素的任何参考将不被解释为将所述元素限于单数。

结合本文所揭示的方面而描述的各种说明性逻辑块、模块、电路和算法步骤可实施为电子硬件、计算机软件或两者的组合。为清楚说明硬件与软件的此互换性，上文已大致关于其功能性而描述了各种说明性组件、块、模块、电路及步骤。所述功能性是实施为硬件还是软件取决于特定应用及施加于整个系统的设计约束。所属领域的技术人员可针对每一特定应用以不同方式来实施所描述的功能性，但所述实施方案决定不应被解释为会导致脱离本发明的范围。

用以实施结合本文所揭示的方面而描述的各种说明性逻辑、逻辑块、模块和电路的硬件可用经设计以执行本文中所描述的功能的通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑装置、离散门或晶体管逻辑、离散硬件组件，或其任何组合来实施或执行。通用处理器可以是微处理器，但在替代方案中，处理器可以是任何常规处理器、控制器、微控制器或状态机。处理器还可实施为计算装置的组合，例如，DSP与微处理器的组合、多个微处理器、一个或一个以上微处理器与DSP核心的联合，或任何其它此配置。或者，一些步骤或方法可由特定用于给定功能的电路执行。

在一个或一个以上示范性方面中，所描述的功能可在硬件、软件、固件或其任何组合中实施。如果实施于软件中，那么可将功能作为计算机可读媒体上的一个或一个以上指令或代码而加以存储或传输。本文所揭示的方法或算法的步骤可在所执行的处理器可执行软件模块中实施，所述模块可驻存在有形非暂时性计算机可读媒体或处理器可读媒体上。非暂时性计算机可读和处理器可读媒体可为可由计算机或处理器存取的任何可用媒体。作为实例而非限制，此非暂时性计算机可读媒体可包含RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置，或可用以运载或存储呈指令或数据结构形式的所要程序代码且可由计算机存取的任何其它媒体。如本文中所使用，磁盘及光盘包括压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软磁盘及蓝光光盘，其中磁盘通常磁性地再现数据，而光盘使用激光光学地再现数据。上文的组合也应包括在计算机可读媒体的范围内。另外，方法或算法的操作可作为代码和/或指令中的一者或任何组合或集合而驻存在非暂时性处理器可读媒体和/或计算机可读媒体上，所述媒体可并入到计算机程序产品中。

提供对所揭示方面的先前描述是为了使所属领域的技术人员能够制作或使用本发明。对于所属领域的技术人员来说，将易于明了对这些方面的各种修改，且在不脱离本发明的范围的情况下，本文中定义的一般原理可适用于其它方面。因此，本发明无意限于本文中所展示的方面，而是将被赋予与本文中所揭示的原理和新颖特征一致的最宽范围。

Claims (69)

1.一种用于辨识用户输入手势的方法，其包括：

在声音检测器中接收经时间编码的超声信号；

基于所述接收到的信号计算通道脉冲响应；

处理所述通道脉冲响应以提取特征；

将所述所提取的特征与通道脉冲响应特征的数据库进行比较以识别匹配的存储特征；以及

执行与所述所匹配的所存储特征相关联的命令。

2.根据权利要求1所述的方法，其进一步包括从超声发射器发射经时间编码的连续波声音信号。

3.根据权利要求1所述的方法，其中所述声音为超声。

4.根据权利要求2所述的方法，其中所述声音是以伪随机噪声来时间编码的。

5.根据权利要求2所述的方法，其中所述声音是以变化的频率来时间编码的。

6.根据权利要求2所述的方法，其中所述声音是使用扩频调制来时间编码的。

7.根据权利要求1所述的方法，其中在声音检测器中接收声音信号包括在计算装置上间隔开的三个声音检测器中接收声音信号。

8.根据权利要求1所述的方法，其中处理所述通道脉冲响应以提取特征包括减去背景通道脉冲响应以获得反射物通道脉冲响应。

9.根据权利要求8所述的方法，其中处理所述通道脉冲响应以提取特征进一步包括计算差通道脉冲响应以及将不同通道脉冲响应的序列作为图像来处理。

10.根据权利要求9所述的方法，其中处理所述通道脉冲响应以提取特征进一步包括将边缘滤波器应用于所述差通道脉冲响应图像。

11.根据权利要求9所述的方法，其中处理所述通道脉冲响应以提取特征进一步包括将灰度级相关矩阵应用于所述差通道脉冲响应图像。

12.根据权利要求9所述的方法，其中将所述所提取的特征与数据库所述通道脉冲响应特征进行比较包括使用选自由k个最近邻域分析、人工神经网络分析和隐式马尔可夫模型分析组成的群组的方法执行分析。

13.根据权利要求1所述的方法，其进一步包括：

基于所述通道脉冲响应特征识别最强反射物；

从所述识别最强反射物测量声音的飞行时间；以及

基于所述测得的飞行时间确定所述所识别的最强反射物在空间中的位置。

14.根据权利要求13所述的方法，其进一步包括将卡尔曼滤波应用于所述测得的飞行时间数据。

15.根据权利要求1所述的方法，其进一步包括基于所述计算通道脉冲响应确定通道脉冲响应曲线，

其中处理所述通道脉冲响应以提取特征包括基于从所述通道脉冲响应曲线得出的角度信息来确定反射物移动方向。

16.一种用于辨识用户输入手势的方法，其包括：

在声音检测器中接收经时间编码的超声信号；

基于所述接收到的信号计算通道脉冲响应；

处理所述通道脉冲响应以确定通道脉冲响应曲线的角度；以及

执行与所述通道脉冲响应曲线的所述所确定角度相关联的命令。

17.一种计算机系统，其包括：

处理器；

存储器，其耦合到所述处理器；

声音发射器，其耦合到所述处理器；以及

一个或一个以上声音检测器，其耦合到所述处理器，

其中所述处理器以处理器可执行指令配置以执行包括以下各项的操作：

在声音检测器中接收经时间编码的超声信号；

基于所述接收到的信号计算通道响应；

处理所述通道脉冲响应以提取特征；以及

将所述所提取的特征与通道脉冲响应特征的数据库进行比较以识别匹配的存储特征；以及

执行与所述所匹配的所存储特征相关联的命令。

18.根据权利要求17所述的计算机系统，其中所述处理器以处理器可执行指令配置以执行进一步包括以下的操作：从超声发射器发射经时间编码的连续波声音信号。

19.根据权利要求17所述的计算机系统，其中所述处理器以处理器可执行指令配置以执行操作以使得所述声音为超声。

20.根据权利要求18所述的计算机系统，其中所述处理器以处理器可执行指令配置以执行操作以使得所述声音是以伪随机噪声来时间编码的。

21.根据权利要求18所述的计算机系统，其中所述处理器以处理器可执行指令配置以执行操作以使得所述声音是以变化的频率来时间编码的。

22.根据权利要求18所述的计算机系统，其中所述处理器以处理器可执行指令配置以执行操作以使得所述声音是使用扩频调制来时间编码的。

23.根据权利要求17所述的计算机系统，其中所述处理器以处理器可执行指令配置以执行操作以使得在声音检测器中接收声音信号包括在计算装置上间隔开的三个声音检测器中接收声音信号。

24.根据权利要求17所述的计算机系统，其中所述处理器以处理器可执行指令配置以执行操作以使得处理所述通道脉冲响应以提取特征包括减去背景通道脉冲响应以获得反射物通道脉冲响应。

25.根据权利要求24所述的计算机系统，其中所述处理器以处理器可执行指令配置以执行操作以使得处理所述通道脉冲响应以提取特征进一步包括计算差通道脉冲响应且将不同通道脉冲响应的序列作为图像来处理。

26.根据权利要求25所述的计算机系统，其中所述处理器以处理器可执行指令配置以执行操作以使得处理所述通道脉冲响应以提取特征进一步包括将边缘滤波器应用于所述差通道脉冲响应图像。

27.根据权利要求25所述的计算机系统，其中所述处理器以处理器可执行指令配置以执行操作以使得处理所述通道脉冲响应以提取特征进一步包括将灰度级相关矩阵应用于所述差通道脉冲响应图像。

28.根据权利要求25所述的计算机系统，其中所述处理器以处理器可执行指令配置以执行操作以使得将所述所提取的特征与数据库所述通道脉冲响应特征进行比较包括使用选自由k个最近邻域分析、人工神经网络分析和隐式马尔可夫模型分析组成的群组的方法执行分析。

29.根据权利要求17所述的计算机系统，其中所述处理器以处理器可执行指令配置以执行进一步包括以下各项的操作：

基于所述通道脉冲响应特征识别最强反射物；

从所述识别最强反射物测量声音的飞行时间；以及

基于所述测得的飞行时间确定所述所识别的最强反射物在空间中的位置。

30.根据权利要求29所述的计算机系统，其中所述处理器以处理器可执行指令配置以执行进一步包括以下的操作：将卡尔曼滤波应用于所述测得的飞行时间数据。

31.根据权利要求17所述的计算机系统，其中所述处理器以处理器可执行指令配置以执行进一步包括以下的操作：基于所述计算通道脉冲响应确定通道脉冲响应曲线，

其中所述处理器以处理器可执行指令配置以执行操作以使得处理所述通道脉冲响应以提取特征包括基于从所述通道脉冲响应曲线得出的角度信息来确定反射物移动方向。

32.一种计算机系统，其包括：

处理器；

存储器，其耦合到所述处理器；

声音发射器，其耦合到所述处理器；以及

一个或一个以上声音检测器，其耦合到所述处理器，

其中所述处理器以处理器可执行指令配置以执行包括以下各项的操作：

在声音检测器中接收经时间编码的超声信号；

基于所述接收到的信号计算通道脉冲响应；

处理所述通道脉冲响应以确定通道脉冲响应曲线的角度；以及

执行与所述通道脉冲响应曲线的所述所确定角度相关联的命令。

33.一种计算机系统，其包括：

用于在声音检测器中接收经时间编码的超声信号的装置；

用于基于所述接收到的信号计算通道响应的装置；

用于处理所述通道脉冲响应以提取特征的装置；以及

用于将所述所提取的特征与通道脉冲响应特征的数据库进行比较以识别匹配的存储特征的装置；以及

用于执行与所述所匹配的所存储特征相关联的命令的装置。

34.根据权利要求33所述的计算机系统，其进一步包括用于从超声发射器发射经时间编码的连续波声音信号的装置。

35.根据权利要求33所述的计算机系统，其中所述声音为超声。

36.根据权利要求34所述的计算机系统，其中所述声音是以伪随机噪声来时间编码的。

37.根据权利要求34所述的计算机系统，其中所述声音是以变化的频率来时间编码的。

38.根据权利要求34所述的计算机系统，其中所述声音是使用扩频调制来时间编码的。

39.根据权利要求33所述的计算机系统，其中用于在声音检测器中接收声音信号的装置包括用于在计算装置上间隔开的三个声音检测器中接收声音信号的装置。

40.根据权利要求33所述的计算机系统，其中用于处理所述通道脉冲响应以提取特征的装置包括用于减去背景通道脉冲响应以获得反射物通道脉冲响应的装置。

41.根据权利要求40所述的计算机系统，其中用于处理所述通道脉冲响应以提取特征的装置进一步包括用于计算差通道脉冲响应以及将不同通道脉冲响应的序列作为图像来处理的装置。

42.根据权利要求41所述的计算机系统，其中用于处理所述通道脉冲响应以提取特征的装置进一步包括用于将边缘滤波器应用于所述差通道脉冲响应图像的装置。

43.根据权利要求41所述的计算机系统，其中用于处理所述通道脉冲响应以提取特征的装置进一步包括用于将灰度级相关矩阵应用于所述差通道脉冲响应图像的装置。

44.根据权利要求41所述的计算机系统，其中用于将所述所提取的特征与数据库所述通道脉冲响应特征进行比较的装置包括用于使用选自由k个最近邻域分析、人工神经网络分析和隐式马尔可夫模型分析组成的群组的方法执行分析的装置。

45.根据权利要求33所述的计算机系统，其进一步包括：

用于基于所述通道脉冲响应特征识别最强反射物的装置；

用于从所述识别最强反射物测量声音的飞行时间的装置；以及

用于基于所述测得的飞行时间确定所述所识别的最强反射物在空间中的位置的装置。

46.根据权利要求45所述的计算机系统，其进一步包括用于将卡尔曼滤波应用于所述测得的飞行时间数据的装置。

47.根据权利要求33所述的计算机系统，其进一步包括用于基于所述计算通道脉冲响应确定通道脉冲响应曲线的装置，

其中用于处理所述通道脉冲响应以提取特征的装置包括用于基于从所述通道脉冲响应曲线得出的角度信息来确定反射物移动方向的装置。

48.一种计算机系统，其包括：

用于在声音检测器中接收经时间编码的超声信号的装置；

用于基于所述接收到的信号计算通道脉冲响应的装置；

用于处理所述通道脉冲响应以确定通道脉冲响应曲线的角度的装置；以及

用于执行与所述通道脉冲响应曲线的所述所确定角度相关联的命令的装置。

49.一种非暂时性计算机可读存储媒体，其上存储有计算机可执行指令，所述计算机可执行指令经配置以致使经配置以发射和检测超声的计算机执行包括以下各项的操作：

在声音检测器中接收经时间编码的超声信号；

基于所述接收到的信号计算通道响应；

处理所述通道脉冲响应以提取特征；以及

将所述所提取的特征与通道脉冲响应特征的数据库进行比较以识别匹配的存储特征；以及

执行与所述所匹配的所存储特征相关联的命令。

50.根据权利要求49所述的非暂时性计算机可读存储媒体，其中所述所存储的计算机可执行指令经配置以致使计算机执行进一步包括以下的操作：从超声发射器发射经时间编码的连续波声音信号。

51.根据权利要求49所述的非暂时性计算机可读存储媒体，其中所述所存储的计算机可执行指令经配置以致使计算机执行操作以使得所述声音为超声。

52.根据权利要求50所述的非暂时性计算机可读存储媒体，其中所述所存储的计算机可执行指令经配置以致使计算机执行操作以使得所述声音是以伪随机噪声来时间编码的。

53.根据权利要求50所述的非暂时性计算机可读存储媒体，其中所述所存储的计算机可执行指令经配置以致使计算机执行操作以使得所述声音是以变化的频率来时间编码的。

54.根据权利要求50所述的非暂时性计算机可读存储媒体，其中所述所存储的计算机可执行指令经配置以致使计算机执行操作以使得所述声音是使用扩频调制来时间编码的。

55.根据权利要求49所述的非暂时性计算机可读存储媒体，其中所述所存储的计算机可执行指令经配置以致使计算机执行操作以使得在声音检测器中接收声音信号包括在计算装置上间隔开的三个声音检测器中接收声音信号。

56.根据权利要求49所述的非暂时性计算机可读存储媒体，其中所述所存储的计算机可执行指令经配置以致使计算机执行操作以使得处理所述通道脉冲响应以提取特征包括减去背景通道脉冲响应以获得反射物通道脉冲响应。

57.根据权利要求56所述的非暂时性计算机可读存储媒体，其中所述所存储的计算机可执行指令经配置以致使计算机执行操作以使得处理所述通道脉冲响应以提取特征进一步包括计算差通道脉冲响应以及将不同通道脉冲响应的序列作为图像来处理。

58.根据权利要求57所述的非暂时性计算机可读存储媒体，其中所述所存储的计算机可执行指令经配置以致使计算机执行操作以使得处理所述通道脉冲响应以提取特征进一步包括将边缘滤波器应用于所述差通道脉冲响应图像。

59.根据权利要求57所述的非暂时性计算机可读存储媒体，其中所述所存储的计算机可执行指令经配置以致使计算机执行操作以使得处理所述通道脉冲响应以提取特征进一步包括将灰度级相关矩阵应用于所述差通道脉冲响应图像。

60.根据权利要求57所述的非暂时性计算机可读存储媒体，其中所述所存储的计算机可执行指令经配置以致使计算机执行操作以使得将所述所提取的特征与数据库所述通道脉冲响应特征进行比较包括使用选自由k个最近邻域分析、人工神经网络分析和隐式马尔可夫模型分析组成的群组的方法执行分析。

61.根据权利要求49所述的非暂时性计算机可读存储媒体，其中所述所存储的计算机可执行指令经配置以致使计算机执行进一步包括以下各项的操作：

基于所述通道脉冲响应特征识别最强反射物；

从所述识别最强反射物测量声音的飞行时间；以及

基于所述测得的飞行时间确定所述所识别的最强反射物在空间中的位置。

62.根据权利要求61所述的非暂时性计算机可读存储媒体，其中所述所存储的计算机可执行指令经配置以致使计算机执行进一步包括以下的操作：将卡尔曼滤波应用于所述测得的飞行时间数据。

63.根据权利要求49所述的非暂时性计算机可读存储媒体，其中所述所存储的计算机可执行指令经配置以致使计算机执行进一步包括以下的操作：基于所述计算通道脉冲响应确定通道脉冲响应曲线，

其中所述所存储的计算机可执行指令经配置以致使计算机执行操作以使得处理所述通道脉冲响应以提取特征包括基于从所述通道脉冲响应曲线得出的角度信息来确定反射物移动方向。

64.一种非暂时性计算机可读存储媒体，其上存储有计算机可执行指令，所述计算机可执行指令经配置以致使经配置以发射和检测超声的计算机执行包括以下各项的操作：

在声音检测器中接收经时间编码的超声信号；

基于所述接收到的信号计算通道脉冲响应；

处理所述通道脉冲响应以确定通道脉冲响应曲线的角度；以及

执行与所述通道脉冲响应曲线的所述所确定角度相关联的命令。

65.一种用于确定第一装置与第二装置之间的相对坐标的方法，其包括：

从所述第一装置的超声发射器发射经时间编码的连续波超声信号；

在所述第二装置处接收所述经时间编码的连续波超声信号；

测量所述所接收到的经时间编码的连续波超声信号的飞行时间；

将卡尔曼滤波应用于所述测得的飞行时间；以及

基于所述测得的飞行时间确定所述第一装置相对于所述第二装置的位置。

66.根据权利要求65所述的方法，其进一步包括：

将坐标转换为距离。

67.一种计算机系统，其包括：

处理器；

存储器，其耦合到所述处理器；

声音发射器，其耦合到所述处理器；以及

一个或一个以上声音检测器，其耦合到所述处理器，

其中所述处理器以处理器可执行指令配置以执行包括以下各项的操作：

从第一装置的超声发射器发射经时间编码的连续波超声信号；

在第二装置处接收所述经时间编码的连续波超声信号；

测量所述所接收到的经时间编码的连续波超声信号的飞行时间；

将卡尔曼滤波应用于所述测得的飞行时间；以及

基于所述测得的飞行时间确定所述第一装置相对于所述第二装置的位置。

68.一种计算机系统，其包括：

用于从第一装置的超声发射器发射经时间编码的连续波超声信号的装置；

用于在第二装置处接收所述经时间编码的连续波超声信号的装置；

用于测量所述所接收到的经时间编码的连续波超声信号的飞行时间的装置；

用于将卡尔曼滤波应用于所述测得的飞行时间的装置；以及

用于基于所述测得的飞行时间确定所述第一装置相对于所述第二装置的位置的装置。

69.一种非暂时性计算机可读存储媒体，其上存储有计算机可执行指令，所述计算机可执行指令经配置以致使经配置以发射和检测超声的计算机执行包括以下各项的操作：

从第一装置的超声发射器发射经时间编码的连续波超声信号；

在第二装置处接收所述经时间编码的连续波超声信号；

测量所述所接收到的经时间编码的连续波超声信号的飞行时间；

将卡尔曼滤波应用于所述测得的飞行时间；以及

基于所述测得的飞行时间确定所述第一装置相对于所述第二装置的位置。

Images