CN104978022A - 基于超声波的非接触式手势识别方法及其装置 - Google Patents

Abstract

本发明提供一种基于超声波的非接触式手势识别方法及其装置。该基于超声波的非接触式手势识别装置包括：第一超声波发射器、第一超声波接收器和处理单元。第一超声波发射器发射超声波信号。第一超声波接收器接收来自物体的反射超声波信号。配置第一超声波发射器和第一超声波接收器形成第一参考线。处理单元处理反射超声波信号以得到反射超声波信号的时间频率分布，以及根据时间频率分布确定第一参考线上的物体移动的投影轨迹对应的一维手势。本发明所提出的基于超声波的非接触式手势识别方法及其装置，可降低硬件配置的复杂度及/或成本。

Description

基于超声波的非接触式手势识别方法及其装置

技术领域

本发明是有关于手势识别，特别是有关于基于超声波的非接触式手势识别的方法及其相关装置。

背景技术

在很大程度上，屏幕作为用户与便携式电子设备(例如，触摸书(touch books)、移动电话、面板个人计算机(PC)、媒体播放器以及游戏设备)进行交互的一种替代方式。除了提供一个基本的显示功能，屏幕进一步包括一个或多个触摸传感器，用于检测其上的物体接触，从而提供基于触摸的用户界面(User Interface,UI)。一般情况下，基于触摸的用户界面利用直观的手势而简化了设备的操作。

然而，可能存在不能或不优选直接接触基于触摸的用户界面的情况。例如，可能用户每只手都拿着东西；或用户的双手是油腻的或戴着手套；或距离便携式电子设备太远，而不能使得用户舒适地接触屏幕；或便携式电子装置的屏幕太大，而不能使得用户方便地触及其整个表面；或便携式电子装置的显示器表面不能简单触及，例如，使用投影仪显示的情况下。为了解决这个问题，在实践中引入一个或多个光学器件，例如摄像机装置和红外线传感器，以根据所捕获的图像识别非接触式手势(即，不直接接触便携式电子装置任何部分的手势)。

然而，附加的光学装置将显著地增加硬件成本，更何况总是导通光学器件检测非接触式手势将非常耗电。由于便携式电子装置的电量有限，使得总是导通光学器件检测非接触式手势存在巨大的不足。因此，希望具有一种更有效、花费更小硬件成本和电量的非接触式手势识别的替代方式。

发明内容

有鉴于此，本发明提出一种基于超声波的非接触式手势识别方法及其装置。

根据本发明第一实施方式，提供一种基于超声波的非接触式手势识别装置。该装置包括：第一超声波发射器、第一超声波接收器和处理单元。第一超声波发射器发射超声波信号。第一超声波接收器接收来自物体的反射超声波信号。配置第一超声波发射器和第一超声波接收器形成第一参考线。处理单元处理反射超声波信号以得到反射超声波信号的时间频率分布，以及根据时间频率分布确定第一参考线上的物体移动的投影轨迹对应的一维手势。

根据本发明第二实施方式，提供一种基于超声波的非接触式手势识别方法。该方法包括如下步骤：通过第一超声波发射器发射超声波信号。通过第一超声波接收器接收来自物体的反射超声波信号；其中，配置第一超声波发射器和第一超声波接收器形成第一参考线。处理反射超声波信号，以得到反射超声波信号的时间频率分布。根据时间频率分布确定第一参考线上的物体移动的投影轨迹对应的一维手势。

本发明所提出的基于超声波的非接触式手势识别方法及其装置，可降低硬件配置的复杂度及/或成本。

附图说明

图1为根据本发明实施方式的便携式电子装置的示意图。

图2为根据本发明实施方式的基于超声波的非接触式手势识别(touchlessgesture recognition)方法的流程图。

图3A和图3B为根据本发明实施方式支持不同手势的一个超声波发射器和一个超声波接收器的相同配置的示意图。

图3C为根据本发明实施方式的对应于以不同方向经过麦克风和扬声器的两个手势反射的超声波信号的时间频率分布的示意图。

图4A～4C为根据本发明实施方式支持示范性一维手势的形成参考线的一个超声波发射器和一个超声波接收器配置的示意图。

图5A为图4A中利用手势1和手势2对媒体播放器应用程序进行用户界面控制的示意图。

图5B为图4B中利用手势3和手势4对媒体播放器应用程序进行用户界面控制的示意图。

图5C为图4C中利用手势1～手势4对电子书应用程序进行用户界面控制的示意图。

图6A为根据本发明实施方式的在便携式电子装置中的两个超声波接收器和一个超声波发射器配置的示意图。

图6B为根据图6A的实施方式支持示范性手势的通过两个超声波接收器和一个超声波发射器形成的参考面的示意图。

图7A为根据本发明实施方式的在便携式电子装置中的一个超声波接收器和两个超声波发射器配置的示意图。

图7B为根据图7A的实施方式支持示范性手势的通过一个超声波接收器和两个超声波发射器形成的参考面的示意图。

图8A为根据本发明实施方式的在便携式电子装置中的一个定向超声波接收器和一个超声波发射器配置的示意图。

图8B为根据图8A的实施方式通过一个定向超声波接收器和一个超声波发射器形成参考面的示意图。

图9为根据图6A、图7A和图8A的实施方式利用2D手势对媒体播放器应用程序进行用户界面控制的示意图。

图10A为根据本发明实施方式的在便携式电子装置中的三个超声波发射器和一个超声波接收器配置的示意图。

图10B为根据图10A实施方式支持示范性手势的通过三个超声波发射器和一个超声波接收器形成三维(3D)坐标系的示意图。

图11为根据本发明实施方式的在便携式电子装置中的三个超声波接收器和一个超声波发射器配置的示意图。

图12为根据本发明实施方式的在便携式电子装置中的两个超声波发射器和两个超声波接收器配置的示意图。

图13为根据本发明实施方式的在便携式电子装置中的一个定向超声波接收器、一个超声波接收器和一个超声波发射器配置的示意图。

图14为根据本发明实施方式的在便携式电子装置中的一个定向超声波接收器和两个超声波发射器配置的示意图。

图15为根据本发明实施方式支持示范性手势在便携式电子装置中的两个超声波接收器和两个超声波发射器配置的示意图。

具体实施方式

以下为实施本发明的最佳实施方式。其仅用于解释本发明的基本原理，而不应限制本发明。必须了解本发明的实施方式可以实现于软件、硬件、固件、或其结合之上。

图1为根据本发明实施方式的便携式电子装置的示意图。便携式电子装置10为触摸书，手机/智能手机，平板电脑，便携式媒体播放器(PMP)，全球定位系统(GPS)导航设备，便携式游戏机，等等。便携式电子装置10包括一个或多个超声波发射器11、一个或多个超声波接收器12、处理单元13、显示屏14、存储设备15、以及电源16。超声波发射器11被配置为发射超声波信号，而超声波接收器12被配置为自一个物体(例如，一个用户的手或手持物品)接收反射的超声波信号。超声波是频率高于人听觉上限或大约大于20KHz的循环声压(cyclic sound pressure)。具体地，超声波发射器11为能够发射超声波频谱中的音频信号的扬声器或换能器(transducer)，以及超声波接收器12为能够测知超声波频谱中反射的音频信号的麦克风。

处理器13为通用处理器、微控制单元、数字信号处理器、或其他类型的处理器。处理器13提供数据处理功能、计算超声波接收器12接收的反射超声波信号，并加载和执行来自存储器15的一系列指令及/或程序代码来执行本发明基于超声波的非接触式手势识别(touchless gesture recognition)方法，及/或控制超声波发射器11、超声波接收器12和显示屏14的操作。

显示屏14为液晶显示屏(LCD)，发光二极管(LED)显示屏或电子纸显示屏(Electronic Paper Display,EPD)等，以用于提供显示功能。可选地，显示屏14可以进一步包括一个或多个触摸传感器(图未示)。这些触摸传感器位于显示屏14之上或之下，以提供触摸检测功能，其中该触摸检测功能包括电阻式，电容式，或其他类型的触摸检测。

存储装置15可以是一个存储器(例如，随机存取存储器(RAM)，快闪存储器，或非易失性随机存取存储器(NVRAM)等)，磁存储设备(例如，磁带或硬盘)，光存储设备(例如，只读光盘驱动器(CD-ROM))，或用于存储数据的(例如指令)和程序代码的任何组合。

电源16为便携式/可更换的可充电电池。电源16提供其它功能单元的电源并满足便携式电子设备10的便携性，这些功能单元包括(多个)超声波发射器11、(多个)超声波接收器12、处理单元13、显示屏14、以及存储装置15。

尽管图未示，但是便携式电子设备10可进一步包括其他功能单元。例如，用于无线通信的射频单元和基带单元(Baseband unit)，及/或输入输出装置(例如，按钮，键盘，鼠标或触摸垫等，但本发明不限于此)。以便携式电子设备10为手机/智能手机为例，基带单元包括多个执行基带信号处理的硬件装置，基带信号处理包括模数转换器(ADC)/数模转换器(DAC)、增益调整、调制/解调、编码/解码等等。射频单元接收射频无线信号，转换接收的射频无线信号为由基带单元处理的基带信号，或自基带单元接收基带信号和转换接收的基带信号为发射器之后发射的射频无线信号。射频单元也可以包括多个执行射频转换的硬件设备。例如，用于将基带信号和以无线通信系统的无线频率振荡的载波相乘的混频器。其中，无线频率在全球移动通信(Global System for Mobilecommunications,GSM)系统中为900MHz、1800MHz或1900MHz，在宽带码分多址系统(WCDMA)中为900MHz、1900MHz或2100MHz，在长期演进(LTE)/高级LTE技术中为900MHz、2100MHz或2.6GHz，其他无线接入技术中使用的无线频率。

需要理解的是，图1的实施方式中描述的元件仅用于解释说明的目的，而并非用于限制本发明。

图2为根据本发明实施方式的基于超声波的非接触式手势识别(touchlessgesture recognition)方法的流程图。在此实施方式中，基于超声波的方法用于便携式电子装置，该便携式电子装置包括一个或多个超声波发射器和一个或多个超声波接收器。首先，便携式电子装置通过超声波发射器发射超声波信号(步骤S210)；然后，通过超声波接收器自一个物体接收反射超声波信号(步骤S220)；接下来，便携式电子装置处理反射超声波信号以得到该反射超声波信号的时间频率分布(步骤S230)。处理反射超声波信号的过程可以称为特征提取过程，该过程包括滤波和放大反射超声波信号以用于降噪，并施加傅立叶变换(FT)于反射超声波信号来估计该反射超声波信号的时间频率分布。在此过程中，傅立叶变换为快速傅立叶变换(FFT)，部分时间傅立叶变换(partial-time FT)，加窗傅里叶变换(windowed FT)或分数傅里叶变换(fractional FT)。然而，本发明并不限于此。之后，便携式电子装置确定超声波发射器和超声波接收器的配置是否形成单一参考线(reference axis)、单一参考面(reference plane)、或三维(3D)坐标系统(步骤S240)。

若便携式电子装置仅包括一个超声波发射器和一个超声波接收器，并且超声波发射器和超声波接收器被配置形成单一参考线，则便携式电子装置根据时间频率分布确定对应于在参考线上物体移动的投影轨迹(projection loci)的一维手势(步骤S250)。

若便携式电子装置包括两个超声波发射器和一个超声波接收器、或一个超声波发射器和两个超声波接收器、或一个超声波发射器和一个定向超声波接收器，并且(多个)超声波发射器和(多个)超声波接收器被配置为形成单一参考面，则便携式电子装置根据时间频率分布确定对应于在参考面上物体移动的投影轨迹的二维(2D)手势(步骤S260)。

若便携式电子装置包括三个超声波发射器和一个超声波接收器、或两个超声波发射器和两个超声波接收器、或一个超声波发射器和三个超声波接收器、或两个超声波发射器和一个定向超声波接收器、或一个超声波发射器、一个超声波接收器和一个定向超声波接收器，并且(多个)超声波发射器和(多个)超声波接收器被配置为形成三维坐标系统，则便携式电子装置根据时间频率分布确定对应于在三维坐标系统上物体移动的投影轨迹的三维手势(步骤S270)。

在步骤S250～步骤S270中的手势确定之后，根据确定的手势，便携式电子装置进一步执行应用控制(步骤S280)，并且基于超声波的方法结束。

举例来说，若确定的手势为在一个方向上的单一运动(即，在参考线、参考面、或三维坐标系统上物体移动的投影轨迹包括在物体在一个方向上运动的单一移动)，便携式电子装置执行翻到电子书或电子相册应用的下一页或下一个画面，或通过媒体播放器应用程序播放下一个乐曲或视频。

若确定的手势为先朝便携式电子装置移动之后远离便携式电子装置移动(即，在参考线、参考面、或三维坐标系统上物体移动的投影轨迹包括朝向便携式电子装置的移动和远离便携式电子装置的移动)，便携式电子装置执行打开或关闭显示屏，或将播放于显示屏上的用户界面返回至桌面或主菜单，接通或断开便携式电子装置当前执行的应用，或播放或暂停多媒体文件，或调大或调小铃声音量，或将铃声模式调到震动模式，或向上或向下计数应用程序的设定值(即，计时器或计数器的值或时钟设定)。

若确定的手势为做圆周运动的单一运动(即，在参考面、或三维坐标系统上物体移动的投影轨迹包括做圆周运动的物体移动)，便携式电子装置配置媒体播放器应用程序以随机模式播放多媒体文件，或将媒体播放器的播放清单重新排序，或取消应用程序的菜单的选定，或重启应用程序的配置。

请注意，由于多普勒效应，不同的手势将导致反射超声波信号不同的时间频率分布，因此，可由此识别不同的手势的信号特征。图3A和图3B为根据本发明实施方式支持不同手势的一个超声波发射器和一个超声波接收器的相同配置的示意图。举例来说，如图3A所示，若便携式电子装置包括一个超声波发射器或一个超声波接收器，以及用户的手朝超声波发射器移动，则估计的反射超声波信号如下所示：

$\begin{array}{c}{f}^{\′}=\left(\frac{C+V_h}{C}\right)f_0,\\ f^{\′\′}=\left(\frac{C}{C+V_h}\right)f^{\′}\end{array}---\left(1\right)$

其中，f’为在用户的手处接收超声波信号的频率，f₀为超声波信号的发射频率，C为介质中的波速，V_h为用户的手相对于介质的速度，以及f”为通过超声波接收器接收反射超声波信号的频率。此外，如图3B所示，若用户的手远离超声波发射器，则估计的反射超声波信号如下所示：

$\begin{array}{c}{f}^{\′}=\left(\frac{C-V_h}{C}\right)f_0,\\ f^{\′\′}=\left(\frac{C}{C-V_h}\right)f^{\′}\end{array}---\left(2\right)$

其中，公式(2)的变量和公式(1)的变量相同。

图3C为根据本发明实施方式的对应于以不同方向经过麦克风和扬声器的两个手势反射的超声波信号的时间频率分布的示意图。如图3C所示，对于频率变化大于f₀的样式(pattern)(即，主频调(main tone))，先经过麦克风后经过扬声器的手势比先经过扬声器后经过麦克风的手势在较高频率处引起更大振动。这是因为前一手势在移动的早期离麦克风较近。而后一手势在移动的早期离麦克风较远。对于频率变化小于f₀的样式，后一手势比前一手势在较低频率处引起更大振动。这是因为后一手势在移动的后期离麦克风较近，而前一手势在移动的后期离麦克风较远。因此，对应于两个手势(通过虚线边界表示)的频率变化的样式彼此显著不同，并且此样式为识别对应手势的基础。尽管在图3C中f₀作为单频调(single-tone)模式，但是此仅用于解释说明的目的，而并非用于限制本发明。举例来说，在其他实施方式中，f₀可以被配置为多频调(multi-tone)模式。

图4A～4C为根据本发明实施方式支持示范性一维(1D)手势的形成参考线(reference axis)的一个超声波发射器和一个超声波接收器配置的示意图。

如图4A所示,一个超声波发射器位于便携式电子装置的上表面下端的中心附近，而一个超声波接收器位于便携式电子装置的上表面上端的中心附近。通过超声波发射器和超声波接收器的虚线被称为参考线。手势1表示为用户的手沿着参考线向下运动(即，用户手移动的投影轨迹在参考轴上的方向是从上到下的)，以及手势2表示为用户的手沿着参考线向上运动(即，用户手移动的投影轨迹在参考轴上的方向是从下到上的)。换句话说，手势1和手势2被称为平行于便携式电子装置的长边移动。可选地，超声波发射器和超声波接收器的位置可以在另一实施方式中互换。图5A为图4A中利用手势1和手势2对媒体播放器应用程序进行用户界面控制的示意图。如图5A所示，手势2立即跟随手势1之后的组合对应于媒体播放器应用的“暂停”功能(即，暂停媒体播放器文件)，单一的手势2对应于媒体播放器应用的“下一个”功能(即，切换至下一个乐曲或视频)，单一的手势1对应于媒体播放器应用的“上一个”功能(即，切换至先前的乐曲或视频)，以及手势1立即跟随手势2之后的组合对应于媒体播放器应用的“播放”功能(即，播放媒体文件)。

如图4B所示，一个超声波发射器位于便携式电子装置的上表面下端的左边，而一个超声波接收器位于便携式电子装置的上表面下端的右边。通过超声波发射器和超声波接收器的虚线被称为参考线。手势3表示为用户的手沿着参考线向左运动(即，用户手移动的投影轨迹在参考轴上的方向是从右到左的)，手势4表示为用户的手沿着参考线向右运动(即，用户手移动的投影轨迹在参考轴上的方向是从左到右的)。换句话说，手势3和手势4被称为移动平行于便携式电子装置的短边移动。可选地，超声波发射器和超声波接收器的位置可以在另一实施方式中互换。图5B为图4B中利用手势3和手势4对媒体播放器应用程序进行用户界面控制的示意图。如图5B所示，手势3对应于媒体播放器应用的“调高音量”功能(即，增大音量)，以及手势4对应于媒体播放器应用的“降低音量”功能(即，调低音量)。

如图4C所示，一个超声波发射器位于便携式电子装置的上表面下端的左边，而一个超声波接收器位于便携式电子装置的上表面上端的右边。也就是说，超声波发射器和超声波接收器对角地(diagonally)位于便携式电子装置的边角处。通过超声波发射器和超声波接收器的虚线被称为参考线。手势1表示为用户的手相对于便携式电子装置向下运动，以及手势3表示为用户的手相对于便携式电子装置向左运动。然而，用户的手向下和向左挥动导致参考线上的投影轨迹不能辨别。即，手势1和手势3将视为相同的手势。手势2表示为用户的手相对于便携式电子装置向上运动，以及手势4表示为用户的手相对于便携式电子装置向右运动。然而，用户的手向上和向右挥动导致参考线上的投影轨迹不能辨别。即，手势2和手势4将视为相同的手势。也就是说，在同一时间，手势1和手势2可以区分，手势3和手势4可以区分。可选地，超声波发射器和超声波接收器的位置可以在另一实施方式中互换。图5C为图4C中利用手势1～手势4对电子书应用程序进行用户界面控制的示意图。如图5C所示，当便携式电子装置被举起时，单一的手势3对应于电子书应用的“上一个”功能(即，翻到前一页)，以及单一的手势4对应于电子书应用的“下一个”功能(即，翻到下一页)。当便携式电子装置被旋转90度为水平位置时，单一的手势1对应于对应于电子书应用的“上一个”功能(翻到前一页)，以及单一的手势2对应于电子书应用的“下一个”功能(即，翻到下一页)。

应当理解，在上述实施方式中手势和功能之间的对应关系仅用于解释说明的目的，而并非用于限制本发明。

请注意，在上述实施方式中，假设一般便携式电子装置包括至少一个麦克风和一个扬声器。通过利用现有的音频分量，本发明能够利用一维(1D)手势来提供用户界面控制，而不需要额外的音频元件，由此降低了硬件配置的复杂度及/或成本。

图6A为根据本发明实施方式的在便携式电子装置中的两个超声波接收器和一个超声波发射器配置的示意图。如图6A所示，一个超声波接收器位于便携式电子装置的上表面右端的中心附近，另一个超声波接收器位于便携式电子装置的上表面左上角，以及一个超声波发射器位于便携式电子装置的上表面左下角。

图6B为根据图6A的实施方式支持示范性手势的通过两个超声波接收器和一个超声波发射器形成的参考面的示意图。如图6B所示，通过超声波发射器和一个超声波接收器的实线被称为第一参考线，而通过超声波发射器和另一个超声波接收器的实线被称为第二参考线。特别地，两条参考线彼此不平行和共线，并且这两条参考线进一步形成一个参考面。即，二维(2D)坐标系统。其中用户的手的移动可以被视为参考面上的投影轨迹。也就是说，参考面的投影轨迹可被分解为两条参考线的投影轨迹，并且通过跟踪这两条参考线上的投影轨迹，可以清楚地确定2D手势。

图7A为根据本发明实施方式的在便携式电子装置中的一个超声波接收器和两个超声波发射器配置的示意图。如图7A所示，一个超声波接收器位于便携式电子装置的上表面左上角，一个超声波发射器位于便携式电子装置的上表面右端的中心附近，以及另一个超声波发射器位于便携式电子装置的上表面左下角。

图7B为根据图7A的实施方式支持示范性手势的通过一个超声波接收器和两个超声波发射器形成的参考面的示意图。如图7B所示，通过超声波接收器和一个超声波发射器的实线被称为第一参考线，而通过超声波接收器和另一个超声波发射器的实线被称为第二参考线。特别地，两条参考线彼此不平行和共线，并且这两条参考线进一步形成一个参考面。其中用户手的移动可以被视为参考面的投影轨迹。参考面的投影轨迹可被分解为两条参考线的投影轨迹。然而，请注意，在此实施方式中，两个发射器被配置为以不同的频率或以不同的频率模式发射超声波信号，以使得超声波接收器可以将一个超声波发射器发射的反射超声波和另一个超声波发射器发射的反射超声波区分开。举例来说，一个超声波发射器被配置为发射频率为40KHz的超声波信号，而另一个超声波发射器被配置为发射频率为42KHz的超声波信号。可选地，一个超声波发射器被配置为发射频率为40KHz至41KHz(即，特定频率模式)，而另一个超声波发射器被配置为发射频率为42KHz至43KHz。

图8A为根据本发明实施方式的在便携式电子装置中的一个定向超声波接收器和一个超声波发射器配置的示意图。如图8A所示，一个定向超声波接收器位于便携式电子装置的上表面左端的中心附近，以及一个超声波发射器位于便携式电子装置的上表面左下角。定向超声波接收器可以偏置(bias)自定向超声波接收器的一个特定侧接收的反射超声波信号的强度。也就是说，自偏向方向(favoring direction)(即，在此实施方式中为左侧)接收的反射超声波信号具有的信号强度强于自其它方向接收的反射超声波的信号强度。因此，通过观察反射超声波信号的信号强度的改变，可以清楚地确定手势移动的方向。举例来说，在偏向方向为左侧的情况下，从右至左挥动的手势反射的超声波信号的信号强度由弱到强，以及从左至右挥动的手势反射的超声波信号的信号强度由强到弱。

图8B为根据图8A的实施方式通过一个定向超声波接收器和一个超声波发射器形成参考面的示意图。如图8B所示，通过定向超声波接收器和超声波发射器的实线被称为第一参考线，而在其偏向方向通过超声发射器的实线被称为第二参考线。具体来说，两条参考线彼此不平行和共线，并且这两条参考线进一步形成一个参考面。在此参考面上，用户手的移动可被视为参考面的投影轨迹。其中，参考面的投影轨迹可被分解为两条参考线的投影轨迹。

图9为根据图6A、图7A和图8A的实施方式利用2D手势对媒体播放器应用程序进行用户界面控制的示意图。由于图6A、图7A和图8A中的实施方式涉及超声波发射器和超声波接收器的不同配置，这些超声波发射器和超声波接收器的具体位置在图9中省略。如图9所示，自左至右挥动的手势和自右至左挥动的手势手势的组合对应于媒体播放器应用的“暂停/播放”功能(即，暂停或播放多媒体文件)，单一的自左至右挥动的手势对应于媒体播放器应用的“下一个”功能(即，切换至下一个乐曲或视频)，单一的自右至左挥动的手势手势的组合对应于媒体播放器应用的“上一个”功能(即，切换至先前的乐曲或视频)，单一的自下至上挥动的手势对应于媒体播放器应用的“调高音量”功能(即，增大音量)，单一的自上至下挥动的手势对应于媒体播放器应用的“降低音量”功能(即，调低音量)，以及单一的逆时针画圆圈的手势对应于媒体播放器应用的“随机(Shuffle)功能(即，随机播放多个多媒体文件中的一个)。然而，在上述实施方式中手势和功能之间的对应关系仅用于解释说明的目的，而并非用于限制本发明。

图10A为根据本发明实施方式的在便携式电子装置中的三个超声波发射器和一个超声波接收器配置的示意图。如图10A所示，一个超声波发射器位于便携式电子装置的上表面右端的中心附近，另一个超声波发射器位于便携式电子装置的下表面右上角，还有另一个超声波发射器位于便携式电子装置的下表面左下角，以及一个超声波接收器位于便携式电子装置的下表面右端的中心附近。具体地，三个超声波发射器被配置为以不同的频率或不同的频率模式发射超声波信号，以使得超声波接收器可以将一个超声波发射器发射的反射超声波和另外两个超声波发射器发射的反射超声波区分开。

图10B为根据图10A实施方式支持示范性手势的通过三个超声波发射器和一个超声波接收器形成三维坐标系的示意图。如图10B所示，通过超声波接收器和每一个超声波发射器的实线被称为三个独立的参考线，其中超声波接收器的位置为三条参考线的交点。具体地，三条参考线彼此不平行和共线，并且这三条参考线进一步形成一个三维坐标系统。此外，三维坐标系统的投影轨迹可被分解为三条参考线的投影轨迹，并且通过跟踪三条参考线上的投影轨迹，可以清楚地确定三维手势。

图11为根据本发明实施方式的在便携式电子装置中的三个超声波接收器和一个超声波发射器配置的示意图。如图11所示，一个超声波接收器位于便携式电子装置的上表面右端的中心附近，另一个超声波接收器位于便携式电子装置的下表面右上角，还有另一个超声波接收器位于便携式电子装置的下表面左下角，以及一个超声波发射器位于便携式电子装置的下表面右端的中心附近。超声波发射器和每一个超声波接收器形成独立的参考线，以及三个参考线不共面以进一步形成相似于图10B的三维坐标系统。

图12为根据本发明实施方式的在便携式电子装置中的两个超声波发射器和两个超声波接收器配置的示意图。如图12所示，一个超声波发射器位于便携式电子装置的上表面右端的中心附近，另一个超声波发射器位于便携式电子装置的上表面左下角，一个超声波接收器位于便携式电子装置的下表面右端的中心附近，以及另一个超声波接收器位于便携式电子装置的上表面左上角。一个超声波发射器和每一个超声波接收器形成独立的参考线，以及另一个超声波发射器和每一个超声波接收器形成独立的参考线。因此，总共有四个不共面的参考线，以及可以选择其中的任意三个形成相似于图10B的三维系统。此外，两个超声波发射器被配置为以不同的频率或不同的频率模式发射超声波信号，以使得每一个超声波接收器可以将一个超声波发射器发射的反射超声波和另一个超声波发射器发射的反射超声波区分开。

图13为根据本发明实施方式的在便携式电子装置中的一个定向超声波接收器、一个超声波接收器和一个超声波发射器配置的示意图。如图13所示，一个定向超声波接收器位于便携式电子装置的上表面右下角，一个普通的(即，非定向)超声波接收器位于便携式电子装置的上表面左上角，以及一个超声波发射器位于便携式电子装置的上表面左下角。超声波发射器和每一个超声波接收器形成独立的参考线，以及定向超声波接收器提供沿其偏向方向的附加的参考线。具体地，三个参考线不共面以进一步形成相似于图10B的三维坐标系统。

图14为根据本发明实施方式的在便携式电子装置中的一个定向超声波接收器和两个超声波发射器配置的示意图。如图14所示，一个定向超声波接收器位于便携式电子装置的上表面左下角，一个超声波发射器位于便携式电子装置的上表面左上角，以及另一个超声波发射器位于便携式电子装置的上表面右下角。定向超声波接收器和每一个超声波发射器形成独立的参考线，以及定向超声波接收器提供沿其偏向方向的附加的参考线。具体地，三条参考线不共面以进一步形成相似于图10B的三维坐标系统。具体地，两个超声波发射器被配置为以不同的频率或不同的频率模式发射超声波信号，以使得定向超声波接收器可以将一个超声波发射器发射的反射超声波和其他超声波发射器发射的反射超声波区分开。

请注意，通过利用定向超声波接收器，使得用于构建2D或三维坐标系统的超声波元件(例如超声波接收器和超声波发射器)的数目减少，由此降低了硬件配置的复杂度及/或成本。

存在一些一维手势足够用于用户界面控制但需要一维手势识别具有更高分辨率的情况。在此情况下，可引入两个以上的超声波元件来提供手势识别的分辨率，而不是提供更多维度上的信息。图15为根据本发明实施方式支持示范性手势在便携式电子装置中的两个超声波接收器和两个超声波发射器配置的示意图。如图15所示，一对超声波发射器和超声波接收器位于便携式电子装置的上表面的左端，而另一对超声波发射器和超声波接收器位于便携式电子装置的上表面的右端。其中两对超声波发射器和两对超声波接收器彼此平行。即，位于便携式电子装置的上表面的左端的超声波发射器和超声波接收器形成的参考线和位于便携式电子装置的上表面的右端的超声波发射器和超声波接收器形成的参考线彼此平行。尽管第二对超声波发射器和超声波接收器不能提供更多的维度信息，但是它能提高关于执行手势的便携式电子装置的手势识别。在此实施方式中，由于手势在便携式电子装置的右侧发生，位于便携式电子装置右端的超声波接收器比位于便携式电子装置左端的超声波接收器接收的反射超声波信号更强。

虽然本发明已以较佳实施方式揭露如上，然而必须了解其并非用以限定本发明。相反，任何本领域技术人员，在不脱离本发明的精神和范围内，当可做些许更动与润饰，因此本发明的保护范围应当以权利要求书所界定的保护范围为准。

Claims (24)

1.一种基于超声波的非接触式手势识别装置，其特征在于，包括：

第一超声波发射器，发射超声波信号；

第一超声波接收器，接收来自物体的反射超声波信号；其中，配置该第一超声波发射器和该第一超声波接收器形成第一参考线；以及

处理单元，处理该反射超声波信号以得到该反射超声波信号的时间频率分布，以及根据该时间频率分布确定该第一参考线上的物体移动的投影轨迹对应的一维手势。

2.根据权利要求1所述的基于超声波的非接触式手势识别装置，其特征在于，该第一超声波接收器为定向麦克风，该定向麦克风提供与该第一参考线不平行的第二参考线，以及两条参考线进一步形成参考面，以及该处理器根据该时间频率分布进一步确定该参考面上的物体移动的投影轨迹对应的二维手势。

3.根据权利要求1所述的基于超声波的非接触式手势识别装置，其特征在于，进一步包括：

第二超声波发射器或第二超声波接收器，用于发射该超声波信号或接收该反射超声波信号；

其中，该第一超声波发射器和该第二超声波发射器以不同频率或不同频率模式来发射该超声波信号，

其中，配置该第二超声波发射器、该第二超声波接收器中的一个和该第一超声波发射器、该第一超声波接收器中的一个，以形成与该第一参考线不平行、不共线的第二参考线，以及两条参考线进一步形成参考面；以及

其中，该处理单元根据该时间频率分布进一步确定该参考面上的物体移动的投影轨迹对应的二维手势。

4.根据权利要求3所述的基于超声波的非接触式手势识别装置，其特征在于，该第二超声波接收器为定向麦克风，该定向麦克风提供与其他两条参考线非共面的第三参考线；以及三条参考线进一步形成三维坐标系统，以及该处理器根据该时间频率分布进一步确定该三维坐标系统上物体移动的投影轨迹对应的三维手势。

5.根据权利要求3所述的基于超声波的非接触式手势识别装置，其特征在于，进一步包括：

第三超声波发射器或第三超声波接收器，用于发射该超声波信号或接收该反射超声波信号；

其中，该第一超声波发射器、该第二超声波发射器和第三超声波发射器以不同频率或不同频率模式来发射该超声波信号；

其中，配置该第一超声波发射器、该第一超声波接收器、该第二超声波发射器和该第二超声波接收器中的一个，和该第三超声波发射器或该第三超声波接收器，以形成与两条参考线不共面的第三参考线，以及三条参考线进一步形成三维坐标系统；以及

其中，该处理单元根据该时间频率分布进一步确定该三维坐标系统上的物体移动的投影轨迹对应的三维手势。

6.根据权利要求2或3所述的基于超声波的非接触式手势识别装置，其特征在于，物体移动的投影轨迹包括物体做圆周运动。

7.根据权利要求6所述的基于超声波的非接触式手势识别装置，其特征在于，该处理单元进一步执行如下一个步骤：

配置便携式电子装置上执行的媒体播放器应用以随机模式播放多媒体文件；

将该便携式电子装置上执行的媒体播放器应用的播放清单重新排序；

取消在该便携式电子装置上执行的应用的菜单的选定；

重置该便携式电子装置上执行的应用的配置。

8.根据权利要求1所述的基于超声波的非接触式手势识别装置，其特征在于，进一步包括：

第二超声波发射器，用于发射该超声波信号；其中，该第一超声波发射器和该第二超声波发射器以不同频率或不同频率模式来发射该超声波信号；以及

第二超声波接收器，用于接收该反射超声波信号；其中，配置该第二超声波发射器和该第二超声波接收器，以形成与该第一参考线平行的第二参考线；以及

其中，根据该第一超声波接收器和该第二超声波接收器接收的该反射超声波信号，该处理单元进一步确定两条参考线中的哪一条更接近一维手势。

9.根据权利要求1所述的基于超声波的非接触式手势识别装置，其特征在于，物体移动的投影轨迹包括物体沿一个方向运动的单一移动。

10.根据权利要求9所述的基于超声波的非接触式手势识别装置，其特征在于，该处理器进一步执行如下一个步骤：

翻到便携式电子装置执行的电子书或电子相册应用显示的下一页或下一图片；

切换至该便携式电子装置执行的媒体播放器应用播放的下一乐曲或视频、或前一乐曲或视频。

11.根据权利要求1所述的基于超声波的非接触式手势识别装置，其特征在于，物体移动的投影轨迹包括物体朝便携式电子装置移动和物体远离该便携式电子装置移动。

12.根据权利要求11所述的基于超声波的非接触式手势识别装置，其特征在于，该处理单元进一步执行如下一个步骤：

开启或关闭该便携式电子装置的显示屏；

返回在该显示屏上显示的用户界面至桌面或主菜单；

接通或断开该便携式电子装置当前执行的应用；

播放或暂停该便携式电子装置的多媒体文件；

调高或降低该便携式电子装置的音量，或将该便携式电子装置从铃声模式切换至振动模式；

向上或向下计数该便携式电子装置上当前执行的应用的设置值。

13.一种基于超声波的非接触式手势识别方法，其特征在于，包括：

通过第一超声波发射器发射超声波信号；

通过第一超声波接收器接收来自物体的反射超声波信号；其中，配置该第一超声波发射器和该第一超声波接收器形成第一参考线；

处理该反射超声波信号，以得到该反射超声波信号的时间频率分布；以及

根据该时间频率分布确定该第一参考线上的物体移动的投影轨迹对应的一维手势。

14.根据权利要求13所述的基于超声波的非接触式手势识别方法，其特征在于，该第一超声波接收器为定向麦克风，该定向麦克风提供与该第一参考线不平行的第二参考线，以及两条参考线进一步形成参考面，以及该方法进一步包括：

根据该时间频率分布确定该参考面上的物体移动的投影轨迹对应的二维手势。

15.根据权利要求13所述的基于超声波的非接触式手势识别方法，其特征在于，进一步包括：

通过第二超声波发射器或第二超声波接收器，发射该超声波信号或接收该反射超声波信号；

其中，该第一超声波发射器和该第二超声波发射器以不同频率或不同频率模式来发射该超声波信号；以及

其中，配置该第二超声波发射器、该第二超声波接收器中的一个和该第一超声波发射器、该第一超声波接收器中的一个，以形成与该第一参考线不平行、不共线的第二参考线，以及两条参考线进一步形成参考面；以及

其中，根据该时间频率分布确定该参考面上的物体移动的投影轨迹对应的二维手势。

16.根据权利要求15所述的基于超声波的非接触式手势识别方法，其特征在于，

该第二超声波接收器为定向麦克风，该定向麦克风提供与其他两条参考线非共面的第三参考线；以及三条参考线进一步形成三维坐标系统，以及该方法进一步包括：

根据该时间频率分布确定该三维坐标系统上物体移动的投影轨迹对应的三维手势。

17.根据权利要求15所述的基于超声波的非接触式手势识别方法，其特征在于，进一步包括：

通过第三超声波发射器或第三超声波接收器，发射该超声波信号或接收该反射超声波信号；

其中，该第一超声波发射器、该第二超声波发射器和第三超声波发射器以不同频率或不同频率模式来发射该超声波信号；以及

其中，配置该第一超声波发射器、该第一超声波接收器、该第二超声波发射器和该第二超声波接收器中的一个，和该第三超声波发射器或该第三超声波接收器，以形成与两条参考线不共面的第三参考线，以及三条参考线进一步形成三维坐标系统；以及

根据该时间频率分布确定该三维坐标系统上的物体移动的投影轨迹对应的三维手势。

18.根据权利要求14或15所述的基于超声波的非接触式手势识别方法，其特征在于，物体移动的投影轨迹包括物体做圆周运动。

19.根据权利要求18所述的基于超声波的非接触式手势识别方法，其特征在于，进一步包括如下一个步骤:

配置便携式电子装置上执行的媒体播放器应用以随机模式播放多媒体文件；

将该便携式电子装置上执行的媒体播放器应用的播放清单重新排序；

取消在该便携式电子装置上执行的应用的菜单的选定；

重置该便携式电子装置上执行的应用的配置。

20.根据权利要求13所述的基于超声波的非接触式手势识别方法，其特征在于，进一步包括：

通过第二超声波发射器发射该超声波信号；其中，该第一超声波发射器和该第二超声波发射器以不同频率或不同频率模式来发射该超声波信号；

通过第二超声波接收器接收该反射超声波信号；其中，配置该第二超声波发射器和该第二超声波接收器，以形成与该第一参考线平行的第二参考线；以及

其中，根据该第一超声波接收器和该第二超声波接收器接收的该反射超声波信号，确定两条参考线中的哪一条更接近一维手势。

21.根据权利要求13所述的基于超声波的非接触式手势识别方法，其特征在于，物体移动的投影轨迹包括物体沿一个方向运动的单一移动。

22.根据权利要求21所述的基于超声波的非接触式手势识别方法，其特征在于，进一步包括如下一个步骤：

翻到便携式电子装置执行的电子书或电子相册应用显示的下一页或下一图片；

切换至该便携式电子装置执行的媒体播放器应用播放的下一乐曲或视频、或前一乐曲或视频。

23.根据权利要求13所述的基于超声波的非接触式手势识别方法，其特征在于，物体移动的投影轨迹包括物体朝便携式电子装置移动和物体远离该便携式电子装置移动。

24.根据权利要求23所述的基于超声波的非接触式手势识别方法，其特征在于，进一步包括如下一个步骤:

开启或关闭该便携式电子装置的显示屏；

返回在该显示屏上显示的用户界面至桌面或主菜单；

接通或断开该便携式电子装置当前执行的应用；

播放或暂停该便携式电子装置的多媒体文件；

调高或降低该便携式电子装置的音量，或将该便携式电子装置从铃声模式切换至振动模式；

向上或向下计数该便携式电子装置上当前执行的应用的设置值。