CN106339081A

CN106339081A - 一种基于商用设备的免携带设备手掌定位人机交互方法

Info

Publication number: CN106339081A
Application number: CN201610663287.5A
Authority: CN
Inventors: 李凡; 黎有琦; 陈慧杰
Original assignee: Beijing Institute of Technology BIT
Current assignee: Beijing Institute of Technology BIT
Priority date: 2016-08-15
Filing date: 2016-08-15
Publication date: 2017-01-18
Anticipated expiration: 2036-08-15
Also published as: CN106339081B

Abstract

一种基于商用设备的免携带设备手掌定位人机交互方法，包括初始化：声学手掌定位系统生成双声道线性调频音频信号，并初始化麦克风和扬声器线程，确保扬声器工作前麦克风打开；感知阶段：立体声音箱发出双声道线性调频音频信号，麦克风持续记录该信号经过用户手掌反射后的回音信号并将此回音信号转换为数据；测距阶段：声学手掌定位系统处理线程模块把感知阶段记录的回音数据分成片段并去噪，再找出原始音频和回音数据，导出声音的飞行时间；位置估计阶段：从而利用手掌与左右声道组成的三角关系实现对用户手掌的定位，再通过平滑方法缩小估计误差。本发明的定位精度达到厘米级数量级；且对用户手掌的干扰较小，还达到了免携带设备的效果。

Description

一种基于商用设备的免携带设备手掌定位人机交互方法

技术领域

本发明涉及移动计算的声学测距方法，尤其涉及一种基于商用设备的免携带设备手掌定位人机交互方法，属于计算机人机交互领域。

背景技术

随着移动随着智能终端的普及，移动智能终端的应用越来越广泛，例如，上下文推断系统，手势追踪系统，被动式人员定位。这使用户与移动智能终端的交互更加方便。其中，手势追踪系统日益成为人机交互的重要方式。而在手势追踪系统中，对用户手掌的感知和定位是其关键部分。无线定位是对用户手掌进行定位的关键技术，是移动计算领域的重要研究方向，而按无线信号可分为基于雷达、基于WIFI、基于可见光、基于音频等无位。目前主流的无线定位都存在以下几种局限性：

1)为了保证精度而需要更多的辅助设备和专用设备。2015 MobiCOM的一篇文章中所提出的WIDRAW，至少需要12个WIFI接入点(APs)来保证追踪精度；

2)抗干扰能力弱：现实生活中存在其他干扰信号，多径效应也对基于无线定位的应用系统造成一定的影响；

3)要求用户携带设备进行无线定位，增加了对用户的干扰；

因此，克服上述1)、2)及3)的局限性是现阶段移动计算的研究方向之一。近些年来，一方面，随着移动终端设备的发展，移动终端设备的计算能力增强，配备多种传感器，存储能力得到增强，这为基于移动终端的感知应用奠定了基础；另一方面，音频信号在无线定位技术中存在低成本、易用性强、结合智能手机可达到厘米级精度等优势，目前的移动终端设备支持高音质音频信号的处理，而且线性调频信号(LFS)的频率范围：12kHz到20kHz是对人耳不敏感的，这些先天优势对基于声音进行测距和定位有重要的影响。

综上所述，无线定位具有精度高、抗干扰能力强、对用户无干扰等要求。现有的主流方法存在各种不足，亟需新方法来克服其局限性。

发明内容

本发明的目的是无需专用电子设备，利用生活工作环境中常见电子设备通过对用户手掌的定位，实现一种无需携带设备的人际交互方法，提出了一种基于商用设备的免携带设备手掌定位人机交互方法。

本发明的核心思想是：将生活工作环境中常见的电子设备：智能手机和立体声音箱组合在一起，利用立体声音箱配备的左右声道主动发出特定的音频信号，然后手机麦克风录制到该信号及其经过手掌反射后的回声；再通过计算音频信号的飞行时间(ToF，Timeof Flying)来估算手掌分别距离立体声音响的左右声道的距离，从而利用手掌与左右声道组成的三角关系实现对用户手掌的定位；

本发明的目的是通过以下技术方案实现的：

一种基于商用设备的免携带设备手掌定位人机交互方法所依托的系统，简称声学手掌定位系统包括智能手持设备、立体声音箱、定位对象、计算模块以及外置服务器；

其中，定位对象指手掌；

其中，计算模块，其功能可以由智能手持设备或者外置服务器完成；如果由智能手持设备完成，则外置服务器也可以省略；

其中，所述的智能手持设备可以是智能手机、ipad、itouch、ipod、笔记本以及微型计算机类型的有处理能力的智能终端或非智能终端；

智能手持设备上包括扬声器、麦克风、处理单元；

一种基于商用设备的免携带设备手掌定位人机交互方法，主要包括以下四个步骤：

步骤一、初始化：声学手掌定位系统生成已设计好的双声道线性调频音频信号，并初始化麦克风线程和扬声器线程，确保扬声器工作前麦克风处于打开状态；

其中，所述的双声道线性调频音频信号的频率范围为12kHz到20kHz，其目的是保证对用户手掌无干扰；

其中，麦克风置于立体声印象的左声道和右声道中间，左右声道距离设置范围为(10到30cm，不同的间距对应不同的手掌感知区域)；

步骤二、感知阶段：立体声音箱的左声道和右声道通过扬声器周期性发出步骤一中的双声道线性调频音频信号，麦克风持续记录该信号经过用户手掌反射后的回音信号并将此回音信号转换为数据；

其中，回音信号转换为的数据可以被声学手掌定位系统处理线程模块调用并读取；

步骤三、测距阶段：声学手掌定位系统处理线程模块把步骤二声学手掌定位系统录音线程模块所记录的回音数据分成一帧一帧的片段，并对每一帧去噪；再利用匹配滤波法找出原始音频数据和回音数据，进而导出声音的飞行时间；

其中，对每一帧的去噪可以采用12kHz到20kHz的带通滤波器；

匹配滤波法，即包络检测法，根据文献2015IEEE Internet of Things，″Asoftware-based sonar ranging sensor for smart phones″的公式(5)和公式(6)；具体分为两步：1.对匹配滤波后的结果求包络；2.波峰检测；

其中，波峰检测是对数据进行滑动窗口处理，求出每个滑动窗口的最大值，然后将所有滑动窗口求出的最大值，进行从大到小排序，前四个值对应的索引即为信号及回声的帧索引；

步骤四、位置估计阶段：声学手掌定位系统的位置估算模块估计用户手掌的位置，可通过平滑方法缩小估计误差；

具体为：利用步骤三的测距结果算出手掌到两个扬声器的距离||AC||和||BC||，然后手掌到手机的距离约等于这两个距离和的平均值，再由手掌与左声道及右声道的三角关系算出手掌对手机的方位角，以此算得的距离和方位角可对手掌进行定位；

至此，从步骤一到步骤四，完成了一种基于商用设备的免携带设备手掌定位人机交互方法。

有益效果

一种基于商用设备的免携带设备手掌定位人机交互方法，与其他无线定位技术相比，具有如下有益效果：

1.本方法无需专用电子设备，利用生活工作环境中常见电子设备(手机与立体声音箱)，通过对用户手掌的定位，实现一种无需携带设备的人际交互方式；

2.本方法通过利用声音信号估计手掌的位置，并在商用现成设备实现本发明所提出方法的回音定位：具体地：利用智能手机内置的麦克风和立体声扬声器，与用户手掌构成三角关系，由该三角关系的已知量导出与用户手掌位置相关的信息，从而实现对用户手掌的定位；

3.本发明的定位精度达到厘米级数量级，具体而言，就cdf而言，73％的概率下达到平均5cm的精度，48％的概率下达到3cm的精度；

4.本发明所使用的线性调频信号(LFS)，其频率范围是12kHz到20kHz，故对用户手掌的干扰较小，因为此范围内的声音处于对人耳不敏感的频段；

5.本发明不要求用户手掌携带移动智能终端，达到了免携带设备的效果。

附图说明

图1为本发明一种基于商用设备的免携带设备手掌定位人机交互方法的原理示意图及实施例1中设计好的线性调频音频信号；

图2为本发明一种基于商用设备的免携带设备手掌定位人机交互方法实施例1的示意图；

图3为本发明提出的一种基于商用设备的免携带设备手掌定位人机交互方法实施例1中对所获取的原始音频数据和回音数据一系列处理的图示；

其中，(a)为分帧后的一帧；(b)为带通滤波器去噪处理后的信号；(c)为已平滑包络线的匹配滤波器的输出；

图4为本发明提出的一种基于商用设备的免携带设备手掌定位人机交互方法实施例2的实验设计图，手机放置在(0，0)点，圆圈点为参考点；

图5为本发明提出的一种基于商用设备的免携带设备手掌定位人机交互方法实施例2的测距结果图；

其中，(a)图为测距的平均距离误差；

(b)图为测距的标准差；

图6为本发明提出的一种基于商用设备的免携带设备手掌定位人机交互方法实施例2的定位结果图；

其中，(a)图为位置估计的平均距离误差；

(b)图为位置估计的标准差；

图7为本发明提出的一种基于商用设备的免携带设备手掌定位人机交互方法实施例2的测距和位置估计累计概率分布图；

图8为本发明提出的一种基于商用设备的免携带设备手掌定位人机交互方法实施例2中测距和位置估计的概率密度图，反映落在某个范围的概率。

具体实施方式

下面结合附图和实施例对本发明的具体实施方式做进一步详细说明。

实施例

本部分将结合上述附图对基于回音无设备精准定位方法做详细说明。

本实施例阐述了本发明所提方法的原理示意及发明内容中步骤一设计的线性调频音频信号波形，如图1下半部分所示。

由图1可以看出，本发明所提方法包含初始化、感知及定位三部分；其中初始化又包含信号生成；感知包含信号分帧；定位包含去噪、信号检测及坐标计算。

具体到本实施例的实施例，步骤如下：

步骤A、信号生成：为了使用音频信号定位，智能手持设备需要调用扬声器发出双声道信号，故设计并生成双声道信号为本发明的第一步；本发明设计好线性调频信号可进行测距，并同步扬声器的左右声道，再对用户手掌进行零干扰定位是本发明的目的之一，对应地就要把音频信号的频率设置到不可听见的范围：12kHz到20kHz；

考虑到声音的能量和回音检测；本实施例中设计的双声道信号的持续时间为4ms；如图1下半部分所示，横轴表示时间，纵轴表示信号振幅，图标为Right和Left的信号分别独立控制右声道和左声道，Tc是线性调频音频信号的持续时间，Ts是避免左右声道冲突的时间间隔，本发明把Tc和Ts分别设置为4ms和6ms。这样，最远的可测距离为1m。图中两条线分别为本发明所设计用于感知手掌的线性调频信号。

对于同步操作，本发明使用了TDMA(时分多路复用)对左右声道进行同步，这步可以通过双声道音频文件来控制，因此，前面我们设计的双声道线性调频音频信号可以调度左右声道。

步骤B、此步骤为处理信号：精准的手掌位置估计需要智能手机周期性发送双声道信号，并且由麦克风持续录制原始音频数据和回音数据。周期性的发送过程可以通过包含多个双声道信号的音频文件实现。接下来，由两个“生产者-消费者”线程对音频数据进行处理，分别是录音线程和声音处理线程，录音线程把所录制的声音数据周期性缓存起来，然后声音处理线程持续的去检查缓存并获取原始数据，之后开始如下处理：

第一步：对所录制的声音分帧。这步可以通过滑动窗口完成，滑动窗口长度可以根据感知周期确定。滑动窗口的重叠部分长度设为窗口长度的10％。这样，所录的声音就被分成几个小片段，包含整个双声道线性调频音频数据和它的回音数据。图3的(a)图就是分帧后的一帧，横纵为时间，纵轴为信号振幅，图中的曲线代表了麦克风所录制的原始音频以及它的回音。

第二步：对每一帧去噪。实验当中可能存在不同噪声，如空调声音、说话声音、播放音乐等等，都会对实验结果造成一定影响，干扰了对原始线性调频音频信号和它的回音的检测。由于我们所设计的线性调频音频信号，其频率范围为12kHz到20kHz。故我们需要滤波范围为12kHz到20kHz的带通滤波器进行去噪。图3的(b)图是我们使用带通滤波器处理后的信号，横纵为时间，纵轴为信号振幅，图中的曲线代表了经带通滤波器去噪后的音频以及它的回音。

第三步：包络线检测。匹配滤波器广泛使用在雷达系统中来更好的识别重叠波。匹配滤波器的输出对应着线性调频音频信号和帧的相关性。所以，线性调频音频信号和它的回音的位置就对应匹配滤波器的输出的峰值点。但是，匹配滤波器的输出包含了一些干扰回音检测的离群值。为此，本发明平滑了输出结果的包络线。图3的(c)图展示了已平滑包络线的匹配滤波器的输出，横纵为时间，纵轴为信号振幅，图中的曲线代表了去噪后音频以及它的回音的包络线。

第四步：峰值检测。为了估计线性调频音频信号的飞行时间，需要找出前一步平滑包络线的峰值点。可以看出，图3的(c)图存在四个峰值点，Pklo、Pkle对应左声道的原始线性调频音频信号的峰值点和它的回音信号的峰值点。Pkro、Pkre对应右声道的原始线性调频音频信号的峰值点和它的回音信号的峰值点。找出每个滑动窗口的峰值点，并根据振幅排序，前四个峰值点属于原始双声道线性调频音频信号和他们的回音。

第五步：距离测量。从前面四步可以获得原始线性调频音频信号峰值点对应的时刻，以及它回音峰值点对应的时刻。这两个时刻相减的时间差就是扬声器发出的线性调频音频信号经用户手掌回音到麦克风的飞行时间。左右声道都可以得到这些时刻，分别记作Ilo、Ile、Iro和Ire。用户手掌C距左扬声器和麦克风中点A为||AC||，以及右扬声器和麦克风的中点B为||BC||，他们由以下公式计算：

| | A C | | = \frac{I_{l e} - I_{l o}}{2 S_{f}}

| | B C | | = \frac{I_{r e} - I_{r o}}{2 S_{f}}

其中，Sf为采样率，c是空气中的声速。

步骤C、计算定位点的坐标，图2中简单示意了定位方法的几何模型，Speak代表扬声器，Mic代表麦克风，ECHO代表回音，Chirp代表本发明所设计的线性调频信号，θ代表手掌对手机的方位角。前面步骤得出的||AC||和||BC||可以看作用户手掌距离扬声器阵列的距离。用户手掌C到手机的距离可以看作||OC||。前面我们假设||OC||远大于||AB||，所以||OC||可以由以下公式估计：

方位角θ＝角COB。由以下公式得出：

θ = a r c c o s \frac{(| | A C | | - | | B C | |) (| | A C | | + | | B C | |)}{2 | | A B | | | | O C | |} \approx a r c c o s \frac{| | A C | | - | | B C | |}{| | A B | |}

由于算出了用户手掌到手机的距离和用户手掌对手机的方位角，这就可以定位到用户手掌。这两个参数可以看作是用户手掌的极坐标，然后在基于坐标的定位中，平面直角坐标用得更多，那么，我们可以通过以下公式得到用户手掌的直角坐标(x，y)：

(x，y)＝(||OC||cosθ，||OC||sinθ)。

实施例2

为了验证本发明的有益效果，对实施例1进行真实实验验证。

本实施例的具体实施，是将本发明所提方法所依托的声学手掌定位系统中的计算模块放置于外置服务器中完成；即本发明所依托的系统由客户端和服务器组成。

其中，客户端(配备立体声扬声器的智能手机)周期性发送双声道线性调频信号，并持续录音，最后所录的音将会发送到服务器中。服务器执行位置计算，并把所计算的坐标返回客户端。

配备立体声扬声器的智能手机扮演客户端的角色。特别地，由于iPhone 4s的音频芯片能处理20kHz的音频信号，故此，本发明在运行IOS9.1的iPhone 4s上实现我们提出的手定位系统。此外，还需为手机配备一个立体声扬声器，EDIFIER R18T，这个扬声器有极为平坦的频率响应达到20kHz。线性调频音频信号的生成、声音信号的录音以及原始数据发送到服务器都是通过调用IOS9.1API来实现的。服务器的配置参数是：Intel i5-45903.3GHz处理器、4GB内存。服务器程序使用java开发，JDK1.6，负责解释原始数据，处理并返回结果。客户端和服务器通过WIFI通信。

本实验在实验室的一块5m x 6m的小区域执行的，当然实验室存在多径效应和噪声。我们把手机放在桌子上，用户手掌离手机一段距离。用户手掌是一块大小为5cm x 18cm的方块盒子，可以看作手掌的替代物。为了准确控制真实位置，我们在地面画了一些参考点，如图4所示，横纵为手掌的横坐标，纵轴为手掌的纵轴表，其中还包括手掌的极坐标信息，圆圈作为每个已知位置的参考点。作为定位测试，我们把用户手掌放在每一个参考点。

测量用户手掌到手机的距离是本发明的关键部分，直接影响到位置估计的精度。本发明从测距和定位的平均误差和标准差衡量本系统的性能。图5的(a)图和(b)图展示了测距模块的平均误差和标准差，表格水平方向代表手掌的角度，垂直方向代表手掌到手机的距离，表格里面的数据分别代表在对应角度和距离下测距的平均误差和标准差。图6的(a)图和(b)图展示了定位的平均误差和标准差，表格水平方向代表手掌的角度，垂直方向代表手掌到手机的距离，表格里面的数据分别代表在对应角度和距离下定位的平均误差和标准差。值得注意的是，与测距平均误差相比，定位平均误差更大。这是由于累积的测距误差造成的，而且测距只是影响定位的一部分，另外的方位角度也可能存在误差。从图5中的表格可以发现一个有趣的类似现象：中间的数据要小于外围边缘数据，也就是处于中间位置的平均误差小。此外，从图5的(b)图可以看出测距有更高的稳定性，因为每个位置是精准放置的。而在图6的(b)图中，由于累计了距离估计的误差，位置估计相对不稳定。我们也发现了当用户手掌正面对着手机时精度最高，因为此时的回音反射得更强烈，这导致了峰值点的检测更准。

最后，我们从累计分布函数cdf和概率密度函数来衡量本发明的定位方法的准确度，分别如图7和图8所示，其中，分别展示出距离和位置估计的准确概率，横纵代表测距和位置估计的误差，纵轴分别代表累积分布概率和概率密度函数的值，由于累积分布函数是递增的，故图7的曲线是上升的，而且测距的误差比位置估计的误差小，所以测距cdf曲线在位置估计的曲线之上。图8为本实施例中测距和位置估计的概率密度图，反映落在某个范围的概率。从中表明了距离估计的平均精度有98％的概率达到5cm，89％的概率达到3cm。对于位置估计来说，有73％的概率达到5cm的平均精度，48％达到3cm。

值得注意的是，这些结果只针对静态定位，如果我们允许简单修改平滑轨迹进行持续测量，那么精度还可以得到进一步提高。

综上所述，本发明所提出的基于商用设备的免携带设备手掌定位方法，通过为智能手机配备一对立体声扬声器，加上内置的麦克风与用户手掌构成一个三角关系，并立体声音箱的左右声道分别发射线性调频信号，麦克风将录制到该信号经过用户手掌反射后的信号，通过检测录制后音频信号的峰值点，得出音频信号在扬声器和麦克风之间的飞行时间，再利用声速和采样率，从而导出三角关系中，用户手掌到手机的距离和对手机的方位角，此外，利用的是音频信号，其频率范围是12kHz到20kHz，属于对人耳不敏感的频段，达到了对用户手掌精准定位的同时，对用户手掌的干扰最小，全部定位过程都不要求用户手掌携带手机，从而达到了免携带设备的零干扰目的。

以上所述的具体描述，对发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例，用于解释本发明，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种基于商用设备的免携带设备手掌定位人机交互方法，其特征在于：

将生活工作环境中常见的电子设备、智能手机和立体声音箱组合在一起，利用立体声音箱配备的左右声道主动发出特定的音频信号，然后手机麦克风录制到该信号及其经过手掌反射后的回声；再通过计算音频信号的飞行时间(ToF，Time of Flying)来估算手掌分别距离立体声音响的左右声道的距离，从而利用手掌与左右声道组成的三角关系实现对用户手掌的定位；

一种基于商用设备的免携带设备手掌定位人机交互方法所依托的系统，简称声学手掌定位系统，包括智能手持设备、立体声音箱、定位对象、计算模块以及外置服务器；

其中，定位对象指手掌；

其中，计算模块也可以省略，其功能可以由智能手持设备或者外置服务器完成；如果由智能手持设备完成，则外置服务器也可以省略；

智能手持设备包括扬声器、麦克风、处理单元。

2.如权利要求1所述的一种基于商用设备的免携带设备手掌定位人机交互方法，其特征还在于，包括以下四个步骤：

步骤四、位置估计阶段：声学手掌定位系统的位置估算模块利用利用手掌与左右声道组成的三角关系估计用户手掌的位置，可通过平滑方法缩小估计误差；

3.如权利要求2所述的一种基于商用设备的免携带设备手掌定位人机交互方法，其特征还在于：

步骤一中，所述的双声道线性调频音频信号的频率范围为12kHz到20kHz，其目的是保证对用户手掌无干扰；

其中，麦克风置于立体声印象的左声道和右声道中间，左右声道距离设置范围为：10到30cm，不同的间距对应不同的手掌感知区域。

4.如权利要求2所述的一种基于商用设备的免携带设备手掌定位人机交互方法，其特征还在于：

步骤二中，回音信号转换为的数据可以被声学手掌定位系统处理线程模块调用并读取。

5.如权利要求2所述的一种基于商用设备的免携带设备手掌定位人机交互方法，其特征还在于：

步骤三中对每一帧的去噪可以采用12kHz到20kHz的带通滤波器。

6.如权利要求2所述的一种基于商用设备的免携带设备手掌定位人机交互方法，其特征还在于：

步骤三中的匹配滤波法，即包络检测法，根据文献2015IEEE Internet of Things，″Asoftware-based sonar ranging sensor for smart phones″的公式(5)和公式(6)计算；具体分为两步：1.对匹配滤波后的结果求包络；2.波峰检测。

7.如权利要求6所述的一种基于商用设备的免携带设备手掌定位人机交互方法，其特征还在于：

其中，波峰检测是对数据进行滑动窗口处理，求出每个滑动窗口的最大值，然后将所有滑动窗口求出的最大值，进行从大到小排序，前四个值对应的索引即为信号及回声的帧索引。

8.如权利要求2所述的一种基于商用设备的免携带设备手掌定位人机交互方法，其特征还在于：

步骤四具体为：利用步骤三的测距结果算出手掌到两个扬声器的距离，然后手掌到手机的距离约等于这两个距离和的平均值，再由手掌与左声道及右声道的三角关系算出手掌对手机的方位角，以此算得的距离和方位角可对手掌进行定位。