CN112327252B - 一种基于多扬声器和多麦克风声波多目标追踪方法 - Google Patents

Abstract

本发明属于多目标识别与追踪技术领域，具体公开了一种基于多扬声器和多麦克风声波多目标追踪方法，包括以下步骤：设计一类自相关强互相关弱声波信号并通过扬声器发送；识别直射信号和来自若干个目标的反射信号，获得直射信号的到达时间和反射信号的到达时间，并利用反射信号的飞行时间计算反射信号的传播路径长度；以对应麦克风和扬声器为焦点，结合来自目标的反射信号传播路径长度绘制椭圆，并利用多个椭圆的交点来确定多个目标的位置。本发明不受环境、设备自身状况等因素的影响，具有良好的可移植性，弥补了电子设备现有目标追踪方案的不足。

Description

一种基于多扬声器和多麦克风声波多目标追踪方法

技术领域

本发明属于目标识别技术领域，涉及基于声学信号的目标追踪技术，特别涉及一种基于多扬声器和多麦克风声波多目标追踪方法。

背景技术

随着电子设备的普及和信息化水平的提高，目标追踪技术在各类应用场景中得以拓展，高精度、低时延、非单一目标追踪等都成为其发展的重点。利用目标追踪技术并融合多维度信息可对目标进行实时高精度跟踪定位，从而进一步提升计算机设备的智能化程度，在当今各领域发挥其更大的价值。

目前，被动式目标追踪和手势识别成为目标追踪领域中新的热点。这里的被动式是指用户身体上无需额外佩戴专门的硬件设备，只利用电子设备现有的硬件基础即可实现相应的功能。也正是因为其较低的硬件部署成本和良好的使用体验，可以更加便捷地融入人们的日常生活。

现存基于视觉和基于射频信号的被动式目标追踪方案都存在不足。基于视觉的目标识别和追踪技术利用摄像头拍摄目标进行图像识别，存在诸多缺点，例如：识别精度受摄像头视角范围、像素、环境光照等因素影响，有些甚至还需要深度摄像头等专门设备辅助。基于射频信号的目标追踪和识别虽然可以克服基于视觉方案的限制，但是仍需要专门的传感器硬件作支撑，且由于无线信号传播速度快无法实现细粒度手势追踪。

与上述两类方案不同，基于声音信号的方案显现出了独特的优势。一方面，因为声波传播不受光照等环境条件限制，从而可以适应更多的应用场景。另一方面，因为声波传播速度较慢且更容易被处理，从而能够实现细粒度的目标追踪。此外，目前市面上大多电子设备都配备了多麦克风和多扬声器，利用这个特性，基于声学信号的方案可以无需添加额外硬件的情况下部署在这些设备上，具有良好的兼容性。基于此，本发明设计了基于多麦克风和多扬声器的目标追踪方法。

发明内容

针对现有技术存在的不足，本发明提供一种基于多扬声器和多麦克风声波多目标追踪方法，解决现有目标识别和追踪技术必须依赖辅助设备且易受外界环境影响的问题，本发明无需部署额外的智能硬件，仅依靠现有的硬件基础即可实现高精度、低时延的多目标跟踪。同时，本发明不受环境、设备自身状况等因素的影响，具有良好的可移植性，弥补了电子设备现有目标追踪方案的不足。

为了解决上述技术问题，本发明采用的技术方案是：

一种基于多扬声器和多麦克风声波多目标追踪方法，包括以下步骤：

S1、设计一类自相关强互相关弱声波信号并通过扬声器发送；

S2、识别直射信号和来自若干个目标的反射信号，获得直射信号的到达时间和反射信号的到达时间，并利用反射信号的飞行时间计算反射信号的传播路径长度；

S3、以对应麦克风和扬声器为焦点，结合来自目标的反射信号传播路径长度绘制椭圆，并利用多个椭圆的交点来确定多个目标的位置。

进一步的，S1中，使用若干个扬声器和若干个麦克风，包括多个扬声器和多个麦克风、或一个扬声器和多个麦克风、或多个扬声器和一个麦克风；声波信号是人耳无法听见或察觉的频率为18kHz及以上的信号。

进一步的，S2中，通过求解接收信号和发送信号的互相关来确定信号到达时间，利用接收信号相较于发送信号的相位偏转来修正信号到达时间的误差，获得准确的信号到达时间。

进一步的，为确定直射信号的到达时间，一边利用麦克风持续接收，一边利用需要确定的声波信号与接收信号进行互相关操作，互相关操作的结果仅会在接收到对应的声波信号的时候出现明显峰值，在没有对应信号到达和其他信号到达时都近似为零；

通过遍历互相关操作的结果，根据峰值下标便可初步确定直射信号的到达时间；随后利用接收信号和发送信号相位差修正估计到达时间与实际到达时间之间的误差，获得准确的直射信号到达时间。

进一步的，在修正到达时间误差时，k₁和k₂子载波上的相位误差可以表示为：

其中

和

是调制在不同子载波上的复数值，

和

为接收信号在不同子载波上复数值，angle()为取复数值相位的角度；Δt_sym为符号时间偏移，Δt_s为采样时间偏移，φ₀为相位偏移，Δf为频率偏移，Δt_sym，Δt_s，φ₀，Δf共同作用导致了相位偏转，T_sym为OFDM符号持续时间；

两式子相减可得k₁与k₂子载波相位旋转的差值为：

最后进行转换即可得到估计直射信号起点和实际直射信号起点的偏移Δn_d：

这里Δk为子载波的频率间隔，T_s为采样间隔，N为发送信号长度，T_sym＝N·T_s，其中Δn_d的整数部部分就是符号时间偏移Δt_sym的偏移采样点个数，小数就是采样定时偏移Δt_s；

通过不同子载波的两两组合取平均，可以消除随机误差，公式如下：

利用估计直射信号的起点n_d与直射信号起点偏移

相减，便可以在麦克风端获得精确直射信号到达时间t_d；

然后，通过测量扬声器和麦克风之间的距离结合声速便可以获得直射信号的传播时间T_d，至此信号的发送时间t_s＝t_d-T_d便可获得。

进一步的，为确定反射信号的到达时间，将接收信号与发送信号的互相关操作的结果与其延迟一个信号周期的结果错位相减后，静止物体和环境噪声的影响抵消，互相关操作结果的差值趋近于零；当移动目标反射的反射信号到达时，互相关操作结果的差值不为零；

通过遍历互相关操作的差并识别峰，捕获所有经移动目标反射的对应的声波信号的到达时间t_r；同时，通过峰的振幅、宽度特征，区分不同来自不同目标的反射信号。

进一步的，S2中，在获得直射信号的到达时间和对应目标反射信号到达时间的基础上，利用直射信号的到达时间减去直射信号的飞行时间，便可以获得信号的发送时间；随后利用反射信号的到达时间减去声波信号的发送时间，便获得反射信号在空气中的飞行时间T_r，T_r＝t_r-t_s；利用这个反射信号的飞行时间乘以声速，便可以获得对应反射信号的传播路径长度。

与现有技术相比，本发明优点在于：

1.本发明无需部署额外的智能硬件，仅需要使用设备都普遍集成的多个扬声器和多个麦克风现有的硬件便可工作，实现高精度、低时延的多目标跟踪，相较于需要集成特制传感器(例如：手势传感器，深度摄像头)的方案，可移植性、兼容性和适应性更好。

2.基于声波实现定位操作，利用常人无法感知的特制声波信号实现功能，发明运行时不会对用户的正常工作和生活产生影响，可以很自然地融入用户的生活。

3.本发明可使用户在不触碰设备情况下完成对电子设备的操作，且操控范围不受触摸屏尺寸大小的限制，交互更为自然便捷。

4.利用特殊的信号设计方案，使得发明可以同时使用设备的多个扬声器共同完成定位工作，也可以使得同一区域内多个设备在互不影响情况下同时工作。

5.可以避免多目标相互遮挡导致仅使用一个麦克风而无法工作的问题，进而实现同时追踪多个目标。并以此实现多点交互，实现更加复杂的手势操作。

6.在获得信号到达时间时，本发明利用原始的和延时后的接收信号和发送信号的互相关做差的方法，来消除静态物体和环境噪声的影响，从而只捕获经不同移动目标反射的信号。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的方法流程示意图；

图2为扬声器和麦克风的时间轴对比示意图；

图3为解调后的信号与发送信号进行互相关操作的结果；

图4展示估计的直射信号到达时间和实际直射信号到达时间的误差；

图5展示了将互相关操作的结果于其延迟一个信号周期的结果错位相减后的图象；

图6展示了实施例中如何用三个椭圆的交点确定手指位置的示意图。

具体实施方式

下面结合附图及具体实施例对本发明作进一步的说明。

本发明设计一种基于多扬声器和多麦克风声波多目标追踪方法，主要设计思路为：首先识别经用户手部反射的由不同扬声器发送的特制声波信号；随后测量信号的飞行时间并通过计算获得信号在不同目标和电子设备之间传播路径的长度；最后以不同的扬声器和麦克风为焦点结合声波信号的传播路径长度绘制多个椭圆，利用多个椭圆的交点来确定目标位置。

结合图1所示，具体包括以下步骤：

S1、为减少扬声器之间的相互干扰和唯一的表示扬声器，设计一类自相关强互相关弱声波信号并通过扬声器发送。

选择恒包络零自相关序列(Const Amplitude Zero Auto-Correlation，CAZAC)作为基带信号。常见的CAZAC序列例如：Zadoff-Chu序列、广义Chirp-Like(GeneralizedChirp-Like，GCL)序列、Frank序列和Golomb序列等。发明为多个扬声器分别分配不同的CAZAC序列，以此来区分和识别来自不同的扬声器信号。

完成基带信号选择后，发明利用特殊的调制方法生成可以直接发送的同样具有良好互相关性和理想自相关性的声波信号，减弱扬声器之间的相互干扰并唯一的标识扬声器，使得多个扬声器和麦克风可以同时独立工作。一种做法是：首先将设备可用的频段均匀分成多个子载波，并利用FFT和IFFT将不同的基带信号对应调制到子载波上，生成声波信号。另一种方案为：先将基带信号进行插值和频谱压缩处理，压缩基带信号的带宽。随后通过IQ调制生成声波信号。

最后，本发明利用扬声器将声波信号连续发送。

其中，需要指出的是，本发明S1中使用电子设备的若干个扬声器和若干个麦克风，包括多个扬声器和多个麦克风、或一个扬声器和多个麦克风、或多个扬声器和一个麦克风；发射的声波信号是人耳无法听见或察觉的超声波或接近超声波频率的信号(频率约为18kHz及以上)。

S2、识别直射信号和来自若干个目标的反射信号，获得直射信号的到达时间和反射信号的到达时间，并利用反射信号的飞行时间计算反射信号的传播路径长度。

图2将扬声器和麦克风的时间轴独立表示是因为，通常在设备中扬声器和麦克风相互独立工作，没有进行时间同步。扬声器在t_s时刻发出声波信号，麦克风分别在t_d和t_r时刻接收到直射的声波信号和经物体反射的声波信号。因此，计算反射信号的飞行时间T_r＝t_r-t_s需要先进行时间同步操作，在麦克风的时间轴上获得信号的发送时间t_s。

本发明通过求解接收信号和发送信号的互相关来确定信号到达时间，利用接收信号相较于发送信号的相位偏转来修正信号到达时间的误差，获得准确的信号到达时间。

具体的，(1)为确定直射信号的到达时间，本发明一边利用麦克风持续接收，一边利用需要确定的声波信号与接收信号进行互相关操作，互相关操作的结果仅会在接收到对应的声波信号的时候出现明显峰值，在没有对应信号到达和其他信号到达时都近似为零。本发明通过遍历互相关操作的结果，根据峰值下标便可初步确定直射信号的到达时间；随后利用接收信号和发送信号相位差修正估计到达时间与实际到达时间之间的误差，获得准确的直射信号到达时间。

图3为解调后的信号与发送信号进行互相关操作的结果，根据脉冲压缩原理、发送信号具有的良好的互相关性和理想的自相关以及直射信号通常衰减最小拥有最大的幅值，通过遍历互相关操作的结果，每个发送周期内的最大值对应的下标即表示直射信号的到达时间。但是从图3中可以看到，原本应该成周期性的下标存在漂移(受环境噪声等因素影响)。

图4展示了估计的直射信号到达时间和实际直射信号到达时间的误差，即符号时间偏移Δt_sym和采样时间偏移Δt_s。在本发明中，发射信号可以表示为：

这里X_k为已知的被调制在第k个子载波上的复数值，N为发送信号长度，j是虚数标志。接收端估计的直射信号起点n开始，取未解调的接收信号y_n可以表示为：

其中，H_k是第k个子载波的信道状态信息，T_sym为OFDM符号持续时间，Δt_sym为符号时间偏移，Δt_s为采样时间偏移，φ₀为相位偏移，Δf为频率偏移，Δt_sym，Δt_s，φ₀，Δf它们共同作用导致了相位偏转。但是由y_n可知，符号时间偏移Δt_sym和采样时间偏移Δt_s造成的相位变化与子载波频率大小成正比，而其他误差对于不同子载波造成的影响相同。对接收的符号y_n进行傅里叶变换后可得公式：

其中I_k为子载波间干扰(ICI)，N_k为不同子载波上的噪声。

本发明在修正到达时间误差时，k₁和k₂子载波上的相位误差可以表示为：

其中

和

是调制在不同子载波上的复数值，

和

为接收信号在不同子载波上复数值，angle()为取复数值相位的角度；Δt_sym为符号时间偏移，Δt_s为采样时间偏移，φ₀为相位偏移，Δf为频率偏移，Δt_sym，Δt_s，φ₀，Δf共同作用导致了相位偏转，T_sym为OFDM符号持续时间；

两式子相减可得k₁与k₂子载波相位旋转的差值为：

最后进行转换即可得到估计直射信号起点和实际直射信号起点的偏移Δn_d：

这里Δk为子载波的频率间隔，T_s为采样间隔，N为发送信号长度，T_sym＝N·T_s，其中Δn_d的整数部部分就是符号时间偏移Δt_sym的偏移采样点个数，小数就是采样定时偏移Δt_s；

通过不同子载波的两两组合取平均，可以消除随机误差，公式如下：

虽然误差修正需要FFT等操作计算复杂，但是执行频率不需要很高，所以并不会造成很大开支。利用估计直射信号的起点n_d与直射信号起点偏移

相减，便可以在麦克风端获得精确直射信号到达时间t_d。

然后系统在这基础上，通过测量扬声器和麦克风之间的距离结合声速便可以获得直射信号的传播时间T_d，至此信号的发送时间t_s＝t_d-T_d便可获得。

(2)为确定反射信号的到达时间，将接收信号与发送信号的互相关操作的结果与其延迟一个信号周期的结果错位相减后，静止物体和环境噪声的影响抵消，互相关操作结果的差值趋近于零。当移动目标反射的反射信号到达时，互相关操作结果的差值不为零。

本发明通过遍历互相关操作的差并识别峰，捕获所有经移动目标反射的对应的声波信号的到达时间t_r；同时，通过峰的振幅、宽度特征，区分不同来自不同目标的反射信号。

在图5中，展示了将上文中互相关操作的结果于其延迟一个信号周期的结果错位相减后的图象，由上文可知互相关操作的差仅在由移动目标反射的反射信号到达时出现峰值，发明通过遍历识别这些峰，如此便可以捕获所有经移动目标反射的对应的声波信号的到达时间t_r。

至此，在获得直射信号的到达时间和对应目标反射信号到达时间的基础上，利用直射信号的到达时间减去直射信号的飞行时间，便可以获得信号的发送时间；随后利用反射信号的到达时间减去声波信号的发送时间，便获得反射信号在空气中的飞行时间T_r，T_r＝t_r-t_s；利用这个反射信号的飞行时间乘以声速，便可以获得对应反射信号的传播路径长度，即T_r·C。

S3、以对应麦克风和扬声器为焦点，结合来自目标的反射信号传播路径长度绘制椭圆，并利用多个椭圆的交点来确定多个目标的位置。

具体的操作是，在完成反射信号传播路径测量后，系统以发出信号的扬声器和接收信号的麦克风作为椭圆的两个焦点，可以绘制出一个经过目标椭圆。因为利用不同组合的扬声器和麦克峰绘制椭圆会在目标位置相交，故通过识别多个椭圆的交点便可以确定目标的位置。

在图6中展示了如何用三个椭圆的交点确定手指位置的示意图。在分别获得由不同扬声器发出的经目标反射到达对应麦克风的反射信号的传播路径长度后，以该扬声器和麦克风作为椭圆的焦点，绘制3个椭圆。3个椭圆的交点便确定了目标的位置，即用户的手的位置。

综上所述，本发明使用电子设备的多个扬声器和多个麦克风(或一个扬声器和多个麦克风，或多个扬声器和一个麦克风)，发射人耳无法听见或察觉的超声波或接近超声波频率的信号(频率约为18kHz及以上)、接收反射和折射的声波信号(其中包括经一个或多个目标反射的信号)、计算多路反射信号飞行时间和信号传播路径长度、综合多路信号传播路径长度来确定所有目标的实时位置。

本发明无需部署额外的智能硬件，利用扬声器发送特殊设计的具有理想自相关性的超声信号，并通过求解接收信号和发送信号的互相关来确定信号到达时间。利用接收信号相较于发送信号的相位偏转来修正信号到达时间的误差，获得准确的信号到达时间。利用直射超声信号的到达时间来实现扬声器和麦克风之间的时间同步，并以此为基准计算经目标反射的信号的飞行时间。利用原始的和延时后的接收信号和发送信号的互相关做差的方法，来消除静态物体和环境噪声的影响，从而只捕获经不同移动目标反射的信号。本发明不受环境、设备自身状况等因素的影响，具有良好的可移植性。

本发明具备能控制音响、音箱、喇叭、电喇叭、耳机、扬声器及其它硬件发出频率为18kHz及以上声音的功能，并具备能控制麦克风、话筒、收音器及其它硬件接收频率为18kHz及以上声音并以原始数据、WAVE、CD、AIFF、MPEG、MP3、MPEG-4、MIDI、WMA、RealAudio、VQF、OggVorbis、AMR、APE、FLAC、AAC及其他音频存储方式存储音频的功能；具备对原始数据、WAVE、CD、AIFF、MPEG、MP3、MPEG-4、MIDI、WMA、RealAudio、VQF、OggVorbis、AMR、APE、FLAC、AAC及其他格式的音频进行音频数据读取，并具备进行基于CPU或GPU的运算的功能。

当然，上述说明并非是对本发明的限制，本发明也并不限于上述举例，本技术领域的普通技术人员，在本发明的实质范围内，做出的变化、改型、添加或替换，都应属于本发明的保护范围。

Claims (2)

1.一种基于多扬声器和多麦克风声波多目标追踪方法，其特征在于，包括以下步骤：

S1、设计一类自相关强互相关弱声波信号并通过扬声器发送；

S2、识别直射信号和来自若干个目标的反射信号，获得直射信号的到达时间和反射信号的到达时间，并利用反射信号的飞行时间计算反射信号的传播路径长度；S2中，通过求解接收信号和发送信号的互相关来确定信号到达时间，利用接收信号相较于发送信号的相位偏转来修正信号到达时间的误差，获得准确的信号到达时间；具体如下：

为确定直射信号的到达时间，一边利用麦克风持续接收，一边利用需要确定的声波信号与接收信号进行互相关操作，互相关操作的结果仅会在接收到对应的声波信号的时候出现明显峰值，在没有对应信号到达和其他信号到达时都近似为零；通过遍历互相关操作的结果，根据峰值下标便可初步确定直射信号的到达时间；随后利用接收信号和发送信号相位差修正估计到达时间与实际到达时间之间的误差，获得准确的直射信号到达时间；

在修正到达时间误差时，k₁和k₂子载波上的相位误差可以表示为：

其中

和

是调制在不同子载波上的复数值，

和

为接收信号在不同子载波上复数值，angle()为取复数值相位的角度；Δt_sym为符号时间偏移，Δt_s为采样时间偏移，φ₀为相位偏移，Δf为频率偏移，Δt_sym，Δt_s，φ₀，Δf共同作用导致了相位偏转，T_sym为OFDM符号持续时间；

两式子相减可得k₁与k₂子载波相位旋转的差值为：

最后进行转换即可得到估计直射信号起点和实际直射信号起点的偏移Δn_d：

这里Δk为子载波的频率间隔，T_s为采样间隔，N为发送信号长度，T_sym＝N·T_s，其中Δn_d的整数部部分就是符号时间偏移Δt_sym的偏移采样点个数，小数就是采样定时偏移Δt_s；

通过不同子载波的两两组合取平均，可以消除随机误差，公式如下：

利用估计直射信号的起点n_d与直射信号起点偏移

相减，便可以在麦克风端获得精确直射信号到达时间t_d；

然后，通过测量扬声器和麦克风之间的距离结合声速便可以获得直射信号的传播时间T_d，至此信号的发送时间t_s＝t_d-T_d便可获得；

为确定反射信号的到达时间，将接收信号与发送信号的互相关操作的结果与其延迟一个信号周期的结果错位相减后，静止物体和环境噪声的影响抵消，互相关操作结果的差值趋近于零；当移动目标反射的反射信号到达时，互相关操作结果的差值不为零；

通过遍历互相关操作的差并识别峰，捕获所有经移动目标反射的对应的声波信号的到达时间t_r；同时，通过峰的振幅、宽度特征，区分不同来自不同目标的反射信号；

在获得直射信号的到达时间和对应目标反射信号到达时间的基础上，利用直射信号的到达时间减去直射信号的飞行时间，便可以获得信号的发送时间；随后利用反射信号的到达时间减去声波信号的发送时间，便获得反射信号在空气中的飞行时间T_r，T_r＝t_r-t_s；利用这个反射信号的飞行时间乘以声速，便可以获得对应反射信号的传播路径长度；

S3、以对应麦克风和扬声器为焦点，结合来自目标的反射信号传播路径长度绘制椭圆，并利用多个椭圆的交点来确定多个目标的位置。

2.根据权利要求1所述的一种基于多扬声器和多麦克风声波多目标追踪方法，其特征在于，S1中，使用若干个扬声器和若干个麦克风，包括多个扬声器和多个麦克风、或一个扬声器和多个麦克风、或多个扬声器和一个麦克风；声波信号是人耳无法听见或察觉的频率为18kHz及以上的信号。

Images