CN101820310A - 基于端点检测的无线音频传感器网络音频媒体的同步方法 - Google Patents

Abstract

一种基于端点检测的无线音频传感器网络音频媒体的同步方法，是各采集节点分别采用端点检测方法，检测和确定所采集的音频流中的起始时间后，再在各自音频流的起始时间点触发和加入设定参数的载波；再由作为每个簇内的数据处理中心的簇头节点，对接收到的、来自各采集节点的音频信号进行滤波，然后对各路载波进行交叉相关性运算，获得各路载波间的延时差，并根据该延时差对原始音频流进行调整，最终在簇头节点实现各个音频流的同步。该方法仅需簇头节点组播一次同步消息，就可获得各采集节点的本地时钟偏差；再通过滤波和增加载波来辅助实现无线音频传感器网络中音频媒体同步，能够显著降低计算复杂度，节省节点能量，提高处理速度。

Description

基于端点检测的无线音频传感器网络音频媒体的同步方法

技术领域

本发明涉及一种无线音频传感器网络领域的新技术，确切地说，涉及一种低复杂性、高精度的基于端点检测的无线音频传感器网络音频媒体的同步方法，属于无线传感器网络的技术领域。

背景技术

随着无线传感器网络技术的不断发展，很多新的应用都要求能够在传统传感器网络中传输音频信息，从而获得对监控区域更精确的理解，比如事件检测、目标跟踪、紧急事件响应等。通常情况下，在这些应用中，传感器节点采集音频流并传输给汇聚节点，汇聚节点采用信号处理技术从获得的原始数据中提取更丰富、更有意义的信息。但是，这种信号处理技术要求音频流能够实现相对同步。例如，在目标跟踪应用中，通过多个音频节点的协作来评估目标在摄像头无法覆盖区域的运动轨迹，如果音频流不同步，将导致节点不能精确定位目标。在数据融合系统中，为了抑制冗余信息的重复发送，识别同一事件的重复事件的检测，也需要音频流的同步。总之，在无线音频传感器网络中，音频流的同步是一种非常重要和实用的支撑技术。

目前的音频同步算法主要分为两类：

(1)基于全局时钟的前提下实现：采集节点为每个音频数据包添加统一时间戳，汇聚节点对数据包缓存并排序，然后将音频流根据时间戳对齐。这种方法的缺点是：一方面为获得全局时钟，需要交换大量的同步消息，能量消耗很大。尤其在事件驱动的应用中，全网在多数时间是不需要同步的。另一方面，这种方法没有考虑到音频传感节点采集数据时所发生的同步问题。而这个问题是由声源与各个传感节点的距离差而引起的。参见图1，声源距两个音频传感器节点A和B的距离不同，声音信号从声源到该两节点就有不同的传播延时，从而到达节点A和B的声音信号就存在同步误差。

(2)在没有全局时钟的前提下，汇聚节点通过计算各音频流间的最大相关性，评估音频流从声源到达各采集节点的时间延时差，从而调整音频流的时间轴来获得相对同步。这类算法的缺点是：由于各采集节点的芯片与放大电路等器件的差异，麦克灵敏度也各不相同，各传感节点采集到的音频流所引入的噪声也不一致；各个传感节点与声源之间的距离不同，所以引入的衰减也各不相同。而且，基于音频信号的相关性运算，其计算量和误差都比较大。

总之，现有技术还没有很好地解决和提供无线音频传感器网络音频媒体的同步方法，这个问题就自然成为许多业内科技人员关注的焦点。

发明内容

有鉴于此，本发明的目的是提供一种基于端点检测的无线音频传感器网络音频媒体的同步方法，该方法能够较好地克服了现有技术的不足，做到同步精度高，运算复杂度低，能量开销小。

为了达到上述目的，本发明提供了一种基于端点检测的无线音频传感器网络音频媒体的同步方法，其特征在于：各个音频采集节点分别采用端点检测方法，检测和确定所采集的音频流中的起始时间后，再在各自音频流的起始时间点触发和加入设定参数的载波；再由作为每个簇内的数据处理中心的簇头节点，对接收到的、来自各个采集节点的音频信号进行滤波，然后对各路载波进行交叉相关性运算，获得各路载波间的延时差，并根据该延时差对原始音频流进行调整，最终在簇头节点实现各个音频流的同步。

本发明技术的改进效果体现在：

众所周知，传统的基于音频内容的传播时间差的评估方法，计算量大，实时性差。本发明方法是在全网时钟不同步的情况下，实现了音频流的同步，而且，不需要频繁地往返传递同步消息，仅需要簇头节点组播一次同步消息，就可获得各个传感节点的本地时钟偏差。同时，簇头节点采用基于能量比例和过零率的时域分析方法进行音频流的端点检测，能耗小，精度较高。

此外，本发明方法还在音频数据流的端点检测基础上，增加一载波，再通过对该载波进行相关性运算，用于评估从声源到各传感器采集节点的声音传播时间差。这种方法大大减少了傅里叶变换以及相关性运算的计算工作量量，明显节省节点的能量，同时减少了处理延时。最后根据该评估数值来调整音频流，就能够非常方便地实现各音频流间的同步。

附图说明

图1是传感器节点音频数据流的同步问题示意图。

图2是本发明基于端点检测的无线音频传感器网络音频媒体同步方法的流程图。

图3是两个传感节点A、B实现同步的示意图。

图4是本发明方法的步骤(2)中，采用带通滤波器滤除音频流中的噪声信号，并向滤波后的音频流中加入载波的信号处理示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明作进一步的详细描述。

簇状网络是传感器网络中常用的一种拓扑结构，同一簇内的采集节点，将其采集的数据传送给簇头节点，簇头节点对收集的数据进行处理后，再经过多跳发送给汇聚节点。本发明方法的应用场景就是基于这种簇状网络，它是结合音频信号特征与数字信号处理技术，在采集节点对音频信号实时加入载波，通过对载波进行同步处理，从而获得音频流的最终同步。

端点检测通常用于确定语音信号的开始与结束，本发明采用的端点检测方法是用于确定加入载波的时间点。

本发明是一种基于端点检测的无线音频传感器网络音频媒体的同步方法，它是在各个音频采集节点分别采用端点检测方法，检测和确定所采集音频流中的起始时间后，再在各自音频流的起始时间点触发和加入设定参数的载波；再由作为每个簇内的数据处理中心的簇头节点，对接收到的、来自各个采集节点的音频信号进行滤波，然后对各路载波进行交叉相关性运算，获得各路载波间的延时差，并根据该延时差对原始音频流进行调整后，最终在簇头节点实现各个音频流的同步。

参见图3，具体说明本发明方法的下列五个操作步骤：

步骤1、初始化参数：设置采样频率，采样位数，帧长，帧间重叠，以及载波的初始相位、幅值和频率；其中采样频率要大于4Khz；采样位数是每个采样点所占的比特数，其取值范围是：[8，12]；帧长是每帧的采样点数，其取值范围是：[100，1024]；帧间重叠是相邻两帧之间重叠的采样点数，其数值取决于同步精度，计算公式为：帧长-采样频率×预期的同步精度；载波的初始相位及其幅值均为任意值；载波的频率要小于带通滤波器中的设定频率，以区别于音频信号频率。

步骤2、各音频采集节点检测音频流端点，加入载波信号：每个音频采集节点按照设置的采样频率采集音频信息，并缓存得到的音频流；先采用带通滤波器滤除音频流中位于设定频率范围(该设定频率范围是音频带宽，即300～3400Hz)以外的噪声信号，再根据包括能量和过零率的音频流特征，按照设置的帧长和帧间重叠参数，对滤波后的音频流进行逐帧分析，检测音频流的端点；一旦检测到新的音频流端点，就向该音频流的音频信号中加入相位重置为初始相位的设定参数的载波(参见图4)，并向簇头节点发送通知消息。

步骤3、簇头节点接收来自各采集节点的音频流，调整各路音频流的时钟偏差：簇头节点向上报通知消息的各个音频采集节点组播同步消息；各个音频采集节点收到该同步消息后，立即记录本地时钟，并向簇头节点发送加入载波后的音频流及其记录的本地时钟；簇头节点根据上报的本地时钟，计算各采集节点的时钟偏差；再从上报数据的各音频采集节点中随机选择一个作为参考节点(例如选择节点r为参考节点)，根据该参考节点的时钟对所有上报的音频流调整时钟偏差。该步骤3进一步包括下列计算操作内容：

(31)设采集节点i在第j个周期采集到的音频信号为：

${{\hat{m}}^i}_j\left(t\right)={{\mathrm{\Γ}}^i}_{j}m(t+{{\mathrm{\χ}}^i}_j+{{\mathrm{\Δ}}^i}_j)+{n^i}_j\left(t\right),$ 其中，Γⁱ _j、χⁱ _j和nⁱ _j(t)分别是在第j周期里声音信号从声源到采集节点i的衰减系数、传播延迟和引入的噪声；Δⁱ _j是该采集节点i在第j周期里本地时钟的相对偏移；然后(参见图4)在该经过带通滤波器滤除其中噪声的音频信号

上叠加载波hⁱ _j(t)，则被簇头节点接收到的信号为： $f_j^i\left(t\right)={{\hat{m}}^i}_j\left(t\right)+{h^i}_j\left(t\right);$ 式中，hⁱ _j(t)为采集节点i在第j个周期加入的载波信号，其表达式为： ${h^i}_j\left(t\right)=A\sin (\mathrm{bt}+c+{{\mathrm{\χ}}^i}_j+{{\mathrm{\Δ}}^i}_j),$ 其中，A、b、c分别为该载波信号的幅值、频率与初始相位；

(32)当采样节点r为参考节点，采集节点i和采样参考节点r在第j周期上报的、各自记录的本地时钟分别为tⁱ _j和t^r _j时，则计算得到该两个采样节点i与r的时钟偏差为： ${{\mathrm{\Δ}}^i}_j-{{\mathrm{\Δ}}^r}_j={t^i}_j-{t^r}_j;$ 式中，Δ^r _j表示节点r在第j周期里本地时钟的相对偏移；

(33)根据参考节点的时钟对所有上报的音频流调整时钟偏差：其中，采集节点i在第j个周期按照下述公式对采集到的音频信号进行时钟调整：

${\hat{m}}_j^{\′i}\left(t\right)={{\mathrm{\Γ}}^i}_{j}m(t+{{\mathrm{\χ}}^i}_j+{{\mathrm{\Δ}}^r}_j)+{n^i}_j\left(t\right),$ 同样地，再按照下述公式对载波信号进行时钟调整：

$h_j^{\′i}\left(t\right)=A\sin (\mathrm{bt}+c+{{\mathrm{\χ}}^i}_j+{{\mathrm{\Δ}}^r}_j);$

(34)经过时钟调整后的簇头节点接收到的信号为： $f_j^{\′i}\left(t\right)={\hat{m}}_j^{\′i}\left(t\right)+h_j^{\′i}\left(t\right)$

步骤4、簇头节点进行滤波处理，对其中载波信号进行延时评估：簇头节点先对接收到的经过时钟调整后信号进行滤波，然后对其中的载波信号的延时进行评估：对各路载波信号进行快速傅里叶变换和交叉相关性运算，估算各载波信号间的延时差。该步骤4进一步包括下列计算操作内容：

(41)对时钟调整后的采集节点i在第j个周期的信号f_j ^′i(t)进行滤波，以便簇头节点对其中载波信号h_j ^′i(t)与所采集的音频信号

分别进行处理；

(42)此时簇头节点接收到的、来自两个采集节点i和r的第j周期的载波信号分别为 $h_j^{\′i}\left(t\right)=A\sin (\mathrm{bt}+c+{{\mathrm{\χ}}^i}_j+{{\mathrm{\Δ}}^r}_j)$ 和 $h_j^{\′r}\left(t\right)=A\sin (\mathrm{bt}+c+{{\mathrm{\χ}}^r}_j+{{\mathrm{\Δ}}^r}_j);$ 再设声音信号从声源到该两个采集节点i与r的传播延时差为： ${\mathrm{\τ}}_j^{\mathrm{ir}}={{\mathrm{\χ}}^i}_j-{{\mathrm{\χ}}^r}_j;$ 采用下述步骤对τ_j ^ir进行评估：

先将载波信号转换到频域进行处理，即对载波信号h_j ^′i(t)和h_j ^′r(t)进行快速傅里叶变换： ${H^i}_j\left(f\right)=F\left(h_j^{\′i}\left(t\right)\right),$ 式中，F为离散傅里叶变换运算操作；

再对该两个频域信号H_j ⁱ(f)和H_j ^r(f)进行交叉相关性运算：

$R_{h_j^{\′i}{h}_j^{\′r}}\left(f\right)={H^i}_j{\left(f\right)}^{*}\×{H^r}_j\left(f\right),$ 式中，*为复数共轭运算；

最后，计算的最大似然估计值，得到音频传播评估的延时差τ_j ^ir。

步骤5、簇头节点调整各路音频流达到同步：簇头节点利用载波信号计算得到的音频传播延时差，从时间轴上对音频流进行调整，获得各音频流间的同步。

本发明已经进行了多次实施试验，试验的结果是成功的，实现了发明目的。

Claims (6)

1.一种基于端点检测的无线音频传感器网络音频媒体的同步方法，其特征在于：各个音频采集节点分别采用端点检测方法，检测和确定所采集的音频流中的起始时间后，再在各自音频流的起始时间点触发和加入设定参数的载波；再由作为每个簇内的数据处理中心的簇头节点，对接收到的、来自各个采集节点的音频信号进行滤波，然后对各路载波进行交叉相关性运算，获得各路载波间的延时差，并根据该延时差对原始音频流进行调整，最终在簇头节点实现各个音频流的同步。

2.根据权利要求1所述的方法，其特征在于：所述方法包括下列操作步骤：

(1)初始化参数：设置采样频率，采样位数，帧长，帧间重叠，以及载波的初始相位、幅值和频率；

(2)各音频采集节点检测音频流端点，加入载波信号：每个音频采集节点按照设置的采样频率采集音频信息，并缓存得到的音频流；先采用带通滤波器滤除音频流中位于设定频率范围以外的信号，再根据包括能量和过零率的音频流特征，按照设置的帧长和帧间重叠参数，对滤波后的音频流进行逐帧分析，检测音频流的端点；当检测到新的音频流端点时，就向该音频流的音频信号中加入相位重置为初始相位的设定参数的载波，并向簇头节点发送通知消息：

(3)簇头节点接收来自各采集节点的音频流，调整各路音频流的时钟偏差：簇头节点向上报通知消息的各个音频采集节点组播同步消息；各个音频采集节点收到该同步消息后，立即记录本地时钟，并向簇头节点发送加入载波后的音频流及其记录的本地时钟；簇头节点根据上报的本地时钟，计算各采集节点的时钟偏差；再从上报数据的各音频采集节点中随机选择一个作为参考节点，根据该参考节点的时钟对所有上报的音频流调整时钟偏差；

(4)簇头节点进行滤波处理，对其中载波信号进行延时评估：簇头节点先对接收到的经过时钟调整后信号进行滤波，然后对其中的载波信号的延时进行评估：对各路载波信号进行快速傅里叶变换和交叉相关性运算，估算各载波信号间的延时差；

(5)簇头节点调整各路音频流达到同步：簇头节点利用载波信号计算得到的音频传播延时差，从时间轴上对音频流进行调整，获得各音频流间的同步。

3.根据权利要求2所述的方法，其特征在于：所述采样频率要大于4Khz；所述采样位数是每个采样点所占的比特数，其取值范围是：[8，12]；所述帧长是每帧的采样点数，其取值范围是：[100，1024]；所述帧间重叠是相邻两帧之间重叠的采样点数，其数值取决于同步精度，计算公式为：帧长-采样频率×预期的同步精度；所述载波的初始相位及其幅值均为任意值；所述载波的频率要小于所述带通滤波器中的设定频率，以区别于音频信号频率。

4.根据权利要求2所述的方法，其特征在于：所述带通滤波器中的设定频率范围为音频带宽，即300～3400Hz。

5.根据权利要求2所述的方法，其特征在于：所述步骤(3)进一步包括下列计算操作内容：

(31)设采集节点i在第j个周期采集到的音频信号为： ${\hat{m}}_j^i\left(t\right)={\mathrm{\Γ}}_j^{i}m(t+{\mathrm{\χ}}_j^i+{\mathrm{\Δ}}_j^i)+n_j^i\left(t\right),$ 其中，Γ_j ⁱ、χ_j ⁱ和n_j ⁱ(t)分别是在第j周期里声音信号从声源到采集节点i的衰减系数、传播延迟和引入的噪声；Δ_j ⁱ是该采集节点i在第j周期里本地时钟的相对偏移；然后在该经过带通滤波器滤除其中噪声的音频信号上叠加载波h_j ⁱ(t)，则被簇头节点接收到的信号为： $f_j^i\left(t\right)={\hat{m}}_j^i\left(t\right)+h_j^i\left(t\right);$ 式中，h_j ⁱ(t)为采集节点i在第j个周期加入的载波信号，其表达式为： $h_j^i\left(t\right)=A\sin (\mathrm{bt}+c+{\mathrm{\χ}}_j^i+{\mathrm{\Δ}}_j^i),$ 其中A、b、c分别为该载波信号的幅值、频率与初始相位；

(32)设采样节点r为参考节点，采集节点i和采样节点r在第j周期上报的、各自记录的本地时钟分别为t_j ⁱ和t_j ^r，则计算得到该两个采样节点i与r的时钟偏差为： ${\mathrm{\Δ}}_j^i-{\mathrm{\Δ}}_j^r=t_j^i-t_j^r;$ 式中，Δ_j ^r表示节点r在第j周期里本地时钟的相对偏移；

(33)根据参考节点的时钟对所有上报的音频流调整时钟偏差：其中，采集节点i在第j个周期按照下述公式对采集到的音频信号进行时钟调整： ${\hat{m}}_j^{\′i}\left(t\right)={\mathrm{\Γ}}_j^{i}m(t+{\mathrm{\χ}}_j^i+{\mathrm{\Δ}}_j^r)+n_j^i\left(t\right),$ 同样地，再按照下述公式对载波信号进行时钟调整： $h_j^{\′i}\left(t\right)=A\sin (\mathrm{bt}+c+{\mathrm{\χ}}_j^i+{\mathrm{\Δ}}_j^r);$

(34)经过时钟调整后的簇头节点接收到的信号为： $f_j^{\′i}\left(t\right)={\hat{m}}_j^{\′i}\left(t\right)+h_j^{\′i}\left(t\right).$

6.根据权利要求2所述的方法，其特征在于：所述步骤(4)进一步包括下列计算操作内容：

(41)对时钟调整后的采集节点i在第j个周期的信号f_j′ⁱ(t)进行滤波，以便簇头节点对其中载波信号h_j′ⁱ(t)与所采集的音频信号

分别进行处理；

(42)此时簇头节点接收到的、来自两个采集节点i和r的第j周期的载波信号分别为 $h_j^{\′i}\left(t\right)=A\sin (\mathrm{bt}+c+{\mathrm{\χ}}_j^i+{\mathrm{\Δ}}_j^r)$ 和 $h_j^{\′r}\left(t\right)=A\sin (\mathrm{bt}+c+{\mathrm{\χ}}_j^r+{\mathrm{\Δ}}_j^r),$ 再设声音信号从声源到该两个采集节点i与r的传播延时差为： ${\mathrm{\τ}}_j^{\mathrm{ir}}={\mathrm{\χ}}_j^i-{\mathrm{\χ}}_j^r;$ 采用下述步骤对τ_j ^ir进行评估：

先将载波信号转换到频域进行处理，即对载波信号h_j′ⁱ(t)和h_j′^r(t)进行快速傅里叶变换： $H_j^i\left(f\right)=F\left(h_j^{\′i}\left(t\right)\right),$ 式中，F为离散傅里叶变换运算操作；

再对该两个频域信号H_j ⁱ(f)和H_j ^r(f)进行交叉相关性运算： $R_{h_j^{\′i}{h}_j^{\′r}}\left(f\right)=H_j^i{\left(f\right)}^{*}\×H_j^r\left(f\right),$ 式中，*为复数共轭运算；

最后，计算

的最大似然估计值，得到音频传播评估的延时差τ_j ^ir。

Images