CN202949477U - 一种送受话端采样率偏差纠正系统 - Google Patents

Abstract

本实用新型公开了一种送受话端采样率偏差纠正系统，能够实时得到高精度的采样率偏差，并对送受话端信号进行采样率纠正，得到纠正后的采样率相同的送话端信号和受话端信号送入回声消除系统进行回声消除。本实用新型有助于提高回声消除的质量，且计算方法简单，成本较低。本实用新型实施例提供的送受话端采样率偏差纠正系统包括：时延估计器、采样率偏差估计器和采样率调整器，该时延估计器的输入端接入送话端信号和受话端信号，该时延估计器的输出端连接至采样率偏差估计器的输入端，该采样率偏差估计器的输出端连接至所述采样率调整器的输入端，该采样率调整器的输入端还接入送话端信号或受话端信号，该采样率调整器的输出端连接至回声消除系统。

Description

一种送受话端采样率偏差纠正系统

技术领域

本实用新型涉及音频处理技术领域，特别涉及一种送受话端采样率偏差纠正系统。

背景技术

语音通讯中，为保证通话质量和设备安全，通常会在语音通讯中做回声消除。目前常用的回声消除方法中，当受话端信号、送话端信号已知时，通过二者计算出回声路径滤波器以及回声信号，并将回声信号从送话端信号中消去，避免回声干扰通讯。

然而，当今大多数通讯已经实现数字化，受话端信号和送话端信号都是以数字方式传输的。由于采样时钟的不同，送受话端信号可能存在采样率差异，采样率差异会降低回声路径滤波器以及回声信号的估计精度，导致回声消除性能下降。

为了降低或消除采样率偏差对回声消除性能的影响，需要在回声消除之前计算出送受话端信号之间的采样率偏差并进行纠正。在计算采样率偏差时，现有方案一的做法是，统计一段时间内送受话端信号的采样时钟周期计算得到两端的采样率差异。现有方案二的做法是默认不同设备的采样率差异在20Hz以内，采用纯算法的方式，计算出采样率差异。在纠正采样率偏差时，现有方案通常采用将计算得到的采样率差异传递给回声消除滤波器，由回声消除系统进行相应的调节。

现有的采样率偏差纠正方案至少具有如下缺陷：

在计算采样率偏差时，现有方案一需要监测送受话端采样时钟，在一些情况下需要特别的硬件设置，比如设置高性能的CPU，对硬件要求较高，现有方案二在计算上较为繁琐，占用的存储资源也较多，并且仅适用于预先设置的采样率偏差的变动范围，采样率偏差的估计精度也容易受到外在干扰的影响。而且现有方案并不直接对信号进行采样率偏差纠正，而只是将采样率偏差传递至回声消除系统由回声消除系统进行调节处理，这种由回声消除系统调节的方式，增加了回声消除系统的负担，影响了回声消除的效果。

实用新型内容

本实用新型提供了一种送受话端采样率偏差纠正系统，以解决现有方案要么对硬件设置要求较高，要么计算繁琐、适用范围较窄的问题以及现有方案中不直接对信号进行采样率偏差纠正所导致回声消除系统负担较重的问题。

为达到上述目的，本实用新型实施例采用了如下技术方案：

本实用新型实施例提供了一种送受话端采样率偏差纠正系统，所述系统包括：时延估计器、采样率偏差估计器和采样率调整器，所述时延估计器的输入端接入送话端信号和受话端信号，所述时延估计器的输出端连接至采样率偏差估计器的输入端，所述采样率偏差估计器的输出端连接至所述采样率调整器的输入端，所述采样率调整器的输入端还接入送话端信号或者受话端信号，所述采样率调整器的输出端连接至回声消除系统，

所述时延估计器，根据送受话端信号计算各采样时刻的受话端信号相对于送话端信号的传递函数；利用所述传递函数获取各采样时刻送受话端的传输时延；

所述采样率偏差估计器，利用所述传输时延和传输时延与采样率偏差之间的线性关系，采用参数拟合方式得到各采样时刻送受话端的采样率偏差；

所述采样率调整器，根据所述采样率偏差纠正各采样时刻送话端信号或受话端信号的采样率，以用于回声消除系统直接利用纠正后采样率相同的送话端信号和受话端信号进行回声消除。

本实用新型实施例的有益效果是：

本实用新型实施例利用传输时延与采样率偏差之间具有线性关系的特点，采用基于送受话端信号得出送受话端之间的传输时延，并参数拟合出送受话端之间采样率偏差的技术手段，能够实时得到高精度的采样率偏差，且无需额外的硬件开销，计算方法简单，降低了系统成本。进一步的，由于本方案采用了在回声消除操作之前进行采样率偏差纠正的技术手段，降低了回声消除系统的负担，提高了回声消除的质量。

附图说明

图1A为本实用新型实施例提供的采样率偏差恒定时传输时延和采样时刻的关系示意图；

图1B为本实用新型实施例提供的采样率偏差变化时传输时延和采样时刻的关系示意图；

图2为本实用新型实施例提供的一种采样率偏差纠正系统的结构示意图；

图3为本实用新型实施例提供的又一种采样率偏差纠正系统的结构示意图;

图4为本实用新型实施例提供的采样率纠正前后的回声消除效果实验结果图。

具体实施方式

为使本实用新型的目的、技术方案和优点更加清楚，下面将结合附图对本实用新型实施方式作进一步地详细描述。

本实用新型实施例利用了传输时延与采样率偏差之间具有线性关系的特点，在此通过如下分析说明利用上述特点可以纠正采样率偏差的原理：

若送受话端存在采样率偏差，则受话端和送话端之间的相对传输时延是采样时刻的线性函数，该线性函数可以表示如下：

$\mathrm{dFs}=\frac{\mathrm{FsS}-\mathrm{FsR}}{\mathrm{FsR}}$

其中，n为采样时刻，FsR为受话端采样频率，FsS为送话端采样频率，dFs为采样率偏差。

将采样时刻n时送受话端的传输时延表示为D[n]，则D[n]和n符合如下线性关系：

D[n]=n·dFs+c

其中，c为常数，由传输环境决定。

参见图1A，示出了采样率偏差恒定时，D[n]和n的关系示意图，图中的横坐标为采样时刻，纵坐标为传输时延，图中直线的斜率即为采样率偏差，当采样率偏差出现变化时，斜率也会发生变化。图1B中示出了采样率偏差恒定变化（非恒定）时D[n]和n的关系示意图。

由上可知，如果能求出D[n]，则从D[n]和n能够估计得到dFs，并根据dFs纠正送话端信号或受话端信号。如果估计是实时的，则当采样率偏差出现变化时，可以跟踪并适应变化，从而能够实现在线实时地纠正送受话端的采样率偏差。

本实用新型实施例结合具体的实现器件来说明本实施例所提供的送受话端采样率偏差纠正方案。

参见图2，示出了本实施例提供的一种采样率偏差纠正系统，该系统包括时延估计器1、采样率偏差估计器2和采样率调整器3，该系统中的受话端信号和送话端信号都是以数字方式传输的，所以相应的在送话端还设置有模数转换器，以将采集到的送话端的模拟信号y（t）转换为数字信号y[n]。送话端（数字）信号y[n]和受话端（数字）信号x[n]接入时延估计器1的输入端，时延估计器1的输出端连接至采样率偏差估计器2的输入端，从时延估计器1的输出端输出的传输时延D_E[n]被传输至采样率偏差估计器2的输入端。

采样率偏差估计器2的输出端连接至所述采样率调整器3的输入端，从采样率偏差估计器2的输出端输出的采样率偏差dFs_E[n]被传输至采样率调整器3的输入端，采样率调整器3的输出端连接至回声消除系统。

应当注意到的是，图2所示的场景中利用得到的采样率偏差对送话端信号进行纠正得到采样率相同的送受话端信号，所以，该场景下采样率调整器的输入端还接入送话端信号，纠正后的送话端信号y′[n]和受话端信号x[n]被传输至回声消除系统的输入端。

图2所示的示例中，利用采样率调整器对送话端信号的采样频率进行了纠正，一种可选的方式中，也可以利用采样率调整器对受话端信号的采样频率进行纠正，本实施例中主要以前者的情况为例进行说明。对于利用得到的采样率偏差对受话端信号进行纠正的场景，采样率调整器的输入端不需接入送话端信号，而需要接入受话端信号，该场景下将送话端信号y[n]和纠正后的受话端信号x′[n]]传输至回声消除系统的输入端。

上述时延估计器1，用于根据送受话端信号计算各采样时刻的受话端信号相对于送话端信号的传递函数；利用所述传递函数获取各采样时刻送受话端的传输时延；

上述采样率偏差估计器2，用于利用所述传输时延和传输时延与采样率偏差之间的线性关系，采用参数拟合方式得到各采样时刻送受话端的采样率偏差；

上述采样率调整器3，用于根据所述采样率偏差纠正各采样时刻送话端信号或受话端信号的采样率，以用于回声消除系统直接利用纠正后采样率相同的送话端信号和受话端信号进行回声消除。

由上可见，本实施例对送话端信号或受话端信号的采样率纠正之后再送入回声消除系统，即回声消除系统的输入量为具有相同采样频率的送受话端信号，本实施例采用在得到具有相同采样频率的送受话端信号再执行回声消除的方式，有助于提高回声消除的效果。而且减轻了位于数据处理后端的回声消除系统的负担。

参见图3，示出了图2中各器件的具体结构，利用上述器件执行采样率偏差纠正的操作主要包括如下三部分：

一、时延估计

本部分的操作主要由时延估计器实现，参见图3，送话端数字信号y[n]和受话端数字信号x[n]经过缓存器，分别形成送话端数据帧和受话端数据帧表示如下：

$\stackrel{\→}{x}\left[n\right]=\left(\begin{array}{cccc}x[n-L+1]& ...& x[n-1]& x\left[n\right]\end{array}\right)$

$\stackrel{\→}{y}\left[n\right]=\left(\begin{array}{cccc}y[n-L+1]& ...& y[n-1]& y\left[n\right]\end{array}\right)$

其中，n表示采样时刻，L表示数据帧的长度，即数据帧中元素的个数。

时延估计器1包括受话端缓存器11、送话端缓存器12、传递函数估计器13和时延计算器14。

送话端缓存器12，用于缓存各采样时刻的送话端信号。受话端缓存器11，用于缓存各采样时刻的受话端信号；

上述传递函数估计器13，用于对各采样时刻的每个当前采样时刻，利用送话端缓存器中当前采样时刻的送话端信号和当前采样时刻之前预定数量的送话端信号生成当前采样时刻的送话端数据帧；利用受话端缓存器中当前采样时刻的受话端信号和当前采样时刻之前预定数量的受话端信号生成当前采样时刻的受话端数据帧；以及利用当前采样时刻的所述送话端数据帧和受话端数据帧计算当前采样时刻的受话端信号相对于送话端信号的传递函数：

上述的预定数量为L-1，即时延估计器1的传递函数估计器13利用当前采样时刻的送话端信号y[n]和当前采样时刻之前L-1个送话端信号生成当前采样时刻的送话端数据帧

以及，利用当前采样时刻的受话端信号x[n]和当前采样时刻之前L-1个受话端信号生成当前采样时刻的受话端数据帧

L的具体数值与系统的输出时延限制有关，如L可以取256或512等。

将数据帧

和

送至传递函数估计器13的输入端，计算

到

的传递函数h。传递函数估计器13，通过如下计算方式，利用当前采样时刻的所述送话端数据帧和受话端数据帧计算当前采样时刻的受话端信号相对于送话端信号的传递函数，传递函数计算方式可以采用互功率谱和自功率谱相除的方式，具体公式如下：

h=ifft(H)

$H=\frac{E\left(X^{*}\right[E\left]Y\right[k\left]\right)}{E\left(X^{*}\right[k\left]X\right[k\left]\right)}$

其中，h为传递函数，X[k]为当前采样时刻n的受话端数据帧

的频域形式，Y[k]为当前采样时刻n的送话端数据帧的频域形式，H为传递函数h的频域形式，X^*[k]为X[k]的共轭，E(.)表示求期望运算，ifft(.)表示反傅里叶变换。

将传递函数估计器13计算出的传递函数输入时延计算器14，时延计算器14对各采样时刻的每个当前采样时刻，选取当前采样时刻的传递函数的绝对值的最大值所对应的时间点，作为当前采样时刻送受话端的传输时延估计值；以及，根据所述传输时延估计值得到所使用的当前采样时刻送受话端的传输时延。

本实施例中选取h绝对值的最大值位置所对应的h参数（时间参数）的数值作为送受话端信号时延估计值D_E[n]。

D_E[n]＝arg max[|h|]

其中，argmax为求最大值位置的运算。

D_E[n]和真实值D[n]之间有随机估计误差err[n]，满足如下关系：

D_E[n]＝D[n]+err[n]，其中err[n]为随机估计误差，均值为0。

D_E[n]与采样时刻n满足关系

D_E[n]＝n·dFs+c+err[n]

由上，通过时延估计器1的计算，对于每个采样时刻n都能计算得到相应的送受话端传输时延D_E[n]。

注：由于本实施例采用了利用当前采样时刻及当前采样时刻之间的信号来估计传输时延的方式，对于初始采样时刻，可以将该初始采样时刻之前的信号的数值采用默认数值（如0）。

二、采样率偏差估计

本部分的操作主要由采样率偏差估计器实现，参见图3，采样率偏差估计器包括时延缓存器21和时延采样率偏差拟合器22。将计算出的传输时延D_E[n]送入采样率偏差估计器的时延缓存器21，形成传输时延数据帧相对应的采样时刻所形成的数据帧记录为

则有：

${\stackrel{\→}{D}}_E\left[n\right]=\left(\begin{array}{cccc}{D}_E[n-M+1]& ...& D_E[n-1]& D_E\left[n\right]\end{array}\right)$

$\stackrel{\→}{n}=\left(\begin{array}{cccc}n-M+1& ...& n-1& n\end{array}\right)$

其中，M是数据帧的长度。M体现了观测时间的长短，本实施例中，观测时间的增长能够提高拟合的精度。

由上，采样率偏差估计器2中的时延缓存器21，用于缓存各采样时刻送受话端的传输时延。时延采样率偏差拟合器22，用于对各采样时刻的每个当前采样时刻，利用时延缓存器中当前采样时刻送受话端的传输时延和当前采样时刻之前预定数量的送受话端的传输时延生成当前采样时刻的传输时延数据帧；以及，根据传输时延与采样率偏差之间的线性关系将所述传输时延数据帧中的各元素相对于各采样时刻进行参数拟合，得到当前采样时刻送受话端的采样率偏差。

即时延采样率偏差拟合器22，利用当前采样时刻n送受话端的传输时延D_E[n]和当前采样时刻之前M-1个送受话端的传输时延生成当前采样时刻的传输时延数据帧

然后，采用时延采样率偏差拟合器22根据传输时延与采样率偏差之间的线性关系将所述传输时延数据帧中的各元素相对于各采样时刻进行参数拟合，得到当前采样时刻送受话端的采样率偏差。将

和

送入时延采样率偏差拟合器，估计

对

的斜率，此斜率就是估计出的采样率偏差dFs_E。

拟合方式可以采用最小二乘拟合、最大似然拟合或者其他参数拟合方式。

当采用最小二乘拟合时，具体的计算公式可以表示如下：

${\mathrm{dFs}}_E=\frac{\underset{k=n-M+1}{\overset{n}{\mathrm{\Σ}}}(k-\frac{2n-M+1}{2})\left(D_E\right[k]-E\left({\stackrel{\→}{D}}_E\right[n\left]\right))}{\mathrm{Var}\left(\stackrel{\→}{n}\right)}$

其中，dFs_E表示采样率偏差，E(.)表示求期望运算，Var(.)为求方差运算。

最小二乘拟合方式以及其他参数拟合方式的估计精度都会随M的增加而提高，也即是说：当观测时间M延长时，dFs_E的估计精度会提高。

通过上述操作，对于每个采样时刻n都可以实时计算得到采样率偏差。

三、采样率调整

本部分的操作主要由采样率调整器实现，采样率调整器3根据所述采样率偏差纠正各采样时刻送话端信号或受话端信号的采样率，以使回声消除系统利用纠正后采样率相同的送话端信号和受话端信号进行回声消除。

具体的，在每个采样时刻，采样率调整器3根据当前采样时刻的采样率偏差对当前采样时刻的送话端信号或受话端信号重新进行采样，得到当前采样时刻下采样率相同的送话端信号和受话端信号。

进一步的，上述采样率调整器包括重采样缓存器，当所述采样率调整器的输入端接入送话端信号时，如图3中所示的场景，该场景下所述采样率调整器包括缓存各采样时刻的送话端信号的重采样缓存器31，这时，所述采样率调整器3，具体用于对各采样时刻的每个当前采样时刻，根据当前采样时刻送受话端的采样率偏差，采用内插方式对所述重采样缓存器中的送话端信号重新进行采样，得到当前采样时刻下采样率与受话端信号采样率相同的送话端信号；

当所述采样率调整器的输入端接入受话端信号时，所述采样率调整器包括缓存各采样时刻的受话端信号的重采样缓存器，这时，所述采样率调整器3，具体用于对各采样时刻的每个当前采样时刻，根据当前采样时刻送受话端的采样率偏差，采用内插方式对所述重采样缓存器中的受话端信号重新进行采样，得到当前采样时刻下采样率与送话端信号采样率相同的受话端信号。

由上可见，虽然时延估计器需要同时利用送受话端信号，采样率调整器需要利用送话端信号或者受话端信号，然而，两者利用的送话端信号可能并不相同，两者利用的受话端信号可能也不相同，为避免时延估计器和采样率调整器相互影响，提高数据处理速度，本实施例采用分别设置针对时延估计器的受话端缓存器和送话端缓存器，以及针对采样率调整器的送话端重采样缓存器或受话端重采样缓存器的方式。

重采样可以采用多项式内插、线性内插或其它通用的重采样方式。以线性内插方式为例，如果对送话端信号进行重采样，如图3中所示的场景，则重采样后的送话端信号可以表示如下：

其中，表示向下取整运算，y′[n]表示重采样后的采样时刻n的送话端信号。

如果对受话端信号进行重采样，则重采样后的受话端信号可以表示如下：

其中，

表示向下取整运算，x′[n]表示重采样后的采样时刻n的受话端信号。

至此就实现了在线采样率偏差纠正，将纠正后的采样率相同的送受话端信号送入回声消除系统进行回声消除。

本实施例中的器件不需要额外的特殊设置，例如，上述时延估计器可以由缓存器、传递函数估计器和时延计算器实现，而传递函数估计器可以由乘法器、积分器、除法器和反傅里叶变换器实现。时延计算器可以由乘法器、除法器和比较器实现等等。

由上所述，本实施例基于送受端信号进行采样率偏差的纠正，无需监测送受端采样时钟，从而无需额外的硬件设置，降低了对硬件性能的要求，节省了系统成本。

并且，本实用新型实施例利用传输时延与采样率偏差之间具有线性关系的特点，采用基于送受话端信号得出送受话端之间的传输时延，并参数拟合出送受话端之间采样率偏差的技术手段，能够实时得到高精度的采样率偏差，且无需额外的硬件开销，计算方法简单，降低了系统成本。进一步的，由于本方案采用了在回声消除操作之前进行采样率偏差纠正的技术手段，降低了回声消除系统的负担，提高回声消除的质量。

下面结合实验结果图说明本实用新型实施例的有益效果。图4是采样率纠正前后的回声消除效果实验结果图。送受话端的期望采样率为16000Hz，存在采样率偏差为0.9Hz，从29秒开始做采样率偏差纠正。在29秒之前将具有采样率偏差的送受话端信号输入至回声消除系统，在29秒之后将采用本方案得到的具有相同采样率的送受话端信号输入至回声消除系统。

图4中的纵坐标为RMS（均方根误差）Power（能量），横坐标为时间，图中短划线为送话端Mic（麦克）信号的能量曲线，实线为回声消除系统输出的残留回声能量曲线，两条曲线的差值即为回声抑制量。可以看出，在未经采样率偏差纠正时（29秒之前），回声抑制量只能达到21dB，经过纠正后（29秒之后）回声抑制量可以超过45dB，从而验证了本方案能够显著提高回声消除的效果。

以上所述仅为本实用新型的较佳实施例而已，并非用于限定本实用新型的保护范围。凡在本实用新型的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本实用新型的保护范围内。

Claims (2)

1.一种送受话端采样率偏差纠正系统，其特征在于，所述系统包括用于根据送受话端信号计算各采样时刻的受话端信号相对于送话端信号的传递函数、并利用所述传递函数获取各采样时刻送受话端的传输时延的时延估计器、用于利用所述传输时延和传输时延与采样率偏差之间的线性关系、采用参数拟合方式得到各采样时刻送受话端的采样率偏差的采样率偏差估计器和用于根据所述采样率偏差纠正各采样时刻送话端信号或受话端信号的采样率的采样率调整器，以使回声消除系统直接利用纠正后采样率相同的送话端信号和受话端信号进行回声消除， 

所述时延估计器的输入端接入送话端信号和受话端信号，所述时延估计器的输出端连接至采样率偏差估计器的输入端，所述采样率偏差估计器的输出端连接至所述采样率调整器的输入端，所述采样率调整器的输入端还接入送话端信号或者受话端信号，所述采样率调整器的输出端连接至回声消除系统。 

2.根据权利要求1所述的系统，其特征在于，所述采样率调整器包括重采样缓存器； 

当所述采样率调整器的输入端接入送话端信号时，所述重采样缓存器缓存各采样时刻的送话端信号，所述采样率调整器，对各采样时刻的每个当前采样时刻，根据当前采样时刻送受话端的采样率偏差，采用内插方式对所述重采样缓存器中的送话端信号重新进行采样，得到当前采样时刻下采样率与受话端信号采样率相同的送话端信号； 

当所述采样率调整器的输入端接入受话端信号时，所述重采样缓存器缓存各采样时刻的受话端信号，所述采样率调整器，对各采样时刻的每个当前采样时刻，根据当前采样时刻送受话端的采样率偏差，采用内插方式对所述重采样缓存器中的受话端信号重新进行采样，得到当前采样时刻下采样率与送话端信号采样率相同的受话端信号。 

Images