CN102780821A - 一种送受话端采样率偏差纠正方法和系统 - Google Patents

一种送受话端采样率偏差纠正方法和系统 Download PDF

Info

Publication number
CN102780821A
CN102780821A CN2012102336959A CN201210233695A CN102780821A CN 102780821 A CN102780821 A CN 102780821A CN 2012102336959 A CN2012102336959 A CN 2012102336959A CN 201210233695 A CN201210233695 A CN 201210233695A CN 102780821 A CN102780821 A CN 102780821A
Authority
CN
China
Prior art keywords
sampling instant
talked
end signal
sample rate
send
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012102336959A
Other languages
English (en)
Other versions
CN102780821B (zh
Inventor
楼厦厦
李波
吴晓婕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Goertek Inc
Original Assignee
Goertek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Goertek Inc filed Critical Goertek Inc
Priority to CN201210233695.9A priority Critical patent/CN102780821B/zh
Publication of CN102780821A publication Critical patent/CN102780821A/zh
Priority to KR1020147010046A priority patent/KR101466543B1/ko
Priority to US14/351,225 priority patent/US9065896B2/en
Priority to JP2014537488A priority patent/JP5629408B1/ja
Priority to PCT/CN2013/076487 priority patent/WO2014005473A1/zh
Application granted granted Critical
Publication of CN102780821B publication Critical patent/CN102780821B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M9/00Arrangements for interconnection not involving centralised switching
    • H04M9/08Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic
    • H04M9/082Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic using echo cancellers
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)
  • Telephone Function (AREA)

Abstract

本发明公开了一种送受话端采样率偏差纠正方法和系统,能够实时得到高精度的采样率偏差,并对送受话端信号进行采样率纠正,得到 纠正后的采样率相同的送话端信号和受话端信号送入回声消除系统进行回声消除。本发明有助于提高回声消除的质量,且计算方法简单,成本较低。本发明实施例提供的一种送受话端采样率偏差纠正方法包括:根据送受话端信号计算各采样时刻的受话端信号相对于送话端信号的传递函数;利用传递函数获取各采样时刻送受话端的传输时延;利用传输时延和传输时延与采样率偏差之间的线性关系,采用参数拟合方式得到各采样时刻送受话端的采样率偏差;根据采样率偏差纠正各采样时刻送话端信号或受话端信号的采样率。

Description

一种送受话端采样率偏差纠正方法和系统
技术领域
本发明涉及音频处理技术领域,特别涉及一种送受话端采样率偏差纠正方法和系统。
背景技术
语音通讯中,为保证通话质量和设备安全,通常会在语音通讯中做回声消除。目前常用的回声消除方法中,当受话端信号、送话端信号已知时,通过二者计算出回声路径滤波器以及回声信号,并将回声信号从送话端信号中消去,避免回声干扰通讯。
然而,当今大多数通讯已经实现数字化,受话端信号和送话端信号都是以数字方式传输的。由于采样时钟的不同,送受话端信号可能存在采样率差异,采样率差异会降低回声路径滤波器以及回声信号的估计精度,导致回声消除性能下降。
为了降低或消除采样率偏差对回声消除性能的影响,需要在回声消除之前计算出送受话端信号之间的采样率偏差并进行纠正。在计算采样率偏差时,现有方案一的做法是,统计一段时间内送受话端信号的采样时钟周期计算得到两端的采样率差异。现有方案二的做法是默认不同设备的采样率差异在20Hz以内,采用纯算法的方式,计算出采样率差异。在纠正采样率偏差时,现有方案通常采用将计算得到的采样率差异传递给回声消除滤波器,由回声消除系统进行相应的调节。
现有的采样率偏差纠正方案至少具有如下缺陷:
在计算采样率偏差时,现有方案一需要监测送受话端采样时钟,在一些情况下需要特别的硬件设置,比如设置高性能的CPU,对硬件要求较高,现有方案二在计算上较为繁琐,占用的存储资源也较多,并且仅适用于预先设置的采样率偏差的变动范围,采样率偏差的估计精度也容易受到外在干扰的影响。而且现有方案并不直接对信号进行采样率偏差纠正,而只是将采样率偏差传递至回声消除系统由回声消除系统进行调节处理,这种由回声消除系统调节的方式,增加了回声消除系统的负担,影响了回声消除的效果。
发明内容
本发明提供了一种送受话端采样率偏差纠正方法和系统,以解决现有方案要么对硬件设置要求较高,要么计算繁琐、适用范围较窄的问题以及现有方案中不直接对信号进行采样率偏差纠正所导致回声消除系统负担较重的问题。
为达到上述目的,本发明实施例采用了如下技术方案:
本发明实施例提供了一种送受话端采样率偏差纠正方法,所述方法包括:
根据送受话端信号计算各采样时刻的受话端信号相对于送话端信号的传递函数;
利用所述传递函数获取各采样时刻送受话端的传输时延;
利用所述传输时延和传输时延与采样率偏差之间的线性关系,采用参数拟合方式得到各采样时刻送受话端的采样率偏差;
根据所述采样率偏差调整各采样时刻送话端信号或受话端信号的采样率,实现采样率纠正,以用于回声消除系统直接利用纠正后采样率相同的送话端信号和受话端信号进行回声消除。
本发明实施例还提供了一种送受话端采样率偏差纠正系统,所述系统包括:时延估计器、采样率偏差估计器和采样率调整器,所述时延估计器的输入端接入送话端信号和受话端信号,所述时延估计器的输出端连接至采样率偏差估计器的输入端,所述采样率偏差估计器的输出端连接至所述采样率调整器的输入端,所述采样率调整器的输入端还接入送话端信号或者受话端信号,所述采样率调整器的输出端连接至回声消除系统,
所述时延估计器,用于根据送受话端信号计算各采样时刻的受话端信号相对于送话端信号的传递函数;利用所述传递函数获取各采样时刻送受话端的传输时延;
所述采样率偏差估计器,用于利用所述传输时延和传输时延与采样率偏差之间的线性关系,采用参数拟合方式得到各采样时刻送受话端的采样率偏差;
所述采样率调整器,用于根据所述采样率偏差纠正各采样时刻送话端信号或受话端信号的采样率,以用于回声消除系统直接利用纠正后采样率相同的送话端信号和受话端信号进行回声消除。
本发明实施例的有益效果是:
本发明实施例利用传输时延与采样率偏差之间具有线性关系的特点,采用基于送受话端信号得出送受话端之间的传输时延,并参数拟合出送受话端之间采样率偏差的技术手段,能够实时得到高精度的采样率偏差,且无需额外的硬件开销,计算方法简单,降低了系统成本。进一步的,由于本方案采用了在回声消除操作之前进行采样率偏差纠正的技术手段,降低了回声消除系统的负担,提高了回声消除的质量。
附图说明
图1为本发明实施例一提供的一种送受话端采样率偏差纠正方法流程图;
图2A为本发明实施例提供的采样率偏差恒定时传输时延和采样时刻的关系示意图;
图2B为本发明实施例提供的采样率偏差变化时传输时延和采样时刻的关系示意图;
图3为本发明实施例二提供的一种采样率偏差纠正系统的结构示意图;
图4为本发明实施例二提供的又一种采样率偏差纠正系统的结构示意图;
图5为本发明实施例提供的采样率纠正前后的回声消除效果实验结果图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施方式作进一步地详细描述。
参见图1,本发明实施例一提供的一种送受话端采样率偏差纠正方法,该方法包括:
11:根据送受话端信号计算各采样时刻的受话端信号相对于送话端信号的传递函数;
12:利用所述传递函数获取各采样时刻送受话端的传输时延;
13:利用所述传输时延和传输时延与采样率偏差之间的线性关系,采用参数拟合方式得到各采样时刻送受话端的采样率偏差;
14:根据所述采样率偏差纠正各采样时刻送话端信号或受话端信号的采样率,以用于回声消除系统直接利用纠正后采样率相同的送话端信号和受话端信号进行回声消除。
本发明实施例利用了传输时延与采样率偏差之间具有线性关系的特点,在此通过如下分析说明利用上述特点可以纠正采样率偏差的原理:
若送受话端存在采样率偏差,则受话端和送话端之间的相对传输时延是采样时刻的线性函数,该线性函数可以表示如下:
dFs = FsS - FsR FsR
其中,n为采样时刻,FsR为受话端采样频率,FsS为送话端采样频率,dFs为采样率偏差。
将采样时刻n时送受话端的传输时延表示为D[n],则D[n]和n符合如下线性关系:
D[n]=n·dFs+c
其中,c为常数,由传输环境决定。
参见图2A,示出了采样率偏差恒定时,D[n]n和n的关系示意图,图中的横坐标为采样时刻,纵坐标为传输时延,图中直线的斜率即为采样率偏差,当采样率偏差出现变化时,斜率也会发生变化。图2B中示出了采样率偏差恒定变化(非恒定)时D[n]和n的关系示意图。
由上可知,如果能求出D[n],则从D[n]和n能够估计得到dFs,并根据dFs纠正送话端信号或受话端信号。如果估计是实时的,则当采样率偏差出现变化时,可以跟踪并适应变化,从而能够实现在线实时地纠正送受话端的采样率偏差。
本发明实施例利用传输时延与采样率偏差之间具有线性关系的特点,采用基于送受话端信号得出送受话端之间的传输时延,并参数拟合出送受话端之间采样率偏差的技术手段,能够实时得到高精度的采样率偏差,且无需额外的硬件开销,计算方法简单,降低了系统成本。进一步的,由于本方案采用了在回声消除操作之前进行采样率偏差纠正的技术手段,降低了回声消除系统的负担,提高回声消除的质量。
在图1所示的实施例的基础上,进一步的,本实施例中上述步骤11具体包括:对各采样时刻的每个当前采样时刻,利用当前采样时刻的送话端信号和当前采样时刻之前预定数量的送话端信号生成当前采样时刻的送话端数据帧;利用当前采样时刻的受话端信号和当前采样时刻之前预定数量的受话端信号生成当前采样时刻的受话端数据帧;利用当前采样时刻的所述送话端数据帧和受话端数据帧计算当前采样时刻的受话端信号相对于送话端信号的传递函数。
进一步的,在步骤11中,通过如下公式,利用所述当前采样时刻的送话端数据帧和受话端数据帧计算当前采样时刻的受话端信号相对于送话端信号的传递函数:
h=ifft(H)
H = E ( X * [ k ] Y [ k ] ) E ( X * [ k ] X [ k ] )
其中,h为传递函数,X[k]为当前采样时刻n的受话端数据帧
Figure BDA00001860736500052
的频域形式,Y[k]为当前采样时刻n的送话端数据帧
Figure BDA00001860736500053
的频域形式,H为传递函数h的频域形式,X*[k]为X[k]的共轭,E(.)表示求期望运算,ifft(.)表示反傅里叶变换。
进一步的,上述步骤12具体包括:对各采样时刻的每个当前采样时刻,选取当前采样时刻的传递函数的绝对值的最大值所对应的时间点,作为当前采样时刻送受话端的传输时延估计值;根据传输时延估计值得到当前采样时刻的传输时延,例如,将得到的传输时延估计值直接作为所使用的当前采样时刻送受话端的传输时延。
进一步的,上述步骤13具体包括:对各采样时刻的每个当前采样时刻,利用当前采样时刻送受话端的传输时延和当前采样时刻之前预定数量的送受话端的传输时延生成当前采样时刻的传输时延数据帧;根据传输时延与采样率偏差之间的线性关系将所述传输时延数据帧中的各元素相对于各采样时刻进行参数拟合,得到当前采样时刻送受话端的采样率偏差。
进一步的,上述步骤14具体包括:对各采样时刻的每个当前采样时刻,根据当前采样时刻送受话端的采样率偏差采用内插方式对送话端信号重新进行采样,得到当前采样时刻下采样率与受话端信号采样率相同的送话端信号;或者,根据当前采样时刻送受话端的采样率偏差采用内插方式对受话端信号重新进行采样,得到当前采样时刻下采样率与送话端信号采样率相同的受话端信号。上述内插方式可以为多项式内插方式或线性内插方式等。
本发明实施例二结合具体的实现器件来说明本实施例所提供的送受话端采样率偏差纠正方案。
参见图3,示出了本实施例提供的一种采样率偏差纠正系统,该系统包括时延估计器1、采样率偏差估计器2和采样率调整器3,该系统中的受话端信号和送话端信号都是以数字方式传输的,所以相应的在送话端还设置有模数转换器,以将采集到的送话端的模拟信号y(t)转换为数字信号y[n]。送话端(数字)信号y[n]和受话端(数字)信号x[n]接入时延估计器1的输入端,时延估计器1的输出端连接至采样率偏差估计器2的输入端,从时延估计器1的输出端输出的传输时延DE[n]被传输至采样率偏差估计器2的输入端。
采样率偏差估计器2的输出端连接至所述采样率调整器3的输入端,从采样率偏差估计器2的输出端输出的采样率偏差dFsE[n]被传输至采样率调整器3的输入端,采样率调整器3的输出端连接至回声消除系统。
应当注意到的是,图3所示的场景中利用得到的采样率偏差对送话端信号进行纠正得到采样率相同的送受话端信号,所以,该场景下采样率调整器的输入端还接入送话端信号,纠正后的送话端信号y′[n]和受话端信号x[n]被传输至回声消除系统的输入端。
图3所示的示例中,利用采样率调整器对送话端信号的采样频率进行了纠正,一种可选的方式中,也可以利用采样率调整器对受话端信号的采样频率进行纠正,本实施例中主要以前者的情况为例进行说明。对于利用得到的采样率偏差对受话端信号进行纠正的场景,采样率调整器的输入端不需接入送话端信号,而需要接入受话端信号,该场景下将送话端信号y[n]和纠正后的受话端信号x′[n]]传输至回声消除系统的输入端。
上述时延估计器1,用于根据送受话端信号计算各采样时刻的受话端信号相对于送话端信号的传递函数;利用所述传递函数获取各采样时刻送受话端的传输时延;
上述采样率偏差估计器2,用于利用所述传输时延和传输时延与采样率偏差之间的线性关系,采用参数拟合方式得到各采样时刻送受话端的采样率偏差;
上述采样率调整器3,用于根据所述采样率偏差调整各采样时刻送话端信号或受话端信号的采样率,实现采样率偏差纠正,以用于回声消除系统直接利用纠正后采样率相同的送话端信号和受话端信号进行回声消除。
由上可见,本实施例对送话端信号或受话端信号的采样率纠正之后再送入回声消除系统,即回声消除系统的输入量为具有相同采样频率的送受话端信号,本实施例采用在得到具有相同采样频率的送受话端信号再执行回声消除的方式,有助于提高回声消除的效果。而且减轻了位于数据处理后端的回声消除系统的负担。
参见图4,示出了图3中各器件的具体结构,利用上述器件执行采样率偏差纠正的操作主要包括如下三部分:
一、时延估计
本部分的操作主要由时延估计器实现,参见图4,送话端数字信号y[n]和受话端数字信号x[n]经过缓存器,分别形成送话端数据帧和受话端数据帧
Figure BDA00001860736500082
表示如下:
x → [ n ] x [ n - L + 1 ] · · · x [ n - 1 ] x [ n ]
y → [ n ] y [ n - L + 1 ] · · · y [ n - 1 ] y [ n ]
其中,n表示采样时刻,L表示数据帧的长度,即数据帧中元素的个数。
时延估计器1包括受话端缓存器11、送话端缓存器12、传递函数估计器13和时延计算器14。
送话端缓存器12,用于 缓存各采样时刻的送话端信号。受话端缓存器11,用于缓存各采样时刻的受话端信号;
上述传递函数估计器13,用于对各采样时刻的每个当前采样时刻,利用送话端缓存器中当前采样时刻的送话端信号和当前采样时刻之前预定数量的送话端信号生成当前采样时刻的送话端数据帧;利用受话端缓存器中当前采样时刻的受话端信号和当前采样时刻之前预定数量的受话端信号生成当前采样时刻的受话端数据帧;以及利用当前采样时刻的所述送话端数据帧和受话端数据帧计算当前采样时刻的受话端信号相对于送话端信号的传递函数:
上述的预定数量为L-1,即时延估计器1的传递函数估计器13利用当前采样时刻的送话端信号y[n]和当前采样时刻之前L-1个送话端信号生成当前采样时刻的送话端数据帧
Figure BDA00001860736500085
以及,利用当前采样时刻的受话端信号x[n]和当前采样时刻之前L-1个受话端信号生成当前采样时刻的受话端数据帧
Figure BDA00001860736500086
L的具体数值与系统的输出时延限制有关,如L可以取256或512等。
将数据帧
Figure BDA00001860736500087
Figure BDA00001860736500088
送至传递函数估计器13的输入端,计算
Figure BDA00001860736500089
的传递函数h。传递函数估计器13,通过如下计算方式,利用当前采样时刻的所述送话端数据帧和受话端数据帧计算当前采样时刻的受话端信号相对于送话端信号的传递函数,传递函数计算方式可以采用互功率谱和自功率谱相除的方式,具体公式如下:
h=ifft(H)
H = E ( X * [ k ] Y [ k ] ) E ( X * [ k ] X [ k ] )
其中,h为传递函数,X[k]为当前采样时刻n的受话端数据帧
Figure BDA00001860736500091
的频域形式,Y[k]为当前采样时刻n的送话端数据帧
Figure BDA00001860736500092
的频域形式,H为传递函数h的频域形式,X*[k]为X[k]的共轭,E(.)表示求期望运算,ifft(.)表示反傅里叶变换。
将传递函数估计器13计算出的传递函数输入时延计算器14,时延计算器14对各采样时刻的每个当前采样时刻,选取当前采样时刻的传递函数的绝对值的最大值所对应的时间点,作为当前采样时刻送受话端的传输时延估计值;以及,根据所述传输时延估计值得到所使用的当前采样时刻送受话端的传输时延。
本实施例中选取h绝对值的最大值位置所对应的h参数(时间参数)的数值作为送受话端信号时延估计值DE[n]。
DE[n]=arg max[|h|]
其中,arg max为求最大值位置的运算。
DE[n]和真实值D[n]之间有随机估计误差err[n],满足如下关系:
DE[n]=D[n]+err[n],其中err[n]为随机估计误差,均值为0。
DE[n]与采样时刻n满足关系
DE[n]=n·dFs+c+err[n]
由上,通过时延估计器1的计算,对于每个采样时刻n都能计算得到相应的送受话端传输时延DE[n]。
注:由于本实施例采用了利用当前采样时刻及当前采样时刻之间的信号来估计传输时延的方式,对于初始采样时刻,可以将该初始采样时刻之前的信号的数值采用默认数值(如0)。
二、采样率偏差估计
本部分的操作主要由采样率偏差估计器实现,参见图4,采样率偏差估计器包括时延缓存器21和时延采样率偏差拟合器22。将计算出的传输时延DE[n]送入采样率偏差估计器的时延缓存器21,形成传输时延数据帧相对应的采样时刻所形成的数据帧记录为
Figure BDA00001860736500094
则有:
D → E [ n ] = D E [ n - M + 1 ] · · · D E [ n - 1 ] D E [ n ]
n → = n - M + 1 · · · n - 1 n
其中,M是数据帧的长度。M体现了观测时间的长短,本实施例中,观测时间的增长能够提高拟合的精度。
由上,采样率偏差估计器2中的时延缓存器21,用于缓存各采样时刻送受话端的传输时延。时延采样率偏差拟合器22,用于对各采样时刻的每个当前采样时刻,利用时延缓存器中当前采样时刻送受话端的传输时延和当前采样时刻之前预定数量的送受话端的传输时延生成当前采样时刻的传输时延数据帧;以及,根据传输时延与采样率偏差之间的线性关系将所述传输时延数据帧中的各元素相对于各采样时刻进行参数拟合,得到当前采样时刻送受话端的采样率偏差。
即时延采样率偏差拟合器22,利用当前采样时刻n送受话端的传输时延DE[n]和当前采样时刻之前M-1个送受话端的传输时延生成当前采样时刻的传输时延数据帧
Figure BDA00001860736500101
然后,采用时延采样率偏差拟合器22根据传输时延与采样率偏差之间的线性关系将所述传输时延数据帧中的各元素相对于各采样时刻进行参数拟合,得到当前采样时刻送受话端的采样率偏差。将
Figure BDA00001860736500102
送入时延采样率偏差拟合器,估计
Figure BDA00001860736500105
的斜率,此斜率就是估计出的采样率偏差dFsE
拟合方式可以采用最小二乘拟合、最大似然拟合或者其他参数拟合方式。当采用最小二乘拟合时,具体的计算公式可以表示如下:
dFs E = Σ k = n - M + 1 n ( k - 2 n - M + 1 2 ) ( D E [ k ] - E ( D → E [ n ] ) ) Var ( n → )
其中,dFsE表示采样率偏差,E(.)表示求期望运算,Var(.)为求方差运算。
最小二乘拟合方式以及其他参数拟合方式的估计精度都会随M的增加而提高,也即是说:当观测时间M延长时,dFsE的估计精度会提高。
通过上述操作,对于每个采样时刻n都可以实时计算得到采样率偏差。
三、采样率调整
本部分的操作主要由采样率调整器实现,采样率调整器3根据所述采样率偏差纠正各采样时刻送话端信号或受话端信号的采样率,以使回声消除系统利用纠正后采样率相同的送话端信号和受话端信号进行回声消除。
具体的,在每个采样时刻,采样率调整器3根据当前采样时刻的采样率偏差对当前采样时刻的送话端信号或受话端信号重新进行采样,得到当前采样时刻下采样率相同的送话端信号和受话端信号。
进一步的,上述采样率调整器包括重采样缓存器,当所述采样率调整器的输入端接入送话端信号时,如图4中所示的场景,该场景下所述采样率调整器包括缓存各采样时刻的送话端信号的重采样缓存器31,这时,所述采样率调整器3,具体用于对各采样时刻的每个当前采样时刻,根据当前采样时刻送受话端的采样率偏差,采用内插方式对所述重采样缓存器中的送话端信号重新进行采样,得到当前采样时刻下采样率与受话端信号采样率相同的送话端信号;
当所述采样率调整器的输入端接入受话端信号时,所述采样率调整器包括缓存各采样时刻的受话端信号的重采样缓存器,这时,所述采样率调整器3,具体用于对各采样时刻的每个当前采样时刻,根据当前采样时刻送受话端的采样率偏差,采用内插方式对所述重采样缓存器中的受话端信号重新进行采样,得到当前采样时刻下采样率与送话端信号采样率相同的受话端信号。
由上可见,虽然时延估计器需要同时利用送受话端信号,采样率调整器需要利用送话端信号或者受话端信号,然而,两者利用的送话端信号可能并不相同,两者利用的受话端信号可能也不相同,为避免时延估计器和采样率调整器相互影响,提高数据处理速度,本实施例采用分别设置针对时延估计器的受话端缓存器和送话端缓存器,以及针对采样率调整器的送话端重采样缓存器或受话端重采样缓存器的方式。
重采样可以采用多项式内插、线性内插或其它通用的重采样方式。以线性内插方式为例,如果对送话端信号进行重采样,如图4中所示的场景,则重采样后的送话端信号可以表示如下:
其中,
Figure BDA00001860736500113
表示向下取整运算,y′[n]表示重采样后的采样时刻n的送话端信号。
如果对受话端信号进行重采样,则重采样后的受话端信号可以表示如下:
Figure BDA00001860736500121
Figure BDA00001860736500122
其中,表示向下取整运算,x'[n]表示重采样后的采样时刻n的受话端信号。
至此就实现了在线采样率偏差纠正,将纠正后的采样率相同的送受话端信号送入回声消除系统进行回声消除。
本实施例中的器件不需要额外的特殊设置,例如,上述时延估计器可以由缓存器、传递函数估计器和时延计算器实现,而传递函数估计器可以由乘法器、积分器、除法器和反傅里叶变换器实现。时延计算器可以由乘法器、除法器和比较器实现等等。
由上所述,本实施例基于送受端信号进行采样率偏差的纠正,无需监测送受话端采样时钟,从而无需额外的硬件设置,降低了对硬件性能的要求,节省了系统成本。
并且,本发明实施例利用传输时延与采样率偏差之间具有线性关系的特点,采用基于送受话端信号得出送受话端之间的传输时延,并参数拟合出送受话端之间采样率偏差的技术手段,能够实时得到高精度的采样率偏差,且无需额外的硬件开销,计算方法简单,降低了系统成本。进一步的,由于本方案采用了在回声消除操作之前进行采样率偏差纠正的技术手段,降低了回声消除系统的负担,提高回声消除的质量。
下面结合实验结果图说明本发明实施例的有益效果。图5是采样率纠正前后的回声消除效果实验结果图。送受话端的期望采样率为16000Hz,存在采样率偏差为0.9Hz,从29秒开始做采样率偏差纠正。在29秒之前将具有采样率偏差的送受话端信号输入至回声消除系统,在29秒之后将采用本方案得到的具有相同采样率的送受话端信号输入至回声消除系统。
图5中的纵坐标为RMS(均方根误差)Power(能量),横坐标为时间,图中短划线为送话端Mic(麦克)信号的能量曲线,实线为回声消除系统输出的残留回声能量曲线,两条曲线的差值即为回声抑制量。可以看出,在未经采样率偏差纠正时(29秒之前),回声抑制量只能达到21dB,经过纠正后(29秒之后)回声抑制量可以超过45dB,从而验证了本方案能够显著提高回声消除的效果。
以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。

Claims (10)

1.一种送受话端采样率偏差纠正方法,其特征在于,所述方法包括:
根据送受话端信号计算各采样时刻的受话端信号相对于送话端信号的传递函数;
利用所述传递函数获取各采样时刻送受话端的传输时延;
利用所述传输时延和传输时延与采样率偏差之间的线性关系,采用参数拟合方式得到各采样时刻送受话端的采样率偏差;
根据所述采样率偏差纠正各采样时刻送话端信号或受话端信号的采样率,以用于回声消除系统直接利用纠正后采样率相同的送话端信号和受话端信号进行回声消除。
2.根据权利要求1所述的方法,其特征在于,所述根据送受话端信号计算各采样时刻的受话端信号相对于送话端信号的传递函数包括:
对各采样时刻的每个当前采样时刻,
利用当前采样时刻的送话端信号和当前采样时刻之前预定数量的送话端信号生成当前采样时刻的送话端数据帧;
利用当前采样时刻的受话端信号和当前采样时刻之前预定数量的受话端信号生成当前采样时刻的受话端数据帧;
通过如下公式,利用当前采样时刻的所述送话端数据帧和受话端数据帧计算当前采样时刻的受话端信号相对于送话端信号的传递函数:
h=ifft(H)
H = E ( X * [ k ] Y [ k ] ) E ( X * [ k ] X [ k ] )
其中,h为传递函数,X[k]为当前采样时刻n的受话端数据帧
Figure FDA00001860736400012
的频域形式,Y[k]为当前采样时刻n的送话端数据帧
Figure FDA00001860736400013
的频域形式,H为传递函数h的频域形式,X*[k]为X[k]的共轭,E(.)表示求期望运算,ifft(.)表示反傅里叶变换。
3.根据权利要求1所述的方法,其特征在于,所述利用所述传递函数获取各采样时刻送受话端的传输时延包括:
对各采样时刻的每个当前采样时刻,
选取当前采样时刻的传递函数的绝对值的最大值所对应的时间点,作为当前采样时刻送受话端的传输时延估计值;
根据所述传输时延估计值得到当前采样时刻送受话端的传输时延。
4.根据权利要求1所述的方法,其特征在于,所述利用所述传输时延和传输时延与采样率偏差之间的线性关系,采用参数拟合方式得到各采样时刻送受话端的采样率偏差包括:
对各采样时刻的每个当前采样时刻,
利用当前采样时刻送受话端的传输时延和当前采样时刻之前预定数量的送受话端的传输时延生成当前采样时刻的传输时延数据帧;
根据传输时延与采样率偏差之间的线性关系将所述传输时延数据帧中的各元素相对于各采样时刻进行参数拟合,得到当前采样时刻送受话端的采样率偏差。
5.根据权利要求1所述的方法,其特征在于,所述根据所述采样率偏差纠正各采样时刻送话端信号或受话端信号的采样率包括:
对各采样时刻的每个当前采样时刻,
根据当前采样时刻送受话端的采样率偏差采用内插方式对送话端信号重新进行采样,得到当前采样时刻下采样率与受话端信号采样率相同的送话端信号;
或者,根据当前采样时刻送受话端的采样率偏差采用内插方式对受话端信号重新进行采样,得到当前采样时刻下采样率与送话端信号采样率相同的受话端信号。
6.一种送受话端采样率偏差纠正系统,其特征在于,所述系统包括时延估计器、采样率偏差估计器和采样率调整器,
所述时延估计器的输入端接入送话端信号和受话端信号,所述时延估计器的输出端连接至采样率偏差估计器的输入端,所述采样率偏差估计器的输出端连接至所述采样率调整器的输入端,所述采样率调整器的输入端还接入送话端信号或者受话端信号,所述采样率调整器的输出端连接至回声消除系统,
所述时延估计器,用于根据送受话端信号计算各采样时刻的受话端信号相对于送话端信号的传递函数,并利用所述传递函数获取各采样时刻送受话端的传输时延;
所述采样率偏差估计器,用于利用所述传输时延和传输时延与采样率偏差之间的线性关系,采用参数拟合方式得到各采样时刻送受话端的采样率偏差;
所述采样率调整器,用于根据所述采样率偏差纠正各采样时刻送话端信号或受话端信号的采样率,以用于回声消除系统直接利用纠正后采样率相同的送话端信号和受话端信号进行回声消除。
7.根据权利要求6所述的系统,其特征在于,所述时延估计器包括送话端缓存器、受话端缓存器和传递函数估计器,
所述送话端缓存器,用于缓存各采样时刻的送话端信号;
所述受话端缓存器,用于缓存各采样时刻的受话端信号;
所述传递函数估计器,用于对各采样时刻的每个当前采样时刻,利用所述送话端缓存器中当前采样时刻的送话端信号和当前采样时刻之前预定数量的送话端信号生成当前采样时刻的送话端数据帧;利用所述受话端缓存器中当前采样时刻的受话端信号和当前采样时刻之前预定数量的受话端信号生成当前采样时刻的受话端数据帧;以及,通过如下公式,利用当前采样时刻的所述送话端数据帧和受话端数据帧计算当前采样时刻的受话端信号相对于送话端信号的传递函数:
h=ifft(H)
H = E ( X * [ k ] Y [ k ] ) E ( X * [ k ] X [ k ] )
其中,h为传递函数,X[k]为当前采样时刻n的受话端数据帧的频域形式,Y[k]为当前采样时刻n的送话端数据帧
Figure FDA00001860736400041
的频域形式,H为传递函数h的频域形式,X*[k]为X[k]的共轭,E(.)表示求期望运算,ifft(.)表示反傅里叶变换。
8.根据权利要求7所述的系统,其特征在于,所述时延估计器还包括时延计算器,
所述时延计算器,用于对各采样时刻的每个当前采样时刻,选取当前采样时刻的传递函数的绝对值的最大值所对应的时间点,作为当前采样时刻送受话端的传输时延估计值;根据所述传输时延估计值得到当前采样时刻送受话端的传输时延。
9.根据权利要求6所述的系统,其特征在于,所述采样率偏差估计器包括时延缓存器和时延采样率偏差拟合器,
所述时延缓存器,用于缓存各采样时刻送受话端的传输时延;
所述时延采样率偏差拟合器,用于对各采样时刻的每个当前采样时刻,利用所述时延缓存器中当前采样时刻送受话端的传输时延和当前采样时刻之前预定数量的送受话端的传输时延生成当前采样时刻的传输时延数据帧;以及,根据传输时延与采样率偏差之间的线性关系将所述传输时延数据帧中的各元素相对于各采样时刻进行参数拟合,得到当前采样时刻送受话端的采样率偏差。
10.根据权利要求6所述的系统,其特征在于,所述采样率调整器包括重采样缓存器;
当所述采样率调整器的输入端接入送话端信号时,所述重采样缓存器用于缓存各采样时刻的送话端信号,所述采样率调整器,具体用于对各采样时刻的每个当前采样时刻,根据当前采样时刻送受话端的采样率偏差,采用内插方式对所述重采样缓存器中的送话端信号重新进行采样,得到当前采样时刻下采样率与受话端信号采样率相同的送话端信号;
当所述采样率调整器的输入端接入受话端信号时,所述重采样缓存器用于缓存各采样时刻的受话端信号,所述采样率调整器,具体用于对各采样时刻的每个当前采样时刻,根据当前采样时刻送受话端的采样率偏差,采用内插方式对所述重采样缓存器中的受话端信号重新进行采样,得到当前采样时刻下采样率与送话端信号采样率相同的受话端信号。
CN201210233695.9A 2012-07-06 2012-07-06 一种送受话端采样率偏差纠正方法和系统 Active CN102780821B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201210233695.9A CN102780821B (zh) 2012-07-06 2012-07-06 一种送受话端采样率偏差纠正方法和系统
KR1020147010046A KR101466543B1 (ko) 2012-07-06 2013-05-30 송신기단과 수신기단의 샘플링 레이트 편차를 정정하기 위한 방법 및 시스템
US14/351,225 US9065896B2 (en) 2012-07-06 2013-05-30 Method and system for sampling rate mismatch correction of transmitting and receiving terminals
JP2014537488A JP5629408B1 (ja) 2012-07-06 2013-05-30 送受話端サンプリングレート偏差の補正方法及びシステム
PCT/CN2013/076487 WO2014005473A1 (zh) 2012-07-06 2013-05-30 一种送受话端采样率偏差纠正方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210233695.9A CN102780821B (zh) 2012-07-06 2012-07-06 一种送受话端采样率偏差纠正方法和系统

Publications (2)

Publication Number Publication Date
CN102780821A true CN102780821A (zh) 2012-11-14
CN102780821B CN102780821B (zh) 2014-08-13

Family

ID=47125573

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210233695.9A Active CN102780821B (zh) 2012-07-06 2012-07-06 一种送受话端采样率偏差纠正方法和系统

Country Status (5)

Country Link
US (1) US9065896B2 (zh)
JP (1) JP5629408B1 (zh)
KR (1) KR101466543B1 (zh)
CN (1) CN102780821B (zh)
WO (1) WO2014005473A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014005473A1 (zh) * 2012-07-06 2014-01-09 歌尔声学股份有限公司 一种送受话端采样率偏差纠正方法和系统
CN106210371A (zh) * 2016-08-31 2016-12-07 广州视源电子科技股份有限公司 一种回声时延的确定方法、装置及智能会议设备
CN110992973A (zh) * 2019-11-29 2020-04-10 维沃移动通信有限公司 一种信号时延的确定方法和电子设备

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8750494B2 (en) * 2011-08-17 2014-06-10 Alcatel Lucent Clock skew compensation for acoustic echo cancellers using inaudible tones
WO2017140590A1 (en) 2016-02-15 2017-08-24 Telefonaktiebolaget Lm Ericsson (Publ) Nb-iot receiver operating at minimum sampling rate
EP3417660A1 (en) * 2016-02-15 2018-12-26 Telefonaktiebolaget LM Ericsson (PUBL) Downlink time tracking in a nb-lot device with reduced sampling rate
CN105872156B (zh) * 2016-05-25 2019-02-12 腾讯科技(深圳)有限公司 一种回声时延跟踪方法及装置
CN114141224B (zh) * 2021-11-30 2023-06-09 北京百度网讯科技有限公司 信号处理方法和装置、电子设备、计算机可读介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090185695A1 (en) * 2007-12-18 2009-07-23 Tandberg Telecom As Method and system for clock drift compensation
CN101645273A (zh) * 2009-07-10 2010-02-10 中国科学院声学研究所 一种采样率差异估计与校正系统及其处理方法
CN102457632A (zh) * 2011-12-29 2012-05-16 歌尔声学股份有限公司 一种多受话端回声消除方法
CN202949477U (zh) * 2012-07-06 2013-05-22 歌尔声学股份有限公司 一种送受话端采样率偏差纠正系统

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6167133A (en) * 1997-04-02 2000-12-26 At&T Corporation Echo detection, tracking, cancellation and noise fill in real time in a communication system
US6563863B1 (en) * 1998-06-22 2003-05-13 Ati International Srl Computer modem
JP3673727B2 (ja) 2000-11-22 2005-07-20 日本電信電話株式会社 反響消去方法、その装置、そのプログラム及びその記録媒体
JP4492953B2 (ja) * 2004-12-21 2010-06-30 ルネサスエレクトロニクス株式会社 キャンセラ装置及びデータ伝送システム
JP4834046B2 (ja) * 2008-08-27 2011-12-07 日本電信電話株式会社 エコー消去装置、エコー消去方法、エコー消去プログラム、記録媒体
JP5223576B2 (ja) * 2008-10-02 2013-06-26 沖電気工業株式会社 エコーキャンセラ、エコーキャンセル方法及びプログラム
JP5177012B2 (ja) * 2009-02-25 2013-04-03 富士通株式会社 雑音抑制装置、雑音抑制方法及びコンピュータプログラム
JP2010245629A (ja) * 2009-04-01 2010-10-28 Mitsubishi Electric Corp 適応等化器および適応等化方法
JP5421877B2 (ja) * 2010-08-25 2014-02-19 日本電信電話株式会社 エコー消去方法、エコー消去装置及びエコー消去プログラム
CN102387272B (zh) 2011-09-09 2013-10-30 南京大学 一种回声抵消系统中残留回声的抑制方法
CN102780821B (zh) * 2012-07-06 2014-08-13 歌尔声学股份有限公司 一种送受话端采样率偏差纠正方法和系统
JPWO2014115290A1 (ja) * 2013-01-25 2017-01-26 株式会社日立製作所 信号処理装置・音響処理システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090185695A1 (en) * 2007-12-18 2009-07-23 Tandberg Telecom As Method and system for clock drift compensation
CN101645273A (zh) * 2009-07-10 2010-02-10 中国科学院声学研究所 一种采样率差异估计与校正系统及其处理方法
CN102457632A (zh) * 2011-12-29 2012-05-16 歌尔声学股份有限公司 一种多受话端回声消除方法
CN202949477U (zh) * 2012-07-06 2013-05-22 歌尔声学股份有限公司 一种送受话端采样率偏差纠正系统

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014005473A1 (zh) * 2012-07-06 2014-01-09 歌尔声学股份有限公司 一种送受话端采样率偏差纠正方法和系统
US9065896B2 (en) 2012-07-06 2015-06-23 Goertek, Inc. Method and system for sampling rate mismatch correction of transmitting and receiving terminals
CN106210371A (zh) * 2016-08-31 2016-12-07 广州视源电子科技股份有限公司 一种回声时延的确定方法、装置及智能会议设备
WO2018040430A1 (zh) * 2016-08-31 2018-03-08 广州视源电子科技股份有限公司 一种回声时延的确定方法、装置及智能会议设备
CN106210371B (zh) * 2016-08-31 2018-09-18 广州视源电子科技股份有限公司 一种回声时延的确定方法、装置及智能会议设备
CN110992973A (zh) * 2019-11-29 2020-04-10 维沃移动通信有限公司 一种信号时延的确定方法和电子设备

Also Published As

Publication number Publication date
US20140233723A1 (en) 2014-08-21
CN102780821B (zh) 2014-08-13
JP2014533014A (ja) 2014-12-08
KR20140064963A (ko) 2014-05-28
JP5629408B1 (ja) 2014-11-19
US9065896B2 (en) 2015-06-23
KR101466543B1 (ko) 2014-11-27
WO2014005473A1 (zh) 2014-01-09

Similar Documents

Publication Publication Date Title
CN102780821A (zh) 一种送受话端采样率偏差纠正方法和系统
EP1961186B1 (en) Using travel-time as means for improving the accuracy of simple network time protocol
WO2013099122A1 (en) Apparatus and method for synchronized transmission of multimedia content over an asynchronous network
CN117596516A (zh) 音频播放系统
US20100228542A1 (en) Method and System for Hiding Lost Packets
EP3340702A1 (en) Clock skew compensation method and related system
EP3791493A1 (en) Timing advance for satellite-based communications using a satellite with enhanced processing capabilities
CN109981206B (zh) 对时方法、装置、系统及终端设备、存储介质
US20060034338A1 (en) Method and arrangement for compensating for jitter in the delay of data packets
KR20070085403A (ko) 단 대 단 VoIP 매체 지연을 관리하는 방법 및 장치
US20050238013A1 (en) Packet receiving method and device
CN110636600B (zh) 一种无线设备音频同步播放的方法
WO2007001540A1 (en) Synchronizing a modem and vocoder of a mobile station
EP3046300A1 (en) Clock recovery method and device
CN110636349A (zh) 一种无线设备音频同步播放的方法
CN202949477U (zh) 一种送受话端采样率偏差纠正系统
US20020012324A1 (en) Echo cancellation with dynamic latency adjustment
CN102694619A (zh) 数据包传输速率的调整方法、装置及系统
CN103354588A (zh) 录放音采样率的确定方法、装置及系统
US9213317B2 (en) Method and arrangement for transferring a time of day value between network elements
CA2857789C (en) A method for symbol sampling in a high time delay spread interference environment
US20190349676A1 (en) Stream synchronization
EP1346543B1 (en) Dynamic latency management and dynamic drift correction
CN114731205A (zh) 一种时钟同步方法及装置
RU148638U1 (ru) Устройство адаптивной настройки корректирующего фильтра с квазикогерентным сложением теста

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C56 Change in the name or address of the patentee
CP01 Change in the name or title of a patent holder

Address after: 261031 Dongfang Road, Weifang high tech Industrial Development Zone, Shandong, China, No. 268

Patentee after: Goertek Inc.

Address before: 261031 Dongfang Road, Weifang high tech Industrial Development Zone, Shandong, China, No. 268

Patentee before: Goertek Inc.