CN106209491B - 一种时延检测方法及装置 - Google Patents

一种时延检测方法及装置 Download PDF

Info

Publication number
CN106209491B
CN106209491B CN201610429554.2A CN201610429554A CN106209491B CN 106209491 B CN106209491 B CN 106209491B CN 201610429554 A CN201610429554 A CN 201610429554A CN 106209491 B CN106209491 B CN 106209491B
Authority
CN
China
Prior art keywords
signal
frame
characteristic parameter
squares
deviations
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610429554.2A
Other languages
English (en)
Other versions
CN106209491A (zh
Inventor
修平平
刘焕
鄢仁祥
曹李军
周秋芳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Keda Technology Co Ltd
Original Assignee
Suzhou Keda Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Keda Technology Co Ltd filed Critical Suzhou Keda Technology Co Ltd
Priority to CN201610429554.2A priority Critical patent/CN106209491B/zh
Publication of CN106209491A publication Critical patent/CN106209491A/zh
Application granted granted Critical
Publication of CN106209491B publication Critical patent/CN106209491B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0852—Delays
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/24—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being the cepstrum
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/403—Arrangements for multi-party communication, e.g. for conferences

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Environmental & Geological Engineering (AREA)
  • Synchronisation In Digital Transmission Systems (AREA)

Abstract

本发明公开了一种时延检测方法及装置，其中所述方法包括：分别采集来自不同信号端的第一信号和第二信号，并对其分帧；计算第一信号从第一预定信号帧开始的预设帧数的第一信号特征参数与第二信号从第二预定信号帧开始的预设帧数的第二信号特征参数的差方和；第一预定信号帧和第二预定信号帧为同一时刻的信号帧；依次循环从第二预定信号帧的下一帧开始计算预设帧数的第二信号特征参数，计算第一信号特征参数和第二信号特征参数的差方和；获取差方和中的最小值；若最小值小于预定阈值,则获取最小值对应的第二信号的起始帧的序号；根据起始帧的序号计算时延值。该方法及装置可以实时检测时延现象并求取时延值。

Description

一种时延检测方法及装置
技术领域
本发明涉及语音信号处理领域，具体涉及一种时延检测方法及装置。
背景技术
在许多音频设备，例如视频会议系统中，往往会出现时延大、时延不稳定、甚至出现负时延现象，这使得远近端信号无法对齐，从而无法更好地进行回波抵消处理。现有的时延检测方法有很多，如脉冲法在本地终端预设脉冲，并通过本地播放端播放，再通过本地采集端采集，从而获取时延。脉冲法虽简单，但只可在语音设备对通前进行时延估计，不能在其使用过程中实时检测时延漂移现象。
语音特征参数，包括线性预测倒谱系数(Linear Predictive CepstralCoefficients，LPCC)、美尔倒谱系数(Mel Frequency Cepstral Coefficients,MFCC)，LPCC计算量较小，MFCC基于人耳听觉机理，抗噪性好，稳定性高。此外，还有一种线性预测美尔倒谱系数(LPC Mel Cepstral Coefficients，LPCMCC)融合了LPCC和MFCC的优点，此外还具有算法复杂度低、抗噪性好、稳定性高等优点，适合于信号的实时处理。目前，语音特征参数往往仅被用来做语音识别、语音检索。
本发明旨在提供一种时延检测方法，将此类信号特征参数应用于时延检测，能够在设备使用过程中实时检测时延现象。
发明内容
本发明要解决的技术问题在于将信号特征参数应用于信号时延检测。
为此，本发明实施例提供一种时延检测方法，包括如下步骤：分别采集来自不同信号端的第一信号和第二信号，并对其分帧；计算所述第一信号从第一预定信号帧开始的预设帧数的第一信号特征参数，计算所述第二信号从第二预定信号帧开始的预设帧数的第二信号特征参数，计算所述第一信号特征参数和所述第二信号特征参数的差方和；所述第一预定信号帧和所述第二预定信号帧为同一时刻的信号帧；依次循环从第二预定信号帧的下一帧开始计算预设帧数的第二信号特征参数，计算所述第一信号特征参数和所述第二信号特征参数的差方和；获取所述差方和中的最小值；若所述最小值小于预定阈值,则获取所述最小值对应的所述第二信号的起始帧的序号；根据所述起始帧的序号计算时延值。
优选地，所述计算所述第一信号特征参数和所述第二信号特征参数的差方和的公式为其中，k为所述第二信号的起始帧的序号,N为预设帧数；xi为所述第一信号从第一预定信号帧开始的第i个信号帧的第一信号特征参数；yi为所述第二信号从起始帧开始的第i个信号帧的第二信号特征参数。
优选地，所述第一信号和所述第二信号为语音信号，所述第一信号特征参数和所述第二信号特征参数的类型包括线性预测倒谱系数LPCC、美尔倒谱系数MFCC、线性预测美尔倒谱系数LPCMCC中的任一者。
优选地，所述第一信号和所述第二信号为语音信号，所述第一信号特征参数和所述第二信号特征参数为线性预测美尔倒谱系数LPCMCC；所述计算所述第一信号特征参数和所述第二信号特征参数的差方和的公式为其中，k为所述第二信号的起始帧的序号,N为预设帧数，J为线性预测美尔倒谱系数LPCMCC的阶数，x(i,j)为所述第一信号从第一预定信号帧开始的第i个信号帧的第j个线性预测美尔倒谱系数LPCMCC，y(i,j)为所述第二信号从起始帧开始的第i个信号帧的第j个线性预测美尔倒谱系数LPCMCC。
优选地，所述第一信号和所述第二信号为语音信号，所述第一信号特征参数和所述第二信号特征参数为线性预测美尔倒谱系数LPCMCC；所述计算所述第一信号特征参数和所述第二信号特征参数的差方和的步骤还包括：计算所述第一信号从第一预定信号帧开始的预设帧数的方差，其计算公式为其中，N为预设帧数，x(i,j)为所述第一信号从第一预定信号帧开始的第i个信号帧的第j个线性预测美尔倒谱系数LPCMCC；所述计算所述第一信号特征参数和所述第二信号特征参数的差方和的公式为其中，k为所述第二信号的起始帧的序号，N为预设帧数，J为线性预测美尔倒谱系数LPCMCC的阶数，x(i,j)为所述第一信号从第一预定信号帧开始的第i个信号帧的第j个线性预测美尔倒谱系数LPCMCC,y(i,j)为所述第二信号从起始帧开始的第i个信号帧的第j个线性预测美尔倒谱系数LPCMCC。
优选地，对所述第一信号和所述第二信号分帧时，相邻帧重叠。
优选地，所述根据所述起始帧的序号计算时延值的公式为其中，fsample为1ms的采样点数，Y为所述差方和中的最小值对应的所述第二信号的起始帧的序号，Y0为所述第二预定信号帧的序号，fnot-overlap为相邻帧不重叠的点数。
相应地，本发明实施例提供一种时延检测装置，包括：采集分帧单元，用于分别采集来自不同信号端的第一信号和第二信号，并对其分帧；差方和计算单元，用于计算所述第一信号从第一预定信号帧开始的预设帧数的第一信号特征参数，计算所述第二信号从第二预定信号帧开始的预设帧数的第二信号特征参数，计算所述第一信号特征参数和所述第二信号特征参数的差方和；所述第一预定信号帧和所述第二预定信号帧为同一时刻的信号帧；所述差方和计算单元，还用于依次循环从第二预定信号帧的下一帧开始计算预设帧数的第二信号特征参数，计算所述第一信号特征参数和所述第二信号特征参数的差方和；最小值获取单元，用于获取所述差方和中的最小值；序号获取单元，用于若所述最小值小于预定阈值,则获取所述最小值对应的所述第二信号的起始帧的序号；时延计算单元，用于根据所述起始帧的序号计算时延值。
优选地，所述差方和计算单元计算所述第一信号特征参数和所述第二信号特征参数的差方和的公式为其中，k为所述第二信号的起始帧的序号,N为预设帧数；xi为所述第一信号从第一预定信号帧开始的第i个信号帧的第一信号特征参数；yi为所述第二信号从起始帧开始的第i个信号帧的第二信号特征参数。
优选地，所述第一信号和所述第二信号为语音信号，所述第一信号特征参数和所述第二信号特征参数的类型包括线性预测倒谱系数LPCC、美尔倒谱系数MFCC、线性预测美尔倒谱系数LPCMCC中的任一者。
优选地，所述第一信号和所述第二信号为语音信号，所述第一信号特征参数和所述第二信号特征参数为线性预测美尔倒谱系数LPCMCC；所述差方和计算单元包括：第一计算子单元，用于计算所述第一信号特征参数和所述第二信号特征参数的差方和，其计算公式为其中，k为所述第二信号的起始帧的序号,N为预设帧数，J为线性预测美尔倒谱系数LPCMCC的阶数，x(i,j)为所述第一信号从第一预定信号帧开始的第i个信号帧的第j个线性预测美尔倒谱系数LPCMCC，y(i,j)为所述第二信号从起始帧开始的第i个信号帧的第j个线性预测美尔倒谱系数LPCMCC。
优选地，所述第一信号和所述第二信号为语音信号，所述第一信号特征参数和所述第二信号特征参数为线性预测美尔倒谱系数LPCMCC；所述差方和计算单元包括：第二计算子单元，用于计算所述第一信号从第一预定信号帧开始的预设帧数的方差，其计算公式为其中，N为预设帧数，x(i,j)为所述第一信号从第一预定信号帧开始的第i个信号帧的第j个线性预测美尔倒谱系数LPCMCC；第三计算子单元，用于计算所述第一信号特征参数和所述第二信号特征参数的差方和，其计算公式为其中，k为所述第二信号的起始帧的序号，N为预设帧数，J为线性预测美尔倒谱系数LPCMCC的阶数，x(i,j)为所述第一信号从第一预定信号帧开始的第i个信号帧的第j个线性预测美尔倒谱系数LPCMCC,y(i,j)为所述第二信号从起始帧开始的第i个信号帧的第j个线性预测美尔倒谱系数LPCMCC。
优选地，所述采集分帧单元对所述第一信号和所述第二信号分帧时，相邻帧重叠。
优选地，所述时延计算单元计算根据所述起始帧的序号计算时延值的公式为其中，fsample为1ms的采样点数，Y为所述差方和中的最小值对应的所述第二信号的起始帧的序号，Y0为所述第二预定信号帧的序号，fnot-overlap为相邻帧不重叠的点数。
本发明技术方案，具有如下优点：
1.本发明实施例提供的时延检测方法及装置，采集信号并分帧后，计算第一信号从第一预定信号帧开始的预设帧数的第一信号特征参数，计算第二信号从第二预定信号帧开始的预设帧数的第二信号特征参数，计算该第一信号特征参数和第二信号特征参数的差方和；再依次循环从第二预定信号帧的下一帧开始计算预设帧数的第二信号特征参数，计算第一信号特征参数和第二信号特征参数的差方和，然后获取差方和中的最小值，若最小值小于预定阈值，则获取最小值对应的第二信号的起始帧的序号，根据该起始帧的序号计算时延值。该方法及装置可以实时检测时延现象并求取时延值。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1A为本发明实施例1中时延检测方法的流程图；
图1B-1E为本发明实施例1中时延检测方法计算差方和的示意图；
图1F为本发明实施例1中时延检测方法帧重叠及时延值计算的示意图；
图2A为本发明实施例2中时延检测装置的原理框图；
图2B为本发明实施例2中时延检测装置的一个具体示例的原理框图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，还可以是两个元件内部的连通，可以是无线连接，也可以是有线连接。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
实施例1
本实施例提供一种时延检测方法，如图1A所示，包括如下步骤：
S10：分别采集来自不同信号端的第一信号和第二信号，并对其分帧。
S20：计算第一信号从第一预定信号帧开始的预设帧数的第一信号特征参数，计算第二信号从第二预定信号帧开始的预设帧数的第二信号特征参数，计算第一信号特征参数和第二信号特征参数的差方和，该第一预定信号帧和该第二预定信号帧为同一时刻的信号帧。
第一信号特征参数和第二信号特征参数是能够识别信号特征的信号参数。
例如，如图1B至图1D所示，选定预定帧数为3帧。如图1B所示，分别计算黑色方框所示的对应信号帧的差方和。
S30：依次循环从第二预定信号帧的下一帧开始计算预设帧数的第二信号特征参数，计算第一信号特征参数和第二信号特征参数的差方和。
例如，如图1C所示，在图1B所示的步骤之后，将第二信号的起始帧向后移动一帧，再分别计算黑色方框所示的对应信号帧的差方和。
S40：获取该差方和中的最小值。
例如，依次执行步骤S30，并获取差方和中的最小值。
S50：若该最小值小于预定阈值,则获取该最小值对应的第二信号的起始帧的序号。
当最小值小于预定阈值时，即可认为第二信号从起始帧开始的预设帧数的信号帧与第一信号从第一预定信号帧开始的预设帧数的信号帧相同。
S60：根据起始帧的序号计算时延值。
本发明实施例提供的上述时延检测方法，采集信号并分帧后，计算第一信号从第一预定信号帧开始的预设帧数的第一信号特征参数，计算第二信号从第二预定信号帧开始的预设帧数的第二信号特征参数，计算该第一信号特征参数和第二信号特征参数的差方和；再依次循环从第二预定信号帧的下一帧开始计算预设帧数的第二信号特征参数，计算第一信号特征参数和第二信号特征参数的差方和，然后获取差方和中的最小值，若最小值小于预定阈值，则获取最小值对应的第二信号的起始帧的序号，根据该起始帧的序号计算时延值。该方法可以实时检测时延现象并求取时延值。
作为本实施例的一种优选实施方式，计算第一信号特征参数和第二信号特征参数的差方和的公式为：其中，k为第二信号的起始帧的序号,N为预设帧数；xi为第一信号从第一预定信号帧开始的第i个信号帧的第一信号特征参数；yi为第二信号从起始帧开始的第i个信号帧的第二信号特征参数。
如图1C所示，预设帧数为3帧，当前第二信号的起始帧的序号为2，则差方和为其中，x1至x3分别为图中所示第一信号的第1帧至第3帧的第一信号特征参数，y1至y3分别为图中所示第二信号的第2帧至第4帧的第二信号特征参数。
需要补充说明的是，第一信号的信号帧顺序编号，第二信号的信号帧顺序编号，第一信号和第二信号的相同序号的信号帧可以为相同时刻的信号帧，也可以是不同时刻的信号帧。
优选地，第一信号和第二信号为语音信号，第一信号特征参数和第二信号特征参数的类型包括线性预测倒谱系数LPCC、美尔倒谱系数MFCC、线性预测美尔倒谱系数LPCMCC中的任一者。LPCC计算量较小，MFCC基于人耳听觉机理，抗噪性好，稳定性高。LPCMCC融合了LPCC和MFCC的优点，此外，由于LPCMCC计算过程无需进行傅立叶变换，因此算法复杂度低。
优选地，第一信号和第二信号为语音信号，第一信号特征参数和第二信号特征参数为线性预测美尔倒谱系数LPCMCC。采用LPCMCC作为第一信号特征参数和第二信号特征参数，算法复杂度低，计算量较小、抗噪性好、稳定性高。
对于每帧语音信号，其包括了多个采样点，LPCMCC采用了前面时刻的采样点预测后面时刻的采样点，因此，每一帧语音信号都可以有多个LPCMCC，其数量为预测的阶数。
进一步地，作为本实施例的一种优选实施方式，计算第一信号特征参数和第二信号特征参数的差方和的公式为：其中，k为第二信号的起始帧的序号,N为预设帧数，J为线性预测美尔倒谱系数LPCMCC的阶数，x(i,j)为第一信号从第一预定信号帧开始的第i个信号帧的第j个线性预测美尔倒谱系数LPCMCC，y(i,j)为第二信号从起始帧开始的第i个信号帧的第j个线性预测美尔倒谱系数LPCMCC。
以图1B计算差方和的步骤为例，假设LPCMCC的阶数为4，即每帧有4个LPCMCC，则其详细步骤如图1E所示。先求取第一信号和第二信号如图所示的三帧的第1个LPCMCC的差方和，再求取如图所示的三帧的第2个LPCMCC的差方和，求取如图所示的三帧的第3个LPCMCC的差方和，求取如图所示的三帧的第4个LPCMCC的差方和，最后将上述四个差方和相加作为图1B所示步骤所求取的差方和结果。
作为上述优选实施方式的并列实施方式，计算第一信号特征参数和第二信号特征参数的差方和的步骤还包括：计算第一信号从第一预定信号帧开始的预设帧数的方差，其计算公式为：其中，N为预设帧数，x(i,j)为第一信号从第一预定信号帧开始的第i个信号帧的第j个线性预测美尔倒谱系数LPCMCC。
计算第一信号特征参数和第二信号特征参数的差方和的公式为：其中，k为第二信号的起始帧的序号，N为预设帧数，J为线性预测美尔倒谱系数LPCMCC的阶数，x(i,j)为第一信号从第一预定信号帧开始的第i个信号帧的第j个线性预测美尔倒谱系数LPCMCC,y(i,j)为第二信号从起始帧开始的第i个信号帧的第j个线性预测美尔倒谱系数LPCMCC。
仍旧以图1B计算差方和的步骤为例，假设LPCMCC的阶数为4，即每帧有4个LPCMCC，则其详细步骤如图1E所示。求取第一信号如图所示的三帧的第1个LPCMCC的方差，求取第一信号和第二信号如图所示的三帧的第1个LPCMCC的协方差，用该协方差除以该方差；求取第一信号如图所示的三帧的第2个LPCMCC的方差，求取第一信号和第二信号如图所示的三帧的第2个LPCMCC的协方差，用该协方差除以该方差；求取第一信号如图所示的三帧的第3个LPCMCC的方差，求取第一信号和第二信号如图所示的三帧的第3个LPCMCC的协方差，用该协方差除以该方差；求取第一信号如图所示的三帧的第4个LPCMCC的方差，求取第一信号和第二信号如图所示的三帧的第4个LPCMCC的协方差，用该协方差除以该方差。最后将上述四个比值相加，作为图1B所示步骤所求取的差方和结果。
上述求取第一信号和第二信号每帧的预定位置的LPCMCC的差方和之后，再比上第一信号每帧的该预定位置的LPCMCC的方差，通过第一信号的LPCMCC的方差对第一信号和第二信号LPCMCC的差方和进行归一化，一方面减小计算结果的数量级，另一方面提高算法的准确性。
优选地，对第一信号和第二信号分帧时，相邻帧重叠。相邻帧重叠使帧与帧之间特征参数过渡平缓，不会丢失边缘信号，从而提高时延检测的准确性。假设每帧有5个采样点，其重叠方式如图1F所示，相邻帧重叠2个点，不重叠的有3个点。
通常情况下，相邻帧重叠的点数与不重叠的点数相同。例如每帧有512个采样点，重叠的点数为256个点，不重叠的点数也是256个点。
进一步地，步骤S60计算时延值的公式为：其中，fsample为1ms的采样点数，Y为差方和中的最小值对应的第二信号的起始帧的序号，Y0为第二预定信号帧的序号，fnot-overlap为相邻帧不重叠的点数。时延值Tdelay的单位为ms。
由于第一预定信号帧和第二预定信号帧为同一时刻的信号帧，则认为第二信号的第Y帧开始的预定帧数与第一信号的第一预定信号帧开始的预定帧数是相同的。Y-Y0表示时延的帧数。帧重叠情况下，时延的点数为(Y-Y0)*fnot-overlap，乘以采样间隔时间即可得上述时延值计算公式。
如图1F所示，帧重叠存储情况下第二信号的第二预定信号帧序号为1，差方和最小时对应的第二信号的起始帧序号为5，则时延帧数为4。相邻帧重叠点数为2，不重叠点数为3，时延的点数为12，假设1ms的采样点数为3，则时延值为4ms。
实施例2
本实施例提供一种时延检测装置，如图2A所示，包括采集分帧单元10、差方和计算单元20、最小值获取单元40、序号获取单元50和时延计算单元60。
采集分帧单元10，用于分别采集来自不同信号端的第一信号和第二信号，并对其分帧。
差方和计算单元20，用于计算第一信号从第一预定信号帧开始的预设帧数的第一信号特征参数，计算第二信号从第二预定信号帧开始的预设帧数的第二信号特征参数，计算第一信号特征参数和第二信号特征参数的差方和。第一预定信号帧和第二预定信号帧为同一时刻的信号帧。
该差方和计算单元20，还用于依次循环从第二预定信号帧的下一帧开始计算预设帧数的第二信号特征参数，计算第一信号特征参数和第二信号特征参数的差方和。
最小值获取单元40，用于获取差方和中的最小值。
序号获取单元50，用于若最小值小于预定阈值,则获取最小值对应的第二信号的起始帧的序号。
时延计算单元60，用于根据起始帧的序号计算时延值。
本发明实施例提供的上述时延检测方法，通过采集分帧单元采集信号并分帧后，通过差方和计算单元计算第一信号从第一预定信号帧开始的预设帧数的第一信号特征参数，计算第二信号从第二预定信号帧开始的预设帧数的第二信号特征参数，计算该第一信号特征参数和第二信号特征参数的差方和；再依次循环从第二预定信号帧的下一帧开始计算预设帧数的第二信号特征参数，计算第一信号特征参数和第二信号特征参数的差方和，然后通过最小值获取单元获取差方和中的最小值，若最小值小于预定阈值，则通过序号获取单元获取最小值对应的第二信号的起始帧的序号，通过时延计算单元根据该起始帧的序号计算时延值。该装置可以实时检测时延现象并求取时延值。
作为本实施例的一种优选实施方式，差方和计算单元20计算第一信号特征参数和第二信号特征参数的差方和的公式为其中，k为第二信号的起始帧的序号,N为预设帧数；xi为第一信号从第一预定信号帧开始的第i个信号帧的第一信号特征参数；yi为第二信号从起始帧开始的第i个信号帧的第二信号特征参数。
优选地，第一信号和第二信号为语音信号，第一信号特征参数和第二信号特征参数的类型包括线性预测倒谱系数LPCC、美尔倒谱系数MFCC、线性预测美尔倒谱系数LPCMCC中的任一者。LPCC计算量较小，MFCC基于人耳听觉机理，抗噪性好，稳定性高。LPCMCC融合了LPCC和MFCC的优点，此外还具有算法复杂度低、抗噪性好、稳定性高等优点。
优选地，第一信号和第二信号为语音信号，第一信号特征参数和第二信号特征参数为线性预测美尔倒谱系数LPCMCC。
进一步地，作为本实施例的一种优选实施方式，差方和计算单元20包括第一计算子单元21。
第一计算子单元21，用于计算第一信号特征参数和第二信号特征参数的差方和，其计算公式为其中，k为第二信号的起始帧的序号,N为预设帧数，J为线性预测美尔倒谱系数LPCMCC的阶数，x(i,j)为第一信号从第一预定信号帧开始的第i个信号帧的第j个线性预测美尔倒谱系数LPCMCC，y(i,j)为第二信号从起始帧开始的第i个信号帧的第j个线性预测美尔倒谱系数LPCMCC。
作为上述优选实施方式的并列实施方式，差方和计算单元20包括第二计算子单元22和第三计算子单元23。
第二计算子单元22，用于计算第一信号从第一预定信号帧开始的预设帧数的方差，其计算公式为其中，N为预设帧数，x(i,j)为第一信号从第一预定信号帧开始的第i个信号帧的第j个线性预测美尔倒谱系数LPCMCC。
第三计算子单元23，用于计算第一信号特征参数和第二信号特征参数的差方和，其计算公式为其中，k为第二信号的起始帧的序号，N为预设帧数，J为线性预测美尔倒谱系数LPCMCC的阶数，x(i,j)为第一信号从第一预定信号帧开始的第i个信号帧的第j个线性预测美尔倒谱系数LPCMCC,y(i,j)为第二信号从起始帧开始的第i个信号帧的第j个线性预测美尔倒谱系数LPCMCC。
优选地，采集分帧单元10对第一信号和第二信号分帧时，相邻帧重叠。
进一步地，时延计算单元60计算根据起始帧的序号计算时延值的公式为其中，fsample为1ms的采样点数，Y为差方和中的最小值对应的第二信号的起始帧的序号，Y0为第二预定信号帧的序号，fnot-overlap为相邻帧不重叠的点数。
显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (12)

1.一种时延检测方法，其特征在于，包括如下步骤：
分别采集来自不同信号端的第一信号和第二信号，并对其分帧；
计算所述第一信号从第一预定信号帧开始的预设帧数的第一信号特征参数，以第二信号的第二预定信号帧作为起始帧，计算所述第二信号从起始帧开始的预设帧数的第二信号特征参数，计算对应顺序帧的所述第一信号特征参数和所述第二信号特征参数的差方和；所述第一预定信号帧和所述第二预定信号帧为同一时刻的信号帧；
依次循环执行下列步骤：以起始帧的下一帧作为起始帧，从起始帧开始计算预设帧数的第二信号特征参数，计算对应顺序帧的所述第一信号特征参数和所述第二信号特征参数的差方和；
获取所述差方和中的最小值；
若所述最小值小于预定阈值,则获取所述最小值对应的所述第二信号的起始帧的序号；
根据所述起始帧的序号计算时延值。
2.根据权利要求1所述的时延检测方法，其特征在于，所述计算对应顺序帧的所述第一信号特征参数和所述第二信号特征参数的差方和的公式为
其中，k为所述第二信号的起始帧的序号,N为预设帧数；xi为所述第一信号从第一预定信号帧开始的第i个信号帧的第一信号特征参数；yi为所述第二信号从起始帧开始的第i个信号帧的第二信号特征参数。
3.根据权利要求1所述的时延检测方法，其特征在于，所述第一信号和所述第二信号为语音信号，所述第一信号特征参数和所述第二信号特征参数的类型包括线性预测倒谱系数LPCC、美尔倒谱系数MFCC、线性预测美尔倒谱系数LPCMCC中的任一者。
4.根据权利要求1所述的时延检测方法，其特征在于，所述第一信号和所述第二信号为语音信号，所述第一信号特征参数和所述第二信号特征参数为线性预测美尔倒谱系数LPCMCC；
所述计算对应顺序帧的所述第一信号特征参数和所述第二信号特征参数的差方和的公式为
其中，k为所述第二信号的起始帧的序号,N为预设帧数，J为线性预测美尔倒谱系数LPCMCC的阶数，x(i,j)为所述第一信号从第一预定信号帧开始的第i个信号帧的第j个线性预测美尔倒谱系数LPCMCC，y(i,j)为所述第二信号从起始帧开始的第i个信号帧的第j个线性预测美尔倒谱系数LPCMCC。
5.根据权利要求1所述的时延检测方法，其特征在于，所述第一信号和所述第二信号为语音信号，所述第一信号特征参数和所述第二信号特征参数为线性预测美尔倒谱系数LPCMCC；
所述计算对应顺序帧的所述第一信号特征参数和所述第二信号特征参数的差方和的步骤还包括：计算所述第一信号从第一预定信号帧开始的预设帧数的方差，其计算公式为
其中，N为预设帧数，x(i,j)为所述第一信号从第一预定信号帧开始的第i个信号帧的第j个线性预测美尔倒谱系数LPCMCC；
所述计算对应顺序帧的所述第一信号特征参数和所述第二信号特征参数的差方和的公式为
其中，k为所述第二信号的起始帧的序号，N为预设帧数，J为线性预测美尔倒谱系数LPCMCC的阶数，x(i,j)为所述第一信号从第一预定信号帧开始的第i个信号帧的第j个线性预测美尔倒谱系数LPCMCC,y(i,j)为所述第二信号从起始帧开始的第i个信号帧的第j个线性预测美尔倒谱系数LPCMCC。
6.根据权利要求1所述的时延检测方法，其特征在于，对所述第一信号和所述第二信号分帧时，相邻帧重叠。
7.根据权利要求6所述的时延检测方法，其特征在于，所述根据所述起始帧的序号计算时延值的公式为
其中，fsample为1ms的采样点数，Y为所述差方和中的最小值对应的所述第二信号的起始帧的序号，Y0为所述第二预定信号帧的序号，fnot-overlap为相邻帧不重叠的点数。
8.一种时延检测装置，其特征在于，包括：
采集分帧单元，用于分别采集来自不同信号端的第一信号和第二信号，并对其分帧；
差方和计算单元，用于计算所述第一信号从第一预定信号帧开始的预设帧数的第一信号特征参数，以第二信号的第二预定信号帧作为起始帧，计算所述第二信号从起始帧开始的预设帧数的第二信号特征参数，计算对应顺序帧的所述第一信号特征参数和所述第二信号特征参数的差方和；所述第一预定信号帧和所述第二预定信号帧为同一时刻的信号帧；
所述差方和计算单元，还用于依次循环执行下列步骤：以起始帧的下一帧作为起始帧，从起始帧开始计算预设帧数的第二信号特征参数，计算对应顺序帧的所述第一信号特征参数和所述第二信号特征参数的差方和；
最小值获取单元，用于获取所述差方和中的最小值；
序号获取单元，用于若所述最小值小于预定阈值,则获取所述最小值对应的所述第二信号的起始帧的序号；
时延计算单元，用于根据所述起始帧的序号计算时延值。
9.根据权利要求8所述的时延检测装置，其特征在于，所述第一信号和所述第二信号为语音信号，所述第一信号特征参数和所述第二信号特征参数为线性预测美尔倒谱系数LPCMCC；
所述差方和计算单元包括：第一计算子单元，用于计算对应顺序帧的所述第一信号特征参数和所述第二信号特征参数的差方和，其计算公式为
其中，k为所述第二信号的起始帧的序号,N为预设帧数，J为线性预测美尔倒谱系数LPCMCC的阶数，x(i,j)为所述第一信号从第一预定信号帧开始的第i个信号帧的第j个线性预测美尔倒谱系数LPCMCC，y(i,j)为所述第二信号从起始帧开始的第i个信号帧的第j个线性预测美尔倒谱系数LPCMCC。
10.根据权利要求8所述的时延检测装置，其特征在于，所述第一信号和所述第二信号为语音信号，所述第一信号特征参数和所述第二信号特征参数为线性预测美尔倒谱系数LPCMCC；
所述差方和计算单元包括：
第二计算子单元，用于计算所述第一信号从第一预定信号帧开始的预设帧数的方差，其计算公式为
其中，N为预设帧数，x(i,j)为所述第一信号从第一预定信号帧开始的第i个信号帧的第j个线性预测美尔倒谱系数LPCMCC；
第三计算子单元，用于计算对应顺序帧的所述第一信号特征参数和所述第二信号特征参数的差方和，其计算公式为
其中，k为所述第二信号的起始帧的序号，N为预设帧数，J为线性预测美尔倒谱系数LPCMCC的阶数，x(i,j)为所述第一信号从第一预定信号帧开始的第i个信号帧的第j个线性预测美尔倒谱系数LPCMCC,y(i,j)为所述第二信号从起始帧开始的第i个信号帧的第j个线性预测美尔倒谱系数LPCMCC。
11.根据权利要求8所述的时延检测装置，其特征在于，所述采集分帧单元对所述第一信号和所述第二信号分帧时，相邻帧重叠。
12.根据权利要求11所述的时延检测装置，其特征在于，所述时延计算单元计算根据所述起始帧的序号计算时延值的公式为
其中，fsample为1ms的采样点数，Y为所述差方和中的最小值对应的所述第二信号的起始帧的序号，Y0为所述第二预定信号帧的序号，fnot-overlap为相邻帧不重叠的点数。
CN201610429554.2A 2016-06-16 2016-06-16 一种时延检测方法及装置 Active CN106209491B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610429554.2A CN106209491B (zh) 2016-06-16 2016-06-16 一种时延检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610429554.2A CN106209491B (zh) 2016-06-16 2016-06-16 一种时延检测方法及装置

Publications (2)

Publication Number Publication Date
CN106209491A CN106209491A (zh) 2016-12-07
CN106209491B true CN106209491B (zh) 2019-07-02

Family

ID=57460665

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610429554.2A Active CN106209491B (zh) 2016-06-16 2016-06-16 一种时延检测方法及装置

Country Status (1)

Country Link
CN (1) CN106209491B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109215667B (zh) 2017-06-29 2020-12-22 华为技术有限公司 时延估计方法及装置
CN110324566B (zh) * 2019-07-05 2020-12-25 苏州科达科技股份有限公司 视频会议中声音延时的测试方法、测试装置和测试设备
CN110365555B (zh) * 2019-08-08 2021-12-10 广州虎牙科技有限公司 音频延时测试方法、装置、电子设备及可读存储介质
CN113395124B (zh) * 2021-08-17 2021-11-02 清华大学 一种基于时移方差的时延估计方法及装置
CN114915574B (zh) * 2021-12-17 2024-01-09 天翼数字生活科技有限公司 一种通过声音自动检测智能门铃响应延迟的方法和系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1187271A (zh) * 1995-06-08 1998-07-08 诺基亚电信公司 数字移动通信系统中的回声消除
CN101087400A (zh) * 2007-06-26 2007-12-12 中兴通讯股份有限公司 视频帧延时检测方法及系统
CN101206862A (zh) * 2006-12-22 2008-06-25 中兴通讯股份有限公司 声学的回声抵消效果定量测试的方法
CN102739287A (zh) * 2012-07-09 2012-10-17 上海电机学院 基于自适应时延估计的回波抵消方法
CN103258537A (zh) * 2013-05-24 2013-08-21 安宁 利用特征结合对语音情感进行识别的方法及其装置
CN104700842A (zh) * 2015-02-13 2015-06-10 广州市百果园网络科技有限公司 声音信号的时延估计方法和装置
CN105679316A (zh) * 2015-12-29 2016-06-15 深圳微服机器人科技有限公司 一种基于深度神经网络的语音关键词识别方法及装置
CN108198551A (zh) * 2018-01-15 2018-06-22 深圳前海黑鲸科技有限公司 回声消除延时的处理方法及装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1187271A (zh) * 1995-06-08 1998-07-08 诺基亚电信公司 数字移动通信系统中的回声消除
CN101206862A (zh) * 2006-12-22 2008-06-25 中兴通讯股份有限公司 声学的回声抵消效果定量测试的方法
CN101087400A (zh) * 2007-06-26 2007-12-12 中兴通讯股份有限公司 视频帧延时检测方法及系统
CN102739287A (zh) * 2012-07-09 2012-10-17 上海电机学院 基于自适应时延估计的回波抵消方法
CN103258537A (zh) * 2013-05-24 2013-08-21 安宁 利用特征结合对语音情感进行识别的方法及其装置
CN104700842A (zh) * 2015-02-13 2015-06-10 广州市百果园网络科技有限公司 声音信号的时延估计方法和装置
CN105679316A (zh) * 2015-12-29 2016-06-15 深圳微服机器人科技有限公司 一种基于深度神经网络的语音关键词识别方法及装置
CN108198551A (zh) * 2018-01-15 2018-06-22 深圳前海黑鲸科技有限公司 回声消除延时的处理方法及装置

Also Published As

Publication number Publication date
CN106209491A (zh) 2016-12-07

Similar Documents

Publication Publication Date Title
CN106209491B (zh) 一种时延检测方法及装置
CN107731223A (zh) 语音活性检测方法、相关装置和设备
EP3309782A1 (en) Method, device and system for noise suppression
CN101154383B (zh) 噪声抑制、提取语音特征、语音识别及训练语音模型的方法和装置
CN101114449A (zh) 非特定人孤立词的模型训练方法、识别系统及识别方法
JP2001517325A (ja) 認識システム
JPH06222789A (ja) 音声検出方法
CN105355199B (zh) 一种基于gmm噪声估计的模型组合语音识别方法
CN107210046A (zh) 用于处理和分析信号的方法，以及实现这种方法的装置
JPH10288996A (ja) 音声認識方法及び音声信号処理装置
CN109669663A (zh) 音区幅值获取方法、装置、电子设备及存储介质
US5355432A (en) Speech recognition system
CN108108357A (zh) 口音转换方法及装置、电子设备
CN111554302A (zh) 基于声纹识别的策略调整方法、装置、终端及存储介质
Gburrek et al. On synchronization of wireless acoustic sensor networks in the presence of time-varying sampling rate offsets and speaker changes
CN107239897A (zh) 一种人格职业类型测试方法及系统
CN104103280A (zh) 基于动态时间归整算法的离线语音端点检测的方法和装置
CN108538306A (zh) 提高语音设备doa估计的方法及装置
KR20010024521A (ko) 음성 인식 장치 및 방법, 내비게이션 장치, 휴대 전화장치 및 정보 처리 장치
CN106100771B (zh) 一种双向时延检测方法及装置
CN106340310B (zh) 语音检测方法及装置
JP2000163098A (ja) 音声認識装置
CN111103568A (zh) 一种声源定位方法、装置、介质和设备
Krawczyk et al. Phase-sensitive real-time capable speech enhancement under voiced-unvoiced uncertainty
Alam et al. A study of low-variance multi-taper features for distributed speech recognition

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant