CN106231145A - 一种回声延时处理方法及回声延时处理装置 - Google Patents

一种回声延时处理方法及回声延时处理装置 Download PDF

Info

Publication number
CN106231145A
CN106231145A CN201610796005.9A CN201610796005A CN106231145A CN 106231145 A CN106231145 A CN 106231145A CN 201610796005 A CN201610796005 A CN 201610796005A CN 106231145 A CN106231145 A CN 106231145A
Authority
CN
China
Prior art keywords
signal
millisecond
frequency
echo
reference signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610796005.9A
Other languages
English (en)
Other versions
CN106231145B (zh
Inventor
张帆
胡建强
马跃
侯震
刘运
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bigo Technology Pte Ltd
Original Assignee
All Kinds Of Fruits Garden Guangzhou Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by All Kinds Of Fruits Garden Guangzhou Network Technology Co Ltd filed Critical All Kinds Of Fruits Garden Guangzhou Network Technology Co Ltd
Priority to CN201610796005.9A priority Critical patent/CN106231145B/zh
Publication of CN106231145A publication Critical patent/CN106231145A/zh
Application granted granted Critical
Publication of CN106231145B publication Critical patent/CN106231145B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M7/00—Arrangements for interconnection between switching centres
    • H04M7/006—Networks other than PSTN/ISDN providing telephone service, e.g. Voice over Internet Protocol (VoIP), including next generation networks with a packet-switched transport layer
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0272—Voice signal separating
    • G10L21/0308—Voice signal separating characterised by the type of parameter measurement, e.g. correlation techniques, zero crossing techniques or predictive techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1083—In-session procedures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/22—Arrangements for supervision, monitoring or testing
    • H04M3/2254—Arrangements for supervision, monitoring or testing in networks
    • H04M3/2263—Network management
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/22—Arrangements for supervision, monitoring or testing
    • H04M3/26—Arrangements for supervision, monitoring or testing with means for applying test signals or for measuring
    • H04M3/28—Automatic routine testing ; Fault testing; Installation testing; Test methods, test equipment or test arrangements therefor
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L2021/02082—Noise filtering the noise being echo, reverberation of the speech

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)

Abstract

本发明实施例公开了一种回声延时处理方法，包括：统计并判断最近的连续K个4N毫秒参考信号的信号功率是否都大于第一预设阈值；K为正整数，N为正整数；当统计判断为是时，根据连续K个4N毫秒参考信号的频域信息生成匹配模板信号；将实时获取的每4N毫秒采集信号的频域信号与匹配模板信号中的K个4N毫秒参考信号的频域信号分别进行相关性计算；统计最近的连续K个4N毫米采集信号与K个4N毫秒参考信号的相关性计算结果；根据相关性计算结果检测是否得到回声延时的估计值；当检测为否时，持续执行统计最近的连续K个4N毫米采集信号与K个4N毫秒参考信号的相关性计算结果的步骤，直到统计超过预设时长。

Description

一种回声延时处理方法及回声延时处理装置
技术领域
本发明涉及计算机通信领域，尤其一种回声延时处理方法及回声延时处理装置。
背景技术
随着智能手机以及移动互联网的普及、基于移动互联网的语音通信(VoIP)应用越来越多。
VoIP应用首先需要检测和估计远端播放数据和近端采集数据之间的延时(称为延时估计)。如图1示出的现有技术回声延时估计的原理示意图，估计出回声延时值后，再根据估计的延时值，调整要读取的远端数据的指针，使每次处理的近端数据都对应于最近输入的一小段远端数据(称为数据对齐)。
目前VoIP应用普遍使用Google公司的WebRtc语音处理引擎，它利用每次128个采样点的远端数据和近端数据的二值化(binary)频率特征做简单的匹配估计，从而得到延时。另外还有其它大量类似的算法，使用了其它各类频域特征做远端和近端的信号匹配。
现有技术中基于频域特征匹配的算法，其优势是运算复杂度低。但是由于每一次参与运算的信号太短、特征的信息量少，匹配估计非常不可靠，需要长至数秒时间的观察才能确定延时。这会导致用户在通话开始阶段总能听到回声。当通话过程中延时出现变化时，这些算法也同样需要一段时间来检测到回声的变化并更正数据对齐的位置，期间就会出现回声没有消除掉的问题。
发明内容
本发明实施例所要解决的技术问题在于，提供一种回声延时处理方法及回声延时处理装置，解决现有技术匹配估计不可靠的技术问题，并避免了当通话过程中延时出现变化时出现回声没有消除掉的问题。
第一方面，本发明实施例提供了一种回声延时处理方法，包括：
统计并判断最近的连续K个4N毫秒参考信号的信号功率是否都大于第一预设阈值；所述K为正整数，所述N为正整数，且所述K乘以所述4N不大于200；
当统计判断为是时，根据所述连续K个4N毫秒参考信号的频域信息生成匹配模板信号；
将实时获取的每4N毫秒采集信号的频域信号与所述匹配模板信号中的所述K个4N毫秒参考信号的频域信号分别进行相关性计算；并统计最近的连续K个4N毫米采集信号与所述K个4N毫秒参考信号的相关性计算结果；
根据所述相关性计算结果检测是否得到回声延时的估计值；
当检测为否时，则持续执行所述统计最近的连续K个4N毫米采集信号与所述K个4N毫秒参考信号的相关性计算结果的步骤，直到统计超过预设时长。
第二方面，本发明实施例提供了一种回声延时处理装置，包括：
统计判断模块，用于统计并判断最近的连续K个4N毫秒参考信号的信号功率是否都大于第一预设阈值；所述K为正整数，所述N为正整数，且所述K乘以所述4N不大于200；
生成模块，用于当统计判断为是时，根据所述连续K个4N毫秒参考信号的频域信息生成匹配模板信号；
相关性计算模块，用于将实时获取的每4N毫秒采集信号的频域信号与所述匹配模板信号中的所述K个4N毫秒参考信号的频域信号分别进行相关性计算；
统计结果模块，用于统计最近的连续K个4N毫米采集信号与所述K个4N毫秒参考信号的相关性计算结果；
延时检测模块，用于根据所述相关性计算结果检测是否得到回声延时的估计值；
第一检测触发模块，用于当检测为否时，则触发所述统计结果模块持续执行所述统计最近的连续K个4N毫米采集信号与所述K个4N毫秒参考信号的相关性计算结果的步骤，直到统计超过预设时长。
第三方面，本发明实施例提供了一种计算机存储介质，所述计算机存储介质存储有程序，所述程序执行时包括本发明实施例第一方面公开的回声延时处理方法。
通过实施本发明实施例，统计并判断最近的连续K个4N毫秒参考信号的信号功率是否都大于第一预设阈值；若是则根据连续K个4N毫秒参考信号的频域信息生成匹配模板信号；将实时获取的每4N毫秒采集信号的频域信号与匹配模板信号中的所述K个4N毫秒参考信号的频域信号分别进行相关性计算；并统计最近的连续K个4N毫米采集信号与K个4N毫秒参考信号的相关性计算结果，以检测是否得到回声延时的估计值；当检测为否时，持续执行统计最近的连续K个4N毫米采集信号与所述K个4N毫秒参考信号的相关性计算结果的步骤，直到统计超过预设时长则重新下一轮的处理，当检测为是时重新下一轮的处理；解决现有技术匹配估计不可靠的技术问题，并避免了当通话过程中延时出现变化时出现回声没有消除掉的问题；通过建立的有显著性的匹配模板信号与采集信号进行相关性计算，既能避免无效的相关性计算，又能支持任意延时长度的检测，能够在显著的回声刚出现100ms左右就被检测出来，同时得到准确的延时估计值。而且实现了依次迅速将数据对齐，并及时将当前的回声消除。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是现有技术回声延时估计的原理示意图；
图2是本发明实施例提供的回声延时处理的场景示意图；
图3是本发明实施例提供的回声延时处理方法的流程示意图；
图4是本发明实施例的匹配模板信号生成方法的流程示意图；
图5是本发明实施例提供的检测回声延时的估计值的方法的流程示意图；
图6是本发明实施例提供的回声延时处理装置的结构示意图；
图7是本发明实施例提供的生成模块的结构示意图；
图8是本发明提供的回声延时处理装置的另一实施例的结构示意图；
图9是本发明实施例提供您的相关性计算模块的结构示意图；
图10是本发明提供的回声延时处理装置的另一实施例的结构示意图；
图11是本发明实施例提供的延时检测模块的结构示意图；
图12是本发明提供的回声延时处理装置的另一实施例的结构示意图；
图13是本发明提供的回声延时处理装置的另一实施例的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
结合图2示出的本发明实施例提供的回声延时处理的场景示意图，智能移动终端之间通过移动互联网可以进行语音通信(VoIP)，一端的智能移动终端采集用户发出的语音并经过处理后通过服务器等设备发送给对端的智能移动终端的同时，也通过扬声器播放对端智能移动终端发送过来的语音；该智能移动终端同样会采集到扬声器播放的语音，从而容易使对端智能移动终端听到回声。本发明实施例的回声延时处理方法，即可以处理智能移动终端侧的回声问题，消除回声。
下面结合图3示出的本发明实施例提供的回声延时处理方法的流程示意图，详细说明本发明如何进行回声延时处理，包括以下步骤：
步骤S300：针对每个4N毫秒参考信号，进行快速傅里叶FFT变换，得到频域信号；
具体地，本发明各个实施例中的参考信号即远端声音信号，也就是说从对端发送而来的语音信号，本端要通过扬声器进行播放的声音信号。本发明各个实施例中的N为正整数，优选地N可以为1，即可以针对每一段4毫秒的远端声音信号(可以作为1个“块”)进行FFT变换，得到该个或该段4毫秒参考信号对应的频域信号。
步骤S302：根据所述频域信号计算每个4N毫秒参考信号的信号功率；
具体地，可以计算每个4N毫秒的频域信号中100Hz～4000Hz的信号总功率。
步骤S304：统计并判断最近的连续K个4N毫秒参考信号的信号功率是否都大于第一预设阈值；
具体地，本发明实施例中的K为正整数，且K乘以4N不大于200；该第一预设阈值可以为-45DB～-30DB。优选地，K可以32，N可以为1，该第一预设阈值可以为-39DB，那么即统计最近的连续32个“块”的信号功率(即最近的128ms的参考信号的信号功率)，判断每个“块”的参考信号的信号功率是否都大于-39DB，若判断为是，则执行步骤S306；否则，可以持续地执行步骤S304，以K为32为例，统计完最近的32个4N毫秒参考信号的信号功率后，再得到当前最新的一个4N毫秒参考信号的信号功率，以该最新的一个4N毫秒参考信号的信号功率及其之前的最近31个4N毫秒参考信号的信号功率，组成新的最新的32个4N毫秒参考信号的信号功率进行判断。
步骤S306：根据所述连续K个4N毫秒参考信号的频域信息生成匹配模板信号；
具体地，该匹配模板信号包括了该连续K个4N毫秒参考信号的频域信息，以用于后续与近端的采集信号进行相关性计算。
步骤S308：将实时获取的每4N毫秒采集信号的频域信号与所述匹配模板信号中的所述K个4N毫秒参考信号的频域信号分别进行相关性计算；并统计最近的连续K个4N毫米采集信号与所述K个4N毫秒参考信号的相关性计算结果；
具体地，本发明各个实施例中的采集信号即近端声音信号，也就是说本端设备通过麦克风等采集装置采集到的本端语音信号，包括用户在本端发出的语音信号以及扬声器播放声音信号等。实时获取每4N毫秒采集信号，将该4N毫秒采集信号进行FFT变换，得到频域信号，然后将该频域信号与匹配模板中的K个4N毫秒参考信号的频域信号分别进行相关性计算，得到该4N毫秒采集信号对应的K个相关性计算结果。以此类推，再计算出下一个4N毫秒采集信号对应的K个相关性计算结果，从而统计出最近的连续K个4N毫秒采集信号对应的K个相关性计算结果，即共K乘以K个相关性计算结果。
步骤S310：根据所述相关性计算结果检测是否得到回声延时的估计值；
具体地，通过预设的检测算法或分析策略来根据该K乘以K个相关性计算结果，看是否能够得到回声延时的估计值；当检测能够得到，则执行步骤S312，当检测不能得到，则可以持续执行步骤S308，直到统计超过预设时长。也就是说，若检测不能得到，再获取当前最新的一个4N毫秒采集信号，然后将该4N毫秒采集信号的频域信号与匹配模板中的K个4N毫秒参考信号的频域信号分别进行相关性计算，得到K个相关性计算结果，以该最新的一个4N毫秒采集信号对应的K个相关性计算结果及其之前的最近31个毫秒采集信号分别对应的K个相关性计算结果，统计组成新的K乘以K个相关性计算结果，然后再次执行步骤S310的检测，以此重复，直到统计超过预设时长(例如1S或2S等)，则可以结束本轮的处理，进入下一轮新的处理。
步骤S312：根据所述回声延时的估计值进行回声消除处理。
具体地，在完成回声消除处理后，可以重新开始执行统计并判断最近的连续K个4N毫秒参考信号的信号功率是否都大于第一预设阈值的步骤。
通过实施本发明实施例，解决现有技术匹配估计不可靠的技术问题，并避免了当通话过程中延时出现变化时出现回声没有消除掉的问题；通过建立的有显著性的匹配模板信号与采集信号进行相关性计算，既能避免无效的相关性计算，又能支持任意延时长度的检测，能够在显著的回声刚出现100ms左右就被检测出来，同时得到准确的延时估计值。而且实现了依次迅速将数据对齐，并及时将当前的回声消除。
具体地，如图4示出的本发明实施例的匹配模板信号生成方法的流程示意图，举例详细说明上述步骤S306中如何根据连续K个4N毫秒参考信号的频域信息生成匹配模板信号的过程：
步骤S400：根据所述连续K个4N毫秒参考信号的信号功率，选取功率最高的前8M个频点的频域信息；
具体地，本发明实施例中的M为正整数，例如1、2或3，优选地M可以为2。以M等于2为例，根据该连续K个4N毫秒参考信号的信号功率，从所有频点中，选取功率最高的(即最显著的)前16个频点的频域信息作为后续进行相关性计算的频域信息。
步骤S402：根据所述连续K个4N毫秒参考信号的所述8M个频点的频域信息生成匹配模板信号。
具体地，以M等于2，K等于32，N等于1为例，那么该匹配模板信号即为128毫秒的匹配模板信号，包括32个“块”乘以16个频点的频域信号，以用于后续与近端采集信号的相关性计算。
进一步地，也就是说上述图3实施例中的步骤S308中将实时获取的每4N毫秒采集信号的频域信号与所述匹配模板信号中的所述K个4N毫秒参考信号的频域信号分别进行相关性计算，具体包括：
实时获取每4N毫秒采集信号；
选取该4N毫秒采集信号中该匹配模板信号指示的该8M个频点的频域信号，与该匹配模板信号中的该K个4N毫秒参考信号的该8M个频点的频域信号分别进行相关性计算。从而能避免无效的相关性计算，又能支持任意延时长度的检测。
再进一步地，本发明实施例中每次统计得出的相关性计算结果Cor(y，u)，可以组成y*u的矩阵，其中该y依次从0取值到K-1，该u依次从0取值到K-1；以K为32为例，如下表所示：
Cor(0,0) Cor(0,1) Cor(0,2) …… …… …… …… Cor(0,31)
Cor(1,0) Cor(1,1) Cor(1,2) …… …… …… …… Cor(1,31)
Cor(2,0) Cor(2,1) Cor(2,2) …… …… …… …… Cor(2,31)
…… …… …… …… …… …… …… ……
…… …… …… …… …… …… …… ……
…… …… …… …… …… …… …… ……
…… …… …… …… …… …… …… ……
Cor(31,0) Cor(31,1) Cor(31,2) …… …… …… …… Cor(31,31)
如图5示出的本发明实施例提供的检测回声延时的估计值的方法的流程示意图，举例详细说明如何检测是否得到回声延时的估计值，包括：
步骤S500：计算该矩阵从Cor(0，0)至Cor(K-1，K-1)的对角线上相关性值的平均值；
具体地，可以通过计算矩阵中对角线上的相关性结果的值取平均，得到平均值，该对角线为从Cor(0，0)至Cor(K-1，K-1)的对角线。
需要说明的是，当获取最新的一个4N毫秒采集信号，可以重新生成该最新的一个4N毫秒采集信号及其之前的K-1个4N毫秒采集信号，组成的最近的K个4N毫秒采集信号对应的K个相关性计算结果，组成新的组成y*u的矩阵。
步骤S502：比较所述平均值是否大于第二预设阈值；
具体地，本发明实施例中的第二预设阈值可以取值0.3至0.5，优选地可以为0.33；若比较该平均值大于该第二预设阈值，则执行步骤S504，否则，执行步骤S506。
可理解的是，本发明实施例根据该平均值的大小检测是否得到回声延时的估计值，不限于步骤S502，技术人员可以根据自身需求来设置检测方法，只要利用到该平均值的大小，即属于本发明的保护范围。
步骤S504：检测出得到回声延时的估计值；
具体地，可以通过计算该匹配模板信号的生成时刻到当前时刻所经过的时长，来生成回声延时的估计值。
步骤S506：检测出没有得到回声延时的估计值。
需要说明的是，步骤S504之后，可以重新开始执行统计并判断最近的连续K个4N毫秒参考信号的信号功率是否都大于第一预设阈值的步骤，即可以开始下一轮新的处理。步骤S506之后，若统计超时，也可以重新开始执行统计并判断最近的连续K个4N毫秒参考信号的信号功率是否都大于第一预设阈值的步骤，即可以开始下一轮新的处理。
通过实施本发明实施例，统计并判断最近的连续K个4N毫秒参考信号的信号功率是否都大于第一预设阈值；若是则根据连续K个4N毫秒参考信号的频域信息生成匹配模板信号；将实时获取的每4N毫秒采集信号的频域信号与匹配模板信号中的所述K个4N毫秒参考信号的频域信号分别进行相关性计算；并统计最近的连续K个4N毫米采集信号与K个4N毫秒参考信号的相关性计算结果，以检测是否得到回声延时的估计值；当检测为否时，持续执行统计最近的连续K个4N毫米采集信号与所述K个4N毫秒参考信号的相关性计算结果的步骤，直到统计超过预设时长则重新下一轮的处理，当检测为是时重新下一轮的处理；解决现有技术匹配估计不可靠的技术问题，并避免了当通话过程中延时出现变化时出现回声没有消除掉的问题；通过建立的有显著性的匹配模板信号与采集信号进行相关性计算，既能避免无效的相关性计算，又能支持任意延时长度的检测，能够在显著的回声刚出现100ms左右就被检测出来，同时得到准确的延时估计值。而且实现了依次迅速将数据对齐，并及时将当前的回声消除。
上述详细阐述了本发明实施例的方法，下面为了便于更好地实施本发明实施例的上述方案，相应地，下面还提供用于配合实施上述方案的相关装置。
如图6示出的本发明实施例提供的回声延时处理装置的结构示意图，回声延时处理装置60可以包括统计判断模块600、生成模块602、相关性计算模块604、统计结果模块606、延时检测模块608以及第一检测触发模块6010，其中，
统计判断模块600用于统计并判断最近的连续K个4N毫秒参考信号的信号功率是否都大于第一预设阈值；所述K为正整数，所述N为正整数，且所述K乘以所述4N不大于200；
生成模块602用于当统计判断为是时，根据所述连续K个4N毫秒参考信号的频域信息生成匹配模板信号；
相关性计算模块604用于将实时获取的每4N毫秒采集信号的频域信号与所述匹配模板信号中的所述K个4N毫秒参考信号的频域信号分别进行相关性计算；
统计结果模块606用于统计最近的连续K个4N毫米采集信号与所述K个4N毫秒参考信号的相关性计算结果；
延时检测模块608用于根据所述相关性计算结果检测是否得到回声延时的估计值；
第一检测触发模块6010用于当检测为否时，则触发统计结果模块606持续执行所述统计最近的连续K个4N毫米采集信号与所述K个4N毫秒参考信号的相关性计算结果的步骤，直到统计超过预设时长。
具体地，如图7示出的本发明实施例提供的生成模块的结构示意图，生成模块602可以包括：选取单元6020和匹配生成单元6022，其中，
选取单元6020用于根据所述连续K个4N毫秒参考信号的信号功率，选取功率最高的前8M个频点的频域信息；所述M为正整数；
匹配生成单元6022用于根据所述连续K个4N毫秒参考信号的所述8M个频点的频域信息生成匹配模板信号。
进一步地，如图8示出的本发明提供的回声延时处理装置的另一实施例的结构示意图，回声延时处理装置60包括统计判断模块600、生成模块602、相关性计算模块604、统计结果模块606、延时检测模块608以及第一检测触发模块6010外，还可以包括变换模块6012和功率计算模块6014，其中，
变换模块6012用于在统计判断模块600统计并判断最近的连续K个4N毫秒参考信号的信号功率是否都大于第一预设阈值之前，针对每个4N毫秒参考信号，进行快速傅里叶FFT变换，得到频域信号；
功率计算模块6014用于根据所述频域信号计算每个4N毫秒参考信号的信号功率。
再进一步地，如图9示出的本发明实施例提供您的相关性计算模块的结构示意图，相关性计算模块604可以包括：实时获取单元6040和计算单元6042，其中，
实时获取单元6040用于实时获取每4N毫秒采集信号；
计算单元6042用于选取所述4N毫秒采集信号中所述匹配模板信号指示的所述8M个频点的频域信号，与所述匹配模板信号中的所述K个4N毫秒参考信号的所述8M个频点的频域信号分别进行相关性计算。
再进一步地，如图10示出的本发明提供的回声延时处理装置的另一实施例的结构示意图，回声延时处理装置60包括统计判断模块600、生成模块602、相关性计算模块604、统计结果模块606、延时检测模块608、第一检测触发模块6010、变换模块6012和功率计算模块6014外，还可以包括回声消除模块6016、第二检测触发模块6018和第三检测触发模块6020，其中，
回声消除模块6016用于在延时检测模块608的检测为是时，根据所述回声延时的估计值进行回声消除处理；
第二检测触发模块6018用于在回声消除模块6016处理完后，触发统计判断模块600重新开始执行所述统计并判断最近的连续K个4N毫秒参考信号的信号功率是否都大于第一预设阈值的步骤。
第三检测触发模块6020用于在延时检测模块608的检测为否时，且统计超过预设时长时，触发统计判断模块600重新开始执行所述统计并判断最近的连续K个4N毫秒参考信号的信号功率是否都大于第一预设阈值的步骤。
再进一步地，统计结果模块606每次统计得出的所述相关性计算结果Cor(y，u)，组成y*u的矩阵，其中所述y依次从0取值到K-1，所述u依次从0取值到K-1；如图11示出的本发明实施例提供的延时检测模块的结构示意图，延时检测模块608可以包括平均值计算单元6080和检测单元6082，其中，
平均值计算单元6080用于计算所述矩阵从Cor(0，0)至Cor(K-1，K-1)的对角线上相关性值的平均值；
检测单元6082用于根据所述平均值的大小检测是否得到回声延时的估计值。
具体地，检测单元6082可以具体用于，比较所述平均值是否大于第二预设阈值；当比较为是时，则检测出得到回声延时的估计值；当比较为否时，则检测出没有得到回声延时的估计值。
再进一步地，如图12示出的本发明提供的回声延时处理装置的另一实施例的结构示意图，回声延时处理装置60包括统计判断模块600、生成模块602、相关性计算模块604、统计结果模块606、延时检测模块608、第一检测触发模块6010、变换模块6012、功率计算模块6014、回声消除模块6016、第二检测触发模块6018和第三检测触发模块6020外，还可以包括延时估计计算模块6022，用于在检测单元6082检测出得到回声延时的估计值时，计算匹配模板信号的生成时刻到当前时刻所经过的时长，生成所述回声延时的估计值。
可理解的是，本实施例的回声延时处理装置60的各功能模块的功能可根据上述方法实施例中的方法具体实现，此处不再赘述。
请参阅图13，图13是本发明提供的回声延时处理装置的另一实施例的结构示意图。其中，如图13所示，回声延时处理装置130可以包括：至少一个处理器1301，例如CPU，至少一个网络接口1304，用户接口1303，存储器1305，至少一个通信总线1302，可选地，还可以包括显示屏1306。其中，通信总线1302用于实现这些组件之间的连接通信。其中，用户接口1303可以包括触摸屏、键盘或鼠标等等。网络接口1304可选的可以包括标准的有线接口、无线接口(如WI-FI接口)，通过网络接口1304可以与服务器建立通信连接。存储器1305可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器，存储器1305包括本发明实施例中的flash。存储器1305可选的还可以是至少一个位于远离前述处理器1301的存储系统。如图13所示，作为一种计算机存储介质的存储器1305中可以包括操作系统、网络通信模块、用户接口模块以及回声延时处理程序。
处理器1301可以用于调用存储器1305中存储的回声延时处理程序，并执行以下操作：
统计并判断最近的连续K个4N毫秒参考信号的信号功率是否都大于第一预设阈值；所述K为正整数，所述N为正整数，且所述K乘以所述4N不大于200；
当统计判断为是时，根据所述连续K个4N毫秒参考信号的频域信息生成匹配模板信号；
将实时获取的每4N毫秒采集信号的频域信号与所述匹配模板信号中的所述K个4N毫秒参考信号的频域信号分别进行相关性计算；并统计最近的连续K个4N毫米采集信号与所述K个4N毫秒参考信号的相关性计算结果；
根据所述相关性计算结果检测是否得到回声延时的估计值；
当检测为否时，则持续执行所述统计最近的连续K个4N毫米采集信号与所述K个4N毫秒参考信号的相关性计算结果的步骤，直到统计超过预设时长。
具体地，处理器1301根据所述连续K个4N毫秒参考信号的频域信息生成匹配模板信号，包括：
根据所述连续K个4N毫秒参考信号的信号功率，选取功率最高的前8M个频点的频域信息；所述M为正整数；
根据所述连续K个4N毫秒参考信号的所述8M个频点的频域信息生成匹配模板信号。
具体地，处理器1301统计并判断最近的连续K个4N毫秒参考信号的信号功率是否都大于第一预设阈值之前，还可以执行：
针对每个4N毫秒参考信号，进行快速傅里叶FFT变换，得到频域信号；
根据所述频域信号计算每个4N毫秒参考信号的信号功率。
具体地，处理器1301将实时获取的每4N毫秒采集信号的频域信号与所述匹配模板信号中的所述K个4N毫秒参考信号的频域信号分别进行相关性计算，包括：
实时获取每4N毫秒采集信号；
选取所述4N毫秒采集信号中所述匹配模板信号指示的所述8M个频点的频域信号，与所述匹配模板信号中的所述K个4N毫秒参考信号的所述8M个频点的频域信号分别进行相关性计算。
具体地，处理器1301根据所述相关性计算结果检测是否得到回声延时的估计值之后，包括：
当检测为是时，根据所述回声延时的估计值进行回声消除处理；
重新开始执行所述统计并判断最近的连续K个4N毫秒参考信号的信号功率是否都大于第一预设阈值的步骤。
具体地，处理器1301根据所述相关性计算结果检测是否得到回声延时的估计值之后，还可以执行：
当检测为否，且统计超过预设时长时，重新开始执行所述统计并判断最近的连续K个4N毫秒参考信号的信号功率是否都大于第一预设阈值的步骤。
具体地，每次统计得出的所述相关性计算结果Cor(y，u)，组成y*u的矩阵，其中所述y依次从0取值到K-1，所述u依次从0取值到K-1；
处理器1301根据所述相关性计算结果检测是否得到回声延时的估计值，包括：
计算所述矩阵从Cor(0，0)至Cor(K-1，K-1)的对角线上相关性值的平均值；
根据所述平均值的大小检测是否得到回声延时的估计值。
具体地，处理器1301根据所述平均值的大小检测是否得到回声延时的估计值，包括：
比较所述平均值是否大于第二预设阈值；
当比较为是时，则检测出得到回声延时的估计值；当比较为否时，则检测出没有得到回声延时的估计值。
具体地，当处理器1301检测出得到回声延时的估计值时，计算所述匹配模板信号的生成时刻到当前时刻所经过的时长，生成所述回声延时的估计值。
需要说明的是，本发明实施例中的回声延时处理装置60或回声延时处理装置13包括但不限于个人计算机、移动电脑、平板电脑、移动电话、个人数字助理(Personal DigitalAssistant,PDA)、智能电视、智能手表、智能眼镜、智能手环等具有摄像或录像功能的电子设备上。
综上所述，通过实施本发明实施例，统计并判断最近的连续K个4N毫秒参考信号的信号功率是否都大于第一预设阈值；若是则根据连续K个4N毫秒参考信号的频域信息生成匹配模板信号；将实时获取的每4N毫秒采集信号的频域信号与匹配模板信号中的所述K个4N毫秒参考信号的频域信号分别进行相关性计算；并统计最近的连续K个4N毫米采集信号与K个4N毫秒参考信号的相关性计算结果，以检测是否得到回声延时的估计值；当检测为否时，持续执行统计最近的连续K个4N毫米采集信号与所述K个4N毫秒参考信号的相关性计算结果的步骤，直到统计超过预设时长则重新下一轮的处理，当检测为是时重新下一轮的处理；解决现有技术匹配估计不可靠的技术问题，并避免了当通话过程中延时出现变化时出现回声没有消除掉的问题；通过建立的有显著性的匹配模板信号与采集信号进行相关性计算，既能避免无效的相关性计算，又能支持任意延时长度的检测，能够在显著的回声刚出现100ms左右就被检测出来，同时得到准确的延时估计值。而且实现了依次迅速将数据对齐，并及时将当前的回声消除。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。
以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本发明权利要求所作的等同变化，仍属于发明所涵盖的范围。

Claims (12)

1.一种回声延时处理方法，其特征在于，包括：
统计并判断最近的连续K个4N毫秒参考信号的信号功率是否都大于第一预设阈值；所述K为正整数，所述N为正整数；
当统计判断为是时，根据所述连续K个4N毫秒参考信号的频域信息生成匹配模板信号；
将实时获取的每4N毫秒采集信号的频域信号与所述匹配模板信号中的所述K个4N毫秒参考信号的频域信号分别进行相关性计算；并统计最近的连续K个4N毫米采集信号与所述K个4N毫秒参考信号的相关性计算结果；
根据所述相关性计算结果检测是否得到回声延时的估计值；
当检测为否时，则持续执行所述统计最近的连续K个4N毫米采集信号与所述K个4N毫秒参考信号的相关性计算结果的步骤，直到统计超过预设时长。
2.如权利要求1所述的方法，其特征在于，所述根据所述连续K个4N毫秒参考信号的频域信息生成匹配模板信号，包括：
根据所述连续K个4N毫秒参考信号的信号功率，选取功率最高的前8M个频点的频域信息；所述M为正整数；
根据所述连续K个4N毫秒参考信号的所述8M个频点的频域信息生成匹配模板信号。
3.如权利要求2所述的方法，其特征在于，所述将实时获取的每4N毫秒采集信号的频域信号与所述匹配模板信号中的所述K个4N毫秒参考信号的频域信号分别进行相关性计算，包括：
实时获取每4N毫秒采集信号；
选取所述4N毫秒采集信号中所述匹配模板信号指示的所述8M个频点的频域信号，与所述匹配模板信号中的所述K个4N毫秒参考信号的所述8M个频点的频域信号分别进行相关性计算。
4.如权利要求1所述的方法，其特征在于，所述根据所述相关性计算结果检测是否得到回声延时的估计值之后，包括：
当检测为否，且统计超过预设时长时，重新开始执行所述统计并判断最近的连续K个4N毫秒参考信号的信号功率是否都大于第一预设阈值的步骤。
5.如权利要求1-4任一项所述的方法，其特征在于，每次统计得出的所述相关性计算结果Cor(y，u)，组成y*u的矩阵，其中所述y依次从0取值到K-1，所述u依次从0取值到K-1；
所述根据所述相关性计算结果检测是否得到回声延时的估计值，包括：
计算所述矩阵从Cor(0，0)至Cor(K-1，K-1)的对角线上相关性值的平均值；
根据所述平均值的大小检测是否得到回声延时的估计值。
6.如权利要求5所述的方法，其特征在于，所述根据所述平均值的大小检测是否得到回声延时的估计值，包括：
比较所述平均值是否大于第二预设阈值；
当比较为是时，则检测出得到回声延时的估计值；当比较为否时，则检测出没有得到回声延时的估计值。
7.一种回声延时处理装置，其特征在于，包括：
统计判断模块，用于统计并判断最近的连续K个4N毫秒参考信号的信号功率是否都大于第一预设阈值；所述K为正整数，所述N为正整数；
生成模块，用于当统计判断为是时，根据所述连续K个4N毫秒参考信号的频域信息生成匹配模板信号；
相关性计算模块，用于将实时获取的每4N毫秒采集信号的频域信号与所述匹配模板信号中的所述K个4N毫秒参考信号的频域信号分别进行相关性计算；
统计结果模块，用于统计最近的连续K个4N毫米采集信号与所述K个4N毫秒参考信号的相关性计算结果；
延时检测模块，用于根据所述相关性计算结果检测是否得到回声延时的估计值；
第一检测触发模块，用于当检测为否时，则触发所述统计结果模块持续执行所述统计最近的连续K个4N毫米采集信号与所述K个4N毫秒参考信号的相关性计算结果的步骤，直到统计超过预设时长。
8.如权利要求7所述的装置，其特征在于，所述生成模块包括：
选取单元，用于根据所述连续K个4N毫秒参考信号的信号功率，选取功率最高的前8M个频点的频域信息；所述M为正整数；
匹配生成单元，用于根据所述连续K个4N毫秒参考信号的所述8M个频点的频域信息生成匹配模板信号。
9.如权利要求8所述的装置，其特征在于，所述相关性计算模块包括：
实时获取单元，用于实时获取每4N毫秒采集信号；
计算单元，用于选取所述4N毫秒采集信号中所述匹配模板信号指示的所述8M个频点的频域信号，与所述匹配模板信号中的所述K个4N毫秒参考信号的所述8M个频点的频域信号分别进行相关性计算。
10.如权利要求7所述的装置，其特征在于，还包括：
第三检测触发模块，用于在所述延时检测模块的检测为否时，且统计超过预设时长时，触发所述统计判断模块重新开始执行所述统计并判断最近的连续K个4N毫秒参考信号的信号功率是否都大于第一预设阈值的步骤。
11.如权利要求7-10任一项所述的装置，其特征在于，所述统计结果模块每次统计得出的所述相关性计算结果Cor(y，u)，组成y*u的矩阵，其中所述y依次从0取值到K-1，所述u依次从0取值到K-1；
所述延时检测模块包括：
平均值计算单元，用于计算所述矩阵从Cor(0，0)至Cor(K-1，K-1)的对角线上相关性值的平均值；
检测单元，用于根据所述平均值的大小检测是否得到回声延时的估计值。
12.如权利要求11所述的装置，其特征在于，所述检测单元具体用于，比较所述平均值是否大于第二预设阈值；
当比较为是时，则检测出得到回声延时的估计值；当比较为否时，则检测出没有得到回声延时的估计值。
CN201610796005.9A 2016-08-31 2016-08-31 一种回声延时处理方法及回声延时处理装置 Active CN106231145B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610796005.9A CN106231145B (zh) 2016-08-31 2016-08-31 一种回声延时处理方法及回声延时处理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610796005.9A CN106231145B (zh) 2016-08-31 2016-08-31 一种回声延时处理方法及回声延时处理装置

Publications (2)

Publication Number Publication Date
CN106231145A true CN106231145A (zh) 2016-12-14
CN106231145B CN106231145B (zh) 2019-09-27

Family

ID=58073904

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610796005.9A Active CN106231145B (zh) 2016-08-31 2016-08-31 一种回声延时处理方法及回声延时处理装置

Country Status (1)

Country Link
CN (1) CN106231145B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108198551A (zh) * 2018-01-15 2018-06-22 深圳前海黑鲸科技有限公司 回声消除延时的处理方法及装置
CN109493878A (zh) * 2018-12-17 2019-03-19 杭州嘉楠耘智信息科技有限公司 一种用于回声消除的滤波方法及装置、设备、介质
CN110246513A (zh) * 2019-07-08 2019-09-17 维沃移动通信有限公司 语音信号的处理方法及移动终端
CN110349592A (zh) * 2019-07-17 2019-10-18 百度在线网络技术（北京）有限公司 用于输出信息的方法和装置
CN113170024A (zh) * 2018-11-14 2021-07-23 深圳市欢太科技有限公司 回声消除方法、延时估计方法、装置、存储介质及设备
CN113689871A (zh) * 2020-05-19 2021-11-23 阿里巴巴集团控股有限公司 回声消除方法和装置
CN113724722A (zh) * 2021-08-18 2021-11-30 杭州网易智企科技有限公司 回声延迟估计方法、装置、存储介质和计算设备
US11330383B2 (en) 2020-04-30 2022-05-10 Apollo Intelligent Connectivity (Beijing) Technology Co., Ltd. Method and apparatus for detecting echo delay and electronic device

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104902116A (zh) * 2015-03-27 2015-09-09 腾讯科技（深圳）有限公司 一种音频数据与参考信号的时间对齐方法及装置
CN105472191A (zh) * 2015-11-18 2016-04-06 百度在线网络技术（北京）有限公司 一种跟踪回声时延的方法和装置
US20160171988A1 (en) * 2014-12-15 2016-06-16 Wire Swiss Gmbh Delay estimation for echo cancellation using ultrasonic markers
CN105872156A (zh) * 2016-05-25 2016-08-17 腾讯科技（深圳）有限公司 一种回声时延跟踪方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160171988A1 (en) * 2014-12-15 2016-06-16 Wire Swiss Gmbh Delay estimation for echo cancellation using ultrasonic markers
CN104902116A (zh) * 2015-03-27 2015-09-09 腾讯科技（深圳）有限公司 一种音频数据与参考信号的时间对齐方法及装置
CN105472191A (zh) * 2015-11-18 2016-04-06 百度在线网络技术（北京）有限公司 一种跟踪回声时延的方法和装置
CN105872156A (zh) * 2016-05-25 2016-08-17 腾讯科技（深圳）有限公司 一种回声时延跟踪方法及装置

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108198551A (zh) * 2018-01-15 2018-06-22 深圳前海黑鲸科技有限公司 回声消除延时的处理方法及装置
CN113170024A (zh) * 2018-11-14 2021-07-23 深圳市欢太科技有限公司 回声消除方法、延时估计方法、装置、存储介质及设备
CN113170024B (zh) * 2018-11-14 2023-08-29 深圳市欢太科技有限公司 回声消除方法、延时估计方法、装置、存储介质及设备
CN109493878A (zh) * 2018-12-17 2019-03-19 杭州嘉楠耘智信息科技有限公司 一种用于回声消除的滤波方法及装置、设备、介质
CN109493878B (zh) * 2018-12-17 2021-08-31 嘉楠明芯(北京)科技有限公司 一种用于回声消除的滤波方法及装置、设备、介质
CN110246513A (zh) * 2019-07-08 2019-09-17 维沃移动通信有限公司 语音信号的处理方法及移动终端
CN110349592A (zh) * 2019-07-17 2019-10-18 百度在线网络技术（北京）有限公司 用于输出信息的方法和装置
CN110349592B (zh) * 2019-07-17 2021-09-28 百度在线网络技术（北京）有限公司 用于输出信息的方法和装置
US11330383B2 (en) 2020-04-30 2022-05-10 Apollo Intelligent Connectivity (Beijing) Technology Co., Ltd. Method and apparatus for detecting echo delay and electronic device
CN113689871A (zh) * 2020-05-19 2021-11-23 阿里巴巴集团控股有限公司 回声消除方法和装置
CN113724722A (zh) * 2021-08-18 2021-11-30 杭州网易智企科技有限公司 回声延迟估计方法、装置、存储介质和计算设备
CN113724722B (zh) * 2021-08-18 2023-12-26 杭州网易智企科技有限公司 回声延迟估计方法、装置、存储介质和计算设备

Also Published As

Publication number Publication date
CN106231145B (zh) 2019-09-27

Similar Documents

Publication Publication Date Title
CN106231145A (zh) 一种回声延时处理方法及回声延时处理装置
CN105872156B (zh) 一种回声时延跟踪方法及装置
US10771621B2 (en) Acoustic echo cancellation based sub band domain active speaker detection for audio and video conferencing applications
CN108134863B (zh) 一种基于双统计量的改进型双端检测装置及检测方法
CN113170024B (zh) 回声消除方法、延时估计方法、装置、存储介质及设备
CN103152546A (zh) 基于模式识别和延迟前馈控制的视频会议回声抑制方法
US8560312B2 (en) Method and apparatus for the detection of impulsive noise in transmitted speech signals for use in speech quality assessment
CN110992923B (zh) 回声消除方法、电子设备以及存储装置
CN106448695B (zh) 一种双端通话鲁棒的变阶变步长仿射投影方法
CN112017679B (zh) 用于自适应滤波器系数更新的方法及装置、设备
CN113452855B (zh) 啸叫处理方法、装置、电子设备及存储介质
CN108074582A (zh) 一种噪声抑制信噪比估计方法和用户终端
WO2003028008A1 (en) Probabilistic networks for detecting signal content
CN112289336A (zh) 音频信号处理方法和装置
CN111081246B (zh) 直播机器人唤醒方法、装置、电子设备及存储介质
US8345860B1 (en) Method and system for detection of onset of near-end signal in an echo cancellation system
CN111028855A (zh) 回声抑制方法、装置、设备及存储介质
CN110148421A (zh) 一种残余回声检测方法、终端和装置
WO2024017110A1 (zh) 语音降噪方法、模型训练方法、装置、设备、介质及产品
CN204117590U (zh) 语音采集降噪装置以及语音质量评价系统
CN112969130A (zh) 音频信号处理方法、装置和电子设备
WO2024041512A1 (zh) 音频降噪方法、装置、电子设备及可读存储介质
CN111986694A (zh) 基于瞬态噪声抑制的音频处理方法、装置、设备及介质
CN110021289B (zh) 一种声音信号处理方法、装置及存储介质
EP4310840A1 (en) Echo cancellation method and apparatus, device, and storage medium

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230927

Address after: 31a, 15 / F, building 30, maple mall, bangrang Road, Brazil, Singapore

Patentee after: Baiguoyuan Technology (Singapore) Co.,Ltd.

Address before: Floor 28, Building B1, Wanda Plaza, Wanbo Business District, Nancun Town, Panyu District, Guangzhou City, Guangdong Province, 511442

Patentee before: GUANGZHOU BAIGUOYUAN NETWORK TECHNOLOGY Co.,Ltd.