CN110099183A - 一种音频数据处理装置、方法以及通话设备 - Google Patents
一种音频数据处理装置、方法以及通话设备 Download PDFInfo
- Publication number
- CN110099183A CN110099183A CN201910372963.7A CN201910372963A CN110099183A CN 110099183 A CN110099183 A CN 110099183A CN 201910372963 A CN201910372963 A CN 201910372963A CN 110099183 A CN110099183 A CN 110099183A
- Authority
- CN
- China
- Prior art keywords
- playback
- data frame
- recording
- audio
- buffer area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 230000001755 vocal effect Effects 0.000 title claims abstract description 18
- 238000003860 storage Methods 0.000 claims description 11
- 238000003672 processing method Methods 0.000 claims description 10
- 230000005540 biological transmission Effects 0.000 claims description 4
- 230000000694 effects Effects 0.000 abstract description 12
- 230000003993 interaction Effects 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 18
- 230000006870 function Effects 0.000 description 13
- 238000004590 computer program Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 230000001360 synchronised effect Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 3
- 230000006854 communication Effects 0.000 description 3
- 230000003111 delayed effect Effects 0.000 description 3
- 230000003139 buffering effect Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000000151 deposition Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M9/00—Arrangements for interconnection not involving centralised switching
- H04M9/08—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Telephone Function (AREA)
- Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)
Abstract
本发明实施例所提供的音频数据处理装置、方法以及通话设备。硬件处理模块用于向音频处理模块发送编号获取指令、编号设置指令以及录音数据帧。音频处理模块用于根据编号获取指令获取放音编号并对放音编号进行记录,以及根据编号设置指令和最近一次记录的放音编号对录音数据帧设置录音编号。音频处理模块还用于获取编号一一对应的目标录音数据帧和目标放音数据帧,并根据目标放音数据帧对待处理录音数据帧进行回音消除。由于采用硬件处理模块与音频处理模块进行指令交互的方式,实现了放音数据帧与录音数据帧的编号的同步对齐,极大地减少了处理系统中的回音延时,故有效减小了处理系统的处理开销,提升了回音消除的效果。
Description
技术领域
本发明涉及音频数据处理领域,具体而言,涉及一种音频数据处理装置、方法以及通话设备。
背景技术
在语音通话的过程中,通话设备的通话质量是非常重要的,而影响通话质量的一个重要因素就是回音。回音是指近端的通话设备不仅采集了通话人的声音,同时也采集了近端通话设备发出的远端声音,从而使得远端通话者受到回音的干扰,因此,若要提高通话质量,则必须对通话过程中的音频数据进行回音消除。
目前,通常采用软件估算整个处理系统的回音延时,而采用软件估算回音延时的方法由于软件估算本身以及处理系统性能的原因,估算的回音延时并不准确、处理开销很大,因此现有的回音消除方法的效果不好。
发明内容
本发明实施例的目的在于提供一种音频数据处理装置、方法以及通话设备,以提升回音消除效果。
为了实现上述目的,本发明实施例采用的技术方案如下:
第一方面,本发明实施例提出一种音频数据处理装置,该音频数据处理装置包括音频处理模块以及硬件处理模块,音频处理模块与硬件处理模块电连接。硬件处理模块用于在获取到放音数据帧时,向音频处理模块发送编号获取指令,其中,放音数据帧包括放音编号。音频处理模块用于根据编号获取指令获取放音编号并对放音编号进行记录。硬件处理模块还用于在获取到录音数据帧时,向音频处理模块发送编号设置指令以及录音数据帧。音频处理模块还用于根据编号设置指令获取最近一次记录的放音编号,并依据最近一次记录的放音编号对录音数据帧设置录音编号。音频处理模块还用于根据录音编号和放音编号获取目标录音数据帧和目标放音数据帧,并根据目标放音数据帧对待处理录音数据帧进行回音消除,其中,目标放音数据帧的放音编号与目标录音数据帧的录音编号一一对应。
第二方面,本发明实施例提出一种音频数据处理方法,该方法应用于音频数据处理装置,音频数据处理装置包括音频处理模块以及硬件处理模块,音频处理模块与硬件处理模块电连接。该方法包括:硬件处理模块在获取到放音数据帧时,向音频处理模块发送编号获取指令,其中,放音数据帧包括放音编号;音频处理模块根据编号获取指令获取放音编号并对放音编号进行记录;硬件处理模块还在获取到录音数据帧时,向音频处理模块发送编号设置指令以及录音数据帧;音频处理模块还根据编号设置指令获取最近一次记录的放音编号,并依据最近一次记录的放音编号对录音数据帧设置录音编号;音频处理模块还根据录音编号和放音编号获取目标录音数据帧和目标放音数据帧,并根据目标放音数据帧对待处理录音数据帧进行回音消除;其中,目标放音数据帧的放音编号与目标录音数据帧的录音编号一一对应。
第三方面,本发明实施例提出一种通话设备,通话设备包括上述的音频数据处理装置。
本发明实施例所提供的音频数据处理装置、方法以及通话设备,该音频数据处理装置包括音频处理模块以及硬件处理模块,音频处理模块与硬件处理模块电连接。硬件处理模块用于在获取到放音数据帧时,向音频处理模块发送编号获取指令,其中,放音数据帧包括放音编号。音频处理模块用于根据编号获取指令获取放音编号并对放音编号进行记录。硬件处理模块还用于在获取到录音数据帧时,向音频处理模块发送编号设置指令以及录音数据帧。音频处理模块还用于根据编号设置指令获取最近一次记录的放音编号,并依据最近一次记录的放音编号对录音数据帧设置录音编号。音频处理模块还用于根据录音编号和放音编号获取目标录音数据帧和目标放音数据帧,并根据目标放音数据帧对待处理录音数据帧进行回音消除,其中,目标放音数据帧的放音编号与目标录音数据帧的录音编号一一对应。由于采用硬件处理模块与音频处理模块进行指令交互的方式,实现了放音数据帧与录音数据帧的编号的同步对齐,极大地减少了处理系统中的回音延时,故有效减小了处理系统的处理开销,提升了回音消除的效果。
本发明的其他特征和优点将在随后的说明书阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明实施例了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本发明实施例所提供的音频数据处理装置的应用场景示意图。
图2示出了本发明实施例所提供的音频数据处理装置的结构框图。
图3示出了本发明实施例所提供的音频处理模块的结构框图。
图4示出了本发明实施例所提供的放音数据帧以及录音数据帧写入缓存区的示意图。
图5示出了本发明实施例所提供的音频数据处理方法的一种流程示意图。
图标:10-音频数据处理装置;11-音频处理模块;12-硬件处理模块;100-近端通话设备;200-远端通话设备。
具体实施方式
下面将结合本发明实施例中附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
在实现本发明实施例的技术方案的过程中,本申请发明人发现:
目前通常采用软件估算进行回音的消除,通过估算整个处理系统的回音延时,其中,回音延时包括放音延时(远端音频帧数据写入放音缓冲区到扬声器播放的时间)以及录音延时(近端音频数据从麦克风录入到从录音缓冲区获得近端音频帧的时间),然后通过回音延时从参考音频帧缓冲区队列和近端音频帧缓冲区队列取出音频数据放入回音消除器做回音消除处理。由于采用软件估算,上述的回音消除技术存在着计算的延时不够准确、不够稳定的缺点,并且容易受到整个处理系统的性能影响,例如,在处理系统由于繁忙造成丢帧的情况下放音延时的延时估算算法会被打乱且不易恢复,使得送入回音消除器的音频数据不匹配,会造成回音消除效果很大程度降低,并且,回音消除器的“尾长”设置需要设置地较长才能提高上述回音消除技术的稳定性,但是“尾长”越长,回音消除器处理同样长度的数据时间越长,从而上述回音消除技术还存在处理开销大,回音消除效果不好的缺点。另外,上述回音消除技术还存在启动过程中抗抖动能力不强,回音消除效果起效慢、终端设备兼容性不好的缺点。
需要说明的是,以上现有技术中的方案所存在的缺陷,均是发明人在经过实践并仔细研究后得出的结果,因此,上述问题的发现过程以及下文中本发明实施例针对上述问题所提出的解决方案,都应该是发明人在本发明过程中对本发明做出的贡献。
基于对上述缺陷的研究,本发明实施例提出一种音频数据处理装置、方法以及通话设备,通过采用硬件处理模块与音频处理模块进行指令交互的方式,实现了放音数据帧与录音数据帧的编号的同步对齐,极大地减少了处理系统中的回音延时,故有效减小了处理系统的处理开销,提升了回音消除的效果。下面,将结合附图该内容进行详细阐述。
请参照图1,为本发明实施例所提供的音频数据处理装置的应用场景示意图。近端通话设备100与远端通话设备200通信连接,近端通话设备100以及远端通话设备200中均设置有音频数据处理装置,用于处理通话过程中的回音。例如,近端通话设备100接收远端通话设备200发送的放音数据b,并将放音数据b通过扬声器进行放音,近端通话设备100还通过录音器获取环境中的声音,其中,环境中的声音同时包含有扬声器的声音以及用户甲的声音。故录音器获取的声音数据包括用户甲的声音数据(录音数据a)以及扬声器的声音数据(放音数据b),放音数据b就是回音,近端通话设备100中的音频数据处理装置根据放音数据b对录音器获取的声音数据进行回音消除。
请参照图2,为本发明实施例所提供的音频数据处理装置10的结构框图。音频数据处理装置10包括音频处理模块11以及硬件处理模块12,音频处理模块11与硬件处理模块12电连接。
硬件处理模块12用于在获取到放音数据帧时,向音频处理模块11发送编号获取指令,其中,放音数据帧包括放音编号。音频处理模块11用于根据编号获取指令获取放音编号并对放音编号进行记录。
需要说明的是,在一段时间内,硬件处理模块12可以获取到多个放音数据帧。在获取到当前放音数据帧时,硬件处理模块12用于向音频处理模块11发送编号获取指令,音频处理模块11根据该编号获取指令获取上述的当前放音数据帧的放音编号,并对该放音编号进行记录。也即是说,音频处理模块11获取并记录的放音编号即为硬件处理模块12获取到的放音数据帧的放音编号。
硬件处理模块12还用于在获取到录音数据帧时,向音频处理模块11发送编号设置指令以及录音数据帧。音频处理模块11还用于根据编号设置指令获取最近一次记录的放音编号,并依据最近一次记录的放音编号对录音数据帧设置录音编号。
需要说明的是,在一段时间内,音频处理模块11可以记录多次放音编号,硬件处理模块12可以获取到多个录音数据帧。在获取到当前录音数据帧时,硬件处理模块12用于向音频处理模块11发送编号设置指令以及该当前录音数据帧,音频处理模块11用于根据接收到的编号设置指令获取最近一次记录的放音编号,并依据该最近一次记录的放音编号对上述的当前录音数据帧设置录音编号。
音频处理模块11还用于根据录音编号和放音编号获取目标录音数据帧和目标放音数据帧,并根据目标放音数据帧对待处理录音数据帧进行回音消除,其中,目标放音数据帧的放音编号与目标录音数据帧的录音编号一一对应。可以理解的是,目标放音数据帧的放音编号与目标录音数据帧的录音编号以预设规则对应,预设规则具体可以包括:目标放音数据帧的放音编号与目标录音数据帧的录音编号一致,也即是说,目标放音数据帧的放音编号与目标录音数据帧的录音编号相同,或者目标放音数据帧的放音编号与目标录音数据帧的录音编号以函数关系对应,例如,假设放音编号为x,录音编号为y,则其对应关系可以采用如y=x+c(c为预设参数)的函数对应。本发明对放音编号与录音编号的函数关系的具体函数不做限制。
需要说明的是,在一段时间内,音频处理模块11中可以存放有多个放音数据帧以及多个已经编号的录音数据帧,音频处理模块11可以从上述的多个放音数据帧以及多个已经编号的录音数据帧中获取编号相同的放音数据帧以及录音数据帧,作为目标录音数据帧和目标放音数据帧,也即是说,音频处理模块11可以根据录音编号和放音编号获取目标录音数据帧和目标放音数据帧。
具体的,请参照图3,音频处理模块11设置有同步对齐单元及回音消除单元,硬件处理模块12用于在获取到放音数据帧时,向同步对齐单元发送编号获取指令,以及在获取到录音数据帧时向同步对齐单元发送编号设置指令;该同步对齐单元用于根据编号获取指令获取放音编号并对放音编号进行记录,以及根据编号设置指令获取最近一次记录的放音编号,并依据最近一次记录的放音编号对录音数据帧设置录音编号;该回音消除单元用于根据录音编号和放音编号获取目标录音数据帧和目标放音数据帧,并根据目标放音数据帧对待处理录音数据帧进行回音消除。
进一步地,该音频处理模块11还设置有第一放音缓存区、第二放音缓存区以及录音缓存区,第一放音缓存区和第二放音缓存区均用于存放放音数据帧,录音缓存区用于存放录音数据帧。音频处理模块11用于接收外部设备发送的音频数据,并在接收到音频数据时,将该音频数据划分为多个音频帧,并分别对多个音频帧编号,得到多个放音数据帧,并将多个放音数据帧存放至第一放音缓存区和第二放音缓存区,其中,多个放音数据帧具有不同的放音编号。
硬件处理模块12用于从第一放音缓存区获取放音数据帧,并在获取到放音数据帧时,向音频处理模块11发送编号获取指令。音频处理模块11在接收到该编号获取指令时,根据编号获取指令从第一放音缓存区中获取放音数据帧的放音编号,并对该放音编号进行记录。
硬件处理模块12还用于获取录音数据帧,并在获取到录音数据帧时,将该录音数据帧发送至上述的录音缓存区存放,以及向音频处理模块11发送编号设置指令。音频处理模块11在接收到该编号设置指令时,可以根据编号设置指令获取最近一次记录的放音编号,并依据该最近一次记录的放音编号在录音缓存区中对录音数据帧设置录音编号。
具体的,同步对齐单元在接收到编号设置指令时,根据编号设置指令获取最近一次记录的放音编号,并依据该最近一次记录的放音编号在录音缓存区中对录音数据帧设置录音编号。
音频处理模块11还可以从录音缓存区获取目标录音数据帧,并根据目标录音数据帧对应的目标录音编号从第二放音缓存区中获取与目标录音编号对应的目标放音数据帧。在获取到目标录音数据帧以及目标放音数据帧后,音频处理模块11用于根据目标放音数据帧对待处理录音数据帧进行回音消除。也即是说,目标放音数据帧实际是作为目标录音数据帧在进行回音消除时的参考数据帧,第二放音缓存区存放的放音帧数据实际是参考帧数据。
需要说明的是,由于音频处理模块11不断地将放音数据帧存入第一放音缓存空间以及第二放音缓存空间,当第一放音缓存空间中已经写满数据时,再将新的放音数据帧写入第一放音缓存空间中势必会删除一些旧的放音数据帧,为确保音频处理模块11在获取目标放音数据帧以及目标录音数据帧时不发生数据帧丢失的情况,本申请提出的第二放音缓存区的缓存空间大于第一放音缓存区的缓存空间,优选地,第二放音缓存区的缓存空间是第一放音缓存区的缓存空间的两倍。
具体的,该回音消除单元可从录音缓存区获取目标录音数据帧,并根据目标录音数据帧对应的目标录音编号从第二放音缓存区中获取与目标录音编号对应的目标放音数据帧,根据目标放音数据帧对待处理录音数据帧进行回音消除。
在本实施例中,音频数据处理装置10还包括放音模块和录音模块,放音模块、录音模块均与硬件处理模块12电连接。硬件处理模块12还用于在从第一放音缓存区获取到获取到放音数据帧时,将放音数据帧发送至放音模块进行放音。录音模块用于采集外界的声音数据,并将声音数据发送至硬件处理模块12。硬件处理模块12用于根据声音数据获取录音数据帧。
下面,结合实际应用对音频数据处理装置10做进一步阐述。
请参照图3,为本发明实施例所提供的放音数据帧以及录音数据帧写入缓存区的示意图。音频处理模块11不断地向第一放音缓存区、第二放音缓存区写入放音数据帧,硬件处理模块12不断地将录音数据帧发送至音频处理模块11中的录音缓存区存放。其中,第一放音缓存区、第二放音缓存区中均已经存放有4个放音数据帧:放音数据帧1(放音编号为“001”)、放音数据帧2(放音编号为“002”)、放音数据帧3(放音编号为“003”)以及放音数据帧4(放音编号为“004”),录音缓存区中已经存放有3个录音数据帧:录音数据帧1(录音编号为“001”)、录音数据帧2(录音编号为“002”)以及录音数据帧3(录音编号为“003”),音频处理模块11还设置有一个独立全局变量,用于存放放音编号。需要说明的是,第二放音缓存区实际可以是缓冲队列,缓冲队列中存放的放音帧数据实际是作为在录音数据帧进行回音消除时的参考数据帧。
在本实施例中,硬件处理模块12从第一放音缓存区中获取的当前放音数据帧为放音数据帧4,当硬件处理模块12获取到放音数据帧4时,向音频处理模块11发送编号获取指令,音频处理模块11根据该编号获取指令从第一放音缓存区中获取放音数据帧4对应的放音编号“004”,并将“004”写入独立全局变量中。当硬件处理模块12将新的录音数据帧发送至音频处理模块11中的录音缓存区存放时,硬件处理模块12还向音频处理模块11发送编号设置指令,音频处理模块11在接收到编号设置指令时,根据独立全局变量中的放音编号对新的录音数据帧进行录音编号的设置,即将新的录音数据帧的录音编号设置为“004”。由于独立全局变量中存放的放音编号即为最近一次记录的放音编号,从而确保当前放音数据帧与当前录音数据帧的编号一一对应。
音频处理模块11在对录音数据进行回音消除时,从录音缓存区获取目标录音数据帧,并根据目标录音数据帧对应的目标录音编号从第二放音缓存区中获取与目标录音编号对应的目标放音数据帧。例如,音频处理模块11从录音缓存区中获取录音数据帧1,根据录音数据帧1的编号“001”从第二放音缓存区中获取编号同为“001”的放音数据帧,得到放音数据帧1,然后根据放音数据帧1对录音数据帧1进行回音消除。
可以理解的是,本发明实施例通过采用硬件处理模块12与音频处理模块11进行指令交互的方式,实现了根据最近一次记录的放音数据帧的放音编号对录音数据帧的录音编号进行设置,即实现了放音数据帧与录音数据帧的编号的同步对齐,从而消除了处理系统的回音延时中远端音频帧数据(即放音数据帧)写入放音缓冲区以及从录音缓冲区获取近端音频数据(即录音数据帧)的时间,此时整个处理系统中回音延时仅包括放音数据帧通过硬件模块从扬声器以声音的形式播出,然后硬件处理模块12通过录音器接收该声音的时间。由于硬件处理模块12的处理延时非常小(远远小于一帧数据帧的处理时间),因此录音数据帧总能满足超前放音数据帧一帧数据帧的时间。
从而,本发明实施例具有的有益效果包括:误差稳定在一帧数据帧处理时间内;放音数据帧与录音数据帧的编号的同步对齐不受处理系统的性能影响,即使发生丢帧的情况也能快速恢复音频数据的回音消除;进行回音消除时“尾长”可设为两帧数据帧处理所占用的时间,从而在回音消除时回音消除算法收敛快、处理开销小、回音消除的效果好;终端设备的兼容性好。
需要说明的是,本发明实施例所提供的音频数据处理装置10可以设置在通话设备上,例如,智能手机、电话、对讲机等具有通话功能的电子设备。
在实际应用中,本发明实施例所提供的硬件处理模块12可以但不限于是ARM架构的处理芯片,音频处理模块11可以但不限于是一种集成电路芯片,其中,上述的同步对齐单元、回音消除单元可以理解为设置于该音频处理模块11中的软件程序/模块。当前,在实际应用中,该同步对齐单元及回音消除单元也可以采用硬件的形式实现,本申请对此不做限制。
请参照图5,为本发明实施例所提供的音频数据处理方法的一种流程示意图。需要说明的是,本发明实施例提供的音频数据处理方法并不以图5以及以下的具体顺序为限制,应当理解,在其它实施例中,本发明实施例提供的音频数据处理方法中的部分步骤的顺序可以根据实际需要相互交换,或者其中的部分步骤也可以省略或删除,并且本实施例所提供的音频数据处理方法,其基本原理及产生的技术效果与前述方法实施例相同,为简要描述,本实施例中未提及部分,可参考前述装置实施例中的相应内容。
在本实施例中,该音频数据处理方法应用于音频数据处理装置10,音频数据处理装置10包括音频处理模块11以及硬件处理模块12,音频处理模块11与硬件处理模块12电连接。
该方法包括如下步骤:
步骤S100,硬件处理模块12在获取到放音数据帧时,向音频处理模块11发送编号获取指令,其中,放音数据帧包括放音编号。
步骤S200,音频处理模块11根据编号获取指令获取放音编号并对放音编号进行记录。
步骤S300,硬件处理模块12还在获取到录音数据帧时,向音频处理模块11发送编号设置指令以及录音数据帧。
步骤S400,音频处理模块11还根据编号设置指令获取最近一次记录的放音编号,并依据最近一次记录的放音编号对录音数据帧设置录音编号。
在本实施例中,音频处理模块11依据最近一次记录的放音编号对录音数据帧设置录音编号具体包括:音频处理模块11依据最近一次记录的放音编号在录音缓存区中对录音数据帧设置录音编号。
步骤S500,音频处理模块11还根据录音编号和放音编号获取目标录音数据帧和目标放音数据帧,并根据目标放音数据帧对待处理录音数据帧进行回音消除;其中,目标放音数据帧的放音编号与目标录音数据帧的录音编号一一对应。
在本实施例中,音频处理模块11还根据录音编号和放音编号获取目标录音数据帧和目标放音数据帧具体包括:音频处理模块11从录音缓存区获取目标录音数据帧,并根据目标录音数据帧对应的目标录音编号从第二放音缓存区中获取与目标录音编号对应的目标放音数据帧。
其中,在步骤S100之前,本方法还包括:音频处理模块11在接收到外部设备发送的音频数据时,将音频数据划分为多个音频帧,并分别对多个音频帧编号,得到多个放音数据帧,并将多个放音数据帧存放至第一放音缓存区和第二放音缓存区;其中,多个放音数据帧具有不同的放音编号;硬件处理模块12从第一放音缓存区获取放音数据帧,以及在获取到录音数据帧时,将录音数据帧发送至录音缓存区存放。
在本实施例中,音频数据处理装置10还包括放音模块和录音模块,放音模块、录音模块均与硬件处理模块12电连接,硬件处理模块12还在获取到放音数据帧时,将放音数据帧发送至放音模块进行放音,录音模块采集外界的声音数据,并将声音数据发送至硬件处理模块12,硬件处理模块12根据声音数据获取录音数据帧。
需要说明的是,第二放音缓存区的缓存空间大于第一放音缓存区的缓存空间。
综上所述,本发明实施例所提供的音频数据处理装置、方法以及通话设备,该音频数据处理装置包括音频处理模块以及硬件处理模块,音频处理模块与硬件处理模块电连接。硬件处理模块用于在获取到放音数据帧时,向音频处理模块发送编号获取指令,其中,放音数据帧包括放音编号。音频处理模块用于根据编号获取指令获取放音编号并对放音编号进行记录。硬件处理模块还用于在获取到录音数据帧时,向音频处理模块发送编号设置指令以及录音数据帧。音频处理模块还用于根据编号设置指令获取最近一次记录的放音编号,并依据最近一次记录的放音编号对录音数据帧设置录音编号。音频处理模块还用于根据录音编号和放音编号获取目标录音数据帧和目标放音数据帧,并根据目标放音数据帧对待处理录音数据帧进行回音消除,其中,目标放音数据帧的放音编号与目标录音数据帧的录音编号一一对应。由于采用硬件处理模块与音频处理模块进行指令交互的方式,实现了放音数据帧与录音数据帧的编号的同步对齐,极大地减少了处理系统中的回音延时,故有效减小了处理系统的处理开销,提升了回音消除的效果。
本领域内的技术人员应明白,本发明实施例可提供为方法、装置、设备或计算机程序产品。因此,本发明实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、装置、设备和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在本发明实施例所提供的几个实施例中,应该理解到,所揭露的装置和方法,也可以通过其它的方式实现。以上所描述的装置和方法实施例仅仅是示意性的,例如,附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
另外,在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本发明的可选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
Claims (10)
1.一种音频数据处理装置,其特征在于,所述音频数据处理装置包括音频处理模块以及硬件处理模块,所述音频处理模块与所述硬件处理模块电连接;
所述硬件处理模块用于在获取到放音数据帧时,向所述音频处理模块发送编号获取指令,其中,所述放音数据帧包括放音编号;
所述音频处理模块用于根据所述编号获取指令获取所述放音编号并对所述放音编号进行记录;
所述硬件处理模块还用于在获取到录音数据帧时,向所述音频处理模块发送编号设置指令以及所述录音数据帧;
所述音频处理模块还用于根据所述编号设置指令获取最近一次记录的放音编号,并依据所述最近一次记录的放音编号对所述录音数据帧设置录音编号;
所述音频处理模块还用于根据所述录音编号和所述放音编号获取目标录音数据帧和目标放音数据帧,并根据所述目标放音数据帧对所述目标录音数据帧进行回音消除;其中,所述目标放音数据帧的放音编号与所述目标录音数据帧的录音编号一一对应。
2.如权利要求1所述的音频数据处理装置,其特征在于,所述音频处理模块设置有第一放音缓存区、第二放音缓存区以及录音缓存区,所述第一放音缓存区和所述第二放音缓存区均用于存放放音数据帧,所述录音缓存区用于存放录音数据帧;
所述音频处理模块还用于在接收到外部设备发送的音频数据时,将所述音频数据划分为多个音频帧,并分别对所述多个音频帧编号,得到多个放音数据帧,并将所述多个放音数据帧存放至所述第一放音缓存区和所述第二放音缓存区;其中,所述多个放音数据帧具有不同的放音编号;
所述硬件处理模块用于从所述第一放音缓存区获取所述放音数据帧,以及在获取到所述录音数据帧时,将所述录音数据帧发送至所述录音缓存区存放;
所述音频处理模块用于依据所述最近一次记录的放音编号在所述录音缓存区中对所述录音数据帧设置录音编号。
3.如权利要求2所述的音频数据处理装置,其特征在于,所述音频处理模块用于从所述录音缓存区获取目标录音数据帧,并根据所述目标录音数据帧对应的目标录音编号从所述第二放音缓存区中获取与所述目标录音编号对应的目标放音数据帧。
4.如权利要求2所述的音频数据处理装置,其特征在于,所述第二放音缓存区的缓存空间大于所述第一放音缓存区的缓存空间。
5.如权利要求1所述的音频数据处理装置,其特征在于,所述音频数据处理装置还包括放音模块和录音模块,所述放音模块、所述录音模块均与所述硬件处理模块电连接;
所述硬件处理模块还用于在获取到放音数据帧时,将所述放音数据帧发送至所述放音模块进行放音;
所述录音模块用于采集外界的声音数据,并将所述声音数据发送至所述硬件处理模块;
所述硬件处理模块用于根据所述声音数据获取所述录音数据帧。
6.一种音频数据处理方法,其特征在于,应用于音频数据处理装置,所述音频数据处理装置包括音频处理模块以及硬件处理模块,所述音频处理模块与所述硬件处理模块电连接;
所述硬件处理模块在获取到放音数据帧时,向所述音频处理模块发送编号获取指令,其中,所述放音数据帧包括放音编号;
所述音频处理模块根据所述编号获取指令获取所述放音编号并对所述放音编号进行记录;
所述硬件处理模块还在获取到录音数据帧时,向所述音频处理模块发送编号设置指令以及所述录音数据帧;
所述音频处理模块还根据所述编号设置指令获取最近一次记录的放音编号,并依据所述最近一次记录的放音编号对所述录音数据帧设置录音编号;
所述音频处理模块还根据所述录音编号和所述放音编号获取目标录音数据帧和目标放音数据帧,并根据所述目标放音数据帧对所述目标录音数据帧进行回音消除;其中,所述目标放音数据帧的放音编号与所述目标录音数据帧的录音编号一一对应。
7.如权利要求6所述的音频数据处理方法,其特征在于,所述音频处理模块设置有第一放音缓存区、第二放音缓存区以及录音缓存区,所述第一放音缓存区和所述第二放音缓存区均存放放音数据帧,所述录音缓存区存放录音数据帧;所述硬件处理模块向所述音频处理模块发送编号获取指令的步骤之前,所述方法还包括:
所述音频处理模块在接收到外部设备发送的音频数据时,将所述音频数据划分为多个音频帧,并分别对所述多个音频帧编号,得到多个放音数据帧,并将所述多个放音数据帧存放至所述第一放音缓存区和所述第二放音缓存区;其中,所述多个放音数据帧具有不同的放音编号;
所述硬件处理模块从所述第一放音缓存区获取所述放音数据帧,以及在获取到所述录音数据帧时,将所述录音数据帧发送至所述录音缓存区存放;
所述音频处理模块依据所述最近一次记录的放音编号对所述录音数据帧设置录音编号的步骤包括:
所述音频处理模块用于依据所述最近一次记录的放音编号在所述录音缓存区中对所述录音数据帧设置录音编号。
8.如权利要求7所述的音频数据处理方法,其特征在于,所述音频处理模块还根据所述录音编号和所述放音编号获取目标录音数据帧和目标放音数据帧的步骤包括:
所述音频处理模块从所述录音缓存区获取目标录音数据帧,并根据所述目标录音数据帧对应的目标录音编号从所述第二放音缓存区中获取与所述目标录音编号对应的目标放音数据帧。
9.如权利要求7所述的音频数据处理方法,其特征在于,所述第二放音缓存区的缓存空间大于所述第一放音缓存区的缓存空间。
10.一种通话设备,其特征在于,所述通话设备包括如权利要求1-5任一项所述的音频数据处理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910372963.7A CN110099183B (zh) | 2019-05-06 | 2019-05-06 | 一种音频数据处理装置、方法以及通话设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910372963.7A CN110099183B (zh) | 2019-05-06 | 2019-05-06 | 一种音频数据处理装置、方法以及通话设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110099183A true CN110099183A (zh) | 2019-08-06 |
CN110099183B CN110099183B (zh) | 2021-09-17 |
Family
ID=67446967
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910372963.7A Active CN110099183B (zh) | 2019-05-06 | 2019-05-06 | 一种音频数据处理装置、方法以及通话设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110099183B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112925500A (zh) * | 2021-01-20 | 2021-06-08 | 深圳康佳电子科技有限公司 | 一种会议设备 |
Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09247052A (ja) * | 1996-03-13 | 1997-09-19 | Nec Corp | エコーキャンセラ装置 |
US20090063142A1 (en) * | 2007-08-31 | 2009-03-05 | Sukkar Rafid A | Method and apparatus for controlling echo in the coded domain |
CN102568494A (zh) * | 2012-02-23 | 2012-07-11 | 贵阳朗玛信息技术股份有限公司 | 消除回声的优化方法、装置及系统 |
CN102625006A (zh) * | 2011-01-31 | 2012-08-01 | 深圳三石科技有限公司 | 一种回声消除数据同步对齐方法、系统及音频通信设备 |
CN104010100A (zh) * | 2014-05-08 | 2014-08-27 | 深圳市汇川技术股份有限公司 | VoIP通信中的回声消除系统及方法 |
CN104394286A (zh) * | 2014-08-27 | 2015-03-04 | 贵阳朗玛信息技术股份有限公司 | 一种回声消除方法及装置 |
CN105991857A (zh) * | 2015-02-12 | 2016-10-05 | 中兴通讯股份有限公司 | 一种实现参考信号调整的方法及装置 |
CN106057208A (zh) * | 2016-06-14 | 2016-10-26 | 科大讯飞股份有限公司 | 一种音频修正方法及装置 |
CN106791244A (zh) * | 2016-12-13 | 2017-05-31 | 青岛微众在线网络科技有限公司 | 回声消除方法、装置以及通话设备 |
US20170214800A1 (en) * | 2014-10-08 | 2017-07-27 | JVC Kenwood Corporation | Echo cancellation device, non-transitory computer readable medium storing echo cancellation program, and echo cancellation |
CN107592430A (zh) * | 2016-07-07 | 2018-01-16 | 腾讯科技(深圳)有限公司 | 一种回声消除的方法及终端设备 |
CN108055494A (zh) * | 2017-12-21 | 2018-05-18 | 北京奇艺世纪科技有限公司 | 一种音频处理方法及装置 |
CN108269580A (zh) * | 2016-12-30 | 2018-07-10 | 中国电信股份有限公司 | 回声消除方法及装置 |
CN109285554A (zh) * | 2017-07-20 | 2019-01-29 | 阿里巴巴集团控股有限公司 | 一种回声消除方法、服务器、终端及系统 |
CN109688284A (zh) * | 2018-12-28 | 2019-04-26 | 广东美电贝尔科技集团股份有限公司 | 一种回音延时检测方法 |
-
2019
- 2019-05-06 CN CN201910372963.7A patent/CN110099183B/zh active Active
Patent Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09247052A (ja) * | 1996-03-13 | 1997-09-19 | Nec Corp | エコーキャンセラ装置 |
US20090063142A1 (en) * | 2007-08-31 | 2009-03-05 | Sukkar Rafid A | Method and apparatus for controlling echo in the coded domain |
CN102625006A (zh) * | 2011-01-31 | 2012-08-01 | 深圳三石科技有限公司 | 一种回声消除数据同步对齐方法、系统及音频通信设备 |
CN102568494A (zh) * | 2012-02-23 | 2012-07-11 | 贵阳朗玛信息技术股份有限公司 | 消除回声的优化方法、装置及系统 |
CN104010100A (zh) * | 2014-05-08 | 2014-08-27 | 深圳市汇川技术股份有限公司 | VoIP通信中的回声消除系统及方法 |
CN104394286A (zh) * | 2014-08-27 | 2015-03-04 | 贵阳朗玛信息技术股份有限公司 | 一种回声消除方法及装置 |
US20170214800A1 (en) * | 2014-10-08 | 2017-07-27 | JVC Kenwood Corporation | Echo cancellation device, non-transitory computer readable medium storing echo cancellation program, and echo cancellation |
CN105991857A (zh) * | 2015-02-12 | 2016-10-05 | 中兴通讯股份有限公司 | 一种实现参考信号调整的方法及装置 |
CN106057208A (zh) * | 2016-06-14 | 2016-10-26 | 科大讯飞股份有限公司 | 一种音频修正方法及装置 |
CN107592430A (zh) * | 2016-07-07 | 2018-01-16 | 腾讯科技(深圳)有限公司 | 一种回声消除的方法及终端设备 |
CN106791244A (zh) * | 2016-12-13 | 2017-05-31 | 青岛微众在线网络科技有限公司 | 回声消除方法、装置以及通话设备 |
CN108269580A (zh) * | 2016-12-30 | 2018-07-10 | 中国电信股份有限公司 | 回声消除方法及装置 |
CN109285554A (zh) * | 2017-07-20 | 2019-01-29 | 阿里巴巴集团控股有限公司 | 一种回声消除方法、服务器、终端及系统 |
CN108055494A (zh) * | 2017-12-21 | 2018-05-18 | 北京奇艺世纪科技有限公司 | 一种音频处理方法及装置 |
CN109688284A (zh) * | 2018-12-28 | 2019-04-26 | 广东美电贝尔科技集团股份有限公司 | 一种回音延时检测方法 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112925500A (zh) * | 2021-01-20 | 2021-06-08 | 深圳康佳电子科技有限公司 | 一种会议设备 |
Also Published As
Publication number | Publication date |
---|---|
CN110099183B (zh) | 2021-09-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2018188282A1 (zh) | 回声消除方法、装置、会议平板及计算机存储介质 | |
CN109151595B (zh) | 视频处理方法、装置、终端和介质 | |
CN102568494B (zh) | 消除回声的优化方法、装置及系统 | |
CN103918284B (zh) | 语音控制装置、语音控制方法和程序 | |
CN109120997A (zh) | 视频处理方法、装置、终端和介质 | |
CN108564966A (zh) | 语音测试的方法及其设备、具有存储功能的装置 | |
CN104394286A (zh) | 一种回声消除方法及装置 | |
CN106210371A (zh) | 一种回声时延的确定方法、装置及智能会议设备 | |
CN113421578B (zh) | 音频处理方法、装置、电子设备及存储介质 | |
CN110175081B (zh) | 一种针对Android音频播放的优化系统及其方法 | |
CN109947387A (zh) | 音频采集方法、音频播放方法、系统、设备及存储介质 | |
CN110431624A (zh) | 残余回声检测方法、残余回声检测装置、语音处理芯片及电子设备 | |
CN110099183A (zh) | 一种音频数据处理装置、方法以及通话设备 | |
CN108269580A (zh) | 回声消除方法及装置 | |
CN108540633A (zh) | 在设备处自动延迟留言的回放 | |
CN110035167A (zh) | 录音方法及相关装置 | |
CN103685349A (zh) | 一种信息处理的方法及一种电子设备 | |
CN110096250B (zh) | 一种音频数据处理方法、装置、电子设备及存储介质 | |
WO2021184732A1 (zh) | 基于神经网络的音频丢包修复方法、设备和系统 | |
CN113823306A (zh) | 语音的回声消除方法、装置、设备及存储介质 | |
CN106341564B (zh) | 一种信号数据的处理方法、装置及智能会议设备 | |
CN113225574B (zh) | 信号处理方法及装置 | |
CN109743528A (zh) | 一种视频会议的音频采集与播放优化方法、装置及介质 | |
CN108200303B (zh) | 语音电话回音消除方法、存储介质、电子设备及系统 | |
CN109600563A (zh) | 用于确定时间戳的方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |