CN113160790A - 回声消除方法、装置、电子设备及存储介质 - Google Patents

回声消除方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN113160790A
CN113160790A CN202110379557.0A CN202110379557A CN113160790A CN 113160790 A CN113160790 A CN 113160790A CN 202110379557 A CN202110379557 A CN 202110379557A CN 113160790 A CN113160790 A CN 113160790A
Authority
CN
China
Prior art keywords
sound
segment
echo
sound wave
parameters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110379557.0A
Other languages
English (en)
Inventor
朱志文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vivo Mobile Communication Co Ltd
Original Assignee
Vivo Mobile Communication Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vivo Mobile Communication Co Ltd filed Critical Vivo Mobile Communication Co Ltd
Priority to CN202110379557.0A priority Critical patent/CN113160790A/zh
Publication of CN113160790A publication Critical patent/CN113160790A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M9/00Arrangements for interconnection not involving centralised switching
    • H04M9/08Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1785Methods, e.g. algorithms; Devices
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/10Applications
    • G10K2210/108Communication systems, e.g. where useful sound is kept and noise is cancelled

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Telephone Function (AREA)

Abstract

本申请属于音频处理技术领域,公开了一种回声消除、装置、电子设备及存储介质。所述方法包括:在处于回声场景的情况下,基于所述第一片段的声波参数和所述第一片段的回声的声波参数,确定声波分析模型;基于所述第二片段的声波参数和所述声波分析模型,确定所述第二片段的回声的声波参数;基于所述第二片段的回声的声波参数,确定所述第二片段的回声对应的反相声波信号的声波参数;在目标时间发射所述反相声波信号。

Description

回声消除方法、装置、电子设备及存储介质
技术领域
本申请属于音频处理技术领域,具体涉及一种回声消除方法、装置、电子设备及存储介质。
背景技术
语音助手的唤醒及ASR(Automatic Speech Recognition,自动语音识别)都是通过对用户声音的收集、识别并作处理的技术。核心在于对用户声波的收音,同时根据声学特征以及语言学特征对于声音信号进行处理,从而识别出用户讲的话的含义,进而唤醒语音助手,以便语音助手对用户所讲的话进行识别并转化为文本用于后续处理。
但是由于算法限制及波束抑制定向收音技术的不成熟、以及手机麦克风数量及排布的限制,在回声场景下(如密闭的空间或者安静的空间内等),易受到回音的干扰,如图1所示。
发明内容
本申请实施例的目的是提供一种回声消除方法、装置、电子设备及存储介质,能够解决现有技术中存在的回声场景下难以唤醒语音助手的技术问题。
为了解决上述技术问题,本申请是这样实现的:
第一方面,本申请实施例提供了一种回声消除方法,该方法包括:
第一声音信号包括第一片段和第二片段,所述第一片段的发射时间早于所述第二片段的发射时间;
在处于回声场景的情况下,基于所述第一片段的声波参数和所述第一片段的回声的声波参数,确定声波分析模型;
基于所述第二片段的声波参数和所述声波分析模型,确定所述第二片段的回声的声波参数;
基于所述第二片段的回声的声波参数,确定所述第二片段的回声对应的反相声波信号的声波参数;
在目标时间发射所述反相声波信号;
其中,所述声波参数包括声波的振幅、频率以及收到回声的延迟时间,所述目标时间是基于所述第二片段的发射时间和所述延迟时间确定的。
第二方面,本申请实施例提供了一种回声消除装置,该装置包括:
第一声音信号包括第一片段和第二片段,所述第一片段的发射时间早于所述第二片段的发射时间;
模型确定模块,用于在处于回声场景的情况下,基于所述第一片段的声波参数和所述第一片段的回声的声波参数,确定声波分析模型;
参数确定模块,用于基于所述第二片段的声波参数和所述声波分析模型,确定所述第二片段的回声的声波参数;
基于所述第二片段的回声的声波参数,确定所述第二片段的回声对应的反相声波信号的声波参数;
反相声波模块,用于在目标时间发射所述反相声波信号;
其中,所述声波参数包括声波的振幅、频率以及收到回声的延迟时间,所述目标时间是基于所述第二片段的发射时间和所述延迟时间确定的。
第三方面,本申请实施例提供了一种电子设备,该电子设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。
第四方面,本申请实施例提供了一种可读存储介质,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。
第五方面,本申请实施例提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现如第一方面所述的方法。
本申请实施例提供的回声消除方法、装置、电子设备及存储介质,通过在唤醒语音助手前预测出回声并通过发射反相声波来消除回声,可以避免现有技术中存在的当前声波与回声声波混杂的现象,从而保证语音助手的正常唤醒,并有助于语音助手后续的ASR处理。
附图说明
图1是回声场景下的收音示意图;
图2是根据本申请实施例的回声消除方法的流程示意图;
图3是根据本申请实施例的回声声波与反相声波相互抵消的示意图;
图4是根据本申请实施例的回声消除装置的模块框图;
图5是根据本申请实施例的电子设备的结构示意图;
图6是实现本申请各个实施例的一种电子设备的硬件结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象,而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,说明书以及权利要求中“和/或”表示所连接对象的至少其中之一,字符“/”,一般表示前后关联对象是一种“或”的关系。
下面结合附图,通过具体的实施例及其应用场景对本申请实施例提供的编码方法和装置进行详细地说明。
图2是根据本申请实施例的回声消除方法的流程示意图;参照图2,本申请实施例提供一种回声消除方法,可以包括:
步骤210、在处于回声场景的情况下,基于第一片段的声波参数和第一片段的回声的声波参数,确定声波分析模型;
步骤220、基于第二片段的声波参数和声波分析模型,确定第二片段的回声的声波参数;
基于第二片段的回声的声波参数,确定第二片段的回声对应的反相声波信号的声波参数;
步骤230、在目标时间发射反相声波信号;
其中,第一声音信号包括第一片段和第二片段,所述第一片段的发射时间早于所述第二片段的发射时间;
声波参数包括声波的振幅、频率以及收到回声的延迟时间,目标时间是基于第二片段的发射时间和延迟时间确定的。反相
本申请实施例中的回声消除方法的执行主体可以是电子设备、电子设备中的部件、集成电路、或芯片。该电子设备可以是移动电子设备,也可以为非移动电子设备。示例性的,移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本或者个人数字助理(personal digital assistant,PDA)等,非移动电子设备可以为服务器、网络附属存储器(Network Attached Storage,NAS)、个人计算机(personal computer,PC)、电视机(television,TV)、柜员机或者自助机等,本申请实施例不作具体限定。
下面以手机执行本申请实施例提供的回声消除方法为例,详细说明本申请的技术方案。
当手机确定当前的应用场景为回声场景时,手机可以开启回声检测和回声消除功能。其中,回声场景指会产生回声的场景,例如密闭的空间内、由吸波性能较差的墙体构成的房间内等。
在接收到第一声音信号的第一片段后,手机可以首先通过例如LSM(Least MeanSquare,最小均方)算法、NLSM(normalized LSM,归一化最小均方)算法以及NSAF(Normalized Sub-band Adaptive Filter,归一化子带自适应滤波器)算法等,来确定第一片段的声波参数以及第一片段的回声的声波参数。其中,第一片段的回声指的是第一片段经过回声场景的反射后到达手机的回声。
在确定第一片段的回声的声波参数后,手机可以根据第一片段的声波参数和第一片段的回声的声波参数来确定声波分析模型。。其中,声波分析模型可以是基于RNN(Recursive Neural Network,递归神经网络)、BP(Back Propagation,反向传播)神经网络、CNN(Convolutional Neural Network,卷积神经网络)、LSTM(Long/short TermMemory)神经网络等建立的模型。
可以理解的是,在确定第二片段的回声的声波参数之前,可以先将预定时间内(例如3s、5s内等)的第一片段的声波参数以及第一片段的回声的声波参数输入至神经网络,以对该神经网络进行训练,从而确定声波分析模型的参数。在确定声波分析模型的参数后,手机即可将第二片段的声波参数输入至声波分析模型,从而预测出第二片段的回声的声波参数。
在确定第二片段的回声的声波参数后,手机可以根据第二片段的回声的声波参中包括的振幅、频率以及收到回声的延迟时间,来确定要生成的反相声波的振幅、频率以及发射反相声波的目标时间。其中,延迟时间指的接收到声波的时刻,与接收到该声波对应的回声的时刻的时间间隔。
需要说明的是,如图3所示,声音的传播是因为声源振动引起周围介质震荡。声波在空气中以纵波的形式传播,它具有波的特性,存在干涉现象。图3中声波1为回声声波,声波2为手机发射的反相声波。当反相声波2与回声声波1相遇时,两者的波峰和波谷叠加,振幅就会相互抵消,从而达到消除回声干扰的效果。
手机在目标时间发射反相声波信号后,即可唤醒语音助手。
本申请实施例提供的回声消除方法,通过在唤醒语音助手前预测出回声并通过发射反相声波来消除回声,可以避免现有技术中存在的当前声波与回声声波混杂的现象,从而保证语音助手的正常唤醒,并有助于语音助手后续的ASR处理。
在一个实施例中,在步骤210之前,本申请实施例提供的回声消除方法还可以包括:
步骤201、收集预设时间段内的第一声音信号的声波信息;
步骤202、根据声波信息确定声波的声纹特征和/或预定关键词的频次;
步骤203、在声纹特征和/或预定关键词的频次大于对应预定阈值的情况下,确定处于回声场景。
手机可以通过声音探测器探测出是否接收到第一声音信号,当接收到第一声音信号后,手机可以通过收音芯片收集预设时间段内的第一声音信号的声波信息,并对该声波信息进行解析,以确定声波的声纹特征和/或预定关键词的频次。
之后,手机可以判断声波的声纹特征和/或预定关键词的频次是否大于对应预定阈值。
需要说明的是,声纹特征可以包括声音波形图的特征以及声音语谱图的特征等,该些特征均可以转化成对应的数值来表示。例如,在一个实施例中,可以具体使用声音波形图特征中的共振峰振幅值以及对应的共振峰振幅阈值来确定是否处于回声场景。
预定关键词可以是使用频率较高的词,例如:“是”、“但”、“is/are”、“so”等。预定关键词的频次对应的预定阈值可以是5次/2秒、7次/3秒等。
声纹特征、预定关键词的频次的确定,及其对应预定阈值的具体大小均可以根据实际需要进行调整,本申请实施例对此不作具体限定。
当手机确定声纹特征和/或预定关键词的频次大于或等于对应预定阈值时,则可以确定当前正处于回声场景。
本申请实施例提供的回声消除方法,通过在进行消除回声的操作之前确定是否处于回声场景,可以避免在非回声场景下进行消除回声的操作,可以有效节约能耗。
在一个实施例中,在步骤210之前,本申请实施例提供的回声消除方法还可以包括:
步骤200、在接收到多个声音信号的情况下,根据多个声音信号分别对应的声源的距离,依次将多个声音信号作为第一声音信号。
当多个声源同时发出声波时,会出现噪音(爆破音)的情况。此时,手机仍有可能无法顺利唤醒语音助手,并且语音助手的ASR功能也无法针对这种场景进行有效的识别。
因此,在手机接收到多个声音信号的情况下,手机可以根据各声音信号对应的声源到手机的距离的远近,依次将多个声音信号中的每一个作为第一声音信号进行上述各实施例记载的处理。
例如,在通过多个麦克风收音的情况下,可以根据麦克风矩阵定向收音方式,来确定多个声源中的每一个声源。
由于使用场景内的多个麦克风的几何关系通常是固定的,或者移动的幅度不大,因此可以作为参考点。不同声源的声波到达不同麦克风时会产生时差(相位差),根据声音传播速度,利用距离、速度、时间公式以及麦克风矩阵单元的相对位置关系,可以推算出声源的相对位置,由此可以确定各个声源的声波。
手机可以根据声源到手机距离的远近,为各个声源赋予权值。例如,可以为距离手机较近的声源赋予较高的权值,反之则赋予较低的权值。最后,手机可以根据权值的大小,依次将各个声源对应的声音信号作为第一声音信号进行上述各实施例记载的处理。
本申请实施例提供的回声消除方法,通过在有多个声源的情况下,根据声源的距离依次对多个声源对应的声音信号进行处理,可以保证在出现噪音(爆破音)的情况下顺利实现语音助手的唤醒,并且有助于语音助手进行后续的ASR。
在一个实施例中,在步骤230之后,本申请实施例提供的回声消除方法还可以包括:
步骤240、在接收到多个声音信号的情况下,按照预定延迟间隔依次对多个声音信号进行ASR。
手机可以按照预定的延迟间隔,例如0.3s、0.5s等,依次对多个声源的声音信号进行ASR。其中,预定延迟间隔的具体大小可以根据实际需要进行调整,本申请实施例对此不作具体限定。
本申请实施例提供的回声消除方法,通过在接收到多个声源的声波的情况下,按照预定延迟间隔依次对多个声源的声音信号进行ASR,可以避免多个声源的声波混合导致的ASR识别失败的问题,有效提高了语音助手的ASR效率以及精度。
在一个实施例中,步骤240可以包括如下任一项或其组合:
根据解析出多个声音信号的声波的顺序,按照预定延迟间隔依次对多个声音信号的声波进行ASR;以及
根据多个声音信号的声波的强度大小,按照预定延迟间隔依次对多个声音信号的声波进行ASR。
手机可以通过“先入先出”的原则,对各个声源的声音信号进行排序,然后采用“延迟传输”的方式,分别对各个声音信号的声波进行ASR。
例如,假设手机接收到4个声音信号的声波(声波a、声波b、声波c、声波d),并且手机依次解析出声波b、声波a、声波d、声波c,则手机可以每隔0.5s(预定延迟间)按照声波b→声波a→声波d→声波c的顺序进行ASR。
手机还可以按照声波a、声波b、声波c、声波d的强度大小依次进行ASR。例如,假设声波a、声波b、声波c、声波d的强度依次为60dB、40dB、50dB以及30dB,则手机可以按照声波a→声波c→声波b→声波d的顺序每隔0.5s进行ASR。
手机还可以结合多个声音信号的声波的解析顺序以及强度,综合确定进行ASR的顺序。
例如,假设手机最先解析出声波d、并且同时解析出声波a、声波b、声波c,而声波a、声波b、声波c、声波d的强度依次为60dB、40dB、50dB以及30dB;手机可以按照先解析顺序再强度的方式对各个声波进行ASR的顺序进行排序,排序结果为:声波d→声波a→声波c→声波b。
再例如,假设手机依次解析出声波d、声波a、声波b、声波c,而声波a、声波b、声波c、声波d的强度依次为40dB、60dB、30dB以及60dB;手机可以按照先强度再解析顺序的方式对各个声波进行ASR的顺序进行排序,排序结果为:声波d→声波b→声波a→声波c。
本申请实施例提供的回声消除方法,通过在接收到多个声音信号的声波的情况下,根据声波解析顺序和/或强度大小依次对多个声音信号的声波进行ASR,可以避免多个声源的声波混合导致的ASR识别失败的问题,有效提高了语音助手的ASR效率以及精度。
需要说明的是,本申请实施例提供的回声消除方法的执行主体还可以为回声消除装置,或者该编码装置中的用于执行加载语音助手的回声消除方法的控制模块。
图4是根据本申请实施例的回声消除装置的模块框图,参照图4,本申请实施例提供一种回声消除装置,可以包括:
模型确定模块410,用于在处于回声场景的情况下,基于第一片段的声波参数和第一片段的回声的声波参数,确定声波分析模型;
参数确定模块420,用于基于第二片段的声波参数和声波分析模型,确定第二片段的回声的声波参数;
基于第二片段的回声的声波参数,确定第二片段的回声对应的反相声波信号的声波参数;
反相声波模块430,用于在目标时间发射反相声波信号;
其中,第一声音信号包括第一片段和第二片段,第一片段的发射时间早于第二片段的发射时间;
声波参数包括声波的振幅、频率以及收到回声的延迟时间,目标时间是基于第二片段的发射时间和延迟时间确定的。
本申请实施例提供的回声消除装置,通过在唤醒语音助手前预测出回声并通过发射反相声波来消除回声,可以避免现有技术中存在的当前声波与回声声波混杂的现象,从而保证语音助手的正常唤醒,并有助于语音助手后续的ASR处理。
在一个实施例中,本申请实施例提供的回声消除装置,还可以包括:
场景确定模块(未示出),用于收集预设时间段内的第一声音信号的声波信息;
根据声波信息确定声波的声纹特征和/或预定关键词的频次;
在声纹特征和/或预定关键词的频次大于或等于对应预定阈值的情况下,确定处于回声场景。
在一个实施例中,本申请实施例提供的回声消除装置,还可以包括:
声源确定模块(未示出),用于在接收到多个声音信号的情况下,根据多个声音信号分别对应的声源的距离,依次将多个声音信号作为第一声音信号。
在一个实施例中,本申请实施例提供的回声消除装置,还可以包括:
ASR识别模块(未示出),用于在接收到多个声音信号的情况下,按照预定延迟间隔依次对多个声音信号进行自动语音识别ASR。
在一个实施例中,ASR识别模块可以具体用于执行如下至少一项操作:
根据解析出多个声音信号的声波的顺序,按照预定延迟间隔依次对多个声音信号的声波进行ASR;以及
根据多个声音信号的声波的强度大小,按照预定延迟间隔依次对多个声音信号的声波进行ASR。
本申请实施例中的回声消除装置可以是装置,也可以是终端中的部件、集成电路、或芯片。该装置可以是移动电子设备,也可以为非移动电子设备。示例性的,移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本或者个人数字助理(personaldigital assistant,PDA)等,非移动电子设备可以为服务器、网络附属存储器(NetworkAttached Storage,NAS)、个人计算机(personal computer,PC)、电视机(television,TV)、柜员机或者自助机等,本申请实施例不作具体限定。
本申请实施例中的回声消除装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统,可以为ios操作系统,还可以为其他可能的操作系统,本申请实施例不作具体限定。
本申请实施例提供的装置能够实现上述方法实施例的所有方法步骤并能达到相同的技术效果,在此不再进行赘述。
如图5所示,本申请实施例还提供一种电子设备500,包括处理器510,存储器520,存储在存储器520上并可在所述处理器510上运行的程序或指令,该程序或指令被处理器510执行时实现上述回声消除方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
需要注意的是,本申请实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。
图6是实现本申请各个实施例的一种电子设备的硬件结构示意图,如图6所示,该电子设备600包括但不限于:射频单元601、网络模块602、音频输出单元603、输入单元604、传感器605、显示单元606、用户输入单元607、接口单元608、存储器609、处理器610、以及电源611等部件。
本领域技术人员可以理解,电子设备600还可以包括给各个部件供电的电源(比如电池),电源可以通过电源管理系统与处理器610逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图6中示出的电子设备结构并不构成对电子设备的限定,电子设备可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置,在此不再赘述。
在本申请实施例中,电子设备包括但不限于手机、平板电脑、笔记本电脑、掌上电脑、车载终端、可穿戴设备、以及计步器等。
其中,用户输入单元607用于接收用户输入的是否进行本申请实施例提供的回声消除方法等的控制指令。
处理器610用于在处于回声场景的情况下,基于所述第一片段的声波参数和所述第一片段的回声的声波参数,确定声波分析模型;
基于所述第二片段的声波参数和所述声波分析模型,确定所述第二片段的回声的声波参数;
基于所述第二片段的回声的声波参数,确定所述第二片段的回声对应的反相声波信号的声波参数;
在目标时间发射所述反相声波信号。
需要说明的是,本实施例中上述电子设备600可以实现本申请实施例中方法实施例中的各个过程,以及达到相同的有益效果,为避免重复,此处不再赘述。
应理解的是,本申请实施例中,射频单元601可用于收发信息或通话过程中,信号的接收和发送,具体的,将来自基站的下行数据接收后,给处理器610处理;另外,将上行的数据发送给基站。通常,射频单元601包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等。此外,射频单元601还可以通过无线通信系统与网络和其他设备通信。
电子设备通过网络模块602为用户提供了无线的宽带互联网访问,如帮助用户收发电子邮件、浏览网页和访问流式媒体等。
音频输出单元603可以将射频单元601或网络模块602接收的或者在存储器609中存储的音频数据转换成音频信号并且输出为声音。而且,音频输出单元603还可以提供与电子设备600执行的特定功能相关的音频输出(例如,呼叫信号接收声音、消息接收声音等等)。音频输出单元603包括扬声器、蜂鸣器以及受话器等。
输入单元604用于接收音频或视频信号。输入单元604可以包括图形处理器(Graphics Processing Unit,GPU)6041和麦克风6042,图形处理器6041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。处理后的图像帧可以显示在显示单元606上。经图形处理器6041处理后的图像帧可以存储在存储器609(或其它存储介质)中或者经由射频单元601或网络模块602进行发送。麦克风6042可以接收声音,并且能够将这样的声音处理为音频数据。处理后的音频数据可以在电话通话模式的情况下转换为可经由射频单元601发送到移动通信基站的格式输出。
电子设备600还包括至少一种传感器605,比如光传感器、运动传感器以及其他传感器。具体地,光传感器包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示面板6061的亮度,接近传感器可在电子设备600移动到耳边时,关闭显示面板6061和/或背光。作为运动传感器的一种,加速计传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别电子设备姿态(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;传感器605还可以包括指纹传感器、压力传感器、虹膜传感器、分子传感器、陀螺仪、气压计、湿度计、温度计、红外线传感器等,在此不再赘述。
显示单元606用于显示由用户输入的信息或提供给用户的信息。显示单元606可包括显示面板6061,可以采用液晶显示器(Liquid Crystal Display,LCD)、有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板6061。
用户输入单元607可用于接收输入的数字或内容信息,以及产生与电子设备的用户设置以及功能控制有关的键信号输入。具体地,用户输入单元607包括触控面板6071以及其他输入设备6072。触控面6071,也称为触摸屏,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板6071上或在触控面板6071附近的操作)。触控面板6071可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器610,接收处理器610发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板6071。除了触控面板6071,用户输入单元607还可以包括其他输入设备6072。具体地,其他输入设备6072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆,在此不再赘述。
进一步的,触控面板6071可覆盖在显示面板6061上,当触控面板6071检测到在其上或附近的触摸操作后,传送给处理器610以确定触摸事件的类型,随后处理器610根据触摸事件的类型在显示面板6061上提供相应的视觉输出。虽然在图6中,触控面板6071与显示面板6061是作为两个独立的部件来实现电子设备的输入和输出功能,但是在某些实施例中,可以将触控面板6071与显示面板6061集成而实现电子设备的输入和输出功能,具体此处不做限定。
接口单元608为外部装置与电子设备600连接的接口。例如,外部装置可以包括有线或无线头戴式耳机端口、外部电源(或电池充电器)端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等等。接口单元608可以用于接收来自外部装置的输入(例如,数据信息、电力等等)并且将接收到的输入传输到电子设备600内的一个或多个元件或者可以用于在电子设备600和外部装置之间传输数据。
存储器609可用于存储软件程序以及各种数据。存储器609可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器609可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
处理器610是电子设备的控制中心,利用各种接口和线路连接整个电子设备的各个部分,通过运行或执行存储在存储器609内的软件程序和/或模块,以及调用存储在存储器609内的数据,执行电子设备的各种功能和处理数据,从而对电子设备进行整体监控。处理器610可包括一个或多个处理单元;可选的,处理器610可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器610中。
电子设备600还可以包括给各个部件供电的电源611(比如电池),可选的,电源611可以通过电源管理系统与处理器610逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
另外,电子设备600包括一些未示出的功能模块,在此不再赘述。
本申请实施例还提供一种可读存储介质,所述可读存储介质上存储有程序或指令,该程序或指令被处理器执行时实现上述回声消除方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
其中,所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质,包括计算机可读存储介质,如计算机只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等。
本申请实施例另提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现上述回声消除方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
应理解,本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外,需要指出的是,本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能,还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能,例如,可以按不同于所描述的次序来执行所描述的方法,并且还可以添加、省去、或组合各种步骤。另外,参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述,但是本申请并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本申请的启示下,在不脱离本申请宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本申请的保护之内。

Claims (10)

1.一种回声消除方法,其特征在于,包括:
第一声音信号包括第一片段和第二片段,所述第一片段的发射时间早于所述第二片段的发射时间;
在处于回声场景的情况下,基于所述第一片段的声波参数和所述第一片段的回声的声波参数,确定声波分析模型;
基于所述第二片段的声波参数和所述声波分析模型,确定所述第二片段的回声的声波参数;
基于所述第二片段的回声的声波参数,确定所述第二片段的回声对应的反相声波信号的声波参数;
在目标时间发射所述反相声波信号;
其中,所述声波参数包括声波的振幅、频率以及收到回声的延迟时间,所述目标时间是基于所述第二片段的发射时间和所述延迟时间确定的。
2.根据权利要求1所述的回声消除方法,其特征在于,所述基于所述第一片段的声波参数和所述第一片段的回声的声波参数,确定声波分析模型之前,还包括:
收集预设时间段内的所述第一声音信号的声波信息;
根据所述声波信息确定声波的声纹特征和/或预定关键词的频次;
在所述声纹特征和/或预定关键词的频次大于或等于对应预定阈值的情况下,确定处于所述回声场景。
3.根据权利要求1或2所述的回声消除方法,其特征在于,所述基于所述第一片段的声波参数和所述第一片段的回声的声波参数,确定声波分析模型之前,还包括:
在接收到多个声音信号的情况下,根据所述多个声音信号分别对应的声源的距离,依次将所述多个声音信号作为所述第一声音信号。
4.根据权利要求3所述的回声消除方法,其特征在于,所述在目标时间发射所述反相声波信号之后,还包括:
在接收到多个声音信号的情况下,按照预定延迟间隔依次对所述多个声音信号进行自动语音识别ASR。
5.根据权利要求4所述的回声消除方法,其特征在于,所述在接收到多个声音信号的情况下,按照预定延迟间隔依次对所述多个声音信号进行ASR,包括如下任一项或其组合:
根据解析出所述多个声音信号的声波的顺序,按照预定延迟间隔依次对所述多个声音信号的声波进行ASR;以及
根据所述多个声音信号的声波的强度大小,按照预定延迟间隔依次对所述多个声音信号的声波进行ASR。
6.一种回声消除装置,其特征在于,包括:
第一声音信号包括第一片段和第二片段,所述第一片段的发射时间早于所述第二片段的发射时间;
模型确定模块,用于在处于回声场景的情况下,基于所述第一片段的声波参数和所述第一片段的回声的声波参数,确定声波分析模型;
参数确定模块,用于基于所述第二片段的声波参数和所述声波分析模型,确定所述第二片段的回声的声波参数;
基于所述第二片段的回声的声波参数,确定所述第二片段的回声对应的反相声波信号的声波参数;
反相声波模块,用于在目标时间发射所述反相声波信号;
其中,所述声波参数包括声波的振幅、频率以及收到回声的延迟时间,所述目标时间是基于所述第二片段的发射时间和所述延迟时间确定的。
7.根据权利要求6所述的回声消除装置,其特征在于,还包括:
场景确定模块,用于收集预设时间段内的所述第一声音信号的声波信息;
根据所述声波信息确定声波的声纹特征和/或预定关键词的频次;
在所述声纹特征和/或预定关键词的频次大于或等于对应预定阈值的情况下,确定处于所述回声场景。
8.根据权利要求6或7所述的回声消除装置,其特征在于,还包括:
声源确定模块,用于在接收到多个声音信号的情况下,根据所述多个声音信号分别对应的声源的距离,依次将所述多个声音信号作为所述第一声音信号。
9.一种电子设备,其特征在于,包括处理器,存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如权利要求1-5任一项所述的回声消除方法的步骤。
10.一种可读存储介质,其特征在于,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如权利要求1-5任一项所述的回声消除方法的步骤。
CN202110379557.0A 2021-04-08 2021-04-08 回声消除方法、装置、电子设备及存储介质 Pending CN113160790A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110379557.0A CN113160790A (zh) 2021-04-08 2021-04-08 回声消除方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110379557.0A CN113160790A (zh) 2021-04-08 2021-04-08 回声消除方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN113160790A true CN113160790A (zh) 2021-07-23

Family

ID=76889050

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110379557.0A Pending CN113160790A (zh) 2021-04-08 2021-04-08 回声消除方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN113160790A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114141224A (zh) * 2021-11-30 2022-03-04 北京百度网讯科技有限公司 信号处理方法和装置、电子设备、计算机可读介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107785027A (zh) * 2017-10-31 2018-03-09 维沃移动通信有限公司 一种音频处理方法及电子设备
CN109660891A (zh) * 2018-12-24 2019-04-19 王让利 一种可穿戴式多麦克风装置
CN109754821A (zh) * 2017-11-07 2019-05-14 北京京东尚科信息技术有限公司 信息处理方法及其系统、计算机系统和计算机可读介质
CN111583950A (zh) * 2020-04-21 2020-08-25 珠海格力电器股份有限公司 一种音频处理方法、装置、电子设备及存储介质
CN112055876A (zh) * 2018-04-27 2020-12-08 语享路有限责任公司 利用语音识别技术的多方对话记录/输出方法及用于其的装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107785027A (zh) * 2017-10-31 2018-03-09 维沃移动通信有限公司 一种音频处理方法及电子设备
CN109754821A (zh) * 2017-11-07 2019-05-14 北京京东尚科信息技术有限公司 信息处理方法及其系统、计算机系统和计算机可读介质
CN112055876A (zh) * 2018-04-27 2020-12-08 语享路有限责任公司 利用语音识别技术的多方对话记录/输出方法及用于其的装置
CN109660891A (zh) * 2018-12-24 2019-04-19 王让利 一种可穿戴式多麦克风装置
CN111583950A (zh) * 2020-04-21 2020-08-25 珠海格力电器股份有限公司 一种音频处理方法、装置、电子设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114141224A (zh) * 2021-11-30 2022-03-04 北京百度网讯科技有限公司 信号处理方法和装置、电子设备、计算机可读介质

Similar Documents

Publication Publication Date Title
CN109067418B (zh) 一种天线控制方法及移动终端
CN108712566B (zh) 一种语音助手唤醒方法及移动终端
CN108684029B (zh) 一种蓝牙配对连接方法及系统、蓝牙设备和终端
CN106847298A (zh) 一种基于弥漫式语音交互的拾音方法和装置
CN107765251B (zh) 距离检测方法和终端设备
CN106940997B (zh) 一种向语音识别系统发送语音信号的方法和装置
CN109065060B (zh) 一种语音唤醒方法及终端
CN108491151B (zh) 一种移动终端的提示方法及移动终端
CN107785027B (zh) 一种音频处理方法及电子设备
CN107682558A (zh) 一种屏幕控制方法及移动终端
CN108270928B (zh) 一种语音识别的方法及移动终端
CN111638522B (zh) 接近检测方法及电子设备
CN113160790A (zh) 回声消除方法、装置、电子设备及存储介质
CN109126127A (zh) 游戏控制方法、双屏移动终端及计算机可读存储介质
CN110753139B (zh) 一种输入方法、移动终端
CN110677770B (zh) 发声控制方法、电子设备及介质
CN110031860B (zh) 激光测距方法、装置和移动终端
CN109144860B (zh) 一种对控件对象的操作方法及终端设备
CN107479815A (zh) 实现分屏屏幕控制的方法、终端和计算机可读存储介质
CN111370026A (zh) 设备状态检测方法及电子设备
CN108924319B (zh) 一种接近检测方法和移动终端
CN108418961B (zh) 一种音频播放方法和移动终端
CN108430025B (zh) 一种检测方法及移动终端
CN115985309A (zh) 语音识别方法、装置、电子设备及存储介质
CN108804223A (zh) 内存优化方法、移动终端及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination