CN112804620B - 回声处理方法、装置、电子设备及可读存储介质 - Google Patents

回声处理方法、装置、电子设备及可读存储介质 Download PDF

Info

Publication number
CN112804620B
CN112804620B CN201911112020.7A CN201911112020A CN112804620B CN 112804620 B CN112804620 B CN 112804620B CN 201911112020 A CN201911112020 A CN 201911112020A CN 112804620 B CN112804620 B CN 112804620B
Authority
CN
China
Prior art keywords
audio signal
audio signals
target
voltage
group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911112020.7A
Other languages
English (en)
Other versions
CN112804620A (zh
Inventor
蔡盈盈
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Uniview Technologies Co Ltd
Original Assignee
Zhejiang Uniview Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Uniview Technologies Co Ltd filed Critical Zhejiang Uniview Technologies Co Ltd
Priority to CN201911112020.7A priority Critical patent/CN112804620B/zh
Publication of CN112804620A publication Critical patent/CN112804620A/zh
Application granted granted Critical
Publication of CN112804620B publication Critical patent/CN112804620B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/02—Circuits for transducers, loudspeakers or microphones for preventing acoustic reaction, i.e. acoustic oscillatory feedback

Abstract

本申请提出一种回声处理方法、装置、电子设备及可读存储介质，应用于通信技术领域。首先获取经由包括单指向拾音单元和全指向拾音单元的拾音模组采集的多组音频信号，并将多组音频信号分别转换为音频信号电压值。接着，根据得到的多组音频信号电压值，判断每组音频信号中是否包括回声及目标声音，其中，回声由播放模组生成。若包括，则根据单指向拾音单元的最大灵敏度方向与播放模组的出音孔方向之间的夹角、每组音频信号电压值，得到每组音频信号除去回声音频信号后的目标音频信号的目标音频信号电压值，并将目标音频信号电压值转换为目标音频信号。由此，可有效减少或消除音频信号中的回声得到目标音频信号，并且占用资源少。

Description

回声处理方法、装置、电子设备及可读存储介质
技术领域
本申请涉及通信技术领域，具体而言，涉及一种回声处理方法、装置、电子设备及可读存储介质。
背景技术
对讲系统已被广泛应用于各种场合。对讲系统的组成主要包括放置在不同地点的两台设备A、B，设备A、B上均布置有麦克风及播放模组，两台设备可以通过有线或无线信号进行通讯。
当用户1在设备A处发出声音时，设备A的麦克风会拾取该声音，并将该声音传输给设备B。设备B的播放模组会将该声音播放出来，此时，设备B的麦克风会将设备B的播放模组播放的这部分声音拾取，重新传回给设备A，并由设备A的播放模组播放出来。因此，用户1在设备A处会再次听到自己发出的声音。
由此可知，设备的麦克风不仅将目标人声拾取，还将播放模组发出的声音拾取，并传输到另一设备，从而造成回声，即对方能够听到自己发出的声音从播放模组中发出。回声的出现会影响音频效果，如何有效降低或者消除这部分回声是本领域技术人员需要解决的问题。
发明内容
有鉴于此，本申请的目的在于提供一种回声处理方法、装置、电子设备及可读存储介质，能够有效降低或消除因回声带来的噪声。
为了实现上述目的，本申请实施例采用的技术方案如下：
第一方面，本申请实施例提供一种回声处理方法，应用于电子设备，所述电子设备包括拾音模组、播放模组以及显示模组，所述拾音模组包括单指向拾音单元及全指向拾音单元，所述单指向拾音单元的最大灵敏度方向与所述显示模组的延伸方向垂直，所述方法包括：
获取经由所述拾音模组采集的多组音频信号，并将多组音频信号分别转换为音频信号电压值，其中，所述音频信号电压值包括经由所述单指向拾音单元采集的第一音频信号转换的第一音频信号电压值，及经由所述全指向拾音单元采集的第二音频信号转换的第二音频信号电压值；
根据得到的多组音频信号电压值，判断每组音频信号中是否包括回声及目标声音，其中，所述回声由所述播放模组生成；
若包括，则根据所述单指向拾音单元的最大灵敏度方向与所述播放模组的出音孔方向之间的夹角、每组音频信号电压值，得到每组音频信号对应的目标音频信号电压值，并将所述目标音频信号电压值转换为目标音频信号，其中，所述目标音频信号为一组音频信号除去回声音频信号后的音频信号。
第二方面，本申请实施例提供一种回声处理装置，应用于电子设备，所述电子设备包括拾音模组、播放模组以及显示模组，所述拾音模组包括单指向拾音单元及全指向拾音单元，所述单指向拾音单元的最大灵敏度方向与所述显示模组的延伸方向垂直，所述装置包括：
获取模块，用于获取经由所述拾音模组采集的多组音频信号，并将多组音频信号分别转换为音频信号电压值，其中，所述音频信号电压值包括经由所述单指向拾音单元采集的第一音频信号转换的第一音频信号电压值，及经由所述全指向拾音单元采集的第二音频信号转换的第二音频信号电压值；
判断模块，用于根据得到的多组音频信号电压值，判断每组音频信号中是否包括回声及目标声音，其中，所述回声由所述播放模组生成；
处理模块，用于在包括时，根据所述单指向拾音单元的最大灵敏度方向与所述播放模组的出音孔方向之间的夹角、每组音频信号电压值，得到每组音频信号对应的目标音频信号电压值，并将所述目标音频信号电压值转换为目标音频信号，其中，所述目标音频信号为一组音频信号除去回声音频信号后的音频信号。
第三方面，本申请实施例提供一种电子设备，包括摄像头模组、拾音模组、播放模组、显示模组、处理器和存储器，所述拾音模组中包括单指向拾音单元及全指向拾音单元，所述单指向拾音单元的最大灵敏度方向与所述摄像头模组的拍摄方向相同，且与所述播放模组的出音孔方向及显示模组的延伸方向垂直，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器可执行所述机器可执行指令以实现前述实施方式中任一项所述的回声处理方法。
第四方面，本申请实施例提供一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如前述实施方式中任一项所述的回声处理方法。
本申请实施例提供的回声处理方法、装置、电子设备和可读存储介质，首先获取经由拾音模组采集的多组音频信号，并将多组音频信号分别转换为音频信号电压值。其中，拾音模组包括单指向拾音单元和全指向拾音单元，单指向拾音单元的最大灵敏度方向与电子设备的显示模组的延伸方向垂直。音频信号电压值包括经由单指向拾音单元采集的第一音频信号转换的第一音频信号电压值，及经由全指向拾音单元采集的第二音频信号转换的第二音频信号电压值。然后根据得到的多组音频信号电压值，判断每组音频信号中是否包括回声及目标声音。若包括，则根据单指向拾音单元的最大灵敏度方向与播放模组的出音孔方向之间的夹角及每组音频信号电压值，得到每组音频信号对应的目标音频信号电压值，并将该目标音频信号电压值转换为目标音频信号。目标音频信号为一组音频信号除去回声音频信号后的音频信号。由此，可有效降低或消除音频信号中的回声得到目标音频信号。
为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1是声学回声消除原理示意图；
图2是本申请实施例提供的电子设备的方框示意图之一；
图3是本申请实施例提供的电子设备的声音拾取路径示意图；
图4是麦克风的指向性示意图；
图5是心形指向麦克风和全指向麦克风的电压示意图；
图6是本申请实施例提供的电子设备的方框示意图之二；
图7是本申请实施例提供的回声处理方法的一种流程示意图；
图8是图7中步骤S120包括的子步骤的一种流程示意图；
图9是本申请实施例提供的回声处理装置200的方框示意图。
图标：100-电子设备；110-存储器；120-处理器；130-通信单元；140-拾音模组；141-单指向拾音单元；142-全指向拾音单元；150-摄像头模组；160-播放模组；171-运算放大器；172-编译码器；173-DSP；174-功率放大器；175-扬声器；200-回声处理装置；210-获取模块；220-判断模块；230-处理模块。
具体实施方式
下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
请参照图1，图1是声学回声消除原理示意图。目前一般使用AEC(Acoustic EchoCancellation，声学回声消除)算法对回声进行处理，即在对讲设备中添加AEC模块。Echo信号表示从扬声器Speaker发出的干扰声音(即回声)，Speech信号表示目标声音。麦克风Microphone对声音的拾取是没有选择性的，上述两个声音会同时被麦克风拾取，因此，麦克风拾取到的声音ne为Echo信号和Speech信号混合而成的语音。干扰声音的信号源已知，即图1所示的fe。在声音ne的基础上减去干扰声音fe，可实现回声消除。
然而，实际上麦克风拾取到的干扰声音与fe差异巨大，这主要与设备所处的声场有关，且与扬声器的性能有很大关系。因此，若AEC模块仅在麦克风拾取到的信号ne的基础上减去fe，将会造成音频信号紊乱，信号被严重破坏。针对该情况，可结合自适应滤波器实现回声消除。
由于自适应滤波器是以输入和输出信号的统计特性的估计为依据，采取特定算法自动地调整滤波器系数，使其达到最佳滤波特性的一种算法或装置，因此，该方案会占用较多资源，并且速度慢。
针对以上方案所存在的缺陷，均是发明人在经过实践并仔细研究后得到的结果，因此，上述问题的发现过程以及下文中本申请实施例针对上述问题所提出的解决方案，都应是发明人在本申请过程中对本申请做出的贡献。
请参照图2，图2是本申请实施例提供的电子设备100的方框示意图之一。所述电子设备100可以是，但不限于，对讲装置、智能手机、平板电脑等。
所述电子设备100可以包括存储器110、处理器120及通信单元130。所述存储器110、处理器120以及通信单元130各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。
其中，存储器110用于存储程序或者数据。所述存储器110可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-Only Memory，PROM)，可擦除只读存储器(ErasableProgrammable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric ErasableProgrammable Read-Only Memory，EEPROM)等。
处理器120用于读/写存储器110中存储的数据或程序，并执行相应地功能。比如，存储器110中存储有回声处理装置200，所述回声处理装置200包括至少一个可以软件或固件(firmware)的形式存储于所述存储器110中的软件功能模块。所述处理器120通过运行存储在存储器110内的软件程序以及模块，如本申请实施例中的回声处理装置200，从而执行各种功能应用以及数据处理，实现回声处理。
通信单元130用于通过网络建立所述电子设备100与其它通信终端之间的通信连接，并用于通过所述网络收发数据。
应当理解的是，图2所示的结构仅为电子设备100的示意图，所述电子设备100还可包括比图2中所示更多或者更少的组件，或者具有与图2所示不同的配置。图2中所示的各组件可以采用硬件、软件或其组合实现。
请参照图3，图3是本申请实施例提供的一种电子设备100的声音拾取路径示意图。所述电子设备100还可以包括拾音模组140及播放模组160。所述拾音模组140用于采集声音；所述播放模组160用于播放音频信号，并具有扩音功能。当用户发出声音、且播放模组160播放音频信号时，拾音模组140会采集用户发出的目标声音及播放模组160形成的回声。其中，所述拾音模组140可以采用麦克风、拾音器或其他拾音器件。可选地，在本实施例中，所述拾音模组140采用麦克风。
请参照图4，图4是麦克风的指向性示意图。麦克风的指向性是麦克风对不同空间方向上的声音的灵敏度不同的性质。这主要跟麦克风的内部结构有关。比如，利用压强原理制作而成的麦克风叫做全指向麦克风，这种麦克风对各个方向上的声音的灵敏度是一致的，能拾取来自各个方向的声音。
利用压差原理制成的麦克风具有双指向特性，又称为8字形指向性，即麦克风对膜片正前方和正后方的声音具有较高灵敏度，但是对侧面的声音的灵敏度较差，这种麦克风一般用于舞台话筒或录音棚等场合。
另外一种麦克风叫做单指向麦克风，单指向麦克风又分为心形、超心形等。此类麦克风利用了压强、压差复合原理。
其中，由于单指向麦克风和双指向麦克风仅能对特定方向的声音有较高的灵敏度，对大部分方向的声音的灵敏度较低，因此，单指向麦克风和双指向麦克风均为应用广泛的降噪麦克风。
其中，心形指向麦克风和全指向麦克风的电压(V)、声压(P)、灵敏度(n)的关系如下公式所示：
Figure GDA0003594057100000081
Figure GDA0003594057100000082
其中，V全表示全指向麦克风的电压值，公式(1)中的n表示全指向麦克风的灵敏度，P表示全指向麦克风的声压；V单表示单指向麦克风的电压值，公式(2)中的n表示单指向麦克风的最大灵敏度，P表示单指向麦克风的声压，θ表示声源与单指向麦克风最大灵敏度方向之间的夹角。
在全指向麦克风的灵敏度n与单指向麦克风的最大灵敏度n相同且声压P相同时，有：
Figure GDA0003594057100000083
由上述公式可知，心形指向麦克风与全指向麦克风的差别就是对方向的识别。由此可知，全指向麦克风拾取到的音频信号中不包括方向性信息，单指向麦克风的音频信号受方向影响较大，尤其是与全指向麦克风应用在一起的时候可以体现出音频信号的方向性信息。
在本实施例中，所述拾音模组140可以包括一个单指向拾音单元和一个全指向拾音单元。单指向拾音单元和全指向拾音单元的灵敏度相同。
在本实施例中，所述单指向拾音单元采用单指向麦克风，所述全指向拾音单元为采用全指向麦克风。其中，所述拾音模组140中的单指向麦克风的最大灵敏度和全指向麦克风的灵敏度相同。所述单指向麦克风可以为心形指向麦克风、超心形麦克风等。优选地，所述单指向麦克风为心形指向麦克风。
在单指向麦克风为心形指向麦克风时，两个麦克风的电压值如图5所示。图5中的圆心表示麦克风位置，实现上的点表示在同样的声音的情况下，声源在不同方向上时，麦克风的电压值。在心形指向(即图5中的心型指向)麦克风和全指向麦克风的灵敏度相同，且声压相同时，虚线上各点表示的电压值与全指向麦克风对应的实线上各点表示的电压值相同。
所述单指向麦克风的设置方式，在用户使用电子设备100进行对讲时，单指向麦克风的最大灵敏度方向朝向一般正对用户，由此可使得单指向麦克风和全指向麦克风拾取的人声信号(即目标声音)的电压值基本一致。可选地，所述电子设备100包括显示模组，单指向麦克风的最大灵敏度方向与显示模组的延伸方向垂直。其中，此处的垂直表示单指向麦克风的最大灵敏度方向与显示模组的延伸方向形成的角度在预设角度范围内，该预设角度范围包括90°，该预设角度范围可以为80°～100°，即单指向麦克风的最大灵敏度方向与显示模组的延伸方向形成的角度为90°，或接近90°。
作为一种实施方式，所述单指向麦克风的最大灵敏度方向与所述播放模组160的出音孔方向垂直。如图3所示，所述播放模组160中包括扬声器，该扬声器的出音孔方向竖直向下。进一步地，扬声器设置有后腔，且后腔密封。为提升用户体验，所述播放模组160设置在所述电子设备100的下方，所述拾音模组140设置在靠近上方的位置。
可选地，所述电子设备100中还可以包括摄像头模组150。所述摄像头模组150用于采集图像，以便实现可视对讲。该摄像头模组150设置在电子设备100的靠近上方的位置。
可选地，所述摄像头模组150的拍摄方向与所述单指向麦克风的最大灵敏度方向相同，且由于所述摄像头模组150与拾音模组140的间距较小，在用户利用该电子设备100进行可视对讲时，用户正对摄像头模组150，相应地也正对拾音模组140，既可以实现图像采集，同时可以使得拾音模组140中的单指向麦克风和全指向麦克风拾取的人声信号的电压值基本一致。
可选地，所述摄像头模组150与所述拾音模组140可以在同一水平线上，也可以不在同一水平线上。
请参照图6，图6是本申请实施例提供的电子设备100的方框示意图之二。该电子设备100中包括单指向拾音单元141、全指向拾音单元142、运算放大器171、编译码器(coder-decoder)172、DSP(Digital Signal Processor)173、功率放大器174及扬声器175。单指向拾音单元141及全指向拾音单元142得到的音频信号经过运算放大器171放大处理之后，通过编译码器172进行AD转换(Analog-to-Digital Convert，模数转换)，经过AD转换得到的数字音频信号被DSP173利用回声处理装置200进行处理，将目标声音和回声区分出来，保留目标声音。接着将目标声音进行DA转换(Digital-to-Analog Convert，数模转换)，发送给另一设备进行播放。当接收到需要播放的音频信号时，可将该音频信号经过功率放大器174处理，并由扬声器175播放。
请参照图7，图7是本申请实施例提供的回声处理方法的一种流程示意图。所述方法应用于电子设备100。该电子设备100包括拾音模组140及播放模组160。所述拾音模组140包括单指向拾音单元141及全指向拾音单元142。所述单指向拾音单元141的最大灵敏度方向可与所述电子设备100的显示模组的延伸方向垂直或近似垂直。下面对回声处理方法的具体流程进行详细阐述。该方法包括步骤S110～步骤S130。
步骤S110，获取经由所述拾音模组140采集的多组音频信号，并将多组音频信号分别转换为音频信号电压值。
步骤S120，根据得到的多组音频信号电压值，判断每组音频信号中是否包括回声及目标声音。
步骤S130，若包括，则根据所述单指向拾音单元141的最大灵敏度方向与所述播放模组160的出音孔方向之间的夹角、每组音频信号电压值，得到每组音频信号对应的目标音频信号电压值，并将所述目标音频信号电压值转换为目标音频信号。
在本实施例中，在所述拾音模组140采集声音后，可实时经采样得到多组音频信号。每组音频信号中包括：经由所述单指向拾音单元141采集得到的第一音频信号、经由所述全指向拾音单元142采集得到的第二音频信号。每组音频信号为同时采集得到的第一音频信号、第二音频信号。然后将每组音频信号分别转换为一组音频信号电压值，并基于得到的多组音频信号电压值判断每组音频信号中是否包括回声及目标声音。其中，每组音频信号电压值包括由第一音频信号转换得到的第一音频信号电压值、由第二音频信号转换得到的第二音频信号电压值。其中，所述回声由所述播放模组160生成，即为所述播放模组160播放的声音。
在确定每组音频信号中包括回声及目标声音时，根据所述单指向拾音单元141的最大灵敏度方向与所述播放模组160的出音孔方向之间的夹角、每组音频信号电压值，处理得到每组音频信号对应的目标音频信号电压值，并将该目标音频信号电压值转换为目标音频信号。后续可将该目标音频信号发送给其他设备进行播放。其中，目标音频信号为一组音频信号除去回声音频信号后的音频信号。由此，可将音频信号中的回声减除或降低，得到目标音频信号，从而达到抑制回声的目的，同时不需要建立自适应滤波模型，具有速度快、占用资源少等特点。
请参照图8，图8是图7中步骤S120包括的子步骤的一种流程示意图。步骤S120可以包括子步骤S121～子步骤S123。
子步骤S121，计算每组音频信号电压值中第一音频信号电压值与第二音频信号电压值的电压比值，以得到每组音频信号的电压比值。
在本实施例中，对于每组音频信号电压值，可根据
Figure GDA0003594057100000111
计算得到每组音频信号的电压比值。其中，A表示第一音频信号电压值，B表示第二音频信号电压值，
Figure GDA0003594057100000121
表示该组音频信号的电压值的比值，即该组音频信号的电压比值。由此，可得到多组音频信号的电压比值。
子步骤S122，根据第一预设电压比值及得到的多组音频信号的电压比值，判断得到的多组音频信号的电压比值是否稳定。
子步骤S123，若不稳定，则判定每组音频信号中包括回声及目标声音。
在得到每组音频信号的电压比值后，根据第一预设电压比值判断得到的多组音频信号的电压比值是否稳定。若稳定，可将每组音频信号的电压比值与第二预设电压比值进行比较。若不稳定，可以确定每组音频信号中仅包括回声或目标声音。其中，所述第一预设电压比值可以根据实际需要设置。
可选地，可以计算出该多组音频信号的电压比值的方差。若该方差小于第一预设电压比值，则可以判定该多组音频信号的电压比值稳定。若该方差不小于第一预设电压比值，则可以判定该多组音频信号的电压比值不稳定。当然可以理解的是，上述仅为举例说明，也可以采用其他方式判断该多组音频信号的电压比值是否稳定。比如，利用平均值判断。
在确定该多组音频信号的电压比值稳定后，还可以将每组音频信号的电压比值与第二预设电压比值进行比较，即，将每个电压比值与第二预设电压比值进行比较。若至少一个电压比值大于所述第二预设电压比值，则可根据该多组音频信号的电压比值对保存的目标电压比值进行更新。其中，所述第二预设电压比值可以根据实际需要设置。
若该多组音频信号的电压比值稳定，且至少一个电压比值大于所述第二预设电压比值，可将该多个电压比值中的任意一个电压比值作为更新后的目标电压比值，也可以将该多个电压比值中第一个大于所述第二预设电压比值的电压比值作为更新后的目标电压比值，还可以将该多个电压比值中大于所述第二预设电压比值的电压比值的平均值作为更新后的目标电压比值。当然可以理解的是，上述仅为举例说明，也可以采用其他方式在至少一个电压比值大于第二预设电压比值时，根据该多组音频信号的电压比值对保存的目标电压比值进行更新。
由于正常情况下，用户不可能永远正对着拾音模组140。因此，可设置一角度范围，若声源与拾音模组140所在直线，与拾音模组140中单指向拾音单元141的最大灵敏度方向之间的角度，在所述角度范围内，可确定该声源为人。根据该角度范围的最大值，可计算得到所述第二预设电压比值。
比如，若单指向麦克风为心形指向麦克风，基于角度范围的最大值及公式(3)可计算得到所述第二预设电压比值。基于公式(3)可知，当声源与心形指向麦克风所在直线和心形指向麦克风之间的夹角为30°时，心形指向麦克风的第一音频信号电压值和全指向麦克风的第二音频信号电压值的比值为0.93；当夹角为60°时，对应的比值为0.75；当夹角为90°时，对应的比值为0.5。当设定的角度范围为0°～30°，对应的第二预设电压比值则可以为0.93。
可选地，当所述电子设备100包括摄像头模组150时，为满足可视对讲需求，可根据摄像头模组150的视角设置所述角度范围。
若该多组音频信号的电压比值不稳定，则不对保存的目标电压比值进行更新。其中，在最初时，目标电压比值可以为空，也可以根据实际需求设置一个值。
在该多组音频信号的电压比值稳定的情况下，可判断每个电压比值是否大于所述第二预设电压比值。若一个电压比值大于所述第二预设电压比值，可确定该电压比值所属的一组音频信号中仅包括目标声音，并将该电压比值所属的一组音频信号中的第二音频信号电压值，作为该组音频信号对应的目标音频信号电压值。由此，可得到每组音频信号对应的目标音频信号电压值。
可选地，在该多组音频信号的电压比值稳定，且至少一个电压比值大于所述第二预设电压比值时，若一个电压比值小于所述第二预设电压比值，也可以将该电压比值所属的一组音频信号中的第二音频信号电压值，作为该组音频信号对应的目标音频信号电压值；或者，将一预设电压值作为该电压比值对应的目标音频信号值。其中，该预设电压值可根据需求设置，比如，设置为0。
在该多组音频信号的电压比值稳定的情况下，还可判断每个电压比值是否位于所述夹角对应的预设电压比值范围内。其中，该夹角表示所述单指向麦克风的最大灵敏度方向与所述播放模组160的出音孔方向之间的夹角。所述预设电压比值范围内包括第三预设电压比值，所述第三预设电压比值为一组音频信号中仅包括回声时，第一音频信号电压值与第二音频信号电压值的比值。
若一个电压比值在所述预设电压比值范围内，可确定该电压比值所属的一组音频信号中仅包括回声，可将所述预设电压值作为该组音频信号对应的目标音频信号电压值。
在每组音频信号中包括回声及目标声音时，可经以下方式得到目标音频信号电压值。
首先判断每组音频信号的电压比值是否小于保存的所述目标电压比值，且大于所述夹角对应的所述第三预设电压比值。若一组音频信号的电压比值小于保存的所述目标电压比值，且大于所述夹角对应的第三预设电压比值，则根据所述目标电压比值、第三于预设电压比值、该组音频信号电压值，计算得到该组音频信号对应的目标音频信号电压值。
所述目标电压比值表示用户当前的位置信息。由此，可根据用户当前的位置信息、该组音频信号电压值、所述单指向麦克风的最大灵敏度方向与播放模组160的出音孔方向之间的夹角，得到所述目标音频信号电压值。
在所述单指向拾音单元141为心形指向麦克风、全指向拾音单元142为全指向麦克风时，可根据以下计算公式计算得到目标音频信号电压值：
Figure GDA0003594057100000141
其中，V目标表示目标音频信号电压值，V单表示第一音频信号电压值，V全表示第二音频信号电压值，α目标表示目标电压比值，θ表示心形指向麦克风的最大灵敏度方向与所述播放模组160的出音孔方向之间的夹角。
可选地，也可以在每组音频信号中包括回声及目标声音时，直接根据所述目标电压比值、第三预设电压比值、每组音频信号电压值，计算得到每组音频信号对应的目标音频信号电压值。
若不能通过上述方式得到目标音频信号电压值，可不输出目标音频信号。若采用其他类型的单指向麦克风或拾音器件，可根据具体使用的单指向麦克风的类型或拾音器件特点对上述方法进行适应性修改，从而去除或减弱采集到的音频信号中的回声。
下面对上述目标音频信号电压值的确定方式进行举例说明。
所述拾音模组140中包括心形指向麦克风和全指向麦克风。心形指向麦克风的最大灵敏度方向与播放模组160的出音孔方向之间的夹角为90°，对应的所述第三预设电压比值为0.5；设定角度范围为0～60°，对应的所述第二预设电压比值为0.75。
在得到多组音频信号的电压比值后，若该多组音频信号的电压比值稳定，则将每个电压比值与第二预设电压比值0.75进行比较。若至少一个电压比值大于第二预设电压比值0.75，则根据该多组音频信号的电压比值对保存的目标电压比值进行更新。同时，确定大于第二预设电压比值0.75的音频信号仅包括目标声音，此时有：
Figure GDA0003594057100000151
其中，V目标表示目标音频信号电压值，V单表示第一音频信号电压值，V全表示第二音频信号电压值，α表示第一音频信号电压值与第二音频信号电压值的比值。
若该多组音频信号的电压比值稳定，在一个电压比值位于第三预设电压比值0.5所在的预设电压比值范围内时，即在一个电压比值约等于第三预设电压比值0.5时，可确定该电压比值所属的一组音频信号中仅包括回声，此时有：V目标＝0。
若该多组音频信号的电压比值不稳定，在一个电压比值小于第二预设电压比值0.75，大于第三预设电压比值0.5时，可确定该电压比值所属的一组音频信号为目标声音和回声的混合，此时有：V目标＝(2V单-V全)/(2α目标-1)。
其中，在音频信号为目标声音和回声的混合时，有：
V全＝V目标+V回声
V单＝V目标×α目标+0.5×V回声
通过上述两个方程，可得到V目标＝(2V单-V全)/(2α目标-1)。
为了执行上述实施例及各个可能的方式中的相应步骤，下面给出一种回声处理装置200的实现方式，可选地，该回声处理装置200可以采用上述图2所示的电子设备100的器件结构。进一步地，请参阅图9，图9是本申请实施例提供的回声处理装置200的方框示意图。需要说明的是，本实施例所提供的回声处理装置200，其基本原理及产生的技术效果和上述实施例相同，为简要描述，本实施例部分未提及之处，可参考上述的实施例中相应内容。所述回声处理装置200应用于电子设备100，所述电子设备100中包括拾音模组140及播放模组160。所述拾音模组140中包括单指向拾音单元141及全指向拾音单元142。所述单指向拾音单元141的最大灵敏度与该电子设备100的显示模组垂直或近似垂直。所述回声处理装置200可以包括获取模块210、判断模块220及处理模块230。
所述获取模块210，用于获取经由所述拾音模组140采集的多组音频信号，并将多组音频信号分别转换为音频信号电压值。其中，所述音频信号电压值包括经由所述单指向拾音单元141采集的第一音频信号转换的第一音频信号电压值，及经由所述全指向拾音单元142采集的第二音频信号转换的第二音频信号电压值。
所述判断模块220，用于根据得到的多组音频信号电压值，判断每组音频信号中是否包括回声及目标声音。其中，所述回声由所述播放模组160生成。
所述处理模块230，用于在包括时，根据所述单指向拾音单元141的最大灵敏度方向与所述播放模组160的出音孔方向之间的夹角、每组音频信号电压值，得到每组音频信号对应的目标音频信号电压值，并将所述目标音频信号电压值转换为目标音频信号。其中，所述目标音频信号为一组音频信号除去回声音频信号后的音频信号。
可选地，上述模块可以软件或固件(Firmware)的形式存储于图2所示的存储器110中或固化于该电子设备100的操作系统(Operating System，OS)中，并可由图2中的处理器120执行。同时，执行上述模块所需的数据、程序的代码等可以存储在存储器110中。
本申请实施例还提供一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述的回声处理方法。
综上所述，本申请实施例提供一种回声处理方法、装置、电子设备及可读存储介质。首先获取经由拾音模组采集的多组音频信号，并将多组音频信号分别转换为音频信号电压值。其中，拾音模组包括单指向拾音单元和全指向拾音单元，单指向拾音单元的最大灵敏度方向与电子设备的显示模组的延伸方向垂直。音频信号电压值包括经由单指向拾音单元采集的第一音频信号转换的第一音频信号电压值，及经由全指向拾音单元采集的第二音频信号转换的第二音频信号电压值。然后根据得到的多组音频信号电压值，判断每组音频信号中是否包括回声及目标声音。若包括，则根据单指向拾音单元的最大灵敏度方向与播放模组的出音孔方向之间的夹角及每组音频信号电压值，得到每组音频信号对应的目标音频信号电压值，并将该目标音频信号电压值转换为目标音频信号。目标音频信号为一组音频信号除去回声音频信号后的音频信号。由此，可有效降低或消除音频信号中的回声得到目标音频信号，同时不需要建模，也不需要使用过多数据，具有占用资源少、速度快等特点。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (8)

1.一种回声处理方法，其特征在于，应用于电子设备，所述电子设备包括拾音模组、播放模组以及显示模组，所述拾音模组包括单指向拾音单元及全指向拾音单元，所述单指向拾音单元的最大灵敏度方向与所述显示模组的延伸方向垂直，所述方法包括：
获取经由所述拾音模组采集的多组音频信号，并将多组音频信号分别转换为音频信号电压值，其中，所述音频信号电压值包括经由所述单指向拾音单元采集的第一音频信号转换的第一音频信号电压值，及经由所述全指向拾音单元采集的第二音频信号转换的第二音频信号电压值；
根据得到的多组音频信号电压值，判断每组音频信号中是否包括回声及目标声音，其中，所述回声由所述播放模组生成；
若包括，则根据所述单指向拾音单元的最大灵敏度方向与所述播放模组的出音孔方向之间的夹角、每组音频信号电压值，得到每组音频信号对应的目标音频信号电压值，并将所述目标音频信号电压值转换为目标音频信号，其中，所述目标音频信号为一组音频信号除去回声音频信号后的音频信号；
其中，所述根据得到的多组音频信号电压值，判断每组音频信号中是否包括回声及目标声音的步骤，包括：
计算每组音频信号电压值中第一音频信号电压值与第二音频信号电压值的比值，以得到每组音频信号的电压比值；
根据第一预设电压比值及得到的多组音频信号的电压比值，判断得到的多组音频信号的电压比值是否稳定；
若不稳定，则判定每组音频信号中包括回声及目标声音；
其中，所述根据第一预设电压比值及得到的多组音频信号的电压比值，判断得到的多组音频信号的电压比值是否稳定的步骤，包括：
计算所述多组音频信号的电压比值的方差；
若所述方差小于第一预设电压比值，则所述多组音频信号的电压比值稳定。
2.根据权利要求1所述的回声处理方法，其特征在于，所述根据得到的多组音频信号电压值，判断每组音频信号中是否包括回声及目标声音，还包括：
若稳定，判断每个电压比值是否大于第二预设电压比值；
若至少一个电压比值大于所述第二预设电压比值，则根据所述多组音频信号的电压比值对保存的目标电压比值进行更新。
3.根据权利要求2所述的回声处理方法，其特征在于，所述根据所述单指向拾音单元的最大灵敏度方向与所述播放模组的出音孔方向之间的夹角、每组音频信号电压值，得到每组音频信号对应的目标音频信号电压值，包括：
判断每组音频信号的电压比值是否小于保存的所述目标电压比值，且大于所述夹角对应的第三预设电压比值，其中，所述第三预设电压比值为一组音频信号中仅包括回声时第一音频信号电压值与第二音频信号电压值的比值；
若一组音频信号的电压比值小于保存的所述目标电压比值，且大于所述夹角对应的第三预设电压比值，则根据所述目标电压比值、该组音频信号电压值、所述夹角，计算得到该组音频信号对应的目标音频信号电压值；
其中，所述单指向拾音单元为心形指向麦克风，所述全指向拾音单元为全指向麦克风，计算得到所述目标音频信号电压值的公式为：
Figure FDA0003594057090000031
其中，V目标表示目标音频信号电压值，V单表示第一音频信号电压值，V全表示第二音频信号电压值，α目标表示目标电压比值，θ表示心形指向麦克风的最大灵敏度方向与所述播放模组的出音孔方向之间的夹角。
4.根据权利要求3所述的回声处理方法，其特征在于，所述方法还包括：
若得到的多组音频信号的电压比值稳定，判断每个电压比值是否大于所述第二预设电压比值；
若一个电压比值大于所述第二预设电压比值，则判定该电压比值所属的一组音频信号中仅包括目标声音，并将该电压比值所属的一组音频信号中的第二音频信号电压值作为该组音频信号对应的所述目标音频信号电压值。
5.根据权利要求4所述的回声处理方法，其特征在于，所述方法还包括：
若得到的多组音频信号的电压比值稳定，判断每个电压比值是否位于所述夹角对应的预设电压比值范围内，其中，所述预设电压比值范围包括所述第三预设电压比值；
若一个电压比值在所述预设电压比值范围内，则判定该电压比值所属的一组音频信号中仅包括回声，并将预设电压值作为该组音频信号对应的所述目标音频信号电压值。
6.一种回声处理装置，其特征在于，应用于电子设备，所述电子设备包括拾音模组、播放模组以及显示模组，所述拾音模组包括单指向拾音单元及全指向拾音单元，所述单指向拾音单元的最大灵敏度方向与所述显示模组的延伸方向垂直，所述装置包括：
获取模块，用于获取经由所述拾音模组采集的多组音频信号，并将多组音频信号分别转换为音频信号电压值，其中，所述音频信号电压值包括经由所述单指向拾音单元采集的第一音频信号转换的第一音频信号电压值，及经由所述全指向拾音单元采集的第二音频信号转换的第二音频信号电压值；
判断模块，用于根据得到的多组音频信号电压值，判断每组音频信号中是否包括回声及目标声音，其中，所述回声由所述播放模组生成；
处理模块，用于在包括时，根据所述单指向拾音单元的最大灵敏度方向与所述播放模组的出音孔方向之间的夹角、每组音频信号电压值，得到每组音频信号对应的目标音频信号电压值，并将所述目标音频信号电压值转换为目标音频信号，其中，所述目标音频信号为一组音频信号除去回声音频信号后的音频信号；
所述判断模块用于执行所述根据得到的多组音频信号电压值，判断每组音频信号中是否包括回声及目标声音：
计算每组音频信号电压值中第一音频信号电压值与第二音频信号电压值的比值，以得到每组音频信号的电压比值；
根据第一预设电压比值及得到的多组音频信号的电压比值，判断得到的多组音频信号的电压比值是否稳定；
若不稳定，则判定每组音频信号中包括回声及目标声音；
其中，所述根据第一预设电压比值及得到的多组音频信号的电压比值，判断得到的多组音频信号的电压比值是否稳定的步骤，包括：
计算所述多组音频信号的电压比值的方差；
若所述方差小于第一预设电压比值，则所述多组音频信号的电压比值稳定。
7.一种电子设备，其特征在于，包括摄像头模组、拾音模组、播放模组、显示模组、处理器和存储器，所述拾音模组中包括单指向拾音单元及全指向拾音单元，所述单指向拾音单元的最大灵敏度方向与所述摄像头模组的拍摄方向相同，且与所述播放模组的出音孔方向及显示模组的延伸方向垂直，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器可执行所述机器可执行指令以实现权利要求1-5中任一所述的回声处理方法。
8.一种可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-5中任一项所述的回声处理方法。
CN201911112020.7A 2019-11-14 2019-11-14 回声处理方法、装置、电子设备及可读存储介质 Active CN112804620B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911112020.7A CN112804620B (zh) 2019-11-14 2019-11-14 回声处理方法、装置、电子设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911112020.7A CN112804620B (zh) 2019-11-14 2019-11-14 回声处理方法、装置、电子设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN112804620A CN112804620A (zh) 2021-05-14
CN112804620B true CN112804620B (zh) 2022-07-19

Family

ID=75803632

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911112020.7A Active CN112804620B (zh) 2019-11-14 2019-11-14 回声处理方法、装置、电子设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN112804620B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5121426A (en) * 1989-12-22 1992-06-09 At&T Bell Laboratories Loudspeaking telephone station including directional microphone
CN1953059A (zh) * 2006-11-24 2007-04-25 北京中星微电子有限公司 一种噪声消除装置和方法
CN104519212A (zh) * 2013-09-27 2015-04-15 华为技术有限公司 一种消除回声的方法及装置
JP2015080194A (ja) * 2013-07-19 2015-04-23 パナソニックＩｐマネジメント株式会社 指向性制御システム、指向性制御方法、収音システム及び収音制御方法
WO2015159901A1 (ja) * 2014-04-14 2015-10-22 ヤマハ株式会社 放収音装置及び放収音方法
CN106782584A (zh) * 2016-12-28 2017-05-31 北京地平线信息技术有限公司 音频信号处理设备、方法和电子设备
CN107274907A (zh) * 2017-07-03 2017-10-20 北京小鱼在家科技有限公司 双麦克风设备上实现指向性拾音的方法和装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010118763A1 (en) * 2009-04-15 2010-10-21 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multichannel echo canceller

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5121426A (en) * 1989-12-22 1992-06-09 At&T Bell Laboratories Loudspeaking telephone station including directional microphone
CN1953059A (zh) * 2006-11-24 2007-04-25 北京中星微电子有限公司 一种噪声消除装置和方法
JP2015080194A (ja) * 2013-07-19 2015-04-23 パナソニックＩｐマネジメント株式会社 指向性制御システム、指向性制御方法、収音システム及び収音制御方法
CN104519212A (zh) * 2013-09-27 2015-04-15 华为技术有限公司 一种消除回声的方法及装置
WO2015159901A1 (ja) * 2014-04-14 2015-10-22 ヤマハ株式会社 放収音装置及び放収音方法
CN106782584A (zh) * 2016-12-28 2017-05-31 北京地平线信息技术有限公司 音频信号处理设备、方法和电子设备
CN107274907A (zh) * 2017-07-03 2017-10-20 北京小鱼在家科技有限公司 双麦克风设备上实现指向性拾音的方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
acoustic noise and echo cancellation microphone system for video conferencing;S.M.Kuo;《IEEE Transactions on consumer electronics》;19951130;全文 *
基于视频会议系统的回声问题分析;吴成双;《电子质量》;20110520;全文 *

Also Published As

Publication number Publication date
CN112804620A (zh) 2021-05-14

Similar Documents

Publication Publication Date Title
US11240598B2 (en) Band-limited beamforming microphone array with acoustic echo cancellation
CN106782584B (zh) 音频信号处理设备、方法和电子设备
US9668048B2 (en) Contextual switching of microphones
US9226070B2 (en) Directional sound source filtering apparatus using microphone array and control method thereof
US9197974B1 (en) Directional audio capture adaptation based on alternative sensory input
US9544698B2 (en) Signal enhancement using wireless streaming
CN105825864B (zh) 基于过零率指标的双端说话检测与回声消除方法
CN206349145U (zh) 音频信号处理设备
CN108781241B (zh) 用于声学回声消除的装置和方法
CN112735462A (zh) 分布式麦克风阵列的降噪方法和语音交互方法
CN111883156A (zh) 音频处理方法、装置、电子设备及存储介质
CN108520754B (zh) 一种降噪会议机
CN107068162B (zh) 一种语音增强方法、装置及终端设备
CN111078185A (zh) 录制声音的方法及设备
US7945056B2 (en) Listening device with two or more microphones
CN112804620B (zh) 回声处理方法、装置、电子设备及可读存储介质
CN111540365B (zh) 语音信号确定方法、装置、服务器及存储介质
US20230335149A1 (en) Speech processing device and speech processing method
CN113038318B (zh) 一种语音信号处理方法及装置
US10341794B2 (en) Acoustical method for detecting speaker movement
CN212013003U (zh) 一种拾音及扩音系统
CN212544037U (zh) 具有改变拾音范围功能的直播麦克风
US20220141341A1 (en) Conference terminal and multi-device coordinating method for conference
CN110099328A (zh) 一种智能音箱
WO2023065317A1 (zh) 会议终端及回声消除方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant