CN113473314A - 音频信号处理方法以及相关设备 - Google Patents
音频信号处理方法以及相关设备 Download PDFInfo
- Publication number
- CN113473314A CN113473314A CN202110210147.3A CN202110210147A CN113473314A CN 113473314 A CN113473314 A CN 113473314A CN 202110210147 A CN202110210147 A CN 202110210147A CN 113473314 A CN113473314 A CN 113473314A
- Authority
- CN
- China
- Prior art keywords
- audio signal
- audio
- data processing
- signal
- primary
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000005236 sound signal Effects 0.000 title claims abstract description 196
- 238000003672 processing method Methods 0.000 title claims abstract description 13
- 238000012545 processing Methods 0.000 claims abstract description 97
- 238000000034 method Methods 0.000 claims abstract description 44
- 238000013528 artificial neural network Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 10
- 230000015654 memory Effects 0.000 description 27
- 230000008569 process Effects 0.000 description 12
- 230000006870 function Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 4
- 238000001914 filtration Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 230000001629 suppression Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/02—Circuits for transducers, loudspeakers or microphones for preventing acoustic reaction, i.e. acoustic oscillatory feedback
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L21/0216—Noise filtering characterised by the method used for estimating noise
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L21/0216—Noise filtering characterised by the method used for estimating noise
- G10L21/0232—Processing in the frequency domain
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
- G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Otolaryngology (AREA)
- Circuit For Audible Band Transducer (AREA)
Abstract
本申请实施例公开了一种音频信号处理方法,用于去除音频信号的风噪。本申请实施例方法包括:数据处理设备计算音频信号间的相关系数,该相关系数指示所述音频信号间的关联程度,数据处理设备根据该相关系数计算得到参考信号,并根据参考信号得到各音频接收装置对应的输出音频信号。
Description
本申请要求于2020年03月31日提交中国专利局、申请号为202010244843.1、发明名称为“音频信号处理方法以及相关设备”的中国专利申请的优先权,其全部内容通过引用结合在本申请中。
技术领域
本申请实施例涉及信号处理领域,尤其涉及一种音频信号处理以及相关设备。
背景技术
终端设备(如手机、摄影机等)的录像、录音已经是目前人们生活中常用的功能。但是,用户在户外场景,如:马路、行驶的车辆中、海边等场景下录音或录像时,因风噪的影响,会导致麦克风拾入的语音信号信噪比较低,语音质量较差,极大的影响录音、录像功能的用户体验。
降风噪时,固定某个音频接收装置(如麦克风)的音频信号作为参考信号,但是在每个麦克风都有风噪或参考麦有风噪的情况下,参考信号的风噪较大,处理后的音频信号不能有效去除风噪。
发明内容
本申请实施例提供了一种音频信号处理方法以及相关设备。
本申请实施例第一方面提供了一种音频信号处理方法,包括:
数据处理设备从两个或两个以上的音频接收装置接收其采集到的音频信号,若有两个音频接收装置采集到的音频信号,可以将各音频接收装置采集到的音频信号分别命名为第一音频信号和第二音频信号,该采集到的音频信号可以含有风噪,数据处理设备计算第一音频信号和第二音频信号间的相关系数,该相关系数指示第一音频信号和第二音频信号间的关联程度,数据处理设备根据相关系数计算得到参考信号,该参考信号为目标音频信号去除风噪后的音频信号,目标音频信号为多个音频接收装置中任一音频接收装置接收的音频信号,如第一信号或第二信号,数据处理设备根据参考信号计算得到各音频接收装置对应的输出音频信号,该输出音频信号为去除风噪后的音频信号。
本申请实施例中,在降风噪时,根据第一音频信号和第二音频信号间的相关系数,计算得到参考信号,在每个麦克风都有风噪或参考麦有风噪的情况下,该参考信号含有的风噪较小,处理后的音频信号能有效去除风噪。
基于本申请实施例第一方面,本申请实施例第一方面的第一种实施方式中,数据处理设备接收第一音频信号和第二音频信号后,该数据处理设备将第一音频信号和第二音频信号从时域转换到频域,此时目标音频信号属于频域内的信号。
基于本申请实施例第一方面或第一方面的第一种实施方式,本申请实施例第一方面的第二种实施方式中,数据处理设备可以将第一音频信号和第二音频信号进行神经网络处理,得到初级第一音频信号和初级第二音频信号,该初级第一音频信号和初级第二音频信号为去除部分风噪后的音频信,数据处理设备根据相关系数,以及初级第一音频信号和初级第二音频信号计算得到参考信号。
本申请实施例中,在去除风噪的过程中,可以利用神经网络处理,进一步提升数据处理设备去除风噪的效果。
基于本申请实施例第一方面至第一方面的第二种实施方式中任一实施方式,本申请实施例第一方面的第二种实施方式中,数据处理设备可以为手机,个人电脑,处理器中任一项。
本申请实施例第二方面提供了一种数据处理设备,该数据处理设备可以执行上述第一方面的及第一方面各实施方式的方法。
本申请实施例第三方面提供了一种数据处理设备,该数据处理设备包括处理器、存储器、总线和输入输出设备,处理器执行上述第一方面的及第一方面各实施方式的方法。
本申请实施例第四方面提供了一种计算机存储介质,该计算机存储介质中存储有指令,该指令在计算机上执行时,使得计算机执行如上述第一方面及第一方面各实施方式的方法。
本申请实施例第五方面提供了一种计算机程序产品,该计算机程序产品在计算机上执行时,使得计算机执行如上述第一方面及第一方面各实施方式的方法。
附图说明
图1a为本申请实施例音频信号处理方法的网络框架示意图;
图1b为本申请实施例麦克风布局的一个示意图;
图1c为本申请实施例音频信号处理方法的的一个流程示意图;
图2为本申请实施例音频信号处理方法一个流程示意图;
图3为本申请实施例中神经网络处理的过程示意图;
图4为本申请实施例中音频曲线一个示意图;
图5为本申请实施例中数据处理设备一个结构示意图;
图6为本申请实施例中数据处理设备另一个结构示意图。
具体实施方式
本申请实施例提供了一种音频信号处理方法,用于去除音频信号的风噪。
参阅图1a,本申请实施例的网络框架包括:
音频接收装置101至103,数据处理设备104。
音频接收装置101至103用于接收音频信号,音频信号可以为语音信号或动物的声频信号等,具体此处不做限定,音频接收装置101至103可以为麦克风或收发器等设备,具体此处不做限定。
数据处理设备104用于处理音频接收装置101至103接收到的音频信号,将其中的干扰信号(如风噪)进行剔除,得到去除风噪的音频信号,数据处理设备可以为处理器,个人电脑等设备,具体此处不做限定。
本申请实施例中音频接收装置的个数为两个或两个以上,图1仅以3个为例,在实际应用中可为其他个数,如两个。
音频接收装置101至103和数据处理设备104可以分别作为单独的设备或单元也可以通过有线或无线等方式耦合形成系统或芯片,具体此处不做限定。同理,该音频接收装置可以如图1a中所示的方式进行布局,也可以是如图1b所示的阵列方式进行布局。
下面基于图1a所示的网络框架描述一下本申请中音频信号的处理流程。具体请参阅图1c所示,其中图1a中的音频接收装置101至103可以是终端设备中的不同位置的麦克风(如图1c中的顶麦相当于图1a中的音频接收装置101,图1c中的背麦相当于图1a中的音频接收装置102,图1c中的底麦相当于图1a中的音频接收装置103)。在音频信号处理过程中,其具体流程如下:
1、该终端设备不同位置的麦克风(如顶麦、背麦和底麦)采集音频信号。
2、该终端设备将各麦克风的音频信号通过短时傅里叶变换(short-time fouriertransform,STFT)从时域变换到频域,并根据频域信号计算各个麦克风之间的相关性。
3、该终端设备根据该频域信号计算得到音频信号的功率谱。
4、因风噪区域能量集中且呈金字塔形分布,在语谱图上较其他部分会有明显边界,因此该终端设备基于Sobel算子粗略确定音频信号的风噪区域。
5、该终端设备将音频信号的功率谱经过深度神经网络,输出各音频信号的频点的功率谱增益。
6、结合步骤4得到的风噪区域大小以及步骤2得到的各个麦克风之间的相关性,得到深度神经网络增益阈值。
7、该终端设备根据各个麦克风的风噪区域及对于音频信号的频点进行语音活动检测(voice activity detection,VAD),从而融合得到该音频信号对应的无风噪参考信号。
8、该终端设备对各个麦克风的频域信号,根据该无风噪参考信号通过谱减法或滤波进行风噪抑制处理。
9、该终端设备将处理后的音频信号进行舒适噪声补偿,缓解风噪抑制后可能带来的背景噪声听感不自然的问题。
10、该终端设备将各个麦克风的频域信号通过短时傅里叶反变换(inverseshort-time fourier transform,ISTFT),得到最终风噪抑制输出,并将该音频信号通过各自的麦克风输出。
可以理解的是,在图1b所示的麦克风布局方式下,该终端设备也可以采用如图1c所示的处理流程对各个麦克风拾入的音频信号进行处理并输出。
结合图1a或图1b的网络框架和图1c所示的处理流程,参阅图2,本申请实施例一个音频信号处理方法包括:
201、数据处理设备接收多个音频接收装置采集的音频信号;
数据处理设备从两个或两个以上的音频接收装置接收音频信号,音频接收装置在空间上的物理位置不同,接收到的音频信号具有差异。
202、数据处理设备将音频信号从时域转换到频域。
具体的转换方法可以为离散傅里叶变换(discrete fourier transform,DTF),具体计算公式如下:
其中xi(n)表示第n帧时,第i个麦输入音频信号的离散时域信号,Xi(k)为变换到频域内的音频信号,k表示对应的频点,k=0,1,2…,N-1。
每帧音频信号可以通过分帧的方式得到,如将每10毫秒的音频信号作为一帧音频信号,具体的分帧方式此处不做限定,如将每8毫秒的音频信号作为一帧音频信号。
203、数据处理设备将频域内的音频信号进行神经网络处理,得到初级音频信号;
若带有风噪的音频信号为干净的音频信号与风噪信号叠加得到:
X=D+N
其中X为带有风噪的音频信号,作为神经网络的输入,D为干净的音频信号,N为风噪信号。
参阅图3,神经网络处理的过程可以包括:深度神经网络(deep neural networks,DNN),卷积神经网络(convolutional neural networks,DNN),长短期记忆网络(longshort term menory,LSTM)。
通过神经网络处理可以得到初级音频信号Do,初级音频信号Do相对于带有风噪的音频信号X,其风噪信号得到了部分的剔除。
其中代价函数MSE为:MSE=(D-Do)2,该代价函数MSE指示初级音频信号与理想的干净的音频信号的误差,代价函数MSE的值越大,误差越大。
频点k的频点增益Gain(k)可以为:Gain(k)=Do(k)/X(k)。
204、数据处理设备计算不同音频信号间的相关系数;
在实际应用中数据处理设备可以选择风噪区域较小的两个音频信号X1和X2计算其相关系数ρx1x2,具体计算方式可以为:
数据处理设备可以基于边缘检测(sobel)估计风噪区域的大小,具体方式为:
根据频域内的音频信号计算各频点的幅度和能量:
幅度Ai计算方法可以为:
Ai(k)=|Xi(k)|,
能量Pi计算方法可以为:
Pi(k)=|Xi(k)|2
边缘检测计算方法为:
因风噪区域能量集中且呈金字塔形分布,在语谱图上较其他非风噪部分会有明显边界,所以当梯度G在某一频点发生突变即该频点为风噪区域的边界n,可以理解的是,在实际应用中可以为该边界留有一定的裕度。
在实际应用中,步骤203和步骤204间没有时序关系。
205、数据处理设备根据音频信号间的相关系数计算得到参考信号;
结合步骤204得到的风噪区域大小得到增益阈值Tr,例如:
实际过程中,可以适当调整增益阈值大小来适配不同的应用场景。
数据处理设备确定增益阈值以下的频点判定为风噪区域Ni。此外,在增益局部最大值的频点,判定为需要保护的频点,否则设置为风噪频点。
参阅图4,设阈值与曲线的交点对应横坐标800Hz即为在频点0Hz至800Hz对应的各峰值点频点为1,其余为0。
在实际应用中数据处理设备可以选择风噪区域较小的音频信号如音频信号X1,计算得到参考信号Ref(k),计算方法如下:
其中Max(Gain1(k),ρx1x2(k))为取最大值函数。
206、数据处理设备根据参考信号,对各音频信号进行去除风噪操作。
具体的去除方法可以为维纳滤波或最小二乘自适应滤波中任一个,具体去除方法此处不做限定。
本实施例以维纳滤波为例:
其中Ni表示当前信号的风噪区域,如图4所示为800Hz。
207、数据处理设备将去除风噪后的音频信号通过离散傅里叶反变换(inversediscrete fourier transform,IDFT)处理,得到输出音频信号。
该输出音频信号为去除风噪后时域内的音频信号。
离散傅里叶反变换的计算方式可以为:
本实施例中的公式仅为可实现的计算方式中的一些例子,在实际应用中还可以为其他计算方式,如将公式进行等效变形,具体此处不做限定。
上面对本申请实施例中的音频信号处理方法进行了描述,下面对本申请实施例中的数据处理设备进行描述,请参阅图5,本申请实施例中数据处理设备一个实施例包括:
接收单元501,用于接收第一音频信号和第二音频信号,音频信号和音频信号为不同音频接收装置采集的音频信号,第一音频信号和第二音频信号中含有风噪。
转换单元502,用于将第一音频信号和第二音频信号从时域转换到频域。
第一计算单元503,用于计算第一音频信号和第二音频信号间的相关系数,具体用于根据相关系数,以及初级第一音频信号和初级第二音频信号计算得到参考信号。
第二计算单元504,用于根据相关系数计算得到参考信号,参考信号为目标音频信号去除风噪后的音频信号,目标音频信号为第一音频信号或第二音频信号。
第三计算单元505,用于根据参考信号计算得到所述第一音频信号和所述第二音频信号对应的输出音频信号,输出音频信号为去除风噪后的音频信号。
本实施例中,数据处理设备中各单元所执行的操作与前图2所示实施例中描述的类似,此处不在赘述。
图6是本申请实施例提供的一种数据处理设备结构示意图,该数据处理设备600可以包括一个或一个以上处理器601和存储器605,该存储器605中存储有一个或一个以上的应用程序或数据。
其中,存储器605可以是易失性存储或持久存储。存储在存储器605的程序可以包括一个或一个以上模块,每个模块可以包括对数据处理设备中的一系列指令操作。更进一步地,处理器601可以设置为与存储器605通信,在数据处理设备600上执行存储器605中的一系列指令操作。
数据处理设备600还可以包括一个或一个以上电源602,一个或一个以上有线或无线网络接口603,一个或一个以上输入输出接口604,和/或,一个或一个以上操作系统,例如Windows ServerTM,Mac OS XTM,UnixTM,LinuxTM,FreeBSDTM等。
该处理器601可以执行前述图2所示实施例中数据处理设备所执行的操作,具体此处不再赘述。
本申请提供了一种数据处理设备,数据处理设备与存储器耦合,用于读取并执行存储器中存储的指令,使得数据处理设备实现前述图2所对应的实施例中任一实施方式中由数据处理设备执行的方法的步骤。在一种可能的设计中,该数据处理设备为芯片或片上系统。
本申请提供了一种芯片系统,该芯片系统包括处理器,用于支持数据处理设备实现上述方面中所涉及的功能,例如,例如发送或处理上述方法中所涉及的数据和/或信息。在一种可能的设计中,芯片系统还包括存储器,存储器,用于保存必要的程序指令和数据。该芯片系统,可以由芯片构成,也可以包括芯片和其他分立器件。
在另一种可能的设计中,当该芯片系统为数据处理设备等内的芯片时,芯片包括:处理单元和通信单元,处理单元例如可以是处理器,通信单元例如可以是输入/输出接口、管脚或电路等。该处理单元可执行存储单元存储的计算机执行指令,以使该数据处理设备等内的芯片执行上述图1所对应的实施例中任一项实施例中数据处理设备执行的方法的步骤。可选地,存储单元为芯片内的存储单元,如寄存器、缓存等,存储单元还可以是UE或基站等内的位于芯片外部的存储单元,如只读存储器(read-only memory,ROM)或可存储静态信息和指令的其他类型的静态存储设备,随机存取存储器(random access memory,RAM)等。
本申请实施例还提供了一种处理器,用于与存储器耦合,用于执行上述各实施例中任一实施例中涉及数据处理设备的方法和功能。
本申请实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被计算机执行时实现上述任一方法实施例中与数据处理设备相关的方法流程。对应的,该计算机可以为上述数据处理设备。
应理解,本申请以上实施例中的数据处理设备、芯片系统等中提及的处理器,或者本申请上述实施例提供的处理器,可以是中央处理单元(central processing unit,CPU),还可以是其他通用处理器、数字信号处理器(digital signal processor,DSP)、专用集成电路(application specific integrated circuit,ASIC)、现成可编程门阵列(fieldprogrammable gate array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
还应理解,本申请中以上实施例中的数据处理设备、芯片系统等中的处理器的数量可以是一个,也可以是多个,可以根据实际应用场景调整,此处仅仅是示例性说明,并不作限定。本申请实施例中的存储器的数量可以是一个,也可以是多个,可以根据实际应用场景调整,此处仅仅是示例性说明,并不作限定。
还应理解,本申请实施例中以上实施例中的数据处理设备、芯片系统等中提及的存储器或可读存储介质等,可以是易失性存储器或非易失性存储器,或可包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(read-only memory,ROM)、可编程只读存储器(programmable ROM,PROM)、可擦除可编程只读存储器(erasable PROM,EPROM)、电可擦除可编程只读存储器(electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(random access memory,RAM),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM可用,例如静态随机存取存储器(static RAM,SRAM)、动态随机存取存储器(dynamic RAM,DRAM)、同步动态随机存取存储器(synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(double data rate SDRAM,DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(synchlink DRAM,SLDRAM)和直接内存总线随机存取存储器(direct rambus RAM,DRRAM)。
还需要说明的是,当数据处理设备包括处理器(或处理单元)与存储器时,本申请中的处理器可以是与存储器集成在一起的,也可以是处理器与存储器通过接口连接,可以根据实际应用场景调整,并不作限定。
本申请实施例还提供了一种计算机程序或包括计算机程序的一种计算机程序产品,该计算机程序在某一计算机上执行时,将会使计算机实现上述任一方法实施例中与数据处理设备的方法流程。对应的,该计算机可以为上述的数据处理设备。
在上述图1所对应的实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。
计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时,全部或部分地产生按照本申请实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一计算机可读存储介质传输,例如,计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘Solid StateDisk(SSD))等。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者其他网络设备等)执行本申请图1中实施例方法的全部或部分步骤。而该存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换,这仅仅是描述本申请的实施例中对相同属性的对象在描述时所采用的区分方式。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,以便包含一系列单元的过程、方法、系统、产品或设备不必限于那些单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它单元。
本申请各实施例中提供的消息/帧/信息、模块或单元等的名称仅为示例,可以使用其他名称,只要消息/帧/信息、模块或单元等的作用相同即可。
在本申请实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本发明。在本申请实施例中所使用的单数形式的“一种”、“”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,在本申请的描述中,除非另有说明,“/”表示前后关联的对象是一种“或”的关系,例如,A/B可以表示A或B;本申请中的“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况,其中A,B可以是单数或者复数。
取决于语境,如在此所使用的词语“如果”或“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地,取决于语境,短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
以上,以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。
Claims (10)
1.一种音频信号处理方法,其特征在于,包括:
数据处理设备接收第一音频信号和第二音频信号,所述音频信号和所述音频信号为不同音频接收装置采集的音频信号,所述第一音频信号和所述第二音频信号中含有风噪;
所述数据处理设备计算所述第一音频信号和所述第二音频信号间的相关系数;
所述数据处理设备根据所述相关系数计算得到参考信号,所述参考信号为目标音频信号去除风噪后的音频信号,所述目标音频信号为所述第一音频信号或所述第二音频信号;
所述数据处理设备根据所述参考信号计算得到所述第一音频信号和所述第二音频信号对应的输出音频信号,所述输出音频信号为去除风噪后的音频信号。
2.根据权利要求1所述的方法,其特征在于,所述数据处理设备接收第一音频信号和第二音频信号后,所述方法还包括:
所述数据处理设备将所述第一音频信号和所述第二音频信号从时域转换到频域;
所述目标音频信号属于频域内的信号。
3.根据权利要求1或2所述的方法,其特征在于,所述方法还包括:
所述数据处理设备将所述第一音频信号和所述第二音频信号进行神经网络处理,得到初级第一音频信号和初级第二音频信号,所述初级第一音频信号和初级第二音频信号为去除部分风噪后的音频信号;
所述数据处理设备根据所述相关系数计算得到参考信号包括:
所述数据处理设备根据所述相关系数,以及所述初级第一音频信号和初级第二音频信号计算得到参考信号。
4.根据权利要求1至3中任一项所述的方法,其特征在于,所述数据处理设备包括手机,个人电脑,处理器中任一项。
5.一种数据处理设备,其特征在于,包括:
接收单元,用于接收第一音频信号和第二音频信号,所述音频信号和所述音频信号为不同音频接收装置采集的音频信号,所述第一音频信号和所述第二音频信号中含有风噪;
第一计算单元,用于计算所述第一音频信号和所述第二音频信号间的相关系数;
第二计算单元,用于根据所述相关系数计算得到参考信号,所述参考信号为目标音频信号去除风噪后的音频信号,所述目标音频信号为所述第一音频信号或所述第二音频信号;
第三计算单元,用于根据所述参考信号计算得到所述第一音频信号和所述第二音频信号对应的输出音频信号,所述输出音频信号为去除风噪后的音频信号。
6.根据权利要求5所述的数据处理设备,其特征在于,所述数据处理设备还包括:转换单元,用于将所述第一音频信号和所述第二音频信号从时域转换到频域;
所述目标音频信号属于频域内的信号。
7.根据权利要求5或6所述的数据处理设备,其特征在于,所述数据处理设备还包括:处理单元,用于将所述第一音频信号和所述第二音频信号进行神经网络处理,得到初级第一音频信号和初级第二音频信号,所述初级第一音频信号和初级第二音频信号为去除部分风噪后的音频信号;
所述第二计算单元,具体用于根据所述相关系数,以及所述初级第一音频信号和初级第二音频信号计算得到参考信号。
8.根据权利要求5至7中任一项所述的数据处理设备,其特征在于,所述数据处理设备包括手机,个人电脑,处理器中任一项。
9.一种计算机存储介质,其特征在于,所述计算机存储介质中存储有指令,所述指令在计算机上执行时,使得所述计算机执行如权利要求1至4中任一项所述的方法。
10.一种计算机程序产品,其特征在于,所述计算机程序产品在计算机上执行时,使得所述计算机执行如权利要求1至4中任一项所述的方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2020102448431 | 2020-03-31 | ||
CN202010244843 | 2020-03-31 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113473314A true CN113473314A (zh) | 2021-10-01 |
Family
ID=77868580
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110210147.3A Pending CN113473314A (zh) | 2020-03-31 | 2021-02-25 | 音频信号处理方法以及相关设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113473314A (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2882458A1 (fr) * | 2005-02-18 | 2006-08-25 | France Telecom | Procede de mesure de la gene due au bruit dans un signal audio |
CN101593522A (zh) * | 2009-07-08 | 2009-12-02 | 清华大学 | 一种全频域数字助听方法和设备 |
CN107408394A (zh) * | 2014-11-12 | 2017-11-28 | 美国思睿逻辑有限公司 | 确定在主信道与参考信道之间的噪声功率级差和声音功率级差 |
CN108269582A (zh) * | 2018-01-24 | 2018-07-10 | 厦门美图之家科技有限公司 | 一种基于双麦克风阵列的定向拾音方法及计算设备 |
CN108932949A (zh) * | 2018-09-05 | 2018-12-04 | 科大讯飞股份有限公司 | 一种参考信号获取方法及装置 |
CN110491407A (zh) * | 2019-08-15 | 2019-11-22 | 广州华多网络科技有限公司 | 语音降噪的方法、装置、电子设备及存储介质 |
CN110853664A (zh) * | 2019-11-22 | 2020-02-28 | 北京小米移动软件有限公司 | 评估语音增强算法性能的方法及装置、电子设备 |
-
2021
- 2021-02-25 CN CN202110210147.3A patent/CN113473314A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2882458A1 (fr) * | 2005-02-18 | 2006-08-25 | France Telecom | Procede de mesure de la gene due au bruit dans un signal audio |
CN101593522A (zh) * | 2009-07-08 | 2009-12-02 | 清华大学 | 一种全频域数字助听方法和设备 |
CN107408394A (zh) * | 2014-11-12 | 2017-11-28 | 美国思睿逻辑有限公司 | 确定在主信道与参考信道之间的噪声功率级差和声音功率级差 |
CN108269582A (zh) * | 2018-01-24 | 2018-07-10 | 厦门美图之家科技有限公司 | 一种基于双麦克风阵列的定向拾音方法及计算设备 |
CN108932949A (zh) * | 2018-09-05 | 2018-12-04 | 科大讯飞股份有限公司 | 一种参考信号获取方法及装置 |
CN110491407A (zh) * | 2019-08-15 | 2019-11-22 | 广州华多网络科技有限公司 | 语音降噪的方法、装置、电子设备及存储介质 |
CN110853664A (zh) * | 2019-11-22 | 2020-02-28 | 北京小米移动软件有限公司 | 评估语音增强算法性能的方法及装置、电子设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20210217433A1 (en) | Voice processing method and apparatus, and device | |
CN110164467B (zh) | 语音降噪的方法和装置、计算设备和计算机可读存储介质 | |
US9318125B2 (en) | Noise reduction devices and noise reduction methods | |
WO2021128670A1 (zh) | 降低噪声的方法、装置、电子设备及可读存储介质 | |
US10453472B2 (en) | Parameter prediction device and parameter prediction method for acoustic signal processing | |
US11011182B2 (en) | Audio processing system for speech enhancement | |
US9293140B2 (en) | Speaker-identification-assisted speech processing systems and methods | |
US9640195B2 (en) | Time zero convergence single microphone noise reduction | |
CN104050971A (zh) | 声学回声减轻装置和方法、音频处理装置和语音通信终端 | |
CN104103278A (zh) | 一种实时语音去噪的方法和设备 | |
US8924199B2 (en) | Voice correction device, voice correction method, and recording medium storing voice correction program | |
US10276181B2 (en) | System and method for addressing acoustic signal reverberation | |
CN112802486B (zh) | 一种噪声抑制方法、装置及电子设备 | |
CN110782914B (zh) | 信号处理方法、装置、终端设备及存储介质 | |
US11521633B2 (en) | Audio processing for wind noise reduction on wearable devices | |
CN114627899A (zh) | 声音信号检测方法及装置、计算机可读存储介质、终端 | |
US20230081965A1 (en) | Method for reducing noise, storage medium, chip and electronic equipment | |
CN112802490B (zh) | 一种基于传声器阵列的波束形成方法和装置 | |
WO2024041512A1 (zh) | 音频降噪方法、装置、电子设备及可读存储介质 | |
CN106847299B (zh) | 延时的估计方法及装置 | |
CN113473314A (zh) | 音频信号处理方法以及相关设备 | |
CN107750038B (zh) | 音量调节方法、装置、设备及存储介质 | |
CN110992975A (zh) | 一种语音信号处理方法、装置及终端 | |
CN115954013A (zh) | 一种语音处理的方法、装置、设备和存储介质 | |
US20220210538A1 (en) | Method and apparatus for recognizing wind noise of earphone |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20211001 |
|
RJ01 | Rejection of invention patent application after publication |