CN113168842B - 声音处理方法、装置、无人飞行器和计算机可读存储介质 - Google Patents

声音处理方法、装置、无人飞行器和计算机可读存储介质 Download PDF

Info

Publication number
CN113168842B
CN113168842B CN202080006165.3A CN202080006165A CN113168842B CN 113168842 B CN113168842 B CN 113168842B CN 202080006165 A CN202080006165 A CN 202080006165A CN 113168842 B CN113168842 B CN 113168842B
Authority
CN
China
Prior art keywords
sound
signal
noise
transmission path
unmanned aerial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202080006165.3A
Other languages
English (en)
Other versions
CN113168842A (zh
Inventor
薛政
刘洋
林浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Publication of CN113168842A publication Critical patent/CN113168842A/zh
Application granted granted Critical
Publication of CN113168842B publication Critical patent/CN113168842B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Soundproofing, Sound Blocking, And Sound Damping (AREA)

Abstract

一种声音处理方法、装置、无人飞行器(110)和计算机可读存储介质,声音处理方法用于无人飞行器(110),无人飞行器(110)包括:第一声音采集装置(130)和第二声音采集装置(130);该方法包括:获取第一声音采集装置(130)采集的第一声音信号,第一声音信号包括经第一传输路径传输至第一声音采集装置(130)的有效声音信号和无人飞行器的第一噪声信号(S101);获取第二声音采集装置(130)采集的第二声音信号,第二声音信号包括经第二传输路径传输至第二声音采集装置(130)的无人飞行器(110)的第二噪声信号(S102):根据第二声音信号估计第一噪声信号,以对第一声音信号进行降噪处理(S103)。

Description

声音处理方法、装置、无人飞行器和计算机可读存储介质
技术领域
本公开涉及音频处理领域,尤其涉及一种声音处理方法、装置、无人飞行器和计算机可读存储介质。
背景技术
诸如无人飞行器等可移动平台在采集周围环境的声音信号的过程中,周围环境中包括一些不希望采集的噪声。例如,无人飞行器等可移动平台在工作时会产生较大的噪声,在采集周围环境的声音信号时,不可避免地会同时接收到这些噪声,导致采集到的声音信号质量较差。
发明内容
本公开实施例提供了一种声音处理方法,用于无人飞行器,所述无人飞行器包括:第一声音采集装置和第二声音采集装置,所述方法包括:
获取所述第一声音采集装置采集的第一声音信号,所述第一声音信号包括经第一传输路径传输至所述第一声音采集装置的有效声音信号和所述无人飞行器的第一噪声信号;
获取所述第二声音采集装置采集的第二声音信号,所述第二声音信号包括经第二传输路径传输至所述第二声音采集装置的所述无人飞行器的第二噪声信号;
根据所述第二声音信号估计所述第一噪声信号,以对所述第一声音信号进行降噪处理。
本公开实施例还提供了一种声音处理装置,包括;
存储器,用于存储可执行指令;
处理器,用于执行所述存储器中存储的所述可执行指令,以执行如下操作:
获取第一声音采集装置采集的第一声音信号,所述第一声音信号包括经第一传输路径传输至所述第一声音采集装置的有效声音信号和无人飞行器的第一噪声信号;
获取第二声音采集装置采集的第二声音信号,所述第二声音信号包括经第二传输路径传输至所述第二声音采集装置的所述无人飞行器的第二噪声信号;
根据所述第二声音信号估计所述第一噪声信号,以对所述第一声音信号进行降噪处理。
本公开实施例还提供了一种无人飞行器,包括:第一声音采集装置、第二声音采集装置、以及上述的声音处理装置。
本公开实施例提供了一种计算机可读存储介质,其存储有可执行指令,所述可执行指令在由一个或多个处理器执行时,可以使所述一个或多个处理器执行上述的声音处理方法。
本公开实施例提供了一种声音处理方法、装置、无人飞行器以及计算机可读存储介质,通过第一声音采集装置采集第一传输路径传输的有效声音信号和噪声信号,通过第二声音采集装置采集第二传输路径传输的噪声信号,并用第二声音采集装置采集的噪声信号估计第一声音采集装置采集的噪声信号,以对第一声音采集装置采集的声音信号进行降噪处理,从而得到高信噪比的声音信号。
附图说明
为了更清楚地说明本公开实施例中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本公开实施例声音处理方法的流程图。
图2为无人飞行器的示意图。
图3为第一麦克风的结构示意图。
图4为第二麦克风的结构示意图。
图5为第二麦克风的另一结构示意图。
图6为本公开实施例声音处理方法的信号流程图。
图7显示了用于标定噪声估计模型的隔绝环境。
图8为本公开实施例声音处理方法的另一信号流程图。
图9为本公开实施例声音处理装置的示意图。
图10为本公开实施例无人飞行器的示意图。
具体实施方式
虽然现有技术存在降噪的技术方案,但是都存在不同程度的缺陷。例如,对于单通道降噪,其通过单个麦克风采集声音,并利用单通道降噪算法对采集的声音进行降噪处理。对于无人飞行器所处的拾音环境恶劣、信噪比极低的场景,单通道降噪并无明显的降噪效果。对于传统的谱减法降噪,在采集声音信号时,其需要将主麦克风靠近有效声音信号源、从麦克风靠近噪声源才能得到较高信噪比的声音。但是对于无人飞行器的拾音环境来说,由于其有效声音信号源和噪声源均不是点声源,并且有效声音信号源和噪声源的隔离度低,二者往往同时被主麦克风和从麦克风采集,有效声音信号源和噪声源的声音信号强度电没有明显的强弱之分,因此,传统的谱减法降噪也不能达到明显的降噪效果。
本公开实施例提供了一种声音处理方法、装置、无人飞行器以及计算机可读存储介质,通过第一声音采集装置采集第一传输路径传输的有效声音信号和噪声信号,通过第二声音采集装置采集第二传输路径传输的噪声信号,并用第二声音采集装置采集的噪声信号估计第一声音采集装置采集的噪声信号,以对第一声音采集装置采集的声音信号进行降噪处理,从而得到高信噪比的声音信号。
下面将结合实施例和实施例中的附图,对本公开技术方案进行清楚、完整的描述。显然,所描述的实施例仅仅是本公开一部分实施例,而不是全部的实施例。基于本公开中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本公开保护的范围。
本公开一实施例提供了一种声音处理方法,用于无人飞行器,所述无人飞行器包括:第一声音采集装置和第二声音采集装置。如图1所示,该声音处理方法包括:
S101:获取所述第一声音采集装置采集的第一声音信号,所述第一声音信号包括经第一传输路径传输至所述第一声音采集装置的有效声音信号和所述无人飞行器的第一噪声信号;
S102:获取所述第二声音采集装置采集的第二声音信号,所述第二声音信号包括经第二传输路径传输至所述第二声音采集装置的所述无人飞行器的第二噪声信号;
S103:根据所述第二声音信号估计所述第一噪声信号,以对所述第一声音信号进行降噪处理。
本实施例的声音处理方法可通过声音处理装置执行,声音处理装置可设置于无人飞行器。首先对无人飞行器的结构进行说明。图2示出了一种无人飞行器110,无人飞行器110包括:机身105、载具140和声音采集装置130。
无人飞行器110还可以包括一个或多个推进单元150。推进单元150可以被配置为无人飞行器110产生升力。推进单元150可以包括旋翼。无人飞行器110能够在三维空间内飞行,并可沿俯仰轴、偏航轴、横滚轴中的至少一个旋转。无人飞行器110的机身105内可包括:飞行控制器、一个或多个处理器、一个或多个存储器、一个或多个传感器、一个或多个通信单元。其中,所述飞行控制器可同时作为声音处理装置,或者所述一个或多个处理器可用于实现声音处理装置。
无人飞行器110可包括一个或多个传感器。这些传感器例如包括:图像传感器、距离传感器、高度传感器、位置传感器等。所述传感器还应包括至少两个声音采集装置130,其中包括:至少一个第一声音采集装置和至少一个第二声音采集装置。在一些示例中,声音采集装置130可以是麦克风。声音采集装置130与声音处理装置耦接,用于采集声音信号,并将采集的声音信号发送给声音处理装置进行处理。
如图2所示,声音采集装置130由无人飞行器110支撑。声音采集装置130可以由无人飞行器110直接支撑,或者可以经由载具140而被无人飞行器110支撑。当声音采集装置130经由载具140而被无人飞行器110支撑时,声音采集装置130可安装于载具140。载具140可以允许声音采集装置130围绕俯仰轴、偏航轴、横滚轴中的至少一个旋转,以调节声音采集装置130的方向。载具140可以包括单轴云台、双轴云台或三轴云台。
无人飞行器110可通过遥控器120控制。遥控器120可与无人飞行器110、载具140的至少之一通信。遥控器120可包括:声音输出装置、声音存储装置、声音传输装置,分别用于播放、存储、向其他设备传输声音处理装置发送的声音信号。
在图2中,虽然以无人飞行器110为例进行了说明,但是本公开并不限于此,其可以使用任何合适类型的可移动载体,例如但不限于无人飞行器、无人车、无人船、机器人等。
以下对本实施例的声音处理方法进行说明。需要说明的是,在以下描述中,无人飞行器110安装有一个第一声音采集装置和一个第二声音采集装置,且第一声音采集装置和第二声音采集装置均为麦克风,但这只是一种示例性的描述,本实施例不限于此。无人飞行器110还可安装有多个第一声音采集装置和多个第二声音采集装置、一个第一声音采集装置和多个第二声音采集装置或者多个第一声音采集装置和第一第二声音采集装置。
首先通过S101获取第一麦克风采集的第一声音信号。
无人飞行器在工作状态下(例如,起飞、飞行、降落、悬停等过程),其一个或多个推进单元的旋翼通常处于高速旋转状态,高速旋转的旋翼会产生很大的噪声。同时,旋翼的高速旋转还会在一定程度上使无人飞行器的机身产生振动。因此,当无人飞行器在工作状态下对其所处环境的声音进行拾取时,麦克风除了能采集到环境中的有效声音信号,同时还会采集到包括旋翼和机身产生的噪声信号在内的各种噪声信号。
通常,有效声音信号和噪声信号可通过多种传输途径被麦克风采集,这些传输路径至少包括:空气传输路径和振动传输路径。在一些示例中,第一麦克风用于采集经空气传输路径传输的声音信号,环境中的有效声音信号和噪声信号主要通过空气传输路径传递至第一麦克风。在另一些示例中,第一麦克风还会采集到经振动传输路径传输的声音信号,有效声音信号和噪声信号也能够通过振动传输路径传递至第一麦克风。但经振动传输路径传输至第一麦克风的有效声音信号和噪声信号非常弱小。
例如,第一麦克风类型可以是带有收声孔的麦克风,收声孔用于形成空气传输路径。如图3所示,第一麦克风包括:外壳、振膜。外壳包括:顶板、侧板和底板。外壳的顶板形成有收声孔,收声孔作为空气传输路径的一部分,可允许声音信息传输至第一麦克风内部。振膜设置在第一麦克风内部,振膜与外壳底板之间形成振膜后腔,第一麦克风内部的其他部分形成振膜前腔。外壳可固定在无人飞行器的机身,例如可将外壳底板固定在机身表面,使外壳顶板和侧板露出机身表面。这种情况下,有效声音信号和噪声信号可沿箭头①经收声孔进入第一麦克风内部,并引起振膜前腔和振膜后腔振动,从而采集经空气传输路径传输的声音信号。同时,有效声音信号和噪声信号还可分别沿箭头②和③、以及箭头④,经外壳形成的振动传输路径进入第一麦克风内部,引起振膜前腔和振膜后腔振动。将外壳底板和侧板均固定在机身表面时,只有外壳顶板露出机身表面。这种情况与上述情况类似,有效声音信号只沿箭头①进入第一麦克风内部,而噪声信号还沿箭头②和③,以及箭头④进入第一麦克风内部。
在一些示例中,可以将第一麦克风与无人飞行器柔性连接,例如,通过柔性电路板(Flexible Printed Circuit,FPC)将第一麦克风与无人飞行器柔性连接,这种隔振处理可以减小经振动传输路径传输至第一麦克风的声音信号,使得经振动传输路径传输至第一麦克风的噪声信号非常弱小。
然后通过S102获取第二麦克风采集的第二声音信号。第二麦克风用于采集经振动传输路径传输的声音信号,噪声信号通过振动传输路径传递至第二麦克风。
在一些示例中,第二麦克风可以是与第一麦克风类型不同的麦克风。所述类型不同指的是,其不像第一麦克风那样用于采集经空气传输路径传输的声音信号,而是用于采集经振动传输路径传输的声音信号。而第二麦克风可以是不具有收声孔的麦克风,其只能采集经振动传输路径的声音信号。图4示出了这样的第二麦克风,其与图3的第一麦克风的区别在于,外壳并未形成收声孔。在一些示例中,只有经振动传输路径传输的噪声信号才能被第二麦克风采集到,例如沿箭头②、③和④传输至第二麦克风的声音信号。在另一些示例中,由于第二麦克风不具有收声孔,经空气传输路径传输至第二麦克风的声音信号非常弱小甚至完全没有。
在另一些示例中,第二麦克风可以是与第一麦克风类型相同的麦克风。在一些示例中,第一麦克风和第二麦克风可以都是带有收声孔的麦克风,但是,可通过一些手段将第二麦克风的收声孔封闭,以堵塞空气传输路径,使得无人飞行器的噪声信号经振动传输路径传输至第二麦克风。图5示出了这样的第二麦克风,其与图3的第一麦克风的区别在于,外壳形成收声孔,但是收声孔被插塞堵塞。插塞可以是橡皮泥、橡胶、塑料、粘胶等各种材质。图5所示的第二麦克风的收声效果与图4类似,即只有经振动传输路径传输的噪声信号才能被第二麦克风采集到,例如沿箭头②、③和④传输至第二麦克风的声音信号。由于第二麦克风的收声孔被封闭,经空气传输路径传输至第二麦克风的声音信号非常弱小甚至完全没有。
需要说明的是,本实施例对第一麦克风与第二麦克风的位置布局不做任何限制。也就是说,不管第一麦克风与第二麦克风在哪个位置,均不影响本实施例声音处理方法的实施和效果。位置布局可以是指第一麦克风与第二麦克风各自在无人飞行器的位置、第一麦克风与第二麦克风在无人飞行器的相对位置。在一些示例中,无人飞行器的机身包括至少一个表面,这一个或多个表面形成无人飞行器的轮廓,而第一麦克风与第二麦克分布于无人飞行器的这一个或多个表面。无人飞行器的至少一个表面可以包括:分别朝向不同方向的多个表面,且第一麦克风与第二麦克分别分布于这些多个表面中的至少部分表面。在一些示例中,第一麦克风和第二麦克风的其中之一可以设置在无人飞行器机身上,另一个设置在无人飞行器的载具上,二者也可以均设置在无人飞行器的载具上。
得到第一噪声信号和第二声音信号后,在S103中根据第二声音信号估计第一噪声信号,以对第一声音信号进行降噪处理。以下结合图6对该过程进行说明。
如图6所示,M1和M2分别代表第一麦克风和第二麦克风。经空气传输路径传递至M1的声音信号包括:有效声音信号S1和噪声信号N1,经振动传输路径传递至M1的声音信号包括:有效声音信号S2和噪声信号N2。根据本实施例的前述分析可知,对于M1来说,虚线所代表的有效声音信号S2和噪声信号N2非常弱小。对于M2来说,虚线所代表的有效声音信号S1、有效声音信号S2和噪声信号N1非常弱小。
在一些示例中,根据第二声音信号估计第一噪声信号包括:获取第一噪声信号与第二噪声信号之间的噪声估计模型,根据噪声估计模型以及第二噪声信号估计第一噪声信号。在图6中,第一噪声信号是指M1采集的噪声信号N1,第二噪声信号是指M2采集的噪声信号N2。本实施例的噪声估计的思路,是用M2采集的噪声信号来估计M1采集的第一声音信号中的噪声信号,然后将该估计的噪声信号N1’从第一声音信号中去除,以达到降噪目的。
假设经空气传输路径的声音信号的强度为X,经振动传输路径的声音信号的强度为Y。对于收音孔开放的麦克风来说,其采集到的信号强度为X+Y;对于收音孔封闭的麦克风来说,其采集到的信强度号可认为是αX+βY,其中0<α<1,β>1,即经空气传输路径传导的信号被衰减,经振动传输路径传导的信号被加强。若认为经空气传输路径传递的主要是有效声音信号,经振动传输路径传递的主要是噪声信号,则收音孔开放的麦克风采集信号的信噪比为X/Y,而收音孔封闭的麦克风采集信号的信噪比为X/Y*(α/β),也就是说,收音孔封闭的麦克风的信噪比降低了β/α倍,噪信比提高了β/α倍,其效果就类似于将收音孔封闭的麦克风贴近于噪声源进行采集,此时收音孔封闭的麦克风的角色就相当于谱减法降噪中的从麦克风,因此,收音孔封闭的麦克风采集的声音信号能够在更大程度上代表噪声信号,并可用于对收音孔开发的麦克风采集的第一声音信号中的噪声信号进行估计。
考虑到对于无人飞行器来说,第一噪声信号N1和第二噪声信号N2的来源是一致的,例如,都来自于无人飞行器旋翼产生的噪声和无人飞行器机身振动产生的噪声,二者只是传输路径不同,故第一噪声信号N1和第二噪声信号N2之间必然存在一定的对应关系。而本实施例的噪声估计模型就是一种能够反映第一噪声信号N1与第二噪声信号N2之间映射关系的模型。在一些示例中,所述噪声估计模型可以是传递函数。本实施例对传递函数的形式不做任何限定。在一些示例中,传递函数可以是幅度传递函数。得到传递函数后,将第二噪声信号N2输入传递函数即可得到估计的第一噪声信号N1’。
在一些示例中,噪声估计模型可能并非是唯一的,或者说并非适应于所有情况。考虑到第一噪声信号N1与第二噪声信号N2之间的映射关系可能会随无人飞行器飞行状态的不同而不同,且无人飞行器在工作过程中的飞行状态是随时可能发生变化的,因此,为了提高噪声估计的准确性和适应性,在获取噪声估计模型时考虑无人飞行器的飞行状态将是有益的。
无人飞行器的飞行状态通常可由无人飞行器的一个或多个飞行参数来描述。因此,获取第一噪声信号与第二噪声信号之间的噪声估计模型可以包括:先确定无人飞行器的至少一个飞行参数,再获取与飞行参数对应的噪声估计模型。
本实施例的飞行参数至少可以包括:位置相关的参数、姿态相关的参数以及与无人飞行器自身相关的参数。在一些示例中,位置相关的参数至少包括:无人飞行器的位置坐标、经度、维度、高度、速度、加速度等。姿态相关的参数至少包括:航向角、俯仰角、横滚角、角速度、角加速度等。无人飞行器自身相关的参数至少包括:旋翼的转速、旋转方向、旋翼的材质、机身的材质、旋翼与机身的连接方式等。
与飞行参数对应的噪声估计模型可预先通过一标定过程得到。标定过程可以描述如下:首先获取计算模型,再利用计算模型标定噪声估计模型。
在一些示例中,利用计算模型标定噪声估计模型可以包括:
如图7所示,将无人飞行器设置于隔绝外部声音的隔绝环境中。在隔绝该环境中获取多组噪声信号,每组噪声信号包括:经第一传输路径传输至第一麦克风的无人飞行器的第三噪声信号、以及经第二传输路径传输至第二麦克风的无人飞行器的第四噪声信号。将第三噪声信号和第四噪声信号输入计算模型,得到噪声估计模型。在隔绝该环境中,可以模拟无人飞行器的各种飞行状态,例如,起飞、飞行、降落、悬停等,在这些状态下可调节无人飞行器的位置相关的参数、姿态相关的参数以及与无人飞行器自身相关的参数,以模拟在不同飞行状态下与不同飞行参数对应的噪声信号,以得到与不同飞行状态下的不同飞行参数对应的噪声估计模型。在一些示例中,所述计算模型可以包括神经网络模型、幅度映射模型。噪声估计模型可通过神经网络模型学习得到,或通过幅度映射模型拟合得到。本实施例能够得到与不同飞行状态下的不同飞行参数对应的噪声估计模型,从而提高了噪声估计的准确性和适应性。
得到估计的第一噪声信号后,即可对第一声音信号进行降噪处理,这可以包括:先获取第一降噪模型,再将第一声音信号以及根据第二噪声信号估计的第一噪声信号输入第一降噪模型,得到无人飞行器的有效声音信号。
本实施例中,可采用各种类型的第一降噪模型对第一声音信号进行降噪。在一些示例中,所述第一降噪模型可以是谱减法模型。谱减法模型的基本思路是,将时域的带噪信号和噪声信号均转换为频域信号,再将带噪频域信号减噪声频域信号,即可得到降噪信号。对于本实施例,可将第一声音信号看作带噪信号,将估计的第一噪声信号看作噪声信号,将第一声音信号和估计的第一噪声信号转换为频域信号,再将第一声音信号的频域信号减去估计的第一噪声信号的频域信号,即可去除第一声音信号中的第一噪声信号,得到有效声音信号。由于谱减法模型不需要预先对模型进行训练,且算法复杂度低,其不会占用过多的运算资源和存储资源,运算效率高,即使在运算资源和存储资源有限的条件下也可以实施,可有效提高声音采集的效率和适用性。
可针对经过降噪处理得到的有效声音信号进行进一步的处理,以进一步地提升声音采集质量。在一些示例中,本实施例还包括:获取第二降噪模型,将对第一声音信号进行降噪处理而得到的无人飞行器的有效声音信号输入第二降噪模型,得到进一步降噪后的无人飞行器的有效声音信号。也可以将第一声音信号和第二声音信号估计的第一噪声信号直接输入第二降噪模型,得到降噪后的无人飞行器的有效声音信号。
本实施例可采用各种类型的第二降噪模型。在一些示例中,所述第二降噪模型可以是神经网络模型。神经网络模型可以包括:卷积神经网络CNN、循环神经网络RNN、基于深度神经网络的隐含马尔科夫模型DNN-HMM等。神经网络模型的参数需要预先进行训练。在训练的过程中,可以将第一声音信号和第一声音信号中的第一噪声信号输入第二降噪模型,确定神经网络模型的参数。
本实施例采用是神经网络模型具有较强的降噪能力,尤其在低信噪比场景下能表现出更好的降噪性能,可进一步提高有效声音信号的质量。
以上以一个第一麦克风和一个第二麦克风为例,对本实施例的声音处理方法进行了描述。如前所述,本实施例还适用于多个第一麦克风和多个第二麦克风、一个第一麦克风和多个第二麦克风或者多个第一麦克风和第一第二麦克风。例如,当无人飞行器安装有多个第一麦克风和第一第二麦克风时,如图8所示,多个第一麦克风M1可呈阵列排布。在一些示例中,所述阵列排布可以包括:线阵列、曲线阵列、面阵列等形式。对于图8所示的场景,获取第一麦克风采集的第一声音信号可以包括:获取多个第一麦克风M1分别采集的多路声音信号,将多路声音信号合成为指向无人飞行器的有效声音信号方向的一路声音信号,将一路声音信号作为第一麦克风采集的第一声音信号,并基于该第一声音信号进行后续的噪声估计和降噪处理操作。通过设置阵列排布的多个第一麦克风M1,并采用信号合成的方式,可提高第一声音信号的指向性,第一麦克风阵列接收到的是高信噪比方向的第一声音信号,并且第一麦克风M1的数量越多,该效果就明显。因此可在噪声估计和降噪处理前就能得到较高信噪比的第一声音信号,可进一步提高噪声估计和降噪处理的效果,提升有效声音信号的质量。以上通过图8介绍了多个第一麦克风和第一第二麦克风的情况,对于多个第一麦克风和多个第二麦克风、一个第一麦克风和多个第二麦克风,本实施例的声音处理方法也是类似的,在此不再赘述。
本公开又一实施例还提供了一种声音处理装置,如图9所示,包括:
存储器,用于存储可执行指令;
处理器,用于执行存储器中存储的可执行指令,以执行如下操作:
获取所述第一声音采集装置采集的第一声音信号,所述第一声音信号包括经第一传输路径传输至所述第一声音采集装置的有效声音信号和所述无人飞行器的第一噪声信号;
获取所述第二声音采集装置采集的第二声音信号,所述第二声音信号包括经第二传输路径传输至所述第二声音采集装置的所述无人飞行器的第二噪声信号;
根据所述第二声音信号估计所述第一噪声信号,以对所述第一声音信号进行降噪处理。
本实施例的声音处理装置,处理器基本上可用于执行上述实施例的声音处理方法的所有操作。
在一些示例中,所述第一传输路径包括:空气传输路径;所述第二传输路径包括:振动传输路径。
在一些示例中,所述第一声音采集装置包括:第一麦克风;所述第一麦克风用于采集经所述第一传输路径传输的声音信号;所述第二声音采集装置包括:第二麦克风;所述第二麦克风用于采集经所述第二传输路径传输的声音信号。
在一些示例中,所述第二麦克风包括:用于形成所述第一传输路径的收声孔;所述收声孔被封闭以堵塞所述第一传输路径,使得所述无人飞行器的第二噪声信号经所述第二传输路径传输至所述第二麦克风。
在一些示例中,所述处理器还用于执行以下操作:获取所述第一噪声信号与所述第二噪声信号之间的噪声估计模型;根据所述噪声估计模型以及所述第二噪声信号估计所述第一噪声信号。所述噪声估计模型包括:传递函数。
在一些示例中,所述处理器还用于执行以下操作:确定所述无人飞行器的至少一个飞行参数;获取与所述飞行参数对应的噪声估计模型。
在一些示例中,所述噪声估计模型通过一标定过程得到。所述处理器还用于执行以下操作:获取计算模型;所述计算模型包括:神经网络模型和/或幅度映射模型;利用所述计算模型标定所述噪声估计模型。
在一些示例中,所述无人飞行器设置于隔绝外部声音的环境中;所述处理器还用于执行以下操作:在所述环境中获取多组噪声信号,每组所述噪声信号包括:经所述第一传输路径传输至所述第一声音采集装置的所述无人飞行器的第三噪声信号、以及经所述第二传输路径传输至所述第二声音采集装置的所述无人飞行器的第四噪声信号;将所述第三噪声信号和所述第四噪声信号输入所述计算模型,得到所述噪声估计模型。
在一些示例中,所述处理器还用于执行以下操作:获取第一降噪模型;将所述第一声音信号以及根据所述第二声音信号估计的第一噪声信号输入所述第一降噪模型,得到所述无人飞行器的有效声音信号。所述第一降噪模型包括:谱减法模型。所述谱减法模型的带噪信号和噪声信号分别为所述第一声音信号和根据所述第二声音信号估计的第一噪声信号。
在一些示例中,所述处理器还用于执行以下操作:获取第二降噪模型;将对所述第一声音信号进行降噪处理而得到的所述无人飞行器的有效声音信号、或者,将所述第一声音信号和所述第二声音信号估计的第一噪声信号输入所述第二降噪模型,得到降噪后的所述无人飞行器的有效声音信号。所述第二降噪模型包括:神经网络模型。
在一些示例中,所述第一声音采集装置的数量为一个或多个;和/或;所述第二声音采集装置的数量为一个或多个;其中,多个所述第一声音采集装置呈阵列排布。
在一些示例中,当所述第一声音采集装置的数量为多个时,所述处理器还用于执行以下操作:获取多个所述第一声音采集装置分别采集的多路声音信号;将所述多路声音信号合成为指向所述无人飞行器的有效声音信号方向的一路声音信号;将所述一路声音信号作为所述第一声音采集装置采集的所述第一声音信号。
在一些示例中,所述第一噪声信号和所述第二噪声信号是由所述无人飞行器产生的;和/或,所述有效声音信号是由所述无人飞行器所处环境的声源产生的。
在一些示例中,所述第一声音信号还包括:经第二传输路径传输至所述第一声音采集装置的无人飞行器的噪声信号;和/或,所述第二声音信号还包括:经第一传输路径传输至所述第二声音采集装置的无人飞行器的噪声信号和有效声音信号。
本公开实施例还提供了一种无人飞行器,如图10所示,无人飞行器包括:第一声音采集装置、第二声音采集装置、以及如上述实施例所述的声音处理装置。
本公开再一实施例还提供了一种计算机可读存储介质,其存储有可执行指令,所述可执行指令在由一个或多个处理器执行时,可以使所述一个或多个处理器执行上述实施例的声音处理方法。
计算机可读存储介质,例如可以是能够包含、存储、传送、传播或传输指令的任意介质。例如,可读存储介质可以包括但不限于电、磁、光、电磁、红外或半导体系统、装置、器件或传播介质。可读存储介质的具体示例包括:磁存储装置,如磁带或硬盘(HDD);光存储装置,如光盘(CD-ROM);存储器,如随机存取存储器(RAM)或闪存;和/或有线/无线通信链路。
另外,计算机程序可被配置为具有例如包括计算机程序模块的计算机程序代码。应当注意,模块的划分方式和个数并不是固定的,本领域技术人员可以根据实际情况使用合适的程序模块或程序模块组合,当这些程序模块组合被计算机(或处理器)执行时,使得计算机可以执行本公开所述所述的无人飞行器的仿真方法的流程及其变形。
本领域技术人员可以清楚地了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。上述描述的装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
最后应说明的是:以上各实施例仅用以说明本公开的技术方案,而非对其限制;尽管参照前述各实施例对本公开进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;在不冲突的情况下,本公开实施例中的特征可以任意组合;而这些修改或者替换,并不使相应技术方案的本质脱离本公开各实施例技术方案的范围。

Claims (38)

1.一种声音处理方法,其特征在于,用于无人飞行器,所述无人飞行器包括:第一声音采集装置和第二声音采集装置,所述方法包括:
获取所述第一声音采集装置采集的第一声音信号,所述第一声音信号包括经第一传输路径传输至所述第一声音采集装置的有效声音信号和所述无人飞行器的第一噪声信号;所述第一传输路径包括:空气传输路径;
获取所述第二声音采集装置采集的第二声音信号,所述第二声音信号包括经第二传输路径传输至所述第二声音采集装置的所述无人飞行器的第二噪声信号;所述第二传输路径包括:由所述第二声音采集装置的外壳形成的振动传输路径;
根据所述第二声音信号估计所述第一噪声信号,以对所述第一声音信号进行降噪处理。
2.如权利要求1所述的声音处理方法,其特征在于,
所述第一声音采集装置包括:第一麦克风;所述第一麦克风用于采集经所述第一传输路径传输的声音信号;
所述第二声音采集装置包括:第二麦克风;所述第二麦克风用于采集经所述第二传输路径传输的声音信号。
3.如权利要求2所述的声音处理方法,其特征在于,所述第二麦克风包括:用于形成所述第一传输路径的收声孔;所述收声孔被封闭以堵塞所述第一传输路径,使得所述无人飞行器的第二噪声信号经所述第二传输路径传输至所述第二麦克风。
4.如权利要求1所述的声音处理方法,其特征在于,所述根据所述第二声音信号估计所述第一噪声信号,包括:
获取所述第一噪声信号与所述第二噪声信号之间的噪声估计模型;
根据所述噪声估计模型以及所述第二噪声信号估计所述第一噪声信号。
5.如权利要求4所述的声音处理方法,其特征在于,所述噪声估计模型包括:传递函数。
6.如权利要求4或5所述的声音处理方法,其特征在于,所述获取所述第一噪声信号与所述第二噪声信号之间的噪声估计模型,包括:
确定所述无人飞行器的至少一个飞行参数;
获取与所述飞行参数对应的噪声估计模型。
7.如权利要求4或5所述的声音处理方法,其特征在于,所述噪声估计模型通过一标定过程得到。
8.如权利要求7所述的声音处理方法,其特征在于,所述标定过程包括:
获取计算模型;所述计算模型包括:神经网络模型和/或幅度映射模型;
利用所述计算模型标定所述噪声估计模型。
9.如权利要求8所述的声音处理方法,其特征在于,所述利用所述计算模型标定所述噪声估计模型,包括:
将所述无人飞行器设置于隔绝外部声音的环境中;
在所述环境中获取多组噪声信号,每组所述噪声信号包括:经所述第一传输路径传输至所述第一声音采集装置的所述无人飞行器的第三噪声信号、以及经所述第二传输路径传输至所述第二声音采集装置的所述无人飞行器的第四噪声信号;
将所述第三噪声信号和所述第四噪声信号输入所述计算模型,得到所述噪声估计模型。
10.如权利要求1所述的声音处理方法,其特征在于,所述对所述第一声音信号进行降噪处理,包括:
获取第一降噪模型;
将所述第一声音信号以及根据所述第二声音信号估计的第一噪声信号输入所述第一降噪模型,得到所述无人飞行器的有效声音信号。
11.如权利要求10所述的声音处理方法,其特征在于,所述第一降噪模型包括:谱减法模型。
12.如权利要求11所述的声音处理方法,其特征在于,所述谱减法模型的带噪信号和噪声信号分别为所述第一声音信号和根据所述第二声音信号估计的第一噪声信号。
13.如权利要求1所述的声音处理方法,其特征在于,还包括:
获取第二降噪模型;
将对所述第一声音信号进行降噪处理而得到的所述无人飞行器的有效声音信号、或者,将所述第一声音信号和所述第二声音信号估计的第一噪声信号输入所述第二降噪模型,得到降噪后的所述无人飞行器的有效声音信号。
14.如权利要求13所述的声音处理方法,其特征在于,所述第二降噪模型包括:神经网络模型。
15.如权利要求1所述的声音处理方法,其特征在于,
所述第一声音采集装置的数量为一个或多个;和/或;所述第二声音采集装置的数量为一个或多个;
其中,多个所述第一声音采集装置呈阵列排布。
16.如权利要求15所述的声音处理方法,其特征在于,当所述第一声音采集装置的数量为多个时,所述获取所述第一声音采集装置采集的第一声音信号,包括:
获取多个所述第一声音采集装置分别采集的多路声音信号;
将所述多路声音信号合成为指向所述无人飞行器的有效声音信号方向的一路声音信号;
将所述一路声音信号作为所述第一声音采集装置采集的所述第一声音信号。
17.如权利要求1所述的声音处理方法,其特征在于,
所述第一噪声信号和所述第二噪声信号是由所述无人飞行器产生的;和/或,
所述有效声音信号是由所述无人飞行器所处环境的声源产生的。
18.如权利要求1所述的声音处理方法,其特征在于,
所述第一声音信号还包括:经第二传输路径传输至所述第一声音采集装置的无人飞行器的噪声信号;和/或,
所述第二声音信号还包括:经第一传输路径传输至所述第二声音采集装置的无人飞行器的噪声信号和有效声音信号。
19.一种声音处理装置,其特征在于,包括;
存储器,用于存储可执行指令;
处理器,用于执行所述存储器中存储的所述可执行指令,以执行如下操作:
获取第一声音采集装置采集的第一声音信号,所述第一声音信号包括经第一传输路径传输至所述第一声音采集装置的有效声音信号和无人飞行器的第一噪声信号;所述第一传输路径包括:空气传输路径;
获取第二声音采集装置采集的第二声音信号,所述第二声音信号包括经第二传输路径传输至所述第二声音采集装置的所述无人飞行器的第二噪声信号;所述第二传输路径包括:由所述第二声音采集装置的外壳形成的振动传输路径;
根据所述第二声音信号估计所述第一噪声信号,以对所述第一声音信号进行降噪处理。
20.如权利要求19所述的声音处理装置,其特征在于,
所述第一声音采集装置包括:第一麦克风;所述第一麦克风用于采集经所述第一传输路径传输的声音信号;
所述第二声音采集装置包括:第二麦克风;所述第二麦克风用于采集经所述第二传输路径传输的声音信号。
21.如权利要求20所述的声音处理装置,其特征在于,所述第二麦克风包括:用于形成所述第一传输路径的收声孔;所述收声孔被封闭以堵塞所述第一传输路径,使得所述无人飞行器的第二噪声信号经所述第二传输路径传输至所述第二麦克风。
22.如权利要求19所述的声音处理装置,其特征在于,所述处理器还用于执行以下操作:
获取所述第一噪声信号与所述第二噪声信号之间的噪声估计模型;
根据所述噪声估计模型以及所述第二噪声信号估计所述第一噪声信号。
23.如权利要求22所述的声音处理装置,其特征在于,所述噪声估计模型包括:传递函数。
24.如权利要求22或23所述的声音处理装置,其特征在于,所述处理器还用于执行以下操作:
确定所述无人飞行器的至少一个飞行参数;
获取与所述飞行参数对应的噪声估计模型。
25.如权利要求22或23所述的声音处理装置,其特征在于,所述噪声估计模型通过一标定过程得到。
26.如权利要求25所述的声音处理装置,其特征在于,所述处理器还用于执行以下操作:
获取计算模型;所述计算模型包括:神经网络模型和/或幅度映射模型;
利用所述计算模型标定所述噪声估计模型。
27.如权利要求26所述的声音处理装置,其特征在于,
所述无人飞行器设置于隔绝外部声音的环境中;
所述处理器还用于执行以下操作:
在所述环境中获取多组噪声信号,每组所述噪声信号包括:经所述第一传输路径传输至所述第一声音采集装置的所述无人飞行器的第三噪声信号、以及经所述第二传输路径传输至所述第二声音采集装置的所述无人飞行器的第四噪声信号;
将所述第三噪声信号和所述第四噪声信号输入所述计算模型,得到所述噪声估计模型。
28.如权利要求19所述的声音处理装置,其特征在于,所述处理器还用于执行以下操作:
获取第一降噪模型;
将所述第一声音信号以及根据所述第二声音信号估计的第一噪声信号输入所述第一降噪模型,得到所述无人飞行器的有效声音信号。
29.如权利要求28所述的声音处理装置,其特征在于,所述第一降噪模型包括:谱减法模型。
30.如权利要求29所述的声音处理装置,其特征在于,所述谱减法模型的带噪信号和噪声信号分别为所述第一声音信号和根据所述第二声音信号估计的第一噪声信号。
31.如权利要求19所述的声音处理装置,其特征在于,所述处理器还用于执行以下操作:
获取第二降噪模型;
将对所述第一声音信号进行降噪处理而得到的所述无人飞行器的有效声音信号、或者,将所述第一声音信号和所述第二声音信号估计的第一噪声信号输入所述第二降噪模型,得到降噪后的所述无人飞行器的有效声音信号。
32.如权利要求31所述的声音处理装置,其特征在于,所述第二降噪模型包括:神经网络模型。
33.如权利要求19所述的声音处理装置,其特征在于,
所述第一声音采集装置的数量为一个或多个;和/或;所述第二声音采集装置的数量为一个或多个;
其中,多个所述第一声音采集装置呈阵列排布。
34.如权利要求33所述的声音处理装置,其特征在于,当所述第一声音采集装置的数量为多个时,所述处理器还用于执行以下操作:
获取多个所述第一声音采集装置分别采集的多路声音信号;
将所述多路声音信号合成为指向所述无人飞行器的有效声音信号方向的一路声音信号;
将所述一路声音信号作为所述第一声音采集装置采集的所述第一声音信号。
35.如权利要求19所述的声音处理装置,其特征在于,
所述第一噪声信号和所述第二噪声信号是由所述无人飞行器产生的;和/或,所述有效声音信号是由所述无人飞行器所处环境的声源产生的。
36.如权利要求19所述的声音处理装置,其特征在于,
所述第一声音信号还包括:经第二传输路径传输至所述第一声音采集装置的无人飞行器的噪声信号;和/或,
所述第二声音信号还包括:经第一传输路径传输至所述第二声音采集装置的无人飞行器的噪声信号和有效声音信号。
37.一种无人飞行器,其特征在于,包括:第一声音采集装置、第二声音采集装置、以及如权利要求19-36任一项所述的声音处理装置。
38.一种计算机可读存储介质,其特征在于,其存储有可执行指令,所述可执行指令在由一个或多个处理器执行时,可以使所述一个或多个处理器执行如权利要求1至18中任一项权利要求所述的声音处理方法。
CN202080006165.3A 2020-06-24 2020-06-24 声音处理方法、装置、无人飞行器和计算机可读存储介质 Active CN113168842B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2020/098097 WO2021258332A1 (zh) 2020-06-24 2020-06-24 声音处理方法、装置、无人飞行器和计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN113168842A CN113168842A (zh) 2021-07-23
CN113168842B true CN113168842B (zh) 2023-02-17

Family

ID=76879264

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080006165.3A Active CN113168842B (zh) 2020-06-24 2020-06-24 声音处理方法、装置、无人飞行器和计算机可读存储介质

Country Status (2)

Country Link
CN (1) CN113168842B (zh)
WO (1) WO2021258332A1 (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9415870B1 (en) * 2015-09-02 2016-08-16 Amazon Technologies, Inc. Unmanned aerial vehicle motor driving randomization and feedback for noise abatement
CN105899965A (zh) * 2014-08-29 2016-08-24 深圳市大疆创新科技有限公司 用于采集音频数据的无人飞行器
CN109131854A (zh) * 2017-06-28 2019-01-04 重庆邮电大学 低噪声无人机及其降噪控制方法
CN109754815A (zh) * 2017-11-08 2019-05-14 英特尔公司 用于无人机音频降噪的系统、装置和方法
CN208872414U (zh) * 2018-09-29 2019-05-17 湖南三和智胜电子科技有限公司 声音定向及振动识别一体式传感器

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9984672B2 (en) * 2016-09-15 2018-05-29 Gopro, Inc. Noise cancellation for aerial vehicle

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105899965A (zh) * 2014-08-29 2016-08-24 深圳市大疆创新科技有限公司 用于采集音频数据的无人飞行器
US9415870B1 (en) * 2015-09-02 2016-08-16 Amazon Technologies, Inc. Unmanned aerial vehicle motor driving randomization and feedback for noise abatement
CN109131854A (zh) * 2017-06-28 2019-01-04 重庆邮电大学 低噪声无人机及其降噪控制方法
CN109754815A (zh) * 2017-11-08 2019-05-14 英特尔公司 用于无人机音频降噪的系统、装置和方法
CN208872414U (zh) * 2018-09-29 2019-05-17 湖南三和智胜电子科技有限公司 声音定向及振动识别一体式传感器

Also Published As

Publication number Publication date
CN113168842A (zh) 2021-07-23
WO2021258332A1 (zh) 2021-12-30

Similar Documents

Publication Publication Date Title
US20210163132A1 (en) Unmanned aerial vehicle (uav) for collecting audio data
US11386910B2 (en) Systems and methods for active noise cancellation for interior of autonomous vehicle
US10692481B2 (en) Systems, apparatus, and methods for drone audio noise reduction
CN107564539B (zh) 面向麦克风阵列的声学回声消除方法及装置
CN106575499A (zh) 用于噪声衰减的麦克风布置的系统和方法
CN113281706A (zh) 一种目标定位方法、装置及计算机可读存储介质
CN113168842B (zh) 声音处理方法、装置、无人飞行器和计算机可读存储介质
WO2021217431A1 (zh) 降低噪声的方法、状态确定方法和电子设备
US11653170B2 (en) In-ear speaker
US20230366697A1 (en) Sound source modeling of drones and the synthesis in indoor environments towards acoustics-based indoor localization
Yen et al. Source enhancement for unmanned aerial vehicle recording using multi-sensory information
WO2016108166A1 (en) Apparatus, system and method of controlling noise within a noise-controlled volume
US11227587B2 (en) Method, apparatus, and computer-readable storage medium for adaptive null-voice cancellation
WO2020137181A1 (ja) 情報処理装置、情報処理方法及びプログラム
CN112492438B (zh) 机舱内反馈式主动降噪耳机主动降噪方法
WO2023223900A1 (ja) 情報処理装置、移動体、情報処理方法、及び非一時的なコンピュータ読取可能な媒体
WO2023050253A1 (zh) 一种噪声控制的方法和装置
CN220653525U (zh) 兼备测试功能的耳机充电舱及音频组件
US20230052886A1 (en) Feedforward Control of an Enclosed Space with Multiple Incoherent Excitations
Nakamura et al. Acoustic Design Support System of Compact Enclosure for Smartphone Using Deep Neural Network
CN115389186A (zh) 异常分析方法、装置、终端和存储介质
CN117037763A (zh) 主动降噪控制方法及电子设备和存储介质
CN116811732A (zh) 故障提示方法、装置、设备、存储介质以及车辆
CN114333879A (zh) 一种多通道主动噪声控制方法、系统、终端及存储介质
CN114885250A (zh) 一种hrtf测量方法、装置、设备、及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant