CN111856402B - 信号处理方法及装置、存储介质、电子装置 - Google Patents

信号处理方法及装置、存储介质、电子装置 Download PDF

Info

Publication number
CN111856402B
CN111856402B CN202010718618.7A CN202010718618A CN111856402B CN 111856402 B CN111856402 B CN 111856402B CN 202010718618 A CN202010718618 A CN 202010718618A CN 111856402 B CN111856402 B CN 111856402B
Authority
CN
China
Prior art keywords
microphones
signal
pair
sound source
arrival
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010718618.7A
Other languages
English (en)
Other versions
CN111856402A (zh
Inventor
马路
赵培
苏腾荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Haier Uplus Intelligent Technology Beijing Co Ltd
Original Assignee
Haier Uplus Intelligent Technology Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Haier Uplus Intelligent Technology Beijing Co Ltd filed Critical Haier Uplus Intelligent Technology Beijing Co Ltd
Priority to CN202010718618.7A priority Critical patent/CN111856402B/zh
Publication of CN111856402A publication Critical patent/CN111856402A/zh
Application granted granted Critical
Publication of CN111856402B publication Critical patent/CN111856402B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/18—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using ultrasonic, sonic, or infrasonic waves
    • G01S5/22—Position of source determined by co-ordinating a plurality of position lines defined by path-difference measurements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/80—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)

Abstract

本发明提供了一种信号处理方法及装置、存储介质、电子装置，其中所述方法包括获取多个麦克风中每个麦克风接收到的语音信号，其中，所述多个麦克风组成麦克风阵列；根据所述多个麦克风中每一对麦克风接收的语音信号确定多个波达方向，其中每一对麦克风对应一个波达方向；根据所述多个波达方向从所述多个麦克风中确定出一对麦克风；对所述确定出的一对麦克风接收到的语音信号进行信号处理，得到目标语音信号。通过本发明，解决了多个麦克风进行语音信号处理时运算和硬件复杂度高的问题，进而达到了降低硬件难度和复杂度以及降低计算复杂度进而可以获得较低的计算时延效果。

Description

信号处理方法及装置、存储介质、电子装置
技术领域
本发明涉及信号处理领域，具体而言，涉及一种信号处理方法及装置、存储介质、电子装置。
背景技术
语音信号处理是人机交互领域的一项关键技术，采用多个麦克风组成的麦克风阵列可以利用空间域信息，可以更好地增强语音信号，对后端的语音识别具有极其重要的作用，是语音信号处理的关键技术。
在进行语音信号处理时，对麦克风阵列接收的多通道输入信号进行矩阵运算等复杂运算，一方面运算杂度会随着麦克风数量指数增长，从而使运算时间也随之增大。另一方面，要同时利用多个麦克风，必须在硬件上保证麦克风和数据采集电路的一致性，从而增加了系统的硬件实现难度和复杂度。
针对相关技术中多个麦克风进行语音信号处理时运算和硬件的复杂度高的问题，目前尚未存在有效的解决方案。
发明内容
本发明实施例提供了一种信号处理方法及装置、存储介质、电子装置，以至少解决相关技术中多个麦克风进行语音信号处理时运算和硬件的复杂度高的问题。
根据本发明的一个实施例，提供了一种信号处理方法，包括：获取多个麦克风中每个麦克风接收到的语音信号，其中，所述多个麦克风组成麦克风阵列；根据所述多个麦克风中每一对麦克风接收的语音信号确定多个波达方向，其中每一对麦克风对应一个波达方向；根据所述多个波达方向得到目标声源方向，根据所述目标声源方向从所述多个麦克风中确定出一对麦克风；对所述确定出的一对麦克风接收到的语音信号进行信号处理，得到目标语音信号。
可选地，根据所述多个波达方向得到目标声源方向，根据所述目标声源方向从所述多个麦克风中确定出一对麦克风，包括：在所述多对麦克风中确定出波达方向满足目标条件的所述一对麦克风，其中，在所述多对麦克风中，所述一对麦克风对应的波达方向与所述一对麦克风所在位置的连线所形成的角度与90度之间的差值最小。
可选地，根据所述多个麦克风中每一对麦克风接收的语音信号确定多个波达方向，包括：根据所述多个麦克风中每一对麦克风接收的语音信号判断语音信号的实际位置和镜像位置；其中，所述实际位置是通过波达方向计算得到的声源位置，所述镜像位置是所述实际位置的镜像位置；
根据所述实际位置和所述镜像位置，通过打点投票确定波达方向所在位置区域，其中，所述波达方向所在位置区域是通过打点投票得到的票数最多的位置区域。
可选地，根据所述多个麦克风中每一对麦克风接收的语音信号确定多个波达方向，还包括：
获取多个角度情况下所述语音信号中的有用信号和干扰信号的信号数量，其中，所述角度通过麦克风位置得到的多个声源方向，所述多个声源方向包括目标声源方向和干扰声源方向；根据每个角度情况下统计得到的信号数量，确定声源信号方向，其中，所述声源信号方向为所述有用信号数量最多的方向。
可选地，根据所述确定出的一对麦克风接收到的语音信号进行信号处理，得到目标语音信号，还包括：采用计数的方式，对连续多帧得到的定位结果进行计数，所述定位结果为计数结果最多的方向。
可选地，根据所述确定出的一对麦克风接收到的语音信号进行信号处理，得到目标语音信号，包括：通过所述确定出的一对麦克风接收到的两路信号确定信号相位差；根据所述信号相位差获得所述有用信号和所述干扰信号的信号功率，其中，所述有用信号是在所述信号相位差小于门限时的语音信号，所述干扰信号是在所述信号相位差大于门限时的语音信号，所述门限根据统计得到的所述目标声源方向和所述干扰声源方向的数量确定；根据所述信号功率，确定目标声源所在方位上的声音信号信噪比，其中，所述声音信号信噪比通过所述声音信号中有用信号和干扰信号的信号功率确定；按照所述声音信号信噪比，进行信号处理。
根据本发明的另一个实施例，提供了一种信号处理方装置，包括：获取模块，用于获取多个麦克风中每个麦克风接收到的语音信号，其中，所述多个麦克风组成麦克风阵列；第一确定模块，用于根据所述多个麦克风中每一对麦克风接收的语音信号确定多个波达方向，其中每一对麦克风对应一个波达方向；第二确定模块，用于根据所述多个波达方向得到目标声源方向，根据所述目标声源方向从所述多个麦克风中确定出一对麦克风；处理模块，用于对所述确定出的一对麦克风进行语音信号处理，得到目标语音信号。
根据本发明的又一个实施例，还提供了一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
根据本发明的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。
通过本发明，由于每次都选择声源波达方向最优的一对麦克风，无论声源位于什么方位，都可以达到最优的运算处理结果。因此，可以解决多个麦克风进行语音信号处理时运算和硬件的复杂度高的问题，达到降低硬件难度和复杂度以及降低计算复杂度进而可以获得较低的计算时延的效果。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是本发明实施例的一种数据连接的方法的移动终端的硬件结构框图；
图2是根据本发明实施例的信号处理方法的流程图；
图3是根据本发明实施例的信号处理装置的结构框图；
图4(a)-图4(c)是根据本发明实施例声源到达角度打点投票原理的示意图；
图5是根据本发明可选实施例的信号和干扰能量计算的流程图；
图6是根据本发明可选实施例的最优导引方向选择的结构示意图；
图7是根据本发明可选实施例的方向投票示意图；
图8是根据本发明可选实施例的麦克风阵列处理流程图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
实施例1
本申请实施例一所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例，图1是本发明实施例的一种信号处理方法的移动终端的硬件结构框图。如图1所示，移动终端10可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104，可选地，上述移动终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述移动终端的结构造成限定。例如，移动终端10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的信号处理方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至移动终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端10的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。
在本实施例中提供了一种运行于上述移动终端的信号处理方法，图2是根据本发明实施例的信号处理的流程图，如图2所示，该流程包括如下步骤：
步骤S202，获取多个麦克风中每个麦克风接收到的语音信号，其中，所述多个麦克风组成麦克风阵列；
步骤S204，根据所述多个麦克风中每一对麦克风接收的语音信号确定多个波达方向，其中每一对麦克风对应一个波达方向；
步骤S206，根据所述多个波达方向得到目标声源方向，根据所述目标声源方向从所述多个麦克风中确定出一对麦克风；
步骤S208，根据所述确定出的一对麦克风接收到的语音信号进行信号处理，得到目标语音信号。
具体实施上述步骤时，每个麦克风接收到的语音信号首先经过单通道的回声消除处理，再将多个麦克风进行分组两两组阵，并根据每对麦克组成的阵列测量得到的声源方向消除方向模糊，根据多对阵列消除模糊后的定位结果统计得到声源波达方向，利用多对麦克风声源波达方向计算得到目标声源方向，进而根据目标声源方向计算声源相对于每一对麦克阵列的波达方向，选择声源波达方向的角度最好的一对麦克风，并对这一对麦克做波束形成。在硬件方面，只要保证每对麦克风具有硬件一致性即可，不用保证所有麦克风之间的一致性，所以降低了硬件难度和复杂度。
通过上述步骤，由于每次都选择声源波达方向最优的一对麦克风，无论声源位于什么方位，都可以达到最优的运算处理结果。因此，可以解决多个麦克风进行语音信号处理时运算和硬件的复杂度高的问题，达到降低硬件难度和复杂度以及降低计算复杂度进而可以获得较低的计算时延的效果。
为了选出一对麦克风并消除方向模糊，根据所述多个波达方向从所述多个麦克风中确定出一对麦克风，包括：在所述多对麦克风中确定出波达方向满足目标条件的所述一对麦克风，其中，在所述多对麦克风中，所述一对麦克风对应的波达方向与所述一对麦克风所在位置的连线所形成的角度与90度之间的差值最小。
具体实施时，如图4(a)-图4(c)所示，第一步：每对麦克阵列计算声源的波达方向。假定由3对共6个麦克风：麦克1与麦克2是一对(记为阵列12)，麦克3与麦克4是一对(记为阵列34)，麦克5与麦克6是一对(记为阵列56)。假定，目标声源位于图中圆圈所在范围内，则阵列12计算得到波达方向位于e点，但是由于角度模糊会同时得到一个镜像角度阵列34计算得到波达方向位于o点，同时镜像位于/>点；阵列56计算得到波达方向位于a点，同时镜像位于/>点。第二步：根据第一步得到的波达方向，通过打点投票的方式选择得票最多的波达方向区域(如图4中圆圈所示区域)，从而消除波达方向模糊，进而综合圆圈中所有麦克风双麦定位结果通过聚类等方法计算得到目标声源方向。第三步，根据第二步得到的目标声源方向，得到3对双麦阵列相对于目标声源方向的波达方向：阵列12的波达方向为50度，阵列34的波达方向为85度，阵列56的波达方向为40度，比较得到阵列34得到的角度最接近90度，因此选择阵列34作波束形成。
具体实施时，根据所述多个麦克风中每一对麦克风接收的语音信号确定多个波达方向，包括：根据所述多个麦克风中每一对麦克风接收的语音信号判断语音信号的实际位置和镜像位置；其中，所述实际位置是通过波达方向计算得到的声源位置，所述镜像位置是所述实际位置的镜像位置；根据所述实际位置和所述镜像位置，通过打点投票确定波达方向所在位置区域，其中，所述波达方向所在位置区域是通过打点投票得到的票数最多的位置区域。根据多对麦克风定位结果，统计得到最终声源位置。
可选地，在采用波束形成算法中的最大信噪比准则时，若要得到最佳加权矢量，必须知道信号的自相关函数和干扰加噪声的互相关函数。然而，实际麦克风接收到的信号是有用信号与干扰加噪声的混合信号，因此必须计算出信号与干扰加噪声的功率比。对于宽带的语音信号来说，即是计算每个频点中语音和干扰加噪声的功率比。根据所述确定出的一对麦克风接收到的语音信号进行信号处理，得到目标语音信号，包括：通过所述确定出的一对麦克风中的接收到的两路信号确定信号相位差；根据所述信号相位差，分别获得所述有用信号和所述干扰信号的信号功率，其中，所述有用信号是在所述信号相位差小于门限时的语音信号，所述干扰信号是在所述信号相位差大于门限时的语音信号；根据所述信号功率，确定目标声源所在方位上的声音信号信噪比；按照所述声音信号信噪比，进行信号处理，其中，所述声音信号信噪比通过所述声音信号中有用信号和干扰信号的信号功率确定。所述门限根据统计得到的所述目标声源方向和所述干扰声源方向的数量确定。
在具体实施时，通过声源定位得到目标声源方向，选择双麦阵列法线方向相对于目标声源最接近的一对麦克风进行波束形成，根据目标声源方向对选择出的这对麦克风进行相位补偿，通过计算阵元间相位差的方法计算信号和干扰加噪声的功率，其原理如图5所示，具体计算步骤如下：将两路麦克风接收信号变换到频域；针对频域中每一个频点计算两路频域复信号之间的互相关；计算出两路信号之间的相位差；计算相位差的余弦值并与门限比较，小于门限为有用信号，大于门限为干扰信号，如此统计一帧信号中有用信号数量和干扰信号数量，进而得到两种信号的能量。利用诸如最大信噪比准则计算得到波束形成矢量。
上述声源方向是采用声源定位算法计算得到。实际使用中也可以设置多个预定方向，从中选择最优的方向作为目标声源方向。如图6所示为预设的5个声源方向。由于语音信号可能来自预设的各个方向，所以应该将波束依次旋转一定角度，之后再按照上述计算方法得到有用信号和干扰信号的比例。所以，可选地，所述信号处理还包括：获取多个角度情况下所述语音信号中的有用信号和所述干扰信号的信号数量，其中，所述角度通过麦克风位置得到的多个声源方向，所述多个声源方向包括目标声源方向和干扰声源方向。即通过上述方式计算每种角度情况下的有用信号数量，取有用信号数量最多的方向为声源方向。
具体实施时，根据每个角度情况下统计得到的信号数量，确定声源信号方向的同时判定其他方向的干扰程度，其中，所述声源信号方向为所述有用信号数量最多的方向，从而得到方向导引矢量。
进一步，每次通过所述方法计算多个声源方向之后，还可以通过联合连续多帧的声源方向通过投票方法得到稳定的声源定位结果。其原理如图7所示。根据所述确定出的一对麦克风接收到的语音信号进行信号处理，得到目标语音信号，还包括：采用计数的方式，对连续多帧得到的定位结果进行计数，所述定位结果为计数结果最多方向。
具体实施时，将当前时刻k计算得到的声源方向送入堆栈，与前面多k-1个时刻，共5个时刻的最优声源方向一起做投票，选择方向数量最多的方向为本次计算的最优声源方向。根据投票得到的最优声源方向，从刚才计算的5个方向中计算得到最优声源方向。比如，本次计算的最优声源方向为0度，但前4个时刻最优声源方向依次为-30度、-30度、+30度、-60度，与本次计算结果一起投票结果为-30度，则本次声源方向应该为-30度，并且根据-30度声源方向得到的信号和干扰功率进行波束形成矢量的计算。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
实施例2
在本实施例中还提供了一种信号处理装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图3是根据本发明实施例的信号处理装置的结构框图，如图3所示，该装置包括
获取模块30，用于获取多个麦克风中每个麦克风接收到的语音信号，其中，所述多个麦克风组成麦克风阵列；
第一确定模块32，用于根据所述多个麦克风中每一对麦克风接收的语音信号确定多个波达方向，其中每一对麦克风对应一个波达方向；
第二确定模块34，用于根据所述多个波达方向计算得到目标声源方向，进而根据目标声源方向从所述多个麦克风中确定出一对麦克风；
处理模块36，用于对所述确定出的一对麦克风进行语音信号处理，得到目标语音信号。
在上述模块中，每个麦克风接收到的语音信号首先经过单通道的回声消除处理，再将多个麦克风进行分组两两组阵，并根据每对两麦克组成的阵列测量得到的声源方向消除方向模糊，得到声源波达方向，利用多对麦克风声源波达方向计算得到目标声源方向，进而根据目标声源方向计算声源相对于每一对麦克阵列的波达方向，选择声源波达方向角度最好的一对麦克风，并对这一对麦克做波束形成。
通过上述模块，由于每次都选择声源波达方向最优的一对麦克风，无论声源位于什么方位，都可以达到最优的运算处理结果。因此，可以解决多个麦克风进行语音信号处理时运算和硬件的复杂度高的问题，达到降低硬件难度和复杂度以及降低计算复杂度进而可以获得较低的计算时延的效果。因此无论声源位于什么方位，都可以达到最优的计算结果，同时降低了计算复杂度和硬件复杂度。
需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。
为了更好的理解上述信号处理方法的处理流程，以下结合优选实施例对上述技术方案进行解释说明，但不用于限定本发明实施例的技术方案。
本发明优选实施例中是在智能家居人机交互的实际应用中，考虑到多数家具都是靠墙摆放，人机交互的范围都是半球。因此，采用两麦克线阵在绝大多数情况下可以满足交互需求。所以针对多麦克风阵列进行优化，降低系统硬件复杂度和计算复杂度，提高系统稳定性。
图8为根据本发明优选实施例的信号处理示意图，如图8所示，包括以下信号处理流程：
为了降低多通道信号处理的硬件难度和复杂度，降低软件计算复杂度和耗时，基于声源到达角度打点投票方法的麦克风阵列信号处理流程，从多对两麦克阵列中选择阵列方位最好的一对做波束形成。
每个麦克风接收信号首先经过单通道的回声消除模块，之后经过声源定位模块，利用每对两麦克阵列计算声源相对于该两麦克阵列的到达方向，之后利用多对麦克阵列计算得到的声源方向进行打点投票，消除方向模糊，根据多对阵列消除模糊后的定位结果统计得到声源波达方向；最后，选择阵列法线方向最接近声源波达方向的那对双麦阵列做波束形成。由于每次都选择定位结果最好的那对麦克风阵列，因此无论声源位于什么方位，都可以达到最优的计算结果。
根据选择出的一对麦克风阵列，在本发明的实施例中的波束形成算法为最大信噪比准则算法。其描述如下：
将第k时刻的阵元接收信号xnk(n＝0,1,…,N-1)表示为矢量，则有：
式(1)中，ak为各阵元接收目标信号复包络的样本ank；s(θ)为目标信号导向矢量，它包含了阵元接收目标信号的方向信息，且与时间无关，aks(θ)为目标信号矢量；vk为零均值平稳的加性外部干扰加内部噪声矢量。阵元信号矢量xk的自相关矩阵为：
式(2)中，为接收信号矢量xk的共轭转置；sH(θ)为目标信号导向矢量s(θ)的共轭转置；目标信号矢量的自相关矩阵为/>且有/>vk为干扰加噪声矢量vk的共轭转置，/>为干扰加噪声矢量的协方差矩阵；目标信号矢量aks(θ)与干扰噪声矢量v互不相关。
如果加权矢量为：
wk＝[w0k w1k … w(N-1)k]T (3)
则基于最大信噪比准则的波束形成算法的最优加权矢量计算公式如下：
Rswk,opt＝λmaxRvwk,opt (4)
式(4)中，λmax为自相关矩阵Rx对(Rs,Rv)的最大广义特征值，wk,opt为最优加权矢量。
由公式(4)可知，若要得到最佳加权矢量，必须知道信号的自相关函数和干扰加噪声的互相关函数。然而，实际麦克风接收到的信号是有用信号与干扰加噪声的混合信号，因此必须计算出信号与干扰加噪声的功率比。对于宽带的语音信号来说，即是计算每个频点，语音和干扰加噪声的功率比。
根据声源定位算法或者预设角度判断结果得到目标方向导引矢量为：
式(6)中，v为方向导引矢量；f表示语音信号的频率；d表示麦克风间距，θ表示所要旋转的角度值；c表示声音速度。将该方向导引矢量乘以双麦阵列接收信号矢量，完成对每个频点的相位补偿。之后计算两个麦克风接收信号之间的相位差，取余弦值之后与门限进行比较。
此处门限为波束宽度，即：设定一个有效波束宽度(假定为60度)，相位差落入波束宽度内的即为有用信号，落在波束宽度之外的为干扰加噪声信号。有用信号和干扰功率分别为：
其中，和/>分别表示麦克风接收信号矢量和对应的共轭，k对应第k个频点，Gs和Gv分别是信号和干扰的辅助变量，/>和/>分别是信号和干扰的能量，K表示频点数量，{S}和{V}表示该帧语音中分别有属于用信号和干扰信号的频点集合，si(k)和sj(k)分别表示两个麦克风接收信号的频域表示，取不同通道能量是为了去相关。
对于声源定位后选中的一对麦克风，通过计算互相关得到两通道的相位差，对于每一个频点，若该频点对应的相位差在波束范围内，则将该频点对应的能量为有用信号能量，反之为干扰，将所有频点中属于有用信号的频点能量累加之后作为该帧的有用信号能量，将所有频点中属于干扰信号的频点能量累加之后作为该帧的干扰信号能量，将两种能量带入公式(5)和公式(4)进行最大信噪比波束形成。将公式(5)带入表达式(4)，通过广义特征值分解即可得到最优加权矢量。
所以，最优加权矢量由两部分组成：由公式(6)计算得到的方向矢量[v1 v2]和由公式(4)计算得到的特征矢量[w1 w2]；最终加权矢量为：[v1w1 v2w2]。
本发明的实施例还提供了一种存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：
S1，获取多个麦克风中每个麦克风接收到的语音信号，其中，所述多个麦克风组成麦克风阵列；
S2，根据所述多个麦克风中每一对麦克风接收的语音信号确定多个波达方向，其中每一对麦克风对应一个波达方向；
S3，根据所述多个波达方向消除镜像，计算得到目标声源方向，根据目标声源方向从所述多个麦克风中确定出一对麦克风；
S4，对所述确定出的一对麦克风接收到的语音信号进行信号处理，得到目标语音信号。
可选地，存储介质还被设置为存储用于执行以下步骤的计算机程序：
S1，在所述多对麦克风中选择出麦克风阵列法线方向与目标声源方向最接近的一对麦克风做波束形成，即：所述一对麦克风对应的波达方向与所述一对麦克风所在位置的连线所形成的角度与90度之间的差值最小。
可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
S1，获取多个麦克风中每个麦克风接收到的语音信号，其中，所述多个麦克风组成麦克风阵列；
S2，根据所述多个麦克风中每一对麦克风接收的语音信号确定多个波达方向，其中每一对麦克风对应一个波达方向；
S3，根据所述多个波达方向消除镜像，计算得到目标声源方向，根据目标声源方向从所述多个麦克风中确定出一对麦克风；
S4，对所述确定出的一对麦克风接收到的语音信号进行信号处理，得到目标语音信号。
可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种信号处理方法，其特征在于，包括：
获取多个麦克风中每个麦克风接收到的语音信号，其中，所述多个麦克风组成麦克风阵列；
根据所述多个麦克风中每一对麦克风接收的语音信号确定多个波达方向，包括：根据所述多个麦克风中每一对麦克风接收的语音信号判断语音信号的实际位置和镜像位置；根据所述实际位置和所述镜像位置，通过打点投票确定波达方向所在位置区域；其中，每一对麦克风对应一个波达方向，所述实际位置是通过波达方向计算得到的声源位置，所述镜像位置是所述实际位置的镜像位置，所述波达方向所在位置区域是通过打点投票得到的票数最多的位置区域；
根据所述多个波达方向得到目标声源方向，根据所述目标声源方向从所述多个麦克风中确定出一对麦克风；对所述确定出的一对麦克风接收到的语音信号进行信号处理，得到目标语音信号；
所述对所述确定出的一对麦克风接收到的语音信号进行信号处理包括：根据确定出的一对麦克风，采用波束形成算法中的最大信噪比准则得到最优加权矢量，其中，所述最优加权矢量通过如下公式获取：Rswk,opt＝λmaxRvwk,opt，λmax为自相关矩阵Rx对(Rs，Rv)的最大广义特征值，wk,opt为最优加权矢量，Rs为有用信号功率，通过如下公式获取：
Rv为干扰功率，通过如下公式获取：
为麦克风接收到的信号矢量，/>为与所述信号矢量对应的共轭，k为第k个频点，Gs为信号的辅助变量，Gv为干扰的辅助变量，/>为信号的能量，/>为干扰的能量，K为频点数量，{S}为有用信号的频点集合，{V}为干扰信号的频点集合，Si(k)和Sj(k)分别为两个麦克风接收信号的频域表示。
2.根据权利要求1所述的方法，其特征在于，根据所述多个波达方向得到目标声源方向，根据所述目标声源方向从所述多个麦克风中确定出一对麦克风，包括：
在所述多个麦克风中确定出波达方向满足目标条件的所述一对麦克风，其中，在所述多个麦克风中，所述一对麦克风对应的波达方向与所述一对麦克风所在位置的连线所形成的角度与90度之间的差值最小。
3.根据权利要求1所述的方法，其特征在于，根据所述多个麦克风中每一对麦克风接收的语音信号确定多个波达方向，还包括：
获取多个角度情况下所述语音信号中的有用信号和干扰信号的信号数量，其中，所述角度通过麦克风位置得到的多个声源方向，所述多个声源方向包括目标声源方向和干扰声源方向；
根据每个角度情况下统计得到的信号数量，确定声源信号方向，其中，所述声源信号方向为所述有用信号数量最多的方向。
4.根据权利要求3所述的方法，其特征在于，根据所述确定出的一对麦克风接收到的语音信号进行信号处理，得到目标语音信号，还包括：
采用计数的方式，对连续多帧得到的定位结果进行计数，所述定位结果为计数结果最多的方向。
5.根据权利要求1所述的方法，其特征在于，根据所述确定出的一对麦克风接收到的语音信号进行信号处理，得到目标语音信号，包括：
通过所述确定出的一对麦克风接收到的两路信号确定信号相位差；
根据所述信号相位差获得有用信号和干扰信号的信号功率，其中，所述有用信号是在所述信号相位差小于门限时的语音信号，所述干扰信号是在所述信号相位差大于门限时的语音信号，所述门限根据统计得到的所述目标声源方向和干扰声源方向的数量确定；
根据所述信号功率，确定目标声源所在方位上的声音信号信噪比，其中，所述声音信号信噪比通过所述声音信号中有用信号和干扰信号的信号功率确定；
按照所述声音信号信噪比，进行信号处理。
6.一种信号处理装置，其特征在于，包括：
获取模块，用于获取多个麦克风中每个麦克风接收到的语音信号，其中，所述多个麦克风组成麦克风阵列；
第一确定模块，用于根据所述多个麦克风中每一对麦克风接收的语音信号确定多个波达方向，包括：根据所述多个麦克风中每一对麦克风接收的语音信号判断语音信号的实际位置和镜像位置；根据所述实际位置和所述镜像位置，通过打点投票确定波达方向所在位置区域；其中，每一对麦克风对应一个波达方向，所述实际位置是通过波达方向计算得到的声源位置，所述镜像位置是所述实际位置的镜像位置，所述波达方向所在位置区域是通过打点投票得到的票数最多的位置区域；
第二确定模块，用于根据所述多个波达方向得到目标声源方向，根据所述目标声源方向从所述多个麦克风中确定出一对麦克风；
处理模块，用于对所述确定出的一对麦克风进行语音信号处理，得到目标语音信号；
所述对所述确定出的一对麦克风进行语音信号处理包括：根据确定出的一对麦克风，采用波束形成算法中的最大信噪比准则得到最优加权矢量，其中，所述最优加权矢量通过如下公式获取：Rswk,opt＝λmaxRvwk,opt，λmax为自相关矩阵Rx对(Rs，Rv)的最大广义特征值，wk,opt为最优加权矢量，Rs为有用信号功率，通过如下公式获取：
Rv为干扰功率，通过如下公式获取：
为麦克风接收到的信号矢量，/>为与所述信号矢量对应的共轭，k为第k个频点，Gs为信号的辅助变量，Gv为干扰的辅助变量，/>为信号的能量，/>为干扰的能量，K为频点数量，{S}为有用信号的频点集合，{V}为干扰信号的频点集合，Si(k)和Sj(k)分别为两个麦克风接收信号的频域表示。
7.一种存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述权利要求1至5任一项中所述的方法。
8.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行所述权利要求1至5任一项中所述的方法。
CN202010718618.7A 2020-07-23 2020-07-23 信号处理方法及装置、存储介质、电子装置 Active CN111856402B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010718618.7A CN111856402B (zh) 2020-07-23 2020-07-23 信号处理方法及装置、存储介质、电子装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010718618.7A CN111856402B (zh) 2020-07-23 2020-07-23 信号处理方法及装置、存储介质、电子装置

Publications (2)

Publication Number Publication Date
CN111856402A CN111856402A (zh) 2020-10-30
CN111856402B true CN111856402B (zh) 2023-08-18

Family

ID=72950594

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010718618.7A Active CN111856402B (zh) 2020-07-23 2020-07-23 信号处理方法及装置、存储介质、电子装置

Country Status (1)

Country Link
CN (1) CN111856402B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112558004B (zh) * 2021-02-22 2021-05-28 北京远鉴信息技术有限公司 一种波束信息波达方向的确定方法、装置、及存储介质
FR3121260A1 (fr) * 2021-03-23 2022-09-30 Sagemcom Broadband Sas Procédé de sélection dynamique de microphones
CN113284505A (zh) * 2021-04-21 2021-08-20 瑞芯微电子股份有限公司 一种自适应波束形成方法和存储设备
CN113744752A (zh) * 2021-08-30 2021-12-03 西安声必捷信息科技有限公司 语音处理方法及装置

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1276251A1 (en) * 2001-07-11 2003-01-15 Sony International (Europe) GmbH Method for calculating a weighting vector for an antenna array
CN1837846A (zh) * 2005-03-23 2006-09-27 株式会社东芝 用于处理声音信号的装置和方法
CN101201399A (zh) * 2007-12-18 2008-06-18 北京中星微电子有限公司 一种声源定位方法及系统
CN103076593A (zh) * 2012-12-28 2013-05-01 中国科学院声学研究所 一种声源定位方法及装置
CN103181192A (zh) * 2010-10-25 2013-06-26 高通股份有限公司 利用多麦克风的三维声音捕获和再现
CN104754446A (zh) * 2013-12-31 2015-07-01 展讯通信（上海）有限公司 一种麦克风控制方法和装置
CN106872944A (zh) * 2017-02-27 2017-06-20 海尔优家智能科技（北京）有限公司 一种基于麦克风阵列的声源定位方法及装置
CN106952653A (zh) * 2017-03-15 2017-07-14 科大讯飞股份有限公司 噪声去除方法、装置和终端设备
CN108322855A (zh) * 2018-02-11 2018-07-24 北京百度网讯科技有限公司 用于获取音频信息的方法及装置
CN109036448A (zh) * 2017-06-12 2018-12-18 华为技术有限公司 一种声音处理方法和装置
CN109104683A (zh) * 2018-07-13 2018-12-28 深圳市小瑞科技股份有限公司 一种双麦克风相位测量校正的方法及校正系统
CN109410978A (zh) * 2018-11-06 2019-03-01 北京智能管家科技有限公司 一种语音信号分离方法、装置、电子设备及存储介质
US10356362B1 (en) * 2018-01-16 2019-07-16 Google Llc Controlling focus of audio signals on speaker during videoconference
CN110174656A (zh) * 2019-05-21 2019-08-27 电子科技大学 一种基于频域宽带波束形成的稀疏阵列设计方法及装置
CN110556103A (zh) * 2018-05-31 2019-12-10 阿里巴巴集团控股有限公司 音频信号处理方法、装置、系统、设备和存储介质
CN110992967A (zh) * 2019-12-27 2020-04-10 苏州思必驰信息科技有限公司 一种语音信号处理方法、装置、助听器及存储介质
CN111289947A (zh) * 2018-12-07 2020-06-16 阿里巴巴集团控股有限公司 信息处理方法、装置以及设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10477304B2 (en) * 2016-06-15 2019-11-12 Mh Acoustics, Llc Spatial encoding directional microphone array

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1276251A1 (en) * 2001-07-11 2003-01-15 Sony International (Europe) GmbH Method for calculating a weighting vector for an antenna array
CN1837846A (zh) * 2005-03-23 2006-09-27 株式会社东芝 用于处理声音信号的装置和方法
CN101201399A (zh) * 2007-12-18 2008-06-18 北京中星微电子有限公司 一种声源定位方法及系统
CN103181192A (zh) * 2010-10-25 2013-06-26 高通股份有限公司 利用多麦克风的三维声音捕获和再现
CN103076593A (zh) * 2012-12-28 2013-05-01 中国科学院声学研究所 一种声源定位方法及装置
CN104754446A (zh) * 2013-12-31 2015-07-01 展讯通信（上海）有限公司 一种麦克风控制方法和装置
CN106872944A (zh) * 2017-02-27 2017-06-20 海尔优家智能科技（北京）有限公司 一种基于麦克风阵列的声源定位方法及装置
CN106952653A (zh) * 2017-03-15 2017-07-14 科大讯飞股份有限公司 噪声去除方法、装置和终端设备
CN109036448A (zh) * 2017-06-12 2018-12-18 华为技术有限公司 一种声音处理方法和装置
US10356362B1 (en) * 2018-01-16 2019-07-16 Google Llc Controlling focus of audio signals on speaker during videoconference
CN108322855A (zh) * 2018-02-11 2018-07-24 北京百度网讯科技有限公司 用于获取音频信息的方法及装置
CN110556103A (zh) * 2018-05-31 2019-12-10 阿里巴巴集团控股有限公司 音频信号处理方法、装置、系统、设备和存储介质
CN109104683A (zh) * 2018-07-13 2018-12-28 深圳市小瑞科技股份有限公司 一种双麦克风相位测量校正的方法及校正系统
CN109410978A (zh) * 2018-11-06 2019-03-01 北京智能管家科技有限公司 一种语音信号分离方法、装置、电子设备及存储介质
CN111289947A (zh) * 2018-12-07 2020-06-16 阿里巴巴集团控股有限公司 信息处理方法、装置以及设备
CN110174656A (zh) * 2019-05-21 2019-08-27 电子科技大学 一种基于频域宽带波束形成的稀疏阵列设计方法及装置
CN110992967A (zh) * 2019-12-27 2020-04-10 苏州思必驰信息科技有限公司 一种语音信号处理方法、装置、助听器及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Wing-Kin Ma.DOA ESTIMATION OF QUASI-STATIONARY SIGNALS VIA KHATRI-RAO SUBSPACE.《IEEE Xplore》.2009,2165-2168. *

Also Published As

Publication number Publication date
CN111856402A (zh) 2020-10-30

Similar Documents

Publication Publication Date Title
CN111856402B (zh) 信号处理方法及装置、存储介质、电子装置
CN109085531B (zh) 基于神经网络的近场源到达角估计方法
Lavate et al. Performance analysis of MUSIC and ESPRIT DOA estimation algorithms for adaptive array smart antenna in mobile communication
CN103901395B (zh) 一种冲击噪声环境下相干信号波达方向动态跟踪方法
US20210219053A1 (en) Multiple-source tracking and voice activity detections for planar microphone arrays
CN110488223A (zh) 一种声源定位方法
US6798380B2 (en) Robust capon beamforming
Khmou et al. Comparative study between several direction of arrival estimation methods
CN111123192B (zh) 一种基于圆形阵列和虚拟扩展的二维doa定位方法
CN110031794A (zh) 一种基于差分共性阵重构的相干信源doa估计方法
Hassani et al. Cooperative integrated noise reduction and node-specific direction-of-arrival estimation in a fully connected wireless acoustic sensor network
CN110515038B (zh) 一种基于无人机-阵列的自适应无源定位装置及实现方法
CN109450499A (zh) 一种基于导向矢量和空间功率估计的鲁棒波束形成方法
CN109581276A (zh) 一种基于求和求差嵌套阵的doa估计方法
CN107104720B (zh) 基于协方差矩阵虚拟域离散化重建的互质阵列自适应波束成形方法
CN109490822A (zh) 基于ResNet的语音DOA估计方法
CN109270493B (zh) 声源定位方法和装置
CN110378320A (zh) 多个信号的共同周期确定方法、装置和可读存储介质
Pujol et al. BeamLearning: An end-to-end deep learning approach for the angular localization of sound sources using raw multichannel acoustic pressure data
US9444558B1 (en) Synthetic robust adaptive beamforming
CN107894581A (zh) 一种宽带阵列波达方向估计方法
CN110535519A (zh) 一种基于空间平滑的稳健自适应波束形成方法
CN113314138B (zh) 基于麦克风阵列的声源监听分离方法、装置及存储介质
CN113625220A (zh) 一种多径信号波达方向和扩散角快速估计新方法
CN115662394A (zh) 语音提取方法、装置、存储介质及电子装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant