CN111624554B - 声源定位方法和装置 - Google Patents

声源定位方法和装置 Download PDF

Info

Publication number
CN111624554B
CN111624554B CN201910146086.1A CN201910146086A CN111624554B CN 111624554 B CN111624554 B CN 111624554B CN 201910146086 A CN201910146086 A CN 201910146086A CN 111624554 B CN111624554 B CN 111624554B
Authority
CN
China
Prior art keywords
frequency energy
sector
energy
beams
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910146086.1A
Other languages
English (en)
Other versions
CN111624554A (zh
Inventor
刘鲁鹏
占凯
陈宇
耿岭
白二伟
刘颖
元海明
郑勇超
仇璐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Original Assignee
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Century Trading Co Ltd, Beijing Jingdong Shangke Information Technology Co Ltd filed Critical Beijing Jingdong Century Trading Co Ltd
Priority to CN201910146086.1A priority Critical patent/CN111624554B/zh
Publication of CN111624554A publication Critical patent/CN111624554A/zh
Application granted granted Critical
Publication of CN111624554B publication Critical patent/CN111624554B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/18Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using ultrasonic, sonic, or infrasonic waves
    • G01S5/28Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using ultrasonic, sonic, or infrasonic waves by co-ordinating position lines of different shape, e.g. hyperbolic, circular, elliptical or radial
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00Reducing energy consumption in communication networks
    • Y02D30/70Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

本申请实施例公开了声源定位方法和装置。该方法的一具体实施方式包括:对回声消除后的目标音频进行波束形成处理,统计所形成的各个方向波束的高频能量和低频能量;将各个方向的波束表示于同一个圆中;利用预先设置的区域波束数量和区域间隔,在该圆中确定多个扇形区域;基于扇形区域中各个方向波束的高频能量和低频能量,确定各个扇形区域的能量和,将能量和最大的扇形区域的对称轴自圆心向外延伸的延伸方向作为声源方向。本申请实施例能够确定出各个扇形区域的高频能量和低频能量,以得到各个扇形区域的能量和从而定位出声源位置。该方法不需要很高的信号采样频率,具有较高的定位精度。

Description

声源定位方法和装置
技术领域
本申请实施例涉及计算机技术领域,具体涉及互联网技术领域,尤其涉及声源定位方法和装置。
背景技术
随着计算机技术的发展,人类与机器信息交流的需求越来越迫切。语音作为人类最自然的交互方式之一,也成为人们希望能替代鼠标键盘与计算机交流的最重要方式之一。而随着智能家居、智能车辆、智能会议系统等智能终端的发展需求越来越迫切,作为智能终端入口的智能语音系统技术受到了越来越多的关注。
声源定位技术是应用于智能语音系统的重要技术,声源定位的精准度直接影响智能语音系统的用户体验。
发明内容
本申请实施例提出了声源定位方法和装置。
第一方面,本申请实施例提供了一种声源定位方法,包括:对回声消除后的目标音频进行波束形成处理,确定所形成的各个方向波束的高频能量和低频能量;将各个方向的波束表示于同一个圆中,其中,圆的圆心基于接收目标音频的接收装置所处的位置确定;利用预先设置的区域波束数量和区域间隔,在圆中确定多个扇形区域,其中,区域波束数量为在扇形区域中的波束的数量,区域间隔为相邻两个扇形区域相隔的波束的数量;基于扇形区域中各个方向波束的高频能量和低频能量,确定各个扇形区域的能量和,将能量和最大的扇形区域的对称轴自圆心向外延伸的延伸方向作为声源方向。
在一些实施例中,利用预先设置的区域波束数量和区域间隔,在圆中确定多个扇形区域,包括:在圆中,以区域波束数量个相邻波束所在的扇形区域为滑动窗口,以圆心为轴心,以区域间隔为滑动步长,向顺时针或逆时针方向滑动,得到各个扇形区域,其中,每滑动一次得到一个扇形区域。
在一些实施例中,扇形区域的两侧边缘分别与两个波束重合;各个扇形区域的尺寸相同。
在一些实施例中,基于扇形区域中各个方向波束的高频能量和低频能量,确定各个扇形区域的能量和,包括:对于扇形区域中的每个方向,对该方向的高频能量和低频能量进行加权,得到该方向的方向能量值;对扇形区域中各个方向的方向能量值进行加权,得到扇形区域的能量和。
在一些实施例中,高频能量为音频的多个帧的平均高频能量,低频能量为音频的多个帧的平均低频能量;在基于扇形区域中各个方向波束的高频能量和低频能量,确定各个扇形区域的能量和之前,方法还包括:对于每个方向,确定目标音频的前预设数量帧的各帧的高频能量和低频能量;确定各帧的平均高频能量和平均低频能量。
第二方面,本申请实施例提供了一种声源定位装置,包括:波束形成单元,被配置成对回声消除后的目标音频进行波束形成处理,确定所形成的各个方向波束的高频能量和低频能量;表示单元,被配置成将各个方向的波束表示于同一个圆中,其中,圆的圆心基于接收目标音频的接收装置所处的位置确定;区域确定单元,被配置成利用预先设置的区域波束数量和区域间隔,在圆中确定多个扇形区域,其中,区域波束数量为在扇形区域中的波束的数量,区域间隔为相邻两个扇形区域同一侧边缘之间相隔的距离;方向确定单元,被配置成基于扇形区域中各个方向波束的高频能量和低频能量,确定各个扇形区域的能量和,将能量和最大的扇形区域的对称轴自圆心向外延伸的延伸方向作为声源方向。
在一些实施例中,区域确定单元进一步被配置成:在圆中,以区域波束数量个相邻波束所在的扇形区域为滑动窗口,以圆心为轴心,以区域间隔为滑动步长,向顺时针或逆时针方向滑动,得到各个扇形区域,其中,每滑动一次得到一个扇形区域。
在一些实施例中,扇形区域的两侧边缘分别与两个波束重合;各个扇形区域的尺寸相同。
在一些实施例中,方向确定单元进一步被配置成:对于扇形区域中的每个方向,对该方向的高频能量和低频能量进行加权,得到该方向的方向能量值;对扇形区域中各个方向的方向能量值进行加权,得到扇形区域的能量和。
在一些实施例中,高频能量为音频的多个帧的平均高频能量,低频能量为音频的多个帧的平均低频能量;装置还包括:能量确定单元,被配置成对于每个方向,确定目标音频的前预设数量帧的各帧的高频能量和低频能量;平均能量确定单元,被配置成确定各帧的平均高频能量和平均低频能量。
第三方面,本申请实施例提供了一种电子设备,包括:一个或多个处理器;存储装置,用于存储一个或多个程序,当一个或多个程序被一个或多个处理器执行,使得一个或多个处理器实现如声源定位方法中任一实施例的方法。
第四方面,本申请实施例提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如声源定位方法中任一实施例的方法。
本申请实施例提供的声源定位方案,首先,对回声消除后的目标音频进行波束形成处理,确定所形成的各个方向波束的高频能量和低频能量。之后,将波束的起点作为圆心,将各个方向的波束表示于同一个圆中。然后,利用预先设置的区域波束数量和区域间隔,在圆中确定多个扇形区域,其中,区域波束数量为在扇形区域中的波束的数量,区域间隔为相邻两个扇形区域同一侧边缘之间相隔的距离。最后,基于扇形区域中各个方向波束的高频能量和低频能量,确定各个扇形区域的能量和,将能量和最大的扇形区域的对称轴自圆心向外延伸的延伸方向作为声源方向。本申请实施例确定出各个扇形区域的高频能量和低频能量,以得到各个扇形区域的能量和从而定位出声源位置。该方法不需要很高的信号采样频率,具有较高的定位精度。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本申请的其它特征、目的和优点将会变得更明显:
图1是本申请可以应用于其中的示例性系统架构图;
图2a是根据本申请的声源定位方法的一个实施例的流程图;
图2b是根据本申请的声源定位方法的扇形区域的示意图;
图3是根据本申请的声源定位方法的一个应用场景的示意图;
图4a是根据本申请的声源定位方法的又一个实施例的流程图;
图4b是根据本申请的声源定位方法的又一个实施例的扇形区域的示意图;
图5是根据本申请的声源定位装置的一个实施例的结构示意图;
图6是适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释相关发明,而非对该发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与有关发明相关的部分。
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出了可以应用本申请的声源定位方法或声源定位装置的实施例的示例性系统架构100。
如图1所示,系统架构100可以包括终端设备101、102、103,网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互,以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用,例如声源定位应用、语音识别应用、语音交互类应用、视频类应用、直播应用、即时通信工具、邮箱客户端、社交平台软件等。
这里的终端设备101、102、103可以是硬件,也可以是软件。当终端设备101、102、103为硬件时,可以是具有显示屏的各种电子设备,包括但不限于智能手机、平板电脑、电子书阅读器、膝上型便携计算机和台式计算机等等。当终端设备101、102、103为软件时,可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块(例如用来提供分布式服务的多个软件或软件模块),也可以实现成单个软件或软件模块。在此不做具体限定。
服务器105可以是提供各种服务的服务器,例如对终端设备101、102、103提供支持的后台服务器。后台服务器可以对接收到的图像等数据进行分析等处理,并将处理结果(例如展示了线条的图像)反馈给终端设备。
需要说明的是,本申请实施例所提供的声源定位方法可以由服务器105或者终端设备101、102、103执行,相应地,声源定位装置可以设置于服务器105或者终端设备101、102、103中。
应该理解,图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。
继续参考图2a,示出了根据本申请的声源定位方法的一个实施例的流程200。该声源定位方法,包括以下步骤:
步骤201,对回声消除后的目标音频进行波束形成处理,确定所形成的各个方向波束的高频能量和低频能量。
在本实施例中,声源定位方法的执行主体(例如图1所示的服务器或终端设备)可以对已经经过回声消除(Echo Cancellation)后的目标音频进行波束形成(Beamforming)处理,以形成多个不同方向的波束。之后,确定所形成的各个方向波束的高频能量和低频能量。通过回声消除可以抵消发出的声音的回声。回声可能来自各个方向,很可能对声源判断产生严重的干扰。所以,在确定声源方向之前,可以先消除回声以便于较为准确地确定声源方向。
高频和低频均指在预设的频率范围之内的声音频率,高频的频率范围中的赫兹数值大于低频的频率范围中的赫兹数值。例如,可以取一个频率值作为高频和低频的分界线,音频中的其中一帧的能量,比如,这个数值可以是2000赫兹。具体地,一个波束可以表示为声波的频谱,频谱的横坐标为时间,纵坐标为频率。在该频谱中,可以统计高频的声波以及低频的声波,并分别计算高频声波的能量和低频声波的能量,以作为高频能量和低频能量。
在实践中,可以利用波束形成技术,进行波束形成处理。比如,波束形成技术可以是最小方差无失真响应算法(Minimum variance distortionless response,MVDR),也可以是线性约束最小方差(linearly constrained minimum-variance)波束形成器。具体地,接收音频的拾音装置可以是单独的拾音器也可以是多个拾音器的组合,也即麦克风阵列,其中的多个拾音器可以分别接收到多个音频。需要通过麦克风列阵所接收的各个音频参与处理,来得到每个方向的波束。因而,上述的目标音频可以是一个音频,也可以是拾音器的组合所接收的多个音频。
在实践中,可以通过多种方式确定出高频能量和低频能量。比如,高频能量和低频能量可以是目标音频中,包括当前帧(最新一帧)在内的前n帧音频里每一帧的高频能量和低频能量组成的序列。或者,高频能量和低频能量可以分别为这些高频能量的平均值和这些低频能量的平均值。或者,高频能量和低频能量还可以分别为目标音频的当前帧的高频能量和低频能量。
步骤202,将各个方向的波束表示于同一个圆中,其中,圆的圆心基于接收目标音频的接收装置所处的位置确定。
在本实施例中,上述执行主体可以将将各个方向的波束表示于同一个圆中。具体地,可以采用多种方式确定圆心。举例来说,可以将音频接收位置作为圆心,并将各个方向的波束表示于同一个圆中。也即,在利用麦克风列阵接收音频时,可以将各个麦克风的音频接收位置近似为一个点,并将该点作为圆心。或者,各个波束也可以与圆的半径重合,音频接收装置中的各个麦克风则可以位于该圆的各个半径之中。这样,圆中各个方向的波束都以圆心为起点,指向各个方向。经过波束形成处理所得到的每个方向的波束都可以表示于这个圆中。
步骤203,利用预先设置的区域波束数量和区域间隔,在圆中确定多个扇形区域,其中,区域波束数量为在扇形区域中的波束的数量,区域间隔为相邻两个扇形区域相隔的波束的数量。
在本实施例中,上述执行主体可以利用预先设置的区域波束数量以及预先设置的区域间隔,在上述圆中,确定出多个扇形区域。预先设置的各个扇形区域所包含的区域波束数量可以是相等的,也可以是不等的。所确定的各个扇形区域之间可以存在重叠。举例来说,如图2b所示,图中的圆内包括四个相邻的波束L1、L2、R1和R2,两个扇形区域扇形F1和扇形F2,分别包括边缘L1、R1和L2、R2。因为波束L1和波束L2相邻,则这两条波束间隔1条波束,则这两个扇形区域的区域间隔为1。
在实践中,如果获取到每个扇形区域的区域波束数量,以及相邻两个扇形区域,可以从预先确定的点(比如图2b中的A点),划分出各个扇形区域。比如,可以利用预先确定的该点作为一个扇形区域的一侧边缘上的点,利用该区域的区域波束数量,确定该扇形区域的另一侧边缘与圆的交点。并确定出相邻的扇形区域的两侧边缘。以此类推,可以确定出各个扇形区域。扇形区域的边缘可以与波束重合,那么区域波束数量则将该与边缘重合的波束计算在内。扇形区域的边缘也可以不与波束重合,比如,将最靠近边缘的两个波束皆向外扩大1度角,得到扇形区域。
在本实施例的一些可选的实现方式中,扇形区域的两侧边缘分别与两个波束重合;各个扇形区域的尺寸相同。
在这些可选的实现方式中,可以以波束为扇形区域的边缘进行区域的划分,这样在划分扇形区域时,对齐波束位置,则可以准确地确定出各个扇形区域。比如,预先设定的扇形区域的区域波束数量为5,那么扇形区域的两侧边缘各与一个方向的波束重合,中间有三个波束。这里的尺寸相同指扇形区域所包含的圆心角相同。
这些实现方式中,扇形区域的尺寸相同,则可以均匀地而高效地划分各个扇形区域,进而得到声源方向。并且,在扇形区域边缘与波束重合的情况下,上述执行主体可以较为快速、准确地确定出扇形区域。
步骤204,基于扇形区域中各个方向波束的高频能量和低频能量,确定各个扇形区域的能量和,将能量和最大的扇形区域的对称轴自圆心向外延伸的延伸方向作为声源方向。
在本实施例中,上述执行主体可以基于扇形区域中各个方向波束的高频能量和低频能量,确定出各个扇形区域的能量和。并将能量和最高的扇形区域的对称轴自圆心向外延伸的延伸方向作为声源方向。这里的扇形区域的能量和可以用于表示扇形区域的对称轴自圆心向外延伸的延伸方向是声源方向的可能性的大小。能量和越大,可能性则越大。在实践中,可以通过多种方式确定扇形区域的能量和,比如,将高频能量和低频能量的和确定为扇形区域的能量和。
在本实施例的一些可选的实现方式中,步骤204中的“基于扇形区域中各个方向波束的高频能量和低频能量,确定各个扇形区域的能量和”,可以包括:
对于扇形区域中的每个方向,对该方向的高频能量和低频能量进行加权,得到该方向的方向能量值;对扇形区域中各个方向的方向能量值进行加权,得到扇形区域的能量和。
在这些可选的实现方式中,上述执行主体可以对于扇形区域中的每个方向,对该方向的高频能量和低频能量进行加权,以得到该方向的方向能量值。之后,上述执行主体可以对扇形区域中各个方向的方向能量值之间进行加权,得到该扇形区域内各个方向的方向能量值的加权和,并将各个方向能量值的加权和作为上述能量和。具体地,在同一个方向上,高频能量的权重和低频能量的权重可以相同或者不同。在同一个扇形区域中,不同方向的方向能量值的权重可以相同或者存在不同。
这里的高频能量的权重和低频能量的权重可以是预设的。对于频率不同的能量设定不同的权重,可以更好地判断频率不同的声音的声源方向。通常可以对各个方向的方向能量值设置相同的权重。此外,也可以在粗略知晓声源方向可能的方向的情况下,赋予不同方向的波束不同的权重,以得到准确的声源方向。
在本实施例的一些可选的实现方式中,高频能量为音频的多个帧的平均高频能量,低频能量为音频的多个帧的平均低频能量;
在步骤204之前,上述方法还包括:
对于每个方向,确定目标音频的前预设数量帧的各帧的高频能量和低频能量;确定各帧的平均高频能量和平均低频能量。
在这些可选的实现方式中,上述执行主体可以确定前预设数量帧的各帧的高频能量和低频能量。比如,这里的多个帧的各帧包括当前帧在内的前100帧音频的各帧。之后,确定这些帧的高频能量的平均值作为平均高频能量。并确定这些帧的低频能量的平均值作为平均低频能量。这样,可以利用上述平均高频能量和平均低频能量确定扇形区域的能量和。
这些实现方式可以避免单个帧的能量值偏差较大的问题,通过平均值来确定准确的高频能量和低频能量。进而确定准确的扇形区域的能量和,以使最终得到的声源方向更加准确。
继续参见图3,图3是根据本实施例的声源定位方法的应用场景的一个示意图。在图3的应用场景中,执行主体301可以对回声消除后的目标音频302进行波束形成处理,确定所形成的各个方向波束303的高频能量和低频能量304。将波束的起点作为圆心,将各个方向的波束表示于同一个圆中。利用预先设置的区域波束数量(比如3)305和区域间隔(比如1个波束)306,在圆中确定多个扇形区域307,其中,区域波束数量为在扇形区域中的波束的数量,区域间隔为相邻两个扇形区域同一侧边缘之间相隔的距离。基于扇形区域中各个方向波束的高频能量和低频能量308,确定各个扇形区域的能量和309,将能量和最大的扇形区域的对称轴自圆心向外延伸的延伸方向作为声源方向310。
本申请的上述实施例提供的方法能够确定出各个扇形区域的高频能量和低频能量,以得到各个扇形区域的能量和从而定位出声源位置。该方法不需要很高的信号采样频率,具有较高的定位精度。
进一步参考图4a,其示出了声源定位方法的又一个实施例的流程400。该声源定位方法的流程400,包括以下步骤:
步骤401,对回声消除后的目标音频进行波束形成处理,确定所形成的各个方向波束的高频能量和低频能量。
在本实施例中,声源定位方法的执行主体(例如图1所示的服务器或终端设备)可以对已经经过回声消除后的目标音频进行波束形成处理,以形成多个不同方向的波束。之后,确定所形成的各个方向波束的高频能量和低频能量。
步骤402,将波束的起点作为圆心,将各个方向的波束表示于同一个圆中。
在本实施例中,上述执行主体可以将波束的起点作为圆心,并将各个方向的波束表示于同一个圆中。这样,圆中各个方向的波束都以圆心为起点,指向各个方向。经过波束形成处理所得到的每个方向的波束都可以表示于这个圆中。
步骤403,在圆中,以区域波束数量个相邻波束所在的扇形区域为滑动窗口,以圆心为轴心,以区域间隔为滑动步长,向顺时针或逆时针方向滑动,得到各个扇形区域,其中,每滑动一次得到一个扇形区域。
在本实施例中,上述执行主体可以从圆上预设的起点开始,以固定的波束数量所在的扇形区域为滑动窗口,以圆心作为滑动的轴心,以预设的区域间隔为滑动步长进行滑动。因而分别在相邻波束之间相隔距离相等或不等的情况下,各次滑动的滑动窗口的尺寸可以是相同的,也可以有尺寸差异。如图4b所示,在滑动窗口等大的情况下,图中有8个扇形区域,其中的两个扇形区域W1和W2相邻,步长为S。
步骤404,基于扇形区域中各个方向波束的高频能量和低频能量,确定各个扇形区域的能量和,将能量和最大的扇形区域的对称轴自圆心向外延伸的延伸方向作为声源方向。
在本实施例中,上述执行主体可以基于扇形区域中各个方向波束的高频能量和低频能量,确定出各个扇形区域的能量和。并将能量和最高的扇形区域的对称轴自圆心向外延伸的延伸方向作为声源方向。这里的扇形区域的能量和可以用于表示扇形区域的对称轴自圆心向外延伸的延伸方向是声源方向的可能性的大小。能量和越大,可能性则越大。
本实施例可以采用滑动窗口进行多次滑动,来得到各个扇形区域。以高效而准确地得到多个扇形区域。
进一步参考图5,作为对上述各图所示方法的实现,本申请提供了一种声源定位装置的一个实施例,该装置实施例与图2所示的方法实施例相对应,该装置具体可以应用于各种电子设备中。
如图5所示,本实施例的声源定位装置500包括:波束形成单元501、表示单元502、区域确定单元503和方向确定单元504。其中,波束形成单元501,被配置成对回声消除后的目标音频进行波束形成处理,确定所形成的各个方向波束的高频能量和低频能量;表示单元502,被配置成将波束的起点作为圆心,将各个方向的波束表示于同一个圆中;区域确定单元503,被配置成利用预先设置的区域波束数量和区域间隔,在圆中确定多个扇形区域,其中,区域波束数量为在扇形区域中的波束的数量,区域间隔为相邻两个扇形区域同一侧边缘之间相隔的距离;方向确定单元504,被配置成基于扇形区域中各个方向波束的高频能量和低频能量,确定各个扇形区域的能量和,将能量和最大的扇形区域的对称轴自圆心向外延伸的延伸方向作为声源方向。
在一些实施例中,声源定位装置500的波束形成单元501可以对已经经过回声消除后的目标音频进行波束形成处理,以形成多个不同方向的波束。之后,确定所形成的各个方向波束的高频能量和低频能量。通过回声消除可以抵消发出的声音的回声。回声可能来自各个方向,很可能对声源判断产生严重的干扰。所以,在确定声源方向之前,可以先消除回声以便于较为准确地确定声源方向。
在一些实施例中,表示单元502可以将将各个方向的波束表示于同一个圆中。具体地,可以采用多种方式确定圆心。举例来说,可以将音频接收位置作为圆心,并将各个方向的波束表示于同一个圆中。也即,在利用麦克风列阵接收音频时,可以将各个麦克风的音频接收位置近似为一个点,并将该点作为圆心。或者,各个波束也可以与圆的半径重合,音频接收装置中的各个麦克风则可以位于该圆的各个半径之中。
在一些实施例中,区域确定单元503可以利用预先设置的区域波束数量以及预先设置的区域间隔,在上述圆中,确定出多个扇形区域。预先设置的各个扇形区域所包含的区域波束数量可以是相等的,也可以是不等的。所确定的各个扇形区域之间可以存在重叠。
在一些实施例中,方向确定单元504可以基于扇形区域中各个方向波束的高频能量和低频能量,确定出各个扇形区域的能量和。并将能量和最高的扇形区域的对称轴自圆心向外延伸的延伸方向作为声源方向。这里的扇形区域的能量和可以用于表示扇形区域的对称轴自圆心向外延伸的延伸方向是声源方向的可能性的大小。能量和越大,可能性则越大。在实践中,可以通过多种方式确定扇形区域的能量和,比如,将高频能量和低频能量的和确定为扇形区域的能量和。
在本实施例的一些可选的实现方式中,区域确定单元进一步被配置成:在圆中,以区域波束数量个相邻波束所在的扇形区域为滑动窗口,以圆心为轴心,以区域间隔为滑动步长,向顺时针或逆时针方向滑动,得到各个扇形区域,其中,每滑动一次得到一个扇形区域。
在本实施例的一些可选的实现方式中,扇形区域的两侧边缘分别与两个波束重合;各个扇形区域的尺寸相同。
在本实施例的一些可选的实现方式中,方向确定单元进一步被配置成:对于扇形区域中的每个方向,对该方向的高频能量和低频能量进行加权,得到该方向的方向能量值;对扇形区域中各个方向的方向能量值进行加权,得到扇形区域的能量和。
在本实施例的一些可选的实现方式中,高频能量为音频的多个帧的平均高频能量,低频能量为音频的多个帧的平均低频能量;装置还包括:能量确定单元,被配置成对于每个方向,确定目标音频的前预设数量帧的各帧的高频能量和低频能量;平均能量确定单元,被配置成确定各帧的平均高频能量和平均低频能量。
下面参考图6,其示出了适于用来实现本申请实施例的电子设备的计算机系统600的结构示意图。图6示出的电子设备仅仅是一个示例,不应对本申请实施例的功能和使用范围带来任何限制。
如图6所示,计算机系统600包括处理器(例如中央处理器、图形处理器等)601,其可以根据存储在只读存储器(ROM,Read Only Memory)602中的程序或者从存储部分608加载到随机访问存储器(RAM,Random Access Memory)603中的程序而执行各种适当的动作和处理。在RAM 603中,还存储有系统600操作所需的各种程序和数据。处理器601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O,Input/Output)接口605也连接至总线604。
以下部件连接至I/O接口605:包括硬盘等的存储部分606;以及包括诸如LAN(局域网,Local Area Network)卡、调制解调器等的网络接口卡的通信部分607。通信部分607经由诸如因特网的网络执行通信处理。驱动器608也根据需要连接至I/O接口605。可拆卸介质609,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器608上,以便于从其上读出的计算机程序根据需要被安装入存储部分606。
特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分607从网络上被下载和安装,和/或从可拆卸介质609被安装。在该计算机程序被处理器601执行时,执行本申请的方法中限定的上述功能。需要说明的是,本申请的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。
附图中的流程图和框图,图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中,例如,可以描述为:一种处理器包括波束形成单元、表示单元、区域确定单元和方向确定单元。其中,这些单元的名称在某种情况下并不构成对该单元本身的限定,例如,波束形成单元还可以被描述为“对回声消除后的目标音频进行波束形成处理,统计所形成的各个方向波束的高频能量和低频能量”。
作为另一方面,本申请还提供了一种计算机可读介质,该计算机可读介质可以是上述实施例中描述的装置中所包含的;也可以是单独存在,而未装配入该装置中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被该装置执行时,使得该装置:对回声消除后的目标音频进行波束形成处理,统计所形成的各个方向波束的高频能量和低频能量;将各个方向的波束表示于同一个圆中,其中,圆的圆心基于接收目标音频的接收装置所处的位置确定;利用预先设置的区域波束数量和区域间隔,在圆中确定多个扇形区域,其中,区域波束数量为在扇形区域中的波束的数量,区域间隔为相邻两个扇形区域同一侧边缘之间相隔的距离;基于扇形区域中各个方向波束的高频能量和低频能量,确定各个扇形区域的能量和,将能量和最大的扇形区域的对称轴自圆心向外延伸的延伸方向作为声源方向。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本申请中所涉及的发明范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述发明构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (10)

1.一种声源定位方法,包括:
对回声消除后的目标音频进行波束形成处理,确定所形成的各个方向波束的高频能量和低频能量;
将各个方向的波束表示于同一个圆中,其中,所述圆的圆心基于接收所述目标音频的接收装置所处的位置确定;
利用预先设置的区域波束数量和区域间隔,在所述圆中确定多个扇形区域,其中,区域波束数量为在扇形区域中的波束的数量,区域间隔为相邻两个扇形区域相隔的波束的数量;
基于扇形区域中各个方向波束的高频能量和低频能量,确定各个扇形区域的能量和,将能量和最大的扇形区域的对称轴自圆心向外延伸的延伸方向作为声源方向;
基于扇形区域中各个方向波束的高频能量和低频能量,确定各个扇形区域的能量和,包括:
对于扇形区域中的每个方向,对该方向的高频能量和低频能量进行加权,得到该方向的方向能量值,其中,所述高频能量的权重和所述低频能量的权重不同;
对扇形区域中各个方向的方向能量值进行加权,得到扇形区域的所述能量和。
2.根据权利要求1所述的方法,其中,所述利用预先设置的区域波束数量和区域间隔,在所述圆中确定多个扇形区域,包括:
在所述圆中,以区域波束数量个相邻波束所在的扇形区域为滑动窗口,以所述圆心为轴心,以所述区域间隔为滑动步长,向顺时针或逆时针方向滑动,得到各个扇形区域,其中,每滑动一次得到一个扇形区域。
3.根据权利要求1所述的方法,其中,扇形区域的两侧边缘分别与两个波束重合;
各个扇形区域的尺寸相同。
4.根据权利要求1所述的方法,其中,高频能量为音频的多个帧的平均高频能量,低频能量为音频的多个帧的平均低频能量;
在所述基于扇形区域中各个方向波束的高频能量和低频能量,确定各个扇形区域的能量和之前,所述方法还包括:
对于每个方向,确定目标音频的前预设数量帧的各帧的高频能量和低频能量;
确定所述各帧的平均高频能量和平均低频能量。
5.一种声源定位装置,包括:
波束形成单元,被配置成对回声消除后的目标音频进行波束形成处理,确定所形成的各个方向波束的高频能量和低频能量;
表示单元,被配置成将各个方向的波束表示于同一个圆中,其中,所述圆的圆心基于接收所述目标音频的接收装置所处的位置确定;
区域确定单元,被配置成利用预先设置的区域波束数量和区域间隔,在所述圆中确定多个扇形区域,其中,区域波束数量为在扇形区域中的波束的数量,区域间隔为相邻两个扇形区域同一侧边缘之间相隔的距离;
方向确定单元,被配置成基于扇形区域中各个方向波束的高频能量和低频能量,确定各个扇形区域的能量和,将能量和最大的扇形区域的对称轴自圆心向外延伸的延伸方向作为声源方向;
所述方向确定单元进一步被配置成:
对于扇形区域中的每个方向,对该方向的高频能量和低频能量进行加权,得到该方向的方向能量值,其中,所述高频能量的权重和所述低频能量的权重不同;
对扇形区域中各个方向的方向能量值进行加权,得到扇形区域的所述能量和。
6.根据权利要求5所述的装置,其中,所述区域确定单元进一步被配置成:
在所述圆中,以区域波束数量个相邻波束所在的扇形区域为滑动窗口,以所述圆心为轴心,以所述区域间隔为滑动步长,向顺时针或逆时针方向滑动,得到各个扇形区域,其中,每滑动一次得到一个扇形区域。
7.根据权利要求5所述的装置,其中,扇形区域的两侧边缘分别与两个波束重合;
各个扇形区域的尺寸相同。
8.根据权利要求5所述的装置,其中,高频能量为音频的多个帧的平均高频能量,低频能量为音频的多个帧的平均低频能量;
所述装置还包括:
能量确定单元,被配置成对于每个方向,确定目标音频的前预设数量帧的各帧的高频能量和低频能量;
平均能量确定单元,被配置成确定所述各帧的平均高频能量和平均低频能量。
9.一种电子设备,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-4中任一所述的方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其中,该程序被处理器执行时实现如权利要求1-4中任一所述的方法。
CN201910146086.1A 2019-02-27 2019-02-27 声源定位方法和装置 Active CN111624554B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910146086.1A CN111624554B (zh) 2019-02-27 2019-02-27 声源定位方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910146086.1A CN111624554B (zh) 2019-02-27 2019-02-27 声源定位方法和装置

Publications (2)

Publication Number Publication Date
CN111624554A CN111624554A (zh) 2020-09-04
CN111624554B true CN111624554B (zh) 2023-05-02

Family

ID=72270723

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910146086.1A Active CN111624554B (zh) 2019-02-27 2019-02-27 声源定位方法和装置

Country Status (1)

Country Link
CN (1) CN111624554B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114578289B (zh) * 2022-04-26 2022-09-27 浙江大学湖州研究院 一种高分辨率谱估计声阵列成像方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7394907B2 (en) * 2003-06-16 2008-07-01 Microsoft Corporation System and process for sound source localization using microphone array beamsteering
CN101354254B (zh) * 2008-09-08 2010-06-23 北京航空航天大学 一种飞行器航向跟踪方法
CN102305925A (zh) * 2011-07-22 2012-01-04 北京大学 一种机器人连续声源定位方法
US9313453B2 (en) * 2012-08-20 2016-04-12 Mitel Networks Corporation Localization algorithm for conferencing
CN103093479B (zh) * 2013-03-01 2015-11-04 杭州电子科技大学 一种基于双目视觉的目标定位方法
KR101815211B1 (ko) * 2013-11-22 2018-01-05 애플 인크. 핸즈프리 빔 패턴 구성
CN105590631B (zh) * 2014-11-14 2020-04-07 中兴通讯股份有限公司 信号处理的方法及装置
CN105467364B (zh) * 2015-11-20 2019-03-29 百度在线网络技术(北京)有限公司 一种定位目标声源的方法和装置
CN106782590B (zh) * 2016-12-14 2020-10-09 南京信息工程大学 基于混响环境下麦克风阵列波束形成方法

Also Published As

Publication number Publication date
CN111624554A (zh) 2020-09-04

Similar Documents

Publication Publication Date Title
US11943604B2 (en) Spatial audio processing
KR102118411B1 (ko) 원신호 분리 시스템 및 방법
EP3526979B1 (en) Method and apparatus for output signal equalization between microphones
CN110677802B (zh) 用于处理音频的方法和装置
CN111415653B (zh) 用于识别语音的方法和装置
CN110610718A (zh) 一种提取期望声源语音信号的方法及装置
WO2016119388A1 (zh) 一种基于语音信号构造聚焦协方差矩阵的方法及装置
CN113505848A (zh) 模型训练方法和装置
CN107680584B (zh) 用于切分音频的方法和装置
CN112992190B (zh) 音频信号的处理方法、装置、电子设备和存储介质
CN111624554B (zh) 声源定位方法和装置
CN111383629B (zh) 语音处理方法和装置、电子设备以及存储介质
CN110335237B (zh) 用于生成模型的方法、装置和用于识别图像的方法、装置
CN112750455A (zh) 音频处理方法及装置
CN111650560B (zh) 声源定位方法和装置
EP4147228A1 (en) System and method for multi-microphone automated clinical documentation
CN111147655B (zh) 模型生成方法和装置
EP3513573B1 (en) A method, apparatus and computer program for processing audio signals
CN111145776B (zh) 音频处理方法和装置
CN117037836B (zh) 基于信号协方差矩阵重构的实时声源分离方法和装置
CN111627425B (zh) 一种语音识别方法及系统
CN111145792B (zh) 音频处理方法和装置
CN111210837B (zh) 音频处理方法和装置
CN111768771B (zh) 用于唤醒电子设备的方法和装置
Lee et al. A diagonal‐steering‐based binaural beamforming algorithm incorporating a diagonal speech localizer for persons with bilateral hearing impairment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant