CN112040112A - 一种基于声源定位的场馆喧闹抓拍系统及抓拍方法 - Google Patents

一种基于声源定位的场馆喧闹抓拍系统及抓拍方法 Download PDF

Info

Publication number
CN112040112A
CN112040112A CN201910475201.XA CN201910475201A CN112040112A CN 112040112 A CN112040112 A CN 112040112A CN 201910475201 A CN201910475201 A CN 201910475201A CN 112040112 A CN112040112 A CN 112040112A
Authority
CN
China
Prior art keywords
module
sound source
sound
snapshot
core board
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910475201.XA
Other languages
English (en)
Inventor
洪若昕
李威远
谢扬琛
朱效锐
金豫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
East China Normal University
Original Assignee
East China Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by East China Normal University filed Critical East China Normal University
Priority to CN201910475201.XA priority Critical patent/CN112040112A/zh
Publication of CN112040112A publication Critical patent/CN112040112A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/18Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using ultrasonic, sonic, or infrasonic waves
    • G01S5/22Position of source determined by co-ordinating a plurality of position lines defined by path-difference measurements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information
    • H04W4/023Services making use of location information using mutual or relative location information between multiple location based services [LBS] targets or of distance thresholds
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30Services specially adapted for particular environments, situations or purposes
    • H04W4/33Services specially adapted for particular environments, situations or purposes for indoor environments, e.g. buildings
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W64/00Locating users or terminals or network equipment for network management purposes, e.g. mobility management
    • H04W64/006Locating users or terminals or network equipment for network management purposes, e.g. mobility management with additional information processing, e.g. for direction or speed determination

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Abstract

本发明提出了一种基于声源定位的场馆喧闹抓拍系统,包括:声音信号采集模块、stm32核心板模块、显示模块、摄像头模块及电源模块;其中,声音信号采集模块、stm32核心板模块,显示模块,摄像头模块由电源模块供电;声音信号采集模块的输出与stm32核心板的GPIO口连接;stm32核心板模块对声音信号采集模块传来的数据进行处理后,将控制命令传给摄像头模块,摄像头模块拍摄后,将图像信息传回stm32核心板模块,stm32核心板模块将图像信息传给显示模块进行显示;声音信号采集模块包括:相互连接的麦克风、放大电路、滤波器。本发明还提出了一种基于声源定位的场馆喧闹抓拍方法,将声音定位应用到场馆喧闹抓拍,有较高的效率和可靠性。

Description

一种基于声源定位的场馆喧闹抓拍系统及抓拍方法
技术领域
本发明涉及声源定位技术,尤其是一种基于声源定位的场馆喧闹抓拍系统及抓拍方法。
背景技术
现代社会,随着人们生活质量的提高,人们对文化生活需求日益增长,许多人会选择定期去美术馆、博物馆等场馆观看展览来丰富自己的精神文明建设。为了让参观者有更好的参观体验,此类场馆通常要求参观者保持安静,但不遵守场馆纪律的陋习依旧存在,且缺少有效的监管方案。
基于麦克风阵列的声源定位技术一直是国内外研究的一项热点。它的主要原理是:通过具有一定几何拓扑结构的麦克风阵列采集声源信号,通过阵列信号处理技术对语音信号进行处理和分析,从而确定声源位置。
当前对声源定位技术的研究,往往采用传声器阵列和信号处理的方法进行,但实际的各种应用(如室内环境)中要求定位系统尽可能少地占用空间和成本,这对接收传声器数量和定位算法提出了更高的要求。
发明内容
针对现有问题,本发明提出了一种高效合理的基于声源定位的场馆喧闹抓拍系统。
本发明的具体功能有能够对特定区域内对识别区内任意位置的声源信号进行有效的信号采集;利用广义互相关时延估计法计算三个定位点采集信号的相位差;计算声源到三个定位点的距离,并进而算出声源的位置;控制摄像头对计算出的声源位置拍照。
本发明提出的基于声源定位的场馆喧闹抓拍系统,包括:声音信号采集模块、stm32核心板模块、显示模块、摄像头模块及电源模块;其中,所述声音信号采集模块、stm32核心板模块,显示模块,摄像头模块由所述电源模块供电;所述声音信号采集模块的输出与所述stm32核心板的GPIO口连接;所述stm32核心板模块对所述声音信号采集模块传来的数据进行处理后,将控制命令传给所述摄像头模块,所述摄像头模块拍摄后,将图像信息传回所述stm32核心板模块,所述stm32核心板模块将图像信息传给所述显示模块进行显示;所述声音信号采集模块包括:相互连接的麦克风、放大电路、滤波器。
本发明提出的基于声源定位的场馆喧闹抓拍系统中,所述麦克风为全向MEMS麦克风ADMP401。
基于以上系统,本发明还提出了一种基于声源定位的场馆喧闹抓拍方法,包括以下步骤:
步骤A:初始化配置;
步骤B:原始数据处理;
步骤C:峰值检测;
步骤D:计算距离差;
步骤E:计算坐标值;
步骤F:控制摄像以及显示。
本发明提出的基于声源定位的场馆喧闹抓拍方法中,所述初始化配置具体包括:
步骤A1:配置stm32控制器的外设模式,定时器以20khz的频率触发ADC扫描;
步骤A2:将ADC扫描的值放在DMA中,存满后,关闭定时器,进行数据处理;
步骤A3:搭建DMA-ADC,DMA-USART通道,保证数据的高速传输。
本发明提出的基于声源定位的场馆喧闹抓拍方法中,所述原始数据处理为将存放在ADC数组中的三个位置的声音信息分别存到三个数组中,进行处理。
本发明提出的基于声源定位的场馆喧闹抓拍方法中,所述峰值检测包括:
假定麦克接收到的声源信号表达式如式(1)、(2)
x1(n)=s(n-τ1)+w1(n) (1)
x2(n)=s(n-τ2)+w2(n) (2)
x1(n)和x2(n)的互相关函数如(3)所示
R12(τ)=E(x1(n)x2(n-τ)) (3)
w1(n)和w2(n)是不相关的高斯白噪声,s(n)和w(n)是不相关的随机信号
R12(τ)=E(s(n-τ1)s(n-τ2-τ))
=Rs(τ-(τ1-τ2)) (5)
当τ=(τ1-τ2)时,信号的相关性最高;
将所述信号进行移位,再对应相乘并相加,当移位的点数n*Ts=τ=(τ1-τ2)时,取到峰值。
本发明提出的基于声源定位的场馆喧闹抓拍方法中,根据移位的次数以及采样率就可以得到两个声音信号采集模块距离声源的距离差。
本发明提出的基于声源定位的场馆喧闹抓拍方法中,根据距离差计算模块传来的声源两两之间的距离差,根据圆锥曲线的原理,可建立双曲线模型,生成旋转矩阵,在成120度的坐标系下,以声音信号采集模块为焦点建立两个双曲线模型,根据距离差的正或负,该声源位于双曲线的哪一支上;在所述双曲线上进行遍历,寻找曼哈顿距离最小的点,即为声源位置。
本发明提出的基于声源定位的场馆喧闹抓拍方法中,将所得声源位置的点传给摄像头,控制所述摄像头朝声源的方向进行拍照,再将所得照片在显示屏上显示。
本发明提出的基于声源定位的场馆喧闹抓拍方法中,放大电路的输入接麦克风的输出,为提高信号的大小,将麦克风的信号放大20倍,将放大电路的输出接到所述滤波器的输入,滤除人耳可听到的声音频率之外的噪声。
本发明由声源信号采集模块采集三个不同位置得到的来自同一声源的声音信息,利用广义互相关时延估计法计算三个不同位置接收到的声音信号的相位差;根据采样率将相位差换算成三个位置之间的时延差;根据声音在空气中的传播速度将时延差换算成声源距离三个位置的距离差;建立双曲线模型,准确计算出声源的位置,并控制摄像头朝声源位置拍照。
本发明的优越性在于:将声音定位应用到场馆喧闹抓拍,有较高的效率和可靠性。
附图说明
图1为本发明的总体方案示意图;
图2为本发明中的声音信号采集模块结构示意图;
图3为本发明代码流程图;
图4为广义互相关时延估计法算法示意图;
图5为计算声源位置代码流程图;
图6为模拟实测示意图。
具体实施方式
结合以下具体实施例和附图,对发明作进一步的详细说明。实施本发明的过程、条件、实验方法等,除以下专门提及的内容之外,均为本领域的普遍知识和公知常识,本发明没有特别限制内容。
参阅附图1,本发明由声音信号采集模块1,2,3、stm32核心板模块4、显示模块5、摄像头模块6以及电源模块7构成。声音信号采集模块、stm32核心板模块,显示模块,摄像头模块由电源模块供电;三个声音信号采集模块的输出与stm32核心板的GPIO口连接;stm32核心板模块对三个声音信号采集模块传来的数据进行处理后,将控制命令传给摄像头模块,摄像头模块拍摄后,将图像信息传回stm32核心板模块,核心板模块将图像信息传给显示模块进行显示。
参阅附图2,声音信号采集模块结构图如图所示,由麦克风8,放大电路9,滤波器10构成,麦克风为全向MEMS麦克风ADMP401,放大电路的输入接麦克风的输出,为提高信号的大小,将麦克风的信号放大20倍,将放大电路的输出接到滤波器的输入,滤除人耳可听到的声音频率之外的噪声。滤波器的输出作为声音信号采集模块的总输出与stm32核心板模块连接。
声源信号采集模块由一款高品质,高性能,低功耗,模拟输出,底部端口全向MEMS麦克风ADMP401和信号放大电路构成。全向麦克风具有高信噪比以及宽带平坦的频率响应,保证自然声音的高清晰度。信号放大电路用于放大声音信号,进一步提升信噪比,加强抗干扰能力。
stm32核心板模块作为本系统的控制器,用于对声音信号进行处理,并完成广义互相关时延估计法、计算声源坐标、控制摄像头以及抓拍结果的显示。
全向摄像头可以兼顾各个方向,抓拍效果好。
显示模块为LCD液晶屏,由stm32核心板模块控制,用于显示抓拍结果。
参阅附图3,本发明代码流程由初始化配置11,原始数据处理12,峰值检测13,计算距离差14,计算坐标值15,控制摄像以及显示15构成。
初始化配置为配置stm32控制器的外设模式,定时器以20khz的频率触发ADC扫描。将ADC扫描的值放在DMA中,存满后,关闭定时器,进行数据处理。搭建DMA-ADC,DMA-USART通道,保证数据的高速传输。原始数据处理为将存放在ADC数组中的三个位置的声音信息分别存到三个数组中,进行处理。
参阅附图4,计算距离差算法原理为广义互相关时延估计法:
假定麦克接收到的声源信号表达式如式(1)、(2)
x1(n)=s(n-τ1)+w1(n) (1)
x2(n)=s(n-τ2)+w2(n) (2)
x1(n)和x2(n)的互相关函数如(3)所示
R12(τ)=E(x1(n)x2(n-τ))(3)
w1(n)和w2(n)是不相关的高斯白噪声,s(n)和w(n)也是不相关的随机信号
R12(τ)=E(s(n-τ1)s(n-τ2-τ))
=Rs(τ-(τ1-τ2)) (5)
当τ=(τ1-τ2)时,信号的相关性最高。
也就是说,将信号进行移位,再对应相乘并相加,当移位的点数n*Ts=τ=(τ1-τ
2)时,取到峰值。
根据移位的次数以及采样率就可以得到两个信号采集模块距离声源的距离差。
参阅附图5,根据距离差计算模块传来的声源两两之间的距离差,根据圆锥曲线的原理,可建立双曲线模型,生成旋转矩阵,在成120度的坐标系下,以声音信号采集模块为焦点建立两个双曲线模型,根据距离差的正或负,该声源位于双曲线的哪一支上,为节省运算量,在双曲线上进行遍历,寻找曼哈顿距离最小的点,即为声源的位置。
将所得声源位置的点传给摄像头,控制摄像头朝声源的方向进行拍照,再将所得照片在显示屏上显示,将信息传递给用户。
实施例1
参阅图6,将声音信号采集模块放在一个边长为50cm的等边三角形的顶点,待测区域为中间26cm*16cm的矩形区域,以这个矩形区域模拟场馆内环境,以蜂鸣器模拟场馆内的嘈杂声音。利用本发明对此蜂鸣器在矩形待测区域进行定位,结果如下表1所示。
表1 模拟测试结果
Figure BDA0002082016310000051
从该表可得,本发明在该实例中对声源定位的偏差在1cm以内,经过测试,可保证在40平方米场馆内对声源定位的偏差在1米以内,可保证摄像头准确拍摄声源。
本发明创新性的将声源定位与场馆纪律监控结合在一起,在实际使用中可很好辅助工作人员进行场馆纪律监管,给予参观者更好的参观体验,实用性好。
本发明的保护内容不局限于以上实施例。在不背离发明构思的精神和范围下,本领域技术人员能够想到的变化和优点都被包括在本发明中,并且以所附的权利要求书为保护范围。

Claims (9)

1.一种基于声源定位的场馆喧闹抓拍系统,其特征在于,包括:声音信号采集模块、stm32核心板模块、显示模块、摄像头模块及电源模块;其中,
所述声音信号采集模块、stm32核心板模块,显示模块,摄像头模块由所述电源模块供电;
所述声音信号采集模块的输出与所述stm32核心板的GPIO口连接;
所述stm32核心板模块对所述声音信号采集模块传来的数据进行处理后,将控制命令传给所述摄像头模块,所述摄像头模块拍摄后,将图像信息传回所述stm32核心板模块,所述stm32核心板模块将图像信息传给所述显示模块进行显示;
所述声音信号采集模块包括:相互连接的麦克风、放大电路、滤波器。
2.如权利要求1所述的基于声源定位的场馆喧闹抓拍系统,其特征在于,所述麦克风为全向MEMS麦克风ADMP401。
3.一种基于声源定位的场馆喧闹抓拍方法,其特征在于,采用如权利要求1或2所述的基于声源定位的场馆喧闹抓拍系统,所述抓拍方法包括以下步骤:
步骤A:初始化配置;
步骤B:原始数据处理;
步骤C:峰值检测,
步骤D:计算距离差;
步骤E:计算坐标值;
步骤F:控制摄像以及显示。
4.如权利要求3所述的基于声源定位的场馆喧闹抓拍方法,其特征在于,所述初始化配置具体包括:
步骤A1:配置stm32控制器的外设模式,定时器以20khz的频率触发ADC扫描;
步骤A2:将ADC扫描的值放在DMA中,存满后,关闭定时器,进行数据处理;
步骤A3:搭建DMA-ADC,DMA-USART通道,保证数据的高速传输。
5.如权利要求3所述的基于声源定位的场馆喧闹抓拍方法,其特征在于,所述原始数据处理为将存放在ADC数组中的三个位置的声音信息分别存到三个数组中,进行处理。
6.如权利要求3所述的基于声源定位的场馆喧闹抓拍方法,其特征在于,所述计算距离差算法原理为广义互相关时延估计法:
假定麦克接收到的声源信号表达式如式(1)、(2)
x1(n)=s(n-τ1)+w1(n) (1)
x2(n)=s(n-τ2)+w2(n) (2)
x1(n)和x2(n)的互相关函数如(3)所示
R12(τ)=E(x1(n)x2(n-τ)) (3)
w1(n)和w2(n)是不相关的高斯白噪声,s(n)和w(n)是不相关的随机信号
R12(τ)=E(s(n-τ1)s(n-τ2-τ))
=Rs(τ-(τ1-τ2)) (5)
当τ=(τ1-τ2)时,信号的相关性最高;
将所述信号进行移位,再对应相乘并相加,当移位的点数n*Ts=τ=(τ1-τ2)时,取到峰值;
根据移位的次数以及采样率就可以得到两个声音信号采集模块距离声源的距离差。
7.如权利要求6所述的基于声源定位的场馆喧闹抓拍方法,其特征在于,根据距离差计算模块传来的声源两两之间的距离差,根据圆锥曲线的原理,可建立双曲线模型,生成旋转矩阵,在成120度的坐标系下,以声音信号采集模块为焦点建立两个双曲线模型,根据距离差的正或负,该声源位于双曲线的哪一支上;在所述双曲线上进行遍历,寻找曼哈顿距离最小的点,即为声源位置。
8.如权利要求7所述的基于声源定位的场馆喧闹抓拍方法,其特征在于,将所得声源位置的点传给摄像头,控制所述摄像头朝声源的方向进行拍照,再将所得照片在显示屏上显示。
9.如权利要求3所述的基于声源定位的场馆喧闹抓拍方法,其特征在于,放大电路的输入接麦克风的输出,为提高信号的大小,将麦克风的信号放大20倍,将放大电路的输出接到所述滤波器的输入,滤除人耳可听到的声音频率之外的噪声。
CN201910475201.XA 2019-06-03 2019-06-03 一种基于声源定位的场馆喧闹抓拍系统及抓拍方法 Pending CN112040112A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910475201.XA CN112040112A (zh) 2019-06-03 2019-06-03 一种基于声源定位的场馆喧闹抓拍系统及抓拍方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910475201.XA CN112040112A (zh) 2019-06-03 2019-06-03 一种基于声源定位的场馆喧闹抓拍系统及抓拍方法

Publications (1)

Publication Number Publication Date
CN112040112A true CN112040112A (zh) 2020-12-04

Family

ID=73575800

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910475201.XA Pending CN112040112A (zh) 2019-06-03 2019-06-03 一种基于声源定位的场馆喧闹抓拍系统及抓拍方法

Country Status (1)

Country Link
CN (1) CN112040112A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112367473A (zh) * 2021-01-13 2021-02-12 北京电信易通信息技术股份有限公司 一种基于声纹到达相位的可旋转摄像装置及其控制方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112367473A (zh) * 2021-01-13 2021-02-12 北京电信易通信息技术股份有限公司 一种基于声纹到达相位的可旋转摄像装置及其控制方法

Similar Documents

Publication Publication Date Title
Tiete et al. SoundCompass: a distributed MEMS microphone array-based sensor for sound source localization
CN110010147A (zh) 一种麦克风阵列语音增强的方法和系统
CN110933558B (zh) 一种定向发声方法、装置、超声换能器及电子设备
US20060149495A1 (en) Method for object identification and sensing in a bounded interaction space
WO2020221046A1 (zh) 一种画框电视的横竖屏切换方法及画框电视
CN109887494B (zh) 重构语音信号的方法和装置
CN104459703B (zh) 一种声纳测距方法和移动设备
Lisiewski et al. Fly-ear inspired micro-sensor for sound source localization in two dimensions
CN107580176A (zh) 一种终端拍摄控制方法、摄像终端及计算机可读存储介质
CN103852156A (zh) 一种基于传声器阵列的环境噪声方位分布测量装置
CN112040112A (zh) 一种基于声源定位的场馆喧闹抓拍系统及抓拍方法
Hao et al. Spectral flux-based convolutional neural network architecture for speech source localization and its real-time implementation
Scheibler et al. Pyramic: Full stack open microphone array architecture and dataset
CN110133595A (zh) 一种声源测向方法、装置和用于声源测向的装置
CN111815844A (zh) 智能机器导游及其控制方法、控制装置、存储介质
CN210038735U (zh) 一种投影灯
CN106506830A (zh) 一种距离测量方法、移动终端及系统
CN110972000A (zh) 一种麦克风阵列信号降噪系统及麦克风阵列优化方法
CN112053693A (zh) 基于新冠疫情的智能语音测温方法、装置和系统
Wu et al. A method to measure hearing aid directivity index and polar pattern in small and reverberant enclosures
CN216132993U (zh) 一种六传声器三维声强法吸声系数测量系统
CN114420082A (zh) 混响测试方法、系统、计算机设备和存储介质
CN208520985U (zh) 一种基于多麦克风阵列的声源定位系统
Verreycken et al. Passive acoustic sound source tracking in 3D using distributed microphone arrays
CN104793185A (zh) 一种用于课堂考勤的点名定位装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20201204

WD01 Invention patent application deemed withdrawn after publication