CN102695043A - 基于声源定位的动态视频监控系统 - Google Patents
基于声源定位的动态视频监控系统 Download PDFInfo
- Publication number
- CN102695043A CN102695043A CN2012101850803A CN201210185080A CN102695043A CN 102695043 A CN102695043 A CN 102695043A CN 2012101850803 A CN2012101850803 A CN 2012101850803A CN 201210185080 A CN201210185080 A CN 201210185080A CN 102695043 A CN102695043 A CN 102695043A
- Authority
- CN
- China
- Prior art keywords
- module
- digital signal
- signal
- signal processor
- dsp
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Studio Devices (AREA)
Abstract
本发明公开一种基于声源定位的动态视频跟踪系统，包括：若干个麦克风、音频采集模块、DSP数字信号处理器、锁相环、FLASH模块、FPGA模块、SDRAM模块。本发明针对目前视频跟踪监控技术的不足，用若干个麦克风组成的麦克风阵列进行音频信号的采集，而后传输给音频采集模块进行A/D转换，进而把相应的数字信号传给数字信号处理模块应用相关算法程序进行处理运算得出方位角和控制信号，传输给通用异步串口UART进行并串转换，而后将控制信号传给步进电机和云台实现对于目标声源的跟踪拍摄。与现有技术相比，本发明所需要安装的摄像头数量较少，可以在保证监控区域的同时减小生产成本。
Description
技术领域
本发明涉及一种视频跟踪装置，具体涉及一种基于麦克风阵列的视频跟踪装置。
背景技术
在如今的日常可生活中无论是学校、公共场所、路旁、商场、社区摄像头几乎无处不在，监控摄像头为保护公众的人身财产安全，维护公共秩序，促进交通安全起到了不可或缺的作用。但注意观察我们可以发现这些摄像头大多是固定不动，即使少数摄像头是能够自动旋转但是在某一单位时间内它依然是对准某一方位，别有用心的人只要把握好他的转动周期就完全可以躲过摄像头的拍摄。也就是说传统摄像头监控方位是静态的，只能监控有限的方位区间。这样的监控系统监控方位区间狭窄，难免存在很大的监控盲区，无法很好得实现监控。那么这个问题又该如何解决呢？不难提出两种方案：第一，安装更多的摄像头以实现全面的监控覆盖；第二，通过某种技术以实现摄像头的跟踪拍摄。第一种方案无疑会大大的增加监控成本，同时也增加了监控视频的存储量，相应的也就缩短了监控视频的存储时间。因此采用第二套解决方案较为适合。目前, 各种视频跟踪设计方案和有关产品被相继推出, 国内主要有:
1) 谢进一等人设计了一种加装有数据采集卡和自动跟踪软件的闭路电视自动跟踪系统, 该系统成本低、维护方便, 可实现手动选择所要跟踪目标, 然后对其实现一定范围内的自动跟踪; 2) 刘成刚等人设计了异常目标发现及跟踪摄像机系统, 该系统由摄像机、云台、图像采集视频解码芯片、数字图像处理DSP、云台控制单片机等构成, 可以实现入侵目标快速检测和跟踪; 3) 曾文斌设计了具有多摄像机的智能跟踪监视系统, 该系统由全景摄像机和多个跟踪摄像机构成, 可以进行大范围、多目标检测和跟踪; 4) 江郁霖设计了环场摄影监视追踪系统,该系统由一个环场摄像机、一个高速球摄像机、坐标转移模块、初始化校对模块、现实模块等构成, 可以环场追踪、监视目标而不产生监视死角问题; 5) 目前市面上出现了自动跟踪的球型摄像机, 可以按照预先编程的逻辑路线扫描一个区域, 当发现运动目标时, 停止执行巡逻程序,发出警报引起现场监视人员注意, 并对目标图像变焦放大和跟踪录像, 一定程度上实现了主动监视。
国外主要有: 1) Murakami 等人设计的全天候视频监视系统方案, 主要由一台可见光摄像机和一台红外摄像机及相关控制设备组成, 该系统循环采用可见光摄像机和红外摄像机自动监测和跟踪入侵目标, 有效杜绝了外界光线情况影响, 并有目标识别功能; 2) Ishigami 等人提出的联合摄像机视频监控系统, 多个摄像机联合检测和跟踪异常目标, 其中包括一个可控的PTZ 摄像机，等等。
注意观察不难发现现如今的视频跟踪系统多采用了图像处理的方法实现对与目标点的跟踪。这种跟踪方法就好似我们的眼睛捕捉景物，当目标物体未出现在摄像头的监控范围内时它就无法实现目标物体的跟踪。如果只依靠这种监控方案进行视频跟踪那么就必须首先实现摄像头监控范围的全方位覆盖，这无疑又大大增加了监控成本，失去了视频跟踪监控的主要价值。
发明内容
本发明要解决的技术问题是现有视频监控设备需要安装较大量的摄像头、增加了成本，提供一种可以减少摄像头数量、降低成本的基于声源定位的动态视频监控系统。
本发明的技术方案是以下述方式实现的：一种基于声源定位的动态视频监控系统，包括：若干个麦克风，将采集到的音频信号转化为模拟信号输入到音频采集模块中；音频采集模块，把麦克风输出的模拟信号转换成数字信号后传输给DSP数字信号处理器；DSP数字信号处理器，通过外部存储器接口从Falsh模块中提取算法程序，处理音频采集模块传来的信号得到方位角和控制信号、通过EMIF输出方位角和控制信号到UART模块来对DSP输出的并行控制信号进行并串转换，而后与FPGA模块实现信号传输；锁相环，使得各路音频采集模块的时钟同步；FLASH模块，向DSP数字信号处理器传输算法程序；FPGA模块，对FLASH模块进行翻页、对PLL输出频率进行控制、对UART输出串行信号频率进行控制、对外部存储器接口EMIF进行控制；SDRAM模块，向DSP数字信号处理器提供调试程序。
还包括与DSP数字信号处理器连接的视频输出模块和视频输入模块。
所述音频采集模块是TLV320AIC23芯片，所述DSP数字信号处理器是DM642芯片。
本发明针对目前视频跟踪监控技术的不足，用若干个麦克风组成的麦克风阵列进行音频信号的采集，而后传输给音频采集模块进行A/D转换，进而把相应的数字信号传给数字信号处理模块应用相关算法程序进行处理运算得出方位角和控制信号，传输给通用异步串口UART进行并串转换，而后将控制信号传给步进电机和云台实现对于目标声源的跟踪拍摄。与现有技术相比，本发明所需要安装的摄像头数量较少，可以在保证监控区域的同时减小生产成本。
附图说明
图1是本发明的原理框图。
图2是本发明的电路原理图。
图3是音频采集模块的电路原理图。
图4是FPGA模块的电路原理图。
图5是锁相环的电路原理图。
图6是SDRAM的电路原理图。
图7是FLASH模块的电路原理图。
图8是UART模块的电路原理图。
图9是本发明系统算法流程图。
图10是本发明中软件流程图。
具体实施方式
如附图所示，一种基于声源定位的动态视频监控系统，包括四个麦克风，将采集到的音频信号转化为模拟信号输入到音频采集模块中；音频采集模块，把麦克风输出的模拟信号转换成数字信号后传输给DSP数字信号处理器；DSP数字信号处理器，通过外部存储器接口从Falsh模块中提取算法程序，处理音频采集模块传来的信号得到方位角和控制信号、通过EMIF输出方位角和控制信号到UART模块来对DSP输出的并行控制信号进行并串转换，而后与FPGA模块实现信号传输；锁相环，使得各路音频采集模块的时钟同步；FLASH模块，向DSP数字信号处理器传输算法程序；FPGA模块，对FLASH模块进行翻页、对PLL输出频率进行控制、对UART输出串行信号频率进行控制、对外部存储器接口EMIF进行控制；SDRAM模块，向DSP数字信号处理器提供调试程序。
作为优选方案，本发明还包括与DSP数字信号处理器连接的视频输出模块和视频输入模块。
本发明中，四个麦克风组成麦克风阵列，它们将采集的音频信号转化为模拟信号输入到音频采集模块，该模块采用TLV320AIC23芯片，完成A/D转换把麦克风采集来的模拟信号转换成数字信号。而后用McASP（多通道音频采集串口）传输给数字信号处理器，信号的处理部分采用DSP数字信号处理器（TMS320DM642，即DM642芯片）。PLL（锁相环）实现了4路音频采集模块的时钟同步。音频信号传输给DSP数字信号处理器前，首先对DSP数字信号处理器初始化，通过EMIF（外部存储器接口）从FLASH模块中提取算法程序，然后对传入的音频信号进行相关运算处理，得出方位角和控制信号，并通过EMIF输出方位角和控制信号到UART（通用异步接收发送设备）来对DSP输出的并行控制信号进行并串转换，而后传输到步进电机、云台实现对摄像头方位的控制。FPGA模块和SDRAM模块都通过EMIF与DSP数字信号处理器相连。FPGA模块在本系统中完成以下四种功能：其一，完成对于FLASH模块的翻页，因为FLASH芯片AM29LV033C有22根地址线可访问所有4M的FLASH内容，而DM642有20根地址线，所以在FLASH模块中采用翻页技术用三根地址线实现对它的翻页控制，从而可以访问全部的FLASH内容；其二，完成对于PLL输出频率的调频控制；其三，完成对于UART输出串行信号频率的控制；其四，它也可对外部存储器接口EMIF进行控制如控制其刷新速率、CAS延迟和很多SDRAM时序参数等。
本系统采用的采集点数是256点每次时，由于采集的点数比较少，可以直接存储在DSP数字信号处理器的内部寄存器中，每次采集数据后新的数据覆盖原来的数据，SDRAM模块主要作为调试程序中使用。当采集点数较大时，可能造成DSP数字信号处理器还没有运算完上次的数据这次的数据就已经传入，这样就必须用到SDRAM模块，将采集进来的数据先传输到SDRAM模块中去，而后DSP数字信号处理器使用时再从SDRAM模块中提取。视频的输入输出模块是预留的两个模块，以便对于视频信号的进一步处理。
本发明系统算法流程图如图8所示，首先，进行参数初始化，初始化的参数包括：采样频率48khz；阵元个数4个；阵元间距0.06m，近似是接收音频信号最小波长的一半，满足近场模型，可以忽略栅瓣和空域混迭影响。然后对4路麦克风采集信号的输入进行FFT变换，求空间谱，即采用离散傅立叶变换的快速算法，把时域信号转变成频域信号。因为时域信号补充延时，相当于对频域信号进行相位移动，而且由于时域采样点有限，频域信号展宽后移动相位比时域补时延更容易，所以采用FFT变换有利于算法处理补充延时。而后求协方差矩阵，可以使矩阵数据完全去相关，是标量随机变量到高维度随机向量的自然推广，有利于算法后续处理。乘以波束形成加权向量，相当于用一个空域滤波器，使信号在各阵元上的延迟和衰减均衡，相当于对时间序列谱分析中的加窗或锐化。对于阵元间距小于或等于 
的线阵，在加权和频率——波数响应之间存在傅里叶变换的关系。因此，栅瓣和空域混迭就不是很重要了，可以忽略栅瓣和空域混迭，直接应用连续函数的傅里叶变换理论和波束形成加权向量处理。然后形成能量矩阵，以便于能量估计，最后使能量估计图在角度范围上扫描，能量值最大点对应角度即为声源方位角。
本发明使用时软件流程如图9所示，其中，采集信号的平均功率
，背景噪声平均功率
，前一次采集信号的平均功率，n≥2。 系统软件设计原理如下：系统上电工作后在DSP数字信号处理器调用FALSH中算法程序并初始化数据，音频采集模块将采集来的4路麦克风音频信号A/D转换后，输入DSP数字信号处理器中，进行功率分析，采集信号的平均功率
小于或等于背景噪声平均功率
时，系统将重新初始化，采集下一次数据，否则，对上一组数据进行进一步判断。若上一次采集信号的平均功率大于背景噪声平均功率
，系统将重新初始化，采集下一次数据，否则数据存储并由DSP数字信号处理器运算给出方位角，然后，FPGA控制步进电机驱动初始化，驱动步进电机转动相应角，对准声源。
本发明应用仿生学原理模拟人类对于目标物体的跟踪方式，利用声学原理实现对于目标物体的视频跟踪定位，采用这种视频跟踪方式可以大大减少监控成本，实现对于声源真正意义上的全方位跟踪。而监控摄像头的主要监控目标就是人，在大多数场合下完全可以把人当作一个语音信号的声源来对待，从而利用麦克风整列和相关算法实现跟踪监控。
Claims (3)
1. 一种基于声源定位的动态视频监控系统，其特征在于包括：
若干个麦克风，将采集到的音频信号转化为模拟信号输入到音频采集模块中；
音频采集模块，把麦克风输出的模拟信号转换成数字信号后传输给DSP数字信号处理器；
DSP数字信号处理器，通过外部存储器接口从Falsh模块中提取算法程序，处理音频采集模块传来的信号得到方位角和控制信号、通过EMIF输出方位角和控制信号到UART模块来对DSP输出的并行控制信号进行并串转换，而后与FPGA模块实现信号传输；
锁相环，使得各路音频采集模块的时钟同步；
FLASH模块，向DSP数字信号处理器传输算法程序；
FPGA模块，对FLASH模块进行翻页、对PLL输出频率进行控制、对UART输出串行信号频率进行控制、对外部存储器接口EMIF进行控制；
SDRAM模块，向DSP数字信号处理器提供调试程序。
2. 根据权利要求1所述的基于声源定位的动态视频监控系统，其特征在于还包括与DSP数字信号处理器连接的视频输出模块和视频输入模块。
3. 根据权利要求1或2所述的基于声源定位的动态视频监控系统，其特征在于：所述音频采集模块是TLV320AIC23芯片，所述DSP数字信号处理器是DM642芯片。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2012101850803A CN102695043A (zh) | 2012-06-06 | 2012-06-06 | 基于声源定位的动态视频监控系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2012101850803A CN102695043A (zh) | 2012-06-06 | 2012-06-06 | 基于声源定位的动态视频监控系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN102695043A true CN102695043A (zh) | 2012-09-26 |
Family
ID=46860307
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2012101850803A Pending CN102695043A (zh) | 2012-06-06 | 2012-06-06 | 基于声源定位的动态视频监控系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102695043A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103235287A (zh) * | 2013-04-17 | 2013-08-07 | 华北电力大学（保定） | 一种声源定位摄像追踪装置 |
| CN104284081A (zh) * | 2014-05-14 | 2015-01-14 | 深圳警翼数码科技有限公司 | 一种执法记录仪及其控制方法 |
| CN104281114A (zh) * | 2013-07-12 | 2015-01-14 | 上海弼智仿生高科技有限公司 | 智能设备运动控制系统 |
| CN105338292A (zh) * | 2014-08-04 | 2016-02-17 | 杭州海康威视数字技术股份有限公司 | 用于视频监控的声源定向控制装置及方法 |
| JP2016518095A (ja) * | 2013-03-27 | 2016-06-20 | アレグロ・マイクロシステムズ・エルエルシー | 電子回路によるシリアル通信のためのシステムおよび方法 |
| CN106576180A (zh) * | 2014-08-15 | 2017-04-19 | 索尼公司 | 全景视频 |
| CN108549051A (zh) * | 2018-04-17 | 2018-09-18 | 哈尔滨工程大学 | 一种基于麦克风阵列的近场声源实时定位系统 |
| CN113631942A (zh) * | 2020-02-24 | 2021-11-09 | 京东方科技集团股份有限公司 | 声源跟踪控制方法和控制装置、声源跟踪系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09289609A (ja) * | 1996-04-24 | 1997-11-04 | Aiphone Co Ltd | カメラ監視装置 |
| CN202077131U (zh) * | 2010-07-16 | 2011-12-14 | 弭强 | 基于声音定位的视频监控系统 |
| CN202095037U (zh) * | 2011-04-29 | 2011-12-28 | 中国计量学院 | 一种实时三维声源图像监控系统 |
| CN202738005U (zh) * | 2012-06-06 | 2013-02-13 | 郑州大学 | 基于麦克风阵列的动态视频跟踪系统 |
-
2012
- 2012-06-06 CN CN2012101850803A patent/CN102695043A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09289609A (ja) * | 1996-04-24 | 1997-11-04 | Aiphone Co Ltd | カメラ監視装置 |
| CN202077131U (zh) * | 2010-07-16 | 2011-12-14 | 弭强 | 基于声音定位的视频监控系统 |
| CN202095037U (zh) * | 2011-04-29 | 2011-12-28 | 中国计量学院 | 一种实时三维声源图像监控系统 |
| CN202738005U (zh) * | 2012-06-06 | 2013-02-13 | 郑州大学 | 基于麦克风阵列的动态视频跟踪系统 |
Non-Patent Citations (1)
| Title |
|---|
| 张亚，等: "基于声源定位技术的智能视频监控系统", 《电子技术应用》 * |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016518095A (ja) * | 2013-03-27 | 2016-06-20 | アレグロ・マイクロシステムズ・エルエルシー | 電子回路によるシリアル通信のためのシステムおよび方法 |
| CN103235287B (zh) * | 2013-04-17 | 2015-05-20 | 华北电力大学（保定） | 一种声源定位摄像追踪装置 |
| CN103235287A (zh) * | 2013-04-17 | 2013-08-07 | 华北电力大学（保定） | 一种声源定位摄像追踪装置 |
| CN104281114A (zh) * | 2013-07-12 | 2015-01-14 | 上海弼智仿生高科技有限公司 | 智能设备运动控制系统 |
| CN104281114B (zh) * | 2013-07-12 | 2018-03-06 | 上海弼智仿生高科技有限公司 | 智能设备运动控制系统 |
| CN104284081B (zh) * | 2014-05-14 | 2016-05-18 | 深圳警翼数码科技有限公司 | 一种执法记录仪及其控制方法 |
| CN104284081A (zh) * | 2014-05-14 | 2015-01-14 | 深圳警翼数码科技有限公司 | 一种执法记录仪及其控制方法 |
| CN105338292A (zh) * | 2014-08-04 | 2016-02-17 | 杭州海康威视数字技术股份有限公司 | 用于视频监控的声源定向控制装置及方法 |
| CN105338292B (zh) * | 2014-08-04 | 2019-05-24 | 杭州海康威视数字技术股份有限公司 | 用于视频监控的声源定向控制装置及方法 |
| CN106576180A (zh) * | 2014-08-15 | 2017-04-19 | 索尼公司 | 全景视频 |
| CN108549051A (zh) * | 2018-04-17 | 2018-09-18 | 哈尔滨工程大学 | 一种基于麦克风阵列的近场声源实时定位系统 |
| CN113631942A (zh) * | 2020-02-24 | 2021-11-09 | 京东方科技集团股份有限公司 | 声源跟踪控制方法和控制装置、声源跟踪系统 |
| CN113631942B (zh) * | 2020-02-24 | 2024-04-16 | 京东方科技集团股份有限公司 | 声源跟踪控制方法和控制装置、声源跟踪系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102695043A (zh) | 基于声源定位的动态视频监控系统 | |
| Liu et al. | Drone detection based on an audio-assisted camera array | |
| CN110718235B (zh) | 异常声音检测的方法、电子设备及存储介质 | |
| CN108496128A (zh) | 无人机飞行控制 | |
| US9349068B2 (en) | Detecting camera conditions to initiate camera maintenance | |
| US10027888B1 (en) | Determining area of interest in a panoramic video or photo | |
| EP3807669B1 (fr) | Localisation de sources sonores dans un environnement acoustique donné | |
| CN101616307B (zh) | 视频目标跟踪选择输出方法及系统 | |
| CN202738005U (zh) | 基于麦克风阵列的动态视频跟踪系统 | |
| US20180286075A1 (en) | Setting Different Background Model Sensitivities by User Defined Regions and Background Filters | |
| US10558186B2 (en) | Detection of drones | |
| WO2012046181A4 (en) | Mapping detecting and tracking objects in an arbitrary outdoor scene using active vision | |
| CN109547695A (zh) | 基于声音分类算法定向捕捉画面的全息视频监控系统及方法 | |
| CN103051887A (zh) | 仿鹰眼智能视觉传感节点及其工作方法 | |
| CN206179323U (zh) | 用于语音识别和手语识别的智能眼镜 | |
| CN109711346A (zh) | 一种禽类异常识别方法及装置 | |
| CN204145647U (zh) | 一种具有多摄像头的执法记录仪 | |
| Vasconcelos et al. | Counting mosquitoes in the wild: An internet of things approach | |
| US20120039395A1 (en) | System and method for time series filtering and data reduction | |
| US11688409B2 (en) | Multi-band noise gate | |
| Nagy et al. | Internet of Birds (IoB): Song Based Bird Sensing via Machine Learning in the Cloud: How to sense, identify, classify birds based on their songs? | |
| Abbot et al. | A real-time method for autonomous passive acoustic detection-classification of humpback whales | |
| CN103618882A (zh) | 一种基于鱼眼镜头的多路视频智能监控系统 | |
| CN109996035A (zh) | 用于生成机器视觉数据的相机装置和相关方法 | |
| Vora et al. | DroneChase: A Mobile and Automated Cross-Modality System for Continuous Drone Tracking |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C12 | Rejection of a patent application after its publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20120926 |