CN104796822A - 音频啸叫检测方法、使用该方法的视频监控方法及系统 - Google Patents

Abstract

本发明公开了音频啸叫检测方法、使用该方法的视频监控方法及系统，音频啸叫检测方法通过提取音频信号的尖峰信号，并将该信号与阈值进行比较判断尖峰信号是否为异常信号。使用该音频啸叫检测方法的视频监控方法通过采集视频和音频信号，并结合音视频检测结果进行不同级别报警，从而在扩大了监控范围的同时提升了报警正确率。视频监控系统包括音频采集、音频啸叫检测、图像采集、图像处理、码流传输、摄像机报警五个模块和系统管理平台。将音频啸叫检测集成到摄像机视频监控系统中，通过摄像机同时对周围环境中的视频与声音信号进行检测，从而扩大了监控范围，极大地简化了监控系统的复杂度，节省了人力物力成本，提升了监控系统稳定性。

Description

音频啸叫检测方法、使用该方法的视频监控方法及系统

技术领域

本发明涉及监控领域，尤其涉及音频啸叫检测方法、使用该方法的视频监控方法及系统。

背景技术

随着社会安全的迫切需求以及平安城市的大力建设，视频监控系统得到了飞速发展，监控摄像机也得到了越来越广泛的应用。传统的摄像机在完成了数字化和网络化的转变后，正朝着智能化的方向发展。视频分析技术由此孕育而生，然而视频分析无法检测到摄像机视野外的异常行为，若异常行为不在监控范围内，则无法检测到。因此，单纯使用视频分析检测有很大的局限性。

声音向四面八方传播，音频啸叫检测技术通过采集环境中的声音信号,可以检测异常的尖峰信号，检测的范围不受限于摄像机的视野。因此将音频啸叫检测与摄像机已有的视频分析功能相结合，在声音和行为上对异常行为进行双重辨识，既可以在很大程度上提高监控的可靠性，又可以扩大监控范围，达到更加有效的监控效果。

然而，现有的摄像机主要是通过视频分析，检测异常行为，并没有检测环境中的异常声音信号的功能。另外，在某些安防系统中，有一种音频异常检测系统，但它是一个独立的模块，没有对视频实时监控的功能。在监控行业中一般由摄像机视频监控系统实现对视频的监控，音频异常检测系统实现对音频的监控。这种音视频检测的分离需要更多的设备、更复杂的安装和维护，需要更多的人力、时间和费用，造成了资源的浪费。

发明内容

本发明所要解决的技术问题在于，通过发明音频啸叫检测方法、使用该方法的视频监控方法及系统，将音频啸叫检测集成到摄像机视频监控系统中，通过摄像机同时对周围环境中的视频与声音信号进行检测，达到更有效的监控效果，提高摄像机监控的可靠性，并且节省人力与物力成本。

本发明是这样实现的，一种音频啸叫检测方法，包括以下步骤：

S1、获取每帧声音信号的能量均值A_X，并根据能量均值A_X计算该帧的能量特征值D_X；

S2、缓存连续n帧声音信号的能量特征值D_X[0]～D_X[n-1]，找出最大值D_Xmax作为尖峰信号值，并计算除尖峰信号值以外的其它能量特征值的均值D_Xavg；

S3、计算尖峰信号值D_Xmax与D_Xavg的偏移值d_alarmaffset；

S4、将偏移值d_alarmaffset与预设的报警阈值d_th进行比较，若所述偏移值d_alarmaffset大于报警阈值d_th，则判定所述尖峰信号为异常信号，否则，未检测出异常信号。

其中，S2中缓存连续n帧声音信号的方法为：

若为首次缓存，则缓存连续n帧声音信号的能量特征值D_X[0]～D_X[n-1]；

若非首次缓存，则去除上一次缓存数据中的首个声音信号的能量特征值D_X[0]，将上一次缓存数据中的D_X[1]～D_X[n-1]作为本次缓存数据中的D_X[0]～D_X[n-2]，并在本次缓存数据中加入新的能量特征值D_X[n-1]，得到本次缓存的能量特征值D_X[0]～D_X[n-1]，所述新的能量特征值D_X[n-1]为上一次缓存数据中的能量特征值D_X[n-1]对应的声音信号的下一帧声音信号的能量特征值。

一种视频监控方法，采用上述的音频啸叫检测方法进行音频检测，包括以下内容：

1)实时采集视频数据；找出视频数据中的异常行为，根据所述异常行为生成异常行为特征数据，所述异常行为特征数据包含异常行为发生时间；

2)实时采集音频数据；找出音频数据中的异常音频，根据所述异常音频生成异常音频特征数据，所述异常音频特征数据包含异常音频发生时间；

3)判断异常行为发生时间与异常音频发生时间是否重叠；若不重叠，则分别对异常行为和异常音频进行普通报警；若重叠，则进行紧急报警。

所述异常行为特征数据包括异常行为发生时间和异常行为发生区域；所述异常音频特征数据包括异常音频发生时间和异常音频能量值。所述视频数据和所述音频数据均带有时间戳。

一种视频监控系统，采用上述视频监控方法，包括位于后端的系统管理平台和集成于摄像机之中的音频采集模块、音频啸叫检测模块、图像采集模块、图像处理模块、码流传输模块和摄像机报警模块，其中，

所述音频采集模块由内置于摄像机的拾音器和音频采集芯片组成，用于实时采集音频数据，为音频数据打时间戳，生成带有时间戳的音频流，并将音频流传输至音频啸叫检测模块和码流传输模块；

所述音频啸叫检测模块对音频流进行啸叫检测，找出音频流中的异常音频，根据所述异常音频生成异常音频特征数据，并将所述异常音频特征数据传输至摄像机报警模块，所述异常音频特征数据包含异常音频发生时间；

所述图像采集模块用于实时采集视频数据，为视频数据打时间戳，生成带有时间戳的视频流，并将视频流传输至图像处理模块和码流传输模块；

所述图像处理模块用于对视频流进行视频分析，找出视频流中的异常行为，根据所述异常行为生成异常行为特征数据，并将异常行为特征数据传输至摄像机报警模块，所述异常行为特征数据包含异常行为发生时间；

摄像机报警模块用于判断异常行为发生时间与异常音频发生时间是否重叠；若不重叠，则分别对异常行为和异常音频进行普通报警；若重叠，则进行紧急报警。所述摄像机报警模块播放报警音乐并生成报警信息，将所述报警信息传输至系统管理平台，所述报警信息包括报警类别、异常行为特征数据和/或异常音频特征数据

码流传输模块将接收的视频流与音频流传输至系统管理平台。

系统管理平台用于实时展示所述视频流、以文件形式存储所述音频流和显示所述报警信息；允许用户对视频监控过程的相关参数进行设置和对视频监控系统进行管理。

进一步地，所述音频啸叫检测模块输出的异常音频特征数据包括异常信号发生时间和异常信号能量值；所述图像处理模块输出的异常行为特征数据包括异常行为发生时间和异常行为发生区域。

进一步地，音频啸叫检测的报警阈值d_th可以预先根据环境和安防要求进行设定，默认有11个不同的阈值。

进一步地，所述拾音器可以根据需求选择外置拾音器，摄像机有可与外置拾音器通讯的接口。

进一步地，所述音频啸叫检测模块和图像处理模块只有检测到异常，才将检测结果传输给摄像机报警模块。

实施本发明，具有如下有益效果：

本发明提供了音频啸叫检测方法、使用该方法的视频监控方法及系统。通过将音频啸叫检测集成到摄像机视频监控系统中，通过摄像机同时对周围环境中的视频与声音信号进行检测，从而扩大了监控范围，提高了摄像机监控的可靠性，通过音视频检测的集成极大地简化了监控系统的复杂度，节省了人力物力成本，提升了监控系统稳定性。其中，音频啸叫检测方法简单，不受到摄像机系统CPU处理能力的限制，因此提升了本发明的适应性。

附图说明

图1是音频啸叫检测方法流程图；

图2是音频啸叫检测中缓存连续声音信号方法流程图；

图3是视频监控系统的结构图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述。

本发明实施例提供了一种音频啸叫检测方法，如图1所示，包括以下步骤：

S1、获取每帧声音信号的能量均值A_X，并根据能量均值A_X计算该帧的能量特征值D_X，其中，

$A_X=\frac{\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\left|{\mathrm{sample}}_{\left[i\right]}\right|}{m}$

m为每帧声音的采样个数，sample_[i]为每个采样信号的能量；

S2、缓存连续n帧声音信号的能量特征值D_X[0]～D_X[n-1]，找出最大值D_Xmax作为尖峰信号值，并计算除尖峰信号值以外的其它能量特征值的均值D_Xavg，其中，

$D_{\mathrm{Xavg}}=\frac{{\mathrm{\Σ}}_{j=0}^{n-1}{D}_{X\left[j\right]}-D_{X\max }}{n-1};$

S3、计算尖峰信号值D_Xmax与D_Xavg的偏移值d_alarmaffset，其中，d_alarmaffset＝D_Xmax-D_Xavg；

S4、将偏移值d_alarmaffset与预设的报警阈值d_th进行比较，若所述偏移值d_alarmaffset大于报警阈值d_th，则判定所述尖峰信号为异常信号，否则，未检测出异常信号。

S2中缓存连续n帧声音信号的方法如图2所示，具体为：

若为首次缓存，则缓存连续n帧声音信号的能量特征值D_X[0]～D_X[n-1]；

若非首次缓存，则去除上一次缓存数据中的首个声音信号的能量特征值D_X[0]，将上一次缓存数据中的D_X[1]～D_X[n-1]作为本次缓存数据中的D_X[0]～D_X[n-2]，并在本次缓存数据中加入新的能量特征值D_X[n-1]，得到本次缓存的能量特征值D_X[0]～D_X[n-1]，所述新的能量特征值D_X[n-1]为上一次缓存数据中的能量特征值D_X[n-1]对应的声音信号的下一帧声音信号的能量特征值。

一种视频监控方法，采用上述的音频啸叫检测方法进行音频检测，包括以下内容：

1)实时采集视频数据；找出视频数据中的异常行为，根据所述异常行为生成异常行为特征数据，所述异常行为特征数据包含异常行为发生时间；

2)实时采集音频数据；找出音频数据中的异常音频，根据所述异常音频生成异常音频特征数据，所述异常音频特征数据包含异常音频发生时间；

3)判断异常行为发生时间与异常音频发生时间是否重叠；若不重叠，则分别对异常行为和异常音频进行普通报警；若重叠，则进行紧急报警。

所述异常行为特征数据包括异常行为发生时间和异常行为发生区域；所述异常音频特征数据包括异常音频发生时间和异常音频能量值。所述视频数据和所述音频数据均带有时间戳。

一种视频监控系统，采用上述视频监控方法，如图3所示，包括位于后端的系统管理平台和集成于摄像机之中的音频采集模块、音频啸叫检测模块、图像采集模块、图像处理模块、码流传输模块和摄像机报警模块，其中，

所述音频采集模块由内置于摄像机的拾音器和音频采集芯片组成，用于实时采集音频数据，为音频数据打时间戳，生成带有时间戳的音频流，并将音频流传输至音频啸叫检测模块和码流传输模块；

所述音频啸叫检测模块对音频流进行啸叫检测，找出音频流中的异常音频，根据所述异常音频生成异常音频特征数据，并将所述异常音频特征数据传输至摄像机报警模块，所述异常音频特征数据包含异常音频发生时间；

所述图像采集模块用于实时采集视频数据，为视频数据打时间戳，生成带有时间戳的视频流，并将视频流传输至图像处理模块和码流传输模块；

所述图像处理模块用于对视频流进行视频分析，找出视频流中的异常行为，根据所述异常行为生成异常行为特征数据，并将异常行为特征数据传输至摄像机报警模块，所述异常行为特征数据包含异常行为发生时间；

摄像机报警模块用于判断异常行为发生时间与异常音频发生时间是否重叠；若不重叠，则分别对异常行为和异常音频进行普通报警；若重叠，则进行紧急报警。所述摄像机报警模块播放报警音乐并生成报警信息，将所述报警信息传输至系统管理平台，所述报警信息包括报警类别、异常行为特征数据和/或异常音频特征数据

码流传输模块将接收的视频流与音频流传输至系统管理平台。

系统管理平台用于实时展示所述视频流、以文件形式存储所述音频流和显示所述报警信息；允许用户对视频监控过程的相关参数进行设置和对视频监控系统进行管理。

进一步地，所述音频啸叫检测模块输出的异常音频特征数据包括异常信号发生时间和异常信号能量值；所述图像处理模块输出的异常行为特征数据包括异常行为发生时间和异常行为发生区域。

进一步地，音频啸叫检测的报警阈值d_th可以预先根据环境和安防要求进行设定，默认有11个不同的阈值。

进一步地，所述拾音器可以根据需求选择外置拾音器，摄像机有可与外置拾音器通讯的接口。

进一步地，所述音频啸叫检测模块和图像处理模块只有检测到异常，才将检测结果传输给摄像机报警模块。

以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (10)

1.一种音频啸叫检测方法，其特征在于，包括以下步骤：

S1、获取每帧声音信号的能量均值A_X，并根据能量均值A_X计算该帧的能量特征值D_X；

S2、缓存连续n帧声音信号的能量特征值D_X[0]～D_X[n-1]，找出最大值D_Xmax作为尖峰信号值，并计算除尖峰信号值以外的其它能量特征值的均值D_Xavg；

S3、计算尖峰信号值D_Xmax与D_Xavg的偏移值d_alarmaffset；

S4、将偏移值d_alarmaffset与预设的报警阈值d_th进行比较，若所述偏移值d_alarmaffset大于报警阈值d_th，则判定所述尖峰信号为异常信号，否则，未检测出异常信号。

2.根据权利要求1所述的一种音频啸叫检测方法，其特征在于，S2中缓存连续n帧声音信号的方法为：

若为首次缓存，则缓存连续n帧声音信号的能量特征值D_X[0]～D_X[n-1]；

若非首次缓存，则去除上一次缓存数据中的首个声音信号的能量特征值D_X[0]，将上一次缓存数据中的D_X[1]～D_X[n-1]作为本次缓存数据中的D_X[0]～D_X[n-2]，并在本次缓存数据中加入新的能量特征值D_X[n-1]，得到本次缓存的能量特征值D_X[0]～D_X[n-1]，所述新的能量特征值D_X[n-1]为上一次缓存数据中的能量特征值D_X[n-1]对应的声音信号的下一帧声音信号的能量特征值。

3.一种基于权利要求1或2所述的音频啸叫检测方法的视频监控方法，其特征在于，包括以下内容：

1)实时采集视频数据；找出视频数据中的异常行为，根据所述异常行为生成异常行为特征数据，所述异常行为特征数据包含异常行为发生时间；

2)实时采集音频数据；找出音频数据中的异常音频，根据所述异常音频生成异常音频特征数据，所述异常音频特征数据包含异常音频发生时间；

3)判断异常行为发生时间与异常音频发生时间是否重叠；若不重叠，则分别对异常行为和异常音频进行普通报警；若重叠，则进行紧急报警。

4.根据权利要求3所述的方法，其特征在于，所述异常行为特征数据包括异常行为发生时间和异常行为发生区域；所述异常音频特征数据包括异常音频发生时间和异常音频能量值。

5.根据权利要求3或4所述的方法，其特征在于，所述视频数据和所述音频数据均带有时间戳。

6.一种视频监控系统，其特征在于，包括集成于摄像机之中的音频采集模块、音频啸叫检测模块、图像采集模块、图像处理模块和摄像机报警模块，其中，

所述音频采集模块由内置于摄像机的拾音器和音频采集芯片组成，用于实时采集音频数据，为音频数据打时间戳，生成带有时间戳的音频流，并将音频流传输至音频啸叫检测模块；

所述音频啸叫检测模块对音频流进行啸叫检测，找出音频流中的异常音频，根据所述异常音频生成异常音频特征数据，并将所述异常音频特征数据传输至摄像机报警模块，所述异常音频特征数据包含异常音频发生时间；

所述图像采集模块用于实时采集视频数据，为视频数据打时间戳，生成带有时间戳的视频流，并将视频流传输至图像处理模块；

所述图像处理模块用于对视频流进行视频分析，找出视频流中的异常行为，根据所述异常行为生成异常行为特征数据，并将异常行为特征数据传输至摄像机报警模块，所述异常行为特征数据包含异常行为发生时间；

摄像机报警模块用于判断异常行为发生时间与异常音频发生时间是否重叠；若不重叠，则分别对异常行为和异常音频进行普通报警；若重叠，则进行紧急报警。

7.根据权利要求6所述的一种视频监控系统，其特征在于，还包括位于后端的系统管理平台和位于摄像机中的码流传输模块，其中，

音频采集模块将音频流传输至码流传输模块，图像采集模块将视频流传输至码流传输模块，码流传输模块将所述音频流与视频流传输至系统管理平台；

摄像机报警模块生成报警信息，将所述报警信息传输至系统管理平台，所述报警信息包括报警类别、异常行为特征数据和/或异常音频特征数据；

系统管理平台用于实时展示所述视频流、以文件形式存储所述音频流和显示所述报警信息。

8.根据权利要求6或7所述的一种视频监控系统，其特征在于，所述音频啸叫检测模块输出的异常音频特征数据包括异常信号发生时间和异常信号能量值；所述图像处理模块输出的异常行为特征数据包括异常行为发生时间和异常行为发生区域。

9.根据权利要求6-8所述的一种视频监控系统，其特征在于，音频啸叫检测的报警阈值d_th可以预先根据环境和安防要求进行设定。

10.根据权利要求6-9所述的一种视频监控系统，其特征在于，所述拾音器可以根据需求选择外置拾音器，摄像机中有与外置拾音器通讯的接口。