CN105205728B - 一种面向电力机房监控的音视频融合检测方法 - Google Patents
一种面向电力机房监控的音视频融合检测方法 Download PDFInfo
- Publication number
- CN105205728B CN105205728B CN201510526775.7A CN201510526775A CN105205728B CN 105205728 B CN105205728 B CN 105205728B CN 201510526775 A CN201510526775 A CN 201510526775A CN 105205728 B CN105205728 B CN 105205728B
- Authority
- CN
- China
- Prior art keywords
- audio
- video
- indicator light
- fusion
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 34
- 238000001514 detection method Methods 0.000 title claims abstract description 27
- 238000012544 monitoring process Methods 0.000 title claims abstract description 15
- 239000013598 vector Substances 0.000 claims abstract description 21
- 230000002547 anomalous effect Effects 0.000 claims abstract description 11
- 238000000605 extraction Methods 0.000 claims abstract description 10
- 238000000034 method Methods 0.000 claims abstract description 7
- 230000011218 segmentation Effects 0.000 claims description 8
- 230000005484 gravity Effects 0.000 claims description 6
- 230000007797 corrosion Effects 0.000 claims description 3
- 238000005260 corrosion Methods 0.000 claims description 3
- 238000007500 overflow downdraw method Methods 0.000 claims description 3
- 230000009286 beneficial effect Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 238000007689 inspection Methods 0.000 description 2
- 239000000155 melt Substances 0.000 description 2
- 238000002156 mixing Methods 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 206010016256 fatigue Diseases 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种面向电力机房监控的音视频融合检测方法，检测方法的具体检测步骤为：分为四个步骤；音频、视频数据的特征提取；对于监控区音频，采用梅尔频率倒谱系数对音频异常事件进行检测；以1.8秒为一个单位进行特征选取；对于得到的视频特征向量与音频特征特征向量。本发明的有益效果：能自动对电力机房重点区域进行安全事件检测，整个过程自动完成，无需过多的人工交互；针对电力机房环境嘈杂的情况，能较为准确的检测出异常事件的发生。
Description
技术领域
本发明涉及一种检测方法，尤其涉及一种面向电力机房监控的音视频融合检测方法。
背景技术
电力作为国家经济发展的支柱型能源，其安全保障工作十分重要。目前，为了保障电力企业内部的财产安全，我国电力企业通常会在供电机房的不同位置安装音视频监控设备来检测可能发生的异常事件。然而现在大多数的音视频监控系统功能单一，只是简单地采集音视频信息，并将数据传输到中央控制室，而对这些数据没有实时有效的异常事件检测手段。异常事件发生后，监控人员通常需要花费大量时间回播音视频历史数据来定位异常事件，从而实现电力机房的安全监控。由于音视频数据规模大，而人具有疲劳性，因此监控人员难以在长时间内可靠地完成音视频数据的检测工作；此外，如果异常事件发生在监控人员离开的时候，同时又没有及时可靠的预警措施，则会对电力企业造成巨大的损失。针对电力机房环境嘈杂的情况，不能准确的检测出异常事件的发生。
发明内容
为了解决上述技术所存在的不足之处，本发明提供了一种面向电力机房监控的音视频融合检测方法。
为了解决以上技术问题，本发明采用的技术方案是：一种面向电力机房监控的音视频融合检测方法，检测方法的具体检测步骤为：
步骤A：视频数据的特征提取，分为A1、A2和A3三个步骤；
步骤A1，对于监控区视频，选定视频中待监控的指示灯区域，采用以下滤噪算法公式，对指示灯图像中每个像素点的色彩进行非线性变化，得到滤噪后的指示灯图像；
其中，Ir，Ig，Ib分别为原图像的红、绿、蓝三个通道，J为对应位置输出的单通道图像，λ为调节参数；
步骤A2，根据步骤A1得到滤噪后的指示灯图像，利用指示灯与背景的自动分割阈值k，对监控区视频中指示灯与背景区域进行二值化，采用以下公式，基于灰度直方图的最大类间方差方法获取监控区视频中指示灯与背景的自动分割阈值，得到指示灯图像；
其中，ut为指示灯背景区域图像的灰度期望；wi为指示灯图像中所有像素值落在[0，i]范围内概率和；(1-wi)为所有像素值落在[i，255]范围内概率和，使除式取最大值的i值为k；
步骤A3，对步骤A2中得到的指示灯图像，通过腐蚀膨胀算法和otsu算法将图像进行阈值分割，将图像中残余杂点过滤掉；
然后，求滤噪图像中白色区域内每个点到白色区域重心的距离，以最长距离的2.5倍为边长，以白色区域重心为中心，将所得正方形区域作为机房指示灯特征提取的范围；
采用局部区域统计直方图，对上述白色区域范围的指示灯图像进行灰度直方图统计，并作为指示灯图像的视频特征；
步骤B，对于监控区音频，采用梅尔频率倒谱系数对音频异常事件进行检测，以1.8秒为一个单位进行特征选取，音频MFCC参数提取的帧长为20ms，帧移为10ms，对音频特征以50ms间隔进行抽取，获得72维音频特征向量；
步骤C，对于视频特征，以1.8秒为一个单位进行特征选取；将1.8秒内所有指示灯图片的直方图进行平均，得到16维视频特征。然后，将72维音频特征和16维视频特征进行组合，得到88维特征向量；
步骤D，对于得到的视频特征向量与音频特征特征向量，采用音视频单通道检测以及特征层融合和决策层融合等融合方法进行比较，如图4所示。其中决策层融合采用“与”决策融合和“或”决策融合两种融合策略：“与”决策融合是指当且仅当音视频分类结果均为正样本即需报警时，融合结果为正；而“或”决策融合是指音视频分类结果中存在正样本时，融合结果即为正。
本发明的有益效果：
1、能自动对电力机房重点区域进行安全事件检测，整个过程自动完成，无需过多的人工交互；
2、针对电力机房环境嘈杂的情况，能较为准确的检测出异常事件的发生。
附图说明
下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1是本发明的流程图。
图2是指示灯亮时选定区域图像的统计直方图。
图3是指示灯灭时选定区域图像的统计直方图。
图4是本发明中进行比较的几种音视频检测和融合算法示意图。
图5、图6分别是基于漏检率和误检率两项指标的实验结果对比图。
具体实施方式
如图1所示，本发明包括提取监控区域视频特征向量、提取监控区域音频特征向量和将视频特征向量和音频特征向量进行融合处理的步骤；其具体检测步骤如下：
步骤A：视频数据的特征提取，分为A1、A2和A3三个步骤；
步骤A1，对于监控区视频，选定视频中待监控的指示灯区域，采用以下滤噪算法公式，对指示灯图像中每个像素点的色彩进行非线性变化，得到滤噪后的指示灯图像；
其中，Ir，Ig，Ib分别为原图像的红、绿、蓝三个通道，J为对应位置输出的单通道图像，λ为调节参数。
步骤A2，根据步骤A1得到滤噪后的指示灯图像，利用指示灯与背景的自动分割阈值k，对监控区视频中指示灯与背景区域进行二值化，采用以下公式，基于灰度直方图的最大类间方差方法获取监控区视频中指示灯与背景的自动分割阈值，得到指示灯图像；
其中，ut为指示灯背景区域图像的灰度期望；wi为指示灯图像中所有像素值落在[0，i]范围内概率和；(1-wi)为所有像素值落在[i，255]范围内概率和，使除式取最大值的i值为k；
步骤A3，对步骤A2中得到的指示灯图像，通过腐蚀膨胀算法和otsu算法将图像进行阈值分割，将图像中残余杂点过滤掉。
然后，求滤噪图像中白色区域内每个点到白色区域重心的距离，以最长距离的2.5倍为边长，以白色区域重心为中心，将所得正方形区域作为机房指示灯特征提取的范围。
如图2、图3所示，采用局部区域统计直方图，对上述白色区域范围的指示灯图像进行灰度直方图统计，并作为指示灯图像的视频特征。
步骤B，对于监控区音频，采用梅尔频率倒谱系数对音频异常事件进行检测，以1.8秒为一个单位进行特征选取，音频MFCC参数提取的帧长为20ms，帧移为10ms，对音频特征以50ms间隔进行抽取，获得72维音频特征向量；
步骤C，对于视频特征，以1.8秒为一个单位进行特征选取；将1.8秒内所有指示灯图片的直方图进行平均，得到16维视频特征。然后，将72维音频特征和16维视频特征进行组合，得到88维特征向量。
步骤D，对于得到的视频特征向量与音频特征特征向量，采用音视频单通道检测以及特征层融合和决策层融合等融合方法进行比较，如图4所示。其中决策层融合采用“与”决策融合和“或”决策融合两种融合策略：“与”决策融合是指当且仅当音视频分类结果均为正样本(需报警)时，融合结果为正；而“或”决策融合是指音视频分类结果中存在正样本时，融合结果即为正。
本发明的有益效果通过下述实验进行证明：
实验选取了5个小时的录像采集数据，其中正样本5000例，负样本5000例。两种样本数据在采集的过程中都受到了环境光和背景噪声的干扰。
使用80％的样本作为训练样本，20％的样本作为测试样本，利用SVM实现分类检测。基于漏检率和误检率两项指标的实验结果对比图，其中1～5依次代表音频单通道检测，视频单通道检测，“与”决策融合，“或”决策融合和音视频特征融合检测方法。由图5、图6所示，基于音视频特征层融合算法可明显降低漏检率，保证了检测系统的安全性，同时也能确保较低的误检率，是一种安全有效的检测方法。
下表是实验所采用的正负样本中包含的数据类型：
本发明基于传统的图像处理与信号处理方法，在音视频融合检测的过程中，利用监控区域彩色图像非线性变换和otsu自动阈值分割技术，实现指示灯定位，并采用局部区域统计直方图提取出视频特征向量；对于监控区域音频，采用连续多帧梅尔倒谱系数，建立监控区域的声音特征向量；融合阶段，将连续多帧的音视频特征向量进行融合并对其做PCA降维处理，然后借助支持向量机针对不同安全事件进行分类，实现电力机房的安全事件监控。
上述实施方式并非是对本发明的限制，本发明也并不仅限于上述举例，本技术领域的技术人员在本发明的技术方案范围内所做出的变化、改型、添加或替换，也均属于本发明的保护范围。
Claims (1)
1.一种面向电力机房监控的音视频融合检测方法，其特征在于：所述检测方法的具体检测步骤为：
步骤A：视频数据的特征提取，分为A1、A2和A3三个步骤；
步骤A1，对于监控区视频，选定视频中待监控的指示灯区域，采用以下滤噪算法公式，对指示灯图像中每个像素点的色彩进行非线性变化，得到滤噪后的指示灯图像；
其中，Ir，Ig，Ib分别为原图像的红、绿、蓝三个通道，J为对应位置输出的单通道图像，λ为调节参数；
步骤A2，根据步骤A1得到滤噪后的指示灯图像，利用指示灯与背景的自动分割阈值k，对监控区视频中指示灯与背景区域进行二值化，采用以下公式，基于灰度直方图的最大类间方差方法获取监控区视频中指示灯与背景的自动分割阈值，得到指示灯图像；
其中，ut为指示灯背景区域图像的灰度期望；wi为指示灯图像中所有像素值落在[0，i]范围内概率和；(1-wi)为所有像素值落在[i，255]范围内概率和，使除式取最大值的i值为k；
步骤A3，对步骤A2中得到的指示灯图像，通过腐蚀膨胀算法和otsu算法将图像进行阈值分割，将图像中残余杂点过滤掉；
然后，求滤噪图像中白色区域内每个点到白色区域重心的距离，以最长距离的2.5倍为边长，以白色区域重心为中心，将所得正方形区域作为机房指示灯特征提取的范围；
采用局部区域统计直方图，对上述白色区域范围的指示灯图像进行灰度直方图统计，并作为指示灯图像的视频特征；
步骤B，对于监控区音频，采用梅尔频率倒谱系数对音频异常事件进行检测，以1.8秒为一个单位进行特征选取，音频MFCC参数提取的帧长为20ms，帧移为10ms，对音频特征以50ms间隔进行抽取，获得72维音频特征向量；
步骤C，对于视频特征，以1.8秒为一个单位进行特征选取；将1.8秒内所有指示灯图片的直方图进行平均，得到16维视频特征；然后，将72维音频特征和16维视频特征进行组合，得到88维特征向量；
步骤D，对于得到的视频特征向量与音频特征特征向量，采用音视频单通道检测以及特征层融合和决策层融合的融合方法进行比较；其中决策层融合采用“与”决策融合和“或”决策融合两种融合策略：“与”决策融合是指当且仅当音视频分类结果均为正样本即需报警时，融合结果为正；而“或”决策融合是指音视频分类结果中存在正样本时，融合结果即为正。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510526775.7A CN105205728B (zh) | 2015-08-26 | 2015-08-26 | 一种面向电力机房监控的音视频融合检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510526775.7A CN105205728B (zh) | 2015-08-26 | 2015-08-26 | 一种面向电力机房监控的音视频融合检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105205728A CN105205728A (zh) | 2015-12-30 |
| CN105205728B true CN105205728B (zh) | 2019-06-28 |
Family
ID=54953391
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510526775.7A Active CN105205728B (zh) | 2015-08-26 | 2015-08-26 | 一种面向电力机房监控的音视频融合检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105205728B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109327328A (zh) * | 2018-08-27 | 2019-02-12 | 深圳前海达闼云端智能科技有限公司 | 监管方法、装置、系统、云端服务器及存储介质 |
| CN109754390B (zh) * | 2018-12-11 | 2023-04-07 | 西北大学 | 一种基于混合视觉特征的无参考图像质量评价方法 |
| CN110519637B (zh) * | 2019-08-27 | 2021-05-18 | 西北工业大学 | 基于音频视频监控结合的异常监测方法 |
| CN112233683B (zh) * | 2020-09-18 | 2023-10-13 | 江苏大学 | 一种汽车电动后视镜异响检测方法及检测系统 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104144328A (zh) * | 2014-07-31 | 2014-11-12 | 中国人民解放军63908部队 | 一种智能视频监控方法 |
-
2015
- 2015-08-26 CN CN201510526775.7A patent/CN105205728B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104144328A (zh) * | 2014-07-31 | 2014-11-12 | 中国人民解放军63908部队 | 一种智能视频监控方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105205728A (zh) | 2015-12-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105205728B (zh) | 一种面向电力机房监控的音视频融合检测方法 | |
| CN102799863B (zh) | 视频监控中的团体人群异常行为检测方法 | |
| WO2018130016A1 (zh) | 一种基于监控视频的停车检测方法及装置 | |
| Dedeoglu et al. | Real-time fire and flame detection in video | |
| CN108447219A (zh) | 基于视频图像的火灾检测系统及方法 | |
| CN107133564B (zh) | 一种工装工帽检测方法 | |
| CN106056079B (zh) | 一种图像采集设备及人脸五官的遮挡检测方法 | |
| CN107915102B (zh) | 一种基于视频分析的电梯遮挡门行为的检测系统及检测方法 | |
| CN105160297B (zh) | 基于肤色特征的蒙面人事件自动检测方法 | |
| CN103873825A (zh) | 一种atm智能监控系统及方法 | |
| CN103108159A (zh) | 一种电力智能视频分析监控系统和方法 | |
| CN103986906B (zh) | 基于监控视频的开关门检测方法 | |
| CN105516652B (zh) | 一种智能化校园路灯照明系统 | |
| CN109867186B (zh) | 一种基于智能视频分析技术的电梯困人检测方法及系统 | |
| CN107103300B (zh) | 一种离岗检测方法及系统 | |
| CN110490126B (zh) | 一种基于人工智能的保险柜安全管控系统 | |
| CN108230607B (zh) | 一种基于区域特征分析的图像火灾探测方法 | |
| CN104144328A (zh) | 一种智能视频监控方法 | |
| Dong et al. | Camera anomaly detection based on morphological analysis and deep learning | |
| CN110516568A (zh) | 一种基于人脸识别的高校多场景数据管理方法及系统 | |
| CN105957300A (zh) | 一种智慧金睛识别可疑张贴遮蔽报警方法和装置 | |
| CN108898098A (zh) | 基于监控平台的早期视频烟雾检测方法 | |
| CN110211316B (zh) | 一种监控预警方法和系统 | |
| CN114708537A (zh) | 一种基于多视角的复杂场所异常行为分析系统及分析方法 | |
| CN114500950A (zh) | 基于智慧城市的箱体异常状态检测系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |