CN110176117A - 一种基于行为识别技术的监控装置及监控方法 - Google Patents
一种基于行为识别技术的监控装置及监控方法 Download PDFInfo
- Publication number
- CN110176117A CN110176117A CN201910523382.9A CN201910523382A CN110176117A CN 110176117 A CN110176117 A CN 110176117A CN 201910523382 A CN201910523382 A CN 201910523382A CN 110176117 A CN110176117 A CN 110176117A
- Authority
- CN
- China
- Prior art keywords
- face
- computer
- behavior
- monitoring
- database
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
- G08B13/19608—Tracking movement of a target, e.g. by detecting an object predefined as a target, using target direction and or velocity to predict its new position
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19663—Surveillance related processing done local to the camera
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19665—Details related to the storage of video surveillance data
- G08B13/19669—Event triggers storage or change of storage policy
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification
Abstract
本发明公开了一种基于行为识别技术的监控装置,包括计算机、行为识别模块、人脸识别模块、报警模块、声音识别模块、监控摄像头和毫米波雷达、第一数据库和第二数据库,计算机和行为识别模块设置有嵌入式神经网络处理器,计算机接收其他模块得到的信息,行为识别模块识别正常行为和异常行为,人脸识别模块识别人脸特征,第一数据库存储第一行为识别结果,第二数据库存储第二行为识别结果,监控摄像头录制监控视频,声音识别模块记录并识别音频,毫米波雷达确定目标数量和成像,嵌入式神经网络处理器快速处理信息,计算机通过根据音频、第一行为识别结果和第二行为识别结果判断是否存在异常行为,一旦确认为异常行为,那么报警模块启动。
Description
技术领域
本发明涉及一种监控装置及方法,特别是一种基于行为识别技术的监控装置及监控方法。
背景技术
近年来,行为识别越来越被重视,其中监控装置可以通过行为识别判断正常行为和异常行为,最常见的监控装置是计算机通过监控摄像头实时行为识别,计算机通过模拟物体的运动轮廓,查找数据库实现行为识别,虽然具有一定的效果,但是识别准确率低。
发明内容
为了克服现有技术的不足,本发明提供一种识别准确率高、行为识别速度快的基于行为识别技术的监控装置及监控方法。
本发明解决其技术问题所采用的技术方案是:
一种基于行为识别技术的监控装置,包括计算机,所述计算机设置有第一数据库,所述计算机连接有服务器、冗余模块、行为识别模块、人脸识别模块和报警模块,所述行为识别模块设置有第二数据库,所述行为识别模块连接有声音识别模块、监控摄像头、微型传感器和毫米波雷达,所述计算机和行为识别模块均设置有嵌入式神经网络处理器。
所述第一数据库包括第二行为识别结果数据库、颜色信息数据库、语音信息数据库、人脸信息数据库、人脸识别结果数据库和备份文件数据库。
所述第二数据库包括第一行为识别结果数据库。
所述人脸识别模块包括距离感应器、红外镜头、补光灯和点阵投影器。
所述微型传感器包括红外线传感器和颜色识别传感器。
一种由上述的基于行为识别技术的监控装置的监控方法,该监控方法用于识别每一个对象的行为、音频、人脸信息等特征数据,一旦发生异常情况则启动报警模块,每一个对象的特征数据均以相同的编号值存储在每一个数据库中,或者先提取其中一个数据库的其中一个编号值作为某个对象的编号值,再以该编号值作为某个函数的输入从而映射出该对象的其它数据在其它数据库中的编号值,所述计算机安装有人像建模软件,模拟软件,具体实施步骤如下:
步骤1:监控设备初始化,若干台监控摄像头和一台计算机作为一套监控系统,每个区域至少配备有三套所述监控系统,并按批次分别在不同的时间段工作,红外线传感器有多个,并分别设置在多个区域,其中一个红外线传感器一旦检测到任意一个对象,那么马上启动监控装置的剩余部分;
步骤2:录制监控视频及特征数据提取,
a.录制监控视频,所述监控摄像头设置多个并在不同角度和位置录制监控视频,所述监控摄像头把所述监控视频分别传输给所述计算机和行为识别模块,所述计算机把该监控视频存储到计算机的存储器中;
b.确认目标数量并成像,所述毫米波雷达识别多个目标并形成照片,并记录目标数量,并把该照片和目标数量传输给行为识别模块,行为识别模块传输该照片和目标数量给计算机,所述计算机根据该照片和目标数量建立监控分析日志;
c.采集音频并识别音频的信息,所述声音识别模块识别有多个,每一个声音识别模块均设置有编码模块和嵌入式系统,所述声音识别模块先采集音频,所述嵌入式系统将该音频切成时间间隔很小的帧,对于得到的每一帧,所述编码模块对音频编码,输出数字信号,并根据MFCC规则提取音频中的特征进行处理,将其变成一个多维向量,向量中的每一个维度可以看作描述了这帧音频中的一项特征,帧与帧之间会有一定的重叠,通过该嵌入式系统建立声学模型和语言模型,所述声学模型处理所述多维向量,并将相邻的帧组合起来变成音素(如拼音中的声母韵母等),再把所有音素组合成单个单词或汉字,最后把识别出来的单词或汉字组合成完整的文字信息,语言模型则用来调整声学模型所得到的不合逻辑的字词,使识别结果变得正确通顺,所述声音识别模块识别后把该音频和文字信息均传输给所述计算机,所述计算机把该音频存储到计算机的存储器中,文字信息存入语音信息数据库中,所述计算机的嵌入式神经网络处理器理解文字信息,并判断该文字信息是是否具有违法或者犯罪倾向的信息;
d.颜色特征识别,
以步骤2的照片为参考物,所述颜色识别传感器识别照片中每一个对象的颜色特征,所述颜色特征包括发色、人脸颜色、眼珠颜色、身体皮肤颜色和衣服颜色等,从而根据所述颜色特征区别每一个对象,并把所述颜色特征存入所述颜色信息数据库;
f.记录运动轨迹,
所述计算机通过视频剪辑软件把监控视频切成时间间隔很小的帧,并且根据所述监控视频对每一个对象的运动轨迹描边,并记录运动轨迹,建立行为模型;
g.人脸特征识别和人脸3D模型建立,
所述人脸识别模块直接识别每一个对象的脸部特征,并重点识别每一个对象的脸部轮廓,其中所述距离感应器检测所述距离感应器和人脸之间的距离,所述点阵投影器向人脸发射由无数个点组成的点阵初步识别脸部特征,所述红外镜头识别所述点阵投影器发出的点阵从而识别脸部特征,所述补光灯补充人脸识别时所需要的光照,所述人脸识别模块把所述脸部特征传输给所述计算机,所述计算机运行人像建模软件,并根据脸部特征建立人脸3D模型,并且把建立后的人脸3D模型与步骤3测得的发色、人脸颜色、眼珠颜色一一对比,从而减少误差,该步骤重复的次数至少多于所述目标数量;
h.行为识别,
所述行为识别模块根据所述监控视频和音频识别行为,并把该行为识别结果作为第一行为识别结果存入到所述第一行为识别数据库(即第二行为数据库)中;
i.备份文件建立,
所述计算机把监控视频、音频和照片均打包压缩后存入备份文件数据库;
步骤3:行为判断,
a.对象身份确认,
所述计算机把所述脸部特征与人脸信息数据库的数据一一对比确认每一个对象的身份信息,所述人脸信息数据库中最符合的人脸图像作为每一个对象的身份信息识别结果,并把所述身份信息识别结果存入所述人脸识别结果数据库,计算机根据所述身份信息识别结果,从而确定是否为危险分子,否则把该脸部特征作为一个新的数据存入到人脸信息数据库中,并把所述身份信息识别结果存入所述人脸识别结果数据库,如果确认为危险分子,启动所述报警模块;
b.行为模拟,
所述计算机运行模拟软件建立一个模拟环境,并且把步骤2的音频、人脸3D模型和行为模型组合成一个3D对象模型,并保存到服务器,从而所述计算机的嵌入式神经网络处理器判断该3D对象模型是否存在异常行为,并把识别结果作为第二行为识别结果记录,一旦发现是异常行为,那么马上启动报警模块;
c.结果对比,
工作人员根据所述监控视频和音频总结得出第三行为判断结果,并将所述第三行为判断结果与第一行为识别结果和第二行为识别结果对比,从而确定第一行为识别结果和第二行为识别结果是否准确,如果不准确,则重复步骤2和步骤3,否则不需要重复步骤2和步骤3。
本发明的有益效果是:本发明的计算机接收其他模块的信息,冗余模块防止行为识别模块、人脸识别模块、报警模块、声音识别模块、监控摄像头、微型传感器和毫米波雷达任意一个无法工作时,作为备用模块使用,控摄像头录制监控视频,声音识别模块记录并识别音频,微型传感器作为获取更多信息,毫米波雷达确定目标数量和成像,人脸识别模块识别人脸特征,行为识别模块通过行为识别模块的嵌入式神经网络处理器根据监控视频和音频识别正常行为和异常行为,并把识别结果作为第一行为识别结果,第二数据库存储行为识别模块的第一行为识别结果,一旦发现异常行为,行为识别模块马上向计算机发出警报请求信息,计算机的嵌入式神经网络处理器根据人脸特征、音频、监控视频、目标数量和成像识别正常行为和异常行为,并把识别结果作为第二行为识别结果,一旦发现异常行为,那么计算机启动报警模块,且第一行为识别结果与第二行为识别结果对比,从而改进行为识别模块和计算机的识别算法。
附图说明
下面结合附图和实施例对本发明进一步说明。
图1是本发明的原理框图。
具体实施方式
参照图1,一种基于行为识别技术的监控装置,包括计算机,所述计算机设置有第一数据库,所述计算机连接有服务器、冗余模块、行为识别模块、人脸识别模块和报警模块,所述行为识别模块设置有第二数据库,所述行为识别模块连接有声音识别模块、监控摄像头、微型传感器和毫米波雷达,所述计算机和行为识别模块均设置有嵌入式神经网络处理器,计算机接收其他模块的信息,冗余模块防止行为识别模块、人脸识别模块、报警模块、声音识别模块、监控摄像头、微型传感器和毫米波雷达任意一个无法工作时,作为备用模块使用,控摄像头录制监控视频,声音识别模块记录并识别音频,微型传感器作为获取更多信息,毫米波雷达确定目标数量和成像,人脸识别模块识别人脸特征,行为识别模块通过行为识别模块的嵌入式神经网络处理器根据监控视频和音频识别正常行为和异常行为,并把识别结果作为第一行为识别结果,第二数据库存储所述行为识别模块的第一行为识别结果(具体来说,所述第二行为识别结果数据库存储所述行为识别模块的第一行为识别结果),一旦发现异常行为,行为识别模块马上向计算机发出警报请求信息,计算机的嵌入式神经网络处理器根据人脸特征、音频、监控视频、目标数量和成像识别正常行为和异常行为,并把识别结果作为第二行为识别结果,一旦发现异常行为,那么计算机启动报警模块,且第一行为识别结果与第二行为识别结果对比,从而改进行为识别模块和计算机的识别算法,所述嵌入式神经网络处理器的型号均为VC0758。
所述第一数据库包括第二行为识别结果数据库、颜色信息数据库、语音信息数据库、人脸信息数据库、人脸识别结果数据库和备份文件数据库。
所述第二数据库包括第一行为识别结果数据库。
所述人脸识别模块包括距离感应器、红外镜头、补光灯和点阵投影器。
所述微型传感器包括红外线传感器和颜色识别传感器。
一种由上述的基于行为识别技术的监控装置的监控方法,该监控方法用于识别每一个对象的行为、音频、人脸信息等特征数据,一旦发生异常情况则启动报警模块,每一个对象的特征数据均以相同的编号值存储在每一个数据库中,或者先提取其中一个数据库的其中一个编号值作为某个对象的编号值,再以该编号值作为某个函数的输入从而映射出该对象的其它数据在其它数据库中的编号值(该函数存储在计算机的存储器中),所述计算机安装有人像建模软件,模拟软件,具体实施步骤如下:
步骤1:监控设备初始化,若干台监控摄像头和一台计算机作为一套监控系统,每个区域至少配备有三套所述监控系统,并按批次分别在不同的时间段工作,红外线传感器有多个,并分别设置在多个区域,其中一个红外线传感器一旦检测到任意一个对象,那么马上启动监控装置的剩余部分;
步骤2:录制监控视频及特征数据提取,
a.录制监控视频,所述监控摄像头设置多个并在不同角度和位置录制监控视频,所述监控摄像头把所述监控视频分别传输给所述计算机和行为识别模块,所述计算机把该监控视频存储到计算机的存储器中;
b.确认目标数量并成像,所述毫米波雷达识别多个目标并形成照片,并记录目标数量,并把该照片和目标数量传输给行为识别模块,行为识别模块传输该照片和目标数量给计算机,所述计算机根据该照片和目标数量建立监控分析日志;
c.采集音频并识别音频的信息,所述声音识别模块识别有多个,每一个声音识别模块均设置有编码模块和嵌入式系统,所述声音识别模块先采集音频,所述嵌入式系统将该音频切成时间间隔很小的帧,对于得到的每一帧,所述编码模块对音频编码,输出数字信号,并根据MFCC规则提取音频中的特征进行处理,将其变成一个多维向量,向量中的每一个维度可以看作描述了这帧音频中的一项特征,帧与帧之间会有一定的重叠,通过该嵌入式系统建立声学模型和语言模型,所述声学模型处理所述多维向量,并将相邻的帧组合起来变成音素(如拼音中的声母韵母等),再把所有音素组合成单个单词或汉字,最后把识别出来的单词或汉字组合成完整的文字信息,语言模型则用来调整声学模型所得到的不合逻辑的字词,使识别结果变得正确通顺,所述声音识别模块识别后把该音频和文字信息均传输给所述计算机,所述计算机把该音频存储到计算机的存储器中,文字信息存入语音信息数据库中,所述计算机的嵌入式神经网络处理器理解文字信息,并判断该文字信息是是否具有违法或者犯罪倾向的信息;
d.颜色特征识别,
以步骤2的照片为参考物,所述颜色识别传感器识别照片中每一个对象的颜色特征,所述颜色特征包括发色、人脸颜色、眼珠颜色、身体皮肤颜色和衣服颜色等,从而根据所述颜色特征区别每一个对象,并把所述颜色特征存入所述颜色信息数据库;
f.记录运动轨迹,
所述计算机通过视频剪辑软件把监控视频切成时间间隔很小的帧,并且根据所述监控视频对每一个对象的运动轨迹描边,并记录运动轨迹,建立行为模型;
g.人脸特征识别和人脸3D模型建立,
所述人脸识别模块直接识别每一个对象的脸部特征,并重点识别每一个对象的脸部轮廓,其中所述距离感应器检测所述距离感应器和人脸之间的距离,所述点阵投影器向人脸发射由无数个点组成的点阵初步识别脸部特征,所述红外镜头识别所述点阵投影器发出的点阵从而识别脸部特征,所述补光灯补充人脸识别时所需要的光照,所述人脸识别模块把所述脸部特征传输给所述计算机,所述计算机运行人像建模软件,并根据脸部特征建立人脸3D模型,并且把建立后的人脸3D模型与步骤3测得的发色、人脸颜色、眼珠颜色一一对比,从而减少误差,该步骤重复的次数至少多于所述目标数量;
h.行为识别,
所述行为识别模块根据所述监控视频和音频识别行为,并把该行为识别结果作为第一行为识别结果存入到所述第一行为识别数据库中;
i.备份文件建立,
所述计算机把监控视频、音频和照片均打包压缩后存入备份文件数据库;
步骤3:行为判断,
a.对象身份确认,
所述计算机把所述脸部特征与人脸信息数据库的数据一一对比确认每一个对象的身份信息,所述人脸信息数据库中最符合的人脸图像作为每一个对象的身份信息识别结果,并把所述身份信息识别结果存入所述人脸识别结果数据库,计算机根据所述身份信息识别结果,从而确定是否为危险分子,否则把该脸部特征作为一个新的数据存入到人脸信息数据库中,并把所述身份信息识别结果存入所述人脸识别结果数据库,如果确认为危险分子,启动所述报警模块;
b.行为模拟,
所述计算机运行模拟软件建立一个模拟环境,并且把步骤2的音频、人脸3D模型和行为模型组合成一个3D对象模型,并保存到服务器,从而所述计算机的嵌入式神经网络处理器判断该3D对象模型是否存在异常行为,并把识别结果作为第二行为识别结果记录,一旦发现是异常行为,那么马上启动报警模块;
c.结果对比,
工作人员根据所述监控视频和音频总结得出第三行为判断结果,并将所述第三行为判断结果与第一行为识别结果和第二行为识别结果对比,从而确定第一行为识别结果和第二行为识别结果是否准确,如果不准确,则重复步骤2和步骤3,否则不需要重复步骤2和步骤3。
以上的实施方式不能限定本发明创造的保护范围,专业技术领域的人员在不脱离本发明创造整体构思的情况下,所做的均等修饰与变化,均仍属于本发明创造涵盖的范围之内。
Claims (6)
1.一种基于行为识别技术的监控装置,包括计算机,其特征在于所述计算机设置有第一数据库,所述计算机连接有服务器、冗余模块、行为识别模块、人脸识别模块和报警模块,所述行为识别模块设置有第二数据库,所述行为识别模块连接有声音识别模块、监控摄像头、微型传感器和毫米波雷达,所述计算机和行为识别模块均设置有嵌入式神经网络处理器。
2.根据权利要求1所述的基于行为识别技术的监控装置,其特征在于所述第一数据库包括第二行为识别结果数据库、颜色信息数据库、语音信息数据库、人脸信息数据库、人脸识别结果数据库和备份文件数据库。
3.根据权利要求2所述的基于行为识别技术的监控装置,其特征在于所述第二数据库包括第一行为识别结果数据库。
4.根据权利要求3所述的基于行为识别技术的监控装置,其特征在于所述人脸识别模块包括距离感应器、红外镜头、补光灯和点阵投影器。
5.根据权利要求4所述的基于行为识别技术的监控装置,其特征在于所述微型传感器包括红外线传感器和颜色识别传感器。
6.一种由权利要求1到5任一所述的基于行为识别技术的监控装置的监控方法,该监控方法用于识别每一个对象的行为、音频、人脸信息等特征数据,一旦发生异常情况则启动报警模块,每一个对象的特征数据均以相同的编号值存储在每一个数据库中,或者先提取其中一个数据库的其中一个编号值作为某个对象的编号值,再以该编号值作为某个函数的输入从而映射出该对象的其它数据在其它数据库中的编号值,所述计算机安装有人像建模软件,模拟软件,其特征在于:包括以下步骤:
步骤1:监控设备初始化,若干台监控摄像头和一台计算机作为一套监控系统,每个区域至少配备有三套所述监控系统,并按批次分别在不同的时间段工作,红外线传感器有多个,并分别设置在多个区域,其中一个红外线传感器一旦检测到任意一个对象,那么马上启动监控装置的剩余部分;
步骤2:录制监控视频及特征数据提取,
a.录制监控视频,所述监控摄像头设置多个并在不同角度和位置录制监控视频,所述监控摄像头把所述监控视频分别传输给所述计算机和行为识别模块,所述计算机把该监控视频存储到计算机的存储器中;
b.确认目标数量并成像,所述毫米波雷达识别多个目标并形成照片,并记录目标数量,并把该照片和目标数量传输给行为识别模块,行为识别模块传输该照片和目标数量给计算机,所述计算机根据该照片和目标数量建立监控分析日志;
c. 采集音频并识别音频的信息,所述声音识别模块识别有多个,每一个声音识别模块均设置有编码模块和嵌入式系统,所述声音识别模块先采集音频,所述嵌入式系统将该音频切成时间间隔很小的帧,对于得到的每一帧,所述编码模块对音频编码,输出数字信号,并根据MFCC规则提取音频中的特征进行处理,将其变成一个多维向量,向量中的每一个维度可以看作描述了这帧音频中的一项特征,帧与帧之间会有一定的重叠,通过该嵌入式系统建立声学模型和语言模型,所述声学模型处理所述多维向量,并将相邻的帧组合起来变成音素(如拼音中的声母韵母等),再把所有音素组合成单个单词或汉字,最后把识别出来的单词或汉字组合成完整的文字信息,语言模型则用来调整声学模型所得到的不合逻辑的字词,使识别结果变得正确通顺,所述声音识别模块识别后把该音频和文字信息均传输给所述计算机,所述计算机把该音频存储到计算机的存储器中,文字信息存入语音信息数据库中,所述计算机的嵌入式神经网络处理器理解文字信息,并判断该文字信息是是否具有违法或者犯罪倾向的信息;
d. 颜色特征识别,
以步骤2的照片为参考物,所述颜色识别传感器识别照片中每一个对象的颜色特征,所述颜色特征包括发色、人脸颜色、眼珠颜色、身体皮肤颜色和衣服颜色等,从而根据所述颜色特征区别每一个对象,并把所述颜色特征存入所述颜色信息数据库;
f.记录运动轨迹,
所述计算机通过视频剪辑软件把监控视频切成时间间隔很小的帧,并且根据所述监控视频对每一个对象的运动轨迹描边,并记录运动轨迹,建立行为模型;
g.人脸特征识别和人脸3D模型建立,
所述人脸识别模块直接识别每一个对象的脸部特征,并重点识别每一个对象的脸部轮廓,其中所述距离感应器检测所述距离感应器和人脸之间的距离,所述点阵投影器向人脸发射由无数个点组成的点阵初步识别脸部特征,所述红外镜头识别所述点阵投影器发出的点阵从而识别脸部特征,所述补光灯补充人脸识别时所需要的光照,所述人脸识别模块把所述脸部特征传输给所述计算机,所述计算机运行人像建模软件,并根据脸部特征建立人脸3D模型,并且把建立后的人脸3D模型与步骤3测得的发色、人脸颜色、眼珠颜色一一对比,从而减少误差,该步骤重复的次数至少多于所述目标数量;
h.行为识别,
所述行为识别模块根据所述监控视频和音频识别行为,并把该行为识别结果作为第一行为识别结果存入到所述第一行为识别数据库中;
i.备份文件建立,
所述计算机把监控视频、音频和照片均打包压缩后存入备份文件数据库;
步骤3:行为判断,
a.对象身份确认,
所述计算机把所述脸部特征与人脸信息数据库的数据一一对比确认每一个对象的身份信息,所述人脸信息数据库中最符合的人脸图像作为每一个对象的身份信息识别结果,并把所述身份信息识别结果存入所述人脸识别结果数据库,计算机根据所述身份信息识别结果,从而确定是否为危险分子,否则把该脸部特征作为一个新的数据存入到人脸信息数据库中,如果确认为危险分子,启动所述报警模块;
b.行为模拟,
所述计算机运行模拟软件建立一个模拟环境,并且把步骤2的音频、人脸3D模型和行为模型组合成一个3D对象模型,并保存到服务器,从而所述计算机的嵌入式神经网络处理器判断该3D对象模型是否存在异常行为,并把识别结果作为第二行为识别结果记录,一旦发现是异常行为,那么马上启动报警模块;
c.结果对比,
工作人员根据所述监控视频和音频总结得出第三行为判断结果,并将所述第三行为判断结果与第一行为识别结果和第二行为识别结果对比,从而确定第一行为识别结果和第二行为识别结果是否准确,如果不准确,则重复步骤2和步骤3,否则不需要重复步骤2和步骤3。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910523382.9A CN110176117B (zh) | 2019-06-17 | 2019-06-17 | 一种基于行为识别技术的监控装置及监控方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910523382.9A CN110176117B (zh) | 2019-06-17 | 2019-06-17 | 一种基于行为识别技术的监控装置及监控方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110176117A true CN110176117A (zh) | 2019-08-27 |
CN110176117B CN110176117B (zh) | 2023-05-19 |
Family
ID=67697390
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910523382.9A Active CN110176117B (zh) | 2019-06-17 | 2019-06-17 | 一种基于行为识别技术的监控装置及监控方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110176117B (zh) |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110675585A (zh) * | 2019-09-23 | 2020-01-10 | 北京华毅东方展览有限公司 | 一种展会安全控制系统 |
CN110705505A (zh) * | 2019-10-14 | 2020-01-17 | 国网山东省电力公司泰安供电公司 | 一种电力营业厅服务规范智能识别装置、方法及系统 |
CN111353426A (zh) * | 2020-02-28 | 2020-06-30 | 山东浪潮通软信息科技有限公司 | 异常行为的检测方法及装置 |
CN111402532A (zh) * | 2020-03-26 | 2020-07-10 | 海南鸿达盛创网络信息科技有限公司 | 一种综合安防视频管理控制系统 |
CN111414829A (zh) * | 2020-03-13 | 2020-07-14 | 珠海格力电器股份有限公司 | 一种发送报警信息的方法和装置 |
CN111526292A (zh) * | 2020-04-30 | 2020-08-11 | 浙江大华技术股份有限公司 | 音视频混合监控方法、设备及存储装置 |
CN111737309A (zh) * | 2020-05-22 | 2020-10-02 | 深圳市天彦通信股份有限公司 | 用户管理方法及相关产品 |
CN111813062A (zh) * | 2020-06-23 | 2020-10-23 | 北京小米移动软件有限公司 | 智能家居设备控制方法、装置及存储介质 |
CN112351025A (zh) * | 2020-11-03 | 2021-02-09 | 西安热工研究院有限公司 | 一种适用于堡垒机的无人监护系统及其使用方法 |
CN113076772A (zh) * | 2019-12-18 | 2021-07-06 | 广东毓秀科技有限公司 | 基于全模态的异常行为识别方法 |
CN113111866A (zh) * | 2021-06-15 | 2021-07-13 | 深圳市图元科技有限公司 | 一种基于视频分析的智能监控管理系统及方法 |
CN113257056A (zh) * | 2021-05-14 | 2021-08-13 | 焦作大学 | 一种英语教学用口语发声训练装置 |
CN113313899A (zh) * | 2021-02-24 | 2021-08-27 | 温州洪启信息科技有限公司 | 一种基于大数据的安防监控分析处理方法 |
CN113673495A (zh) * | 2021-10-25 | 2021-11-19 | 北京通建泰利特智能系统工程技术有限公司 | 一种基于神经网络的智慧安防方法、系统和可读存储介质 |
CN114666546A (zh) * | 2022-03-24 | 2022-06-24 | 中国铁塔股份有限公司江苏省分公司 | 一种通信铁塔用监控方法、装置及通信铁塔 |
CN116630866A (zh) * | 2023-07-24 | 2023-08-22 | 中电信数字城市科技有限公司 | 音视频雷达融合的异常事件监控方法、装置、设备及介质 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070122003A1 (en) * | 2004-01-12 | 2007-05-31 | Elbit Systems Ltd. | System and method for identifying a threat associated person among a crowd |
US20090222388A1 (en) * | 2007-11-16 | 2009-09-03 | Wei Hua | Method of and system for hierarchical human/crowd behavior detection |
CN101786272A (zh) * | 2010-01-05 | 2010-07-28 | 深圳先进技术研究院 | 一种用于家庭智能监控服务的多感知机器人 |
US20110109539A1 (en) * | 2009-11-10 | 2011-05-12 | Chung-Hsien Wu | Behavior recognition system and method by combining image and speech |
CN103198605A (zh) * | 2013-03-11 | 2013-07-10 | 成都百威讯科技有限责任公司 | 室内突发异常事件报警系统 |
CN103246869A (zh) * | 2013-04-19 | 2013-08-14 | 福建亿榕信息技术有限公司 | 基于人脸识别和行为语音识别的犯罪监控方法 |
CN104023208A (zh) * | 2014-06-05 | 2014-09-03 | 北京小鱼儿科技有限公司 | 一种自动监测与自主反应的装置及方法 |
CN105741467A (zh) * | 2016-04-25 | 2016-07-06 | 美的集团股份有限公司 | 一种安全监控机器人和机器人安全监控方法 |
US20180247504A1 (en) * | 2017-02-27 | 2018-08-30 | Ring Inc. | Identification of suspicious persons using audio/video recording and communication devices |
CN109326073A (zh) * | 2018-09-04 | 2019-02-12 | 重庆工业职业技术学院 | 一种基于多点定位的无线传感器网络安防监控系统 |
-
2019
- 2019-06-17 CN CN201910523382.9A patent/CN110176117B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070122003A1 (en) * | 2004-01-12 | 2007-05-31 | Elbit Systems Ltd. | System and method for identifying a threat associated person among a crowd |
US20090222388A1 (en) * | 2007-11-16 | 2009-09-03 | Wei Hua | Method of and system for hierarchical human/crowd behavior detection |
US20110109539A1 (en) * | 2009-11-10 | 2011-05-12 | Chung-Hsien Wu | Behavior recognition system and method by combining image and speech |
CN101786272A (zh) * | 2010-01-05 | 2010-07-28 | 深圳先进技术研究院 | 一种用于家庭智能监控服务的多感知机器人 |
CN103198605A (zh) * | 2013-03-11 | 2013-07-10 | 成都百威讯科技有限责任公司 | 室内突发异常事件报警系统 |
CN103246869A (zh) * | 2013-04-19 | 2013-08-14 | 福建亿榕信息技术有限公司 | 基于人脸识别和行为语音识别的犯罪监控方法 |
CN104023208A (zh) * | 2014-06-05 | 2014-09-03 | 北京小鱼儿科技有限公司 | 一种自动监测与自主反应的装置及方法 |
CN105741467A (zh) * | 2016-04-25 | 2016-07-06 | 美的集团股份有限公司 | 一种安全监控机器人和机器人安全监控方法 |
US20180247504A1 (en) * | 2017-02-27 | 2018-08-30 | Ring Inc. | Identification of suspicious persons using audio/video recording and communication devices |
CN109326073A (zh) * | 2018-09-04 | 2019-02-12 | 重庆工业职业技术学院 | 一种基于多点定位的无线传感器网络安防监控系统 |
Cited By (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110675585A (zh) * | 2019-09-23 | 2020-01-10 | 北京华毅东方展览有限公司 | 一种展会安全控制系统 |
CN110705505A (zh) * | 2019-10-14 | 2020-01-17 | 国网山东省电力公司泰安供电公司 | 一种电力营业厅服务规范智能识别装置、方法及系统 |
CN113076772A (zh) * | 2019-12-18 | 2021-07-06 | 广东毓秀科技有限公司 | 基于全模态的异常行为识别方法 |
CN111353426A (zh) * | 2020-02-28 | 2020-06-30 | 山东浪潮通软信息科技有限公司 | 异常行为的检测方法及装置 |
CN111414829B (zh) * | 2020-03-13 | 2024-03-15 | 珠海格力电器股份有限公司 | 一种发送报警信息的方法和装置 |
CN111414829A (zh) * | 2020-03-13 | 2020-07-14 | 珠海格力电器股份有限公司 | 一种发送报警信息的方法和装置 |
CN111402532A (zh) * | 2020-03-26 | 2020-07-10 | 海南鸿达盛创网络信息科技有限公司 | 一种综合安防视频管理控制系统 |
CN111526292A (zh) * | 2020-04-30 | 2020-08-11 | 浙江大华技术股份有限公司 | 音视频混合监控方法、设备及存储装置 |
CN111526292B (zh) * | 2020-04-30 | 2021-08-03 | 浙江大华技术股份有限公司 | 音视频混合监控方法、设备及存储装置 |
CN111737309A (zh) * | 2020-05-22 | 2020-10-02 | 深圳市天彦通信股份有限公司 | 用户管理方法及相关产品 |
CN111813062A (zh) * | 2020-06-23 | 2020-10-23 | 北京小米移动软件有限公司 | 智能家居设备控制方法、装置及存储介质 |
CN112351025A (zh) * | 2020-11-03 | 2021-02-09 | 西安热工研究院有限公司 | 一种适用于堡垒机的无人监护系统及其使用方法 |
CN112351025B (zh) * | 2020-11-03 | 2022-12-02 | 西安热工研究院有限公司 | 一种适用于堡垒机的无人监护系统及其使用方法 |
CN113313899A (zh) * | 2021-02-24 | 2021-08-27 | 温州洪启信息科技有限公司 | 一种基于大数据的安防监控分析处理方法 |
CN113257056A (zh) * | 2021-05-14 | 2021-08-13 | 焦作大学 | 一种英语教学用口语发声训练装置 |
CN113111866A (zh) * | 2021-06-15 | 2021-07-13 | 深圳市图元科技有限公司 | 一种基于视频分析的智能监控管理系统及方法 |
CN113673495B (zh) * | 2021-10-25 | 2022-02-01 | 北京通建泰利特智能系统工程技术有限公司 | 一种基于神经网络的智慧安防方法、系统和可读存储介质 |
CN113673495A (zh) * | 2021-10-25 | 2021-11-19 | 北京通建泰利特智能系统工程技术有限公司 | 一种基于神经网络的智慧安防方法、系统和可读存储介质 |
CN114666546A (zh) * | 2022-03-24 | 2022-06-24 | 中国铁塔股份有限公司江苏省分公司 | 一种通信铁塔用监控方法、装置及通信铁塔 |
CN116630866A (zh) * | 2023-07-24 | 2023-08-22 | 中电信数字城市科技有限公司 | 音视频雷达融合的异常事件监控方法、装置、设备及介质 |
CN116630866B (zh) * | 2023-07-24 | 2023-10-13 | 中电信数字城市科技有限公司 | 音视频雷达融合的异常事件监控方法、装置、设备及介质 |
Also Published As
Publication number | Publication date |
---|---|
CN110176117B (zh) | 2023-05-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110176117A (zh) | 一种基于行为识别技术的监控装置及监控方法 | |
US20200372905A1 (en) | Mixed speech recognition method and apparatus, and computer-readable storage medium | |
CN109783642A (zh) | 多人会议场景的结构化内容处理方法、装置、设备及介质 | |
US20050226509A1 (en) | Efficient classification of three dimensional face models for human identification and other applications | |
US8130285B2 (en) | Automated searching for probable matches in a video surveillance system | |
CN108174046A (zh) | 一种用于呼叫中心的人员监控系统及方法 | |
CN115828112A (zh) | 一种故障事件的响应方法、装置、电子设备及存储介质 | |
CN113688221B (zh) | 基于模型的话术推荐方法、装置、计算机设备和存储介质 | |
CN112183166A (zh) | 确定训练样本的方法、装置和电子设备 | |
US20210034842A1 (en) | Method, electronic device, and computer readable medium for image identification | |
CN114007131A (zh) | 视频监控方法、装置及相关设备 | |
TWM565361U (zh) | 金融交易詐騙偵測防範系統 | |
Ponce-López et al. | Multi-modal social signal analysis for predicting agreement in conversation settings | |
CN112417128A (zh) | 话术推荐方法、装置、计算机设备及存储介质 | |
CN109872714A (zh) | 一种提高语音识别准确性的方法、电子设备及存储介质 | |
KR101979375B1 (ko) | 감시 영상의 객체 행동 예측 방법 | |
KR20180085505A (ko) | 얼굴인식을 통한 학습형 실시간 안내 시스템 및 그 안내 방법 | |
US9135562B2 (en) | Method for gender verification of individuals based on multimodal data analysis utilizing an individual's expression prompted by a greeting | |
CN111488501A (zh) | 一种基于云平台的电商统计系统 | |
RU2005100267A (ru) | Способ и система автоматической проверки присутствия живого лица человека в биометрических системах безопасности | |
TWI691923B (zh) | 金融交易詐騙偵測防範系統及其方法 | |
JP2011502296A (ja) | バイオメトリック行動コンテキストベースの人間認識のためのシステム及び方法 | |
CN210244559U (zh) | 一种基于行为识别技术的监控装置 | |
US20220076554A1 (en) | Social Distancing and Contact Mapping Alerting Systems for Schools and other Social Gatherings | |
JP6763408B2 (ja) | 情報処理装置、情報処理方法、及び、プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |