CN109448287B - 一种安全监控方法、装置、可读存储介质及终端设备 - Google Patents
一种安全监控方法、装置、可读存储介质及终端设备 Download PDFInfo
- Publication number
- CN109448287B CN109448287B CN201811248453.0A CN201811248453A CN109448287B CN 109448287 B CN109448287 B CN 109448287B CN 201811248453 A CN201811248453 A CN 201811248453A CN 109448287 B CN109448287 B CN 109448287B
- Authority
- CN
- China
- Prior art keywords
- feature vector
- voice
- image
- vector
- monitoring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/16—Actuation by interference with mechanical vibrations in air or other fluid
- G08B13/1654—Actuation by interference with mechanical vibrations in air or other fluid using passive vibration detection systems
- G08B13/1672—Actuation by interference with mechanical vibrations in air or other fluid using passive vibration detection systems using sonic detecting means, e.g. a microphone operating in the audio frequency range
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19654—Details concerning communication with a camera
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Signal Processing (AREA)
- Alarm Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明属于计算机技术领域,尤其涉及一种安全监控方法、装置、计算机可读存储介质及终端设备。所述方法获取由预设的监控摄像头采集的指定区域的监控图像,并对所述监控图像进行图像特征提取,得到所述监控图像的图像特征向量;获取由预设的监控麦克风采集的所述指定区域的监控语音,并对所述监控语音进行语音特征提取,得到所述监控语音的语音特征向量;从预设的历史危险事件数据库中分别提取出各个参照图像特征向量以及各个参照语音特征向量;根据所述监控图像的图像特征向量、所述监控语音的语音特征向量、各个参照图像特征向量以及各个参照语音特征向量计算所述指定区域的安全指数;若安全指数小于安全阈值,则向预设的服务器发送报警信息。
Description
技术领域
本发明属于计算机技术领域,尤其涉及一种安全监控方法、装置、计算机可读存储介质及终端设备。
背景技术
随着网络技术的发展和安防市场的不断升温,安全监控设备作为安防的一个重要领域也得到了长足的发展,在城市中得到了大规模的铺设。利用这些安全监控设备进行的监控,对人们社会生活中的安全的保障起到了越来越重要的作用。
但目前的安全监控设备一般只是进行图像的录制,在某些特殊情况(如犯罪现场),即便拍到了现场图像,也只能在事后作为证据使用,无法及时发出报警信息以便安保人员及时介入。
发明内容
有鉴于此,本发明实施例提供了一种安全监控方法、装置、计算机可读存储介质及终端设备,以解决现有的安全监控设备只能在事后作为证据使用,无法及时发出报警信息的问题。
本发明实施例的第一方面提供了一种安全监控方法,可以包括:
获取由预设的监控摄像头采集的指定区域的监控图像,并对所述监控图像进行图像特征提取,得到所述监控图像的图像特征向量;
获取由预设的监控麦克风采集的所述指定区域的监控语音,并对所述监控语音进行语音特征提取,得到所述监控语音的语音特征向量;
从预设的历史危险事件数据库中分别提取出各个参照图像特征向量以及各个参照语音特征向量;
根据所述监控图像的图像特征向量、所述监控语音的语音特征向量、各个参照图像特征向量以及各个参照语音特征向量计算所述指定区域的安全指数;
若所述指定区域的安全指数小于预设的安全阈值,则向预设的服务器发送报警信息。
本发明实施例的第二方面提供了一种安全监控装置,可以包括:
图像特征向量提取模块,用于获取由预设的监控摄像头采集的指定区域的监控图像,并对所述监控图像进行图像特征提取,得到所述监控图像的图像特征向量;
语音特征向量提取模块,用于获取由预设的监控麦克风采集的所述指定区域的监控语音,并对所述监控语音进行语音特征提取,得到所述监控语音的语音特征向量;
参照图像特征向量提取模块,用于从预设的历史危险事件数据库中分别提取出各个参照图像特征向量;
参照语音特征向量提取模块,用于从预设的历史危险事件数据库中分别提取出各个语音图像特征向量;
安全指数计算模块,用于根据所述监控图像的图像特征向量、所述监控语音的语音特征向量、各个参照图像特征向量以及各个参照语音特征向量计算所述指定区域的安全指数;
报警信息发送模块,用于若所述指定区域的安全指数小于预设的安全阈值,则向预设的服务器发送报警信息。
本发明实施例的第三方面提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机可读指令,所述计算机可读指令被处理器执行时实现如下步骤:
获取由预设的监控摄像头采集的指定区域的监控图像,并对所述监控图像进行图像特征提取,得到所述监控图像的图像特征向量;
获取由预设的监控麦克风采集的所述指定区域的监控语音,并对所述监控语音进行语音特征提取,得到所述监控语音的语音特征向量;
从预设的历史危险事件数据库中分别提取出各个参照图像特征向量以及各个参照语音特征向量;
根据所述监控图像的图像特征向量、所述监控语音的语音特征向量、各个参照图像特征向量以及各个参照语音特征向量计算所述指定区域的安全指数;
若所述指定区域的安全指数小于预设的安全阈值,则向预设的服务器发送报警信息。
本发明实施例的第四方面提供了一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令,所述处理器执行所述计算机可读指令时实现如下步骤:
获取由预设的监控摄像头采集的指定区域的监控图像,并对所述监控图像进行图像特征提取,得到所述监控图像的图像特征向量;
获取由预设的监控麦克风采集的所述指定区域的监控语音,并对所述监控语音进行语音特征提取,得到所述监控语音的语音特征向量;
从预设的历史危险事件数据库中分别提取出各个参照图像特征向量以及各个参照语音特征向量;
根据所述监控图像的图像特征向量、所述监控语音的语音特征向量、各个参照图像特征向量以及各个参照语音特征向量计算所述指定区域的安全指数;
若所述指定区域的安全指数小于预设的安全阈值,则向预设的服务器发送报警信息。
本发明实施例与现有技术相比存在的有益效果是:本发明实施例分别采集指定区域的监控图像及语音,并分别提取对应的图像特征向量和语音特征向量,然后以历史危险事件数据库中的参照图像特征向量以及参照语音特征向量为参照标准,对提取的数据进行分析计算,得到该指定区域的安全指数,当该指定区域的安全指数较小时,则说明有危险事件发生,则向预设的服务器发送报警信息,及时帮助受害人争取获救。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其它的附图。
图1为本发明实施例中一种安全监控方法的一个实施例流程图;
图2为从历史危险事件数据库中分别提取出各个参照图像特征向量的示意流程图;
图3为从历史危险事件数据库中分别提取出各个参照语音特征向量的示意流程图;
图4为本发明实施例中一种安全监控装置的一个实施例结构图;
图5为本发明实施例中一种终端设备的示意框图。
具体实施方式
为使得本发明的发明目的、特征、优点能够更加的明显和易懂,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,下面所描述的实施例仅仅是本发明一部分实施例,而非全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
请参阅图1,本发明实施例中一种安全监控方法的一个实施例可以包括:
步骤S101、获取由预设的监控摄像头采集的指定区域的监控图像,并对所述监控图像进行图像特征提取,得到所述监控图像的图像特征向量。
所述监控摄像头可以是固定摄像头,也可以是旋转摄像头,用于采集指定区域内的图像信息,也即所述监控图像。
在本实施例中,图像特征向量的提取在本质上是一种基于局部特征提取的图像表示与相似度度量的方法,局部特征的提取分为两步:提取目标关键点和对关键点进行描述,关键点的定位是目标识别的基础,一般是图像灰度变化的局部极值点,含有显著的结构性信息,甚至这些点也可以没有实际的直观视觉意义,但却在某种角度、某个尺度上含有丰富的易于匹配的信息。特征点描述即建立特征向量,特征空间的选择决定了图像的哪些特性参与匹配。特征点的特征描述应是对各种变化的不变量,以确保最低限度受位置、视角、尺度和光照等因素的影响。选择合理的特征空间可以降低各类图像变化因素对匹配算法速度、稳健性的影响。
首先,进行基于图像多尺度表示的关键点检测。为了保证提取的特征对于尺度变换保持稳定性能,本实施例在尺度空间内进行图像关键点的检测,尺度空间理论最早出现于计算机视觉领域,其目的是模拟图像数据的多尺度特征。尺度空间理论的主要思想是利用高斯核对原始图像进行尺度变换,以获得多尺度下的图像表示。
关键点检测主要由图像尺度空间生成,高斯差分金字塔建立,候选关键点获取,关键点精定位及其筛选和关键点主方向确定几个部分组成。
图像尺度空间生成主要是对给定的二维图像生成在不同尺度空间下的图像序列图。
高斯差分金字塔建立主要是对尺度空间图像序列进行高斯差分(Difference ofGaussian,DOG)操作,即相邻高斯滤波图像的差分,其主要是为找到具有稳定尺度特征的关键点。
候选关键点的获取主要是在建立的高斯差分空间金字塔中,定义在相邻尺度空间内具有局部最大值或局部最小值的点作为图像关键点的候选。高斯差分尺度空间的中间层的每个像素点与同一层的相邻8个像素点、上一层的相邻9个像素点和下一层的相邻9个像素点总共26个相邻像素点进行比较。像素若比相邻的26个像素的高斯差分值都大或都小,则该点可作为候选关键点。
关键点精定位及其筛选主要是因为高斯差分图像的像素值对噪声和边缘较敏感,因此,在高斯差分空间检测到的局部极值点要进一步筛选,并重定位到亚像素级和精度尺度位置。同时还要去除低对比度的特征点和不稳定的边缘响应点,以增强匹配稳定性和提高抗噪声能力。
关键点主方向的确定主要目的是保证旋转不变性,基于特征点邻域像素的梯度方向分布特性为每个特征点指定方向参数。在以特征点为中心的邻域窗口内采样,并用梯度方向直方图统计邻域像素的梯度方向。
通过以上步骤,已经完成图像特征点的提取,每个特征点有三个信息:位置、尺度和方向。然后,可以基于梯度方向直方图统计的关键点特征提取。
在图像关键点表示中,仅利用关键点的位置、尺度和方向信息不足以形成足够判决性的特征,于是需要对关键点周围的区域以尺度大小提取灰度统计特征。在特征提取之前,首先将坐标轴旋转为关键点的方向,以确保旋转不变性。然后以关键点为中心取8×8的窗口,在每4×4的小块上计算8个方向的梯度方向直方图,绘制每个梯度方向的累加值。这种邻域方向性信息联合的思想增强了算法抗噪声的能力,同时对于含有定位误差的特征匹配也提供了较好的容错性。实际计算过程中为增强匹配的稳健性,将扩大特征提取的区域范围,对每个关键点使用4×4共16个种子点来描述,这样对于一个关键点就可以产生128个数据,最终形成128维的特征向量。为进一步去除光照对比度变化的影响,可将特征向量的长度归一化。
此处将最终得到的所述监控图像的图像特征向量记为:
IgVec=(IgElm1,IgElm2,......,IgElmgn,......,IgElmGN)
其中,gn为图像特征向量的维度序号,1≤gn≤GN,GN为图像特征向量的维度总数,IgElmgn为所述监控图像的图像特征向量在第gn个维度上的取值,IgVec为所述监控图像的图像特征向量。
步骤S102、获取由预设的监控麦克风采集的所述指定区域的监控语音,并对所述监控语音进行语音特征提取,得到所述监控语音的语音特征向量。
所述监控麦克风用于采集指定区域内的音频信息,也即所述监控语音。优选地,所述监控麦克风可以由两个以上不同朝向的子单元组成,分别采集不同方向的音频信息,并合并处理为所述监控语音。
在本实施例中,可以通过计算所述监控语音的梅尔频谱倒频系数来进行语音特征提取,得到所述监控语音的语音特征向量。
首先,将采集的监控语音划分为M个语音子段,其中,M为大于1的整数,并根据下式计算各个语音子段的梅尔频谱倒频系数向量:
MelVecm=MFCCFuc(SubVoicem)
其中,m为语音子段的序号,1≤m≤M,SubVoicem为第m个语音子段,MFCCFuc为预设的梅尔频谱倒频系数计算函数,MelVecm为第m个语音子段的梅尔频谱倒频系数向量,且MelVecm=(MelCoem,1,MelCoem,2,......,MelCoem,vn,......,MelCoem,VN),vn为梅尔频谱倒频系数的序号,1≤vn≤VN,VN为梅尔频谱倒频系数向量的维度总数,MelCoem,vn为第m个语音子段的第vn个梅尔频谱倒频系数。
然后,根据下式计算各个语音子段的权重系数:
其中,Weightm为第m个语音子段的权重系数。
最后,根据下式构造所述监控语音的语音特征向量:
VcVec=(VcElm1,VcElm2,......,VcElmvn,......,VcElmVN)
步骤S103、从预设的历史危险事件数据库中分别提取出各个参照图像特征向量以及各个参照语音特征向量。
在本实施例中,可以将对历史危险事件的处理数据作为后续数据处理的依据,这些历史危险事件指的是已经确定为危险事件的现场所采集的图像及语音。
如图2所示,从所述历史危险事件数据库中分别提取出各个参照图像特征向量的过程可以包括:
步骤S201、从所述历史危险事件数据库中分别获取各个历史危险事件的图像特征向量。
任一个历史危险事件的图像特征向量如下所示:
HsIgVeccn=(HsIgElmcn,1,HsIgElmcn,2,......,HsIgElmcn,gn,......,HsIgElmcn,GN)
其中,cn为历史危险事件的序号,1≤cn≤CN,CN为在所述历史危险事件数据库中的历史危险事件的总数,gn为图像特征向量的维度序号,1≤gn≤GN,GN为图像特征向量的维度总数,HsIgElmcn,gn为第cn个历史危险事件的图像特征向量在第gn个维度上的取值,HsIgVeccn为第cn个历史危险事件的图像特征向量。
步骤S202、构造历史危险事件的图像中心向量。
在本实施例中,可以根据下式构造历史危险事件的图像中心向量:
CtIgVec=(CtIgElm1,CtIgElm2,...,CtIgElmgn,...,CtIgElmGN)
步骤S203、分别计算各个历史危险事件的图像特征向量与所述图像中心向量之间的距离。
在本实施例中,可以根据下式分别计算各个历史危险事件的图像特征向量与所述图像中心向量之间的距离:
其中,IgDiscn为第cn个历史危险事件的图像特征向量与所述图像中心向量之间的距离。
步骤S204、选取与所述图像中心向量之间的距离最小的前SNIg个历史危险事件的图像特征向量作为所述参照图像特征向量。
其中,SNIg=floor(η1×CN),η1为预设的第一比例系数,且0<η1<1,其具体取值可以根据实际情况进行设置,例如,可以将其设置为0.2、0.3、0.5或者其它取值,floor为向下取整函数。
将第sn个参照图像特征向量可以记为:
SelIgVecsn=(SelIgElmsn,1,SelIgElmsn,2,...,SelIgElmsn,gn,...,SelIgElmsn,GN)
其中,sn为参照图像特征向量的序号,1≤sn≤SNIg,SelIgElmsn,gn为第sn个参照图像特征向量在第gn个维度上的取值,SelIgVecsn为第sn个参照图像特征向量。
如图3所示,从所述历史危险事件数据库中分别提取出各个参照语音特征向量的过程可以包括:
步骤S301、从所述历史危险事件数据库中分别获取各个历史危险事件的语音特征向量。
任一个历史危险事件的语音特征向量如下所示:
HsVcVeccn=(HsVcElmcn,1,HsVcElmcn,2,......,HsVcElmcn,vn,......,HsVcElmcn,VN)
其中,cn为历史危险事件的序号,1≤cn≤CN,CN为在所述历史危险事件数据库中的历史危险事件的总数,vn为语音特征向量的维度序号,1≤vn≤VN,VN为语音特征向量的维度总数,HsVcElmcn,vn为第cn个历史危险事件的语音特征向量在第vn个维度上的取值,HsVcVeccn为第cn个历史危险事件的语音特征向量。
步骤S302、构造历史危险事件的语音中心向量。
在本实施例中,可以根据下式构造历史危险事件的语音中心向量:
CtVcVec=(CtVcElm1,CtVcElm2,...,CtVcElmvn,...,CtVcElmVN)
步骤S303、分别计算各个历史危险事件的语音特征向量与所述语音中心向量之间的距离。
在本实施例中,可以根据下式分别计算各个历史危险事件的语音特征向量与所述语音中心向量之间的距离:
其中,VcDiscn为第cn个历史危险事件的语音特征向量与所述语音中心向量之间的距离。
步骤S304、选取与所述语音中心向量之间的距离最小的前SNVc个历史危险事件的语音特征向量作为所述参照语音特征向量。
其中,SNVc=floor(η2×CN),η2为预设的第二比例系数,且0<η2<1,其具体取值可以根据实际情况进行设置,例如,可以将其设置为0.2、0.3、0.5或者其它取值。
将第vsn个参照图像特征向量可以记为:
SelVcVecvsn=(SelVcElmvsn,1,SelVcElmvsn,2,...,SelVcElmvsn,gn,...,SelVcElmvsn,GN)
其中,vsn为参照语音特征向量的序号,1≤vsn≤SNVc,SelVcElmvsn,vn为第vsn个参照语音特征向量在第vn个维度上的取值,SelVcVecvsn为第vsn个参照语音特征向量。
步骤S104、根据所述监控图像的图像特征向量、所述监控语音的语音特征向量、各个参照图像特征向量以及各个参照语音特征向量计算所述指定区域的安全指数。
在本实施例中,可以根据下式计算所述指定区域的安全指数:
其中,IgWt为预设的图像权重系数,VcWt为预设的语音权重系数,且IgWt+VcWt=1,0<IgWt<1,0<VcWt<1,IgElmgn为所述监控图像的图像特征向量在第gn个维度上的取值,VcElmvn为所述监控语音的语音特征向量在第vn个维度上的取值,IgWeightgn为图像特征向量在第gn个维度上的权重系数,且VcWeightvn为语音特征向量在第vn个维度上的权重系数,且SafeIdx为所述指定区域的安全指数。
步骤S105、若所述指定区域的安全指数小于预设的安全阈值,则向预设的服务器发送报警信息。
所述安全阈值可以根据实际情况进行设置,例如,可以将其设置为20、30、50或者其它阈值,若所述指定区域的安全指数小于该安全阈值,则可将所述指定区域当前所处的场景确定为危险场景,此时向预设的服务器(例如,公安机关的服务器)发送报警信息,在该报警信息中包括所述指定区域的地理位置信息,以使相关人员尽快获知当前状态,展开救援行动。
综上所述,本发明实施例与现有技术相比存在的有益效果是:本发明实施例分别采集指定区域的监控图像及语音,并分别提取对应的图像特征向量和语音特征向量,然后以历史危险事件数据库中的参照图像特征向量以及参照语音特征向量为参照标准,对提取的数据进行分析计算,得到该指定区域的安全指数,当该指定区域的安全指数较小时,则说明有危险事件发生,则向预设的服务器发送报警信息,及时帮助受害人争取获救。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
对应于上文实施例所述的一种安全监控方法,图4示出了本发明实施例提供的一种安全监控装置的一个实施例结构图。
本实施例中,一种安全监控装置可以包括:
图像特征向量提取模块401,用于获取由预设的监控摄像头采集的指定区域的监控图像,并对所述监控图像进行图像特征提取,得到所述监控图像的图像特征向量;
语音特征向量提取模块402,用于获取由预设的监控麦克风采集的所述指定区域的监控语音,并对所述监控语音进行语音特征提取,得到所述监控语音的语音特征向量;
参照图像特征向量提取模块403,用于从预设的历史危险事件数据库中分别提取出各个参照图像特征向量;
参照语音特征向量提取模块404,用于从预设的历史危险事件数据库中分别提取出各个语音图像特征向量;
安全指数计算模块405,用于根据所述监控图像的图像特征向量、所述监控语音的语音特征向量、各个参照图像特征向量以及各个参照语音特征向量计算所述指定区域的安全指数;
报警信息发送模块406,用于若所述指定区域的安全指数小于预设的安全阈值,则向预设的服务器发送报警信息。
进一步地,所述参照图像特征向量提取模块可以包括:
历史图像特征向量获取单元,用于从所述历史危险事件数据库中分别获取各个历史危险事件的图像特征向量,任一个历史危险事件的图像特征向量如下所示:
HsIgVeccn=(HsIgElmcn,1,HsIgElmcn,2,......,HsIgElmcn,gn,......,HsIgElmcn,GN)
其中,cn为历史危险事件的序号,1≤cn≤CN,CN为在所述历史危险事件数据库中的历史危险事件的总数,gn为图像特征向量的维度序号,1≤gn≤GN,GN为图像特征向量的维度总数,HsIgElmcn,gn为第cn个历史危险事件的图像特征向量在第gn个维度上的取值,HsIgVeccn为第cn个历史危险事件的图像特征向量;
图像中心向量计算单元,用于根据下式构造历史危险事件的图像中心向量:
CtIgVec=(CtIgElm1,CtIgElm2,...,CtIgElmgn,...,CtIgElmGN)
图像距离计算单元,用于根据下式分别计算各个历史危险事件的图像特征向量与所述图像中心向量之间的距离:
其中,IgDiscn为第cn个历史危险事件的图像特征向量与所述图像中心向量之间的距离;
参照图像特征向量选取单元,用于选取与所述图像中心向量之间的距离最小的前SNIg个历史危险事件的图像特征向量作为所述参照图像特征向量,其中,SNIg=floor(η1×CN),η1为预设的第一比例系数,且0<η1<1,floor为向下取整函数。
进一步地,所述参照语音特征向量提取模块可以包括:
历史语音特征向量获取单元,用于从所述历史危险事件数据库中分别获取各个历史危险事件的语音特征向量,任一个历史危险事件的语音特征向量如下所示:
HsVcVeccn=(HsVcElmcn,1,HsVcElmcn,2,......,HsVcElmcn,vn,......,HsVcElmcn,VN)
其中,cn为历史危险事件的序号,1≤cn≤CN,CN为在所述历史危险事件数据库中的历史危险事件的总数,vn为语音特征向量的维度序号,1≤vn≤VN,VN为语音特征向量的维度总数,HsVcElmcn,vn为第cn个历史危险事件的语音特征向量在第vn个维度上的取值,HsVcVeccn为第cn个历史危险事件的语音特征向量;
语音中心向量计算单元,用于根据下式构造历史危险事件的语音中心向量:
CtVcVec=(CtVcElm1,CtVcElm2,...,CtVcElmvn,...,CtVcElmVN)
语音距离计算单元,用于根据下式分别计算各个历史危险事件的语音特征向量与所述语音中心向量之间的距离:
其中,VcDiscn为第cn个历史危险事件的语音特征向量与所述语音中心向量之间的距离;
参照语音特征向量选取单元,用于选取与所述语音中心向量之间的距离最小的前SNVc个历史危险事件的语音特征向量作为所述参照语音特征向量,其中,SNVc=floor(η2×CN),η2为预设的第二比例系数,且0<η2<1,floor为向下取整函数。
进一步地,所述安全指数计算模块可以具体用于根据下式计算所述指定区域的安全指数:
其中,IgWt为预设的图像权重系数,VcWt为预设的语音权重系数,且IgWt+VcWt=1,0<IgWt<1,0<VcWt<1,IgElmgn为所述监控图像的图像特征向量在第gn个维度上的取值,VcElmvn为所述监控语音的语音特征向量在第vn个维度上的取值,sn为参照图像特征向量的序号,1≤sn≤SNIg,SelIgElmsn,gn为第sn个参照图像特征向量在第gn个维度上的取值,vsn为参照语音特征向量的序号,1≤vsn≤SNVc,SelVcElmvsn,vn为第vsn个参照语音特征向量在第vn个维度上的取值,IgWeightgn为图像特征向量在第gn个维度上的权重系数,VcWeightvn为语音特征向量在第vn个维度上的权重系数,SafeIdx为所述指定区域的安全指数。
进一步地,所述安全监控装置还可以包括:
图像权重系数计算模块,用于根据下式计算图像特征向量在各个维度上的权重系数:
语音权重系数计算模块,用于根据下式计算语音特征向量在各个维度上的权重系数:
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的装置,模块和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
图5示出了本发明实施例提供的一种终端设备的示意框图,为了便于说明,仅示出了与本发明实施例相关的部分。
在本实施例中,所述终端设备5可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。该终端设备5可包括:处理器50、存储器51以及存储在所述存储器51中并可在所述处理器50上运行的计算机可读指令52,例如执行上述的安全监控方法的计算机可读指令。所述处理器50执行所述计算机可读指令52时实现上述各个安全监控方法实施例中的步骤,例如图1所示的步骤S101至S105。或者,所述处理器50执行所述计算机可读指令52时实现上述各装置实施例中各模块/单元的功能,例如图4所示模块401至406的功能。
示例性的,所述计算机可读指令52可以被分割成一个或多个模块/单元,所述一个或者多个模块/单元被存储在所述存储器51中,并由所述处理器50执行,以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机可读指令段,该指令段用于描述所述计算机可读指令52在所述终端设备5中的执行过程。
所述处理器50可以是中央处理单元(Central Processing Unit,CPU),还可以是其它通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器51可以是所述终端设备5的内部存储单元,例如终端设备5的硬盘或内存。所述存储器51也可以是所述终端设备5的外部存储设备,例如所述终端设备5上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,所述存储器51还可以既包括所述终端设备5的内部存储单元也包括外部存储设备。所述存储器51用于存储所述计算机可读指令以及所述终端设备5所需的其它指令和数据。所述存储器51还可以用于暂时地存储已经输出或者将要输出的数据。
在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干计算机可读指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储计算机可读指令的介质。
以上所述实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (8)
1.一种安全监控方法,其特征在于,包括:
获取由预设的监控摄像头采集的指定区域的监控图像,并对所述监控图像进行图像特征提取,得到所述监控图像的图像特征向量;
获取由预设的监控麦克风采集的所述指定区域的监控语音,并对所述监控语音进行语音特征提取,得到所述监控语音的语音特征向量;
从预设的历史危险事件数据库中分别提取出各个参照图像特征向量以及各个参照语音特征向量;
根据所述监控图像的图像特征向量、所述监控语音的语音特征向量、各个参照图像特征向量以及各个参照语音特征向量计算所述指定区域的安全指数;
若所述指定区域的安全指数小于预设的安全阈值,则向预设的服务器发送报警信息;
所述根据所述监控图像的图像特征向量、所述监控语音的语音特征向量、各个参照图像特征向量以及各个参照语音特征向量计算所述指定区域的安全指数包括:
根据下式计算所述指定区域的安全指数:
其中,IgWt为预设的图像权重系数,VcWt为预设的语音权重系数,且IgWt+VcWt=1,0<IgWt<1,0<VcWt<1,gn为图像特征向量的维度序号,1≤gn≤GN,GN为图像特征向量的维度总数,IgElmgn为所述监控图像的图像特征向量在第gn个维度上的取值,vn为语音特征向量的维度序号,1≤vn≤VN,VN为语音特征向量的维度总数,VcElmvn为所述监控语音的语音特征向量在第vn个维度上的取值,sn为参照图像特征向量的序号,1≤sn≤SNIg,SelIgElmsn,gn为第sn个参照图像特征向量在第gn个维度上的取值,vsn为参照语音特征向量的序号,1≤vsn≤SNVc,SelVcElmvsn,vn为第vsn个参照语音特征向量在第vn个维度上的取值,IgWeightgn为图像特征向量在第gn个维度上的权重系数,VcWeightvn为语音特征向量在第vn个维度上的权重系数,SafeIdx为所述指定区域的安全指数;
图像特征向量及语音特征向量在各个维度上的权重系数的设置过程包括:
根据下式计算图像特征向量在各个维度上的权重系数:
根据下式计算语音特征向量在各个维度上的权重系数:
2.根据权利要求1所述的安全监控方法,其特征在于,所述从预设的历史危险事件数据库中分别提取出各个参照图像特征向量包括:
从所述历史危险事件数据库中分别获取各个历史危险事件的图像特征向量,任一个历史危险事件的图像特征向量如下所示:
HsIgVeccn=(HsIgElmcn,1,HsIgElmcn,2,......,HsIgElmcn,gn,......,HsIgElmcn,GN)
其中,cn为历史危险事件的序号,1≤cn≤CN,CN为在所述历史危险事件数据库中的历史危险事件的总数,HsIgElmcn,gn为第cn个历史危险事件的图像特征向量在第gn个维度上的取值,HsIgVeccn为第cn个历史危险事件的图像特征向量;
根据下式构造历史危险事件的图像中心向量:
CtIgVec=(CtIgElm1,CtIgElm2,...,CtIgElmgn,...,CtIgElmGN)
根据下式分别计算各个历史危险事件的图像特征向量与所述图像中心向量之间的距离:
其中,IgDiscn为第cn个历史危险事件的图像特征向量与所述图像中心向量之间的距离;
选取与所述图像中心向量之间的距离最小的前SNIg个历史危险事件的图像特征向量作为所述参照图像特征向量,其中,SNIg=floor(η1×CN),η1为预设的第一比例系数,且0<η1<1,floor为向下取整函数。
3.根据权利要求1所述的安全监控方法,其特征在于,所述从预设的历史危险事件数据库中分别提取出各个参照语音特征向量包括:
从所述历史危险事件数据库中分别获取各个历史危险事件的语音特征向量,任一个历史危险事件的语音特征向量如下所示:
HsVcVeccn=(HsVcElmcn,1,HsVcElmcn,2,......,HsVcElmcn,vn,......,HsVcElmcn,VN)
其中,cn为历史危险事件的序号,1≤cn≤CN,CN为在所述历史危险事件数据库中的历史危险事件的总数,HsVcElmcn,vn为第cn个历史危险事件的语音特征向量在第vn个维度上的取值,HsVcVeccn为第cn个历史危险事件的语音特征向量;
根据下式构造历史危险事件的语音中心向量:
CtVcVec=(CtVcElm1,CtVcElm2,...,CtVcElmvn,...,CtVcElmVN)
根据下式分别计算各个历史危险事件的语音特征向量与所述语音中心向量之间的距离:
其中,VcDiscn为第cn个历史危险事件的语音特征向量与所述语音中心向量之间的距离;
选取与所述语音中心向量之间的距离最小的前SNVc个历史危险事件的语音特征向量作为所述参照语音特征向量,其中,SNVc=floor(η2×CN),η2为预设的第二比例系数,且0<η2<1,floor为向下取整函数。
4.一种安全监控装置,其特征在于,包括:
图像特征向量提取模块,用于获取由预设的监控摄像头采集的指定区域的监控图像,并对所述监控图像进行图像特征提取,得到所述监控图像的图像特征向量;
语音特征向量提取模块,用于获取由预设的监控麦克风采集的所述指定区域的监控语音,并对所述监控语音进行语音特征提取,得到所述监控语音的语音特征向量;
参照图像特征向量提取模块,用于从预设的历史危险事件数据库中分别提取出各个参照图像特征向量;
参照语音特征向量提取模块,用于从预设的历史危险事件数据库中分别提取出各个语音图像特征向量;
安全指数计算模块,用于根据所述监控图像的图像特征向量、所述监控语音的语音特征向量、各个参照图像特征向量以及各个参照语音特征向量计算所述指定区域的安全指数;
报警信息发送模块,用于若所述指定区域的安全指数小于预设的安全阈值,则向预设的服务器发送报警信息;
所述根据所述监控图像的图像特征向量、所述监控语音的语音特征向量、各个参照图像特征向量以及各个参照语音特征向量计算所述指定区域的安全指数包括:
根据下式计算所述指定区域的安全指数:
其中,IgWt为预设的图像权重系数,VcWt为预设的语音权重系数,且IgWt+VcWt=1,0<IgWt<1,0<VcWt<1,gn为图像特征向量的维度序号,1≤gn≤GN,GN为图像特征向量的维度总数,IgElmgn为所述监控图像的图像特征向量在第gn个维度上的取值,vn为语音特征向量的维度序号,1≤vn≤VN,VN为语音特征向量的维度总数,VcElmvn为所述监控语音的语音特征向量在第vn个维度上的取值,sn为参照图像特征向量的序号,1≤sn≤SNIg,SelIgElmsn,gn为第sn个参照图像特征向量在第gn个维度上的取值,vsn为参照语音特征向量的序号,1≤vsn≤SNVc,SelVcElmvsn,vn为第vsn个参照语音特征向量在第vn个维度上的取值,IgWeightgn为图像特征向量在第gn个维度上的权重系数,VcWeightvn为语音特征向量在第vn个维度上的权重系数,SafeIdx为所述指定区域的安全指数;
图像特征向量及语音特征向量在各个维度上的权重系数的设置过程包括:
根据下式计算图像特征向量在各个维度上的权重系数:
根据下式计算语音特征向量在各个维度上的权重系数:
5.根据权利要求4所述的安全监控装置,其特征在于,所述参照图像特征向量提取模块包括:
历史图像特征向量获取单元,用于从所述历史危险事件数据库中分别获取各个历史危险事件的图像特征向量,任一个历史危险事件的图像特征向量如下所示:
HsIgVeccn=(HsIgElmcn,1,HsIgElmcn,2,......,HsIgElmcn,gn,......,HsIgElmcn,GN)
其中,cn为历史危险事件的序号,1≤cn≤CN,CN为在所述历史危险事件数据库中的历史危险事件的总数,HsIgElmcn,gn为第cn个历史危险事件的图像特征向量在第gn个维度上的取值,HsIgVeccn为第cn个历史危险事件的图像特征向量;
图像中心向量计算单元,用于根据下式构造历史危险事件的图像中心向量:
CtIgVec=(CtIgElm1,CtIgElm2,...,CtIgElmgn,...,CtIgElmGN)
图像距离计算单元,用于根据下式分别计算各个历史危险事件的图像特征向量与所述图像中心向量之间的距离:
其中,IgDiscn为第cn个历史危险事件的图像特征向量与所述图像中心向量之间的距离;
参照图像特征向量选取单元,用于选取与所述图像中心向量之间的距离最小的前SNIg个历史危险事件的图像特征向量作为所述参照图像特征向量,其中,SNIg=floor(η1×CN),η1为预设的第一比例系数,且0<η1<1,floor为向下取整函数。
6.根据权利要求4所述的安全监控装置,其特征在于,所述参照语音特征向量提取模块包括:
历史语音特征向量获取单元,用于从所述历史危险事件数据库中分别获取各个历史危险事件的语音特征向量,任一个历史危险事件的语音特征向量如下所示:
HsVcVeccn=(HsVcElmcn,1,HsVcElmcn,2,......,HsVcElmcn,vn,......,HsVcElmcn,VN)
其中,cn为历史危险事件的序号,1≤cn≤CN,CN为在所述历史危险事件数据库中的历史危险事件的总数,HsVcElmcn,vn为第cn个历史危险事件的语音特征向量在第vn个维度上的取值,HsVcVeccn为第cn个历史危险事件的语音特征向量;
语音中心向量计算单元,用于根据下式构造历史危险事件的语音中心向量:
CtVcVec=(CtVcElm1,CtVcElm2,...,CtVcElmvn,...,CtVcElmVN)
语音距离计算单元,用于根据下式分别计算各个历史危险事件的语音特征向量与所述语音中心向量之间的距离:
其中,VcDiscn为第cn个历史危险事件的语音特征向量与所述语音中心向量之间的距离;
参照语音特征向量选取单元,用于选取与所述语音中心向量之间的距离最小的前SNVc个历史危险事件的语音特征向量作为所述参照语音特征向量,其中,SNVc=floor(η2×CN),η2为预设的第二比例系数,且0<η2<1,floor为向下取整函数。
7.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机可读指令,其特征在于,所述计算机可读指令被处理器执行时实现如权利要求1至3中任一项所述的安全监控方法的步骤。
8.一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令,其特征在于,所述处理器执行所述计算机可读指令时实现如权利要求1至3中任一项所述的安全监控方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811248453.0A CN109448287B (zh) | 2018-10-25 | 2018-10-25 | 一种安全监控方法、装置、可读存储介质及终端设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811248453.0A CN109448287B (zh) | 2018-10-25 | 2018-10-25 | 一种安全监控方法、装置、可读存储介质及终端设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109448287A CN109448287A (zh) | 2019-03-08 |
CN109448287B true CN109448287B (zh) | 2021-11-02 |
Family
ID=65548611
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811248453.0A Active CN109448287B (zh) | 2018-10-25 | 2018-10-25 | 一种安全监控方法、装置、可读存储介质及终端设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109448287B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112183408B (zh) * | 2020-09-30 | 2023-09-29 | 重庆天智慧启科技有限公司 | 基于案场图像的客户画像系统及方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102799635B (zh) * | 2012-06-27 | 2015-10-28 | 天津大学 | 一种用户驱动的图像集合排序方法 |
CN104820718B (zh) * | 2015-05-22 | 2018-01-30 | 哈尔滨工业大学 | 基于地理位置特征与全局视觉特征的图像分类和检索方法 |
CN106251544A (zh) * | 2016-08-05 | 2016-12-21 | 吉林大学 | 一种基于Android智能手机的入侵报警方法及报警装置 |
JP2018136731A (ja) * | 2017-02-22 | 2018-08-30 | 東芝テック株式会社 | 情報処理装置およびプログラム |
JP6768557B2 (ja) * | 2017-02-27 | 2020-10-14 | パナソニックi−PROセンシングソリューションズ株式会社 | 監視カメラシステム及び監視方法 |
CN108351968B (zh) * | 2017-12-28 | 2022-04-22 | 深圳市锐明技术股份有限公司 | 一种针对犯罪活动的告警方法、装置、存储介质及服务器 |
-
2018
- 2018-10-25 CN CN201811248453.0A patent/CN109448287B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN109448287A (zh) | 2019-03-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107944020B (zh) | 人脸图像查找方法及装置、计算机装置和存储介质 | |
CN110047095B (zh) | 基于目标检测的跟踪方法、装置及终端设备 | |
CN105931269A (zh) | 一种视频中的目标跟踪方法及装置 | |
CN109711416B (zh) | 目标识别方法、装置、计算机设备和存储介质 | |
JP2013012190A (ja) | ガボールフィルターをブロックガボールフィルターとして近似する方法、及び、プロセッサ上で実行されているアプリケーションプログラムによるアクセスのためのデータ構造を格納するメモリ | |
WO2019200702A1 (zh) | 去网纹系统训练方法、去网纹方法、装置、设备及介质 | |
CN110689043A (zh) | 一种基于多重注意力机制的车辆细粒度识别方法及装置 | |
CN108021846A (zh) | 一种人脸识别方法和装置 | |
CN108038176A (zh) | 一种路人库的建立方法、装置、电子设备及介质 | |
CN108550166B (zh) | 一种空间目标图像匹配方法 | |
CN110659391A (zh) | 一种视频侦查方法及装置 | |
CN112036381B (zh) | 视觉跟踪方法、视频监控方法及终端设备 | |
CN111291887A (zh) | 神经网络的训练方法、图像识别方法、装置及电子设备 | |
CN110689046A (zh) | 图像识别方法、装置、计算机装置及存储介质 | |
CN113490947A (zh) | 检测模型训练方法、装置、检测模型使用方法及存储介质 | |
CN110619280B (zh) | 一种基于深度联合判别学习的车辆重识别方法及装置 | |
CN116543261A (zh) | 用于图像识别的模型训练方法、图像识别方法设备及介质 | |
CN109448287B (zh) | 一种安全监控方法、装置、可读存储介质及终端设备 | |
CN116503399B (zh) | 基于yolo-afps的绝缘子污闪检测方法 | |
CN114169425A (zh) | 训练目标跟踪模型和目标跟踪的方法和装置 | |
WO2023109664A1 (zh) | 监测方法和相关产品 | |
CN108960013B (zh) | 一种行人再识别方法及装置 | |
CN106033550B (zh) | 目标跟踪方法及装置 | |
CN114462479A (zh) | 模型训练方法、检索方法以及模型、设备和介质 | |
CN112183431A (zh) | 实时行人数量统计方法、装置、相机和服务器 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |