CN107977638A - 视频监控报警方法、装置、计算机设备和存储介质 - Google Patents

视频监控报警方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN107977638A
CN107977638A CN201711310766.XA CN201711310766A CN107977638A CN 107977638 A CN107977638 A CN 107977638A CN 201711310766 A CN201711310766 A CN 201711310766A CN 107977638 A CN107977638 A CN 107977638A
Authority
CN
China
Prior art keywords
alarm
moving target
monitored picture
result
feature vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711310766.XA
Other languages
English (en)
Other versions
CN107977638B (zh
Inventor
雷明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aizhi Technology Shenzhen Co ltd
Beijing Zhihong Technology Co ltd
Original Assignee
Airmada Technology Inc
Chi Meida (jiangsu) Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Airmada Technology Inc, Chi Meida (jiangsu) Digital Technology Co Ltd filed Critical Airmada Technology Inc
Priority to CN201711310766.XA priority Critical patent/CN107977638B/zh
Publication of CN107977638A publication Critical patent/CN107977638A/zh
Application granted granted Critical
Publication of CN107977638B publication Critical patent/CN107977638B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种视频监控报警方法,包括:提取监控画面中的运动目标;通过预先训练好的深度学习神经网络对所述运动目标进行判定;当判定结果为运动目标有效时,计算所述监控画面的特征向量;将所述特征向量输入预设报警模型中,得到所述预设报警模型的预测结果;根据所述预测结果控制报警。通过对运动目标是否有效的判定,使得在报警时只对包含有有效的运动目标的监控画面进行报警的预测,减少了大量的虚警,提高了报警的准确性。还提供了一种视频监控报警的装置、存储介质和计算机设备。

Description

视频监控报警方法、装置、计算机设备和存储介质
技术领域
本发明涉及视频监控领域,特别是涉及一种视频监控报警方法、装置、计算机设备和存储介质。
背景技术
智能报警是智能视频监控的核心功能之一,在监控区域内如果有人、交通工具等运动目标闯入时,需要进行报警。目前智能报警主要采用背景建模和运动目标检测技术来判断是否报警,如高斯混合模型,确定画面是否有变化,有变化时需要报警。但是背景建模与运动目标检测技术对光照变化导致的画面变化,雨雪等恶劣天气、树叶晃动等干扰物很敏感,会造成大量的虚警,给用户带来很多不必要的麻烦,使用起来很不方便。
发明内容
基于此,有必要针对上述技术问题,提供一种能减少虚警,提高报警准确性的视频监控报警方法、装置、计算机设备和存储介质。
一种视频监控报警方法,包括:
提取监控画面中的运动目标;
通过预先训练好的深度学习神经网络对运动目标进行判定;
当判定结果为运动目标有效时,计算监控画面的特征向量;
将特征向量输入预设报警模型中,得到预设报警模型的预测结果;
根据预测结果控制报警。
在其中一个实施例中,通过预先训练好的深度学习神经网络对运动目标进行判定,包括:
将包含运动目标的监控画面输入到预先训练好的深度卷积神经网络中进行判定,得到判定结果的输出向量;
对判定结果的输出向量进行计算得到判定结果对应的数值;
若判定结果对应的数值大于第一预设数值,则运动目标是有效的,否则,若判定结果对应的数值小于等于第一预设数值,则运动目标是无效的。
在其中一个实施例中,在提取监控画面中的运动目标之前,还包括:
从历史视频监控记录中,获取每个时间点对应的监控画面,将包含有有效运动目标的监控画面作为正样本,将包含有无效运动目标的监控画面作为负样本;
获取正样本中特征向量值大于第一预设数值的正样本向量,以及获取负样本中特征向量值小于等于第一预设数值的负样本向量;
将正样本和正样本向量在深度学习神经网络进行训练,或者,将负样本和负样本向量在深度学习神经网络进行训练,得到训练好的深度学习神经网络。
在其中一个实施例中,在提取监控画面中的运动目标之前,还包括:
从历史视频监控记录中,获取包含有有效运动目标的监控画面对应的时间点及时间点对应的用户行为特征、当前监控画面的变化特征,根据时间点、时间点对应的用户行为特征、当前监控画面的变化特征组成监控画面的特征向量;
当包含有效运动目标的监控画面为报警画面时,获取报警画面中特征向量值大于第二预设数值的报警向量,以及当包含有效运动目标的监控画面为非报警画面时,获取非报警画面中特征向量值小于等于第二预设数值的非报警向量;
将报警画面的特征向量和对应的报警向量在机器学习算法中进行训练,或者,将非报警画面的特征向量和对应的非报警向量在机器学习算法中进行训练,得到预设报警模型。
在其中一个实施例中,当判定结果为运动目标有效时,计算监控画面的特征向量,包括:
当判定结果为运动目标有效时,获取监控画面的当前时间点,根据当前时间点查找对应的预设时间区间,预设时间区间是指预先将每天划分为等分的时间区间;
对当前时间点对应的预设时间区间和除当前时间点对应的预设时间区间外的其他预设时间区间进行编码,组成当前时间点的特征向量。
在其中一个实施例中,当判定结果为运动目标有效时,计算监控画面的特征向量,包括:
当判定结果为运动目标有效时,获取每个预设时间区间的历史视频监控记录,统计每个预设时间区间内历史视频监控记录报警的频率;
对频率超过预设阈值的预设时间区间和除频率超过预设阈值的预设时间区间外的其他预设时间区间进行编码,组成用户行为特征的特征向量。
在其中一个实施例中,当判定结果为运动目标有效时,计算监控画面的特征向量,包括:
当判定结果为运动目标有效时,从监控画面中提取当前帧的前景区域,对前景区域进行划分,得到多个前景子区域,从多个前景子区域中提取出变化区域,统计变化区域的数量和变化区域相对于整个监控画面的相对面积;
数量和相对面积组成监控画面的变化特征的特征向量。
一种视频监控报警装置,包括
提取模块,用于提取监控画面中的运动目标;
判定模块,用于通过预先训练好的深度学习神经网络对运动目标进行判定;
计算模块,用于当判定结果为运动目标有效时,计算监控画面的特征向量;
预测模块,用于将特征向量输入预设报警模型中,得到预设报警模型的预测结果;
控制模块,用于根据预测结果控制报警。
一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行程序时实现上述任一项视频监控报警方法中的步骤。
一种计算机存储介质,其上存储有计算机程序,该程序被处理器执行时实现上述任一项视频监控报警方法中的步骤
上述视频监控报警方法、装置、计算机设备和存储介质,通过提取监控画面中的运动目标。通过预先训练好的深度学习神经网络对运动目标进行判定,当判定结果为运动目标有效时,计算监控画面的特征向量。将特征向量输入预设报警模型中,得到预设报警模型的预测结果,根据预测结果控制报警。通过深度学习神经网络对运动目标进行判定,过滤了大量虚警,使报警更加的准确,方便了用户的使用。
附图说明
图1为一个实施例中视频监控报警的应用环境示意图;
图2为一个实施例中视频监控报警方法流程示意图;
图3为一个实施例中对运动目标进行判定的流程图;
图4为一个实施例中训练深度学习神经网络的流程图;
图5为一个实施例中训练预设报警模型的流程图;
图6为一个实施例中获取当前时间点特征向量的流程图;
图7为一个实施例中获取用户行为特征的特征向量的流程图;
图8为一个实施例中获取监控画面的变化特征的特征向量的流程图;
图9为一个实施例中视频监控报警的结构框图;
图10为一个实施例中判定模块的结构框图;
图11为一个实施例中计算机设备内部结构示意图;
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
如图1所示,在一个实施例中,提供了一种视频监控报警方法、装置的应用环境示意图,至少包括服务器102、至少一个监控设备104且监控设备104通过网络和服务器102通过网络连接进行数据传输。监控设备104来实现一种视频监控报警方法。监控设备104提取监控画面中的运动目标,通过预先训练好的深度学习神经网络对运动目标进行判定,当判定结果为运动目标有效时,计算监控画面的特征向量,将特征向量输入预设报警模型中,得到预设报警模型的预测结果。监控设备104根据预测结果控制报警,最后将监控视频传输到服务器102存储。
如图2所示,在一个实施例中,提供了一种视频监控报警方法的流程示意图,该方法应用于图1所示的监控设备104中进行举例说明,包括以下步骤:
S202,提取监控画面中的运动目标。
具体的,使用背景建模算法提取控画面中的运动目标。其中,背景建模算法可以采用高斯混合模型、帧差分等方法。运动目标是指造成的画面变化的人、交通工具、动物的运动、光照变化、恶劣天气如雨雪和树叶晃动等。
S204,通过预先训练好的深度学习神经网络对运动目标进行判定。
具体的,深度学习神经网络可以是深度卷积神经网络,预先训练好深度卷积神经网络,然后使用其对运动目标进行判定,判断运动目标是否是有效的运动目标,还是无效的运动目标。
S206,当判定结果为运动目标有效时,计算监控画面的特征向量。
具体的,有效的运动目标是指导致的画面变化的人、交通工具和动物的运动等等,无效的运动目标是指导致的画面变化的光照变化、恶劣天气如雨雪和树叶晃动等等。当判定当前监控画面中的运动目标有效时,计算监控画面的特征向量。其中,监控画面的特征向量是指当前时间点的特征向量、用户行为特征的特征向量和监控画面的变化特征的特征向量。
S208,将特征向量输入预设报警模型中,得到预设报警模型的预测结果。
具体的,预先训练好报警模型,该模型是机器学习算法的模型。将当前监控画面的特征向量输入到预设报警模型,得到预设报警模型的预测结果。
S210,根据预测结果控制报警。
具体的,若预测结果是需要报警,则进行报警。若预测结果是不需要报警,则不进行报警。并将监控视频传输到服务器存储。
在上述实施例中,获取到运动目标,对运动目标是否有效进行判定,当运动目标有效时,计算包含该运动目标的监控画面的特征向量,将特征向量输入预设报警模型中,得到预设报警模型的预测结果,根据预测结果控制报警,减少了虚警的产生,提高了报警的精确度,使得用户使用更方便。
如图3所示,在一个实施例中,步骤S204,通过预先训练好的深度学习神经网络对运动目标进行判定,包括步骤:
S302,将包含运动目标的监控画面输入到预先训练好的深度卷积神经网络中进行判定,得到判定结果的输出向量。
具体的,通过将包含运动目标的监控画面输入到预先训练好的深度卷积神经网络中进行判定,得到判定结果的输出向量。其中,深度卷积神经网络接收固定大小的输入图像,输出可以是1维的判定结果的输出向量。
S304,对判定结果的输出向量进行计算得到判定结果对应的数值。
具体的,根据判定结果的输出向量进行计算得到判定结果对应的数值。可以1维的判定结果的输出向量得到判定结果对应的数值。
S306,若判定结果对应的数值大于第一预设数值,则运动目标是有效的,否则,若判定结果对应的数值小于等于第一预设数值,则运动目标是无效的。
具体的,若判定结果对应的数值大于第一预设数值,则运动目标是有效的,否则,若判定结果对应的数值小于等于第一预设数值,则运动目标是无效的。例如,第一预设数值可以是0.5,若判定结果对应的数值大于0.5,则运动目标是有效的,否则,则运动目标是无效的。
上述实施例中,通过具体说明了对运动目标进行判定的方法,通过对判定结果的输出向量进行计算得到判定结果对应的数值,若判定结果对应的数值大于第一预设数值,则运动目标是有效的,否则,若判定结果对应的数值小于等于第一预设数值,则运动目标是无效的。实现了对运动目标有效还是无效的区分,减少了大量的对无效运动目标的报警,提高了报警的准确性。
如图4所示,在一个实施例中,在步骤S202之前,训练深度学习神经网络,包括步骤:
S402,从历史视频监控记录中,获取每个时间点对应的监控画面,将包含有有效运动目标的监控画面作为正样本,将包含有无效运动目标的监控画面作为负样本。
具体的,获取到在服务器上存储的监控设备录制的历史视频监控记录。从该历史视频监控记录中获取对应的每个当前时间点,同时获取每个当前时间点对应的监控画面。将包含有有效运动目标的监控画面作为正样本,将包含有无效运动目标的监控画面作为负样本。
S404,获取正样本中特征向量值大于第一预设数值的正样本向量,以及获取负样本中特征向量值小于等于第一预设数值的负样本向量。
具体的,每个正样本对应的正样本向量,其正样本向量的值是大于第一预设数值的,每个负样本对应的负样本向量,其负样本向量的值是小于等于第一预设数值的。获取到正样本向量和负样本向量。例如,如果第一预设数值是0.5,则正样本向量可以是[0.8],负样本向量可以是[0.2].
S406,将正样本和正样本向量在深度学习神经网络进行训练,或者,将负样本和负样本向量在深度学习神经网络进行训练,得到训练好的深度学习神经网络。
具体的,将正样本和正样本向量在深度卷积神经网络中进行训练,或者,将负样本和负样本向量在深度卷积神经网络中进行训练,得到训练好的深度学习神经网络。例如,深度卷积神经网络包括3个卷积层,3个池化层,2个全连接层。其中,第1个层为卷积层,使用64个的卷积核;第2个层为下采样层,使用的下采样。第3层为卷积层,使用128个的卷积核;第4个层为下采样层,使用的下采样。第5层为卷积层,使用128个的卷积核;第6个层为下采样层,使用的下采样。第7个层为全连接层,包含1024个神经元;第8个层为全连接层,包含512个神经元。最后一个层是输出层,包含1个神经元。所有层的激活函数采用标准的ReLU函数,这个函数定义为:
将正样本和正样本向量在深度卷积神经网络中进行训练,或者,将负样本和负样本向量在深度卷积神经网络中进行训练。训练过程采用梯度下降和反向传播算法。其中,损失函数采用交叉熵损失函数,交叉熵定义为其中,y为样本的标签值,取值为0或者1,为神经网络的预测值,最后得到训练好的深度卷积神经网络。
上述实施例中,通过预先训练好深度卷积神经网络,在判断运动目标是否有效时,直接使用该训练好的深度卷积神经网络,更方便的去判断动目标是否有效,提高了判断的效率。
如图5所示,在一个实施例中,在步骤S202之前,训练预设报警模型,包括步骤:
S502,从历史视频监控记录中,获取包含有有效运动目标的监控画面对应的时间点及时间点对应的用户行为特征、当前监控画面的变化特征,根据时间点、时间点对应的用户行为特征、当前监控画面的变化特征组成监控画面的特征向量。
具体的,获取到在服务器上存储的监控设备录制的历史视频监控记录,从该历史视频监控记录中获取录制历史视频监控记录时对应的每个当前时间点,同时获取该当前时间点对应的用户行为特征,即在该当前时间点用户查看该历史视频监控记录报警的频率和当前监控画面的变化特征,即该历史视频监控记录在每个当前时间点记录的当前监控画面的变化区域和数量。将每个时间点、每个时间点对应的用户行为特征、当前监控画面的变化特征分别进行编码,然后组成每个时间点对应的监控画面的特征向量。例如,获取监控设备包含有有效运动目标的监控画面对应的当前时间点的特征向量[1,0,....,0]、用户行为特征的特征向量[1,0,....,0]和当前监控画面的变化特征的特征向量[N,ΔS]组成最终的监控画面的特征向量[1,0,....,0,1,0....0,N,ΔS]。
S504,当包含有效运动目标的监控画面为报警画面时,获取报警画面中特征向量值大于第二预设数值的报警向量,以及当包含有效运动目标的监控画面为非报警画面时,获取非报警画面中特征向量值小于等于第二预设数值的非报向量。
具体的,当在服务器上存储的监控设备录制的历史视频监控记录中的包含有效运动目标的监控画面是报警画面时,获取该报警画面对应的报警画面特征向量。其中,该报警画面特征向量的值是大于第二预设数值。当在服务器上存储的监控设备录制的历史视频监控记录中的包含有效运动目标的监控画面是非报警画面时,获取该非报警画面对应的非报警向量,其中,该非报警向量的值是小于等于第二预设数值。例如,如第二预设数值也可以是0.5,则获取的报警向量可以是[0.9],则获取的非报警向量可以是[0.3]。
S506,将报警画面的特征向量和对应的报警向量在机器学习算法中进行训练,或者,将非报警画面的特征向量和对应的非报警向量在机器学习算法中进行训练,得到预设报警模型。
具体的,机器学习算法可以使用logistic(逻辑)回归算法或者支持向量机算法等等。将报警画面的特征向量作为输入,将对应的报警向量作为输出在机器学习算法中进行训练,或者,将非报警画面的特征向量作为输入,将对应的非报警向量作为输出在机器学习算法中进行训练,得到权重参数,就得到了预设报警模型。例如,机器学习算法采用logistic回归算法,其预测函数为:
其中,x为输入的特征向量,w为权重参数,h(x)为输出的特征向量。将报警画面的特征向量[1,0,....,0,1,0....0,N,ΔS]作为输入,将对应的报警向量[0.9]作为输出,或者,将非报警画面的特征向量[0,1,....,0,0,1....0,N,ΔS]作为输入,将对应的非报警向量[0.2]作为输出,在预测函数中进行训练,通过训练的得到w权重参数,即得到预设报警模型。
上述实施例中,通过从历史视频记录中预先训练好预设报警模型,在预测时可以直接使用训练好的预设报警模型,更方便,快速的得到预测结果,提高了预测的效率,方便使用。
如图6所示,在一个实施例中,步骤S206,当判定结果为运动目标有效时,计算监控画面的特征向量,包括步骤:
S602,当判定结果为运动目标有效时,获取监控画面的当前时间点,根据当前时间点查找对应的预设时间区间,预设时间区间是指预先将每天划分为等分的时间区间。
具体的,在每个时刻,当判定结果为运动目标有效时,监控设备获取到当前时间点,根据当前时间点查找对应的预设时间区间。其中预设时间区间是指预先将每天划分为等分的时间区间,每个时间点都对应一个时间区间。我们可以自由的调整时间区间的长度,只需要划分成等分的时间区间。例如:预先将一天24小时等分为120个时间区间,每个时间区间5分钟,如果获取到的当前时间点为t,则当前时间点必定在120个时间区间中,查找到这个对应时间区间为第i个时间区间。
S604,对当前时间点对应的预设时间区间和除当前时间点对应的预设时间区间外的其他预设时间区间进行编码,组成当前时间点的特征向量。
具体的,对时间区间进行编码,将得到的当前时间对应的预设时间区间编码作为特征向量中的一个分量,将不是当前时间对应的预设时间区间编码作为特征向量中的其它分量,组成当前时间点的特征向量。例如,如果当前时间点为0时3分,则该时间点对应的时间区间为第一个时间区间,则当前时间点的特征向量的第一个分量为1,其它时间区间特征向量的分量为0,具体的编码为[1,0,....,0]。
在上述实施例中,当判定结果为运动目标有效时,通过预设时间区间,获取监控画面当前时间点对应的预设时间区间,并对当前时间点对应的预设时间区间和其他的预设时间区间进行编码组成当前时间点的特征向量,使得预测的是否报警更加的精确。
如图7所示,在一个实施例中,步骤S206,当判定结果为运动目标有效时,计算监控画面的特征向量,包括步骤:
S702,当判定结果为运动目标有效时,获取每个预设时间区间的历史视频监控记录,统计每个预设时间区间内历史视频监控记录报警的频率。
具体的,历史视频监控记录是指监控设备在过去的时间中录制的监控视频,并将监控视频存储在服务器中。当判定结果为运动目标有效时,监控设备获取到每个预设时间区间内的历史视频监控记录统计每个预设时间区间内历史视频监控记录回放的频率。其中,历史视频监控记录回放的频率是指在过去的这个时间区间用户查看报警录像视频的次数。预设时间区间是指预先将时间设置为等分的时间段,每个时间段具有相同的时间长度。例如:可以将一天24个小时等分成120个时间区间,每个时间区间12分钟,也可以将一天24个小时等分为288个时间区间,每个时间区间5分钟。
S704,对频率超过预设阈值的预设时间区间和除频率超过预设阈值的预设时间区间外的其他预设时间区间进行编码,组成用户行为特征的特征向量。
具体的,阈值又称阈强度,是指释放一个行为反应所需要的最小刺激强度。低于阈值的刺激不能导致行为释放。预设阈值是指预先根据实验和测试得到在每个预设时间区间用户回放历史视频监控记录频率的阈值。如果预设时间区间超过预设的阈值,则对超过预设的阈值预设时间区间进行编码,其中,超过预设的阈值预设时间区间可能会有多个,对每个超过预设的阈值都进行编码,同时也对没有超过预设阈值的其它预设时间进行编码,组成用户行为特征的特征向量。例如,在0时0分到0时12分的预设时间区间中用户回放历史视频监控记录的频率超过了预设阈值,且该预设时间区间为所有预设时间区间第一个时间区间,则对该预设时间区间进行编码为1,其他预设时间区间用户回放历史视频监控记录的频率都没有超过预设阈值,则对其他预设时间区间进行编码为0。则用户行为特征的特征向量为[1,0,....,0]。
在上述实施例中,当判定结果为运动目标有效时,获取每个预设时间区间的历史视频监控记录,统计每个预设时间区间内历史视频监控记录报警的频率,对频率超过预设阈值的预设时间区间和除频率超过预设阈值的预设时间区间外的其他预设时间区间进行编码,组成用户行为特征的特征向量,使得监控设备在报警时考虑到了用户的习惯,使用户使用更方便。
如图8所示,在一个实施例中,步骤S206,当判定结果为运动目标有效时,计算监控画面的特征向量,包括步骤:
S802,当判定结果为运动目标有效时,从监控画面中提取当前帧的前景区域,对前景区域进行划分,得到多个前景子区域,从多个前景子区域中提取出变化区域,统计变化区域的数量和变化区域相对于整个监控画面的相对面积。
具体的,当前帧是监控设备当前采集的帧,前景区域是指当前帧的图片与背景帧的图片像素变化超过一定的阈值的区域。当判定结果为运动目标有效时,采用移动侦测算法提取出当前帧的前景区域,对前景区域进行划分,得到多个前景子区域,提取出变化的前景子区域,统计变化区域的数量和变化区域相对于整个监控画面的相对面积。其中,移动侦测算法可以是背景减除法、时间差分法和光流法等等等。
S804,数量和相对面积组成监控画面的变化特征的特征向量。
具体的,监控画面的变化特征的特征向量是由两个分量组成,包括前景子区域中变化区域的数量特征的分量和前景子区域中变化区域相对于整个监控画面的相对面积特征的分量。例如,得到的前景子区域中变化区域的数量特征的分量为N,得到的前景子区域中变化区域相对于整个监控画面的相对面积特征的分量为ΔS。
上述实施例中,通过从当前的监控画面中提取当前帧的前景区域,并从前景区域中获取到变化区域的数量特征和变化区域相对于整个监控画面的相对面积特征,组成监控画面的变化特征的特征向量,可以确定监控设备的使用场景,提高报警的准确性。
如图9所示,在一个实施例中,提供了一种视频监控报警装置,包括提取模块902、判定模块904、计算模块906、预测模块908和控制模块910。其中:
提取模块902,用于提取监控画面中的运动目标。
判定模块904,用于通过预先训练好的深度学习神经网络对运动目标进行判定。
计算模块906,用于当判定结果为运动目标有效时,计算监控画面的特征向量。
预测模块908,用于将特征向量输入预设报警模型中,得到预设报警模型的预测结果。
控制模块910,用于根据预测结果控制报警。
在上述实施例中,监控设备通过提取模块902获取到运动目标,在判定模块904对运动目标进行判定,在计算模块906中得到监控画面的特征向量。在预测模块908中得到预测结果。最后在控制模块910中控制报警。实现了对大量虚警的过滤,保证了报警的精确,方便了用户的使用。
如图10所示,判定模块904,包括:
向量获取模块1002,用于将包含运动目标的监控画面输入到预先训练好的深度卷积神经网络中进行判定,得到判定结果的输出向量;
数值计算模块1004,用于对判定结果的输出向量进行计算得到判定结果对应的数值。
结果判定模块1006,用于若判定结果对应的数值大于第一预设数值,则运动目标是有效的,否则,若判定结果对应的数值小于等于第一预设数值,则运动目标是无效的。
在一个实施例中,提取模块902,还包括:
样本获取模块,用于从历史视频监控记录中,获取每个时间点对应的监控画面,将包含有有效运动目标的监控画面作为正样本,将包含有无效运动目标的监控画面作为负样本。
样本向量获取模块,用于获取正样本中特征向量值大于第一预设数值的正样本向量,以及获取负样本中特征向量值小于等于第一预设数值的负样本向量。
神经网络训练模块,用于将正样本和正样本向量在深度学习神经网络进行训练,或者,将负样本和负样本向量在深度学习神经网络进行训练,得到训练好的深度学习神经网络。
在一个实施例中,提取模块902,还包括:
特征向量获取模块,用于从历史视频监控记录中,获取包含有有效运动目标的监控画面对应的时间点及时间点对应的用户行为特征、当前监控画面的变化特征,根据时间点、时间点对应的用户行为特征、当前监控画面的变化特征组成监控画面的特征向量。
报警向量获取模块,用于当包含有效运动目标的监控画面为报警画面时,获取报警画面中特征向量值大于第二预设数值的报警向量,以及当包含有效运动目标的监控画面为非报警画面时,获取非报警画面中特征向量值小于等于第二预设数值的非报警向量。
报警模型训练模块,用于将报警画面的特征向量和对应的报警向量在机器学习算法中进行训练,或者,将不报警画面的特征向量和对应的非报警向量在机器学习算法中进行训练,得到预设报警模型。
在一个实施例中,计算模块906,包括:
时间点获取模块,用于当判定结果为运动目标有效时,获取监控画面的当前时间点,根据当前时间点查找对应的预设时间区间,预设时间区间是指预先将每天划分为等分的时间区间。
时间点编码模块,用于对当前时间点对应的预设时间区间和除当前时间点对应的预设时间区间外的其他预设时间区间进行编码,组成当前时间点的特征向量。
在一个实施例中,计算模块906,包括:
频率统计模块,用于当判定结果为运动目标有效时,获取每个预设时间区间的历史视频监控记录,统计每个预设时间区间内历史视频监控记录报警的频率。
行为特征编码模块,用于对频率超过预设阈值的预设时间区间和除频率超过预设阈值的预设时间区间外的其他预设时间区间进行编码,组成用户行为特征的特征向量。
在一个实施例中,计算模块906,包括:
统计模块,用于当判定结果为运动目标有效时,从监控画面中提取当前帧的前景区域,对前景区域进行划分,得到多个前景子区域,从多个前景子区域中提取出变化区域,统计变化区域的数量和变化区域相对于整个监控画面的相对面积。
向量组成模块,数量和相对面积组成监控画面的变化特征的特征向量。
如图11所示,在一个实施例中,一种计算机设备,该计算实际设备可以是应用于如图1中的监控设备104。包括通过系统总线连接的处理器、内存储器、非易失性存储介质、网络接口,摄像头。该计算机设备的非易失性存储介质中存储有操作系统和一种视频监控报警装置的计算机程序,该视频监控报警装置的计算机程序用于实现一种视频监控报警方法。该计算机设备的处理器用于提供计算和控制能力,被配置为执行一种视频监控报警方法。计算机设备中内存储器为非易失性存储介质中的计算机程序的运行提供环境。计算机设备中网络接口与服务器进行数据传输,例如,服务器接收监控设备录制的监控视频。计算机设备中摄像头用于根据处理器执行一种视频监控报警方法进行录像。本领域技术人员可以理解,图11中示出的结构,仅仅是与本发明方案相关的部分结构的框图,并不构成对本发明方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现一下视频监控报警方法的步骤:提取监控画面中的运动目标;通过预先训练好的深度学习神经网络对运动目标进行判定;当判定结果为运动目标有效时,计算监控画面的特征向量;将特征向量输入预设报警模型中,得到预设报警模型的预测结果;根据预测结果控制报警。
在一个实施例中,通过预先训练好的深度学习神经网络对运动目标进行判定,包括:将包含运动目标的监控画面输入到预先训练好的深度卷积神经网络中进行判定,得到判定结果的输出向量;对判定结果的输出向量进行计算得到判定结果对应的数值;若判定结果对应的数值大于第一预设数值,则运动目标是有效的,否则,若判定结果对应的数值小于等于第一预设数值,则运动目标是无效的。
在一个实施例中,在提取监控画面中的运动目标之前,还包括:从历史视频监控记录中,获取每个时间点对应的监控画面,将包含有有效运动目标的监控画面作为正样本,将包含有无效运动目标的监控画面作为负样本;获取正样本中特征向量值大于第一预设数值的正样本向量,以及获取负样本中特征向量值小于等于第一预设数值的负样本向量;将正样本和正样本向量在深度学习神经网络进行训练,或者,将负样本和负样本向量在深度学习神经网络进行训练,得到训练好的深度学习神经网络。
在一个实施例中,在提取监控画面中的运动目标之前,还包括:从历史视频监控记录中,获取包含有有效运动目标的监控画面对应的时间点及时间点对应的用户行为特征、当前监控画面的变化特征,根据时间点、时间点对应的用户行为特征、当前监控画面的变化特征组成监控画面的特征向量;当包含有效运动目标的监控画面为报警画面时,获取报警画面中特征向量值大于第二预设数值的报警向量,以及当包含有效运动目标的监控画面为非报警画面时,获取非报警画面中特征向量值小于等于第二预设数值的非报警向量;将报警画面的特征向量和对应的报警向量在机器学习算法中进行训练,或者,将不报警画面的特征向量和对应的非报警向量在机器学习算法中进行训练,得到预设报警模型。
在一个实施例中,当判定结果为运动目标有效时,计算监控画面的特征向量,包括:当判定结果为运动目标有效时,获取监控画面的当前时间点,根据当前时间点查找对应的预设时间区间,预设时间区间是指预先将每天划分为等分的时间区间;对当前时间点对应的预设时间区间和除当前时间点对应的预设时间区间外的其他预设时间区间进行编码,组成当前时间点的特征向量。
在一个实施例中,当判定结果为运动目标有效时,计算监控画面的特征向量,包括:当判定结果为运动目标有效时,获取每个预设时间区间的历史视频监控记录,统计每个预设时间区间内历史视频监控记录报警的频率;对频率超过预设阈值的预设时间区间和除频率超过预设阈值的预设时间区间外的其他预设时间区间进行编码,组成用户行为特征的特征向量。
在一个实施例中,当判定结果为运动目标有效时,计算监控画面的特征向量,包括:当判定结果为运动目标有效时,从监控画面中提取当前帧的前景区域,对前景区域进行划分,得到多个前景子区域,从多个前景子区域中提取出变化区域,统计变化区域的数量和变化区域相对于整个监控画面的相对面积;数量和相对面积组成监控画面的变化特征的特征向量。
以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种视频监控报警方法,其特征在于,包括:
提取监控画面中的运动目标;
通过预先训练好的深度学习神经网络对所述运动目标进行判定;
当判定结果为运动目标有效时,计算所述监控画面的特征向量;
将所述特征向量输入预设报警模型中,得到所述预设报警模型的预测结果;
根据所述预测结果控制报警。
2.根据权利要求1所述的方法,其特征在于,通过预先训练好的深度学习神经网络对所述运动目标进行判定,包括:
将包含所述运动目标的监控画面输入到所述预先训练好的深度卷积神经网络中进行判定,得到判定结果的输出向量;
对所述判定结果的输出向量进行计算得到判定结果对应的数值;
若所述判定结果对应的数值大于第一预设数值,则所述运动目标是有效的,否则,若所述判定结果对应的数值小于等于第一预设数值,则所述运动目标是无效的。
3.根据权利要求1所述的方法,其特征在于,在提取监控画面中的运动目标之前,还包括:
从历史视频监控记录中,获取每个时间点对应的监控画面,将包含有有效运动目标的监控画面作为正样本,将包含有无效运动目标的监控画面作为负样本;
获取所述正样本中特征向量值大于第一预设数值的正样本向量,以及获取所述负样本中特征向量值小于等于第一预设数值的负样本向量;
将所述正样本和所述正样本向量在深度学习神经网络进行训练,或者,将所述负样本和所述负样本向量在所述深度学习神经网络进行训练,得到训练好的深度学习神经网络。
4.根据权利要求1所述的方法,其特征在于,在提取监控画面中的运动目标之前,还包括:
从历史视频监控记录中,获取包含有有效运动目标的监控画面对应的时间点及所述时间点对应的用户行为特征、当前监控画面的变化特征,根据所述时间点、所述时间点对应的用户行为特征、当前监控画面的变化特征组成所述监控画面的特征向量;
当所述包含有效运动目标的监控画面为报警画面时,获取所述报警画面中特征向量值大于第二预设数值的报警向量,以及当包含有效运动目标的监控画面为非报警画面时,获取所述非报警画面中特征向量值小于等于第二预设数值的非报警向量;
将所述报警画面的特征向量和对应的报警向量在机器学习算法中进行训练,或者,将所述不报警画面的特征向量和对应的非报警向量在所述机器学习算法中进行训练,得到预设报警模型。
5.根据权利要求1所述的方法,其特征在于,当判定结果为运动目标有效时,计算所述监控画面的特征向量,包括:
当判定结果为运动目标有效时,获取监控画面的当前时间点,根据所述当前时间点查找对应的预设时间区间,所述预设时间区间是指预先将每天划分为等分的时间区间;
对所述当前时间点对应的预设时间区间和除所述当前时间点对应的预设时间区间外的其他预设时间区间进行编码,组成所述当前时间点的特征向量。
6.根据权利要求1所述的方法,其特征在于,当判定结果为运动目标有效时,计算所述监控画面的特征向量,包括:
当判定结果为运动目标有效时,获取每个预设时间区间的历史视频监控记录,统计每个所述预设时间区间内所述历史视频监控记录报警的频率;
对所述频率超过预设阈值的预设时间区间和除所述频率超过预设阈值的预设时间区间外的其他预设时间区间进行编码,组成所述用户行为特征的特征向量。
7.根据权利要求1所述的方法,其特征在于,当判定结果为运动目标有效时,计算所述监控画面的特征向量,包括:
当判定结果为运动目标有效时,从监控画面中提取当前帧的前景区域,对所述前景区域进行划分,得到多个前景子区域,从所述多个前景子区域中提取出变化区域,统计所述变化区域的数量和所述变化区域相对于整个监控画面的相对面积;
所述数量和所述相对面积组成所述监控画面的变化特征的特征向量。
8.一种视频监控报警装置,其特征在于,包括
提取模块,用于提取监控画面中的运动目标;
判定模块,用于通过预先训练好的深度学习神经网络对所述运动目标进行判定;
计算模块,用于当判定结果为运动目标有效时,计算所述监控画面的特征向量;
预测模块,用于将所述特征向量输入预设报警模型中,得到所述预设报警模型的预测结果;
控制模块,用于根据所述预测结果控制报警。
9.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现权利要求1-7任一项所述视频监控报警方法中的步骤。
10.一种计算机存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现权利要求1-7任一项所述视频监控报警方法中的步骤。
CN201711310766.XA 2017-12-11 2017-12-11 视频监控报警方法、装置、计算机设备和存储介质 Active CN107977638B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711310766.XA CN107977638B (zh) 2017-12-11 2017-12-11 视频监控报警方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711310766.XA CN107977638B (zh) 2017-12-11 2017-12-11 视频监控报警方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN107977638A true CN107977638A (zh) 2018-05-01
CN107977638B CN107977638B (zh) 2020-05-26

Family

ID=62009951

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711310766.XA Active CN107977638B (zh) 2017-12-11 2017-12-11 视频监控报警方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN107977638B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108961651A (zh) * 2018-08-02 2018-12-07 黄河科技学院 热感应图的远程消防报警方法、装置、存储介质及电子设备
CN109598885A (zh) * 2018-12-21 2019-04-09 广东中安金狮科创有限公司 监控系统及其报警方法
CN109831648A (zh) * 2019-01-24 2019-05-31 广州市天河区保安服务公司 防盗远程监控方法、装置、设备及存储介质
CN110379106A (zh) * 2019-08-21 2019-10-25 广东电网有限责任公司 一种小动物入侵侦测预警装置及方法
CN110874910A (zh) * 2018-08-31 2020-03-10 杭州海康威视数字技术股份有限公司 路面报警方法、装置、电子设备及可读存储介质
CN110909706A (zh) * 2019-11-29 2020-03-24 北京明略软件系统有限公司 一种昼伏夜出人员判定方法、装置、电子设备及存储介质
CN114332743A (zh) * 2022-03-09 2022-04-12 深圳海润游艇码头工程有限公司 一种游艇码头监控报警方法和系统
JP7449933B2 (ja) 2019-06-10 2024-03-14 株式会社Nttドコモ 推論装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102065283A (zh) * 2010-12-23 2011-05-18 杭州华三通信技术有限公司 一种视频监控数据存储管理方法及其装置
CN102509414A (zh) * 2011-11-17 2012-06-20 华中科技大学 一种基于计算机视觉的烟雾检测方法
CN104702914A (zh) * 2015-01-14 2015-06-10 汉柏科技有限公司 一种监控视频的数据处理方法及系统
CN105336074A (zh) * 2015-10-28 2016-02-17 小米科技有限责任公司 报警方法及装置
CN105405150A (zh) * 2015-10-21 2016-03-16 东方网力科技股份有限公司 基于融合特征的异常行为检测方法和装置
CN106781458A (zh) * 2016-11-30 2017-05-31 成都通甲优博科技有限责任公司 一种交通事故监控方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102065283A (zh) * 2010-12-23 2011-05-18 杭州华三通信技术有限公司 一种视频监控数据存储管理方法及其装置
CN102509414A (zh) * 2011-11-17 2012-06-20 华中科技大学 一种基于计算机视觉的烟雾检测方法
CN104702914A (zh) * 2015-01-14 2015-06-10 汉柏科技有限公司 一种监控视频的数据处理方法及系统
CN105405150A (zh) * 2015-10-21 2016-03-16 东方网力科技股份有限公司 基于融合特征的异常行为检测方法和装置
CN105336074A (zh) * 2015-10-28 2016-02-17 小米科技有限责任公司 报警方法及装置
CN106781458A (zh) * 2016-11-30 2017-05-31 成都通甲优博科技有限责任公司 一种交通事故监控方法及系统

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108961651A (zh) * 2018-08-02 2018-12-07 黄河科技学院 热感应图的远程消防报警方法、装置、存储介质及电子设备
CN110874910A (zh) * 2018-08-31 2020-03-10 杭州海康威视数字技术股份有限公司 路面报警方法、装置、电子设备及可读存储介质
CN110874910B (zh) * 2018-08-31 2021-03-23 杭州海康威视数字技术股份有限公司 路面报警方法、装置、电子设备及可读存储介质
CN109598885A (zh) * 2018-12-21 2019-04-09 广东中安金狮科创有限公司 监控系统及其报警方法
CN109598885B (zh) * 2018-12-21 2021-06-11 广东中安金狮科创有限公司 监控系统及其报警方法
CN109831648A (zh) * 2019-01-24 2019-05-31 广州市天河区保安服务公司 防盗远程监控方法、装置、设备及存储介质
JP7449933B2 (ja) 2019-06-10 2024-03-14 株式会社Nttドコモ 推論装置
CN110379106A (zh) * 2019-08-21 2019-10-25 广东电网有限责任公司 一种小动物入侵侦测预警装置及方法
CN110909706A (zh) * 2019-11-29 2020-03-24 北京明略软件系统有限公司 一种昼伏夜出人员判定方法、装置、电子设备及存储介质
CN114332743A (zh) * 2022-03-09 2022-04-12 深圳海润游艇码头工程有限公司 一种游艇码头监控报警方法和系统

Also Published As

Publication number Publication date
CN107977638B (zh) 2020-05-26

Similar Documents

Publication Publication Date Title
CN107977638A (zh) 视频监控报警方法、装置、计算机设备和存储介质
CN109086797B (zh) 一种基于注意机制的异常事件检测方法及系统
CN108965826A (zh) 监控方法、装置、处理设备及存储介质
CN106716382A (zh) 用于移动装置行为的聚集多应用程序行为分析的方法和系统
CN105678803A (zh) 基于w4算法和帧间差分的视频监控目标检测方法
US20080298636A1 (en) Method for detecting water regions in video
Esquivel et al. Spatio-temporal prediction of Baltimore crime events using CLSTM neural networks
CN104658152A (zh) 一种基于视频的运动物体入侵报警方法
Wang Research on sports training action recognition based on deep learning
CN108012097B (zh) 视频云录像的方法、装置、计算机设备和存储介质
CN110096938A (zh) 一种视频中的动作行为的处理方法和装置
CN113052147B (zh) 一种行为识别方法及装置
CN110826702A (zh) 一种多任务深度网络的异常事件检测方法
CN107729081A (zh) 应用管理方法、装置、存储介质及电子设备
CN108563977A (zh) 一种高速公路出入口的行人预警方法及系统
CN113128360A (zh) 基于深度学习的司机驾驶行为检测与识别方法
CN113095246A (zh) 一种基于迁移学习和场景感知的跨域自适应人数统计方法
CN115082752A (zh) 基于弱监督的目标检测模型训练方法、装置、设备及介质
CN113642403A (zh) 基于边缘计算的人群异动智能安全检测系统
CN111931707A (zh) 基于对抗补丁的人脸图像预测方法、装置、设备和介质
Anees et al. Deep learning framework for density estimation of crowd videos
CN107832848A (zh) 应用管理方法、装置、存储介质及电子设备
CN117095541A (zh) 时空特征融合交通流预测方法、装置、设备及存储介质
Xia et al. Abnormal event detection in surveillance videos based on multi-scale feature and channel-wise attention mechanism
CN115909144A (zh) 一种基于对抗学习的监控视频异常检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20231212

Address after: Room 227, 2nd Floor, Building 1, No. 3 Xingfu West Street, Beifang Town, Huairou District, Beijing, 101499

Patentee after: Beijing Zhihong Technology Co.,Ltd.

Patentee after: Aizhi Technology (Shenzhen) Co.,Ltd.

Address before: No. 81 Yandu East Road, Yancheng Economic Development Zone, Jiangsu Province, 224007

Patentee before: ZMODO (JIANGSU) DIGITAL TECHNOLOGY CO.,LTD.

Patentee before: ZMODO TECHNOLOGY SHENZHEN Corp.,Ltd.

TR01 Transfer of patent right