CN108765466A - 一种基于网络摄像头的智能视频监控系统及方法 - Google Patents

一种基于网络摄像头的智能视频监控系统及方法 Download PDF

Info

Publication number
CN108765466A
CN108765466A CN201810548672.4A CN201810548672A CN108765466A CN 108765466 A CN108765466 A CN 108765466A CN 201810548672 A CN201810548672 A CN 201810548672A CN 108765466 A CN108765466 A CN 108765466A
Authority
CN
China
Prior art keywords
mask
monitoring
target
image
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810548672.4A
Other languages
English (en)
Inventor
陈宁
张光林
彭军
唐德东
汪宏金
夏钦锋
蔡骏驰
吴国超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Science and Technology
Original Assignee
Chongqing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Science and Technology filed Critical Chongqing University of Science and Technology
Priority to CN201810548672.4A priority Critical patent/CN108765466A/zh
Publication of CN108765466A publication Critical patent/CN108765466A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/254Analysis of motion involving subtraction of images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20224Image subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30232Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明涉及一种智能视频监控系统及方法,属于视频监控领域,具体是涉及一种基于网络摄像头的智能视频监控系统及方法。该系统及方法采用通用的网络摄像头,并结合摄像头的SDK开发包,利用MFC控件,调控摄像头终端设备工作方式(云台工作、聚焦、告警等),同时实时获取现场视频监控数据,并对获取到的实时视频监控数据通过OpenCV提供的接口进行处理,最后根据结果实时快速反馈。其能够自主设置监控范围,采用不同的监控模式,因而能用于多种场景;其采用了高斯混合模型和三帧差法背景模型并结全本发明所提供的图像视频帧处理算法,提高了视频的处理精度。

Description

一种基于网络摄像头的智能视频监控系统及方法
技术领域
本发明涉及一种智能视频监控系统及方法,属于视频监控领域,具体是涉及一种基于网络摄像头的智能视频监控系统及方法。
背景技术
现有技术中存在大量智能监控系统。但量,随着人需求的增长,应用场景越来越复杂,现有的智能监控系统存在以下问题。
首先,现有的系统设备处理能力有限,难以实现对监控范围内的所有场景进行有效的实时监控,不具备实时布控功能。
其次,系统的监控范围和告警阈值固定,用户难以自主设置系统的监控范围,难以实现对特定范围实行智能在线监控检测。
再者,现有的系统难以有效对监控数据进行统一管理,并且数据量大,严重浪费系统的存储空间,并且难以在需要时快速调取所需要视频内容。
最后,现有的系统监控结果受背景干扰较多,系统稳定性差,辨识度低,误报率高。
因此,对现有技术中的智能监控系统进行改进,以满足不同应用场景的需求,是当前迫切需要解决的技术问题。
发明内容
以下给出一个或多个方面的简要概述以提供对这些方面的基本理解。此概述不是所有构想到的方面的详尽综览,并且既非旨在指认出所有方面的关键性或决定性要素亦非试图界定任何或所有方面的范围。其唯一的目的是要以简化形式给出一个或多个方面的一些概念以为稍后给出的更加详细的描述之序。
本发明主要的目的是解决现有技术中所存在的监控场景单一、监控灵敏度差,不根据用户需求设置监控范围等的技术问题,提供了一种基于网络摄像头的智能视频监控系统及方法。该系统及方法采用通用的网络摄像头,并结合摄像头的SDK开发包,利用MFC控件,调控摄像头终端设备工作方式(云台工作、聚焦、告警等),同时实时获取现场视频监控数据,并对获取到的实时视频监控数据通过OpenCV提供的接口进行处理,最后根据结果实时快速反馈。其能够自主设置监控范围,采用不同的监控模式,因而能用于多种场景;其采用了高斯混合模型和三帧差法背景模型并结全本发明所提供的图像视频帧处理算法,提高了视频的处理精度。
为解决上述问题,本发明的方案是:
一种基于网络摄像头的智能视频监控系统,包括一监控处理装置,所述监控处理装置进一步包括:
范围更新模块,用于在目标范围更新时,根据更新的布标区域顶点生成边界掩码和内部区域掩码;
目标提取模块,调用预定目标检测算法检测运动目标;
目标判断模块,通过当前掩码指针限定目标处理范围,当前掩码为所述边界掩码,且在多个连续的待检测帧中检测到预定次数的运动目标时,将当前掩码更新为所述内部区域掩码,然后调用所述目标提取模块;若当前掩码为所述内部区域掩码且在目标达到告警条件时启动告警模块报警。
在本发明的至少一个实施例中,所述目标提取模块基于三帧差法检测运动目标,具体为:将三帧连续的监控视频数据fk-2(x,y),fk-1(x,y)和fk(x,y)变换为HSV空间储存模型并转变为灰度值图像gk-2(x,y),gk-1(x,y)和gk(x,y);对相邻帧图像做差分运算,将前后两帧图像的差分结果相加后进行运动历史图像更新并处理得到白色团块的二值图像,对所述二值图像进行边缘检测得到白色团块的边沿定点,连接边沿定点以标记运动目标。
在本发明的至少一个实施例中,所述目标提取模块基于混合高斯模型检测运动目标,具体为:
定义用于描述(x,y)像素点的K个高斯模型,基于下式表示第i个高斯模型:
式中,wi表示该高斯模型的权重,具有归一性,ui和si 2表示t时刻像素(x,y)的单高斯模型均值和方差;
基于下式判定前景和背景:
式中β为常数,f(x,y,t)为图像f(x,y)关于时间t的函数
基于判断结果对背景和前景进行更新得到运动目标。
在本发明的至少一个实施例中,所述范围更新模块基于OpenCV对布控时所画出的边界线生成监控区域边界掩码和监控区域内部掩码,具体包括:
创建与视频分辨率大小相同的一维“0”值矩阵,根据所画区域顶点再矩阵中画出“1”值边界线,将线条膨胀变粗,保存为图像f1(x,y);
再创建一个与视频分辨率相同的一维“0”值矩阵,根据区域顶点,使用OpenCV现有接口,将边界线内部区域置“1”,保存为图像f2(x,y),作为监控区域内部掩码;将(f1(x,y)&f2(x,y))为区域边界掩码。
在本发明的至少一个实施例中,所述目标提取模块还包括:
空间转换单元,用于将视频帧从YUV空间转换至RGB空间;
插值缩放单元,用于对转换至RGB空间的视频帧进行双线性插值缩放;
目标检测单元,调用预定目标检测算法检测运动目票,并通过当前掩码指针提取目标。
在本发明的至少一个实施例中,所述插值缩放单元中,双线性插值缩放在原图像f(x,y)中取的2x2像素邻域中的加权平均值作为输出图像g(x,y)的像素值,计算公式如下:
其中Vi为2x2邻域中各个像素的权值(value),Wi为该像素点与目标像素坐标的距离权重比例,具有归一性,即
在本发明的至少一个实施例中,所述报警模块包括:
告警响应单元,判断报警开启并且是到达预的报警时限时,根据预设的告警命令控制创建告警日志;
日志记录单元,在报警录像功能开启且系统具备存储空间时,按用户选择的视频压缩格式储存视频。
在本发明的至少一个实施例中,还包括监控管理装置,所述监控管理装置进一步包括:
图像显示模块,用于在创建的窗口中显示当前帧,注册鼠标回调函数并启动绘图区域以在图像帧中标注运动目标和/或接收用户选定的监控区域;
状态管理模块,以生产者模式注册图像接收函数用于接收视频流,并在收到实时监控命令后以消费者模式创建监控处理子流程以调用所述监控处理装置进行视频监控,在接收到停止监控时,将所述监控处理子流程休眠。
一种基于网络摄像头的智能视频监控方法,包括一监控处理步骤,所述监控处理步骤进一步包括:
范围更新子步骤,用于在目标范围更新时,根据更新的布标区域顶点生成边界掩码和内部区域掩码;
目标提取子步骤,调用预定目标检测算法检测运动目票;
目标判断子步骤,通过当前掩码指针限定目标处理范围;若当前掩码为所述边界掩码,且在多个连续的待检测帧中检测到预定次数的运动目标时,将当前掩码更新为所述内部区域掩码,然后调用所述目标提取子步骤;若当前掩码为所述内部区域掩码且在目标达到告警条件时启动告警子步骤报警。
在本发明的至少一个实施例中,所述范围更新子步骤基于OpenCV对布控时所画出的边界线生成监控区域边界掩码和监控区域内部掩码。
从上述描述可知,本发明能够实时对监控范围内的所有场景进行有效监控,具备实时布控功能。
本发明能够根据实际需要,自主设置系统的监控范围,并对特定范围实行智能在线监控检测;支持用户对检测区域的告警阈值进行设置,管理更加灵活。
本发明支持用户通过简易的图形用户界面登录后台管理系统,在管理系统中,查看监控期间的告警日志,更改系统配置。
本发明对图像处理采用高斯混合模型和三帧差法进行背景建模;其中,高斯混合模型一定程度上滤除背景不稳定的干扰,三帧差法灵敏度比较优越;对图像分析采用分段方式,逐步向预设目标中心区域推进,具备对所识别对象有更高的辨识度,经过实际检测,误报率大幅度下降。
附图说明
并入本文并形成说明书的一部分的附图例示了本发明的实施例,并且附图与说明书一起进一步用于解释本发明的原理以及使得所属领域技术人员能够制作和使用本公开。
图1例示了本发明实施例中的系统框架图;
图2例示了本发明实施例中的监控管理装置的响应逻辑图;
图3例示了本发明实施例中的监控处理装置逻辑流程图;
图4例示了本发明实施例中的三帧差法背景建模流程;
图5例示了本发明实施例中的混高斯混合模型的创建和更新流程示意图。
将参照附图描述本发明的实施例。
具体实施方式
实施例
本实施例,首先提供了一种基于网络摄像头的智能视频监控系统。
图1为本发明实施例中的系统框架图。请参照图1,该系统的实施基于网络摄像头,优选基于宇视科技的CIH6x球形摄像头。本实施例利用网络摄像头的SDK开发包,以及MFC控件来调控摄像头终端设备工作(云台工作、聚焦、告警等),实时获取现场视频监控数据,并对获取到的实时视频监控数据通过OpenCV提供的接口进行处理,最后根据结果实时快速反馈。
其中,利用MFC框架GUI和处理逻辑与用户实现交互。网络摄像头的SDK包远程控制摄像头采集并返回监控视频。SDK包将监控数据送至OpenCV进行处理,OpenCV通过MFC框架GUI和处理逻辑向用户反馈处理结果并传递用户的监控命令。
其中,SDK和MFC框架GUI之间,OpenCV和MFC框架之间采用调用和服务的方式进行。MFC框架GUI和处理逻辑调用二次开发SDK以及OpenCV,SDK和OpenCV向MFC框架GUI和处理逻辑提供服务。
图2是本实施例的监控管理装置的响应逻辑图。
请参照图2,首先包括用户管理模块。其包括用户登录,用户退出的管理。
其中,用户登录包括以下步骤:
步骤102,获取界面中的登录参数;
步骤104,判断登录是否成功,若登录成功则显示更新界面,显示当前使用的通道;若登录失败,则显示提示信息。
其中,用户退出操作的响应逻辑包括以下步骤:
步骤202,判断用户是否处于登录状态;
步骤204,若用户处于登录状态,则执行退出操作;
步骤206,若退出成功,则清空通道显示条。
请参照图2,本实施例的响应逻辑还包括聚焦/云台控制,其首先判断用户是否处于登录状态,若否则给出错误提示,若是,则获取速度条。
请参照图2,本实施例的远程监控功能响应逻辑主要包括启动退出实时监控、启动图像接收方法,注销接收方法,设置监控区域,监控区域保存等逻辑。
其中,启动退出实时监控逻辑主要包括以下步骤:
步骤302,判断是否处于实时监控态;若否,则执行步骤304,若是,则执行步骤306;
步骤304,给出系统处于非监控态的错误提示;
步骤306,以消费者模式创建图像处理子流程,以生产者模式注册图像接收函数;其中,图像接收函数生产“帧序列”,图像处理子流程处理(消费)图像接收函数产生的图像帧。
其中,注销接收方法逻辑包括以下步骤:
步骤402,判断接收状态,若处于实时接收状态,则执行步骤404,否则执行步骤406;
步骤404,删除回调函数,使图像处理子流程休眠;其中回调函数用
步骤406,给出系统处于非实时接收状态的错误提示。
其中,设置监控区域逻辑包括以下步骤:
步骤502,判断系统所处状态,若系统处于实时接收状态,则执行步骤504,否则执行步骤506;
步骤504,判断帧序列是否为空,若为空,则给出帧序列为空的错误提示,否则创建窗口,显示当前帧,注册鼠标回调函数,在窗口中启动目标区域绘图,用户可以画出监控的目标范围;
步骤506,给出系统处于非实时监控状态的提示。
其中,监控区域保存逻辑包括以下步骤:
步骤602,判断用户所设置的监控区域是否合法,若不合法,则删除线条并还原窗口;若合法,则执行步骤604;
步骤604,保存最终的区域顶点,根据顶点生成区域边界线,根据边界线创建边界掩码,向中心区域延生,生成中心区域掩码。
请参照图2,除了以上描述的逻辑之外,本实施还包括一些附加的简单操作逻辑。这些逻辑中,均包括操作合法性的检查,并且在通过合法性检查之后,更改标志和指针指向。
下面结合图3,具体描述本实施例中的监控处理装置逻辑流程。请参照图3,监控处理装置逻辑流程具体包括以下步骤:
步骤702,判断帧序列是否有数据;若无数据,则休眠预定时刻后再次进行判断,若有数据,则执行步骤704。其中,优选休眠1微秒后再次进行判断。
步骤704,检测监控的目标区域范围是否有更新,如无更新,则在控件中播放监控区域;如有更新,则热行步骤706;
步骤706,更新布标区域项点生成新的边界掩码和区域块掩码;
步骤708,将视频帧从YUV空间转换至RGB空间;
步骤710,判断当前帧是否需要检测,若当前帧不需要检测,则标记上一次检测到的目标,并在控件中播放被标记目标的视频图像;否则,执行步骤712。
在具体实施时,既可以对系统的每一帧进行检测,也可以采用预定的间隔方式,以预定的帧间隔对视频帧进行抽样检测。优先,可以采用隔帧检测的方式,既可以减少处理压力,也不会因此而扣失较多的监控灵敏度。
步骤712,采用双线插值缩放,将图像缩小至原图像的十六分之一;
双线性插值缩放在原图像f(x,y)中取的2x2像素邻域中的加权平均值作为输出图像g(x,y)的像素值,计算公式如下:
其中Vi为2x2邻域中各个像素的权值(value),Wi为该像素点与目标像素坐标的距离权重比例,具有归一性,即这种方式计算,大多为浮点型运算,出于对坐标运算的优化的方面考虑,设f(x,y)分辨率为w1*h1,g(x,y)分辨率为w2*h2,最后拟定坐标权重的映射关系为目标图像(x,y)到原图像((x+0.5)*w1/w2–0.5,(y+0.5)*h1/h2–0.5)。
步骤714,调用用户指定的方法检测运动目标,并通过当前掩码指针限定目标处理范围。在本领域中,有较多公知的运动目标检测方法,任何能够检测到运动目标的方法都可以用于本步骤中。本步骤中,在通过当前掩码指针提取到目标之后,需要判断当前掩码的类型,若当前掩码是边界掩码,则执行步骤716,否则执行步骤718。
步骤716,判断是否在连续的多个待检测帧中检测到预定次数的异常,若是,则将当前掩码变更为内部掩码,并且标记上一次检测到的目标,在控件中播放标记了目标的视频图像。
步骤718,判断是否检测到的目标是否满足预定条件,若是则执行步骤720,否则将掩码指针指向外部区域掩码;其中,判断检测目标是否满足预定的条件包括判断目标是否是较大的目标,目标在视频帧图像中的占比或像素面积是否达到预设阈值。
步骤720,丢掉第一次的目标,更新目标记录并用矩形标记目标,在控件中播放被标记了目标的视频帧图像。
步骤722,判断告警权限是否开启并且距离上一次告警时间点是否超过抑制时间;若是,则执行步骤724。
步骤724,告警命令控制创建告警日志,并且在满足存储条件时,按用户选择的视频压缩格式存储视频。
其中,步骤714中,优先选择三帧差法模型或混合高斯模型进行建模。
下面结合附图4-5对三帧差法模型和混合高斯模型进行详细描述。
如图4所示,为三帧差法背景建模流程。该方法利用连续帧序列的相邻两帧做差分运算,然后取绝对值,得出两帧之间差异,能够相对于其他方法更快的速度获取到运动目标。假设当前帧f1(x,y),前一帧f2(x,y),则差分结果δ(x,y)下式所示:
δ(x,y)=|f1(x,y)-f2(x,y)| 式2
但是一般来说,连续两帧之间的变化非常小,所以连续两帧的差分运算得到的是运动物体的边沿轮廓。如果运动物体是一个单色像素块,差分结果图像的边缘还会出现比较大的空洞。并且在现实自然环境中,两个连续图像帧之间总是存在细微差异,那么这样简单差分运算的结果会产生相当大的犹如椒盐噪声和高斯噪声相似的干扰信号,对后续处理造成极大的不良影响。
根据上面的问题,所以本实施例采用三帧差法背景建模,并且对每一次差分结果做了记录,通过时间阈值来判断运动是否真的为运动目标。详细的建模过程如图4所示。
请参照图4所示的流程,三帧连续的监控视频数据fk-2(x,y),fk-1(x,y)和fk(x,y),然后将他们各自进行变换为HSV空间储存模型,在该空间中能够很方便的去除V(Value,亮度)分量,然后还原为RGB(Red,Green,Black)储存模型,在将其转变为灰度值图像gk-2(x,y),gk-1(x,y)和gk(x,y)。将此类的连续三帧图像做差分运算,得到差分结果,如下式所示:
d(k-2,k-1)(x,y)=|gk-1(x,y)-gk-2(x,y)| 式3
d(k-1,k)(x,y)=|gk(x,y)-gk-1(x,y)|
由于连续的前后两帧图像的差分运算很难检测到重叠部分,所以这里再将两次差分结果相加,增强目标像素值,扩大目标范围,如下式所示。
Dk(x,y)=|d(k-2,k-1)(x,y)+d(k-1,k)(x,y)| 式4
当前的差分结果仍为不完整的灰度图像,为后面的处理能够继续下去,接下来对Dk(x,y)进行了动态阈值处理,得到一帧二值((0,1)或者(0,255))图像。由于这样得到的图像几乎所有目标都是“空洞”,而且目标非常小,很难与噪声和细微的风吹草动区分开来,所以进行了运动目标像素点的记录。在OpenCV中提供了一个用于记录像素点的接口函数,名称如下:
Void updateMotionHistory(InputArray silhouette,InputOutpu tArray mhi,double timestamp,double duration);
silhouette为当前采集到的运动目标的二值图像,也就是前面的计算结果;
mhi为需要更新的历史图像,以双精度浮点型数据保存;
timestamp为当前时间,可以是任意时间单位的数值;
duration为每个历史像素点的存活时间,时间单位必须与timestamp相同。
由前面的计算可知,silhouette的像素值pix(x,y)!=0则表示该点为运动像素点,反之则判定为静止像素点。mhi中的每个元素记录该像素发生运动的时刻,pix(x,y)小于timestamp–duration则表示该像素点已经超出时间阈值没有运动了,可以清除,反之则保留。由此可见,当duration参数太大,运动目标将会留下很长的重影(犹如英雄联盟中的艾克),将极不利于背景中晃动景物的排除;反之,则运动目标将会严重碎片化极不利于提取。
如图4所示,在本实施例中,将更新后的历史图像经线性变换成对比度增强的uchar类型元素的运动图像,再将该图像做平滑处理,然后通过形态学膨胀处理——去除目标图像中的“空洞”,然后腐蚀——浓缩目标区域,得到最终的运动目标为白色团块的二值图像motion。将该二值图像做边沿检测,得到各白色团块的边沿定点,再将定点序列近视成规则的多边形或者圆形,就可以将目标圈出来了。
如图5所示,为本实施例的混高斯混合模型的创建和更新流程示意图。混合高斯模型是基于单高斯模型的改进,是对每个单独的像素点做基于高斯分布的概率统计计算,时间复杂度较高。单高斯模型在背景比较简单的室内有较好的背景前景区分效果,而混合高斯模型对于背景变化比较小的室外环境也有不错的效果,如树叶、花草的轻微晃动和光线轻微的明暗变化。
为了便于理解混合高斯模型,下面首先对单高斯模型进行介绍。
对于一帧图像f(x,y),假定均值、方差、标准差分别为u(x,y)、s2(x,y)和s(x,y),那么监控视频作为连续的序列则可以表示为图像f(x,y)关于时间t的函数,记为f(x,y,t),则均值、方差和标准差分别表示为u(x,y,t)、s2(x,y,t)和s(x,y,t)。令高斯模型判定结果为OutPix(x,y,t),则对前景和背景区分的判定公式如下,其中β为自定义常数,可取2.5。
在每一帧图像判定完之后,要即时更新均值、方差和标准差,它们的更新方法依据下式,其中α表示学习率(亦叫做更新率)。
在以上介绍的基础之上,下面对混合高斯模型进行详细介绍。混合高斯模型作为单高斯模型的推广,在监控室外有细微变动背景时,一定程度上提高了系统的鲁棒性。如图5所示,为高斯混合模型的创建和更新过程。
混合高斯模型就是K(K=1,2…n)个单高斯模型同时描述一个像素点,当下一个像素点如果与这K个高斯模型中的任意一个匹配(判定公式如式5),则该像素被判定为背景,反之则为前景,然后再按照固定的公式更新该像素点的所有单高斯模型。
混合高斯模型背景建模的具体步骤如下,假定用于描述(x,y)像素点的高斯模型有K(K为常数)个,每个高斯模型用Pi表示,如式7所示。
其中wi表示该高斯模型的权重,这K个权重具有归一性,即ui和si 2同单高斯模型一样,表示均值和方差。假设OutPix为判定输出结果,则判定前景和背景公式如式8,其中i=0,1,2…K,β为常数,只要f(x,y,t)满足一个高斯模型,即判定为背景,反之为前景。
在更新高斯模型时,这里相较于单高斯模型更复杂,从图5也可以看出。
当在式8中判定为背景时,权重增量为式9,其中α为学习率,式10为权重的更新公式。
Δwi=α*(1-wi(x,y,t-1)) 式9
wi(x,y,t)=wi(x,y,t-1)+Δwi 式10
对于均值、方差和标准差的更新,则与单高斯模型相同,见式6。
当在式8中判定为前景时,先删除重要性最小的高斯模型,然后新增高斯模型,权重wi(x,y,t)等于一个较小的常数值(比如0.001等),ui(x,y,t)=f(x,y,t),si(x,y,t)赋值为初始化设置的固定值。
执行完前景和背景的更新之后,还有一个对每个高斯模型的重要性做处理,重要性的计算方式为然后将每个高斯模型按重要性递减排序,如果前面n个重要性之和大于T(一般为0.7),即满足式11,则将后面的高斯模型删除,最后还要将权重进行归一化操作。
通过以上描述可知,本实施例的监控处理装置逻辑先通过图像掩码对每一帧图像只提取目标区域边界线做处理,边界线上存在入侵异常再切换掩码,逐步衍生到整个监控目标内部区域,这时入侵异常依然存在,便完成告警动作。
本实施例中,尽管为使解释简单化将上述方法图示并描述为一系列动作,但是应理解并领会,这些方法不受动作的次序所限,因为根据一个或多个实施例,一些动作可按不同次序发生和/或与来自本文中图示和描述或本文中未图示和描述但本领域技术人员可以理解的其他动作并发地发生。
本领域技术人员将进一步领会,结合本文中所公开的实施例来描述的各种解说性逻辑板块、模块、电路、和算法步骤可实现为电子硬件、计算机软件、或这两者的组合。为清楚地解说硬件与软件的这一可互换性,各种解说性组件、框、模块、电路、和步骤在上面是以其功能性的形式作一般化描述的。此类功能性是被实现为硬件还是软件取决于具体应用和施加于整体系统的设计约束。技术人员对于每种特定应用可用不同的方式来实现所描述的功能性,但这样的实现决策不应被解读成导致脱离了本发明的范围。
结合本文中公开的实施例描述的方法或算法的步骤可直接在硬件中、在由处理器执行的软件模块中、或在这两者的组合中体现。软件模块可驻留在RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动盘、CD-ROM、或本领域中所知的任何其他形式的存储介质中。示例性存储介质耦合到处理器以使得该处理器能从/向该存储介质读取和写入信息。在替换方案中,存储介质可以被整合到处理器。处理器和存储介质可驻留在ASIC中。ASIC可驻留在用户终端中。在替换方案中,处理器和存储介质可作为分立组件驻留在用户终端中。
在一个或多个示例性实施例中,所描述的功能可在硬件、软件、固件或其任何组合中实现。如果在软件中实现为计算机程序产品,则各功能可以作为一条或更多条指令或代码存储在计算机可读介质上或藉其进行传送。计算机可读介质包括计算机存储介质和通信介质两者,其包括促成计算机程序从一地向另一地转移的任何介质。存储介质可以是能被计算机访问的任何可用介质。作为示例而非限定,这样的计算机可读介质可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储、磁盘存储或其它磁存储设备、或能被用来携带或存储指令或数据结构形式的合意程序代码且能被计算机访问的任何其它介质。任何连接也被正当地称为计算机可读介质。例如,如果软件是使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)、或诸如红外、无线电、以及微波之类的无线技术从web网站、服务器、或其它远程源传送而来,则该同轴电缆、光纤电缆、双绞线、DSL、或诸如红外、无线电、以及微波之类的无线技术就被包括在介质的定义之中。如本文中所使用的盘(disk)和碟(disc)包括压缩碟(CD)、激光碟、光碟、数字多用碟(DVD)、软盘和蓝光碟,其中盘(disk)往往以磁的方式再现数据,而碟(disc)用激光以光学方式再现数据。上述的组合也应被包括在计算机可读介质的范围内。
注意到,说明书中对“一个实施例”、“实施例”、“示例实施例”、“一些实施例”等的引用指示所描述的实施例可以包括特定特征、结构或特性,但是每个实施例可以不必包括所述特定特征、结构或特性。而且,这样的短语不必指代同一实施例。此外,当结合实施例描述特定特征、结构或特性时,无论是否明确描述,结合其他实施例来实现这样的特征、结构或特性将在所属领域的技术人员的知识范围内。
提供对本公开的先前描述是为使得本领域任何技术人员皆能够制作或使用本公开。对本公开的各种修改对本领域技术人员来说都将是显而易见的,且本文中所定义的普适原理可被应用到其他变体而不会脱离本公开的精神或范围。由此,本公开并非旨在被限定于本文中所描述的示例和设计,而是应被授予与本文中所公开的原理和新颖性特征相一致的最广范围。

Claims (10)

1.一种基于网络摄像头的智能视频监控系统,其特征在于,包括一监控处理装置,所述监控处理装置进一步包括:
范围更新模块,用于在目标范围更新时,根据更新的布标区域顶点生成边界掩码和内部区域掩码;
目标提取模块,调用预定目标检测算法检测运动目标;
目标判断模块,通过当前掩码指针限定目标处理范围,当前掩码为所述边界掩码,且在多个连续的待检测帧中检测到预定次数的运动目标时,将当前掩码更新为所述内部区域掩码,然后调用所述目标提取模块;若当前掩码为所述内部区域掩码且在目标达到告警条件时启动告警模块报警。
2.根据权利要求1所述的一种基于网络摄像头的智能视频监控系统,其特征在于,所述目标提取模块基于三帧差法检测运动目标,具体为:将三帧连续的监控视频数据fk-2(x,y),fk-1(x,y)和fk(x,y)变换为HSV空间储存模型并转变为灰度值图像gk-2(x,y),gk-1(x,y)和gk(x,y);对相邻帧图像做差分运算,将前后两帧图像的差分结果相加后进行运动历史图像更新并处理得到白色团块的二值图像,对所述二值图像进行边缘检测得到白色团块的边沿定点,连接边沿定点以标记运动目标。
3.根据权利要求1所述的一种基于网络摄像头的智能视频监控系统,其特征在于,所述目标提取模块基于混合高斯模型检测运动目标,具体为:
定义用于描述(x,y)像素点的K个高斯模型,基于下式表示第i个高斯模型:
式中,wi表示该高斯模型的权重,具有归一性,ui和si 2表示t时刻像素(x,y)的单高斯模型均值和方差;
基于下式判定前景和背景:
式中β为常数,f(x,y,t)为图像f(x,y)关于时间t的函数
基于判断结果对背景和前景进行更新得到运动目标。
4.根据权利要求1所述的一种基于网络摄像头的智能视频监控系统,其特征在于,所述范围更新模块基于OpenCV对布控时所画出的边界线生成监控区域边界掩码和监控区域内部掩码,具体包括:
创建与视频分辨率大小相同的一维“0”值矩阵,根据所画区域顶点再矩阵中画出“1”值边界线,将线条膨胀变粗,保存为图像f1(x,y);
再创建一个与视频分辨率相同的一维“0”值矩阵,根据区域顶点,使用OpenCV现有接口,将边界线内部区域置“1”,保存为图像f2(x,y),作为监控区域内部掩码;将(f1(x,y)&f2(x,y))为区域边界掩码。
5.根据权利要求1所述的一种基于网络摄像头的智能视频监控系统,其特征在于,所述目标提取模块还包括:
空间转换单元,用于将视频帧从YUV空间转换至RGB空间;
插值缩放单元,用于对转换至RGB空间的视频帧进行双线性插值缩放;
目标检测单元,调用预定目标检测算法检测运动目票,并通过当前掩码指针提取目标。
6.根据权利要求5所述的一种基于网络摄像头的智能视频监控系统,其特征在于,所述插值缩放单元中,双线性插值缩放在原图像f(x,y)中取的2x2像素邻域中的加权平均值作为输出图像g(x,y)的像素值,计算公式如下:
其中Vi为2x2邻域中各个像素的权值(value),Wi为该像素点与目标像素坐标的距离权重比例,具有归一性,即
7.根据权利要求1所述的一种基于网络摄像头的智能视频监控系统,其特征在于,所述报警模块包括:
告警响应单元,判断报警开启并且是到达预的报警时限时,根据预设的告警命令控制创建告警日志;
日志记录单元,在报警录像功能开启且系统具备存储空间时,按用户选择的视频压缩格式储存视频。
8.根据权利要求1所述的一种基于网络摄像头的智能视频监控系统,其特征在于,还包括监控管理装置,所述监控管理装置进一步包括:
图像显示模块,用于在创建的窗口中显示当前帧,注册鼠标回调函数并启动绘图区域以在图像帧中标注运动目标和/或接收用户选定的监控区域;
状态管理模块,以生产者模式注册图像接收函数用于接收视频流,并在收到实时监控命令后以消费者模式创建监控处理子流程以调用所述监控处理装置进行视频监控,在接收到停止监控时,将所述监控处理子流程休眠。
9.一种基于网络摄像头的智能视频监控方法,其特征在于,包括一监控处理步骤,所述监控处理步骤进一步包括:
范围更新子步骤,用于在目标范围更新时,根据更新的布标区域顶点生成边界掩码和内部区域掩码;
目标提取子步骤,调用预定目标检测算法检测运动目票;
目标判断子步骤,通过当前掩码指针限定目标处理范围;若当前掩码为所述边界掩码,且在多个连续的待检测帧中检测到预定次数的运动目标时,将当前掩码更新为所述内部区域掩码,然后调用所述目标提取子步骤;若当前掩码为所述内部区域掩码且在目标达到告警条件时启动告警子步骤报警。
10.根据权利要求9述的一种基于网络摄像头的智能视频监控方法,其特征在于,所述范围更新子步骤基于OpenCV对布控时所画出的边界线生成监控区域边界掩码和监控区域内部掩码。
CN201810548672.4A 2018-05-31 2018-05-31 一种基于网络摄像头的智能视频监控系统及方法 Pending CN108765466A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810548672.4A CN108765466A (zh) 2018-05-31 2018-05-31 一种基于网络摄像头的智能视频监控系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810548672.4A CN108765466A (zh) 2018-05-31 2018-05-31 一种基于网络摄像头的智能视频监控系统及方法

Publications (1)

Publication Number Publication Date
CN108765466A true CN108765466A (zh) 2018-11-06

Family

ID=64001105

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810548672.4A Pending CN108765466A (zh) 2018-05-31 2018-05-31 一种基于网络摄像头的智能视频监控系统及方法

Country Status (1)

Country Link
CN (1) CN108765466A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109711337A (zh) * 2018-12-26 2019-05-03 苏州浪潮智能软件有限公司 一种利用背景匹配实现物体有无检测的方法
CN111464773A (zh) * 2020-04-08 2020-07-28 湖南泽天智航电子技术有限公司 一种多路视频显示方法及系统
CN113657319A (zh) * 2021-08-23 2021-11-16 安徽农业大学 一种基于图像识别技术的无干扰睡眠动作行为的识别方法
CN114615424A (zh) * 2020-12-21 2022-06-10 深圳市瑞立视多媒体科技有限公司 一种双目usb相机的控制sdk的生成方法及双目usb相机的控制方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104125433A (zh) * 2014-07-30 2014-10-29 西安冉科信息技术有限公司 基于多球机联动结构的视频运动目标监控方法
CN104680555A (zh) * 2015-02-13 2015-06-03 电子科技大学 基于视频监控的越界检测方法及越界监控系统
CN105208343A (zh) * 2015-09-25 2015-12-30 珠海安联锐视科技股份有限公司 可用于视频监控设备的智能监控系统和方法
CN105894702A (zh) * 2016-06-21 2016-08-24 南京工业大学 一种基于多摄像机数据融合的入侵检测报警系统及其检测方法
US20180101723A1 (en) * 2016-10-07 2018-04-12 Panasonic Intellectual Property Management Co., Ltd. Monitoring video analysis system and monitoring video analysis method
CN108040220A (zh) * 2017-11-16 2018-05-15 杭州好园科技有限公司 智慧园区视频监控系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104125433A (zh) * 2014-07-30 2014-10-29 西安冉科信息技术有限公司 基于多球机联动结构的视频运动目标监控方法
CN104680555A (zh) * 2015-02-13 2015-06-03 电子科技大学 基于视频监控的越界检测方法及越界监控系统
CN105208343A (zh) * 2015-09-25 2015-12-30 珠海安联锐视科技股份有限公司 可用于视频监控设备的智能监控系统和方法
CN105894702A (zh) * 2016-06-21 2016-08-24 南京工业大学 一种基于多摄像机数据融合的入侵检测报警系统及其检测方法
US20180101723A1 (en) * 2016-10-07 2018-04-12 Panasonic Intellectual Property Management Co., Ltd. Monitoring video analysis system and monitoring video analysis method
CN108040220A (zh) * 2017-11-16 2018-05-15 杭州好园科技有限公司 智慧园区视频监控系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李亚南等: "基于混合高斯模型和三帧差法的背景建模", 《兵工自动化》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109711337A (zh) * 2018-12-26 2019-05-03 苏州浪潮智能软件有限公司 一种利用背景匹配实现物体有无检测的方法
CN111464773A (zh) * 2020-04-08 2020-07-28 湖南泽天智航电子技术有限公司 一种多路视频显示方法及系统
CN114615424A (zh) * 2020-12-21 2022-06-10 深圳市瑞立视多媒体科技有限公司 一种双目usb相机的控制sdk的生成方法及双目usb相机的控制方法
CN114615424B (zh) * 2020-12-21 2024-05-21 深圳市瑞立视多媒体科技有限公司 一种双目usb相机的控制sdk的生成方法及双目usb相机的控制方法
CN113657319A (zh) * 2021-08-23 2021-11-16 安徽农业大学 一种基于图像识别技术的无干扰睡眠动作行为的识别方法

Similar Documents

Publication Publication Date Title
CN108765466A (zh) 一种基于网络摄像头的智能视频监控系统及方法
US6774905B2 (en) Image data processing
JP5388829B2 (ja) 侵入物体検知装置
CN112699808B (zh) 密集目标检测方法、电子设备及相关产品
CN101635835A (zh) 智能视频监控方法及系统
JP2007264860A (ja) 顔領域抽出装置
CN111242025B (zh) 一种基于yolo的动作实时监测方法
US10373015B2 (en) System and method of detecting moving objects
US20130021496A1 (en) Method and system for facilitating color balance synchronization between a plurality of video cameras and for obtaining object tracking between two or more video cameras
CN106060470A (zh) 一种视频监控方法及其系统
AU2010238543A1 (en) Method for video object detection
CN112633313B (zh) 一种网络终端的不良信息识别方法及局域网终端设备
Parveen et al. A motion detection system in python and opencv
CN102857685A (zh) 影像撷取方法与影像撷取系统
CN105868747B (zh) 云计算系统
EP1266525B1 (en) Image data processing
CN205883437U (zh) 一种视频监控系统
KR20160093253A (ko) 영상 기반 이상 흐름 감지 방법 및 그 시스템
CN116453246B (zh) 识别门外物件且可报警的智能门锁及识别报警方法
CN112969032A (zh) 光照模式识别方法、装置、计算机设备及存储介质
CN116886874A (zh) 一种生态园安防监控预警数据的采集方法及其系统
CN114764821A (zh) 移动物体检测方法、装置、电子设备和存储介质
KR20190028016A (ko) 댁내를 모니터링하는 장치, 방법 및 컴퓨터 프로그램
CN109727218B (zh) 一种完整图形提取方法
CN107545211A (zh) 云端数据处理系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20181106