CN104680555B - 基于视频监控的越界检测方法及越界监控系统 - Google Patents

基于视频监控的越界检测方法及越界监控系统 Download PDF

Info

Publication number
CN104680555B
CN104680555B CN201510076355.3A CN201510076355A CN104680555B CN 104680555 B CN104680555 B CN 104680555B CN 201510076355 A CN201510076355 A CN 201510076355A CN 104680555 B CN104680555 B CN 104680555B
Authority
CN
China
Prior art keywords
border
video
target
mrow
tracking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201510076355.3A
Other languages
English (en)
Other versions
CN104680555A (zh
Inventor
邹见效
陈桦
徐红兵
于力
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN201510076355.3A priority Critical patent/CN104680555B/zh
Publication of CN104680555A publication Critical patent/CN104680555A/zh
Application granted granted Critical
Publication of CN104680555B publication Critical patent/CN104680555B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明公开了一种基于视频监控的越界检测方法及越界监控系统,根据用户设置的边界线顶安全通道线段的端点得到封闭边界线和安全通道线段,对封闭边界线进行扩大和缩小得到跟踪区域,然后对每帧视频监控图像进行运动目标检测,筛选出位于跟踪区域的运动目标区域,再将筛选得到的运动目标区域与跟踪目标进行匹配跟踪,得到跟踪目标的坐标队列,对跟踪目标进行目标行为分析,判断是否有越界危险,如果安全则不作任何操作,如果越界危险很大则报警,否则根据安全标识判断是否需要对当前异常情况进行预警,在报警或预警时根据目标坐标队列标示出目标轨迹。本发明根据设定的边界进行越界检测,能够实现较大区域和复杂场地的越界检测,适用范围广。

Description

基于视频监控的越界检测方法及越界监控系统
技术领域
本发明属于计算机视觉技术领域,更为具体地讲,涉及一种基于视频监控的越界检测方法及越界监控系统。
背景技术
作为现代安防的主要手段之一,智能视频监控有着非常良好的发展前景。其中越界检测是智能视频监控的一个重要方面。
目前流行的越界检测主要采用红外线对射感应器、激光反射传感器等工具来实现。红外线对射感应器利用人体红外线使检测电流发生变化准确率高,但容易受强太阳光等多种含有红外线的光源干扰。激光反射传感器通过发射激光光束并接收该激光光束的反射波来确定被测物体距离,精度高,抗光、电干扰能力强,但不适用于地形起伏的复杂环境且激光对人体有伤害。如果采用普通的视频监控,需要配置工作人员来进行判断,成本较高且容易发生失误。
而计算机视觉领域的智能图像处理能准确检测越界,对人体无害且受环境地形影响小。目前常用的越界检测方法有帧间差分法、背景减法和光流法等,这些方法都是从视频序列中检测运动目标来实现越界报警功能,因此其针对的视频图像的地域范围比较小,例如仅为仓库大门处的监控图像。如果区域边界较大,特别是对于一些位于野外、地势复杂的大面积区域,就需要配置数量较多的监控设备,且不能很好的适应复杂环境变化。
发明内容
本发明的目的在于克服现有技术的不足,提供一种基于视频监控的越界检测方法及越界监控系统,根据设定的边界进行越界检测,能够实现较大区域和复杂场地的越界检测。
为实现上述发明目的,本发明提供一种基于视频监控的越界检测方法,包括以下步骤:
S1:用户在视频监控图像上沿警示区域的边沿依次设置警示区域的边界顶点,将相邻边界顶点连接得到警示区域封闭边界线,并在封闭边界线的两个相邻端点之间设置安全通道线段的端点,连接安全通道线段端点得到安全通道线段;根据实际需要设置跟踪目标位于边界线内部和外部的安全标识,至少将其中一种情况的安全标识设置为1,其余为0;
S2:对封闭边界线进行扩大和缩小,得到扩大边界线和缩小边界线,将扩大边界线和缩小边界线所围区域作为跟踪区域;初始化跟踪目标集合O为空集,每个跟踪目标对应一个坐标队列;
S3:对每帧视频监控图像进行运动目标检测,得到运动目标区域,筛选出位于跟踪区域的运动目标区域,再将筛选得到的运动目标区域与跟踪目标集合O的跟踪目标进行匹配跟踪,分为以下情况:
(1)如果有运动目标区域无法找到匹配的跟踪目标,将该运动目标区域作为新的跟踪目标加入跟踪目标集合O,将其质心坐标加入坐标队列;
(2)如果有运动目标区域与跟踪目标一一对应匹配,将运动目标区域的质心坐标加入跟踪目标的坐标队列;
(3)如果有一个运动目标区域与X个跟踪目标匹配,其中X>1,将运动目标区域的质心坐标分别加入X个跟踪目标的坐标队列;
(4)如果有Y个运动目标区域与跟踪目标匹配,其中Y>1,将该跟踪目标分离成Y个跟踪目标,每个跟踪目标的坐标队列均复制分离前跟踪目标的坐标队列,然后将本帧中运动目标区域的质心坐标分别加入对应跟踪目标的坐标队列;
(5)目标消失:如果没有运动目标区域与跟踪目标匹配,将该跟踪目标从跟踪目标集合Q中删除,并删除对应的坐标队列;
S4:每帧视频监控图像进行运动目标检测和匹配跟踪后,进行目标行为分析,具体包括以下步骤:
S4.1:对于跟踪目标集合O中的每个跟踪目标,首先判断质心到边界线各条边的垂心是否位于对应顶点之间,如果不是,计算对应两个顶点与跟踪目标质心的距离,选择其中较小值作为质心到该条边的距离,否则计算质心到该条边的距离;从所有距离中筛选出最小距离Dmin
S4.2:判断是否Dmin<HD1,HD1表示预设阈值,如果不是,目标安全,不作任何操作,否则进入步骤S4.3;
S4.3:计算质心到安全通道线段的垂心如果垂心在安全通道线段上,进入步骤S4.4,否则进入步骤S4.5。
S4.4:计算质心到安全通道线段的距离Dl,如果Dl≤Dmin,目标安全,不作任何操作,否则进入步骤S4.5;
S4.5:判断是否Dmin<HD2,HD2表示预设阈值,并且HD2<HD1,如果是进行报警,并根据目标的坐标队列在视频监控画面中标示出目标轨迹,否则进入步骤S4.6;
S4.6:判断跟踪目标在边界线外部还是内部,再判断对应的安全标识是否为1,如果是,进行预警,并根据目标的坐标队列在视频监控画面中标示出目标轨迹,否则目标安全,不作任何操作;
S5:判断越界检测是否结束,如果是,检测结束,否则返回步骤S3对下一帧监控视频图像进行检测。
本发明还提供一种基于视频监控的越界监控系统,其特征在于包括视频监控设备、视频采集模块、越界检测模块、视频存储模块、监控设备设置模块、越界检测设置模块、用户管理模块、报警模块、显示模块,其中:
视频监控设备用于对区域边界进行视频监控;
视频采集模块用于采集视频监控设备的监控视频,分别发送给越界检测模块和视频存储模块。
越界检测模块按照所述的基于视频监控的越界检测方法进行越界检测,一旦检测到需要预警或报警的异常情况,将对应的异常监控视频片段、目标坐标队列存入视频存储模块,并向报警模块发送报警指令、向显示模块发送异常监控视频显示指令;
视频存储模块用于存储来自视频采集模块的监控视频和来自越界检测模块的异常监控视频片段、目标坐标队列;
监控设备设置模块用于用户设置视频监控设备参数,并发送给视频监控设备;
越界检测设置模块用于用户设置越界检测参数,包括警示区域的边界顶点、安全通道线段的端点,将越界检测参数发送给越界检测模块。
用户管理模块用于设置不同等级用户的权限;
报警模块用于根据越界检测模块的报警指令进行报警;
显示模块用于从视频存储模块中读取监控视频进行显示,当接收到越界检测模块发送的异常监控视频显示指令,从视频存储模块中读取目标坐标队列,在视频监控画面中标示出目标轨迹。
本发明基于视频监控的越界检测方法及越界监控系统,根据用户设置的边界线顶安全通道线段的端点得到封闭边界线和安全通道线段,对封闭边界线进行扩大和缩小得到跟踪区域,然后对每帧视频监控图像进行运动目标检测,筛选出位于跟踪区域的运动目标区域,再将筛选得到的运动目标区域与跟踪目标进行匹配跟踪,得到跟踪目标的坐标队列,对跟踪目标进行目标行为分析,判断是否有越界危险,如果安全则不作任何操作,如果越界危险很大则报警,否则根据安全标识判断是否需要对当前异常情况进行预警,在报警或预警时根据目标坐标队列标示出目标轨迹。
本发明具有以下有益效果:
(1)本发明可以实现自动越界检测与报警,可以减少监控人员工作强度,提高监控主动性和工作效率;
(2)本发明可以使用户自行设置边界线和安全通道,能够灵活适用于各种场景;
(3)本发明可以实现大范围、复杂地形环境下的越界检测,适用范围广。
附图说明
图1是基于视频监控的越界检测方法的具体实施方式流程图;
图2是本实施例中边界线和安全通道示意图;
图3是基于背景估计的运动目标检测方法的流程示意图;
图4是目标行为分析的流程示意图;
图5是本发明基于视频监控的越界监控系统的结构图;
图6是对本发明的实验验证结果图。
具体实施方式
下面结合附图对本发明的具体实施方式进行描述,以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是,在以下的描述中,当已知功能和设计的详细描述也许会淡化本发明的主要内容时,这些描述在这里将被忽略。
图1是基于视频监控的越界检测方法的具体实施方式流程图。如图1所示,本发明基于视频监控的越界检测方法包括以下步骤:
S101:设置参数,即边界线、安全通道线段及安全标识:
用户在视频监控图像上沿警示区域的边沿依次设置警示区域的边界顶点,将相邻边界顶点连接得到警示区域封闭边界线,并在封闭边界线的两个相邻端点之间设置安全通道线段的端点,连接安全通道线段端点得到安全通道线段。并且根据实际需要设置跟踪目标位于边界线内部和外部的安全标识,至少将其中一种情况的安全标识设置为1,其余为0。
图2是本实施例中边界线和安全通道示意图。如图2所示,本实施例的边界线是一个不规则五边形,顶点集合A={a1,a2,a3,a4,a5},安全通道为线段L,其端点l1和l1在边界线顶点a1和a5之间。根据边界线顶点的坐标即可得到边界线各边的方程,同理可能得到安全通道线段的方程,将边界线方程和安全通道线段方程保存。运动目标从任何方向跨越安全通道线段以外的边界都属于非法越界。
安全标识用于标识对位于边界线内部和外部的目标的监控力度,例如某些应用场景中,对外部入侵的监控力度更强,对内部入侵的监控力度较弱,可以只设置外部的安全标识为1。对于对内外部监控力度都比较强的应用场景,例如监狱等,需要将内部和外部的安全标识都设置为1。安全标识是目标行为分析的依据之一,其具体使用方法在目标行为分析中说明。本实施例中将外部安全标识设置为1,内部安全标识设置为0。
S102:生成跟踪区域:
对封闭边界线进行扩大和缩小,得到扩大边界线和缩小边界线,将扩大边界线和缩小边界线所围的空心多边形区域作为跟踪区域。扩大比例和缩小比例根据实际情况进行设置。显然,对边界线进行扩大时,最大不能超过监视视频图像的边界。本发明设置跟踪区域的作用是减少运动目标检测和跟踪的范围。
S103:初始化跟踪目标集:
初始化跟踪目标集合O为空集。跟踪目标集合O用于存放跟踪目标,每个跟踪目标对应一个坐标队列,用于描述跟踪目标的运动轨迹。采用跟踪目标集合O可以实现对多个目标的跟踪和越界检测。
S104:运动目标检测:
对视频监控图像进行运动目标检测,得到运动目标区域,然后筛选出位于跟踪区域的运动目标区域。对于跨越跟踪区域边界线(即扩大边界线或缩小边界线)的运动目标区域的判定,可以根据实际需要选择是以运动目标区域的边界或中心来进行判定。对于跟踪区域之外的区域,由于距离边界线较远,因此即使有运动目标也无需进行跟踪,这样可以节约处理时间,提高效率。
运动目标检测的具体方法可以根据实际需要选择,本实施例中采用基于背景估计的运动目标检测方法。图3是基于背景估计的运动目标检测方法的流程示意图。如图3所示,本实施例中所采用的基于背景估计的运动目标检测方法包括以下步骤:
S301:建立背景的混合高斯模型:
选择若干张视频监控背景图像样本,训练建立背景的混合高斯模型,其具体建立方法为:统计前几帧背景图像的均值和方差,作为混合高斯模型的初始参数,权重设置为经验值。或者直接采用第一张背景图像的像素值作为均值,方差和权重设置为经验值。在训练过程中,选择权重最大的模型作为当前背景,当前训练样本t+1中,凡是与该模型的差值满足|f(x,y,t+1)-μi(x,y,t)|<3δi(x,y,t)的像素点均被认为是背景点,其中f(x,y,t+1)表示当前训练样本t+1中像素点(x,y)的像素值,μi(x,y,t)表示前t帧训练样本训练得到的混合高斯模型中第i个高斯模型的均值,其中i的取值范围为i=1,2,…,I,I表示混合高斯模型中高斯模型的数量,δi(x,y,t)表示前t帧训练样本训练得到混合高斯模型中第i个高斯模型的方差,采用式(1)所示的线性估计的方法不断地更新背景模型。
其中,ωi(t)表示前t帧训练样本训练得到混合高斯模型中第i个高斯模型的权重,μi(x,y,t+1)、δi(x,y,t+1)、ωi(t+1)分别表示第t+1帧训练样本训练得到的混合高斯模型中第i个高斯模型的均值、方差和权重。α和β表示预设的参数。
S302:检测前景像素点:
对当前帧视频监控图像t′,选择权重较大的模型作为当前背景,与该模型的差值满足|f(x,y,t′)-μi(x,y)|<3δi(x,y)的像素点均被认为是背景点,f(x,y,t′)表示视频监测图像t′中像素点(x,y)的像素值,同样采用式(1)对背景混合高斯模型进行更新,将差值不满足的像素点作为前景像素点。
S303:去除背景噪声:
在步骤S302得到的前景像素点中包括运动目标和背景噪点,由于背景噪点是分散的,而运动目标的散点相隔很近,因此本实施例采用形态学滤波去除背景噪声,即先膨胀可以将各散点连起来组成一个联通区域,再腐蚀可去除绝大部分背景噪点。形态学滤波是目前前景检测领域的常用技术,在此不再赘述。
S304:根据前景外接矩形面积筛选前景:
对于步骤S303去噪后剩下的每个前景区域,计算出前景外接矩形面积,如果前景外接矩形面积小于预设阈值,则去除视作背景,否则作为运动目标区域。本实施例中预设阈值为900。
S105:目标跟踪:
将步骤S104中筛选得到的运动目标区域与跟踪目标集合O的跟踪目标进行匹配跟踪。由于可能存在多个跟踪目标的相互影响,因此本发明将跟踪情况分为五种情况进行处理:目标消失、目标匹配、遮挡、分离以及新目标出现。在实际应用中,在安装监控摄像头时进行俯视安装,避免目标被背景遮挡或目标与背景分离的情况。
跟踪目标的匹配方法与匹配特征可以根据实际需要进行选择,本实施例中采用性能相对稳定的外接矩形面积S、质心坐标C两个特征来进行匹配。记跟踪目标集O={Oi|i=1,2,...,N},N表示跟踪目标数量,当前监控视频图像筛选得到的运动目标区域集为R={Rj|j=1,2,...,P},P表示运动目标区域数量。匹配函数λS(i,j)、λC(i,j)分别表示跟踪目标与运动目标区域面积和质心的匹配结果,其定义如下:
其中,S(Oi)、S(Rj)分别表示跟踪目标Oi、Rj的外接矩形面积,C(Oi)、C(Rj)分别表示跟踪目标Oi、Rj的质心坐标,|C(Oi)-C(Rj)|x表示质心坐标在x轴的差值绝对值,|C(Oi)-C(Rj)|y表示质心坐标在y轴的差值绝对值,d为质心x、y坐标差值绝对值的最大值,表示两个外接矩形的重叠程度,d越小,重叠程度越高。HS、HC分别表示预设的面积、质心的匹配阈值,根据实际情况设置,本实施例中HS为跟踪目标和运动目标区域中面积较小值的1/10,HC为跟踪目标外接矩形的长宽和的一半。
由式(2)可知,每个特征的匹配结果均有两种可能,但每个特征并不是彼此独立的,分析发现两个特征产生三种有意义的匹配情况,匹配结果就是特征辨识矩阵的辨识元素mij,各个辨识元素mij组成的N*P矩阵即为特征辨识矩阵,辨识元素mij的计算公式为:
mij=0表示外接矩形面积匹配且质心坐标匹配;mij=1表示外接矩形面积不匹配但质心坐标匹配;mij=2表示质心坐标不匹配。由式(3)得到mij后就可以建立本发明的特征辨识矩阵M,并通过对M的分析识别目标的状态。本发明中,跟踪目标与运动目标区域进行匹配的结果有五种情况,包括新目标出现、目标匹配、遮挡、分离以及目标消失:
(1)新目标出现:如果对于Oi∈O,都为2,即运动目标区域的质心坐标与跟踪目标集中所有跟踪目标都不匹配,将该运动目标区域作为新的跟踪目标加入跟踪目标集合O,将其质心坐标加入坐标队列;
(2)目标匹配:如果对于 即运动目标区域在跟踪目标集合O中唯一的跟踪目标与其匹配,将运动目标区域的质心坐标加入跟踪目标i0的坐标队列;
(3)目标遮挡:如果对于 中元素数量X>1,均有即运动目标区域与跟踪目标集合O中X个跟踪目标匹配,将运动目标区域的质心坐标分别加入X个跟踪目标的坐标队列;
(4)目标分离:如果对于 中元素数量Y>1,均有即有Y个运动目标区域与跟踪目标集合O中的一个跟踪目标匹配,将该跟踪目标分离成Y个跟踪目标,每个跟踪目标的坐标队列均复制分离前跟踪目标的坐标队列,然后将本帧监控视频图像中运动目标区域的质心坐标分别加入对应跟踪目标的坐标队列;
(5)目标消失:如果对于Rj∈R,都为2,即所有运动目标区域都不与跟踪目标匹配,将该跟踪目标从跟踪目标集合O中删除,并删除对应的坐标队列。
S106:目标行为分析:
根据步骤S105得到的本帧监控视频图像中目标跟踪结果,判断是否存在入侵行为。图4是目标行为分析的流程示意图,如图4所示,目标行为分析包括以下步骤:
S401:计算跟踪目标质心到边界线的最小距离:
对于跟踪目标集合O中的每个跟踪目标,首先判断质心到边界线各条边的垂心是否位于对应顶点之间,如果不是,计算对应两个顶点与跟踪目标质心的距离,选择其中较小值作为质心到该条边的距离,否则计算质心到该条边的垂直距离。从所求得所有距离中筛选出最小距离Dmin
如图2所示,假设跟踪目标的质心坐标为(tx,ty),边界线的一条边对应的两个顶点坐标分别为(x1,y1)、(x2,y2),质心到边的垂心(t′x,t′y)的计算公式为:
判断垂心是否在边对应顶点间的公式为:
(t′x-x1)(t′x-x2)≤0∩(t′y-y1)(t′y-y2)≤0 (5)
即如果垂心满足公式(5),则说明在对应顶点之间,否则不是。
质心到顶点的距离D计算公式为(以(x1,y1)为例):
质心到该条边的垂直距离D计算公式为:
S402:判断是否Dmin<HD1,HD1表示预设阈值,如果不是,目标安全,不作任何操作,否则进入步骤S403:
S403:计算质心到安全通道线段的垂心
S404:判断垂心是否在安全通道线段上,如果是,进入步骤S405,否则进入步骤S407。
S405:计算质心到安全通道线段的距离Dl
S406:判断是否Dl≤Dmin,如果是,目标安全,不作任何操作,否则进入步骤S407。理论上,由于步骤S401中求取的是到边界线的最小距离,由于安全通道线段在边界上,那么判断条件应该是Dl=Dmin,但是考虑到实际的设置时,安全通道线段不一定与边界线完全重合,因此本步骤中判断条件是Dl≤Dmin
S407:判断是否Dmin<HD2,HD2表示预设阈值,并且HD2<HD1,如果是,目标有很大越界危险,进入步骤S408,否则进入步骤S409。
S408:进行报警,并根据目标的坐标队列在视频监控画面中标示出目标轨迹。
S409:判断跟踪目标在边界线外部还是内部,如果在外部,进入步骤S410,否则进入步骤S411。
判断跟踪目标在边界线外部还是内部的方法也可以根据实际需要选择。本实施例中采用的判断跟踪目标在外部还是内部的方法为:从质心起,作一条射线沿x方向直到正无穷,如果与边界线的交点为偶数个,该跟踪目标就在边界线外,如果与边界线的交点为奇数个,该跟踪目标就在边界线内。
S410:判断预设的外部安全标识是否为1,如果是,目标有越界危险,进入步骤S412,否则目标安全,不作任何操作。
S411:判断预设的内部安全标识是否为1,如果是,目标有越界危险,进入步骤S412,否则目标安全,不作任何操作。
S412:进行预警,并根据目标的坐标队列在视频监控画面中标示出目标轨迹。
S107:判断越界检测是否结束,即是否接收到结束指令,如果是,检测结束,否则返回步骤S104对下一帧监控视频图像进行检测。
本发明还提供一种基于视频监控的越界监控系统。图5是本发明基于视频监控的越界监控系统的结构图。如图5所示,本发明基于视频监控的越界监控系统包括视频监控设备51、视频采集模块52、越界检测模块53、视频存储模块54、监控设备设置模块55、越界检测设置模块56、用户管理模块57、报警模块58、显示模块59。
视频监控设备51用于对区域边界进行视频监控。在实际应用中,在安装视频监控设备51中的监控摄像头时,最好采用俯视安装,避免目标被背景遮挡或目标与背景分离的情况。
视频采集模块52用于采集视频监控设备51的监控视频,分别发送给越界检测模块53和视频存储模块54。
越界检测模块53按照本发明提供的基于视频监控的越界检测方法进行越界检测,一旦检测到需要预警或报警的异常情况,将对应的异常监控视频片段、目标坐标队列存入视频存储模块54,并向报警模块58发送报警指令、向显示模块59发送异常监控视频显示指令。
视频存储模块54用于存储来自视频采集模块52的监控视频和来自越界检测模块53的异常监控视频片段。可见,来自视频采集模块52的监控视频是全部监控视频,而越界检测模块53的视频是异常监控视频片段。
监控设备设置模块55用于用户设置视频监控设备参数,并发送给视频监控设备51。
越界检测设置模块56用于用户设置越界检测参数,包括警示区域的边界顶点、安全通道线段的端点,将越界检测参数发送给越界检测模块53。如果扩大边界线和缩小边界线的比例可变,也可以通过越界检测设置模块56进行设置。
用户管理模块57用于设置不同等级用户的权限,用户权限供监控设备设置模块55和越界检测设置模块56调用。例如可以分为普通用户和管理员用户,普通用户只能查看当前视频和调阅历史视频,而管理员用户还可以进行参数设置等。
报警模块58用于根据越界检测模块53的报警指令进行报警。
显示模块59用于从视频存储模块54中读取监控视频进行显示,当接收到越界检测模块53发送的异常监控视频显示指令,从视频存储模块54中读取目标坐标队列,在视频监控画面中标示出目标轨迹。显示模块59还提供查询接口,根据用户的查询指令从视频存储模块54中读取异常监控视频片段和目标坐标队列进行显示。
视频采集模块52、越界检测模块53、视频存储模块54组成分析端,完成数据采集和分析存储的工作,监控设备设置模块55、越界检测设置模块56、用户管理模块57、报警模块58、显示模块59组成客户端,用于用户进行参数设置、监控查看等。分析端和客户端可以设置在一台设备上,也可以分开设置,组成分布式系统。
为了说明本发明的有益效果,采用一个具体视频监控场景对本发明进行实验验证。图6是对本发明的实验验证结果图。如图6所示,本实施例中边界线采用黑色线条,安全通道线段为灰色线条,当目标从安全通道穿过时,属于安全(safe)情况不会报警,当目标有越界危险或正在越界时,本发明可以根据目标到边界线的距离进行相应的预警(warning)和报警(dangerous),并在画面中标示出目标轨迹(白色线条)。可见,本发明能够准确实现越界检测。
尽管上面对本发明说明性的具体实施方式进行了描述,以便于本技术领域的技术人员理解本发明,但应该清楚,本发明不限于具体实施方式的范围,对本技术领域的普通技术人员来讲,只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内,这些变化是显而易见的,一切利用本发明构思的发明创造均在保护之列。

Claims (3)

1.一种基于视频监控的越界检测方法,其特征在于,包括以下步骤:
S1:用户在视频监控图像上沿警示区域的边沿依次设置警示区域的边界顶点,将相邻边界顶点连接得到警示区域封闭边界线,并在封闭边界线的两个相邻端点之间设置安全通道线段的端点,连接安全通道线段端点得到安全通道线段;根据实际需要设置跟踪目标位于边界线内部和外部的安全标识,至少将其中一种情况的安全标识设置为1,其余为0;
S2:对封闭边界线进行扩大和缩小,得到扩大边界线和缩小边界线,将扩大边界线和缩小边界线所围区域作为跟踪区域;初始化跟踪目标集合O为空集,每个跟踪目标对应一个坐标队列;
S3:对每帧视频监控图像进行运动目标检测,得到运动目标区域,筛选出位于跟踪区域的运动目标区域,再将筛选得到的运动目标区域与跟踪目标集合O的跟踪目标进行匹配跟踪,具体步骤包括:
S3.1:选择外接矩形面积S、质心坐标C作为匹配特征;记跟踪目标集O={Oi|i=1,2,...,N},N表示跟踪目标数量,当前监控视频图像筛选得到的运动目标区域集为R={Rj|j=1,2,...,P},P表示运动目标区域数量;
S3.2:计算每个跟踪目标与运动目标区域的面积匹配结果λS(i,j)和质心匹配结果λC(i,j):
λS(i,j)={1|if(|S(Oi)-S(Rj)|≤HS),elseλS=0}
λC(i,j)={d|if(d≤HC),elseλC=0},d=max(|C(Oi)-C(Rj)|x,|C(Oi)-C(Rj)|y)
其中,S(Oi)、S(Rj)分别表示跟踪目标Oi、运动目标区域Rj的外接矩形面积,C(Oi)、C(Rj)分别表示跟踪目标Oi、运动目标区域Rj的质心坐标,|C(Oi)-C(Rj)|x表示质心坐标在x轴的差值绝对值,|C(Oi)-C(Rj)|y表示质心坐标在y轴的差值绝对值,d为质心x、y坐标差值绝对值的最大值,HS、HC分别表示预设的面积、质心的匹配阈值;
S3.3:根据面积匹配结果λS(i,j)和质心匹配结果λC(i,j)得到辨识元素mij,各个辨识元素mij组成的N*P矩阵即为特征辨识矩阵,辨识元素mij的计算公式为:
<mrow> <msub> <mi>m</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> </msub> <mo>=</mo> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <mn>0</mn> <mo>,</mo> </mrow> </mtd> <mtd> <mrow> <mo>(</mo> <msub> <mi>&amp;lambda;</mi> <mi>S</mi> </msub> <mo>(</mo> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> <mo>)</mo> <mo>=</mo> <mn>1</mn> <mo>)</mo> <mo>&amp;cap;</mo> <mo>(</mo> <msub> <mi>&amp;lambda;</mi> <mi>C</mi> </msub> <mo>(</mo> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> <mo>)</mo> <mo>&gt;</mo> <mn>0</mn> <mo>)</mo> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mn>1</mn> <mo>,</mo> </mrow> </mtd> <mtd> <mrow> <mo>(</mo> <msub> <mi>&amp;lambda;</mi> <mi>S</mi> </msub> <mo>(</mo> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> <mo>)</mo> <mo>=</mo> <mn>0</mn> <mo>)</mo> <mo>&amp;cap;</mo> <mo>(</mo> <msub> <mi>&amp;lambda;</mi> <mi>C</mi> </msub> <mo>(</mo> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> <mo>)</mo> <mo>&gt;</mo> <mn>0</mn> <mo>)</mo> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mn>2</mn> <mo>,</mo> </mrow> </mtd> <mtd> <mrow> <msub> <mi>&amp;lambda;</mi> <mi>C</mi> </msub> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>=</mo> <mn>0</mn> </mrow> </mtd> </mtr> </mtable> </mfenced> </mrow>
S3.4:根据特征辨识矩阵得到以下五种匹配情况:
(1)如果对于Oi∈O,都为2,则运动目标区域是新的跟踪目标;
(2)如果对于则运动目标区域与跟踪目标一一对应匹配;
(3)如果对于 中元素数量X>1,均有则运动目标区域与跟踪目标集合O中X个跟踪目标匹配;
(4)如果对于 中元素数量Y>1,均有则有Y个运动目标区域与跟踪目标集合O中的一个跟踪目标匹配;
(5)如果对于Rj∈R,都为2,则所有运动目标区域都不与跟踪目标匹配;
S4:每帧视频监控图像进行运动目标检测和匹配跟踪后,进行目标行为分析,具体包括以下步骤:
S4.1:对于跟踪目标集合O中的每个跟踪目标,首先判断质心到边界线各条边的垂心是否位于对应顶点之间,如果不是,计算对应两个顶点与跟踪目标质心的距离,选择其中较小值作为质心到该条边的距离,否则计算质心到该条边的垂直距离;从所求得所有距离中筛选出最小距离Dmin
S4.2:判断是否Dmin<HD1,HD1表示预设阈值,如果不是,目标安全,不作任何操作,否则进入步骤S4.3;
S4.3:计算质心到安全通道线段的垂心如果垂心在安全通道线段上,进入步骤S4.4,否则进入步骤S4.5;
S4.4:计算质心到安全通道线段的距离Dl,如果Dl≤Dmin,目标安全,不作任何操作,否则进入步骤S4.5;
S4.5:判断是否Dmin<HD2,HD2表示预设阈值,并且HD2<HD1,如果是进行报警,并根据目标的坐标队列在视频监控画面中标示出目标轨迹,否则进入步骤S4.6;
S4.8:判断跟踪目标在边界线外部还是内部,再判断对应的安全标识是否为1,如果是,进行预警,并根据目标的坐标队列在视频监控画面中标示出目标轨迹,否则目标安全,不作任何操作;
S5:判断越界检测是否结束,如果是,检测结束,否则返回步骤S3对下一帧监控视频图像进行检测。
2.根据权利要求1所述的基于视频监控的越界检测方法,其特征在于,所述步骤S3中运动目标检测的方法为:建立视频监控背景的混合高斯模型,根据背景的混合高斯模型检测得到前景像素点,然后去除背景噪声,计算剩余前景区域的外接矩形面积,如果面积小于预设阈值,则去除,否则作为运动目标区域。
3.一种基于视频监控的越界监控系统,其特征在于包括视频监控设备、视频采集模块、越界检测模块、视频存储模块、监控设备设置模块、越界检测设置模块、用户管理模块、报警模块、显示模块,其中:
视频监控设备用于对区域边界进行视频监控;
视频采集模块用于采集视频监控设备的监控视频,分别发送给越界检测模块和视频存储模块;
越界检测模块按照权利要求1所述的基于视频监控的越界检测方法进行越界检测,一旦检测到需要预警或报警的异常情况,将对应的异常监控视频片段、目标坐标队列存入视频存储模块,并向报警模块发送报警指令、向显示模块发送异常监控视频显示指令;
视频存储模块用于存储来自视频采集模块的监控视频和来自越界检测模块的异常监控视频片段、目标坐标队列;
监控设备设置模块用于用户设置视频监控设备参数,并发送给视频监控设备;
越界检测设置模块用于用户设置越界检测参数,包括警示区域的边界顶点、安全通道线段的端点,将越界检测参数发送给越界检测模块;
用户管理模块用于设置不同等级用户的权限;
报警模块用于根据越界检测模块的报警指令进行报警;
显示模块用于从视频存储模块中读取监控视频进行显示,当接收到越界检测模块发送的异常监控视频显示指令,从视频存储模块中读取目标坐标队列,在视频监控画面中标示出目标轨迹。
CN201510076355.3A 2015-02-13 2015-02-13 基于视频监控的越界检测方法及越界监控系统 Expired - Fee Related CN104680555B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510076355.3A CN104680555B (zh) 2015-02-13 2015-02-13 基于视频监控的越界检测方法及越界监控系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510076355.3A CN104680555B (zh) 2015-02-13 2015-02-13 基于视频监控的越界检测方法及越界监控系统

Publications (2)

Publication Number Publication Date
CN104680555A CN104680555A (zh) 2015-06-03
CN104680555B true CN104680555B (zh) 2018-04-13

Family

ID=53315548

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510076355.3A Expired - Fee Related CN104680555B (zh) 2015-02-13 2015-02-13 基于视频监控的越界检测方法及越界监控系统

Country Status (1)

Country Link
CN (1) CN104680555B (zh)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104978751B (zh) * 2015-06-16 2017-10-31 电子科技大学 基于摄像头角度的越界检测方法
CN107341430B (zh) * 2016-04-28 2021-01-29 鸿富锦精密电子(天津)有限公司 监控装置、监控方法及计数方法
CN105956568A (zh) * 2016-05-11 2016-09-21 东华大学 一种基于监控目标识别的异常行为检测预警方法
CN106210651B (zh) * 2016-08-10 2019-01-25 杜卫国 一种智能安全监控系统
CN106412501B (zh) * 2016-09-20 2019-07-23 华中科技大学 一种视频的施工安全行为智能监控系统及其监控方法
WO2018058530A1 (zh) * 2016-09-30 2018-04-05 富士通株式会社 目标检测方法、装置以及图像处理设备
CN106599788B (zh) * 2016-11-21 2019-09-27 桂林远望智能通信科技有限公司 一种视频运动目标越线检测系统及方法
CN106682596A (zh) * 2016-12-14 2017-05-17 苏州航天系统工程有限公司 一种基于视频图像分析的违规垂钓监测方法
CN107104971B (zh) * 2017-05-03 2021-05-28 哈尔滨工业大学 一种基于激光雷达和视频的联合监控方法
CN107705326A (zh) * 2017-09-15 2018-02-16 温州大学 一种安全敏感区域的越界入侵检测方法
CN108566534A (zh) * 2018-04-23 2018-09-21 Oppo广东移动通信有限公司 基于视频监控的报警方法、装置、终端及存储介质
CN108765466A (zh) * 2018-05-31 2018-11-06 重庆科技学院 一种基于网络摄像头的智能视频监控系统及方法
CN108834066A (zh) * 2018-06-27 2018-11-16 三星电子(中国)研发中心 用于生成信息的方法和装置
CN110278413A (zh) * 2019-06-28 2019-09-24 Oppo广东移动通信有限公司 图像处理方法、装置、服务器以及存储介质
CN110889339B (zh) * 2019-11-12 2020-10-02 南京甄视智能科技有限公司 基于头肩检测的危险区域分级预警方法与系统
CN111028270B (zh) * 2019-11-14 2023-04-07 浙江大华技术股份有限公司 跟踪全景图像中物体越界的方法、装置、终端及存储装置
CN111047808A (zh) * 2019-11-26 2020-04-21 河南铭视科技股份有限公司 一种基于视频监控的危机预警方法
CN111008611B (zh) * 2019-12-20 2023-07-14 浙江大华技术股份有限公司 排队时长的确定方法及装置、存储介质、电子装置
CN111080952A (zh) * 2020-01-13 2020-04-28 贵州安防工程技术研究中心有限公司 基于实时视频与规则的反馈式区域入侵检测方法与系统
CN111540020B (zh) * 2020-04-28 2023-10-10 浙江大华技术股份有限公司 目标行为的确定方法及装置、存储介质、电子装置
US11263755B2 (en) * 2020-07-17 2022-03-01 Nanya Technology Corporation Alert device and alert method thereof
CN111815682B (zh) * 2020-09-07 2020-12-22 长沙鹏阳信息技术有限公司 一种基于多轨迹融合的多目标跟踪方法
CN112581449A (zh) * 2020-12-18 2021-03-30 深兰科技(上海)有限公司 超高检测方法、装置、电子设备和存储介质
CN112669266B (zh) * 2020-12-18 2023-08-08 深兰科技(上海)有限公司 超高检测方法、装置、电子设备和存储介质
CN112770090A (zh) * 2020-12-28 2021-05-07 杭州电子科技大学 一种基于异动检测与目标跟踪的监控方法
CN114758461A (zh) * 2021-01-26 2022-07-15 国网山东省电力公司蒙阴县供电公司 基于警示柱的多维精准电网用警示方法
CN112837343B (zh) * 2021-04-01 2022-12-09 中国船舶重工集团公司第七0九研究所 基于相机阵列的低空无人机防控光电预警识别方法及系统
CN113128480B (zh) * 2021-05-19 2023-05-30 北京邮电大学 一种具有鉴权功能的多目标周界入侵预警方法
CN113344874B (zh) * 2021-06-04 2024-02-09 温州大学 一种基于高斯混合建模的行人越界检测方法
CN113625603B (zh) * 2021-07-27 2023-06-23 金鹏电子信息机器有限公司 基于大数据的安防监控管理系统及管理方法
CN113627405B (zh) * 2021-10-12 2022-03-04 环球数科集团有限公司 景区危险监控方法、装置和计算机设备
CN114241397B (zh) * 2022-02-23 2022-07-08 武汉烽火凯卓科技有限公司 一种边防视频智能分析方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1858815A (zh) * 2005-09-27 2006-11-08 华为技术有限公司 一种位置监控方法及系统
CN104021570A (zh) * 2014-06-04 2014-09-03 电子科技大学 一种视频中有方向的越界和拌线检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012133759A (ja) * 2010-11-29 2012-07-12 Canon Inc 侵入物体の検知を行うことができる物体追尾装置、物体追尾方法及び記憶媒体

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1858815A (zh) * 2005-09-27 2006-11-08 华为技术有限公司 一种位置监控方法及系统
CN104021570A (zh) * 2014-06-04 2014-09-03 电子科技大学 一种视频中有方向的越界和拌线检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
安全敏感区域的入侵检测算法研究与实现;周记生;《中国优秀硕士学位论文全文数据库信息科技辑》;20131115(第11期);参见第二、三、四章 *
车辆越界快速自适应检测方法研究;柯海森;《视频应用与工程》;20121231;第36卷(第21期);参见153-155页 *
铁路入侵运动目标实时检测技术;李家才等;《铁道科学与工程学报》;20131231;第10卷(第6期);第116-120页 *

Also Published As

Publication number Publication date
CN104680555A (zh) 2015-06-03

Similar Documents

Publication Publication Date Title
CN104680555B (zh) 基于视频监控的越界检测方法及越界监控系统
CN104978751B (zh) 基于摄像头角度的越界检测方法
RU2484531C2 (ru) Устройство обработки видеоинформации системы охранной сигнализации
CN103810717B (zh) 一种人体行为检测方法及装置
CN109711320A (zh) 一种值班人员违规行为检测方法及系统
CN111967393A (zh) 一种基于改进YOLOv4的安全帽佩戴检测方法
US20030095782A1 (en) System and method for detection and analysis of video recordings
CN105426820B (zh) 基于安防监控视频数据的多人异常行为检测方法
CN106128053A (zh) 一种智慧金睛识别人员逗留徘徊报警方法和装置
CN107145851A (zh) 建筑作业区危险源智能识别系统
CN106210634A (zh) 一种智慧金睛识别人员倒地报警方法和装置
Wang et al. Real-time camera anomaly detection for real-world video surveillance
CN109886117A (zh) 一种目标行为检测的方法和设备
CN104318578A (zh) 一种视频图像分析方法及系统
CN109711322A (zh) 一种基于rfcn的人车分离方法
CN107194360B (zh) 逆向通行对象识别方法、装置及系统
CN107295230A (zh) 一种基于红外热像仪的微型目标物移动侦测装置及方法
KR20190046351A (ko) 침입 탐지방법 및 그 장치
CN106570478A (zh) 视觉跟踪中的目标丢失判断方法和装置
CN104966062A (zh) 视频监视方法和装置
CN106127814A (zh) 一种智慧金睛识别人员聚集打斗报警方法和装置
CN104866842B (zh) 一种人体目标入侵检测方法
CN106600628A (zh) 一种基于红外热像仪的目标物识别的方法与装置
CN112950668A (zh) 一种基于模位置测量的智能监控方法及系统
CN109255360A (zh) 一种目标分类方法、装置及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180413

Termination date: 20210213

CF01 Termination of patent right due to non-payment of annual fee