CN105141885B - 进行视频监控的方法及装置 - Google Patents

进行视频监控的方法及装置 Download PDF

Info

Publication number
CN105141885B
CN105141885B CN201410226704.0A CN201410226704A CN105141885B CN 105141885 B CN105141885 B CN 105141885B CN 201410226704 A CN201410226704 A CN 201410226704A CN 105141885 B CN105141885 B CN 105141885B
Authority
CN
China
Prior art keywords
information
moving target
pixel
calculated
alarm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410226704.0A
Other languages
English (en)
Other versions
CN105141885A (zh
Inventor
许朝斌
申琳
张文聪
浦世亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN201410226704.0A priority Critical patent/CN105141885B/zh
Publication of CN105141885A publication Critical patent/CN105141885A/zh
Application granted granted Critical
Publication of CN105141885B publication Critical patent/CN105141885B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Alarm Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了进行视频监控的方法及装置,其中,该方法包括:采集视频图像,确定视频图像的深度信息;从视频图像中提取运动目标,由深度信息和相机标定信息计算得到运动目标的属性信息;判断计算得到的属性信息是否满足设定条件,如果是,则进行告警。本发明方案能够在视频图像中的运动目标出现异常时进行告警。

Description

进行视频监控的方法及装置
技术领域
本发明涉及视频处理技术,尤其涉及进行视频监控的方法及装置。
背景技术
近几年,数字化网络监控系统已经广泛的应用到各个领域。特别是针对监狱、看守所、拘留所、戒毒所、少管所、检察院等机构,视频监控起着更为重要的作用。在这些领域中,大多系统几乎做到了无盲点监控,但现有的视频监控方案采集视频数据后,只是如实再将图像显示在电视墙上。面对几十路甚至上百路的电视墙,监控人员往往容易注意力分散,对于突如其来的入侵、变故等异常事件往往被遗漏,错过了防患于未然的最佳时机。有时使得整个监控系统成为了事后取证的录像系统。
综上,现有的视频监控技术只是将图像显示在电视墙上,不便于对运动目标作进一步监控。
发明内容
本发明提供了一种进行视频监控的方法,该方法能够在视频图像中的运动目标出现异常时进行告警。
本发明提供了一种进行视频监控的装置,该装置能够在视频图像中的运动目标出现异常时进行告警。
一种进行视频监控的方法,该方法包括:
采集视频图像,确定视频图像的深度信息;
从视频图像中提取运动目标,由深度信息和相机标定信息计算得到运动目标的属性信息;
判断计算得到的属性信息是否满足设定条件,如果是,则进行告警。
一种进行视频监控的装置,该装置图包括像采集单元、深度信息确定单元、运动目标提取单元、属性信息确定单元和告警单元;
所述图像采集单元,采集视频图像,发送给所述深度信息确定单元和所述运动目标提取单元;
所述深度信息确定单元,接收来自所述图像采集单元的视频图像,确定视频图像的深度信息,发送给所述属性信息确定单元;
所述运动目标提取单元,接收来自所述图像采集单元的视频图像,从视频图像中提取运动目标,发送给所述属性信息确定单元;
所述属性信息确定单元,由深度信息和相机标定信息计算得到运动目标的属性信息,将计算得到的属性信息发送给所述告警单元;
所述告警单元,判断计算得到的属性信息是否满足设定条件,如果是,则进行告警。
从上述方案可以看出,本发明中,采集视频图像后,确定视频图像的深度信息;并从视频图像中提取运动目标,由深度信息和相机标定信息计算得到运动目标的属性信息;判断计算得到的属性信息是否满足设定条件,如果是,则进行告警。本发明基于对视频图像的分析,在运动目标出现异常,满足关于异常情况的设定条件时便进行告警。这样,即使面对几十路甚上百路的电视墙,对于突如其来的入侵、变故等异常事件时,也能及时进行告警,抓住了防患于未然的最佳时机;从而,提高了视频监控的效率。
附图说明
图1为本发明进行视频监控的方法示意性流程图;
图2为本发明从视频图像中提取运动目标的方法流程图实例;
图3为本发明从视频图像中提取人体头部的方法流程图实例;
图4为本发明计算运动目标高度信息的方法流程图实例;
图5为本发明计算运动目标速度信息的方法流程图实例;
图6为本发明计算运动目标运动剧烈程度信息的方法流程图实例;
图7为本发明进行视频监控的装置结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,下面结合实施例和附图,对本发明进一步详细说明。
现有的视频监控方案中,采集视频数据后,只是如实再将图像显示在电视墙上;而对于画面出现异常的情况,事发当时却容易疏漏。针对该情况,本发明给出了基于对视频图像的分析,在运动目标出现异常时便进行告警的方案,从而,以提高视频监控的效率。
参见图1,为本发明进行视频监控的方法示意性流程图,其包括以下步骤:
步骤101,采集视频图像,确定视频图像的深度信息。
深度信息,是反应场景中目标距离相机远近的信息,深度信息图中的每个像素值代表场景中某一点与摄像机之间的距离。
计算视频图像深度信息可采用现有的多种方式实现,例如基于双目立体视觉的技术、基于结构光的技术、基于tof的技术等。其中,基于双目立体视觉的技术主要采用置于不同位置的两个相机对同一场景进行视频图像的采集,根据图像偏差确定视频图像中各像素点所对应目标的深度信息;其他计算深度信息的技术也都是已有方案,这里不多赘述。
步骤102,从视频图像中提取运动目标,由深度信息和相机标定信息计算得到运动目标的属性信息。
从视频图像提取运动目标的方式有多种,如现有的模式识别方式,该方式将视频图像输入运动目标检测算法(比如高斯建模、差分等),获取运动目标。但现有进行运动目标提取的实现方案,提取的运动目标会受到光照,阴影等的干扰,其准确度不高。
为了提高确定的运动目标的准确性,本发明提供了图2所有的优化方式,其包括以下步骤:
步骤201,提取视频图像中的运动团块。
该步骤可采用现有进行运动目标提取的方式实现,为初步结果,这里将提取出的运动对象称为运动团块,这些运动团块可能由两个以上的运动目标连粘而成,如互相搭着肩走在一起的两个人像,或者前后两个有重合部分的人像,等等。
步骤202,对运动团块(blob)内所有像素点进行离地高度计算,滤除离地高度小于预设阈值的像素点。
获取一个像素点对应的深度信息,以及相机标定信息,根据一定的几何运算,便可得到该像素点所对应实体的离地高度。关于像素点离地高度的具体计算,可参见后续关于图3的记载。
所述预设阈值可根据需要设置;例如为保留头像的预设阈值,此时,按照预设阈值滤除后,保留关于头部的像素点。
步骤203,将运动团块内剩下的像素点投影到地平面上,得到剩下各像素点的地面坐标。
已经获知像素点对应的深度信息,以及相机标定信息,采用简单的几何运算,便可计算出像素点的地面坐标。
步骤204,根据各个像素点的地面坐标以及人体的实际尺度信息,对像素点进行聚类,得到满足人体尺度的像素点集合,每个集合称为一个类。
以头部为例,本步骤所述人体的实例尺度信息,为标准的人体头部尺寸。对所有像素点按照实际尺度进行聚类,得到满足人体头部尺寸的像素点集合,该像素点集合为一个类。若针对人体头部,则一个类为一个人头。
聚类算法为现有成熟的方案,例如meanshift等算法,这里不过多赘述。
步骤205,确定聚类出的各个类在视频图像上的坐标范围,将该坐标范围确定为运动目标所在的范围。
图3示出了以人体头部为例,采用图2的流程进行运动目标提取的实例。该实例中两个人的图像有较多重合,采用图2的优化方式,可分别提取出两个人的头部目标,为图中最右侧的两处虚线标注部分。
步骤103,判断计算得到的属性信息是否满足设定条件,如果是,则进行告警。
进一步地,可采用等级划分方式进行报警,包括:确定告警类型所属的等级;采用与确定等级对应的报警方式进行报警。
与确定等级对应的报警方式例如为:采用图片弹出方式、联动声音方式或联动声光方式等。
用于进行判断的属性信息包含运动目标的属性,可根据需要确定,例如为高度信息、速度信息、运动剧烈程度信息等。下面进行举例说明。
一、属性信息包含高度信息:
获知像素点的深度信息和相机标定信息后,采用一定的几何运算便可得到高度信息,下面通过图4的实例进行说明,其包括以下步骤:
步骤401,由深度信息和相机标定信息计算运动目标中像素点的相机坐标系的三维坐标。
xc=(ximg*depth)/f
yc=(yimg*depth)/f
zc=depth
这里,f表示相机焦距,ximg、yimg表示像素点对应成像平面中的位置到成像中心位置之间的偏差,depth表示该像素点对应的深度距离,从深度信息便可获知,(xc,yc,zc)表示该像素点在相机坐标系中的坐标。所述相机,即视频监控中进行视频图像采集的摄像机。相机坐标系的原点为相机所在位置,其z轴方向为相机照射方向,x轴与地面平行,y轴与z轴和x轴确定的平面垂直。
步骤402,将像素点的相机坐标系的三维坐标转换为世界坐标系的三维坐标,从得到的世界坐标系的三维坐标中提取像素点的高度信息。
世界坐标系,原点为相机投影到地面的位置,z轴与地面垂直并指向天空,x轴和y轴在地面上。步骤所述坐标转换可具体采用如下计算方式实现:
其中,R表示旋转矩阵,T表示偏移量,(xr,yr,zr)表示该像素点在世界坐标系中的坐标。
步骤403,将运动目标各像素点中数值最大的高度信息作为运动目标的高度信息。
通过步骤402的坐标转换后,可确定出运动目标最高点的世界坐标(xr,yr,zr),zr即为目标的离地高度。通过计算目标最高点和最低点的世界坐标,两个坐标中的zr分量的差值就是目标的高差值。通过对图像的每个像素的世界坐标系的计算,可以得到整幅图像对应的高度图像。
针对属性信息包含高度信息的情况,相应地,其设定条件和告警有多种情形,例如:
所述设定条件为在检测区域内计算得到的高度信息大于攀高阈值,所述进行告警为:进行攀爬告警;
或者,所述设定条件为在检测区域内计算得到的高度信息随时间成递减趋势,所述进行告警为:进行人员倒地告警;
或者,所述设定条件为在检测区域内计算得到的高度信息大于床铺高度阈值,所述进行告警为:进行起床告警;
或者,所述设定条件为在检测区域内计算得到的高度信息大于坐姿高度阈值,所述进行告警为:进行起立告警;
或者,所述设定条件为:对检测区域内高度信息大于设定阈值的运动目标数目进行统计,得到的人数值为一;所述进行告警为:进行单人滞留告警;
或者,所述设定条件为:对检测区域内高度信息大于设定阈值的两个运动目标之间的距离进行计算,计算得到的距离值小于距离阈值;所述进行告警为:进行尾随告警;
或者,所述设定条件为:由运动目标的高度信息获知检测区域内运动目标离开,具体可根据高度信息变为0获知;所述进行告警为:进行离岗告警;
或者,所述设定条件为:由运动目标的高度信息获知检测区域内运动目标停留的时间超时;所述进行告警为:进行如厕超时告警;
或者,所述设定条件为:由运动目标的高度信息获知检测区域内有运动目标入侵,具体可根据高度信息从0变为人体高度获知;所述进行告警为:进行区域入侵告警。
进一步地,在计算出运动目标的高度信息之后,该方法还包括:
对检测区域内高度信息大于设定阈值的运动目标进行统计,得到统计人数;
上报得到的统计人数。
二、属性信息包含速度信息:
获知像素点的深度信息和相机标定信息后,采用一定的数学运算便可得到速度信息,下面通过图5的实例进行说明,其包括以下步骤:
步骤501,由深度信息和相机标定信息计算运动目标中各像素点的相机坐标系的三维坐标。
步骤502,将像素点的相机坐标系的三维坐标转换为世界坐标系的三维坐标。
步骤503,获取运动目标中心像素点在世界坐标系中的世界坐标(xt,yt,zt),其中t为时刻。
步骤504,根据运动目标中心像素点的世界坐标在一段时间Δt内的变化,计算得到运动目标的速度信息。
具体地,Δt内目标运动速度大小为:运动方向为:(xt+Δt-xt,yt+Δt-yt,zt+Δt-zt)。
相应地,步骤103所述判断计算得到的属性信息是否满足设定条件包括:判断计算得到的速度信息是否大于速度阈值;所述进行告警为:进行奔跑告警。
三、属性信息包含运动剧烈程度信息:
获知运动目标的像素点、像素点的深度信息和相机标定信息后,采用一定的算法便可得到运动目标的运动剧烈程度信息,下面通过图6的实例进行说明,其包括以下步骤:
步骤601,将采集的当前帧视频图像与前一帧视频图像进行匹配,确定出匹配的运动目标的像素点。
步骤602,计算匹配的像素点在当前帧视频图像及前一帧视频图像中的世界坐标系。
步骤603,由计算得到的世界坐标系计算运动方向和幅值。
确定出像素点对应的世界坐标系后,计算其运动的方向和运动幅值,为现有易于实现,这里不多赘述。
步骤604,根据一段时间得到的运动方向和幅值,统计运动幅值以及运动方向的运动剧烈程度信息。
对一段时间内运动目标的运动幅值和运动方向的变化情况进行统计,以获得运动剧烈程度信息。
相应地,步骤103所述判断计算得到的属性信息是否满足设定条件包括:判断统计得到的运动剧烈程度信息是否大于剧烈程度阈值;所述进行告警为:进行剧烈运动告警。
本发明基于对视频图像的分析,在运动目标出现异常时便进行告警。这样,即使面对几十路甚上百路的电视墙,对于突如其来的入侵、变故等异常事件时,也能及时进行告警,抓住了防患于未然的最佳时机;从而,提高了视频监控的效率。
本发明的视频监控方案,结合深度信息采用三维方式以获取运动目标的运动情况,其运动属性信息的确定更加准确,若只采用二维图像进行运动状况的确定,将无法达到这样的效果。本发明方案可应用于多种告警判断中,下面进行实例说明:
1:攀高
检测目标,根据深度信息以及相机标定信息计算得到的高度信息,计算目标最高点的离地高度,最后判断是否发生攀高事件。
在该功能中,深度信息和相机标定信息结合,然后计算目标最高位置到地面的高度,并和用户的配置高度比较,是否发生攀高事件。其相较二维图像分析,能够检测目标在现实三维世界中触碰某一高度的攀高事件。
2:人员倒地
检测目标,根据深度信息以及相机标定信息,计算目标最高点的离地高度,最后判断是否发生倒地事件。
在二维图像中,假如人员倒地方向沿着摄像机照射方向倒,则整个人体状态在倒地过程中并不会有大的变化,就会出现漏报。而结合深度信息,计算出目标的离地高度,则可以获取出人员在倒地过程的高度变化,实时发出报警信息。
3:剧烈运动
剧烈运动检测主要考察人员的运动幅度以及运动的复杂性。结合深度数据,运动方向变为三维的方向,运动幅值的计算能够更加准确,避免由于视角的问题导致运动幅度出现较大偏差,能够更加准确的进行事件的检测判断。
4:起床
该功能检测床铺中是否发生人员起床的行为。
在二维图像中,由于床铺中场景比较混乱,目标的提取往往会存在误检,导致算法判断错误,结合高度信息,可以计算在床铺内是否有目标的高度超过一定的高度来过滤误检。
5:起立
该功能检测人员从坐到站的行为。
若采用二维图像分析,假如人员向上走,向上的运动可能会存在误检,或者由于人员起立时假如旁边有其他人员干扰时,会造成漏检;通过结合检测区域内目标的离地高度信息的变化,可以减少类似误检和漏检。
6:离岗
该功能主要检测值岗人员(单人或者多人)离开值岗区域的行为;
深度信息在该功能中,主要用于去除误检。通过对离地高度的限制可以进行去除不必要的检测或者分析区域。
7:如厕超时
该功能主要检测如厕人员在厕所区域逗留的时间超过一定时间的行为。
深度信息在该功能中,主要用于去除误检。根据离地高度的过滤,去除那些阴影,光照等的误检来提高检测性能。
8:区域入侵
该功能主要检测区域内出现新的目标的事件。
深度信息在该功能中,主要用于去除误检。根据离地高度的过滤,去除那些阴影,光照,小昆虫,小动物等的误检来提高检测性能。
9:进入区域
该功能主要检测目标在区域外进入区域的行为;深度信息在该功能中,主要用于去除误检。根据离地高度的过滤,去除那些阴影,光照,小昆虫,小动物等的误检来提高检测性。
10:离开区域
该功能主要检测目标在区域内离开区域的行为;深度信息在该功能中,主要用于去除误检。根据离地高度的过滤,去除那些阴影,光照,小昆虫,小动物等的误检来提高检测性能。
11:徘徊
该功能主要检测有目标在区域内持续时间超过一定时间的行为。
深度信息在该功能中,主要用于去除误检。根据离地高度的过滤,去除那些阴影,光照等的误检来提高检测性能。
12:奔跑
该功能主要检测人员运动速度超过一定速度的行为。
根据目标属性中的速度和设定阈值值进行比较,判断是否发出报警;深度信息在该功能中主要用于校正目标的运动速度,从而更加准确的计算人员的运动速度。
13:人数统计
该功能主要检测区域内的人数或者经过某一拌线的人数。
深度信息在该功能中,主要用于去除误检。对于地面上,拖拉箱上等较低的误检,可以通过目标的离地高度信息进行去除;提高检测性能。
14:单人滞留报警
该功能主要检测区域内是否只有一个人滞留在里面,假如是则发出报警。
深度信息在该功能中,主要用于去除误检。通过对离地高度的限制可以进行去除光照阴影等误检。
15:尾随
该功能检测区域内是否有人尾随他人的事件。
根据离地高度的过滤,去除那些阴影,光照,小昆虫,小动物等的误检来提高检测性能。
本发明提出了一种基于视频内容分析结合深度信息的智能防范方案,该方案结合二维图像以及深度信息的智能分析技术实现,相对纯粹二位图像的分析技术,能够有效的提高各种事件的检测性能。采用本发明方案,还具有以下效果:
1:去除光照,阴影,波纹。
去光照在二维图像序列分析中是一个难点问题,在于光照的形状,二维图像特征都是不固定的,而利用本发明计算出来的高度信息,可以减少光照造成的影响,根据高度信息去除高度低于某一高度的前景或者目标,即可减少光照造成的影响。
2:去除目标误检。
在二维图像序列分析后,提取的目标往往会伴随着误检,利用目标的离地高度信息可以去除离地高度低于一定高度的目标误检(比如人头检测在地面上的误检等),也可以利用目标内的高度分布进行过滤(比如地面上的光照误报,其整个光照的高度都为0,而一般物体内总会存在不同并且相对连续的高度分布);也可以根据目标本身的高度(比如昆虫,小动物,树叶)进行去除。
3:减少视频分析区域,提高视频分析效率。
在视频分析中,由于对于视频内容的未知,一般都会采用全图像分析,而结合高度信息后,可以根据具体的分析内容减少分析区域,提高分析效率(比如人头检测,只需要对离地高度超过1.2m以上的区域,进行检测即可)。
4:提高跟踪性能。
在二维图像序列分析中,目标本身的变化、目标之间的干扰(遮挡,穿插,粘连等)以及环境对目标的干扰等往往影响目标跟踪效果。结合深度信息后,可以根据深度信息结合相机标定信息计算出目标在现实世界的三维坐标信息,而结合目标在现实世界的三维坐标信息,可以避免目标跟踪跟到环境背景其他目标中,提高跟踪性能。
参见图7,为本发明进行视频监控的装置,其特征在于,该装置包括图像采集单元、深度信息确定单元、运动目标提取单元、属性信息确定单元和告警单元;
所述图像采集单元,采集视频图像,发送给所述深度信息确定单元和所述运动目标提取单元;
所述深度信息确定单元,接收来自所述图像采集单元的视频图像,确定视频图像的深度信息,发送给所述属性信息确定单元;
所述运动目标提取单元,接收来自所述图像采集单元的视频图像,从视频图像中提取运动目标,发送给所述属性信息确定单元;
所述属性信息确定单元,由深度信息和相机标定信息计算得到运动目标的属性信息,将计算得到的属性信息发送给所述告警单元;
所述告警单元,判断计算得到的属性信息是否满足设定条件,如果是,则进行告警。
较佳地,所述运动目标提取单元包括运动团块提取单元和目标检测单元;
所述运动团块提取单元,提取视频图像中的运动团块,发送给所述目标检测单元;
所述目标检测单元,对运动团块内的像素点进行离地高度计算,滤除离地高度小于预设阈值的像素点;将运动团块内剩下的像素点投影到地平面上,得到剩下各像素点的地面坐标;根据各个像素点的地面坐标以及人体的实际尺度信息,对像素点进行聚类,得到满足人体尺度的像素点集合,每个集合称为一个类;确定聚类出的各个类在视频图像上的坐标范围,将该坐标范围确定为运动目标所在的范围。
较佳地,所述属性信息包含高度信息,所述属性信息确定单元包括高度信息计算子单元,由深度信息和相机标定信息计算运动目标中像素点的相机坐标系的三维坐标;将像素点的相机坐标系的三维坐标转换为世界坐标系的三维坐标,从得到的世界坐标系的三维坐标中提取像素点的高度信息;将运动目标各像素点中数值最大的高度信息作为运动目标的高度信息。
较佳地,该装置还包括人数统计单元,从所述高度信息计算子单元获取检测区域内的高度信息,对检测区域内高度信息大于设定阈值的运动目标进行统计,得到统计人数;上报得到的统计人数。
较佳地,所述属性信息包含速度信息,所述属性信息确定单元包括速度信息计算子单元,由深度信息和相机标定信息计算运动目标中各像素点的相机坐标系的三维坐标;将像素点的相机坐标系的三维坐标转换为世界坐标系的三维坐标,获取运动目标中心像素点在世界坐标系中的世界坐标(xt,yt,zt),其中t为时刻;根据运动目标中心像素点的世界坐标在一段时间Δt内的变化,计算得到运动目标的速度信息;将计算得到的速度信息发送给所述告警单元;
所述告警单元,判断计算得到的速度信息是否大于速度阈值;如果是,则进行奔跑告警。
较佳地,所述属性信息包含运动剧烈程度信息,所述属性信息确定单元包括剧烈程度确定子单元,将采集的当前帧视频图像与前一帧视频图像进行匹配,确定出匹配的运动目标的像素点;计算匹配的像素点在当前帧视频图像及前一帧视频图像中的世界坐标系;由计算得到的世界坐标系计算运动方向和幅值,根据一段时间得到的运动方向和幅值,统计运动幅值以及运动方向的运动剧烈程度信息;将统计得到的运动剧烈程度信息发送给所述告警单元;
所述告警单元,判断统计得到的运动剧烈程度信息是否大于剧烈程度阈值,如果是,则进行剧烈运动告警。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明保护的范围之内。

Claims (12)

1.一种进行视频监控的方法,其特征在于,该方法包括:
采集视频图像,确定视频图像的深度信息;
从视频图像中提取运动目标,由深度信息和相机标定信息计算得到运动目标的属性信息;
判断计算得到的属性信息是否满足设定条件,如果是,则进行告警;
其中,所述从视频图像中提取运动目标包括:
提取视频图像中的运动团块,其中,所述运动团块由两个以上的运动目标连粘而成;
对运动团块内的像素点进行离地高度计算,滤除离地高度小于预设阈值的像素点;
将运动团块内剩下的像素点投影到地平面上,得到剩下各像素点的地面坐标;
根据各个像素点的地面坐标以及人体的实际尺度信息,对像素点进行聚类,得到满足人体尺度的像素点集合,每个集合称为一个类;
确定聚类出的各个类在视频图像上的坐标范围,将该坐标范围确定为运动目标所在的范围。
2.如权利要求1所述的方法,其特征在于,所述属性信息包含高度信息,所述由深度信息和相机标定信息计算得到运动目标的属性信息包括:
由深度信息和相机标定信息计算运动目标中像素点的相机坐标系的三维坐标;
将像素点的相机坐标系的三维坐标转换为世界坐标系的三维坐标,从得到的世界坐标系的三维坐标中提取像素点的高度信息;
将运动目标各像素点中数值最大的高度信息作为运动目标的高度信息。
3.如权利要求2所述的方法,其特征在于,所述设定条件为在检测区域内计算得到的高度信息大于攀高阈值,所述进行告警为:进行攀爬告警;
或者,所述设定条件为在检测区域内计算得到的高度信息随时间成递减趋势,所述进行告警为:进行人员倒地告警;
或者,所述设定条件为在检测区域内计算得到的高度信息大于床铺高度阈值,所述进行告警为:进行起床告警;
或者,所述设定条件为在检测区域内计算得到的高度信息大于坐姿高度阈值,所述进行告警为:进行起立告警;
或者,所述设定条件为:对检测区域内高度信息大于设定阈值的运动目标数目进行统计,得到的人数值为一;所述进行告警为:进行单人滞留告警;
或者,所述设定条件为:对检测区域内高度信息大于设定阈值的两个运动目标之间的距离进行计算,计算得到的距离值小于距离阈值;所述进行告警为:进行尾随告警;
或者,所述设定条件为:由运动目标的高度信息获知检测区域内运动目标离开;所述进行告警为:进行离岗告警;
或者,所述设定条件为:由运动目标的高度信息获知检测区域内运动目标停留的时间超时;所述进行告警为:进行如厕超时告警;
或者,所述设定条件为:由运动目标的高度信息获知检测区域内有运动目标入侵;所述进行告警为:进行区域入侵告警。
4.如权利要求2所述的方法,其特征在于,所述由深度信息和相机标定信息计算得到运动目标的属性信息之后,该方法还包括:
对检测区域内高度信息大于设定阈值的运动目标进行统计,得到统计人数;
上报得到的统计人数。
5.如权利要求1所述的方法,其特征在于,所述属性信息包含速度信息,所述由深度信息和相机标定信息计算得到运动目标的属性信息包括:
由深度信息和相机标定信息计算运动目标中各像素点的相机坐标系的三维坐标;
将像素点的相机坐标系的三维坐标转换为世界坐标系的三维坐标,
获取运动目标中心像素点在世界坐标系中的世界坐标;
根据运动目标中心像素点的世界坐标在一段时间内的变化,计算得到运动目标的速度信息;
所述判断计算得到的属性信息是否满足设定条件包括:判断计算得到的速度信息是否大于速度阈值;所述进行告警为:进行奔跑告警。
6.如权利要求1所述的方法,其特征在于,所述属性信息包含运动剧烈程度信息,所述由深度信息和相机标定信息计算得到运动目标的属性信息包括:
将采集的当前帧视频图像与前一帧视频图像进行匹配,确定出匹配的运动目标的像素点;
计算匹配的像素点在当前帧视频图像及前一帧视频图像中的世界坐标系;
由计算得到的世界坐标系计算运动方向和幅值;
根据一段时间得到的运动方向和幅值,统计运动幅值以及运动方向的运动剧烈程度信息;
所述判断计算得到的属性信息是否满足设定条件包括:判断统计得到的运动剧烈程度信息是否大于剧烈程度阈值;所述进行告警为:进行剧烈运动告警。
7.如权利要求1所述的方法,其特征在于,所述属性信息包含高度信息、速度信息和运动剧烈程度信息中的至少一个。
8.一种进行视频监控的装置,其特征在于,该装置包括图像采集单元、深度信息确定单元、运动目标提取单元、属性信息确定单元和告警单元;
所述图像采集单元,采集视频图像,发送给所述深度信息确定单元和所述运动目标提取单元;
所述深度信息确定单元,接收来自所述图像采集单元的视频图像,确定视频图像的深度信息,发送给所述属性信息确定单元;
所述运动目标提取单元,接收来自所述图像采集单元的视频图像,从视频图像中提取运动目标,发送给所述属性信息确定单元;
所述属性信息确定单元,由深度信息和相机标定信息计算得到运动目标的属性信息,将计算得到的属性信息发送给所述告警单元;
所述告警单元,判断计算得到的属性信息是否满足设定条件,如果是,则进行告警;
其中,所述运动目标提取单元包括运动团块提取单元和目标检测单元;
所述运动团块提取单元,提取视频图像中的运动团块,发送给所述目标检测单元,其中,所述运动团块由两个以上的运动目标连粘而成;
所述目标检测单元,对运动团块内的像素点进行离地高度计算,滤除离地高度小于预设阈值的像素点;将运动团块内剩下的像素点投影到地平面上,得到剩下各像素点的地面坐标;根据各个像素点的地面坐标以及人体的实际尺度信息,对像素点进行聚类,得到满足人体尺度的像素点集合,每个集合称为一个类;确定聚类出的各个类在视频图像上的坐标范围,将该坐标范围确定为运动目标所在的范围。
9.如权利要求8所述的装置,其特征在于,所述属性信息包含高度信息,所述属性信息确定单元包括高度信息计算子单元,由深度信息和相机标定信息计算运动目标中像素点的相机坐标系的三维坐标;将像素点的相机坐标系的三维坐标转换为世界坐标系的三维坐标,从得到的世界坐标系的三维坐标中提取像素点的高度信息;将运动目标各像素点中数值最大的高度信息作为运动目标的高度信息。
10.如权利要求9所述的装置,其特征在于,该装置还包括人数统计单元,从所述高度信息计算子单元获取检测区域内的高度信息,对检测区域内高度信息大于设定阈值的运动目标进行统计,得到统计人数;上报得到的统计人数。
11.如权利要求8所述的装置,其特征在于,所述属性信息包含速度信息,所述属性信息确定单元包括速度信息计算子单元,由深度信息和相机标定信息计算运动目标中各像素点的相机坐标系的三维坐标;将像素点的相机坐标系的三维坐标转换为世界坐标系的三维坐标,获取运动目标中心像素点在世界坐标系中的世界坐标;根据运动目标中心像素点的世界坐标在一段时间内的变化,计算得到运动目标的速度信息;将计算得到的速度信息发送给所述告警单元;
所述告警单元,判断计算得到的速度信息是否大于速度阈值;如果是,则进行奔跑告警。
12.如权利要求8所述的装置,其特征在于,所述属性信息包含运动剧烈程度信息,所述属性信息确定单元包括剧烈程度确定子单元,将采集的当前帧视频图像与前一帧视频图像进行匹配,确定出匹配的运动目标的像素点;计算匹配的像素点在当前帧视频图像及前一帧视频图像中的世界坐标系;由计算得到的世界坐标系计算运动方向和幅值,根据一段时间得到的运动方向和幅值,统计运动幅值以及运动方向的运动剧烈程度信息;将统计得到的运动剧烈程度信息发送给所述告警单元;
所述告警单元,判断统计得到的运动剧烈程度信息是否大于剧烈程度阈值,如果是,则进行剧烈运动告警。
CN201410226704.0A 2014-05-26 2014-05-26 进行视频监控的方法及装置 Active CN105141885B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410226704.0A CN105141885B (zh) 2014-05-26 2014-05-26 进行视频监控的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410226704.0A CN105141885B (zh) 2014-05-26 2014-05-26 进行视频监控的方法及装置

Publications (2)

Publication Number Publication Date
CN105141885A CN105141885A (zh) 2015-12-09
CN105141885B true CN105141885B (zh) 2018-04-20

Family

ID=54727081

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410226704.0A Active CN105141885B (zh) 2014-05-26 2014-05-26 进行视频监控的方法及装置

Country Status (1)

Country Link
CN (1) CN105141885B (zh)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107172383B (zh) * 2016-03-02 2019-11-22 杭州海康威视数字技术股份有限公司 一种对象状态检测方法及装置
CN107396037B (zh) * 2016-05-16 2020-04-03 杭州海康威视数字技术股份有限公司 视频监控方法及装置
CN106127814A (zh) * 2016-07-18 2016-11-16 四川君逸数码科技股份有限公司 一种智慧金睛识别人员聚集打斗报警方法和装置
CN106375733A (zh) * 2016-10-26 2017-02-01 生迪智慧科技有限公司 智能监控装置和系统
CN108073858A (zh) * 2016-11-14 2018-05-25 北京航天长峰科技工业集团有限公司 基于深度摄像机的人群聚集监控识别系统
CN108206932A (zh) * 2016-12-16 2018-06-26 北京迪科达科技有限公司 一种校园智能监控管理系统
CN108206935A (zh) * 2016-12-16 2018-06-26 北京迪科达科技有限公司 一种人员数量统计监测分析系统
CN106778655B (zh) * 2016-12-27 2020-05-05 华侨大学 一种基于人体骨架的入口尾随进入检测方法
CN106603999A (zh) * 2017-02-17 2017-04-26 上海创米科技有限公司 视频监控报警方法与系统
CN106803913A (zh) * 2017-03-10 2017-06-06 武汉东信同邦信息技术有限公司 一种用于自动侦测学生起立发言动作的检测方法及其装置
CN107230226A (zh) * 2017-05-15 2017-10-03 深圳奥比中光科技有限公司 人体关联关系的判断方法、装置及存储装置
CN108280952B (zh) * 2018-01-25 2020-03-27 盛视科技股份有限公司 一种基于前景目标分割的旅客尾随监测方法
CN108446719A (zh) * 2018-02-09 2018-08-24 浙江新再灵科技股份有限公司 基于深度相机衡量商场内广告牌关注度的方法
CN108834066A (zh) * 2018-06-27 2018-11-16 三星电子(中国)研发中心 用于生成信息的方法和装置
CN111027349B (zh) * 2018-10-10 2023-08-29 百度在线网络技术(北京)有限公司 一种防尾随提示方法、装置、设备及存储介质
CN111353354B (zh) * 2018-12-24 2024-01-23 杭州海康威视数字技术股份有限公司 一种人体应激性信息识别方法、装置及电子设备
CN110175521A (zh) * 2019-04-23 2019-08-27 浙江工业大学 基于双相机联动检测监管室内人体行为的方法
CN110428587A (zh) * 2019-07-19 2019-11-08 国网安徽省电力有限公司建设分公司 一种工程现场用预警联动方法及系统
CN113452954B (zh) * 2020-03-26 2023-02-28 浙江宇视科技有限公司 行为分析方法、装置、设备和介质
CN111540020B (zh) * 2020-04-28 2023-10-10 浙江大华技术股份有限公司 目标行为的确定方法及装置、存储介质、电子装置
CN111860915A (zh) * 2020-07-31 2020-10-30 贵州东冠科技有限公司 基于监狱管理的亲情帮扶系统
CN112287812B (zh) * 2020-10-27 2022-11-01 广东电网有限责任公司 一种攀爬情况识别方法
CN112509184A (zh) * 2020-12-02 2021-03-16 海南华晟瑞博科技有限公司 一种特定人群出入房屋监测方法、系统及存储介质
CN112767536B (zh) * 2021-01-05 2024-07-26 中国科学院上海微系统与信息技术研究所 一种对象的三维重建方法、装置、设备及存储介质
CN112766206B (zh) * 2021-01-28 2024-05-28 深圳市捷顺科技实业股份有限公司 一种高位视频车辆检测方法、装置、电子设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201315654Y (zh) * 2008-08-25 2009-09-23 云南正卓信息技术有限公司 监狱专用SkyEyesTM智能监控系统
CN102436676A (zh) * 2011-09-27 2012-05-02 夏东 一种智能视频监控的三维重建方法
CN103106659A (zh) * 2013-01-28 2013-05-15 中国科学院上海微系统与信息技术研究所 基于双目视觉稀疏点匹配的空旷区域目标检测与跟踪方法
CN103279737A (zh) * 2013-05-06 2013-09-04 上海交通大学 一种基于时空兴趣点的打架行为检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006115427A1 (en) * 2005-04-18 2006-11-02 Intel Corporation Three-dimensional road layout estimation from video sequences by tracking pedestrians

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201315654Y (zh) * 2008-08-25 2009-09-23 云南正卓信息技术有限公司 监狱专用SkyEyesTM智能监控系统
CN102436676A (zh) * 2011-09-27 2012-05-02 夏东 一种智能视频监控的三维重建方法
CN103106659A (zh) * 2013-01-28 2013-05-15 中国科学院上海微系统与信息技术研究所 基于双目视觉稀疏点匹配的空旷区域目标检测与跟踪方法
CN103279737A (zh) * 2013-05-06 2013-09-04 上海交通大学 一种基于时空兴趣点的打架行为检测方法

Also Published As

Publication number Publication date
CN105141885A (zh) 2015-12-09

Similar Documents

Publication Publication Date Title
CN105141885B (zh) 进行视频监控的方法及装置
JP6549797B2 (ja) 通行人の頭部識別方法及びシステム
CN109686109B (zh) 一种基于人工智能的停车场安全监控管理系统及方法
US9646211B2 (en) System and method for crowd counting and tracking
CN101577812B (zh) 一种岗位监测的方法和系统
CN103716579B (zh) 视频监控方法及系统
CN104123544B (zh) 基于视频分析的异常行为检测方法及系统
CN102521578B (zh) 一种入侵检测和识别方法
WO2019083739A1 (en) INTELLIGENT CONTENT DISPLAYS
CN106210634A (zh) 一种智慧金睛识别人员倒地报警方法和装置
CN104966062B (zh) 视频监视方法和装置
CN102074095A (zh) 幼儿行为监控系统及方法
CN101751744A (zh) 一种烟雾检测和预警方法
CN106127814A (zh) 一种智慧金睛识别人员聚集打斗报警方法和装置
CN107273799A (zh) 一种室内定位方法及定位系统
KR102434154B1 (ko) 영상감시시스템에서의 고속 이동물체의 위치 및 모션 캡쳐 방법
CN112235537A (zh) 一种变电站现场作业安全预警方法
CN112270253A (zh) 一种高空抛物的检测方法及装置
CN106570449A (zh) 一种基于区域定义的人流量与人气指数检测方法及检测系统
CN110516600A (zh) 一种基于人脸检测的公交客流检测方法
Wang et al. Traffic camera anomaly detection
JP5679760B2 (ja) 侵入物体検出装置
KR101640527B1 (ko) 단일객체의 크기를 추정하는 영상 감시장치 및 방법
CN113239772B (zh) 自助银行或atm环境中的人员聚集预警方法与系统
CN112149457A (zh) 人流统计的方法、装置、服务器和计算机可读存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant