CN103093197A - 一种识别上吊行为的监控方法和系统 - Google Patents

Abstract

本发明涉及图像处理技术领域，特别是一种识别上吊行为的监控方法和系统。该监控方法，包括步骤：对实时获取的当前帧图像利用帧差法提取前景；查找当前帧图像中人体的轮廓并以点序列的形式存储；计算轮廓的外接矩形；根据多帧图像所得出的所述外接矩形的运动轨迹，判断是否为上吊行为，是，则报警。该监控系统包括前景检测模块、查找轮廓模块、计算外接矩形模块和报警模块。前景检测模块，用于利用帧差法提取前景；所述查找轮廓模块，用于获取当前帧图像中人体的轮廓并存储；所述计算外接矩形模块，用于计算所述轮廓的外接矩形；报警模块，用于根据外接矩形的运动轨迹判断是否为上吊行为，是，则报警。该方法和系统，能够及时对上吊行为进行报警。

Description

一种识别上吊行为的监控方法和系统

技术领域

本发明涉及图像处理技术领域，特别是一种识别上吊行为的监控方法和系统。

背景技术

近年来，随着计算机视觉和图像处理技术的发展，由于其广泛的应用前景，运动人体行为分析吸引了广泛的关注。目前，人运动的视觉分析是计算机视觉领域中最活跃的研究主题之一，其核心是利用计算机视觉技术从图像序列中检测、跟踪、识别人并对其行为进行理解与描述。

在实际生活中，有很多场合都需要安装摄像头对被监控区域内发生的情况进行记录和监控。在监狱、拘留所等特殊场所，为了实现对犯人的行为进行更好的管理，也需要在相关区域内安装视频摄像头。

在监狱或者拘留所等这些特殊场所，在押人员不容易管理，往往会发生一些较为极端的行为，上吊行为是最常发生的极端行为之一。狱警需要尽早发现并且迅速出动阻止，而狱警或者相关工作人员是否能够及时发现就成了能否阻止该行为发生的重要环节。

而现有技术中，对在押人员的监控主要是通过摄像头监控。而由于目前一般的监控设备无法对视频场景中的行为进行分析，安装大量摄像头，就需要更多人力对大量视频进行实时监视，显然这比较耗费人力，且实际状况中，也没有足够多的人力累对大量的视频进行实时监视，从而也就无从对上吊这种极端行为做出反应。

综上所述，现有技术中的监控方式，无法及时发现上吊行为的发生。

发明内容

本发明提供的识别上吊行为的监控方法和系统，能够通过视频监控系统实现对进入监控盲区的人员的停留进行自动计时监控。

为了解决该技术问题，本发明是这样实现的：

本发明提供一种识别上吊行为的监控方法，包括步骤：

步骤A，对实时获取的当前帧图像利用帧差法提取前景；

步骤B，查找当前帧图像中人体的轮廓并以点序列的形式存储；

步骤C，计算所述轮廓的外接矩形；

步骤D，根据多帧图像所得出的所述外接矩形的运动轨迹，判断是否为上吊行为，是，则报警。

其中，所述步骤D包括步骤：

判断外接矩形的下边框是否在预设的边界线之上；

是，则判断整个外接矩形是否都在预设的边界线之上；

是，则判断整个外接矩形在预设的边界线之上的时间长度是否超过预设时间，是，则报警。

其中，所述步骤C之后、所述步骤D之前，还包括步骤：

根据计算出的外接矩形的大小和宽高比，过滤掉大小超出人体大小范围、宽高比不符合人体比例的外接矩形。

其中，所述步骤A包括步骤：

确定背景图像；

将每一帧图像与所述背景图像进行差分，得到差分图像；

将所述差分图像进行二值化得到二值图像。

其中，所述步骤A之后、所述步骤B之前，还包括步骤：

将所述二值图像进行开运算，去除所述二值图像中孤立的点、噪声、毛刺及小桥；

将进行开运算之后的所述二值图像进行闭运算，弥合所述差分图像中断裂的区域。

其中，所述步骤C包括：

扫描一个轮廓的点序列，根据所述轮廓的点序列中包括的所有点的水平坐标值及竖直坐标值，比较得到所述轮廓点序列中的最大水平坐标值、最小水平坐标值、最大竖直坐标值及最小竖直坐标值；

根据所述最大水平坐标值、最小水平坐标值、最大竖直坐标值及最小竖直坐标值，确定所述外接矩形。

其中，所述步骤得到二值图像之后还包括步骤：

遍历所述二值图像中的每一个点，确定所述二值图像的非前景区域，并获取所述非前景区域中的每一个点的坐标值；

根据获取的所述非前景区域中的每一个点的所述坐标值，提取每个坐标值对应的在所述当前帧图像及在所述背景图像中的取值；

对获取的每个坐标值对应的在所述当前帧图像及在所述背景图像中的取值进行加权求和；

根据所述加权求和的结果，对所述背景图像中的对应的坐标值进行重新赋值，从而实现对所述背景图像的更新。

本发明还提供一种识别上吊行为的监控系统，包括前景检测模块、查找轮廓模块、计算外接矩形模块和报警模块；

所述前景检测模块，用于对实时获取的当前帧图像利用帧差法提取前景；

所述查找轮廓模块，用于获取当前帧图像中人体的轮廓并以点序列的形式存储；

所述计算外接矩形模块，用于计算所述轮廓的外接矩形；

报警模块，用于根据多帧图像所得出的所述外接矩形的运动轨迹，判断是否为上吊行为，是，则报警。

其中，还包括过滤模块；

所述过滤模块，用于根据计算出的外接矩形的大小和宽高比，过滤掉大小超出人体大小范围、宽高比不符合人体比例的外接矩形。

其中，还包括形态处理模块；

所述形态处理模块，用于将所述差分图像进行开运算，去除所述差分图像中孤立的点、噪声、毛刺及小桥；并将进行开运算之后的所述差分图像进行闭运算，弥合所述差分图像中断裂的区域。

通过本发明提供的识别上吊行为的监控方法和系统，可以达到以下有益效果：

本发明的识别上吊行为的监控方法和系统，通过对前景检测提取前景区域，并提取前景区域中的人形轮廓，根据该轮廓的边界坐标点的坐标值，确定一个外接矩形，通过判断该外接矩形的运动轨迹是否为上吊行为，是，则报警，这样，当被监控的犯人企图实施上吊行为时，则其轮廓的外接矩形的下边框，会超出边界线，位于边界线上方，而正常行为的犯人则脚部位置会在边界线之下，因此，通过人形轮廓的下边框的位置，可确定该犯人是否发生上吊行为，发现则及时报警，从而实现了对上吊行为的自动识别；

进一步地，通过外接矩形与预设的边界线的相对位置和时长，即通过判断该外接矩形是否位于边界线之上以及超过该边界线的时长，来判断是否发生了上吊行为，这样，可防止由于在押人员的跳起动作所带来的误报警；

进一步地，通过判断长宽比和大小，剔除人体以外的其他轮廓，如监狱室外摇晃的树木等，减少了对无关的前景的操作；

进一步地，去除图像中孤立的点、噪声、毛刺及小桥，弥合所述差分图像中断裂的区域，提高了轮廓提取的精确度，从而提高了上吊行为判断的准确度。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例一识别上吊行为的监控方法的流程图；

图2为本发明实施例三的识别上吊行为的监控系统的结构示意图。

具体实施方式

以下将结合附图对本发明各实施例的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施例，都属于本发明所保护的范围。

实施例一

本发明实施例一提供一种识别上吊行为的监控方法，如图1所示，步骤包括：

步骤S110：对实时获取的当前帧图像利用帧差法提取前景。

进行前景检测需要确定背景图像，然后将每一帧图像与所述背景图像进行差分，之后进行二值化得到二值图像。

在本实施例中，可使用待摄像头采集图像稳定后的第一帧图像作为背景图像。

其中将差分图像进行二值化是指得到的二值图像只有两个函数值，例如若得到的二值图像上有运动目标，则在该二值图像上对应该运动目标的位置处函数值均为第一数值，除对应运动目标的位置处该二值图像的其它位置均为第二数值，优选地该第一数值及第二数值具有明显的区别。

二值化过程可采用如下函数：

其中，i图像中任意一个点的水平方向坐标值，j为所述水平方向坐标值对应的点的竖直方向的坐标值，f₁（i，j）为在当前帧图像中，坐标（i，j）对应的点的函数值，f₂（i，j）为在背景图像中，坐标（i，j）对应的点的函数值，ε为预先设定的阈值。

步骤S111：查找当前帧图像中人体的轮廓并以点序列的形式存储。

该轮廓点序列可以理解为前景区域的边界点，从上述的公式可以看出前景区域的点的函数值为1，非前景区域的点的函数值为0，该0和1可以指数值上的0和1，也可以理解为差距很大的两个结果，例如前景区域的点的像素值为255，非前景区域的点的像素值为0，在二值图像上显示为，前景区域的点为白色点，非前景区域的点为黑色点。在二值图像上提取运动目标的轮廓点序列时，对所述二值图像从上到下，从左到右进行自动搜索，直到找到第一个白色点，以这个白色点做为起始点，对这个白色点所在的前景区域的所有边界点进行标记。当标记完一个轮廓后，保存查找到的每一个标记点，由此完成了从所述二值图像中提取运动目标的轮廓点序列。

步骤S112：计算所述轮廓的外接矩形。

扫描一个轮廓的点序列，所述轮廓的点序列中包括所有点的水平坐标值及竖直坐标值。

对于查找出的轮廓点序列，计算这个序列中所有点在水平和竖直方向上的最大水平坐标值Xmax、最小竖直坐标值Ymin、最小水平坐标值Xmin，最大竖直坐标值Ymax。

根据所述最大水平坐标值、最小水平坐标值、最大竖直坐标值及最小竖直坐标值，确定所述外接矩形。

水平方向上，最大水平坐标值和最小水平坐标值的差值，加上一定范围的数值作为矩形的宽度，竖直方向以最大竖直坐标值和最小竖直坐标值的差值，加上一定范围的数值作为长度。以（Xmax，Ymin）（Xmin，Ymin）（Xmax，Ymax）（Xmin，Ymax）四个点为端点。

所述则外接矩形的左上角坐标为（Xmin，Ymin），宽为width=Xmax-Xmin+a，高为height=Ymax-Xmin+a。

其中a为所述一定范围的数值，可取0-3。

步骤S113：根据多帧图像所得出的所述外接矩形的运动轨迹，判断是否为上吊行为，是，则报警。

通过外接矩形的运动轨迹来判断是否发生上吊行为，可通过对外界矩形中心点位置的运动轨迹来判断，也可通过外接矩形的边框与参照的边界线的相对位置的变化来判断。

报警时，可采用声、光、数据信息中的一种，也可是声、光、数据信息的组合。

实施例二

本实施例二提供一种识别上吊行为的监控方法，主要处理步骤包括：

步骤S210：对实时获取的当前帧图像通过帧差法进行前景检测。

在本实施例中，采用同实施例一所述的帧差法进行前景检测，也可利用混合高斯背景模型、SACON（SAMPLE CONSENSUS）等，本实施例不一一列举。

优选地，采用帧差法进行前景提取，以第一帧图像为背景图像，从第二帧图像开始，每一帧图像与背景在R、G、B的三个通道上做差分。对每个像素点，如果在这三个通道上的差分结果的最大值大于预设阈值，则将这点的值在灰度图像上赋值为255，否则赋值为0。

其中预设阈值，可由本领域技术人员根据经验或者实际需要确定，具有多种实施可能，例如该阈值可为120-130。

步骤S211：帧差法生成的二值图像进行形态学处理。

因为获得的差分图像上容易出现孤立的点、噪声、毛刺、小桥或者某些区域的断裂，影响对差分图像的进一步处理。因此优选地，所述将当前帧图像与背景图像相减获取差分图像之后，将所述差分图像进行二值化得到所述二值图像之前，对所述二值图像进行开运算，去除所述二值图像中孤立的点、噪声、毛刺及小桥。

开运算可采用腐蚀运算。

由于得到的图像在竖直方向上非常容易产生断裂，将进行开运算之后的所述二值图像进行闭运算，弥合所述差分图像中断裂的区域。

较优地，可使用竖直方向上较大的结构体对图像进行膨胀运算，弥合缝隙，并填平小湖，将人所在的区域连接在一起。

对获得的差分图像进行开运算及闭运算后，可以使得到的差分图像更加理想，有利于之后对得到的差分图像进行处理，减少之后图像处理的运算步骤。

步骤S212：查找当前帧图像中人体的轮廓并以点序列的形式存储。

对前述步骤处理后的二值图像从上到下，从左到右进行自动搜索，直到找到第一个白色的点（即赋值为255的点）。

以这个点做为起始点，对这个点所在的前景区域的所有边界点进行标记。当标记完一个轮廓后，保存查找到该轮廓的每一个标记点，并从最后一个标记点开始继续搜索，找到下一个轮廓。

S221：计算所述轮廓的外接矩形。

在本实施例中，所述外接矩形的左下角坐标为（Xmin，Ymin），宽为width=Xmax-Xmin+1，高为height=Ymax-Xmin+1。

S213：根据计算出的外接矩形的大小和宽高比，过滤掉大小超出人体大小范围、宽高比不符合人体比例的外接矩形。

S214：根据多帧图像所得出的所述外接矩形的运动轨迹，判断是否为上吊行为，是，则报警。

在本实施例中，首先判断外接矩形的下边框是否在预设的边界线之上；是，则判断整个外接矩形是否都在预设的边界线之上；是，则判断整个外接矩形在预设的边界线之上的时间长度是否超过预设时间，是，则报警。

所述预设时间，为了防止在押人员跳起动作所带来的干扰，若整个外接矩形在边界上的时间长度超过人跳起时在空中停留的时间长度，则判定为上吊行为。该预设时间可以为0.5秒。

优选地，可根据视频中地板所在的位置标定出多条边界线。所述预设边界线为距离地板距离在一定数值范围之内的标准线，例如，可以取距离地板20-40厘米之间的水平线作为边界线。

对于长宽大小及比例符合人体的外接矩形进行计算，在一些特殊场景下，当此外接矩形完全出现在绊线的上方一定距离时，则非常可能是在实施上吊行为。经过一若干帧后，此矩形的状态还是上吊状态，则立刻产生报警。

本实施例中将获得的第一帧图像作为背景图像，因为光线的变化，得到的当前帧图像中的非前景区域中的点的函数值与背景图像中对应的点的函数值可能会出现比较大的差值，导致得到的二值化图像中出现并不能代表运动目标的前景区域，该不能代表运动目标的前景区域为误差区域。

为了降低出现误差区域的概率，提高对运动目标的监控准确率，因此对获取的图像进行前景检测获取二值图像之后，还进行更新背景的操作。

所述更新背景的步骤包括：

（a）遍历所述二值图像中的每一个点，确定所述二值图像的非前景区域；

（b）将所述非前景区域映射到所述背景图像，确定所述背景图像的更新区域；

（c）对所述更新区域中的点进行加权求和，以更新背景。

具体地计算公式为遍历所述二值图像中的每一个点，将二值图像中的点的函数值为0的点集确定为非前景区域，

若，d(i,j)=0

则f₁(i,j)=f₁(i,j)*0.05+f₂(i,j)*0.95。

本实施例中对背景按一定权值进行更新，有效解决前景区域出现的孔洞问题并对缓慢变化的光线具有一定的鲁棒性。

本发明的监控方法，首先在前景检测阶段利用背景差分法提取出人体的运动区域，然后通过查找轮廓和计算外接矩形等手段计算出人体所在的矩形区域，最后通过外接矩形的位置计算人体脱离地面的时间，并通过外接矩形的特征信息来去除其他异常干扰，可实现对视频场景中的上吊行为迅速报警，便于及时采取措施。

实施例三

本实施例三提供一种识别上吊行为的监控系统，参见图2所示，包括前景检测模块、查找轮廓模块、计算外接矩形模块和报警模块。

所述前景检测模块，用于对实时获取的当前帧图像利用帧差法提取前景；所述查找轮廓模块，用于获取当前帧图像中人体的轮廓并以点序列的形式存储；所述计算外接矩形模块，用于计算所述轮廓的外接矩形；报警模块，用于根据多帧图像所得出的所述外接矩形的运动轨迹，判断是否为上吊行为，是，则报警。

优选地，在本实施例中，还包括过滤模块；所述过滤模块，用于根据计算出的外接矩形的大小和宽高比，过滤掉大小超出人体大小范围、宽高比不符合人体比例的外接矩形。

优选地，还包括形态处理模块；所述形态处理模块，用于将所述差分图像进行开运算，去除所述差分图像中孤立的点、噪声、毛刺及小桥；并将进行开运算之后的所述差分图像进行闭运算，弥合所述差分图像中断裂的区域。

上吊是一种极端的危险行为，需要立刻做出反应。传统计算机无法视频中行为进行分析，而依靠人力也无法长时间保持警戒，并且极容易造成疏忽。

本发明提供的监控方法和系统，针对视频场景中的相关运动目标进行轨迹追踪，并根据制定的分析规则，由系统自动分析，判断目标是否发生了上吊的行为，并且可将信息输入到相关系统平台，系统平台得到这些输入信息时可立即产生报警，更好滴阻止了在押人员上吊行为的继续。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例或者实施例的某些部分所述的方法。

本发明提供的各种实施例可根据需要以任意方式相互组合，通过这种组合得到的技术方案，也在本发明的范围内。

显然，本领域技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若对本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也包含这些改动和变型在内。

Claims (10)

1.一种识别上吊行为的监控方法，其特征在于，包括步骤：

步骤A，对实时获取的当前帧图像利用帧差法提取前景；

步骤B，查找当前帧图像中人体的轮廓并以点序列的形式存储；

步骤C，计算所述轮廓的外接矩形；

步骤D，根据多帧图像所得出的所述外接矩形的运动轨迹，判断是否为上吊行为，是，则报警。

2.根据权利要求1所述的识别上吊行为的监控方法，其特征在于，所述步骤D包括步骤：

判断外接矩形的下边框是否在预设的边界线之上；

是，则判断整个外接矩形是否都在预设的边界线之上；

是，则判断整个外接矩形在预设的边界线之上的时间长度是否超过预设时间，是，则报警。

3.根据权利要求1所述的识别上吊行为的监控方法，其特征在于，所述步骤C之后、所述步骤D之前，还包括步骤：

根据计算出的外接矩形的大小和宽高比，过滤掉大小超出人体大小范围、宽高比不符合人体比例的外接矩形。

4.根据权利要求1所述的识别上吊行为的监控方法，其特征在于，所述步骤A包括步骤：

确定背景图像；

将每一帧图像与所述背景图像进行差分，得到差分图像；

将所述差分图像进行二值化得到二值图像。

5.根据权利要求4所述的识别上吊行为的监控方法，其特征在于，所述步骤A之后、所述步骤B之前，还包括步骤：

将所述二值图像进行开运算，去除所述二值图像中孤立的点、噪声、毛刺及小桥；

将进行开运算之后的所述二值图像进行闭运算，弥合所述差分图像中断裂的区域。

6.根据权利要求1所述的识别上吊行为的监控方法，其特征在于，所述步骤C包括：

扫描一个轮廓的点序列，根据所述轮廓的点序列中包括的所有点的水平坐标值及竖直坐标值，比较得到所述轮廓点序列中的最大水平坐标值、最小水平坐标值、最大竖直坐标值及最小竖直坐标值；

根据所述最大水平坐标值、最小水平坐标值、最大竖直坐标值及最小竖直坐标值，确定所述外接矩形。

7.根据权利要求4所述的识别上吊行为的监控方法，其特征在于，所述步骤得到二值图像之后还包括步骤：

遍历所述二值图像中的每一个点，确定所述二值图像的非前景区域，并获取所述非前景区域中的每一个点的坐标值；

根据获取的所述非前景区域中的每一个点的所述坐标值，提取每个坐标值对应的在所述当前帧图像及在所述背景图像中的取值；

对获取的每个坐标值对应的在所述当前帧图像及在所述背景图像中的取值进行加权求和；

根据所述加权求和的结果，对所述背景图像中的对应的坐标值进行重新赋值，从而实现对所述背景图像的更新。

8.一种识别上吊行为的监控系统，其特征在于，包括前景检测模块、查找轮廓模块、计算外接矩形模块和报警模块；

所述前景检测模块，用于对实时获取的当前帧图像利用帧差法提取前景；

所述查找轮廓模块，用于获取当前帧图像中人体的轮廓并以点序列的形式存储；

所述计算外接矩形模块，用于计算所述轮廓的外接矩形；

报警模块，用于根据多帧图像所得出的所述外接矩形的运动轨迹，判断是否为上吊行为，是，则报警。

9.根据权利要求8所述的识别上吊行为的监控系统，其特征在于，还包括过滤模块；

所述过滤模块，用于根据计算出的外接矩形的大小和宽高比，过滤掉大小超出人体大小范围、宽高比不符合人体比例的外接矩形。

10.根据权利要求8所述的识别上吊行为的监控系统，其特征在于，还包括形态处理模块；

所述形态处理模块，用于将所述差分图像进行开运算，去除所述差分图像中孤立的点、噪声、毛刺及小桥；并将进行开运算之后的所述差分图像进行闭运算，弥合所述差分图像中断裂的区域。

Images