CN107777498B - 一种电梯轿厢内暴力行为检测方法 - Google Patents

Abstract

本发明公开了一种电梯轿厢内暴力行为检测方法，涉及行为识别领域，该方法包括：获取电梯轿厢的拍摄视频；根据拍摄视频中连续的视频帧进行Shi‑Tomasi角点检测，确定特征点；根据特征点，通过Lucas‑Kanada光流算法计算得到光流向量；根据得到的光流向量判断是否为暴力帧，暴力帧是存在暴力行为的视频帧；根据暴力帧的出现频率进行报警。本发明解决了通过在人的手或脚抬高到与地面平行或呈一个更大的斜坡时判定出现暴力帧只能适用于一类情况，适用范围有限的问题，达到了根据人的暴力行为的动作幅度准确判断暴力行为的效果。

Description

一种电梯轿厢内暴力行为检测方法

技术领域

本发明涉及行为识别领域，尤其是一种电梯轿厢内暴力行为检测方法。

背景技术

乘客暴力行为是发生在电梯轿厢中最为常见的一种异常行为，其中包含了打斗、抢夺财产等乘客间的暴力行为，以及踹门、砸门等破坏公共设施的暴力行为。

对于暴力行为的检测，目前是先使用自适应的背景差法获取视频中前景区域，再利用前景像素的统计信息得到人以及其各部位运动轨迹，认为当人的手或脚抬高到与地面平行或呈一个更大的斜坡时出现了暴力帧。

但是通过在人的手或脚抬高到与地面平行或呈一个更大的斜坡时判定出现暴力帧只能适用于一类情况，适用范围有限。

发明内容

本发明针对上述问题及技术需求，提出了一种电梯轿厢内暴力行为检测方法。

本发明的技术方案如下：

一种电梯轿厢内暴力行为检测方法，包括如下步骤：

获取所述电梯轿厢的拍摄视频；

根据所述拍摄视频中连续的视频帧进行Shi-Tomasi角点检测，确定特征点；

根据所述特征点，通过Lucas-Kanada光流算法计算得到光流向量；

根据得到的所述光流向量判断是否为暴力帧，所述暴力帧是存在所述暴力行为的视频帧；

根据所述暴力帧的出现频率进行报警。

其进一步的技术方案为：所述根据所述拍摄视频中连续的视频帧进行Shi-Tomasi角点检测，确定特征点，包括：

根据所述拍摄视频中连续的视频帧，确定目标像素点的运动轨迹，所述目标像素点是像素值在预定范围内变化的像素点；

根据运动前后两个视频帧和所述运动轨迹转换得到最小化两个目标窗口的不相似性的公式；

将所述不相似性的公式用截断的泰勒公式展开后，得到线性系统；

将所述线性系统简化为简化系统，所述简化系统表示为对称矩阵与位移向量相乘等于误差向量；

计算所述对称矩阵的第一特征值和第二特征值；

当所述第一特征值和所述第二特征值中较小的一个大于预定阈值时，将所述目标像素点确定为所述特征点。

其进一步的技术方案为：所述根据所述特征点，通过Lucas-Kanada光流算法计算得到光流向量，包括：

获取所述特征点对应的时刻值、横坐标值、纵坐标值和所述特征点处的图像亮度；

计算所述图像亮度对所述横坐标值的第一偏导数，计算所述图像亮度对所述纵坐标值的第二偏导数，计算所述图像亮度对所述时刻值的第三偏导数；

根据所述第一偏导数、所述第二偏导数和所述第三偏导数，通过微分的链式法则确定所述光流向量的求解方程；

根据预定区域内的n个所述特征点和所述求解方程计算所述光流向量，n为正整数。

其进一步的技术方案是：所述根据得到的所述光流向量判断是否为暴力帧，包括：

计算各个所述光流向量的幅值平方；

根据各个所述幅值平方计算所述幅值平方的平均值；

将所有所述光流向量的幅值平方按照预定顺序排列，确定第i大的幅值平方；

当所述幅值平方的平均值大于平均阈值并且所述第i大的幅值平方大于第i阈值时，将所述光流向量对应的视频帧确定为所述暴力帧。

其进一步的技术方案是：所述根据所述暴力帧的出现频率进行报警，包括：

定义报警变量，所述报警变量的初始值为0；

当出现一个所述暴力帧时，所述报警变量加1，当出现一个非所述暴力帧时，所述报警变量减1，所述报警变量累加至预定限幅值时不再增加；

当所述报警变量超过报警门限值时进行报警。

本发明的有益技术效果是：

通过对电梯轿厢内的拍摄视频的连续视频帧进行Shi-Tomasi角点检测，确定出特征点，从而能够从视频帧中确定出包含运动信息的适合用于跟踪的像素点，通过Lucas-Kanada光流算法根据特征点计算光流向量，可以确定出电梯轿厢内的空间变化及其速率等信息，根据光流向量来判断出是否为暴力帧，可以使得算法能够根据人的暴力行为的动作幅度准确判断是否发生暴力行为，从而识别出暴力帧，通过根据暴力帧的出现频率进行报警，可以避免误报警的情况。

附图说明

图1是本发明一个实施例提供的电梯轿厢内暴力行为检测方法的方法流程图。

图2是本发明另一个实施例提供的电梯轿厢内暴力行为检测方法的方法流程图。

图3是本发明一个实施例提供的Shi-Tomasi角点检测的效果图。

图4是亮度不变的条件下解得的光流向量的解集。

图5是本发明一个实施例提供的通过Lucas-Kanade光流算法得到的光流向量的示意图。

图6是本发明一个实施例提供的电梯轿厢内暴力行为检测方法的流程图。

具体实施方式

下面结合附图对本发明的具体实施方式做进一步说明。

图1是本发明一个实施例提供的电梯轿厢内暴力行为检测方法的方法流程图，如图1所述，该方法可以包括以下步骤：

步骤110，获取电梯轿厢的拍摄视频。

步骤120，根据拍摄视频中连续的视频帧进行Shi-Tomasi角点检测，确定特征点。

Jianbo Shi与Carlo Tomasi提出一种适合用于跟踪的特征点，又称Shi-Tomasi角点。

在图像跟踪中，并不是图像的所有部分都包含完整的运动信息，为了避免过大的计算量以及无效信息的提取，因此需要针对角点或在空间上剧烈变化的窗口进行跟踪，即首先需要找到适合于运动分析的特征点。

Shi-Tomasi算法给出评判图像中一个特征点是否适合用于跟踪的标准。

可选的，步骤120可以被替换成图2所示的步骤。

步骤121，根据拍摄视频中连续的视频帧，确定目标像素点的运动轨迹。

目标像素点是像素值在预定范围内变化的像素点。在实际应用中，目标像素点也就是像素值变化较小的像素点。

在仿射运动模型中，记目标像素点从x处做了运动δ，则有

δ＝Dx+d 公式(1)

其中，

步骤122，根据运动前后两个视频帧和运动轨迹转换得到最小化两个目标窗口的不相似性的公式。

记运动前后两个视频帧分别为I和J，有

J(Ax+d)＝I(x) 公式(2)

其中，A＝1+D。

由于视频帧图像中存在噪声以及仿射运动模型的不完美，公式(2)通常不能满足，其可以转换为最小化两个目标窗口的不相似性：

ε＝∫∫_W[J(Ax+d)-I(x)]²w(x)dx 公式(3)

其中，W是给定特征区域，w(x)是区域中的加权函数。

步骤123，将不相似性的公式用截断的泰勒公式展开后，得到线性系统。

将公式(3)用截断的泰勒公式展开后，可以得到线性的6*6系统：

Tz＝a 公式(4)

其中z为包含整个变换矩阵D与位移向量d的向量，

a为误差向量：

G为图像梯度，T可以从单个视频帧图像中计算得到：

其中，

步骤124，将线性系统简化为简化系统，简化系统表示为对称矩阵与位移向量相乘等于误差向量。

特征窗口的仿射变换矩阵D通常很小，因此可以将其置零，因此公式(4)所描述的线性系统可以简化为

Zd＝e 公式(11)

其中，向量e为公式(4)中误差向量a的最后两行，Z为对称矩阵。

若公式(11)表示的简化系统可以被可靠的求解，说明该处特征窗口可以被较好地跟踪。当Z具有两个小的特征值时，表明该处特征窗口附近基本没有变化，当Z具有一大一小两个特征值时，表明该处特征窗口某个方向上像素有较大变化，当Z具有两个大的特征值时，表明该处特征窗口代表角点、具有椒盐纹理的区域或者其他能够被可靠跟踪的特征点。

步骤125，计算对称矩阵的第一特征值和第二特征值。

记λ₁和λ₂为对称矩阵Z的两个特征值，λ₁为第一特征值，λ₂为第二特征值。

步骤126，当第一特征值和第二特征值中较小的一个大于预定阈值时，将目标像素点确定为特征点。

若第一特征值λ₁和第二特征值λ₂满足下式：

min(λ₁,λ₂)>λ 公式(12)

其中，λ为一个预先定义的阈值，即预定阈值，则表明目标像素点为易于跟踪的特征点。

可选的，λ取0.01，根据实验可知，当λ取0.01时，检测到角点(特征点)的数量为300个。

结合参考图3，其示例性地示出了Shi-Tomasi角点检测的效果图。

步骤130，根据特征点，通过Lucas-Kanada光流算法计算得到光流向量。

光流是一幅图像中亮度模式运动的速度向量的分布，可以由被观测者(比如：乘客)与物体(比如：电梯轿厢)的相对运动产生。因此，光流可以给出被观测者空间变化及其速率的信息。

可选的，步骤130可以被替换成图2所示的步骤。

步骤131，获取特征点对应的时刻值、横坐标值、纵坐标值和所述特征点处的图像亮度。

记t时刻特征点(x,y)处的图像亮度为E(x,y,t)，结合考虑该特征点运动后的情景，假设该特征点亮度为一常量，则有

步骤132，计算图像亮度对横坐标值的第一偏导数，计算图像亮度对纵坐标值的第二偏导数，计算图像亮度对时刻值的第三偏导数。

记E_x为第一偏导数，E_y为第二偏导数，E_t为第三偏导数。

步骤133，根据第一偏导数、第二偏导数和第三偏导数，通过微分的链式法则确定光流向量的求解方程。

使用微分的链式法则得到

令则公式(14)转换为

(E_x,E_y)·(u,v)＝-E_t 公式(15)

该方程解得的u，v为一条直线，请参考图4。

步骤134，根据预定区域内的n个特征点和求解方程计算光流向量，n为正整数。

仅在运动的像素点亮度不变的假设下，还不能唯一求解出光流向量，因此增加新的约束条件：假设一个区域具有相同的运动，从而可以得到多个如公式(15)的方程。

假设邻域(预定区域)内n个像素点具有相同的光流向量，则有

使用最小二乘法求解，得到

其中，

结合参考图5，其示例性地示出了通过Lucas-Kanade光流算法得到的光流向量的示意图。

步骤140，根据得到的光流向量判断是否为暴力帧。

暴力帧是存在暴力行为的视频帧。

可选的，步骤140可以被替换成图2所示的步骤。

步骤141，计算各个光流向量的幅值平方。

对于获取到的光流向量(u,v)，计算该光流向量的幅值平方如下：

s＝u²+v² 公式(18)

使用幅值平方而不使用幅值，可以减少开销较大的开方操作。

步骤142，根据各个幅值平方计算幅值平方的平均值。

计算完所有光流向量的幅值平方之后，计算幅值平方的平均值s_avg。

步骤143，将所有光流向量的幅值平方按照预定顺序排列，确定第i大的幅值平方。

可选的，将所有的光流向量的幅值平方按照从大到小的顺序排列，排序后确定第i大的幅值平方s_ith。可选的，根据经验值，可以选择第10大的幅值平方s_10th。

步骤144，当幅值平方的平均值大于平均阈值并且第i大的幅值平方大于第i阈值时，将光流向量对应的视频帧确定为暴力帧。

判断暴力帧的条件是同时满足

s_avg>th_sa 公式(19)

s_ith>th_si 公式(20)

当满足公式(19)时，表明当前场景中存在较大的动能，公式(20)能够进一步确定动能影响的范围，排出光流计算错误带来的干扰。

可选的，若选择第10大的幅值平方s_10th，则判断暴力帧的条件是：s_avg>th_sa且s_10th>th_s10。

其中，th_sa、th_si(包括th_s10)为预先定义的阈值参数。

在摄像头等设备固定完成后，让乘客在电梯轿厢中进行走动、晃动等正常行为，记录测量得到的光流向量的幅值平方统计信息s_navg和s_nith(比如：s_n10th)，再模拟乘客打斗、踢门等暴力行为，再次测量记录相应的光流信息s_vavg和s_vith(比如：s_v10th)，用于判别暴力帧的参数可以由以下公式确定：

th_sa＝0.5*max(s_navg)+0.5*min(s_vavg) 公式(21)

th_si＝0.5*max(s_nith)+0.5min(s_vith) 公式(22)

可选的，当选择第10大的幅值平方时，公式(22)可以表示为th_s10＝0.5*max(s_n10th)+0.5*min(s_v10th)。

当满足

max(s_navg)<min(s_vavg) 公式(23)

max(s_nith)<min(s_vith) 公式(24)

的情况下，参数th_sa和th_si可以较好地分辨出暴力帧与非暴力帧。

步骤150，根据暴力帧的出现频率进行报警。

暴力事件通常会持续一段时间，将暴力帧检测的输出作为报警系统的输入，为了避免暴力帧检测时存在的误检给报警系统带来噪声，因此通过限幅一阶积分器进行滤波，从而得到连续可靠的报警信号。

可选的，步骤150可以被替换成图2所示的步骤。

步骤151，定义报警变量，报警变量的初始值为0。

定义报警变量vio_keeper，并将报警变量初始化为0。

步骤152，当出现一个暴力帧时，报警变量加1，当出现一个非暴力帧时，报警变量减1，报警变量累加至预定限幅值时不再增加。

当检测到暴力帧时，报警变量vio_keeper加1，当检测到非暴力帧时，报警变量vio_keeper减1，若报警变量vio_keeper已达限幅值vio_keeper_max，则报警变量vio_keeper不再增加。

步骤153，当报警变量超过报警门限值时进行报警。

报警条件为

vio_keeper>th_{vio_keeper} 公式(25)

其中，th_{vio_keeper}为报警门限值，可选的，在实际应用中，报警门限值可以取经验值10。

可选的，本实施例中提供的电梯轿厢内暴力行为检测方法还可以表示为图6所示的流程图。

以上所述的仅是本发明的优先实施方式，本发明不限于以上实施例。可以理解，本领域技术人员在不脱离本发明的精神和构思的前提下直接导出或联想到的其他改进和变化，均应认为包含在本发明的保护范围之内。

Claims (3)

1.一种电梯轿厢内暴力行为检测方法，其特征在于，所述方法包括：

获取所述电梯轿厢的拍摄视频；

根据所述拍摄视频中连续的视频帧进行Shi-Tomasi角点检测，确定特征点；

根据所述特征点，通过Lucas-Kanada光流算法计算得到光流向量；

根据得到的所述光流向量判断是否为暴力帧，所述暴力帧是存在所述暴力行为的视频帧；

根据所述暴力帧的出现频率进行报警；

其中，所述根据得到的所述光流向量判断是否为暴力帧，包括：

计算各个所述光流向量的幅值平方；

根据各个所述幅值平方计算所述幅值平方的平均值；

将所有所述光流向量的幅值平方按照预定顺序排列，确定第i大的幅值平方；

当所述幅值平方的平均值大于平均阈值并且所述第i大的幅值平方大于第i阈值时，将所述光流向量对应的视频帧确定为所述暴力帧；

所述根据所述暴力帧的出现频率进行报警，包括：

定义报警变量，所述报警变量的初始值为0；

当出现一个所述暴力帧时，所述报警变量加1，当出现一个非所述暴力帧时，所述报警变量减1，所述报警变量累加至预定限幅值时不再增加；

当所述报警变量超过报警门限值时进行报警。

2.根据权利要求1所述的方法，其特征在于，所述根据所述拍摄视频中连续的视频帧进行Shi-Tomasi角点检测，确定特征点，包括：

根据所述拍摄视频中连续的视频帧，确定目标像素点的运动轨迹，所述目标像素点是像素值在预定范围内变化的像素点；

根据运动前后两个视频帧和所述运动轨迹转换得到最小化两个目标窗口的不相似性的公式；

将所述不相似性的公式用截断的泰勒公式展开后，得到线性系统；

将所述线性系统简化为简化系统，所述简化系统表示为对称矩阵与位移向量相乘等于误差向量；

计算所述对称矩阵的第一特征值和第二特征值；

当所述第一特征值和所述第二特征值中较小的一个大于预定阈值时，将所述目标像素点确定为所述特征点。

3.根据权利要求1所述的方法，其特征在于，所述根据所述特征点，通过Lucas-Kanada光流算法计算得到光流向量，包括：

获取所述特征点对应的时刻值、横坐标值、纵坐标值和所述特征点处的图像亮度；

计算所述图像亮度对所述横坐标值的第一偏导数，计算所述图像亮度对所述纵坐标值的第二偏导数，计算所述图像亮度对所述时刻值的第三偏导数；

根据所述第一偏导数、所述第二偏导数和所述第三偏导数，通过微分的链式法则确定所述光流向量的求解方程；

根据预定区域内的n个所述特征点和所述求解方程计算所述光流向量，n为正整数。