CN105469054B

CN105469054B - 正常行为的模型构建方法及异常行为的检测方法

Info

Publication number: CN105469054B
Application number: CN201510835004.6A
Authority: CN
Inventors: 俞大海; 郭青; 王敬华; 冯伟
Original assignee: TIANJIN OPTICAL ELECTRICAL GAOSI COMMUNICATION ENGINEERING TECHNOLOGY Co Ltd
Current assignee: TIANJIN OPTICAL ELECTRICAL GAOSI COMMUNICATION ENGINEERING TECHNOLOGY Co Ltd
Priority date: 2015-11-25
Filing date: 2015-11-25
Publication date: 2019-05-07
Anticipated expiration: 2035-11-25
Also published as: CN105469054A

Abstract

一种正常行为的模型构建方法及异常行为的检测方法，通过对红外热像图像的视频帧进行单元格化，并依次进行前景提取，行为体构建，行为体特征提取，正常行为模型构建，异常行为检测等，从而能够对未认定的、但是与在时间及空间上反复发生的正常行为有巨大区别的行为进行检测，并生成异常行为所在区域及报警信息，能够处理目标的外观，大小以及速度方面的异常行为，在延迟时间短，保证报警时间的准确性，能够兼容使用热成像和CCD成像结果，为后期两种信息的融合使用奠定基础。

Description

正常行为的模型构建方法及异常行为的检测方法

技术领域

本发明涉及图像处理的技术领域，具体说是一种针对红外热像图像中的人进行的正常行为的模型构建方法及异常行为的检测方法。

背景技术

基于红外热成像的人体目标检测、跟踪与行为识别正逐渐成为智能视频监控、自动车辆辅助驾驶和高级人机接口等领域十分活跃的课题。与可见光图像相比,红外图像对于解决光照变化、阴影和夜间可视性等影响传统计算机视觉的问题提供了有力的支持,而且红外图像也具备较优的分割性能,在红外成像系统中，由于人体的温度通常要高于所处的环境温度，同时人体辐射出的热量也要远高于静态背景环境，比如树木、道路等，因此，人体属于红外图像中像素的亮度值较高的一部分，从而可以明显地与背景相对比，使得红外图像适合于人体的检测和定位，但是红外图像也有其不利于人体检测的一些特性，一些非人体，如动物、汽车、建筑物等都具有较高的亮度，这是仅依靠目标的亮度进行人体检测变得不可能，另外由于红外图像本身固有的特点，如低对比度、低信噪比、无法校验的黑白极性反转以及人体周围易出现的光晕效应等,使得红外图像中人体目标的检测、跟踪和行为识别都比较困难。

发明内容

本发明要解决的技术问题是提供一种针对红外热像图像中的人进行的正常行为的模型构建方法及异常行为的检测方法。

本发明为解决公知技术中存在的技术问题所采取的技术方案是:

本发明的正常行为的概率模型构建方法，包括以下步骤：

A、对给定的只包含正常行为的视频进行单元格构建：

B、对上述视频进行前景检测，获取运动目标的位置和区域，滤除背景和干扰信息；

C、单元格特征提取，提取运动目标的速度特征和尺寸特征；

D、通过步骤C中获得的速度特征和尺寸特征，估计正常行为时的速度特征概率密度和尺寸特征概率密度，作为正常行为的概率模型。

本发明还可以采用以下技术措施：

步骤A中，在t帧中根据输入的大小为M×N×Len的视频构建网格C_t，每个网格的大小为m×n，则得到(M/m)×(N/n)个单元格，C_t(i,j)表示第i行，j列的单元格，i∈[1,M/m],j∈[1,N/n]。

步骤B的前景检测过程中，包括以下步骤：

1)加载输入视频的下一帧作为当前帧I_t；

2)将当前帧I_t与前一帧I_t-1相减并取绝对值，对于第一帧，其前一帧为其自身；

3)将帧差结果与设定的阈值T_f进行对比，大于阈值的像素被认为是前景而保留，从而得到二值化的前背景图像；

4)对二值化的前背景检测结果进行中值滤波，以消除孤立点得到最终的前景检测结果F_t。

前景检测时设定的阈值T_f＝15，而中值滤波的核大小为5。

步骤C中，对于当前帧I_t，首先我们计算每个前景像素的x，y方向的光流值，分别为v_x,v_y；利用迭代Lucas-Kanade算法计算光流值，对于单元格C_t(i,j)，将其包含的前景像素的光流均值作为该单元格的光流Opf_t(i,j)描述，公式如下：

其中N_f为C_t(i,j)中的前景像素的数量，f_i为像素的索引；

同时计算相邻帧间同一位置单元格的光流值，则单元格的速度特征Spd_t(i,j)为：

其中O_uij表示第u帧的(i,j)单元格的光流特征，由上述Opf_t(i,j)公式定义；||₁为1范数，则Spd_t(i,j)是t-1至t+1帧单元格(i,j)的光流特征之和的1范数。

步骤C中，单元格的尺寸特征计算步骤如下：

1)由前景检测结果F_t计算每个单元格C_t(i,j)包含的前景像素的数量，记为Pix_t(i,j)；

2)计算C_t(i,j)的尺寸特征S_t(i,j)，为Pix_t(i,j)

8邻域的加权平均，其中，w_ninj为高斯权值。

速度特征概率密度的估算方式如下：

1)对t帧中的每个单元格提取速度特征；

2)删除不包含前景像素的单元格，得到剩余的单元格数量N_spd，Spd_t(n)为其中第n个单元格的速度特征值；

3)对Spd_t(n)取值区间进行离散化，取Spd_t(n)最大最小值为K_max，K_min，将Spd_t(n)离散化为K_spd个点，则可以的得到Spd_t(n)的取值步进为△x_spd＝(K_max-K_min)/K_spd，Spd_t(n)的离散取值点为k△x_spd，其中k＝{0,1,2,…,K_spd-1}；

4)利用已得到的样本速度特征值，估计每个离散取值点的概率值，进而得到离散的速度特征概率密度，如公式如下：

尺寸特征概率密度的估算方式如下：

1)对t帧中的每个单元格提取尺寸特征；

2)删除不包含前景像素的单元格，得到剩余的单元格数量N_s，S_t(n)为其中第n个单元格的尺寸特征值；

3)对S_t(n)取值区间进行离散化，取S_t(n)最大最小值为K′_max，K′_min，将S_t(n)离散化为K_s个点，则可以的得到S_t(n)的取值步进为△x_s＝(K′_max-K′_min)/K_s，S_t(n)的离散取值点为k△x_s，其中k＝{0,1,2,…,K_s-1}；

4)利用已得到的样本速度特征值，估计每个离散取值点的概率值，进而得到离散的尺寸特征概率密度，如公式如下：

本发明的异常行为的检测方法，包括以下步骤：

A、建立正常行为特征的概率模型；

B、对输入的待测视频，加载第t帧图像，按照上述正常行为模型构建方法中的步骤计算每个单元格的速度特征和尺寸特征，得到Spd_t′(i,j)和S_t′(i,j)；

C、按照正常行为特征的概率模型计算速度特征Spd_t′(i,j)为正常行为特征的概率，公式如下：

由计算得出概率值小于T_spd的单元格，则判定为异常区域，反之为正常区域；

按照正常行为特征的概率模型计算尺寸特征S_t′(i,j)为正常行为特征的概率，公式如下：

由计算得出概率值小于T_s的单元格，则判定为异常区域，反之为正常区域；

其中Tspd，Ts为区分正常或异常区域的阈值，表示对异常区域的敏感性，其取值范围为(0,1)；

D、步骤C中速度特征或尺寸特征中任一特征被判定为异常区域，则该单元格都被判定为异常区域，仅当速度特征或尺寸特征都为正常区域时，该单元格为正常区域。

本发明具有的优点和积极效果是:

本发明的正常行为的模型构建方法及异常行为的检测方法中，通过对红外热像图像的处理，能够建立正常行为的模型，并能够准确地对认定的异常行为进行检测，并生成异常行为所在区域及报警信息。能够对未认定的、但是与在时间及空间上反复发生的正常行为有巨大区别的行为进行检测，并生成异常行为所在区域及报警信息，能够处理目标的外观，大小以及速度方面的异常行为，在延迟时间短，保证报警时间的准确性，能够兼容使用热成像和CCD成像结果，为后期两种信息的融合使用奠定基础。

附图说明

图1是本发明的正常行为的模型构建方法及异常行为的检测方法中视频单元格建立的示意图；

图2是利用本发明检测到尺寸特征异常时的结果示意图；

图3是利用本发明检测到速度特征异常时的结果示意图；

图4是利用本发明在人物慢跑时检测到的结果示意图；

图5是利用本发明在人物快跑时检测到的结果示意图；

图6是利用本发明在两人慢跑时检测到的结果示意图；

图7是利用本发明在两人快跑时检测到的结果示意图；

图8是利用本发明在人行走中抛物时检测到的结果示意图；

图9是利用本发明在人奔跑中抛物时检测到的结果示意图；

图10是利用本发明在人物打斗时检测到的结果示意图；

图11是利用本发明在人物摔倒时检测到的结果示意图。

具体实施方式

以下参照附图及实施例对本发明进行详细的说明。

本发明的正常行为的概率模型构建方法，包括以下步骤：

A、对给定的只包含正常行为的视频进行单元格构建：

C、单元格特征提取，提取运动目标的速度特征和尺寸特征；

步骤A中，在t帧中根据输入的大小为M×N×Len的视频构建网格C_t，每个网格的大小为m×n，则得到(M/m)×(N/n)个单元格，C_t(i,j)表示第i行，j列的单元格，i∈[1,M/m],j∈[1,N/n]。如图1所示，示例中的视频当前帧被分为10×8个单元格，从而以单个单元格为基本单元进行后续的特征判定，判断某个单元格是否属于异常事件发生区域的一个部分。

前景检测的精度在很大程度上影响了异常行为的检测精度。为了适应场景变化的影响，本例中结合了背景建模和帧差更新作为前景检测方法。

步骤B的前景检测过程中，包括以下步骤：

1)加载输入视频的下一帧作为当前帧I_t；

前景检测时设定的阈值T_f＝15，足以取得较好的检测结果。而中值滤波的核大小为5，以得到平滑的结果。

前景检测结果提供了两部分信息，一是运动目标的位置，二是运动目标的区域，同时也滤除大部分背景和干扰信息。因此在前景检测结果上能够更为快速和准确地提取运动目标的特征，例如大小和速度特征。

速度是运动目标的一个主要特征。许多异常事件也主要体现在运动目标在速度上的异常性，例如追打，抛物，突然摔倒等。前景检测结果较好地反映运动目标的速度和方向，对每一帧图像只计算前景像素的光流值，以快速地获得前景运动目标的速度描述。

其中N_f为C_t(i,j)中的前景像素的数量，f_i为像素的索引；

步骤C中，单元格的尺寸特征计算步骤如下：

2)计算C_t(i,j)的尺寸特征S_t(i,j)，为Pix_t(i,j)8邻域的加权平均，其中，w_ninj为高斯权值。

模型构建的目的是由给定的只包含正常行为的视频段，估计出正常行为的模型。这种模型可以是概率模型，也可以是字典，其描述了在给定的特征下正常行为的特征值应该符合的规律。由于上述的尺寸和速度特征都为一维数据，因此可以简单通过估计正常行为的概率密度函数来构建正常行为的模型。假设两种特征是独立的，这样就可以分别对正常行为的两种特征估计其概率密度函数，而不是估计联合分布。

本实施例采用核概率密度函数估计的非参数估计方法，对于只包含正常行为的训练视频段，如有Len帧图像，根据以上步骤计算每个单元格的速度特征，速度特征概率密度的估算方式如下：

1)对t帧中的每个单元格提取速度特征，例如第t帧第i行，j列的单元格的速度特征表示为Spd_t(i,j)。因此，我们可以得到(M/m)×(N/n)×Len个单元格样本及其速度特征值；

4)估计每个离散取值点的概率值，利用高斯核已得到的样本速度特征值，估计每个离散取值点的概率值，进而得到离散的速度特征概率密度，如公式如下：

尺寸特征概率密度函数的估计方式与上述方法完全相同，尺寸特征概率密度的估算方式如下：

1)对t帧中的每个单元格提取尺寸特征；

在建立好正常行为特征的概率模型后，就可以对于输入的测试视频按完全相同的方式构建单元格，提取前景，计算速度和尺寸特征，然后根据特征值判定每个单元格是否为异常单元格。

本发明的异常行为的检测方法，包括以下步骤：

A、建立正常行为特征的概率模型；

由计算得出概率值小于T_s的单元格，则判定为异常区域，反之为正常区域；Tspd，Ts作为阈值用于区分正常或异常区域，例如对于计算的概率值小于Tspd，Ts的单元格，将被判定为异常区域，反之为正常区域；在我们算法中，Tspd，Ts用以表示对异常区域的敏感性，其取值范围为(0,1)，当Tspd，Ts趋向于0时，算法只会将与正常行为差异明显的区域判定为异常区域；

D、步骤C中速度特征或尺寸特征中任一特征被判定为异常区域，则该单元格都被判定为异常区域，仅当速度特征或尺寸特征都为正常区域时，该单元格为正常区域。如图2和图3所示，异常行为的单元格被标示在左上角的汽车部分，速度特征和尺寸特征所标示的异常区域的大小是有差异的，通过速度特征和尺寸特征的同时检测，能够获知异常区域。

为检测本发明在对行为异常检测中的效果，分别选择了多种不同的应用场景进行测试，测试结果如图4至图11所示，图中标示出的单元格即为视频中检测出异常行为的区域，本发明的异常行为的检测方法在实际应用中是准确有效的。

以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例公开如上，然而，并非用以限定本发明,任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内,当然会利用揭示的技术内容作出些许更动或修饰，成为等同变化的等效实施例,但凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均属于本发明技术方案的范围内。

Claims

1.一种正常行为的概率模型构建方法，包括以下步骤：A、对给定的只包含正常行为的视频进行单元格构建：B、对上述视频进行前景检测，获取运动目标的位置和区域，滤除背景和干扰信息；C、单元格特征提取，提取运动目标的速度特征和尺寸特征；D、通过步骤C中获得的速度特征和尺寸特征，估计正常行为时的速度特征概率密度和尺寸特征概率密度，作为正常行为的概率模型；

在步骤B的前景检测过程中，包括以下步骤：1)加载输入视频的下一帧作为当前帧It；2)将当前帧It与前一帧It-1相减并取绝对值，对于第一帧，其前一帧为其自身；3)将帧差结果与设定的阈值Tf进行对比，大于阈值的像素被认为是前景而保留，从而得到二值化的前背景图像；4)对二值化的前背景检测结果进行中值滤波，以消除孤立点得到最终的前景检测结果Ft。

2.根据权利要求1所述的正常行为的概率模型构建方法，其特征在于：步骤A中，在t帧中根据输入的大小为M×N×Len的视频构建网格Ct，每个网格的大小为m×n，则得到(M/m)×(N/n)个单元格，Ct(i，j)表示第i行，j列的单元格，i∈[1，M/m]，j∈[1，N/n]。

3.根据权利要求1所述的正常行为的概率模型构建方法，其特征在于：前景检测时设定的阈值Tf＝15，而中值滤波的核大小为5。

4.根据权利要求1-3任一项所述的正常行为的概率模型构建方法，其特征在于：步骤C中，对于当前帧It，首先我们计算每个前景像素的x，y方向的光流值，分别为vx，vy；利用迭代Lucas-Kanade算法计算光流值，对于单元格Ct(i，j)，将其包含的前景像素的光流均值作为该单元格的光流Opft(i，j)描述，公式如下：其中Nf为Ct(i，j)中的前景像素的数量，fi为像素的索引；同时计算相邻帧间同一位置单元格的光流值，则单元格的速度特征Spdt(i，j)为：其中Ouij表示第u帧的(i，j)单元格的光流特征，由上述Opft(i，j)公式定义；||1为1范数，则Spdt(i，j)是t-1至t+1帧单元格(i，j)的光流特征之和的1范数。

5.根据权利要求4所述的正常行为的概率模型构建方法，其特征在于：步骤C中，单元格的尺寸特征计算步骤如下：1)由前景检测结果Ft计算每个单元格Ct(i，j)包含的前景像素的数量，记为Pixt(i，j)；2)计算Ct(i，j)的尺寸特征St(i，j)，为Pixt(i，j)8邻域的加权平均，其中，wni，nj为高斯权值。

6.根据权利要求5所述的正常行为的概率模型构建方法，其特征在于：速度特征概率密度的估算方式如下：1)对t帧中的每个单元格提取速度特征；2)删除不包含前景像素的单元格，得到剩余的单元格数量Nspd，Spdt(n)为其中第n个单元格的速度特征值；3)对Spdt(n)取值区间进行离散化，取Spdt(n)最大最小值为Kmax，Kmin，将Spdt(n)离散化为Kspd个点，则可以的得到Spdt(n)的取值步进为Δxspd＝(Kmax-Kmin)/Kspd，Spdt(n)的离散取值点为kΔxspd，其中k＝{0，1，2，...，Kspd-1}；4)利用已得到的样本速度特征值，估计每个离散取值点的概率值，进而得到离散的速度特征概率密度，如公式如下：

7.根据权利要求5所述的正常行为的概率模型构建方法，其特征在于：尺寸特征概率密度的估算方式如下：1)对t帧中的每个单元格提取尺寸特征；2)删除不包含前景像素的单元格，得到剩余的单元格数量Ns，St(n)为其中第n个单元格的尺寸特征值；3)对St(n)取值区间进行离散化，取St(n)最大最小值为K′max，K′min，将St(n)离散化为Ks个点，则可以的得到St(n)的取值步进为Δxs＝(K′max-K′min)/Ks，St(n)的离散取值点为kΔxs，其中k＝{0，1，2，..，Ks-1}；4)利用已得到的样本速度特征值，估计每个离散取值点的概率值，进而得到离散的尺寸特征概率密度，如公式如下：

8.一种异常行为的检测方法，包括以下步骤：A、建立正常行为特征的概率模型；B、对输入的待测视频，加载第t帧图像，按照上述正常行为模型构建方法中的步骤计算每个单元格的速度特征和尺寸特征，得到Spdt′(i，j)和St′(i，j)；C、按照正常行为特征的概率模型计算速度特征Spdt′(i，j)为正常行为特征的概率，公式如下：由计算得出概率值小于Tspd的单元格，则判定为异常区域，反之为正常区域；按照正常行为特征的概率模型计算尺寸特征St′(i，j)为正常行为特征的概率，公式如下：

由计算得出概率值小于Ts的单元格，则判定为异常区域，反之为正常区域；其中Tspd，Ts为区分正常或异常区域的阈值，表示对异常区域的敏感性，其取值范围为(0，1)；D、步骤C中速度特征或尺寸特征中任一特征被判定为异常区域，则该单元格都被判定为异常区域，仅当速度特征或尺寸特征都为正常区域时，该单元格为正常区域。