CN106503672A - 一种老年人异常行为的识别方法 - Google Patents

Abstract

本发明一种老年人异常行为的识别方法，涉及图像特征抽取的图像信息处理，是基于改进的训练好的栈式卷积ISA模型的老年人异常行为的识别方法，步骤是：建立老年人行为模式的视频样本数据库并对视频样本进行分块；视频样本数据的预处理；利用改进的训练好的栈式卷积ISA模型从视频样本数据中提取时空特征；对时空特征进行聚类得到视觉单词表和得到视频视觉单词频率直方图；训练χ²核支持向量机SVM分类器模型；对老年人异常行为的识别。该方法无需进行人体分割和背景建模，通过建立老年人行为数据库，利用无监督学习方法直接从视频数据中提取时空特征，实现对老年人异常行为的识别，克服了现有技术存在的各种缺陷。

Description

一种老年人异常行为的识别方法

技术领域

本发明的技术方案涉及图像特征抽取的图像信息处理，具体地说是一种老年人异常行为的识别方法。

背景技术

在计算机视觉技术领域中，老年人异常行为的识别是通过计算机系统对独居老人的实时监护和智能服务，对老年人异常行为的识别的目的旨在当独自生活的老人因跌倒或突发疾病而处于异常行为状态时，计算机系统能及时发现并报警，让老人及时得到救助。目前，老年人异常行为的识别方法的研究是一个研究热点，具有很大的发展空间。在现有技术中：CN104850841A公开了一种结合RFID与视频识别的老人异常行为监测方法，通过给老人佩戴RFID标签识别老人的身份信息，通过背景建模得到人体行为前景图像序列，采用梯度直方图特征提取人体行为特征，利用模板匹配法识别老人的异常行为。CN103425971A公开了一种家庭环境下独居老人异常行为的监测方法，也是通过背景建模得到前景人体，识别目标团块并跟踪，对目标团块中心进行Kalman滤波，得到其预测值，当预测值大于设定阈值时，判定为行为异常。以上两种方法都是以背景建模为基础，背景建模受遮挡光照等因素影响较大，特征提取的准确度往往取决于背景建模的效果。CN102799873A公开了一种人体异常行为识别方法，无需进行人体分割和背景建模,通过聚类人体运动剧烈区域的时空特征,实现对运动的建模,进而实现人体异常行为的识别，其通过获得的异常行为模板对行为进行分类，但是这种方法提取的特征是人为设计的特征，并不一定适用于所有的行为数据库，有很大的局限性。Quoc V.Le在其发表的论文”Learning hierarchical invariantspatio-temporal features for action recognition with independent subspaceanalysis”中提出了所谓独立子空间分析(independent subspace analysis，简称ISA)的特征提取方法，其通过无监督学习方法直接从视频数据中提取时空特征，完成对行为的识别，该方法在几个主流人体行为数据库都取得了很好的效果，但是其在权值优化计算过程中，受正交约束的条件计算量较大，迭代收敛速度慢。

发明内容

本发明所要解决的技术问题是：提供一种老年人异常行为的识别方法，是基于改进的训练好的栈式卷积ISA模型的老年人异常行为的识别方法，该方法无需进行人体分割和背景建模，通过建立老年人行为数据库，利用无监督学习方法直接从视频数据中提取时空特征，实现对老年人异常行为的识别，克服了上述现有技术存在的各种缺陷。

本发明解决该技术问题所采用的技术方案是：一种老年人异常行为的识别方法，是基于改进的训练好的栈式卷积ISA模型的老年人异常行为的识别方法，具体步骤如下：

第一步，建立老年人行为模式的视频样本数据库并对视频样本进行分块：

采样具有老年人行为模式的视频样本，至少要包含5种老年人行为，其中有2～3种老年人异常行为，每种老年人行为至少采样100个视频样本，由这些采样的视频样本建立老年人行为模式的视频样本数据库，并对该数据库中的视频样本进行分块，具体方法是，将数据库中的每个视频样本随机地分割为300个视频块，每个视频块随机地选取连续10视频帧，再将每一视频帧随机地分割出连续相邻16×16的图像块，则每个视频块的大小为16×16×10，总共采样得到N×300个视频块，其中N为上述老年人行为模式的视频样本数据库中的视频样本的个数，将所有视频块组成一个视频样本数据X₁：

X₁＝{x₁,x₂,...,x_N×300}

其中，每一列向量x_i表示一个视频块数据，每个视频块数据的维度为16×16×10；

第二步，视频样本数据的预处理：

将上述第一步采样的具有老年人行为模式的视频样本数据进行归一化和PCA白化，除去视频样本数据中的相关性和噪声，由此完成视频样本数据的预处理；

第三步，利用改进的训练好的栈式卷积ISA模型从视频样本数据中提取时空特征：

利用改进的训练好的栈式卷积ISA模型从上述第二步完成预处理的视频样本数据中提取时空特征，该栈式卷积ISA模型是由两层ISA网络堆叠的双层网络结构模型，其在第一层ISA网络isa1训练完成后，从视频样本数据中提取得到第一层ISA网络isa1的时空特征，再与更大视频块的视频样本数据进行卷积计算，得到的结果作为第二层ISA网络isa2的输入，然后完成第二层ISA网络isa2训练，从而从视频样本数据中提取得到第二层ISA网络isa2的时空特征，最后将第一层ISA网络isa1从视频样本数据中提取到的时空特征和第二层ISA网络isa2从视频样本数据中提取到的时空特征结合起来作为整个从视频样本数据中提取到的时空特征；

第四步，对时空特征进行聚类得到视觉单词表和得到视频视觉单词频率直方图：

利用K均值聚类方法对上述第三步提取到的时空特征进行聚类，得到k个聚类中心，一个聚类中心代表词袋模型的一个视觉单词w_i＝{f₁,f₂,...,f_m}，其中f_i为视觉单词中的第i个时空特征分量，m为时空特征维数，则k个聚类中心可视为一个视觉单词表V＝{w₁,w₂,...,w_k}，进一步对每个视频样本进行矢量化表示，统计时空特征基于视觉单词出现的频率，得到统计直方图，即视频视觉单词频率直方图：H＝{h₁,h₂,...,h_k}，其中h_i表示视频中第i个视觉单词出现的频率；

第五步，训练χ²核支持向量机SVM分类器模型：

χ²核函数是采用卡方距离构建的一种广义高斯核函数：

其中，H_i＝(h_in)和H_j＝(h_jn)是视频视觉单词频率直方图，也即训练集中两个视频样本的矢量化特征，k是视觉单词的个数，A是所有训练集中视频样本之间距离的平均值；对于多类分类，采用逐一鉴别法，选择得分最高的类，将上述第一步中采集的一个类型的老年人行为模式的视频样本和剩余的其他所有类型的老年人行为模式的视频样本之间构建一个支持向量机SVM分类器，将该类老年人行为模式的视频样本的标签看作为+1，其他所有类型的老年人行为模式的视频样本的标签看作为-1，由此构成标签集，用上述第四步得到的视频视觉单词频率直方图和由此构成的标签集来训练χ²核支持向量机SVM分类器，得到训练好的χ²核支持向量机SVM分类器模型，χ²核支持向量机SVM分类器是基于χ²核函数的多类别分类器；

第六步，对老年人异常行为的识别：

按照上述五个步骤的顺序，对需要待识别的老年人行为进行识别：1)对待识别的老年人行为的视频样本进行分块；2)对分块后得到的视频样本数据进行归一化和PCA白化的预处理；3)利用改进的训练好的栈式卷积ISA模型从视频样本数据中提取时空特征；4)利用K均值聚类方法对时空特征进行聚类得到视觉单词表和得到视频视觉单词频率直方图；5)用训练好的χ²核支持向量机SVM分类器模型对待识别的老年人行为的视频样本类别进行预测，并判断确定该待识别的老年人的行为是否为异常行为，由此完成对老年人异常行为的识别。

上述一种老年人异常行为的识别方法，所述具有老年人行为模式的视频样本数据进行归一化的操作方法是，逐视频样本数据均值消减，也称为移除直流分量，逐视频样本数据进行计算，即分别计算各视频样本数据的均值，然后各视频样本数据减去其对应的均值，则视频样本数据X₁归一化后为X₁′。

上述一种老年人异常行为的识别方法，所述将具有老年人行为模式的视频样本数据进行PCA白化即主成分分析白化的操作步骤如下：

(1)计算训练视频样本的协方差矩阵：其中m为视频样本中的视频块个数，x_i′为X₁′中的分量，(x_i′)^Τ为(x_i′)的转置矩阵；

(2)对协方差矩阵Σ进行奇异值分解：∑＝U×V×D，其中，分解得到的U和D都是正交矩阵，V是对角化的矩阵，其元素非负且按降序排列，即为协方差矩阵的特征值按降序排列，由此正交矩阵U为协方差矩阵Σ的特征向量，保留U中的前k个成分，也即前k个特征值对应的特征向量，k＜m，其余赋值为0，得到 为U降维后的矩阵由此完成对协方差矩阵Σ的奇异值分解；

(3)对归一化后的视频样本数据X₁′进行降维得到 为的转置矩阵；

(4)对进行PCA白化处理，使协方差矩阵Σ为单位矩阵，使每一维的方差都为1，得到PCA白化处理后的视频样本数据Z：其中z_i为Z的行向量，z_i＝{z₁,z₂,...,z_nf}，nf表示每个视频样本数据的大小，λ_i表示协方差矩阵Σ的特征值，当一些特征值λ_i在数值上接近于0时，将导致在缩放步骤时除以一个接近0的值，这可能使数据上溢或造成数值不稳定，为此加上一个取值为ε≈10^-5的常数，由此完成视频样本数据的PCA白化。

上述一种老年人异常行为的识别方法，所述第一层ISA网络isa1训练的具体步骤如下：

将上述PCA白化处理后的视频样本数据Z输入第一层ISA网络isa1，对第一层ISA网络isa1进行训练直至收敛，得到第一层ISA网络isa1的权值W₁，再将该权值W₁代入第一层ISA网络isa1得到特征响应，第一层ISA网络isa1的权值W₁具体求解过程如下：

单个ISA网络也是一个两层单元的网络结构，即包括第一层单元的网络结构和第二层单元的网络结构，第一层单元的网络结构将输入数据进行线性变换，得到线性特征响应，输入数据在第一层单元的网络结构线性变换的权值为W₁，第二层单元的网络结构是对第一层单元的网络结构得到的特征进行非线性变换，用固定权重V₁来表示第二层单元的网络结构与第一层单元的网络结构之间的连接权值，具体操作过程如下：

对每个输入的PCA白化处理后的视频样本数据Z，单个ISA网络的第一层单元的网络结构首先进行线性变换，得到线性特征响应S₁：

S₁＝W₁Z

其中，W₁为输入的PCA白化处理后的视频样本数据Z到第一层单元的网络结构的线性变换的权值；

上式也可写为：

其中，s_j是S₁中的分量；w_kj是W₁中的分量，W₁∈R^k×n，n是输入维数，k是第一层单元的网络结构中的分量个数；是Z中的分量，t取值为1→T，T为每个视频块的图片帧数；

单个ISA网络的第二层单元的网络结构对第一层单元的网络结构的特征进行非线性变换如下式：

其中，p_i表示第二层单元的网络结构得到的特征响应P₁的分量，V₁∈R^m×k是第二层单元的网络结构与第一层单元的网络结构之间的连接权值，m是第二层单元中的分量个数，v_il是V₁的分量，v_il表示第二层单元中第i个分量连接到第一层单元中第l个分量的权值，当第l个分量在s_j中时，其值为1，否则为0；当ISA网络结构确定时，权值V₁就是固定的；

计算第一层单元的网络结构线性变换的权值W₁，以得到单个ISA网络最终的特征输出，其满足如下约束条件：

其中正交约束W₁(W₁)^Τ＝I保证了特征之间不相关，将正交优化问题重构为无约束优化问题：

当输入数据是白化数据时，重构代价函数相当于正交代价函数其中λ趋于无穷大时，满足硬正交约束，将正交约束的优化问题转化为无约束的优化问题后，利用一种拟牛顿法即L-BFGS无约束优化方法解决最小值问题如下：

权值W₁的迭代公式为：(W₁)_k+1＝(W₁)_k+α_kP_k，其中α_k为步长，P_K为对应的下降方向，k是迭代次数；

P_K的迭代公式为：其中H_k为hessian矩阵的逆矩阵的近似值，为所求函数的一阶导数；

H_k的迭代公式为：其中s_k,y_k,ρ_k,V_k为迭代过程中的中间变量，满足s_k＝(W₁)_k+1-(W₁)_k，

在迭代过程中，判断所述一阶导数▽f((W₁)_k)是否小于预设的收敛阈值，当小于预设的收敛阈值时则迭代结束，所得(W₁)_k即为最优权值；否则，根据P_K及H_k矩阵继续进行迭代，其中由前m次迭代结果估算得出，即只需要存储{s_i,y_i}(i＝k-m,...,k-1)，然后根据修改后的下降方向P_K及H_k矩阵，计算下一次迭代的权重(W₁)_k+1和一阶导数直到所述权值函数的一阶导数小于预设的收敛阈值，具体步骤如下：

(1)首先进行初始化，取k＝0，权值矩阵的初始值为(W₁)₀，H_k矩阵的初始值H₀＝I，下降方向令则预设收敛判断条件ε(ε>0)和存储的迭代次数m(一般取6)；

(2)收敛判断，如果则取权值矩阵(W₁)_k为最优解，否则转下一步；

(3)计算本次迭代下降方向P_k＝-r_k，计算步长α_k，对下面式子进行线搜索

根据下降方向P_K和步长α_k更新权值矩阵(W₁)_k+1＝(W₁)_k+α_kP_k；

(4)计算当k＞m，计算s_k＝(W₁)_k+1-(W₁)_k，

并保存{s_i,y_i}中前m次迭代结果，其中i＝k-m,...,k-1，对于给定m，迭代m+1次后得到此时的H_k，

其中初始值设为由此得到r_k，k←k+1转至上述步骤(2)进行收敛判断；

至此完成第一层ISA网络isa1的训练。

上述一种老年人异常行为的识别方法，所述第二层ISA网络isa2训练的具体步骤如下：

对第一步中采样得到的老年人行为模式的视频样本数据库中的视频样本重新进行分块，将所有重新进行分块的视频块组成一个视频样本数据X₂，X₂中视频块的大小大于原视频样本数据X₁中的视频块，在X₂中将每个视频样本随机地分割为200个视频块，每个视频块随机地选取连续14帧，每个视频帧随机地分割出连续相邻20×20的图像块，那么每个视频块的大小为20×20×14，然后将第一层ISA网络isa1的特征输出与视频样本数据X₂进行卷积，将得到的卷积特征经预处理后输入第二层ISA网络isa2中，对其训练直至收敛，训练步骤同第一层ISA网络isa1训练的具体步骤，得到第二层ISA网络isa2的权值W₂，再将权值W₂代入第二层ISA网络isa2得到第二层的特征响应，至此完成第二层ISA网络isa2的训练。

上述一种老年人异常行为的识别方法，所述PCA白化、K均值聚类方法、SVM分类器、逐一鉴别法均是本技术领域公知的。

本发明的有益效果是：与现有技术相比，本发明具有如下的突出的实质性特点和显著进步：

(1)本发明方法，使用无监督学习方法来直接从视频数据中提取时空特征，其使用包含PCA和卷积的两层ISA网络结构，减小了计算维度，加快了训练速度。ISA学习所得的输出分量在具有统计独立性的同时也具有一定的位移、相位与旋转不变性，卷积网络能够高效地处理大样本数据，栈式网络可以提取到内容更为丰富的显著特征，因此它具有ISA模型、栈式网络和卷积网络的所有优点，适合处理视频中老年人行为的识别工作。

(2)本发明改进了栈式卷积ISA模型的最优求解算法。基本ISA模型中对权值有正交约束的条件，在利用梯度下降法求最优解时，每一步都要执行正交化，这种算法输入维度高，计算复杂度大。而本发明将原模型中的正交约束条件重构为无约束条件，利用无约束的L-BFGS最优求解方法，相比于基于约束优化的梯度下降法，其大大加快了收敛速度，提高了算法效率。

(3)本发明是基于改进的训练好的栈式卷积ISA模型的老年人异常行为的识别方法，该方法无需进行人体分割和背景建模，通过建立老年人行为数据库，利用无监督学习方法直接从视频数据中提取时空特征，实现对老年人异常行为的识别，克服了上述现有技术存在的各种缺陷。

附图说明

下面结合附图和实施例对本发明进一步说明。

图1为本发明一种老年人异常行为的识别方法的流程示意框图。

图2为本发明中的栈式卷积ISA模型的网络结构示意图。

具体实施方式

图1所示实施例表明，本发明一种老年人异常行为的识别方法的流程是：建立老年人行为模式的视频样本数据库并对视频样本进行分块→视频样本数据的预处理→利用改进的训练好的栈式卷积ISA模型从视频样本数据中提取时空特征→对时空特征进行聚类得到视觉单词表和得到视频视觉单词频率直方图→训练χ²核支持向量机SVM分类器模型→对老年人异常行为的识别。

图2所示实施例显示本发明中的栈式卷积ISA模型的网络结构：将视频样本数据X₁经上述预处理阶段得到PCA白化处理后的视频样本数据Z，将PCA白化处理后的视频样本数据Z输入第一层ISA网络isa1，第一层ISA网络isa1中的第一层单元的网络结构首先进行线性变换，连接输入PCA白化处理后的视频样本数据Z与第一层单元的网络结构的权值为W₁，得到线性特征响应为S₁，再经第一层单元的网络结构的非线性变换，连接第二层单元的网络结构与第一层单元的网络结构的权值为V₁，得到第二层单元的网络结构特征响应P₁，即为第一层ISA网络isa1的时空特征；然后将P₁与含有更大视频块的视频样本数据X₂进行卷积运算，得到的结果经预处理后作为第二层ISA网络isa2的输入数据，第二层ISA网络isa2中连接输入数据与第一层单元的权值为W₂，得到线性特征响应为S₂，连接第二层单元的网络结构与第一层单元的网络结构的权值为V₂，得到第二层单元的网络结构特征响应P₂，即为第二层ISA网络isa2的时空特征。

实施例

本实施例的一种老年人异常行为的识别方法，是基于改进的训练好的栈式卷积ISA模型的老年人异常行为的识别方法，具体步骤如下：

第一步，建立老年人行为模式的视频样本数据库并对视频样本进行分块：

采样具有老年人行为模式的视频样本，包含6种行为：行走、坐下、站起、弯腰、跌倒、挥手、手部震颤，其中跌倒和手部震颤属于异常行为，其余行为属于正常行为，每种行为采样100个，则共采样600个视频样本，由这些采样的视频样本建立老年人行为模式的视频样本数据库，并对该数据库中的视频样本进行分块，具体方法是，将数据库中的每个视频样本随机地分割为300个视频块，每个视频块随机地选取连续10视频帧，再将每一视频帧随机地分割出连续相邻16×16的图像块，则每个视频块的大小为16×16×10，总共采样得到600×300个视频块，将所有视频块组成一个视频样本数据X₁：

X₁＝{x₁,x₂,...,x_600×300}

其中，每一列向量x_i表示一个视频块数据，每个视频块数据的维度为16×16×10；

第二步，视频样本数据的预处理：

将上述第一步采样的具有老年人行为模式的视频样本数据进行归一化和PCA白化，除去视频样本数据中的相关性和噪声，由此完成视频样本数据的预处理；

所述具有老年人行为模式的视频样本数据进行归一化的操作方法是，逐视频样本数据均值消减，也称为移除直流分量，逐视频样本数据进行计算，即分别计算各视频样本数据的均值，然后各视频样本数据减去其对应的均值，则视频样本数据X₁归一化后为X₁′。

所述将具有老年人行为模式的视频样本数据进行PCA白化即主成分分析白化的操作步骤如下：

(1)计算训练视频样本的协方差矩阵：其中m为视频样本中的视频块个数，x_i′为X₁′中的分量，(x_i′)^Τ为(x_i′)的转置矩阵；

(2)对协方差矩阵Σ进行奇异值分解：∑＝U×V×D，其中，分解得到的U和D都是正交矩阵，V是对角化的矩阵，其元素非负且按降序排列，即为协方差矩阵的特征值按降序排列，由此正交矩阵U为协方差矩阵Σ的特征向量，保留U中的前k个成分，也即前k个特征值对应的特征向量，k＜m，其余赋值为0，得到 为U降维后的矩阵由此完成对协方差矩阵Σ的奇异值分解；

(3)对归一化后的视频样本数据X₁′进行降维得到 为的转置矩阵；

(4)对进行PCA白化处理，使协方差矩阵Σ为单位矩阵，使每一维的方差都为1，得到PCA白化处理后的视频样本数据Z：其中z_i为Z的行向量，z_i＝{z₁,z₂,...,z_nf}，nf表示每个视频样本数据的大小，λ_i表示协方差矩阵Σ的特征值，当一些特征值λ_i在数值上接近于0时，将导致在缩放步骤时除以一个接近0的值，这可能使数据上溢或造成数值不稳定，为此加上一个取值为ε≈10^-5的常数，由此完成视频样本数据的PCA白化。

第三步，从视频数据中提取时空特征：

利用改进的训练好的栈式卷积ISA模型从上述第二步完成预处理的视频样本数据中提取时空特征，该栈式卷积ISA模型是由两层ISA网络堆叠的双层网络结构模型，其在第一层ISA网络isa1训练完成后，从视频样本数据中提取得到第一层ISA网络isa1的时空特征P₁，再与更大视频块的视频样本数据X₂进行卷积计算，得到的结果作为第二层ISA网络isa2的输入，然后完成第二层ISA网络isa2训练，从而从视频样本数据中提取得到第二层ISA网络isa2的时空特征P₂，最后将第一层ISA网络isa1从视频样本数据中提取到的时空特征P₁和第二层ISA网络isa2从视频样本数据中提取到的时空特征P₂结合起来作为整个从视频样本数据中提取到的时空特征；

所述第一层ISA网络isa1训练的具体步骤如下：

将上述PCA白化处理后的视频样本数据Z输入第一层ISA网络isa1，对第一层ISA网络isa1进行训练直至收敛，得到第一层ISA网络isa1的权值W₁，再将该权值W₁代入第一层ISA网络isa1得到特征响应，第一层ISA网络isa1的权值W₁具体求解过程如下：

单个ISA网络也是一个两层单元的网络结构，即包括第一层单元的网络结构和第二层单元的网络结构，第一层单元的网络结构将输入数据进行线性变换，得到线性特征响应，输入数据在第一层单元的网络结构线性变换的权值为W₁，第二层单元的网络结构是对第一层单元的网络结构得到的特征进行非线性变换，用固定权重V₁来表示第二层单元的网络结构与第一层单元的网络结构之间的连接权值，具体操作过程如下：

对每个输入的PCA白化处理后的视频样本数据Z，单个ISA网络的第一层单元的网络结构首先进行线性变换，得到线性特征响应S₁：

S₁＝W₁Z

其中，W₁为输入的PCA白化处理后的视频样本数据Z到第一层单元的网络结构的线性变换的权值；

上式也可写为：

其中，s_j是S₁中的分量；w_kj是W₁中的分量，W₁∈R^k×n，n是输入维数，k是第一层单元的网络结构中的分量个数；是Z中的分量，t取值为1→T，T为每个视频块的图片帧数；

单个ISA网络的第二层单元的网络结构对第一层单元的网络结构的特征进行非线性变换如下式：

其中，p_i表示第二层单元的网络结构得到的特征响应P₁的分量，V₁∈R^m×k是第二层单元的网络结构与第一层单元的网络结构之间的连接权值，m是第二层单元中的分量个数，v_il是V₁的分量，v_il表示第二层单元中第i个分量连接到第一层单元中第l个分量的权值，当第l个分量在s_j中时，其值为1，否则为0；当ISA网络结构确定时，权值V₁就是固定的；

计算第一层单元的网络结构线性变换的权值W₁，以得到单个ISA网络最终的特征输出，其满足如下约束条件：

其中正交约束W₁(W₁)^Τ＝I保证了特征之间不相关，将正交优化问题重构为无约束优化问题：

当输入数据是白化数据时，重构代价函数相当于正交代价函数其中λ趋于无穷大时，满足硬正交约束，将正交约束的优化问题转化为无约束的优化问题后，利用一种拟牛顿法即L-BFGS无约束优化方法解决最小值问题如下：

权值W₁的迭代公式为：(W₁)_k+1＝(W₁)_k+α_kP_k，其中α_k为步长，P_K为对应的下降方向，k是迭代次数；

P_K的迭代公式为：其中H_k为hessian矩阵的逆矩阵的近似值，为所求函数的一阶导数；

H_k的迭代公式为：其中s_k,y_k,ρ_k,V_k为迭代过程中的中间变量，满足s_k＝(W₁)_k+1-(W₁)_k，

在迭代过程中，判断所述一阶导数▽f((W₁)_k)是否小于预设的收敛阈值，当小于预设的收敛阈值时则迭代结束，所得(W₁)_k即为最优权值；否则，根据P_K及H_k矩阵继续进行迭代，其中由前m次迭代结果估算得出，即只需要存储{s_i,y_i}(i＝k-m,...,k-1)，然后根据修改后的下降方向P_K及H_k矩阵，计算下一次迭代的权重(W₁)_k+1和一阶导数直到所述权值函数的一阶导数小于预设的收敛阈值，这样只保存最近m次的迭代信息，从而大大降低数据存储空间，计算可行方向的时间复杂度也降低，具体步骤如下：

(1)首先进行初始化，取k＝0，权值矩阵的初始值为(W₁)₀，H_k矩阵的初始值H₀＝I，下降方向令则预设收敛判断条件ε(ε>0)和存储的迭代次数m(一般取6)；

(2)收敛判断，如果则取权值矩阵(W₁)_k为最优解，否则转下一步；

(3)计算本次迭代下降方向P_k＝-r_k，计算步长α_k，对下面式子进行线搜索

根据下降方向P_K和步长α_k更新权值矩阵(W₁)_k+1＝(W₁)_k+α_kP_k；

(4)计算当k＞m，计算s_k＝(W₁)_k+1-(W₁)_k，

并保存{s_i,y_i}中前m次迭代结果，其中i＝k-m,...,k-1，对于给定m，迭代m+1次后得到此时的H_k，

其中初始值设为由此得到r_k，k←k+1转至上述步骤(2)进行收敛判断；

至此完成第一层ISA网络isa1的训练。

所述第二层ISA网络isa2训练的具体步骤如下：

对第一步中采样得到的老年人行为模式的视频样本数据库中的视频样本重新进行分块，将所有重新进行分块的视频块组成一个视频样本数据X₂，X₂中视频块的大小大于原视频样本数据X₁中的视频块，在X₂中将每个视频样本随机地分割为200个视频块，每个视频块随机地选取连续14帧，每个视频帧随机地分割出连续相邻20×20的图像块，那么每个视频块的大小为20×20×14，然后将第一层ISA网络isa1的特征输出与视频样本数据X₂进行卷积，将得到的卷积特征经预处理后输入第二层ISA网络isa2中，对其训练直至收敛，训练步骤同第一层ISA网络isa1训练的具体步骤，得到第二层ISA网络isa2的权值W₂，再将权值W₂代入第二层ISA网络isa2得到第二层的特征响应，至此完成第二层ISA网络isa2的训练。

第四步，对时空特征进行聚类得到视觉单词表和得到视频视觉单词频率直方图：

利用K均值聚类方法对上述第三步提取到的时空特征进行聚类，得到k个聚类中心，一个聚类中心代表词袋模型的一个视觉单词w_i＝{f₁,f₂,...,f_m}，其中f_i为视觉单词中的第i个时空特征分量，m为时空特征维数，则k个聚类中心可视为一个视觉单词表V＝{w₁,w₂,...,w_k}，进一步对每个视频样本进行矢量化表示，统计时空特征基于视觉单词出现的频率，得到统计直方图，即视频视觉单词频率直方图：H＝{h₁,h₂,...,h_k}，其中h_i表示视频中第i个视觉单词出现的频率；

第五步，训练χ²核支持向量机SVM分类器模型：

χ²核函数是采用卡方距离构建的一种广义高斯核函数：

其中，H_i＝(h_in)和H_j＝(h_jn)是视频视觉单词频率直方图，也即训练集中两个视频样本的矢量化特征，k是视觉单词的个数，A是所有训练集中视频样本之间距离的平均值；对于多类分类，采用逐一鉴别法，选择得分最高的类，将上述第一步中采集的一个类型的老年人行为模式的视频样本和剩余的其他所有类型的老年人行为模式的视频样本之间构建一个支持向量机SVM分类器，将该类老年人行为模式的视频样本的标签看作为+1，其他所有类型的老年人行为模式的视频样本的标签看作为-1，由此构成标签集，用上述第四步得到的视频视觉单词频率直方图和由此构成的标签集来训练χ²核支持向量机SVM分类器，得到训练好的χ²核支持向量机SVM分类器模型，χ²核支持向量机SVM分类器是基于χ²核函数的多类别分类器；

第六步，对老年人异常行为的识别：

按照上述五个步骤的顺序，对需要待识别的老年人行为进行识别：1)对待识别的老年人行为的视频样本进行分块；2)对分块后得到的视频样本数据进行归一化和PCA白化的预处理；3)利用改进的训练好的栈式卷积ISA模型从视频样本数据中提取时空特征；4)利用K均值聚类方法对时空特征进行聚类得到视觉单词表和得到视频视觉单词频率直方图；5)用训练好的χ²核支持向量机SVM分类器模型对待识别的老年人行为的视频样本类别进行预测，并判断确定该待识别的老年人的行为是否为异常行为，由此完成对老年人异常行为的识别。

上述实施例中，所述PCA白化、K均值聚类方法、SVM分类器、逐一鉴别法均是本技术领域公知的。

Claims (5)

1.一种老年人异常行为的识别方法，其特征在于：是基于改进的训练好的栈式卷积ISA模型的老年人异常行为的识别方法，具体步骤如下：

第一步，建立老年人行为模式的视频样本数据库并对视频样本进行分块：

采样具有老年人行为模式的视频样本，至少要包含5种老年人行为，其中有2～3种老年人异常行为，每种老年人行为至少采样100个视频样本，由这些采样的视频样本建立老年人行为模式的视频样本数据库，并对该数据库中的视频样本进行分块，具体方法是，将数据库中的每个视频样本随机地分割为300个视频块，每个视频块随机地选取连续10视频帧，再将每一视频帧随机地分割出连续相邻16×16的图像块，则每个视频块的大小为16×16×10，总共采样得到N×300个视频块，其中N为上述老年人行为模式的视频样本数据库中的视频样本的个数，将所有视频块组成一个视频样本数据X₁：

X₁＝{x₁,x₂,...,x_N×300}

其中，每一列向量x_i表示一个视频块数据，每个视频块数据的维度为16×16×10；

第二步，视频样本数据的预处理：

将上述第一步采样的具有老年人行为模式的视频样本数据进行归一化和PCA白化，除去视频样本数据中的相关性和噪声，由此完成视频样本数据的预处理；

第三步，利用改进的训练好的栈式卷积ISA模型从视频样本数据中提取时空特征：

利用改进的训练好的栈式卷积ISA模型从上述第二步完成预处理的视频样本数据中提取时空特征，该栈式卷积ISA模型是由两层ISA网络堆叠的双层网络结构模型，其在第一层ISA网络isa1训练完成后，从视频样本数据中提取得到第一层ISA网络isa1的时空特征，再与更大视频块的视频样本数据进行卷积计算，得到的结果作为第二层ISA网络isa2的输入，然后完成第二层ISA网络isa2训练，从而从视频样本数据中提取得到第二层ISA网络isa2的时空特征，最后将第一层ISA网络isa1从视频样本数据中提取到的时空特征和第二层ISA网络isa2从视频样本数据中提取到的时空特征结合起来作为整个从视频样本数据中提取到的时空特征；

第四步，对时空特征进行聚类得到视觉单词表和得到视频视觉单词频率直方图：

利用K均值聚类方法对上述第三步提取到的时空特征进行聚类，得到k个聚类中心，一个聚类中心代表词袋模型的一个视觉单词w_i＝{f₁,f₂,...,f_m}，其中f_i为视觉单词中的第i个时空特征分量，m为时空特征维数，则k个聚类中心可视为一个视觉单词表V＝{w₁,w₂,...,w_k}，进一步对每个视频样本进行矢量化表示，统计时空特征基于视觉单词出现的频率，得到统计直方图，即视频视觉单词频率直方图：H＝{h₁,h₂,...,h_k}，其中h_i表示视频中第i个视觉单词出现的频率；

第五步，训练χ²核支持向量机SVM分类器模型：

χ²核函数是采用卡方距离构建的一种广义高斯核函数：

$K(H_i,H_j)=\exp (-\frac{1}{2A}\underset{n=1}{\overset{k}{\Σ}}\frac{{(h_{in}-h_{jn})}^2}{h_{in}+h_{jn}})$

其中，H_i＝(h_in)和H_j＝(h_jn)是视频视觉单词频率直方图，也即训练集中两个视频样本的矢量化特征，k是视觉单词的个数，A是所有训练集中视频样本之间距离的平均值；对于多类分类，采用逐一鉴别法，选择得分最高的类，将上述第一步中采集的一个类型的老年人行为模式的视频样本和剩余的其他所有类型的老年人行为模式的视频样本之间构建一个支持向量机SVM分类器，将该类老年人行为模式的视频样本的标签看作为+1，其他所有类型的老年人行为模式的视频样本的标签看作为-1，由此构成标签集，用上述第四步得到的视频视觉单词频率直方图和由此构成的标签集来训练χ²核支持向量机SVM分类器，得到训练好的χ²核支持向量机SVM分类器模型，χ²核支持向量机SVM分类器是基于χ²核函数的多类别分类器；

第六步，对老年人异常行为的识别：

按照上述五个步骤的顺序，对需要待识别的老年人行为进行识别：1)对待识别的老年人行为的视频样本进行分块；2)对分块后得到的视频样本数据进行归一化和PCA白化的预处理；3)利用改进的训练好的栈式卷积ISA模型从视频样本数据中提取时空特征；4)利用K均值聚类方法对时空特征进行聚类得到视觉单词表和得到视频视觉单词频率直方图；5)用训练好的χ²核支持向量机SVM分类器模型对待识别的老年人行为的视频样本类别进行预测，并判断确定该待识别的老年人的行为是否为异常行为，由此完成对老年人异常行为的识别。

2.根据权利要求1所述一种老年人异常行为的识别方法，其特征在于：所述具有老年人行为模式的视频样本数据进行归一化的操作方法是：逐视频样本数据均值消减，也称为移除直流分量；逐视频样本数据进行计算，即分别计算各视频样本数据的均值；然后各视频样本数据减去其对应的均值，则视频样本数据X₁归一化后为X₁′。

3.根据权利要求1所述一种老年人异常行为的识别方法，其特征在于：所述将具有老年人行为模式的视频样本数据进行PCA白化即主成分分析白化的操作步骤如下：

(1)计算训练视频样本的协方差矩阵：其中m为视频样本中的视频块个数，x_i′为X₁′中的分量，(x_i′)^Τ为(x_i′)的转置矩阵；

(2)对协方差矩阵Σ进行奇异值分解：∑＝U×V×D，其中，分解得到的U和D都是正交矩阵，V是对角化的矩阵，其元素非负且按降序排列，即为协方差矩阵的特征值按降序排列，由此正交矩阵U为协方差矩阵Σ的特征向量，保留U中的前k个成分，也即前k个特征值对应的特征向量，k＜m，其余赋值为0，得到 为U降维后的矩阵由此完成对协方差矩阵Σ的奇异值分解；

(3)对归一化后的视频样本数据X₁′进行降维得到 为的转置矩阵；

(4)对进行PCA白化处理，使协方差矩阵Σ为单位矩阵，使每一维的方差都为1，得到PCA白化处理后的视频样本数据Z：其中z_i为Z的行向量，z_i＝{z₁,z₂,...,z_nf}，nf表示每个视频样本数据的大小，λ_i表示协方差矩阵Σ的特征值，当一些特征值λ_i在数值上接近于0时，将导致在缩放步骤时除以一个接近0的值，这可能使数据上溢或造成数值不稳定，为此加上一个取值为ε≈10^-5的常数，由此完成视频样本数据的PCA白化。

4.根据权利要求1所述一种老年人异常行为的识别方法，其特征在于：所述第一层ISA网络isa1训练的具体步骤如下：

将上述PCA白化处理后的视频样本数据Z输入第一层ISA网络isa1，对第一层ISA网络isa1进行训练直至收敛，得到第一层ISA网络isa1的权值W₁，再将该权值W₁代入第一层ISA网络isa1得到特征响应，第一层ISA网络isa1的权值W₁具体求解过程如下：

单个ISA网络也是一个两层单元的网络结构，即包括第一层单元的网络结构和第二层单元的网络结构，第一层单元的网络结构将输入数据进行线性变换，得到线性特征响应，输入数据在第一层单元的网络结构线性变换的权值为W₁，第二层单元的网络结构是对第一层单元的网络结构得到的特征进行非线性变换，用固定权重V₁来表示第二层单元的网络结构与第一层单元的网络结构之间的连接权值，具体操作过程如下：

对每个输入的PCA白化处理后的视频样本数据Z，单个ISA网络的第一层单元的网络结构首先进行线性变换，得到线性特征响应S₁：

S₁＝W₁Z

其中，W₁为输入的PCA白化处理后的视频样本数据Z到第一层单元的网络结构的线性变换的权值；

上式也可写为：

其中，s_j是S₁中的分量；w_kj是W₁中的分量，W₁∈R^k×n，n是输入维数，k是第一层单元的网络结构中的分量个数；是Z中的分量，t取值为1→T，T为每个视频块的图片帧数；

单个ISA网络的第二层单元的网络结构对第一层单元的网络结构的特征进行非线性变换如下式：

$p_i(z^t;W_1,V_1)=\sqrt{\underset{l=1}{\overset{k}{\Σ}}{v}_{il}{\left(s_j\right)}^2}=\sqrt{\underset{l=1}{\overset{k}{\Σ}}{v}_{il}{\left(\underset{j=1}{\overset{n}{\Σ}}{w}_{lj}{z}_j^t\right)}^2}$

其中，p_i表示第二层单元的网络结构得到的特征响应P₁的分量，V₁∈R^m×k是第二层单元的网络结构与第一层单元的网络结构之间的连接权值，m是第二层单元中的分量个数，v_il是V₁的分量，v_il表示第二层单元中第i个分量连接到第一层单元中第l个分量的权值，当第l个分量在s_j中时，其值为1，否则为0；当ISA网络结构确定时，权值V₁就是固定的；

计算第一层单元的网络结构线性变换的权值W₁，以得到单个ISA网络最终的特征输出，其满足如下约束条件：

$\begin{array}{ccc}\underset{W_1}{min}\underset{t=1}{\overset{T}{\Σ}}\underset{i=1}{\overset{m}{\Σ}}{p}_i(z^t;W_1,V_1)& s.t.& W_1{\left(W_1\right)}^T=I\end{array}$

其中正交约束W₁(W₁)^Τ＝I保证了特征之间不相关，将正交优化问题重构为无约束优化问题：

$\underset{W_1}{min}\frac{\mathrm{\λ}}{T}\underset{t=1}{\overset{T}{\Σ}}\left|\right|{\left(W_1\right)}^T{W}_1{z}^{\left(t\right)}-z^{\left(t\right)}|{|}_2^2+\underset{t=1}{\overset{T}{\Σ}}\underset{i=1}{\overset{m}{\Σ}}\sqrt{\underset{l=1}{\overset{k}{\Σ}}{v}_{il}{\left(\underset{j=1}{\overset{n}{\Σ}}{w}_{lj}{z}_j^{\left(t\right)}\right)}^2}$

当输入数据是白化数据时，重构代价函数相当于正交代价函数其中λ趋于无穷大时，满足硬正交约束，将正交约束的优化问题转化为无约束的优化问题后，利用一种拟牛顿法即L-BFGS无约束优化方法解决最小值问题如下：

权值W₁的迭代公式为：(W₁)_k+1＝(W₁)_k+α_kP_k，其中α_k为步长，P_K为对应的下降方向，k是迭代次数；

P_K的迭代公式为：P_k＝-H_k▽f((W₁)_k)，其中H_k为hessian矩阵的逆矩阵的近似值，▽f((W₁)_k)为所求函数的一阶导数；

H_k的迭代公式为：其中s_k,y_k,ρ_k,V_k为迭代过程中的中间变量，满足s_k＝(W₁)_k+1-(W₁)_k，y_k＝▽f((W₁)_k+1)-▽f((W₁)_k)，

在迭代过程中，判断所述一阶导数▽f((W₁)_k)是否小于预设的收敛阈值，当小于预设的收敛阈值时则迭代结束，所得(W₁)_k即为最优权值；否则，根据P_K及H_k矩阵继续进行迭代，其中H_k▽f((W₁)_k)由前m次迭代结果估算得出，即只需要存储{s_i,y_i}(i＝k-m,...,k-1)，然后根据修改后的下降方向P_K及H_k矩阵，计算下一次迭代的权重(W₁)_k+1和一阶导数▽f((W₁)_k+1)，直到所述权值函数的一阶导数小于预设的收敛阈值，具体步骤如下：

(1)首先进行初始化，取k＝0，权值矩阵的初始值为(W₁)₀，H_k矩阵的初始值H₀＝I，下降方向P_k＝-H_k▽f((W₁)_k)，令r_k＝H_k▽f((W₁)_k)，则r₀＝H₀▽f((W₁)₀)＝▽f((W₁)₀)，预设收敛判断条件ε(ε>0)和存储的迭代次数m(一般取6)；

(2)收敛判断，如果▽f((W₁)_k)≤ε，则取权值矩阵(W₁)_k为最优解，否则转下一步；

(3)计算本次迭代下降方向P_k＝-r_k，计算步长α_k，对下面式子进行线搜索

$f({\left(W_1\right)}_k+{\mathrm{\α}}_k{P}_k)=\underset{\mathrm{\α}>0}{min}f({\left(W_1\right)}_k+{\mathrm{\αP}}_k)$

根据下降方向P_K和步长α_k更新权值矩阵(W₁)_k+1＝(W₁)_k+α_kP_k；

(4)计算r_k＝H_k▽f((W₁)_k)，当k＞m，计算s_k＝(W₁)_k+1-(W₁)_k，

y_k＝▽f((W₁)_k+1)-▽f((W₁)_k)，并保存{s_i,y_i}中前m次迭代结果，其中i＝k-m,...,k-1，对于给定m，迭代m+1次后得到此时的H_k，

$H_k^{j+1}=V_{k-m+j}^T{H}_k^j{V}_{k-m+j}+{\mathrm{\ρ}}_{k-m+j}{s}_{k-m+j}{s}_{k-m+j}^T,j=0,1,2,...,m$

其中初始值设为由此得到r_k，k←k+1转至上述步骤(2)进行收敛判断；

至此完成第一层ISA网络isa1的训练。

5.根据权利要求1所述一种老年人异常行为的识别方法，其特征在于：所述第二层ISA网络isa2训练的具体步骤如下：

对第一步中采样得到的老年人行为模式的视频样本数据库中的视频样本重新进行分块，将所有重新进行分块的视频块组成一个视频样本数据X₂，X₂中视频块的大小大于原视频样本数据X₁中的视频块，在X₂中将每个视频样本随机地分割为200个视频块，每个视频块随机地选取连续14帧，每个视频帧随机地分割出连续相邻20×20的图像块，那么每个视频块的大小为20×20×14，然后将第一层ISA网络isa1的特征输出与视频样本数据X₂进行卷积，将得到的卷积特征经预处理后输入第二层ISA网络isa2中，对其训练直至收敛，训练步骤同第一层ISA网络isa1训练的具体步骤，得到第二层ISA网络isa2的权值W₂，再将权值W₂代入第二层ISA网络isa2得到第二层的特征响应，至此完成第二层ISA网络isa2的训练。