CN101739557B - 基于运动周期分析的人体异常行为识别方法及装置 - Google Patents

Abstract

本发明公开一种基于运动周期分析的人体异常行为识别方法，其特征在于按以下步骤进行：获取人体运动行为区域，组成人体运动序列；计算序列中人体运动行为区域的一维变化曲线及曲线的频谱图；判断频谱图是否满足周期性条件，三个频谱图都不满足，则为异常行为；有一个满足则为近似周期性行为；提取近似周期性行为的一个运动周期单元；对运动周期单元进行R变换特征提取；将特征送入单状态隐马尔可夫模型分类器识别；出现异常行为时提醒。一种基于运动周期分析的人体异常行为识别装置，其特征在于：包括有中央处理机构、运动周期提取机构、运动特征提取机构、分类器和异常行为提醒装置。本发明能在较高的识别率下识别出人体异常行为并报警。

Description

基于运动周期分析的人体异常行为识别方法及装置

技术领域

本发明涉及人体异常行为识别方法，具体的说是一种固定场景下，基于运动周期分析的异常行为识别方法及识别该异常行为的装置。

背景技术

目前摄像头所获取的视频监控信息会在监控室的屏幕上实时显示出来，监控人员通过观察屏幕上的监控信息，来达到监控异常事件从而报警的目的。由于大多数监控场景下出现异常事件的时间短且随机，人工监控需要随时观察屏幕上的信息，才能防止漏过异常事件，监控人员一旦思想松懈，就容易导致漏警，因此人工监控需要监控人员保持高度的警惕性，这很容易使监控人员疲惫，并且也造成了巨大的人力浪费。

采用智能视频监控系统是未来的发展趋势，而智能视频监控系统的关键技术是人体异常行为的识别。目前人体异常行为识别的研究还只是局限于简单且已切分好的动作，对长运动序列的研究比较少。

发明内容

人体的行为动作一般分为近似周期性行为和非周期性行为，近似周期性行为是指一段时间内连续执行两次以上的相同行为，而非周期性行为是指一段时间内只执行一次的行为。近似周期性行为包括行走、跑等，非周期性行为包括摔倒、突然弯腰等，因为摔倒往往不可能一段时间内连续摔倒两次以上，所以这样的行为我们称为非周期性行为。对于非周期性行为，我们认为其是异常行为；对于周期性行为我们定义行走为正常行为，其他行为为异常行为。

本发明的目的是提供一种基于运动周期分析的人体异常行为识别方法及装置，能在较高的识别率下识别出人体异常行为并报警，避免人工监控带来的人力浪费。

为达到上述目的，本发明表述一种基于运动周期分析的人体异常行为识别方法，其关键在于按以下步骤进行：

(一)利用视频捕获装置获取人体运动视频序列，并将该视频序列送入计算机，由中央处理机构从人体运动视频序列中提取人体运动行为区域，组成人体运动行为序列；人体运动视频序列的帧数等于人体运动行为序列的帧数，序列中的人体运动行为区域为二值化图像。

(二)中央处理机构分别计算人体运动行为区域的面积、宽度、高宽比的一维变化曲线，并对三个参数的一维变化曲线进行傅里叶频谱分析，获得三个曲线的频谱图；所述人体运动行为区域的宽度、高宽比为人体运动行为区域外切矩形的宽度、高宽比，分析面积、宽度、高宽比，可以快速的获取人体运动行为周期。

(三)中央处理机构分析所述三个频谱图，判断三个频谱图是否满足周期性条件，所述周期性条件是：频谱的能量集中在非0的离散值处；

对于时变序列f(t)，如果其频谱的能量越集中于非原点某几个离散值处，f(t)的周期性就越强，通过实验分析，具有周期运动的人体区域的面积、宽度、高宽比的变化曲线类似于正弦规律的周期信号，当我们提取具有周期运动的人体在某一段时间内的行为序列时，相当于对整个行为序列进行了加窗，则其频谱的能量将集中于某几个离散值(谐波)处。因此，可根据该条件判定运动行为序列是否是近似周期性运动。

如果三个频谱图都不满足周期性条件，则该人体运动行为是异常行为，异常行为提醒装置提醒异常行为出现；

如果有一个频谱图满足周期性条件，则该人体运动行为是近似周期性行为；

(四)运动周期提取机构确定近似周期性行为的周期，并提取一个运动周期单元，具体方法如下：

A.选择所有满足周期性的频谱图对应的一维变化曲线，并对这些一维变化曲线按下式进行二值化：

其中，n表示帧数，h(n)表示一维变化曲线上第n帧对应的参数值，f(n)表示二值化结果；

B.利用中值滤波对二值化后的一维变化曲线进行平滑，得到平滑后的一维变化曲线；

C.舍弃符合舍弃条件的一维变化曲线，所述舍弃条件是：如果在一个变化曲线中，-1到+1变化之前一段连续的-1的个数为1，或者，-1到+1变化之后一段连续的+1的个数为1，则舍弃这样的曲线；

D.从剩下的一维变化曲线中，确定求取周期的最佳变化曲线，最佳变化曲线的确定方法如下：-1到+1变化次数以及+1到-1变化次数之和最小，且该和大于4的一维变化曲线，即为最佳变化曲线；最佳变化曲线的确定方法可以保证选出的最佳变化曲线具有最佳的周期，可根据人体运动行为序列的帧数来合理确定-1到+1变化次数以及+1到-1变化次数之和的下限值。

E.从最佳变化曲线中，确定一个运动周期单元的起始点，两个起始点的距离为一个周期，两个起始点之间的运动为一个运动周期单元，起始点的确定按如下方法进行：

当最佳变化曲线是面积、宽度的一维变化曲线时，起始点是参数值由-1到+1变化的点；

当最佳变化曲线是高宽比的一维变化曲线时，起始点是参数值由+1到-1变化的点；

F.运动周期提取机构从所述人体运动行为序列中提取出一个运动周期单元；

(五)运动特征提取机构对该人体运动行为的一个运动周期单元进行R变换，提取该人体运动行为的特征数据，并将提取的特征数据进行降维处理；

所述R变换按下式进行：

$R\left(\mathrm{\θ}\right)={\∫}_{-\∞}^{+\∞}{T}_R^2(\mathrm{\ρ},\mathrm{\θ})\mathrm{d\ρ}$

上式中，θ∈[0，180°]；

R变换由Radon变换改进而来。在视频监控中，由于背景常常较为复杂，提取出的二值化人体运动行为区域不可避免会带有一些噪声，而且人体随视频捕获装置距离的不同，其大小也会不同。而对于Radon变换而言，无论提取的二值化人体运动行为区域有无阴影、噪声或者是由于背景差分产生的空洞，其Radon变换都非常相似，而且计算简单。

二值化图像f(x，y)的Radon变换如下式：

$T_R(\mathrm{\ρ},\mathrm{\θ})=\mathrm{Radon}\left\{f(x,y)\right\}={\∫}_{-\∞}^{+\∞}{\∫}_{-\∞}^{+\∞}f(x,y)\mathrm{\σ}(x\cos \mathrm{\θ}+y\sin \mathrm{\θ}-\mathrm{\ρ})\mathrm{dxdy}$

其中，θ∈[0，180°]，ρ∈[-∞，∞]，

Radon变换的平移、缩放性质如下：

Radon{f(x-x₀，y-y₀)}＝T_R(ρ-x₀cosθ-y₀sinθ，θ)

$\mathrm{Radon}\{f\frac{x}{\mathrm{\α}},\frac{y}{\mathrm{\α}}\}=\frac{1}{\mathrm{\α}}{T}_R(\mathrm{\α\ρ},\mathrm{\θ})$

由于要对各种行为进行分类识别，考虑人体的局部肢体运动，因此提取的特征需要保持目标在平移、缩放等情况下的特征不变性，而Radon变换不具有平移、缩放不变性，因此对Radon变换进行了改进，改进后的Radon变换简称为R变换，其具有平移、缩放不变性：

$R\left\{f(x-x_0,y-y_0)\right\}={\∫}_{-\∞}^{+\∞}{T}_R^2((\mathrm{\ρ}-x_0\cos \mathrm{\θ}-y_0\sin \mathrm{\θ}),\mathrm{\θ})\mathrm{d\ρ}=R\left(\mathrm{\θ}\right)$

$R\left\{f(\frac{x}{\mathrm{\α}},\frac{y}{\mathrm{\α}})\right\}=\frac{1}{{\mathrm{\α}}^2}{\∫}_{-\∞}^{+\∞}{T}_R^2(\mathrm{\α\ρ},\mathrm{\θ})=\frac{1}{{\mathrm{\α}}^3}R\left(\mathrm{\θ}\right)$

由于θ∈[0，180°]，因此人体运动行为序列中的每帧人体运动行为区域经过R变换后，得到的特征维数都是181维，造成特征维数较大，影响了计算速度，因此需要对它进行降维处理。所述降维处理采用行投影法。行投影法不仅能保持原始行为特征，还能使特征维数降低。

(六)采用单状态隐马尔可夫模型作为分类器，将提取的特征数据送入该分类器，对该人体运动行为进行识别；

采用何种分类器是提高人体异常行为识别率和识别速度的关键问题。人体行为识别的关键是考虑人体运动行为序列是何种行为，讨论序列中的某一帧属于哪个状态并没有多大意义。单状态隐马尔可夫模型在训练过程中把人体运动行为序列整体看成一个状态，所有帧都属于同一状态，避免了在模型初始化过程中参数的假设，因此，虽然它结构简单，但是它本身的结构特点决定了它适用于人体行为识别。而多状态隐马尔可夫模型不仅训练过程复杂，而且它主要考虑人体运动行为序列中的某一帧属于哪个状态，将其用在人体行为识别中具有冗余性，降低了识别系统的性能。

在分类器进行识别之前，首先要对分类器进行训练。

(七)如果分类器识别出该人体运动行为为异常行为，由异常行为提醒装置(5)提醒异常行为出现；

如果分类器识别出该人体运动行为不是异常行为，则返回到步骤(一)。

一种基于运动周期分析的人体异常行为识别装置，其关键在于：包括有中央处理机构、运动周期提取机构、运动特征提取机构、分类器和异常行为提醒装置，其中，中央处理机构与运动周期提取机构连接，运动周期提取机构与运动特征提取机构连接，运动特征提取机构与分类器连接，分类器与异常行为提醒装置相连，异常行为提醒装置还与中央处理机构相连，中央处理机构还与外部的视频捕获装置相连；

中央处理机构：接收视频捕获装置获取的人体运动视频序列，从该人体运动视频序列提取人体运动行为的区域；中央处理机构分别计算人体运动行为区域的面积、宽度、高宽比的一维变化曲线，并进行傅里叶频谱分析，获得三个曲线的频谱图；中央处理机构判断三个频谱图是否满足周期性条件，如果三个频谱图都不满足，异常行为提醒装置提醒异常行为出现，如果有一个频谱图满足，则该人体运动行为是近似周期性行为，并将所有满足周期性的频谱图对应的一维变化曲线发送给运动周期提取机构；

运动周期提取机构：对接收的所有一维变化曲线进行二值化，然后进行中值滤波，并舍弃符合舍弃条件的一维变化曲线，从剩下的一维变化曲线中确定求取周期的最佳变化曲线；从最佳变化曲线中确定一个运动周期单元的起始点，两个起始点的距离为一个周期，两个起始点之间的运动为一个运动周期单元；然后提取一个运动周期单元给运动特征提取机构；

运动特征提取机构：对人体运动行为的一个运动周期单元进行R变换，提取该人体运动行为的特征数据，并将提取的特征数据进行降维处理，并将降维处理后的特征数据送入分类器；所述降维处理采用行投影法。

分类器：采用单状态隐马尔可夫模型，对特征数据进行识别；

异常行为提醒装置：在分类器识别出异常行为时，发出异常行为提醒。

所述周期性条件是：频谱的能量集中在非0的离散值处。

所述舍弃条件是：如果在一个变化曲线中，-1到+1变化之前一段连续的-1的个数为1，或者，-1到+1变化之后一段连续的+1的个数为1，则舍弃这样的曲线。

最佳变化曲线的确定方法如下：-1到+1变化次数以及+1到-1变化次数之和最小，且该和大于4的一维变化曲线，即为最佳变化曲线。

起始点的确定按如下方法进行：

当最佳变化曲线是面积、宽度的一维变化曲线时，起始点是参数值由-1到+1变化的点；

当最佳变化曲线是高宽比的一维变化曲线时，起始点是参数值由+1到-1变化的点。

本发明的显著效果是：可以对人体运动行为周期特征进行自动分析，不满足周期性的行为识别为异常行为，满足周期性的行为，通过提取运动周期单元的特征数据来进行异常行为的识别；能在较高的识别率下识别出人体异常行为并报警，识别时间短、准确率高、实时性好，避免了人工监控的人力浪费。

附图说明

图1是本发明的工作流程图；

图2是装置的连接框图；

图3是人体运动行为检测结果；其中：(a)行走，(b)跑，(c)侧向跑，(d)原地双脚蹦跳，(e)原地双手挥舞蹦跳，(f)单手挥舞，(g)弯腰；

图4是实施例1的人体运动行为区域的面积、宽度、高宽比一维变化曲线；其中：(a)面积，(b)宽度，(c)高宽比；

图5是六种近似周期性行为的宽度曲线的频谱图；其中：(a)行走，(b)跑，(c)侧向跑，(d)原地双脚蹦跳，(e)原地双手挥舞蹦跳，(f)单手挥舞；

图6是行走行为及行走行为平移、缩放后的R变换曲线；其中：(a)原图像，(b)对(a)平移后图像，(c)对(a)缩放后图像；

图7是正常行走在不同数据情况下的R变换曲线；

图8是六种近似周期性行为的R变化曲线；其中：(a)行走，(b)跑，(c)侧向跑，(d)原地双脚蹦跳，(e)原地双手挥舞蹦跳，(f)单手挥舞；

图9是图4对应的面积、宽度、高宽比曲线的频谱图；其中：(a)面积，(b)宽度，(c)高宽比；

图10是图4经过二值化和平滑后的曲线图；其中：(a)面积，(b)宽度，(c)高宽比。

具体实施方式

下面结合附图和具体实施例对本发明作进一步详细说明。

人体的行为动作一般分为近似周期性行为和非周期性行为，近似周期性行为是指一段时间内连续执行两次以上的相同行为，而非周期性行为是指一段时间内只执行一次的行为。近似周期性行为包括行走、跑等，非周期性行为包括摔倒、突然弯腰等，因为摔倒往往不可能一段时间内连续摔倒两次以上，所以这样的行为我们称为非周期性行为。对于非周期性行为，我们认为其是异常行为；对于周期性行为我们定义行走为正常行为，其他行为为异常行为。

实施例1：

如图1所示：一种基于运动周期分析的人体异常行为识别方法，按以下步骤进行：

(一)利用视频捕获装置获取人体运动视频序列，并将该视频序列送入计算机，由中央处理机构1从人体运动视频序列中提取人体运动行为区域，组成人体运动行为序列；人体运动视频序列的帧数等于人体运动行为序列的帧数，序列中的人体运动行为区域为二值化图像。

视频捕获装置可以为摄像头等拍摄工具。以色列Weizmann科学院的人体运动数据库有七种人体运动行为检测结果如图3所示，分别是：行走、跑、侧向跑、原地双脚蹦跳、原地双手挥舞蹦跳、单手挥舞、弯腰。这七种行为基本上包括了人体运动的所有行为，获得的人体运动行为序列一般由这七种行为组成。一般认为：走、跑、侧向跑、原地双脚蹦跳、原地双手挥舞蹦跳、单手挥舞是近似周期性行为，弯腰是非周期性行为。

(二)中央处理机构1分别计算人体运动行为区域的面积、宽度、高宽比的一维变化曲线，并对三个参数的一维变化曲线进行傅里叶频谱分析，获得三个曲线的频谱图；所述人体运动行为区域的宽度、高宽比为人体运动行为区域外切矩形的宽度、高宽比，分析面积、宽度、高宽比，可以快速的获取人体运动行为周期。

面积、宽度、高宽比的一维变化曲线以人体运动行为序列的帧数为横坐标，以面积、宽度、高宽比为纵坐标。

(三)中央处理机构1分析所述三个频谱图，判断三个频谱图是否满足周期性条件，所述周期性条件是：频谱的能量集中在非0的离散值处；

对于时变序列f(t)，如果其频谱的能量越集中于非原点某几个离散值处，f(t)的周期性就越强，通过实验分析，具有周期运动的人体区域的面积、宽度、高宽比的变化曲线类似于正弦规律的周期信号，当我们提取具有周期运动的人体在某一段时间内的行为序列时，相当于对整个行为序列进行了加窗，则其频谱的能量将集中于某几个离散值(谐波)处。因此，可根据该条件判定运动行为序列是否是近似周期性运动。

如果三个频谱图都不满足周期性条件，则该人体运动行为是异常行为，异常行为提醒装置5提醒异常行为出现，即出现弯腰行为；

如果有一个频谱图满足周期性条件，则该人体运动行为是近似周期性行为；

图5是六种行为：行走、跑、侧向跑、原地双脚蹦跳、原地双手挥舞蹦跳、单手挥舞的宽度曲线的频谱图，可以看出，这六种行为的宽度曲线的频谱图满足周期性条件，因此这六种行为是近似周期性行为。判断结果与一般认识相一致，说明从频谱图判定运动行为序列是否是近似周期性运动是可行的。

(四)运动周期提取机构2确定近似周期性行为的周期，并提取一个运动周期单元，具体方法如下：

A.选择所有满足周期性的频谱图对应的一维变化曲线，并对这些一维变化曲线按下式进行二值化：

其中，n表示帧数，h(n)表示一维变化曲线上第n帧对应的参数值，f(n)表示二值化结果；

B.利用中值滤波对二值化后的一维变化曲线进行平滑，得到平滑后的一维变化曲线；

C.舍弃符合舍弃条件的一维变化曲线，所述舍弃条件是：如果在一个变化曲线中，-1到+1变化之前一段连续的-1的个数为1，或者，-1到+1变化之后一段连续的+1的个数为1，则舍弃这样的曲线；

D.从剩下的一维变化曲线中，确定求取周期的最佳变化曲线，最佳变化曲线的确定方法如下：-1到+1变化次数以及+1到-1变化次数之和最小，且该和大于4的一维变化曲线，即为最佳变化曲线；最佳变化曲线的确定方法可以保证选出的最佳变化曲线具有最佳的周期，可根据人体运动行为序列的帧数来合理确定-1到+1变化次数以及+1到-1变化次数之和的下限值。

E.从最佳变化曲线中，确定一个运动周期单元的起始点，两个起始点的距离为一个周期，两个起始点之间的运动为一个运动周期单元，起始点的确定按如下方法进行：

当最佳变化曲线是面积、宽度的一维变化曲线时，起始点是参数值由-1到+1变化的点；

当最佳变化曲线是高宽比的一维变化曲线时，起始点是参数值由+1到-1变化的点；

F.运动周期提取机构2从所述人体运动行为序列中提取出一个运动周期单元；

(五)运动特征提取机构3对该人体运动行为的一个运动周期单元进行R变换，提取该人体运动行为的特征数据，并将提取的特征数据进行降维处理；所述R变换按下式进行：

$R\left(\mathrm{\θ}\right)={\∫}_{-\∞}^{+\∞}{T}_R^2(\mathrm{\ρ},\mathrm{\θ})\mathrm{d\ρ}$

上式中，θ∈[0，180°]；

R变换由Radon变换改进而来。在视频监控中，由于背景常常较为复杂，提取出的二值化人体运动行为区域不可避免会带有一些噪声，而且人体随视频捕获装置距离的不同，其大小也会不同。而对于Radon变换而言，无论提取的二值化人体运动行为区域有无阴影、噪声或者是由于背景差分产生的空洞，其Radon变换都非常相似，而且计算简单。

二值化图像f(x，y)的Radon变换如下式：

$T_R(\mathrm{\ρ},\mathrm{\θ})=\mathrm{Radon}\left\{f(x,y)\right\}={\∫}_{-\∞}^{+\∞}{\∫}_{-\∞}^{+\∞}f(x,y)\mathrm{\σ}(x\cos \mathrm{\θ}+y\sin \mathrm{\θ}-\mathrm{\ρ})\mathrm{dxdy}$

其中，θ∈[0，180°]，ρ∈[-∞，∞]，

Radon变换的平移、缩放性质如下：

Radon{f(x-x₀，y-y₀)}＝T_R(ρ-x₀cosθ-y₀sinθ，θ)

$\mathrm{Radon}\{f\frac{x}{\mathrm{\α}},\frac{y}{\mathrm{\α}}\}=\frac{1}{\mathrm{\α}}{T}_R(\mathrm{\α\ρ},\mathrm{\θ})$

由于要对各种行为进行分类识别，考虑人体的局部肢体运动，因此提取的特征需要保持目标在平移、缩放等情况下的特征不变性，而Radon变换不具有平移、缩放不变性，因此对Radon变换进行了改进，改进后的Radon变换简称为R变换，其具有平移、缩放不变性：

$R\left\{f(x-x_0,y-y_0)\right\}={\∫}_{-\∞}^{+\∞}{T}_R^2((\mathrm{\ρ}-x_0\cos \mathrm{\θ}-y_0\sin \mathrm{\θ}),\mathrm{\θ})\mathrm{d\ρ}=R\left(\mathrm{\θ}\right)$

$R\left\{f(\frac{x}{\mathrm{\α}},\frac{y}{\mathrm{\α}})\right\}=\frac{1}{{\mathrm{\α}}^2}{\∫}_{-\∞}^{+\∞}{T}_R^2(\mathrm{\α\ρ},\mathrm{\θ})=\frac{1}{{\mathrm{\α}}^3}R\left(\mathrm{\θ}\right)$

行走行为及行走行为平移、缩放后的R变换曲线如图6所示，可以看到，行走行为的原图像在平移、缩放后得到的图像的R变换曲线的形状都没有变化，具有平移、缩放不变性。图7是正常行走在不同数据情况下的R变换曲线，可以看出，在含有少量噪声、空洞不严重的情况下，R变换曲线与图6的R变化曲线非常相似。因此，R变换能够满足视频监控中人体运动行为需要注意的两个方面，即描述人体运动行为的特征不受噪声、空洞的影响，以及满足人体图像平移、缩放不变性。在视频监控中，人体旋转的情况几乎不会发生，因此忽略旋转的影响。

图8是六种行为：行走、跑、侧向跑、原地双脚蹦跳、原地双手挥舞蹦跳、单手挥舞的R变换曲线图，可以看到，每种行为的R变化曲线在幅度、平滑程度、波动角度上都有所差异，所以R变换可以用来区别这六种行为。因此用R变换特征来描述人体运动行为是可行的。

由于θ∈[0，180°]，因此人体运动行为序列中的每帧人体运动行为区域经过R变换后，得到的特征维数都是181维，造成特征维数较大，影响了计算速度，因此需要对它进行降维处理。降维处理采用行投影法。行投影法不仅能保持原始行为特征，还能使特征维数降低。行投影法，即：定义一个数值m，每m行数据投影为一行。

(六)采用单状态隐马尔可夫模型作为分类器4，将提取的特征数据送入该分类器4，对该人体运动行为进行识别；

采用何种分类器是提高人体异常行为识别率和识别速度的关键问题。人体行为识别的关键是考虑人体运动行为序列是何种行为，讨论序列中的某一帧属于哪个状态并没有多大意义。单状态隐马尔可夫模型在训练过程中把人体运动行为序列整体看成一个状态，所有帧都属于同一状态，避免了在模型初始化过程中参数的假设，因此，虽然它结构简单，但是它本身的结构特点决定了它适用于人体行为识别。而多状态隐马尔可夫模型不仅训练过程复杂，而且它主要考虑人体运动行为序列中的某一帧属于哪个状态，将其用在人体行为识别中具有冗余性，降低了识别系统的性能。

在分类器进行识别之前，首先要对分类器进行训练。

(七)如果分类器4识别出该人体运动行为为异常行为，由异常行为提醒装置5提醒异常行为出现；

如果分类器4识别出该人体运动行为不是异常行为，则返回到步骤(一)。

本实施例中视频捕获装置获取的人体运动视频序列帧长为80。

图4是提取的人体运动行为区域的面积、宽度、高宽比的一维变化曲线，对这三个曲线进行傅里叶频谱分析，得到的三个曲线的频谱图如图9所示，可以看到，该人体运动行为区域三个参数的一维曲线频谱图都满足周期性条件：频谱的能量集中在非0的离散值处，因此，该人体运动行为是近似周期性行为。

此时，对图4进行二值化和中值滤波平滑，本实施例中取中值滤波器的长度为5，得到的平滑后曲线如图10所示。

从图10可以看出，符合舍弃条件的是图10(a)，即面积平滑曲线，因此从剩下的宽度曲线和高宽比曲线中确定求取周期的最佳变化曲线。根据最佳变化曲线的确定方法，计算-1到+1变化次数以及+1到-1变化次数之和。图10(b)所示的宽度曲线的和为10，图10(c)所示的高宽比曲线的和为10，两者相等且均大于4，可以从宽度曲线和高宽比曲线中任选一个曲线来作为最佳变化曲线，本实施例中取宽度曲线作为最佳变化曲线。

根据起始点的确定原则，当最佳变化曲线是宽度的一维变化曲线时，起始点是参数值由-1到+1变化的点，两个起始点的距离为一个周期，两个起始点之间的运动为一个运动周期单元，人体运动行为序列被分解为一系列的运动周期单元，选取一个运动周期单元进行R变换，共15帧。

每一帧的R变换特征是181维，采用行投影法降低特征维数，取m＝5，特征由181维降为36维，15帧运动周期单元序列，R变换后得到15×36的特征矩阵。

将得到的15×36的特征矩阵送入单状态隐马尔可夫模型分类器进行识别，分类器根据训练的结果，辨识人体运动行为序列为行走序列，是正常行为，异常行为提醒装置5不提醒，返回到步骤(一)。

在分类器进行识别之前，首先要对分类器进行训练。按照步骤(一)至(六)可以为每一种行为建立一个单状态隐马尔可夫模型分类器，识别时，将得到的特征矩阵送入每个单状态隐马尔可夫模型分类器进行识别，得到的概率最大的分类器对应的行为就被认为是被识别的行为。

本发明的识别率很高。利用本发明识别从人体行为数据库中提取的共87个运动周期单元，其中行走18个、跑14个、侧向跑11个、原地双脚蹦跳18个、原地双手挥舞蹦跳10个、单手挥舞16个，每次选取1个样本作为测试样本，其余的作为训练样本，所有样本均被测试1次，得到的平均训练时间为34.5s，平均识别一次的时间为0.1s，识别结果如下表所示：

我们还可以对正常行为和异常行为分别建立单状态隐马尔可夫模型分类器，即：对行走行为建立一个模型，对其他行为建立一个模型。对上述87个运动周期单元的识别结果如下表所示：

测试样本	识别率	误判率
			正常行为	88.9％	11.1％

异常行为

92.8％

7.2％

本实施例中识别的五种行为：跑、侧向跑、原地双脚蹦跳、原地双手挥舞蹦跳、单手挥舞是在视频监控中常常出现的近似周期性异常行为，可能还会出现其它的异常行为，实际应用中在建立单状态隐马尔可夫模型时应当尽量对异常行为可能出现的类型考虑全面。若出现没有经过训练的异常行为时，只要这个行为与训练单状态隐马尔可夫模型的异常行为具有相似性，也可以识别为异常行为，因为单状态隐马尔可夫模型算法更大程度上反应了训练样本之间的共性。因此即使没有训练过的异常行为，只要与正常行为存在很大的差异，就可以很好地与异常行为的单状态隐马尔可夫模型匹配。

实施例2：

如图2所示：一种基于运动周期分析的人体异常行为识别装置，包括有中央处理机构1、运动周期提取机构2、运动特征提取机构3、分类器4和异常行为提醒装置5，其中，中央处理机构1与运动周期提取机构2连接，运动周期提取机构2与运动特征提取机构3连接，运动特征提取机构3与分类器4连接，分类器4与异常行为提醒装置5相连，异常行为提醒装置5还与中央处理机构1相连，中央处理机构1还与外部的视频捕获装置相连；

中央处理机构1：接收视频捕获装置获取的人体运动视频序列，从该人体运动视频序列提取人体运动行为的区域；中央处理机构1分别计算人体运动行为区域的面积、宽度、高宽比的一维变化曲线，并进行傅里叶频谱分析，获得三个曲线的频谱图；中央处理机构1判断三个频谱图是否满足周期性条件：频谱的能量集中在非0的离散值处，如果三个频谱图都不满足，异常行为提醒装置5提醒异常行为出现，如果有一个频谱图满足，则该人体运动行为是近似周期性行为，并将所有满足周期性的频谱图对应的一维变化曲线发送给运动周期提取机构2；

运动周期提取机构2：对接收的所有一维变化曲线进行二值化，然后进行中值滤波，并舍弃符合舍弃条件的一维变化曲线，从剩下的一维变化曲线中确定求取周期的最佳变化曲线；从最佳变化曲线中确定一个运动周期单元的起始点，两个起始点的距离为一个周期，两个起始点之间的运动为一个运动周期单元；然后提取一个运动周期单元给运动特征提取机构3；

所述舍弃条件是：如果在一个变化曲线中，-1到+1变化之前一段连续的-1的个数为1，或者，-1到+1变化之后一段连续的+1的个数为1，则舍弃这样的曲线。

最佳变化曲线的确定方法如下：-1到+1变化次数以及+1到-1变化次数之和最小，且该和大于4的一维变化曲线，即为最佳变化曲线。

起始点的确定按如下方法进行：

当最佳变化曲线是面积、宽度的一维变化曲线时，起始点是参数值由-1到+1变化的点；

当最佳变化曲线是高宽比的一维变化曲线时，起始点是参数值由+1到-1变化的点。

运动特征提取机构3：对人体运动行为的一个运动周期单元进行R变换，提取该人体运动行为的特征数据，并将提取的特征数据进行降维处理，并将降维处理后的特征数据送入分类器4；所述降维处理采用行投影法。

分类器4：采用单状态隐马尔可夫模型，对特征数据进行识别；

异常行为提醒装置5：在分类器识别出异常行为时，发出异常行为提醒。

本实施例在进行人体动作识别时的过程和选取参数与实施例1相同。

Claims (3)

1.一种基于运动周期分析的人体异常行为识别方法，其特征在于按以下步骤进行：

(一)利用视频捕获装置获取人体运动视频序列，并将该视频序列送入计算机，由中央处理机构(1)从人体运动视频序列中提取人体运动行为区域，组成人体运动行为序列；序列中的人体运动行为区域为二值化图像；

(二)中央处理机构(1)分别计算人体运动行为区域的面积、宽度、高宽比的一维变化曲线，并对三个参数的一维变化曲线进行傅里叶频谱分析，获得三个曲线的频谱图；

(三)中央处理机构(1)分析所述三个频谱图，判断三个频谱图是否满足周期性条件，所述周期性条件是：频谱的能量集中在非0的离散值处；

如果三个频谱图都不满足，则该人体运动行为是异常行为，异常行为提醒装置(5)提醒异常行为出现；

如果有一个频谱图满足，则该人体运动行为是近似周期性行为；

(四)运动周期提取机构(2)确定近似周期性行为的周期，并提取一个运动周期单元，具体方法如下：

A.选择所有满足周期性的频谱图对应的一维变化曲线，并对这些一维变化曲线按下式进行二值化：

其中，n表示帧数，h(n)表示一维变化曲线上第n帧对应的参数值，f(n)表示二值化结果；

B.利用中值滤波对二值化后的一维变化曲线进行平滑，得到平滑后的一维变化曲线；

C.舍弃符合舍弃条件的一维变化曲线，所述舍弃条件是：如果在一个变化曲线中，-1到+1变化之前一段连续的-1的个数为1，或者，-1到+1变化之后一段连续的+1的个数为1，则舍弃这样的曲线；

D.从剩下的一维变化曲线中，确定求取周期的最佳变化曲线，最佳变化曲线的确定方法如下：-1到+1变化次数以及+1到-1变化次数之和最小，且该和大于4的一维变化曲线，即为最佳变化曲线；

E.从最佳变化曲线中，确定一个运动周期单元的起始点，两个起始点的距离为一个周期，两个起始点之间的运动为一个运动周期单元，起始点的确定按如下方法进行：

当最佳变化曲线是面积、宽度的一维变化曲线时，起始点是参数值由-1到+1变化的点；

当最佳变化曲线是高宽比的一维变化曲线时，起始点是参数值由+1到-1变化的点；

F.运动周期提取机构(2)从所述人体运动行为序列中提取出一个运动周期单元；

(五)运动特征提取机构(3)对该人体运动行为的一个运动周期单元进行R变换，提取该人体运动行为的特征数据，并将提取的特征数据进行降维处理；

所述R变换按下式进行：

$R\left(\mathrm{\θ}\right)={\∫}_{-\∞}^{+\∞}{T}_R^2(\mathrm{\ρ},\mathrm{\θ})\mathrm{d\ρ}$

上式中，θ∈[0，180°]；

$T_R(\mathrm{\ρ},\mathrm{\θ})={\∫}_{-\∞}^{+\∞}{\∫}_{-\∞}^{+\∞}f(x,y)\mathrm{\σ}(x\cos \mathrm{\θ}+y\sin \mathrm{\θ}-\mathrm{\ρ})\mathrm{dxdy}$

其中，x、y分别为二值化图像f(x，y)中像素点的横坐标和纵坐标，θ∈[0，180°]，ρ∈[-∞，∞]， $\mathrm{\σ}\left(x\right)=\left\{\begin{array}{cc}1,& \mathrm{ifx}=0\\ 0,& \mathrm{else}\end{array}\right.;$

(六)采用单状态隐马尔可夫模型作为分类器(4)，将降维后的特征数据送入该分类器(4)，对该人体运动行为进行识别；

在所述分类器(4)进行识别之前，首先要对该分类器(4)进行训练；

(七)如果分类器(4)识别出该人体运动行为为异常行为，由异常行为提醒装置(5)提醒异常行为出现；

如果分类器(4)识别出该人体运动行为不是异常行为，则返回到步骤(一)。

2.一种基于运动周期分析的人体异常行为识别装置，其特征在于：包括有中央处理机构(1)、运动周期提取机构(2)、运动特征提取机构(3)、分类器(4)和异常行为提醒装置(5)，其中，中央处理机构(1)与运动周期提取机构(2)连接，运动周期提取机构(2)与运动特征提取机构(3)连接，运动特征提取机构(3)与分类器(4)连接，分类器(4)与异常行为提醒装置(5)相连，异常行为提醒装置(5)还与中央处理机构(1)相连，中央处理机构(1)还与外部的视频捕获装置相连；

中央处理机构(1)：接收视频捕获装置获取的人体运动视频序列，从该人体运动视频序列提取运动人体目标图像，确定人体运动行为的区域；中央处理机构(1)分别计算人体运动行为区域的面积、宽度、高宽比的一维变化曲线，并进行傅里叶频谱分析，获得三个曲线的频谱图；中央处理机构(1)判断三个频谱图是否满足周期性条件，如果三个频谱图都不满足，异常行为提醒装置(5)提醒异常行为出现，如果有一个频谱图满足，则该人体运动行为是近似周期性行为，并将所有满足周期性的频谱图对应的一维变化曲线发送给运动周期提取机构(2)；

运动周期提取机构(2)：对接收的所有一维变化曲线进行二值化，然后进行中值滤波，并舍弃符合舍弃条件的一维变化曲线，从剩下的一维变化曲线中确定求取周期的最佳变化曲线；从最佳变化曲线中确定一个运动周期单元的起始点，两个起始点的距离为一个周期，两个起始点之间的运动为一个运动周期单元；然后提取一个运动周期单元给运动特征提取机构(3)；

所述舍弃条件是：如果在一个变化曲线中，-1到+1变化之前一段连续的-1的个数为1，或者，-1到+1变化之后一段连续的+1的个数为1，则舍弃这样的曲线；

所述最佳变化曲线的确定方法如下：-1到+1变化次数以及+1到-1变化次数之和最小，且该和大于4的一维变化曲线，即为最佳变化曲线；

所述起始点的确定按如下方法进行：

当最佳变化曲线是面积、宽度的一维变化曲线时，起始点是参数值由-1到+1变化的点；

当最佳变化曲线是高宽比的一维变化曲线时，起始点是参数值由+1到-1变化的点；

运动特征提取机构(3)：对人体运动行为的一个运动周期单元进行R变换，提取该人体运动行为的特征数据，并将提取的特征数据进行降维处理，并将降维处理后的特征数据送入分类器(4)；

分类器(4)：采用单状态隐马尔可夫模型，对特征数据进行识别；在所述分类器(4)进行识别之前，首先要对该分类器(4)进行训练；

异常行为提醒装置(5)：在分类器识别出异常行为时，发出异常行为提醒。

3.根据权利要求2所述的基于运动周期分析的人体异常行为识别装置，其特征在于：所述周期性条件是：频谱的能量集中在非0的离散值处。

Images