CN104038738B - 一种提取人体关节点坐标的智能监控系统及方法 - Google Patents

Abstract

本发明涉及一种提取人体关节点坐标的智能监控系统，包括三台体感器、计算机和报警器，三台体感器的输出端分别与计算机的输入端连接，计算机的输出端与报警器的输入端连接。本发明涉及的提取人体关节点坐标的智能监控方法，建立基于核主成分分析的二维隐马尔科夫模型，利用三台体感器对监控区域内人体动作进行实时监控，对完整的骨骼关节点坐标的动作特征数据进行降维处理，获得其动作特征数据主成分，利用建立的二维隐马尔科夫模型对监控的人体动作的动作特征数据主成分进行动作识别，若识别的动作为设定的异常动作，则进行报警。本发明具有对动作识别准确率高、动作识别的种类多、对异常行为的识别率高、适用广泛等优势。

Description

一种提取人体关节点坐标的智能监控系统及方法

技术领域

本发明属于智能监控领域，具体涉及一种提取人体关节点坐标的智能监控系统及方法。

背景技术

智能监控是用计算机视觉的方法，在不需要人为干预的情况下，通过对摄像机拍录的图像序列进行自动分析，实现对动态场景中目标的定位、识别和跟踪，并在此基础上分析和判断目标的行为，从而做到既能完成日常管理又能在异常情况发生的时候及时做出反应。

传统的智能视频监控是通过图形图像处理技术获取监控视频中运动对象的位置、运行序列进行异常行为的检测，由于视频中图像只具有颜色和亮度信息，对运动对象的检测速度较慢，并且识别的准确率不高。由于快速准确的运动分割是个相当重要又是比较困难的一个问题，而动态环境中捕捉的图像受环境的变化影响较大，进而增加了智能监控的难度。现有的智能视频监控设备对于场景中仍然只能检测到非常简单的动作，对于行为的检测极为有限。当监控区域中有异常行为发生时，不能作出有效的反馈，从而为智能监控的进一步应用带来了困难。

将体感器应用于智能监控具有重要价值。微软公司开发的Kinect体感器设备不仅能提供彩色图像数据，而且提供深度数据和骨骼数据，为解决智能监控存在的问题提供了另外一条途径。但是当人与人存在遮挡关系以及单台体感器不能捕获完整人体的骨骼三维坐标时，动作的正确识别率较低。

将3台体感器同时布置于监控区域可以有效解决上述问题，通过使3台体感器同时对某个区域进行监控，提高动作识别的准确率，减少动作识别时间以满足监控实时性的需要。并且，当开启无人监控模式时，实现在无人状态时，对于一些特定的异常动作进行检测，从而减少人力、物力的投入。

发明内容

针对现有技术存在的不足，本发明提供一种提取人体关节点坐标的智能监控系统及方法。

本发明的技术方案是：

一种提取人体关节点坐标的智能监控系统包括三台体感器、计算机和报警器。

所述的三台体感器分别安装在监控环境内的三个方向上，且三个体感器位于同一水平面上，三台体感器均用于采集人体骨骼关节点处的坐标，并将采集到的坐标信息传输至计算机。

所述的计算机用于对体感器采集的人体骨骼关节点坐标中的完整骨骼关节点坐标数据进行降维处理，并根据降维处理后的数据进行动作识别，得到动作识别结果，并判断结果是否为异常动作，若为异常动作则向报警器发出报警指令。

所述的报警器用于根据计算机发出的报警指令进行报警。

所述的三台体感器的输出端分别与计算机的输入端连接，计算机的输出端与报警器的输入端连接。

所述的体感器为红外体感器。

一种提取人体关节点坐标的智能监控系统智能监控方法，包括以下步骤：

步骤1：建立基于核主成分分析的二维隐马尔科夫模型：将体感器采集的不同动作的完整骨骼关节点坐标的动作特征数据进行降维处理，获得动作特征数据主成分，将不同动作的动作特征数据主成分作为二维隐马尔科夫模型的输入，不同动作作为二维隐马尔科夫模型的输出，得到二维隐马尔科夫模型的状态转移概率矩阵、发生的条件概率矩阵，进而确定该二维隐马尔科夫模型。

步骤1.1：通过三台体感器采集人体不同动作的骨骼关节点坐标，判断三台体感器所获取的每一帧图像骨骼关节点坐标是否为零，若某台体感器获取的某一帧骨骼关节点坐标全不为零，则该帧图像中骨骼关节点坐标数据为完整的骨骼坐标数据，则执行步骤1.2，若三台体感器均为不完整骨骼坐标数据，则当前图像视为无效帧，进行下一帧图像的捕获。

步骤1.2：将完整的骨骼坐标数据中的每个骨骼关节点相对于臀部中央的相对坐标、骨骼关节之间夹角的余弦值和骨骼关节点运动的速度作为动作特征数据，将固定时间间隔的动作特征数据作为动作特征序列组。

步骤1.3：对动作特征数据序列组进行划分，取划分的每部分动作特征序列的平均值作为动作样本，各动作样本形成动作样本集，使用核主成分分析法对动作样本集进行降维处理，提取出动作特征数据主成分。

步骤1.4：使用二维隐马尔科夫模型对动作特征数据主成分进行训练，设定初始概率分布，输入不同动作的动作特征数据主成分，得到二维隐马尔科夫模型的状态转移概率矩阵、发生的条件概率矩阵，进而确定该二维隐马尔科夫模型。

步骤2：利用三台体感器对监控区域内人体动作进行实时监控，对完整的骨骼关节点坐标的动作特征数据进行降维处理，获得未知动作的动作特征数据主成分。

步骤2.1：利用三台体感器采集监控区域内人体动作的骨骼关节点坐标，判断三台体感器所获取的每一帧图像骨骼关节点坐标是否为零，若某台体感器获取的某一帧骨骼关节点坐标全不为零，则该帧图像中骨骼关节点坐标数据为完整的骨骼坐标数据，则执行步骤2.2，若三台体感器均为不完整骨骼坐标数据，则当前图像视为无效帧，进行下一帧图像的捕获。

步骤2.2：将完整的骨骼坐标数据中的每个骨骼关节点相对于臀部中央的相对坐标、骨骼关节之间夹角的余弦值和骨骼关节点运动的速度作为动作特征数据，将固定时间间隔的动作特征数据作为动作特征序列组。

步骤2.3：对未知的动作特征序列组进行划分，取划分后的每部分动作特征序列的平均值作为动作样本，各动作样本形成动作样本集，使用核主成分分析法对动作样本集进行降维处理，提取出动作特征数据主成分。

步骤3：利用建立的二维隐马尔科夫模型对监控的人体动作的动作特征数据主成分进行动作识别：将未知动作的动作特征数据主成分作为输入，利用二维隐马尔科夫模型得到各动作发生的概率，将发生概率最大的动作作为动作识别结果。

步骤4：若识别的动作为设定的异常动作，则进行报警，否则返回步骤2。

本发明的有益效果是，使用改进的核主成分分析数据降维方法减少了后续的运算量，从而减少了动作识别的时间。使用二维隐马尔科夫模型不但考虑了动作的时序信息，而且考虑了人体骨架模型中相邻关节点的空间信息。使用3台体感器同时进行监控，对未知动作进行识别可以有效解决遮挡问题以及单台体感器数据捕获不全使得识别准确率较低的问题，提高了动作识别的准确率。与目前已有的智能视频监控相比，具有动作识别的种类较多，对于异常行为的识别率较高，并且可以根据使用场所的不同，而加以适应性改动，具有更广泛的适用性。

附图说明

图1是本发明具体实施方式中的智能监控系统的结构框图；

图2是本发明具体实施方式中的三台体感器在监控区域的分布图；

图3是本发明具体实施方式中的智能监控方法流程图；

图4是本发明具体实施方式中的利用核主成分分析法进行降维处理的流程图；

图5是本发明具体实施方式中的使用二维隐马尔科夫模型对动作特征数据主成分进行训练、诊断的流程图。

具体实施方式

下面结合附图对本发明具体实施方式加以详细的说明。

如图1所示，本发明具体实施方式的智能监控系统，包括三台体感器、计算机和报警器，第一体感器的输出端、第二体感器的输出端、第三体感器的输出端分别与计算机的输入端连接，计算机的输出端与报警器的输入端连接。

如图2所示，三台体感器分别安装在监控环境内的三个方向上，且三个体感器位于同一水平面上，三台体感器均用于采集人体骨骼关节点处的坐标，并将采集到的坐标信息传输至计算机。三台体感器均为红外传感器，采用Kinect技术，通过红外线感应提取跟踪目标的骨骼关节点坐标，得到人体三维坐标。

计算机用于对体感器采集的人体骨骼关节点坐标中的完整骨骼关节点坐标数据进行降维处理，并根据降维处理后的数据进行动作识别，得到动作识别结果，并判断结果是否为异常动作，若为异常动作则向报警器发出报警指令。在本实施方式中，采用intelXeon4核的CPU，8G内存，500G硬盘，300W电源，Windows7操作系统，采用C#语言开发及基于.NET等开发。

报警器用于根据计算机发出的报警指令进行报警，型号为LTE-1181K小型声光报警器。

如图3所示，一种提取人体关节点坐标的智能监控系统的智能监控方法，包括以下步骤：

步骤1：建立基于核主成分分析的二维隐马尔科夫模型：将体感器采集的不同动作的完整骨骼关节点坐标的动作特征数据进行降维处理，获得动作特征数据主成分，将不同动作的动作特征数据主成分作为二维隐马尔科夫模型的输入，不同动作作为二维隐马尔科夫模型的输出，得到二维隐马尔科夫模型的状态转移概率矩阵、发生的条件概率矩阵，进而确定该二维隐马尔科夫模型。

步骤1.1：通过三台体感器采集人体不同动作的骨骼关节点坐标，判断三台体感器所获取的每一帧图像骨骼关节点坐标是否为零，若某台体感器获取的某一帧骨骼关节点坐标全不为零，则该帧图像中骨骼关节点坐标数据为完整的骨骼坐标数据，则执行步骤1.2，若三台体感器均为不完整骨骼坐标数据，则当前图像视为无效帧，进行下一帧图像的捕获。

三台体感器在监控区域均匀分布使得其覆盖范围最大化，有效解决单台体感器捕获视角有限、当捕获数据不完整的情况下造成动作识别准确率不高的问题。本实施方式中设置体感器采集的帧率30f/s，从每一秒采集的数据中提取第5、10、15、20、25帧，骨骼关节点坐标采集的时间间隔为10秒，提取10秒内的20个人体骨骼关节坐标，包括左踝关节、右踝关节、左肘关节、右肘关节、左脚、右脚、左手、右手、头部、臀部中央、左臀部、右臀部、左膝盖、右膝盖、双肩中央、左肩、右肩、脊柱中段、左腕关节、右腕关节。本实施方式设定的动作包括行走、站立、踢腿、蹲下、跌倒五种动作。

步骤1.2：将完整的骨骼坐标数据中的每个骨骼关节点相对于臀部中央的相对坐标、骨骼关节之间夹角的余弦值和骨骼关节点运动的速度作为动作特征数据，将固定时间间隔的动作特征数据作为动作特征序列组。

每个骨骼关节点相对于臀部中央的相对坐标是通过原骨骼关节点坐标减去臀部中央坐标获得；骨骼关节之间夹角的余弦值通过获得，a，b分别为某个骨骼关节点处的两个骨骼向量；骨骼关节点运动的速度可以通过相邻帧各个对应骨骼关节点坐标的差值除以相邻帧之间的时间间隔来进行估算。

设定的固定时间间隔为10秒的动作特征数据作为一个动作特征序列保存：其中一个动作特征序列组的表示如下：

其中，x_k∈R^p(k＝1，2，…l)为l行向量，即固定时间间隔采集的帧数，l＝50(每一秒提取的是5帧，共10秒，因此为50)，R^p为p维空间，p＝141(包括每个骨骼关节点相对于臀部中央的相对坐标20*3个，骨骼关节之间夹角的余弦值21个，骨骼关节点运动的速度20*3个，共计141个)。

本实施方式共选用200组动作特征序列组，X_A＝(X₁，X₂，...X₂₀₀)(A＝1，2，…200)。

步骤1.3：对动作特征数据序列组进行划分，取划分的每部分动作特征序列的平均值作为动作样本，各动作样本形成动作样本集，使用核主成分分析法对动作样本集进行降维处理，提取出动作特征数据主成分，如图4所示：

步骤1.3.1：对动作特征数据序列组进行划分，取划分的每部分动作特征序列的平均值作为动作样本，各动作样本形成动作样本集，本实施方式将动作特征数据序列组平均划分为10组，如果不足的，剩余为单独一组，将l＝50行平均分成10组，每一组包括5个动作特征数据序列，设z_i∈R^p，则依次操作，获得新的动作特征序列为Z_A＝(Z₁，Z₂，…Z₂₀₀)(A＝1，2，…200)，将Z_A作为动作样本集，使用核主成分分析进行数据降维处理：存在一个映射φ可以把此动作样本变为那么可以得到核矩阵K为

提取出某一时刻的动作特征数据主成分计算公式：

其中，λ_i(i＝1，2，…h)为K的一个特征值，h是核函数映射的空间的维度，为K第i个特征向量的第j维坐标，选取K的对应v个最大特征值对应的v个特征向量。则对于原始样本提取的将是一个v维的向量，初始化v＝2，k(z_j，z)＝z_j·z，z_j·z为z_j，z之间的内积。

步骤1.3.2：计算当前累积贡献率u，累积贡献率计算公式如下：

步骤1.3.3：判断当前的累积贡献率是否达到预先设定的百分比，本实施方式设定的百分比为80％，如果u＞80％，则数据降维处理阶段结束，获得动作特征数据主成分。否则增加维数继续步骤1.3.1至步骤1.3.2，直至累计贡献率达到80％。

本实施方式选择v＝v+2，最终得到v＝16时，u＞80％，停止计算。则将原始的p维向量x_k变为v维向量y_k，获得的动作特征数据主成分Y₁＝(y₁，y₂，…y₁₀)，其中y∈R^v，为10×16维矩阵，依次操作，获得200组动作特征数据主成分Y_A＝(Y₁，Y₂，...Y₂₀₀)(A＝1，2，…200)。

步骤1.4：使用二维隐马尔科夫模型对动作特征数据主成分进行训练，设定初始概率分布，输入不同动作的动作特征数据主成分，得到二维隐马尔科夫模型的状态转移概率矩阵、发生的条件概率矩阵，进而确定该二维隐马尔科夫模型。如图5所示：

设二维隐马尔科夫模型观察状态数为3，二维隐马尔科夫模型的状态数为5。

设置初始概率分布为：5维的初始概率定义为在时刻0时的状态的概率，其中c₁+c₂+c₃+c₄+c₅＝1。c₁、c₂、c₃、c₄、c₅分别对应行走、站立、踢腿、蹲下、跌倒的初始概率分布。

分别将行走、站立、踢腿、蹲下、跌倒对应的初始概率c和动作特征数据主成分，输入二维隐马尔科夫模型，对二维隐马尔科夫模型进行训练。

训练得到的状态转移概率矩阵：

其中，a_ij表示状态i转移到状态j的概率。状态i和状态j分别是指第i，j类动作，(1≤i，j≤状态数)。例如如果状态1表示行走动作状态，状态2表示站立动作状态，则a₁₂表示行走动作状态转移到站立动作状态的概率。

本实施方式得到的状态转移概率矩阵A为：

训练得到的观察状态下的概率矩阵：

这个矩阵的每一个元素b_ik为在观察状态k的条件下，动作i的发生概率(1≤i≤状态数，1≤k≤观察状态数)

本实施方式得到的观察状态下的条件概率矩阵B为：

步骤2：利用三台体感器对监控区域内人体动作进行实时监控，对完整的骨骼关节点坐标的动作特征数据进行降维处理，获得未知动作的动作特征数据主成分。

步骤2.1：利用三台体感器采集监控区域内人体动作的骨骼关节点坐标，判断三台体感器所获取的每一帧图像骨骼关节点坐标是否为零，若某台体感器获取的某一帧骨骼关节点坐标全不为零，则该帧图像中骨骼关节点坐标数据为完整的骨骼坐标数据，则执行步骤2.2，若三台体感器均为不完整骨骼坐标数据，则当前图像视为无效帧，进行下一帧图像的捕获。

获取未知动作的20个人体骨骼关节坐标，包括左踝关节、右踝关节、左肘关节、右肘关节、左脚、右脚、左手、右手、头部、臀部中央、左臀部、右臀部、左膝盖、右膝盖、双肩中央、左肩、右肩、脊柱中段、左腕关节、右腕关节坐标。

步骤2.2：将完整的骨骼坐标数据中的每个骨骼关节点相对于臀部中央的相对坐标、骨骼关节之间夹角的余弦值和骨骼关节点运动的速度作为动作特征数据，将固定时间间隔的动作特征数据作为动作特征序列组。

按照步骤1.2方法计算出未知动作的动作特征序列组：

其中，X₀为50×141的矩阵。

步骤2.3：对未知的动作特征序列组进行划分，取划分后的每部分动作特征序列的平均值作为动作样本，各动作样本形成动作样本集，使用核主成分分析法对动作样本集进行降维处理，提取出动作特征数据主成分。

根据步骤1.3方法获得该动作的动作样本为：

其中，Z₀为10×141维的矩阵。

获得该动作的动作特征数据主成分为：

其中，Y₀为10×16的矩阵。

步骤3：利用建立的二维隐马尔科夫模型对监控的人体动作的动作特征数据主成分进行动作识别：将未知动作的动作特征数据主成分作为输入，利用二维隐马尔科夫模型得到各动作发生的概率，将发生概率最大的动作作为动作识别结果。

将步骤2中获得动作特征数据主成分序列Y₀、训练得到的矩阵概率A、观察状态下的条件概率矩阵B，输入二维隐马尔科夫模型，得到：

该动作在二维隐马尔科夫模型中是跌倒发生的概率最高，所以输出为跌倒状态。

步骤4：若识别的动作为设定的异常动作，则进行报警，否则返回步骤2。

本实施方式中已设定跌倒为异常动作，本次输出为跌倒，则进行报警。

Claims (3)

1.一种采用提取人体骨骼关节点坐标的智能监控系统进行智能监控的方法，该系统包括三台体感器、计算机和报警器；

所述的三台体感器分别安装在监控环境内的三个方向上，且三个体感器位于同一水平面上，三台体感器均用于采集人体骨骼关节点处的坐标，并将采集到的坐标信息传输至计算机；

所述的计算机用于对体感器采集的人体骨骼关节点坐标中的完整骨骼关节点坐标数据进行降维处理，并根据降维处理后的数据进行动作识别，得到动作识别结果，并判断结果是否为异常动作，若为异常动作则向报警器发出报警指令；

所述的报警器用于根据计算机发出的报警指令进行报警；

所述的三台体感器的输出端分别与计算机的输入端连接，计算机的输出端与报警器的输入端连接；

其特征在于，包括以下步骤：

步骤1：建立基于核主成分分析的二维隐马尔科夫模型：将体感器采集的不同动作的完整骨骼关节点坐标的动作特征数据进行降维处理，获得动作特征数据主成分，将不同动作的动作特征数据主成分作为二维隐马尔科夫模型的输入，不同动作作为二维隐马尔科夫模型的输出，得到二维隐马尔科夫模型的状态转移概率矩阵、发生的条件概率矩阵，进而确定该二维隐马尔科夫模型；

步骤2：利用三台体感器对监控区域内人体动作进行实时监控，对完整的骨骼关节点坐标的动作特征数据进行降维处理，获得未知动作的动作特征数据主成分；

步骤3：利用建立的二维隐马尔科夫模型对监控的人体动作的动作特征数据主成分进行动作识别：将未知动作的动作特征数据主成分作为输入，利用二维隐马尔科夫模型得到各动作发生的概率，将发生概率最大的动作作为动作识别结果；

步骤4：若识别的动作为设定的异常动作，则进行报警，否则返回步骤2。

2.根据权利要求1所述的方法，其特征在于：所述的步骤1按以下步骤执行：

步骤1.1：通过三台体感器采集人体不同动作的骨骼关节点坐标，判断三台体感器所获取的每一帧图像骨骼关节点坐标是否为零，若某台体感器获取的某一帧骨骼关节点坐标全不为零，则该帧图像中骨骼关节点坐标数据为完整的骨骼坐标数据，则执行步骤1.2，若三台体感器均为不完整骨骼坐标数据，则当前图像视为无效帧，进行下一帧图像的捕获；

步骤1.2：将完整的骨骼坐标数据中的每个骨骼关节点相对于臀部中央的相对坐标、骨骼关节之间夹角的余弦值和骨骼关节点运动的速度作为动作特征数据，将固定时间间隔的动作特征数据作为动作特征序列组；

步骤1.3：对动作特征数据序列组进行划分，取划分的每部分动作特征序列的平均值作为动作样本，各动作样本形成动作样本集，使用核主成分分析法对动作样本集进行降维处理，提取出动作特征数据主成分；

步骤1.4：使用二维隐马尔科夫模型对动作特征数据主成分进行训练，设定初始概率分布，输入不同动作的动作特征数据主成分，得到二维隐马尔科夫模型的状态转移概率矩阵、发生的条件概率矩阵，进而确定该二维隐马尔科夫模型。

3.根据权利要求1所述的方法，其特征在于：所述的步骤2按以下步骤执行：

步骤2.1：利用三台体感器采集监控区域内人体动作的骨骼关节点坐标，判断三台体感器所获取的每一帧图像骨骼关节点坐标是否为零，若某台体感器获取的某一帧骨骼关节点坐标全不为零，则该帧图像中骨骼关节点坐标数据为完整的骨骼坐标数据，则执行步骤2.2，若三台体感器均为不完整骨骼坐标数据，则当前图像视为无效帧，进行下一帧图像的捕获；

步骤2.2：将完整的骨骼坐标数据中的每个骨骼关节点相对于臀部中央的相对坐标、骨骼关节之间夹角的余弦值和骨骼关节点运动的速度作为动作特征数据，将固定时间间隔的动作特征数据作为动作特征序列组；

步骤2.3：对未知的动作特征序列组进行划分，取划分后的每部分动作特征序列的平均值作为动作样本，各动作样本形成动作样本集，使用核主成分分析法对动作样本集进行降维处理，提取出动作特征数据主成分。