CN112434669B - 一种多信息融合的人体行为检测方法及系统 - Google Patents

Abstract

本发明公开了一种多信息融合的人体行为检测方法及系统。本发明可以实时准确检测电力工作人员、安全帽、工作服、手套、接地桩，工人的登高、爬梯、验电、放电、接地动作，将其应用于电力作业场景下，则可以避免电力工人生命财产的损失；且相比于现有技术而言，极大减少了计算量和计算成本，使用图像和加速度信息融合、目标检测技术、动作识别技术，提高系统的准确性，具有极大的价值。

Description

一种多信息融合的人体行为检测方法及系统

技术领域

本发明属于目标检测领域，更具体地，涉及一种多信息融合的人体行为检测方法及系统。

背景技术

安全帽、工作服、手套等适用于大部分工作场所，包括建筑工地、工厂、电厂、交通运输等，特殊性能安全帽等可以按照不同组合适用于特定的场所，其质量关系着施工操作人员的生命安全。工人作业佩戴安全帽可以大大有效的减少安全事故的发生，在建筑工地、生产车间以及室外防止被高空坠物、跌倒、高空坠落等事故带来的损失，导致工人的生命财产安全损失。所以安全帽佩戴的检测具有重要的意义。

安全帽保障了工人作业的安全，在施工现场，对于安全帽检测的性能要求更高，因为现场有很多形状各异、颜色各异的物品，在复杂的施工现场，如何确保安全帽检测能准确检测识别，没有出现错误识别和无法识别的情况是本领域关注的重点。

OODA模型观察、调整、决策、行动顺序执行，“调整”是此模型的最关键之处，而因为现在电力工作场景越来越复杂，很容易导致多信息融合时，出现“调整”错误，或者对于周围的环境理解错误，那必然导致信息“调整”错误，最终做出错误的“决策”和“行动”。现有技术通过固定摄像头只能检测固定区域工人是否佩戴安全帽，而随着发展，现在工人的工作范围加大，工人的数量变多，工人随着移动，安全帽检测速度慢、误判率高，由于施工场地现场场景复杂，由于施工场地现场场景复杂，需要对检测到的多信息进行融合。工人有时不规范的操作，不能及时的提醒。目前已有的检测方法和动作识别检测方法远远不能保障工人的安全和工人是否是规范操作的判定。

因此，现有技术还有待改进和发展。

公开号为CN110852283A的中国专利“一种基于改进YOLOv3的安全帽佩戴检测与跟踪方法”采用的是YOLOv3目标检测算法背景检测安全帽与跟踪方法，利用未佩戴安全帽的当前帧检测框状态，对下一帧的预测框的位置进行预测，再通过检测框与预测框的交并比进行匹配实现前后帧的关联，最终实现对未佩戴安全帽施工人员的跟踪并计数，用YOLOv3参数多，计算量大，使得图像处理步骤繁琐，同时算法比较复杂。公开号为CN111695549A的中国专利“一种基于边缘计算的安全帽佩戴检测识别方法及报警系统”是对基于边缘计算的安全帽佩戴检测方法及报警系统，容易导致安全帽佩戴检测不准确、用户体验差，无法实时的获取工人作业的状态，导致检测慢、误判大。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种结合多信息融合的人体行为检测系统及方法，其目的在于简化现有对安全帽、工作服、头套、接地桩等的检测以及识别工人的动作。

本发明提供的一种多信息融合的人体行为检测方法，包括如下步骤：

步骤1，收集工作人员的图像信息和加速度信息；

步骤2，利用目标检测网络模型处理图像信息，使用目标检测网络模型处理图像信息，如果有异常，即检测的图像中不包含设定的目标，则进行提醒；

步骤3，结合加速度信息和图像信息，利用不同动作识别算法识别工作人员登高、爬梯、验电、放点、接地动作，然后采用加权融合的方法，最终确定工作人员的动作。

进一步的，步骤1中收集工作人员的图像信息和加速度信息的设备包括2个USB摄像头和多个加速度传感器；其中一个USB摄像头1用于获取工作人员的工作图像另一个USB摄像头2用于获取接地桩的图像；所述加速度传感器用于获取电力工人在作业时加速度的变化情况，可放置在工作人员的腰部或腿部或手臂上。

进一步的，步骤2中使用目标检测网络模型处理图像信息，如果有异常，即检测的图像中不包含设定的目标，则进行提醒，其具体实现方式如下；

首先构建目标检测网络模型，包括特征提取模块，多尺度融合模块，特征检测模块；

其中特征提取模块用于提取特征图F1，包含若干个结构相同的子模块，每个子模块包括1个卷积层和1个最大池化层；

多尺度融合模块的输入为特征提取模块提取的特征图F1，包括多个空洞卷积层支路、1个连接层和一个卷积层，将多个卷积层支路的输出特征图输入连接层，最后再通过一个传统卷积层进行多尺度特征融合；

特征检测模块包括依次连接的N层卷积层，其中前N层中除第1层和最后一层单数层外，其他单数层的卷积层后面分别连接池化操作，然后将池化后的特征以及最后一层卷积后的特征进行特征加和，对特征加和后的特征进行池化和全连接操作，然后经过一个区域生成网络，输出标签值和预测检测框；

然后构建训练集，对训练集中的图像通过labeling标注工具，将工作人员，工作服，安全帽，手套，工作绳，接地桩进行标注；

训练阶段，将训练集中图像送入目标检测网络模型进行训练，输出训练好的目标检测网络模型。

检测阶段，将USB摄像头1和USB摄像头2获取的图像分别输入到训练好的目标检测网络模型中，输出USB摄像头1捕捉到的图像中是否包括工作人员，工作服，安全帽，手套，工作绳，如果检测结果中不包含其中任一目标，则为异常；输出USB摄像头2中是否包含接地桩，如果不包含则为异常。

进一步的，步骤3中所述不同动作识别算法包括motion excitation模块、multiple temporal aggregation模块、3D CNN模型、时间金字塔网络、双向循环神经网络、长短期记忆网络；其中motion excitation模块、multiple temporal aggregation模块、3DCNN模型输入的是图像信息，时间金字塔网络、双向循环神经网络、长短期记忆网络输入的加速度信息。

进一步的，步骤3中加权融合的公式为：

w_i为不同算法的权重，μ_i为变量，根据不同算法的识别效果在(0,0.5]范围内取值；x表示输入数据，f_u(x)是输入数据对应的最终的模式识别结果，其最大的值对应于分类y，而且y∈Y，其中Y为动作类别集合；f_i(x)是第i个识别算法的结果，对应权值为w_i，[f_i(x)＝y_i]代表与之对应的动作识别分类y_i。

本发明还提供一种多信息融合的人体行为检测系统，包括图像采集单元、加速度采集单元、目标检测单元、信息融合单元、动作识别单元；

其中，所述图像采集单元用于采集电力工人实时的工作场景的图像信息；

所述加速度采集单元用于提供工人加速度信息；

所述目标检测单元，利用目标检测网络模型处理图像信息，使用目标检测网络模型处理图像信息，如果有异常，即检测的图像中不包含设定的目标，则进行提醒；

信息融合单元，用于结合加速度信息和图像信息，利用不同动作识别算法识别工作人员登高、爬梯、验电、放点、接地动作

所述动作识别单元，用于采用加权融合的方法对不同算法的识别结果进行融合，确定工作人员最终的动作。

进一步的，目标检测单元中使用目标检测网络模型处理图像信息，如果有异常，即检测的图像中不包含设定的目标，则进行提醒，其具体实现方式如下；

首先构建目标检测网络模型，包括特征提取模块，多尺度融合模块，特征检测模块；

其中特征提取模块用于提取特征图F1，包含若干个结构相同的子模块，每个子模块包括1个卷积层和1个最大池化层；

多尺度融合模块的输入为特征提取模块提取的特征图F1，包括多个空洞卷积层支路、1个连接层和一个卷积层，将多个卷积层支路的输出特征图输入连接层，最后再通过一个传统卷积层进行多尺度特征融合；

特征检测模块包括依次连接的N层卷积层，其中前N层中除第1层和最后一层单数层外，其他单数层的卷积层后面分别连接池化操作，然后将池化后的特征以及最后一层卷积后的特征进行特征加和，对特征加和后的特征进行池化和全连接操作，然后经过一个区域生成网络，输出标签值和预测检测框；

然后构建训练集，对训练集中的图像通过labeling标注工具，将工作人员，工作服，安全帽，手套，工作绳，接地桩进行标注；

训练阶段，将训练集中图像送入目标检测网络模型进行训练，输出训练好的目标检测网络模型。

检测阶段，将USB摄像头1和USB摄像头2获取的图像分别输入到训练好的目标检测网络模型中，输出USB摄像头1捕捉到的图像中是否包括工作人员，工作服，安全帽，手套，工作绳，如果检测结果中不包含其中任一目标，则为异常；输出USB摄像头2中是否包含接地桩，如果不包含则为异常。

进一步的，信息融合单元中所述不同动作识别算法包括motion excitation模块、multiple temporal aggregation模块、3D CNN模型、时间金字塔网络、双向循环神经网络、长短期记忆网络；其中motion excitation模块、multiple temporal aggregation模块、3DCNN模型输入的是图像信息，时间金字塔网络、双向循环神经网络、长短期记忆网络输入的加速度信息。

进一步的，动作识别单元中加权融合的公式为：

w_i为不同算法的权重，μ_i为变量，根据不同算法的识别效果在(0,0.5]范围内取值；x表示输入数据，f_u(x)是输入数据对应的最终的模式识别结果，其最大的值对应于分类y，而且y∈Y，其中Y为动作类别集合；f_i(x)是第i个识别算法的结果，对应权值为w_i，[f_i(x)＝y_i]代表与之对应的动作识别分类y_i。

总体而言，通过本发明所构思的以上技术方案与现有的技术相比，有以下优点:

本发明对捕捉的图像信息通过目标检测算法检测电力工人的着装，利用信息融合单元、加速度传感器单元、循环神经网络方法和动作识别方法，识别电力工人的工作动作，大大提高了检测的准确率，降低成本，适应人工智能的时代要求，具有很强的实用性。本发明具有检测电力工人的安全帽、工作服、手套、接地桩以及识别电力工人登高、爬梯、验电、放电、接地动作的功能，更好的保障电力工人的人生安全，减少财产损失，具有重要的意义。

附图说明

图1是本发明提供的一种多信息融合的人体行为检测系统及方法示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

参照图1所示，是本发明提供的一种多信息融合的人体行为检测系统的示意图，包括图像采集单元、加速度采集单元、目标检测单元、信息融合单元、动作识别单元；

其中图像采集单元用于采集电力工人实时的工作场景的图像信息；实施案例中，图像采集单元包括使用可见光相机和深度相机采集工作场景图像信息；可见光相机采集可见光图像，深度相机不依赖于物体本身的颜色和纹理，可主动投影已知图案的方法来实现快速鲁棒的匹配特征点，能够较高的准确率。

加速度传感器单元用于获取电力工人在作业时加速度的变化情况，用于提供工人作业时加速度变化信息。首先通过加速度传感器的检测芯片来测三个坐标轴x,y,z对应着上的三个分量，如果芯片水平静止，x,y方向的重力分量为0g(Gravitationalacceleration,重力加速度)，而z轴方向的重力加速度为g，如果芯片与水平方向有一定的夹角，x轴方向的加速度方向与水平线的夹角为α₁(0<α₁≦90)，与重力加速度g的夹角α＝90度-α₁；y轴方向的加速度与水平线的夹角为β₁(0<β₁≦90)，与重力加速度g的夹角为β＝90度-β₁；z轴方向的加速度与水平线的夹角为γ₁(0<γ₁≦90)，与重力加速度g的夹角为γ＝90度-γ₁。通过加速度传感器芯片将准确反映工人运动加速度情况，从而检测工人加速度的变化情况并进行反馈和传递。

所述目标检测单元中使用目标检测网络模型处理图像信息，如果有异常，即检测的图像中不包含设定的目标，则进行提醒，其具体实现方式如下；

首先构建目标检测网络模型，包括特征提取模块，多尺度融合模块，特征检测模块；

其中特征提取模块用于提取特征图F1，包含若干个结构相同的子模块，每个子模块包括1个卷积层和1个最大池化层；

多尺度融合模块的输入为特征提取模块提取的特征图F1，包括多个空洞卷积层支路、1个连接层和一个卷积层，将多个卷积层支路的输出特征图输入连接层，最后再通过一个传统卷积层进行多尺度特征融合；

特征检测模块包括依次连接的N层卷积层，其中前N层中除第1层和最后一层单数层外，其他单数层的卷积层后面分别连接池化操作，然后将池化后的特征以及最后一层卷积后的特征进行特征加和，对特征加和后的特征进行池化和全连接操作，然后经过一个区域生成网络，输出标签值和预测检测框；

然后构建训练集，对训练集中的图像通过labeling标注工具，将工作人员，工作服，安全帽，手套，工作绳，接地桩进行标注；

训练阶段，将训练集中图像送入目标检测网络模型进行训练，输出训练好的目标检测网络模型。

检测阶段，将USB摄像头1和USB摄像头2获取的图像分别输入到训练好的目标检测网络模型中，输出USB摄像头1捕捉到的图像中是否包括工作人员，工作服，安全帽，手套，工作绳，如果检测结果中不包含其中任一目标，则为异常；输出USB摄像头2中是否包含接地桩，如果不包含则为异常。

所述信息融合单元，用于结合加速度信息和图像信息，利用不同动作识别算法识别工作人员登高、爬梯、验电、放点、接地动作

所述不同动作识别算法包括motion excitation模块、multiple temporalaggregation模块、3D CNN模型、时间金字塔网络、双向循环神经网络、长短期记忆网络；其中motion excitation模块、multiple temporal aggregation模块、3D CNN模型输入的是图像信息，时间金字塔网络、双向循环神经网络、长短期记忆网络输入的加速度信息。

所述动作识别单元中加权融合的公式为：

w_i为不同算法的权重，μ_i为变量，根据不同算法的识别效果在(0,0.5]范围内取值；x表示输入数据，f_u(x)是输入数据对应的最终的模式识别结果，其最大的值对应于分类y，而且y∈Y，其中Y为动作类别集合；f_i(x)是第i个识别算法的结果，对应权值为w_i，[f_i(x)＝y_i]代表与之对应的动作识别分类y_i。

本发明提供的一种多信息融合的人体行为检测方法，包括如下步骤：

步骤1，收集工作人员的图像信息和加速度信息；

步骤1中收集工作人员的图像信息和加速度信息的设备包括2个USB摄像头和多个加速度传感器；其中一个USB摄像头1用于获取工作人员的工作图像另一个USB摄像头2用于获取接地桩的图像；所述加速度传感器用于获取电力工人在作业时加速度的变化情况，可放置在工作人员的腰部或腿部或手臂上。

步骤2，利用目标检测网络模型处理图像信息，使用目标检测网络模型处理图像信息，如果有异常，即检测的图像中不包含设定的目标，则进行提醒；

步骤2中使用目标检测网络模型处理图像信息，如果有异常，即检测的图像中不包含设定的目标，则进行提醒，其具体实现方式如下；

首先构建目标检测网络模型，包括特征提取模块，多尺度融合模块，特征检测模块；

其中特征提取模块用于提取特征图F1，包含若干个结构相同的子模块，每个子模块包括1个卷积层和1个最大池化层；

多尺度融合模块的输入为特征提取模块提取的特征图F1，包括多个空洞卷积层支路、1个连接层和一个卷积层，将多个卷积层支路的输出特征图输入连接层，最后再通过一个传统卷积层进行多尺度特征融合；

特征检测模块包括依次连接的N层卷积层，其中前N层中除第1层和最后一层单数层外，其他单数层的卷积层后面分别连接池化操作，然后将池化后的特征以及最后一层卷积后的特征进行特征加和，对特征加和后的特征进行池化和全连接操作，然后经过一个区域生成网络，输出标签值和预测检测框；

然后构建训练集，对训练集中的图像通过labeling标注工具，将工作人员，工作服，安全帽，手套，工作绳，接地桩进行标注；

训练阶段，将训练集中图像送入目标检测网络模型进行训练，输出训练好的目标检测网络模型。

检测阶段，将USB摄像头1和USB摄像头2获取的图像分别输入到训练好的目标检测网络模型中，输出USB摄像头1捕捉到的图像中是否包括工作人员，工作服，安全帽，手套，工作绳，如果检测结果中不包含其中任一目标，则为异常；输出USB摄像头2中是否包含接地桩，如果不包含则为异常。

步骤3，结合加速度信息和图像信息，利用不同动作识别算法识别工作人员登高、爬梯、验电、放点、接地动作，然后采用加权融合的方法，最终确定工作人员的动作。

步骤3中所述不同动作识别算法包括motion excitation模块、multipletemporal aggregation模块、3D CNN模型、时间金字塔网络、双向循环神经网络、长短期记忆网络；其中motion excitation模块、multiple temporal aggregation模块、3D CNN模型输入的是图像信息(可以是采集的原始图像，也可以是从步骤2中分割出来的检测到的工作人员图像，利用后者识别的精度更高)，时间金字塔网络、双向循环神经网络、长短期记忆网络输入的加速度信息。

步骤3中加权融合的公式为：

w_i为不同算法的权重，μ_i为变量，根据不同算法的识别效果在(0,0.5]范围内取值；x表示输入数据，fu(x)是输入数据对应的最终的模式识别结果，其最大的值对应于分类y，而且y∈Y，其中Y为动作类别集合；f_i(x)是第i个识别算法的结果，对应权值为w_i，[f_i(x)＝y_i]代表与之对应的动作识别分类y_i。

本发明提供的一种多信息融合的人体行为检测系统及方法，可以实时准确检测电力工作人员、安全帽、工作服、手套、接地桩，工人的登高、爬梯、验电、放电、接地动作，将其应用于电力作业场景下，则可以避免电力工人生命财产的损失；且相比于现有技术而言，极大减少了计算量和计算成本，使用图像和加速度信息融合、目标检测技术、动作识别技术，提高系统的准确性，具有极大的价值。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种多信息融合的人体行为检测方法，其特征在于，包括如下步骤：

步骤1，收集工作人员的图像信息和加速度信息；

步骤1中收集工作人员的图像信息和加速度信息的设备包括2个USB摄像头和多个加速度传感器；其中一个USB摄像头1用于获取工作人员的工作图像另一个USB摄像头2用于获取接地桩的图像；所述加速度传感器用于获取电力工人在作业时加速度的变化情况，可放置在工作人员的腰部或腿部或手臂上；

步骤2，利用目标检测网络模型处理图像信息，使用目标检测网络模型处理图像信息，如果有异常，即检测的图像中不包含设定的目标，则进行提醒；其具体实现方式如下；

首先构建目标检测网络模型，包括特征提取模块，多尺度融合模块，特征检测模块；

其中特征提取模块用于提取特征图F1，包含若干个结构相同的子模块，每个子模块包括1个卷积层和1个最大池化层；

多尺度融合模块的输入为特征提取模块提取的特征图F1，包括多个空洞卷积层支路、1个连接层和一个卷积层，将多个卷积层支路的输出特征图输入连接层，最后再通过一个传统卷积层进行多尺度特征融合；

特征检测模块包括依次连接的N层卷积层，其中前N层中除第1层和最后一层单数层外，其他单数层的卷积层后面分别连接池化操作，然后将池化后的特征以及最后一层卷积后的特征进行特征加和，对特征加和后的特征进行池化和全连接操作，然后经过一个区域生成网络，输出标签值和预测检测框；

然后构建训练集，对训练集中的图像通过labeling标注工具，将工作人员，工作服，安全帽，手套，工作绳，接地桩进行标注；

训练阶段，将训练集中图像送入目标检测网络模型进行训练，输出训练好的目标检测网络模型；

检测阶段，将USB摄像头1和USB摄像头2获取的图像分别输入到训练好的目标检测网络模型中，输出USB摄像头1捕捉到的图像中是否包括工作人员，工作服，安全帽，手套，工作绳，如果检测结果中不包含其中任一目标，则为异常；输出USB摄像头2中是否包含接地桩，如果不包含则为异常；

步骤3，结合加速度信息和图像信息，利用不同动作识别算法识别工作人员登高、爬梯、验电、放点、接地动作，然后采用加权融合的方法，最终确定工作人员的动作。

2.如权利要求1所述的一种多信息融合的人体行为检测方法，其特征在于：步骤3中所述不同动作识别算法包括motion excitation模块、multiple temporal aggregation模块、3D CNN模型、时间金字塔网络、双向循环神经网络、长短期记忆网络；其中motionexcitation模块、multiple temporal aggregation模块、3D CNN模型输入的是图像信息，时间金字塔网络、双向循环神经网络、长短期记忆网络输入的加速度信息。

3.如权利要求1所述的一种多信息融合的人体行为检测方法，其特征在于：步骤3中加权融合的公式为：

w_i为不同算法的权重，μ_i为变量，根据不同算法的识别效果在(0,0.5]范围内取值；x表示输入数据，f_u(x)是输入数据对应的最终的模式识别结果，其最大的值对应于分类y，而且y∈Y，其中Y为动作类别集合；f_i(x)是第i个识别算法的结果，对应权值为w_i，[f_i(x)＝y_i]代表与之对应的动作识别分类y_i。

4.一种多信息融合的人体行为检测系统，其特征在于：包括图像采集单元、加速度采集单元、目标检测单元、信息融合单元、动作识别单元；

其中，所述图像采集单元用于采集电力工人实时的工作场景的图像信息；

所述加速度采集单元用于提供工人加速度信息；

所述目标检测单元，利用目标检测网络模型处理图像信息，使用目标检测网络模型处理图像信息，如果有异常，即检测的图像中不包含设定的目标，则进行提醒；

目标检测单元中使用目标检测网络模型处理图像信息，如果有异常，即检测的图像中不包含设定的目标，则进行提醒，其具体实现方式如下；

首先构建目标检测网络模型，包括特征提取模块，多尺度融合模块，特征检测模块；

其中特征提取模块用于提取特征图F1，包含若干个结构相同的子模块，每个子模块包括1个卷积层和1个最大池化层；

多尺度融合模块的输入为特征提取模块提取的特征图F1，包括多个空洞卷积层支路、1个连接层和一个卷积层，将多个卷积层支路的输出特征图输入连接层，最后再通过一个传统卷积层进行多尺度特征融合；

特征检测模块包括依次连接的N层卷积层，其中前N层中除第1层和最后一层单数层外，其他单数层的卷积层后面分别连接池化操作，然后将池化后的特征以及最后一层卷积后的特征进行特征加和，对特征加和后的特征进行池化和全连接操作，然后经过一个区域生成网络，输出标签值和预测检测框；

然后构建训练集，对训练集中的图像通过labeling标注工具，将工作人员，工作服，安全帽，手套，工作绳，接地桩进行标注；

训练阶段，将训练集中图像送入目标检测网络模型进行训练，输出训练好的目标检测网络模型；

检测阶段，将USB摄像头1和USB摄像头2获取的图像分别输入到训练好的目标检测网络模型中，输出USB摄像头1捕捉到的图像中是否包括工作人员，工作服，安全帽，手套，工作绳，如果检测结果中不包含其中任一目标，则为异常；输出USB摄像头2中是否包含接地桩，如果不包含则为异常；

信息融合单元，用于结合加速度信息和图像信息，利用不同动作识别算法识别工作人员登高、爬梯、验电、放点、接地动作

所述动作识别单元，用于采用加权融合的方法对不同算法的识别结果进行融合，确定工作人员最终的动作。

5.如权利要求4所述的一种多信息融合的人体行为检测系统，其特征在于：信息融合单元中所述不同动作识别算法包括motion excitation模块、multiple temporalaggregation模块、3D CNN模型、时间金字塔网络、双向循环神经网络、长短期记忆网络；其中motion excitation模块、multiple temporal aggregation模块、3D CNN模型输入的是图像信息，时间金字塔网络、双向循环神经网络、长短期记忆网络输入的加速度信息。

6.如权利要求4所述的一种多信息融合的人体行为检测系统，其特征在于：动作识别单元中加权融合的公式为：

w_i为不同算法的权重，μ_i为变量，根据不同算法的识别效果在(0,0.5]范围内取值；x表示输入数据，f_u(x)是输入数据对应的最终的模式识别结果，其最大的值对应于分类y，而且y∈Y，其中Y为动作类别集合；f_i(x)是第i个识别算法的结果，对应权值为w_i，[f_i(x)＝y_i]代表与之对应的动作识别分类y_i。