CN117496586A - 一种基于视频图像的人员异常行为识别方法 - Google Patents

Abstract

本申请涉及图像处理及行为识别技术领域，公开了一种基于视频图像的人员异常行为识别方法，包括云端处理器，所述云端处理器连接有人体图像识别模块，所述人体图像识别模块用于识别场景中人员运动状态的视频图像数据，所述云端处理器连接有人体检测和跟踪模块，所述人体检测和跟踪模块用于对视频图像中的人体进行检测和跟踪，以提取人员的位置和动态信息。通过人体图像识别模块和行为特征提取模块的配合，使得在检测人员异常行为时，能够穿透遮挡物对人员行为进行检测，提高视频图像的识别精度，从而提高人员异常行为的识别准确度，同时通过数据增强和合成技术扩充数据集，平衡正常、异常行为样本的比例，提高模型的泛化能力。

Description

一种基于视频图像的人员异常行为识别方法

技术领域

本发明涉及图像处理及行为识别技术领域，具体为一种基于视频图像的人员异常行为识别方法。

背景技术

基于图像的人员异常行为识别是指，利用计算机视觉和机器学习技术从监控视频中自动检测和识别出与正常行为模式不一致的人员行为，从而有效地降低电力施工工人在进行一些较为危险的施工时，出现意外或突发事件的情况。

目前大多的基于图像的人员异常行为识别方法多是采用监控设备实时监测人员的肢体行为，在一些施工人员密集、光线环境差和有遮挡物的情况下，监控设备无法准确的捕捉人员的肢体异常行为，导致识别时容易出现误差和错误，识别人员异常行为的方式不够精准，为此本发明提出一种基于视频图像的人员异常行为识别方法。

发明内容

针对现有技术的不足，本发明提供了一种基于视频图像的人员异常行为识别方法，解决了在一些施工人员密集、光线环境差和有遮挡物的情况下，监控设备无法准确的捕捉人员的肢体异常行为，导致识别时容易出现误差和错误，识别人员异常行为的方式不够精准的问题。

为实现以上目的，本发明通过以下技术方案予以实现：一种基于视频图像的人员异常行为识别系统，包括云端处理器，所述云端处理器连接有人体图像识别模块，所述人体图像识别模块用于识别场景中人员运动状态的视频图像数据，所述云端处理器连接有人体检测和跟踪模块，所述人体检测和跟踪模块用于对视频图像中的人体进行检测和跟踪，以提取人员的位置和动态信息，所述云端处理器连接有行为特征提取模块，所述行为特征提取模块用于从跟踪到的人员中提取出与异常行为相关的特征，所述云端处理器连接有行为建模和训练模块，所述行为建模和训练模块用于使用机器学习或深度学习算法根据提取的特征训练行为模型，所述云端处理器连接有异常行为检测模块，所述异常行为检测模块用于在实时或离线模式下，将提取的行为特征输入到行为模型中，进行异常行为检测。

优选的，所述人体图像识别模块包括多方位监控设备单元、图像遮挡识别单元、超声探测位置识别单元和红外热成像识别单元，所述多方位监控设备单元用于使用多个摄像头从不同角度和视野捕捉场景人员信息，所述图像遮挡识别单元用于识别场景中的人员图像是否被遮挡，所述超声探测位置识别单元用于通过向场景中发射超声波，并检测反射的超声波推断出物体的位置、距离和运动状态，所述红外热成像识别单元用于检测人体的热辐射，将热辐射图像转换为可视图像。

优选的，所述人体检测和跟踪模块包括图像预处理单元、人体检测单元、人体跟踪单元和目标匹配和关联单元，所述图像预处理单元用于对图像进行预处理，包括图像去噪、图像增强、图像尺寸调整等操作，所述人体检测单元用于使用目标检测算法来检测图像中的人体位置，所述人体跟踪单元用于使用跟踪算法对检测到的人体进行跟踪和标识，所述目标匹配和关联单元用于确定同一人体在连续帧之间的对应关系。

优选的，所述行为特征提取模块包括多模态信息融合单元、运动特征提取单元、姿态特征提取单元、形状特征提取单元和时空特征提取单元，所述多模态信息融合单元用于将视频图像与其他传感器数据进行融合，所述运动特征提取单元用于提取人体的运动信息特征，包括速度、加速度、方向等，所述姿态特征提取单元用于提取人体的姿态信息特征，包括关节点的位置、角度、方向等，所述形状特征提取单元用于提取人体的形状信息特征，如人体的轮廓、宽高比、几何特征等，所述时空特征提取单元用于提取人体行为在时域和空域上的特征。

优选的，所述行为建模和训练模块包括数据采集和标注模块、特征表示和编码单元、行为建模算法单元和训练和调优单元，所述数据采集和标注模块用于收集和标注用于训练和验证的视频数据集，所述特征表示和编码单元用于对从视频图像中提取的行为特征进行表示和编码，所述行为建模算法单元用于使用特征表示和编码来构建或选择合适的行为建模算法，所述训练和调优单元用于使用训练数据对行为建模算法进行训练和调优。

优选的，所述数据采集和标注模块包括数据采集单元、数据扩充单元、合成样本单元、重采样和欠采样单元、数据标注单元和标注修正和增强单元，所述数据采集单元用于采集和接收上传的模型图像信息和异常行为数据，所述数据扩充单元用于通过对采集和接收的图像特征数据进行变换和增强，生成更多的样本，所述合成样本单元用于使用合成算法从现有的样本中生成新的样本，所述重采样和欠采样单元用于平衡正常行为和异常行为之间的样本数量差异，所述数据标注单元用于标注生成样本中的异常行为数据，所述标注修正和增强单元用于通过对标注的数据进行再审查和修正，纠正标注错误或模糊的情况。

优选的，所述异常行为检测模块包括行为模型匹配单元、肢体运动速度判定单元、异常检测算法单元、阈值设置单元和异常分类和报警单元，所述行为模型匹配单元用于将提取的特征与事先学习的行为模型进行匹配，所述肢体运动速度判定单元用于对比提取特征中人员肢体运动速度和模型进行对比和判定，所述异常检测算法单元用于使用离群点检测算法从行为模型匹配结果中判断是否存在异常行为，所述阈值设置单元用于设置异常检测算法中的阈值或决策边界，以判断特征匹配结果是否足够显著的表明异常行为，所述异常分类和报警单元用于对检测到的异常行为进行进一步的分类和报警处理。

优选的，所述行为特征提取模块内搭载有卷积神经网络和循环神经网络，通过卷积神经网络和循环神经网络将多模态信息融合单元、运动特征提取单元、姿态特征提取单元、形状特征提取单元和时空特征提取单元整合。

优选的，所述行为特征提取模块与行为建模和训练模块之间通过卷积神经网络和循环神经网络连接，所述行为建模算法单元使用卷积神经网络和循环神经网络建立相应的模型算法。

一种基于视频图像的人员异常行为识别方法，具体使用方法如下：

步骤一、通过将收集的异常特征数据和模型图像信息通过数据采集单元上传至数据采集和标注模块，并通过数据扩充单元和重采样和欠采样单元生成更多的数据样本，同时合成样本单元将获得的数据样本通过合成算法进行整合，之后数据标注单元会将异常行为数据进行标注，并借助重采样和欠采样单元删除多余的样本标注数据，保持样本数据的平衡，最后通过标注修正和增强单元进一步地校对标注数据的准确性；

步骤二、将步骤一中获取的标注样本数据和模型通过特征表示和编码单元对数据和模型进行编码，之后行为建模算法单元对获得的编码数据上传至卷积神经网络和循环神经网络，从而建立相应的算法模型；

步骤三、当场景中人员出现活动时，此时多方位监控设备单元会将图像信息识别，并通过图像遮挡识别单元判断是否有遮挡物，若有遮挡物则通过超声探测位置识别单元和红外热成像识别单元进行穿透式的识别，获取相应的人员活动信息，并借助人体检测和跟踪模块实时地对场景中的人员进行检测；

步骤四、步骤三中检测的人员信息会通过多模态信息融合单元，对图像和传感信息进行融合，并通过卷积神经网络和循环神经网络提取人员肢体活动的特征信息，之后提取的特征信息会通过行为模型匹配单元和系统内建立的异常行为模型进行对比，通过卷积神经网络和循环神经网络为异常检测算法单元提供检测的算法和数据，从而通过肢体动作速度判定单元确认获取的人员特征信息是否存在异常，当肢体的动作速度达到阈值设置单元的设定数字时，此时异常分类和报警单元会发出警报，并为后台工作人员提示异常行为属于哪种类型。

本发明提供了一种基于视频图像的人员异常行为识别方法。具备以下有益效果：

1、本发明通过人体图像识别模块和行为特征提取模块的配合，使得在检测人员异常行为时，能够穿透遮挡物对人员的肢体活动进行检测，提高视频图像的识别精度，从而提高人员异常行为的识别准确度。

2、本发明通过行为建模和训练模块、行为特征提取模块和数据采集和标注模块的配合，使得在识别对比人员异常数据时，能够提供更加精准的异常行为对比模型，并通过卷积神经网络和循环神经网络的配合，实现特征数据的精准提取和与模型的对比，同时通过数据增强和合成技术扩充数据集，平衡正常行为和异常行为样本的比例，提高模型的泛化能力。

附图说明

图1为本发明的整体架构图；

图2为本发明的人体图像识别模块结构示意图；

图3为本发明的人体检测和跟踪模块结构示意图；

图4为本发明的行为特征提取模块结构示意图；

图5为本发明的行为建模和训练模块结构示意图；

图6为本发明的数据采集和标注模块结构示意图；

图7为本发明的异常行为检测模块结构示意图；

图8为本发明的流程图。

具体实施方式

下面将结合本发明说明书附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例：

请参阅附图1-附图8，本发明实施例提供一种基于视频图像的人员异常行为识别系统，包括云端处理器，云端处理器连接有人体图像识别模块，人体图像识别模块用于识别场景中人员运动状态的视频图像数据，采用监控摄像头、超声波发生器和红外热成像设备实现场景内的人员行为监控。云端处理器连接有人体检测和跟踪模块，人体检测和跟踪模块用于对视频图像中的人体进行检测和跟踪，以提取人员的位置和动态信息。使用目标检测和跟踪算法，如基于深度学习的目标检测算法、卡尔曼滤波、多目标跟踪等。云端处理器连接有行为特征提取模块，行为特征提取模块用于从跟踪到的人员中提取出与异常行为相关的特征，特征可以包括人员的运动轨迹、速度、加速度、姿态、距离、人员之间的关系等。可以使用计算机视觉技术和图像处理算法来提取这些特征。云端处理器连接有行为建模和训练模块，行为建模和训练模块用于使用机器学习或深度学习算法根据提取的特征训练行为模型，正常行为的样本被用来训练模型，使其能够学习正常行为的特征和模式。常用的模型包括时空模型、基于特征的模型和深度学习模型等。云端处理器连接有异常行为检测模块，异常行为检测模块用于在实时或离线模式下，将提取的行为特征输入到行为模型中，进行异常行为检测。模型会对输入的特征进行分析和比较，如果检测到与正常行为模式不符的行为，则判定为异常行为。

人体图像识别模块包括多方位监控设备单元、图像遮挡识别单元、超声探测位置识别单元和红外热成像识别单元，多方位监控设备单元用于使用多个摄像头从不同角度和视野捕捉场景人员信息，使用多个摄像头从不同角度和视野捕捉场景，可以提供更全面、多角度的视图。通过多摄像头的数据融合，可以增加对于人体行为的可视范围，减少遮挡的影响。图像遮挡识别单元用于识别场景中的人员图像是否被遮挡，超声探测位置识别单元用于通过向场景中发射超声波，并检测反射的超声波推断出物体的位置、距离和运动状态，红外热成像识别单元用于检测人体的热辐射，将热辐射图像转换为可视图像。

人体检测和跟踪模块包括图像预处理单元、人体检测单元、人体跟踪单元和目标匹配和关联单元，图像预处理单元用于对图像进行预处理，包括图像去噪、图像增强、图像尺寸调整等操作，预处理旨在提高后续人体检测算法的准确性和鲁棒性。人体检测单元用于使用目标检测算法来检测图像中的人体位置，目标检测算法为Faster R-CNN，人体跟踪单元用于使用跟踪算法对检测到的人体进行跟踪和标识，跟踪算法可根据人体特征和运动信息，跟踪人体的位置随时间的变化。跟踪的目标是实现对行人的连续跟踪，以便后续行为分析和异常检测。目标匹配和关联单元用于确定同一人体在连续帧之间的对应关系，能够处理由于遮挡、姿态变化和行人的进出场引起的目标断裂问题。

行为特征提取模块包括多模态信息融合单元、运动特征提取单元、姿态特征提取单元、形状特征提取单元和时空特征提取单元，多模态信息融合单元用于将视频图像与其他传感器数据进行融合，可以提供更全面的信息以改善行为识别的准确性。运动特征提取单元用于提取人体的运动信息特征，包括速度、加速度、方向等，运动特征可以通过计算人体在连续帧之间的像素位移或关节点的运动变化来获得。它可以捕捉到人体的运动模式和轨迹，用于行为建模和异常检测。姿态特征提取单元用于提取人体的姿态信息特征，包括关节点的位置、角度、方向等，姿态特征可以通过人体姿态估计算法来获取，通过使用深度学习模型或基于关节关联的方法。姿态特征可以描述人体的姿态变化和动作空间，对于行为分析和异常检测提供对比。形状特征提取单元用于提取人体的形状信息特征，如人体的轮廓、宽高比、几何特征等，形状特征可以通过对人体边界进行分析和测量来获得。它可以描述人体的形态变化和形状轮廓，有助于识别异常形态或非典型行为。时空特征提取单元用于提取人体行为在时域和空域上的特征，时空特征可以从人体的移动、速度变化和运动轨迹等方面进行分析。可以计算人体的加速度或速度变化率，或者跟踪人体的运动轨迹来提取时空特征，以充分描述人体的行为模式和异常行为。

行为建模和训练模块包括数据采集和标注模块、特征表示和编码单元、行为建模算法单元和训练和调优单元，数据采集和标注模块用于收集和标注用于训练和验证的视频数据集，选取合适的视频数据集对行为建模和训练模块至关重要。这包括选择适当的场景、不同的行为示例和异常情况进行录制，并进行标注以提供训练数据。特征表示和编码单元用于对从视频图像中提取的行为特征进行表示和编码，包括使用特征向量、时空序列或图像描述符来表示行为特征。这样的表示可以捕捉行为的关键信息，并为后续的模型构建和训练提供输入。行为建模算法单元用于使用特征表示和编码来构建或选择合适的行为建模算法，这些算法可以使用深度学习方法，通过循环神经网络或卷积神经网络实现。行为建模算法的目标是从数据中学习正常行为模式，并对异常行为进行区分。训练和调优单元用于使用训练数据对行为建模算法进行训练和调优，使用标注的训练数据来学习模型参数，并通过迭代优化算法来提高模型的性能。可能还需要进行超参数调优和模型选择，以找到最佳的模型配置。

数据采集和标注模块包括数据采集单元、数据扩充单元、合成样本单元、重采样和欠采样单元、数据标注单元和标注修正和增强单元，数据采集单元用于采集和接收上传的模型图像信息和异常行为数据，数据扩充单元用于通过对采集和接收的图像特征数据进行变换和增强，生成更多的样本，通过应用旋转、平移、缩放、镜像等操作，可以生成与原始数据具有一定差异的新样本。这有助于增加样本的多样性和数量，减轻数据不平衡问题。合成样本单元用于使用合成算法从现有的样本中生成新的样本，合成算法采用图像融合算法，从现有的样本中生成新的样本。这样可以增加样本的多样性和覆盖更多的异常行为情况，解决标注困难和缺乏标记样本的问题。重采样和欠采样单元用于平衡正常行为和异常行为之间的样本数量差异，重采样可以复制和添加正样本，以增加其数量，从而平衡正常行为的样本分布。欠采样可以通过随机删除部分异常行为样本，减少其数量，从而平衡正常与异常样本之间的比例。数据标注单元用于标注生成样本中的异常行为数据，标注修正和增强单元用于通过对标注的数据进行再审查和修正，纠正标注错误或模糊的情况。

异常行为检测模块包括行为模型匹配单元、肢体运动速度判定单元、异常检测算法单元、阈值设置单元和异常分类和报警单元，行为模型匹配单元用于将提取的特征与事先学习的行为模型进行匹配，行为模型可以是通过训练数据得到的正常行为模式，其代表了正常的行为模式和变化范围。通过将提取的特征与行为模型进行比较，可以判断当前行为是否属于正常行为范围。肢体运动速度判定单元用于对比提取特征中人员肢体运动速度和模型进行对比和判定，通过肢体的运动速度和模型相结合，进而判断当前行为是否异常。异常检测算法单元用于使用离群点检测算法从行为模型匹配结果中判断是否存在异常行为，阈值设置单元用于设置异常检测算法中的阈值或决策边界，以判断特征匹配结果是否足够显著地表明异常行为，阈值的设置需要考虑到系统性能要求和误检率的平衡，可能需要根据具体应用场景进行调优。异常分类和报警单元用于对检测到的异常行为进行进一步的分类和报警处理，根据不同的异常行为类别和严重程度，系统可以采取相应的预警措施，例如触发警报、发送通知或进行自动化控制等。

行为特征提取模块内搭载有卷积神经网络和循环神经网络，通过卷积神经网络和循环神经网络将多模态信息融合单元、运动特征提取单元、姿态特征提取单元、形状特征提取单元和时空特征提取单元整合。

行为特征提取模块与行为建模和训练模块之间通过卷积神经网络和循环神经网络连接，行为建模算法单元使用卷积神经网络和循环神经网络建立相应的模型算法。

一种基于视频图像的人员异常行为识别方法，具体使用方法如下：

步骤一、通过将收集的异常特征数据和模型图像信息通过数据采集单元上传至数据采集和标注模块，并通过数据扩充单元和重采样和欠采样单元生成更多的数据样本，同时合成样本单元将获得的数据样本通过合成算法进行整合，之后数据标注单元会将异常行为数据进行标注，并借助重采样和欠采样单元删除多余的样本标注数据，保持样本数据的平衡，最后通过标注修正和增强单元进一步地校对标注数据的准确性；

步骤二、将步骤一中获取的标注样本数据和模型通过特征表示和编码单元对数据和模型进行编码，之后行为建模算法单元对获得的编码数据上传至卷积神经网络和循环神经网络，从而建立相应的算法模型；

步骤三、当场景中人员出现活动时，此时多方位监控设备单元会将图像信息识别，并通过图像遮挡识别单元判断是否有遮挡物，若有遮挡物则通过超声探测位置识别单元和红外热成像识别单元进行穿透式的识别，获取相应的人员活动信息，并借助人体检测和跟踪模块实时地对场景中的人员进行检测；

步骤四、步骤三中检测的人员信息会通过多模态信息融合单元，对图像和传感信息进行融合，并通过卷积神经网络和循环神经网络提取人员肢体活动的特征信息，之后提取的特征信息会通过行为模型匹配单元和系统内建立的异常行为模型进行对比，通过卷积神经网络和循环神经网络为异常检测算法单元提供检测的算法和数据，从而通过肢体动作速度判定单元确认获取的人员特征信息是否存在异常，当肢体的动作速度达到阈值设置单元的设定数字时，此时异常分类和报警单元会发出警报，并为后台工作人员提示异常行为属于哪种类型。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (10)

1.一种基于视频图像的人员异常行为识别系统，包括云端处理器，其特征在于，所述云端处理器连接有人体图像识别模块，所述人体图像识别模块用于识别场景中人员运动状态的视频图像数据，所述云端处理器连接有人体检测和跟踪模块，所述人体检测和跟踪模块用于对视频图像中的人体进行检测和跟踪，以提取人员的位置和动态信息，所述云端处理器连接有行为特征提取模块，所述行为特征提取模块用于从跟踪到的人员中提取出与异常行为相关的特征，所述云端处理器连接有行为建模和训练模块，所述行为建模和训练模块用于使用机器学习或深度学习算法根据提取的特征训练行为模型，所述云端处理器连接有异常行为检测模块，所述异常行为检测模块用于在实时或离线模式下，将提取的行为特征输入到行为模型中，进行异常行为检测。

2.根据权利要求1所述的一种基于视频图像的人员异常行为识别系统，其特征在于，所述人体图像识别模块包括多方位监控设备单元、图像遮挡识别单元、超声探测位置识别单元和红外热成像识别单元，所述多方位监控设备单元用于使用多个摄像头从不同角度和视野捕捉场景人员信息，所述图像遮挡识别单元用于识别场景中的人员图像是否被遮挡，所述超声探测位置识别单元用于通过向场景中发射超声波，并检测反射的超声波推断出物体的位置、距离和运动状态，所述红外热成像识别单元用于检测人体的热辐射，将热辐射图像转换为可视图像。

3.根据权利要求1所述的一种基于视频图像的人员异常行为识别系统，其特征在于，所述人体检测和跟踪模块包括图像预处理单元、人体检测单元、人体跟踪单元和目标匹配和关联单元，所述图像预处理单元用于对图像进行预处理，包括图像去噪、图像增强、图像尺寸调整等操作，所述人体检测单元用于使用目标检测算法来检测图像中的人体位置，所述人体跟踪单元用于使用跟踪算法对检测到的人体进行跟踪和标识，所述目标匹配和关联单元用于确定同一人体在连续帧之间的对应关系。

4.根据权利要求1所述的一种基于视频图像的人员异常行为识别系统，其特征在于，所述行为特征提取模块包括多模态信息融合单元、运动特征提取单元、姿态特征提取单元、形状特征提取单元和时空特征提取单元，所述多模态信息融合单元用于将视频图像与其他传感器数据进行融合，所述运动特征提取单元用于提取人体的运动信息特征，包括速度、加速度、方向等，所述姿态特征提取单元用于提取人体的姿态信息特征，包括关节点的位置、角度、方向等，所述形状特征提取单元用于提取人体的形状信息特征，如人体的轮廓、宽高比、几何特征等，所述时空特征提取单元用于提取人体行为在时域和空域上的特征。

5.根据权利要求1所述的一种基于视频图像的人员异常行为识别系统，其特征在于，所述行为建模和训练模块包括数据采集和标注模块、特征表示和编码单元、行为建模算法单元和训练和调优单元，所述数据采集和标注模块用于收集和标注用于训练和验证的视频数据集，所述特征表示和编码单元用于对从视频图像中提取的行为特征进行表示和编码，所述行为建模算法单元用于使用特征表示和编码来构建或选择合适的行为建模算法，所述训练和调优单元用于使用训练数据对行为建模算法进行训练和调优。

6.根据权利要求5所述的一种基于视频图像的人员异常行为识别系统，其特征在于，所述数据采集和标注模块包括数据采集单元、数据扩充单元、合成样本单元、重采样和欠采样单元、数据标注单元和标注修正和增强单元，所述数据采集单元用于采集和接收上传的模型图像信息和异常行为数据，所述数据扩充单元用于通过对采集和接收的图像特征数据进行变换和增强，生成更多的样本，所述合成样本单元用于使用合成算法从现有的样本中生成新的样本，所述重采样和欠采样单元用于平衡正常行为和异常行为之间的样本数量差异，所述数据标注单元用于标注生成样本中的异常行为数据，所述标注修正和增强单元用于通过对标注的数据进行再审查和修正，纠正标注错误或模糊的情况。

7.根据权利要求1所述的一种基于视频图像的人员异常行为识别系统，其特征在于，所述异常行为检测模块包括行为模型匹配单元、肢体运动速度判定单元、异常检测算法单元、阈值设置单元和异常分类和报警单元，所述行为模型匹配单元用于将提取的特征与事先学习的行为模型进行匹配，所述肢体运动速度判定单元用于对比提取特征中人员肢体运动速度和模型进行对比和判定，所述异常检测算法单元用于使用离群点检测算法从行为模型匹配结果中判断是否存在异常行为，所述阈值设置单元用于设置异常检测算法中的阈值或决策边界，以判断特征匹配结果是否足够显著地表明异常行为，所述异常分类和报警单元用于对检测到的异常行为进行进一步的分类和报警处理。

8.根据权利要求4所述的一种基于视频图像的人员异常行为识别系统，其特征在于，所述行为特征提取模块内搭载有卷积神经网络和循环神经网络，通过卷积神经网络和循环神经网络将多模态信息融合单元、运动特征提取单元、姿态特征提取单元、形状特征提取单元和时空特征提取单元整合。

9.根据权利要求1所述的一种基于视频图像的人员异常行为识别系统，其特征在于，所述行为特征提取模块与行为建模和训练模块之间通过卷积神经网络和循环神经网络连接，所述行为建模算法单元使用卷积神经网络和循环神经网络建立相应的模型算法。

10.一种基于视频图像的人员异常行为识别方法，其特征在于，依据权利要求1-9任意一项所述的一种基于视频图像的人员异常行为识别系统，具体使用方法如下：

步骤一、通过将收集的异常特征数据和模型图像信息通过数据采集单元上传至数据采集和标注模块，并通过数据扩充单元和重采样和欠采样单元生成更多的数据样本，同时合成样本单元将获得的数据样本通过合成算法进行整合，之后数据标注单元会将异常行为数据进行标注，并借助重采样和欠采样单元删除多余的样本标注数据，保持样本数据的平衡，最后通过标注修正和增强单元进一步地校对标注数据的准确性；

步骤二、将步骤一中获取的标注样本数据和模型通过特征表示和编码单元对数据和模型进行编码，之后行为建模算法单元对获得的编码数据上传至卷积神经网络和循环神经网络，从而建立相应的算法模型；

步骤三、当场景中人员出现活动时，此时多方位监控设备单元会将图像信息识别，并通过图像遮挡识别单元判断是否有遮挡物，若有遮挡物则通过超声探测位置识别单元和红外热成像识别单元进行穿透式的识别，获取相应的人员活动信息，并借助人体检测和跟踪模块实时地对场景中的人员进行检测；

步骤四、步骤三中检测的人员信息会通过多模态信息融合单元，对图像和传感信息进行融合，并通过卷积神经网络和循环神经网络提取人员肢体活动的特征信息，之后提取的特征信息会通过行为模型匹配单元和系统内建立的异常行为模型进行对比，通过卷积神经网络和循环神经网络为异常检测算法单元提供检测的算法和数据，从而通过肢体动作速度判定单元确认获取的人员特征信息是否存在异常，当肢体的动作速度达到阈值设置单元的设定数字时，此时异常分类和报警单元会发出警报，并为后台工作人员提示异常行为属于哪种类型。