CN111553229B - 基于三维骨骼与lstm的工人动作识别方法及装置 - Google Patents

Abstract

本发明公开了一种基于三维骨骼与LSTM的工人动作识别方法及装置，其中，该方法包括：采集特征动作库中的二维图像数据和三维点云数据；结合二维图像数据和三维点云数据提取其中的三维人体骨骼特征，并根据三维人体骨骼特征进行关节夹角计算，以形成特征向量；对三维人体骨骼特征进行检测，将关节点误识别形成的异常关节数据进行修复；将训练图像数据输入长短期记忆网络中进行有监督训练，获得具备识别能力的模型，并将测试图像数据输入具备识别能力的模型中，以输出动作类别。该方法以计算机视觉技术和深度学习算法为基础，逐步实现了特征提取与动作表示，以及对异常数据的检测修复，最终能够准确识别施工现场工人的不安全行为。

Description

基于三维骨骼与LSTM的工人动作识别方法及装置

技术领域

本发明涉及建筑施工安全技术领域，特别涉及一种基于三维骨骼与LSTM的工人动作识别方法及装置。

背景技术

建筑业施工环境复杂、多变，安全事故屡屡发生，事故率居高不下。我国2014至2017年共发生2290起房屋市政工程生产安全事故，在世界范围内，建筑行业的安全事故率都明显高于其他生产性行业水平。总体而言，建筑业安全形势十分严峻，有必要深入探索事故原因。

研究表明，工人的不安全行为是引发安全事故的主要原因，根据事故统计资料也发现88％-90％的安全事故是由于工人的不安全行为导致的。传统的施工现场不安全行为管理方法主要通过安全培训，安全巡查以及视频监控等方式，然而结合近年不安全行为发生的数据，可以看出在动态复杂的现场环境下传统方式发挥的效果有限。主要体现在以下几个方面：首先，不安全行为的形成原因众多，缺乏一定的系统性认知，传统的方法缺乏普适性；其次，不安全行为的数据记录及采集方式难以支持长期数字化安全管理，无法进一步辅助安全决策；另外，目前的管理方式更多的集中在事后控制，部分事前控制不具备及时性，难以实现现场预警；最后，现场存有大量的视频监控数据，由于数据的技术处理方法存在壁垒，不能使这类视频记录充分发挥价值。因此，有必要建立一套相对完善且体系化的不安全行为自动识别方法，提高现场信息化安全管理水平。

施工现场工人动作识别主要分为三个步骤：数据采集与预处理、特征提取与动作表示，以及动作分类与识别。根据采集技术的不同，通常可分为基于可穿戴式技术的识别方法和基于视觉技术的识别方法。基于可穿戴式技术的识别主要通过在工人身上特定部位安装加速度计、陀螺仪或一些集成设备获取工人动作数据，将数据通过有线或无线的方式传输至服务器。但这种方式存在较大的局限性：1)需要工人佩带传感器，产生不便，对工人作业及其效率存在影响，甚至带来额外危险；2)设备安装的部位对于动作识别精确性影响较大；3)在数据传输过程中有可能受到其他信号的干扰等。而基于计算机视觉的识别方法，可以通过采集工人的图像序列并逐帧提取特征进行组织后以表示动作，通过训练或非训练的方法，实现动作分类与识别。根据所采集的图像特征，可以将此类技术进一步划分为二维彩色图像识别技术与深度图像识别技术。二维彩色图像不具有深度信息，由普通相机便可获得。但由于施工现场复杂、多变，基于二维彩色图像的动作识别方法受采集视角、现场遮挡、工人距离相机的远近等因素影响较大，不利于动作的准确识别。

由于工人不安全行为，以及施工现场环境的动态性和复杂性，围绕工人展开的传统不安全行为管理方法缺乏一定的针对性。因此，有必要建立更加及时有效的不安全行为自动识别方法，对数字化安全管理提供支持。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种基于三维骨骼与LSTM的工人动作识别方法，该方法能够准确识别施工现场工人不安全行为。

本发明的另一个目的在于提出一种基于三维骨骼与LSTM的工人动作识别装置。

为达到上述目的，本发明一方面实施例提出了基于三维骨骼与LSTM的工人动作识别方法，包括以下步骤：步骤S1，构建特征动作库，采集所述特征动作库中的二维图像数据和三维点云数据；步骤S2，结合所述二维图像数据和所述三维点云数据提取其中的三维人体骨骼特征，并根据所述三维人体骨骼特征进行关节夹角计算，以形成特征向量，其中，所述特征向量包括训练图像数据和测试图像数据；步骤S3，对所述三维人体骨骼特征进行检测，将关节点误识别形成的异常关节数据进行修复，并将修复后的异常数据返回至所述步骤S2中；步骤S4，将所述训练图像数据输入长短期记忆网络中进行有监督训练，获得具备识别能力的模型，并将所述测试图像数据输入所述具备识别能力的模型中，以输出动作类别。

本发明实施例的基于三维骨骼与LSTM的工人动作识别方法，针对施工现场工人动作识别，以计算机视觉技术和深度学习算法为基础，在所构建的特征动作数据库的基础上，逐步实现了特征提取与动作表示，以及对异常数据的检测修复，最终能够准确识别施工现场工人的不安全行为。

另外，根据本发明上述实施例的基于三维骨骼与LSTM的工人动作识别方法还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，所述二维图像数据用于所述步骤S2的二维人体骨骼特征提取，所述三维点云数据用于将所述二维人体骨骼特征映射至所述三维人体骨骼特征。

进一步地，在本发明的一个实施例中，所述步骤S2中通过OpenPose算法提取所述二维人体骨骼特征。

进一步地，在本发明的一个实施例中，所述步骤S3中根据人体工程学计算关节夹角的正常运动范围，以检测是否存在所述异常关节数据，若为存在，则基于前后帧连续性约束对检测为异常关节夹角相关的关节点进行局部修复。

进一步地，在本发明的一个实施例中，所述步骤S4还包括：计算所述具备识别能力的模型的精确率和召回率，根据所述精确率和所述召回率对所述具备识别能力的模型进行评估，以保证模型质量。

为达到上述目的，本发明另一方面实施例提出了基于三维骨骼与LSTM的工人动作识别装置，包括：数据采集模块，用于构建特征动作库，采集所述特征动作库中的二维图像数据和三维点云数据；特征提取模块，用于结合所述二维图像数据和所述三维点云数据提取其中的三维人体骨骼特征，并根据所述三维人体骨骼特征进行关节夹角计算，以形成特征向量，其中，所述特征向量包括训练图像数据和测试图像数据；异常数据检测与修复模块，用于对所述三维人体骨骼特征进行检测，将关节点误识别形成的异常关节数据进行修复，并将修复后的异常数据返回至所述特征提取模块中；训练与识别模块，用于将所述训练图像数据输入长短期记忆网络中进行有监督训练，获得具备识别能力的模型，并将所述测试图像数据输入所述具备识别能力的模型中，以输出动作类别。

本发明实施例的基于三维骨骼与LSTM的工人动作识别装置，针对施工现场工人动作识别，以计算机视觉技术和深度学习算法为基础，在所构建的特征动作数据库的基础上，逐步实现了特征提取与动作表示，以及对异常数据的检测修复，最终形成能够准确识别施工现场工人不安全行为的装置。

另外，根据本发明上述实施例的基于三维骨骼与LSTM的工人动作识别装置还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，所述二维图像数据用于所述特征提取模块的二维人体骨骼特征提取，所述三维点云数据用于将所述二维人体骨骼特征映射至所述三维人体骨骼特征。

进一步地，在本发明的一个实施例中，所述特征提取模块中通过OpenPose算法提取所述三维人体骨骼特征。

进一步地，在本发明的一个实施例中，所述异常数据检测与修复模块中根据人体工程学计算关节夹角的正常运动范围，以检测是否存在所述异常关节数据，若为存在，则基于前后帧连续性约束对检测为异常关节夹角相关的关节点进行局部修复。

进一步地，在本发明的一个实施例中，所述训练与识别模块还包括：

计算所述具备识别能力的模型的精确率和召回率，根据所述精确率和所述召回率对所述具备识别能力的模型进行评估，以保证模型质量。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本发明一个实施例的基于三维骨骼与LSTM的工人动作识别方法的流程图；

图2为根据本发明一个实施例的商业设备Kinect 2.0所获取的人体骨骼图；

图3为根据本发明一个实施例的置于三维空间坐标系中的人体骨架示意图；

图4为根据本发明一个实施例的异常数据修复示意图；

图5为根据本发明一个实施例的动作识别模型训练与适用流程图；

图6为根据本发明一个实施例的基于三维骨骼与LSTM的工人动作识别装置的具体结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

下面参照附图描述根据本发明实施例提出的基于三维骨骼与LSTM的工人动作识别方法及装置，首先将参照附图描述根据本发明实施例提出的基于三维骨骼与LSTM的工人动作识别方法。

图1是本发明一个实施例的基于三维骨骼与LSTM的工人动作识别方法的流程图。

如图1所示，该基于三维骨骼与LSTM的工人动作识别方法包括以下步骤：

在步骤S1中，构建特征动作库，采集特征动作库中的二维图像数据和三维点云数据。

进一步地，在本发明的一个实施例中，二维图像数据用于步骤S2的二维人体骨骼特征提取，三维点云数据用于将二维人体骨骼特征映射至三维人体骨骼特征。

具体而言，在采集动作数据之前，需先构建特征动作库，作为行为识别的基础。在特征动作中，有些动作本身是危险动作，如下表1所示，例如单手爬(梯子)、身体倾向一侧、单腿站立等；而有些动作本身并非危险，但能作为行为识别的关键动作，例如“挂安全带钩子”是识别是否正确使用安全带的关键动作。需要说明的是，一个特征动作可能对应多个不安全行为，即能支持多项行为识别。因此，需在常见不安全行为梳理的基础上，对其中的特征动作进行提取。

表1特征动作举例

构建特征动作库后，动作数据的采集也应遵循数量充足、清晰、多样的原则。在此基础上，动作数据在静态姿势数据的基础上添加时间维度，不同的人做同样的动作所需时间不同。离线状态下采集的动作数据有明确的起始点与结束点，采集时应尽量保证动作的完整性。

由于3D特征能更好地应对施工现场的遮挡问题，而人体骨骼是反映人体细部动作的良好特征，故本发明实施例选取三维人体骨骼作为动作分类与识别的特征。为了获取三维人体骨骼数据，本发明实施例采用深度相机同时存储二维彩色图像与三维点云数据。在相机选择的基础上，也需要研究相机的布置方法，减少遮挡情况。若遮挡过多，在特征提取时无法提取充足的特征，从而使动作训练的效果不佳。

在步骤S2中，结合二维图像数据和三维点云数据提取中的三维人体骨骼特征，并根据三维人体骨骼特征进行关节夹角计算，以形成特征向量，其中，特征向量划分为训练图像数据和测试图像数据。

进一步地，在本发明的一个实施例中，步骤S2中通过OpenPose算法提取二维人体骨骼特征。

具体而言，本发明实施例采用基于OpenPose算法和二维坐标至三维坐标映射的人体三维骨骼(或关节点三维坐标)获取方法，即分为两个阶段：首先，通过OpenPose算法从图像中提取关节点二维像素坐标；然后，从立体相机获取的三维点云数据中，查询关节点二位像素坐标对应的三维空间坐标，实现人体三维骨骼的重建。本发明实施例在进行工人动作识别的过程中，只需要获取工人本身的关节点三维坐标，即可通过现有的商业设备及其内部程序，便捷地获取相应数据。图2为商业设备Kinect 2.0所获取的骨骼图，共计25个关节点，每个关节点对应一个编号，如下表2为关节点编号。

表2关节点编号

一个人的动作本质上是一系列时间上连续的姿势，每一帧姿势可由一个三维人体骨骼表示，而一个三维人体骨骼可由一系列结构化排布的关节点三维坐标表示，可视为一个三列多行矩阵，行数为关节点个数。因此，某个动作可由一系列连续三列多行矩阵构成，相对较为复杂。为了降低后续计算的复杂性，可对矩阵进行降维处理，其中一种方式是通过计算关节点夹角将矩阵转化为一维向量，即每一帧姿势可由一个一维向量表示。

关节夹角的计算即计算连接该关节点的两条肢干之间的夹角，可将肢干视为向量，则该问题转化为向量夹角的计算问题，以图2中右肩关节夹角θ的计算为例。记该关节点为O,与之相连接的两个关节点分别为A(颈椎)与B(右手肘关节点)，则右上臂与右下臂可记为向量

与向量

已知A点、O点、B点的三维空间坐标分别为(x20,y20,z20)、(x8,y8,z8)、(x9,y9,z9)，则

上臂对应的向量

下臂对应的向量

右肩关节夹角

需要说明的是，并非所有的关节点都需要进行夹角计算。如图2所示，黑色标示的关节点(即头、左手大拇指、左手指尖、左脚、右手大拇指、右手指尖、右脚)是端点，不进行夹角计算；而在非端点关节点中，斜线纹理标示的关节点(即颈椎)连接四条肢干，白色标示的关节点(即骶骨、左手腕、右手腕)连接三条肢干，其余关节点连接两条肢干，其中任意两条肢干便可构成空间夹角。在实际应用过程中，并非所有关节夹角都需要使用，可根据需求进行选取(例如，仅需要识别下肢动作，则只需要使用下半身的关节夹角)。假设一共形成n个空间夹角，则一帧可以表示为(θ1,θ2，…,θn)T,则一个t秒的动作可以表示为如下形式：

特别地，在后续训练的过程中，若使用词袋等方法，对不同帧进行聚类后形成直方图，会丢弃帧之间时序关系。在此情况下，可以在关节夹角表示的基础上，添加几个参数，以表示方向等与时序关系相关的信息，可区分仅依靠直方图较难区分的对称动作。由于本发明实施例后续的训练过程将保留帧之间的时序关系，不再添加其他参数。

在步骤S3中，对三维人体骨骼特征进行检测，将关节点误识别形成的异常关节数据进行修复，并将修复后的异常数据返回至步骤S2中。

进一步地，在本发明的一个实施例中，步骤S3中根据人体工程学计算关节夹角的正常运动范围，以检测是否存在异常关节数据，若为存在，则基于前后帧连续性约束对检测为异常关节夹角相关的关节点进行局部修复。

也就是说，步骤S3使用人体工程学中的人体测量学知识计算关节夹角的正常运动范围，以此检测异常关节数据；并基于前后帧连续性约束对检测出的异常关节夹角相关的关节点进行局部修复，以保证训练数据的质量。

具体地，为了更好地对各关节的正常活动范围进行说明，对图2中的人体骨架图构建三维空间坐标系，如图3所示，其中x-y平面平行于人体平面，y-z平面竖向垂直于人体平面，x-z平面横向垂直于人体平面。表3展示了各个关节的正常活动范围，并进行图示说明。根据各关节的正常活动范围，进一步计算相应关节夹角的正常取值范围。以肩关节在x-y平面上的转动为例，上臂由自然垂下状态向内收缩时的正常活动范围最大值为75°，其中向内收缩活动可表示为x₉<x₈，假设肩膀下倾角度为θ(即向量20-8与水平面的夹角为θ)，根据最大值75°可计算出此状态下肩关节在x-y平面内的夹角范围为25°+θ至90°+θ，θ可取0-10°，其中25°+θ对应最大值75°，90°+θ对应上臂下垂的初始位置。对于具有多个自由度的关节(如肩关节)，在不同平面上转动时有不同的活动范围，在检测时可对不同平面上的活动范围进行整合与简化处理，即取各平面正常活动范围的并集，如肩关节为(25°+θ)至180°。而在某些情况下，由于活动限制或其他规定，只在某平面上进行转动时，取相应平面对应的正常活动范围即可。

对于不符合关节正常活动范围的关节夹角，即为异常。异常原因可能为该关节点识别或定位错误，使得计算的关节夹角出现异常。

表3部分关节的正常活动范围

当某动作帧检测出异常关节夹角时，可对该帧作丢弃处理，但这也会降低动作训练数据的数量，而数量不足易引起模型过拟合问题。此外，在未来实际应用过程中，也需要对实时传入的动作数据进行检测，若将异常数据全部丢弃，可能会影响识别结果。因此，本发明实施例对部分异常数据提出修复方法。

首先，需对异常情况进行细分。若该数据有多处关节夹角(如3个及以上)不符合，说明该数据质量较差，不适合后续训练或无法用于识别，舍弃处理。若该数据仅有1至2处关节夹角不符合，考虑到前后帧的连续性以及人体姿势转换需要一定时间，在帧率较高的情况下，可以根据该数据对应帧的前后帧数据对该夹角相关的异常关节点进行修复，取前后帧对应关节点坐标的平均值作为该帧目标关节点的坐标。例如，图4中，t时刻脚踝关节处夹角异常，与之相关的关节点有膝盖关节点、脚踝关节点、与脚关节点，则t时刻脚踝关节点的三维坐标为t-1时刻与t+1时刻脚腕关节点三维坐标的算术平均值，另两个关节点同理可得。而对于连续多帧关节数据异常的情况，需根据动作特点细分，若动作在单一方向上变化，可以使用异常数据前后帧的关节点数据，按照等差分布计算出中间帧对应关节点的坐标；若动作循环往复，可寻找特定异常帧在前后循环中的对应帧，将这两帧作为该异常帧的“前后帧”，通过计算前后帧中对应关节点坐标的算术平均值以对该异常帧的目标关节点进行修复。

在步骤S4中，将训练图像数据输入长短期记忆网络中进行有监督训练，获得具备识别能力的模型，并将测试图像数据输入具备识别能力的模型中，以输出动作类别。

可以理解的是，模型训练是实现实体识别的基础。本发明实施例选取长短期记忆网络(LSTM网络)构建动作分类与识别方法：将标注好的实体图像数据(即训练图像数据)输入LSTM网络中进行有监督训练，以获得具备动作识别能力的模型(图5黑色流程)；在训练过程中，不断改变模型参数，以获得更高质量的模型。在模型训练的基础上，需对所训练的模型进行调用或使用：将测试图像数据输入已训练的模型中，以输出动作类别(图5灰色流程)。

进一步地，在本发明的一个实施例中，步骤S4还包括：

计算具备识别能力的模型的精确率和召回率，根据精确率和召回率对具备识别能力的模型进行评估，以保证模型质量。

具体地，模型训练并实现调用的基础上，需对所训练的模型进行评估，以衡量模型的质量。精确率(Precision)与召回率(Recall)是模型中某一类对象识别效果的评估指标。精确率是指模型输出的某对象结果中识别正确的比例，而召回率则是某对象客观存在的数量中被识别出来并且识别正确的比例，其计算公式为：

精确率(Precision)＝TP/(TP+FP)

召回率(Recall)＝TP/(TP+FN)

其中，TP(True Positive)是指模型输出的某对象的识别结果中识别正确的数量；FP(False Positive)是指模型输出的某对象的识别结果中识别错误的数量；FN(FalseNegative)是指模型认为图像中无某对象但实际上存在某对象的情况对应的数量；未出现在上述公式中的TN(Negative Positive)是指模型认为图像中无某对象且实际无某对象的数量。

根据本发明实施例提出的基于三维骨骼与LSTM的工人动作识别方法，在深度相机的支持下，在二维彩色图像的基础上增加了深度信息，更有利于实现复杂环境下的前后景分离等图像处理工作，可选取遮挡及视角变化适应性更好的三维人体骨骼细部特征作为动作分类与识别的特征，在实现动作表示及异常值修复后，选取长短期记忆网络(LSTM网络)进行动作的分类与识别，构建工人动作的识别方法，进而在不安全行为发生于作业活动各环节中，识别所需的特征比作业活动识别所需的特征更为细节，准确识别施工现场工人的不安全行为，为数字化安全管理提供支持。

其次参照附图描述根据本发明实施例提出的基于三维骨骼与LSTM的工人动作识别装置。

图6是本发明一个实施例的基于三维骨骼与LSTM的工人动作识别装置结构示意图。

如图6所示，该装置10包括：数据采集模块100、特征提取模块200、异常数据检测与修复模块300和训练与识别模块400。

其中，数据采集模块100用于构建特征动作库，采集特征动作库中的二维图像数据和三维点云数据。

进一步地，在本发明的一个实施例中，二维图像数据用于特征提取模块200的二维人体骨骼特征提取，三维点云数据用于将二维人体骨骼特征映射至三维人体骨骼特征。

具体地，数据采集模块100是特征提取模块200中特征提取、动作分类与识别等的基础，所采集的动作数据的质量直接影响后续动作识别模型的训练及模型质量。数据采集阶段包括特征动作库建立、数据采集原则构建、相机布置、动作数据采集这几个阶段，所采集的二维图像数据用于二维人体骨骼特征提取，三维点云数据用于二维特征至三维特征的映射，从而用于后续的关节夹角计算与动作表示。

特征提取模块200用于结合二维图像数据和三维点云数据提取其中的三维人体骨骼特征，并根据三维人体骨骼特征进行关节夹角计算，以形成特征向量，其中，特征向量划分为训练图像数据和测试图像数据。

进一步地，在本发明的一个实施例中，特征提取模块中通过OpenPose算法提取二维人体骨骼特征。

具体地，特征提取模块200是动作分类和识别的前置步骤，特征对识别效率和准确性均有较大影响。该阶段包括特征提取与动作表示这两个过程，前者是指从所采集的数据中提取三维人体骨骼特征，后者是基于提取的特征进行关节夹角计算以形成特征向量，将其组织后表示不同的动作，用于后续模型训练。

异常数据检测与修复模块300用于对三维人体骨骼特征进行检测，将关节点误识别形成的异常关节数据进行修复，并将修复后的异常数据返回至特征提取模块中。

具体地，异常数据检测与修复模块300是对特征提取阶段由于关节点误识别等原因形成的异常数据进行检测与修复，以保证数据的质量。若将异常数据直接输入网络进行模型训练，将直接影响动作识别模型的质量。

进一步地，在本发明的一个实施例中，异常数据检测与修复模块中根据人体工程学计算关节夹角的正常运动范围，以检测是否存在异常关节数据，若为存在，则基于前后帧连续性约束对检测为异常关节夹角相关的关节点进行局部修复。

训练与识别模块400用于将训练图像数据输入长短期记忆网络中进行有监督训练，获得具备识别能力的模型，并将测试图像数据输入具备识别能力的模型中，以输出动作类别。

具体地，训练与识别模块400是最终阶段，识别效果与前三模块形成的特征数据质量息息相关。该模块包括模型训练与调用，以及模型评估这两个过程，以实现各类动作的分类与识别。

进一步地，在本发明的一个实施例中，训练与识别模块400还包括：计算具备识别能力的模型的精确率和召回率，根据精确率和召回率对具备识别能力的模型进行评估，以保证模型质量。

根据本发明实施例提出的基于三维骨骼与LSTM的工人动作识别装置，在深度相机的支持下，选取遮挡及视角变化适应性更好的三维人体骨骼细部特征作为动作分类与识别的特征，在实现动作表示及异常值修复后，选取长短期记忆网络(LSTM网络)进行动作的分类与识别，构建工人动作的识别方法，进而准确识别施工现场工人的不安全行为，为数字化安全管理提供支持。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (8)

1.一种基于三维骨骼与LSTM的工人动作识别方法，其特征在于，包括以下步骤：

步骤S1，构建特征动作库，采集所述特征动作库中的二维图像数据和三维点云数据；

步骤S2，结合所述二维图像数据和所述三维点云数据提取其中的三维人体骨骼特征，并根据所述三维人体骨骼特征进行关节夹角计算，以形成特征向量，其中，所述特征向量划分为训练图像数据和测试图像数据，其中，对于端点关节点不进行夹角计算，对于非端点关节点，假设一共形成n个空间夹角，则一帧可以表示为(θ1,θ2，…,θn)T,则一个t秒的动作可以表示为如下形式：

；

步骤S3，对所述三维人体骨骼特征进行检测，将关节点误识别形成的异常关节数据进行修复，并将修复后的异常数据返回至所述步骤S2中，其中，所述步骤S3中根据人体工程学计算关节夹角的正常运动范围，以检测是否存在所述异常关节数据，对于具有多个自由度的关节，在不同平面上转动时有不同的活动范围，在检测时对不同平面上的活动范围进行整合与简化处理，取各平面正常活动范围的并集，对于不符合关节正常活动范围的关节夹角，即为异常；

若存在异常关节数据，则基于前后帧连续性约束对检测为异常关节夹角相关的关节点进行局部修复，具体包括：

若异常关节数据有大于2处关节夹角不符合关节正常活动范围，则进行舍弃处理；若异常关节数据仅有1至2处关节夹角不符合关节正常活动范围，根据该异常关节数据对应帧的前后帧数据对该夹角相关的异常关节点进行修复，取前后帧对应关节点坐标的平均值作为该帧目标关节点的坐标；

对于连续多帧关节数据异常的情况，根据动作特点细分，若动作在单一方向上变化，使用异常关节数据前后帧的关节点数据，按照等差分布计算出中间帧对应关节点的坐标；若动作循环往复，可找特定异常帧在前后循环中的对应帧，将这两帧作为该异常帧的“前后帧”，通过计算前后帧中对应关节点坐标的算术平均值以对该异常帧的目标关节点进行修复；

步骤S4，将所述训练图像数据输入长短期记忆网络中进行有监督训练，获得具备识别能力的模型，并将所述测试图像数据输入所述具备识别能力的模型中，以输出动作类别。

2.根据权利要求1所述的基于三维骨骼与LSTM的工人动作识别方法，其特征在于，所述二维图像数据用于所述步骤S2的二维人体骨骼特征提取，所述三维点云数据用于将所述二维人体骨骼特征映射至所述三维人体骨骼特征。

3.根据权利要求2所述的基于三维骨骼与LSTM的工人动作识别方法，其特征在于，所述步骤S2中通过OpenPose算法提取所述二维人体骨骼特征。

4.根据权利要求1所述的基于三维骨骼与LSTM的工人动作识别方法，其特征在于，所述步骤S4还包括：

计算所述具备识别能力的模型的精确率和召回率，根据所述精确率和所述召回率对所述具备识别能力的模型进行评估，以保证模型质量。

5.一种基于三维骨骼与LSTM的工人动作识别装置，其特征在于，包括：

数据采集模块，用于构建特征动作库，采集所述特征动作库中的二维图像数据和三维点云数据；

特征提取模块，用于结合所述二维图像数据和所述三维点云数据提取其中的三维人体骨骼特征，并根据所述三维人体骨骼特征进行关节夹角计算，以形成特征向量，其中，所述特征向量划分为训练图像数据和测试图像数据，其中，对于端点关节点不进行夹角计算，对于非端点关节点，假设一共形成n个空间夹角，则一帧可以表示为(θ1,θ2，…,θn)T,则一个t秒的动作可以表示为如下形式：

；

异常数据检测与修复模块，用于对所述三维人体骨骼特征进行检测，将关节点误识别形成的异常关节数据进行修复，并将修复后的异常数据返回至所述特征提取模块中，其中，根据人体工程学计算关节夹角的正常运动范围，以检测是否存在所述异常关节数据，对于具有多个自由度的关节，在不同平面上转动时有不同的活动范围，在检测时对不同平面上的活动范围进行整合与简化处理，取各平面正常活动范围的并集，对于不符合关节正常活动范围的关节夹角，即为异常；

若存在异常关节数据，则基于前后帧连续性约束对检测为异常关节夹角相关的关节点进行局部修复，具体包括：

若异常关节数据有大于2处关节夹角不符合关节正常活动范围，则进行舍弃处理；若异常关节数据仅有1至2处关节夹角不符合关节正常活动范围，根据该异常关节数据对应帧的前后帧数据对该夹角相关的异常关节点进行修复，取前后帧对应关节点坐标的平均值作为该帧目标关节点的坐标；

对于连续多帧关节数据异常的情况，根据动作特点细分，若动作在单一方向上变化，使用异常关节数据前后帧的关节点数据，按照等差分布计算出中间帧对应关节点的坐标；若动作循环往复，可找特定异常帧在前后循环中的对应帧，将这两帧作为该异常帧的“前后帧”，通过计算前后帧中对应关节点坐标的算术平均值以对该异常帧的目标关节点进行修复；以及

训练与识别模块，用于将所述训练图像数据输入长短期记忆网络中进行有监督训练，获得具备识别能力的模型，并将所述测试图像数据输入所述具备识别能力的模型中，以输出动作类别。

6.根据权利要求5所述的基于三维骨骼与LSTM的工人动作识别装置，其特征在于，所述二维图像数据用于所述特征提取模块的二维人体骨骼特征提取，所述三维点云数据用于将所述二维人体骨骼特征映射至所述三维人体骨骼特征。

7.根据权利要求6所述的基于三维骨骼与LSTM的工人动作识别装置，其特征在于，所述特征提取模块中通过OpenPose算法提取所述二维人体骨骼特征。

8.根据权利要求5所述的基于三维骨骼与LSTM的工人动作识别装置，其特征在于，所述训练与识别模块还包括：

计算所述具备识别能力的模型的精确率和召回率，根据所述精确率和所述召回率对所述具备识别能力的模型进行评估，以保证模型质量。

Images