CN108596148B - 一种基于计算机视觉的建筑工人劳动状态分析系统及方法 - Google Patents

Abstract

本发明公开了一种基于计算机视觉的建筑工人劳动状态分析系统及方法，通过计算机建立现场的不同劳动工种的动作训练库，体感摄像头采集工人的劳动区域内的场景信息，并经信号传输线传送至计算机，计算机采用动态时间规整算法及GestureBuilder分别对体感设备提供的人体骨骼图进行单人或多人的劳动动作识别；在识别出劳动动作的同时记录该工人的劳动工作时间，以及记录工人间断工作的时间等信息，智能监控模块显示信息，计算机对工人的劳动状态进行识别。

Description

一种基于计算机视觉的建筑工人劳动状态分析系统及方法

技术领域

本发明涉及施工现场智能管理领域，具体涉及一种基于计算机视觉的建筑工人劳动状态分析系统及方法。

背景技术

现阶段，在施工现场中，基层作业人员数量多、施工工作的开展复杂多变，现场管理者难以做到实时、全面和高效的人员管理，监管工作仍以粗放型为主。为加强对现场人员的监督管理，企业往往采用长周期、高密度、高投入的人员监管模式，该方式投入大、效率低，不利于提高现代化的施工管理水平。

目前，为提高现场人员管理水平，施工单位在建筑工地已普遍采用视频监管系统进行现场管理。但是，在既有的视觉监管系统中，主要通过控制室的监管人员对现场摄像传回来的视频数据进行人工监看和分析的方式来提高监管水平。该方式虽在一定程度上提高了人员管理水平，但是智能化程度低，从本质上还是人力监管的范畴。现场的视频监控设备获取了大量可以利用数据信息，但人力监管的方式并未能对其进行有效的利用以实现高效、智能、全面的管理效果，该方式的投入产出比是很低的。

当前关于施工现场智能化管理的相关系统集中于信息管理和进出管理等方面，在智能监控工人具体的劳动状态的领域中存在很大的空缺。

发明内容

为了克服现有技术中人力进行视频监控的投入产出比较低，既有监管系统的信息数据没能进行智能而高效地利用，以及没能实现对施工现场建筑工人的具体劳动行为的智能化监管的不足，本发明提供一种基于计算机视觉的建筑工人劳动状态分析系统及方法。

本发明采用如下技术方案：

一种基于计算机视觉的建筑工人劳动状态分析系统，包括前端采集模块、计算机及智能监控模块；

所述前端采集模块包括体感摄像头，所述体感摄像头通过信号传输线与计算机连接，所述体感摄像头架设在工人劳动区域的上方，其视场为劳动区域的各个方向视角，所述计算机与智能监控模块连接。

所述体感摄像头的型号为Xbox Kinect2.0。

所述智能监控模块包括LED显示屏和音响设备。

所述计算机内置包括不同施工工种的标准施工动作的动作训练库。

一种基于计算机视觉的建筑工人劳动状态分析系统的分析方法，包括如下步骤：

S1采集不同的施工工种各自相应的规范施工动作信息，录入标准施工动作，建立动作训练库；

S2体感摄像头实时采集现场施工工人劳作的视频图像信息，经信息传输线传送到计算机；

S3计算机提取视频图像中的人体骨骼信息得到骨骼数据，所述人体骨骼信息包括在一个时间段内获得某个关节点的位置和角度信息；

S4基于动态时间归整算法和GestureBuilder，将现场采集的信息与动作训练库的标准动作信息进行匹配以识别工人劳动动作，从而识别出各自相应的劳动动作类型等信息；

S5将识别结果用于劳动状态分析，并将分析结果反馈到智能监控模块。

所述S4中

动态时间归整算法(DTW)识别工人的劳动状态，动态时间归整算法具体是通过将不同长度的时间序列从时间维度上扭曲成非线性来测量时间维度上的非线性相似度，通过计算所有相似点的最短距离和来衡量两个时间序列的相似度，DTW将标准动作序列作为模板序列，通过采集现场施工人员的动作序列与模板序列计算出相似度，来判定工人的劳动状态。

通过计算所有相似点的最短距离和来衡量两个时间序列的相似度，DTW将标准动作序列作为模板序列，通过采集现场施工人员的动作序列与模板序列计算出相似度，来判定工人的劳动状态，具体步骤为：

给定两个视频序列，分别为样本序列X＝(x₁,...,x_N)和测试序列Y＝(y₁,...,y_M)，得到两个序列的长度分别是n和m；

确定视频序列中每一帧的特征值，所述特征值为各视频帧的动作向量，根据S1提取的标准动作特征，选择相应关节点构建动作向量，考虑到不同工人的身高体型是有差别的，采用动作向量间夹角的余弦值来作为标准动作序列的值，即：

选定一对序列中点到点的距离函数d(i,j)＝f(x_i,y_j)≥0，即序列X的每一个点和序列Y的每一个点之间的相似度，即：

d(i,j)＝(x_i-y_j)²

求解归整路径W＝w1+w2+w3+…+wk；

式中：wk的形式为(i,j)，其中i表示的是X中的i坐标，j表示的是Y中的j坐标；max(n,m)<＝k<＝n+m；归整路径W从w1＝(1,1)开始，到wk＝(n,m)结尾，以保证X和Y中的每个坐标都在W中出现；W中w(i,j)的i和j是单调增加的，即满足：对wk(i,j)，wk₊₁(i',j')有i<＝i'<＝i+1，j<＝j'<＝j+1；

求解归整路径是距离最短的一个归整路径，即最佳路径：

D(i,j)＝Dist(i,j)+min[D(i-1,j),D(i,j-1),D(i-1,j-1)]

最佳路径是使得沿路径的积累距离达到最小值这条路径；

将最佳路径与动作训练库的标准动作相匹配，得到工人的动作类型。基于GestureBuilder智能识别工人的劳动状态，具体为：

GestureBuilder体感设备中的手势训练器，通过导入Kinect Studio录制的动作剪辑，人工对剪辑中的动作片段进行标记True或False来引导Kinect进行机器学习，智能进行数据处理。

所述S5中，进行如下的劳动状态分析：

(1)根据识别结果是否与劳动动作库的动作类型匹配来判定是否进行工作，若在动作库中定义了所有可能的施工动作的类型，根据建筑工人进行的动作是否能与动作库中某一工作动作类型进行匹配来判定该工人是否工作，若不能匹配则认为工人在休息或者进行非必要的劳动；

(2)根据识别结果的匹配度判定建筑工人可能的施工工种类型，在定义劳动动作的同时关联了发生该动作可能的施工工种名称，取匹配度最高的施工动作的工种名称作为正在进行的施工工作类型；

(3)根据施工动作进行的累积时间来计算建筑工人的实际劳动时间，若识别结果为“正在工作”，则累加动作的持续时间；若识别结果为“暂停工作”则停止累加时间，根据累加时间的最终值作为劳动时长；

(4)根据识别的人体个数，记录班组实际到场工作的人数，同时识别多个建筑工人，根据识别到的建筑工人的个数判定该施工班组到场的人员数；

(5)根据完成动作的进程信息判定是否按标准动作进行规范施工，实时监测匹配度最高的劳动动作的完成情况，根据该劳动动作的进程信息判定是否规范施工。

本发明的有益效果，本方法搭建的原型系统可智能识别建筑工人的施工动作，本方法提供了用于识别和分析工人劳动状态信息的算法实现，程序可自动化地分析工人的劳动状态信息。通过本方法把标准劳动动作信息录入数据库可实现对新施工动作的识别与分析，实现对工人的施工劳动状态的智能化管理。

附图说明

图1是本发明的工作流程图；

图2是本发明的硬件结构设置图；

图3是本发明的LED显示屏的显示界面示意图。

具体实施方式

下面结合实施例及附图，对本发明作进一步地详细说明，但本发明的实施方式不限于此。

实施例

如图1、图2及图3所示，一种基于计算机视觉的建筑工人劳动状态分析系统，包括前端采集模块、计算机及智能监控模块；

所述前端采集模块包括体感摄像头，所述体感摄像头通过信号传输线与计算机连接，所述体感摄像头架设在工人劳动区域的上方，其视场为劳动区域的各个方向视角，所述计算机与智能监控模块连接。

所述体感摄像头的型号为Xbox Kinect2.0，电源适配器接PC/ONE S。

所述智能监控模块由LED显示屏及音响设备构成，所述LED显示屏的型号为CSD-P6-SMD3535，双备份电源线，分辨率在720P以上。

本实施例中包括一套体感摄像头、两块LED显示屏和一个音响设备，LED屏上分别显示了现场获取的视频信息及视频处理模块分析后的劳动状态信息。

所述计算机内置包括不同施工工种的标准施工动作的动作训练库。

实施时，体感摄像头采集工人的劳动区域内的场景信息，并经信号传输线路传送至计算机进行图像处理分析；计算机中的视频信息处理采用动态时间归整算法对体感设备提供的人体骨骼图进行劳动动作识别；在识别出劳动动作的同时记录该工人的劳动工作时间，以及记录工人间断工作的时间等信息；程序将识别出的劳动信息输送到智能监控的终端显示设备上，设备对工人的劳动状态进行智能响应。

一种基于计算机视觉的建筑工人劳动状态分析方法，包括如下步骤：

S1采集不同的施工工种各自相应的规范施工动作信息，录入标准施工动作，建立动作训练库，具体为：

典型施工动作的选取；

建立施工动作的空间向量模型。

S2体感摄像头实时采集现场施工工人劳作的视频图像信息，经信息传输线传送到计算机；

S3计算机提取视频图像中的人体骨骼信息得到骨骼数据，所述人体骨骼信息包括在一个时间段内获得某个关节点的位置和角度信息；

包含人体动作的图像视频可以分解成一系列的帧图像，每一帧图像可以提取出一个人体的静态姿态，因此，图像视频中的人体动作可以视作由一系列的人体静态姿态组合而成。

反映人体静态姿态的一个关节角度随着人体运动时间的推移将产生一个关节角度向量，该向量可以反映出人体动作的变化趋势。

一般做不同动作时，关节角度变化规律的相似度很低，因此人体关节角度的时间序列可以作为区分人体动态动作类别的判据。取多个关节角度作为区分人体姿态的特征时，个别特征相似导致的错误判定将大大降低。

求解人体关节点之间角度的方法为：首先，选取要计算关节角度所涉及的关节点；然后，采用Kinect获取的关节点的三维坐标值，构造关节结构向量；最后利用余弦定理求出关节点连线之间的角度大小。

S4基于动态时间归整算法和GestureBuilder，将现场采集的信息与动作训练库的标准动作信息进行匹配以识别工人劳动动作，从而识别出各自相应的劳动动作类型等信息。

所述S4中

动态时间归整算法识别单人的劳动状态，动态时间归整算法具体是通过将不同长度的时间序列从时间维度上扭曲成非线性来测量时间维度上的非线性相似度，通过计算所有相似点的最短距离和来衡量两个时间序列的相似度，DTW将标准动作序列作为模板序列，通过采集现场施工人员的动作序列与模板序列计算出相似度，来判定工人的劳动状态。

动态时间规整算法主要思想是通过动态规划来寻找两条不同长度的序列之间距离最小的一个匹配路径(最优匹配路径)，而得到的匹配路径就是两个序列上点与点的映射关系。

具体步骤为：

S4.1通过动态时间规整算法(DTW)得到最佳路径；

S4.1.1给定两个视频序列，分别为样本序列X＝(x₁,...,x_N)和测试序列Y＝(y₁,...,y_M)，两个序列的长度分别为n和m。

S4.1.2确定视频序列中每一帧的特征值，所述特征值为各视频帧的动作向量，根据S1提取的标准动作特征，选择相应关节点构建动作向量，考虑到不同工人的身高体型是有差别的，采用动作向量间夹角的余弦值来作为标准动作序列的值，即：

S4.1.3选定一对序列中点到点的距离函数d(i,j)＝f(x_i,y_j)≥0，即序列X的每一个点和序列Y的每一个点之间的相似度，即：

d(i,j)＝(x_i-y_j)²

S4.1.4求解归整路径W＝w1+w2+w3+…+wk；

式中：wk的形式为(i,j)，其中i表示的是X中的i坐标，j表示的是Y中的j坐标；max(n,m)<＝k<＝n+m；归整路径W从w1＝(1,1)开始，到wk＝(n,m)结尾，以保证X和Y中的每个坐标都在W中出现；W中w(i,j)的i和j是单调增加的，即满足：对wk(i,j)，wk₊₁(i',j')有i<＝i'<＝i+1，j<＝j'<＝j+1；

S4.1.5求解归整路径得到距离最短的一个归整路径，即最佳路径：

D(i,j)＝Dist(i,j)+min[D(i-1,j),D(i,j-1),D(i-1,j-1)]

最佳路径是使得沿路径的积累距离达到最小值这条路径。

S4.2基于GestureBuilder智能识别多人的劳动状态。GestureBuilder体感设备中的手势训练器，通过导入Kinect Studio录制的动作剪辑，人工对剪辑中的动作片段进行标记True或False来引导Kinect进行机器学习，智能进行数据处理。具体的实现工程如下：

S4.2.1标准动作剪辑录制。使用Kinect Studio录入标准动作，在Record模式在进行数据采集。数据源采用Nui Raw IR 11bit确保采集的数据真实有效，将采集到的数据转换为GestureBuilder能识别的数据格式。

S4.2.2建立GestureBuilde解决方案。根据标准动作的特征例如是否区分左右手、是否忽略下肢、离散动作还是连续动作等创建对应的解决方案solution文件。在解决方案中根据待检测标准动作的动作分解分别建立相应的分析项目。

S4.2.3动作剪辑录入。分别在三个分析项目中导入包含相应动作的剪辑，导入剪辑越多识别结果越准确。

S4.2.4动作剪辑逻辑标定。动作剪辑标定就是在动作剪辑中标记出动作是否符合待检测动作，具体标记方式视动作类型而定。根据动作是否连续可以将动作分为离散和连续两种类型。其中离散动作的逻辑标定是1为真0为假，连续动作的逻辑标定需要指定各个时刻动作的完成度，开始为0结束为1，中间根据完成度插值。

S4.2.5动作识别库生成。导入动作剪辑，逻辑判断完毕后，GestureBuilde会生成动作识别库作为判定待检测动作的依据。

S4.2.6动作识别库的调用。首先创建vgb数据源，定义为待检测动作的识别库。然后为vgb帧创建阅读器来接收帧数据，设定待检测动作。离散动作的检测结果是置信度，连续动作的检测结果为进度值。

S5将识别结果的实时反馈到监控模块。视频信息处理模块在分析结束后会实时地将动人的劳动状态信息传输到监控模块。在监控模块，LED显示屏将显示工人是否在劳动、劳动的工种、劳动的持续时间以及图像识别骨骼图等；当连续间断时间过长时，音响设备发出声音信息，供管理人员调度参考；同时，监控模块将实时记录劳动状态的信息。

S5.1基于DTW的动作检测反馈。智能监控模块显示工作与否的判定，并给出了工人正在做的动作名称。若工人在劳动则监控界面上的逻辑值显示“True”，并把双手的腕关节标记为绿色；如果工人不在劳动则逻辑值显示“False”，把双手的腕关节标记为酒红色。界面同时显示了该工人劳动持续时间，若工人停止工作则计时停止。

S5.2基于GestureBuilder动作检测反馈。GestureBuilder的反馈界面分为左右两侧，右侧同时显示6位劳动者的骨骼图，左侧同时显示6位劳动者的劳动状态并进行跟踪，分三种情况进行显示。

(1)如果感应范围内没有人则显示Not Tracked，ShovelStart显示False，代表动作未开始，Progress显示0代表动作进程为0。

(2)当感应到人但人没有工作则显示Not Shovelling，ShovelStart显示False，代表动作未开始，Progress显示0代表动作进程为0。

(3)感应到人且人在工作则显示Shovelling，ShovelStart显示True，代表动作已经开始，显示进度值代表动作进程。

所述S5中，进行如下的劳动状态分析：

(1)根据识别结果是否与劳动动作库的动作类型匹配来判定是否进行工作。若在动作库中定义了所有可能的施工动作的类型，根据建筑工人进行的动作是否能与动作库中某一工作动作类型进行匹配来判定该工人是否工作，若不能匹配则认为工人在休息或者进行非必要的劳动；

(2)根据识别结果的匹配度判定建筑工人可能的施工工种类型，在定义劳动动作的同时关联了发生该动作可能的施工工种名称，取匹配度最高的施工动作的工种名称作为正在进行的施工工作类型；

(3)根据施工动作进行的累积时间来计算建筑工人的实际劳动时间，若识别结果为“正在工作”，则累加动作的持续时间；若识别结果为“暂停工作”则停止累加时间，根据累加时间的最终值作为劳动时长；

(4)根据识别的人体个数，记录班组实际到场工作的人数，同时识别多个建筑工人，根据识别到的建筑工人的个数判定该施工班组到场的人员数；

(5)根据完成动作的进程信息判定是否按标准动作进行规范施工，实时监测匹配度最高的劳动动作的完成情况，根据该劳动动作的进程信息判定是否规范施工。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受所述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (7)

1.一种基于计算机视觉的建筑工人劳动状态分析系统的分析方法，其特征在于，包括前端采集模块、计算机及智能监控模块；

所述前端采集模块包括体感摄像头，所述体感摄像头通过信号传输线与计算机连接，所述体感摄像头架设在工人劳动区域的上方，其视场为劳动区域的各个方向视角，所述计算机与智能监控模块连接；

分析方法包括如下步骤：

S1采集不同的施工工种各自相应的规范施工动作信息，录入标准施工动作，建立动作训练库；

S2体感摄像头实时采集现场施工工人劳作的视频图像信息，经信息传输线传送到计算机；

S3计算机提取视频图像中的人体骨骼信息得到骨骼数据，所述人体骨骼信息包括在一段时间内获得某个关节点的位置和角度信息；

S4基于动态时间归整算法，根据采集的关节点的位置和角度信息，与动作训练库的标准动作信息进行匹配，识别工人的劳动动作，从而识别出各自相应的劳动动作类型及劳动状态；

S5将识别结果用于劳动状态分析，并将分析结果反馈到智能监控模块；

所述S4中

动态时间归整算法识别工人的劳动状态，具体是通过将不同长度的时间序列从时间维度上扭曲成非线性来测量时间维度上的非线性相似度，通过计算所有相似点的最短距离和来衡量两个时间序列的相似度，DTW将标准动作序列作为模板序列，通过采集现场施工人员的动作序列与模板序列计算出相似度，来判定工人的劳动状态。

2.根据权利要求1所述的分析方法，其特征在于，通过计算所有相似点的最短距离和来衡量两个时间序列的相似度，DTW将标准动作序列作为模板序列，通过采集现场施工人员的动作序列与模板序列计算出相似度，来判定工人的劳动状态，具体步骤为：

给定两个视频序列，分别为样本序列X＝(x₁,...,x_N)和测试序列Y＝(y₁,...,y_M)，得到两个序列的长度分别是n和m；

确定视频序列中每一帧的特征值，所述特征值为各视频帧的动作向量，根据S1提取的标准动作特征，选择相应关节点构建动作向量，考虑到不同工人的身高体型是有差别的，采用动作向量间夹角的余弦值来作为标准动作序列的值，即：

选定一对序列中点到点的距离函数d(i,j)＝f(x_i,y_j)≥0，即序列X的每一个点和序列Y的每一个点之间的相似度，即：

d(i,j)＝(x_i-y_j)²

求解归整路径W＝w1+w2+w3+…+wk；

式中：wk的形式为(i,j)，其中i表示的是X中的i坐标，j表示的是Y中的j坐标；max(n,m)<＝k<＝n+m；归整路径W从w1＝(1,1)开始，到wk＝(n,m)结尾，以保证X和Y中的每个坐标都在W中出现；W中w(i,j)的i和j是单调增加的，即满足：对wk(i,j)，wk₊₁(i',j')有i<＝i'<＝i+1，j<＝j'<＝j+1；

求解归整路径是距离最短的一个归整路径，即最佳路径：

D(i,j)＝Dist(i,j)+min[D(i-1,j),D(i,j-1),D(i-1,j-1)]

最佳路径是使得沿路径的积累距离达到最小值这条路径；

将最佳路径与动作训练库的标准动作相匹配，得到工人的动作类型。

3.根据权利要求1所述的分析方法，其特征在于，所述S4中，还包括GestureBuilder训练器智能识别多人的劳动状态，具体为：

GestureBuilder体感设备中的手势训练器，通过导入Kinect Studio录制的动作剪辑，人工对剪辑中的动作片段进行标记True或False来引导Kinect进行机器学习，智能进行数据处理。

4.根据权利要求1所述的分析方法，其特征在于，所述S5中，将识别结果用于劳动状态分析，具体为：

(1)根据识别结果是否与标准动作训练库的动作类型匹配来判定是否进行工作，若在动作库中定义所有可能的施工动作的类型，根据工人进行的动作是否能与动作库中某一工作动作类型进行匹配来判定该工人是否工作，若不能匹配则认为工人在休息或者进行非必要的劳动；

(2)根据识别结果的匹配度判定工人可能的施工工种类型，在定义劳动动作的同时关联了发生该动作可能的施工工种名称，取匹配度最高的施工动作的工种名称作为正在进行的施工工作类型；

(3)根据施工动作进行的累积时间来计算建筑工人的实际劳动时间，若识别结果为“正在工作”，则累加动作的持续时间；若识别结果为“暂停工作”则停止累加时间，根据累加时间的最终值作为劳动时长；

(4)根据识别的人体个数，记录班组实际到场工作的人数，同时识别多个工人，根据识别到的建筑工人的个数判定该施工班组到场的人员数；

(5)根据完成动作的进程信息判定是否按标准动作进行规范施工，实时监测匹配度最高的劳动动作的完成情况，根据该劳动动作的进程信息判定是否规范施工。

5.根据权利要求1所述的建筑工人劳动状态分析系统的分析方法 ，其特征在于，所述体感摄像头的型号为Xbox Kinect2.0。

6.根据权利要求1所述的建筑工人劳动状态分析系统的分析方法 ，其特征在于，所述智能监控模块包括LED显示屏和音响设备。

7.根据权利要求1所述的建筑工人劳动状态分析系统的分析方法 ，其特征在于，所述计算机内置包括不同施工工种的标准施工动作的动作训练库。

Images