CN112949511A - 一种基于机器学习和图像识别的施工现场人员管理方法 - Google Patents

Abstract

本发明公开了一种基于机器学习和图像识别的施工现场人员管理方法，其包括：使用AI智能检测相机对施工人员进行信息采集与标注，建立施工人员人像库；使用AI智能检测相机采集施工现场人员的动态图像，使用多模型融合算法实施人像识别，建立施工人员档案；根据施工现场人员的动态图像，对施工人员的运行轨迹进行初步分析，基于初步分析结果、施工现场的时空联系信息和施工人员档案构建训练模型；通过人像、人体的多特征信息，基于深层神经网络模型，融合大场景空间模型，实现对人员的连续动态轨迹追踪；根据追踪的人员轨迹对人员的行为信息进行评估，视需做出预警。

Description

一种基于机器学习和图像识别的施工现场人员管理方法

技术领域

本发明属于建筑工程技术领域，涉及一种基于机器学习和图像识别的施工现场人员管理方法。

背景技术

建筑工程中，施工作业现场环境复杂，施工人员组成类别繁多，传统的施工现场人员管理方式存在着管理人员无法客观判定情况、现场作业面具有监管盲区、现场人员动态信息无法实时传输等问题。

目前施工现场采用的人员门禁系统基本分为刷卡门禁系统、指纹门禁系统、人脸识别门禁系统。上述系统均为被动式识别，需要来访者佩戴可识别标签、体态特征明显以及满足运动静止的条件等，容易出现标签丢失，导致非本工地施工人员进入施工现场以及施工现场环境无法满足体态特征识别条件的情况。

此外，当前的施工现场监控系统仅能做好实时监控现场情况，无法对施工人员的危险动作进行预警，以及对于体感温度过高人员的轨迹追踪。

因此，亟需设计一种基于机器学习和图像识别的施工现场人员管理方法，解决现有技术中存在的技术问题。

发明内容

本发明的目的是至少一定程度上解决现有技术中存在的部分技术问题，提供的一种基于机器学习和图像识别的施工现场人员管理方法，基于机器学习、计算机视觉和图像识别，并联合物联网技术，对施工现场人员的行为、人像、衣着装扮、运动轨迹、体感温度等五个方面进行人员信息化管理，进而实现对施工现场的精细化管理，能够实时快速高效的管理施工现场人员。

为解决上述技术问题，本发明提供的一种基于机器学习和图像识别的施工现场人员管理方法，其包括：

S1，使用AI智能检测相机对施工人员进行信息采集与标注，建立施工人员人像库；

S2，使用AI智能检测相机采集施工现场人员的动态图像，使用多模型融合算法实施人像识别，建立施工人员档案；

所述多模型融合算法包括：

S21,从模型池中寻找一个最优的模型组合；

S22，以多个模型计算出的top-k图像的相似度为基础，利用神经网络模型确定多种人像特征信息在相似度级别上的关联；

S23，计算得到一个综合的人像比对排序和打分；

S3，根据施工现场人员的动态图像，对施工人员的运行轨迹进行初步分析，基于初步分析结果、施工现场的时空联系信息和施工人员档案构建训练模型；

S4，通过人像、人体的多特征信息，基于深层神经网络模型，融合大场景空间模型，实现对人员的连续动态轨迹追踪；

S5，根据追踪的人员轨迹对人员的行为信息进行评估，视需做出预警。

作为优选实施例，人像识别包括人脸检测、质量分析、关键点检测对齐、人脸特征提取和人脸比对，实现不利检测环境下的快速标记人像位置。

作为优选实施例，在进行人像识别之前，需要进行图像画质矫正，分析人像五官的完整性，过滤不利于特征提取的人像，对在较远距离中捕捉到的模糊人像进行超分优化。

作为优选实施例，建立施工人员档案是对施工现场采集的人像图像进行自动聚类，将同一人的人像图像合并自动建档并赋予唯一ID，自动记录被采集人员的所有行为数据。

作为优选实施例，施工人员档案建立包括实时建档模式和离线建档模式，其设置于分布式的计算集群系统中，以对数据进行快速计算及存储。

作为优选实施例，步骤S2中，建立施工人员档案包括：

S210，通过多相机获取的人像图像，通过提取人像、人体及其他辅助特征，采用无监督聚类的方法与身份证信息关联，得到人像图像的一人一档ID 标签；

S220,在当日人像建档的基础上，通过提取人像特征和身份证信息辅助的方式，进行跨天的ID标签关联，最后得到每个图片一个跨天全局的ID标签；

S230，对采用不同型号的相机拍摄或拍摄角度不同的人像图片，进行特殊的模型训练及针对性的阈值调整。

作为优选实施例，步骤S22中，利用多种不同场景下的人像识别模型提取人像特征，对于每张人像图像I_j都会得到一个人像特征集F_j＝{f_1j,f_2j,f_3j,...,f_mj}；计算人像图像对中图像I_a和图像I_b的相似度，得到一组相似度向量

其中，

作为优选实施例，通过将每一个相似度向量传递至神经网络模型进行计算，得到第一概率P₁和第二概率P₂，对第一概率P₁和第二概率P₂归一化处理，确定相似度阈值；根据相似度阈值利用临近算法寻找出与比对图片最接近的 top-k图像。

作为优选实施例，所述连续动态轨迹追踪为单相机多目标的轨迹追踪，其包括以下步骤：

S41,基于给定的视频截图，通过训练机器学习模型，实时且高精度地检测出人体、人像、人头的矩形区域；

S42，根据施工现场步骤的温度传感器得出被检测人员的体感温度，发送给后端进行跟踪和人像识别；

S43，在视频序列中，对抓拍到的人像图像按照模糊度、角度、遮挡程度进行质量综合打分和排序，最后选出质量最高的图片发送到后端进行运行轨迹调参。

本发明有益效果：

本发明提供的一种基于机器学习和图像识别的施工现场人员管理方法，其结构合理，基于机器学习、计算机视觉和图像识别，并联合物联网技术，对施工现场人员的行为、人像、衣着装扮、运动轨迹、体感温度等五个方面进行人员信息化管理，进而实现对施工现场的精细化管理，能够实时快速高效的管理施工现场人员。

附图说明

通过结合以下附图所作的详细描述，本发明的上述优点将变得更清楚和更容易理解，这些附图只是示意性的，并不限制本发明，其中：

图1是本发明所述一种基于机器学习和图像识别的施工现场人员管理方法的流程图；

图2是本发明所述人像识别的模型图；

图3是本发明所述多模型融合算法的流程图；

图4是本发明所述连续动态轨迹追踪的流程图；

图5是本发明实时构建施工人员档案的框架图；

图6是本发明离线构建施工人员档案的框架图；

图7是本发明所述分布式的计算集群系统的示意图；

图8是本发明所述多模型融合算法进行人像识别的框架图；

图9是本发明所述深层神经网络模型的示意图。

具体实施方式

图1至图9是本申请所述一种基于机器学习和图像识别的施工现场人员管理方法的相关示意图，下面结合具体实施例和附图，对本发明进行详细说明。

在此记载的实施例为本发明的特定的具体实施方式，用于说明本发明的构思，均是解释性和示例性的，不应解释为对本发明实施方式及本发明范围的限制。除在此记载的实施例外，本领域技术人员还能够基于本申请权利要求书和说明书所公开的内容采用显而易见的其它技术方案，这些技术方案包括采用对在此记载的实施例的做出任何显而易见的替换和修改的技术方案。

本说明书的附图为示意图，辅助说明本发明的构思，示意性地表示各部分的形状及其相互关系。请注意，为了便于清楚地表现出本发明实施例的各部件的结构，各附图之间并未按照相同的比例绘制。相同的参考标记用于表示相同的部分。

本发明所述一种基于机器学习和图像识别的施工现场人员管理方法的流程图，如图1所示。基于机器学习和图像识别的施工现场人员管理方法包括：

S1，使用AI智能检测相机对施工人员进行信息采集与标注，建立施工人员人像库；

作为优选实施例，人像识别包括人脸检测、质量分析、关键点检测对齐、人脸特征提取和人脸比对，实现不利检测环境下的快速标记人像位置，其示意图，如图2所示。

通过在施工现场门禁处、主要监控位置合理安装AI智能摄像头硬件设备，当硬件设备检测到施工人员的人像时，AI智能人像检测系统进行人像质量评估。

首先，系统进行图像画质矫正，分析人像五官的完整性，过滤低头、侧脸等不利于特征提取的人像，此外对于在较远距离中捕捉到的模糊人像进行超分优化。人像质量评估后，系统进行形态矫正，包括稠密人像关键点检测、头部姿态预估、姿态矫正对齐等。

其次，系统采用多网络的特征融合、硬件加速以及在软件层面上采用混合精度推理，进一步减少特征提取过程时间，保证比对过程中的流畅度，同时提高了特征值的可靠性，进而得到了更丰富、鲁棒的特征向量。

最后，系统基于多网络融合的人像特征进行分析，得到相应的比对分数，并依此重新进行映射调整。除此之外，针对不同的施工场景，会对比对的度量空间进行矫正，最后得到更鲁棒、稳定的比对结果。

最终，可以通过采集人像图片与AI智能人像检测系统自有的人像库进行比对，比对后系统自动进行实时预警，在一定程度上大大提升了工程管理人员对于非施工现场人员的管理，保证了施工现场劳务人员实名制。

S2，使用AI智能检测相机采集施工现场人员的动态图像，使用多模型融合算法实施人像识别，建立施工人员档案；

建立施工人员档案是对施工现场采集的人像图像进行自动聚类，将同一人的人像图像合并自动建档并赋予唯一ID，自动记录被采集人员的所有行为数据。行为数据包括人像图像、年龄、性别、进入施工现场次数、进入施工现场时间、进入施工现场、历史记录等。

所述多模型融合算法的流程图，如图3所示，其包括：

S21,从模型池中寻找一个最优的模型组合；

S22，以多个模型计算出的top-k图像的相似度为基础，利用神经网络模型确定多种人像特征信息在相似度级别上的关联；

S23，计算得到一个综合的人像比对排序和打分。

作为优选实施例，步骤S22中，利用多种不同场景下的人像识别模型提取人像特征，对于每张人像图像I_j都会得到一个人像特征集F_j＝{f_1j,f_2j,f_3j,...,f_mj}；计算人像图像对中图像I_a和图像I_b的相似度，得到一组相似度向量

其中，

作为优选实施例，通过将每一个相似度向量传递至神经网络模型进行计算，得到第一概率P₁和第二概率P₂，对第一概率P₁和第二概率P₂归一化处理，确定相似度阈值；根据相似度阈值利用临近算法寻找出与比对图片最接近的 top-k图像。

S3，根据施工现场人员的动态图像，对施工人员的运行轨迹进行初步分析，基于初步分析结果、施工现场的时空联系信息和施工人员档案构建训练模型；

S4，通过人像、人体的多特征信息，基于深层神经网络模型，融合大场景空间模型，实现对人员的连续动态轨迹追踪；

作为优选实施例，所述连续动态轨迹追踪为单相机多目标的轨迹追踪，其流程图，如图4所示，其包括以下步骤：

S41,基于给定的视频截图，通过训练机器学习模型，实时且高精度地检测出人体、人像、人头的矩形区域；

S42，根据施工现场步骤的温度传感器得出被检测人员的体感温度，发送给后端进行跟踪和人像识别；

S43，在视频序列中，对抓拍到的人像图像按照模糊度、角度、遮挡程度进行质量综合打分和排序，最后选出质量最高的图片发送到后端进行运行轨迹调参。

S5，根据追踪的人员轨迹对人员的行为信息进行评估，视需做出预警。

作为本发明的一个实施例，施工人员档案建立包括实时建档模式和离线建档模式，其设置于分布式的计算集群系统中，以对数据进行快速计算及存储。其中，实时建档模式是实现施工现场人员照片的实时识别和建档，离线建档则实现对历史全量人像库的跨时间关联和数据清洗，最终实现了更高精度的人员信息建档质量，并随着时间动态累积施工现场人像数据。同时，还可通过与身份证信息、公安人像照片等第三方静态的人像对比和关联，形成AI智能人像检测系统实名档案库和非实名档案库两类，便于管理人员对劳务进行统一的高效管控。

作为优选实施例，步骤S2中，建立施工人员档案包括：

S210，通过多相机获取的人像图像，通过提取人像、人体及其他辅助特征，采用无监督聚类的方法与身份证信息关联，得到人像图像的一人一档ID 标签；

S220,在当日人像建档的基础上，通过提取人像特征和身份证信息辅助的方式，进行跨天的ID标签关联，最后得到每个图片一个跨天全局的ID标签；

S230，对采用不同型号的相机拍摄或拍摄角度不同的人像图片，进行特殊的模型训练及针对性的阈值调整。

具体地，实时建档模式是由分发服务、人像服务、特征引擎等子模块组成的一套微服务架构的系统，同时也是对底层识别算法、轨迹算法及跟踪算法工程化的实现，其框架图，如图5所示。AI智能人像检测系统实时接收施工现场内所有硬件设备抓拍的人像图像，进行1vN比对和自动聚类，基于所有在场人员的实时人像构建了动态的补偿机制，保证了建档的准确性。例如时间维度会根据不同时间段抓拍到的照片动态替换或扩充人像库；空间维度上根据同行的人员信息修正人像库。AI智能检测系统不仅满足了业务层面实时性、建档准确性，还在系统稳定性上有一定的保证，确保了服务度良好且高效。

离线建档模式应用了分布式集群来加速计算和存储数据，其框架图，如图 6所示。同时在实时建档结果的基础上，结合现有的档案库，使用多个离线算法模型做聚类和关联，最终通过神经元算法融合多轮结果，实现更高精度的建档。

需要说明的是，建档对于计算量的要求非常高，即使少量数据单机执行也很耗时，为满足施工现场跨天大规模人员人像数据的快速聚类和建档，设定了分布式的计算集群系统，如图7所示，对于海量数据也可以做到快速计算和存储。分布式是指将一个大的任务拆分成不同的子任务。AI智能人像检测中设定的计算平台会根据任务量和数据量的不同做自动拆分，然后通过调度算法均衡地将任务分发到集群的各个节点上，同时做建档计算，将计算结果回流的主节点进行统一汇总合并，输出结果，实现了AI智能人像检测系统的高可用和高吞吐量。

在施工现场人像识别应用中，同一人在多幅人像图像上可能会表现出多种表情变化或姿态旋转，还有光照改变、外界遮挡和模糊等因素影响，获取的人像特征也会随之发生巨大的差别，这些复杂情况给人像识别带来了很大的挑战。仅依靠一种人像识别模型的方法是无法满足在施工场景中表现出很高的准确性和鲁棒性。AI智能人像检测系统通过自动融合多个不同模型的输出值综合给出搜索结果，可以超过任意单一模型的性能，实现更高的召回、更低的误识。

本发明采用多模型融合算法进行人像识别，其框架图，如图8所示。多模型融合算法有效地利用了不同特征之间的互补性，弥补了单一特征对人像描述能力不足的缺点，大大提高了施工现场人员人像识别的精准度。

下面结合图8的框架图，简述多模型融合算法的步骤。

利用多种不同场景下的人像识别模型提取人像特征，对于每张人像图像I_j都会得到一个人像特征集F_j＝{f_1j,f_2j,f_3j,...,f_mj}。假设需要计算人像图像对中图像I_a和图像I_b的相似度，对于图像I_a的人像特征集:F_a＝{f_1a,f_2a,f_3a,...,f_ma}；对于图像I_b的人像特征集:F_b＝{f_1b,f_2b,f_3b,...,f_mb},计算图像I_a和图像I_b在各个特征上的相似度就是分别计算他们每种特征向量的上的相似度，相似度的计算方法如公式(1)所示，

具体的计算过程如下：

…

这样对于每个图像对，都会得到一组相似度向量

通过将每一个相似度向量传递给如图9所示的深层神经网络模型进行计算，得到第一概率P₁和第二概率P₂，其中，第一概率P₁表示两张图像不是同一类别的概率，第一概率P₁越大表示两张图像越不可能是同一类；第二概率P₂表示两张图像是同一类别的概率，第二概率P₂越大，表示两张图像越可能是同一类别；最后，由于预设的神经网络模型的输出第一概率P₁和第二概率P₂并不严格在内，针对每一个第一概率和其对应的第二概率，计算其对应的人像图像对的相似度，采用sigmoid函数将第一概率P₁和第二概率P₂都转换到(0,1)区间内, 并且保持单调递增，转换过程如下：

公式(2)的目的是为了将第一概率P₁和第二概率P₂统一为一个值(归一化) 方便人像识别时确定相似度阈值，得到相似度后利用临近算法寻找出与比对图片最接近的top-k图像。

其中，临近算法为k-近邻算法(k-Nearest Neighbour algorithm)，其工作原理是：给定一个已知标签类别的训练数据集，输入没有标签的新数据后，在训练数据集中找到与新数据最邻近的k个实例，如果这k个实例的多数属于某个类别，那么新数据就属于这个类别。即由那些离新数据最近的k 个实例来投票决定新数据归为哪一类。k-近邻算法的步骤为：

(1)计算已知类别数据集中的点与当前点之间的距离；

(2)按照距离递增次序排序；

(3)选取与当前点距离最小的k个点；

(4)确定前k个点所在类别的出现频率；

(5)返回前k个点出现频率最高的类别作为当前点的预测类别。

由上述的流程可知，对于一个确定的训练集，只要确定了距离度量、k值和分类决策规则，就能对任何一个新的实例，确定它的分类。对于k值的选择，一般根据样本的分布，选择一个较小的值，然后通过交叉验证选择一个合适的k值。

a)选择较小的k值，就相当于用较小的领域中的训练实例进行预测，训练误差会减小，只有与输入实例较近或相似的训练实例才会对预测7结果起作用，与此同时带来的问题是泛化误差会增大。换句话说，k值的减小就意味着整体模型变得复杂，容易发生过拟合。

b)选择较大的k值，就相当于用较大领域中的训练实例进行预测，其优点是可以减少泛化误差，但缺点是训练误差会增大。这时候，与输入实例较远 (不相似的)训练实例也会对预测器作用，使预测发生错误。换句话说，k值的增大就意味着整体的模型变得简单，容易发生欠拟合。

本发明中，连续动态轨迹追踪为单相机多目标的轨迹追踪，其属于大场景空间下人员运动轨迹实时追踪技术。通过对大空间场景进行厘米级的高精度三维模型重构，基于异构深层神经网络模型函数千万项参数训练调优，不仅可达到秒级连续跟踪识别大场景区域内全量人员，还可判定出不同摄像头、不同的行为、不同的衣着等表现下的同一人，准确率大于90％。同时在摄像头可视范围内且无遮挡的情况下，轨迹追踪时长从捕捉到结束的连续占比高于99％，此外在不依赖于人像信息的前提下依然可进行精准的人员轨迹跟踪识别。

基于激光匹配、多传感器融合、图优化等定位技术，获取激光雷达在运动过程中精准位置，并根据位置将运动中采集到的多个局部激光扫描得到的点云模型，最终实现对大规模场景的自动化拼接以及数字化模型构建，模型精度可达厘米级。

基于重构的厘米级高精度三维空间模型，设定可覆盖大场景全局的摄像头，应用计算机视觉技术实现大场景空间下人员运行轨迹实时追踪，主要分为以下三种情况：

①单摄像头动态连续运行轨迹追踪

实现单摄像头下对多人进行动态连续轨迹追踪。

②跨摄像头动态连续运行轨迹追踪(单人)

实现跨摄像头下对单一人员进行动态连续轨迹追踪。

③跨摄像头动态秒级连续运行轨迹追踪(多人)

实现跨摄像头下对多人进行动态连续轨迹追踪。

本发明中，能够实现在面部被遮挡、侧身及远距离情况下的人员精准识别，同时进行人员运行轨迹连续追踪，即能够实现Facefree动态连续运行轨迹追踪。

本发明基于原有的视频监控设备，应用多层神经网络算法、大数据分析技术的视频分类方法、图像识别方法等，改善了原有的施工现场人员门禁系统静止打卡识别模式，实现了人员轨迹追踪、人员形态特征预警，进而确保了对施工现场人员快速、实时、有效的管理。

相比于现有技术的缺点和不足，本发明提供的一种基于机器学习和图像识别的施工现场人员管理方法，基于机器学习、计算机视觉和图像识别，并联合物联网技术，对施工现场人员的行为、人像、衣着装扮、运动轨迹、体感温度等五个方面进行人员信息化管理，进而实现对施工现场的精细化管理，能够实时快速高效的管理施工现场人员。

本发明不局限于上述实施方式，任何人在本发明的启示下都可得出其他各种形式的产品，但不论在其形状或结构上作任何变化，凡是具有与本申请相同或相近似的技术方案，均落在本发明的保护范围之内。

Claims (9)

1.一种基于机器学习和图像识别的施工现场人员管理方法，其特征在于，包括：

S1，使用AI智能检测相机对施工人员进行信息采集与标注，建立施工人员人像库；

S2，使用AI智能检测相机采集施工现场人员的动态图像，使用多模型融合算法实施人像识别，建立施工人员档案；

所述多模型融合算法包括：

S21,从模型池中寻找一个最优的模型组合；

S22，以多个模型计算出的top-k图像的相似度为基础，利用神经网络模型确定多种人像特征信息在相似度级别上的关联；

S23，计算得到一个综合的人像比对排序和打分；

S3，根据施工现场人员的动态图像，对施工人员的运行轨迹进行初步分析，基于初步分析结果、施工现场的时空联系信息和施工人员档案构建训练模型；

S4，通过人像、人体的多特征信息，基于深层神经网络模型，融合大场景空间模型，实现对人员的连续动态轨迹追踪；

S5，根据追踪的人员轨迹对人员的行为信息进行评估，视需做出预警。

2.根据权利要求1所述的施工现场人员管理方法，其特征在于，步骤S2中，人像识别包括人脸检测、质量分析、关键点检测对齐、人脸特征提取和人脸比对，实现不利检测环境下的快速标记人像位置。

3.根据权利要求2所述的施工现场人员管理方法，其特征在于，在进行人像识别之前，需要进行图像画质矫正，分析人像五官的完整性，过滤不利于特征提取的人像，对在较远距离中捕捉到的模糊人像进行超分优化。

4.根据权利要求1所述的施工现场人员管理方法，其特征在于，建立施工人员档案是对施工现场采集的人像图像进行自动聚类，将同一人的人像图像合并自动建档并赋予唯一ID，自动记录被采集人员的所有行为数据。

5.根据权利要求4所述的施工现场人员管理方法，其特征在于，施工人员档案建立包括实时建档模式和离线建档模式，其设置于分布式的计算集群系统中，以对数据进行快速计算及存储。

6.根据权利要求1所述的施工现场人员管理方法，其特征在于，步骤S2中，建立施工人员档案包括：

S210，通过多相机获取的人像图像，通过提取人像、人体及其他辅助特征，采用无监督聚类的方法与身份证信息关联，得到人像图像的一人一档ID标签；

S220,在当日人像建档的基础上，通过提取人像特征和身份证信息辅助的方式，进行跨天的ID标签关联，最后得到每个图片一个跨天全局的ID标签；

S230，对采用不同型号的相机拍摄或拍摄角度不同的人像图片，进行特殊的模型训练及针对性的阈值调整。

7.根据权利要求1所述的施工现场人员管理方法，其特征在于，步骤S22中，利用多种不同场景下的人像识别模型提取人像特征，对于每张人像图像I_j都会得到一个人像特征集F_j＝{f_1j,f_2j,f_3j,...,f_mj}；计算人像图像对中图像I_a和图像I_b的相似度，得到一组相似度向量

其中，

8.根据权利要求7所述的施工现场人员管理方法，其特征在于，通过将每一个相似度向量传递至神经网络模型进行计算，得到第一概率P₁和第二概率P₂，对第一概率P₁和第二概率P₂归一化处理，确定相似度阈值；根据相似度阈值利用临近算法寻找出与比对图片最接近的top-k图像。

9.根据权利要求1所述的施工现场人员管理方法，其特征在于，所述连续动态轨迹追踪为单相机多目标的轨迹追踪，其包括以下步骤：

S41,基于给定的视频截图，通过训练机器学习模型，实时且高精度地检测出人体、人像、人头的矩形区域；

S42，根据施工现场步骤的温度传感器得出被检测人员的体感温度，发送给后端进行跟踪和人像识别；

S43，在视频序列中，对抓拍到的人像图像按照模糊度、角度、遮挡程度进行质量综合打分和排序，最后选出质量最高的图片发送到后端进行运行轨迹调参。

Images