CN111368726B - 建筑工地作业面人数统计方法、系统、存储介质及装置 - Google Patents

Abstract

本发明属于视频监控技术领域，公开了一种建筑工地作业面人数统计方法、系统、存储介质及装置，采集工地作业面图像并发送；对采集的作业面图像进行工人检测；在工地作业面图像上标注出工人所在位置，输出经过标注的图像和工人的数量；输出的经过标注的图像和工人的数量并显示。本发明实现管理者可以从显示器上可直接获取当前作业面上的情况，直观的看到工人的位置以及数量，有助于管理者进行判断工人是否都正常出勤，方便快捷，免去了管理者亲自去统计施工工人数量的麻烦，为保证工程的顺利进行带来了便利。本发明降低了假阳的数目，防止其他物体被错判为工人，提高了模型的准确率。

Description

建筑工地作业面人数统计方法、系统、存储介质及装置

技术领域

本发明属于视频监控技术领域，尤其涉及一种建筑工地作业面人数统计方法、系统、存储介质及装置。

背景技术

目前，最接近的现有技术：近年来，随着中国城市化的进程，建筑业的发展也得到了飞速的提升。通常为了保证工程的进度，工地会有一些考勤的机制，比如工人进入工地打卡，或者有专门的人员进行监督，但是打卡的机制不能保证工人们进入工地后会立即投入到工作中去，专人监督会产生额外的开支。随着人工智能的发展，利用机器进行自动的人数统计成为了一种可能，可以将成本控制在一个较低的水平下实现建筑工地作业面上的人数自动统计，确定工人们没有缺勤，保证工程的进度。目前通过人工智能的方式进行人数统计的方法主要有以下三种：

第一种，回归方法：该方法主要针对那些使用低级别特征就可以进行区分的物体的检测。首先从图像中裁剪补丁，然后，针对每个补丁，提取低级别的特征。但是在工地这种复杂的环境下，单纯的提取低级别的特征并不能有效的检出工地中的工人，这种方法在工地作业面检测中应用时，误判和漏检的情况很严重。

第二种，基于密度估计的方法：首先为要检测的图片创建一个密度图。然后，该算法学习了提取的特征与目标密度映射之间的线性映射。这种方法主要应用与密集人群的检测中，比如演唱会、车站这些场景中的人数统计，只能给出一个大概的人数范围，但是进行工地作业面上工人的检测，是为了统计工人的出勤情况，要求给出的人数必须准确，所以该方法也不适用于本发明所应用的场景。

第三种，基于CNN的方法：不用看图像的补丁，而是使用可靠的卷积神经网络(CNN)构建一个端到端的回归方法。这将整个图像作为输入，并直接生成人群计数。该方法与第二种方法类似，也是适用于人群密度较大的场景，给出的结果不够精确，不适用本发明所应用的场景。

第四种，基于检测的方法：首先学习人的特征，然后对视频中的图像进行分析，以回归框的方式输出每个人所在的位置，然后统计回归框的数量。这种方法适用于本发明的场景。但是，工地作业面上经常对堆放工人的衣物、废旧的安全帽等，现有的目标检测方法很容易将这些物体检测为工人，导致最终的结果出现偏差。此外，准确率较高的模型往往参数量较大，导致目标检测模型在测试过程中难以达到实时的效果，影响检测的效率。

综上所述，现有技术存在的问题是：

(1)难以将工地作业上堆放的衣物、安全帽和工人进行有效的区分，导致这些杂物被检测为工人，最终导致结果的偏差。

(2)准确率高的模型参数量较大，检测时花费的时间较长，难以达到实时检测的效果。

(3)现有技术存在管理者无法直接判断工人是否都正常出勤，管理者亲自去统计施工工人数量工作量大。

解决上述技术问题的难度：如何在保证模型对工人的检出率在可接受的情况下，进一步提升准确率，即减少将堆放的衣物和安全帽以及其他异物被误判为工人的情况。此外，还应该在保证现有模型取得的准确率的情况下，进一步的降低模型的参数量，提升模型的检测速度。

解决上述技术问题的意义：解决上述技术问题，可以解决目标检测方法在进行工地作业人数统计时容易将工人脱下的衣物以及安全帽误判为一个工人的问题，以获得更为准确的统计结果。并且在保证准确率的情况下，提升模型的检测速度，提升效率。

发明内容

针对现有技术存在的问题，本发明提供了一种建筑工地作业面人数统计方法、系统、存储介质及装置。

本发明是这样实现的，一种建筑工地作业面人数统计方法，所述建筑工地作业面人数统计方法包括：

第一步，采集工地作业面图像并发送；

第二步，对采集的作业面图像进行工人检测；在工地作业面图像上标注出工人所在位置，输出经过标注的图像和工人的数量；

第三步，输出的经过标注的图像和工人的数量并显示。

进一步，所述建筑工地作业面人数统计方法的目标检测模型的训练过程包括：

(1)第一阶段的训练，用目标检测模型去检测没有工人的作业面图像，如果有物体被框出来，则认为被框出来的物体是容易被检测模型判成工人的物体，将包含被判错物体的图像保存下来，并给容易判错的物体打上难分样本的标签，组成新的训练数据；

(2)第二阶段的训练，训练学习工人的特征和难分样本的特征，捕捉到工人的特征与难分样本的特征之间的差异。

进一步，所述建筑工地作业面人数统计方法的目标检测模型采用FPN+FasterRCNN结构，使用FPN+Faster RCNN的结构，在进行预测的时候融合浅层特征的位置信息以及高层特征的语义信息，获得更丰富的特征。

进一步，所述建筑工地作业面人数统计方法的采用目标检测的人工神经网络，检测模型的结构为：将图片输入预训练的特征网络，构建自底向上网络。

进一步，使用轻量高效特征融合模块对自底向上网络特征进行融合，通过多尺度特征层堆叠后，用步长为2的卷积操作完成特征提取和下采样，连续进行三次，得到三个不同大小的特征图fm1、fm2、fm3；然后对最小的特征图进行两次上采样操作，将fm1、fm2、fm3通过1*1卷积进行降维处理后再与上采样得到的对应卷积层进行元素相加操作，得到特征图fm4，fm5、fm6。

进一步，轻量高效特征融合模块取消了侧向连接，通过多尺度特征层堆叠后，用步长为2的卷积操作完成特征提取和下采样的任务。

进一步，在特征图fm4，fm5、fm6上面分别进行RPN操作，获得候选ROI；将候选ROI分别输入到特征图fm4，fm5、fm6上进行ROI Pool操作，通过操作后，不同大小的候选区域会变成相同大小，以便输入全连接层；连接两个全连接网络层，分两个支路连接对应的分类层和回归层；

分类层输出ROI的类型，回归层输出目标所在位置，分类层输出每个候选区域的概率矢量，概率矢量的每个元素位置对应一个类别，每个元素的值代表该候选区域属于对应元素位置类别的概率值，值最大的元素位置所对应的类别即为候选区域类别；回归层输出一个长度为4的矢量，四个位置分别对应候选区域中心点坐标的x值，y值，候选区域的长度以及ROI的宽度；

显示器接收并显示来自处理器的经过标注的作业面图像，显示器与摄像头同步显示所述建筑工地作业面图像。

本发明的另一目的在于提供一种接收用户输入程序存储介质，所存储的计算机程序使电子设备执行包括下列步骤：

第一步，采集工地作业面图像并发送；

第二步，对采集的作业面图像进行工人检测；在工地作业面图像上标注出工人所在位置，输出经过标注的图像和工人的数量；

第三步，输出的经过标注的图像和工人的数量并显示。

本发明的另一目的在于提供一种实施所述建筑工地作业面人数统计方法的建筑工地作业面人数统计系统，所述建筑工地作业面人数统计方法包括：

图像采集模块，用于采集工地作业面图像并发送；

图像处理模块，用于对采集的作业面图像进行工人检测；在工地作业面图像上标注出工人所在位置，输出经过标注的图像和工人的数量；

图像显示模块，用于输出的经过标注的图像和工人的数量并显示。

本发明的另一目的在于提供一种安装有所述建筑工地作业面人数统计系统的建筑工地作业面人数统计装置，所述建筑工地作业面人数统计装置包括：摄像头、采集开关、处理器、显示器；

采集开关安装在摄像头上，处理器与摄像头通讯连接；显示器与处理器连接。

综上所述，本发明的优点及积极效果为：本发明的目标检测模型通过俩阶段的训练方式得到，第一阶段训练的模型的训练数据中只有标注的工人，模型更加关注工人的特征。但是，工地的场景比较复杂，杂物较多，存在被随意摆放的安全帽、外套等容易被错判为工人的物体。在得到第一阶段的模型后，用该模型去发掘容易错判为工人的样本，将这些样本加入到训练数据中进行第二阶段的训练，以此降低假阳的数目，防止其他物体被错判为工人，提高模型的准确率。在300张测试图片上，在保证工人的检出率95％的情况下，提高了6％的准确率。

与现有技术相比，采用本发明提出的关于建筑工地作业面人数统计的处理方法及系统，只需要安装摄像头在作业面上方，打开摄像头，此时连接摄像头的显示器会同步的显示摄像头中的内容，而且显示器中的工人都会被框出来，并显示每一个框对应的置信度，最后在显示器左上角还会显示此时屏幕中工人的数量。管理者可以从显示器上可直接获取当前作业面上的情况，直观的看到工人的位置以及数量，有助于管理者进行判断工人是否都正常出勤，方便快捷，免去了管理者亲自去统计施工工人数量的麻烦，为保证工程的顺利进行带来了便利。

附图说明

图1是本发明实施例提供的建筑工地作业面人数统计方法的流程图。

图2是本发明实施例提供的建筑工地作业面人数统计系统的结构示意图；

图中：1、图像采集模块；2、图像处理模块；3、图像显示模块。

图3是本发明实施例提供的建筑工地作业面人数统计装置的结构示意图；

图中：4、摄像头；5、采集开关；6、处理器；7、显示器。

图4是本发明实施例提供的检测模型的俩阶段训练过程图。

图5是本发明实施例提供的目标检测模型的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

针对现有技术存在的问题，本发明提供了一种建筑工地作业面人数统计方法、系统、存储介质及装置，下面结合附图对本发明作详细的描述。

如图1所示，本发明实施例提供的建筑工地作业面人数统计方法包括以下步骤：

S101：采集工地作业面图像并发送；

S102：对采集的作业面图像进行工人检测；在工地作业面图像上标注出工人所在位置，输出经过标注的图像和工人的数量；

S103：输出的经过标注的图像和工人的数量并显示。

如图2所示，本发明实施例提供的建筑工地作业面人数统计系统包括：

图像采集模块1，用于采集工地作业面图像并发送。

图像处理模块2，用于对采集的作业面图像进行工人检测；在工地作业面图像上标注出工人所在位置，输出经过标注的图像和工人的数量。

图像显示模块3，用于输出的经过标注的图像和工人的数量并显示。

如图3所示，本发明实施例提供的建筑工地作业面人数统计装置包括：摄像头4、采集开关5、处理器6、显示器7。

采集开关5安装在摄像头4上，处理器6与摄像头4通讯连接，接收来自摄像头4的病理图像，对作业面图像进行预处理，对处理后的作业面图像进行工人检测，在作业面图像上标注出工人所在位置、该位置包含工人对应的置信度，输出经过标注的作业面图像，并对图像中标注的工人数量进行统计，得到该作业面中正在作业的工人数量；显示器7与处理器6连接，接收并显示经过标注的作业面图像，并显示此时图像中包含的工人数量。

下面结合附图对本发明的技术方案作进一步的描述。

本发明实施例提供的建筑工地作业面人数统计方法使用摄像头、采集开关、处理器以及显示器。显微镜摄像头安装在作业面的上方，用于采集作业面的图像。摄像头所采集的图像可以是PNG、JPG等，可以是视频数据，也可以是图片数据，如果是视频数据，由于视频中包含的图片太多，而且相邻图片之间的差异过小，如果将视频中包含的所有图片都送入模型中，花费的检测分析时间太多，且有很多的冗余计算，所以，处理器需将视频数据拆分为多个图片数据，选择合适的时间间隔，使得摄像头采集的图片中具有一定的差异，然后对这些图片进行检测。本发明的图像以图片数据为例。处理器与摄像头通讯连接，接收来自摄像头的病理图像，对作业面图像进行预处理，对处理后的作业面图像进行工人检测，在作业面图像上标注出工人所在位置、该位置包含工人对应的置信度，输出经过标注的作业面图像，并对图像中标注的工人数量进行统计，得到该作业面中正在作业的工人数量；显示器与处理器连接，接收并显示经过标注的作业面图像，并显示此时图像中包含的工人数量。

本发明的采用工地作业面图像处理系统进行处理的方法，包括：当采集开关打开时，摄像头采集位于摄像头下的工地作业面图像并发送至处理器；处理器对来自摄像头的作业面图像进行工人检测，在工地作业面图像上标注出工人所在位置，输出经过标注的图像和工人的数量；目标检测模型如图5所示，其中，如图3所示，目标检测模型的训练过程采用俩阶段的训练过程，因为工地的环境比较复杂，存在一些容易被错判成工人的物体，比如工人的安全帽和随意挂在其他地方的衣物，为了减少这些物体对模型的影响，采用俩阶段的训练方式得到最终的检测模型。首先，只用带有工人标注的数据进行第一阶段的训练，该阶段训练出的模型更关注工人的特征，但也可能会将一些其他类似工人的物体判读对为工人，影响检测模型的准确性。然后本发明用检测模型去检测没有工人的作业面图像，此时如果有物体被框出来，则认为这些被框出来的物体是容易被检测模型判成工人的物体，本发明将这些包含被判错物体的图像保存下来，并给容易判错的物体打上“难分样本”的标签，与第一阶段的训练数据融合起来，组成新的训练数据，进行第二阶段的训练，第二阶段的模型在训练的过程中不光学习工人的特征还学习“难分样本”的特征，这样第二阶段的模型就能够捕捉到工人的特征与“难分样本”的特征之间的差异，从而减少假阳的产生，提升检测模型的性能。

目标检测模型采用FPN+Faster RCNN结构，使用FPN+Faster RCNN的结构，可以在进行预测的时候融合浅层特征的位置信息以及高层特征的语义信息，获得更丰富的特征，而不是像Faster RCNN一样在最高层的特征图上进行预测，忽略了大量的位置信息，导致小目标的检测效果不佳。FPN+Faster相较与FasterRCNN来说，检测的召回率和分类准确率都有很大的提升。

采用目标检测的人工神经网络，如图4所示，检测模型的结构为：

将图片输入预训练的特征网络，构建自底向上网络；

使用轻量高效特征融合模块对自底向上网络特征进行融合，即通过多尺度特征层堆叠后，用步长为2的卷积操作完成特征提取和下采样，连续进行三次，得到三个不同大小的特征图fm1、fm2、fm3；然后对最小的特征图进行两次上采样操作，将fm1、fm2、fm3通过1*1卷积进行降维处理后再与上采样得到的对应卷积层进行元素相加操作，得到特征图fm4，fm5、fm6。

之所以进行3次步长为2的卷积，是由于融合前特征图分辨率为原图的1/4，3次下采样后特征图分辨率为原图的1/32，使得用于预测的两个3×3的卷积操作的感受野(相当于5×5卷积操作的感受野)与最大的锚点的大小基本一致，所谓的锚点是在原图中探测物体位置的回归的基准。详细的说，比如原图分辨率为512×512，3次下采样后特征图分辨率为16×16，那么两个3×3卷积核的感受野对应到原图为160×160，而最大的锚点大小为128×128，因此在这个感受野下可指引基于锚点的回归，输出最终的物体检测框。

轻量高效特征融合模块取消了侧向连接，不进行特征图像素求和的方式进行融合，通过多尺度特征层堆叠后，仅用步长为2的卷积操作完成特征提取和下采样的任务，在保证准确性的前提下，加快了训练及检测的时间。

在特征图fm4，fm5、fm6上面分别进行RPN操作，获得候选ROI；将候选ROI分别输入到特征图fm4，fm5、fm6上进行ROI Pool操作，通过该操作后，不同大小的候选区域会变成相同大小，以便输入全连接层；在上一步的基础上连接两个全连接网络层，分两个支路连接对应的分类层和回归层。

分类层输出ROI的类型，回归层输出目标所在位置，具体地，分类层输出每个候选区域的概率矢量，概率矢量的每个元素位置对应一个类别，每个元素的值代表该候选区域属于对应元素位置类别的概率值，值最大的元素位置所对应的类别即为候选区域类别；回归层输出一个长度为4的矢量，四个位置分别对应候选区域中心点坐标的x值，y值，候选区域的长度以及ROI的宽度。

显示器接收并显示来自处理器的经过标注的作业面图像，显示器与摄像头同步显示所述建筑工地作业面图像。这里的同步显示并不局限于时间上的完全一致，不应做限制性的解释，例如将摄像头看到的图像与显示器端看到的图像的时间差精确到多少秒或多少微秒，应用场景下人眼能够接受的时间差也属于本申请中同步的概念，显示器端即便产生几微秒或几秒的延时，也不影响人数统计系统的使用或运行，同样落入本发明的保护范围。

下面结合对比对本发明的技术效果作详细的描述。

采用俩阶段的方法进行工地作业面人数统计，相较于单纯使用FPN+faster rcnn的检测模型来说准确率有了显著提升，在300张测试集上的表现结果，如表1。

表1在300张测试集上的表现结果

应当注意，本发明的实施方式可以通过硬件、软件或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现；软件部分可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的设备和方法可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明的设备及其模块可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用由各种类型的处理器执行的软件实现，也可以由上述硬件电路和软件的结合例如固件来实现。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种建筑工地作业面人数统计方法，其特征在于，所述建筑工地作业面人数统计方法包括：

第一步，采集工地作业面图像并发送；

第二步，对采集的作业面图像进行工人检测；在工地作业面图像上标注出工人所在位置，输出经过标注的图像和工人的数量；

第三步，输出的经过标注的图像和工人的数量并显示；

所述建筑工地作业面人数统计方法的目标检测模型的训练过程包括：

(1)第一阶段的训练，用目标检测模型去检测没有工人的作业面图像，如果有物体被框出来，则认为被框出来的物体是容易被检测模型判成工人的物体，将包含被判错物体的图像保存下来，并给容易判错的物体打上难分样本的标签，组成新的训练数据；

(2)第二阶段的训练，训练学习工人的特征和难分样本的特征，捕捉到工人的特征与难分样本的特征之间的差异；

所述建筑工地作业面人数统计方法的目标检测模型采用FPN+Faster RCNN结构，使用FPN+Faster RCNN的结构，在进行预测的时候融合浅层特征的位置信息以及高层特征的语义信息，获得更丰富的特征。

2.如权利要求1所述的建筑工地作业面人数统计方法，其特征在于，所述建筑工地作业面人数统计方法的采用目标检测的人工神经网络，检测模型的结构为：将图片输入预训练的特征网络，构建自底向上网络。

3.如权利要求2所述的建筑工地作业面人数统计方法，其特征在于，使用轻量高效特征融合模块对自底向上网络特征进行融合，通过多尺度特征层堆叠后，用步长为2的卷积操作完成特征提取和下采样，连续进行三次，得到三个不同大小的特征图fm1、fm2、fm3；然后对最小的特征图进行两次上采样操作，将fm1、fm2、fm3通过1*1卷积进行降维处理后再与上采样得到的对应卷积层进行元素相加操作，得到特征图fm4，fm5、fm6。

4.如权利要求3所述的建筑工地作业面人数统计方法，其特征在于，轻量高效特征融合模块取消了侧向连接，通过多尺度特征层堆叠后，用步长为2的卷积操作完成特征提取和下采样的任务。

5.如权利要求3所述的建筑工地作业面人数统计方法，其特征在于，在特征图fm4，fm5、fm6上面分别进行RPN操作，获得候选ROI；将候选ROI分别输入到特征图fm4，fm5、fm6上进行ROI Pool操作，通过操作后，不同大小的候选区域会变成相同大小，以便输入全连接层；连接两个全连接网络层，分两个支路连接对应的分类层和回归层；

分类层输出ROI的类型，回归层输出目标所在位置，分类层输出每个候选区域的概率矢量，概率矢量的每个元素位置对应一个类别，每个元素的值代表该候选区域属于对应元素位置类别的概率值，值最大的元素位置所对应的类别即为候选区域类别；回归层输出一个长度为4的矢量，四个位置分别对应候选区域中心点坐标的x值，y值，候选区域的长度以及ROI的宽度；

显示器接收并显示来自处理器的经过标注的作业面图像，显示器与摄像头同步显示所述建筑工地作业面图像。

6.一种接收用户输入程序存储介质，所存储的计算机程序使电子设备执行包括下列步骤：

第一步，采集工地作业面图像并发送；

第二步，对采集的作业面图像进行工人检测；在工地作业面图像上标注出工人所在位置，输出经过标注的图像和工人的数量；

第三步，输出的经过标注的图像和工人的数量并显示。

7.一种实施权利要求1～5任意一项所述建筑工地作业面人数统计方法的建筑工地作业面人数统计系统，其特征在于，所述建筑工地作业面人数统计方法包括：

图像采集模块，用于采集工地作业面图像并发送；

图像处理模块，用于对采集的作业面图像进行工人检测；在工地作业面图像上标注出工人所在位置，输出经过标注的图像和工人的数量；

图像显示模块，用于输出的经过标注的图像和工人的数量并显示。

8.一种安装有权利要求7所述建筑工地作业面人数统计系统的建筑工地作业面人数统计装置，其特征在于，所述建筑工地作业面人数统计装置包括：摄像头、采集开关、处理器、显示器；

采集开关安装在摄像头上，处理器与摄像头通讯连接；显示器与处理器连接。