CN117392611A - 工地安全监测方法、系统、设备及存储介质 - Google Patents

工地安全监测方法、系统、设备及存储介质 Download PDF

Info

Publication number
CN117392611A
CN117392611A CN202311480018.1A CN202311480018A CN117392611A CN 117392611 A CN117392611 A CN 117392611A CN 202311480018 A CN202311480018 A CN 202311480018A CN 117392611 A CN117392611 A CN 117392611A
Authority
CN
China
Prior art keywords
target
track
video image
dimensional
acquiring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311480018.1A
Other languages
English (en)
Inventor
房小兆
钟俊杰
曾峙翔
胡曦
孙为军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN202311480018.1A priority Critical patent/CN117392611A/zh
Publication of CN117392611A publication Critical patent/CN117392611A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/207—Analysis of motion for motion estimation over a hierarchy of resolutions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及计算机视觉技术领域，尤其涉及一种工地安全监测方法、系统、设备及存储介质，该方法包括：获取摄像头采集的视频图像，检测视频图像中的目标并进行轨迹计算，结合视频图像全图的深度信息以及摄像头的摄像头参数，将各个目标的二维轨迹还原为三维真实轨迹；当判断任一目标的所述三维真实轨迹进入预设警戒区域，对相应目标添加第一标记；当判断任一目标的所述三维真实轨迹在预设时间内跨越若干个预设施工区域，对相应目标添加第二标记；获取所述第一标记和/或所述第二标记的目标的当前三维真实坐标。通过本发明的技术方案，准确检测具有危险性质的人员或可疑人员，并定位相应人员的具体位置，能够辅助实现及时有效的管理。

Description

工地安全监测方法、系统、设备及存储介质
技术领域
本发明涉及计算机视觉技术领域，尤其涉及一种工地安全监测方法、系统、设备及存储介质。
背景技术
建筑业是高风险、监管薄弱、信息化程度较低的传统行业，在复杂的施工环境下，现场人员的不安全行为很容易导致安全事故，威胁生命安全。例如工人未按规定佩戴安全帽便参与施工，一旦发生安全事故头部受到的损伤往往危及生命；在工地中通常对于危险的区域也需要设置警戒，防止人员随意的进入造成意外事件的发生；此外，工地管理中还需要监测非法闯入的外来人员，需要对非法进入的人员进行识别并及时干涉以避免存在的安全隐患。因此，为了保障施工现场的安全，需要对现场实况进行严密的监管，及时的发现并排除安全隐患是关键的保障措施。
以往工地安全管理主要依靠人工监控，安全管理人员实时观察工地内摄像画面并判断是否存在安全隐患。随着深度学习以及计算机视觉技术的快速发展，已经有将深度学习结合计算机视觉技术应用于安全管理的研究和技术应用，例如安全帽智能检测技术能够自动化检测不佩戴安全帽的人员目标，以便及时管理。然而，针对于工地内的危险活动的可疑人员仍缺乏较好的智能检测技术，一般的智能检测技术仅仅是对二维图像标注检测到的目标，管理人员再根据目标在视频图像中的移动情况判断其活动是否具有危险性质或是否可疑，若是则根据图像中的标注判断其所在的大概位置，但是在建筑工地的复杂环境中，管理人员实际上难以及时的发现具有危险性质或可疑的人员目标，并且即使发现了也仍然难以追溯到对应的人员目标的具体位置，还是存在难以有效管理的问题。
发明内容
有鉴于此，为了解决现有的工地安全管理中难以及时的发现具有危险性质或可疑的人员目标，并且难以追溯到对应的人员目标的具体位置的技术问题，本发明提出一种工地安全监测方法，所述方法包括以下步骤：
获取摄像头采集的视频图像；
对所述视频图像中的至少一个目标进行轨迹计算，得到所述至少一个目标对应的至少一个二维轨迹；
获取所述视频图像全图的深度信息，获取摄像头参数；
根据所述摄像头参数获取所述视频图像与物理世界的映射比例，根据所述视频图像的深度信息和所述映射比例，将各个目标的二维轨迹还原为三维真实轨迹；
当判断任一目标的所述三维真实轨迹进入预设警戒区域，对相应目标添加第一标记；
当判断任一目标的所述三维真实轨迹在预设时间内跨越若干个预设施工区域，对相应目标添加第二标记；
获取所述第一标记和/或所述第二标记的目标的当前三维真实坐标。
本发明还提出了一种工地安全监测系统，所述系统包括：
图像采集单元，用于获取摄像头采集的视频图像；
轨迹计算单元，用于对所述视频图像中的至少一个目标进行轨迹计算，得到所述至少一个目标对应的至少一个二维轨迹；
参数获取单元，用于获取所述视频图像全图的深度信息，获取摄像头参数；
轨迹转换单元，用于根据所述摄像头参数获取所述视频图像与物理世界的映射比例，根据所述视频图像的深度信息和所述映射比例，将各个目标的二维轨迹还原为三维真实轨迹；
第一判断单元，当判断任一目标的所述三维真实轨迹进入预设警戒区域，对相应目标添加第一标记；
第二判断单元，当判断任一目标的所述三维真实轨迹在预设时间内跨越若干个预设施工区域，对相应目标添加第二标记；
坐标输出单元，用于获取所述第一标记和/或所述第二标记的目标的当前三维真实坐标。
本发明还提出了一种计算机设备，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如本发明实施例任一项所述的方法。
本发明还提出了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如本发明实施例任一项所述的方法。
基于上述方案，本发明所述工地安全监测方法，根据视频图像计算目标的二维轨迹并还原得到三维轨迹，然后结合预设区域进行判断，判断目标是否进入警戒区域或者在若干个预设施工区域具有可疑活动，从而判断其是否为具有危险性质的人员或可疑人员，并对这类目标进行标记并根据三维轨迹输出其当前坐标，使得管理人员能够及时的定位到相应的目标，实现及时的管理，以排查安全隐患。
附图说明
图1是本发明实施例中工地安全监测方法的步骤流程图；
图2是本发明实施例中改进后的YOLOv8模型的结构框图；
图3是本发明实施例中坐标注意力机制块的结构框图；
图4是本发明实施例中摄像头定标方法的原理图；
图5是本发明实施例中工地安全监测系统的结构框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
应当理解，本发明中使用的“系统”、“装置”、“单元”和/或“模块”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而，如果其他词语可实现相同的目的，则可通过其他表达来替换该词语。
如本发明和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其它的步骤或元素。由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
在本发明实施例的描述中，“多个”是指两个或多于两个。以下术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。
另外，本发明中使用了流程图用来说明根据本发明的实施例的系统所执行的操作。应当理解的是，前面或后面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各个步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。
参照图1，为本发明提出的工地安全监测方法的一可选示例的流程示意图，该方法可以适用于计算机设备，本实施例提出的所述工地安全监测可以包括但并不局限于以下步骤：
步骤S1、获取工地现场摄像头采集的视频图像；
其中，视频图像是指连续的静态图像的序列，帧为视频图像中最小单位的单幅影像画面，一帧就是一副静止的画面，连续的帧形成视频图像；视频图像中物体移动的轨迹为物体在视频图像中所移动的线路，每个物体的轨迹包括物体在视频图像中不同时刻所处的不同位置的二维坐标，多目标的二维轨迹包括多个目标物体在视频图像中的线路，以及不同目标物体在视频图像中不同时刻所处的不同位置的二维坐标，二维坐标是指物体的真实坐标在摄像头平面的投影点坐标。
步骤S2、对所述视频图像中的至少一个目标进行轨迹计算，得到所述至少一个目标对应的至少一个二维轨迹；
具体而言，若是视频图像数据中仅检测到一个目标，则对该目标进行轨迹计算得到其二维轨迹数据；若是视频图像数据中检测到多个目标，则分别对每个目标进行轨迹计算得到各个目标各自的二维轨迹数据。其中，轨迹计算的方法在现有技术中具有多种，本实施例可不作限制。
在一些可行的实施例中，步骤S2所述对所述视频图像中的至少一个目标进行轨迹计算，得到所述至少一个目标对应的至少一个二维轨迹的步骤，包括：
步骤S201、将所述视频图像输入至预训练的目标检测模型，得到各个目标的物体框以及物体框中的物体像素；
其中，所述目标检测模型是用于检测预设的目标的模型，具体可以是神经网络训练得到的检测模型。其中，检测的预设的目标可以根据情况设定，例如人头目标或者安全帽目标等。在本实施例中，所述目标检测模型在YOLOv8模型的基础上改进得到，其结构框图参照图2。
在一个实施例中，所述目标检测模型通过以下方式得到：
基于YOLOv8目标检测模型，在Neck结构添加小目标检测层，在Neck结构的输出后采用坐标注意力机制。
本实施例通过在原始的YOLOv8目标检测模型基础上优化网络结构，对原始YOLOv8目标检测模型进行改进，得到改进后的YOLOv8模型，包括：引入坐标注意力机制提升模型对关键特征的关注程度；添加小目标检测层，降低网络最小感受野，增强网络对小目标的识别能力。引入的坐标注意力机制的结构框图参照图3。
对于N×N大小的输入图像，已有原始的YOLOv8目标检测模型通过提取部分只是从中提取出三种尺寸大小的特征图在特征融合部分对不同尺寸的特征图进行融合。其中，尺寸较大的特征图感受野更小，有利于捕获更多图像细节及目标定位，同时也有利于模型检测小目标；较小尺寸的特征图感受野更大，可以提取更多的语义特征，有利于对目标进行分类。但是实际情况中，在施工场景下对安全帽进行检测时，由于施工环境复杂且拍摄距离较远，因此会存在更多的小目标。为进一步提高小目标检测能力，本实施方案对原始YOLOv8目标检测模型的多尺度预测进行改进，通过添加小目标检测尺度使改进后的YOLOv8模型能够在四种尺度上预测检测目标的边界框。
在一个实施例中，所述预训练的目标检测模型通过以下方式训练：
获取工地场景的图像数据，对所述图像数据中已佩戴安全帽的目标和未佩戴安全帽的目标分别进行标注；
将标注的所述图像数据作为训练数据，构建训练集；
基于所述训练集通过所述目标检测模型进行训练，根据预设的损失函数更新模型参数。
具体而言，训练的过程可以按如下步骤进行：
(1)收集开源数据集SHWD，制作所需数据集，本发明设置了安全帽和人头两类目标。该数据集包含了7581张图片，其中9044个人类佩戴安全帽的目标和111514个正常头部目标。
具体地，创建数据集中的每个类相应的标签文件，根据上述数据集中的标注文件，将其转换为YOLOv8训练所需格式的txt文件，数据集按照7：2：1的比例划分为训练集、验证集和测试集，其中训练集用于对模型进行训练，验证集则用于对模型的训练情况进行反馈，并以模型在验证集上的表现情况将最优结果的权重参数进行保存，用于在测试和推理检测时进行加载，而测试集则主要用于对训练好的模型进行最终评估。在下述训练测试改进后的YOLOv8模型时，将训练集和验证集中的图像大小设置为640×640。
(2)将安全帽检测数据集中的训练集图像输入至改进后的YOLOv8模型进行训练，并保存训练过程中改进后的YOLOv8模型在验证集上检测准确率最高时的权重参数，保存该权重参数的权重文件命名为best.pt。
训练实验中使用了Precision，Recall和mAP来衡量模型的性能。具体的Precision和Recall的计算都依赖于IoU，首先设置一个阈值，如果预测框和真实框之间的IoU大于阈值，则该预测被称为“真正例”(TP)，否则该预测被称为“假正例”(FP)。此外，模型所漏检的目标被称为“假负例”(FN)。因此，Precision衡量的是所有预测正确的百分比，而Recall是所有真实框中目标被预测为正的百分比。具体地，Precision和Recall的计算公式如下：
根据精度和召回率，可以计算出每个类的平均精度AP，而对所有类别的AP求均值便得到了mAP。而mAP@.5意味着在阈值为0.5时模型的mAP的大小，mAP@.5:.95:代表阈值的取值在0.5到0.95且步长为0.05时的平均mAP的大小。
(3)训练完毕后，利用测试集对改进后的YOLOv8检测模型进行检测：
加载上述所述权重文件best.pt至改进后的YOLOv8模型中，并将测试集图像输入改进后的YOLOv8模型，在测试时将测试集中图像的输入尺寸设置为640×640，得到该模型在测试集上的检测结果。检测到的结果分为两部分，包含施工场景下佩戴的安全帽与未佩戴安全帽的头部，其中对于检测到的安全帽，使用绿色的框将其框出；对于检测到的头部，使用红色框进行框出。最后计算检测精度评估模型的检测性能。
在一个实施例中，步骤S201所述将所述视频图像输入至预训练的目标检测模型，得到输出的各个目标的物体框以及物体框中的物体像素的步骤，包括：
步骤S2011，通过所述目标检测模型对已佩戴安全帽的第一目标标注第一物体框，对未佩戴安全帽的第二目标标注第二物体框；其中，所述目标检测模型用于检测已佩戴安全帽的第一目标和未佩戴安全帽的第二目标；
步骤S2012，输出标注所述第二物体框的第二目标的物体框以及物体框中的物体像素。
本实施例可以将检测结果划分为安全帽和人头两类，因此步骤S2中对视频图像中的各个目标分别进行轨迹计算时，可以是仅仅针对未佩戴安全帽的目标(也就是检测结果为人头的目标)进行轨迹计算，而不针对佩戴安全帽的目标进行轨迹计算。相应的，步骤S201中以帧为单位将视频图像输入目标检测模型中，得到输出视频图像中各个“人头类型”的目标的物体框以及框中的物体像素，从而本实施例重点跟踪未佩戴安全帽的目标，将算力集中在这类目标中，更有效的定位可疑人员。
步骤S202、以前后两帧为单位，将所述视频图像输入至场景流卷积神经网络，计算得到前后帧中各个目标对应的场景流速度和流轮廓；
其中，三维场景流是指物体在空间运动形成的三维运动场，其可以完整表述出一个物体运动速度在三维的各个分量；流轮廓指在包含目标和背景的数字图像中，忽略背景和目标内部的纹理以及噪声干扰的影响，采用一定的技术和方法来实现目标轮廓提取的过程，利用图像中框选出物体位置和全图的光流信息，可以提取出视频图像中物体的大致流轮廓。
在本实施例中，物体的流轮廓的计算方法为：以前后两帧为单位将视频图像位输入场景流卷积神经网络，获取全图场景流；借助各个物体的物体框，利用聚类算法，从全图场景流计算出各个物体的流轮廓。
全图场景流包括视频图像中所有物体的场景流，以及背景的场景流，将物理或抽象对象的集合分成由类似的对象组成的多个类的过程被称为聚类，借助各个物体的物体框，采用聚类算法，能在场景流中计算出各个物体的流轮廓。
步骤S203、基于所述流轮廓和所述物体框中的物体像素，对所述物体框与二维轨迹进行匹配；
具体而言，本步骤将新得到的多个物体框和多个流轮廓与已建立的多条物体轨迹的上一帧物体框与流轮廓进行多对多的一一匹配，需要将当前帧获取的新的物体框与上一帧已建立的多条轨迹进行多对多的配对，本实施例中采用Kuhn-Munkres来实现。而对于二维轨迹建立之初，不存在已经建立的二维轨迹时，无法按照物体框与二维轨迹匹配的方式进行关联绑定，对此，可以是在最初始检测视频图像时，首先识别若干帧例如50帧的视频图像中的目标，并按照就近原则判断目标是否同一目标，并将同一目标的位置数据关联起来作为该目标的二维轨迹，后续则按照本步骤基于流轮廓和物体像素对物体框和已经建立的二维轨迹进行匹配，并将匹配的物体框关联到对应的二维轨迹。
在一些可行的实施例中，步骤S203所述基于所述流轮廓和所述物体框中的物体像素，对所述物体框与二维轨迹进行匹配的步骤，包括：
步骤S2031、采用图像膨胀的操作将所述物体框中的物体像素连成一片，得到预处理后图像；
步骤S2032、采用canny算子对预处理后图像进行高通滤波并采用轮廓提取算法获得图像轮廓；其中，高通滤波后可以得到纹理细节；该步骤得到的图像轮廓能够表示该物体的形状信息。
步骤S2033、对物体框对应的流轮廓与轨迹的上一帧流轮廓进行形状匹配，获得匹配分数；
步骤S2034、根据匹配分数完成所述物体框与二维轨迹的匹配。
步骤S204、对于匹配成功的物体框，更新其物体框、流轮廓到对应的二维轨迹。
步骤S3、获取所述视频图像全图的深度信息，获取摄像头参数；
其中，图像的深度信息是指图像中目标与摄像头的距离在与摄像头平面垂直方向的投影量。本方法将前后两帧图像输入场景流计算卷积神经网络，利用摄像头的微小位移形成前后两帧图像的深度差，让网络自主学习这个深度差，从而实现输出场景中多个目标的深度信息。
摄像头是3D空间和2D图像之间的一种映射，其中两空间之间的相互关系是由摄像头的几何模型决定的，即通常所称的摄像头参数，是表征摄像头映射的具体性质的矩阵，求解这些参数的过程被称为摄像机定标。本发明通过视频图像的深度信息与摄像头定标方法将二维相对轨迹还原到真实三维轨迹，实现了对视频图像中多个物体同时的三维轨迹跟踪。
步骤S4、根据所述摄像头参数获取所述视频图像与物理世界的映射比例，根据所述视频图像的深度信息和所述映射比例，将各个目标的二维轨迹还原为三维真实轨迹；
由于普通摄像头获取的图像信息为真实场景的二维投影，因此利用该图像跟踪的轨迹也是一个二维的相对轨迹，并不是轨迹在三维空间的真实反映。一方面，场景流计算卷积神经网络能够利用前后帧图像中物体位置的变化而学习到场景的深度信息；另一方面，采用摄像头定标方法可以获取摄像头参数从而推算出图像大小与物理世界的映射关系。基于上述两个基础，便可以将二维的相对轨迹还原到三维的真实轨迹。图4为该方法在推算出y轴真实速度的原理图，x轴的推算过程与y轴相同，z轴的速度即为场景流的z轴速度本身。
如图4所示，用一固定长度的物体(如尺子)，以垂直于摄像头的姿势放置于摄像头前，前后移动其位置至其上下边界刚好与图像上下边界平齐，记录对应的尺子长度h1和尺子离摄像头的距离z1。
对于某一帧图像下的某一物体，其对应的场景流为v(vx，vy，vz),根据场景流的定义，v代表物体在下一帧的位置与当前帧位置的三个维度的像素差；其深度大小为z；图像的长宽像素为w2和h2；根据摄像头工作原理，有：
sz＝vz
其中sx，sy，sz为物体在三维坐标的真实运动位移，在每一帧的更新下即可得到物体的三维真实轨迹。
步骤S5、当判断任一目标的所述三维真实轨迹进入预设警戒区域，对相应目标添加第一标记；
其中，根据各个目标的三维真实轨迹以及预设的警戒区域的坐标范围，判断各个目标是否进入所述警戒区域，若是则对相应的目标添加第一标记，警戒区域可根据实际情况设定，一般是具有较高风险的区域。本实施例对进入预设警戒区域的目标进行第一标记，从而及时判断其为具有危险性质的人员。
其中，在本发明的实施例中，对检测的目标添加标记例如第一标记或第二标记，本质上是将该目标绑定预设的数据标识或者其他预设信息，从而便于根据绑定的数据标识或预设信息来区别于其他目标。
步骤S6、当判断任一目标的所述三维真实轨迹在预设时间内跨越若干个预设施工区域，对相应目标添加第二标记；
其中，所述预设时间可根据需要设定，例如设定为20分钟或30分钟；所述若干个预设区域的具体数目可根据情况设定，例如设为2个或3个。
在一个实施例中，可根据预设的工地内各个施工区域的坐标范围，判断目标是否在预设时间内跨越若干个区域，若是则判断该目标可疑。一般而言，施工人员在工地内通常按照施工部署进行活动而不会到处走动，外来闯入工地的人员则很可能在工地区域四处走动，因此通过检测目标的三维轨迹是否在预设时间内跨越预定的多个施工区域，从而可以初步判断人员是否是外来的可疑人员。
步骤S7、获取带标记的目标的当前三维真实坐标。
具体而言，根据还原的各个目标的三维真实轨迹，获取所述第一标记和/或第二标记的目标的当前三维真实坐标，从而根据所述当前三维真实坐标能够准确定位到工地内具有危险性质的人员或者非法闯入的可疑人员的具体位置。
在一些可行的实施例中，所述工地安全监测方法还包括：
步骤S8、将所述当前三维真实坐标上传至管理端，以使所述管理端根据所述当前三维真实坐标生成导航数据。
其中，管理端可以是工地的管理客户端或者是工地管理员的管理客户端，将第一标记和/或第二标记的目标的当前三维真实坐标发生给管理端之后，所述管理端根据所述当前三维真实坐标生成导航数据，管理员便可以导航到目标所在位置实现及时的管理。
综上，本发明所述工地安全监测方法，根据视频图像计算目标的二维轨迹并还原得到三维轨迹，然后结合预设区域进行判断，判断目标是否进入警戒区域或者在若干个预设施工区域具有可疑活动，从而判断其是否为具有危险性质的人员或可疑人员，并对这类目标进行标记并根据三维轨迹输出其当前坐标，使得管理人员能够及时的定位到相应的目标，实现及时的管理，以排查安全隐患，以排查安全隐患。
如图5所示，本发明实施例还公开了一种工地安全监测系统，包括：
图像采集单元，用于获取摄像头采集的视频图像；
轨迹计算单元，用于对所述视频图像中的至少一个目标进行轨迹计算，得到所述至少一个目标对应的至少一个二维轨迹；
参数获取单元，用于获取所述视频图像全图的深度信息，获取摄像头参数；
轨迹转换单元，用于根据所述摄像头参数获取所述视频图像与物理世界的映射比例，根据所述视频图像的深度信息和所述映射比例，将各个目标的二维轨迹还原为三维真实轨迹；
第一判断单元，当判断任一目标的所述三维真实轨迹进入预设警戒区域，对相应目标添加第一标记；
第二判断单元，当判断任一目标的所述三维真实轨迹在预设时间内跨越若干个预设施工区域，对相应目标添加第二标记；
坐标输出单元，用于获取所述第一标记和/或所述第二标记的目标的当前三维真实坐标。
需要说明的是，上述实施例提供的工地安全监测系统在执行工地安全监测方法时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分为不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的工地安全监测系统与工地安全监测方法属于同一构思，其体现实现过程详见上述工地安全监测方法实施例，这里不再赘述。
本发明实施例还公开了一种计算机设备，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如本发明实施例任一项所述方法。
其中，该处理器可以包括一个或多个处理核心。处理器利用各种接口和线路连接计算机设备内的各个部分，通过运行或执行存储在存储器内的指令、程序、代码集或指令集，以及调用存储器内的数据，执行计算机设备的各种功能和处理数据，可选的，处理器可以采用数字信号处理(Digital Signal Processing,DSP)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)、可编程逻辑阵列(Programble Logic Array，PLA)中的至少一个硬件形式来实现。处理器可集成中央处理器(Central Processing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责触摸显示屏所需要显示的内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器中，单独通过一块芯片进行实现。
其中，存储器可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。可选的，该存储器包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器可用于存储指令、程序、代码、代码集或指令集。存储器可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令(比如触控指令等)、用于实现上述各个方法实施例的指令等；存储数据区可存储上面各个方法实施例中涉及到的数据等。存储器可选的还可以是至少一个位于远离前述处理器的存储装置。
上述方法实施例中的内容均适用于本计算机设备实施例中，本计算机设备实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
本发明实施例还公开了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如上述任一项实施例所述的方法。即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本发明各个实施例所述方法的全部或部分步骤。计算机程序可以包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。而前述的存储介质包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(Read-Only Memory，ROM)、随机存取存储器(RandomAccess Memory，RAM)、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如，在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本发明权利要求所限定的范围内。

Claims (9)

1.一种工地安全监测方法，其特征在于，包括以下步骤：
获取摄像头采集的视频图像；
对所述视频图像中的至少一个目标进行轨迹计算，得到所述至少一个目标对应的至少一个二维轨迹；
获取所述视频图像全图的深度信息，获取摄像头参数；
根据所述摄像头参数获取所述视频图像与物理世界的映射比例，根据所述视频图像的深度信息和所述映射比例，将各个目标的二维轨迹还原为三维真实轨迹；
当判断任一目标的所述三维真实轨迹进入预设警戒区域，对相应目标添加第一标记；
当判断任一目标的所述三维真实轨迹在预设时间内跨越若干个预设施工区域，对相应目标添加第二标记；
获取所述第一标记和/或所述第二标记的目标的当前三维真实坐标。
2.根据权利要求1所述工地安全监测方法，其特征在于，还包括步骤：
将所述当前三维真实坐标上传至管理端，以使所述管理端根据所述当前三维真实坐标生成导航数据。
3.根据权利要求1所述工地安全监测方法，其特征在于，所述对所述视频图像中的至少一个目标进行轨迹计算，得到所述至少一个目标对应的至少一个二维轨迹的步骤，包括：
将所述视频图像输入至预训练的目标检测模型，得到输出的各个目标的物体框以及物体框中的物体像素；
以前后两帧为单位，将所述视频图像输入至场景流卷积神经网络，计算得到前后帧中各个目标对应的场景流速度和流轮廓；
基于所述流轮廓和所述物体框中的物体像素，对所述物体框与所述二维轨迹进行匹配；
对于匹配成功的物体框，更新其物体框、流轮廓到对应的所述二维轨迹。
4.根据权利要求3所述工地安全监测方法，其特征在于，所述目标检测模型通过以下方式得到：
基于YOLOv8目标检测模型，在Neck结构添加小目标检测层，在Neck结构的输出后采用坐标注意力机制。
5.根据权利要求3或4所述工地安全监测方法，其特征在于，所述预训练的目标检测模型通过以下方式训练：
获取工地场景的图像数据，对所述图像数据中已佩戴安全帽的目标和未佩戴安全帽的目标分别进行标注；
将标注的所述图像数据作为训练数据，构建训练集；
基于所述训练集通过所述目标检测模型进行训练，根据预设的损失函数更新模型参数。
6.根据权利要求3或4所述工地安全监测方法，其特征在于，所述将所述视频图像输入至预训练的目标检测模型，得到输出的各个目标的物体框以及物体框中的物体像素的步骤，包括：
通过所述目标检测模型对已佩戴安全帽的第一目标标注第一物体框，对未佩戴安全帽的第二目标标注第二物体框；其中，所述目标检测模型用于检测已佩戴安全帽的第一目标和未佩戴安全帽的第二目标；
输出标注所述第二物体框的第二目标的物体框以及物体框中的物体像素。
7.一种工地安全监测系统，其特征在于，包括：
图像采集单元，用于获取摄像头采集的视频图像；
轨迹计算单元，用于对所述视频图像中的至少一个目标进行轨迹计算，得到所述至少一个目标对应的至少一个二维轨迹；
参数获取单元，用于获取所述视频图像全图的深度信息，获取摄像头参数；
轨迹转换单元，用于根据所述摄像头参数获取所述视频图像与物理世界的映射比例，根据所述视频图像的深度信息和所述映射比例，将各个目标的二维轨迹还原为三维真实轨迹；
第一判断单元，当判断任一目标的所述三维真实轨迹进入预设警戒区域，对相应目标添加第一标记；
第二判断单元，当判断任一目标的所述三维真实轨迹在预设时间内跨越若干个预设施工区域，对相应目标添加第二标记；
坐标输出单元，用于获取所述第一标记和/或所述第二标记的目标的当前三维真实坐标。
8.一种计算机设备，其特征在于，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如权利要求1-6任一项所述的工地安全监测方法。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如权利要求1-6任一项所述的工地安全监测方法。
CN202311480018.1A 2023-11-08 2023-11-08 工地安全监测方法、系统、设备及存储介质 Pending CN117392611A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311480018.1A CN117392611A (zh) 2023-11-08 2023-11-08 工地安全监测方法、系统、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311480018.1A CN117392611A (zh) 2023-11-08 2023-11-08 工地安全监测方法、系统、设备及存储介质

Publications (1)

Publication Number Publication Date
CN117392611A true CN117392611A (zh) 2024-01-12

Family

ID=89464800

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311480018.1A Pending CN117392611A (zh) 2023-11-08 2023-11-08 工地安全监测方法、系统、设备及存储介质

Country Status (1)

Country Link
CN (1) CN117392611A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117726991A (zh) * 2024-02-07 2024-03-19 金钱猫科技股份有限公司 一种高空吊篮安全带检测方法及终端

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117726991A (zh) * 2024-02-07 2024-03-19 金钱猫科技股份有限公司 一种高空吊篮安全带检测方法及终端
CN117726991B (zh) * 2024-02-07 2024-05-24 金钱猫科技股份有限公司 一种高空吊篮安全带检测方法及终端

Similar Documents

Publication Publication Date Title
EP4002198A1 (en) Posture acquisition method and device, and key point coordinate positioning model training method and device
CN107358149B (zh) 一种人体姿态检测方法和装置
CN110419048B (zh) 用于标识所定义的对象的系统
CA3094424C (en) Safety monitoring and early-warning method for man-machine interaction behavior of underground conveyor belt operator
US7409076B2 (en) Methods and apparatus for automatically tracking moving entities entering and exiting a specified region
EP2450832A1 (en) Image processing apparatus and image processing method
CN111126153B (zh) 基于深度学习的安全监测方法、系统、服务器及存储介质
García et al. Driver monitoring based on low-cost 3-D sensors
KR20130121202A (ko) 영상에서의 객체 추적 방법, 장치 및 이를 컴퓨터 상에서 수행하는 프로그램이 기록된 기록 매체
CN109766755A (zh) 人脸识别方法及相关产品
CN117392611A (zh) 工地安全监测方法、系统、设备及存储介质
US11551407B1 (en) System and method to convert two-dimensional video into three-dimensional extended reality content
CN116152863B (zh) 一种人员信息识别方法、装置、电子设备及存储介质
JP2021060868A5 (zh)
CN112069988A (zh) 一种基于枪球联动的驾驶员安全驾驶行为检测方法
CN111222379A (zh) 一种手部检测方法及装置
CN116311081B (zh) 一种基于图像识别的医学实验室监控图像分析方法和系统
CN112966618A (zh) 着装识别方法、装置、设备及计算机可读介质
CN116152928A (zh) 基于轻量级人体姿态估计模型的防溺水预警方法和系统
CN112597903B (zh) 基于步幅测量的电力人员安全状态智能识别方法及介质
WO2020217812A1 (ja) 被写体の状態を認識する画像処理装置及びその方法
CN111976744A (zh) 基于打车的控制方法、装置及自动驾驶汽车
JP2018089161A (ja) 対象者認識方法、装置、システム、プログラム
CN113793250A (zh) 位姿评价方法、位姿确定方法、对应装置和电子设备
CN112434560A (zh) 一种基于深度学习的安全装备实时检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination