CN116789016B - 一种智慧工地塔机的运行隐患监控方法及设备 - Google Patents

Abstract

本申请提供了一种智慧工地塔机的运行隐患监控方法及设备，属于智慧工地技术领域。该方法获取塔机运行信息，基于与塔机运行信息的实时运行轨迹对应的若干监控设备，确定相应的监控设备序列，以通过监控设备序列，获取相应的运行隐患图像集合。根据运行隐患图像集合，确定实时运行轨迹对应的各隐患目标的隐患移动意图，根据隐患移动意图及运行隐患图像集合中待移动位置的空间占用信息，确定隐患移动意图相应的移动完成时间。基于移动完成时间及相应的待移动位置，确定与实时运行轨迹相应的盲区监控设备序列，以生成相应的盲区隐患监控告警信息，并发送至相应的塔机驾驶舱的显示终端。通过上述方式实现实时对塔机的运行隐患进行监控。

Description

一种智慧工地塔机的运行隐患监控方法及设备

技术领域

本申请涉及智慧工地技术领域，尤其涉及一种智慧工地塔机的运行隐患监控方法及设备。

背景技术

智慧工地是指运用信息化手段，通过三维设计平台对工程项目进行精确设计和施工模拟，围绕施工过程管理，建立互联协同、智能生产、科学管理的施工项目信息化生态圈，并将此数据在虚拟现实环境下与物联网采集到的工程信息进行数据挖掘分析，提供过程趋势预测及专家预案，实现工程施工可视化智能管理，以提高工程管理信息化水平，从而逐步实现绿色建造和生态建造。

目前，工地施工环境非常复杂，智慧工地的多种施工设备会交叉运行，对于塔机这种视野盲区多的高空作业设备而言，存在多种安全隐患，如多个塔机的起重臂碰撞、高空坠物、高空线缆障碍物等。智慧工地为满足信息化水平要求，会布设监控设备来进行现场监控，减少人工巡检频率。但是，现阶段的监控设备受限于硬件限制，若要实现全程、无死角监控，对专项隐患告警，需要布设额外的监控设备，耗费大量成本，且无法保证监控质量，甚至可能因额外布设设备而增加人工巡检工作量。

基于此，亟需一种基于智慧工地原有监控设备，低成本地对智慧工地塔机的运行隐患进行实时监控，保障塔机运行的技术方案。

发明内容

本申请实施例提供了一种智慧工地塔机的运行隐患监控方法及设备，用于实时对塔机的运行隐患进行监控。

一方面，本申请实施例提供了一种智慧工地塔机的运行隐患监控方法，该方法包括：

获取塔机运行信息；其中，所述塔机运行信息基于塔机操作人员的操作指令得到的；

基于与所述塔机运行信息的实时运行轨迹对应的若干监控设备，确定相应的监控设备序列，以通过所述监控设备序列，获取相应的运行隐患图像集合；所述监控设备序列包含各所述监控设备的设备标识；

根据所述运行隐患图像集合，确定所述实时运行轨迹对应的各隐患目标的隐患移动意图；

根据所述隐患移动意图及所述运行隐患图像集合中待移动位置的空间占用信息，确定所述隐患移动意图相应的移动完成时间；

基于所述移动完成时间及相应的所述待移动位置，确定与所述实时运行轨迹相应的盲区监控设备序列，以生成相应的盲区隐患监控告警信息，并发送至相应的塔机驾驶舱的显示终端。

在本申请的一种实现方式中，基于与所述塔机运行信息的实时运行轨迹对应的若干监控设备，确定相应的监控设备序列，具体包括：

沿所述实时运行轨迹的方向，确定塔机的各移动部位轨迹点的初始位置信息；其中，所述移动部位轨迹点为预设的塔机移动部位上的边界点；

以所述初始位置信息为中心，确定与预设空间距离范围内满足第一预设条件的各监控设备对应的第一位置；其中，所述预设空间距离范围内的所述监控设备能够采集到所述初始位置信息处的图像分辨率大于第一预设阈值；所述第一预设条件为所述监控设备能够采集到所述移动部位轨迹点移动预设距离值的移动图像；所述移动图像至少包括所述初始位置信息处的所述塔机移动部位图像及所述移动部位轨迹点移动所述预设距离值后，相应的所述塔机移动部位图像；

根据各所述第一位置及所述实时运行轨迹，确定与所述第一位置满足密度相连的各第二位置；所述第二位置为沿所述实时运行轨迹得到的满足所述第一预设条件的各所述监控设备的位置；

按照所述第一位置及所述第二位置，依次将各所述监控设备的设备标识添加至所述监控设备序列。

在本申请的一种实现方式中，通过所述监控设备序列，获取相应的运行隐患图像集合，具体包括：

获取智慧工地的若干标注隐患的塔机隐患历史图像；

根据各所述塔机隐患历史图像及其对应的擦除概率，生成相应的擦除像素区域，并将待擦除塔机隐患历史图像对应的所述擦除像素区域中的像素擦除处理；

将擦除处理后的各所述塔机隐患历史图像，输入待训练目标检测模型，直至相应的损失函数值小于第二预设阈值，得到训练完成的目标检测模型；

将来自所述监控设备序列中各所述监控设备的待识别图像输入所述目标检测模型，以输出隐患识别结果，并根据所述隐患识别结果，将存在塔机隐患的运行隐患图像添加至所述运行隐患图像集合。

在本申请的一种实现方式中，根据所述运行隐患图像集合，确定所述实时运行轨迹对应的各隐患目标的隐患移动意图，具体包括：

根据所述运行隐患图像集合，确定各塔机隐患属性；所述塔机隐患属性至少包括隐患类型、隐患历史移动方向、隐患体积；

根据所述塔机隐患属性，生成相应的移动意图判定区块；其中，所述移动意图判定区块包括与所述塔机隐患属性对应的不同像素面积大小的若干判定子块；

通过所述移动意图判定区块，将相应的所述运行隐患图像进行分割处理，以将分割处理后与各所述判定子块对应的所述运行隐患图像，输入预置移动意图识别模型，以确定相应的所述隐患目标的所述隐患移动意图；所述隐患移动意图至少包括移动方向、移动速度。

在本申请的一种实现方式中，将分割处理后与各所述判定子块对应的所述运行隐患图像，输入预置移动意图识别模型，以确定相应的所述隐患目标的所述隐患移动意图，具体包括：

将分割处理后的所述运行隐患图像的各运行隐患子图像，依次输入所述移动意图识别模型；所述移动意图识别模型为小波神经网络模型；

确定所述移动意图识别模型输出的各所述运行隐患子图像对应的预测移动路径及相应的移动概率；

基于各所述预测移动路径及相应的所述移动概率、所述实时运行轨迹，确定与所述运行隐患图像对应的所述隐患目标的隐患风险值；

确定所述隐患风险值大于预设风险阈值的所述隐患目标，作为意图预测隐患目标，以根据所述意图预测隐患目标对应的各所述预测移动路径及所述隐患类型，生成所述隐患移动意图。

在本申请的一种实现方式中，基于各所述预测移动路径及相应的所述移动概率、所述实时运行轨迹，确定与所述运行隐患图像对应的所述隐患目标的隐患风险值，具体包括：

按照所述移动概率的大小顺序，将各所述预测移动路径进行排序，以得到预测移动路径序列；

将相应的所述移动概率小于第三预设阈值的所述预测移动路径，从所述预测移动路径序列中剔除；

以塔机地面支点为原点，建立空间坐标系，以生成剔除处理后的所述预测移动路径序列中的剩余预测移动路径的各第一空间曲线；以及

生成所述实时运行轨迹对应的第二空间曲线；

计算各所述第一空间曲线与所述第二空间曲线的最短距离值，以根据与各所述剩余预测移动路径分别对应的最短距离值及风险参数公式，生成风险参数列表；所述风险参数公式用于计算与所述最短距离值为反比关系的风险参数；

根据与各所述剩余预测移动路径分别对应的所述移动概率及所述风险参数列表，确定所述隐患目标的所述隐患风险值。

在本申请的一种实现方式中，基于所述移动完成时间及相应的所述待移动位置，确定与所述实时运行轨迹相应的盲区监控设备序列，具体包括：

根据所述移动完成时间及所述待移动位置、所述塔机驾驶舱的预设位置坐标，确定在所述移动完成时间内，隐患目标至所述待移动位置的盲区区域；

根据所述监控设备序列，确定对所述盲区区域监控的监控设备为盲区监控设备，以生成所述盲区监控设备序列。

在本申请的一种实现方式中，根据所述监控设备序列，确定对所述盲区区域监控的监控设备为盲区监控设备，以生成所述盲区监控设备序列，具体包括：

确定所述监控设备序列中各所述监控设备采集所述盲区区域的历史图像；

通过预设图像识别模型，确定各所述历史图像采集所述盲区区域的区域完整度；所述区域完整度为图像中所述盲区区域对应的图像区域面积与所述盲区区域的预设完整图像区域面积比值；

在各所述区域完整度小于预设完整度阈值的情况下，根据各所述监控设备的第一位置，将相应的各所述历史图像进行拼接，直至拼接历史图像对应的所述区域完整度大于或等于所述完整度阈值，以将相应的各所述监控设备合并为盲区监控设备组，以将所述盲区监控设备组添加至所述盲区监控设备序列；所述拼接历史图像至少来自两个所述监控设备。

在本申请的一种实现方式中，所述盲区隐患监控告警信息至少包括盲区区域的监控图像、隐患目标与所述实时运行轨迹的最短距离值。

另一方面，本申请实施例还提供了一种智慧工地塔机的运行隐患监控设备，所述设备包括：

至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：

获取塔机运行信息；其中，所述塔机运行信息基于塔机操作人员的操作指令得到的；

基于与所述塔机运行信息的实时运行轨迹对应的若干监控设备，确定相应的监控设备序列，以通过所述监控设备序列，获取相应的运行隐患图像集合；所述监控设备序列包含各所述监控设备的设备标识；

根据所述运行隐患图像集合，确定所述实时运行轨迹对应的各隐患目标的隐患移动意图；

根据所述隐患移动意图及所述运行隐患图像集合中待移动位置的空间占用信息，确定所述隐患移动意图相应的移动完成时间；

基于所述移动完成时间及相应的所述待移动位置，确定与所述实时运行轨迹相应的盲区监控设备序列，以生成相应的盲区隐患监控告警信息，并发送至相应的塔机驾驶舱的显示终端。

本申请通过上述技术方案，能够利用塔机运行时周围监控设备，采集塔机运行时的轨迹图像，并根据实时运行轨迹采集到隐患目标图像，并对隐患目标的移动意图进行预测，从而根据隐患移动意图，生成塔机运行时针对隐患目标处于盲区的盲区隐患监控告警信息，并展示于塔机驾驶舱显示界面。进而实现了基于智慧工地原有监控设备，对智慧工地塔机的运行隐患进行实时、高效地监控，无需耗费过高的硬件成本，并能够减少智慧工地巡检人员负担，提高驾驶人员的驾驶体验，为智慧工地进一步提供安全保障。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本申请实施例中一种智慧工地塔机的运行隐患监控方法的一种流程示意图；

图2为本申请实施例中一种智慧工地塔机的运行隐患监控设备的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

为解决现阶段的监控设备受限于硬件限制，若要实现全程、无死角监控，对专项隐患告警，需要布设额外的监控设备，耗费大量成本，且无法保证监控质量，甚至可能因额外布设设备而增加人工巡检工作量。

本申请实施例提供了一种智慧工地塔机的运行隐患监控方法及设备，用来实时对塔机的运行隐患进行监控。

以下结合附图，详细说明本申请的各个实施例。

本申请实施例提供了一种智慧工地塔机的运行隐患监控方法，如图1所示，该方法可以包括步骤S101-S105：

S101，服务器获取塔机运行信息。

其中，塔机运行信息基于塔机操作人员的操作指令得到的。

需要说明的是，服务器作为智慧工地塔机的运行隐患监控方法的执行主体，仅为示例性存在，执行主体不仅限于服务器，本申请对此不作具体限定。实际上，执行主体还可以是布设于智慧工地现场的监控设备的中央控制器，与塔机驾驶舱有线或无线连接。上述服务器可以是智慧工地的数据中心中的服务器，也可以是服务器集群，还可以是在工地施工单位的后端数据中心中的服务器。

塔机运行信息是由塔机操作人员在塔机驾驶舱操作之后得到的，例如转向，起重臂变幅小车移动，起重臂起升起重小车等。本申请对于操作指令的具体类型不作具体限定。

S102，服务器基于与塔机运行信息的实时运行轨迹对应的若干监控设备，确定相应的监控设备序列，以通过监控设备序列，获取相应的运行隐患图像集合。

其中，监控设备序列包含各监控设备的设备标识。

在本申请实施例中，上述基于与塔机运行信息的实时运行轨迹对应的若干监控设备，确定相应的监控设备序列，具体包括：

首先，服务器沿实时运行轨迹的方向，确定塔机的各移动部位轨迹点的初始位置信息。其中，移动部位轨迹点为预设的塔机移动部位上的边界点。

服务器在得到塔机运行信息之后，可以生成塔机运行的移动部位，并根据塔机运行信息中移动部位的移动方向，从用户预先设定的移动部位轨迹点列表中，得到移动部位轨迹点。移动部位轨迹点列表包含移动部位、移动方向及轨迹点的对应关系，轨迹点可以理解为以移动部位某一点建立的三维坐标系中用户指定的用于表征移动部位移动的坐标点或坐标区域。例如塔机臂逆时针转动，移动部位包括起重臂及平衡臂、起重小车、牵引绳；起重臂的轨迹点由起重臂对应的三维坐标中沿起重臂轨道形成的、在同一线段上的坐标点组成，该线段与起重臂轨道长度相同，线段具体位置可以是用户进行指定起重臂某一侧边界，本申请对此不作具体限定。平衡臂轨迹点的确定方式可以参考起重臂轨迹点。起重小车的轨迹点可以是用户指定的起重小车对应三维坐标中边界坐标点，如朝向逆时针转向侧的起重小车的三维坐标边界区域的中心坐标点；牵引绳的轨迹点为其边界生成的直线坐标点组成。

服务器可以通过位于塔机附近的指定监控设备，拍摄塔机的初始位置信息对应的图片，以进行识别图片信息，得到上述初始位置信息。指定监控设备可以由用户指定，也可以是用户设定一指定规则，例如按照距离关系选择距离最近且能够拍摄到完整塔机图像的一个监控设备，作为指定监控设备。本申请对此不作具体限定。完整塔机图像指的是不被障碍物遮挡，能够至少包含起重臂及平衡臂、起重小车、牵引绳等移动部位的图像。

此外，服务器能够根据需求，基于智慧工地环境，以工地某一地点或以各施工设备设置位置，建立三维坐标系，作为世界坐标系。并通过坐标系变换，可以将在世界坐标系中建立的个体坐标系，如上述移动部位三维坐标系，转换至世界坐标系，得到轨迹点在世界坐标系中的坐标。

接着，服务器以初始位置信息为中心，确定与预设空间距离范围内满足第一预设条件的各监控设备对应的第一位置。

其中，预设空间距离范围内的监控设备能够采集到初始位置信息处的图像分辨率大于第一预设阈值。第一预设条件为监控设备能够采集到移动部位轨迹点移动预设距离值的移动图像。移动图像至少包括初始位置信息处的塔机移动部位图像及移动部位轨迹点移动预设距离值后，相应的塔机移动部位图像。

换言之，初始位置信息包含各移动部位轨迹点的坐标，以一个移动部位为例，服务器可以分别以移动部位轨迹点对应的各坐标点为中心，根据预先存储的监控设备的位置及分辨率，筛选到预设空间距离范围内的部分监控设备。服务器可以预先存储有分辨率与位置距离的关系公式，关系公式通过监控设备与移动部位之间距离及为监控设备预先设定的权重值的乘积，能够计算得到监控设备采集移动部位位置处时，得到的图像的分辨率，将该分辨率第一预设阈值进行比对，以确定监控设备是否属于预设空间距离范围内的监控设备。第一预设阈值可以由用户进行设定，本申请对此不作具体限定。

接着，根据实时运行轨迹，确定移动部位沿实时运行轨迹移动预设距离值后的预测位置，以筛选部分监控设备中能够采集到预测位置处的移动部位的移动图像的监控设备，并将筛选到的监控设备的设备位置作为第一位置。预设距离值可以用户自行设定，例如10厘米、20厘米等，本申请对此不作具体限定。

随后，服务器根据各第一位置及实时运行轨迹，确定与第一位置满足密度相连的各第二位置。

第二位置为沿实时运行轨迹得到的满足第一预设条件的各监控设备的位置。

由于实时运行轨迹对应的初始位置信息是变化的，其对应有若干第一位置，服务器可以根据各个第一位置及基于密度的聚类算法（Density-Based Spatial Clusteringof Applications with Noise，DBSCAN），进行查找到与第一位置满足密度相连关系的各第二位置。

例如，服务器找到与任意第一位置满足密度可达的各监控设备，生成聚类簇。然后，根据以任意未进入聚类簇的第一位置，找到各密度可达的各监控设备，直至将所有的监控设备添加至相应的聚类簇中，各聚类簇中存在与相应的第一位置满足密度相连的各第二位置。

然后，服务器按照第一位置及第二位置，依次将各监控设备的设备标识添加至监控设备序列。

服务器在得到第一位置及第二位置分别对应的监控设备之后，可以按照监控设备与移动部位轨迹点的距离，依次将各监控设备的设备标识添加到监控设备序列，如[a，b，c，d]。

在本申请实施例中，服务器还可以通过上述监控设备序列，获取相应的运行隐患图像集合，具体包括：

首先，服务器获取智慧工地的若干标注隐患的塔机隐患历史图像。

塔机隐患历史图像可以是服务器从互联网爬取得到的，如两个相邻塔机工作图像、塔机周围输电线路图像等。用户可以对塔机隐患历史图像中的隐患进行标注，并存储至服务器连接的数据库中。

接着，服务器根据各塔机隐患历史图像及其对应的擦除概率，生成相应的擦除像素区域，并将待擦除塔机隐患历史图像对应的擦除像素区域中的像素擦除处理。

具体地，用户可以根据隐患类型，预先设定擦除像素区域的可选区域面积范围、长宽比范围，并将其设置为随机生成，以对各塔机隐患历史图像进行随机生成随机可选区域面积范围、随机长宽比范围的擦除像素区域。擦除概率可以是随机生成的，公式如下：

其中，表示擦除概率，/>表示从0到1中随机取数。

服务器可以根据随机生成的擦除概率与预设概率值的比对结果，确定塔机隐患历史图像是否需要擦除，如擦除概率大于预设概率值，则对其生成擦除像素区域；否则，不对其生成擦除像素区域。

生成擦除像素区域公式如下：

其中，表示擦除像素区域面积，/>表示从区间/>中随机取数，/>及/>为用户预先设定擦除像素区域的可选区域面积范围，/>表示擦除像素区域的长宽比值，表示从区间/>中随机取数，/>及/>为用户预先设定的长宽比范围，/>表示擦除像素区域的宽边边长，/>表示擦除像素区域的长边边长。随后，服务器可以通过以下公式随机选定塔机隐患历史图像中某一区域进行擦除：

其中，表示塔机隐患历史图像中擦除像素区域的某顶点位置坐标，如用户约定的擦除像素区域左上角坐标，/>表示从区间/>中随机取数，/>为塔机隐患历史图像的长边边长，/>表示从区间/>中随机取数，/>为塔机隐患历史图像的宽边边长。至此，服务器确定了塔机隐患历史图像中对应的擦除像素区域。

随后，服务器将擦除处理后的各塔机隐患历史图像，输入待训练目标检测模型，直至相应的损失函数值小于第二预设阈值，得到训练完成的目标检测模型。

待训练目标检测模型可以是YOLOv3算法，损失函数可以包括分类损失、坐标损失、置信度损失，在损失函数的损失函数值小于相应的第二预设阈值的情况下，服务器将结束对待训练目标检测模型的训练，并将其作为训练完成的目标检测模型。第二预设阈值可以在实际使用过程中，由用户自行设定，本申请对此不作具体限定。

然后，服务器将来自监控设备序列中各监控设备的待识别图像输入目标检测模型，以输出隐患识别结果，并根据隐患识别结果，将存在塔机隐患的运行隐患图像添加至运行隐患图像集合。

也就是说，通过目标检测模型，识别上述监控设备序列对沿实时运行轨迹运动的塔机而采集的待识别图像中是否存在隐患目标，并在存在隐患目标的情况下，将相应的运行隐患图像添加到运行隐患图像集合之中。

通过上述技术方案，服务器能够高效地得到运行隐患图像，且识别的运行隐患图像具有更准确，不会误报，结果具有鲁棒性，从而能够实现准确且实时地运行隐患监控。

S103，服务器根据运行隐患图像集合，确定实时运行轨迹对应的各隐患目标的隐患移动意图。

在本申请实施例中，服务器根据运行隐患图像集合，确定实时运行轨迹对应的各隐患目标的隐患移动意图，具体包括：

服务器根据运行隐患图像集合，确定各塔机隐患属性。塔机隐患属性至少包括隐患类型、隐患历史移动方向、隐患体积。根据塔机隐患属性，生成相应的移动意图判定区块。其中，移动意图判定区块包括与塔机隐患属性对应的不同像素面积大小的若干判定子块。通过移动意图判定区块，将相应的运行隐患图像进行分割处理，以将分割处理后与各判定子块对应的运行隐患图像，输入预置移动意图识别模型，以确定相应的隐患目标的隐患移动意图。隐患移动意图至少包括移动方向、移动速度。

上述目标检测模型输出运行隐患图像集合之后，服务器可以通过预先训练完成的图像识别模型（如卷积神经网络模型）对运行隐患图像中的隐患进行识别，输出塔机隐患属性。服务器预先设置有塔机隐患属性对应的移动意图判定区块，例如隐患类型为M1、隐患历史移动方向为M2、隐患体积为M3，服务器通过{M1，M2，M3}匹配预先设置在移动意图判定区块列表中移动意图判定区块，列表中移动意图判定区块的面积大小、长宽比各不相同。

通过不同的移动意图判定区块，能够对具有不同塔机隐患属性的塔机隐患，进行准确地隐患移动意图预测，例如人、挖机，二者塔机隐患属性不同，所生成的移动意图判定区块也不同，可以更有针对性的进行隐患移动意图预测。如人的移动意图判定区块小于挖机的移动意图判定区块，是因为人所占空间小于挖机所占空间，通过更符合空间占比的移动意图判定区块，能够更准确地实现隐患移动意图。采用固定大小的移动意图判定区块，不能够实现上述效果。移动意图判定区块中还包括若干各判定子块，用于进一步划分运行隐患图像，以便能够进行移动方向的准确判断。

此外，将分割处理后与各判定子块对应的运行隐患图像，输入预置移动意图识别模型，以确定相应的隐患目标的隐患移动意图，具体包括：

首先，服务器将分割处理后的运行隐患图像的各运行隐患子图像，依次输入移动意图识别模型。移动意图识别模型为小波神经网络模型。随后，服务器确定移动意图识别模型输出的各运行隐患子图像对应的预测移动路径及相应的移动概率。

小波神经网络（WaveletNeuralNetwork，WNN）是基于小波分析理论以及小波变换所构造的一种分层的、多分辨率的新型人工神经网络模型，其网络收敛速度快，避免陷入局部最优。小波神经网络模型具有输入层、隐含层和输出层。

通过小波神经网络模型计算各运行隐患子图像对应的移动方向及移动概率，举例说明，理解小波神经网络模型计算，如运行隐患子图像为一挖掘机面向东方向，那么向东方向移动概率为60%，向南转向概率为15%，向北转向概率为15%，向西移动概率为10%。该例仅为便于理解小波神经网络模型计算，本申请对此不作具体限定。

随后，服务器基于各预测移动路径及相应的移动概率、实时运行轨迹，确定与运行隐患图像对应的隐患目标的隐患风险值。

其中，基于各预测移动路径及相应的移动概率、实时运行轨迹，确定与运行隐患图像对应的隐患目标的隐患风险值，具体包括：

服务器按照移动概率的大小顺序，将各预测移动路径进行排序，以得到预测移动路径序列。将相应的移动概率小于第三预设阈值的预测移动路径，从预测移动路径序列中剔除。

也就是说，先利用上述小波神经网络模型得到的预测结果，进行筛选部分预测移动路径，上述第三预设阈值可以由用户在实际使用过程中进行设定，本申请对此不作具体限定。

接着，服务器以塔机地面支点为原点，建立空间坐标系，以生成剔除处理后的预测移动路径序列中的剩余预测移动路径的各第一空间曲线。以及生成实时运行轨迹对应的第二空间曲线。随后，计算各第一空间曲线与第二空间曲线的最短距离值，以根据与各剩余预测移动路径分别对应的最短距离值及风险参数公式，生成风险参数列表。风险参数公式用于计算与最短距离值为反比关系的风险参数。并根据与各剩余预测移动路径分别对应的移动概率及风险参数列表，确定隐患目标的隐患风险值。

换言之，服务器能够对上述剩余预测移动路径所生成的第一空间曲线，与实时运行轨迹对应的第二空间曲线，进行最短距离运算。通过最短距离值，可以得到剩余预测移动路径与实时运行轨迹是否存在相交、相切的情况，或者距离过近的情况。其中，最短距离值可以为负值，负值指代剩余预测移动路径与实时运行轨迹存在相交关系。在得到最短距离值之后，服务器通过用户预先设定的风险参数公式，计算最短距离值对应的风险参数。

风险参数公式如

其中，为风险参数，/>为用户预先指定的风险参数最大值，/>为最短距离值。

服务器可以根据上述风险参数公式，计算得到各最短距离值对应的风险参数，并根据同一隐患目标对应的各风险参数与相应的各移动概率乘积的和值，得到隐患风险值。

最后，服务器确定隐患风险值大于预设风险阈值的隐患目标，作为意图预测隐患目标，以根据意图预测隐患目标对应的各预测移动路径及隐患类型，生成隐患移动意图。

预设风险阈值是用户根据实际使用进行设定的，在实际使用过程中可以自行修正，本申请对于其具体取值不作具体限定。通过隐患类型，服务器可以初步判读其移动速度，不同隐患类型对应有不同移动速度，该对应关系可以预先存储在服务器相应数据库中。

S104，服务器根据隐患移动意图及运行隐患图像集合中待移动位置的空间占用信息，确定隐患移动意图相应的移动完成时间。

空间占用信息可以通过能够采集到待移动位置图像的监控设备得到，空间占用信息指的是待移动位置是否存在阻碍隐患目标移动的物体，若没有，按照上述移动速度及移动方向，计算移动完成时间。若有，可以通过上述方案计算空间占用信息对应的物体的占用移动完成时间，然后计算隐患目标的移动完成时间。

此外，若待移动位置被占用，且隐患目标无法移动的情况下，服务器可以立即生成告警信息，包括但不限于文字、光信息、图像信息，发送至塔机驾驶舱，使塔机操作人员停止操作。

S105，服务器基于移动完成时间及相应的待移动位置，确定与实时运行轨迹相应的盲区监控设备序列，以生成相应的盲区隐患监控告警信息，并发送至相应的塔机驾驶舱的显示终端。

在本申请实施例中，基于移动完成时间及相应的待移动位置，确定与实时运行轨迹相应的盲区监控设备序列，具体包括：

服务器根据移动完成时间及待移动位置、塔机驾驶舱的预设位置坐标，确定在移动完成时间内，隐患目标至待移动位置的盲区区域。根据监控设备序列，确定对盲区区域监控的监控设备为盲区监控设备，以生成盲区监控设备序列。

也就是说，服务器能够在智慧工地的世界坐标系中，确定塔机驾驶舱的位置坐标，待移动位置的位置坐标，根据两个位置坐标的直线距离，通过监控设备可以确定直线距离之间是否存在障碍物，使得塔机驾驶舱观察待移动位置存在盲区区域。并且在移动完成时间内，隐患目标持续移动可能存在不同的盲区区域，因此，服务器可以在移动完成时间内，将能够采集到盲区区域图像的监控设备，添加至盲区监控设备序列之中。

具体地，服务器可以确定监控设备序列中各监控设备采集盲区区域的历史图像。通过预设图像识别模型，确定各历史图像采集盲区区域的区域完整度。区域完整度为图像中盲区区域对应的图像区域面积与盲区区域的预设完整图像区域面积比值。在各区域完整度小于预设完整度阈值的情况下，根据各监控设备的第一位置，将相应的各历史图像进行拼接，直至拼接历史图像对应的区域完整度大于或等于完整度阈值，以将相应的各监控设备合并为盲区监控设备组，以将盲区监控设备组添加至盲区监控设备序列。拼接历史图像至少来自两个监控设备。

预设图像识别模型可以是神经网络模型，区域完整度指的是如监控设备所采集图像中的盲区区域的图像区域面积为p1，而完整的盲区区域的图像区域面积为p2，p1/p2即为区域完整度。服务器在区域完整度小于预设完整度阈值的情况下，也就是监控设备采集的图像不能完全覆盖盲区区域的情况下，服务器可以将周围能够采集到盲区区域图像的各监控设备所采集图像进行拼接，直至得到满足区域完整度大于或等于完整度阈值的拼接图像。完整度阈值由用户自行设定，本申请对此不作具体限定。

此外，上述盲区隐患监控告警信息至少包括盲区区域的监控图像、隐患目标与实时运行轨迹的最短距离值。用于展示在塔机驾驶舱的显示界面，以供驾驶员根据盲区隐患监控告警信息，调整操作指令，以规避隐患目标。驾驶舱显示终端为显示屏，如液晶显示屏。

本申请通过上述技术方案，能够利用塔机运行时周围监控设备，采集塔机运行时的轨迹图像，并根据实时运行轨迹采集到隐患目标图像，并对隐患目标的移动意图进行预测，从而根据隐患移动意图，生成塔机运行时针对隐患目标处于盲区的盲区隐患监控告警信息，并展示于塔机驾驶舱显示界面。进而实现了基于智慧工地原有监控设备，对智慧工地塔机的运行隐患进行实时、高效地监控，无需耗费过高的硬件成本，并能够减少智慧工地巡检人员负担，提高驾驶人员的驾驶体验，为智慧工地进一步提供安全保障。

图2为本申请实施例提供的一种智慧工地塔机的运行隐患监控设备的结构示意图，如图2所示，设备包括：

至少一个处理器；以及，与至少一个处理器通信连接的存储器。其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够：

获取塔机运行信息。其中，塔机运行信息基于塔机操作人员的操作指令得到的。基于与塔机运行信息的实时运行轨迹对应的若干监控设备，确定相应的监控设备序列，以通过监控设备序列，获取相应的运行隐患图像集合。监控设备序列包含各监控设备的设备标识。根据运行隐患图像集合，确定实时运行轨迹对应的各隐患目标的隐患移动意图。根据隐患移动意图及运行隐患图像集合中待移动位置的空间占用信息，确定隐患移动意图相应的移动完成时间。基于移动完成时间及相应的待移动位置，确定与实时运行轨迹相应的盲区监控设备序列，以生成相应的盲区隐患监控告警信息，并发送至相应的塔机驾驶舱的显示终端。

本申请中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本申请实施例提供的设备与方法是一一对应的，因此，设备也具有与其对应的方法类似的有益技术效果，由于上面已经对方法的有益技术效果进行了详细说明，因此，这里不再赘述设备的有益技术效果。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (5)

1.一种智慧工地塔机的运行隐患监控方法，其特征在于，所述方法包括：

获取塔机运行信息；其中，所述塔机运行信息基于塔机操作人员的操作指令得到的；

基于与所述塔机运行信息的实时运行轨迹对应的若干监控设备，确定相应的监控设备序列，以通过所述监控设备序列，获取相应的运行隐患图像集合；所述监控设备序列包含各所述监控设备的设备标识；

根据所述运行隐患图像集合，确定所述实时运行轨迹对应的各隐患目标的隐患移动意图；

根据所述隐患移动意图及所述运行隐患图像集合中待移动位置的空间占用信息，确定所述隐患移动意图相应的移动完成时间；

基于所述移动完成时间及相应的所述待移动位置，确定与所述实时运行轨迹相应的盲区监控设备序列，以生成相应的盲区隐患监控告警信息，并发送至相应的塔机驾驶舱的显示终端；

其中，基于与所述塔机运行信息的实时运行轨迹对应的若干监控设备，确定相应的监控设备序列，具体包括：

沿所述实时运行轨迹的方向，确定塔机的各移动部位轨迹点的初始位置信息；其中，所述移动部位轨迹点为预设的塔机移动部位上的边界点；

以所述初始位置信息为中心，确定与预设空间距离范围内满足第一预设条件的各监控设备对应的第一位置；其中，所述预设空间距离范围内的所述监控设备能够采集到所述初始位置信息处的图像分辨率大于第一预设阈值；所述第一预设条件为所述监控设备能够采集到所述移动部位轨迹点移动预设距离值的移动图像；所述移动图像至少包括所述初始位置信息处的所述塔机移动部位图像及所述移动部位轨迹点移动所述预设距离值后，相应的所述塔机移动部位图像；

根据各所述第一位置及所述实时运行轨迹，确定与所述第一位置满足密度相连的各第二位置；所述第二位置为沿所述实时运行轨迹得到的满足所述第一预设条件的各所述监控设备的位置；

按照所述第一位置及所述第二位置，依次将各所述监控设备的设备标识添加至所述监控设备序列；

其中，通过所述监控设备序列，获取相应的运行隐患图像集合，具体包括：

获取智慧工地的若干标注隐患的塔机隐患历史图像；

根据各所述塔机隐患历史图像及其对应的擦除概率，生成相应的擦除像素区域，并将待擦除塔机隐患历史图像对应的所述擦除像素区域中的像素擦除处理；

将擦除处理后的各所述塔机隐患历史图像，输入待训练目标检测模型，直至相应的损失函数值小于第二预设阈值，得到训练完成的目标检测模型；

将来自所述监控设备序列中各所述监控设备的待识别图像输入所述目标检测模型，以输出隐患识别结果，并根据所述隐患识别结果，将存在塔机隐患的运行隐患图像添加至所述运行隐患图像集合；

其中，根据所述运行隐患图像集合，确定所述实时运行轨迹对应的各隐患目标的隐患移动意图，具体包括：

根据所述运行隐患图像集合，确定各塔机隐患属性；所述塔机隐患属性至少包括隐患类型、隐患历史移动方向、隐患体积；

根据所述塔机隐患属性，生成相应的移动意图判定区块；其中，所述移动意图判定区块包括与所述塔机隐患属性对应的不同像素面积大小的若干判定子块；

通过所述移动意图判定区块，将相应的所述运行隐患图像进行分割处理，以将分割处理后与各所述判定子块对应的所述运行隐患图像，输入预置移动意图识别模型，以确定相应的所述隐患目标的所述隐患移动意图；所述隐患移动意图至少包括移动方向、移动速度；

其中，基于所述移动完成时间及相应的所述待移动位置，确定与所述实时运行轨迹相应的盲区监控设备序列，具体包括：

根据所述移动完成时间及所述待移动位置、所述塔机驾驶舱的预设位置坐标，确定在所述移动完成时间内，隐患目标至所述待移动位置的盲区区域；

根据所述监控设备序列，确定对所述盲区区域监控的监控设备为盲区监控设备，以生成所述盲区监控设备序列；

其中，根据所述监控设备序列，确定对所述盲区区域监控的监控设备为盲区监控设备，以生成所述盲区监控设备序列，具体包括：

确定所述监控设备序列中各所述监控设备采集所述盲区区域的历史图像；

通过预设图像识别模型，确定各所述历史图像采集所述盲区区域的区域完整度；所述区域完整度为图像中所述盲区区域对应的图像区域面积与所述盲区区域的预设完整图像区域面积比值；

在各所述区域完整度小于预设完整度阈值的情况下，根据各所述监控设备的第一位置，将相应的各所述历史图像进行拼接，直至拼接历史图像对应的所述区域完整度大于或等于所述完整度阈值，以将相应的各所述监控设备合并为盲区监控设备组，以将所述盲区监控设备组添加至所述盲区监控设备序列；所述拼接历史图像至少来自两个所述监控设备。

2.根据权利要求1所述的一种智慧工地塔机的运行隐患监控方法，其特征在于，将分割处理后与各所述判定子块对应的所述运行隐患图像，输入预置移动意图识别模型，以确定相应的所述隐患目标的所述隐患移动意图，具体包括：

将分割处理后的所述运行隐患图像的各运行隐患子图像，依次输入所述移动意图识别模型；所述移动意图识别模型为小波神经网络模型；

确定所述移动意图识别模型输出的各所述运行隐患子图像对应的预测移动路径及相应的移动概率；

基于各所述预测移动路径及相应的所述移动概率、所述实时运行轨迹，确定与所述运行隐患图像对应的所述隐患目标的隐患风险值；

确定所述隐患风险值大于预设风险阈值的所述隐患目标，作为意图预测隐患目标，以根据所述意图预测隐患目标对应的各所述预测移动路径及所述隐患类型，生成所述隐患移动意图。

3.根据权利要求2所述的一种智慧工地塔机的运行隐患监控方法，其特征在于，基于各所述预测移动路径及相应的所述移动概率、所述实时运行轨迹，确定与所述运行隐患图像对应的所述隐患目标的隐患风险值，具体包括：

按照所述移动概率的大小顺序，将各所述预测移动路径进行排序，以得到预测移动路径序列；

将相应的所述移动概率小于第三预设阈值的所述预测移动路径，从所述预测移动路径序列中剔除；

以塔机地面支点为原点，建立空间坐标系，以生成剔除处理后的所述预测移动路径序列中的剩余预测移动路径的各第一空间曲线；以及

生成所述实时运行轨迹对应的第二空间曲线；

计算各所述第一空间曲线与所述第二空间曲线的最短距离值，以根据与各所述剩余预测移动路径分别对应的最短距离值及风险参数公式，生成风险参数列表；所述风险参数公式用于计算与所述最短距离值为反比关系的风险参数；

根据与各所述剩余预测移动路径分别对应的所述移动概率及所述风险参数列表，确定所述隐患目标的所述隐患风险值。

4.根据权利要求1所述的一种智慧工地塔机的运行隐患监控方法，其特征在于，所述盲区隐患监控告警信息至少包括盲区区域的监控图像、隐患目标与所述实时运行轨迹的最短距离值。

5.一种智慧工地塔机的运行隐患监控设备，其特征在于，所述设备包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上述权利要求1-4任一项所述的一种智慧工地塔机的运行隐患监控方法。