CN115909094A - 基于2d图像和视频融合的地下桩基施工进度识别方法 - Google Patents

Abstract

本发明属于地下桩基施工进度识别相关技术领域，其公开了一种基于2D图像和视频融合的地下桩基施工进度识别方法，方法包括：对地下桩基施工现场进行2D图像拍摄，对工作区域中的机械设备信息和施工桩孔信息进行识别并标注；将拍摄的2D图像进行图像拼接获得拼接图像；在拼接图像上对工作区域进行划分，并对工地摄像头位置及视角信息进行标注；将工地摄像头中的机械设备和施工桩孔与拼接图像中的进行匹配；获取工地摄像头所拍视频中各机械设备的关键帧，进而获得各机械设备的总工作时长；基于各机械设备的工作时长以及施工桩孔的数量和位置信息获得地下桩基施工进度并在拼接图像上进行标注。本申请可以实现地下桩基施工进度的自动识别和追踪。

Description

基于2D图像和视频融合的地下桩基施工进度识别方法

技术领域

本发明属于地下桩基施工进度识别相关技术领域，更具体地，涉及一种基于2D图像和视频融合的地下桩基施工进度识别方法。

背景技术

图像识别是指利用计算机对图像进行处理、分析和理解，以识别各种不同的目标和对象的技术，是应用深度学习算法的一种实践应用，其中，图像分类识别和图像分割识别可以在工程中应用，确保工地施工安全，提升工地施工效率。

而地下装机施工场地复杂，处于地下具有一定的深度，施工具有隐蔽性，传统人工统计施工进度方法主要依靠每日数据进行总结统计，在传统图纸中标记地下桩基施工进度，但这种传统人工的方法需要人工一直盯着工作现场不仅费时而且费力，因此亟需设计一种新的地下桩基施工进度识别和跟踪方法。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于2D图像和视频融合的地下桩基施工进度识别方法，可以实现地下桩基施工进度的自动识别和追踪。

为实现上述目的，按照本发明的一个方面，提供了一种基于2D图像和视频融合的地下桩基施工进度识别方法，所述方法包括：S1：采用无人机对地下桩基施工现场进行2D图像拍摄，对工作区域中的机械设备信息和施工桩孔信息进行识别并标注；S2：将拍摄的2D图像进行图像拼接以获得拼接图像，也即完整的地下桩基施工现场图像；S3：在拼接图像上对图像地下桩基施工现场的工作区域进行划分，并对划分后各区域中的工地摄像头位置及视角信息进行标注；S4：将工地摄像头中的机械设备和施工桩孔与拼接图像中的机械设备和施工桩孔进行匹配；S5：获取工地摄像头所拍视频中各机械设备的起始运行帧和停止运行帧，以及施工桩孔的数量和位置信息，进而获得各机械设备的总工作时长；S6：基于各机械设备的工作时长以及施工桩孔的数量和位置信息获得地下桩基施工进度并将所述施工进度在拼接图像上进行标注。

优选地，步骤S5中采用如下方式获取起始运行帧和停止运行帧：选取机械设备变动最大的一帧作为时长记录的开始帧也即起始运行帧，直至出现长时间无变动，选取无变动前一帧作为时长记录的结束帧也即停止运行帧。

优选地，步骤S5中采用如下方式获得起始运行帧和停止运行帧：S51：对视频帧进行互信息量特征提取，选取互信息量最大的两帧进行k值聚类；S52：计算相邻两帧图像中对应像素位置变化差值，所述像素位置变化差值包括相邻两帧像素色彩差值、饱和度差值和亮度差值，得到每一帧的统计直方图后，取平均值，选取步骤S51中聚类后的视频帧中最接近平均值的帧作为该类的关键帧；S53：将得到的各类关键帧按时序进行排列，计算每两帧RGB均值矩阵之间的马氏距离，以进行帧间相似度计算，选取与前一帧帧间相似度小与后一帧帧间相似度大的一帧作为起始运行帧，选取与前一帧帧间相似度大与后一帧帧间相似度小的一帧作为停止运行帧，记录两帧之间的时长即为工作时长。

优选地，步骤S4将工地摄像头中的机械设备和施工桩孔与拼接图像中的机械设备和施工桩孔进行匹配具体步骤为：S41：依据无人机拍摄图像属性中的经纬度和高度信息确定无人机拍摄的位置，根据无人机旋转角度和俯仰角度获得目标机械设备的位置信息；S42：结合拼接图像中标注的工地摄像头位置及视角信息确定工地摄像头角度范围内的待选施工桩孔；S43：获取工地摄像头中的制备桩孔用设备的关键帧，利用深度学习算法进行深度估计，进而确定制备桩孔用设备的位置，制备桩孔用设备的位置即为施工桩孔位置，实现工地摄像头中的机械设备和施工桩孔与拼接图像中的机械设备和施工桩孔的匹配。

优选地，步骤S2具体包括如下步骤：S21：对无人机拍摄的2D图像依次进行归一化和灰度处理；S22：基于SIFT算法自动提取图像中特征点，并对特征点进行方向计算；S23：对多张2D图像进行特征点匹配和坐标变换实现图像拼接。

优选地，步骤S22具体包括：S22a：在高斯差分金字塔制度空间内对2D图像进行极值点检测，得到全尺度下的离散极值点；并利用曲线拟合方法得到连续空间曲线，进行特征点定位；S22b：计算特征点位置的3σ邻域窗口计算像素的梯度的幅值和方向，对应幅值进行高斯系数加权计算，对方向进行统计，得到方向的统计直方图，以直方图峰值方向作为特征点主方向；S22c：将邻域图像按主方向旋转，然后进行区域划分，与S22b原理相同，求各方向的统计直方图，以直方图峰值方向作为特征点邻域方向；S22d：对特征点的描述向量归一化，然后设置阈值做阈值化处理，按照特征点的尺度对描述向量进行排序，最终得到一系列特征点。

优选地，步骤S1中对工作区域中的机械设备信息和施工桩孔信息进行识别并标注包括：采用训练完成的GoogLeNet模型对无人机拍摄的2D图像进行识别和标注。

优选地，步骤S6还包括进度比对，用于将实际进度和计划进度进行比对。

优选地，根据旋挖钻机垂直状态机臂、汽车吊和履带吊起重臂、混凝土搅拌车尾部及护筒的动作识别机械设备的变动。

按照本发明的另一个方面，提供了一种基于2D图像和视频融合的地下桩基施工进度识别系统，所述系统包括：识别与标注模块：用于采用无人机对地下桩基施工现场进行2D图像拍摄，对工作区域中的机械设备信息和施工桩孔信息进行识别并标注；拼接模块：用于将拍摄的2D图像进行图像拼接以获得拼接图像，也即完整的地下桩基施工现场图像；划分与标注模块：用于在拼接图像上对图像地下桩基施工现场的工作区域进行划分，并对划分后各区域中的工地摄像头位置及视角信息进行标注；匹配模块：用于将工地摄像头中的机械设备和施工桩孔与拼接图像中的机械设备和施工桩孔进行匹配；计算模块：用于获取工地摄像头所拍视频中各机械设备的起始运行帧和停止运行帧，以及施工桩孔的数量和位置信息，进而获得各机械设备的总工作时长；标注模块：用于基于各机械设备的工作时长以及施工桩孔的数量和位置信息获得地下桩基施工进度并将所述施工进度在拼接图像上进行标注。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，本发明提供的基于2D和视频融合的地下桩基施工进度识别方法具有如下有益效果：

1.基于无人机航拍2D图像和视频图像的融合将视频中机械设备和桩孔信息与图像中的进行匹配，进而可以通过视频中的关键帧数据判断机械设备的运动时长，通过运动时长判断施工进度，进而实现在2D拼接图像中的标注。

2.采用关键帧的形式判断机械设备的作动与否进行判断机械设备的运动时长，而关键帧采用像素级表征的统计直方图进行确定，进一步通过RGB均值矩阵进行相似度计算获得关键帧中的起始运行帧和停止运行帧，进而根据起始运行帧和停止运行帧的差值来获得运行时长，精度高，统计完备。

3.通过识别中视频中设备的关键帧并基于深度学习算法实现桩孔位置确定，进一步基于视频拍摄用工地摄像头在拼接图像中的位置和视角信息实现工地摄像头中的机械设备和施工桩孔与拼接图像中的机械设备和施工桩孔的匹配，实现了2D图像和视频数据的匹配，为后续通过视频数据在2D图像中的标注成为可能。

附图说明

图1是本实施例基于2D图像和视频融合的地下桩基施工进度识别方法的流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

本发明提供了一种基于2D图像和视频融合的地下桩基施工进度识别方法，该方法包括如下步骤S1～S6。

S1：采用无人机对地下桩基施工现场进行2D图像拍摄，对工作区域中的机械设备信息和施工桩孔信息进行识别并标注。

无人机航拍过程中首先按照要求对无人机进行安装和校准，保证飞行安全性和位置准确性，然后选择航拍环绕模式对施工现场进行图像采集，再者，调整无人机上摄像头的俯仰角度，最后进行无人机航向重叠率和旁向重叠率设置，保证地下桩基施工场景模型构建的精度。

本实施例中为保证可以实现无人机拍摄图像中2D图像的识别，至少包括无人机45°航拍图像。地下桩基施工过程中所用到的机械设备主要包括旋挖钻机、挖掘机、汽车吊、履带吊、混凝土搅拌车等，其中，最重要的是旋挖钻机，其用于制备施工桩孔。

无人机拍摄的图像进行机械设备识别之前还需要对图像的尺寸进行统一，对图像进行图像增强，调整图像亮度、对比度、饱和度等，如需要还需要调整图像旋转角度、水平位移、竖直位移等。若GoogLeNet模型还未进行训练，则需要将部分数据集对GoogLeNet模型进行训练，根据神经网络训练所得损失值更新模型网络参数，进行网络参数微调并保存网络参数，进行迭代训练，直至损失函数收敛。基于GoogLeNet模型实现旋挖钻机、挖掘机、汽车吊、履带吊、混凝土搅拌车等机械设备的标注，标记机械设备在图像中的位置信息。

S2：将拍摄的2D图像进行图像拼接以获得拼接图像，也即完整的地下桩基施工现场图像。

步骤S2具体包括如下步骤：

S21：对无人机拍摄的2D图像依次进行归一化和灰度处理。

对图像进行归一化处理，避免因为无人机航拍拍摄角度不同造成图像中的明暗不均匀。

进行灰度处理，是由于地下桩基工程施工场地无人机航拍图机械设备表面，工作区边界有大量泥土附着，容易与背景融为一体，因此需灰度处理避免图像对比度不足从而对后续图像识别带来影响。

S22：基于SIFT算法自动提取图像中特征点，并对特征点进行方向计算。

具体步骤为：

S22a：在高斯差分金字塔制度空间内进行极值点检测，得到全尺度下的离散极值点；利用曲线拟合方法得到连续空间曲线，进行特征点定位；筛选特征点，剔除边缘点影响；

S22b：计算特征点主方向：计算特征点位置的3σ邻域窗口计算像素的梯度的幅值和方向，对应幅值进行高斯系数加权计算，对方向进行统计，得到方向的统计直方图，以直方图峰值方向作为特征点主方向；

S22c：计算特征点邻域方向：将邻域图像按主方向旋转，然后进行区域划分，与S22b原理相同，求各方向的统计直方图，以直方图峰值方向作为特征点邻域方向；

S22d：对特征点的描述向量归一化，然后设置阈值做阈值化处理，按照特征点的尺度对描述向量进行排序，最终得到一系列特征点。

S23：对多张2D图像进行特征点匹配和坐标变换实现图像拼接。

S3：在拼接图像上对图像地下桩基施工现场的工作区域进行划分，并对划分后各区域中的工地摄像头位置及视角信息进行标注。

根据施工现场的实际情况在拼接图像中对图像地下桩基施工现场的工作区域进行划分，并对划分后各区域中的工地摄像头位置及视角信息进行标注。

S4：将工地摄像头中的机械设备和施工桩孔与拼接图像中的机械设备和施工桩孔进行匹配。

具体步骤为：

S41：依据无人机拍摄图像属性中的经纬度和高度信息确定无人机拍摄的位置，根据无人机旋转角度和俯仰角度获得目标机械设备的位置信息；

S42：结合拼接图像中标注的工地摄像头位置及视角信息确定工地摄像头角度范围内的待选施工桩孔；

S43：获取工地摄像头中的制备桩孔用设备的关键帧，利用深度学习算法进行深度估计，进而确定制备桩孔用设备的位置，制备桩孔用设备的位置即为施工桩孔位置，实现工地摄像头中的机械设备和施工桩孔与拼接图像中的机械设备和施工桩孔的匹配。

S5：获取工地摄像头所拍视频中各机械设备的起始运行帧和停止运行帧，以及施工桩孔的数量和位置信息，进而获得各机械设备的总工作时长。

以旋挖钻机垂直状态机臂、汽车吊和履带吊起重臂、混凝土搅拌车尾部及护筒的动作为研究对象在视频中识别机械设备的变动。

可以采用如下方式获取起始运行帧和停止运行帧：

选取机械设备变动最大的一帧作为时长记录的开始帧也即起始运行帧，直至出现长时间无变动，选取无变动前一帧作为时长记录的结束帧也即停止运行帧。

还可以采用如下方式获得起始运行帧和停止运行帧：

S51：对视频帧进行互信息量特征提取，选取互信息量最大的两帧进行k值聚类。对视频帧序列进行k值聚类，选取一个自定义k值，这可以在一定程度的限制关键帧的数量，能够有效减少冗余，并且能代表镜头的主要内容。互信息量特征提取常用来测量并统计两个随机变量相关性，选取互信息量最大的两帧进行聚类。

S52：计算相邻两帧图像中对应像素位置变化差值，所述像素位置变化差值包括相邻两帧像素色彩差值、饱和度差值和亮度差值，得到每一帧的统计直方图后，取平均值，选取步骤S51中聚类后的视频帧中最接近平均值的帧作为该类的关键帧；

S53：将得到的各类关键帧按时序进行排列，计算每两帧RGB均值矩阵之间的马氏距离，以进行帧间相似度计算，选取与前一帧帧间相似度小与后一帧帧间相似度大的一帧作为起始运行帧，选取与前一帧帧间相似度大与后一帧帧间相似度小的一帧作为停止运行帧，记录两帧之间的时长即为工作时长。包括但不限于旋挖钻机钻孔时长、挖掘机清土时长、汽车吊和履带吊吊装时长、混凝土搅拌车注混凝土时长。

S6：基于各机械设备的工作时长以及施工桩孔的数量和位置信息获得地下桩基施工进度并将所述施工进度在拼接图像上进行标注。

各机械设备的运载量或单位时间的工作量均是已知，因此根据机械设备的工作时长和施工桩孔的数量、位置信息等即可获得地下桩基的施工进度。将该施工进度在拼接图像上标注即可获得标注后的拼接2D图像。

还可以进行进度分析，用于将实际进度和计划进度进行比对，计划进度按照工程节点和施工场地区域进行划分，具体的每个施工区域的每个施工节点都对应一个子计划进度，子计划进度包括该工作区内施工设备类型及数量、施工设备工作时长及工作状态等；当实际进度与计划进度进行比较时，若实际进度和计划进度相同，则实际进度满足计划要求，如果实际进度与计划进度不同，则实际进度不满足计划要求，相应的应加快或减慢施工进程。

本申请另一方面提供了一种基于2D图像和视频融合的地下桩基施工进度识别系统，所述系统包括：

识别与标注模块：用于采用无人机对地下桩基施工现场进行2D图像拍摄，对工作区域中的机械设备信息和施工桩孔信息进行识别并标注；

拼接模块：用于将拍摄的2D图像进行图像拼接以获得拼接图像，也即完整的地下桩基施工现场图像；

划分与标注模块：用于在拼接图像上对图像地下桩基施工现场的工作区域进行划分，并对划分后各区域中的工地摄像头位置及视角信息进行标注；

匹配模块：用于将工地摄像头中的机械设备和施工桩孔与拼接图像中的机械设备和施工桩孔进行匹配；

计算模块：用于获取工地摄像头所拍视频中各机械设备的起始运行帧和停止运行帧，以及施工桩孔的数量和位置信息，进而获得各机械设备的总工作时长；

标注模块：用于基于各机械设备的工作时长以及施工桩孔的数量和位置信息获得地下桩基施工进度并将所述施工进度在拼接图像上进行标注。

本系统还包括进度分析模块，用于实现上述的进度分析过程，在进度分析中若工作区实际进度满足计划要求，则背景为浅绿色，若工作区实际进度不满足计划要求，则背景为浅红色，同时可进行人机交互，获取各施工区域信息，可视化展现当前地下桩基施工各施工区进展，实现进度自动识别与跟踪。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于2D图像和视频融合的地下桩基施工进度识别方法，其特征在于，所述方法包括：

S1：采用无人机对地下桩基施工现场进行2D图像拍摄，对工作区域中的机械设备信息和施工桩孔信息进行识别并标注；

S2：将拍摄的2D图像进行图像拼接以获得拼接图像，也即完整的地下桩基施工现场图像；

S3：在拼接图像上对图像地下桩基施工现场的工作区域进行划分，并对划分后各区域中的工地摄像头位置及视角信息进行标注；

S4：将工地摄像头中的机械设备和施工桩孔与拼接图像中的机械设备和施工桩孔进行匹配；

S5：获取工地摄像头所拍视频中各机械设备的起始运行帧和停止运行帧，以及施工桩孔的数量和位置信息，进而获得各机械设备的总工作时长；

S6：基于各机械设备的工作时长以及施工桩孔的数量和位置信息获得地下桩基施工进度并将所述施工进度在拼接图像上进行标注。

2.根据权利要求1所述的方法，其特征在于，步骤S5中采用如下方式获取起始运行帧和停止运行帧：

选取机械设备变动最大的一帧作为时长记录的开始帧也即起始运行帧，直至出现长时间无变动，选取无变动前一帧作为时长记录的结束帧也即停止运行帧。

3.根据权利要求1所述的方法，其特征在于，步骤S5中采用如下方式获得起始运行帧和停止运行帧：

S51：对视频帧进行互信息量特征提取，选取互信息量最大的两帧进行k值聚类；

S52：计算相邻两帧图像中对应像素位置变化差值，所述像素位置变化差值包括相邻两帧像素色彩差值、饱和度差值和亮度差值，得到每一帧的统计直方图后，取平均值，选取步骤S51中聚类后的视频帧中最接近平均值的帧作为该类的关键帧；

S53：将得到的各类关键帧按时序进行排列，计算每两帧RGB均值矩阵之间的马氏距离，以进行帧间相似度计算，选取与前一帧帧间相似度小与后一帧帧间相似度大的一帧作为起始运行帧，选取与前一帧帧间相似度大与后一帧帧间相似度小的一帧作为停止运行帧，记录两帧之间的时长即为工作时长。

4.根据权利要求1或3所述的方法，其特征在于，步骤S4将工地摄像头中的机械设备和施工桩孔与拼接图像中的机械设备和施工桩孔进行匹配具体步骤为：

S41：依据无人机拍摄图像属性中的经纬度和高度信息确定无人机拍摄的位置，根据无人机旋转角度和俯仰角度获得目标机械设备的位置信息；

S42：结合拼接图像中标注的工地摄像头位置及视角信息确定工地摄像头角度范围内的待选施工桩孔；

S43：获取工地摄像头中的制备桩孔用设备的关键帧，利用深度学习算法进行深度估计，进而确定制备桩孔用设备的位置，制备桩孔用设备的位置即为施工桩孔位置，实现工地摄像头中的机械设备和施工桩孔与拼接图像中的机械设备和施工桩孔的匹配。

5.根据权利要求1所述的方法，其特征在于，步骤S2具体包括如下步骤：

S21：对无人机拍摄的2D图像依次进行归一化和灰度处理；

S22：基于SIFT算法自动提取图像中特征点，并对特征点进行方向计算；

S23：对多张2D图像进行特征点匹配和坐标变换实现图像拼接。

6.根据权利要求5所述的方法，其特征在于，步骤S22具体包括：

S22a：在高斯差分金字塔尺度空间内对2D图像进行极值点检测，得到全尺度下的离散极值点；并利用曲线拟合方法得到连续空间曲线，进行特征点定位；

S22b：计算特征点位置的3σ邻域窗口计算像素的梯度的幅值和方向，对应幅值进行高斯系数加权计算，对方向进行统计，得到方向的统计直方图，以直方图峰值方向作为特征点主方向；

S22c：将邻域图像按主方向旋转，然后进行区域划分，与S22b原理相同，求各方向的统计直方图，以直方图峰值方向作为特征点邻域方向；

S22d：对特征点的描述向量归一化，然后设置阈值做阈值化处理，按照特征点的尺度对描述向量进行排序，最终得到一系列特征点。

7.根据权利要求1所述的方法，其特征在于，步骤S1中对工作区域中的机械设备信息和施工桩孔信息进行识别并标注包括：采用训练完成的GoogLeNet模型对无人机拍摄的2D图像进行识别和标注。

8.根据权利要求1所述的方法，其特征在于，步骤S6还包括进度比对，用于将实际进度和计划进度进行比对。

9.根据权利要求2或3所述的方法，其特征在于，根据旋挖钻机垂直状态机臂、汽车吊和履带吊起重臂、混凝土搅拌车尾部及护筒的动作识别机械设备的变动。

10.一种基于2D图像和视频融合的地下桩基施工进度识别系统，其特征在于，所述系统包括：

识别与标注模块：用于采用无人机对地下桩基施工现场进行2D图像拍摄，对工作区域中的机械设备信息和施工桩孔信息进行识别并标注；

拼接模块：用于将拍摄的2D图像进行图像拼接以获得拼接图像，也即完整的地下桩基施工现场图像；

划分与标注模块：用于在拼接图像上对图像地下桩基施工现场的工作区域进行划分，并对划分后各区域中的工地摄像头位置及视角信息进行标注；

匹配模块：用于将工地摄像头中的机械设备和施工桩孔与拼接图像中的机械设备和施工桩孔进行匹配；

计算模块：用于获取工地摄像头所拍视频中各机械设备的起始运行帧和停止运行帧，以及施工桩孔的数量和位置信息，进而获得各机械设备的总工作时长；

标注模块：用于基于各机械设备的工作时长以及施工桩孔的数量和位置信息获得地下桩基施工进度并将所述施工进度在拼接图像上进行标注。

Images