CN111079826B - 融合slam和图像处理的施工进度实时识别方法 - Google Patents

Abstract

本发明公开了一种融合SLAM和图像处理的施工进度实时识别方法。首先，激光雷达采集室内环境信息，通过帧间匹配和坐标变换建立子图，随着激光帧的加入，地图误差累计后，通过后端优化缩小误差，最终得到全局地图。该全局地图即施工场地实时图。利用卷积神经网络提取地图轮廓以减小噪声干扰，然后利用改进哈希算法进行图像对比后得到施工进度数据。本发明开创性地将激光SLAM和图像处理方法与工程应用结合起来，降低了工程建设的成本，提高了系统的可行性和实时性，并丰富了SLAM算法和图像处理应用。

Description

融合SLAM和图像处理的施工进度实时识别方法

技术领域

本发明涉及计算机视觉识别和建筑工程领域，尤其涉及基于激光SLAM和图像处理的室内建筑施工进度实时监督识别方法。

背景技术

工程施工中进度控制一直是项目管理的重要目标之一。施工进度直接影响整个建筑工程项目的成本和质量。我国在2016年颂布的《2016-2020年建筑业信息化发展纲要》中要求全面推进BIM(建筑信息模型，Building Infromation Modeling)的应用与研究。目前对于工程施工进度大多基于BIM建立待施工工程模型，将实际工程施工进度与可视化模型对比确认是否一致。而要实现这一方法，需对施工现场进度进行大量信息收集，大部分建设项目仍采用传统的人工测量的方式了解施工现场的实际进度，这种方式不仅浪费人力、耗费时间，且过于依赖工人经验，极易出错，信息反馈不及时，进度情况也只是以文字和表格形式，不利于管理者的决策。

因此，需要一种系统和方法来及时准确的实现对室内建筑施工进度实时识别方法。

发明内容

本发明要解决的技术问题是针对现有施工现场信息收集缺陷，提供一种操控简单、省工省力的用于室内建筑施工进度监督的、融合SLAM和图像处理的施工进度实时识别方法，能更加准确地对施工环境进行扫描比对，得到更加精确的施工进度数据，以保证工期进度。

本发明解决其技术问题所采用的技术方案是：

一种融合SLAM和图像处理的施工进度实时识别方法，其特征在于包括以下步骤：

步骤1：数据采集：利用激光雷达SLAM技术对室内建筑环境进行全景扫描，获得二维图像；

步骤2：前端匹配：根据多帧激光束的匹配与激光帧的位姿变换，建立初始子地图submap，并在初始子地图的基础上依次创建后续子地图；

步骤3：后端优化：利用回环检测对多次创建子地图的累积误差进行优化，得到全局一致的轨迹和地图；

步骤4：利用卷积神经网络将SLAM建的地图进行轮廊提取得到轮廓图：

步骤5：利用改进哈希算法将轮廓图与工程制图进行对比得出施工进度。

进一步，步骤1中获取的是二维占用栅格地图。

进一步，步骤2中初始子地图建立之后，后续子地图的创建方法如下：

每当得到一次激光扫描的数据后，便与最近建立的子地图submap进行匹配，使这一帧激光扫描数据帧插入到子地图submap上最优的位置，在不断插入数据帧的同时，该子地图submap也得到了更新，当不再有新的数据帧插入到该子地图中时，即为这个子地图submap已经创建完成，此时再去创建下一个子地图。

进一步，步骤3中环检测的具体方法为：在一个新的激光束插入到子地图中时，若此激光束的估计位姿与地图中某个子地图中的某个激光束的位姿足够接近时，找出建立这种约束关系的历史帧，通过扫描匹配就会找到该回环对应的子地图中的某个激光束的位姿，消除误差。

进一步，步骤4中利用卷积神经网络将SLAM建的地图进行轮廊提取得到轮廓图包括如下具体步骤：

去除VGG16卷积神经网络中的全连接层和池化层第五层，对VGG16卷积神经网络中的每个卷积层与1*1-21的卷积核相连，每层的结果特征映射被累积再使用一个按元素操作层eltwise layer，将每步中的输出进行相加得到一个复合特征；

再将每个按元素操作层eltwise layer后面加一个反卷积层deconv layer用来放大特征图尺寸，其次，在每个上采样层后用一个交叉熵损耗，随后将所有的上采样层的输出进行联系，再使用一个1*1的卷积层进行特征图融合，最后使用一个交叉熵损失函数得到轮廓图。

进一步，步骤4中在得到轮廓图的过程中，复合特征网络中每一层图像处理后的每个像素的损失函数定义如下：

其中

Y⁺和Y^-分别表示正样本集和负样本集；λ是平稳正负样本的参数；X_i表示当前像素的特征向量，y_i表示边缘概率值；P(X)表示标准sigmoid函数，W表示此网络结构将要学习的所有参数；由此得到复合特征网络总损失函数可以表述为

此时表示第k阶段的CNN特征向量，k表示训练的阶层数，且k＝5，而/>表示最终融合层的特征向量，|I|表示图像的像素值。

进一步，步骤5中先把轮廊图缩放后进行灰度处理，再比较两幅图的像素灰度，若前一个像素的颜色强度大于第二个像素，则差异值设置为1，若不大于第二个像素，则设置为0，将差异值数组中每一个值看做一个字节，每8个组成一个十六进制值，将十六进制值连接起来转换为字符串，即得出哈希值，对比获取这两幅图像不同位数的哈希值，通过计算汉明距离对比出这两幅图像不同位数的值得出这两幅图像的相似度，通过相似度确定施工实际进度。

综上，本发明通过激光雷达采集室内环境信息，通过帧间匹配和坐标变换建立子图，随着激光帧的加入，地图误差累计后，通过后端优化缩小误差，最终得到全局地图。该全局地图即施工场地实时图。利用卷积神经网络提取地图轮廓以减小噪声干扰，然后利用改进哈希算法进行图像对比后得到施工进度数据。

相对于现有技术，本发明的有益效果是：

(1)针对现有系统的缺陷，提供一种操控简单、省工省力的室内建筑施工进度监督系统及方法。只需要一个室内可移动的激光雷达为核心硬件传感器即可实现。开创性地将激光SLAM和图像处理方法与工程应用结合起来，既能自动快速地处理数据且实时建图，获取建筑施工进度的精确数据，在降低工程建设成本的同时，提高了系统的可行性和实时性，并丰富了SLAM算法和图像处理的应用。

(2)与传统建筑施工进度计算相比，本文的方法能够很好的对所测环境进行实时建图，误差大大减小。采用回环检测盒改进的卷积网络，对多次创建子地图的累积误差进行优化，得到全局一致的轨迹和地图，减小子地图的构建误差，更加精准地对施工环境进行扫描比对，得到更加准确的施工进度数据，以保证工程进度。先把轮廊图和工程图对比时，通过计算两幅图的汉明距离对比出这两幅图像不同位数的值得出这两幅图像的相似度，大大提高精确度。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是本发明融合SLAM和图像处理的施工进度实时识别方法实施例的总方法流程图。

图2是本发明实施例将SLAM建的地图进行轮廊提取的网络结构图。

图3是本发明实施例将轮廓图与工程制图进行对比得出施工进度的流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

如图1所示，本发明提供融合SLAM和图像处理的施工进度实时识别方法流程如图1所示，包括以下步骤：

步骤1：传感器信息读取：以激光雷达为核心硬件结构完成室内建筑的环境数据采集，获取的是二维占用栅格地图(OGM)；

步骤2：前端匹配：当得到一次激光扫描的数据后，根据多帧激光束的匹配与激光帧的位姿变换，建立初始子地图。后续激光扫描数据插入到子地图上，插入式使激光扫描数据帧插入到子地图上最优的位置，最优位置的选取时，激光帧在子地图中位姿观测值概率越大，则表示与预测值越接近，位姿也最优。在不断插入数据帧的图里时，该子地图也得到了更新，当不再有新的数据帧插入到子地图中时，即为这个子地图已经创建完成，此时再去创建下一个子地图；

步骤3：后端优化：利用回环检测对累积误差进行优化，得到全局一致的轨迹和地图；

位姿的估计是一个递推的过程，下一帧的位姿由上一帧位姿计算得出，因此误差便一帧帧地传递下去，但若是与之前的某一帧建立位姿约束关系，减少约束数，即可以减小累积误差。而找出可以建立这种约束关系的历史帧的过程，即是回环检测。

在子地图的构建过程中，随着时间的推移，随着位姿的不断计算，子地图间的误差会一帧帧地传递下去，子地图间的误差会累积的越来越大。在估计一个新的位姿时，若此激光束的估计位姿与地图中某个子地图中的某个激光束的位姿足够接近时，则可以找出建立这种约束关系的历史帧，这个过程为回环检测。所以在一个新的激光束插入到子地图中时，若此激光束的估计位姿与地图中某个子地图中的某个激光束的位姿足够接近时，通过扫描匹配就会找到该回环对应的子地图中的某个激光束的位姿，消除误差。

步骤4：利用卷积神经网络将SLAM构建的地图进行轮廊提取：去除VGG16利用卷积神经网络中的全连接层和池化层第五层，去除全连接层为了得到全卷积网络，去除池化层第五层对于除采样特征图有利于边缘定位。不同于HED网络只考虑到VGG16中每一块中的最后一个卷积层，此外使用了所有卷积层的信息。对VGG16卷积神经网络中的每个卷积层与1*1-21的卷积核相连，将每步中的输出进行相加得到一个复合特征。该改进的卷积神经网络结构如图2所示。

将改进的卷积神经网络中每个eltwise layer(按元素操作层)后面加一个deconvlayer(反卷积层)用来放大特征图尺寸；

在每个上采样层后用一个交叉熵损耗；

所有的上采样层的输出进行联系，使用一个1*1的卷积层进行特征图融合；

最后，用一个交叉熵损耗得到输出。

多尺度分层边缘检测算法调整原始图像的大小使每个尺度上得到的图像大小相同，再将图像输入进行正向传递。再用双线性插值来恢复生成的边响应映射到原始大小。将这些简单的边缘图进行平均求值将输出高质量边缘图。

本发明未卷积神经网络设计了新的损失函数，且不考虑有争议的边缘点计算。

卷积神经网络中每一层图像处理后的每个像素的损失函数定义如下：

其中

Y⁺和Y^-分别表示正样本集和负样本集。λ是平稳正负样本的参数。X_i表示当前像素的特征向量，y_i表示边缘概率值。P(X)表示标准sigmoid函数，M表示此网络结构将要学习的所有参数。损失函数是为估量网络中预测值与真实值不一致程度，损失函数越小，网络的鲁棒性越好。

因此，我们改进的复合特征网络的总损失函数可以表述为

此时表示第k阶段的CNN特征向量，k表示训练的阶层数(此处等于5)，而/>表示最终融合层的特征向量，|I|表示图像的像素值。

虽然神经网络层数越多训练效果可能越好，但此处考虑到工程环境，太多层训练时长较长且过于复杂，利用5层的网络已经能达到很好的效果。此网络在VGG16上做的改进，VGG16网络为5层。

步骤5：将轮廓图与工程制图进行对比得出施工进度，具体流程如图3所示。

为减少后期计算的复杂度，先把轮廊图缩放后进行灰度处理。

步骤5.1：缩放图片。缩放图片时若是图像包含的信息量小，复杂度低，可以缩放小一些；若是图像包含的信息量大，缩放太小容易丢失重要信息。所以需要在效率和准确度之间维持平衡，改进后的哈希算法把图像同时缩放为32*32，摒弃不同尺寸带来的图像差异。

步骤5.2：灰度处理。

把轮廓图与工程制图处理为灰度图以减少后期计算的复杂度。

步骤5.3：比较像素灰度。若同一行的前一个像素的灰度大于第二个像素灰度，则差异值设置为1，若不大于第二个像素，则设置为0。

步骤5.4：计算哈希值。将差异值数组中每一个值看做一个bit(字节)，每8个组成一个十六进制值，将十六进制值连接起来转换为字符串，即得出了最后的hash值。

步骤5.5：计算汉明距离。对比出这两幅图像不同位数的值即汉明距离，就可得出这两幅图像的相似度。这样，可由相似度进一步推算出工程进度。汉明距离是两个字符串对应位置的不同字符串的个数。所以此处的汉明距离即可得出两幅图像的相似度。

综上所述，本发明公开了基于激光SLAM和图像处理的室内建筑施工进度实时识别方法，与传统建筑施工进度计算相比，本文的方法能够很好的对所测环境进行实时建图，误差大大减小。本发明基于激光SLAM建图通过图像处理中的轮廓提取和图像对比多种技术对室内建筑施工进度进行了计算，既能自动快速地处理数据且实时建图，获取了建筑施工进度的精确数据，在降低成本的同时，提高了系统的可行性和实时性，并丰富了SLAM算法和图像处理的应用。

Claims (5)

1.一种融合SLAM和图像处理的室内建筑施工进度实时识别方法，其特征在于包括以下步骤：

步骤1：数据采集：利用激光雷达SLAM技术对室内建筑环境进行全景扫描，获得二维图像；

步骤2：前端匹配：根据多帧激光束的匹配与激光帧的位姿变换，建立初始子地图submap，并在初始子地图的基础上依次创建后续子地图；

步骤3：后端优化：利用回环检测对多次创建子地图的累积误差进行优化，得到全局一致的轨迹和地图；

步骤4：利用卷积神经网络将SLAM建的地图进行轮廊提取得到轮廓图：在得到轮廓图的过程中，复合特征网络中每一层图像处理后的每个像素的损失函数定义如下：

其中

Y⁺和Y^-分别表示正样本集和负样本集；λ是平稳正负样本的参数；X_i表示当前像素的特征向量，y_i表示边缘概率值；P(X)表示标准sigmoid函数，W表示此网络结构将要学习的所有参数；由此得到复合特征网络总损失函数可以表述为：

此时表示第k阶段的CNN特征向量，k表示训练的阶层数，而/>表示最终融合层的特征向量，|I|表示图像的像素值；

步骤5：利用改进哈希算法将轮廓图与室内建筑工程制图进行对比得出施工进度：先把轮廊图缩放后进行灰度处理，再比较两幅图的像素灰度，若前一个像素的颜色强度大于第二个像素，则差异值设置为1，若不大于第二个像素，则设置为0，将差异值数组中每一个值看做一个字节，每8个组成一个十六进制值，将十六进制值连接起来转换为字符串，即得出哈希值，对比获取这两幅图像不同位数的哈希值，通过计算汉明距离对比出这两幅图像不同位数的值得出这两幅图像的相似度，通过相似度确定施工实际进度。

2.根据权利要求1所述的融合SLAM和图像处理的室内建筑施工进度实时识别方法，其特征在于：步骤1中获取的是二维占用栅格地图。

3.根据权利要求1所述的融合SLAM和图像处理的室内建筑施工进度实时识别方法，其特征在于：步骤2中初始子地图建立之后，后续子地图的创建方法如下：

每当得到一次激光扫描的数据后，便与最近建立的子地图submap进行匹配，使这一帧激光扫描数据帧插入到子地图submap上最优的位置，在不断插入数据帧的同时，该子地图submap也得到了更新，当不再有新的数据帧插入到该子地图中时，即为这个子地图submap已经创建完成，此时再去创建下一个子地图。

4.根据权利要求1所述的融合SLAM和图像处理的室内建筑施工进度实时识别方法，其特征在于：步骤3中环检测的具体方法为：在一个新的激光束插入到子地图中时，若此激光束的估计位姿与地图中某个子地图中的某个激光束的位姿足够接近时，找出建立这种约束关系的历史帧，通过扫描匹配就会找到该回环对应的子地图中的某个激光束的位姿，消除误差。

5.根据权利要求1所述的融合SLAM和图像处理的室内建筑施工进度实时识别方法，其特征在于：步骤4中利用卷积神经网络将SLAM建的地图进行轮廊提取得到轮廓图包括如下具体步骤：

去除VGG16卷积神经网络中的全连接层和池化层第五层，对VGG16卷积神经网络中的每个卷积层与1*1-21的卷积核相连，每层的结果特征映射被累积再使用一个按元素操作层eltwise layer，将每步中的输出进行相加得到一个复合特征；

再将每个按元素操作层eltwise layer后面加一个反卷积层deconv layer用来放大特征图尺寸，其次，在每个上采样层后用一个交叉熵损耗，随后将所有的上采样层的输出进行联系，再使用一个1*1的卷积层进行特征图融合，最后使用一个交叉熵损失函数得到轮廓图。