CN110674792B - 基于神经网络的施工进度监测装置及方法 - Google Patents

Abstract

本发明涉及一种基于神经网络的施工进度监控方法，包括：步骤1：在施工区域四周设置多个相机，步骤2：利用无人机进行相机位姿指引设定，步骤3：在设定好相机位姿后，就可以按一定频率拍摄图片并上传至管理平台，管理平台利用神经网络进行深度学习，从而识别出施工进度。本发明提出的监控方法能够同时兼顾训练时间和识别的准确性。并且能够随着施工进展自动调整相机位姿，进行自动进展监控。

Description

基于神经网络的施工进度监测装置及方法

技术领域

本发明涉及施工进度监测领域，特别是基于神经网络系统的施工进度监测装置及方法。

背景技术

目前对于施工进度的管理主要依靠人工记录，费时费力。也有人提出一种监控施工工地设备的方式，来监控施工进度的。例如监控锚杆钻机当前安装的锚杆的编号、注浆压力等。这种方式需要大量和设备相关的传感器。而施工工地通常设备较多，因此所需要的传感器类型也比较多。且还需要对设备和传感器进行互联改造，成本较大，耗时较长。并且施工环境恶劣，传感器容易产生故障。

目前还有人提出使用神经网络进行施工进度监测的方法，但在进行神经网络识别时，不仅没有对拍摄图像进行优化设置(既没有硬件优化，也没有软件优化)，也没有对神经网络结构进行优化，使得常神经网络需要较长时间训练，且识别准确度一般。

发明内容

为解决上述技术问题，提出本发明。

一种基于神经网络的施工进度监控方法，包括：

步骤1：在施工区域四周设置多个相机；

步骤2：利用无人机进行相机位姿指引设定，具体包括：

步骤2-1：将每个相机的支架上设置导航标记点，确定各个标记点坐标；

步骤2-2：选择施工区域外围相机支架上的导航标记点作为参考点，寻找距离这些参考点距离相等的点作为无人机工作点，确定XY坐标；同时测量施工区域最高建筑物的高度H，确定无人机工作点的高度Z坐标为Z＝H+H^1/2+b；

步骤2-3：根据无人机初始点坐标、工作点坐标、和回收位置点坐标，规划无人机的飞行路线；

步骤2-4：当无人机根据路径规划飞至工作点时，无人机上的LED准直光源根据相机编码，依次向每个相机发射指引光；自动调节水平旋转平台和俯仰旋转平台，使得光斑位于相机图像正中，记录此时的相机位姿，并将其固定下来，作为每个相机目前的采集位姿；

步骤3：在设定好相机位姿后，就可以按一定频率拍摄图片并上传至管理平台，管理平台利用神经网络进行深度学习，从而识别出施工进度；具体如下：

步骤3-1：根据建筑施工标准将整个施工进程切分为若干阶段，收集各个阶段现场图像数据；

步骤3-2在利用神经网络进行训练和识别过程中，对输入神经网络的图像进行预先处理；

步骤3-3：将参照场景图像作为训练集，输入神经网络分类器，对神经网络进行训练，获得神经网络的参数；将需要识别的施工现场图像作为测试集，输入训练好的神经网络分类器，对其进行测试，输出分类结果；

代价函数为：

上式中，x是神经网络的输入，y是神经网络的输出值，a表示样本的真实值，n 是样本数量。

进一步，神经网络的激励函数为：

更进一步，在神经网络中，隐藏层的设定连接方式如下：从输入层第1行第1列的节点开始，按照行列相等的原则选取输入层参考区域，将参考区域的N2个节点映射到隐藏层的一个节点，并以单向步长d向右下方移动选取下一组输入层节点，映射到隐藏层的下一个节点，如果参考区域超出输入层图像边界，则按照步长切换到下一个行列，直至移动到输入层右下方的节点为止，上述步骤将建立一组输出节点；重复前述步骤L次，将建立L组输出节点；建立节点映射时，设置同一组内的每个节点与输入层参考区域对应位置的权重为相同值,这样做的目的是使每个隐藏层节点能够对应某种特定的局部特性。

更进一步，直接与输入层邻接的第一隐藏层，选取N＝3，d＝2，L＝16，即参考窗口包含3x3个输入层节点，每次移动步长是2，构建16组输出节点。

更进一步，与第一隐藏层邻接的第二隐藏层的连接方式如下：第二隐藏层节点数目为第一隐藏层节点数目的一半，对于每一个第二隐藏层节点(m,n)，与第一隐藏层对应位置的四个节点连接，即(2m,2n),(2m-1,2n),(2m,2n-1),(2m-1,2n-1)。第二层隐藏层的每个节点等于与其对应的第一隐藏层四个节点的最大值。

更进一步，与第二隐藏层邻接的第三隐藏层的连接方式如下：第三隐藏层节点数目为第二隐藏层节点数目的一半，对于每一个第三隐藏层节点(m,n)，与第二隐藏层对应位置的四个节点连接，即(2m,2n),(2m-1,2n),(2m,2n-1),(2m-1,2n-1)。第三层隐藏层的每个节点等于与其对应的第二隐藏层四个节点的最大值。

更进一步，与第三隐藏层邻接的第四隐藏层的连接方式如下：按照隐藏层的设定连接方式构建卷积层，选取N＝3，d＝1，L＝16。

更进一步，与第四隐藏层邻接的第五隐藏层的连接方式如下：第五隐藏层节点数目为第四隐藏层节点数目的一半，对于每一个第五隐藏层节点(m,n)，与第四隐藏层对应位置的四个节点连接，即(2m,2n),(2m-1,2n),(2m,2n-1),(2m-1,2n-1)。第五层隐藏层的每个节点等于与其对应的第四隐藏层四个节点的最大值

更进一步，与第五隐藏层邻接的第六隐藏层的连接方式如下：按照隐藏层的设定连接方式构建卷积层，选取N＝3，d＝1，L＝2。

一种使用上述方法的施工进度监控装置。

发明点及效果

1、优化神经网络结构，包括优化连接关系、代价函数和激励函数等，使得更适用于建筑施工进度的监控，兼顾训练时间和识别精度。

2、通过无人机指引，使得相机位姿调整更加智能化，适用于定期进行位姿调整，保证拍摄图像符合要求。

3、利用无人机和周边相机同时进行图像采集，覆盖更加全面，识别准确度高。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的限定。在附图中：

图1是监控装置示意图。

图2是神经网络工作原理示意图。

图3是神经网络以池化方式连接的示意图。

图4是在神经元前接入激励函数的神经网络示意图。

图5是摄像机成像模型示意图。

具体实施方式

施工进度监测装置，包括多个周边相机1，设置在施工场地3四周，具体为在施工场地矩形区域的四个角上分别设置相机，优选的在矩形区域的四个边上或施工区域内部也可以设置相机。施工场地内具有建筑物4。

每个相机安装在支架上，支架上设置水平旋转平台和俯仰旋转平台，使得相机在支架上可以在水平面中转动，方便调节相机光轴所对应的水平方向；同时相机可以在支架上俯仰转动，方便调节相机光轴所对应的垂直方向。由于随着建筑施工的进度，建筑物高度越来越高，因此需要通过调节相机俯仰角度来保证拍摄到建筑物在特定方向上的图片。

通常在进行图像监测或识别，都是利用人工进行相机位姿调整。但这样的调整方法比较依赖人员经验，且多个相机无法准确地相互配合，不可避免的会造成采取区域无法覆盖施工区域。并且，随着建筑施工的进度，建筑物高度越来越高，相机的位姿需要定期调整，才能保证拍摄图像完整。如果每次都使用人工去调整会非常繁琐，且存在上述问题。因此，本发明提出使用无人机进行相机位姿调整的指引。具体方法包括：

步骤1：将每个相机的支架上设置导航标记点，确定各个标记点坐标。

步骤2：选择施工区域外围相机支架上的导航标记点作为参考点，寻找距离这些参考点距离相等的点作为无人机工作点，确定XY坐标。同时测量施工区域最高建筑物的高度H，确定无人机工作点的高度Z坐标为Z＝H+H^1/2+b。b为经验系数，优选的b＝3。

步骤3：根据无人机初始点坐标、工作点坐标、和回收位置点坐标，规划无人机的飞行路线。具体规划方式下面将详述。

步骤4：当无人机根据路径规划飞至工作点时，无人机上的LED准直光源根据相机编码，依次向每个相机发射指引光。每个相机确定采集光斑位于图像正中即可。在采集光斑偏移时，自动调节水平旋转平台和俯仰旋转平台，使得光斑位于相机图像正中，记录此时的相机位姿，并将其固定下来，作为每个相机目前的采集位姿。

除了在架设初期进行位姿调整外，由于建筑施工不断进行，因此应当定期进行相机位姿调整。即每间隔固定时间，应当设定无人机路径进行再次位姿指引，引导相机调整位姿，以适应新的建筑施工进度。

无人机路径规划方法

步骤1、在施工区域外围设置若干已知坐标的标记物(位于相机支架上)，作为导航参照标志。

设置导航参照标志时，确定唯一的三维世界坐标系，并预先测量好每个标志在世界坐标系下的坐标；导航参照标志具备特殊的视觉特征，使得其在图像中容易被识别并定位。

步骤2、选取无人机飞行路径的初始点，将无人机放置在初始位置，并对准施工区域拍摄图像，拍摄时应保证拍摄图像内不少于10个导航参照标志。

根据步骤1，导航参照标志在图像中具备容易识别的像素特征，具体地说，可以在图像色彩空间中通过阈值分割提取导航参照标志。将图像像素值低于阈值的像素置为0值，其余值置为1值，标志将聚集为若干个像素团。进行中值滤波后，留下的像素团即为导航参照标志。选取像素团的中心作为导航参照标志的图像坐标。

中值滤波的过程是：

a)对于要进行滤波的像素，选取其周围邻域的若干像素，并将其按照像素值大小顺序排序，形成一个向量；

b)选取向量中心位置的值，作为中值滤波的值，填充到被滤波像素处。

如果无人机拍摄图像经过处理后，在图像中无法找到10个以上的导航参照标志，重新调整摄像机的拍摄角度，或者微调无人机的初始位置，或者重新设置导航参照标志的数量和位置，直至图像中的导航参照标志满足预设要求。

步骤3、根据导航参照标志的图像坐标和真实世界坐标确定无人机初始位置的世界坐标。

根据步骤2中获得导航参照标志的图像坐标，以及预先测量的导航参照标志的世界坐标，可以获得无人机初始位置的世界坐标(精确的说，是无人机上相机的世界坐标)。

图像坐标系与世界坐标系的映射关系如下：

其中，[u,v,1]T是图像坐标，[Xw,Yw,Zw,1]T是三维世界坐标。R是三维空间中的旋转矩阵，t为三维空间中的平移向量。f为摄像机焦距。dx,dy代表x和y方向上单位像素所对应的物理距离。

进一步的，上式可以写为

是一个线性方程组，包含11个自由度(因为系数k)。因此，最少需要6对参考点，可以求解上述方程。注意到旋转矩阵R是单位正交矩阵。采用现有方法即可以求得R与t的值。

将无人机上摄像机光心的位置坐标视为无人机位置坐标，结合导航参照标志的世界坐标，可以根据旋转矩阵R和平移向量t求得无人机的世界坐标。

步骤4、根据预先规划的无人机飞行路径，及当前的无人机世界坐标，控制无人机飞向最近的飞行路径上的参考坐标点，并拍摄图像。

预先规划的无人机飞行路径由一系列世界坐标[W0,W1,…,WN]组成。下标表示路径点的顺序。根据步骤2，无人机在初始时刻放置在规划路径的起始点W0附近，并根据步骤2和步骤3所述方法得到了无人机的初始世界坐标

或者根据步骤5 的方法得到了无人机在某个步骤上的世界坐标

如果

与规划路径点W0之间的距离

则判定当前无人机偏离航线，计算：

输入给无人机控制软件，使无人机移动Δ_ε，并重新计算

直到

为止继续。

计算

输入给无人机控制软件，使无人机移动Δ到下一个规划路径点。

如果在中途某个规划点k，由于误差累计原因，导致算法无法自动纠偏，步骤4 无法继续，可以重新设定当前点k为新的飞行路径的初始点，并重复步骤2。

作为方法的一个特例，出于让飞行路径尽可能贴近规划路径，可以重复步骤2 至步骤6，每一轮次都重新选取导航参照标志，并更新初始位置。这样做的好处是可以使无人机飞行路径尽可能贴近规划路径，但需要保证每次都有足够多的导航参照标志能够被拍摄到，这就要求设置更多的导航参照标志，降低了方法的灵活性，同时也大大增加了计算量。

步骤5、拍摄图像后，提取图像特征点，并与前一步拍摄到的图像中的特征点进行匹配，根据匹配结果计算当前无人机的世界坐标。

步骤5.1提取图像特征点。

对于二维图像I(x,y)，高斯滤波公式如下：

σ为高斯函数的方差，其值越小表示图像被平滑的越少。进一步地，定义高斯差分图像：

D(x,y,σ)＝(G(x,y,kσ)-G(x,y,σ))*I(x,y)

通过检测高斯差分图像D的局部极小值，找到图像特征点的候选集合S。

对于候选集合S中的每一个特征点，计算高斯差分图像的二次泰勒展开：

其中：x＝(x,y,σ)。根据上式D(x)，如果一个候选特征点在两个正交方向上的主曲率(即两个方向上曲率的比值)有较大差别，则认定该点为一个图像特征点。

步骤5.2根据两幅图像的特征点重建三维世界坐标。

根据摄像机成像模型(图5)，可知真实世界三维坐标到二维图像坐标的映射关系如下：

图5中，三维世界中的一点X，其在真实或者虚拟世界坐标系中的坐标为(Xw,Yw,Zw)，在对应的摄像机坐标系中的坐标为(Xc,Yc,Zc)，在二维图像中的坐标为(u,v)。坐标系OwXwYwZw表示世界坐标系，是系统中的绝对坐标系，世界坐标系用来定义客观世界中物体的绝对坐标。坐标系OcXcYcZc表示摄像机坐标系，该坐标系以摄像机光心为原点，以摄像机光轴为Z轴建立，表示客观世界中的物体相对于摄像机本身的坐标。图像坐标系Oouv是位于成像平面内的二维坐标系，与摄像机光轴OcZc 垂直，表示图像空间中的像素相对于图像原点的坐标偏移。

通过采用两台或者多台摄像机，可以找到真实世界中同一点在图像中的不同映射，从而可以通过特征点的图像坐标，根据映射关系反解该特征点的真实世界坐标。

步骤6、重复步骤4和步骤5直至无人机遍历过所有规划路径上的参考坐标。

俯视图像和周边图像相结合

在设定好相机位姿后，就可以按一定频率拍摄图片并上传至管理平台，管理平台利用神经网络进行深度学习，从而识别出施工进度。但随着建筑物施工高度越来越高，从施工区下方进行采集会影响识别的精度，因此本发明创造性地提出了使用无人机进行俯视拍摄和周边相机进行仰视拍摄相结合的方式。因此，无人机不仅是用于相机位姿的标定，在本发明中还用于俯视图片的采集。

但通常无人机拍摄的俯视图像和周边相机拍摄的仰视图像各种参数差异较大，难以用于同一个神经网络，或识别算法。因此，为了使得无人机拍摄的俯视图像和周边相机拍摄的仰视图像能够同时进行识别。需要对无人机相机和周边相机的参数进行优化。

所述无人机相机和周边相机均采用如下镜头。

当然，上述镜头是优选镜头，采用其他镜头也可以实现采集。

神经网络模型算法

由于每个施工建筑结构不同，单纯用传统图像处理的方式无法自动判断施工进度，只能将图片采集后上传至平台，通过人工后台进行判断，费时费力，且对人工专业水平要求较高。

因此本发明提出了采用深度学习的方式进行自动分析，监控施工进度。并且根据施工进度监控的要求及采集的图片特点，设计了专门的神经网络模型。具体如下所述。

机器视觉是模式识别、人工智能领域正在快速发展的一个分支。通俗的说，机器视觉就是用机器代替人眼和人脑进行感知与决策。一套完整的机器视觉系统包括视觉采集装置、图像处理装置、视觉识别装置等部分。视觉采集装置(摄像机或照相机) 将被摄取目标转换成图像信号，传送给图像处理装置。图像处理装置获得视觉采集装置传递的信号，通过进行滤波、采样等处理后，获得图像数据，并将数据传递给视觉识别装置。视觉识别装置再根据图像的像素分布和亮度、颜色等信息执行图像识别等任务，完成决策。

神经网络，又称人工神经网络，是以人脑神经元互联结构为基础，通过数学模型来模拟神经元与神经元之间的连接，实现对人脑神经的模拟。抽象地说，神经网络是一种运算模型，由大量的节点相互联接构成，这些节点就称为神经元。每个神经元对应一组输入和一组输出，神经元与神经元之间通过某个预定义的权重相互连接。对神经网络训练后得到的神经网络参数的集合就与人的记忆类似。通常所说训练一个神经网络，就是指建立某个神经网络，确定其节点的数量及节点间连接方式，并通过训练后获得一组神经网络参数。神经网络作为一个整体，有多个输入和多个输出，直接与输入相联结的神经元节点称为输入层，直接与输出相联结的神经元称为输出层，输入层和输出层之间的神经元统称为隐藏层。

本申请描述了一种基于机器视觉的施工进度监测装置及方法，利用视频采集以及机器学习的方法，监测建筑施工过程中的施工进度。该方法利用布置在建筑施工现场的多台摄像机动态拍摄图像，并将图像传送给后台的视觉识别装置，视觉识别装置采用神经网络方法与样本数据库中的数据进行比对，识别当前场景所对应的施工进度。

一种基于机器视觉的施工进度监测装置及方法，包含下列步骤：

1、一种建立建筑施工现场参照场景的方法；

2、一种建筑施工现场图像预处理方法；

3、一种基于神经网络的建筑施工进度识别方法。

步骤1所述的一种建立建筑施工现场参照场景的方法，是指根据建筑施工标准将整个施工进程切分为若干阶段，收集各个阶段现场图像数据的方法和过程。具体的，由如下步骤构成：

1.1由施工人员根据建筑施工标准，将施工进程划分为若干施工阶段，每个阶段有唯一的定义，例如：阶段1土方开挖后承台砖胎膜砌筑；阶段5承台、底板垫层砼浇捣后；

1.2在不同的施工项目中，采集施工现场图像，并根据1.1所划分的施工阶段为每个图像数据作唯一标记；

1.3将标记过的图像按照某个统一标准规范化，连同1.2步骤所作标记一起加入参照场景数据库。

步骤2所述一种建筑施工现场图像预处理方法，是指在利用神经网络进行训练和识别过程中，对输入神经网络的图像进行预先处理的方法，其目标是对输入图像的噪声进行抑制或者去除，提高神经网络工作性能。该方法分为如下步骤：

2.1选取滤波卷积核K。

2.2对于源图像S，应用卷积核K，得到目标图像D。D的每一个像素由下式确定：

D_ij＝∑_m∑_nS_i+m,j+n×K_mn (1)

上式表明目标图像D等于源图像S与卷积核K的卷积，图像卷积是一维信号卷积的二维拓展，目标图像像素是源图像像素与卷积核在卷积窗内对应像素乘积之和。如图1所示。

步骤3所述一种基于神经网络的建筑施工进度识别方法，描述了一种神经网络分类器，及与之对应的分类方法(图2)，将参照场景图像作为训练集，输入神经网络分类器，对神经网络进行训练，获得神经网络的参数；将需要识别的施工现场图像作为测试集，输入训练好的神经网络分类器，对其进行测试，输出分类结果。神经网络输出的分类结果即为施工阶段。具体步骤如下：

3.1设计神经网络分类器。神经网络分类器由输入层、输出层和隐藏层组成，每一层包含若干个节点，即神经元，神经元与神经元之间的连接组成了神经网络。

神经网络的输入层即图像，输出层是步骤1.2中施工阶段标记。隐藏层节点包括如下步骤：

3.1.1直接与输入层邻接的，第一隐藏层的连接方式如下：从输入层第1行第1 列的节点开始，按照行列相等的原则选取输入层参考区域，将参考区域的N²个节点映射到隐藏层的一个节点，并以单向步长d向右下方移动选取下一组输入层节点，映射到隐藏层的下一个节点，如果参考区域超出输入层图像边界，则按照步长切换到下一个行列，直至移动到输入层右下方的节点为止，上述步骤将建立一组输出节点；重复前述步骤L次，将建立L组输出节点；建立节点映射时，设置同一组内的每个节点与输入层参考区域对应位置的权重为相同值,这样做的目的是使每个隐藏层节点能够对应某种特定的局部特性。对于第一隐藏层，选取N＝3，d＝2，L＝16，即参考窗口包含3x3个输入层节点，每次移动步长是2，构建16组输出节点。

3.1.2与第一隐藏层邻接的，第二隐藏层的连接方式如下：第二隐藏层节点数目为第一隐藏层节点数目的一半，对于每一个第二隐藏层节点(m,n)，与第一隐藏层对应位置的四个节点连接，即(2m,2n),(2m-1,2n),(2m,2n-1),(2m-1,2n-1)。第二层隐藏层的每个节点等于与其对应的第一隐藏层四个节点的最大值。

采取与3.1.1所述的配置方式定义的隐藏层，称为卷积层；采取与3.1.2所述的配置方式定义的隐藏层，称为池化层(图3)。

3.1.3与第二隐藏层邻接的，第三隐藏层的连接方式如下：第三隐藏层节点数目为第二隐藏层节点数目的一半，对于每一个第三隐藏层节点(m,n)，与第二隐藏层对应位置的四个节点连接，即(2m,2n),(2m-1,2n),(2m,2n-1),(2m-1,2n-1)。第三层隐藏层的每个节点等于与其对应的第二隐藏层四个节点的最大值。第三隐藏层是对第二层的再一次池化。

3.1.4与第三隐藏层邻接的，第四隐藏层的连接方式如下：按照步骤3.1.1构建卷积层，选取N＝3，d＝1，L＝16。

3.1.5与第四隐藏层邻接的，第五隐藏层的连接方式如下：第五隐藏层节点数目为第四隐藏层节点数目的一半，对于每一个第五隐藏层节点(m,n)，与第四隐藏层对应位置的四个节点连接，即(2m,2n),(2m-1,2n),(2m,2n-1),(2m-1,2n-1)。第五层隐藏层的每个节点等于与其对应的第四隐藏层四个节点的最大值。第五隐藏层是对第四层的池化。

3.1.6与第五隐藏层邻接的，第六隐藏层的连接方式如下：按照步骤3.1.1构建卷积层，选取N＝3，d＝1，L＝2。同时增加如下附加条件：

条件3.1.6-1对第一组节点的每个输出节点，其对应的输入节点连接权重w1-w9，使w1＝w2＝w3＝-w4＝-w5＝-w6＝w7＝w8＝w9；

条件3.1.6-2对第二组节点的每个输出节点，其对应的输入节点连接权重w1-w9，使w1＝w4＝w7＝-w2＝-w5＝-w8＝w3＝w6＝w9.

上述两个条件构建的卷积操作实际上相当于沿垂直和水平方向的两组边缘检测算子。在本方法所对应的建筑施工现场图像识别的特定应用场景下，大部分图像场景具有大量明显的边缘特征。与常用的图像识别神经网络构建方法相比，本方法针对特定应用设置了如3.1.6步骤所述的神经网络层，使训练后的神经网络能够对边缘产生较强激励，同时减少其它层的参数数量，使得神经网络结构得到进一步优化，获得了有效的识别效果(见表)。

3.1.7与第六隐藏层邻接的，第七隐藏层的连接方式如下：在第七层设置256个节点，并且对于第六层的每一个节点，第七层的全部节点都与其相连，即全连接方式。第七层隐藏层后连接神经网络的输出层，输出层有O个节点，每个节点对应一个施工阶段标记；第七层与输出层同样采取全连接方式。

3.1.8定义神经网络的激励函数。神经元之间的连接权重是线性的，为了使神经网络能够模拟非线性函数，需要在每个神经元之前放置一个激励函数，该函数具有非线性特性。一个简单的三层网络的结构如图4所示。

图4中，左侧三个节点X₁,X₂,1为输入层节点，右侧节点y为输出层节点，h₁,h₂, h₃为隐藏层节点，σ表示激励函数。神经网络的输出与输入之间的关系由下面式子定义：

其中w为各层权重系数，b为常数项。

本发明中，针对具体应用场景，设计如下的分段激励函数：

3.2神经网络的训练。

3.2.1训练数据的归一化：神经网络的原始输入为训练集图像，输出为与图像对应的施工阶段标记。根据归一化原则对数据进行预处理。

设输入数据为X，则归一化数据X*根据下面式子计算：

其中μ为原始数据的均值，σ为原始数据的标准差。

3.2.2根据步骤3.1所述的方法构建神经网络，并将步骤3.2.1获得的归一化的训练集数据作为输入，与图像对应的施工阶段标记作为输入，训练神经网络，获得神经网络的权重参数。

3.3利用神经网络模型识别图像所对应的施工阶段。

3.3.1测试数据的归一化。根据步骤3.2.1所述的归一化方法，对测试集数据进行归一化。

3.3.2根据步骤3.2所述方法训练神经网络。训练神经网络时，需要定义度量神经网络拟合效果的代价函数，在本发明中该函数定义如下：

上式中，x是神经网络的输入，y是神经网络的输出值，a表示样本的真实值，n 是样本数量。训练完成后，将步骤3.3.1所获得的归一化的测试集数据作为输入，输入到训练完毕的神经网络模型中，神经网络模型输出与输入图像对应的分类结果，作为该图像所对应的施工阶段。

利用神经网络进行图像识别的关键问题在于平衡神经网络参数数量和识别性能。神经网络可以在理论上逼近任意函数，但过多的参数将大大降低识别效率，并存在过拟合问题。本文通过采取如下设计实现了对建筑施工现场图片识别的优化网络：

1)在步骤3.1.1、3.1.4、3.1.6中采取尽可能小的卷积窗口，降低卷积层参数数量；

2)在步骤3.1.6中根据建筑施工现场图片中建筑物较多、边缘激励响应较强的特性，加入权重约束，进一步增强了神经网络对特定类型图片的响应能力；

3)通过步骤3.1.2、3.1.3、3.1.5的多次池化保证神经网络在多个图像尺度上的响应能力。

通过上述优化措施，本文所述一种基于神经网络的建筑施工进度识别方法，在本文所述场景下比经典类型神经网络实现了更高的识别性能。下表数据在相同硬软件配置、相同数据集下获得。

网络类型	参数数量	识别正确率	训练时间
				LeNet-5	340,000	91.1％	4时3分2秒
AlexNet	60,900,000	94.5％	2天0时35分
				本申请	95,000	94.7％	15分3秒

Claims (10)

1.一种基于神经网络的施工进度监控方法，其特征在于：

步骤1：在施工区域四周设置多个相机；

步骤2：利用无人机进行相机位姿指引设定，具体包括：

步骤2-1：将每个相机的支架上设置导航标记点，确定各个标记点坐标；

步骤2-2：选择施工区域外围相机支架上的导航标记点作为参考点，寻找距离这些参考点距离相等的点作为无人机工作点，确定XY坐标；同时测量施工区域最高建筑物的高度H，确定无人机工作点的高度Z坐标为Z＝H+H^1/2+b；

步骤2-3：根据无人机初始点坐标、工作点坐标、和回收位置点坐标，规划无人机的飞行路线；

步骤2-4：当无人机根据路径规划飞至工作点时，无人机上的LED准直光源根据相机编码，依次向每个相机发射指引光；自动调节水平旋转平台和俯仰旋转平台，使得光斑位于相机图像正中，记录此时的相机位姿，并将其固定下来，作为每个相机目前的采集位姿；

步骤3：在设定好相机位姿后，就可以按一定频率拍摄图片并上传至管理平台，管理平台利用神经网络进行深度学习，从而识别出施工进度；具体如下：

步骤3-1：根据建筑施工标准将整个施工进程切分为若干阶段，收集各个阶段现场图像数据；

步骤3-2在利用神经网络进行训练和识别过程中，对输入神经网络的图像进行预先处理；

步骤3-3：将参照场景图像作为训练集，输入神经网络分类器，对神经网络进行训练，获得神经网络的参数；将需要识别的施工现场图像作为测试集，输入训练好的神经网络分类器，对其进行测试，输出分类结果；

代价函数为：

上式中，x是神经网络的输入，y是神经网络的输出值，a表示样本的真实值，n是样本数量。

2.如权利要求1所述的方法，其特征在于：

神经网络的激励函数为：

3.如权利要求2所述的方法，其特征在于：在神经网络中，隐藏层的设定连接方式如下：从输入层第1行第1列的节点开始，按照行列相等的原则选取输入层参考区域，将参考区域的N²个节点映射到隐藏层的一个节点，并以单向步长d向右下方移动选取下一组输入层节点，映射到隐藏层的下一个节点，如果参考区域超出输入层图像边界，则按照步长切换到下一个行列，直至移动到输入层右下方的节点为止，上述步骤将建立一组输出节点；重复前述步骤L次，将建立L组输出节点；建立节点映射时，设置同一组内的每个节点与输入层参考区域对应位置的权重为相同值,这样做的目的是使每个隐藏层节点能够对应某种特定的局部特性。

4.如权利要求3所述的方法，其特征在于：直接与输入层邻接的第一隐藏层，选取N＝3，d＝2，L＝16，即参考窗口包含3x3个输入层节点，每次移动步长是2，构建16组输出节点。

5.如权利要求4所述的方法，其特征在于：与第一隐藏层邻接的第二隐藏层的连接方式如下：第二隐藏层节点数目为第一隐藏层节点数目的一半，对于每一个第二隐藏层节点(m,n)，与第一隐藏层对应位置的四个节点连接，即(2m,2n),(2m-1,2n),(2m,2n-1),(2m-1,2n-1)；第二层隐藏层的每个节点等于与其对应的第一隐藏层四个节点的最大值。

6.如权利要求5所述的方法，其特征在于：与第二隐藏层邻接的第三隐藏层的连接方式如下：第三隐藏层节点数目为第二隐藏层节点数目的一半，对于每一个第三隐藏层节点(m,n)，与第二隐藏层对应位置的四个节点连接，即(2m,2n),(2m-1,2n),(2m,2n-1),(2m-1,2n-1)；第三层隐藏层的每个节点等于与其对应的第二隐藏层四个节点的最大值。

7.如权利要求6所述的方法，其特征在于：与第三隐藏层邻接的第四隐藏层的连接方式如下：按照隐藏层的设定连接方式构建卷积层，选取N＝3，d＝1，L＝16。

8.如权利要求7所述的方法，其特征在于：与第四隐藏层邻接的第五隐藏层的连接方式如下：第五隐藏层节点数目为第四隐藏层节点数目的一半，对于每一个第五隐藏层节点(m,n)，与第四隐藏层对应位置的四个节点连接，即(2m,2n),(2m-1,2n),(2m,2n-1),(2m-1,2n-1)；第五层隐藏层的每个节点等于与其对应的第四隐藏层四个节点的最大值。

9.如权利要求8所述的方法，其特征在于：与第五隐藏层邻接的第六隐藏层的连接方式如下：按照隐藏层的设定连接方式构建卷积层，选取N＝3，d＝1，L＝2。

10.一种使用权利要求1-9所述方法的施工进度监控装置。

Images