CN116129265B - 一种基于神经网络的遥感影像工程量监测方法 - Google Patents

Abstract

一种基于神经网络的遥感影像工程量监测方法，先构建基于卷积神经网络的语义分割模型，并利用该模型对前后两期遥感影像进行智能解译，准确提取遥感影像中的目标地物，然后使用SLIC超像素分割算法对前后两期影像进行分割，做变化检测，提取出前后两期影像的变化置信度图，最后输出变化图斑，以此作为工程量变化的判断依据。本方法能够对施工范围和进度做准确判别，最终实现电网工程建设的大范围、全覆盖、全过程、可追溯的动态监控，保证了工程建设安全和质量，相比于传统依靠人工或项目信息填报的方式进行工程监测，本方法具有判断准确、监测成本低的优点，另外，通过利用多期数据生成连续变化动态图，更加直观展示建设进展。

Description

一种基于神经网络的遥感影像工程量监测方法

技术领域

本发明属于工程现场监测技术领域，具体涉及一种基于神经网络的遥感影像工程量监测方法，适用于对电网施工进度实现全范围、全过程、可追溯的动态监控，且精度高、可靠性强。

背景技术

传统的电网施工现场监控依靠人工或项目信息填报的方式进行工程监测，由于电网施工范围过大，以及管理人员经验的限制，难以实现对电网施工进度的全范围、全过程、可追溯的动态监控，不能满足现代施工现场管理的需要，不能保证工程建设的安全和质量。因此，亟需一种能够对电网施工进度实现全范围、全过程、可追溯的动态监控的基于神经网络的遥感影像工程量监测方法。

发明内容

本发明的目的是克服现有技术存在的上述问题，提供一种能够对电网施工进度实现全范围、全过程、可追溯的动态监控的基于神经网络的遥感影像工程量监测方法。

为实现以上目的，本发明提供了以下技术方案：

一种基于神经网络的遥感影像工程量监测方法，所述监测方法依次按照以下步骤进行：

S1、模型建立与训练

获取大量无标签的遥感图像并将其分成样本集、训练集，根据样本集构建基于卷积神经网络的语义分割模型，然后采用样本集和训练集分别对基于卷积神经网络的语义分割模型进行训练与测试；

S2、影像解译

选取任意前后两期影像，进行预处理，再将经预处理后的前后两期影像输入训练好的基于卷积神经网络的语义分割模型中，以对前后两期影像中各类地物进行自动解译；

S3、影像变化检测

对经自动解译后的前后两期影像采用SLIC超像素分割算法进行影像分割，对经影像分割后的前后两期影像进行特征提取，基于前后两期影像之间的特征差异，得到前后两期影像的变化置信度图，随后采用最大类间方差法确定变化置信度图中前景与背景的分割阈值，最后利用二值化进行影像前景与背景的切割，输出前后两期影像的变化图斑。

步骤S1中，所述基于卷积神经网络的语义分割模型包括输入层、N个卷积层、N个池化层、输出层，所述卷积层与池化层一一对应，上个卷积层的池化结果作为下个卷积层的输入，对每个卷积层的池化结果进行上采样，将各个经上采样后的卷积层池化结果通过MP算法进行流形排序，根据流形排序结果选取最优的卷积层池化结果通过输出层进行归一化处理，最终输出解译后的影像。

所述卷积层所使用的卷积核为根据以下步骤得到的深度学习模型：

A1、先对样本集进行等价模式的LBP特征提取，然后根据提取的LBP特征值通过K-means聚类算法得到N个聚类中心，所述N个聚类中心汇聚成一个BOW特征词典；

A2、将遥感图像的每个LBP特征分配至与其最相近的聚类中心，统计各个聚类中心出现的次数，将遥感图像划入最近的聚类中心，从而将样本集划分为N个与聚类中心一一对应的子集；

A3、采用BP算法对N个子集进行训练，得到N个与子集一一对应的深度学习模型，所述深度学习模型即为基于卷积神经网络的语义分割模型中卷积层所使用的卷积核。

所述上采样采用最近邻插值法。

所述输入层的图像大小为224×224×3；

所述卷积层的数量为5个，5个卷积层共同组成判别器，5个卷积层分别为卷积层C1、卷积层C2+ReLU、卷积层C3+ReLU、卷积层C4+ReLU、卷积层C5+ReLU，

所述卷积层C1使用11×11×6的卷积核，激活函数为ReLU函数，步长s＝2，得到6组107x107特征映射，可训练参数量为6×121+6＝732；

所述卷积层C2+ReLU使用7×7×8的卷积核，步长s＝2，特征映射为51×51×8＝20808，可训练参数为8×49+8＝400；

所述卷积层C3+ReLU使用5×5×16的卷积核，步长s＝2，特征映射为25×25×16＝10000，可训练参数为16×25+16＝416；

所述卷积层C4+ReLU使用3×3×32的卷积核，步长s＝2，特征映射为12×12×32＝4608，可训练参数为32×9+32＝320；

所述卷积层C5+ReLU使用3×3×64的卷积核，步长s＝2，特征映射为5x5x64＝1600，可训练参数为64x9+64＝640；

最大池化层统一核心大小为2×2，步长s＝2；

所述输出层使用Softmax损失层。

所述判别器为C256-C128-C64-C32-C30；

所述卷积层的编码器为C256-C128-C64-C32-C16-C8-C4-C2；

所述卷积层的解码器为C2-C4-C8-C16-C32-C64-C128-C256。

所述判别器采用权值共享机制。

步骤S1中，在利用测试集对基于卷积神经网络的语义分割模型进行测试后，根据以下公式计算得到总体精度评价指标OA，若总体精度评价指标OA满足使用需求，则表示模型已被训练好：

上式中，OA表示测试集中被模型正确分类的样本所占比例，TP为被模型正确分类的正样本数量，FN为被模型错误分类的正样本数量，FP为被模型错误分类的负样本数量，TN为被模型正确分类的负样本数量。

步骤S2中，所述预处理依次包括以下步骤：

B1、对前后两期影像进行影像分块；

B2、对经影像分块后的前后两期影像进行下采样，使前后两期影像的分辨率一致。

步骤S3中，先提取经影像分割后的前后两期影像的光谱特征、上下文特征、纹理特征，然后通过比较经影像分割后的前后两期影像各特征之间的差异，得到前后两期影像的变化置信度图。

与现有技术相比，本发明的有益效果为：

1、本发明一种基于神经网络的遥感影像工程量监测方法，先构建基于卷积神经网络的语义分割模型，并利用该模型对前后两期遥感影像进行智能解译，准确提取遥感影像中的目标地物，然后使用SLIC超像素分割算法对前后两期影像进行分割，做变化检测，提取出前后两期影像的变化置信度图，最后输出变化图斑，以此作为工程量变化的判断依据，能够对施工范围和进度做准确判别，最终实现电网工程建设的大范围、全覆盖、全过程、可追溯的动态监控，保证了工程建设的安全和质量，相比于传统依靠人工或项目信息填报的方式进行工程监测，该方法具有判断准确、监测成本低的优点，另外，还可以利用多期数据生成连续变化动态图，更加直观的展示建设过程的进展情况。因此，本发明实现电网工程建设的大范围、全覆盖、全过程、可追溯的动态监控，具有判断准确、监测成本低的优点。

2、本发明一种基于神经网络的遥感影像工程量监测方法中，基于卷积神经网络的语义分割模型包括输入层、N个卷积层、N个池化层、输出层，卷积层与池化层一一对应，上个卷积层的池化结果作为下个卷积层的输入，对每个卷积层的池化结果进行上采样，将各个经上采样后的卷积层池化结果通过MP算法进行流形排序，根据流形排序结果选取最优的卷积层池化结果通过输出层进行归一化处理，最终输出解译后的影像，该基于卷积神经网络的语义分割模型的网络结构包括三部分，一是充分利用卷积神经网络池化操作所隐含的尺度信息，对影像尺度进行编码，二是通过卷积层部分，抑制感受视野过大所带来的问题，使网络的感受视野保持在合适范围，三是在语义分割模型中嵌入MP算法对识别结果进行多尺度的流形排序，用于融合影像特征编码所需的先验知识，使遥感影像中的目标不变特征融入到语义分割框架，实现语义分割网络对旋转不变因素的抵抗，抑制语义分割任务中无关场景信息干扰，提高遥感影像语义分割结果的精度和可靠性。因此，本发明能够提高遥感影像语义分割结果的精度和可靠性。

3、本发明一种基于神经网络的遥感影像工程量监测方法，先对样本集进行等价模式的LBP特征提取，根据提取的LBP特征值通过K-means聚类算法得到N个聚类中心，N个聚类中心汇聚成一个BOW特征词典，然后将遥感图像的每个LBP特征分配至与其最相近的聚类中心，统计各个聚类中心出现的次数，将遥感图像划入最近的聚类中心，从而将样本集划分为N个与聚类中心一一对应的子集，最后采用BP算法对N个子集进行训练，得到N个与子集一一对应的深度学习模型，深度学习模型即为基于卷积神经网络的语义分割模型中卷积层所使用的卷积核，该设计首先，为了解译模型泛化能力的问题，对样本集进行等价模式的LBP特征提取，构建BoW的特征词典，将样本集分为N类子集，然后采用BP算法对子集进行训练，最终获得了具有自适应性、准确率高、普适性强的深度学习模型，最终提高了语义分割模型的准确率。因此，本发明获得了具有自适应性、准确率高、普适性强的深度学习模型，最终提高了语义分割模型的准确率。

附图说明

图1为本发明的流程图。

图2为本发明中构建深度学习模型的流程图。

图3为本发明中基于卷积神经网络的语义分割模型的网络结构示意图。

图4为实施例1的影像变化检测输出结果。

图4中，(a)为前期遥感影像，(b)为后期遥感影像，(c)为输出的变化图斑。

具体实施方式

下面结合说明书附图和具体实施方式对本发明作进一步的说明。

参见图1至图3，一种基于神经网络的遥感影像工程量监测方法，具体按照以下步骤进行：

S1、通过无人机或卫星获取大量无标签的遥感图像并将其分成样本集、训练集；

S2、对样本集进行ULBP特征提取；

LBP特征是一种用于数字图像处理的纹理描述算子，一个LBP算子为内含有P个采样点的半径为R的圆形区域，LBP算子将会产生2P种模式特征表示为多种不同的二进制形式。很显然，随着邻域集内采样点数的增加，二进制模式的种类是以指数形式增加的，这么多的二进制模式不利于纹理的提取、分类、识别及存取，因此，需要对原始的LBP模式进行降维，使得数据量减少的情况下能最好的表示图像的信息，目前较常使用的为ULBP(等价LBP)，ULBP代表了图像的边缘、斑点、角点等关键模式，ULBP占了LBP中的绝大多数，所以极大的降低了特征维度，利用这些ULBP和混合模式类直方图，能够更好地提取图像的本质特征；

S3、提取了样本集的ULBP特征之后，通过K-means聚类算法得到N个聚类中心，这些聚类中心通常具有较高的代表性(对于这些聚类可以以农田、道路、河流、林地、荒地、建筑、池塘等明确的分类特征集来命名)，将这些聚类中心组合在一起，形成一个BOW特征词典，将遥感图像的每个LBP特征分配至与其最相近的聚类中心，统计各个聚类中心出现的次数，将遥感图像划入最近的聚类中心，从而将样本集划分为N个与聚类中心一一对应的子集，N＝5；

S4、采用BP算法对N个子集进行训练，得到具有自适应性、准确率高、普适性强的深度学习模型，所述深度学习模型与子集一一对应；

使用BP算法训练时采用逐个样本训练，先将第一个样本提供给网络，然后开始应用BP算法进行训练，直到训练误差降低到一个可以接受的范围，或者进行了指定步骤的训练次数，再将第二个样本提供给网络训练，该方式的优点是只需要很少的存储空间，并且有更好的随机搜索能力，防止训练过程陷入局部最小区域；

S5、设计基于卷积神经网络的语义分割模型，用于处理遥感影像语义分割任务，所述基于卷积神经网络的语义分割模型包括输入层、5个卷积层、5个池化层、输出层，所述卷积层使用的卷积核为由步骤S14得到的深度学习模型，卷积层与池化层一一对应，上个卷积层的池化结果作为下个卷积层的输入，对每个卷积层的池化结果采用最近邻插值法进行上采样，然后通过MP算法进行流形排序和筛选，根据流形排序结果选取主要的卷积层池化结果，通过输出层最终输出解译后的影像；

考虑到设计语义分割的目的是为适应不同的语义环境，优化训练结果，因此在判别器设计上，采用了权值共享机制，增加Softmax损失层作为语义分割类别预测层，以便监控语义分割网络性能，适时终止训练，Softmax损失层用于进行归一化处理，使得各识别结果的累加和为1并求得各识别结果的概率；

所述基于卷积神经网络的语义分割模型的网络结构如下：

输入层的图像大小为224×224×3；

5个卷积层分别为卷积层C1、卷积层C2+ReLU、卷积层C3+ReLU、卷积层C4+ReLU、卷积层C5+ReLU；

卷积层C1使用11×11×6的卷积核，激活函数为ReLU函数，步长s＝2，得到6组107x107特征映射，可训练参数量为6×121+6＝732；

卷积层C2+ReLU使用7×7×8的卷积核，步长s＝2，特征映射为51×51×8＝20808，可训练参数为8×49+8＝400；

卷积层C3+ReLU使用5×5×16的卷积核，步长s＝2，特征映射为25×25×16＝10000，可训练参数为16×25+16＝416；

卷积层C4+ReLU使用3×3×32的卷积核，步长s＝2，特征映射为12×12×32＝4608，可训练参数为32×9+32＝320；

卷积层C5+ReLU使用3×3×64的卷积核，步长s＝2，特征映射为5x5x64＝1600，可训练参数为64x9+64＝640；

最大池化层统一核心大小为2×2，步长s＝2；

所述基于卷积神经网络的语义分割模型中卷积层的编码器结构为：

C256-C128-C64-C32-C16-C8-C4-C2；

卷积层的解码器结构为：

C2-C4-C8-C16-C32-C64-C128-C256；

编码器与解码器组成生成器，5个卷积层共同组成判别器，判别器结构为：

C256-C128-C64-C32-C30；

为使解译的影像具有更好的目的性，还可以在生成器与判别器中嵌入限制条件y，考虑到语义分割方法的特点是要让分割界限更加准确，因此，在设计损失函数时候，除了考虑限制条件y的因素，还要考虑增加一次项来优化生成影像的边界信息；

所述MP算法给定一个数据集X＝{x(1),…,x(i),x(i+1),…,x(n)},其中一些数据点被标记为查询对象，其余的则需要根据它们与查询对象的关系进行排序，令f(x)表示分配的排序值，则可以得到f＝[f(1),…,f(n)]^T，指定指示向量y＝[y(1),…,y(n)]^T(T为转置)，使得如果x(i)是查询对象时y(i)＝1，否则y(i)＝0，则对于图G＝(V,E)，其中节点V是数据集X组成，图的边E由一个亲和函数W＝[w(i,j)]nxn加权得到，图G的度矩阵D＝diag{d(11),…,d(nn)},其中d(ii)＝∑w(ij)，对于给定的查询对象的排序得分可以通过下面公式得到：

对上式求导设置0，并使用非规范化拉普拉斯矩阵改进得到：

f^*＝(D-αW)^-ly

求得f_i，f_i为第i个节点与所有其他节点相关性的和；

S6、模型设计完成后，使用样本集来训练模型，使用测试集测试模型的能力，将测试集输入到训练好的模型中，即可提取出各类地物信息，根据以下公式计算得到总体精度评价指标OA，若总体精度评价指标OA满足使用需求，则表示模型已被训练好：

上式中，OA表示测试集中被模型正确分类的样本所占比例，TP为被模型正确分类的正样本数量，FN为被模型错误分类的正样本数量，FP为被模型错误分类的负样本数量，TN为被模型正确分类的负样本数量；

S7、选取任意前后两期影像，先进行影像分块，然后进行下采样，使前后两期影像的分辨率一致，再将经下采样后的前后两期影像输入训练好的基于卷积神经网络的语义分割模型中，以对前后两期影像中各类地物进行自动解译；

S8、对经自动解译后的前后两期影像采用SLIC超像素分割算法进行影像分割，对经影像分割后的前后两期影像进行特征提取，所述特征提取包括前后两期影像的光谱特征、上下文特征、纹理特征，通过计算经影像分割后的前后两期影像各特征之间的差异，得到前后两期影像的变化置信度图；

超像素是指具有相似纹理、颜色、亮度等特征的相邻像素构成的有一定视觉意义的不规则像素块，为了使最后输出的变化图斑更符合实际地物(房屋、植被、建筑物、道路、弃土堆)的轮廓，对影像进行超像素分割，将超像素代替像素作为基本处理单元进行分析，提取超像素的特征，来表征前后期遥感影像变化的能力，以便提取更加符合人类视觉的变化图斑；

S9、采用最大类间方差法确定变化置信度图中前景与背景的分割阈值，最后利用二值化进行影像前景与背景的切割，输出前后两期影像的变化图斑，如图4所示，传统技术中的变化自动检测往往存在一定的错误并且轮廓不够精确，而采用本发明所述方法能够对工程影像目标地物精准提取并进行变化检测；

所述最大类间方差法是按图像的灰度特性,将图像分成背景和前景两部分，将图像看作一个M×N大小的矩阵，则图像中的每个像素值在0-255之间，前景(即目标)和背景的分割阈值记作Optimal，前景像素点在像素中的占比为ω0，前景平均灰度为μ0，背景像素占比为ω1，平均灰度为μ1，图像总平均灰度为μ，类间方差记为Max，则像素灰度值小于Optimal的个数记为N0，大于Optimal的个数记为N1，则可得：

Max＝ω0*ω1*(μ0-μ1)²

遍历整个图像即可求得使得Max最大的分割阈值Optimal；

实施例中算法实现部分采用python+TensorFlow开源框架，前端使用Keras框架，系统集成部分采用Java平台下的企业级Web系统MVC开发框架，使用Spring+Structs+Hibernate的框架组合进行项目开发，其中Spring实现依赖注入的设计模式，Struts框架实现界面与业务逻辑层的分离，Hibernate框架实现数据库交互及数据持久化。

Claims (7)

1.一种基于神经网络的遥感影像工程量监测方法，其特征在于：

所述监测方法依次按照以下步骤进行：

S1、模型建立与训练

获取大量无标签的遥感图像并将其分成样本集、训练集，根据样本集构建基于卷积神经网络的语义分割模型，然后采用样本集和训练集分别对基于卷积神经网络的语义分割模型进行训练与测试；

S2、影像解译

选取任意前后两期影像，进行预处理，再将经预处理后的前后两期影像输入训练好的基于卷积神经网络的语义分割模型中，以对前后两期影像中各类地物进行自动解译；

S3、影像变化检测

对经自动解译后的前后两期影像采用SLIC超像素分割算法进行影像分割，对经影像分割后的前后两期影像进行特征提取，基于前后两期影像之间的特征差异，得到前后两期影像的变化置信度图，随后采用最大类间方差法确定变化置信度图中前景与背景的分割阈值，最后利用二值化进行影像前景与背景的切割，输出前后两期影像的变化图斑；

步骤S1中，所述基于卷积神经网络的语义分割模型包括输入层、N个卷积层、N个池化层、输出层，所述卷积层与池化层一一对应，上个卷积层的池化结果作为下个卷积层的输入，对每个卷积层的池化结果进行上采样，将各个经上采样后的卷积层池化结果通过MR算法进行流形排序，根据流形排序结果选取最优的卷积层池化结果通过输出层进行归一化处理，最终输出解译后的影像；

所述卷积层所使用的卷积核为根据以下步骤得到的深度学习模型的卷积核：

A1、先对样本集进行等价模式的LBP特征提取，然后根据提取的LBP特征值通过K-means聚类算法得到N个聚类中心，所述N个聚类中心汇聚成一个BOW特征词典；

A2、将遥感图像的每个LBP特征分配至与其最相近的聚类中心，统计各个聚类中心出现的次数，将遥感图像划入最近的聚类中心，从而将样本集划分为N个与聚类中心一一对应的子集；

A3、采用BP算法对N个子集进行训练，得到N个与子集一一对应的深度学习模型，所述深度学习模型的卷积核即为基于卷积神经网络的语义分割模型中卷积层所使用的卷积核；

所述输入层的图像大小为224×224×3；

所述卷积层的数量为5个，5个卷积层共同组成判别器， 5个卷积层分别为卷积层C1、卷积层C2+ReLU、卷积层C3+ReLU、卷积层C4+ReLU、卷积层C5+ReLU，

所述卷积层C1使用11×11×6的卷积核，激活函数为ReLU函数，步长s=2，得到6组107x107特征映射，可训练参数量为6×121+6=732；

所述卷积层C2+ReLU使用7×7×8的卷积核，步长s=2，特征映射为51×51×8=20808，可训练参数为8×49+8=400；

所述卷积层C3+ReLU使用5×5×16的卷积核，步长s=2，特征映射为25×25×16=10000，可训练参数为16×25+16=416；

所述卷积层C4+ReLU使用3×3×32的卷积核，步长s=2，特征映射为12×12×32=4608，可训练参数为32×9+32=320；

所述卷积层C5+ReLU使用3×3×64的卷积核，步长s=2，特征映射为5x5x64=1600，可训练参数为64x9+64=640；

最大池化层统一核心大小为2×2，步长s=2；

所述输出层使用Softmax损失层。

2.根据权利要求1所述的一种基于神经网络的遥感影像工程量监测方法，其特征在于：所述上采样采用最近邻插值法。

3.根据权利要求1所述的一种基于神经网络的遥感影像工程量监测方法，其特征在于：

所述判别器为C256-C128-C64-C32-C30；

所述卷积层的编码器为C256-C128-C64-C32-C16-C8-C4-C2；

所述卷积层的解码器为C2-C4-C8-C16-C32-C64-C128-C256。

4.根据权利要求3所述的一种基于神经网络的遥感影像工程量监测方法，其特征在于：所述判别器采用权值共享机制。

5.根据权利要求1所述的一种基于神经网络的遥感影像工程量监测方法，其特征在于：

步骤S1中，在利用训练集对基于卷积神经网络的语义分割模型进行测试后，根据以下公式计算得到总体精度评价指标OA，若总体精度评价指标OA满足使用需求，则表示模型已被训练好：

；

上式中，OA表示训练集中被模型正确分类的样本所占比例，TP为被模型正确分类的正样本数量，FN为被模型错误分类的正样本数量，FP为被模型错误分类的负样本数量，TN为被模型正确分类的负样本数量。

6.根据权利要求1所述的一种基于神经网络的遥感影像工程量监测方法，其特征在于：

步骤S2中，所述预处理依次包括以下步骤：

B1、对前后两期影像进行影像分块；

B2、对经影像分块后的前后两期影像进行下采样，使前后两期影像的分辨率一致。

7.根据权利要求1所述的一种基于神经网络的遥感影像工程量监测方法，其特征在于：

步骤S3中，先提取经影像分割后的前后两期影像的光谱特征、上下文特征、纹理特征，然后通过比较经影像分割后的前后两期影像各特征之间的差异，得到前后两期影像的变化置信度图。