CN108229524A - 一种基于遥感图像的烟囱和冷凝塔检测方法 - Google Patents

Abstract

本发明公开了一种基于遥感图像的烟囱和冷凝塔检测方法，包括：对遥感图像进行分块，将分块后的图像输入到预先训练好的离线训练模型中，利用离线训练模型中训练好的区域建议网络产生候选框以及候选框对应的目标性得分；基于目标性得分，利用非极大值抑制法以及目标性得分阈值对候选框进行筛选，得到目标候选框；将目标候选框中的图像输入到离线训练模型中训练好的快速区域卷积神经网络中进行目标检测，得到烟囱、冷凝塔和背景对应的分类得分以及目标框；基于分类得分，利用分类得分阈值和非极大值抑制法对目标框进行筛选，得到最终检测结果。本发明提供的检测方法不仅检测率高，目标框位置准确，而且速度快。

Description

一种基于遥感图像的烟囱和冷凝塔检测方法

技术领域

本发明属于机器学习领域，更具体的说是涉及一种基于遥感图像的烟囱和冷凝塔检测方法。

背景技术

造成雾霾天气的一个重要的源头就是火力发电厂的工业排放。一般火力发电厂包括厂房、煤栈桥、蓄水池、冷凝塔和烟囱等设施，其中，烟囱是主要的废气排放源，而冷凝塔可以辅助判断火力发电厂的运行状态，因此，烟囱和冷凝塔目标的检测可以作为判断火力发电厂是否工作的重要标志。

目前，利用遥感图像对火力发电厂进行监测已经成为一种有效的手段，通过遥感图像对火力发电厂中的烟囱和冷凝塔进行目标检测，可以有效的帮助环保部门快速确定火力发电厂区域，判断其工作状态以及是否符合排放要求。但是，目前对烟囱和冷凝塔进行检测的方法是两套算法，需要分别对烟囱和冷凝塔进行检测，且大多数通过二值化和几何尺寸约束进行候选区域提取，并利用圆形度和直线特征对目标进行提取和分类。但是，以上方法受背景对比度、烟雾、光照以及分辨率等因素的影响较大，导致目标检测效率低。

因此，如何提高目标检测效率是本领域技术人员亟需解决的问题。

发明内容

有鉴于此，本发明提供了一种基于遥感图像的烟囱和冷凝塔检测方法，有效的提高了烟囱和冷凝塔的检测效率。

为了实现上述目的，本发明采用如下技术方案：

一种基于遥感图像的烟囱和冷凝塔检测方法，具体包括以下步骤：

S1：对所述遥感图像进行分块，并将分块后的图像输入到预先训练好的离线训练模型中，利用所述离线训练模型中训练好的区域建议网络产生候选框以及所述候选框对应的目标性得分；

S2：基于所述目标性得分，利用非极大值抑制法以及目标性得分阈值对所述候选框进行筛选，得到目标候选框；

S3：将所述目标候选框中的图像输入到所述离线训练模型中训练好的快速区域卷积神经网络中进行目标检测，分别得到烟囱、冷凝塔和背景对应的分类得分以及目标框；

S4：基于所述分类得分，利用分类得分阈值和非极大值抑制法对所述目标框进行筛选，得到最终检测结果。

可选的，还包括：S5：对所述最终检测结果进行输出。

可选的，所述步骤S1具体包括：将所述遥感图像按1024×1024像素大小进行分块处理，并将分块后的图像输入到预先训练好的离线训练模型中，利用所述离线训练模型中训练好的区域建议网络产生1000个候选框以及1000 个所述候选框对应的目标性得分。

可选的，步骤S2具体包括：利用非极大值抑制法得到所述目标性得分前 50名的所述候选框，并保留所述目标性得分大于所述目标性得分阈值的候选框，得到目标候选框。

可选的，步骤S4具体包括：保留所述分类得分大于所述分类得分阈值的目标框，并利用非极大值抑制法进行非极大值抑制，得到最终检测结果。

可选的，所述目标性得分阈值为0.7。

可选的，所述分类得分阈值为0.9。

可选的，所述预先训练好的离线训练模型的具体步骤包括：

利用训练样本对区域建议网络和快速区域卷积神经网络进行离线训练，得到离线训练模型。

可选的，所述利用训练样本对区域建议网络和快速区域卷积神经网络进行离线训练，得到离线训练模型的具体步骤包括：

S111：利用在ImageNet上训练好的模型初始化区域建议网络中的参数，利用训练样本进行微调，得到第一微调区域建议网络以及根据所述第一微调区域建议网络获取的候选区域；

S112：利用在ImageNet上训练好的模型初始化快速区域卷积神经网络中的参数，并利用所述候选区域对所述快速区域卷积神经网络进行训练；

S113：利用所述快速区域卷积神经网络初始化所述第一微调区域建议网络，并固定卷积层参数，对所述第一微调区域建议网络进行微调，得到训练好的区域建议网络；其中，所述卷积层为所述区域建议网络和所述快速区域卷积神经网络所共享的；

S114：固定所述卷积层参数，利用所述训练好的区域建议网络提取候选区域，再对所述快速区域卷积神经网络进行训练，得到训练好的快速区域卷积神经网络。

经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种基于遥感图像的烟囱和冷凝塔检测方法，该检测方法对遥感图像进行分块，并利用区域建议网络快速有效的提取疑似烟囱和冷凝塔的区域，避免了传统算法中的大量人工经验参数；快速区域卷积神经网络将烟囱检测和冷凝塔的检测任务放置在同一个框架内，并且对烟囱和冷凝塔目标的检测率高，同时可以获取目标的准确位置，而传统算法需要分别对烟囱和冷凝塔进行检测。可见，本发明的提供的检测方法提高了烟囱和冷凝塔的检测效率。另外，在实际应用中，工作人员不需要在整幅遥感图像中进行判读，可以直接对检测结果进行判读，获取火力发电厂的工作情况。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1附图为现有技术中烟囱和冷凝塔检测方法的算法流程图；

图2附图为本发明提供的一种基于遥感图像的烟囱和冷凝塔检测方法的流程图一；

图3附图为本发明提供的一种基于遥感图像的烟囱和冷凝塔检测方法的流程图二；

图4附图为利用本发明提供的基于遥感图像的烟囱和冷凝塔检测方法的检测结果输出图；

图5附图为本发明提供的构建离线训练模型的具体流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

现阶段国内外学者对遥感图像目标检测进行了大量的研究，但是基于遥感图像的火力发电厂中的烟囱和冷凝塔的检测的研究还鲜有报道。现有的算法主要是利用灰度和形状特性进行检测，具体算法参见附图1。但是，附图1 中提供的算法需要分别针对烟囱和冷凝塔进行检测，并且由于遥感图像数据量大，现有的算法需要大量的运算时间。由于现有算法没有挖掘目标本身的特征，需要设置大量人为经验参数，这些参数对图像质量很敏感，不能适用于不同背景下的遥感图像。随着深度学习技术的发展，卷积神经网络可以同时检测多类目标，并且获取目标的准确位置，但现有的网络结构大部分都是针对自然场景图像。与自然场景图像中的目标相比，遥感图像中的烟囱和冷凝塔目标的尺寸相对较小，而且由于遥感图像是从空中拍摄，因此，由于成像角度的原因，烟囱和冷凝塔目标会呈现不同的形状以及朝向。这些问题现有的基于深度学习的目标检测算法很难解决，因此，将卷积神经网络引入烟囱和冷凝塔检测中需要进行改进。

本发明实施例公开了一种基于遥感图像的烟囱和冷凝塔检测方法，该检测方法对遥感图像进行分块，利用区域建议网络快速有效的提取疑似烟囱和冷凝塔的区域，避免了传统算法中的大量人工经验参数；快速区域卷积神经网络将烟囱检测和冷凝塔的检测任务放置在同一个框架内，只需要进行一次检测，而传统算法需要分别对烟囱和冷凝塔进行检测。可见，本发明的提供的检测方法提高了烟囱和冷凝塔的检测效率。另外，在实际应用中，工作人员无需在整幅遥感图像中查找烟囱和冷凝塔，可以对检测结果直接进行判读，获取火力发电厂的工作情况。

具体参见附图2，附图2提供一种基于遥感图像的烟囱和冷凝塔检测方法，具体包括以下步骤：

S1：对遥感图像进行分块，并将分块后的图像输入到预先训练好的离线训练模型中，利用离线训练模型中的区域建议网络产生候选框以及候选框对应的目标性得分；

S2：基于目标性得分，利用非极大值抑制法以及目标性得分阈值对候选框进行筛选，得到目标候选框；

S3：将目标候选框中的图像输入到离线训练模型中的快速区域卷积神经网络中进行目标检测，分别得到烟囱、冷凝塔和背景对应的分类得分以及目标框；

其中，目标框由目标候选框经过快速区域卷积神经网络的目标检测以及位置修正后得到。

S4：基于分类得分，利用分类得分阈值和非极大值抑制法对目标框进行筛选，得到最终检测结果。

一般情况下，遥感图像具有较大的图像尺寸，现有的算法处理起来比较困难，需要花费大量的时间。本发明将遥感图像进行分块，并利用区域建议网络快速有效的提取疑似烟囱和冷凝塔的区域，这些区域不仅准确而且数量少，且避免了传统算法对图像质量的高要求，同时也不需要针对不同目标设置不同规则和人工参数；快速区域卷积神经网络将烟囱检测和冷凝塔的检测任务放置在同一个框架内，只需要进行一次检测，且最终获取的是经过快速区域卷积神经网络修正后的目标框，不仅检测效率高，而且准确度高。而传统算法需要分别对烟囱和冷凝塔进行检测，且检测结果受图像质量的影响较大。对于本发明提供的检测方法检出的结果，工作人员可以对检测结果进行判读，很方便的获取火力发电厂的工作情况。

此外，本发明提供的基于遥感图像的烟囱和冷凝塔检测方法可以通过 GPU进行加速，一幅2500×2500像素的图像可以在2.3秒内完成检测。本发明的研究结果可以大大提升环保部门对火力发电厂的环境监测效率和力度，具有广阔的应用前景。

为了进一步优化上述技术方案，本发明提供的一种基于遥感图像的烟囱和冷凝塔检测方法还包括：S5：对最终检测结果进行输出。具体参见附图3。在具体操作的过程中可以分别将烟囱和冷凝塔区域用不同颜色标注出来，具体参见附图4。其中，红色框为烟囱，蓝色框为冷凝塔，黑框为虚警。相对于现有技术，工作人员减少了很多工作量。

为了进一步优化上述技术方案，步骤S1具体包括：将遥感图像按1024 ×1024像素大小进行分块处理，并将分块后的图像输入到预先训练好的离线训练模型中，利用离线训练模型中的区域建议网络产生1000个候选框以及 1000个候选框对应的目标性得分。

为了进一步优化上述技术方案，步骤S2具体包括：利用非极大值抑制法得到目标性得分前50名的候选框，并保留目标性得分大于目标性得分阈值的候选框，得到目标候选框。

为了进一步优化上述技术方案，步骤S4具体包括：保留分类得分大于分类得分阈值的目标框，并利用非极大值抑制法进行非极大值抑制，得到最终检测结果。

为了进一步优化上述技术方案，目标性得分阈值为0.7。

为了进一步优化上述技术方案，分类得分阈值为0.9。

为了进一步优化上述技术方案，预先训练好的离线训练模型的具体步骤包括：

利用训练样本对区域建议网络和快速区域卷积神经网络进行离线训练，得到离线训练模型。

为了进一步优化上述技术方案，参见附图5，利用训练样本对区域建议网络和快速区域卷积神经网络进行离线训练，得到离线训练模型的具体步骤包括：

S111：利用在ImageNet上训练好的模型初始化区域建议网络中的参数，利用训练样本进行微调，得到第一微调区域建议网络以及根据第一微调区域建议网络获取的候选区域；

S112：利用在ImageNet上训练好的模型初始化快速区域卷积神经网络中的参数，并利用候选区域对快速区域卷积神经网络进行训练；

S113：利用快速区域卷积神经网络初始化第一微调区域建议网络，并固定卷积层参数，对第一微调区域建议网络进行微调，得到训练好的区域建议网络；其中，卷积层为所述区域建议网络和快速区域卷积神经网络所共享的；

S114：固定卷积层参数，利用训练好的区域建议网络提取候选区域，再对快速区域卷积神经网络进行训练，得到训练好的快速区域卷积神经网络。

其中，需要说明的是，卷积层是区域建议网络和快速区域卷积神经网络所共享的，在具体训练过程中区域建议网络和快速区域卷积神经网络本身还具有共享的卷积层之外的独有卷积层，即通过共享的卷积层将区域建议网络和快速区域卷积神经网络这两个独立的网络训练成一个统一的网络框架。

其次，对ImageNet进行简单的说明。ImageNet是一个计算机视觉系统识别项目，它实际上就是一个巨大的可供图像/视觉训练的图片库，是目前世界上图像识别最大的数据库，是美国斯坦福的计算机科学家为模拟人类的识别系统建立的。通过ImageNet数据库中的样本，可以训练出卷积神经网络的模型。

区域建议网络将一个图像作为输入，输出矩形的建议框的集合，每个框有一个目标性得分。我们用全卷积网络对这个过程构建模型，最终目标是和快速区域卷积神经网络共享卷积特征。在实验中，采用Zeiler和Fergus设计的模型(ZF模型)，它有5个可共享的卷积层。

为了生成建议框，在最后一个共享的卷积层输出的卷积特征映射上滑动小网络，这个网络全连接到输入卷积特征映射的3×3像素的空间窗口上。每个滑动窗口映射到一个64维向量，每个特征映射的一个滑动窗口对应一个数值。这个向量输出给两个同级的卷积层——回归层和分类层。

在每个滑动窗口的位置用3种尺度：64×64，128×128，256×256，和3 种长宽比：1:1，1:2，2:1，9个建议框进行计算，回归层有36个输出，每个建议框有4个坐标编码，分类层输出18个得分，即对每个建议框是目标/非目标的估计概率。

进行网络训练时具体的损失函数参见下面的公式。

分类损失L_cls(p_i,p_i ^*)＝-log[p_i ^*p_i+(1-p_i ^*)]

回归损失L_reg(t_i,t_i ^*)＝R(t_i-t_i ^*)，其中R是鲁棒的损失函数(smooth_L1)

其中，i是建议框的索引，p_i是建议框是目标的预测概率。如果建议框为正，则p_i ^*是1，如果建议框为负，则p_i ^*为0。t_i是一个向量，表示预测的建议框的4个坐标，t_i ^*是与正建议框对应的真值框的坐标。

其中，真值框是指标记出的目标外接矩形的左上点和右下点的横纵坐标构成的区域。区域建议网络分配正标签给：(1)与某个真值框有最高交并比的建议框(2)与任意真值框之间的交并比大于0.7的建议框，分配负标签给与所有真值框的交并比都低于0.3的建议框。而快速区域卷积神经网络将与某个真值框交并比在[0.5,1]的建议框作为正样本，与真值框交并比的最大值在 [0.1,0.5]的建议框作为负样本。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (9)

1.一种基于遥感图像的烟囱和冷凝塔检测方法，其特征在于，具体包括以下步骤：

S1：对所述遥感图像进行分块，并将分块后的图像输入到预先训练好的离线训练模型中，利用所述离线训练模型中训练好的区域建议网络产生候选框以及所述候选框对应的目标性得分；

S2：基于所述目标性得分，利用非极大值抑制法以及目标性得分阈值对所述候选框进行筛选，得到目标候选框；

S3：将所述目标候选框中的图像输入到所述离线训练模型中训练好的快速区域卷积神经网络中进行目标检测，分别得到烟囱、冷凝塔和背景对应的分类得分以及目标框；

S4：基于所述分类得分，利用分类得分阈值和非极大值抑制法对所述目标框进行筛选，得到最终检测结果。

2.根据权利要求1所述的一种基于遥感图像的烟囱和冷凝塔检测方法，其特征在于，还包括：S5：对所述最终检测结果进行输出。

3.根据权利要求1所述的一种基于遥感图像的烟囱和冷凝塔检测方法，其特征在于，所述步骤S1具体包括：将所述遥感图像按1024×1024像素大小进行分块处理，并将分块后的图像输入到预先训练好的离线训练模型中，利用所述离线训练模型中训练好的区域建议网络产生1000个候选框以及1000个所述候选框对应的目标性得分。

4.根据权利要求3所述的一种基于遥感图像的烟囱和冷凝塔检测方法，其特征在于，步骤S2具体包括：利用非极大值抑制法得到所述目标性得分前50名的所述候选框，并保留所述目标性得分大于所述目标性得分阈值的候选框，得到目标候选框。

5.根据权利要求1或4所述的一种基于遥感图像的烟囱和冷凝塔检测方法，其特征在于，步骤S4具体包括：保留所述分类得分大于所述分类得分阈值的目标框，并利用非极大值抑制法进行非极大值抑制，得到最终检测结果。

6.根据权利要求1或4所述的一种基于遥感图像的烟囱和冷凝塔检测方法，其特征在于，所述目标性得分阈值为0.7。

7.根据权利要求1或5所述的一种基于遥感图像的烟囱和冷凝塔检测方法，其特征在于，所述分类得分阈值为0.9。

8.根据权利要求1所述的一种基于遥感图像的烟囱和冷凝塔检测方法，其特征在于，所述预先训练好的离线训练模型的具体步骤包括：

利用训练样本对区域建议网络和快速区域卷积神经网络进行离线训练，得到离线训练模型。

9.根据权利要求8所述的一种基于遥感图像的烟囱和冷凝塔检测方法，其特征在于，所述利用训练样本对区域建议网络和快速区域卷积神经网络进行离线训练，得到离线训练模型的具体步骤包括：

S111：利用在ImageNet上训练好的模型初始化区域建议网络中的参数，利用训练样本进行微调，得到第一微调区域建议网络以及根据所述第一微调区域建议网络获取的候选区域；

S112：利用在ImageNet上训练好的模型初始化快速区域卷积神经网络中的参数，并利用所述候选区域对所述快速区域卷积神经网络进行训练；

S113：利用所述快速区域卷积神经网络初始化所述第一微调区域建议网络，并固定卷积层参数，对所述第一微调区域建议网络进行微调，得到训练好的区域建议网络；其中，所述卷积层为所述区域建议网络和所述快速区域卷积神经网络所共享的；

S114：固定所述卷积层参数，利用所述训练好的区域建议网络提取候选区域，再对所述快速区域卷积神经网络进行训练，得到训练好的快速区域卷积神经网络。