CN112132822A - 一种基于迁移学习的可疑违章建筑检测算法 - Google Patents

Abstract

本发明设计了一种基于迁移学习的可疑违章建筑检测算法，主要包括以下几个步骤：选取一个预训练好的卷积神经网络模型用来对可疑违建区域进行特征提取；随机选择某一中间层，利用其特征图构建新旧时相图像的结构差异向量，利用结构差异向量训练一个支持向量机，支持向量机的输出结果分为两类，变化和不变化，改变提取特征向量的中间层的层数，重复上述步骤，在测试集上选择最终分类精度最高的层数，作为最终模型的结构差异向量提取层，至此，输入两张同一建筑物的新旧时相图像，该算法便能对是否存在可疑违建区域进行判别。本方法自动选择有效的特征进行提取，无需人工对其进行设计，避免了在像素级层面上进行像素提取，极大地提高了检测的准确率。

Description

一种基于迁移学习的可疑违章建筑检测算法

技术领域

本发明涉及一种基于迁移学习的可疑违章建筑检测算法，属于图像处理领域。

背景技术

传统的违章建筑检测方法都在像素级层面上进行像素提取，对于违章建筑的评价尺度较为宽松，会产生很多伪变化检测。产生这些伪检测结果的原因可能是墙体粉饰、局部光照变化以及物体表面遮盖等。在像素层面上很难对这些错误进行剔除。卷积神经网络和传统的数字图像识别算法的主要区别在于，卷积神经网络通过卷积层和子采样层构成特征提取器，通过向网络输入大量数据进行训练，特征提取器最终会自动选择有效的特征进行提取，无需人工对其进行设计。但在实际过程中存在以下几个问题：

1、常用的卷积神经网络模型一般以单张图像作为输入进行训练和测试，而变化检测任务的输入图像为两张。

2、目前针对变化检测任务而建立的相关数据集较少，不同应用场景下所定义的变化描述方式也不尽相同。

发明内容

发明目的：针对上述现有技术存在的问题，本发明提供了一种基于迁移学习的可疑违章建筑检测算法，主要目标是解决传统建筑物检测方法在像素级层面上进行像素提取，评价尺度过于宽松造成的伪变化检测问题；解决传统建筑物检测方法需要自己设计合适的变化检测算法的问题，通过神经网络自动判别，无需人工设计；解决基于卷积神经网络的图像识别领域没有以多张图片输入做变化检测的问题；解决变化检测的数据集较少的问题。

技术方案：

一种基于迁移学习的可疑违章建筑检测算法，其特征在于，包括以下步骤：

步骤1：选取一个公开的网络模型，用大型公开数据集对其进行预训练；

步骤2：将训练数据集中同一建筑物的新旧时相图像分别输入预训练好的卷积神经网络模型，从网络的某一中层输出得到一个一维特征向量，利用两张图像的输出一维特征向量构造一个结构差异向量；利用得到的结构差异向量构建一个训练数据集。

步骤3：利用结构差异向量训练数据集训练一个支持向量机对结果进行分类；

步骤4：改变提取特征向量的卷积神经网络的中间层的层数，重复步骤2和步骤3，在测试集测试输出的分类精度，选择分类精度最高的中间层作为最终模型的特征提取层，获得最终的检测模型；

步骤5：将任意的两张同一建筑物的新旧时相图像输入以上训练好的模型中，本模型即可自动判断出建筑物是否存在可疑违建区域。

所述步骤1包括：

步骤1.1：采用牛津大学计算机视觉组和Google DeepMind公司在2014年提出的VGG-16卷积神经网络模型。并使用大型自然图像数据集ImageNet作为训练样本对模型进行预训练。所述步骤2包括：

步骤2.1：在配准后的新旧时相图像中截取相同位置的区域作为不存在违建的样本，在不同区域截取到的图像作为存在违建的样本，建立训练数据集。

步骤2.2：VGG-16网络有5组卷积层，总共22层。选择第5到10层的某一层作为特征向量提取层。

步骤2.3：对于提取到的VGG-16网络的某一中间层的特征图，其大小为56*56*256，将其展开成一维特征向量F＝{a₁，a₂，a₃...a_n}，并用如下公式得到新旧时相图像的结构差异向量。

式中，t1和t2分别表示新旧时相；a为特征向量F的元素。

步骤2.4：建立结构差异向量数据集，特征为根据公式得到的结构差异向量，标签为-1和1，分别代表存在可疑违建区域和不存在可疑违建区域。

所述步骤3包括：

步骤3.1：用步骤2得到的结构化差异向量作为支持向量机的输入，输出为-1和1，分别代表存在可疑违建区域和不存在可疑违建区域。利用步骤2建立的数据集训练好一个实现可疑违建判别功能的支持向量机。

所述步骤4包括：

改变提取结构差异向量的中间层的层数，可以取第5层到第10层中的任意一层，并利用结果训练一个支持向量机。然后在测试集上进行测试，比较取不同的中间层作为结构差异向量提取层时的模型的分类精度，选择分类精度最高时对应的中间层的层数作为最终模型的特征提取层。

所述步骤5包括如下步骤：

步骤5.1：将同一建筑物的新旧时相图像输入本发明最终的判别模型，若输出为-1，判定为存在可疑违建区域；若输出为1，则判定为不存在可疑违建区域。

有益效果：

1、解决了传统建筑物违建检测方法在像素级层面上进行像素提取，评价尺度过于宽松造成的伪变化检测问题；

2、解决了传统建筑物违建检测方法需要自己设计合适的变化检测算法的问题，通过神经网络自动判别，无需人工设计；

3、解决了基于卷积神经网络的可疑违章建筑检测领域没有以多张图片输入做变化检测的问题。

附图说明

图1是本发明所用的网络模型VGG-16的网络模型图；

图2是本发明最终的结构相似性判别模型图；

图3是实验选取最佳的中间层作为特征输出层图；

图4是不同特征输出层的检测正确率图；

图5是本方法相比现有其它显示方法的对比图。

具体实施方式

为使本发明实施例的目的、技术方案和有点更加清楚，下面结合本发明实施例中的附图，对发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的发明的范围。

如图所示，一种基于迁移学习的可疑违章建筑检测算法，包括以下步骤：

步骤1：选取一个公开的网络模型，用大型公开数据集对其进行预训练；

步骤2：将训练数据集中同一建筑物的新旧时相图像分别输入预训练好的卷积神经网络模型，从网络的某一中层输出得到一个一维特征向量，利用两张图像的输出一维特征向量构造一个结构差异向量；利用得到的结构差异向量构建一个训练数据集。

步骤3：利用结构差异向量训练数据集训练一个支持向量机对结果进行分类；

步骤4：改变提取特征向量的卷积神经网络的中间层的层数，重复步骤2和步骤3，在测试集测试输出的分类精度，选择分类精度最高的中间层作为最终模型的特征提取层，获得最终的检测模型；

步骤5：将任意的两张同一建筑物的新旧时相图像输入以上训练好的模型中，本模型即可自动判断出建筑物是否存在可疑违建区域。

所述步骤1包括：

步骤1.1：采用牛津大学计算机视觉组和Google DeepMind公司在2014年提出的VGG-16卷积神经网络模型。并使用大型自然图像数据集ImageNet作为训练样本对模型进行预训练。所述步骤2包括：

步骤2.1：在配准后的新旧时相图像中截取相同位置的区域作为不存在违建的样本，在不同区域截取到的图像作为存在违建的样本，建立训练数据集。

步骤2.2：VGG-16网络有5组卷积层，总共22层。选择第5到10层的某一层作为特征向量提取层。

步骤2.3：对于提取到的VGG-16网络的某一中间层的特征图，其大小为56*56*256，将其展开成一维特征向量F＝{a₁，a₂，a₃...a_n}，并用如下公式得到新旧时相图像的结构差异向量。

式中，t1和t2分别表示新旧时相；a为特征向量F的元素。

步骤2.4：建立结构差异向量数据集，特征为根据公式得到的结构差异向量，标签为-1和1，分别代表存在可疑违建区域和不存在可疑违建区域。

在本实施例中，步骤3包括：

步骤3.1：用步骤2得到的结构化差异向量作为支持向量机的输入，输出为-1和1，分别代表存在可疑违建区域和不存在可疑违建区域。利用步骤2建立的数据集训练好一个实现可疑违建判别功能的支持向量机。

在本实施例中，步骤4包括：

改变提取结构差异向量的中间层的层数，可以取第5层到第10层中的任意一层，并利用结果训练一个支持向量机。然后在测试集上进行测试，比较取不同的中间层作为结构差异向量提取层时的模型的分类精度，选择分类精度最高时对应的中间层的层数作为最终模型的特征提取层。

在本实施例中，步骤5包括如下步骤：

步骤5.1：将同一建筑物的新旧时相图像输入本发明最终的判别模型，若输出为-1，判定为存在可疑违建区域；若输出为1，则判定为不存在可疑违建区域。

本发明通过对比前后两张建筑物图像是否发生变化来判断建筑物是否存在可疑违建区域，利用预训练好的卷积神经网络模型对建筑物的新旧时相图像的结构进行特征提取，再将经过处理的结果输入训练好的支持向量机，对建筑物是否存在可疑违建区域进行判别，

其中，图1是本发明所用的网络模型VGG-16的网络模型图；模型共分为5组卷积层，每一组卷积层都使用步幅为1，SIZE为3X3的卷积核进行构建，卷积层之后都使用2x2步幅为2的过滤器构建最大池化层，在网络的最后为3个全连接层。由于VGG-16卷积神经网络的最后连接了全连接层，因此输入的特征图必须大小固定。根据VGG-16卷积神经网络的要求，需要对输入图像进行预处理，把输入图像大小变成224*224*3(RGB)。

图3是实验选取最佳的中间层作为特征输出层图。卷积神经网络不同层所提取的特征并不相同。网络的浅层提取的是颜色、边缘这些低级特征，只能在很小的局部区域内对图像的相似性进行判别，而深层的抽象特征会识别图像中某一类目标物体是否存在，对于图像的相似度判别任务来说过于严格，我们所关注的是可疑变化区域中物体的形状、轮廓等具有一定结构信息的特征。因此，我们将选择网络的中层输出作为判断图像结构相似性的特征。为了选择最能表现图像结构性差异的特征提取层，我们使用预训练的VGG-16网络中不同层的输出特征图进行了实验。

图5可以看出本方法明显优于其它现有的一些方法。

本发明方案所公开的技术手段不仅限于上述实施方式所公开的技术手段，还包括由以上技术特征任意组合所组成的技术方案。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (6)

1.一种基于迁移学习的可疑违章建筑检测算法，其特征在于，包括以下步骤：

步骤1：选取一个公开的网络模型，用大型公开数据集对其进行预训练；

步骤2：将训练数据集中同一建筑物的新旧时相图像分别输入预训练好的卷积神经网络模型，从网络的某一中层输出得到一个一维特征向量，利用两张图像的输出一维特征向量构造一个结构差异向量；利用得到的结构差异向量构建一个训练数据集；

步骤3：利用结构差异向量训练数据集训练一个支持向量机对结果进行分类；

步骤4：改变提取特征向量的卷积神经网络的中间层的层数，重复步骤2和步骤3，在测试集测试输出的分类精度，选择分类精度最高的中间层作为最终模型的特征提取层，获得最终的检测模型；

步骤5：将任意的两张同一建筑物的新旧时相图像输入以上训练好的最终的检测模型中，即可自动判断出建筑物是否存在可疑违建区域。

2.根据权利要求1所述的一种基于迁移学习的可疑违章建筑检测算法，其特征在于，所述步骤1包括如下步骤：

步骤1.1：采用VGG-16卷积神经网络模型，并使用大型自然图像数据集ImageNet作为训练样本对模型进行预训练。

3.根据权利要求2述的一种基于迁移学习的可疑违章建筑检测算法，其特征在于，所述步骤2包括如下步骤：

步骤2.1：在配准后的新旧时相图像中截取相同位置的区域作为不存在违建的样本，在不同区域截取到的图像作为存在违建的样本，建立训练数据集；

步骤2.2：VGG-16网络有5组卷积层，总共22层，选择第5到10层的某一层作为特征向量提取层；

步骤2.3：对于提取到的VGG-16网络的某一中间层的特征图，其大小为56*56*256，将其展开成一维特征向量F＝{a₁，a₂，a₃...a_n}，并用如下公式得到新旧时相图像的结构差异向量，

式中，t1和t2分别表示新旧时相；a为特征向量F的元素；

步骤2.4：建立结构差异向量数据集，特征为根据公式得到的结构差异向量，标签为-1和1，分别代表存在可疑违建区域和不存在可疑违建区域。

4.根据权利要求1所述的一种基于迁移学习的可疑违章建筑检测算法，其特征在于，所述步骤3包括如下步骤：

步骤3.1：用步骤2得到的结构化差异向量作为支持向量机的输入，输出为-1和1，分别代表存在可疑违建区域和不存在可疑违建区域，利用步骤2建立的数据集训练好一个实现可疑违建判别功能的支持向量机。

5.根据权利要求1所述的一种基于迁移学习的可疑违章建筑检测算法，其特征在于，所述步骤4包括如下步骤：

改变提取结构差异向量的中间层的层数，取第5层到第10层中的任意一层，并利用结果训练一个支持向量机，然后在测试集上进行测试，比较取不同的中间层作为结构差异向量提取层时的模型的分类精度，选择分类精度最高时对应的中间层的层数作为最终模型的特征提取层。

6.根据权利要求1所述的一种基于迁移学习的可疑违章建筑检测算法，其特征在于，所述步骤5包括如下步骤：

步骤5.1：将同一建筑物的新旧时相图像输入本发明最终的判别模型，若输出为-1，判定为存在可疑违建区域；若输出为1，则判定为不存在可疑违建区域。

Images