CN109670515A - 一种用于无人机影像中建筑物变化的检测方法及系统 - Google Patents

Abstract

本发明公开了一种用于无人机影像中建筑物变化的检测方法，该方法包括：读取两张用于对比的影像图，采用最邻近匹配法进行图像间的配准，分别得到配准影像图；对配准影像图预处理，用颜色平衡方法调节两幅配准影像图亮度和颜色上的差异；针对含有建筑物的正摄影像的样本数据集，采用深度学习进行训练，得到训练后模型，使用训练后的模型对调节后的影像图进行建筑物目标检测；根据目标检测后的对比影像图，将目标建筑物的变化情况分类，并综合识别变化的建筑物所属分类。本发明首先对用于变化检测的两期影像进行配准，对于配准后的影像图通过颜色平衡算法减小色彩、亮度上的差异，减少了检测过程中受到外界因素影响的问题，检测鲁棒性更好。

Description

一种用于无人机影像中建筑物变化的检测方法及系统

技术领域

本发明涉及一种变化检测技术，具体涉及一种用于无人机影像中建筑物变化的检测方法及系统。

背景技术

随着社会经济水平的不断增长，为了明确了解到城市变化情况，以便于管理和控制城市的规划发展，这就需要城市规划管理部门明确掌握城市规划方案，土地的实际使用情况，违法用地和违章建筑物的情况。变化检测的传统方法有很多，主要有代数运算方法(差值法、比值法)，基于图像特征(纹理、线段、颜色信息)，基于对象比较(图像分割、地物聚类)等，但是这些方法往往总存在受外界各种因素如光照等影响、特征难以提取、相同地物之间难以有效分割和聚类等问题，存在很多伪变化和漏检，检测精度不高，检测鲁棒性较差。

发明内容

发明目的：为了克服现有技术的不足，本发明提供一种用于无人机影像中建筑物变化的检测方法，该方法可以解决变化检测中容易受外界各种因素影响、特征难以提取、相同地物之间难以有效分割和聚类以及检测精度不高，检测鲁棒性较差的问题，本发明还提供一种用于无人机影像中建筑物变化检测的系统。

技术方案：一方面，本发明一种用于无人机影像中建筑物变化的检测方法，该方法包括：

(1)读取两张用于对比的旧时像影像和新时像影像图，并采用最邻近匹配法进行图像间的配准，分别得到配准影像图；

(2)对配准影像图预处理，并采用颜色平衡方法分别调节两幅配准影像图亮度和颜色上的差异，得到调节后的旧时像影像图和调节后的新时像影像图；

(3)针对含有建筑物的正摄影像的样本数据集，采用深度学习的方法进行训练，得到训练后模型，使用所述训练后的模型对所述调节后的影像图进行建筑物目标检测；

(4)根据目标检测后的旧时像影像图和新时像影像图，将目标建筑物的变化情况进行分类，并综合识别变化的建筑物所属分类。

优选的，所述步骤(1)中，采用最邻近匹配法进图像间的配准，具体包括：

(11)利用surf算子检测所述旧时像影像图和新时像影像图中的关键特征点对，设立海森阈值，去除多余的明显错误关键特征点对；

(12)采用最邻近匹配算法根据关键特征点对间距离相近程度来匹配特征点，并结合RANSAC算法迭代数据点，去除错误的匹配点对，保留好的关键特征点对；

(13)根据经过筛选后能够匹配的关键特征点对进行透射变换，计算单应性矩阵，用矩阵对影像图进行平移、旋转来配准影像图，从而得到旧时像配准影像图和新时像配准影像图。

优选的，步骤(2)中，采用颜色平衡方法分别调节两幅配准影像图亮度和颜色上的差异，具体包括：

(21)设定合适的卷积核对整个图像进行均值滤波，求得旧时像配准影像图的像素均值和新时像配准影像图的像素均值

(22)分别将两个配准影像图像像素矩阵自身进行点乘运算，再通过所述卷积核进行滤波，求得新时像配准影像图的像素方差与新时像配准影像图的像素的方差

(23)根据求得的两幅图像像素的均值和方差，通过颜色平衡算法对颜色进行调整，计算颜色调节后的像素值t^new(i,j)。

优选的，所述通过颜色平衡算法对颜色进行调整，调整公式为：

其中，t(i,j)是要用于颜色调节的原图像第i行、第j列像素值，和分别为旧时像配准影像图的像素均值和新时像配准影像图的像素均值，和分别为旧时像配准影像图的像素的方差和新时像配准影像图的像素的方差，k表示用于在像素(i,j)周围传送统计数据的卷积运算核的长度，t^new(i,j)是经过颜色调节后的图像中第i行、第j列的像素值。

优选的，所述步骤(4)中，将目标建筑物的变化情况进行分类，类型包括新增、拆迁、范围扩建和缩小和建筑物加盖。

优选的，所述步骤(4)中，综合识别变化的建筑物所属分类，识别方法包括：

若目标检测后的新影像图中建筑物在所述目标检测后的旧影像图中找不到与其位置上基本吻合、面积相当的建筑物，重叠度为0时，则识别为新增的建筑物；

若目标检测后的旧影像图中建筑物在目标检测后的新影像图中找不到与其位置上基本吻合、面积相当的建筑物，重叠度为0时，则判为拆除的建筑物；

当目标检测后的新影像图和目标检测后的旧影像图中对应位置建筑物有明显重合，但，若两者面积比率超过设定阈值范围的上限Th_ratemax，可判为扩建；

否则，两者面积比率小于预先设定的面积比率阈值范围的下限Th_ratemin时，判为范围缩小；

若目标检测后的新影像图和目标检测后的旧影像图中对应建筑物的位置基本吻合、面积相当，同时面积比率rate满足Th_ratemin<rate<Th_ratemax时，通过SSIM算法判断两者的结构纹理特征上的相似度，则判断是否存在疑为建筑物加盖。

优选的，所述结构纹理特征上的相似度超过预设相似度阈值Th_similarity时，则认为建筑物没有加盖；低于或等于预设相似度阈值Th_similarity时，则认为是建筑物加盖。

另一方面，本发明还提供一种用于无人机影像建筑物变化检测的系统，包括：

影像图配准模块，用于读取两张用于对比的旧时像影像和新时像影像图，并采用最邻近匹配法进行图像间的配准，分别得到配准影像图；

影像图预处理模块，用于对配准影像图进行预处理，并采用颜色平衡方法分别调节两幅配准影像图亮度和颜色上的差异，得到调节后的旧时像影像图和调节后的新时像影像图；

模型训练模块，用于针对含有建筑物的正摄影像的样本数据集，采用深度学习的方法进行训练，得到训练后模型，使用所述训练后的模型对所述调节后的影像图进行建筑物目标检测；

建筑物分类模块，用于根据目标检测后的旧时像影像图和新时像影像图，将目标建筑物的变化情况进行分类，并综合识别变化的建筑物所属分类。

优选的，所述建筑物分类模块中，将目标建筑物的变化情况进行分类，类型包括新增、拆迁、范围扩建和缩小和建筑物加盖。

优选的，所述建筑物分类模块中，具体包括：

建筑物新增识别单元，用于若目标检测后的新影像图中建筑物在所述目标检测后的旧影像图中找不到与其位置上基本吻合、面积相当的建筑物，重叠度几乎为0时，则识别为新增的建筑物；

建筑物拆除识别单元，用于若目标检测后的旧影像图中建筑物在目标检测后的新影像图中找不到与其位置上基本吻合、面积相当的建筑物，重叠度几乎为0时，则判为拆除的建筑物；

建筑物扩建缩小识别单元，用于当目标检测后的新影像图和目标检测后的旧影像图中对应位置建筑物有明显重合，

但，若两者面积比率超过设定阈值范围的上限Th_ratemax，可判为扩建；

否则，两者面积比率小于预先设定的面积比率阈值范围的下限Th_ratemin时，判为范围缩小；

建筑物加盖识别单元，用于当目标检测后的新影像图和目标检测后的旧影像图中对应建筑物的位置基本吻合、面积相当，同时面积比率rate满足Th_ratemin<rate<Th_ratemax时，通过SSIM算法判断两者的结构纹理特征上的相似度，判断是否存在疑为建筑物加盖。

有益效果：本发明与现有技术相比，其显著优点是：1、本发明将深度学习与传统方法相结合，并且综合考虑了建筑物可能存在的各种变化情况进行综合判别，使得相同的物体之间可以有效分割和聚类；2、本发明首先对用于变化检测的两期影像进行配准，对于配准后的影像图通过颜色平衡算法减小色彩、亮度上的差异，减少了检测过程中受到外界因素影响的问题，检测鲁棒性更好；3、本发明综合考虑将建筑物变化情况进行分类，综合识别变化的建筑物，有效减少了伪变化和漏检情况而给检测结果带来的影响，提高检测的精度，可靠的对违章建筑物进行变化检测。

附图说明

图1为本发明所述的方法流程图；

图2为本发明所述的方法流程示意图；

图3为建筑物变化检测不同情况的说明示意图；

图4为本发明所述的系统的结构示意图。

具体实施方式

实施例1

如图1和2所述，本发明公开了一种用于无人机影像中建筑物变化检测方法，包括如下步骤：

步骤1，读取两张用于对比的旧时像影像和新时像影像图，并采用最邻近匹配法进行图像间的配准，分别得到配准影像图。

步骤1.1，读取两张用于比较大小的两期无人机影像图，利用一种特征点检测算子，surf算子检测图中的关键特征点，设立海森阈值先去除多余的明显错误特征点；

步骤1.2，采用最邻近匹配算法根据特征点间距离相近程度来匹配特征点并结合RANSAC算法(随机抽样一致性算法)迭代数据点，进一步去除错误的匹配点对，将好的特征点保留下来；

步骤1.3，根据经过筛选后能够进行匹配的特征点对进行透射变换计算单应性矩阵，用矩阵对影像图进行平移、旋转来配准影像图。

步骤2，对配准影像图进行预处理，并采用颜色平衡方法分别调节两幅配准影像图亮度和颜色上的差异，得到调节后的旧时像影像图和调节后的新时像影像图。

步骤2.1，对配准后的影像图进行预处理，首先将RGB颜色空间转为Lab颜色空间；

步骤2.2，设定合适的k×k的卷积核对整个图像进行均值滤波求取源图像像素均值和目标图像的像素均值然后分别将两个图像像素矩阵自身进行点乘运算，再通过k×k卷积核进行滤波，滤波后的结果与求取到的图像的每个像素均值的平方进行差值运算即可求得源图像像素方差与目标图像像素的方差

步骤2.3，根据求得的两幅图像像素的均值和方差通过颜色平衡算法专门的公式对颜色进行调整，计算颜色调节后的像素值t^new(i,j)，从而达到两幅图色彩、亮度基本一致的效果，公式如下：

式中，t(i,j)是要用于颜色调节的原图像第i行、第j列像素值，和分别为源图像和目标图像的均值，和分别为源图像和目标图像的方差，k表示用于在像素(i,j)周围传送统计数据的卷积运算核的长度，t^new(i,j)是经过颜色调节后的图像中第i行、第j列的像素值。

步骤3，针对含有建筑物的正摄影像的样本数据集，采用深度学习的方法进行训练，得到训练后模型，使用所述训练后的模型对所述调节后的影像图进行建筑物目标检测。

步骤3.1，收集大量含有建筑物的正摄影像的样本数据集，对数据集中不同类型的建筑物进行大致分类，建筑物通常为矩形或多边形灰色屋顶的命名为building1、建筑物通常为矩形或多边形蓝色屋顶的命名为building2、建筑物通常为矩形或多边形白色屋顶的命名为building3、建筑物通常为矩形或多边形红色屋顶的命名为building4、建筑物通常为矩形或多边形且多种颜色混杂的屋顶命名为building5，大致分为这几类进行标签；

步骤3.2，将这些用于训练的数据集扔进SSD网络中进行训练，训练出一个模型。

步骤3.3，将训练后的模型对两幅影像图进行预测，预测的结果会使两幅图中出现很多最小外接矩形框将建筑物所在的区域框选出来从而实现对图中目标建筑物的检测。由于分布在图中的建筑物区域各不相同，所以框选的各个建筑物区域的最小外形框的面积大小也不同。

步骤4，根据目标检测后的旧时像影像图和新时像影像图，将目标建筑物的变化情况进行分类，并综合识别变化的建筑物所属分类，对于目标检测后的对比图像，将建筑物变化情况分为新增、拆迁、范围扩建和缩小、建筑物加盖四类，分别通过外接矩形位置重合度匹配、外接矩形面积比较、结构纹理等相似度比较来综合识别变化的建筑物。

当新影像中建筑物在旧影像中找不到与其位置上基本吻合、面积相当的建筑物，重叠度几乎为0时，判为新增的建筑物；

当旧影像中建筑物在新影像中找不到与其位置上基本吻合、面积相当的建筑物，重叠度几乎为0时，可判为拆除的建筑物；

当两影像中对应位置建筑物有明显重合但是两者面积比率rate超过预先设定面积比率阈值范围时，如果计算结果超过了设定阈值范围的上限Th_ratemax，可判为扩建；同样，两影像中对应位置建筑物有明显重合但是两者面积比率rate如果计算结果小于预先设定的面积比率阈值范围的下限Th_ratemin，判为范围缩小；

当两期影像中对应建筑物的位置基本吻合、面积基本相当，同时面积比率rate也满足在所设范围之内Th_ratemin<rate<Th_ratemax时，进一步通过SSIM算法等判断两者的结构纹理等特征上的相似度，判断是否存在疑为屋顶加盖的情况。设定相似度的阈值Th_similarity，如果超过这个阈值则认为建筑物本身没有发生变化，低于这个阈值则疑为是变化的。但该判别只是作为辅助性判别，因为会有树叶或是杂物堆砌屋顶等情况，所以仅作为一种可疑性建筑物变化的判别。

如图3所示，为建筑物变化检测不同情况的示例图，步骤4中，将建筑物变化情况分成了4类进行检测，具体包括:

(1)若新影像中有一建筑物b₂，面积为在旧影像中所有建筑物的集合中的某一建筑物为b_旧，面积为当在旧影像中找不到与新影像中位置基本吻合、面积基本相当的建筑物b_旧时，说明建筑物b₂和b_旧两者取交集为空，即因此可将建筑物b₂判为新增建筑物；

(2)旧影像中有某一建筑物b₁，面积为在新影像中所有建筑物的集合中的某一建筑物为b_新，面积为当在新影像中找不到与旧影像中位置基本吻合、面积上基本相当的建筑物b_新时，说明建筑物b₁和b_新两者取交集为空，即因此可将建筑物b₁判为拆除的建筑物；

(3)当旧影像与新影像中存在对应位置上的建筑物b₃和b₄,面积分别为和它们之间有明显重合、面积也基本相当时，但面积比率超过预先设定的面积比率阈值范围的上限Th_ratemax时，判为建筑物的扩建；同样，当两影像中对应位置建筑物有明显重合、面积基本相当，但是面积比率低于所设比率阈值范围的下限Th_ratemin，判为范围缩小；

(4)当旧影像与新影像中存在对应位置上的建筑物b₅和b₆，面积分别为和面积比率为两者位置基本吻合，面积也基本相当且Rate在预先所设的面积比率范围之内，即Th_ratemin<Rate<Th_ratemax，通过SSIM算法等进一步判断两者纹理结构上的相似度，计算相似度的值，判断是否存在疑为屋顶加盖的情况，预先设定相似度的阈值为Th_similarity，如果计算的相似度的值的大小超过这个阈值则认为建筑物本身没有发生变化，如果低于这个阈值则疑为屋顶本身发生了变化。但该判别只是作为辅助性判别，因为不排除会有树叶或是杂物堆砌屋顶的情况等，所以作为一种可疑性建筑物变化的判别。

另一方面，本发明根据用于无人机影像中建筑物变化检测方法提出检测系统，如图4所示，包括：

影像图配准模块，用于读取两张用于对比的旧时像影像和新时像影像图，并采用最邻近匹配法进图像间的配准，分别得到配准影像图；

首先，读取两张用于比较大小的两期无人机影像图，利用一种特征点检测算子，surf算子检测图中的关键特征点，设立海森阈值先去除多余的明显错误特征点；

其次，采用最邻近匹配算法根据特征点间距离相近程度来匹配特征点并结合RANSAC算法(随机抽样一致性算法)迭代数据点，进一步去除错误的匹配点对，将好的特征点保留下来；

最后，根据经过筛选后能够进行匹配的特征点对进行透射变换计算单应性矩阵，用矩阵对影像图进行平移、旋转来配准影像图。

影像图预处理模块，用于对配准影像图进行预处理，并采用颜色平衡方法分别调节两幅配准影像图亮度和颜色上的差异，得到调节后的旧时像影像图和调节后的新时像影像图；

首先，对配准后的影像图进行预处理，首先将RGB颜色空间转为Lab颜色空间；

其次，设定合适的k×k的卷积核对整个图像进行均值滤波求取源图像像素均值和目标图像的像素均值然后分别将两个图像像素矩阵自身进行点乘运算，再通过k×k卷积核进行滤波，滤波后的结果与求取到的图像的每个像素均值的平方进行差值运算即可求得源图像像素方差与目标图像像素的方差

最后，根据求得的两幅图像像素的均值和方差通过颜色平衡算法专门的公式对颜色进行调整，计算颜色调节后的像素值t^new(i,j)，从而达到两幅图色彩、亮度基本一致的效果，公式如下：

式中，t(i,j)是要用于颜色调节的原图像第i行、第j列像素值，和分别为源图像和目标图像的均值，和分别为源图像和目标图像的方差，k表示用于在像素(i,j)周围传送统计数据的卷积运算核的长度，t^new(i,j)是经过颜色调节后的图像中第i行、第j列的像素值。

模型训练模块，用于针对含有建筑物的正摄影像的样本数据集，采用深度学习的方法进行训练，得到训练后模型，使用所述训练后的模型对所述调节后的影像图进行建筑物目标检测；

首先，收集大量含有建筑物的正摄影像的样本数据集，对数据集中不同类型的建筑物进行大致分类，建筑物通常为矩形或多边形灰色屋顶的命名为building1、建筑物通常为矩形或多边形蓝色屋顶的命名为building2、建筑物通常为矩形或多边形白色屋顶的命名为building3、建筑物通常为矩形或多边形红色屋顶的命名为building4、建筑物通常为矩形或多边形且多种颜色混杂的屋顶命名为building5，大致分为这几类进行标签；

其次，将这些用于训练的数据集扔进SSD网络中进行训练，训练出一个模型。

最后，将训练后的模型对两幅影像图进行预测，预测的结果会使两幅图中出现很多最小外接矩形框将建筑物所在的区域框选出来从而实现对图中目标建筑物的检测。由于分布在图中的建筑物区域各不相同，所以框选的各个建筑物区域的最小外形框的面积大小也不同。

建筑物分类模块，用于根据目标检测后的旧时像影像图和新时像影像图，将目标建筑物的变化情况进行分类，并综合识别变化的建筑物所属分类。对于目标检测后的对比图像，将建筑物变化情况分为新增、拆迁、范围扩建和缩小、建筑物加盖四类，分别通过外接矩形位置重合度匹配、外接矩形面积比较、结构纹理等相似度比较来综合识别变化的建筑物。

建筑物新增识别单元，用于若目标检测后的新影像图中建筑物在所述目标检测后的旧影像图中找不到与其位置上基本吻合、面积相当的建筑物，重叠度几乎为0时，则识别为新增的建筑物。

建筑物拆除识别单元，用于若目标检测后的旧影像图中建筑物在目标检测后的新影像图中找不到与其位置上基本吻合、面积相当的建筑物，重叠度几乎为0时，则判为拆除的建筑物。

建筑物扩建缩小识别单元，用于当目标检测后的新影像图和目标检测后的旧影像图中对应位置建筑物有明显重合，

但，若两者面积比率超过设定阈值范围的上限Th_ratemax，可判为扩建；

否则，两者面积比率小于预先设定的面积比率阈值范围的下限Th_ratemin时，判为范围缩小；

建筑物加盖识别单元，用于当目标检测后的新影像图和目标检测后的旧影像图中对应建筑物的位置基本吻合、面积相当，同时面积比率rate满足Th_ratemin<rate<Th_ratemax时，通过SSIM算法判断两者的结构纹理特征上的相似度，判断是否存在疑为建筑物加盖。

上述各个识别单元将建筑物变化情况分成了4类进行检测，具体包括:

若新影像中有一建筑物b₂，面积为在旧影像中所有建筑物的集合中的某一建筑物为b_旧，面积为当在旧影像中找不到与新影像中位置基本吻合、面积基本相当的建筑物b_旧时，说明建筑物b₂和b_旧两者取交集为空，即因此可将建筑物b₂判为新增建筑物。

旧影像中有某一建筑物b₁，面积为在新影像中所有建筑物的集合中的某一建筑物为b_新，面积为当在新影像中找不到与旧影像中位置基本吻合、面积上基本相当的建筑物b_新时，说明建筑物b₁和b_新两者取交集为空，即因此可将建筑物b₁判为拆除的建筑物。

当旧影像与新影像中存在对应位置上的建筑物b₃和b₄,面积分别为和它们之间有明显重合、面积也基本相当时，但面积比率超过预先设定的面积比率阈值范围的上限Th_ratemax时，判为建筑物的扩建；同样，当两影像中对应位置建筑物有明显重合、面积基本相当，但是面积比率低于所设比率阈值范围的下限Th_ratemin，判为范围缩小。

当旧影像与新影像中存在对应位置上的建筑物b₅和b₆，面积分别为和面积比率为两者位置基本吻合，面积也基本相当且Rate在预先所设的面积比率范围之内，即Th_ratemin<Rate<Th_ratemax，通过SSIM算法等进一步判断两者纹理结构上的相似度，计算相似度的值，判断是否存在疑为屋顶加盖的情况，预先设定相似度的阈值为Th_similarity，如果计算的相似度的值的大小超过这个阈值则认为建筑物本身没有发生变化，如果低于这个阈值则疑为屋顶本身发生了变化。但该判别只是作为辅助性判别，因为不排除会有树叶或是杂物堆砌屋顶的情况等，所以作为一种可疑性建筑物变化的判别。

采用本发明提出的方法，根据实际情况进行了实验和模拟，并找出了使检测精度最高时的阈值和分类，具体如下。

步骤一，读取两张用于对比的影像图，用最邻近匹配法进行图像间的配准，具体包括：

(1.1)读取两张用于比较的大小约为2000×1000像素的两期无人机影像图，利用surf算子检测图中的关键特征点，设立海森阈值，阈值大小约为400～700，先去除多余的明显错误特征点；

(1.2)采用最邻近匹配算法根据特征点间距离相近程度来匹配特征点并结合RANSAC算法(随机抽样一致性)迭代数据点，进一步去除错误的匹配点对，将好的特征点保留下来。最后根据经过筛选后能够进行匹配的特征点对进行透射变换计算单应性矩阵，用矩阵对影像图进行平移、旋转来配准影像图；

步骤二，预处理图像，用颜色平衡方法缩小两幅影像图亮度、颜色上的差异，具体包括：

(2.1)对配准后的影像图进行一个预处理，首先将RGB颜色空间转为lαβ颜色空间；

(2.2)设定合适的k×k的卷积核对整个图像进行均值滤波求取源图像像素均值和目标图像的像素均值然后分别将两个图像像素矩阵自身进行点乘运算，再通过k×k卷积核进行滤波，滤波后的结果与求取到的图像的每个像素均值的平方进行差值运算即可求得源图像像素方差与目标图像像素的方差k的大小为200。

(2.3)根据求得的两幅图像像素的均值和方差通过颜色平衡算法专门的公式对颜色进行调整，计算颜色调节后的像素值t^new(i,j)，从而达到两幅图色彩、亮度基本一致的效果，公式如下：

式中，t(i,j)是要用于颜色调节的原图像第i行、第j列像素值，和分别为源图像和目标图像的均值，和分别为源图像和目标图像的方差，k表示用于在像素(i，j)周围传送统计数据的卷积运算核的长度，t^new(i,j)是经过颜色调节后的图像中第i行、第j列的像素值。

步骤三，采用深度学习的方法，对建筑物数据集训练模型，对对比的两期影像进行建筑物目标检测，具体包括：

(3.1)收集大量含有建筑物的正摄影像的样本数据集，对数据集中不同类型的建筑物进行大致分类，建筑物通常为矩形或多边形灰色屋顶的命名为building1、建筑物通常为矩形或多边形蓝色屋顶的命名为building2、建筑物通常为矩形或多边形白色屋顶的命名为building3、建筑物通常为矩形或多边形红色屋顶的命名为building4、建筑物通常为矩形或多边形且多种颜色混杂的屋顶命名为building5等，大致分为这几类进行标签；

(3.2)将这些用于训练的数据集扔进SSD网络中进行训练，训练出一个模型。

(3.3)将训练后的模型对两幅影像图进行预测，预测的结果会使两幅图中出现很多最小外接矩形框将建筑物所在的区域框选出来从而实现对图中目标建筑物的检测。由于分布在图中的建筑物区域各不相同，所以框选的各个建筑物区域的最小外形框的面积大小也不同。

步骤四，对于目标检测后的对比图像，将建筑物变化情况分为新增、拆迁、范围扩建和缩小、建筑物加盖四类，分别通过外接矩形位置重合度匹配、外接矩形面积比较、结构纹理等相似度比较(辅助信息)来综合识别变化的建筑物，具体包括：

(4.1)当新影像中建筑物在旧影像中找不到与其位置上基本吻合、面积相当的建筑物，重叠度几乎为0时，判为新增的建筑物；

(4.2)当旧影像中建筑物在新影像中找不到与其位置上基本吻合、面积相当的建筑物，重叠度几乎为0时，可判为拆除的建筑物；

(4.3)当两影像中对应位置建筑物有明显重合但是两者面积比率rate超过预先设定面积比率阈值范围时，如果计算结果超过了设定阈值范围的上限Th_ratemax＝1.2，可判为扩建；同样，两影像中对应位置建筑物有明显重合但是两者面积比率rate如果计算结果小于预先设定的面积比率阈值范围的下限Th_ratemin＝0.8时，判为范围缩小；

(4.4)当两期影像中对应建筑物的位置基本吻合、面积基本相当，同时面积比率rate也满足在所设范围之内Th_ratemin<rate<Th_ratemax时，其中，Th_ratemin＝0.8，Th_ratemax＝1.2，进一步通过SSIM算法等判断两者的结构纹理等特征上的相似度，判断是否存在疑为屋顶加盖的情况。设定相似度的阈值Th_similarity＝0.3，如果超过这个阈值则认为建筑物本身没有发生变化，低于这个阈值则疑为是变化的。但该判别只是作为辅助性判别，因为会有树叶或是杂物堆砌屋顶等情况，所以仅作为一种可疑性建筑物变化的判别。

步骤四中，将建筑物变化情况分成了4类进行检测，具体包括:

(1)若新影像中有一建筑物b₂，面积为在旧影像中所有建筑物的集合中的某一建筑物为b_旧，面积为当在旧影像中找不到与新影像中位置基本吻合、面积基本相当的建筑物b_旧时，说明建筑物b₂和b_旧两者取交集为空，即S_b2∩S_b旧＝Φ，因此可将建筑物b₂判为新增建筑物；

(2)旧影像中有某一建筑物b₁，面积为在新影像中所有建筑物的集合中的某一建筑物为b_新，面积为当在新影像中找不到与旧影像中位置基本吻合、面积上基本相当的建筑物b_新时，说明建筑物b₁和b_新两者取交集为空，即S_b1∩S_b新＝Φ，因此可将建筑物b₁判为拆除的建筑物；

(3)当旧影像与新影像中存在对应位置上的建筑物b₃和b₄,面积分别为和它们之间有明显重合、面积也基本相当时，但面积比率超过预先设定的面积比率阈值范围的上限Th_ratemax＝1.2时，判为建筑物的扩建；同样，当两影像中对应位置建筑物有明显重合、面积基本相当，但是面积比率低于所设比率阈值范围的下限Th_ratemin＝0.8，判为范围缩小；

(4)当旧影像与新影像中存在对应位置上的建筑物b₅和b₆，面积分别为和面积比率为两者位置基本吻合，面积也基本相当且Rate在预先所设的面积比率范围之内，即Th_ratemin<Rate<Th_ratemax，其中Th_ratemin＝0.8，Th_ratemax＝1.2，通过SSIM算法等进一步判断两者纹理结构上的相似度，计算相似度的值，判断是否存在疑为屋顶加盖的情况，预先设定相似度的阈值为Th_similarity＝0.3，如果计算的相似度的值的大小超过这个阈值则认为建筑物本身没有发生变化，如果低于这个阈值则疑为屋顶本身发生了变化。但该判别只是作为辅助性判别，因为不排除会有树叶或是杂物堆砌屋顶的情况等，所以作为一种可疑性建筑物变化的判别。经过多图像的试验，结果表明本发明提出的方法检测精度较高，没有出现漏检和伪变化的情况。

对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种用于无人机影像中建筑物变化的检测方法，其特征在于，该方法包括：

(1)读取两张用于对比的旧时像影像和新时像影像图，并采用最邻近匹配法进行图像间的配准，分别得到配准影像图；

(2)对配准影像图预处理，并采用颜色平衡方法分别调节两幅配准影像图亮度和颜色上的差异，得到调节后的旧时像影像图和调节后的新时像影像图；

(3)针对含有建筑物的正摄影像的样本数据集，采用深度学习的方法训练，得到训练后模型，使用所述训练后的模型对所述调节后的影像图进行建筑物目标检测；

(4)根据目标检测后的旧时像影像图和新时像影像图，将目标建筑物的变化情况进行分类，并综合识别变化的建筑物所属分类。

2.根据权利要求1所述的用于无人机影像中建筑物变化的检测方法，其特征在于，所述步骤(1)中，采用最邻近匹配法进图像间的配准，具体包括：

(11)利用surf算子检测所述旧时像影像图和新时像影像图中的关键特征点对，设立海森阈值，去除多余的明显错误关键特征点对；

(12)采用最邻近匹配算法根据关键特征点对间距离相近程度来匹配特征点，并结合RANSAC算法迭代数据点，去除错误的匹配点对，保留好的关键特征点对；

(13)根据经过筛选后能够匹配的关键特征点对进行透射变换，计算单应性矩阵，用矩阵对影像图进行平移、旋转来配准影像图，从而得到旧时像配准影像图和新时像配准影像图。

3.根据权利要求1所述的用于无人机影像中建筑物变化的检测方法，其特征在于，步骤(2)中，采用颜色平衡方法分别调节两幅配准影像图亮度和颜色上的差异，具体包括：

(21)设定合适的卷积核对整个图像进行均值滤波，求得旧时像配准影像图的像素均值和新时像配准影像图的像素均值

(22)分别将两个配准影像图像像素矩阵自身进行点乘运算，再通过所述卷积核进行滤波，求得新时像配准影像图的像素方差与新时像配准影像图的像素的方差

(23)根据求得的两幅图像像素的均值和方差，通过颜色平衡算法对颜色进行调整，计算颜色调节后的像素值t^new(i,j)。

4.根据权利要求3所述的用于无人机影像中建筑物变化的检测方法，其特征在于，所述通过颜色平衡算法对颜色进行调整，调整公式为：

其中，t(i,j)是要用于颜色调节的原图像第i行、第j列像素值，和分别为旧时像配准影像图的像素均值和新时像配准影像图的像素均值，和分别为旧时像配准影像图的像素的方差和新时像配准影像图的像素的方差，k表示用于在像素(i,j)周围传送统计数据的卷积运算核的长度，t^new(i,j)是经过颜色调节后的图像中第i行、第j列的像素值。

5.根据权利要求1所述的用于无人机影像中建筑物变化的检测方法，其特征在于，所述步骤(4)中，将目标建筑物的变化情况进行分类，类型包括新增、拆迁、范围扩建和缩小和建筑物加盖。

6.根据权利要求5所述的用于无人机影像中建筑物变化的检测方法，其特征在于，所述步骤(4)中，综合识别变化的建筑物所属分类，识别方法包括：

若目标检测后的新影像图中建筑物在所述目标检测后的旧影像图中找不到与其位置上基本吻合、面积相当的建筑物，重叠度为0时，则识别为新增的建筑物；

若目标检测后的旧影像图中建筑物在目标检测后的新影像图中找不到与其位置上基本吻合、面积相当的建筑物，重叠度为0时，则判为拆除的建筑物；

当目标检测后的新影像图和目标检测后的旧影像图中对应位置建筑物有明显重合，但，若两者面积比率超过设定阈值范围的上限Th_ratemax，可判为扩建；

否则，两者面积比率小于预先设定的面积比率阈值范围的下限Th_ratemin时，判为范围缩小；

若目标检测后的新影像图和目标检测后的旧影像图中对应建筑物的位置基本吻合、面积相当，同时面积比率rate满足Th_ratemin<rate<Th_ratemax时，通过SSIM算法判断两者的结构纹理特征上的相似度，则判断是否存在疑为建筑物加盖。

7.根据权利要求6所述的用于无人机影像中建筑物变化的检测方法，其特征在于，所述结构纹理特征上的相似度超过预设相似度阈值Th_similarity时，则认为建筑物没有加盖；低于或等于预设相似度阈值Th_similarity时，则认为是建筑物加盖。

8.根据权利要求1-7任一项所述的用于无人机影像中建筑物变化的检测方法实现的用于无人机影像建筑物变化检测的系统，其特征在于，包括：

影像图配准模块，用于读取两张用于对比的旧时像影像和新时像影像图，并采用最邻近匹配法进行图像间的配准，分别得到配准影像图；

影像图预处理模块，用于对配准影像图进行预处理，并采用颜色平衡方法分别调节两幅配准影像图亮度和颜色上的差异，得到调节后的旧时像影像图和调节后的新时像影像图；

模型训练模块，用于针对含有建筑物的正摄影像的样本数据集，采用深度学习的方法进行训练，得到训练后模型，使用所述训练后的模型对所述调节后的影像图进行建筑物目标检测；

建筑物分类模块，用于根据目标检测后的旧时像影像图和新时像影像图，将目标建筑物的变化情况进行分类，并综合识别变化的建筑物所属分类。

9.根据权利要求8所述的用于无人机影像中建筑物变化的检测系统，其特征在于，

所述建筑物分类模块中，将目标建筑物的变化情况进行分类，类型包括新增、拆迁、范围扩建和缩小和建筑物加盖。

10.根据权利要求9所述的用于无人机影像中建筑物变化的检测系统，其特征在于，所述建筑物分类模块中，具体包括：

建筑物新增识别单元，用于若目标检测后的新影像图中建筑物在所述目标检测后的旧影像图中找不到与其位置上基本吻合、面积相当的建筑物，重叠度为0时，则识别为新增的建筑物；

建筑物拆除识别单元，用于若目标检测后的旧影像图中建筑物在目标检测后的新影像图中找不到与其位置上基本吻合、面积相当的建筑物，重叠度为0时，则判为拆除的建筑物；

建筑物扩建缩小识别单元，用于当目标检测后的新影像图和目标检测后的旧影像图中对应位置建筑物有明显重合，

但，若两者面积比率超过设定阈值范围的上限Th_ratemax，可判为扩建；

否则，两者面积比率小于预先设定的面积比率阈值范围的下限Th_ratemin时，判为范围缩小；

建筑物加盖识别单元，用于当目标检测后的新影像图和目标检测后的旧影像图中对应建筑物的位置基本吻合、面积相当，同时面积比率rate满足Th_ratemin<rate<Th_ratemax时，通过SSIM算法判断两者的结构纹理特征上的相似度，判断是否存在疑为建筑物加盖。