CN113408347B - 监控摄像头远距离建筑物变化检测的方法 - Google Patents
监控摄像头远距离建筑物变化检测的方法 Download PDFInfo
- Publication number
- CN113408347B CN113408347B CN202110526635.5A CN202110526635A CN113408347B CN 113408347 B CN113408347 B CN 113408347B CN 202110526635 A CN202110526635 A CN 202110526635A CN 113408347 B CN113408347 B CN 113408347B
- Authority
- CN
- China
- Prior art keywords
- resolution
- image
- building
- time phase
- phase image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000008859 change Effects 0.000 title claims abstract description 94
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000012544 monitoring process Methods 0.000 title claims abstract description 41
- 238000001514 detection method Methods 0.000 claims abstract description 32
- 230000000877 morphologic effect Effects 0.000 claims abstract description 17
- 238000012545 processing Methods 0.000 claims abstract description 12
- 238000012805 post-processing Methods 0.000 claims abstract description 9
- 230000004927 fusion Effects 0.000 claims abstract description 5
- 239000013598 vector Substances 0.000 claims description 9
- 238000004422 calculation algorithm Methods 0.000 claims description 7
- 238000012216 screening Methods 0.000 claims description 5
- 238000012549 training Methods 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims 1
- 238000011835 investigation Methods 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 9
- 230000000694 effects Effects 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 2
- 230000003628 erosive effect Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000011426 transformation method Methods 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 241000255789 Bombyx mori Species 0.000 description 1
- 241000760358 Enodes Species 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及自然资源调查监测监管中的建筑物变化检测领域，并具体公开了一种监控摄像头远距离建筑物变化检测的方法，将前时相影像和后时相影像进行双线性插值处理，将前时相影像和后时相影像进行配准，生成高分辨率前时相影像和高分辨率后时相影像，检测高分辨率变化图像中的建筑物，得到高分辨率建筑物变化影像，将高分辨率前时相影像二值化，并对其进行形态学后处理去除斑点噪声，得到高分辨率前时相影像二值图，将其与高分辨率建筑物变化影像进行一比一的像素加权融合，得到建筑物变化区域结果图，通过将低分辨率的影像转为高分辨率的影像，提高目标建筑物的大小，再进行建筑物的变化检测，实现监控摄像头下建筑物的变化检测。
Description
技术领域
本发明涉及自然资源调查监测监管中的建筑物变化检测领域，尤其涉及一种监控摄像头远距离建筑物变化检测的方法。
背景技术
目前建筑物变化检测采用较多的是基于卫星遥感数据开展变化检测。但是，由于遥感卫星通常形成的是类似正射影像影，数据分辨率不高，卫星回返周期长，导致发现建筑物变化预警周期长。
与遥感影像的俯视角度而言，监控摄像头通常部署在高塔或者高楼上，能够监控5-10公里的自然资源变化，但是利用监控摄像头观测建筑物变化时，监控摄像头下建筑图片较小、分辨率较低导致变化区域检测不到。
发明内容
本发明的目的在于提供一种监控摄像头远距离建筑物变化检测的方法，旨在解决现有技术中利用监控摄像头观测建筑物变化时，监控摄像头下建筑图片较小、分辨率较低导致变化区域检测不到的技术问题。
为实现上述目的，本发明采用的一种监控摄像头远距离建筑物变化检测的方法，包括如下步骤，
使用监控摄像头采集同一地点、不同时相的建筑物图像数据，建立建筑物低分辨率图像数据集；
将前时相影像和后时相影像进行双线性插值处理，得到两个分辨率相同的影像；
通过特征点匹配的方式将前时相影像和后时相影像进行配准，得到建筑物位置对应的两幅图像；
使用生成对抗网络对前后时相影像进行超分重建，生成高分辨率前时相影像和高分辨率后时相影像；
针对生成的高分辨率前时相影像和高分辨率后时相影像，采用影像差值法，生成低分辨率变化影像；
对生成的低分辨率变化影像，进行超分重建，将含有建筑物信息区域的像素进行二次增强，生成高分辨率变化影像；
利用faster-rcnn目标检测网络检测高分辨率变化图像中的建筑物，得到高分辨率建筑物变化影像；
将高分辨率前时相影像二值化，并对其进行形态学后处理去除斑点噪声，得到高分辨率前时相影像二值图；
将高分辨率前时相影像二值图与高分辨率建筑物变化影像进行一比一的像素加权融合，得到建筑物变化区域结果图。
其中，在“使用监控摄像头采集同一地点、不同时相的建筑物图像数据，建立建筑物低分辨率图像数据集”中，所述方法还包括，
针对安装的监控摄像头设置N个巡航点，每个巡航点每隔一段时间采集一次图像，将图像命名为易于读取的文件格式，建立建筑物低分辨率图像数据集。
其中，在“将前时相影像和后时相影像进行双线性插值处理，得到两个分辨率相同的影像”中，所述方法还包括，
所述双线性插值采用python中resize函数，其中选取的插值方式为双线性插值，即在两个方向上分别进行一次线性插值。
其中，在“通过特征点匹配的方式将前时相影像和后时相影像进行配准，得到建筑物位置对应的两幅图像”中，所述方法还包括，
所述特征点匹配的方式为使用sift算法提取图像中的不随外界环境变化而变化的关键点。
其中，在“所述特征点匹配的方式为使用sift算法提取图像中的不随外界环境变化而变化的关键点”中，所述方法还包括，
两幅图像中有相同的景物，提取各自的稳定点，并且这些稳定点之间会有相互对应的匹配点。
其中，在“使用生成对抗网络对前后时相影像进行超分重建，生成高分辨率前时相影像和高分辨率后时相影像”中，所述方法还包括，
将输入的前时相影像双线性插值处理为(128，128，3)维的图片，经过卷积、上采样、标准化、反卷积生成(512，512，3)维的图像；
将生成的(512，512，3)维的图像与原始高分辨率图片分别输入至VGG19网络，提取两个图片的特征向量，进行loss1值的计算；
将生成的(512，512，3)维的图像输入至判别网络，输出为32x32x1的向量，对每个像素点进行逐个判断，最终用sigmoid函数将输出映射为0至1之间的概率值；
将输出的概率值与1进行比较，进行loss2值的计算。
其中，在“利用faster-rcnn目标检测网络检测高分辨率变化图像中的建筑物，得到高分辨率建筑物变化影像”中，所述方法还包括，
将输入的高分辨率前时相影像的长和宽均双线性插值为600；
利用区域候选网络提取高分辨率变化影像中的建筑物，形成多个建议框，并对建议框进行筛选，计算建议框和真实框的重合程度；
最终对筛选后的建议框进行回归分类，最终得到预测结果和种类。
其中，在“利用区域候选网络提取高分辨率变化影像中的建筑物，形成多个建议框，并对建议框进行筛选，计算建议框和真实框的重合程度”中，所述方法还包括，
若重合程度大于0.5，则建议框可调整为真实框，因此对建议框进行保留，将其视为正样本；若重合程度在0.1至0.5之间，将其视为负样本；若重合程度小于0.1，则忽略建议框。
其中，在“将高分辨率前时相影像二值化，并对其进行形态学后处理去除斑点噪声，得到高分辨率前时相影像二值图”中，所述方法还包括，
将高分辨率前时相影像二值化，并对其进行形态学后处理，先进行形态学闭运算填充高分辨率前时相影像二值图区域内部的孔洞，后进行形态学开运算，去除高分辨率前时相影像二值图斑点噪声，得到高分辨率前时相影像二值图。
本发明的一种监控摄像头远距离建筑物变化检测的方法，通过将前时相影像和后时相影像进行双线性插值处理，将前时相影像和后时相影像进行配准，生成高分辨率前时相影像和高分辨率后时相影像，检测高分辨率变化图像中的建筑物，得到高分辨率建筑物变化影像，将高分辨率前时相影像二值化，并对其进行形态学后处理去除斑点噪声，得到高分辨率前时相影像二值图，将其与高分辨率建筑物变化影像进行一比一的像素加权融合，得到建筑物变化区域结果图，通过将低分辨率的影像转为高分辨率的影像，提高目标建筑物的大小，再进行建筑物的变化检测，实现监控摄像头下建筑物的变化检测。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明的监控摄像头远距离建筑物变化检测的方法流程图。
图2是本发明的使用生成对抗网络对前后时相影像进行超分重建，得到最优的高分辨率图片的流程图。
图3是本发明的利用faster-rcnn目标检测网络检测高分辨率变化图像中的建筑物的流程图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
在本发明的描述中，需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
请参阅图1至图3，本发明提供了一种监控摄像头远距离建筑物变化检测的方法，包括如下步骤，
S101：针对安装的监控摄像头设置N个巡航点，每个巡航点每隔一段时间采集一次图像，将图像命名为易于读取的文件格式，建立建筑物低分辨率图像数据集；
S102：将前时相影像和后时相影像进行双线性插值处理，所述双线性插值采用python中resize函数，其中选取的插值方式为双线性插值，即在两个方向上分别进行一次线性插值，得到两个分辨率相同的影像；
S103：通过特征点匹配的方式将前时相影像和后时相影像进行配准，所述特征点匹配的方式为使用sift算法提取图像中的不随外界环境变化而变化的关键点，得到建筑物位置对应的两幅图像，两幅图像中有相同的景物，提取各自的稳定点，并且这些稳定点之间会有相互对应的匹配点；
S104：使用生成对抗网络对前后时相影像进行超分重建，生成高分辨率前时相影像和高分辨率后时相影像；
S1041：将输入的前时相影像双线性插值处理为(128，128，3)维的图片，经过卷积、上采样、标准化、反卷积生成(512，512，3)维的图像；
S1042：将生成的(512，512，3)维的图像与原始高分辨率图片分别输入至VGG19网络，提取两个图片的特征向量，进行loss1值的计算；
S1043：将生成的(512，512，3)维的图像输入至判别网络，输出为32x32x1的向量，对每个像素点进行逐个判断，最终用sigmoid函数将输出映射为0至1之间的概率值；
S1044：将输出的概率值与1进行比较，进行loss2值的计算；
S1045：对两个loss值进行训练，最终得到最优的高分辨率图片；
S105：针对生成的高分辨率前时相影像和高分辨率后时相影像，采用影像差值法，生成低分辨率变化影像；
S106：对生成的低分辨率变化影像，进行超分重建，将含有建筑物信息区域的像素进行二次增强，生成高分辨率变化影像；
S107：利用faster-rcnn目标检测网络检测高分辨率变化图像中的建筑物，得到高分辨率建筑物变化影像；
S1071：将输入的高分辨率前时相影像的长和宽均双线性插值为600；
S1072：利用区域候选网络提取高分辨率变化影像中的建筑物，形成多个建议框，并对建议框进行筛选，计算建议框和真实框的重合程度，若重合程度大于0.5，则建议框可调整为真实框，因此对建议框进行保留，将其视为正样本；若重合程度在0.1至0.5之间，将其视为负样本；若重合程度小于0.1，则忽略建议框；
S1073：最终对筛选后的建议框进行回归分类，最终得到预测结果和种类；
S108：将高分辨率前时相影像二值化，并对其进行形态学后处理，先进行形态学闭运算填充高分辨率前时相影像二值图区域内部的孔洞，后进行形态学开运算，去除高分辨率前时相影像二值图斑点噪声，得到高分辨率前时相影像二值图；
S109：将高分辨率前时相影像二值图与高分辨率建筑物变化影像进行一比一的像素加权融合，得到建筑物变化区域结果图。
在本实施方式中，(1)针对安装的监控摄像头设置N个巡航点，每个巡航点每隔一段时间采集一次图像，将图像命名为易于读取的文件格式，建立建筑物低分辨率图像数据集；
(2)对前时相影像和后时相影像进行双线性插值处理，使两张影像的分辨率保持一致；
此处双线性插值处理用了python中resize函数，其中选取的插值方式为双线性插值，即在两个方向上分别进行一次线性插值。用的是现有技术。
(3)使用尺度不变特征变换方法分别提取高分辨率前时相影像和高分辨率后时相影像的特征点，对其含有建筑物的位置进行对应；
尺度不变特征变换方法即使用sift算子提取图像中的不随光照、亮度等外界环境变化而变化的关键点，两幅图像中有相同的景物，那么提取各自的稳定点，这些点之间会有相互对应的匹配点。Sift为一个算法。
(4)使用生成对抗网络对前后时相影像进行超分重建，提高图片的分辨率，生成高分辨率前时相影像和高分辨率后时相影像；
其中生成对抗网络，生成高分辨率的图像，按如下步骤进行：
4a)将输入的前时相影像双线性插值处理为(128，128，3)维的图片，经过卷积、上采样、标准化、反卷积生成(512，512，3)维的图像；
4b)将生成的(512，512，3)维的图像与原始高分辨率图片分别输入至VGG19网络，提取两个图片的特征向量，进行loss1值的计算，loss1具体如下(4)式所示：
VGG/Ij,表示VGG19网络的第I层第J个卷积核；
ILR是低分辨率图片；
IHR是高分辨率图片；
W，H为图片宽和高；
Wi；j和Hi；j描述VGG网络内各个特征图的尺寸。
其中，VGG19是一个深度学习框架，经卷积，池化，激活函数、全连接得到一个一维的特征向量。
4c)将生成的(512，512，3)维的图像输入至判别网络，输出为32x32x1的向量，对每个像素点进行逐个判断，最终用sigmoid函数将输出映射为0至1之间的概率值；
相当于有32*32＝1024个评委对每个像素做评价(具体怎么评价是算法内部的内容，这里我也不太清楚)，然后对评价结果进行融合。
其中，sigmoid函数为：
4d)将输出的概率值与1进行比较，进行loss2值的计算，以下为loss2计算公式；
ILR是低分辨率图片
4e)对两个loss值进行训练，最终得到最优的高分辨率图片。
训练方法为得到的loss值逐次迭代，使其收敛，越来越小。
针对生成的高分辨率前时相影像和高分辨率后时相影像，采用影像像素差值法，生成低分辨率变化影像；
用python将图像转为数组，然后数组做差，再将其转为图片形式
(6)对生成的低分辨率变化影像，采用超分重建的方法，将含有建筑物信息区域的像素进行二次增强，生成高分辨率变化影像；
(7)利用faster-rcnn目标检测网络检测高分辨率变化图像中的建筑物，得到高分辨率建筑物变化影像；其中，faster-rcnn目标检测网络检测建筑物，按如下步骤进行：
7a)将输入的高分辨率前时相影像的长和宽均双线性插值为600；
7b)利用区域候选网络提取高分辨率变化影像中的建筑物，形成多个建议框，并对建议框进行筛选。计算建议框和真实框的重合程度，若重合程度大于0.5，则建议框可调整为真实框，因此对建议框进行保留，将其视为正样本；若重合程度在0.1至0.5之间，将其视为负样本；若重合程度小于0.1，则忽略建议框。
7c)最终对筛选后的建议框进行回归分类，最终得到预测结果和种类。
将高分辨率前时相影像二值化，并对其进行形态学后处理，先进行形态学闭运算填充高分辨率前时相影像二值图区域内部的孔洞，后进行形态学开运算，去除高分辨率前时相影像二值图斑点噪声，得到高分辨率前时相影像二值图。
其中，开运算＝先腐蚀运算，再膨胀运算，闭运算＝先膨胀运算，再腐蚀运算，膨胀(dilate)是对图像高亮部分进行“领域扩张”，领域扩张，效果图拥有比原图更大的高亮区域；腐蚀(erode)是原图中的高亮区域被蚕食，领域缩减，效果图拥有比原图更小的高亮区域。
通常建筑物变化检测采用较多的是基于卫星遥感数据开展变化检测。但是，由于遥感卫星通常形成的是类似正射影像影，数据分辨率不高(国际上分辨率最高的是0.10米，我国分辨率最高的是0.80米)，卫星回返周期长，导致发现建筑物变化预警周期长。同时，现有的建筑物变化检测多采用对遥感影像的语义分割方法对变化区域进行像素级二分类，但由于建筑物目标太小，因此会出现漏检错检现象。同时由于网络层数过深，会出现过拟合的现象。
与遥感影像的俯视角度而言，监控摄像头通常部署在高塔或者高楼上，能够监控5-10公里的自然资源变化。同时，监控摄像头可以从建筑物侧面更清晰的观测到建筑物高度的变化。因此利用监控摄像头开展建筑物的变化具有实际意义。
但是，当前利用监控摄像头开展建筑物变化，主要还是利用人工实时观看的方式进行，智能化程度不高。且监控摄像头下建筑图片较小、分辨率较低导致变化区域检测不到。
对以上问题，我们采用超分重建的方法，将低分辨率的影像转为高分辨率的影像，提高目标建筑物的大小，再进行建筑物的变化检测，实现监控摄像头下建筑物的变化检测。
本发明具有以下优点：
1、与传统遥感建筑物影像形成的类似正射影像影相比，监控摄像头可以从建筑物侧面更清晰的观测到建筑物高度的变化，并且相较于遥感卫星回返周期长，城市监控的监控摄像头近于实时监控，发现建筑物变化预警周期短，更容易发现高度上的变化。
2、由于基于语义分割的建筑物变化检测方法需要大量的训练数据，数据量小会限制模型的效果，本发明将深度学习和机器学习方法结合，减轻了数据量对模型效果的局限性。
3、由于监控摄像头下建筑图片较小、分辨率较低导致变化区域检测不到。本发明基于超分重建的方法，将低分辨率的影像转为高分辨率的影像，提高建筑物影像的分辨率，实现监控摄像头下建筑物的变化检测。
以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本发明权利要求所作的等同变化，仍属于发明所涵盖的范围。
Claims (9)
1.一种监控摄像头远距离建筑物变化检测的方法，其特征在于，包括如下步骤，
使用监控摄像头采集同一地点、不同时相的建筑物图像数据，建立建筑物低分辨率图像数据集；
将前时相影像和后时相影像进行双线性插值处理，得到两个分辨率相同的影像；
通过特征点匹配的方式将前时相影像和后时相影像进行配准，得到建筑物位置对应的两幅图像；
使用生成对抗网络对前后时相影像进行超分重建，生成高分辨率前时相影像和高分辨率后时相影像；
针对生成的高分辨率前时相影像和高分辨率后时相影像，采用影像差值法，生成低分辨率变化影像；
对生成的低分辨率变化影像，进行超分重建，将含有建筑物信息区域的像素进行二次增强，生成高分辨率变化影像；
利用faster-rcnn目标检测网络检测高分辨率变化图像中的建筑物，得到高分辨率建筑物变化影像；
将高分辨率前时相影像二值化，并对其进行形态学后处理去除斑点噪声，得到高分辨率前时相影像二值图；
将高分辨率前时相影像二值图与高分辨率建筑物变化影像进行一比一的像素加权融合，得到建筑物变化区域结果图。
2.如权利要求1所述的监控摄像头远距离建筑物变化检测的方法，其特征在于，在“使用监控摄像头采集同一地点、不同时相的建筑物图像数据，建立建筑物低分辨率图像数据集”中，所述方法还包括，
针对安装的监控摄像头设置N个巡航点，每个巡航点每隔一段时间采集一次图像，将图像命名为易于读取的文件格式，建立建筑物低分辨率图像数据集。
3.如权利要求1所述的监控摄像头远距离建筑物变化检测的方法，其特征在于，在“将前时相影像和后时相影像进行双线性插值处理，得到两个分辨率相同的影像”中，所述方法还包括，
所述双线性插值采用python中resize函数，其中选取的插值方式为双线性插值，即在两个方向上分别进行一次线性插值。
4.如权利要求1所述的监控摄像头远距离建筑物变化检测的方法，其特征在于，在“通过特征点匹配的方式将前时相影像和后时相影像进行配准，得到建筑物位置对应的两幅图像”中，所述方法还包括，
所述特征点匹配的方式为使用sift算法提取图像中的不随外界环境变化而变化的关键点。
5.如权利要求4所述的监控摄像头远距离建筑物变化检测的方法，其特征在于，在“所述特征点匹配的方式为使用sift算法提取图像中的不随外界环境变化而变化的关键点”中，所述方法还包括，
两幅图像中有相同的景物，提取各自的稳定点，并且这些稳定点之间会有相互对应的匹配点。
6.如权利要求1所述的监控摄像头远距离建筑物变化检测的方法，其特征在于，在“使用生成对抗网络对前后时相影像进行超分重建，生成高分辨率前时相影像和高分辨率后时相影像”中，所述方法还包括，
将输入的前时相影像双线性插值处理为(128，128，3)维的图片，经过卷积、上采样、标准化、反卷积生成(512，512，3)维的图像；
将生成的(512，512，3)维的图像与原始高分辨率图片分别输入至VGG19网络，提取两个图片的特征向量，进行loss1值的计算；
将生成的(512，512，3)维的图像输入至判别网络，输出为32x32x1的向量，对每个像素点进行逐个判断，最终用sigmoid函数将输出映射为0至1之间的概率值；
将输出的概率值与1进行比较，进行loss2值的计算；
对两个loss值进行训练，最终得到最优的高分辨率图片。
7.如权利要求1所述的监控摄像头远距离建筑物变化检测的方法，其特征在于，在“利用faster-rcnn目标检测网络检测高分辨率变化图像中的建筑物，得到高分辨率建筑物变化影像”中，所述方法还包括，
将输入的高分辨率前时相影像的长和宽均双线性插值为600；
利用区域候选网络提取高分辨率变化影像中的建筑物，形成多个建议框，并对建议框进行筛选，计算建议框和真实框的重合程度；
最终对筛选后的建议框进行回归分类，最终得到预测结果和种类。
8.如权利要求7所述的监控摄像头远距离建筑物变化检测的方法，其特征在于，在“利用区域候选网络提取高分辨率变化影像中的建筑物，形成多个建议框，并对建议框进行筛选，计算建议框和真实框的重合程度”中，所述方法还包括，
若重合程度大于0.5，则建议框可调整为真实框，因此对建议框进行保留，将其视为正样本；若重合程度在0.1至0.5之间，将其视为负样本；若重合程度小于0.1，则忽略建议框。
9.如权利要求1所述的监控摄像头远距离建筑物变化检测的方法，其特征在于，在“将高分辨率前时相影像二值化，并对其进行形态学后处理去除斑点噪声，得到高分辨率前时相影像二值图”中，所述方法还包括，
将高分辨率前时相影像二值化，并对其进行形态学后处理，先进行形态学闭运算填充高分辨率前时相影像二值图区域内部的孔洞，后进行形态学开运算，去除高分辨率前时相影像二值图斑点噪声，得到高分辨率前时相影像二值图。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110526635.5A CN113408347B (zh) | 2021-05-14 | 2021-05-14 | 监控摄像头远距离建筑物变化检测的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110526635.5A CN113408347B (zh) | 2021-05-14 | 2021-05-14 | 监控摄像头远距离建筑物变化检测的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113408347A CN113408347A (zh) | 2021-09-17 |
| CN113408347B true CN113408347B (zh) | 2022-03-15 |
Family
ID=77678558
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110526635.5A Active CN113408347B (zh) | 2021-05-14 | 2021-05-14 | 监控摄像头远距离建筑物变化检测的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113408347B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1874499A (zh) * | 2006-05-12 | 2006-12-06 | 北京理工大学 | 一种高动态、超分辨率图像重建装置 |
| CN102119530A (zh) * | 2008-08-22 | 2011-07-06 | 索尼公司 | 图像显示设备、控制方法和计算机程序 |
| CN108133456A (zh) * | 2016-11-30 | 2018-06-08 | 京东方科技集团股份有限公司 | 人脸超分辨率重建方法、重建设备以及计算机系统 |
| WO2018118751A1 (en) * | 2016-12-21 | 2018-06-28 | Red Hen Systems Llc | Stereoscopic imaging systems and methods |
| CN109325915A (zh) * | 2018-09-11 | 2019-02-12 | 合肥工业大学 | 一种用于低分辨率监控视频的超分辨率重建方法 |
| CN111832518A (zh) * | 2020-07-22 | 2020-10-27 | 桂林电子科技大学 | 基于时空融合的tsa遥感影像土地利用方法 |
| CN112287832A (zh) * | 2020-10-29 | 2021-01-29 | 江苏科博空间信息科技有限公司 | 一种基于高分辨率遥感影像的城镇违法建筑物检测方法 |
-
2021
- 2021-05-14 CN CN202110526635.5A patent/CN113408347B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1874499A (zh) * | 2006-05-12 | 2006-12-06 | 北京理工大学 | 一种高动态、超分辨率图像重建装置 |
| CN102119530A (zh) * | 2008-08-22 | 2011-07-06 | 索尼公司 | 图像显示设备、控制方法和计算机程序 |
| CN108133456A (zh) * | 2016-11-30 | 2018-06-08 | 京东方科技集团股份有限公司 | 人脸超分辨率重建方法、重建设备以及计算机系统 |
| WO2018118751A1 (en) * | 2016-12-21 | 2018-06-28 | Red Hen Systems Llc | Stereoscopic imaging systems and methods |
| CN109325915A (zh) * | 2018-09-11 | 2019-02-12 | 合肥工业大学 | 一种用于低分辨率监控视频的超分辨率重建方法 |
| CN111832518A (zh) * | 2020-07-22 | 2020-10-27 | 桂林电子科技大学 | 基于时空融合的tsa遥感影像土地利用方法 |
| CN112287832A (zh) * | 2020-10-29 | 2021-01-29 | 江苏科博空间信息科技有限公司 | 一种基于高分辨率遥感影像的城镇违法建筑物检测方法 |
Non-Patent Citations (3)
| Title |
|---|
| TOF Depth Map Super-resolution Using Compressive Sensing;L. -W. Liu;《2013 Seventh International Conference on Image and Graphics》;20131024;135-138 * |
| 基于特征匹配和距离加权的蓝牙定位算法;陆明炽;《计算机应用》;20180409;第38卷(第8期);2359-2364 * |
| 多源图像超分辨率重建研究;张敬;《中国优秀博硕士学位论文全文数据库(博士)信息科技辑》;20150915(第09期);I138-20 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113408347A (zh) | 2021-09-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107341795B (zh) | 一种知识驱动的高空间分辨率遥感影像自动变化检测方法 | |
| CN109063559B (zh) | 一种基于改良区域回归的行人检测方法 | |
| CN108615226B (zh) | 一种基于生成式对抗网络的图像去雾方法 | |
| CN111783590A (zh) | 一种基于度量学习的多类别小目标检测方法 | |
| JP5549345B2 (ja) | 画像収集装置に用いる天空検出装置及び方法 | |
| CN110929593A (zh) | 一种基于细节辨别区别的实时显著性行人检测方法 | |
| CN113255589B (zh) | 一种基于多卷积融合网络的目标检测方法及系统 | |
| CN112883887B (zh) | 一种基于高空间分辨率光学遥感图像的建筑物实例自动提取方法 | |
| CN111444365A (zh) | 图像分类方法、装置、电子设备及存储介质 | |
| CN115131325A (zh) | 一种基于图像识别分析的断路器故障运维监测方法及系统 | |
| CN111582074A (zh) | 一种基于场景深度信息感知的监控视频树叶遮挡检测方法 | |
| CN105931189B (zh) | 一种基于改进超分辨率参数化模型的视频超分辨率方法及装置 | |
| CN115620141A (zh) | 一种基于加权可变形卷积目标检测方法和装置 | |
| CN111652240A (zh) | 一种基于cnn的图像局部特征检测与描述方法 | |
| CN115578615A (zh) | 基于深度学习的夜间交通标志图像检测模型建立方法 | |
| CN113052170A (zh) | 一种无约束场景下的小目标车牌识别方法 | |
| CN116129291A (zh) | 一种面向无人机畜牧的图像目标识别方法及其装置 | |
| CN116258953A (zh) | 一种遥感影像目标检测方法 | |
| CN115409789A (zh) | 基于图像语义分割的输电线路工程缺陷检测方法 | |
| CN115393635A (zh) | 一种基于超像素分割以及数据增强的红外小目标检测方法 | |
| Xu et al. | Toward raw object detection: A new benchmark and a new model | |
| CN113408347B (zh) | 监控摄像头远距离建筑物变化检测的方法 | |
| CN116777905B (zh) | 基于长尾分布数据的智能工业旋转检测方法及系统 | |
| JP2009123234A (ja) | オブジェクト識別方法および装置ならびにプログラム | |
| CN117808742A (zh) | 基于语义分割孪生网络的变电站设备变化检测方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |