CN108805863A - 深度卷积神经网络结合形态学检测图像变化的方法 - Google Patents

深度卷积神经网络结合形态学检测图像变化的方法 Download PDF

Info

Publication number
CN108805863A
CN108805863A CN201810417006.7A CN201810417006A CN108805863A CN 108805863 A CN108805863 A CN 108805863A CN 201810417006 A CN201810417006 A CN 201810417006A CN 108805863 A CN108805863 A CN 108805863A
Authority
CN
China
Prior art keywords
image
convolutional neural
neural networks
remote sensing
combining form
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810417006.7A
Other languages
English (en)
Other versions
CN108805863B (zh
Inventor
徐梦溪
吴晓彬
朱斌
王鑫
石爱业
陈哲
韩磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Institute of Technology
Hohai University HHU
Original Assignee
Nanjing Institute of Technology
Hohai University HHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Institute of Technology, Hohai University HHU filed Critical Nanjing Institute of Technology
Priority to CN201810417006.7A priority Critical patent/CN108805863B/zh
Publication of CN108805863A publication Critical patent/CN108805863A/zh
Application granted granted Critical
Publication of CN108805863B publication Critical patent/CN108805863B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation

Abstract

本发明公开了一种深度卷积神经网络结合形态学检测图像变化的方法，对已配准的不同时相的遥感图像进行分割；对分割后的图像进行旋转和镜像，然后将不同时相对应位置的遥感图像合并为8通道的图像；将得到的8通道的图像数据输入到SegNet网络模型中进行训练，输出2通道的图像；对图像采用并操作对图像进行孔洞填充，然后采用腐蚀操作去除噪声信息，得到图像处理模型；对待预检测数遥感图像进行分割后输入到上一步模型中进行处理，输出图像；把输出的图像合并为原始待检测遥感图像的大小，即完成图像变化检测。本发明采用深度卷积神经网络结合形态学的方法，检测精度高，有效去噪，方法简单，对建筑物变化检测具有较高的准确性和鲁棒性。

Description

深度卷积神经网络结合形态学检测图像变化的方法
技术领域
本发明涉及图像变化检测方法，具体涉及一种深度卷积神经网络结合形态学检测图像变化的方法。
背景技术
近年来，随着计算机技术以及人工智能的高速发展，土地监管也日趋向智能化的方向发展。土地资源的监管有利于国家对国土资源的合理分配与利用。而土地监管中的一大难题就是国土资源极其庞大，现实生活中需要耗费大量的人力进行实地考察及调查。利用遥感图像对不同时相的图像进行对比，可以有效的找出不同时相建筑物的变化差异，从而实现土地资源的有效监管。然而，对于大区域的遥感图像，需要耗费大量的人力资源进行遥感图像的查看对比。利用传统的遥感图像处理技术虽然可以实现对同一区域不同时相的遥感图像中新增建筑物的识别，但这些传统的遥感图像处理算法中存在两个缺点：一是模型过于复杂，不利于实际的生活应用；二是识别精度低，可视化效果差。随着最近20年来GPU的不断进步与发展，使得深度学习的实现变得容易，深度学习开始应用于各行业中。但利用深度学习的优势应用于遥感图像的建筑物变化检测方面，经国内外文献及专利技术的调查和检索的分析，已有的研究成果目前仍处于少数，有待研究的深入。
针对建筑物的变化检测可以从两方面入手，一是通过深度学习方法实现建筑物的检测，通过差值来表现出同一地区不同时相的建筑变化情况；二是利用基于深度学习的变化检测研究方法，识别出变化，进行相应的算法改进实现建筑物变化检测。这两种方法都存在着一定的问题，第一个方法对同一区域不同时相的遥感图像利用深度学习的方法实现对建筑物的识别，通过差值得到建筑物的变化信息。这种方法的缺点是差值后的建筑变化信息会有较大的噪声，不易处理，且在实际应用中会产生较差的视觉效果。第二个基于深度学习的变化检测的方法，会提取出过多的变化信息，其中包含了建筑变化以外的信息。
发明内容
发明目的：本发明的目的是提供一种深度卷积神经网络结合形态学检测图像变化的方法，解决现有检测图像变化方法噪声大，不易处理，检测精度低，视觉效果差的问题。
技术方案：本发明所述的深度卷积神经网络结合形态学检测图像变化的方法，其特征在于，包括以下步骤：
(1)对已配准的不同时相的遥感图像进行分割；
(2)对分割后的图像进行旋转和镜像，然后将不同时相对应位置的遥感图像合并为8通道的图像；
(3)将得到的8通道的图像数据输入到SegNet网络模型中进行训练，输出2通道的图像；
(4)对图像采用并操作对图像进行孔洞填充，然后采用腐蚀操作去除噪声信息，得到图像处理模型；
(5)对待预检测数遥感图像进行分割后输入到所述步骤(4)的模型中进行处理，输出处理后的图像；
(6)把步骤(5)输出的图像合并为原始待检测遥感图像的大小，即完成图像变化检测。
为了在有限像素的图像中，得到更多的图像，有利于深度网络的训练，所述步骤(1)中采用滑动分割的方法将图像分割为224×224大小的图像。
为了对分割后的图像进行数据增强，增加模型的鲁棒性，所述步骤(2)中采用90°、180°和270°旋转，采用上、下和左、右镜像。
为了引入浅层的信息有利于网络的训练，避免测试的结果向一边倾斜，所述SegNet网络模型在pool1、pool2和pool3操作后进行merge操作，将各个poll层分贝与inputs层的数据进行合并。所述为了所述步骤(3)中利用SegNet网络模型进行训练时选用交叉熵作为损失函数，损失函数为：
其中，y0表示无变化区域，y1变化区域。y′0预测为无变化区域的概率，y′1为变化区域概率。
为了减少SegNet输出结果边缘区域检测效果不理想的情况，所述步骤(5)中对待检测区域进行分割时，采用滑动重叠分割，分割大小为224×224，最后每个分割后的图像得到的结果只取中间200×200的部分。
有益效果：本发明采用深度卷积神经网络结合形态学的方法，检测精度高，有效去噪，方法简单，对建筑物变化检测具有较高的准确性和鲁棒性。
附图说明
图1为本发明的流程示意图。
具体实施方式
下面结合附图对本发明进行进一步说明。
如图1所示，深度卷积神经网络结合形态学检测图像变化的方法，包括以下步骤：
(1)对以配准的2015和2017年的遥感图像进行分割，由于改进的SegNet网络输入图像大小为224×224的8通道图像，因此，分别将2015年和2017年图像分割为224×224大小。为了合理利用数据资源，采用部分重叠滑动分割原始图像，这样能够增加小型的遥感图像分割后的训练数据量。如分割时，横向第一张图像左上角坐标为(0,0)，第二张为(112，0)，第三张为(224，0)依次类推，纵向时坐上角坐标依次为(0,112)，(0，224)依次类推。在样本量不够充足时，滑动分割有利于图像数据的最大化利用。分割成小区域224×224有利于深度网络的训练。
(2)对分割后的图像旋转和镜像操作以进行数据增强，可采用90°、180°和270°旋转，上、下以及左、右镜像的方法。然后将不同时相对应位置的遥感图像合并为8通道的图像。
(3)将步骤(2)的得到的8通道图像输入到改进的SegNet网络模型里进行训练，输出2通道的图像。
其中，改进的SegNet实现流程如表1所示，整个网络的流程一是减少了部分卷积操作，二是在pool1、pool2和pool3之后分别有个merge的操作，如merge1是将pool1和inputs进行一次池化的结果进行合并，按通道来合并，即pool1为112×112×64，inputs为224×224×8，池化后为112×112×8，合并后为112×112×72。后面依此类推。引入浅层的信息有利于网络的训练，同时实验证明其在最终的输出结果上有一定的提升效果。
表1改进的SegNet实现流程
在利用SegNet网络模型进行训练时，选用交叉熵作为损失函数，针对不同的实际情况，无变化区域与变化区域会有一定的差异，由于变化区域占整体的少数，因此需要对其赋予一定的权重比，训练时的损失函数为：
其中，y0表示无变化区域，y1变化区域。y′0预测为无变化区域的概率，y’1为变化区域概率。设置损失函数有利于网络的训练，避免测试的结果向一边倾斜。
(4)对步骤(3)的输出的图像结果采用形态学的处理方法进行处理，即采用了图像进行孔洞填充，然后采用腐蚀操作去除噪声信息，得到图像处理模型。
(5)对待预检测数遥感图像进行分割，用步骤(4)的模型对分割后的数据进行检测。在对待检测区域进行分割时，采用滑动重叠分割，分割大小为224×224，但最后每个分割后的图像得到的结果只取中间200×200的部分，这样可以有效减少改进的SegNet输出后边缘区域检测效果不理想的结果。
(6)把步骤(5)输出的图像合并为原始待检测遥感图像的大小，即完成图像变化检测。
最后，对输出结果进行评价，以此来判断是否符合应用环境。采用F1值作为其评价指标，公式如下：
其中，Precison为查准率，即预测为新增建筑且正确的像素点，占预测为新增建筑像素点的比例；Recall为查全率，即预测为新增建筑且正确的像素点，占实际为新增建筑像素点的比例。根据实际需求和改评价指标可以确定在什么时候符合应用环境。

Claims (6)

1.一种深度卷积神经网络结合形态学检测图像变化的方法，其特征在于，包括以下步骤：
(1)对已配准的不同时相的遥感图像进行分割；
(2)对分割后的图像进行旋转和镜像，然后将不同时相对应位置的遥感图像合并为8通道的图像；
(3)将得到的8通道的图像数据输入到SegNet网络模型中进行训练，输出2通道的图像；
(4)对图像采用并操作对图像进行孔洞填充，然后采用腐蚀操作去除噪声信息，得到图像处理模型；
(5)对待预检测数遥感图像进行分割后输入到所述步骤(4)的模型中进行处理，输出处理后的图像；
(6)把步骤(5)输出的图像合并为原始待检测遥感图像的大小，即完成图像变化检测。
2.根据权利要求1所述的深度卷积神经网络结合形态学检测图像变化的方法，其特征在于，所述步骤(1)中采用滑动分割的方法将图像分割为224×224大小的图像。
3.根据权利要求1所述的深度卷积神经网络结合形态学检测图像变化的方法，其特征在于，所述步骤(2)中采用90°、180°和270°旋转，采用上、下和左、右镜像。
4.根据权利要求1所述的深度卷积神经网络结合形态学检测图像变化的方法，其特征在于，所述SegNet网络模型在pool1、pool2和pool3操作后进行merge操作，将各个poll层分贝与inputs层的数据进行合并。
5.根据权利要求1所述的深度卷积神经网络结合形态学检测图像变化的方法，其特征在于，所述步骤(3)中利用SegNet网络模型进行训练时选用交叉熵作为损失函数，损失函数为：
其中，y0表示无变化区域，y1变化区域。y′0预测为无变化区域的概率，y′1为变化区域概率。
6.根据权利要求1所述的深度卷积神经网络结合形态学检测图像变化的方法，其特征在于，所述步骤(5)中对待检测区域进行分割时，采用滑动重叠分割，分割大小为224×224，最后每个分割后的图像得到的结果只取中间200×200的部分。
CN201810417006.7A 2018-05-02 2018-05-02 深度卷积神经网络结合形态学检测图像变化的方法 Active CN108805863B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810417006.7A CN108805863B (zh) 2018-05-02 2018-05-02 深度卷积神经网络结合形态学检测图像变化的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810417006.7A CN108805863B (zh) 2018-05-02 2018-05-02 深度卷积神经网络结合形态学检测图像变化的方法

Publications (2)

Publication Number Publication Date
CN108805863A true CN108805863A (zh) 2018-11-13
CN108805863B CN108805863B (zh) 2022-02-22

Family

ID=64093213

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810417006.7A Active CN108805863B (zh) 2018-05-02 2018-05-02 深度卷积神经网络结合形态学检测图像变化的方法

Country Status (1)

Country Link
CN (1) CN108805863B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110136170A (zh) * 2019-05-13 2019-08-16 武汉大学 一种基于卷积神经网络的遥感影像建筑物变化检测方法
CN110322442A (zh) * 2019-07-11 2019-10-11 福州大学 一种基于SegNet的建筑物表面裂纹检测方法
CN111311668A (zh) * 2020-02-12 2020-06-19 东南大学 一种基于卷积神经网络的清水混凝土表面气孔分析方法
CN112215039A (zh) * 2019-07-10 2021-01-12 北京市商汤科技开发有限公司 变化检测网络的训练方法、变化检测方法、装置及介质
CN112651931A (zh) * 2020-12-15 2021-04-13 浙江大华技术股份有限公司 建筑物变形监测方法、装置和计算机设备
CN112801933A (zh) * 2019-11-14 2021-05-14 纬创资通股份有限公司 对象检测方法、电子装置与对象检测系统
KR20210112301A (ko) * 2019-03-11 2021-09-14 하우징 앤드 디벨로프먼트 보드 토양 및 토양 유형의 분류를 위한 장치, 시스템 및 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104182985A (zh) * 2014-09-01 2014-12-03 西安电子科技大学 遥感图像变化检测方法
CN105957086A (zh) * 2016-05-09 2016-09-21 西北工业大学 一种基于优化神经网络模型的遥感图像变化检测方法
CN106204646A (zh) * 2016-07-01 2016-12-07 湖南源信光电科技有限公司 基于bp神经网络的多运动目标跟踪方法
CN106780485A (zh) * 2017-01-12 2017-05-31 西安电子科技大学 基于超像素分割和特征学习的sar图像变化检测方法
CN107085708A (zh) * 2017-04-20 2017-08-22 哈尔滨工业大学 基于多尺度分割和融合的高分辨率遥感图像变化检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104182985A (zh) * 2014-09-01 2014-12-03 西安电子科技大学 遥感图像变化检测方法
CN105957086A (zh) * 2016-05-09 2016-09-21 西北工业大学 一种基于优化神经网络模型的遥感图像变化检测方法
CN106204646A (zh) * 2016-07-01 2016-12-07 湖南源信光电科技有限公司 基于bp神经网络的多运动目标跟踪方法
CN106780485A (zh) * 2017-01-12 2017-05-31 西安电子科技大学 基于超像素分割和特征学习的sar图像变化检测方法
CN107085708A (zh) * 2017-04-20 2017-08-22 哈尔滨工业大学 基于多尺度分割和融合的高分辨率遥感图像变化检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MICHAEL KAMPFFMEYER等: "《Semantic Segmentation of Small Objects and Modeling of Uncertainty in Urban Remote Sensing Images Using Deep Convolutional Neural Networks》", 《2016 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION WORKSHOPS》 *
佃袁勇 等: "《多尺度分割的高分辨率遥感影像变化检测》", 《遥感学报》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210112301A (ko) * 2019-03-11 2021-09-14 하우징 앤드 디벨로프먼트 보드 토양 및 토양 유형의 분류를 위한 장치, 시스템 및 방법
KR102655527B1 (ko) * 2019-03-11 2024-04-09 하우징 앤드 디벨로프먼트 보드 토양 및 토양 유형의 분류를 위한 장치, 시스템 및 방법
CN110136170A (zh) * 2019-05-13 2019-08-16 武汉大学 一种基于卷积神经网络的遥感影像建筑物变化检测方法
CN112215039A (zh) * 2019-07-10 2021-01-12 北京市商汤科技开发有限公司 变化检测网络的训练方法、变化检测方法、装置及介质
CN110322442A (zh) * 2019-07-11 2019-10-11 福州大学 一种基于SegNet的建筑物表面裂纹检测方法
CN112801933A (zh) * 2019-11-14 2021-05-14 纬创资通股份有限公司 对象检测方法、电子装置与对象检测系统
CN111311668A (zh) * 2020-02-12 2020-06-19 东南大学 一种基于卷积神经网络的清水混凝土表面气孔分析方法
CN111311668B (zh) * 2020-02-12 2024-01-05 东南大学 一种基于卷积神经网络的清水混凝土表面气孔分析方法
CN112651931A (zh) * 2020-12-15 2021-04-13 浙江大华技术股份有限公司 建筑物变形监测方法、装置和计算机设备
CN112651931B (zh) * 2020-12-15 2024-04-26 浙江大华技术股份有限公司 建筑物变形监测方法、装置和计算机设备

Also Published As

Publication number Publication date
CN108805863B (zh) 2022-02-22

Similar Documents

Publication Publication Date Title
CN108805863A (zh) 深度卷积神经网络结合形态学检测图像变化的方法
Gao et al. Classification of CT brain images based on deep learning networks
WO2022001623A1 (zh) 基于人工智能的图像处理方法、装置、设备及存储介质
Chen et al. A matting method based on full feature coverage
CN104834922B (zh) 基于混合神经网络的手势识别方法
WO2021227726A1 (zh) 面部检测、图像检测神经网络训练方法、装置和设备
CN112818862B (zh) 基于多源线索与混合注意力的人脸篡改检测方法与系统
CN107784282A (zh) 对象属性的识别方法、装置及系统
WO2022257408A1 (zh) 一种基于u型网络的医学图像分割方法
CN107688786A (zh) 一种基于级联卷积神经网络的人脸检测方法
Zhang et al. Attention guided contextual feature fusion network for salient object detection
CN109363699A (zh) 一种乳腺影像病灶识别的方法及装置
Qu et al. A method of hierarchical feature fusion and connected attention architecture for pavement crack detection
CN108830842A (zh) 一种基于角点检测的医学图像处理方法
CN112651406A (zh) 一种深度感知和多模态自动融合的rgb-d显著性目标检测方法
Hu et al. RGB-D image multi-target detection method based on 3D DSF R-CNN
Chen et al. ASF-Net: Adaptive screening feature network for building footprint extraction from remote-sensing images
Lei et al. Boundary extraction constrained siamese network for remote sensing image change detection
Pan et al. SMILE: Cost-sensitive multi-task learning for nuclear segmentation and classification with imbalanced annotations
CN108062521A (zh) 基于卷积神经网络的人脸检测方法、装置、终端及介质
CN110992310A (zh) 一种确定纵隔淋巴结所在分区的方法及装置
CN113496260A (zh) 基于改进YOLOv3算法的粮库人员不规范作业检测法
Feng et al. Improved deep fully convolutional network with superpixel-based conditional random fields for building extraction
CN115984093A (zh) 基于红外图像的深度估计方法、电子设备以及存储介质
CN113269734B (zh) 一种基于元学习特征融合策略的肿瘤图像检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant