CN113298808B - 一种面向倾斜遥感图像中建筑物遮挡信息的修复方法 - Google Patents

一种面向倾斜遥感图像中建筑物遮挡信息的修复方法 Download PDF

Info

Publication number
CN113298808B
CN113298808B CN202110692278.XA CN202110692278A CN113298808B CN 113298808 B CN113298808 B CN 113298808B CN 202110692278 A CN202110692278 A CN 202110692278A CN 113298808 B CN113298808 B CN 113298808B
Authority
CN
China
Prior art keywords
building
image
remote sensing
network
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110692278.XA
Other languages
English (en)
Other versions
CN113298808A (zh
Inventor
闫奕名
郑涵
宿南
冯收
赵春晖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Engineering University
Original Assignee
Harbin Engineering University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Engineering University filed Critical Harbin Engineering University
Priority to CN202110692278.XA priority Critical patent/CN113298808B/zh
Publication of CN113298808A publication Critical patent/CN113298808A/zh
Application granted granted Critical
Publication of CN113298808B publication Critical patent/CN113298808B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30184—Infrastructure

Abstract

本发明的一种面向倾斜遥感图像中建筑物遮挡信息的修复方法属于图像处理技术领域，目的是为了克服现有图像遮挡信息修复方法中信息修复的策略不宜选择，导致修复的质量以保证的问题，方法具体步骤如下：步骤一、将倾斜遥感图像进行分块，得到分块遥感图像；步骤二、通过训练后的透视实例分割网络，得到分块遥感图像中每个独立建筑物的建筑物整体区域掩模面积和建筑物被遮挡区域掩模面积，并计算得到建筑物被遮挡区域掩模面积相对于的建筑物整体区域掩模面积的比例；步骤三、将比例与设定的比例阈值T比较，通过基于边缘推演的图像补全策略或对基于轮廓约束的图像补全策略倾斜遥感图像中建筑物遮挡信息进行修复。

Description

一种面向倾斜遥感图像中建筑物遮挡信息的修复方法
技术领域
本发明涉及一种图像中遮挡信息的修复方法，属于图像处理技术领域。
背景技术
遥感领域早期研究的遮挡问题一般是在云遮档和阴影遮挡，而在建筑互相遮挡方面的研究以遮挡情况的分析为主，并不恢复被遮挡的信息，而且检测遮挡时通常需要正射图像或数字表面模型的数据支持。在倾斜遥感图像中，来自树木的遮挡和不同建筑物之间的相互遮挡是普遍存在的，并且由于树木和建筑物的形态、位置分布具有很高的不确定性，导致建筑物因被遮挡而造成的信息缺失情况具有多样性，从而信息修复的策略不宜选择，修复的质量也难以保证；另外，对于透视实例分割(Amodal Instance Segmentation)来说，因遮挡而缺失的建筑物的图像信息，理论上是不存在“真值图像”的，训练样本的数量和可靠性都难以保证。
发明内容
本发明的目的是为了克服现有图像遮挡信息修复方法中信息修复的策略不宜选择，导致修复的质量以保证的问题，提供了一种面向倾斜遥感图像中建筑物遮挡信息的修复方法。
本发明的一种面向倾斜遥感图像中建筑物遮挡信息的修复方法，所述方法具体步骤如下：
步骤一、将倾斜遥感图像进行分块，得到分块遥感图像；
步骤二、通过训练后的透视实例分割网络，得到分块遥感图像中每个独立建筑物的建筑物整体区域掩模面积Sbui和建筑物被遮挡区域掩模面积Socc，并计算得到建筑物被遮挡区域掩模面积Socc相对于的建筑物整体区域掩模面积Sbui的比例Zs；
步骤三、将比例Zs与设定的比例阈值T比较，
如果比例Zs小于比例阈值T，则通过基于边缘推演的图像补全策略对倾斜遥感图像中建筑物遮挡信息进行修复；
如果比例Zs大于比例阈值T，则通过基于轮廓约束的图像补全策略对倾斜遥感图像中建筑物遮挡信息进行修复；
如果比例Zs等于比例阈值T，则随机选取基于边缘推演的图像补全策略或基于轮廓约束的图像补全策略对倾斜遥感图像中建筑物遮挡信息进行修复。
进一步地，步骤二中，获得训练后的透视实例分割网络的具体方法如下：
步骤二一、选取设定数量的分块遥感图像并标注作为训练集和验证集；
所述标注是对分块遥感图像中建筑物整体区域和建筑物被遮挡区域进行标注；
步骤二二、利用训练集和验证集对透视实例分割网络进行训练和验证，得到训练后的透视实例分割网络。
进一步地，步骤三中，通过基于边缘推演的图像补全策略对倾斜遥感图像中建筑物遮挡信息进行修复的步骤如下：
步骤三一、利用灰度图像IZ_gray结合遮挡区域掩模图MZ，提取缺损的建筑物边缘特征EZ；
其中，灰度图像IZ_gray为图像IZ_RGB的灰度图像，图像IZ_RGB为包括背景区域掩膜和建筑物被遮挡区域掩模的图像；遮挡区域掩模图MZ为包括建筑物被遮挡区域掩模的图像；
步骤三二、利用训练集合{IZ_gray，EZ，MZ}以及相应的实际边缘特征真值集合{EGT}，训练边缘修复生成对抗网络GAN1，通过边缘修复生成对抗网络GAN1将缺损的建筑物边缘特征EZ预测为完整的建筑物边缘特征Epred；
步骤三三、利用训练集合{IZ_RGB，Epred}及无遮挡的图像真值集合
Figure BDA0003126591460000025
训练纹理修复生成对抗网络GAN2；通过纹理修复生成对抗网络GAN2在边缘特征Epred的约束下，对图像IZ_RGB进行修复，获得修复后建筑物图像Ipred。
进一步地，边缘修复生成对抗网络GAN1的目标函数为：
Figure BDA0003126591460000021
其中，G1为边缘修复生成对抗网络GAN1中的生成网络，D1为边缘修复生成对抗网络GAN1中的判别网络；L1为对抗函数：且
Figure BDA0003126591460000022
LE为边缘特征匹配损失，且
Figure BDA0003126591460000023
其中，λ1和λE是正则化系数，L为D1的最后卷积层，Ni为第i个激活层的元素数量，i为激活层的序数，E是分布函数的期望值。
进一步地，纹理修复生成对抗网络GAN2的目标函数为：
Figure BDA0003126591460000024
其中，G2为纹理修复生成对抗网络GAN2中的生成网络，D2为纹理修复生成对抗网络GAN2中的判别网络；λ2是正则化系数；
L2为对抗损失函数，且
Figure BDA0003126591460000031
进一步地，边缘提取模块为Canny算子、Sobel索贝尔算子；
或HED整体嵌套边缘检测模型结合建筑物的实际边缘特征真值EGT进行训练获得的边缘提取网络。
进一步地，步骤三中，则通过基于轮廓约束的图像补全策略对倾斜遥感图像中建筑物遮挡信息进行修复的步骤如下：
步骤三(1)、在全面掩模图MA上的一个建筑物检测框内，对分块遥感图像IRGB进行剪裁，使得剪裁出的图像Ivis包含建筑物，但不包括被遮挡区域且面积最大；
则图像Ivis的面积为：
max Area＝(xlt-xrd).(ylt-yrd)
Figure BDA0003126591460000032
xlt＞xrd，ylt＞yrd(xlt，ylt),(xrd，yrd)∈Mb
其中，(xlt，ylt)和(xrd，yrd)分别为建筑物检测框在全面掩模图MA内的左上角点图像坐标和右下角图像坐标，全面掩模图MA为包括建筑物顶掩膜、立面掩膜、被遮挡区域掩膜以及背景区域掩膜的全面掩模图像；建筑物整体掩模图Mb为基于预测出的外轮廓CO对建筑物整体区域和背景区域的掩模图；所述预测出的外轮廓CO是通过训练后的透视实例分割网络得到；外轮廓CO为建筑物整体区域的外轮廓；
并生成训练样本集{Ivis,Mb}；
步骤三(2)、利用训练样本集{Ivis,Mb}配合无遮挡的图像真值集合
Figure BDA0003126591460000033
训练C-SRN网络；
C-SRN网络利用特征拓展网络FEN提取图像Ivis的上下文特征s(F)，同时利用建筑物整体掩模图Mb辅助填图像充Ivis至与分块遥感图像IRGB同样大小，得到有轮廓约束的拓展图Ivis_ex；
步骤三(3)、将拓展图Ivis_ex与s(F)进行级联，形成有轮廓约束的上下文特征后输入基于轮廓约束的生成对抗网络，形成修复后建筑物图像Ipred。
本发明的有益效果是：
本发明发明可以依据不同的遮挡情况，有效地利用Image Inpainting和ImageOutpainting的各自优势，提高缺失信息修复质量。
本发明加入了一个遮挡面积相对于建筑物整体的比例Zs与阈值T之间的关系比较，使不同的遮挡比例的建筑物区域能选取适合的策略进行遮挡信息的修复获得更加精准的结果。利用基于边缘推演的Image inpainting针对建筑物局部缺失，能够通过对整体边缘的预测作为约束，预测缺失信息；或利用基于轮廓约束的Image Outpainting扩大预测范围和提高预测图像质量。
附图说明
图1为本发明的一种面向倾斜遥感图像中建筑物遮挡信息的修复方法的流程图；
图2为本发明的一种面向倾斜遥感图像中建筑物遮挡信息的修复方法中基于边缘推演的图像补全策略的原理框图；
图3为本发明的一种面向倾斜遥感图像中建筑物遮挡信息的修复方法中基于轮廓约束的图像补全策略原理框图。
具体实施方式
具体实施方式一，本实施方式的一种面向倾斜遥感图像中建筑物遮挡信息的修复方法中：
步骤一：将收集到的关于建筑物的倾斜遥感图像进行自动化图像分块(比如将大图分成N*N的块等)变为之后修复策略所需的图像。
利用Matlab或者Adobe Photoshop等平台，处理收集到的倾斜遥感图像，将较大的图像进行自动化图像分块变为策略所需要N*N大小的图像。
步骤二：将裁剪之后的图像进行人工标注(主要标注建筑物整体、建筑物遮挡区域两部分)分别制作训练集与验证集作为输入Amodal Instance Segmentation(透视实例分割)--是指在常规实例分割基础上，进一步预测场景中物体被遮挡部分的轮廓。最后输入图像进行测试能得到建筑物建筑物遮挡区域的掩膜、建筑物整体的掩膜。
将步骤一中使用Matlab或者Adobe Photoshop裁剪之后的图像用Labelme进行人工标注，标注出建筑物整体区域以及建筑物遮挡区域两部分内容，标注完成之后形成训练集输入透视是是分割网络(Blendmask)进行训练，左后输入图像进行测试得到建筑物遮挡区域的掩膜以及建筑物整体区域的掩膜。
步骤三：根据透视实例分割的结果，获取图像中每个建筑物的遮挡区域掩模面积Socc和建筑物区域掩模面积Sbui，得到遮挡面积相对于建筑物整体的比例Zs。
根据透视实例分割的结果，获取图像中每个建筑物的遮挡区域掩模面积Socc和建筑物区域掩模面积Sbui，两个面积进行相除，得到遮挡面积相对于建筑物整体的比例Zs。公式如下：
Figure BDA0003126591460000041
步骤四：结合透视实例分割之前的图像和透视实例分割的各种掩模结果，通过简单处理即可获得每个独立建筑物的下列数据，可作为策略所需的输入条件——实例分割之前(裁剪之后)的图像区域IRGB，针对建筑物顶、立面、遮挡信息以及背景区域的全面掩模图MA，有背景区域和遮挡区域掩模的原图像IZ_RGB其灰度图像IZ_gray，遮挡区域掩模图MZ，基于预测出的外轮廓CO对建筑物整体和背景的掩模图Mb。
步骤五：设定比例阈值T，判断遮挡面积相对于建筑物整体的比例Zs与阈值T的大小关系，从而选取相宜的遮挡修复策略(基于边缘推演的Image Inpainting策略和基于轮廓约束的Image Outpainting策略)，输入步骤四得到的{IRGB、MA、IZ_RGB、IZ_gray、MZ、CO、Mb}条件进行建筑物遮挡信息的修复，得到建筑物完整信息的图像。比例阈值T相当于就是0到1，占比超过中间值，就用基于轮廓约束的outpainting。
若Zs小于T则表明建筑物整体可视信息较多，能够提供充分的特征，可采用基于边缘推演的Image Inpainting策略修复局部缺失得到较好的修复图像，具体原理结合图2按所示；若Zs大于T则表明建筑物整体被遮挡区域较大，难以提取有效的纹理边缘，尽可能选取未遮挡区域中信息较多的部分为基础，采用一种基于轮廓约束的Image Outpainting策略修复局部缺失得到较好的修复图像，具体原理结合图3所示：
Figure BDA0003126591460000051
结合图2和图3介绍基于边缘推演的Image Inpainting策略和基于轮廓约束的Image Outpainting策略。
(一)基于边缘推演的Image Inpainting策略，具体的技术原理框图如图2所示：
①首先利用灰度图像IZ_gray结合遮挡区域掩模图MZ，通过边缘提取模块，提取缺损的建筑物边缘特征EZ，边缘提取模块既可采用常规的Canny算子，Sobel索贝尔算子等，亦可采用神经网络模型，如整体嵌套边缘检测模型(Holistically-Nested Edge Detection，HED)等，结合建筑物实际边缘特征真值EGT进行训练获得边缘提取网络。
②利用训练集合{IZ_gray，EZ，MZ}及相应真值{EGT}，训练边缘修复生成对抗网络(GAN1,包括生成网络G1和判别网络D1)。使GAN1能够将缺失的边缘特征EZ预测为完整边缘Epred。
GAN1采用的目标函数为：
Figure BDA0003126591460000052
其中对抗函数L1：
Figure BDA0003126591460000061
边缘特征匹配损失LE：
Figure BDA0003126591460000062
其中λ1和λE是正则化系数，L为D1的最后卷积层，Ni为第i个激活层的元素数量。
③利用训练集合{IZ_RGB，Epred}及无遮挡的图像真值
Figure BDA0003126591460000063
训练纹理修复生成对抗网络(GAN2,包括生成网络G2和判别网络D2)。使GAN2能够在边缘特征Epred的约束下，对带遮挡的建筑物图像IZ_RGB进行修复，获得Ipred，从而实现对建筑物被遮挡信息的修复。GAN2采用的目标函数如式：
Figure BDA0003126591460000064
其中λ2是正则化系数，对抗损失函数L2如式：
Figure BDA0003126591460000065
(二)基于轮廓约束的Image Outpainting策略，具体的技术原理框图如图3所示：
①在建筑物检测框内的全面掩模图MA内，优化选择一个左上角点图像坐标(xlt，ylt)和一个右下角图像坐标(xrd，yrd)，对原图像区域IRGB进行剪裁，使得剪裁出的图像Ivis包含建筑物、不含遮挡且面积最大。
max Area＝(xlt-xrd).(ylt-yrd)
Figure BDA0003126591460000066
xlt＞xrd，ylt＞yrd(xlt，ylt),(xrd，yrd)∈Mb
②利用上述方式形成训练样本集{Ivis,Mb}配合与无遮挡的图像真值
Figure BDA0003126591460000067
训练C-SRN网络。C-SRN网络首先利用特征拓展网络FEN提取Ivis,上下文特征s(F)，同时利用建筑物整体掩模Mb辅助填充Ivis至与IRGB同样大小，得到有轮廓约束的拓展图Ivis_ex。
③进而，利用Ivis_ex与s(F)进行级联，形成有轮廓约束的上下文特征，输入基于轮廓约束的生成对抗网络GANcontext_c，进而外推形成修复后建筑物图像Ipred。
上述的图像修复(Image Inpainting)技术在恢复图像信息缺失信息方面十分有效，是解决遮挡问题的选择方案之一，Image inpainting的特点是更适合建筑物局部缺失的情况，能够通过对整体边缘的预测作为约束，预测缺失信息。
然而，当遮挡区域较大时，难以预测遮挡区域内部的细节边缘特征，纹理修复质量很难保证。与Image Inpainting相反，Image Outpainting是根据图像局部信息外推整体信息。不但可用于预测遮挡缺失部分信息，更能够对图像边界处未拍全的建筑物信息进行预测，因此适合于建筑物整体上大面积信息缺失的情况。当前Image Outpainting技术更注重如何扩大预测范围和提高预测图像质量。
其中，现有的SRN网络主要由特征拓展网络(Feature ExpansionNetwork，FEN)和基于上下文预测的生成对抗网络GANcontext组成，其中GANcontext由一个生成器Gcontext和两个判别器Dglobal和Dcontext组成。其中Dglobal用于判定生成的图像与真值图像相似程度，Dcontext位置约束当前局部图像在全局图像的相对位置关系。
如图3所示，在C-SRN网络中，引入轮廓范围判别器Dcontour，用来约束重点推演范围；并将判别器Dglobal替换为判别器Dcontext，用来判定生成的图像与真值图像的相似程度；形成新的基于轮廓约束的生成对抗网络GANcontext_c，使网络重点关注建筑物轮廓内部纹理的推演。
其中，Dcontour的结构和处理方式与Dcontext相同，但采用建筑物整体区域掩模Mb替换Dcontext中可视区域掩模。
用于训练的图像，是通过对图像中完整建筑物添加仿真遮挡物形成的。无遮挡的图像真值就是添加仿真之前的原始图像关于建筑物的真值，可通过人工进行标注获得。同理，相应的实际边缘特征真值也是通过人工标注进行获得的。

Claims (7)

1.一种面向倾斜遥感图像中建筑物遮挡信息的修复方法，其特征在于，方法具体步骤如下：
步骤一、将倾斜遥感图像进行分块，得到分块遥感图像；
步骤二、通过训练后的透视实例分割网络，得到分块遥感图像中每个独立建筑物的建筑物整体区域掩模面积Sbui和建筑物被遮挡区域掩模面积Socc，并计算得到建筑物被遮挡区域掩模面积Socc相对于的建筑物整体区域掩模面积Sbui的比例Zs；
步骤三、将比例Zs与设定的比例阈值T比较，
如果比例Zs小于比例阈值T，则通过基于边缘推演的图像补全策略对倾斜遥感图像中建筑物遮挡信息进行修复；
如果比例Zs大于比例阈值T，则通过基于轮廓约束的图像补全策略对倾斜遥感图像中建筑物遮挡信息进行修复；
如果比例Zs等于比例阈值T，则随机选取基于边缘推演的图像补全策略或基于轮廓约束的图像补全策略对倾斜遥感图像中建筑物遮挡信息进行修复。
2.根据权利要求1所述的一种面向倾斜遥感图像中建筑物遮挡信息的修复方法，其特征在于，步骤三中，通过基于边缘推演的图像补全策略对倾斜遥感图像中建筑物遮挡信息进行修复的步骤如下：
步骤三一、利用灰度图像IZ_gray结合遮挡区域掩模图MZ，提取缺损的建筑物边缘特征EZ；
其中，灰度图像IZ_gray为图像IZ_RGB的灰度图像，图像IZ_RGB为包括背景区域掩膜和建筑物被遮挡区域掩模的图像；遮挡区域掩模图MZ为包括建筑物被遮挡区域掩模的图像；
步骤三二、利用训练集合{IZ_gray，EZ，MZ}以及相应的实际边缘特征真值集合{EGT}，训练边缘修复生成对抗网络GAN1，通过边缘修复生成对抗网络GAN1将缺损的建筑物边缘特征EZ预测为完整的建筑物边缘特征Epred；
步骤三三、利用训练集合{IZ_RGB，Epred}及无遮挡的图像真值集合
Figure FDA0003502002170000012
训练纹理修复生成对抗网络GAN2；通过纹理修复生成对抗网络GAN2在边缘特征Epred的约束下，对图像IZ_RGB进行修复，获得修复后建筑物图像Ipred。
3.根据权利要求2所述的一种面向倾斜遥感图像中建筑物遮挡信息的修复方法，其特征在于，边缘修复生成对抗网络GAN1的目标函数为：
Figure FDA0003502002170000011
其中，G1为边缘修复生成对抗网络GAN1中的生成网络，D1为边缘修复生成对抗网络GAN1中的判别网络；L1为对抗函数：且
Figure FDA0003502002170000021
LE为边缘特征匹配损失，且
Figure FDA0003502002170000022
其中，λ1和λE是正则化系数，L为D1的最后卷积层，Ni为第i个激活层的元素数量，i为激活层的序数，E是分布函数的期望值。
4.根据权利要求3所述的一种面向倾斜遥感图像中建筑物遮挡信息的修复方法，其特征在于，纹理修复生成对抗网络GAN2的目标函数为：
Figure FDA0003502002170000023
其中，G2为纹理修复生成对抗网络GAN2中的生成网络，D2为纹理修复生成对抗网络GAN2中的判别网络；λ2是正则化系数；
L2为对抗损失函数，且
Figure FDA0003502002170000024
5.根据权利要求4所述的一种面向倾斜遥感图像中建筑物遮挡信息的修复方法，其特征在于，边缘提取模块为Canny算子、Sobel索贝尔算子；
或HED整体嵌套边缘检测模型结合建筑物的实际边缘特征真值EGT进行训练获得的边缘提取网络。
6.根据权利要求1～5其中一项所述的一种面向倾斜遥感图像中建筑物遮挡信息的修复方法，其特征在于，步骤三中，则通过基于轮廓约束的图像补全策略对倾斜遥感图像中建筑物遮挡信息进行修复的步骤如下：
步骤三(1)、在全面掩模图MA上的一个建筑物检测框内，对分块遥感图像IRGB进行剪裁，使得剪裁出的图像Ivis包含建筑物，但不包括被遮挡区域且面积最大；
则图像Ivis的面积为：
Figure FDA0003502002170000025
xlt＞xrd，ylt＞yrd(xlt，ylt)，(xrd，yrd)∈Mb
其中，(xlt，ylt)和(xrd，yrd)分别为建筑物检测框在全面掩模图MA内的左上角点图像坐标和右下角图像坐标，全面掩模图MA为包括建筑物顶掩膜、立面掩膜、被遮挡区域掩膜以及背景区域掩膜的全面掩模图像；建筑物整体掩模图Mb为基于预测出的外轮廓CO对建筑物整体区域和背景区域的掩模图；预测出的外轮廓CO是通过训练后的透视实例分割网络得到；外轮廓CO为建筑物整体区域的外轮廓；
并生成训练样本集{Ivis，Mb}；
步骤三(2)、利用训练样本集{Ivis，Mb}配合无遮挡的图像真值集合
Figure FDA0003502002170000031
训练C-SRN网络；
C-SRN网络利用特征拓展网络FEN提取图像Ivis的上下文特征s(F)，同时利用建筑物整体掩模图Mb辅助填图像充Ivis至与分块遥感图像IRGB同样大小，得到有轮廓约束的拓展图Ivis_ex；
步骤三(3)、将拓展图Ivis_ex与s(F)进行级联，形成有轮廓约束的上下文特征后输入基于轮廓约束的生成对抗网络，形成修复后建筑物图像Ipred。
7.根据权利要求6所述的一种面向倾斜遥感图像中建筑物遮挡信息的修复方法，其特征在于，步骤二中，获得训练后的透视实例分割网络的具体方法如下：
步骤二一、选取设定数量的分块遥感图像并标注作为训练集和验证集；
标注是对分块遥感图像中建筑物整体区域和建筑物被遮挡区域进行标注；
步骤二二、利用训练集和验证集对透视实例分割网络进行训练和验证，得到训练后的透视实例分割网络。
CN202110692278.XA 2021-06-22 2021-06-22 一种面向倾斜遥感图像中建筑物遮挡信息的修复方法 Active CN113298808B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110692278.XA CN113298808B (zh) 2021-06-22 2021-06-22 一种面向倾斜遥感图像中建筑物遮挡信息的修复方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110692278.XA CN113298808B (zh) 2021-06-22 2021-06-22 一种面向倾斜遥感图像中建筑物遮挡信息的修复方法

Publications (2)

Publication Number Publication Date
CN113298808A CN113298808A (zh) 2021-08-24
CN113298808B true CN113298808B (zh) 2022-03-18

Family

ID=77329205

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110692278.XA Active CN113298808B (zh) 2021-06-22 2021-06-22 一种面向倾斜遥感图像中建筑物遮挡信息的修复方法

Country Status (1)

Country Link
CN (1) CN113298808B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114898210B (zh) * 2022-05-10 2023-03-03 清研灵智信息咨询(北京)有限公司 一种基于神经网络的遥感图像目标识别方法
CN115578643B (zh) * 2022-12-06 2023-02-17 东莞先知大数据有限公司 一种农田区域建筑检测方法、电子设备和存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102662172A (zh) * 2012-03-29 2012-09-12 天津大学 一种基于多普勒雷达反射率图像的风暴云团的外推方法
CN105427276A (zh) * 2015-10-29 2016-03-23 重庆电信系统集成有限公司 一种基于图像局部边缘特征的摄像头检测方法
CN106372603A (zh) * 2016-08-31 2017-02-01 重庆大学 遮挡人脸识别方法及装置
CN107679483A (zh) * 2017-09-27 2018-02-09 北京小米移动软件有限公司 号牌识别方法及装置
CN108171647A (zh) * 2017-11-24 2018-06-15 同济大学 一种考虑地表形变的Landsat 7条带影像修复方法
CN108280810A (zh) * 2018-01-09 2018-07-13 北方工业大学 一种单时相光学遥感图像云覆盖区修复的自动处理方法
CN108765380A (zh) * 2018-05-14 2018-11-06 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及移动终端
CN109753935A (zh) * 2019-01-09 2019-05-14 中南大学 一种基于生成对抗图像补全网络的步态识别方法
CN110770786A (zh) * 2017-10-26 2020-02-07 深圳市柔宇科技有限公司 基于摄像设备的遮挡检测修复装置及其遮挡检测修复方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8483518B2 (en) * 2010-02-19 2013-07-09 Microsoft Corporation Image-based CAPTCHA exploiting context in object recognition
US20130182184A1 (en) * 2012-01-13 2013-07-18 Turgay Senlet Video background inpainting
EP2899689A1 (en) * 2014-01-23 2015-07-29 Thomson Licensing Method for inpainting a target area in a target video
TWI607901B (zh) * 2015-11-06 2017-12-11 財團法人工業技術研究院 影像修補系統及其方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102662172A (zh) * 2012-03-29 2012-09-12 天津大学 一种基于多普勒雷达反射率图像的风暴云团的外推方法
CN105427276A (zh) * 2015-10-29 2016-03-23 重庆电信系统集成有限公司 一种基于图像局部边缘特征的摄像头检测方法
CN106372603A (zh) * 2016-08-31 2017-02-01 重庆大学 遮挡人脸识别方法及装置
CN107679483A (zh) * 2017-09-27 2018-02-09 北京小米移动软件有限公司 号牌识别方法及装置
CN110770786A (zh) * 2017-10-26 2020-02-07 深圳市柔宇科技有限公司 基于摄像设备的遮挡检测修复装置及其遮挡检测修复方法
CN108171647A (zh) * 2017-11-24 2018-06-15 同济大学 一种考虑地表形变的Landsat 7条带影像修复方法
CN108280810A (zh) * 2018-01-09 2018-07-13 北方工业大学 一种单时相光学遥感图像云覆盖区修复的自动处理方法
CN108765380A (zh) * 2018-05-14 2018-11-06 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及移动终端
CN109753935A (zh) * 2019-01-09 2019-05-14 中南大学 一种基于生成对抗图像补全网络的步态识别方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Efficient texture-aware multi-GAN for image inpainting;Mohamed AbbasHedjazi 等;《Knowledge-Based Systems》;20210213;第1-12页 *
基于各向异性信息扩散的图像修复方法;李金等;《应用科技》;20080905(第09期);第58-61页 *
基于知识规则构建和形态学修复的建筑物提取研究;黄金库等;《地理与地理信息科学》;20110715(第04期);第28-31页 *
用于数字表面模型建筑物分割的LS-ORTSEG方法;闫奕名等;《华南理工大学学报(自然科学版)》;20170315(第03期);第29-34页 *

Also Published As

Publication number Publication date
CN113298808A (zh) 2021-08-24

Similar Documents

Publication Publication Date Title
CN109447994B (zh) 结合完全残差与特征融合的遥感图像分割方法
CN113298808B (zh) 一种面向倾斜遥感图像中建筑物遮挡信息的修复方法
CN110276264B (zh) 一种基于前景分割图的人群密度估计方法
CN112288008B (zh) 一种基于深度学习的马赛克多光谱图像伪装目标检测方法
Jiang et al. Fog density estimation and image defogging based on surrogate modeling for optical depth
CN113689445B (zh) 结合语义分割与边缘检测的高分辨率遥感建筑物提取方法
TW201022708A (en) Method of change detection for building models
JP2006285310A (ja) 森林の樹冠の評価方法及びその樹冠評価プログラム
Nyaruhuma et al. Verification of 2D building outlines using oblique airborne images
CN110866455B (zh) 一种路面水体检测方法
CN111027511A (zh) 基于感兴趣区块提取的遥感图像舰船检测方法
CN111683221B (zh) 嵌入矢量红线数据的自然资源实时视频监测方法及系统
CN111310771B (zh) 遥感影像的道路图像提取方法、装置、设备及存储介质
Wan et al. An assessment of shadow enhanced urban remote sensing imagery of a complex city–Hong Kong
CN112991159B (zh) 人脸光照质量评估方法、系统、服务器与计算机可读介质
CN106778822B (zh) 基于漏斗变换的图像直线检测方法
KR101842154B1 (ko) 정량적 평가방법을 이용한 지형효과 보정 영상 제작 장치 및 그 방법
JP2005241886A (ja) 地理画像間変化領域の抽出方法、地理画像間変化領域を抽出可能なプログラム、閉領域抽出方法及び閉領域抽出可能なプログラム
JPH10269347A (ja) 地理画像上の影成分の除去方法及び地理画像処理装置、記録媒体
CN107392936B (zh) 一种基于meanshift的目标跟踪方法
JP3589271B2 (ja) 画像情報解析装置及び画像情報解析方法
JP4030318B2 (ja) 地図データ更新装置および地図データ更新方法
JP3897306B2 (ja) 地理画像間変化領域の抽出の支援方法及び地理画像間変化領域の抽出を支援可能なプログラム
Yang et al. Exposing photographic splicing by detecting the inconsistencies in shadows
TW201025189A (en) Method of video object segmentation in rainy situations

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant