CN112287929A - 基于特征集成深度学习网络的遥感图像显著性分析方法 - Google Patents

基于特征集成深度学习网络的遥感图像显著性分析方法 Download PDF

Info

Publication number
CN112287929A
CN112287929A CN202011142426.2A CN202011142426A CN112287929A CN 112287929 A CN112287929 A CN 112287929A CN 202011142426 A CN202011142426 A CN 202011142426A CN 112287929 A CN112287929 A CN 112287929A
Authority
CN
China
Prior art keywords
local
remote sensing
sensing image
saliency map
feature integration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011142426.2A
Other languages
English (en)
Inventor
陈禾
刘湘
庄胤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN202011142426.2A priority Critical patent/CN112287929A/zh
Publication of CN112287929A publication Critical patent/CN112287929A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]

Abstract

本发明公开了基于特征集成深度学习网络的遥感图像显著性分析方法，通过自适应地集成图像的整体和局部特征进行预测，并模拟人类视觉特点进行高斯加权，能够很好地对高分辨率遥感图像中的城区进行显著性分析，可以有效地剔除虚警，同时，本方法无需使用像素级别的精确标注，仅借助目标级别的粗略标注，即可达到和语义分割网络相近的精度和速度，大幅降低了人工标注的时间成本，具有较好的实际应用价值。

Description

基于特征集成深度学习网络的遥感图像显著性分析方法
技术领域
本发明属于图像显著性检测技术领域，具体涉及基于特征集成深度学习网络的遥感图像显著性分析方法。
背景技术
图像显著性检测是图像处理中的一项运用广泛的技术，通过算法模拟人的视觉特点，对图像中的显著区域(即人类感兴趣的区域)进行提取。显著性检测在目标识别、图像压缩、图像检索等领域均有重要的应用价值，通过提取海量数据中的显著区域，可以将有限的计算资源分配给图像中更重要的部分，提高图像分析处理的效率。
图像显著性检测包括自下而上的基于数据驱动的注意机制和自上而下的基于任务驱动的注意机制：前者利用图像的颜色、亮度、边缘等特征判断目标和其周围区域像素的差异完成显著性检测，其特征描述能力较低，无法满足遥感图像特定显著性目标检测的需求；后者利用人类的先验知识，使用深度学习等方法对人工标注的图像样本进行特征提取完成显著性检测，其特征描述能力较高，在一定程度上满足了遥感图像的需求。但是对于高分辨率遥感图像，其背景更为复杂，细节更加丰富，目前的深度学习网络往往难以注意到图像中最具判别力的特征，导致显著性检测结果的精度不高。
综上所述，现有技术主要存在特征描述能力较低或难以注意到图像中最具判别力的特征等问题，导致存在显著性检测结果精度不高的问题，无法满足遥感图像特定显著性目标检测的需求。
发明内容
有鉴于此，本发明提供了基于特征集成深度学习网络的遥感图像显著性分析方法，能够实现高分辨率遥感图像中城区的显著性检测。
本发明提供了基于特征集成深度学习网络的遥感图像显著性分析方法，包括以下步骤：
将待分析遥感图像切割为多尺度的切片，采用特征集成深度学习网络提取所述切片的整体和局部特征、融合所述整体和局部特征得到显著图，对显著图中各切片中的感兴趣区域进行高斯加权，对加权后的显著图进行二值化分类得到所述待分析遥感图像中的感兴趣区域。
进一步地，所述采用特征集成深度学习网络提取所述切片的整体和局部特征、融合所述整体和局部特征得到显著图的过程为：将所述多尺度的切片输入残差神经网络1得到所述待分析遥感图像的全局特征，将所述全局特征输入特征金字塔网络得到多个局部区域，将所述局部区域输入残差神经网络2得到所述待分析遥感图像各切片的局部特征，所述全局特征与局部特征经过特征集成得到所述待分析遥感图像各切片的分类结果。
进一步地，所述特征集成深度学习网络中特征集成过程中采用公式(1)所示的损失函数：
Ljoint＝LI+λ·LC+μ·LA (1)
其中，Ljoint为联合损失，λ、μ均为常数系数，LI为局部区域损失，LC为全局及局部区域损失，LA为分类损失；
局部区域损失LI为公式(2)所示：
Figure BDA0002738630140000021
其中，I(Ri)为局部区域Ri的信息量，f(·)为单调递减函数，C(Ri)为局部区域Ri的置信度；
全局及局部区域损失LC为公式(3)所示：
Figure BDA0002738630140000031
其中，Sn为第n个切片的全局区域；
分类损失LA为公式(4)所示：
LA＝-logA(Sn,R1,R2,…,RK) (4)
其中，A为特征集成网络的分类结果。
进一步地，参数的取值为：M＝6、K＝3、λ＝μ＝1。
进一步地，所述对显著图中各切片中的感兴趣区域进行高斯加权，采用如下公式计算：
Figure BDA0002738630140000032
其中，σ为方差，x为显著图的图像像素横坐标，y为显著图的图像像素纵坐标。
进一步地，所述对加权后的显著图进行二值化分类的过程为：使用自适应阈值二值化方法对所述显著图进行二值化。
进一步地，所述自适应阈值二值化方法为大津法。
有益效果：
本发明通过自适应地集成图像的整体和局部特征进行预测，并模拟人类视觉特点进行高斯加权，能够很好地对高分辨率遥感图像中的城区进行显著性分析，可以有效地剔除虚警，同时，本方法无需使用像素级别的精确标注，仅借助目标级别的粗略标注，即可达到和语义分割网络相近的精度和速度，大幅降低了人工标注的时间成本，具有较好的实际应用价值。
附图说明
图1为本发明提供的基于特征集成深度学习网络的遥感图像显著性分析方法的流程示意图。
图2为本发明提供的基于特征集成深度学习网络的遥感图像显著性分析方法的采用的特征集成深度学习网络的结构示意图。
图3为本发明提供的基于特征集成深度学习网络的遥感图像显著性分析方法的处理过程示意图。
具体实施方式
下面结合附图并举实施例，对本发明进行详细描述。
本发明提供了基于特征集成深度学习网络的遥感图像显著性分析方法，其核心思想是：将高分辨率遥感图像切割为多尺度的切片、通过特征集成深度学习网络对图像切片的整体和局部特征进行自适应的提取融合、最后对深度学习网络预测的每个图像切片的二分类结果进行高斯加权，最后进行二值化分类得到感兴趣的区域。
本发明提供了一种基于集成深度学习网络的遥感图像显著性分析方法，分析过程如图1所示，具体包括以下步骤：
步骤1、对输入的高分辨率遥感图像进行切割，生成多尺度的切片{S1,S2,…,SN}∈I。例如，将多尺度因子αL的L设为3，重叠率设为50％。
步骤2、将步骤1生成的多尺度的切片输入本发明构建的特征集成深度学习网络进行二分类，特征集成深度学习网络的结构如图2所示，多尺度的切片数据经过残差神经网络1(ResNet-50-1)的处理后得到遥感图像各切片的全局特征，全局特征经过特征金字塔网络的处理后得到多个局部区域，局部区域经过残差神经网络2(ResNet-50-2)的处理后得到遥感图像各切片的局部特征，遥感图像各切片的全局特征及局部特征经过特征集成后得到遥感图像各切片的分类结果。本发明中ResNet-50-1与ResNet-50-2具有相同的网络结构。
下面举例说明步骤2的实现过程：
步骤2.1、将输入的切片尺寸归一化为448×448×3，将归一化后的切片输入到ResNet-50-1网络提取其全局特征。然后，通过特征金字塔网络对ResNet-50-1最后一层conv5_x的输出进行1×1和3×3的卷积，得到尺寸为{14×14,7×7,4×4}的特征金字塔，该特征金字塔分别对应原图像的尺寸为{48×48,96×96,192×192}。
步骤2.2、在特征金字塔上使用{1:1,2:3,3:2}三种比例生成A个局部区域，再使用非极大值抑制(NMS)方法对这A个局部区域进行筛选，取出其中分数最高的M个候选区域，将候选区域的尺寸归一化为224×224×3输入ResNet-50-2网络计算置信度，即提取切片的局部特征。
步骤2.3、将步骤2.1得到的全局特征和步骤2.2得到的局部特征，进行特征集成得到1×2048的特征向量，并预测出该切片的分类结果。
其中，为了提高图像切片分类的精度，本发明设计了步骤2.3特征集成中所采用的损失函数，如公式(1)所示：
Ljoint＝LI+λ·LC+μ·LA (1)
其中，Ljoint为联合损失，λ、μ均为常数系数，LI为局部区域损失，LC为全局及局部区域损失，LA为分类损失。
局部区域损失LI采用公式(2)进行计算：
Figure BDA0002738630140000051
其中，I(Ri)为局部区域Ri的信息量，f(·)为单调递减函数，C(Ri)为局部区域Ri的置信度。在网络训练过程中，特征金字塔网络生成A个候选区域，计算各候选区域的分数作为该区域的信息量I，将候选区域按照信息量I降序排序，选取前M个候选区域输入ResNet-50-2计算候选区域的置信度C。置信度C高表明该候选区域对分类的贡献大，为实现特征金字塔网络生成的信息量I大的候选区域具有较高的置信度C，即可描述为如下公式：
对于R1,R2,…,RM∈Sn,若C(R1)>C(R2)>…>C(RM),则I(R1)>I(R2)>…>I(RM)。
本发明中通过采用公式(2)计算局部区域损失实现上述公式所约束的情况。
全局及局部区域损失LC，为基于ResNet-50网络输出的置信度C，采用公式(3)进行计算：
Figure BDA0002738630140000061
其中，Sn为第n个切片的全局区域。
分类损失LA，为对M个候选区域再按照分数进行降序排序，选取前K个构建集成特征向量{Sn,R1,R2,…,RK}，得到分类结果A(Sn,R1,R2,…,RK)，并采用公式(4)计算集成特征向量的损失即为分类损失。
LA＝-logA(Sn,R1,R2,…,RK) (4)
其中，A为特征集成网络的分类结果。
以上过程中，参数的经验值为M＝6，K＝3，λ＝μ＝1。特征集成深度学习网络的训练过程中，通过计算联合损失，进行反向传播，更新特征集成深度学习网络的参数。
步骤3、基于步骤2输出的遥感图像各切片的分类结果生成原始图像的显著图，然后，对于分类结果为城区的切片，则对显著图中该切片对应的区域进行高斯加权操作。其中，高斯加权中的方差与步骤2中特征集成网络输出的置信度成正相关。
对显著图中城区切片对应区域的高斯加权可采用公式(5)计算：
Figure BDA0002738630140000071
其中，σ为方差，x为显著图的图像像素横坐标，y为显著图的图像像素纵坐标。
步骤4、使用大津法等自适应阈值二值化方法对步骤3输出的显著图进行二值化，得到城区提取的最终结果。步骤3和步骤4的实现过程如图3所示。
综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.基于特征集成深度学习网络的遥感图像显著性分析方法，其特征在于，包括以下步骤：
将待分析遥感图像切割为多尺度的切片，采用特征集成深度学习网络提取所述切片的整体和局部特征、融合所述整体和局部特征得到显著图，对显著图中各切片中的感兴趣区域进行高斯加权，对加权后的显著图进行二值化分类得到所述待分析遥感图像中的感兴趣区域。
2.根据权利要求1所述的方法，其特征在于，所述采用特征集成深度学习网络提取所述切片的整体和局部特征、融合所述整体和局部特征得到显著图的过程为：将所述多尺度的切片输入残差神经网络1得到所述待分析遥感图像的全局特征，将所述全局特征输入特征金字塔网络得到多个局部区域，将所述局部区域输入残差神经网络2得到所述待分析遥感图像各切片的局部特征，所述全局特征与局部特征经过特征集成得到所述待分析遥感图像各切片的分类结果。
3.根据权利要求2所述的方法，其特征在于，所述特征集成深度学习网络中特征集成过程中采用公式(1)所示的损失函数：
Ljoint＝LI+λ·LC+μ·LA (1)
其中，Ljoint为联合损失，λ、μ均为常数系数，LI为局部区域损失，LC为全局及局部区域损失，LA为分类损失；
局部区域损失LI为公式(2)所示：
Figure FDA0002738630130000011
其中，I(Ri)为局部区域Ri的信息量，f(·)为单调递减函数，C(Ri)为局部区域Ri的置信度；
全局及局部区域损失LC为公式(3)所示：
Figure FDA0002738630130000021
其中，Sn为第n个切片的全局区域；
分类损失LA为公式(4)所示：
LA＝-logA(Sn,R1,R2,…,RK) (4)
其中，A为特征集成网络的分类结果。
4.根据权利要求3所述的方法，其特征在于，参数的取值为：M＝6、K＝3、λ＝μ＝1。
5.根据权利要求3所述的方法，其特征在于，所述对显著图中各切片中的感兴趣区域进行高斯加权，采用如下公式计算：
Figure FDA0002738630130000022
其中，σ为方差，x为显著图的图像像素横坐标，y为显著图的图像像素纵坐标。
6.根据权利要求3所述的方法，其特征在于，所述对加权后的显著图进行二值化分类的过程为：使用自适应阈值二值化方法对所述显著图进行二值化。
7.根据权利要求6所述的方法，其特征在于，所述自适应阈值二值化方法为大津法。
CN202011142426.2A 2020-10-22 2020-10-22 基于特征集成深度学习网络的遥感图像显著性分析方法 Pending CN112287929A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011142426.2A CN112287929A (zh) 2020-10-22 2020-10-22 基于特征集成深度学习网络的遥感图像显著性分析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011142426.2A CN112287929A (zh) 2020-10-22 2020-10-22 基于特征集成深度学习网络的遥感图像显著性分析方法

Publications (1)

Publication Number Publication Date
CN112287929A true CN112287929A (zh) 2021-01-29

Family

ID=74424699

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011142426.2A Pending CN112287929A (zh) 2020-10-22 2020-10-22 基于特征集成深度学习网络的遥感图像显著性分析方法

Country Status (1)

Country Link
CN (1) CN112287929A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109754385A (zh) * 2019-01-11 2019-05-14 中南大学 未配准多聚焦图像的快速融合方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110555446A (zh) * 2019-08-19 2019-12-10 北京工业大学 基于多尺度深度特征融合和迁移学习的遥感影像场景分类方法
CN110633708A (zh) * 2019-06-28 2019-12-31 中国人民解放军军事科学院国防科技创新研究院 一种基于全局模型和局部优化的深度网络显著性检测方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110633708A (zh) * 2019-06-28 2019-12-31 中国人民解放军军事科学院国防科技创新研究院 一种基于全局模型和局部优化的深度网络显著性检测方法
CN110555446A (zh) * 2019-08-19 2019-12-10 北京工业大学 基于多尺度深度特征融合和迁移学习的遥感影像场景分类方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
XIANG LIU等: "Task-Driven Regional Saliency Analysis Based on a Global-Local Feature Assembly Network in Complex Optical Remote Sensing Scenes", 《IEEE》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109754385A (zh) * 2019-01-11 2019-05-14 中南大学 未配准多聚焦图像的快速融合方法

Similar Documents

Publication Publication Date Title
CN110443143B (zh) 多分支卷积神经网络融合的遥感图像场景分类方法
CN110348319B (zh) 一种基于人脸深度信息和边缘图像融合的人脸防伪方法
CN112966684B (zh) 一种注意力机制下的协同学习文字识别方法
CN110390251B (zh) 一种基于多神经网络模型融合处理的图像文字语义分割方法
CN112949572B (zh) 基于Slim-YOLOv3的口罩佩戴情况检测方法
CN110633708A (zh) 一种基于全局模型和局部优化的深度网络显著性检测方法
Chen et al. Corse-to-fine road extraction based on local Dirichlet mixture models and multiscale-high-order deep learning
CN113011357A (zh) 基于时空融合的深度伪造人脸视频定位方法
CN111783819B (zh) 小规模数据集上基于感兴趣区域训练改进的目标检测方法
CN108734200B (zh) 基于bing特征的人体目标视觉检测方法和装置
CN114022793A (zh) 一种基于孪生网络的光学遥感图像变化检测方法
CN110008899B (zh) 一种可见光遥感图像候选目标提取与分类方法
CN110222636B (zh) 基于背景抑制的行人属性识别方法
CN110020658B (zh) 一种基于多任务深度学习的显著目标检测方法
CN102867183A (zh) 一种车辆遗撒物检测方法、装置及智能交通监控系统
CN112232371A (zh) 一种基于YOLOv3与文本识别的美式车牌识别方法
CN114255403A (zh) 基于深度学习的光学遥感图像数据处理方法及系统
CN113255430A (zh) 基于深度学习的视频中人群分布检测与计数方法
CN114998603A (zh) 一种基于深度多尺度特征因子融合的水下目标检测方法
CN114429577B (zh) 一种基于高置信标注策略的旗帜检测方法及系统及设备
CN108647703A (zh) 一种基于显著性的分类图像库的类型判断方法
CN115393635A (zh) 一种基于超像素分割以及数据增强的红外小目标检测方法
CN113011528B (zh) 一种基于上下文和级联结构的遥感图像小目标检测方法
CN113487610B (zh) 疱疹图像识别方法、装置、计算机设备和存储介质
CN114359917A (zh) 一种手写汉字检测识别及字形评估方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210129