CN110211124B - 一种基于MobileNetV2的红外成像结冰湖泊检测方法 - Google Patents

一种基于MobileNetV2的红外成像结冰湖泊检测方法 Download PDF

Info

Publication number
CN110211124B
CN110211124B CN201910520542.4A CN201910520542A CN110211124B CN 110211124 B CN110211124 B CN 110211124B CN 201910520542 A CN201910520542 A CN 201910520542A CN 110211124 B CN110211124 B CN 110211124B
Authority
CN
China
Prior art keywords
image
mobilenet
convolutional neural
saliency
lake
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910520542.4A
Other languages
English (en)
Other versions
CN110211124A (zh
Inventor
宋立
彭真明
张鹏飞
吕昱霄
曹思颖
刘雨菡
赵学功
彭凌冰
何艳敏
蒲恬
杨春平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN201910520542.4A priority Critical patent/CN110211124B/zh
Publication of CN110211124A publication Critical patent/CN110211124A/zh
Application granted granted Critical
Publication of CN110211124B publication Critical patent/CN110211124B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20032—Median filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于MobileNetV2的红外成像结冰湖泊检测方法，属于遥感及红外图像处理中的目标检测领域，解决现有的基于人工设计特征的检测方法对多种场景的泛用性不佳，鲁棒性低的问题。本发明获取一幅大小为m×n的待处理红外图像f0(x，y)进行预处理；基于全局对比度的显著性检测算法对预处理后的图像进行处理，得到显著性图像f2(x，y)；将显著性图像f2(x，y)进行处理得到候选区域gi(x，y)；将候选区域gi(x，y)逐个输入经微调训练的MobileNetV2卷积神经网络，得到输出结果yi∈R，再根据输出结果yi∈R判断各候选区域gi(x，y)是否为结冰湖泊。本发明用于红外成像结冰湖泊检测。

Description

一种基于MobileNetV2的红外成像结冰湖泊检测方法
技术领域
一种基于MobileNetV2的红外成像结冰湖泊检测方法，用于红外成像结冰湖泊检测，，属于遥感及红外图像处理中的目标检测领域。
背景技术
红外成像技术可实现目标的检测和识别，具有非接触性、捕捉细节能力强，可实现远距离检测且不受烟、雾等障碍影响的特点，还可实现昼夜的连续探测，因此，在军事、民用等领域得到广泛应用，特别是军用价值极高。其中，红外目标检测技术主要利用目标和背景之间的红外辐射差异来进行目标检测和识别。在军事预警系统中，由于红外图像一般对比度不高，边缘较为模糊，再加之各类虚警源(结冰湖泊、高空卷云、火山等)的存在，给精确的军事预警带来了困难，检测和去除虚警源的干扰是一项急需解决的问题。
红外结冰湖泊检测属于红外对地探测图像中的目标检测范畴。利用天基卫星图像进行河流、湖面等水域信息的自动检测主要有两类方法，一类是利用光谱特性的检测方法，主要有单波段和多波段法；另一类是基于形状纹理和空间关系的检测方法。现有的红外结冰湖泊检测技术大多是基于传统人工设计特征如纹理、亮度等的检测方法，在场景泛用性以及鲁棒性等方面存在不足。例如，CN201910089770公开了一种结冰湖泊红外成像检测方法，是基于图像的亮度信息人工设计特征利用超像素分割与全局结合局部对比度的方法检测结冰湖泊，该方法对结冰湖泊在图像中亮度特征不明显时，其检测效果不佳，即会造成检测准确率低的问题。
发明内容
针对上述研究的问题，本发明的目的在于提供一种基于MobileNetV2的红外成像结冰湖泊检测方法，解决现有的基于人工设计特征的检测方法对多种场景的泛用性不佳，鲁棒性低的问题。
为了达到上述目的，本发明采用如下技术方案：
一种基于MobileNetV2的红外成像结冰湖泊检测方法，包括如下步骤：
步骤1：获取一幅大小为ｍ×n的待处理红外图像f0(x，y)进行预处理，其中，f0(x，y)∈Rm×n，R为实数域；
步骤2：基于全局对比度的显著性检测算法对预处理后的图像进行处理，得到显著性图像f2(x，y)，其中，f2(x，y)∈Rm×n；
步骤3：将显著性图像f2(x，y)进行处理得到候选区域gi(x，y)，
Figure BDA0002096156470000021
步骤4：将候选区域gi(x，y)逐个输入经微调训练的MobileNetV2卷积神经网络，得到输出结果yi∈R，再根据输出结果yi∈R判断各候选区域gi(x，y)是否为结冰湖泊。
进一步，所述步骤1的具体步骤如下：
获取一幅大小为ｍ×n的待处理红外图像f0(x，y)，f0(x，y)∈Rm×n，对待处理红外图像f0(x，y)进行中值滤波得到滤波图像f1(x，y)，即对待处理红外图像f0(x，y)的每个像素点的像素值取该像素点3×3邻域内的中值，式为
Figure BDA0002096156470000022
其中，Ω为(x，y)的3×3邻域，滤波图像f1(x，y)即为预处理后的图像。
进一步，所述步骤2的具体步骤如下：
步骤2.1：基于全局对比度的显著性检测算法定义预处理后的图像中的坐标点(x，y)处的显著性为：
S(Ix，y)＝|Ix，y-Iμ|
其中，Ix，y代表坐标点(x，y)处的像素值，
Figure BDA0002096156470000023
为预处理后的图像的平均像素值，ｍ为图像行数，n为图像列数；
步骤2.2：判断预处理后的图像中的各坐标点是否已遍历，若是，得到显著性图像f2(x，y)，f2(x，y)∈Rm×n，若否，转到步骤2.1进行下一个坐标点的处理。
进一步，所述步骤3的具体步骤为：
步骤3.1：对显著性图像f2(x，y)采用Otsu法将其二值化，得到二值图像f3(x，y)，f3(x，y)∈Rm×n；
步骤3.2：对二值图像f3(x，y)进行形态学连通域处理，统计二值图像f3(x，y)中各连通域的面积，给定阈值舍弃面积较小的连通域，得到候选区域gi(x，y)，
Figure BDA0002096156470000024
进一步，所述步骤3.1的具体步骤为：
步骤3.1.1：计算显著性图像f2(x，y)的归一化直方图，使用pd，d＝0，1，2，...，L-1表示该归一化直方图的各灰度级概率密度，L为显著性图像f2(x，y)的灰度级；
步骤3.1.2：基于各灰度级概率密度pd，计算各灰度级的累积和
Figure BDA0002096156470000031
Figure BDA0002096156470000032
累积均值
Figure BDA0002096156470000033
和全局灰度均值
Figure BDA0002096156470000034
其中，k为灰度级；
步骤3.1.3：采用步骤3.1.2计算所得的累积和、累积均值和全局灰度均值分别计算灰度级k＝0，1，2，...，L-1时的类间方差
Figure BDA0002096156470000035
步骤3.1.4：根据步骤3.1.3计算得到的k＝0，l，2，...，L-1时的各类间方差
Figure BDA0002096156470000036
取使得类间方差最大的灰度级k值为二值分割的阈值，若有多个k值使类间方差最大则取这些k值的平均值为二值分割的阈值；
步骤3.1.5：根据步骤3.1.4所得的二值分割阈值，将显著性图像f2(x，y)阈值分割得到二值图像f3(x，y)，如下所示：
Figure BDA0002096156470000037
进一步，所述步骤4中，得到经微调训练的MobileNetV2卷积神经网络的具体步骤如下：
步骤4.1：读取经ImageNet预训练的MobileNetV2网络权重参数作为卷积神经网络训练起始点；
步骤4.2：冻结卷积神经网络中网络参数中的底层参数，即将其学习速率降为0；
步骤4.3：随机选取红外结冰湖泊图像数据集中的32张图像作为样本输入卷积神经网络，经计算得到卷积神经网络的输出y∈R32×c，其中，类型数c＝2，为结冰湖泊加上背景；式为：
y＝Wx
其中，W为卷积神经网络的权重张量，其中，初始权重张量即ImageNet预训练的MobileNetV2网络权重参数，x为输入样本的图像矩阵；
步骤4.4：根据步骤4.3卷积神经网络的输出计算损失函数的结果，具体为：
Figure BDA0002096156470000038
其中，yr，s为第r个样本对第s类型的真实值，
Figure BDA0002096156470000039
为第r个样本对第s类型的预测值；
步骤4.5：判断经步骤4.4计算得到的损失函数结果是否满足训练结束条件，若不满足，则进行下一步，若满足，则得到经微调训练的MobileNetV2卷积神经网络；
步骤4.6：根据经步骤4.4计算得到的损失函数结果，依照反向传播算法依次计算各权重的变化值，即更新步骤4.3中的权重张量W，具体为：
Figure BDA0002096156470000041
其中，Wt为第t轮迭代时的权重张量，η为权重学习率，J(Wt；xr；yr)为第t轮迭代时的损失函数的结果，在权重张量更新之后，转到步骤4.3。
进一步，所述步骤4.3的具体步骤如下：
步骤4.3.1：随机选取红外结冰湖泊图像数据集中的32张图像作为样本，将各样本的尺寸缩放为224×224；
步骤4.3.2：将步骤4.3.1处理后的各样本，在水平方向或/和竖直方向随机旋转0°-90°，并添加随机盐噪声，其中，添加随机盐噪声具体为，对样本中的每个像素点达到给定的概率p重置该像素点的灰度值为255，p一般取0.1％；
步骤4.3.3：将经过4.3.2处理后的各样本输入卷积神经网络，经过19个bottleneck结构计算，得到特征张量Y∈R7×7×320，每个bottleneck结构具体为：
Figure BDA0002096156470000042
其中，
Figure BDA0002096156470000043
为输入的特征张量，即上个bottleneck的输出特征张量，其中ρ为输入的特征张量的长宽，cin为特征张量通道数；
Figure BDA0002096156470000044
为扩张卷积核，使输入特征张量的通道数扩张，其中ε为扩张倍数；Wdepthwise∈R3×3x1×1为逐通道卷积核；
Figure BDA0002096156470000045
为全通道卷积核，其中cout为输出特征张量的通道数；
Figure BDA0002096156470000046
为压缩卷积核，使之前卷积计算的结果张量通道数压缩；
步骤4.3.4：各特征张量Y经一个卷积核尺寸为7×7×320×1280的卷积运算，得到各卷积后的特征张量Y′，Y′∈R7×7×1280；
步骤4.3.5：对各卷积后的特征张量Y′的各通道做最大池化处理得到对应的长度为1280的中间向量y′，y′∈R1280；
步骤4.3.6：将各中间向量y′经一个权重矩阵为W∈R1280×c的全连接层得到最终的输出向量y∈Rc，其中，类型数c＝2为结冰湖泊加上背景。
本发明同现有技术相比，其有益效果表现在：
一、本发明通过使用显著性检测结合卷积神经网络分类的方式避免使用人工设计特征，提高了对结冰湖泊的检测鲁棒性及多场景泛用性。具体表现为，现有方法在亮度特征不明显的图像中检测准确率为32.46％，本案的准确率为78.13％；
二、本发明针对红外结冰湖泊检测的数据特殊性利用小样本学习的方法减少小样本问题对深度学习网络训练的过拟合，有效应用深度学习在红外结冰湖泊检测上。具体表现为，在本案所用数据集上使用小样本学习方法后准确率从57.11％提高到79.38％；
三、本发明利用新型的轻量级卷积神经网络MobileNetV2，大大减少了传统卷积神经网络的参数量，相对传统网络进一步减少了小样本问题导致的过拟合。
附图说明
图1是本发明的流程图；
图2是本发明实施例采用的待处理红外图像；
图3是本发明实施例的显著性图像；
图4是本发明实施例的候选区域；
图5是本发明的结冰湖泊检测结果示意图。
具体实施方式
下面将结合附图及具体实施方式对本发明作进一步的描述。
基于深度学习的技术的效果取决于训练数据集的规模，而由于红外卫星对地观测的数据特殊性，其样本量规模具有小样本限制，因此现有的红外结冰湖泊检测技术较少采用深度学习的方法。本案结合小样本学习相关方法在减少网络训练的过拟合的同时充分发挥了深度学习对目标模型的拟合能力，有效提高检测算法的泛用性与鲁棒性。目前，对小样本条件下深度学习的研究主要着眼于两个方面：对输入数据的扩展和对训练策略的改进。输入数据的扩展：对输入数据的扩展是对训练样本采用几何空间变换、色彩空间变换以及添加随机噪声等方式人为的添加训练样本。训练策略的改进：对训练策略的改进是在训练时使用一些技巧以减小训练数据较少导致的拟合问题，常用的技巧包括微调预训练网络、训练学习率衰减、提前中止训练等。其中微调预训练网络方法具体为，将待训练网络基于一个基础网络进行微调，基础网络通过预先在含有丰富标签的大规模数据集如ImageNet上训练获得，在获得基础网络后，再将该网络在特定数据域上进行训练，训练时会冻结基础网络的部分底层参数，对邻域特定的网络参数进行训练。本案采用现有的小样本训练方法，包括对样本图像随机空间变换、对样本图像添加随机噪声和微调预训练网络方法，即采用ImageNet数据集预训练网络权重参数。
一种基于MobileNetV2的红外成像结冰湖泊检测方法，包括如下步骤：
步骤1：获取一幅大小为m×n的待处理红外图像f0(x，y)进行预处理，其中，f0(x，y)∈Rm×n，R为实数域；
具体步骤如下：
获取一幅大小为ｍ×n的待处理红外图像f0(x，y)，f0(x，y)∈Rm×n，对待处理红外图像f0(x，y)进行中值滤波得到滤波图像f1(x，y)，即对待处理红外图像f0(x，y)的每个像素点的像素值取该像素点3×3邻域内的中值，式为
Figure BDA0002096156470000061
其中，Ω为(x，y)的3×3邻域，滤波图像f1(x，y)即为预处理后的图像。
步骤2：基于全局对比度的显著性检测算法对预处理后的图像进行处理，得到显著性图像f2(x，y)，其中，f2(x，y)∈Rm×n；
具体步骤如下：
步骤2.1：基于全局对比度的显著性检测算法定义预处理后的图像中的坐标点(x，y)处的显著性为：
S(Ix，y)＝|Ix，y-Iμ|
其中，Ix，y代表坐标点(x，y)处的像素值，
Figure BDA0002096156470000062
为预处理后的图像的平均像素值，ｍ为图像行数，n为图像列数；
步骤2.2：判断预处理后的图像中的各坐标点是否已遍历，若是，得到显著性图像f2(x，y)，f2(x，y)∈Rm×n，若否，转到步骤2.1进行下一个坐标点的处理。
步骤3：将显著性图像f2(x，y)进行处理得到候选区域gi(x，y)，
Figure BDA0002096156470000063
具体步骤为：
步骤3.1：对显著性图像f2(x，y)采用Otsu法将其二值化，得到二值图像f3(x，y)，f3(x，y)∈Rm×n；
具体步骤为：
步骤3.1.1：计算显著性图像f2(x，y)的归一化直方图，使用pd，d＝0，1，2，...，L-1表示该归一化直方图的各灰度级概率密度，L为显著性图像f2(x，y)的灰度级；
步骤3.1.2：基于各灰度级概率密度pd，计算各灰度级的累积和
Figure BDA0002096156470000071
Figure BDA0002096156470000072
累积均值
Figure BDA0002096156470000073
和全局灰度均值
Figure BDA0002096156470000074
其中，k为灰度级；
步骤3.1.3：采用步骤3.1.2计算所得的累积和、累积均值和全局灰度均值分别计算灰度级k＝0，1，2，...，L-1时的类间方差
Figure BDA0002096156470000075
步骤3.1.4：根据步骤3.1.3计算得到的k＝0，1，2，...，L-1时的各类间方差
Figure BDA0002096156470000076
取使得类间方差最大的灰度级k值为二值分割的阈值，若有多个k值使类间方差最大则取这些k值的平均值为二值分割的阈值；
步骤3.1.5：根据步骤3.1.4所得的二值分割阈值，将显著性图像f2(x，y)阈值分割得到二值图像f3(x，y)，如下所示：
Figure BDA0002096156470000077
步骤3.2：对二值图像f3(x，y)进行形态学连通域处理，统计二值图像f3(x，y)中各连通域的面积，给定阈值舍弃面积较小的连通域，得到候选区域gi(x，y)，
Figure BDA0002096156470000078
步骤4：将候选区域gi(x，y)逐个输入经微调训练的MobileNetV2卷积神经网络，得到输出结果yi∈R，再根据输出结果yi∈R判断各候选区域gi(x，y)是否为结冰湖泊。
其中，得到经微调训练的MobileNetV2卷积神经网络的具体步骤如下：
步骤4.1：读取经ImageNet预训练的MobileNetV2网络权重参数作为卷积神经网络训练起始点；
步骤4.2：冻结卷积神经网络中网络参数中的底层参数，即将其学习速率降为0；
步骤4.3：随机选取红外结冰湖泊图像数据集中的32张图像作为样本输入卷积神经网络，经计算得到卷积神经网络的输出y∈R32×c，其中，类型数c＝2，为结冰湖泊加上背景；式为：
y＝Wx
其中，W为卷积神经网络的权重张量，其中，初始权重张量即ImageNet预训练的MobileNetV2网络权重参数，x为输入样本的图像矩阵；
具体步骤如下：
步骤4.3.1：随机选取红外结冰湖泊图像数据集中的32张图像作为样本，将各样本的尺寸缩放为224×224；
步骤4.3.2：将步骤4.3.1处理后的各样本，在水平方向或/和竖直方向随机旋转0°-90°，并添加随机盐噪声，其中，添加随机盐噪声具体为，对样本中的每个像素点达到给定的概率p重置该像素点的灰度值为255，p一般取0.1％；
步骤4.3.3：将经过4.3.2处理后的各样本输入卷积神经网络，经过19个bottleneck结构计算，得到特征张量Y∈R7×7×320，每个bottleneck结构具体为：
Figure BDA0002096156470000081
其中，
Figure BDA0002096156470000082
为输入的特征张量，即上个bottleneck的输出特征张量，其中ρ为输入的特征张量的长宽，cin为特征张量通道数；
Figure BDA0002096156470000083
为扩张卷积核，使输入特征张量的通道数扩张，其中ε为扩张倍数；Wdepthwise∈R3×3×1×1为逐通道卷积核；
Figure BDA0002096156470000084
为全通道卷积核，其中cout为输出特征张量的通道数；
Figure BDA0002096156470000085
为压缩卷积核，使之前卷积计算的结果张量通道数压缩；
步骤4.3.4：各特征张量Y经一个卷积核尺寸为7×7×320×1280的卷积运算，得到各卷积后的特征张量Y′，Y′∈R7×7×1280；
步骤4.3.5：对各卷积后的特征张量Y′的各通道做最大池化处理得到对应的长度为1280的中间向量y′，y′∈R1280；
步骤4.3.6：将各中间向量y′经一个权重矩阵为W∈R1280×c的全连接层得到最终的输出向量y∈Rc，其中，类型数c＝2为结冰湖泊加上背景。
步骤4.4：根据步骤4.3卷积神经网络的输出计算损失函数的结果，具体为：
Figure BDA0002096156470000086
其中，yr，s为第r个样本对第s类型的真实值，
Figure BDA0002096156470000087
为第r个样本对第s类型的预测值；
步骤4.5：判断经步骤4.4计算得到的损失函数结果是否满足训练结束条件，若不满足，则进行下一步，若满足，则得到经微调训练的MobileNetV2卷积神经网络；
步骤4.6：根据经步骤4.4计算得到的损失函数结果，依照反向传播算法依次计算各权重的变化值，即更新步骤4.3中的权重张量W，具体为：
Figure BDA0002096156470000091
其中，Wt为第t轮迭代时的权重张量，η为权重学习率，J(Wt；xr；yr)为第t轮迭代时的损失函数的结果，在权重张量更新之后，转到步骤4.3。
实施例
步骤1：获取一幅大小为m×n的待处理红外图像f0(x，y)进行预处理，其中f0(x，y)∈Rm×n，具体如图2所示；
步骤2：基于全局对比度的显著性检测算法对预处理后的图像进行处理，得到显著性图像f2(x，y)，其中，f2(x，y)∈Rm×n，具体如图3所示；
步骤3：将显著性图像f2(x，y)进行处理得到候选区域gi(x，y)，
Figure BDA0002096156470000092
具体如图4所示；
步骤4：将候选区域gi(x，y)逐个输入经微调训练的MobileNetV2卷积神经网络，得到输出结果yi∈R，再根据输出结果yi∈R判断各候选区域gi(x，y)是否为结冰湖泊，具体如图5所示。
综上所述，本发明在获取红外图像后，首先进行图像的预处理以消除噪声；再利用基于全局对比度的显著性检测算法得到显著性图像；然后结合阈值分割与形态学处理获得图像中与周围具有明显亮度差异的候选区域；最后将各候选区域输入神经网络得到其类型判断，并输出检测结果。本发明通过使用显著性检测结合新型的轻量级卷积神经网络MobileNetV2的方式避免使用人工设计特征，提高了对结冰湖泊的检测稳定性。
以上仅是本发明众多具体应用范围中的代表性实施例，对本发明的保护范围不构成任何限制。凡采用变换或是等效替换而形成的技术方案，均落在本发明权利保护范围之内。

Claims (5)

1.一种基于MobileNetV2的红外成像结冰湖泊检测方法，其特征在于，包括如下步骤：
步骤1：获取一幅大小为m×n的待处理红外图像f0(x,y)进行预处理，其中，f0(x,y)∈Rm ×n，R为实数域；
具体步骤如下：获取一幅大小为m×n的待处理红外图像f0(x,y)，f0(x,y)∈Rm×n，对待处理红外图像f0(x,y)进行中值滤波得到滤波图像f1(x,y)，即对待处理红外图像f0(x,y)的每个像素点的像素值取该像素点3×3邻域内的中值，式为
Figure FDA0004071065900000011
其中，Ω为(x,y)的3×3邻域，滤波图像f1(x,y)即为预处理后的图像；
步骤2：基于全局对比度的显著性检测算法对预处理后的图像进行处理，得到显著性图像f2(x,y)，其中，f2(x,y)∈Rm×n；
步骤3：将显著性图像f2(x,y)进行处理得到候选区域gi(x,y)，
Figure FDA0004071065900000012
步骤3.1：对显著性图像f2(x,y)采用Otsu法将其二值化，得到二值图像f3(x,y)，f3(x,y)∈Rm×n；
步骤3.2：对二值图像f3(x,y)进行形态学连通域处理，统计二值图像f3(x,y)中各连通域的面积，给定阈值舍弃面积较小的连通域，得到候选区域gi(x,y)，
Figure FDA0004071065900000013
步骤4：将候选区域gi(x,y)逐个输入经微调训练的MobileNetV2卷积神经网络，得到输出结果yi∈R，再根据输出结果yi∈R判断各候选区域gi(x,y)是否为结冰湖泊。
2.根据权利要求1所述的一种基于MobileNetV2的红外成像结冰湖泊检测方法，其特征在于，所述步骤2的具体步骤如下：
步骤2.1：基于全局对比度的显著性检测算法定义预处理后的图像中的坐标点(x,y)处的显著性为：
S(Ix,y)＝|Ix,y-Iμ|
其中，Ix,y代表坐标点(x,y)处的像素值，
Figure FDA0004071065900000014
为预处理后的图像的平均像素值，m为图像行数，n为图像列数；
步骤2.2：判断预处理后的图像中的各坐标点是否已遍历，若是，得到显著性图像f2(x,y)，f2(x,y)∈Rm×n，若否，转到步骤2.1进行下一个坐标点的处理。
3.根据权利要求1所述的一种基于MobileNetV2的红外成像结冰湖泊检测方法，其特征在于，所述步骤3.1的具体步骤为：
步骤3.1.1：计算显著性图像f2(x,y)的归一化直方图，使用pd,d＝0,1,2,...,L-1表示该归一化直方图的各灰度级概率密度，L为显著性图像f2(x,y)的灰度级；
步骤3.1.2：基于各灰度级概率密度pd，计算各灰度级的累积和
Figure FDA0004071065900000021
k＝0,1,2,...,L-1、累积均值
Figure FDA0004071065900000022
和全局灰度均值
Figure FDA0004071065900000023
其中，k为灰度级；
步骤3.1.3：采用步骤3.1.2计算所得的累积和、累积均值和全局灰度均值分别计算灰度级k＝0,1,2,...,L-1时的类间方差
Figure FDA0004071065900000024
步骤3.1.4：根据步骤3.1.3计算得到的k＝0,1,2,...,L-1时的各类间方差
Figure FDA0004071065900000025
取使得类间方差最大的灰度级k值为二值分割的阈值，若有多个k值使类间方差最大则取这些k值的平均值为二值分割的阈值；
步骤3.1.5：根据步骤3.1.4所得的二值分割阈值，将显著性图像f2(x,y)阈值分割得到二值图像f3(x,y)，如下所示：
Figure FDA0004071065900000026
4.根据权利要求3所述的一种基于MobileNetV2的红外成像结冰湖泊检测方法，其特征在于，所述步骤4中，得到经微调训练的MobileNetV2卷积神经网络的具体步骤如下：
步骤4.1：读取经ImageNet预训练的MobileNetV2网络权重参数作为卷积神经网络训练起始点；
步骤4.2：冻结卷积神经网络中网络参数中的底层参数，即将其学习速率降为0；
步骤4.3：随机选取红外结冰湖泊图像数据集中的32张图像作为样本输入卷积神经网络，经计算得到卷积神经网络的输出y∈R32×c，其中，类型数c＝2，为结冰湖泊加上背景；式为：
y＝Wx
其中，W为卷积神经网络的权重张量，其中，初始权重张量即ImageNet预训练的MobileNetV2网络权重参数，x为输入样本的图像矩阵；
步骤4.4：根据步骤4.3卷积神经网络的输出计算损失函数的结果，具体为：
Figure FDA0004071065900000031
其中，yr,s为第r个样本对第s类型的真实值，
Figure FDA0004071065900000032
为第r个样本对第s类型的预测值；
步骤4.5：判断经步骤4.4计算得到的损失函数结果是否满足训练结束条件，若不满足，则进行下一步，若满足，则得到经微调训练的MobileNetV2卷积神经网络；
步骤4.6：根据经步骤4.4计算得到的损失函数结果，依照反向传播算法依次计算各权重的变化值，即更新步骤4.3中的权重张量W，具体为：
Figure FDA0004071065900000033
其中，Wt为第t轮迭代时的权重张量，η为权重学习率，J(Wt；xr；yr)为第t轮迭代时的损失函数的结果，在权重张量更新之后，转到步骤4.3。
5.根据权利要求4所述的一种基于MobileNetV2的红外成像结冰湖泊检测方法，其特征在于，所述步骤4.3的具体步骤如下：
步骤4.3.1：随机选取红外结冰湖泊图像数据集中的32张图像作为样本，将各样本的尺寸缩放为224×224；
步骤4.3.2：将步骤4.3.1处理后的各样本，在水平方向或/和竖直方向随机旋转0°-90°，并添加随机盐噪声，其中，添加随机盐噪声具体为，对样本中的每个像素点达到给定的概率p重置该像素点的灰度值为255；
步骤4.3.3：将经过4.3.2处理后的各样本输入卷积神经网络，经过19个bottleneck结构计算，得到特征张量Y∈R7×7×320，每个bottleneck结构具体为：
Figure FDA0004071065900000034
其中，
Figure FDA0004071065900000035
为输入的特征张量，即上个bottleneck的输出特征张量，其中ρ为输入的特征张量的长宽，cin为特征张量通道数；
Figure FDA0004071065900000036
为扩张卷积核，使输入特征张量的通道数扩张，其中ε为扩张倍数；Wdepthwise∈R3×3×1×1为逐通道卷积核；
Figure FDA0004071065900000037
为全通道卷积核，其中cout为输出特征张量的通道数；
Figure FDA0004071065900000038
为压缩卷积核，使之前卷积计算的结果张量通道数压缩；
步骤4.3.4：各特征张量Y经一个卷积核尺寸为7×7×320×1280的卷积运算，得到各卷积后的特征张量Y′，Y′∈R7×7×1280；
步骤4.3.5：对各卷积后的特征张量Y′的各通道做最大池化处理得到对应的长度为1280的中间向量y′，y′∈R1280；
步骤4.3.6：将各中间向量y′经一个权重矩阵为W∈R1280×c的全连接层得到最终的输出向量y∈Rc，其中，类型数c＝2为结冰湖泊加上背景。
CN201910520542.4A 2019-06-17 2019-06-17 一种基于MobileNetV2的红外成像结冰湖泊检测方法 Active CN110211124B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910520542.4A CN110211124B (zh) 2019-06-17 2019-06-17 一种基于MobileNetV2的红外成像结冰湖泊检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910520542.4A CN110211124B (zh) 2019-06-17 2019-06-17 一种基于MobileNetV2的红外成像结冰湖泊检测方法

Publications (2)

Publication Number Publication Date
CN110211124A CN110211124A (zh) 2019-09-06
CN110211124B true CN110211124B (zh) 2023-04-07

Family

ID=67792922

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910520542.4A Active CN110211124B (zh) 2019-06-17 2019-06-17 一种基于MobileNetV2的红外成像结冰湖泊检测方法

Country Status (1)

Country Link
CN (1) CN110211124B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110996055A (zh) * 2019-12-02 2020-04-10 国网辽宁省电力有限公司检修分公司 输电线路图像监测系统镜头的自清洁装置及方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106228201A (zh) * 2016-06-20 2016-12-14 电子科技大学 一种基于阴影特性的合成孔径雷达抗欺骗式干扰方法
CN108510467A (zh) * 2018-03-28 2018-09-07 西安电子科技大学 基于深度可变形卷积神经网络的sar图像目标识别方法
CN108564006A (zh) * 2018-03-26 2018-09-21 西安电子科技大学 基于自步学习卷积神经网络的极化sar地物分类方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107229910A (zh) * 2017-05-18 2017-10-03 北京环境特性研究所 一种遥感图像结冰湖泊检测方法及其系统
CN107563433B (zh) * 2017-08-29 2020-11-17 电子科技大学 一种基于卷积神经网络的红外小目标检测方法
CN109285168B (zh) * 2018-07-27 2022-02-11 河海大学 一种基于深度学习的sar图像湖泊边界提取方法
CN109829423B (zh) * 2019-01-18 2023-03-07 电子科技大学 一种结冰湖泊红外成像检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106228201A (zh) * 2016-06-20 2016-12-14 电子科技大学 一种基于阴影特性的合成孔径雷达抗欺骗式干扰方法
CN108564006A (zh) * 2018-03-26 2018-09-21 西安电子科技大学 基于自步学习卷积神经网络的极化sar地物分类方法
CN108510467A (zh) * 2018-03-28 2018-09-07 西安电子科技大学 基于深度可变形卷积神经网络的sar图像目标识别方法

Also Published As

Publication number Publication date
CN110211124A (zh) 2019-09-06

Similar Documents

Publication Publication Date Title
CN107016677B (zh) 一种基于fcn和cnn的云图分割方法
Liu et al. Tiny and dim infrared target detection based on weighted local contrast
CN111797712B (zh) 基于多尺度特征融合网络的遥感影像云与云阴影检测方法
CN110378308B (zh) 改进的基于Faster R-CNN的港口SAR图像近岸舰船检测方法
CN113239830B (zh) 一种基于全尺度特征融合的遥感图像云检测方法
CN109829423B (zh) 一种结冰湖泊红外成像检测方法
CN109740485B (zh) 基于光谱分析和深度卷积神经网络的水库或塘坝识别方法
CN104834915B (zh) 一种复杂云天背景下小红外目标检测方法
CN107507209B (zh) 极化sar图像的素描图提取方法
CN109726649B (zh) 遥感影像云检测方法、系统及电子设备
CN103294792A (zh) 基于语义信息和极化分解的极化sar地物分类方法
CN106886747A (zh) 一种基于扩展小波变换的复杂背景下舰船检测方法
CN113378716A (zh) 一种基于自监督条件的深度学习sar影像舰船识别方法
CN110211124B (zh) 一种基于MobileNetV2的红外成像结冰湖泊检测方法
Zhang et al. Contextual squeeze-and-excitation mask r-cnn for sar ship instance segmentation
CN110276782B (zh) 一种结合空谱特征和相关滤波的高光谱目标跟踪方法
CN114648547A (zh) 用于反无人机红外探测系统的弱小目标检测方法和装置
CN113705441A (zh) 协同多光谱和sar影像的高时空分辨率地表水体提取方法
CN111783656A (zh) 一种基于统计特性预分割的自适应红外小目标检测方法
Pao et al. Locating the typhoon center from the IR satellite cloud images
CN114842235B (zh) 一种基于形状先验分割和多尺度特征聚合的红外弱小目标识别方法
Jishuang et al. A multi-threshold based morphological approach for extracting coastal line feature in remote sensed images
CN112016441B (zh) 基于Radon变换多特征融合的Sentinel-1图像海岸带养殖池提取方法
CN114140698A (zh) 一种基于FasterR-CNN的水系信息提取算法
Kumar et al. An empirical review on image dehazing techniques for change detection of land cover

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant