CN115035293A - 一种无监督深度学习的sar影像海水养殖智能提取方法 - Google Patents

一种无监督深度学习的sar影像海水养殖智能提取方法 Download PDF

Info

Publication number
CN115035293A
CN115035293A CN202210567764.3A CN202210567764A CN115035293A CN 115035293 A CN115035293 A CN 115035293A CN 202210567764 A CN202210567764 A CN 202210567764A CN 115035293 A CN115035293 A CN 115035293A
Authority
CN
China
Prior art keywords
image
network
layer
output
mariculture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210567764.3A
Other languages
English (en)
Inventor
范剑超
周健林
王心哲
高宁
马玉娟
王林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian Polytechnic University
National Marine Environmental Monitoring Center
Original Assignee
Dalian Polytechnic University
National Marine Environmental Monitoring Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian Polytechnic University, National Marine Environmental Monitoring Center filed Critical Dalian Polytechnic University
Priority to CN202210567764.3A priority Critical patent/CN115035293A/zh
Publication of CN115035293A publication Critical patent/CN115035293A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/273—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion removing elements interfering with the pattern to be recognised
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/10—Image enhancement or restoration using non-spatial domain filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种无监督深度学习的SAR影像海水养殖智能提取方法，属于海洋遥感与人工智能交叉技术领域，其特征是：1)建立双网络无监督深度学习结构，包含特征提取网络和全卷积语义分割网络；2)提出超像素分割结果与深度特征块判断方法，生成含有海水养殖边缘语义信息的伪标签；3)开展双网络交替更新，实现伪标签不断更新优化，逐步生成更精确的海水养殖提取结果。本发明的效果和益处是实现无需任何标签样本的深度学习网络海水养殖智能提取，有效解决了传统无监督方法精度低，有监督深度学习方法依赖于海量标记样本的难题，避免了合成孔径雷达影像中相干斑噪声的干扰，有效提高了无监督语义海水养殖提取精度。

Description

一种无监督深度学习的SAR影像海水养殖智能提取方法
技术领域
本发明属于海洋遥感与人工智能交叉技术领域，涉及一种无监督深度学习的SAR影像海水养殖智能提取方法。
背景技术
中国是世界上海水养殖发达的国家，无论从养殖面积和总产量均居世界首位。在经济利益的驱动下，不少地区无序盲目发展海水养殖业，大规模的围垦造成海域面积减少，纳潮量降低，削弱了海洋的自净能力，加剧了水域环境的恶化。为合理规划养殖区域，卫星遥感被广泛应用于养殖信息提取，浮筏养殖在可见光下具有清晰明显的特征，但可见光容易被云层、雨雪等自然条件干扰，造成信息大范围缺失。基于合成孔径雷达(SyntheticAperture Radar,SAR)遥感影像具有全天时、全天候对地实施观测能力，且可以克服云层对养殖提取的干扰。因此，基于SAR影像智能提取养殖具有十分重要的意义。
现有的海水养殖提取算法大多基于有监督方法，大体流程为：选择样本并制作标签、训练分类器、最后预测结果。这种方法需要大量标签样本，遥感数据标签获取困难，且海况复杂、目标变化大，标签成本过高。而从数据本身制定分类规则的传统无监督方法易受SAR影像中相干斑噪声影响，精度较低，且无法提取出有效的养殖语义信息。尚未开展无监督深度学习方法在SAR影像海水养殖信息提取的相关研究。因此，有必要针对长序列SAR影像海水养殖，搭建无监督深度学习模型，实现无需任何标签样本的深度学习网络海水养殖智能提取。
发明内容
本发明主要解决在完全无标签的情况下，如何搭建无监督深度学习网络，并使其学习到海水养殖语义信息，克服SAR影像中相干斑噪声干扰的问题，提出了一种无监督深度学习的SAR影像海水养殖智能提取方法，采用双深度学习网络结构，通过超像素块增强语义信息，生成伪标签，使双网络不断交替迭代，更新伪标签，实现无监督深度学习高精度海水养殖提取。
为了达到上述目的，本发明采用的技术方案为：
一种无监督深度学习的SAR影像海水养殖智能提取方法，本方法针对海水养殖遥感影像难以获得标签样本、传统无监督方法无法避免SAR影像相干斑噪声干扰、如何搭建无监督深度学习网络模型并获得海水养殖语义信息等难题，通过块判断和特征提取网络生成含有海水养殖语义信息的伪标签，使全卷积语义分割网络学习其语义信息，避免了相干斑噪声干扰，并通过两个深度学习网络的交替迭代，构建了无监督深度学习网络模型。包括以下步骤：
第一步，采用线性截断拉伸、伽马变换和高斯滤波三种图像增强方法对原图进行处理，其中三种图像增强方法均是对原图进行处理：
1.1)采用线性截断拉伸对原始图像进行处理，线性截断拉伸是遥感影像增强处理中最常用的方法之一。通过设置三种不同的截断值增强图像对比度，如公式(1)所示，读取原始图像的最大值和最小值，然后对原始图像进行直方图统计，找到截断值对应的原始图像灰度值，比如截断值设置为2，则找到对应2％的灰度值和98％的灰度值，并将灰度值作为输出图像的最大值和最小值，最终将原始图像线性拉伸为输出图像。这样，原始图像中大于98％的灰度值被输出图像的最大值代替，原始图像中小于2％的灰度值被输出图像的最小值代替。养殖区域相比海水区域具有较强的后向散射系数，但混入了相干斑噪声，通过线性截断拉伸，可以改善相干斑(异常值)噪声问题。
Figure BDA0003658859630000021
其中：Al为线性截断拉伸输出图像；O为输入图像；dm和cm分别是输出图像的最大值和最小值，bm和am分别是原始图像的最大值和最小值。
1.2)在SAR影像中，微波对海水穿透能力很弱，当有风浪时，可能会淹没养殖设施，导致被淹没养殖区域后向散射变弱，因此引入伽马变换，增强原始图像暗部细节，如公式(2)所示，通过非线性变换，将图像中较暗区域的灰度值得到增强。
Figure BDA0003658859630000031
其中，Ay为经过伽马变换后的输出值；c为灰度缩放系数；γ为伽马因子大小。
1.3)为了得到更好的养殖区域的图像边缘，以便于后续提取，采用高斯滤波平滑原始图像，公式如(3)所示，通过高斯滤波，消除高斯噪声。
Figure BDA0003658859630000032
其中，Ag为经过高斯滤波后的输出图像，σ为标准差。
将原始图像分别采用上述图像增强方法，其中，线性截断拉伸设置三种不同的截断值，一共得到五种不同的增强后的输出图像。并将图像增强后的输出图像作为第三步中特征提取网络和第四步中全卷积语义分割网络的输入。
第二步，由于是在无监督条件下提取养殖信息，在输出图像进入网络之前需要提供一些先验知识，通过传统无监督方法得到养殖区域的边缘信息和海水与养殖之间的像素值差异，采用超像素分割算法，将图像分割为具有相似纹理、颜色、亮度等特征的相邻像素构成的具有一定视觉意义的不规则像素块。使用的超像素算法为简单线性迭代聚类(Simple Linear Iterative Clustering,SLIC)，其在运算速度、物体轮廓保持、超像素形状方面具有较高的综合评价。SLIC超像素算法具体如下：
2.1)将原始图像转换到国际照明协会颜色模型(Commission Internationale deL'Eclairage Lab,CIELAB)的色彩空间，设置初始聚类中心个数k和距离测量D，将限制区域内的每个像素分配给最近的聚类中心，公式如下：
Figure BDA0003658859630000033
其中，
Figure BDA0003658859630000034
li、ai、bi分别代表像素点i在L通道、a通道和b通道的值，dc为像素点与聚类中心之间的CIELAB值之间的距离；
Figure BDA0003658859630000035
x、y分别代表像素点在图像中的横纵坐标，ds为像素点与聚类中心之间的空间位置的距离；
Figure BDA0003658859630000041
为预期的超像素块大小，由图片大小N和初始聚类中心个数k决定；m为常数，决定最大颜色距离。
2.2)将每个像素点分配给最近的聚类中心后，在同一聚类中心下的像素点的l、a、b、x、y通道中取平均，更新聚类中心。根据L2范数计算新的之前的聚类中心位置残留误差，公式如下：
Figure BDA0003658859630000042
2.3)分配像素和更新聚类中心迭代重复，直到误差收敛或者达到一定的迭代次数。经过实践发现10次迭代对绝大部分图片都可以得到比较理想效果，实际中一般固定迭代10次。
经过SLIC算法得到超像素分割后的结果图，成功检测出养殖轮廓，并将整张图像分割成多个小块，每个小块边缘较为吻合养殖区域边缘，但也存在很多误判，精度较低，而且仅检测出边缘，并未得到养殖提取结果，需要保留其边缘信息，即每个小块所包含的像素点位置，在第三步中做进一步处理生成伪标签。
第三步，在完全无监督的情况下，需要伪标签作为深度学习网络的目标。利用第一步中得到的五张图像，将其进行通道变换，每张图像作为一个输入通道，最终，深度学习网络的输入为五通道的增强图像。
3.1)搭建特征提取网络模型，通过特征提取网络得到养殖区域深度特征，特征提取网络主要由卷积层、ReLU层和BN层构成，以卷积层、ReLU层和BN层作为一个整体模块，整体模块中的三个层首尾相连，可以任意调整模块数量作为特征提取网络。比如，输入图像进入卷积层、ReLU层和BN层模块后，输出的值再次进入新一个卷积层、ReLU层和BN层模块。其中，卷积层公式如(6)所示，第一步中的输出图像作为第一个模块中的卷积层的输入，其余模块的卷积层的输入则为上一个模块中BN层的输出。
Figure BDA0003658859630000043
其中，ac为卷积层输出；Wg为第g个卷积核的权重；xi为第i个输入；bi为第g个偏置；I为输入的总个数；G为卷积核总个数。
为了使特征提取网络快速收敛，在卷积层之后加入ReLU层，公式如(7)所示，即卷积层的输出作为ReLU层的输入。
ar＝max(0,ag)(7)
其中，ar为ReLU层的输出。
为了防止特征提取网络训练时梯度消失及过拟合，在ReLU层之后加入BN层，公式如(8)所示，即ReLU层的输出作为BN层的输入。
Figure BDA0003658859630000051
其中，ε为系统自动生成的极小值。
3.2)将特征提取网络模型最后一层输出接入softmax函数，公式如(9)所示，即将第N个卷积层、ReLU层和BN层模块的输出作为softmax函数的输入。
Figure BDA0003658859630000052
其中，
Figure BDA0003658859630000053
为第N个卷积层、ReLU层和BN层模块的输出。
3.3)通过softmax函数可以将输出值转换为范围在[0,1]内且和为1的概率分布。为区分海水与养殖，将其转换为二分类问题，设置softmax函数输出通道数为2，每个通道分别代表海水区域概率和养殖区域概率。为了得到伪标签，将2通道的输出概率转换为单通道索引值，对softmax输出进行通道最大值索引，返回最大值的通道索引值，这样在单通道图像上只存在0或1索引值，可将其作为伪标签。
3.4)由于SAR影像中的相干斑噪声，导致伪标签没有很好的语义信息，养殖区域可能参杂海水标签。于是利用第二步中得到的超像素块的位置信息，进行块判断操作。详细解释如下，将超像素分割块对应刚刚得到的伪标签(通道最大值索引)中，在伪标签图的每个小块中(小块来自超像素块位置信息)进行优势占比判断，将标签图中的各个小块替换为其优势标签，这样保证了小块中拥有统一的伪标签，避免了相干斑噪声干扰，增强了空间一致性，生成了为含有养殖语义信息的伪标签。
第四步，为充分利用上步生成的含有养殖语义信息的伪标签，搭建全卷积语义分割网络模型。
4.1)采用全卷积语义分割网络得到海水养殖区域提取结果，利用第三步得到的具有养殖语义信息的伪标签为目标进行训练，目标函数LU-Net如下式所示：
Figure BDA0003658859630000061
其中，x为输入图像，N为输入图像数目，SLIC(·)为超像素分割函数，PE为块判断方法，f(·)为特征提取网络模型，g(·)为全卷积语义分割网络模型。
这样，通过全卷积语义分割网络进一步强化学习含有养殖语义信息伪标签中的海水养殖语义信息，提高提取精度，改善块判断中优势占比而忽略的养殖区域。
4.2)为使双网络在无监督情况下的提取精度逐步提高，伪标签需要不断更新优化，故将全卷积语义分割网络生成的海水养殖区域提取结果与第三步中特征提取网络输出的伪标签做交叉熵损失，反向传播优化伪标签的生成过程(也就是通过海水养殖区域提取结果优化伪标签，实现交替优化，即伪标签优化提取结果、提取结果反过来优化伪标签，不断循环)，其目标函数LFEN如下：
Figure BDA0003658859630000062
这样，特征提取网络的伪标签能够被全卷积语义分割网络所优化，进而优化的伪标签再次作为全卷积语义分割网络目标进行第二轮的迭代，完成了双网络的交替迭代，即固定特征提取网络的伪标签优化全卷积语义分割网络，或固定全卷积语义分割网络养殖提取结果优化特征提取网络。实现了伪标签和海水养殖区域提取结果的交替更新，逐步生成泛化能力更强、精度更高的全卷积语义网络。当特征提取网络与块操作生成的伪标签不再发生变化时，双网络交替迭代停止，单单训练全卷积语义分割网络直至网络收敛。
本发明的有益效果为：
本发明提高了传统无监督方法的提取精度，避免了SAR影像中的相干斑噪声干扰，为SAR影像中的海水养殖区域的智能提取提供了一种无监督深度学习方法。在深度学习卷积神经网络中，往往需要一个明确的损失目标，即真值标签，本发明利用特征提取网络生成了简易伪标签，并针对海水养殖提取问题提出了块操作，在避免SAR影像相干斑噪声的同时，也使得简易伪标签含有了养殖语义信息。同时，本专利为了进一步加强这种语义信息提高养殖提取精度，提出双网络结构，增加全卷积语义分割网络，在增强养殖语义的同时，又能使其结果反向优化特征提取网络进而实现优化伪标签，并且，双网络的交替更新为伪标签的优化提供了方向，使得伪标签越来越靠近真值，实现了无监督深度学习的高精度养殖提取。本发明提出的方法精度较高、满足长序列SAR影像海水养殖监测的可实现性。
附图说明
图1为一种无监督深度学习的SAR影像海水养殖智能提取方法的整体框图；
图2为超像素分割算法结果示意图，(a)、(b)、(c)分别为三个不同的养殖区域；
图3为特征提取网络得到的没有语义信息的伪标签，(a)、(b)、(c)分别为三个不同的养殖区域；
图4为块操作方法得到的含有语义信息的伪标签，(a)、(b)、(c)分别为三个不同的养殖区域；
图5为本专利方法的智能提取结果，(a)、(b)、(c)分别为三个不同的养殖区域；
图6为筏式养殖高分3号卫星的智能提取结果详情，(a)为区域一的原始图，(b)为区域一的真值图，(c)为本专利方法结果，精度Accuracy＝90.97％；
图7为网箱养殖RADARSAT-2卫星的提取结果详情，(a)为原始图，(b)为真值图，(c)为本专利方法结果，精度Accuracy＝92.34％。
具体实施方式
为使本发明解决的方法问题、采用的方法方案和达到的方法效果更加清楚，下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部内容。
如图1所示，本发明实施例提供的一种无监督深度学习的SAR影像海水养殖智能提取方法包括：
在python3.6.12、pytorch1.7.1和cuda11.0在windows10系统下进行编译，使用RTX 3080的GPU运行，输入数据大小为256×256的SAR影像。
第一步，采用线性截断拉伸、伽马变换和高斯滤波三种图像增强方法，此外，三种图像增强方法均是对原图进行处理：
1.1)采用线性截断拉伸对原始图像进行处理，线性截断拉伸是遥感影像增强处理中最常用的方法之一。通过设置不同的截断值增强图像对比度，如公式(1)所示，读取原始图像的最大值和最小值，然后对原始图像进行直方图统计，找到截断值对应的原始图像灰度值，比如截断值设置为2，则找到对应2％的灰度值和98％的灰度值，并将灰度值作为输出图像的最大值和最小值，最终将原始图像线性拉伸为输出图像。这样，原始图像中大于98％的灰度值被输出图像的最大值代替，原始图像中小于2％的灰度值被输出图像的最小值代替。养殖区域相比海水区域具有较强的后向散射系数，但混入了相干斑噪声，通过线性截断拉伸，可以改善相干斑(异常值)噪声问题。
Figure BDA0003658859630000081
其中：Al为线性截断拉伸输出图像；O为输入图像；dm和cm分别是输出图像的最大值和最小值，bm和am分别是原始图像的最大值和最小值。
实际上，对于线性截断拉伸需要设置的参数只有截断值和输出图像，本专利为海水养殖提取提供了三个不同截断值大小2，5和7，通过不同的截断值改善不同强度的相干斑噪声。
1.2)在SAR影像中，微波对海水穿透能力很弱，当有风浪时，可能会淹没养殖设施，导致被淹没养殖区域后向散射变弱，引入伽马变换，增强原始图像暗部细节，如公式(2)所示，通过非线性变换，让图像中较暗区域的灰度值得到增强。
Figure BDA0003658859630000091
其中，Ay为经过伽马变换后的输出值；c为灰度缩放系数，通常取1；γ为伽马因子大小，控制整个变换的缩放程度。本专利选择的伽马因子为0.5，灰度缩放系数为1。
1.3)为了得到更好的养殖区域的图像边缘，以便于后续提取，采用高斯滤波平滑原始图像，公式如(3)所示，通过高斯滤波，消除高斯噪声。
Figure BDA0003658859630000092
其中，Ag为经过高斯滤波后的输出图像，σ为标准差，控制平滑效果，选择的标准差为2。
将原始图像分别采用上述图像增强方法，其中，线性截断拉伸设置三种不同的截断值(2、5、7)，一共得到五种不同的增强后的输出图像。并将图像增强后的输出图像作为第三步中特征提取网络和第四步种全卷积语义分割网络的输入。
第二步，由于是在无监督条件下提取养殖信息，在输出图像进入网络之前需要提供一些先验知识，通过传统无监督方法得到养殖区域的边缘信息和海水与养殖之间的像素值差异，传统无监督方法采用超像素分割算法，将图像分割为具有相似纹理、颜色、亮度等特征的相邻像素构成的具有一定视觉意义的不规则像素块。使用的超像素算法为简单线性迭代聚类(Simple Linear Iterative Clustering,SLIC)，其在运算速度、物体轮廓保持、超像素形状方面具有较高的综合评价。SLIC超像素算法具体如下：
2.1)将原始图像转换到国际照明协会颜色模型(Commission Internationale deL'Eclairage Lab,CIELAB)的色彩空间，设置初始聚类中心个数k和距离测量D，将限制区域内的每个像素分配给最近的聚类中心，公式如下：
Figure BDA0003658859630000101
其中，
Figure BDA0003658859630000102
li、ai、bi分别代表像素点i在L通道、a通道和b通道的值，dc为像素点与聚类中心之间的CIELAB值之间的距离；
Figure BDA0003658859630000103
x、y分别代表像素点在图像中的横纵坐标，ds为像素点与聚类中心之间的空间位置的距离；
Figure BDA0003658859630000104
为预期的超像素块大小，由图片大小N和初始聚类中心个数k＝30决定；m＝5为常数，决定最大颜色距离。
2.2)将每个像素点分配给最近的聚类中心后，在同一聚类中心下的像素点的l、a、b、x、y通道中取平均，更新聚类中心。根据L2范数计算新的之前的聚类中心位置残留误差，公式如下：
Figure BDA0003658859630000105
2.3)分配像素和更新聚类中心迭代重复，直到误差收敛或者达到一定的迭代次数。经过实践发现10次迭代对绝大部分图片都可以得到比较理想效果，实际中一般固定迭代10次。本专利规定SLIC超像素算法迭代十次后停止。
经过SLIC算法得到超像素分割后的结果图，结果如图2所示，成功检测出养殖轮廓，并将整张图像分割成多个小块，每个小块边缘较为吻合养殖区域边缘，但也存在很多误判，精度较低，而且仅检测出边缘，并未得到养殖提取结果，需要保留其边缘信息，即每个小块所包含的像素点位置，在第三步中做进一步处理生成伪标签。
第三步，在完全无监督的情况下，需要伪标签作为深度学习网络的目标。利用第一步中得到的五张图像，将其进行通道变换，每张图像作为一个输入通道，最终，深度学习网络的输入为五通道的增强图像。
3.1)搭建特征提取网络模型，通过特征提取网络得到养殖区域深度特征为伪标签的生成提供先验知识。特征提取网络主要由卷积层、ReLU层和BN层构成，以卷积层、ReLU层和BN层作为一个整体模块T，可以调整模块数量T＝5作为特征提取网络。比如，输入图像进入卷积层、ReLU层和BN层模块后，输出的值再次进入新一个卷积层、ReLU层和BN层模块。其中，卷积层公式如(6)所示，第一步中的输出图像作为第一个模块中的卷积层的输入，其余模块的卷积层的输入则为上一个模块中BN层的输出。
Figure BDA0003658859630000111
其中，ac为卷积层输出；Wg为第g个卷积核的权重；xi为第i个输入；bi为第g个偏置；I为输入的总个数；G为卷积核总个数。
为了使特征提取网络快速收敛，在卷积层之后加入ReLU层，公式如(7)所示，即卷积层的输出作为ReLU层的输入。
ar＝max(0,ag)(7)
其中，ar为ReLU层的输出。
为了防止特征提取网络训练时梯度消失及过拟合，在ReLU层之后加入BN层，公式如(8)所示，即ReLU层的输出作为BN层的输入。
Figure BDA0003658859630000112
其中，ε为系统自动生成的极小值。
每层卷积核权重大小Wg为3×3，步长为1，第一个模块T＝1输入xi通道数I＝5，输出通道数G＝100，之后每个输入xi由前一个模块BN层输出ab得到，中间三个模块输入I等于输出通道数G等于100，第五个模块输入通道数I＝100，输出通道数G＝2，偏置
Figure BDA0003658859630000113
由网络训练得到。
3.2)将特征提取网络模型最后一层输出接入softmax函数，公式如(9)所示，即将第N个卷积层、ReLU层和BN层模块的输出作为softmax函数的输入。
Figure BDA0003658859630000121
其中，
Figure BDA0003658859630000122
为第N个卷积层、ReLU层和BN层模块的输出。
3.3)通过softmax函数可以将输出值转换为范围在[0,1]内且和为1的概率分布。为区分海水与养殖，将其转换为二分类问题，设置softmax函数输出通道数为2，每个通道分别代表海水区域概率和养殖区域概率。为了得到伪标签，将2通道的输出概率转换为单通道索引值，对softmax输出进行通道最大值索引，返回最大值的通道索引值，这样在单通道图像上只存在0或1索引值，可将其作为伪标签，结果如图3所示。
3.4)由于SAR影像中的相干斑噪声，导致伪标签没有很好的语义信息，养殖区域可能参杂海水标签。于是利用第二步中得到的超像素块的位置信息，进行块判断操作。详细解释如下，将超像素分割块对应刚刚得到的伪标签(通道最大值索引)中，在伪标签图的每个小块中(小块来自超像素块位置信息)进行优势占比判断，将标签图中的各个小块替换为其优势标签，这样保证了小块中拥有统一的伪标签，避免了相干斑噪声干扰，增强了空间一致性，生成了为含有养殖语义信息的伪标签，结果如图4所示。
第四步，为充分利用上步生成的含有养殖语义信息的伪标签，搭建全卷积语义分割网络模型，选用的语义分割网络为U-Net网络，用卷积层提取深度信息，由四次下采样和四次上采样构成U型结构，卷积核大小为3×3，公式如式(7)所示，下采样方法选择最大池化，保留2×2区域内最大的一个值，上采样采用插值的方式进行转置卷积。
4.1)采用全卷积语义分割网络得到海水养殖区域提取结果。利用第三步得到的具有养殖语义信息的伪标签为目标进行训练，目标函数LU-Net如下式所示：
Figure BDA0003658859630000131
其中，x为输入图像，N为输入图像数目，SLIC(·)为超像素分割函数，PE为块判断方法，f(·)为特征提取网络模型，g(·)为全卷积语义分割网络模型。
这样，通过全卷积语义分割网络进一步强化学习含有养殖语义信息伪标签中的海水养殖语义信息，提高提取精度，改善块判断中优势占比而忽略的养殖区域，结果如图5所示。
4.2)为使双网络在无监督情况下的提取精度逐步提高，伪标签需要不断更新优化，故将全卷积语义分割网络生成的海水养殖区域提取结果与第三步中特征提取网络输出的伪标签做交叉熵损失，反向传播优化伪标签的生成过程，其目标函数LFEN如下：
Figure BDA0003658859630000132
这样，特征提取网络的伪标签能够被全卷积语义分割网络所优化，进而优化的伪标签再次作为全卷积语义分割网络目标进行第二轮的迭代，完成了双网络的交替迭代，即固定特征提取网络的伪标签优化全卷积语义分割网络，或固定全卷积语义分割网络养殖提取结果优化特征提取网络。实现了伪标签和海水养殖区域提取结果的交替更新，逐步生成泛化能力更强、精度更高的全卷积语义网络。当特征提取网络与块操作生成的伪标签不再发生变化时，双网络交替迭代停止，单单训练全卷积语义分割网络直至网络收敛，最终养殖提取结果如图6和图7所示，分别为在高分3号卫星上和RADARSAT-2卫星上的养殖提取结果，图6养殖提取精度Accuracy＝90.97％，图7养殖提取精度Accuracy＝92.34％。
最后应说明的是：以上各实施例仅用以说明本发明的方法方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通方法人员应当理解：其对前述各实施例所记载的方法方案进行修改，或者对其中部分或者全部方法特征进行等同替换，并不使相应方法方案的本质脱离本发明各实施例方法方案的范围。

Claims (2)

1.一种无监督深度学习的SAR影像海水养殖智能提取方法，其特征在于，包括以下步骤：
第一步，采用线性截断拉伸、伽马变换和高斯滤波三种图像增强方法对原图进行处理：
1.1)采用线性截断拉伸对原始图像进行处理
通过设置三种不同的截断值增强图像对比度，如公式(1)所示，读取原始图像的最大值和最小值，然后对原始图像进行直方图统计，找到截断值对应的原始图像灰度值，并将灰度值作为输出图像的最大值和最小值，最终将原始图像线性拉伸为输出图像；通过线性截断拉伸，可以改善相干斑噪声问题；
Figure FDA0003658859620000011
其中：Al为线性截断拉伸输出图像；O为输入图像；dm和cm分别是输出图像的最大值和最小值，bm和am分别是原始图像的最大值和最小值；
线性截断拉伸设置三种不同的截断值，分别得到三种不同的增强后的输出图像；
1.2)在SAR影像中，引入伽马变换，增强原始图像暗部细节，如公式(2)所示，通过非线性变换，将图像中较暗区域的灰度值得到增强，得到第四种增强后的输出图像；
Figure FDA0003658859620000012
其中，Ay为经过伽马变换后的输出值；c为灰度缩放系数；γ为伽马因子大小；
1.3)为了得到更好的养殖区域的图像边缘，便于后续提取，采用高斯滤波平滑原始图像，公式如(3)所示，通过高斯滤波，消除高斯噪声，得到第五种增强后的输出图像；
Figure FDA0003658859620000013
其中，Ag为经过高斯滤波后的输出图像，σ为标准差；
将原始图像分别采用上述图像增强方法，一共得到五种不同的增强后的输出图像；并将图像增强后的输出图像作为第三步中特征提取网络和第四步中全卷积语义分割网络的输入；
第二步，由于是在无监督条件下提取养殖信息，在输出图像进入网络之前需要提供一些先验知识，通过传统无监督方法得到养殖区域的边缘信息和海水与养殖之间的像素值差异，采用超像素分割算法，将图像分割为具有相似纹理、颜色、亮度特征的相邻像素构成的不规则像素块；
经过超像素分割算法得到超像素分割后的结果图，能够检测出养殖轮廓，并将整张图像分割成多个小块，每个小块边缘较为吻合养殖区域边缘，保留其边缘信息，即每个小块所包含的像素点位置，在第三步中做进一步处理生成伪标签；
第三步，在完全无监督的情况下，需要伪标签作为深度学习网络的目标；利用第一步中得到的五张图像，将其进行通道变换，每张图像作为一个输入通道，最终，深度学习网络的输入为五通道的增强图像；
3.1)搭建特征提取网络模型，通过特征提取网络得到养殖区域深度特征，特征提取网络主要由卷积层、ReLU层和BN层构成，以卷积层、ReLU层和BN层作为一个整体模块，整体模块中的三个层首尾相连，可以任意调整模块数量作为特征提取网络；
所述的卷积层公式如(6)所示，第一步中的输出图像作为第一个模块中的卷积层的输入，其余模块的卷积层的输入则为上一个模块中BN层的输出；
Figure FDA0003658859620000021
其中，ac为卷积层输出；Wg为第g个卷积核的权重；xi为第i个输入；bi为第g个偏置；I为输入的总个数；G为卷积核总个数；
为了使特征提取网络快速收敛，在卷积层之后加入ReLU层，公式如(7)所示，即卷积层的输出作为ReLU层的输入；
ar＝max(0,ag) (7)
其中，ar为ReLU层的输出；
为了防止特征提取网络训练时梯度消失及过拟合，在ReLU层之后加入BN层，公式如(8)所示，即ReLU层的输出作为BN层的输入；
Figure FDA0003658859620000031
其中，ε为系统自动生成的极小值；
3.2)将特征提取网络模型最后一层输出接入softmax函数，公式如(9)所示，即将第N个卷积层、ReLU层和BN层模块的输出作为softmax函数的输入；
Figure FDA0003658859620000032
其中，
Figure FDA0003658859620000033
为第N个卷积层、ReLU层和BN层模块的输出；
3.3)通过softmax函数将输出值转换为范围在[0,1]内且和为1的概率分布；为区分海水与养殖，将其转换为二分类问题，设置softmax函数输出通道数为2，每个通道分别代表海水区域概率和养殖区域概率；为了得到伪标签，将2通道的输出概率转换为单通道索引值，对softmax输出进行通道最大值索引，返回最大值的通道索引值，这样在单通道图像上只存在0或1索引值，可将其作为伪标签；
3.4)利用第二步中得到的超像素块的位置信息，进行块判断操作；将超像素分割块对应刚刚得到的伪标签中，在伪标签图的每个小块中进行优势占比判断，将标签图中的各个小块替换为其优势标签，能够保证小块中拥有统一的伪标签，避免相干斑噪声干扰，增强空间一致性，生成含有养殖语义信息的伪标签；
第四步，为充分利用上步生成的含有养殖语义信息的伪标签，搭建全卷积语义分割网络模型；
4.1)采用全卷积语义分割网络得到海水养殖区域提取结果，利用第三步得到的具有养殖语义信息的伪标签为目标进行训练，目标函数LU-Net如下式所示：
Figure FDA0003658859620000041
其中，x为输入图像，N为输入图像数目，SLIC(·)为超像素分割函数，PE为块判断方法，f(·)为特征提取网络模型，g(·)为全卷积语义分割网络模型；
通过全卷积语义分割网络进一步强化学习含有养殖语义信息伪标签中的海水养殖语义信息；
4.2)为使双网络在无监督情况下的提取精度逐步提高，伪标签需要不断更新优化，将全卷积语义分割网络生成的海水养殖区域提取结果与第三步中特征提取网络输出的伪标签做交叉熵损失，反向传播优化伪标签的生成过程，其目标函数LFEN如下：
Figure FDA0003658859620000042
特征提取网络的伪标签能够被全卷积语义分割网络所优化，进而优化的伪标签再次作为全卷积语义分割网络目标进行第二轮的迭代，完成双网络的交替迭代，即固定特征提取网络的伪标签优化全卷积语义分割网络，或固定全卷积语义分割网络养殖提取结果优化特征提取网络；实现伪标签和海水养殖区域提取结果的交替更新，逐步生成泛化能力更强、精度更高的全卷积语义网络；当特征提取网络与块操作生成的伪标签不再发生变化时，双网络交替迭代停止，单单训练全卷积语义分割网络直至网络收敛。
2.根据权利要求1所述的一种无监督深度学习的SAR影像海水养殖智能提取方法，其特征在于，所述的第二步采用的超像素算法为简单线性迭代聚类SLIC，SLIC超像素算法具体如下：
2.1)将原始图像转换到国际照明协会颜色模型CIELAB的色彩空间，设置初始聚类中心个数k和距离测量D，将限制区域内的每个像素分配给最近的聚类中心，公式如下：
Figure FDA0003658859620000051
其中，
Figure FDA0003658859620000052
li、ai、bi分别代表像素点i在L通道、a通道和b通道的值，dc为像素点与聚类中心之间的CIELAB值之间的距离；
Figure FDA0003658859620000053
x、y分别代表像素点在图像中的横纵坐标，ds为像素点与聚类中心之间的空间位置的距离；
Figure FDA0003658859620000054
为预期的超像素块大小，由图片大小N和初始聚类中心个数k决定；m为常数，决定最大颜色距离；
2.2)将每个像素点分配给最近的聚类中心后，在同一聚类中心下的像素点的l、a、b、x、y通道中取平均，更新聚类中心；根据L2范数计算新的之前的聚类中心位置残留误差，公式如下：
Figure FDA0003658859620000055
2.3)分配像素和更新聚类中心迭代重复，直到误差收敛或者达到一定的迭代次数。
CN202210567764.3A 2022-05-24 2022-05-24 一种无监督深度学习的sar影像海水养殖智能提取方法 Pending CN115035293A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210567764.3A CN115035293A (zh) 2022-05-24 2022-05-24 一种无监督深度学习的sar影像海水养殖智能提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210567764.3A CN115035293A (zh) 2022-05-24 2022-05-24 一种无监督深度学习的sar影像海水养殖智能提取方法

Publications (1)

Publication Number Publication Date
CN115035293A true CN115035293A (zh) 2022-09-09

Family

ID=83121006

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210567764.3A Pending CN115035293A (zh) 2022-05-24 2022-05-24 一种无监督深度学习的sar影像海水养殖智能提取方法

Country Status (1)

Country Link
CN (1) CN115035293A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117292328A (zh) * 2023-11-24 2023-12-26 山东新中鲁建设有限公司 一种装配式建筑施工质量安全管理监控方法及系统
CN117557561A (zh) * 2024-01-11 2024-02-13 凌源日兴矿业有限公司 基于人工智能的井下巷道壁缝隙快速检测方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117292328A (zh) * 2023-11-24 2023-12-26 山东新中鲁建设有限公司 一种装配式建筑施工质量安全管理监控方法及系统
CN117292328B (zh) * 2023-11-24 2024-02-02 山东新中鲁建设有限公司 一种装配式建筑施工质量安全管理监控方法及系统
CN117557561A (zh) * 2024-01-11 2024-02-13 凌源日兴矿业有限公司 基于人工智能的井下巷道壁缝隙快速检测方法
CN117557561B (zh) * 2024-01-11 2024-03-22 凌源日兴矿业有限公司 基于人工智能的井下巷道壁缝隙快速检测方法

Similar Documents

Publication Publication Date Title
CN107016677B (zh) 一种基于fcn和cnn的云图分割方法
CN109635744B (zh) 一种基于深度分割网络的车道线检测方法
CN113313657B (zh) 一种用于低光照图像增强的非监督学习方法和系统
CN115035293A (zh) 一种无监督深度学习的sar影像海水养殖智能提取方法
CN115049936A (zh) 一种面向高分遥感影像的边界增强型语义分割方法
CN112132149B (zh) 一种遥感影像语义分割方法及装置
CN107038416B (zh) 一种基于二值图像改进型hog特征的行人检测方法
CN112180375B (zh) 一种基于改进的TrajGRU网络的气象雷达回波外推方法
CN107992818B (zh) 一种光学遥感图像海面船只目标的检测方法
CN111127360B (zh) 一种基于自动编码器的灰度图像迁移学习方法
CN110853070A (zh) 基于显著性与Grabcut的水下海参图像分割方法
CN110084302B (zh) 一种基于遥感图像的裂缝检测方法
CN109726649B (zh) 遥感影像云检测方法、系统及电子设备
CN117253154B (zh) 一种基于深度学习的集装箱弱小序列号目标检测识别方法
CN107464247B (zh) 一种基于g0分布的随机梯度变分贝叶斯sar图像分割方法
CN114764801A (zh) 基于多视觉显著特征的弱小舰船目标融合检测方法及装置
Wang et al. IDUDL: Incremental double unsupervised deep learning model for marine aquaculture SAR images segmentation
CN115033721A (zh) 基于大数据的图像检索方法
CN110533118B (zh) 基于多核学习的遥感图像稀疏表达分类方法
CN112419335A (zh) 一种细胞核分割网络的形状损失计算方法
CN111539966A (zh) 一种基于模糊c均值聚类的比色传感器阵列图像分割方法
CN115223033A (zh) 一种合成孔径声呐图像目标分类方法及系统
CN112800968B (zh) 一种基于hog分块的特征直方图融合对饮水区域猪的身份识别办法
CN114529809A (zh) 基于亥姆霍兹分解及深度学习的复合涡识别模型构建方法
CN114202653A (zh) 一种基于全卷积神经网络的两相流混合图像分割的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination