CN113505712A - 基于新型损失函数的卷积神经网络的海面溢油检测方法 - Google Patents
基于新型损失函数的卷积神经网络的海面溢油检测方法 Download PDFInfo
- Publication number
- CN113505712A CN113505712A CN202110804306.2A CN202110804306A CN113505712A CN 113505712 A CN113505712 A CN 113505712A CN 202110804306 A CN202110804306 A CN 202110804306A CN 113505712 A CN113505712 A CN 113505712A
- Authority
- CN
- China
- Prior art keywords
- image
- neural network
- convolutional neural
- sample
- loss function
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 103
- 239000003305 oil spill Substances 0.000 title claims abstract description 51
- 238000001514 detection method Methods 0.000 title claims abstract description 25
- 238000000034 method Methods 0.000 claims abstract description 46
- 239000013535 sea water Substances 0.000 claims abstract description 36
- 238000012549 training Methods 0.000 claims abstract description 26
- 238000013528 artificial neural network Methods 0.000 claims abstract description 9
- 238000010606 normalization Methods 0.000 claims description 17
- 230000000007 visual effect Effects 0.000 claims description 16
- 230000004913 activation Effects 0.000 claims description 10
- 239000000284 extract Substances 0.000 claims description 5
- 230000008569 process Effects 0.000 abstract description 14
- 230000006870 function Effects 0.000 description 57
- 230000000875 corresponding effect Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 10
- 238000013145 classification model Methods 0.000 description 8
- 238000004590 computer program Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 5
- 238000003860 storage Methods 0.000 description 5
- 210000002569 neuron Anatomy 0.000 description 4
- 238000011176 pooling Methods 0.000 description 4
- 238000007637 random forest analysis Methods 0.000 description 4
- 230000003595 spectral effect Effects 0.000 description 4
- 238000012706 support-vector machine Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 239000008264 cloud Substances 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000009360 aquaculture Methods 0.000 description 1
- 244000144974 aquaculture Species 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 239000000839 emulsion Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 238000003892 spreading Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本公开的实施例公开了基于新型损失函数的卷积神经网络的海面溢油检测方法。该方法的一具体实施方式包括：获取目标海域的多光谱遥感图像，作为待检测图像；在待检测图像中选取预设数量的溢油图像和海水图像作为训练数据，基于预设的损失函数对预先构建的初始卷积神经网络进行训练，得到目标卷积神经网络，其中，损失函数基于统计指标构建，统计指标表征目标卷积神经网络的精确率和召回率的加权调和值；将待检测图像输入目标卷积神经网络，预测出待检测图像中存在溢油的区域。基于统计指标构建的损失函数，可以约束目标卷积神经网络的训练过程，以此提高目标卷积神经网络从样本数量不均衡的数据集中提取信息的能力，从而提高溢油检测的准确度。
Description
技术领域
本发明涉及海洋探测领域，特别涉及一种基于新型损失函数的卷积神经网络的海面溢油检测方法。
背景技术
海上溢油突发事件会污染海域和滨海旅游区，威胁海洋生物资源，破坏水产养殖，且对海洋生态环境造成的破坏在很长时间内都难以修复，已严重危及到了海洋生态环境和社会经济发展。多光谱遥感技术可以应用于大尺度海域中的溢油检测，并且具备成本低廉、操作简便的优点。
近年来，随着卫星遥感数据的日益丰富，深度学习方法在溢油检测中的应用不断完善。但大尺度海域溢油图像中通常会存在油膜和海水样本数量不均衡的问题，即溢油样本数远少于海水样本数量。研究表明数据集不均衡是导致机器学习算法泛化能力下降的主要原因之一。由于多光谱遥感图像的光谱信息不足，且油膜和海水的光谱信息具有相似性和突变性，导致在采用深度学习方法检测溢油时，将海水识别为溢油目标，准确度较低。
发明内容
有鉴于此，本发明提供一种基于新型损失函数的卷积神经网络的海面溢油检测方法，以解决现有技术中多光谱数据中溢油和海水样本数量不均衡导致检测溢油的准确度较低的问题。
本发明提供的一种基于新型损失函数的卷积神经网络的海面溢油检测方法的技术方案是：
获取目标海域的多光谱遥感图像，作为待检测图像；在待检测图像中选取预设数量的溢油图像和海水图像作为训练数据，基于预设的损失函数对预先构建的初始卷积神经网络进行训练，得到目标卷积神经网络，其中，损失函数基于统计指标构建，统计指标表征目标卷积神经网络的精确率和召回率的加权调和值；将待检测图像输入目标卷积神经网络，预测出待检测图像中存在溢油的区域。
在一些实施例中，损失函数经由如下公式确定：
其中，CBF Loss表示损失函数，Fαi表示第i类的统计指标，m表示目标卷积神经网络的分类数量，
表示第i类的类平衡项，ni代表第i类的样本数量，Pi表示第i类的精确率，Ri表示第i类的召回率，α表示预先设定的精确率和召回率的调和参数，β表示预设的类平衡参数，该参数基于目标海域的多光谱遥感图像确定。
在一些实施例中，目标卷积神经网络包括输入层、批量归一化层、卷积层和全连接层，其中，输入层从待检测图像中提取出预设大小的像素块；批量归一化层对像素块进行归一化处理；卷积层从归一化后的像素块中提取出像素块的特征信息；全连接层基于特征信息确定待检测图像中各个像素点的类别。
在一些实施例中，批量归一化层对像素块进行归一化处理，包括如下公式表征的操作：
其中，
表示批量归一化层的输出量，E(Z)表示
的期望值，Var(Z)表示
的方差，γ和ξ表示待学习的参数。
在一些实施例中，卷积层采用如下激活函数：
其中，
表示激活后的值，Z表示激活前的值。
在一些实施例中，卷积层从归一化后的像素块中提取出像素块的特征信息，包括如下公式表征的操作：
其中，Z表示卷积层输出的结果，p、q分别表示卷积核的行数和列数，wi表示卷积核中对应于像素块中i点的权值，vi表示卷积核中对应于像素块中i点的像素值，b表示偏置值。
在一些实施例中，目标卷积神经网络经由如下步骤训练得到：在待检测图像中选取预设数量的溢油图像和海水图像；获取溢油图像和海水图像的人工目视解译图像；将溢油图像和海水图像作为样本图像，将样本图像对应的人工目视解译图像作为该样本图像的样本标签，构建样本集；将样本集中的样本图像输入预先构建的初始卷积神经网络，将该样本图像的样本标签作为期望输出，基于损失函数训练初始卷积神经网络，得到训练后的目标卷积神经网络。
在一些实施例中，构建样本集的步骤还包括：对每一个样本图像执行样本拓展步骤，得到拓展后的样本图像；将该样本图像的样本标签作为拓展后的样本图像的样本标签；将拓展后的样本图像及其样本标签加入样本集。
在一些实施例中，样本拓展步骤至少包括以下之一：翻转样本图像；在样本图像中加入高斯噪声；在翻转后的样本图像中加入高斯噪声。
在一些实施例中，α＝1.1，β＝0.99。
本发明提供的基于新型损失函数的卷积神经网络的海面溢油检测方法中，基于统计指标构建目标卷积神经网络的损失函数，以此约束目标卷积神经网络的训练过程，以此提高目标卷积神经网络从样本数量不均衡的数据集中提取信息的能力，从而提高溢油检测的准确度，尤其适用于复杂海况下的溢油检测。
附图说明
附图用于更好地理解本发明，不构成对本发明的不当限定。其中：
图1是本发明具体实施例提供的基于新型损失函数的卷积神经网络的海面溢油检测方法的流程图；
图2是本发明具体实施例提供的基于新型损失函数的卷积神经网络的海面溢油检测方法中目标卷积神经网络的原理示意图；
图3是本发明具体实施例提供的基于新型损失函数的卷积神经网络的海面溢油检测方法中目标卷积神经网络的训练流程图；
图4是本发明具体实施例提供的基于新型损失函数的卷积神经网络的海面溢油检测方法中样本海域的多光谱遥感图像和人工目视解译图像；
图5是本发明具体实施例提供的基于新型损失函数的卷积神经网络的海面溢油检测方法中采用不同损失函数的卷积神经网络的效果对比图；
图6是本发明具体实施例提供的基于新型损失函数的卷积神经网络的海面溢油检测方法中不同分类方法的效果对比图；
图7是本发明具体实施例提供的基于新型损失函数的卷积神经网络的海面溢油检测方法中不同分类方法的结果。
具体实施方式
下面结合实施例对本发明作进一步说明。
针对现有技术中利用单一分类器检测海面溢油的精度较低的问题，本实施例提供了一种基于新型损失函数的卷积神经网络的海面溢油检测方法，如图1所示，其包括如下步骤：
S101、获取目标海域的多光谱遥感图像，作为待检测图像。
作为示例，可以采用HY-1C卫星CZI遥感器采集的目标海域的多光谱遥感图像，作为待检测图像。通常，多光谱遥感图像中含有云、云影、船舶尾迹、海浪等干扰因素，其中，溢油区域中的像素数量远小于其他区域中的像素数量，属于典型的样本不平衡数据集。
S102、在待检测图像中选取预设数量的溢油图像和海水图像作为训练数据，基于预设的损失函数对预先构建的初始卷积神经网络进行训练，得到目标卷积神经网络。
其中，其中，损失函数基于统计指标构建，统计指标表征目标卷积神经网络的精确率和召回率的加权调和值。
在本实施例中，目标卷积神经网络的损失函数基于统计指标构建，统计指标(F-Score)表征目标卷积神经网络的精确率和召回率的加权调和值，常用于评价分类模型的性能。其中，精确率是指目标卷积神经网络正确识别的像素数量与该像素被预测的类别中像素总量的比值，召回率是指是目标卷积神经网络正确识别的像素与该像素被预测的类别中真实像素的数量的比值。
作为示例，统计指标可以通过如下方式获取：可以统计目标卷积神经网络在模型训练阶段的精确率和召回率，然后基于预设的加权算法，确定出精确率和召回率的加权调和值，即为目标卷积神经网络的统计指标。其中，精确率可以通过如下公式(1)确定，召回率可以通过如下公式(2)确定。
其中，P表示精确率，R表示召回率，TP表示正确地把正样本预测为正的样本数量，FP表示错误地把负样本预测为正的样本数量，FN表示错误地把正样本预测为负的样本数量。
在本实施例的一些可选的实现方式中，损失函数经由如下公式(3)、(4)确定：
其中，CBF Loss表示损失函数，Fαi表示第i类的统计指标，m表示目标卷积神经网络的分类数量，
表示第i类的类平衡项，Pi表示第i类的精确率，Ri表示第i类的召回率，α表示预先设定的精确率和召回率的调和参数，β表示预设的类平衡参数，该参数基于目标海域的多光谱遥感图像确定，其取值为0.9、0.99或0.999。
作为示例，可以将待检测图像中存在的各个对象所属的类别进行编号，例如分别将海水、溢油和云编号为1、2和3，则Fα1表示目标卷积神经网络识别为海水的类别对应的统计指标。
为了达到精确识别溢油区域的目的，在目标卷积神经网络的训练过程中，需要更注重与溢油对应的分类类别的损失。在本实现方式中，可以调节类平衡参数β来实现。超参数β∈(0，1)，当β＝0时，相当于没有进行重新加权；当β趋近于1时，对应使用有效样本数的反比对损失函数进行重新加权以均衡各个分类类别对损失函数的贡献。
实践中，可以针对不同需求调整精准率和召回率的权重。例如可以通过调节参数α使统计指标满足分类问题的要求。当参数α>1时，召回率的权重更大，此时召回率对统计指标的影响更大。当α无穷大时，统计指标无限接近于召回率，此时只有召回率对统计指标有贡献。当参数0<α<1时，精准率的权重更大，此时精确率对统计指标的影响更大。α无限接近0时，统计指标无限接近于精准率，此时只有精确率对损失函数起作用。
在本实现方式的一个优选的实施方式中，α＝1.1，β＝0.99，该数值是研究人员经实验对比确定出的一个优选方案，以此构建的损失函数可以有效抑制溢油和海水样本数量不均衡对溢油检测的不利影响。
卷积神经网络(Convolutional Neural Network，CNN)是深度学习中最突出的模型，成为近年来多光谱遥感分类的研究热点，主要有两个特点：一是局部感知域(localreceptive fields)，即隐层神经元只和局部图像相连接，图像的全局信息可由每个神经元对其局部感知综合而成。二是权值共享(weight sharing)，即隐含层每个神经元用的是同一个卷积核去卷积图像，在同一特征平面内的所有神经元权值相同，有效地减少网络中的参数数量使得卷积神经网络具有位移不变性。
进一步结合图2，图2是本发明具体实施例提供的基于新型损失函数的卷积神经网络的海面溢油检测方法中目标卷积神经网络的原理示意图，如图2所示，将待检测图像输入目标卷积神经网络之后，由目标卷积神经网络对待检测图像进行预处理(例如可以是去均值化、降维等)，然后将预处理后的待检测图像输入卷积层，利用卷积核从待检测图像中提取特征，并通过卷积层之后的池化层对卷积层输出的特征进行下采样(例如可以是均值池化或最大池化)，以减小过拟合。经多层卷积和池化后，可以得到待检测图像的特征映射图，该特征映射图经扁平化(flatten)后输入全连接层，最后由全连接层对特征映射图估计出待检测图像中每个像素点所属的类别，例如可以是海水、云、溢油或云影等类别。
在本实施例的一些可选的实现方式中，目标卷积神经网络包括输入层、批量归一化层、卷积层和全连接层，其中，输入层从待检测图像中提取出预设大小的像素块；批量归一化层对像素块进行归一化处理；卷积层从归一化后的像素块中提取出像素块的特征信息；全连接层基于特征信息确定待检测图像中各个像素点的类别。
在本实现方式中，批量归一化层(Batch Normalization，BN)可以加快模型的收敛速度，并且可以缓解深层网络中梯度弥散的问题，有助于提高目标卷积神经网络在训练过程中的稳定性。
进一步的，批量归一化层对像素块进行归一化处理，包括如下公式(5)表征的操作：
其中，
表示所述批量归一化层的输出量，E(Z)表示
的期望值，Var(Z)表示
的方差，γ和ξ表示待学习的参数。
通常，卷积层的激活函数可以采用多种非线性函数，例如Tanh函数、Sigmond函数、Maxout函数等。
在本实施例的一些可选的实现方式中，卷积层采用如公式(6)所示的激活函数，以此可以提高迭代速度。
其中，
表示激活后的值，Z表示激活前的值。
进一步的，卷积层从归一化后的像素块中提取出像素块的特征信息，包括如下公式(7)表征的操作：
其中，Z表示所述卷积层输出的结果，p、q分别表示卷积核的行数和列数，wi表示所述卷积核中对应于所述像素块中i点的权值，vi表示所述卷积核中对应于所述像素块中i点的像素值，b表示偏置值。
步骤S103、将待检测图像输入目标卷积神经网络，预测出待检测图像中存在溢油的区域。
本发明提供的基于新型损失函数的卷积神经网络的海面溢油检测方法中，基于统计指标构建目标卷积神经网络的损失函数，以此约束目标卷积神经网络的训练过程，以此提高目标卷积神经网络从样本数量不均衡的数据集中提取信息的能力，从而提高溢油检测的准确度。
接着参考图3，图3示出了本发明具体实施例提供的基于新型损失函数的卷积神经网络的海面溢油检测方法中目标卷积神经网络的训练流程图。如图3所示，目标卷积神经网络的训练过程包括如下步骤：
S301、在待检测图像中选取预设数量的溢油图像和海水图像。
作为示例，可以将HY-1C卫星CZI遥感器于2020年4月21日在安达曼海获得的多光谱遥感图像作为待检测图像。研究区地理位置、彩色合成图像和人工目视解译图像如图4所示。样本海域面积为27.5公里×70公里，溢油呈带状，长约75公里，宽3.5公里，呈现典型的海面溢油光谱和纹理特征。白色是油乳剂，黑色是在风的影响下扩散的浮油。采集图像时，样本海域存在5级风，有效波高3米，样本海域有船舶通过，上方有少量云层，导致多光谱遥感图像中含有云、云影、船舶尾迹、海浪等干扰因素。样本海域的多光谱遥感图像中的海水包括70791个像素，黑色浮油包括57727个像素，乳化油只有10450个像素，属于典型的样本数量不平衡的数据集。之后，从待检测图像中提取出预设数量个、预设大小的局部图像，这些局部图像中包括了溢油图像和海水图像。
S302、分别获取每个溢油图像和每个海水图像的人工目视解译图像。
继续结合步骤301中的示例进行说明，可以根据溢油图像或海水图像在待检测图像中的位置和大小，从待检测图像的人工目视解译图像中截取出对应的局部人工目视解译图像，该局部人工目视解译图像即为溢油图像或海水图像的人工目视解译图像。
步骤S303、将溢油图像和海水图像作为样本图像，将样本图像对应的人工目视解译图像作为该样本图像的样本标签，构建样本集。
实践中，海面溢油为突发事件，遥感影像资料较少，而深度学习模型的准确度与样本量正相关。考虑到这一点，本实施例中通过翻转、加噪声等样本扩展的方法，可以提高训练样本的数量。
在本实施例的一些可选的实现方式中，构建样本集的步骤还包括：对每一个样本图像执行样本拓展步骤，得到拓展后的样本图像；将该样本图像的样本标签作为拓展后的样本图像的样本标签；将拓展后的样本图像及其样本标签加入样本集。如此，可以进一步拓展样本集中的样本数量，有助于提高训练后的目标卷积神经网络的准确度。
进一步的，样本拓展步骤至少包括以下之一：翻转样本图像；在样本图像中加入高斯噪声；在翻转后的样本图像中加入高斯噪声。例如，可以同时采用以上三种方式，则步骤S302中提取出的每一个样本图像可以得到3个拓展后的样本图像，从而大大拓展了样本集中的样本数量。
S304、将样本集中的样本图像输入预先构建的初始卷积神经网络，将该样本图像的样本标签作为期望输出，基于损失函数训练初始卷积神经网络，得到训练后的目标卷积神经网络。
在本实施例中，损失函数表征训练过程中，初始卷积神经网络输出的分类结果与人工目视解译图像的区别程度，通过反向传播特征，可以约束初始卷积神经网络的训练过程，以此优化初始卷积神经网络中的各个参数。可以将损失函数收敛或迭代次数达到预设阈值作为训练的结束条件，即可得到训练后的目标卷积神经网络。
从图3可以看出，图3所示的流程体现了目标卷积神经网络的训练过程，通过分割待检测图像及其对应的人工目视解译图像，可以提高样本集中的样本数量，有助于解决实践中溢油影像资料较少导致的深度学习模型的准确度较低的问题，提高目标卷积神经网络的准确度。
下面结合图5、图6和图7，通过实验说明本实施提供的基于新型损失函数的卷积神经网络的海面溢油检测方法的优越性。其中，图5是本发明具体实施例提供的基于新型损失函数的卷积神经网络的海面溢油检测方法中采用不同损失函数的卷积神经网络的效果对比图。图6是本发明具体实施例提供的基于新型损失函数的卷积神经网络的海面溢油检测方法中不同分类方法的效果对比图。图7是本发明具体实施例提供的基于新型损失函数的卷积神经网络的海面溢油检测方法中不同分类方法的结果。
在第一组实验中，分别采用Cross Entropy Loss(交叉熵损失函数)、Hinge Loss(铰链损失函数)、Focal loss(焦点损失函数)以及本发明具体实施例提供的损失函数CBFLoss(Class-Balanced F Loss)构建不同的卷积神经网络，然后将同一个测试图像输入三个卷积神经网络，分别对比三个卷积神经网络输出的分类结果与该测试图像对应的人工目视解译图像，以此确定出各个卷积神经网络的统计指标值。通过图5可以看出，本发明应用了CBF Loss的卷积神经网络(即目标卷积神经网络)的检测结果中乳化油膜和黑色浮油的统计指标值均高于其他两个卷积神经网络，这表明本发明的损失函数可以解决宽刈幅多光谱数据中溢油和海水样本数量不平衡且海水环境趋于异质性的问题，有效避免了样本类别数量不均衡对模型训练的影响。
在第二组实验中，分别构建了目标卷积神经网络(CBF Loss-CNN)、ANN(Artificial Neural Network，人工神经网络)、SVM(Support Vector Machine，支持向量机)和RF(Random Forests，随机森林)4个分类模型，然后将同一个测试图像分别输入上述4个分类模型，分别上述4个分类模型输出的分类结果与该测试图像对应的人工目视解译图像，以此确定出上述4个分类模型的统计指标值。如图6所示，对于浮油类别，目标卷积神经网络的统计指标值为0.94，而其他分类模型方法仅为0.72-0.79。由于浮油和海水之间光谱信息存在相似性，使得除目标卷积神经网络外的其他分类模型难于区分浮油和海水。由此可以确定，目标卷积神经网络能够自动挖掘溢油的空间上下文信息，学习到更多本质的特征，从而获得更高的检测精度。对于乳化油膜，目标卷积神经网络的统计指标值为0.87，高于ANN、SVM和RF的分类结果。并且从表1中可以看出，目标卷积神经网络主要是将少量乳化油膜错误识别为黑色浮油，在石油泄漏应急响应中，最重要的是区分洁净海水和溢油区，因此这种错误分类的代价在实际应用中要小于油膜和海水的错误分类。
表1
进一步结合图7，从图7中可以看出，目标卷积神经网络的分类精度最高，有效避免了油膜与海水的错误分类，而其他分类模型的表现则相对粗糙，并出现了部分海水与溢油的错误分类。尤其是SVM和RF，这两种模型的分类结果中存在大量的错误分类的溢油碎片，这是由于在风浪耀斑的影响下，它们会将部分海水样本识别为溢油。而对于ANN模型，则存在将黑色浮油误识别为海水的问题，这会严重影响对溢油量的判断。
本领域内的技术人员应明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本公开是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(RandomAccessMemory，RAM)等。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本公开保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本公开的保护范围以内。
Claims (10)
1.一种基于新型损失函数的卷积神经网络的海面溢油检测方法，其特征在于，包括：
获取目标海域的多光谱遥感图像，作为待检测图像；
在所述待检测图像中选取预设数量的溢油图像和海水图像作为训练数据，基于预设的损失函数对预先构建的初始卷积神经网络进行训练，得到目标卷积神经网络，其中，所述损失函数基于统计指标构建，所述统计指标表征所述目标卷积神经网络的精确率和召回率的加权调和值；
将所述待检测图像输入所述目标卷积神经网络，预测出所述待检测图像中存在溢油的区域。
2.根据权利要求1所述的基于新型损失函数的卷积神经网络的海面溢油检测方法，其特征在于，所述损失函数经由如下公式确定：
其中，CBF Loss表示所述损失函数，Fαi表示第i类的统计指标，m表示所述目标卷积神经网络的分类数量，
表示第i类的类平衡项，ni代表第i类的样本数量，Pi表示第i类的精确率，Ri表示第i类的召回率，α表示预先设定的精确率和召回率的调和参数，β表示预设的类平衡参数，该参数基于所述目标海域的多光谱遥感图像确定。
3.根据权利要求2所述的基于新型损失函数的卷积神经网络的海面溢油检测方法，其特征在于，所述目标卷积神经网络包括输入层、批量归一化层、卷积层和全连接层，其中，
所述输入层用于从所述待检测图像中提取出预设大小的像素块；
所述批量归一化层用于对所述像素块进行归一化处理；
所述卷积层用于从归一化后的像素块中提取出像素块特征信息；
所述全连接层用于基于所述特征信息确定所述待检测图像中各个像素点的类别。
4.根据权利要求3所述的基于新型损失函数的卷积神经网络的海面溢油检测方法，其特征在于，所述批量归一化层采用如下公式表征的操作对所述像素块进行归一化处理：
其中，
表示所述批量归一化层的输出量，E(Z)表示
的期望值，Var(Z)表示
的方差，γ和ξ表示待学习的参数。
5.根据权利要求4所述的基于新型损失函数的卷积神经网络的海面溢油检测方法，其特征在于，所述卷积层采用如下激活函数：
其中，
表示激活后的值，Z表示激活前的值。
6.根据权利要求5所述的基于新型损失函数的卷积神经网络的海面溢油检测方法，其特征在于，所述卷积层采用如下公式表征的操作从归一化后的像素块中提取出所述像素块的特征信息：
其中，Z表示所述卷积层输出的结果，p、q分别表示卷积核的行数和列数，wi表示所述卷积核中对应于所述像素块中i点的权值，vi表示所述卷积核中对应于所述特征图中i点的像素值，b表示偏置值。
7.根据权利要求6所述的基于新型损失函数的卷积神经网络的海面溢油检测方法，其特征在于，所述目标卷积神经网络经由如下步骤训练得到：
在所述待检测图像中选取预设数量的溢油图像和海水图像；
分别获取每个所述溢油图像和每个海水图像的人工目视解译图像；
将所述溢油图像和所述海水图像作为样本图像，将所述样本图像对应的人工目视解译图像作为该样本图像的样本标签，构建样本集；
将所述样本集中的样本图像输入预先构建的初始卷积神经网络，将该样本图像的样本标签作为期望输出，基于所述损失函数训练所述初始卷积神经网络，得到训练后的目标卷积神经网络。
8.根据权利要求7所述的基于新型损失函数的卷积神经网络的海面溢油检测方法，其特征在于，所述构建样本集的步骤还包括：对每一个所述样本图像执行样本拓展步骤，得到拓展后的样本图像；将该样本图像的样本标签作为所述拓展后的样本图像的样本标签；将所述拓展后的样本图像及其样本标签加入所述样本集。
9.根据权利要求8所述的基于新型损失函数的卷积神经网络的海面溢油检测方法，其特征在于，所述样本拓展步骤至少包括以下之一：
翻转所述样本图像；
在所述样本图像中加入高斯噪声；
在翻转后的样本图像中加入高斯噪声。
10.根据权利要求2至9之一所述的基于新型损失函数的卷积神经网络的海面溢油检测方法，其特征在于，α＝1.1，β＝0.99。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110804306.2A CN113505712B (zh) | 2021-07-16 | 2021-07-16 | 基于类平衡损失函数的卷积神经网络的海面溢油检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110804306.2A CN113505712B (zh) | 2021-07-16 | 2021-07-16 | 基于类平衡损失函数的卷积神经网络的海面溢油检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113505712A true CN113505712A (zh) | 2021-10-15 |
| CN113505712B CN113505712B (zh) | 2024-06-11 |
Family
ID=78013564
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110804306.2A Active CN113505712B (zh) | 2021-07-16 | 2021-07-16 | 基于类平衡损失函数的卷积神经网络的海面溢油检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113505712B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116912699A (zh) * | 2023-09-06 | 2023-10-20 | 交通运输部天津水运工程科学研究所 | 一种基于图像处理的港口溢油扩散趋势预测方法及系统 |
| CN117541044A (zh) * | 2023-07-28 | 2024-02-09 | 中科乾唐(北京)科技股份公司 | 基于项目风险分析的项目分类方法、系统、介质及设备 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140050355A1 (en) * | 2012-08-20 | 2014-02-20 | Behavioral Recognition Systems, Inc. | Method and system for detecting sea-surface oil |
| US20190122369A1 (en) * | 2016-06-30 | 2019-04-25 | University Of Seoul Industry Cooperation Foundation | Apparatus and method for detecting oil spill by using satellite image |
| CN109919123A (zh) * | 2019-03-19 | 2019-06-21 | 自然资源部第一海洋研究所 | 基于多尺度特征深度卷积神经网络的海面溢油检测方法 |
| KR20190133442A (ko) * | 2018-05-23 | 2019-12-03 | 한국해양과학기술원 | 인공위성 sar 영상기반 인공신경망을 이용한 오일 유출 탐지 방법 |
| CN111563420A (zh) * | 2020-04-16 | 2020-08-21 | 自然资源部第一海洋研究所 | 基于卷积神经网络的海面太阳耀斑区溢油多光谱探测方法 |
| CN111652149A (zh) * | 2020-06-04 | 2020-09-11 | 青岛理工大学 | 基于深度卷积神经网络的沉底油声呐探测图像识别方法 |
-
2021
- 2021-07-16 CN CN202110804306.2A patent/CN113505712B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140050355A1 (en) * | 2012-08-20 | 2014-02-20 | Behavioral Recognition Systems, Inc. | Method and system for detecting sea-surface oil |
| US20190122369A1 (en) * | 2016-06-30 | 2019-04-25 | University Of Seoul Industry Cooperation Foundation | Apparatus and method for detecting oil spill by using satellite image |
| KR20190133442A (ko) * | 2018-05-23 | 2019-12-03 | 한국해양과학기술원 | 인공위성 sar 영상기반 인공신경망을 이용한 오일 유출 탐지 방법 |
| CN109919123A (zh) * | 2019-03-19 | 2019-06-21 | 自然资源部第一海洋研究所 | 基于多尺度特征深度卷积神经网络的海面溢油检测方法 |
| CN111563420A (zh) * | 2020-04-16 | 2020-08-21 | 自然资源部第一海洋研究所 | 基于卷积神经网络的海面太阳耀斑区溢油多光谱探测方法 |
| CN111652149A (zh) * | 2020-06-04 | 2020-09-11 | 青岛理工大学 | 基于深度卷积神经网络的沉底油声呐探测图像识别方法 |
Non-Patent Citations (1)
| Title |
|---|
| RAMI AL-RUZOUQ 等: "Sensors, Features, and Machine Learning for Oil Spill Detection and Monitoring: A Review", 《REMOTE SENSING》, pages 1 - 42 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117541044A (zh) * | 2023-07-28 | 2024-02-09 | 中科乾唐(北京)科技股份公司 | 基于项目风险分析的项目分类方法、系统、介质及设备 |
| CN117541044B (zh) * | 2023-07-28 | 2024-06-11 | 中科乾唐(北京)科技股份公司 | 基于项目风险分析的项目分类方法、系统、介质及设备 |
| CN116912699A (zh) * | 2023-09-06 | 2023-10-20 | 交通运输部天津水运工程科学研究所 | 一种基于图像处理的港口溢油扩散趋势预测方法及系统 |
| CN116912699B (zh) * | 2023-09-06 | 2023-12-05 | 交通运输部天津水运工程科学研究所 | 一种基于图像处理的港口溢油扩散趋势预测方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113505712B (zh) | 2024-06-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20230169623A1 (en) | Synthetic aperture radar (sar) image target detection method | |
| Li et al. | SAR image change detection using PCANet guided by saliency detection | |
| Topouzelis et al. | Detection and discrimination between oil spills and look-alike phenomena through neural networks | |
| CN109740460B (zh) | 基于深度残差密集网络的光学遥感图像舰船检测方法 | |
| CN110569738B (zh) | 基于密集连接网络的自然场景文本检测方法、设备和介质 | |
| CN112949572A (zh) | 基于Slim-YOLOv3的口罩佩戴情况检测方法 | |
| CN111091095B (zh) | 一种遥感图像中船只目标的检测方法 | |
| CN109359661B (zh) | 一种基于卷积神经网络的Sentinel-1雷达图像分类方法 | |
| CN110647802A (zh) | 基于深度学习的遥感影像舰船目标检测方法 | |
| CN110991257B (zh) | 基于特征融合与svm的极化sar溢油检测方法 | |
| CN109558806A (zh) | 高分遥感图像变化的检测方法和系统 | |
| CN107545571A (zh) | 一种图像检测方法及装置 | |
| CN106815323A (zh) | 一种基于显著性检测的跨域视觉检索方法 | |
| CN113505712B (zh) | 基于类平衡损失函数的卷积神经网络的海面溢油检测方法 | |
| CN116977633A (zh) | 地物要素分割模型训练方法、地物要素分割方法及装置 | |
| CN114998603A (zh) | 一种基于深度多尺度特征因子融合的水下目标检测方法 | |
| CN113344045B (zh) | 一种结合hog特征提高sar船只分类精度的方法 | |
| CN107103608A (zh) | 一种基于区域候选样本选择的显著性检测方法 | |
| CN115861359A (zh) | 一种水面漂浮垃圾图像自适应分割提取方法 | |
| CN104331711B (zh) | 基于多尺度模糊测度与半监督学习的sar图像识别方法 | |
| CN114565824A (zh) | 基于全卷积网络的单阶段旋转舰船检测方法 | |
| CN112419335B (zh) | 一种细胞核分割网络的形状损失计算方法 | |
| CN113609887A (zh) | 深度学习与浅层学习决策融合的海面溢油检测方法 | |
| CN110223291B (zh) | 一种基于损失函数的训练眼底病变点分割网络方法 | |
| CN116580328B (zh) | 基于多任务辅助的热红外图像堤坝渗漏险情智能识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |