CN112699727B - 一种联合反射注意力和自注意力机制的道路水体检测方法 - Google Patents

一种联合反射注意力和自注意力机制的道路水体检测方法 Download PDF

Info

Publication number
CN112699727B
CN112699727B CN202011290844.6A CN202011290844A CN112699727B CN 112699727 B CN112699727 B CN 112699727B CN 202011290844 A CN202011290844 A CN 202011290844A CN 112699727 B CN112699727 B CN 112699727B
Authority
CN
China
Prior art keywords
attention
water body
feature map
conv5a
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011290844.6A
Other languages
English (en)
Other versions
CN112699727A (zh
Inventor
王欢
孟策
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN202011290844.6A priority Critical patent/CN112699727B/zh
Publication of CN112699727A publication Critical patent/CN112699727A/zh
Application granted granted Critical
Publication of CN112699727B publication Critical patent/CN112699727B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/182Network patterns, e.g. roads or rivers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/047Probabilistic or stochastic networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种联合反射注意力和自注意力机制的道路水体检测方法,包括:利用可见光相机采集道路水体图像并标注;构建本文所述的网络模型,并使用训练图像和标注数据对网络进行训练;将待检测的图像缩放至指定尺寸,输入训练好的网络,获得用以表示水体区域和非水体区域的二值图像。本发明能够利用可见光相机采集的路面图像高效地进行水体检测,检测结果的较为精细并且在各项指标上都有良好的表现,适用于无人车上的地表分类相关任务。

Description

一种联合反射注意力和自注意力机制的道路水体检测方法
技术领域
本发明属于计算机视觉中的图像分割任技术,具体为一种联合反射注意力和自注意力机制的道路水体检测方法。
背景技术
对于道路图像的水体区域检测,大多数现有的深度学习方法都将其作为图像分割问题进行处理,而U-Net作为医学图像分割领域的基线,同时利用了来自底层和高层的图像特征,保证了恢复出来的分割结果比较精细。同时,网络的参数量不太大,不至于过拟合。但是由于医学图像和道路水体图像性质的不一致性,医学图像中的病灶面积大多较小,而道路图像中的水体区域面积大小不固定,因此直接将U-Net网络用于道路图像水体区域检测会导致检测的精确率和召回率不够高。
反射注意力单元首次提出于ECCV 2018的论文《Single Image Water HazardDetection using FCN with ReflectionAttention Units》中,该文章针对水体表面可以反射周围环境的物理特性,提出了反射注意力单元(ReflectionAttention Units, RAU),反射注意力单元的初衷是让深度神经网络能够捕捉图像不同部分之间的反射对应关系。由于反射关系大多是垂直的,因此先通过池化操作将多尺度的特征映射在垂直方向上划分为若干个块,然后将每块上采样为原特征图大小,与原特征图相减,将相减后的特征图连同原特征图在通道维度上连接,最后卷积得到和原来特征图尺寸相同的输出特征图。实验结果表明,在FCN-8s的每个池化层之前添加相应的反射注意力单元能够有效改善水体检测结果的质量,准确率和召回率都有大幅提高。但是,全卷积网络提取特征的能力有限,并且在上采样环节没有利用之前提取出来的特征,在性能上仍有较大的提升空间。
《Water Hazard Detection Using cGAN with Mixture ReflectionAttentionUnit》的作者认为,通过使用RAU的预处理函数对输入进行预处理,并且通过对抗学习的方式,可以有效提高预测的准确性。该文章重新注释了相关数据集,并且将网络的基础架构从FCN(Fully Convolutional Networks)更换为cGAN(Conditional GenerativeAdversarial Networks)。该文章将原始图像作为输入,馈送到cGAN 的生成器中,然后生成器输出代表检测结果的二值图像。对于鉴别器,将生成的二值图像或者真实的分割掩膜输入鉴别器,并将对应的原始输入图像作为条件输入。该文章将RAU中的预处理函数提取出来对生成器和鉴别器的输入进行预处理,并在生成器的第一个和第三个卷积层后面加入RAU。该方法在图像分割中引入GAN,是强化学习思想在图像分割领域的有益尝试,但是GAN的训练过程比较复杂,难以收敛,无法得到稳定的性能提升。
发明内容
本发明的目的在于提供了一种联合反射注意力和自注意力机制的道路水体检测方法。
实现本发明目的的技术方案为:一种联合反射注意力和自注意力机制的道路水体检测方法,包括以下步骤:
步骤1、利用可见光相机采集不同场景下的道路图像并缩放至指定尺寸构成训练集,标注训练集图像的水体位置信息的掩膜作为标签;
步骤2、构建联合反射注意力单元和自我注意力机制的类U-Net网络,所述类U-Net网络包括下采样通道、位置注意力模块和通道注意力模块、上采样通道;
步骤3、利用训练集图像训练类U-Net网络;
步骤4、将待检测的可见光图像馈送到网络中,获得用以表示水体区域和非水体区域的二值图像。
优选地,标注训练集图像的水体位置信息的掩膜作为标签的具体过程为:
标注训练集图像中的水体区域信息,得到相应的二值掩膜;
原掩膜像素值大于127的像素点,将其值赋为0,否则为1,记为mask1,并将原掩膜像素值大于127的像素点,将其值赋为1,否则为0,记为mask2;将mask1和mask2在通道维度上相连,作为训练标签。
优选地,所述下采样通道包括依次间隔连接的5个下采样卷积块和5个 RAU,且前4个RAU之后均进行均值池化操作。
优选地,所述下采样通道的输出特征通过两个不同的卷积核大小为3×3,步长为1×1的卷积操作,得到通道数为512维的特征图conv5a和conv5c。
优选地,所述位置注意力模块用于对特征图conv5a做处理,得到输出特征图sa,处理过程具体为:
a)通过3个不同的1×1卷积核对输入特征图conv5a进行降维,得到三个不同的特征图conv5a_query、conv5a_key、conv5a_value;
b)分别对特征图conv5a_query和conv5a_key进行转置,得到 conv5a_query′、conv5a_key′,执行矩阵相乘,经过softmax层后得到w个h ×h的矩阵,记为S1
c)对特征图conv5a_value进行转置,与S1执行矩阵乘法,并且用1×1卷积核进行卷积得到特征图H1
d)输出的特征图为sa=conv5a+αH1,其中α初始值为0。
优选地,所述位置注意力模块用于对特征图conv5c做处理,得到输出特征图 sc,处理过程具体为:
a)对于输入特征图conv5c,将其重组为[h×w,c]的特征图conv5c′;
b)将特征图conv5c′转置得到特征图conv5c”;
c)对conv5c′和conv5c”执行矩阵乘法,得到注意力矩阵S2,对注意力矩阵S2进行归一化以及softmax操作;
d)将输入特征图conv5c与矩阵S2相乘,得到特征图H2
e)输出的特征图sc=conv5c+αH2,其中α初始值为0,由学习得到。
优选地,所述上采样通道包括4个依次连接的上采样块和一个1×1的卷积块,所述上采样块对输入特征图通过一个卷积核大小为2×2,步长为2×2的转置卷积,将其长、宽扩大一倍;通过ReLU激活函数得到激活值,并与特征图O4在通道维度上相连,再通过两个卷积核大小为3×3,步长为1×1的卷积操作,得到通道维度为输入特征图一半的输出特征图。
优选地,类U-Net网络的损失函数采用的是交叉熵损失函数,具体为:
Figure RE-GDA0002982306710000031
其中,xi代表网络的第i个输入,p(xi)代表其真实的标签值,q(xi)代表其预测的标签值。
优选地,利用训练集图像训练类U-Net网络的具体过程为:
随机初始化构造的类U-Net网络中的参数,使用Adam优化器优化网络,将其学习率设置为0.0002,系数beta1设置为0.5,迭代轮次的目标次数设为(100000 次/训练集图像数量),每遍历完训练集中的图像一次,迭代轮次数加1。
本发明与现有技术相比,其显著优点为:本发明构建的类U-Net结构融合了高层次和低层次的不同语义信息,对于道路水体区域检测这种场景结构类似的问题具有优势;反射注意力单元和位置注意力模块的中心思想类似,即寻找竖直方向上的特征相似性,因此联合作用可以提高检测精度。
附图说明
图1是本发明的整体网络架构。
图2是本发明所采用的通道注意力模块示意图。
图3是本发明所采用的位置注意力模块示意图。
图4是本发明的输入、真实值、输出之间的对比。
具体实施方式
一种联合反射注意力和自注意力机制的道路水体检测方法,具体步骤为:
步骤1:利用可见光相机采集不同场景下的道路图像并缩放至指定尺寸构成训练集,标注训练集图像中的水体区域信息,得到相应的二值掩膜。具体的,标注图像时,像素值为0的区域表示对应的原始图像为非水体区域,像素值为255 的区域表示对应的原始图像为水体区域。在某些实施例中,构造的深度神经网络需要的输入大小为360×640,因此将原始道路图像和二值掩膜均缩放至360× 640。
进一步的实施例中,构建数据集输入模块。具体的,首先定义一个 DataProvider类,其有两种不同的工作模式,对应训练图片的根目录和测试图片的根目录。在类中定义了一个__call__方法,每次调用从训练集中取出一张图片及二值掩膜图像,将图片像素值从0~255映射到0~1之间,同时对二值掩膜图像做处理,原掩膜像素值大于127的像素点,将其值赋为0,否则为1,记为mask1,原掩膜像素值大于127的像素点,将其值赋为1,否则为0,记为mask2。将mask1 和mask2在通道维度上相连,作为训练标签。
步骤2:构建联合反射注意力单元和自我注意力机制的类U-Net网络,所述类U-Net网络包括下采样通道、位置注意力模块和通道注意力模块、上采样通道。其中下采样通道由5个下采样卷积块和5个RAU组成,每个RAU放置于下采样卷积块之后,除了最后一个下采样卷积块及RAU,其余每个下采样卷积块及 RAU之后均进行均值池化操作,如图1所示,所述类U-Net网络具体结构为:
(1)卷积块1+RAU1:其输入的特征维度为3,输出的特征维度为64。对于卷积块的原始输入特征X,先通过一个卷积核大小为3×3,步长为1×1的卷积操作得到特征conv1_1,然后加上层正则化操作(LayerNormalization)操作得到特征l1_1,LayerNormalization相比于传统的批正则化操作(Batch Normalization),它们的目的都是对数据进行归一化,使其分布一致,避免发生梯度消失和梯度爆炸的情况,不同的是LayerNormalization不依赖于每次输入的batch大小,因此适用于batch大小为1的情况,LayerNormalization针对深度网络的某一层的所有神经元的输入按以下公式进行normalize操作:
Figure RE-GDA0002982306710000051
Figure RE-GDA0002982306710000052
Figure RE-GDA0002982306710000053
其中,H代表某一层的节点数量,l为多层感知机的层数,a代表原神经元的激活值,
Figure RE-GDA0002982306710000054
代表修正后的激活值;然后通过ReLU激活函数得到激活值act1_1,ReLU 激活函数的公式如下:
Figure RE-GDA0002982306710000055
重复上述操作一次,得到激活值act1_2;另一方面,对于原始输入特征X,通过一个卷积核大小为1×1,步长为1×1的卷积操作和LayerNormalization操作得到特征值residual1,将residual1和act1_2两个特征相加,并通过ReLU激活函数,最终得到卷积块的输出out1。将out1送入反射注意力单元中,根据前述的RAU 操作,最后得到输出O1
(2)均值池化1:对特征图O1进行大小为2×2的均值池化操作,即对局部感受野中的所有激活值求平均,得到特征图O′1
(3)卷积块2+RAU2:其输入的特征维度为64,输出的特征维度为128。
仿照前述的卷积块1+RAU1的操作,得到特征图out2,将out2送入反射注意力单元中,根据前述的RAU操作,最后得到输出O2
(4)均值池化2:对特征图O2进行大小为2×2的均值池化操作,得到特征图O′2
(5)卷积块3+RAU3:其输入的特征维度为128,输出的特征维度为256。
仿照前述的卷积块1+RAU1的操作,得到特征图out3,将out3送入反射注意力单元中,根据前述的RAU操作,最后得到输出O3
(6)均值池化3:对特征图O3进行大小为2×2的均值池化操作,得到特征图O′3
(7)卷积块4+RAU4:其输入的特征维度为256,输出的特征维度为512。
仿照前述的卷积块1+RAU1的操作,得到特征图out4,将out4送入反射注意力单元中,根据前述的RAU操作,最后得到输出O4
(8)均值池化4:对特征图O4进行大小为2×2的均值池化操作,得到特征图O′4
(9)卷积块5+RAU5:其输入的特征维度为512,输出的特征维度为1024。仿照前述的卷积块1+RAU1的操作,得到特征图out5,将out5送入反射注意力单元中,根据前述的RAU操作,最后得到输出O5
(10)位置注意力模块+通道注意力模块:注意力模块参考了论文《Non-localNeuralNetworks》中的做法,不过略有不同的是,《Non-local NeuralNetworks》中得到的矩阵是1个大小为[h*w,h*w]的矩阵,本发明针对水体检测问题的物理特性做出了相应改进。对于输入特征图O5,先通过两个不同的,卷积核大小为3 ×3,步长为1×1的卷积操作,得到通道数为512维的特征图conv5a和conv5c,将conv5a送入位置注意力模块,得到输出特征图sa,如图2所示,位置注意力模块的具体操作如下:
a)先通过3个不同的1×1卷积核对输入特征图conv5a(特征图大小为 [h,w,c])进行降维,得到三个不同的特征图conv5a_query(特征图大小为 [h,w,c/4])、特征图conv5a_key(特征图大小为[h,w,c/4])、特征图 conv5a_value(特征图大小为[h,w,c/4]);
b)分别对conv5a_query和conv5a_key进行转置,得到conv5a_query′(特征图大小为[w,h,c/4])、conv5a_key′(特征图大小为[w,c/4,h]),执行矩阵相乘,经过softmax层后得到w个h×h的矩阵,记为S1
c)对特征图conv5a_value进行转置,与S1执行矩阵乘法,并且用1×1卷积核进行卷积得到特征图H1(特征图大小为[h,w,c]);
d)输出的特征图为sa=conv5a+αH1,其中α初始值为0,由学习得到。
将conv5c送入位置注意力模块,得到输出特征图sc,如图3所示,通道注意力模块的具体操作如下:
a)对于输入特征图conv5c,将其重组为[h×w,c]的特征图conv5c′;
b)将特征图conv5c′转置得到特征图conv5c”,其大小为[c,h×w];
c)对conv5c′和conv5c”执行矩阵乘法,得到注意力矩阵S2,为了防止梯度爆炸,对S2先进行归一化,后执行softmax操作;
d)对于输入特征图conv5c,与矩阵S2相乘,得到特征图H2
e)输出的特征图sc=conv5c+αH2,其中α初始值为0,由学习得到。
对于特征图sa和sc,通过两个不同的,卷积核大小为3×3,步长为1×1的卷积操作,将通道数还原为512,得到特征图conv51和conv52,此处的特征融合我们选择直接相加的策略,得到特征图convsum,最后我们通过一个1×1的卷积,将特征还原为原来的形状,得到特征图O6
(11)上采样块1:对于特征图O6,先通过一个卷积核大小为2×2,步长为 2×2的转置卷积,将其特征图长、宽扩大一倍,得到特征图deconv1_1,其中转置卷积不同于传统的上采样操作,其权重是可以学习的;然后通过ReLU激活函数得到激活值,并与特征图O4在通道维度上相连,先后通过两个卷积核大小为3 ×3,步长为1×1的卷积操作,得到通道维度为512的输出特征图O7
(12)上采样块2:对于特征图O7,仿照前述的上采样块1的操作,不同点在于与特征图O3在通道维度上相连,得到通道维度为256的输出特征图O8
(13)上采样块3:对于特征图O8,仿照前述的上采样块1的操作,不同点在于与特征图O2在通道维度上相连,得到通道维度为128的输出特征图O9
(14)上采样块4:对于特征图O9,仿照前述的上采样块1的操作,不同点在于与特征图O1在通道维度上相连,得到通道维度为64的输出特征图O10
(15)最后,通过一个1×1的卷积,将输出变为360×640×2的特征图。
本发明的残差卷积块不同于传统的U-Net模型的卷积块,作了如下改进:
1)在每一个下采样卷积块中,卷积的方式采用padding=SAME,因此每个卷积块中的输入输出特征图尺寸不变;
2)在每个卷积后,激活函数之前加上LayerNorm正则化操作,用来对输入进行归一化;
3)将卷积块的原始输入xl,经过一个1×1的卷积核卷积后,直接加到卷积块的输出xl+1上,其过程可以用公式表示为xl+1=h(xl)+F(xl,Wl),其中h代表卷积核大小为1×1的卷积操作,F(xl,Wl)代表残差部分,由两个卷积操作构成。
步骤3:利用训练集图像训练类U-Net网络;
利用训练集图像训练类U-Net网络,将训练集分批次输入到类U-Net网络中,在整个训练集经过一轮迭代后,重新打乱整个数据集,进行再次训练,直至模型收敛为止。
具体地,随机初始化前述构造的类U-Net网络中的参数,使用Adam优化器优化网络,将其学习率设置为0.0002,系数beta1设置为0.5。迭代的目标次数设为(100000次/训练集图像数量),每遍历完训练集中的图像一次,就将迭代轮次数加1。每经过500次训练,就使用tensorflow中提供的saver类,保存最新训练出的模型,用于测试。构造的类U-Net网络的损失函数采用的是交叉熵损失函数,其公式如下:
Figure RE-GDA0002982306710000091
步骤4、将待检测的可见光图像缩放至设定大小馈送到网络中,获得用以表示水体区域和非水体区域的二值图像。
本发明将待检测图像缩放至360×640,将其送入网络,只执行前向传播的过程。计算用以衡量水体区域检测效果的测度:准确率(accuracy)、精确率 (precision)、召回率(recall)以及F1-measure,计算公式如下:
Figure RE-GDA0002982306710000092
Figure RE-GDA0002982306710000093
Figure RE-GDA0002982306710000094
Figure RE-GDA0002982306710000095
其中,TP代表预测为水体,实际上也为水体的像素,FP代表预测为水体,实际上是非水体的像素,TN代表预测为非水体,实际上为非水体的像素,FN 代表预测为非水体,实际上是水体的像素。
如图4所示,本发明给出了原始输入、预测值和真实值之间的对比,可以看到本发明在路面水体检测方面具有非常良好的效果,虚检和漏检率较低,检测结果较为精细,和真实情况非常接近。与前人方法相比,在各项指标上都处于领先。

Claims (7)

1.一种联合反射注意力和自注意力机制的道路水体检测方法,其特征在于,包括以下步骤:
步骤1、利用可见光相机采集不同场景下的道路图像并缩放至指定尺寸构成训练集,标注训练集图像的水体位置信息的掩膜作为标签;
步骤2、构建联合反射注意力单元和自我注意力机制的类U-Net网络,所述类U-Net网络包括下采样通道、位置注意力模块和通道注意力模块、上采样通道;
所述位置注意力模块用于对特征图conv5a做处理,得到输出特征图sa,处理过程具体为:
a)通过3个不同的1×1卷积核对输入特征图conv5a进行降维,得到三个不同的特征图conv5a_query、conv5a_key、conv5a_value;
b)分别对特征图conv5a_query和conv5a_key进行转置,得到conv5a_query'、conv5a_key',执行矩阵相乘,经过softmax层后得到w个h×h的矩阵,记为S1
c)对特征图conv5a_value进行转置,与S1执行矩阵乘法,并且用1×1卷积核进行卷积得到特征图H1
d)输出的特征图为sa=conv5a+αH1,其中α初始值为0;
所述位置注意力模块用于对特征图conv5c做处理,得到输出特征图sc,处理过程具体为:
a)对于输入特征图conv5c,将其重组为[h×w,c]的特征图conv5c';
b)将特征图conv5c'转置得到特征图conv5c”;
c)对conv5c'和conv5c”执行矩阵乘法,得到注意力矩阵S2,对注意力矩阵S2进行归一化以及softmax操作;
d)将输入特征图conv5c与矩阵S2相乘,得到特征图H2
e)输出的特征图sc=conv5c+αH2,其中α初始值为0,由学习得到;
步骤3、利用训练集图像训练类U-Net网络;
步骤4、将待检测的可见光图像馈送到网络中,获得用以表示水体区域和非水体区域的二值图像。
2.根据权利要求1所述的联合反射注意力和自注意力机制的道路水体检测方法,其特征在于,标注训练集图像的水体位置信息的掩膜作为标签的具体过程为:
标注训练集图像中的水体区域信息,得到相应的二值掩膜;
原掩膜像素值大于127的像素点,将其值赋为0,否则为1,记为mask1,并将原掩膜像素值大于127的像素点,将其值赋为1,否则为0,记为mask2;将mask1和mask2在通道维度上相连,作为训练标签。
3.根据权利要求1所述的联合反射注意力和自注意力机制的道路水体检测方法,其特征在于,所述下采样通道包括依次间隔连接的5个下采样卷积块和5个RAU,且前4个RAU之后均进行均值池化操作。
4.根据权利要求1所述的联合反射注意力和自注意力机制的道路水体检测方法,其特征在于,所述下采样通道的输出特征通过两个不同的卷积核大小为3×3,步长为1×1的卷积操作,得到通道数为512维的特征图conv5a和conv5c。
5.根据权利要求1所述的联合反射注意力和自注意力机制的道路水体检测方法,其特征在于,所述上采样通道包括4个依次连接的上采样块和一个1×1的卷积块,所述上采样块对输入特征图通过一个卷积核大小为2×2,步长为2×2的转置卷积,将其长、宽扩大一倍;通过ReLU激活函数得到激活值,并与特征图O4在通道维度上相连,再通过两个卷积核大小为3×3,步长为1×1的卷积操作,得到通道维度为输入特征图一半的输出特征图。
6.根据权利要求1所述的联合反射注意力和自注意力机制的道路水体检测方法,其特征在于,类U-Net网络的损失函数采用的是交叉熵损失函数,具体为:
Figure FDA0003756041860000021
其中,xi代表网络的第i个输入,p(xi)代表其真实的标签值,q(xi)代表其预测的标签值。
7.根据权利要求1所述的联合反射注意力和自注意力机制的道路水体检测方法,其特征在于,利用训练集图像训练类U-Net网络的具体过程为:
随机初始化构造的类U-Net网络中的参数,使用Adam优化器优化网络,将其学习率设置为0.0002,系数beta1设置为0.5,迭代轮次的目标次数设为100000次/训练集图像数量,每遍历完训练集中的图像一次,迭代轮次数加1。
CN202011290844.6A 2020-11-17 2020-11-17 一种联合反射注意力和自注意力机制的道路水体检测方法 Active CN112699727B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011290844.6A CN112699727B (zh) 2020-11-17 2020-11-17 一种联合反射注意力和自注意力机制的道路水体检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011290844.6A CN112699727B (zh) 2020-11-17 2020-11-17 一种联合反射注意力和自注意力机制的道路水体检测方法

Publications (2)

Publication Number Publication Date
CN112699727A CN112699727A (zh) 2021-04-23
CN112699727B true CN112699727B (zh) 2022-10-28

Family

ID=75506451

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011290844.6A Active CN112699727B (zh) 2020-11-17 2020-11-17 一种联合反射注意力和自注意力机制的道路水体检测方法

Country Status (1)

Country Link
CN (1) CN112699727B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113643196B (zh) * 2021-07-12 2024-02-06 浙江工业大学 一种基于注意力机制的递归推理图像修复方法
CN114267069B (zh) * 2021-12-25 2024-07-02 福州大学 基于数据泛化与特征增强的人脸检测方法
CN114708569B (zh) * 2022-02-22 2023-03-24 广州文远知行科技有限公司 道路曲线检测方法、装置、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005161205A (ja) * 2003-12-02 2005-06-23 Asahi Kasei Chemicals Corp 光触媒組成物
CN110866455A (zh) * 2019-10-25 2020-03-06 南京理工大学 一种路面水体检测方法
CN111860186A (zh) * 2020-06-23 2020-10-30 华北电力大学(保定) 一种基于多注意力机制的人脸属性编辑网络

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005161205A (ja) * 2003-12-02 2005-06-23 Asahi Kasei Chemicals Corp 光触媒組成物
CN110866455A (zh) * 2019-10-25 2020-03-06 南京理工大学 一种路面水体检测方法
CN111860186A (zh) * 2020-06-23 2020-10-30 华北电力大学(保定) 一种基于多注意力机制的人脸属性编辑网络

Also Published As

Publication number Publication date
CN112699727A (zh) 2021-04-23

Similar Documents

Publication Publication Date Title
CN112699727B (zh) 一种联合反射注意力和自注意力机制的道路水体检测方法
WO2022036777A1 (zh) 基于卷积神经网络的人体动作姿态智能估计方法及装置
CN110135366B (zh) 基于多尺度生成对抗网络的遮挡行人重识别方法
Jiang et al. A semisupervised Siamese network for efficient change detection in heterogeneous remote sensing images
Venugopal Automatic semantic segmentation with DeepLab dilated learning network for change detection in remote sensing images
EP4099220A1 (en) Processing apparatus, method and storage medium
CN106845478A (zh) 一种字符置信度的二次车牌识别方法及装置
CN109711463A (zh) 基于注意力的重要对象检测方法
CN113989890A (zh) 基于多通道融合和轻量级神经网络的人脸表情识别方法
CN112396587B (zh) 一种基于协同训练和密度图的公交车厢内拥挤度检测方法
CN115222998B (zh) 一种图像分类方法
CN112036511B (zh) 基于注意力机制图卷积神经网络的图像检索方法
CN113393457A (zh) 一种结合残差密集块与位置注意力的无锚框目标检测方法
CN114782737A (zh) 一种基于改进残差网络的图像分类方法、设备和存储介质
CN113962281A (zh) 基于Siamese-RFB的无人机目标跟踪方法
Hu et al. A video streaming vehicle detection algorithm based on YOLOv4
CN114780767A (zh) 一种基于深度卷积神经网络的大规模图像检索方法及系统
CN116563682A (zh) 一种基于深度霍夫网络的注意力方案和条带卷积语义线检测的方法
Meenakshi et al. An Optimised Defensive Technique to Recognize Adversarial Iris Images Using Curvelet Transform.
CN115511882A (zh) 一种基于病变权重特征图的黑色素瘤识别方法
CN117079095A (zh) 基于深度学习的高空抛物检测方法、系统、介质和设备
CN114972794A (zh) 基于多视图Pooling Transformer的三维对象识别方法
CN106407975A (zh) 基于空间‑光谱结构约束的多尺度分层目标检测方法
CN116884067B (zh) 一种基于改进的隐式语义数据增强的微表情识别方法
CN117636470A (zh) 一种基于超图模型的事件相机步态识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant