CN110866455B - 一种路面水体检测方法 - Google Patents

一种路面水体检测方法 Download PDF

Info

Publication number
CN110866455B
CN110866455B CN201911024133.1A CN201911024133A CN110866455B CN 110866455 B CN110866455 B CN 110866455B CN 201911024133 A CN201911024133 A CN 201911024133A CN 110866455 B CN110866455 B CN 110866455B
Authority
CN
China
Prior art keywords
network
input
image
water body
attention
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911024133.1A
Other languages
English (en)
Other versions
CN110866455A (zh
Inventor
王欢
汪立
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN201911024133.1A priority Critical patent/CN110866455B/zh
Publication of CN110866455A publication Critical patent/CN110866455A/zh
Application granted granted Critical
Publication of CN110866455B publication Critical patent/CN110866455B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/30—Assessment of water resources

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Road Repair (AREA)

Abstract

本发明公开了一种路面水体检测方法，包括：利用可见光相机采集道路场景图像并缩放至指定尺寸，利用标注的方法获得包含采集所得图像中水体位置信息的掩膜；构建结合了反射注意力单元的条件生成对抗网络，利用采集的道路场景图像及标注所得掩膜，训练结合了反射注意力单元的条件生成对抗网络；将待检测的图像缩放至指定尺寸，输入训练好的结合了反射注意力单元的条件生成对抗网络，获得条件生成对抗网络的生成器输出的用以表示水体检测结果的二值图像。本发明能够利用相机采集的路面图像准确高效地检测出地表水体区域，检测结果具有较高的准确率和召回率，可应用于无人驾驶领域与地表分类相关的任务中。

Description

一种路面水体检测方法
技术领域
本发明涉及图像分割、深度学习技术领域，具体涉及一种路面水体检测方法。
背景技术
无人驾驶领域中地表分类是一项关键又重要的任务，其中路面的水体往往意味着水坑，难以估计其深度信息，如果不加以检测并制定合适的避障策略，会对无人驾驶汽车带来难以预估的危险。由于路面水体的反射特性会带来一些迷惑性，传统的基于边缘检测和纹理检测的水体检测算法难以很好地识别路面水体，容易虚检或者漏检。同时，由于路面水体的数目和形状都具有随机性，因此路面水体检测问题应该被归于图像分割问题。随着深度学习和人工智能技术的发展，利用深度学习的方法进行目标识别和图像分割的例子已经不胜枚举，因而深度学习的方法应该是解决路面水体检测问题的重要途径。
条件生成对抗网络已经被证明广泛应用于图像分割领域之中并且常常取得很好的效果，因而使用条件生成对抗网络解决路面水体检测问题是一个重要思路。同时ECCV2018的论文《Single Image Water Hazard Detection using FCN with ReflectionAttention Units》中，作者针对路面水体检测问题，提出了一种网络结构，即反射注意力单元(Reflection Attention Units，RAU)，反射注意力单元的原理是基于水面倒影和真实物体的连线往往接近于垂直，因而可以水平切割检测过程中产生的特征图，垂直比较，以判别是否具有倒影关系，反射注意力单元被合理使用，可以针对路面水体检测问题，提升深度学习网络的效果。
但是上述方法漏检率仍然较高，效果仍受水面反射问题所影响，网络的训练受样本分布不均衡性的影响较大，仍具有较大改进空间。
发明内容
本发明的目的在于提供一种路面水体检测方法，能够获得较好的路面水体检测效果。
实现本发明目的的技术解决方案为：一种路面水体检测方法，包括以下步骤：
步骤1，利用可见光相机采集道路场景图像并缩放至指定尺寸，利用标注的方法获得包含采集所得图像中路面水体位置信息的掩膜；
步骤2，构建结合了反射注意力单元的条件生成对抗网络，所述结合了反射注意力单元的条件生成对抗网络，其生成器是全卷积网络，并将反射注意力单元放置在网络中卷积层之后；判别器是卷积神经网络；同时，利用反射注意力单元中的预处理函数对网络中生成器和判别器的输入图像进行预处理；
步骤3，利用采集的道路场景图像及标注所得掩膜，训练结合了反射注意力单元的条件生成对抗网络；
步骤4，将待检测的图像缩放至指定尺寸，输入训练好的结合了反射注意力单元的条件生成对抗网络，获得条件生成对抗网络的生成器输出的用以表示水体检测结果的二值图像。
与现有技术相比，本发明的显著优点为：(1)本发明通过构建条件生成对抗网络，以全卷积网络作为生成器，卷积神经网络作为判别器，同时将反射注意力单元中的预处理函数用以对生成器和判别器输入图像进行预处理，并将反射注意力单元加在生成器中的适当位置，使整体效果达到最优；(2)本发明对路面水体检测检测的效果受倒影影响较小，受样本分布不均衡问题影响较小，检测结果虚检率及漏检率较低，精确率和召回率较高，检测效果较好。
附图说明
图1是本发明提及的反射注意力单元的结构图。
图2是本发明采用的结合了反射注意力单元的条件生成对抗网络的结构图。
图3是本发明实际运用的效果图。
具体实施方式
本发明的一种路面水体检测方法，具体包括以下步骤：
步骤1：利用可见光相机采集道路场景图像并缩放至指定尺寸，利用标注的方法获得包含采集所得图像中路面水体位置信息的掩膜；
步骤2：构建结合了反射注意力单元的条件生成对抗网络，所述结合了反射注意力单元的条件生成对抗网络，其生成器是全卷积网络，并将一定数目的反射注意力单元放置在网络中适当的卷积层之后；判别器是卷积神经网络；同时，利用反射注意力单元中的预处理函数对网络中生成器和判别器的输入图像进行预处理；
步骤3：利用采集的道路场景图像及标注所得掩膜，训练结合了反射注意力单元的条件生成对抗网络；
步骤4：将待检测的图像缩放至指定尺寸，输入训练好的结合了反射注意力单元的条件生成对抗网络，获得条件生成对抗网络的生成器输出的用以表示水体检测结果的二值图像。
进一步的，在所述步骤2中，反射注意力单元是一种网络结构，结构图如图1所示，包括：
对输入特征图的预处理函数，具体操作为：
设反射注意力单元的输入特征图的高、宽和通道数分别为h、w和c，则预处理函数首先通过均值池化将输入特征图的高度降到n，n为8或者16，宽度降到w/2，通道数不变；记此时的特征图为X；接着将X的每一行拆分出来，并将n条拆分出来的行全部通过上采样扩展为高为h，宽为w，通道数为c的新特征图，接着将这n张新特征图在通道维度上连接，得到具有通道数为n×c的新特征图，记为X`；接着输入特征图I自身在通道维度上扩展为原来n倍，即相当于n张输入特征图I在通道维度上连接，得到具有通道数为n×c的新特征图，记为I`；之后求得X`和I`的差，即对应位置元素相减，得到新特征图记为D；最后D和输入特征图I在通道维度上连接，得到新特征图，记为D`，D`的高为h，宽为w，通道数为(n+1)×c，D`即为该预处理函数的输出；
对预处理之后的特征图进行卷积操作的卷积层，其中卷积核个数和输入反射注意力单元的特征图的通道数目相等，卷积核尺寸都是3×3，滑动步长都是1×1。
进一步的，在所述步骤2中，结合了反射注意力单元的条件生成对抗网络具有如下结构：
网络包含一个生成器网络和一个判别器网络；
其中生成器网络应为全卷积网络，即需要训练的网络层都是卷积层，网络的输入是固定尺寸的待检测或者待训练的真实图像，真实图像输入后经过反射注意力单元中的预处理函数预处理，之后输入第一层卷积层；在生成器当中，反射注意力单元应被放置在满足如下条件的卷积层之后，即所选卷积层输出的特征图高度不小于16，且通道数不小于64，同时反射注意力单元应避免同时放置在相邻卷积层之后；其中反射注意力单元的输入为上一个卷积层的输出，当反射注意力单元的输入高度大于等于45，宽度大于等于80时，反射注意力单元的参数n应取为16，否则，n应取为8；生成器的输出一幅表示对输入图像的路面水体检测结果的特征图，即生成掩膜，其中像素值越大，表示该像素对应的原图中同样位置的像素属于路面水体区域的概率越高；
判别器网络应为卷积神经网络，输入为真实图像的掩膜和对应的真实图像，或者生成器输出的生成掩膜和对应的真实图像，输入的真实图像经过反射注意力单元中的预处理函数预处理，之后和输入的真实掩膜或者生成掩膜在通道维度上连接，输至第一层卷积层处理；判别器的最后一层是一层全连接层，其中输出结果为一个单值，表示输入的掩膜是对应真实图像的真实掩膜的概率。
进一步的，在所述步骤3中，训练结合了反射注意力单元的条件生成对抗网络的步骤为：
a)设置好网络参数，随机初始化待训练参数，逐一输入用以训练的真实图像及对应的真实掩膜，其中每一轮迭代，都如步骤b)—e)所述；
b)真实图像输入生成器，得到生成掩膜；
c)真实图像及真实掩膜输入判别器，得到判别器的输出结果yt；同时将真实图像和生成掩膜输入判别器，得到判别器的输出结果yf；
d)通过生成掩膜、真实掩膜，判别器的输出结果yf，依据生成器损失函数计算生成器的损失，同时通过判别器输出结果yt和yf，依据判别器的损失函数计算判别器的损失；
e)依据生成器和判别器的损失及网络结构，优化网络参数；
f)待用以训练的数据使用完毕，训练结束，保存网络参数。
进一步的，在所述步骤4中，利用训练好的结合了反射注意力单元的条件生成对抗网络，获得用以表示水体检测结果的二值图像的步骤为:
a)将待检测图像缩放至适应生成器的尺寸，输入训练好的结合了反射注意力单元的条件生成对抗网络中；
b)获得生成器生成的生成掩膜，利用阈值将其二值化，其中这个阈值为输入的真实掩膜中用以表示路面水体区域的像素取值和用以表示非路面水体区域的像素取值的平均值，即两个可能取值相加后除以2；二值化之后的掩膜即是对应输入图像的路面水体检测结果。
下面结合实施例及附图对本发明进行详细说明。
实施例
本实施例提供一种路面水体检测方法，共分四个步骤：
步骤1：利用可见光相机采集道路场景图像并缩放至指定尺寸，利用标注的方法获得包含采集所得图像中路面水体位置信息的掩膜。具体的，指定尺寸为640×360，之后通过人工标注的方法，确定表示水体区域的像素，由此生成表示水体位置的二值图像，即掩膜。掩膜尺寸同样为640×360，其中像素值为0的区域表示对应的原图中该区域非路面水体区域，像素值为255的区域表示对应的原图中该区域为路面水体区域。每张采集的图像都应该有对应的真实掩膜。
步骤2：构建结合了反射注意力单元的条件生成对抗网络，其中反射注意力单元的输入为一张特征图，记为I，反射注意力单元应具有如下结构：
a)对输入特征图的预处理函数，具体操作为：
设反射注意力单元的输入特征图的高、宽和通道数分别为h(h≥45)，w(≥80)和c(c≥1)，则预处理函数首先通过均值池化将输入特征图的高度降到16，宽度降到w/2，通道数不变。记此时的特征图为X。接着将X的每一行拆分出来，并将16条拆分出来的行全部通过上采样扩展为高为h，宽为w，通道数为c的新特征图，接着将这16张新特征图在通道维度上连接，得到具有通道数为16×c的新特征图，记为X`。接着输入特征图I自身在通道维度上扩展为原来16倍，即相当于16张输入特征图I在通道维度上连接，得到具有通道数为16×c的新特征图，记为I`。之后求得X`和I`的差，即对应位置元素相减，得到新特征图记为D。最后D和输入特征图I在通道维度上连接，得到新特征图，记为D`，D`的高为h，宽为w，通道数为17×c，D`即为该预处理函数的输出。
b)对预处理之后的特征图进行卷积操作的卷积层，其中卷积核个数和输入反射注意力单元的特征图的通道数目想等，卷积核尺寸都是3×3，滑动步长都是1×1，激活函数为梯度为0.2的带泄露线性整流函数(Leaky ReLU)。
结合了反射注意力单元的条件生成对抗网络结构图如图2所示，网络由两部分组成，分别为：
a)生成器网络，其结构包括：
输入为待检测的原始图片，宽为640像素，高为360像素，通道数为3；
预处理层，用反射注意力单元中的预处理函数处理输入原始图片；
卷积层1，64个卷积核，卷积核尺寸为5×5，步长为2×2；
反射注意力单元1；
卷积层2，128个卷积核，卷积核尺寸为5×5，步长为2×2，输出经过批量正则化处理之后，由梯度为0.2的带泄露线性整流函数激活处理；
卷积层3，256个卷积核，卷积核尺寸为5×5，步长为2×2，输出经过批量正则化处理；
反射注意力单元2；
卷积层4，512个卷积核，卷积核尺寸为5×5，步长为2×2，输出经过批量正则化处理之后，由梯度为0.2的带泄露线性整流函数激活处理；
卷积层5，512个卷积核，卷积核尺寸为5×5，步长为2×2，输出经过批量正则化处理之后，由梯度为0.2的带泄露线性整流函数激活处理；
卷积层6，512个卷积核，卷积核尺寸为5×5，步长为2×2，输出经过批量正则化处理之后，由梯度为0.2的带泄露线性整流函数激活处理；
卷积层7，512个卷积核，卷积核尺寸为5×5，步长为2×2，输出经过批量正则化处理之后，由梯度为0.2的带泄露线性整流函数激活处理；
卷积层8，512个卷积核，卷积核尺寸为5×5，步长为2×2，输出经过批量正则化处理之后，由线性整流函数(ReLU)激活处理；
反卷积层1，512个卷积核，卷积核尺寸为5×5，步长为2×2，反卷积操作输出特征图的长宽与卷积层7输出的结果一致，反卷积的结果输出经过批量正则化处理之后，以0.5的概率随机失活，并与卷积层7未经过激活的输出结果在通道维度上连接，由线性整流函数激活处理；
反卷积层2，512个卷积核，卷积核尺寸为5×5，步长为2×2，反卷积操作输出特征图的长宽与卷积层6输出的结果一致，反卷积的结果输出经过批量正则化处理之后，以0.5的概率随机失活，并与卷积层6未经过激活的输出结果在通道维度上连接，由线性整流函数激活处理；
反卷积层3，512个卷积核，卷积核尺寸为5×5，步长为2×2，反卷积操作输出特征图的长宽与卷积层5输出的结果一致，反卷积的结果输出经过批量正则化处理之后，以0.5的概率随机失活，并与卷积层5未经过激活的输出结果在通道维度上连接，由线性整流函数激活处理；
反卷积层4，512个卷积核，卷积核尺寸为5×5，步长为2×2，反卷积操作输出特征图的长宽与卷积层4输出的结果一致，反卷积的结果输出经过批量正则化处理之后，与卷积层4未经过激活的输出结果在通道维度上连接，由线性整流函数激活处理；
反卷积层5，256个卷积核，卷积核尺寸为5×5，步长为2×2，反卷积操作输出特征图的长宽与反射注意力单元2输出的结果一致，反卷积的结果输出经过批量正则化处理之后，与反射注意力单元2未经过激活的输出结果在通道维度上连接，由线性整流函数激活处理；
反卷积层6，128个卷积核，卷积核尺寸为5×5，步长为2×2，反卷积操作输出特征图的长宽与卷积层2输出的结果一致，反卷积的结果输出经过批量正则化处理之后，与卷积层2未经过激活的输出结果在通道维度上连接，由线性整流函数激活处理；
反卷积层7，64个卷积核，卷积核尺寸为5×5，步长为2×2，反卷积操作输出特征图的长宽与反射注意力单元1输出的结果一致，反卷积的结果输出经过批量正则化处理之后，与反射注意力单元1未经过激活的输出结果在通道维度上连接，由线性整流函数激活处理；
反卷积层8，1个卷积核，卷积核尺寸为5×5，步长为2×2，反卷积操作输出特征图的长宽与生成器输入图像一致，反卷积的结果由双曲正切函数(tanh)激活处理之后作为生成器输出。
b)判别器网络，其结构包括：
输入为原始图片以及掩膜图片，宽为640像素，高为360像素，原始图片通道数为3，掩膜图片通道数为1；
预处理层，用反射注意力单元中的预处理函数处理输入原始图片，并将处理后的图片与输入的掩膜图片在通道维度上连接；
卷积层1，64个卷积核，卷积核尺寸为5×5，步长为2×2，输出经过梯度为0.2的带泄露线性整流函数激活处理；
卷积层2，128个卷积核，卷积核尺寸为5×5，步长为2×2，输出经过批量正则化处理之后，由梯度为0.2的带泄露线性整流函数激活处理；
卷积层3，256个卷积核，卷积核尺寸为5×5，步长为2×2，输出经过批量正则化处理之后，由梯度为0.2的带泄露线性整流函数激活处理；
卷积层4，512个卷积核，卷积核尺寸为5×5，步长为2×2，输出经过批量正则化处理之后，由梯度为0.2的带泄露线性整流函数激活处理；
全连接层，输出为单值，经过Sigmoid函数激活处理之后作为判别器输出，表示输入的掩膜是表示输入图像中路面水体区域位置的真实掩膜的概率。
步骤3：利用采集的道路场景图像及标注所得掩膜，训练结合了反射注意力单元的条件生成对抗网络。首先将二值化的掩膜的像素取值进行映射，0值映射为-1，255映射为1。随机初始化网络中需要训练的参数，训练过程中，每输入一张训练用的图片及对应真实掩膜为一次迭代，在每次迭代中，真实图片输入生成器，产生生成掩膜，同时将真实图片和真实掩膜输入判别器，产生判别结果yt，并且将真实图片和生成掩膜输入判别器，产生判别结果yf。对于判别器而言，损失函数可以表示为-log(1-yf)-log(yt)，对于生成器，损失函数可以表示为-100×log(yf)+Ldata，其中Ldata表示生成器的数据损失项，其计算方法为，生成掩膜和真实掩膜相减并求结果的绝对值，再除以生成掩膜总的像素数目，得到平均像素像素距离，即为生成器的数据损失项Ldata。在训练过程的每轮迭代中，先优化一次判别器，再优化两次生成器，优化器选择Adam优化器，优化目标是使对应的损失函数值最小，学习率设置为0.0002。用以训练的图片及真实掩膜循环使用400遍之后，训练过程结束，保存模型参数。
步骤4：将待检测的图像缩放至指定尺寸，即640×360，输入训练好的结合了反射注意力单元的条件生成对抗网络的生成器，此时网络中无训练过程，参数不可变更。获得条件生成对抗网络的生成器输出的用以表示水体检测结果的图像，以0为阈值进行分割，即取值大于0的像素都设为255，小于等于0的都设为0，得到表示输出结果的二值图像，值为255的像素表示原图中对应区域为路面水体，值为0的像素表示原图中对应区域非路面水体。原图、原图对应的真实掩膜以及预测结果如图3所示。从效果图可见，本发明在路面水体检测方面具有非常良好的效果，检测结果和真实情况非常接近。

Claims (4)

1.一种路面水体检测方法，其特征在于，包括以下步骤：
步骤1，利用可见光相机采集道路场景图像并缩放至指定尺寸，利用标注的方法获得包含采集所得图像中路面水体位置信息的掩膜；
步骤2，构建结合了反射注意力单元的条件生成对抗网络，所述结合了反射注意力单元的条件生成对抗网络，具有如下结构：
网络包含一个生成器网络和一个判别器网络；其中
生成器网络为全卷积网络，即需要训练的网络层均是卷积层，网络的输入是固定尺寸的待检测或者待训练的真实图像，真实图像输入后经过反射注意力单元中的预处理函数预处理，之后输入第一层卷积层；在生成器当中，反射注意力单元应被放置在满足如下条件的卷积层之后，即所选卷积层输出的特征图高度不小于16，且通道数不小于64，同时反射注意力单元应避免同时放置在相邻卷积层之后；其中反射注意力单元的输入为上一个卷积层的输出，当反射注意力单元的输入高度大于等于45，宽度大于等于80时，反射注意力单元的参数n为16，否则，n取值为8；生成器的输出一幅表示对输入图像的路面水体检测结果的特征图，即生成掩膜，其中像素值越大，表示该像素对应的原图中同样位置的像素属于路面水体区域的概率越高；
判别器网络为卷积神经网络，输入为真实图像的掩膜和对应的真实图像，或者生成器输出的生成掩膜和对应的真实图像，输入的真实图像经过反射注意力单元中的预处理函数预处理，之后和输入的真实掩膜或者生成掩膜在通道维度上连接，输至第一层卷积层处理；判别器的最后一层是一层全连接层，其中输出结果为一个单值，表示输入的掩膜是对应真实图像的真实掩膜的概率；
同时，利用反射注意力单元中的预处理函数对网络中生成器和判别器的输入图像进行预处理；其中，反射注意力单元是一种网络结构，包括对输入特征图的预处理函数，以及对预处理之后的特征图进行卷积操作的卷积层；
对输入特征图的预处理函数，具体为：
设反射注意力单元的输入特征图的高、宽和通道数分别为h、w和c，则预处理函数首先通过均值池化将输入特征图的高度降到n，宽度降到w/2，通道数不变；记此时的特征图为X；接着将X的每一行拆分出来，并将n条拆分出来的行全部通过上采样扩展为高为h，宽为w，通道数为c的新特征图，接着将这n张新特征图在通道维度上连接，得到具有通道数为n×c的新特征图，记为X`；接着输入特征图I自身在通道维度上扩展为原来n倍，即相当于n张输入特征图I在通道维度上连接，得到具有通道数为n×c的新特征图，记为I`；之后求得X`和I`的差，即对应位置元素相减，得到新特征图记为D；最后D和输入特征图I在通道维度上连接，得到新特征图，记为D`，D`的高为h，宽为w，通道数为(n+1)×c，D`即为该预处理函数的输出；
对预处理之后的特征图进行卷积操作的卷积层，其中卷积核个数和输入反射注意力单元的特征图的通道数目相等，卷积核尺寸都是3×3，滑动步长都是1×1；
步骤3，利用采集的道路场景图像及标注所得掩膜，训练结合了反射注意力单元的条件生成对抗网络；
步骤4，将待检测的图像缩放至指定尺寸，输入训练好的结合了反射注意力单元的条件生成对抗网络，获得条件生成对抗网络的生成器输出的用以表示水体检测结果的二值图像。
2.根据权利要求1所述的路面水体检测方法，其特征在于，n的取值为8或16。
3.根据权利要求1所述的路面水体检测方法，其特征在于，所述步骤3中，训练结合了反射注意力单元的条件生成对抗网络的步骤为：
a)设置好网络参数，随机初始化待训练参数，逐一输入用以训练的真实图像及对应的真实掩膜，其中每一轮迭代，均如步骤b)—e)所述；
b)真实图像输入生成器，得到生成掩膜；
c)真实图像及真实掩膜输入判别器，得到判别器的输出结果yt；同时将真实图像和生成掩膜输入判别器，得到判别器的输出结果yf；
d)通过生成掩膜、真实掩膜，判别器的输出结果yf，依据生成器损失函数计算生成器的损失，同时通过判别器输出结果yt和yf，依据判别器的损失函数计算判别器的损失；
e)依据生成器和判别器的损失及网络结构，优化网络参数；
f)待用以训练的数据使用完毕，训练结束，保存网络参数。
4.根据权利要求1所述的路面水体检测方法，其特征在于，在所述步骤4中，利用训练好的结合了反射注意力单元的条件生成对抗网络，获得用以表示水体检测结果的二值图像的具体步骤为：
a)将待检测图像缩放至适应生成器的尺寸，输入训练好的结合了反射注意力单元的条件生成对抗网络中；
b)获得生成器生成的生成掩膜，利用阈值将其二值化，其中这个阈值为输入的真实掩膜中用以表示路面水体区域的像素取值和用以表示非路面水体区域的像素取值的平均值，即两个可能取值相加后除以2；二值化之后的掩膜即是对应输入图像的路面水体检测结果。
CN201911024133.1A 2019-10-25 2019-10-25 一种路面水体检测方法 Active CN110866455B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911024133.1A CN110866455B (zh) 2019-10-25 2019-10-25 一种路面水体检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911024133.1A CN110866455B (zh) 2019-10-25 2019-10-25 一种路面水体检测方法

Publications (2)

Publication Number Publication Date
CN110866455A CN110866455A (zh) 2020-03-06
CN110866455B true CN110866455B (zh) 2022-09-13

Family

ID=69653316

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911024133.1A Active CN110866455B (zh) 2019-10-25 2019-10-25 一种路面水体检测方法

Country Status (1)

Country Link
CN (1) CN110866455B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111639652A (zh) * 2020-04-28 2020-09-08 博泰车联网(南京)有限公司 一种图像处理方法、装置及计算机存储介质
CN111860593B (zh) * 2020-06-15 2023-08-18 国能信控互联技术有限公司 一种基于生成对抗网络的风机叶片故障检测方法
CN112699727B (zh) * 2020-11-17 2022-10-28 南京理工大学 一种联合反射注意力和自注意力机制的道路水体检测方法
CN112507849A (zh) * 2020-12-04 2021-03-16 东南大学 一种基于条件生成对抗网络的动态到静态场景转换方法
CN112905824A (zh) * 2021-02-08 2021-06-04 智慧眼科技股份有限公司 目标车辆追踪方法、装置、计算机设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104126191A (zh) * 2011-07-13 2014-10-29 多发性骨髓瘤研究基金会公司 数据采集和分发方法
AU2018100325A4 (en) * 2018-03-15 2018-04-26 Nian, Xilai MR A New Method For Fast Images And Videos Coloring By Using Conditional Generative Adversarial Networks
CN110110745A (zh) * 2019-03-29 2019-08-09 上海海事大学 基于生成对抗网络的半监督x光图像自动标注

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104126191A (zh) * 2011-07-13 2014-10-29 多发性骨髓瘤研究基金会公司 数据采集和分发方法
AU2018100325A4 (en) * 2018-03-15 2018-04-26 Nian, Xilai MR A New Method For Fast Images And Videos Coloring By Using Conditional Generative Adversarial Networks
CN110110745A (zh) * 2019-03-29 2019-08-09 上海海事大学 基于生成对抗网络的半监督x光图像自动标注

Also Published As

Publication number Publication date
CN110866455A (zh) 2020-03-06

Similar Documents

Publication Publication Date Title
CN110866455B (zh) 一种路面水体检测方法
CN110956094B (zh) 一种基于非对称双流网络的rgb-d多模态融合人员检测方法
CN110119728B (zh) 基于多尺度融合语义分割网络的遥感图像云检测方法
CN110348376B (zh) 一种基于神经网络的行人实时检测方法
CN109934200B (zh) 一种基于改进M-Net的RGB彩色遥感图像云检测方法及系统
Xu et al. Multiple-entity based classification of airborne laser scanning data in urban areas
CN113658132B (zh) 基于计算机视觉的结构件焊缝检测方法
Arévalo et al. Shadow detection in colour high‐resolution satellite images
CN111666921A (zh) 车辆控制方法、装置、计算机设备和计算机可读存储介质
CN110309808B (zh) 一种大范围尺度空间下的自适应烟雾根节点检测方法
CN111666842B (zh) 一种基于双流空洞卷积神经元网络的阴影检测方法
EP3438929B1 (en) Foreground and background detection method
CN109558806A (zh) 高分遥感图像变化的检测方法和系统
CN111027446B (zh) 一种高分辨率影像的海岸线自动提取方法
CN110991444A (zh) 面向复杂场景的车牌识别方法及装置
CN103971377A (zh) 基于先验形状水平集分割的建筑物提取方法
Palou et al. Occlusion-based depth ordering on monocular images with binary partition tree
Wang et al. A feature-supervised generative adversarial network for environmental monitoring during hazy days
CN111274964B (zh) 一种基于无人机视觉显著性分析水面污染物的检测方法
CN115410081A (zh) 一种多尺度聚合的云和云阴影辨识方法、系统、设备及存储介质
CN114332644B (zh) 一种基于视频卫星数据的大视场交通密度获取方法
CN110503049B (zh) 基于生成对抗网络的卫星视频车辆数目估计方法
CN111353449A (zh) 基于条件生成对抗网络的红外道路图像水体检测方法
CN114626445B (zh) 基于光流网络与高斯背景建模的大坝白蚁视频识别方法
CN116824330A (zh) 一种基于深度学习的小样本跨域目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant