CN110675415B - 一种基于深度学习增强实例分割的道路积水区域检测方法 - Google Patents
一种基于深度学习增强实例分割的道路积水区域检测方法 Download PDFInfo
- Publication number
- CN110675415B CN110675415B CN201911230478.2A CN201911230478A CN110675415B CN 110675415 B CN110675415 B CN 110675415B CN 201911230478 A CN201911230478 A CN 201911230478A CN 110675415 B CN110675415 B CN 110675415B
- Authority
- CN
- China
- Prior art keywords
- mask
- cnn
- sample
- road
- generator
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 57
- 230000011218 segmentation Effects 0.000 title claims abstract description 32
- 238000013135 deep learning Methods 0.000 title claims abstract description 17
- 238000000034 method Methods 0.000 claims abstract description 48
- 238000012549 training Methods 0.000 claims abstract description 31
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims abstract description 27
- 230000006870 function Effects 0.000 claims description 27
- 238000009825 accumulation Methods 0.000 claims description 16
- 238000013507 mapping Methods 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 13
- 238000012544 monitoring process Methods 0.000 claims description 11
- 230000004913 activation Effects 0.000 claims description 9
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 7
- 230000003042 antagnostic effect Effects 0.000 claims description 4
- 238000005457 optimization Methods 0.000 claims description 4
- 241000521257 Hydrops Species 0.000 claims description 3
- 206010030113 Oedema Diseases 0.000 claims description 3
- 230000009471 action Effects 0.000 claims description 3
- 238000013480 data collection Methods 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 3
- 230000003190 augmentative effect Effects 0.000 claims 2
- 238000000638 solvent extraction Methods 0.000 claims 2
- 238000002372 labelling Methods 0.000 abstract description 2
- 238000000605 extraction Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 4
- 238000009826 distribution Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 229910002056 binary alloy Inorganic materials 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000007664 blowing Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 239000012466 permeate Substances 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 239000002689 soil Substances 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
一种基于深度学习增强实例分割的道路积水区域检测方法，涉及智慧城市领域和计算机视觉领域。本发明的方法步骤为：1）数据收集和标注；2）构建Mask R‑CNN，划分数据集，以易检测积水样本训练Mask R‑CNN；3）构建并训练含有GAN分支的Mask R‑CNN；4）利用含有生成器分支的Mask R‑CNN进行预测。同现有技术相比，本发明不增加现场设备节约了成本，具有算法实现简便、误差小、检测结果准确的特点。
Description
技术领域
本发明涉及智慧城市领域和计算机视觉领域，特别是应用于城市监控视频场景下基于深度学习增强实例分割的道路积水区域检测方法。
背景技术
良好的道路是城市交通畅通的根本，城市道路积水对城市交通影响较为严重：一是道路积水影响车辆和行人的正常通行，路面积水行车，积水容易溅湿行人，给车辆和行人带来了极大的不便；二是道路长时间积水，路面会产生麻面、积水沿路面裂缝渗透，路面结构层强度降低，最终凹陷、破损，影响行车舒适性；三是城市道路大量积水、深浅难测，不仅会影响车辆和行人通行，甚至会发生危险。
目前对于城市道路积水方面研究，大多集中于道路积水深度监测方面，主要应用于城市道路低洼处、下穿式立交桥等容易发生大面积积水、易发生危险的位置。需要现场安装接触式或非接触式传感器、供电系统等相应配套设施，耗费大量人力、物力、财力，且对影响车辆和行人通行、影响道路寿命的道路少量积水情况无能为力。这种情况还得依靠城管、交通工作人员通过监控视频或现场巡视发现，耗费大量人力，且效率较低。现在城市中已安装了大量摄像头，若能利用城市监控视频直接检测城市道路积水情况，相关城市管理部门既能降低成本，又能全面、及时地掌握各路段的积水情况，降低道路积水对行人车辆通行、道路寿命的影响，同时在防洪防灾方面也有一定的辅助作用。
基于城市监控视频分析的城市管理事件检测方法由于其检测速度快，无需增加现场监测设备、部署实施应用方便，在国内外范围内逐渐成为研究的热点。在通过城市监控视频进行道路积水检测方面，公开的研究成果较少。天津英田视讯科技有限公司申请的中国专利201711192410.0《一种道路积水检测的方法》，此技术使用的是传统机器学习的方法，提取视频单帧图像基于局部二进制的静态纹理特征和多帧图像基于三正交平面边缘方向直方图的动态纹理特征，用支持向量机判断静态纹理检测和动态纹理检测是否为积水纹理。若均为积水纹理，则对相应像素块进行标识，最终将连续的积水像素块进行拼接，可以实现对积水位置的检测。此方法基于传统机器学习方法，需要手动提取视频帧图像中的纹理特征，特征提取过程不仅任务量大，而且提取到的特征有限，仅依靠纹理特征，难以胜任道路积水检测任务。
不同于传统机器学习方法，在深度学习方面，可用于道路积水检测的方法主要有目标检测和实例分割。目前应用效果比较好的目标检测方法，如Faster R-CNN、YOLOv3、SSD、RefineDet等方法都可以应用于道路积水检测。江苏理工学院申请的中国专利201811403004.9《一种基于混合模型的道路积水图像检测预警方法》，此技术使用的是目标检测方法和相似度比对方法结合的混合模型，深度学习目标检测方法用于检测是否存在道路积水及其位置，相似度比对方法用于粗略估计积水深度。但由于城市道路积水情况比较复杂，如积水区域无固定形态、大小不一，因路面坑洼不平而分布零散，可能受行人、车辆、树木等影响存在遮挡，因刮风、下雨等影响可能存在不同纹理，无风时可能存在倒影，受积水深度、是否含有泥土影响而呈现不同颜色等，前述目标检测方法难以应对上述各种情形，且目标检测方法需要用矩形框标注目标物体，在数据标注时会将部分背景标注在矩形框内，从而对目标检测方法造成一定程度的影响，这在一定程度上会导致检测效果不佳。虽然诸如FCIS、Mask R-CNN等实例分割方法在标注数据时可以去除道路积水的背景信息，但由于城市监控场景本就比较复杂，而道路积水情况又过于复杂，仅用目标检测或实例分割方法很容易发生误检和漏检，难以达到较为理想的效果，而且目前还没有公开其他将目标检测或实例分割方法用于城市道路积水检测的研究和应用。
生成对抗网络（GAN），是Ian J. Goodfellow等于2014年提出的一种生成式模型，由一个生成器和一个判别器构成，生成器用于估测数据的潜在分布，并生成新的数据；判别器用于判别输入的是真实数据还是生成的假数据。GAN的优化过程是一个极大极小博弈的过程，通过训练最终达到纳什均衡，使生成器估测到数据的潜在分布，而判别器无法区分真实图像和生成图像。GAN自提出来一直受到业界的持续关注，并在近几年得到越来越广泛的应用，包括图像超分辨率、人脸合成、图像风格迁移、数据增强等。
发明内容
为了克服上述现有技术中存在的不足，本发明的目的是提供一种基于深度学习增强实例分割的道路积水区域检测方法。它无需增加现场设备、节约了成本，具有算法实现简便、误差小、检测结果准确的特点。
为了达到上述发明目的，本发明的技术方案以如下方式实现：
一种基于深度学习增强实例分割的道路积水区域检测方法，它的方法步骤为：
1）数据收集和标注：
大量收集城市监控场景下的道路积水样本并标注。
2）构建Mask R-CNN，划分数据集，以易检测积水样本训练Mask R-CNN：
A）Mask R-CNN的结构中包含分类分支、位置回归分支和分割分支，将提取的样本特征送入上述三个分支，进行目标的检测和分割。其损失函数可表示为：
其中，
表示分类分支损失，
表示位置回归分支损失，
表示分割分支损
失。
构建Mask R-CNN网络，以标注好的数据初步训练Mask R-CNN，并将数据送入MaskR-CNN进行道路积水区域初步检测。
B）以A）中道路积水区域初步检测结果为基准，将原有样本数据中未检测出道路积
水区域的样本划分为难检测样本
，检测出道路积水区域的样本划分为易检测样本
。
C）以易检测样本
重新训练Mask R-CNN至模型收敛，据此可以得到易检测样本的
特征
。
3）构建并训练含有条件生成对抗网络分支的Mask R-CNN：
为Mask R-CNN添加条件生成对抗网络分支，条件生成对抗网络由生成器和判别器
组成，在输入为难检测样本时，所述生成器将输入样本的特征
映射到与易检测样本特征
相似的特征
，输入为易检测样本时，生成器起到一个零值映射作用；所述判别器输
出的是
和
之间的相似程度，条件生成对抗网络优化过程可以表示为：
其中，
是来自Resnet-FPN主干网络第一个卷积层输出的低层特征，
先后经过3*3
和1*1的卷积的输出和Resnet-FPN主干网络输出的特征具有相同的通道数。
当判别器损失函数
值最小时，判别器能够很好地区分
和
，
可表示为：
生成器能使生成的难检测样本特征
与易检测样本特征
更相似，从而使判别
器无法判别输入数据的真假，其损失函数
可表示为：
利用道路积水数据，交替进行生成器和判别器的训练，直到最终达到平衡。此时进
行Mask R-CNN的目标检测和分割分支的训练，Mask R-CNN的目标检测和分割分支的损失函
数为
，利用反向传播使
最小，可以使得训练过程持续收敛。
此模型完整的损失函数可表示为：
其中，
和
分别是
和
的权重系数，其中
。在损失函数
的作用
下，训练过程中含有条件生成对抗网络分支的Mask R-CNN会持续收敛直至平衡，最终完成
整个模型的训练。
4）利用含有生成器分支的Mask R-CNN进行预测：
去掉判别器部分，保留生成器分支，生成器将输入样本的特征映射到与易检测样
本特征
相似的特征；将前面经条件生成对抗网络映射之后的特征送入Mask R-CNN的分类
分支、位置回归分支和分割分支完成城市道路积水检测和分割，得到道路积水区域信息。
在上述道路积水区域检测方法中，所述标注收集的城市监控场景下的道路积水样本是指，用标注工具以多边形方式标注视野范围内的道路积水部分，并绕过所有障碍物。
在上述道路积水区域检测方法中，所述生成器将输入样本的特征映射到与易检测
样本特征
相似的特征方法是，若输入是难检测样本特征
，则将其映射到与易检测样本
特征
相似的特征
；若输入是易检测样本特征
，生成器则只需起到一个零值映射的作
用。
在上述道路积水区域检测方法中，所述生成器由N个相同残差块ResBlock组成，每个残差块的内部结构均由卷积层、BN层、ReLU激活函数、卷积层和前向叠加构成。
在上述道路积水区域检测方法中，所述判别器由两个卷积层、两个全连接层和一个Sigmoid激活函数构成，其中卷积层和第一个全连接层后的ReLU激活函数用于增加其非线性。
在上述道路积水区域检测方法中，所述交替进行生成器和判别器的训练直到最终
达到平衡是指，生成器生成的特征和易检测样本的特征
很相似，判别器无法判断输入的
是易检测样本的特征
，还是由生成器生成的难检测样本的特征
。
本发明由于采用了上述方法，结合条件生成对抗网络和Mask R-CNN的优点，设计基于深度学习的增强实例分割方法，利用条件生成对抗网络进行特征映射，通过Mask R-CNN实现城市道路积水区域检测功能。同现有技术相比具有如下优点：
1. 直接利用城市监控视频数据，无需现场安装任何设备，节省大量成本。
2. 利用深度学习方法，无需手动提取特征，降低算法实现的难度。
3. 利用实例分割方法，数据标注过程中不会包含任何背景信息，消除了背景信息对算法的影响。
4. 将条件生成对抗网络特征映射方法应用于Mask R-CNN特征提取，弥补了MaskR-CNN在检测城市道路积水方面的不足。
下面结合附图和具体实施方式对本发明做进一步说明。
附图说明
图1为本发明实施例中Mask R-CNN的网络结构示意图；
图2为本发明实施例中添加条件生成对抗网络分支的Mask R-CNN网络结构示意图；
图3为本发明实施例中生成器内部残差块的结构示意图；
图4为本发明实施例中判别器的结构示意图。
具体实施方式
本发明基于深度学习增强实例分割的道路积水区域检测方法，它的方法步骤为：
1）数据收集和标注：
收集城市监控场景下道路积水样本，样本种类尽可能多，用标注工具以多边形方式标注道路积水区域。因城市管理摄像头采集数据中存在行人、车辆、树木、交通设施等障碍物，对积水存在不同程度的遮挡，标注时需绕过所有障碍物，只标注视野范围内的道路积水部分，以免特征提取过程中提取到道路积水外的无关信息的特征，进而影响算法对道路积水区域的检测效果。
2）构建Mask R-CNN，划分数据集，以易检测积水样本训练Mask R-CNN：
A）参看图1，Mask R-CNN是在Faster R-CNN基础上改进的，使用resnet-50/resnet-101+FPN作为其特征提取骨干网络，同时使用自底向上、自顶向下以及横向连接将特征图高效整合，在提升精度的同时并没有大幅度增加检测时间。另外将Faster R-CNN中的ROI Pooling改为ROI Align，ROI Pooling在进行特征提取过程中使用的取整操作会产生区域不匹配问题，因为实例分割需要判定目标区域内像素类别，这些偏差会对判定结果产生较大影响。而ROI Align使用双线性插值方法，全程使用浮点数操作，不存在取整，其精度较高。
Mask R-CNN相比于Faster R-CNN，除分类分支和位置回归分支外，Mask R-CNN添加了一个分割分支，故提取的特征送入上述三个分支，进行目标的检测和分割，其损失函数可表示为：
其中，
表示分类分支损失，
表示位置回归分支损失，
表示分割分支损
失；
构建Mask R-CNN网络，以标注好的数据初步训练Mask R-CNN。因城市道路积水的复杂性，单用Mask R-CNN对于某些场景和形态的积水区域难以检测并分割出来，待训练完成后将数据送入Mask R-CNN进行道路积水区域初步检测。
B）以A）中道路积水区域初步检测结果为基准，将原有样本数据中未检测出道路积
水区域的样本划分为难检测样本
，检测出道路积水区域的样本划分为易检测样本
；
C）以易检测样本
重新训练Mask R-CNN至模型收敛，据此可以得到易检测样本的
特征
；
3）构建并训练含有条件生成对抗网络分支的Mask R-CNN：
参看图2，以Mask R-CNN为基础，为其添加生成对抗网络分支。生成器的目的是将
输入样本的特征映射到与易检测样本特征
相似的特征，若输入是难检测样本特征
，则将
其映射到与易检测样本特征
相似的特征
；若输入是易检测样本特征
，生成器则只需
起到一个零值映射的作用。这样无论输入是难检测样本还是易检测样本，经过生成对抗网
络和Mask R-CNN的特征提取网络之后得到的特征分布都和
相似。其优化过程可以表示
为：
其中，
是来自Resnet-FPN主干网络第一个卷积层输出的低层特征，
先后经过3*
3和1*1的卷积的输出和Resnet-FPN主干网络输出的特征具有相同的通道数。生成器由N个
相同残差块ResBlock组成，每个残差块的内部结构参看图3，由卷积层、BN层、ReLU激活函
数、卷积层和前向叠加构成。
在输入为难检测样本时，一般的生成器很难将难检测样本特征
直接映射到
，使其和易检测样本特征
相似。故使用条件生成对抗网络，其中判别器的输入是易检测样
本特征
和由生成器生成的难检测样本特征
，输出是
和
之间的相似程度。判别
器内部网络结构如图4所示，由两个卷积层、两个全连接层和一个Sigmoid激活函数构成，其
中卷积层和第一个全连接层后的ReLU激活函数用于增加其非线性。
当判别器损失函数
值最小时，判别器能够很好地区分
和
，
可表示为：
生成器能使生成的难检测样本特征
与易检测样本特征
更相似，从而使判别
器无法判别输入数据的真假，其损失函数
可表示为：
利用道路积水数据，交替进行生成器和判别器的训练，直到最终达到平衡，即生成
器生成的特征和易检测样本的特征
很相似，判别器无法判断输入的是易检测样本的特征
，还是由生成器生成的难检测样本的特征
。此时可以进行Mask R-CNN的目标检测和
分割分支的训练，Mask R-CNN的目标检测和分割分支的损失函数为
，利用反向传播使
最小，可以使得训练过程持续收敛。
此模型完整的损失函数可表示为：
其中，
和
分别是
和
的权重系数，其中
；在损失函数
的作用
下，训练过程中含有条件生成对抗网络分支的Mask R-CNN会持续收敛直至平衡，最终完成
整个模型的训练；
4）利用含有生成器分支的Mask R-CNN进行预测：
在利用此模型进行预测时，需要去掉右侧判别器部分，保留左侧生成器分支，生成
器起到一个特征映射的作用。即当输入是难检测样本时，能够将其映射到与易检测样本特
征
相似的特征
；当输入是易检测样本时，生成器起到一个零值映射的作用。这样，无
论输入是易检测样本还是难检测样本，在经过含有生成器分支的特征提取网络之后，输出
的特征都和易检测样本的特征
相似。将前面经条件生成对抗网络映射之后的特征送入
Mask R-CNN的分类分支、位置回归分支和分割分支完成城市道路积水检测和分割任务，即
得到道路积水区域信息。
本发明利用条件生成对抗网络进行特征映射，将难检测样本的特征映射为与易检测样本特征类似的特征，并将其应用于Mask R-CNN特征提取，提升了Mask R-CNN泛化能力，可用于如城市道路积水区域检测等复杂情形。
本领域技术人员根据本发明方法理念结合本领域相关知识所做的等同替换均属于本发明的保护范围，如以下方法：
1. 本发明将条件生成对抗网络和Mask R-CNN结合，可替换为条件生成对抗网络与Mask R-CNN变体或其他实例分割方法结合。
2. 本发明所采用的生成器和判别器不拘泥于固定结构，可替代为其他形式。
3. 本发明提出的方法，不局限于城市道路积水区域检测，可替换为其他应用领域。
Claims (6)
1.一种基于深度学习增强实例分割的道路积水区域检测方法，其特征在于：
1）数据收集和标注：
大量收集城市监控场景下的道路积水样本并标注；
2）构建Mask R-CNN，划分数据集，以易检测积水样本训练Mask R-CNN：
A）Mask R-CNN的结构中包含分类分支、位置回归分支和分割分支，将提取的样本特征送入上述三个分支，进行目标的检测和分割，其损失函数可表示为：
其中，Lcls表示分类分支损失，Lbox表示位置回归分支损失，Lmask表示分割分支损失；
构建Mask R-CNN网络，以标注好的数据初步训练Mask R-CNN，并将数据送入Mask R-CNN进行道路积水区域初步检测；
B）以A）中道路积水区域初步检测结果为基准，将原有样本数据中未检测出道路积水区域的样本划分为难检测样本Dh，检测出道路积水区域的样本划分为易检测样本De；
C）以易检测样本De重新训练Mask R-CNN至模型收敛，据此可以得到易检测样本的特征
；
3）构建并训练含有条件生成对抗网络分支的Mask R-CNN：
为Mask R-CNN添加条件生成对抗网络分支，条件生成对抗网络由生成器和判别器组成，生成器用于将输入样本的特征
映射到与易检测样本特征
相似的特征
，判别器用于输出
和
之间的相似程度，条件生成对抗网络优化过程可以表示为：
其中，
是来自Resnet-FPN主干网络第一个卷积层输出的低层特征，
先后经过3*3和1*1的卷积的输出和Resnet-FPN主干网络输出的特征具有相同的通道数；
当判别器损失函数Ldis值最小时，判别器能够很好地区分
和
，Ldis可表示为：
生成器能使生成的难检测样本特征
与易检测样本特征
更相似，从而使判别器无法判别输入数据的真假，其损失函数Lgen可表示为：
利用道路积水数据，交替进行生成器和判别器的训练，直到最终达到平衡，此时进行Mask R-CNN的目标检测和分割分支的训练，Mask R-CNN的目标检测和分割分支的损失函数为Lmrcnn，利用反向传播使Lmrcnn最小，可以使得训练过程持续收敛；
此模型完整的损失函数可表示为：
其中，w1和w2分别是Ldis和Lmrcnn的权重系数，其中
；在损失函数L的作用下，训练过程中含有条件生成对抗网络分支的Mask R-CNN会持续收敛直至平衡，最终完成整个模型的训练；
4）利用含有生成器分支的Mask R-CNN进行预测：
去掉判别器部分，保留生成器分支，生成器将输入样本的特征映射到与易检测样本特征
相似的特征；将前面经条件生成对抗网络映射之后的特征送入Mask R-CNN的分类分支、位置回归分支和分割分支完成城市道路积水检测和分割，得到道路积水区域信息。
2.根据权利要求1所述基于深度学习增强实例分割的道路积水区域检测方法，其特征在于，所述标注是指，用标注工具以多边形方式标注视野范围内的道路积水部分，并绕过所有障碍物。
3.根据权利要求1或2所述基于深度学习增强实例分割的道路积水区域检测方法，其特征在于，所述生成器将输入样本的特征映射到与易检测样本特征
相似的特征方法是，若输入是难检测样本特征
，则将其映射到与易检测样本特征
相似的特征
；若输入是易检测样本特征
，生成器则只需起到一个零值映射的作用。
4.根据权利要求3所述基于深度学习增强实例分割的道路积水区域检测方法，其特征在于，所述生成器由N个相同残差块ResBlock组成，每个残差块的内部结构均由卷积层、BN层、ReLU激活函数、卷积层和前向叠加构成。
5.根据权利要求4所述基于深度学习增强实例分割的道路积水区域检测方法，其特征在于，所述判别器由两个卷积层、两个全连接层和一个Sigmoid激活函数构成，其中卷积层和第一个全连接层后的ReLU激活函数用于增加其非线性。
6.根据权利要求5所述基于深度学习增强实例分割的道路积水区域检测方法，其特征在于，所述交替进行生成器和判别器的训练直到最终达到平衡是指，生成器生成的特征和易检测样本的特征
很相似，判别器无法判断输入的是易检测样本的特征
，还是由生成器生成的难检测样本的特征
。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911230478.2A CN110675415B (zh) | 2019-12-05 | 2019-12-05 | 一种基于深度学习增强实例分割的道路积水区域检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911230478.2A CN110675415B (zh) | 2019-12-05 | 2019-12-05 | 一种基于深度学习增强实例分割的道路积水区域检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110675415A CN110675415A (zh) | 2020-01-10 |
| CN110675415B true CN110675415B (zh) | 2020-05-15 |
Family
ID=69088344
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911230478.2A Active CN110675415B (zh) | 2019-12-05 | 2019-12-05 | 一种基于深度学习增强实例分割的道路积水区域检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110675415B (zh) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111583197B (zh) * | 2020-04-23 | 2022-05-13 | 浙江大学 | 结合SSD及Resnet50网络的电力箱图片锈蚀破损识别方法 |
| TWI749770B (zh) * | 2020-09-16 | 2021-12-11 | 英業達股份有限公司 | 淹水警示方法 |
| CN112861855A (zh) * | 2021-02-02 | 2021-05-28 | 华南农业大学 | 基于对抗网络模型的群养猪实例分割方法 |
| CN113420839B (zh) * | 2021-08-23 | 2021-11-02 | 齐鲁工业大学 | 用于堆叠平面目标物体的半自动标注方法及分割定位系统 |
| CN114022734A (zh) * | 2021-11-09 | 2022-02-08 | 重庆商勤科技有限公司 | 一种基于图像识别的液面高度识别方法 |
| CN114219788A (zh) * | 2021-12-17 | 2022-03-22 | 江西洪都航空工业集团有限责任公司 | 一种基于视频的积水检测方法 |
| CN115240020A (zh) * | 2022-04-29 | 2022-10-25 | 清远蓄能发电有限公司 | 基于弱光补偿的MaskRCNN渗水检测方法及系统 |
| CN115205738B (zh) * | 2022-07-05 | 2023-08-01 | 广州和达水务科技股份有限公司 | 应用于城市内涝的应急排水方法和系统 |
| CN116311103A (zh) * | 2023-05-10 | 2023-06-23 | 江西云眼视界科技股份有限公司 | 基于增量学习的路面积水检测方法、装置、介质及设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107909070A (zh) * | 2017-11-24 | 2018-04-13 | 天津英田视讯科技有限公司 | 一种道路积水检测的方法 |
| CN108875732A (zh) * | 2018-01-11 | 2018-11-23 | 北京旷视科技有限公司 | 模型训练与实例分割方法、装置和系统及存储介质 |
| CN110111236A (zh) * | 2019-04-19 | 2019-08-09 | 大连理工大学 | 基于渐进式对抗生成网络的多目标草图生成图像的方法 |
| CN110175966A (zh) * | 2019-05-30 | 2019-08-27 | 上海极链网络科技有限公司 | 非配对图像生成方法、系统、服务器及存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106874921B (zh) * | 2015-12-11 | 2020-12-04 | 清华大学 | 图像分类方法和装置 |
-
2019
- 2019-12-05 CN CN201911230478.2A patent/CN110675415B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107909070A (zh) * | 2017-11-24 | 2018-04-13 | 天津英田视讯科技有限公司 | 一种道路积水检测的方法 |
| CN108875732A (zh) * | 2018-01-11 | 2018-11-23 | 北京旷视科技有限公司 | 模型训练与实例分割方法、装置和系统及存储介质 |
| CN110111236A (zh) * | 2019-04-19 | 2019-08-09 | 大连理工大学 | 基于渐进式对抗生成网络的多目标草图生成图像的方法 |
| CN110175966A (zh) * | 2019-05-30 | 2019-08-27 | 上海极链网络科技有限公司 | 非配对图像生成方法、系统、服务器及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 应用 GAN 和 Faster R-CNN 的色织物缺陷识别;李明 等;《西安工程大学学报》;20181231;第32卷(第6期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110675415A (zh) | 2020-01-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110675415B (zh) | 一种基于深度学习增强实例分割的道路积水区域检测方法 | |
| Dhiman et al. | Pothole detection using computer vision and learning | |
| Tran et al. | One stage detector (RetinaNet)-based crack detection for asphalt pavements considering pavement distresses and surface objects | |
| Ohgushi et al. | Road obstacle detection method based on an autoencoder with semantic segmentation | |
| CN104517095B (zh) | 一种基于深度图像的人头分割方法 | |
| CN103136537B (zh) | 一种基于支持向量机的车型识别方法 | |
| Kanaeva et al. | Road pavement crack detection using deep learning with synthetic data | |
| CN113326846B (zh) | 一种基于机器视觉的桥梁表观病害快速检测方法 | |
| CN103971524A (zh) | 一种基于机器视觉的交通流量检测方法 | |
| CN116597270A (zh) | 基于注意力机制集成学习网络的道路损毁目标检测方法 | |
| Rahman et al. | LVLane: deep learning for lane detection and classification in challenging conditions | |
| CN112785610B (zh) | 一种融合低层特征的车道线语义分割方法 | |
| Shokri et al. | Utility poles extraction from mobile lidar data in urban area based on density information | |
| Gao et al. | Intelligent crack damage detection system in shield tunnel using combination of retinanet and optimal adaptive selection | |
| CN110853058B (zh) | 基于视觉显著性检测的高分辨率遥感影像道路提取方法 | |
| Antwi et al. | Turning Features Detection from Aerial Images: Model Development and Application on Florida’s Public Roadways | |
| Kamenetsky et al. | Aerial car detection and urban understanding | |
| KR102416714B1 (ko) | 3차원 이미지 및 딥러닝을 활용한 도시 규모 나무 지도 작성 시스템 및 방법 | |
| CN115546667A (zh) | 一种无人机场景的实时车道线检测方法 | |
| Sun et al. | Check dam extraction from remote sensing images using deep learning and geospatial analysis: A case study in the Yanhe River Basin of the Loess Plateau, China | |
| Iqbal et al. | AI-Driven Road Maintenance Inspection v2: Reducing Data Dependency & Quantifying Road Damage | |
| CN113239962A (zh) | 一种基于单个固定摄像头的交通参与者的识别方法 | |
| Shi et al. | Traffic Sign Instances Segmentation Using Aliased Residual Structure and Adaptive Focus Localizer | |
| Vasudha et al. | Carriageway Edge Detection for Unmarked Urban Roads using Deep Learning Techniques | |
| Rava et al. | World Coordinate Virtual Traffic Cameras: Edge-Based Transformation and Merging of Multiple Surveillance Video Sources |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |