CN112801102B - 一种道面块状病害检测的方法 - Google Patents

一种道面块状病害检测的方法 Download PDF

Info

Publication number
CN112801102B
CN112801102B CN202110032020.7A CN202110032020A CN112801102B CN 112801102 B CN112801102 B CN 112801102B CN 202110032020 A CN202110032020 A CN 202110032020A CN 112801102 B CN112801102 B CN 112801102B
Authority
CN
China
Prior art keywords
branch
convolution layer
convolution
layer
packaged
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110032020.7A
Other languages
English (en)
Other versions
CN112801102A (zh
Inventor
费越
余世杰
彭辉
刘天恒
李海丰
桂仲成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Guimu Robot Co ltd
Original Assignee
Chengdu Guimu Robot Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Guimu Robot Co ltd filed Critical Chengdu Guimu Robot Co ltd
Priority to CN202110032020.7A priority Critical patent/CN112801102B/zh
Publication of CN112801102A publication Critical patent/CN112801102A/zh
Application granted granted Critical
Publication of CN112801102B publication Critical patent/CN112801102B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/285—Selection of pattern recognition techniques, e.g. of classifiers in a multi-classifier system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种道面块状病害检测的方法，包括从上至下依次排列的第一分支至第六分支；所述第一分支为卷积核均为1×1的第一卷积层；所述第二分支包括从前至后依次连接并封装的卷积核均为1×1的第二卷积层和卷积核均为3×3的第三卷积层；所述第三分支包括从前至后依次连接并封装的卷积核均为1×1的第四卷积层、卷积核均为3×3的第五卷积层和卷积核均为3×3的第六卷积层；所述第四分支包括从前至后依次连接并封装的9×9的第一平均池化层和卷积核均为1×1的第七卷积层；所述第五分支包括从前至后依次连接并封装的17×17的第二平均池化层和卷积核均为1×1的第八卷积层；所述第六分支包括从前至后依次连接并封装的第三平均池化层和第九卷积层。

Description

一种道面块状病害检测的方法
技术领域
本发明涉及道面块状病害检测技术领域，尤其是一种道面块状病害检测的方法。
背景技术
近年来，随着人们对深度学习研究的不断深入，众多基于深度学习的语义分割模型在各公开数据集中的表现也在持续进步。这些模型大多都是在卷积神经网络的基础上对网络结构进行了改进，使得模型能够更好地进行表征学习来提取具有高级语义的特征信息。目前，常见的模型有全卷积网络(FCN)、U型网络(U-Net)、PSP-Net、DeepLab、HR-Net等等。尽管模型的网络结构迥异，但是它们的网络结构都聚焦于同一个问题：如何提取多尺度目标的特征。
道路表观块状病害(例如灌缝、修补等)其通常形状多变，长、宽、面积等属性均不固定。在利用语义分割模型对它们进行检测的试验当中，形状不一的块状病害漏检率依然较高。由此可见，现有的模型的网络结构保证了多尺度目标的特征提取，但是在特征筛选与像素级分类的网络结构上仍有待改进。
如图1所示，U-Net模型可以分为两部分来看：第一部分，前框选部分(特征提取)可以看作“特征提取网络”，绿框则是“分类网络”。很显然的，特征提取网络通过与深层与浅层级联的方式，达到了对多尺度目标进行特征提取的目的。第二部分，后框选部分(分类器)：分类网络由3×3的卷积核以及非线性激活函数ReLU组成，负责特征的筛选工作。但是，这些3×3的卷积核主要聚焦在图像局部区域，这极不利于不同尺度目标特征的筛选。案例如专利申请号为“202010598005.4”、名字为“一种基于八度卷积改进U-net网络的图像分割方法”的中国发明专利。
因此，急需要提出一种结构简单、检测可靠的用于道面块状病害检测的网络模型和检测方法。
发明内容
针对上述问题，本发明的目的在于提供一种道面块状病害检测的方法，本发明采用的技术方案如下：
一种道面块状病害检测的方法，包括：网络模型的输入是256(宽)×512(高)的道面灰度图像，输出是N类网络逻辑输出，包括道面板角剥落检测结果、裂缝检测结果和道面修补检测结果，从上至下依次排列的第一分支、第二分支、第三分支、第四分支、第五分支和第六分支；所述第一分支、第二分支、第三分支、第四分支、第五分支和第六分支的输入采用同一张特征图；所述第一分支、第二分支、第三分支、第四分支、第五分支和第六分支的输出采用累加融合；所述第一分支为第一卷积层；所述第二分支包括从前至后依次连接并封装的第二卷积层和第三卷积层；所述第三分支包括从前至后依次连接并封装的第四卷积层、第五卷积层和第六卷积层；所述第四分支包括从前至后依次连接并封装的第一平均池化层和第七卷积层；所述第五分支包括从前至后依次连接并封装的第二平均池化层和第八卷积层；所述第六分支包括从前至后依次连接并封装的第三平均池化层和第九卷积层。
进一步地，所述第一卷积层、第二卷积层和第四卷积层的卷积核均为1×1；所述第三卷积层、第五卷积层和第六卷积层的卷积核均为3×3。
进一步地，所述第七卷积层、第八卷积层和第九卷积层的卷积核均为1×1；所述第一平均池化层为9×9；所述第二平均池化层为17×17；所述第三平均池化层为35×35。
进一步地，所述第一平均池化层、第二平均池化层、第三平均池化层以特征图的任一像素为中心进行平均池化。
与现有技术相比，本发明具有以下有益效果：
(1)本发明巧妙地设置第一分支、第二分支和第三分支，其采用逐次增加卷积层的方式，以加强了对小尺度目标(如道面裂缝)的特征筛选；
(2)本发明巧妙地了第四分支、第五分支和第六分支，其均采用平均池化层和卷积层的组合，加强了对大面积目标(如道面板角剥落、道面修补)的特征筛选；
(3)本发明巧妙地采用了平均池化层，其作用在于每个通道特征图的每个像素周围邻域内，池化操作后的张量形状与操作前相同；在池化的过程中，特征图的边、角处不会进行图像填充，这样就避免了填充操作引入无价值的特征信息；
(4)本发明将MLP形式的分类器变形成了具有多通道并行特征筛选效果的分类器，每一个通道有着各自的感受野区域，最后各通道信息通过累加方式进行融合，从而改善了语义分割网络对不同尺度道面块状病害的检测效果；
综上所述，本发明具有结构简单、检测可靠等优点，在道面块状病害检测技术领域具有很高的实用价值和推广价值。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需使用的附图作简单介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对保护范围的限定，对于本领域技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为现有技术中的U-Net网络的结构示意图。
图2为现有技术中的MLP分类器的结构示意图。
图3为本发明的网络模型的结构示意图。
图4为本发明的对比示意图。
具体实施方式
为使本申请的目的、技术方案和优点更为清楚，下面结合附图和实施例对本发明作进一步说明，本发明的实施方式包括但不限于下列实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
实施例
如图3至图4所示，本实施例提供了一种道面块状病害检测方法，包括以下步骤：
第一步，构建用于道面块状病害检测的网络模型；在本实施例中，网络模型包括从上至下依次排列的第一分支、第二分支、第三分支、第四分支、第五分支和第六分支；所述第一分支、第二分支、第三分支、第四分支、第五分支和第六分支的输入采用同一张特征图；所述第一分支、第二分支、第三分支、第四分支、第五分支和第六分支的输出采用累加融合。其中，所述第一分支为卷积核均为1×1的第一卷积层；所述第二分支包括从前至后依次连接并封装的卷积核均为1×1的第二卷积层和卷积核均为3×3的第三卷积层；所述第三分支包括从前至后依次连接并封装的卷积核均为1×1的第四卷积层、卷积核均为3×3的第五卷积层和卷积核均为3×3的第六卷积层。在本实施例中，第一分支、第二分支和第三分支可以加强对小尺度目标(如道面裂缝)的特征筛选。另外，所述第四分支包括从前至后依次连接并封装的9×9的第一平均池化层和卷积核均为1×1的第七卷积层；所述第五分支包括从前至后依次连接并封装的17×17的第二平均池化层和卷积核均为1×1的第八卷积层；所述第六分支包括从前至后依次连接并封装的35×35的第三平均池化层和卷积核均为1×1的第九卷积层。在本实施例中，池化操作是作用于每个通道特征图的每个像素周围邻域内，池化操作后的张量形状与操作前相同。也就是说，我们是以特征图的每个像素为中心进行平均池化操作，进而获取在该位置的池化结果，而并非对整个特征图进行自适应的平均池化后再上采样回原有尺寸。在池化的过程中，特征图的边、角处不会进行图像填充，这样就避免了填充操作引入无价值的特征信息。最后，六条分支各自有一个形状相等的逻辑张量输出，并通过累加的方式融合在一起，成为最终的逻辑输出层。
采集道面的图像，并输入至网络模型内，输入是一个由U-Net结构所提取的特征图张量(形状为256×512×48)，它的输出是一个N类的逻辑张量(形状为256×512×N)。
本实施例中，保持U-Net的整体网络结构作为基准(根据显存容量略微降低了各层张量的通道数)，只将其最后的网络分类器替换为新型网络分类器。网络模型的输入是256(宽)×512(高)的道面灰度图像，输出是N类网络逻辑输出(本实施例有9类病害，因此N＝9)。实验结果如图4所示。图4(a)、(b)中展示了U-Net对于道面板角剥落的检测结果。可以看出，本实施例的网络模型在保留了原始U-Net检测结果的基础上，更容易检测出面积不固定的板角剥落病害。值得注意的是，在图4(b)中本实施例的网络模型分类器也具有了较强的裂缝检测结果，这说明了其前3条分支网络的重要性。图4(c)、(d)中展示了U-Net对于道面修补的检测结果。可以看出，相较于原始U-Net检测结果，本实施例的网络模型的U-Net更容易检测出面积较大的修补特征。
上述实施例仅为本发明的优选实施例，并非对本发明保护范围的限制，但凡采用本发明的设计原理，以及在此基础上进行非创造性劳动而作出的变化，均应属于本发明的保护范围之内。

Claims (4)

1.一种道面块状病害检测的方法，其特征在于，包括：网络模型的输入是256宽×512高的道面灰度图像，输出是N类网络逻辑输出，包括道面板角剥落检测结果、裂缝检测结果和道面修补检测结果，从上至下依次排列的第一分支、第二分支、第三分支、第四分支、第五分支和第六分支；所述第一分支、第二分支、第三分支、第四分支、第五分支和第六分支的输入采用同一张特征图；所述第一分支、第二分支、第三分支、第四分支、第五分支和第六分支的输出采用累加融合；所述第一分支为第一卷积层；所述第二分支包括从前至后依次连接并封装的第二卷积层和第三卷积层；所述第三分支包括从前至后依次连接并封装的第四卷积层、第五卷积层和第六卷积层；所述第四分支包括从前至后依次连接并封装的第一平均池化层和第七卷积层；所述第五分支包括从前至后依次连接并封装的第二平均池化层和第八卷积层；所述第六分支包括从前至后依次连接并封装的第三平均池化层和第九卷积层。
2.根据权利要求1所述的一种道面块状病害检测的方法，其特征在于，所述第一卷积层、第二卷积层和第四卷积层的卷积核均为1×1；所述第三卷积层、第五卷积层和第六卷积层的卷积核均为3×3。
3.根据权利要求1所述的一种道面块状病害检测的方法，其特征在于，所述第七卷积层、第八卷积层和第九卷积层的卷积核均为1×1；所述第一平均池化层为9×9；所述第二平均池化层为17×17；所述第三平均池化层为35×35。
4.根据权利要求1或3所述的一种道面块状病害检测的方法，其特征在于，所述第一平均池化层、第二平均池化层、第三平均池化层以特征图的任一像素为中心进行平均池化。
CN202110032020.7A 2021-01-11 2021-01-11 一种道面块状病害检测的方法 Active CN112801102B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110032020.7A CN112801102B (zh) 2021-01-11 2021-01-11 一种道面块状病害检测的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110032020.7A CN112801102B (zh) 2021-01-11 2021-01-11 一种道面块状病害检测的方法

Publications (2)

Publication Number Publication Date
CN112801102A CN112801102A (zh) 2021-05-14
CN112801102B true CN112801102B (zh) 2023-06-16

Family

ID=75809829

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110032020.7A Active CN112801102B (zh) 2021-01-11 2021-01-11 一种道面块状病害检测的方法

Country Status (1)

Country Link
CN (1) CN112801102B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115049885B (zh) * 2022-08-16 2022-12-27 之江实验室 一种存算一体卷积神经网络图像分类装置及方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111882546A (zh) * 2020-07-30 2020-11-03 中原工学院 基于弱监督学习的三分支卷积网络织物疵点检测方法
CN111985552A (zh) * 2020-08-17 2020-11-24 中国民航大学 复杂背景下机场道面细带状结构病害检测方法
CN112183549A (zh) * 2020-10-26 2021-01-05 公安部交通管理科学研究所 一种基于语义分割的境外驾驶证版面文字定位方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110163215B (zh) * 2018-06-08 2022-08-23 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机可读介质及电子设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111882546A (zh) * 2020-07-30 2020-11-03 中原工学院 基于弱监督学习的三分支卷积网络织物疵点检测方法
CN111985552A (zh) * 2020-08-17 2020-11-24 中国民航大学 复杂背景下机场道面细带状结构病害检测方法
CN112183549A (zh) * 2020-10-26 2021-01-05 公安部交通管理科学研究所 一种基于语义分割的境外驾驶证版面文字定位方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LadderNet: Multi-path networks based on U-Net for medical image segmentation;Juntang Zhuang;《https://arxiv.org/pdf/1810.07810.pdf》;1-4 *
基于深度学习的灵武长枣检测研究;《中国优秀硕士学位论文全文数据库 (农业科技辑)》(第04期);D044-30 *

Also Published As

Publication number Publication date
CN112801102A (zh) 2021-05-14

Similar Documents

Publication Publication Date Title
Fu et al. A deep-learning-based approach for fast and robust steel surface defects classification
CN110678901B (zh) 信息处理设备、信息处理方法和计算机可读存储介质
US10198657B2 (en) All-weather thermal-image pedestrian detection method
CN105447851B (zh) 一种玻璃面板的音孔缺陷检测方法及系统
Yin et al. FD-SSD: An improved SSD object detection algorithm based on feature fusion and dilated convolution
CN106897673B (zh) 一种基于retinex算法和卷积神经网络的行人再识别方法
CN103186894B (zh) 一种自适应分块的多聚焦图像融合方法
CN111242955B (zh) 基于全卷积神经网络的道路表面裂缝图像分割方法
CN109978848A (zh) 基于多光源颜色恒常模型检测眼底图像中硬性渗出的方法
CN104599256A (zh) 基于单幅图像的去除图像雨线的方法和系统
CN107705254A (zh) 一种基于街景图的城市环境评估方法
CN115131797A (zh) 一种基于特征增强金字塔网络的场景文本检测方法
CN112801102B (zh) 一种道面块状病害检测的方法
CN113505702A (zh) 基于双神经网络优化的路面病害识别方法及系统
CN101739667A (zh) 基于非下采样轮廓波变换的遥感图像道路增强方法
CN107492082A (zh) 一种利用边缘统计特征的mrf样本块图像修复方法
CN111027564A (zh) 基于深度学习一体化的低照度成像车牌识别方法及装置
CN104268845A (zh) 极值温差短波红外图像的自适应双局部增强方法
Serna et al. Attribute controlled reconstruction and adaptive mathematical morphology
CN116993737A (zh) 一种基于卷积神经网络的轻量型裂缝分割方法
Miron et al. Cross-comparison census for colour stereo matching applied to intelligent vehicle
CN116309545A (zh) 一种面向医学显微图像的单阶段细胞核实例分割方法
CN106228553A (zh) 高分辨率遥感图像阴影检测装置与方法
CN110633705A (zh) 一种低照度成像车牌识别方法及装置
CN116342877A (zh) 一种复杂场景下基于改进aspp和融合模块的语义分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant