CN110717886A - 复杂环境下基于机器视觉的路面坑塘检测方法 - Google Patents

复杂环境下基于机器视觉的路面坑塘检测方法 Download PDF

Info

Publication number
CN110717886A
CN110717886A CN201910829118.8A CN201910829118A CN110717886A CN 110717886 A CN110717886 A CN 110717886A CN 201910829118 A CN201910829118 A CN 201910829118A CN 110717886 A CN110717886 A CN 110717886A
Authority
CN
China
Prior art keywords
pool
semantic segmentation
segmentation model
traffic monitoring
pavement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201910829118.8A
Other languages
English (en)
Inventor
丁俊杰
郭唐仪
练智超
刘悦
邓洁仪
朱永璇
周钰汀
郭玉洁
孙豪
郝浪
吕亦江
伊特格勒
朱云霞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Tech University
Original Assignee
Nanjing Tech University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Tech University filed Critical Nanjing Tech University
Priority to CN201910829118.8A priority Critical patent/CN110717886A/zh
Publication of CN110717886A publication Critical patent/CN110717886A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明提出了一种复杂环境下基于机器视觉的路面坑塘检测方法，首先利用进行了像素级标注的交通监控图像训练语义分割模型；其次，对交通监控视频进行背景建模获得交通监控背景图像，利用语义分割模型对背景图像进行分割，提取图像中的道路；随后，对提取的道路进行二值化，分割出路面上颜色较深且面积较大的区域，并采用支持向量机对这些区域进行分类，获得路面坑塘候选区域；最后，输出存在被语义分割模型划分为路面坑塘子区域的候选区域。通过本发明有效减少了复杂背景对检测任务的干扰，提高了算法的鲁棒性，并提高了检测精度。

Description

复杂环境下基于机器视觉的路面坑塘检测方法
技术领域
本发明属于机器视觉技术领域，具体为一种复杂环境下基于机器视觉的路面坑塘检测方法。
背景技术
依托于人工智能、云计算、物联网等新一代信息技术，借助视频监控、GPS、移动终端等感知设备，越来越多的路面坑塘自动检测技术被研究者们提出。传统的方法通常是对不同的道路坑塘进行针对性的特征分析，然后依赖于这些特征进行目标检测；同时，也有部分研究者使用已有数据集训练神经网络以期对各类路面坑塘进行识别。但是，对于监控视角下复杂道路场景图像来说，其具有背景复杂、目标尺度较小、纹理特征退化等特点，与此同时，现有路面坑塘数据量较小，不加改进的照搬现有方法对该类图像进行目标检测，得到的效果较为有限。
发明内容
本发明提出了一种复杂环境下基于机器视觉的路面坑塘检测方法。
实现本发明的技术解决方案为：一种复杂环境下基于机器视觉的路面坑塘检测方法，具体步骤为：
步骤1、将进行了像素级标注的交通监控图像作为训练样本来训练语义分割模型；
步骤2、获取待检测的交通监控视频，对其进行背景建模，排除视频中的运动物体，获得交通监控背景图像；
步骤3、使用训练好的语义分割模型对交通监控背景图像进行分割，提取图像中的道路；
步骤4、对提取的道路进行二值化，分割出路面上的类坑塘区域；
步骤5、利用基于路面坑塘样本集训练得到的支持向量机对步骤4分割得到的区域进行分类，如果支持向量机判断该区域为路面坑塘，则将其作为候选区域，否则排除这一区域；
步骤6、判断所有候选区域中是否存在被语义分割模型划分为路面坑塘的子区域，如果存在，则判断这一区域为路面坑塘区域。
优选地，步骤1中所述语义分割模型为具有编码-解码结构的卷积神经神经网络或采取空洞卷积策略的卷积神经网络。
优选地，步骤1中所述语义分割模型包括基础层、与基础层的输出端连接的金字塔池化模块、与金字塔池化模块的输出端连接的N个依次连接的卷积层；其中：
所述基础层为采用空洞卷积策略预训练过的ResNet网络；
所述金字塔池化模块用于通过四个扩张率不同的空洞卷积提取四种不同尺度下的特征图，且将四张特征图进行上采样使其尺度均与ResNet网络的输出特征图相同，然后将ResNet的输出特征图与上采样后的四张特征图拼接作为输出。
优选地，步骤1中训练语义分割模型的具体方法为：将交通监控图像作为语义分割模型的输入，并将交通监控图像进行像素级标注后的掩膜作为真值，采用多分类损失函数，不断比较真值和模型输出的预测值，使用反向传播算法不断优化神经网络参数，当迭代次数达到设定值，或者损失函数值小于设定阈值，得到网络参数最优解，其中，损失函数具体为：
Figure BDA0002190072870000021
其中，Y代表样本的one-hot向量，
Figure BDA0002190072870000022
代表softmax输出的向量。
优选地，步骤3中所述提取的道路包括被语义分割模型分割为正常路面及路面坑塘的子区域。
优选地，步骤4中所述类坑塘区域是指像素的灰度值小于15，像素总个数大于200的连通区域。
优选地，步骤5中基于路面坑塘样本集训练得到支持向量机的过程具体为：
提取路面坑塘样本集中正样本及负样本的LBP纹理特征，利用LBP纹理特征进行支持向量机的训练。
本发明与现有技术相比，其显著优点为：
1、本发明基于传统特征的检测手段和基于深度学习的语义分割模型进行路面坑塘的检测，两者具有互补性，提高了检测精度；
2、本发明使用基于深度学习的语义分割模型对复杂道路场景进行分割，仅在道路这一感兴趣区域上查找坑塘，保留了路面和坑塘的空间位置关系，有效减少了复杂背景对检测任务的干扰，提高了算法的鲁棒性。
附图说明
图1为本发明一种复杂环境下基于机器视觉的路面坑塘检测方法流程图。
图2为本发明的语义分割模型网络结构图。
图3为本发明的正常路面与路面坑塘对比图。
图4为本发明中ResNet网络结构示意图。
具体实施方式
如图1所示，一种复杂环境下基于机器视觉的路面坑塘检测方法，具体步骤为：
步骤1、将进行了像素级标注的交通监控图像作为训练样本来训练语义分割模型；
进一步的实施例中，所述语义分割模型可以使用但不限于使用具有编码-解码结构的卷积神经神经网络或采取空洞卷积策略的卷积神经网络。
如图2、4所示，进一步的实施例中，所述语义分割模型的基础层为采用空洞卷积策略预训练过的ResNet网络；基础层的输出连接金字塔池化模块，其中金字塔池化模块通过四个扩张率不同的空洞卷积提取四种不同尺度下的特征图，将这四张特征图进行上采样使其尺度均与ResNet的输出特征图相同，随后将ResNet的输出特征图与上采样后的四张特征图拼接作为金字塔池化模块的输出；最后，金字塔池化模块的输出连接N个卷积层进一步提取特征并输出语义分割预测图。
进一步的实施例中，训练语义分割模型的具体方法为：将交通监控图像作为语义分割模型的输入，并将交通监控图像进行像素级标注后的掩膜作为真值，采用多分类损失函数，不断比较真值和模型输出的预测值，使用反向传播算法不断优化神经网络参数，当迭代次数达到设定值，或者损失函数值小于设定阈值，得到网络参数最优解，其中，损失函数具体为：
Figure BDA0002190072870000031
其中，Y代表样本的one-hot向量，
Figure BDA0002190072870000032
代表softmax输出的向量。
本发明中，所述语义分割模型用于区分属于感兴趣目标的前景像素F(x,y)及不属于感兴趣目标的背景像素B(x,y)，其中，感兴趣目标是指包括但不限于正常路面、路面坑塘、车辆、行人等事物。
步骤2、获取待检测的交通监控视频，对其进行背景建模，排除视频中的运动物体，获得交通监控背景图像；
进一步的实施例中，对交通监控进行背景建模的方法可以但不限于使用差分背景建模、GMM、SACON、VIBE等各类背景建模方法，在本实施例中采用GMM背景建模获得交通监控背景图像。
步骤3、使用训练好的语义分割模型对交通监控背景图像进行分割，提取图像中的道路；
进一步的实施例中，所述提取的道路应包含被语义分割模型分割为正常路面及路面坑塘的子区域，如图3所示。
步骤4、对提取的道路进行二值化，分割出路面上的类坑塘区域；
进一步的实施例中，所述类坑塘区域是指所有像素灰度值I(x,y)小于15、像素个数S大于200的连通区域。
步骤5、利用基于路面坑塘样本集训练得到的支持向量机对步骤4分割得到的区域进行分类，如果支持向量机判断该区域为路面坑塘，则将其作为候选区域，否则排除这一区域；
进一步的实施例中，基于路面坑塘样本集训练得到支持向量机的过程具体为：
将所有交通监控图像中的路面坑塘截取出来，统一缩放成48×48像素大小的图片作为正样本集P，将交通监控图像中不包含路面坑塘的区域分割成若干个48×48像素大小的图片作为负样本集N，提取所有正负样本的LBP纹理特征，使用这些LBP纹理特征进行支持向量机的训练，其中，支持向量机的核函数选用线性核函数，惩罚因子C设定为1.319。
步骤6、判断所有候选区域中是否存在被语义分割模型划分为路面坑塘的子区域Sub(x,y)，如果存在，则判断这一区域为路面坑塘区域。

Claims (7)

1.一种复杂环境下基于机器视觉的路面坑塘检测方法，其特征在于，具体步骤为：
步骤1、将进行了像素级标注的交通监控图像作为训练样本来训练语义分割模型；
步骤2、获取待检测的交通监控视频，对其进行背景建模，排除视频中的运动物体，获得交通监控背景图像；
步骤3、使用训练好的语义分割模型对交通监控背景图像进行分割，提取图像中的道路；
步骤4、对提取的道路进行二值化，分割出路面上的类坑塘区域；
步骤5、利用基于路面坑塘样本集训练得到的支持向量机对步骤4分割得到的区域进行分类，如果支持向量机判断该区域为路面坑塘，则将其作为候选区域，否则排除这一区域；
步骤6、判断所有候选区域中是否存在被语义分割模型划分为路面坑塘的子区域，如果存在，则判断这一区域为路面坑塘区域。
2.根据权利要求1所述的复杂环境下基于机器视觉的路面坑塘检测方法，其特征在于，步骤1中所述语义分割模型为具有编码-解码结构的卷积神经神经网络或采取空洞卷积策略的卷积神经网络。
3.根据权利要求1所述的复杂环境下基于机器视觉的路面坑塘检测方法，其特征在于，步骤1中所述语义分割模型包括基础层、与基础层的输出端连接的金字塔池化模块、与金字塔池化模块的输出端连接的N个依次连接的卷积层；其中：
所述基础层为采用空洞卷积策略预训练过的ResNet网络；
所述金字塔池化模块用于通过四个扩张率不同的空洞卷积提取四种不同尺度下的特征图，且将四张特征图进行上采样使其尺度均与ResNet网络的输出特征图相同，然后将ResNet的输出特征图与上采样后的四张特征图拼接作为输出。
4.根据权利要求1所述的复杂环境下基于机器视觉的路面坑塘检测方法，其特征在于，步骤1中训练语义分割模型的具体方法为：将交通监控图像作为语义分割模型的输入，并将交通监控图像进行像素级标注后的掩膜作为真值，采用多分类损失函数，不断比较真值和模型输出的预测值，使用反向传播算法不断优化神经网络参数，当迭代次数达到设定值，或者损失函数值小于设定阈值，得到网络参数最优解，其中，损失函数具体为：
其中，Y代表样本的one-hot向量，
Figure FDA0002190072860000022
代表softmax输出的向量。
5.根据权利要求1所述的复杂环境下基于机器视觉的路面坑塘检测方法，其特征在于，步骤3中所述提取的道路包括被语义分割模型分割为正常路面及路面坑塘的子区域。
6.根据权利要求1所述的复杂环境下基于机器视觉的路面坑塘检测方法，其特征在于，步骤4中所述类坑塘区域是指像素的灰度值小于15，像素总个数大于200的连通区域。
7.根据权利要求1所述的复杂环境下基于机器视觉的路面坑塘检测方法，其特征在于，步骤5中基于路面坑塘样本集训练得到支持向量机的过程具体为：
提取路面坑塘样本集中正样本及负样本的LBP纹理特征，利用LBP纹理特征进行支持向量机的训练。
CN201910829118.8A 2019-09-03 2019-09-03 复杂环境下基于机器视觉的路面坑塘检测方法 Withdrawn CN110717886A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910829118.8A CN110717886A (zh) 2019-09-03 2019-09-03 复杂环境下基于机器视觉的路面坑塘检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910829118.8A CN110717886A (zh) 2019-09-03 2019-09-03 复杂环境下基于机器视觉的路面坑塘检测方法

Publications (1)

Publication Number Publication Date
CN110717886A true CN110717886A (zh) 2020-01-21

Family

ID=69209650

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910829118.8A Withdrawn CN110717886A (zh) 2019-09-03 2019-09-03 复杂环境下基于机器视觉的路面坑塘检测方法

Country Status (1)

Country Link
CN (1) CN110717886A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111539494A (zh) * 2020-07-08 2020-08-14 浙江浙能天然气运行有限公司 基于U-Net和SVM的水工保护损毁检测方法
CN111862143A (zh) * 2020-07-13 2020-10-30 郑州信大先进技术研究院 一种河堤坍塌自动监测方法
CN111884873A (zh) * 2020-07-13 2020-11-03 上海华讯网络系统有限公司 一种自学习的预测网络监控图形的方法和系统
CN112950640A (zh) * 2021-02-23 2021-06-11 Oppo广东移动通信有限公司 视频人像分割方法、装置、电子设备及存储介质
CN112966665A (zh) * 2021-04-01 2021-06-15 广东诚泰交通科技发展有限公司 路面病害检测模型训练方法、装置和计算机设备
CN113269794A (zh) * 2021-05-27 2021-08-17 中山大学孙逸仙纪念医院 一种图像区域分割方法、装置、终端设备及存储介质
CN113763392A (zh) * 2021-11-10 2021-12-07 北京中科慧眼科技有限公司 用于路面平坦度检测的模型预测方法、系统和智能终端

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111539494A (zh) * 2020-07-08 2020-08-14 浙江浙能天然气运行有限公司 基于U-Net和SVM的水工保护损毁检测方法
CN111862143A (zh) * 2020-07-13 2020-10-30 郑州信大先进技术研究院 一种河堤坍塌自动监测方法
CN111884873A (zh) * 2020-07-13 2020-11-03 上海华讯网络系统有限公司 一种自学习的预测网络监控图形的方法和系统
CN111884873B (zh) * 2020-07-13 2021-10-29 上海华讯网络系统有限公司 一种自学习的预测网络监控图形的方法和系统
CN111862143B (zh) * 2020-07-13 2024-03-19 郑州信大先进技术研究院 一种河堤坍塌自动监测方法
CN112950640A (zh) * 2021-02-23 2021-06-11 Oppo广东移动通信有限公司 视频人像分割方法、装置、电子设备及存储介质
CN112966665A (zh) * 2021-04-01 2021-06-15 广东诚泰交通科技发展有限公司 路面病害检测模型训练方法、装置和计算机设备
CN113269794A (zh) * 2021-05-27 2021-08-17 中山大学孙逸仙纪念医院 一种图像区域分割方法、装置、终端设备及存储介质
CN113763392A (zh) * 2021-11-10 2021-12-07 北京中科慧眼科技有限公司 用于路面平坦度检测的模型预测方法、系统和智能终端
CN113763392B (zh) * 2021-11-10 2022-03-18 北京中科慧眼科技有限公司 用于路面平坦度检测的模型预测方法、系统和智能终端

Similar Documents

Publication Publication Date Title
CN110717886A (zh) 复杂环境下基于机器视觉的路面坑塘检测方法
CN108492319B (zh) 基于深度全卷积神经网络的运动目标检测方法
CN111598030B (zh) 一种航拍图像中车辆检测和分割的方法及系统
CN110543911B (zh) 一种结合分类任务的弱监督目标分割方法
CN108830171B (zh) 一种基于深度学习的智能物流仓库引导线视觉检测方法
CN111598174A (zh) 图像地物要素分类模型的训练方法、图像分析方法及系统
CN109840483B (zh) 一种滑坡裂缝检测与识别的方法及装置
CN111611861B (zh) 一种基于多尺度特征关联的图像变化检测方法
CN111160205B (zh) 一种交通场景嵌入式多类目标端对端统一检测方法
CN111259827B (zh) 一种面向城市河道监管的水面漂浮物自动检测方法及装置
CN112329533B (zh) 一种基于图像分割的局部路面附着系数估计方法
CN108416316B (zh) 一种黑烟车的检测方法及系统
CN106683119A (zh) 基于航拍视频图像的运动车辆检测方法
US20220315243A1 (en) Method for identification and recognition of aircraft take-off and landing runway based on pspnet network
CN114596500A (zh) 一种基于通道-空间注意力和DeeplabV3plus的遥感影像语义分割方法
CN116485717B (zh) 一种基于像素级深度学习的混凝土坝表面裂缝检测方法
CN114693924A (zh) 一种基于多模型融合的道路场景语义分割方法
Xing et al. Traffic sign recognition using guided image filtering
CN111353396A (zh) 一种基于SCSEOCUnet的混凝土裂缝分割方法
CN116597270A (zh) 基于注意力机制集成学习网络的道路损毁目标检测方法
Harianto et al. Data augmentation and faster rcnn improve vehicle detection and recognition
Liu Learning full-reference quality-guided discriminative gradient cues for lane detection based on neural networks
CN112785610B (zh) 一种融合低层特征的车道线语义分割方法
Yang et al. Multi visual feature fusion based fog visibility estimation for expressway surveillance using deep learning network
CN111160282B (zh) 一种基于二值化Yolov3网络的红绿灯检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20200121