CN110717886A - 复杂环境下基于机器视觉的路面坑塘检测方法 - Google Patents
复杂环境下基于机器视觉的路面坑塘检测方法 Download PDFInfo
- Publication number
- CN110717886A CN110717886A CN201910829118.8A CN201910829118A CN110717886A CN 110717886 A CN110717886 A CN 110717886A CN 201910829118 A CN201910829118 A CN 201910829118A CN 110717886 A CN110717886 A CN 110717886A
- Authority
- CN
- China
- Prior art keywords
- road
- semantic segmentation
- segmentation model
- pool
- traffic monitoring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 13
- 230000011218 segmentation Effects 0.000 claims abstract description 33
- 238000012544 monitoring process Methods 0.000 claims abstract description 26
- 238000012706 support-vector machine Methods 0.000 claims abstract description 14
- 238000000034 method Methods 0.000 claims description 21
- 238000011176 pooling Methods 0.000 claims description 10
- 238000013527 convolutional neural network Methods 0.000 claims description 6
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 238000002372 labelling Methods 0.000 claims 2
- 238000005070 sampling Methods 0.000 claims 1
- 230000006870 function Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Quality & Reliability (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明提出了一种复杂环境下基于机器视觉的路面坑塘检测方法，首先利用进行了像素级标注的交通监控图像训练语义分割模型；其次，对交通监控视频进行背景建模获得交通监控背景图像，利用语义分割模型对背景图像进行分割，提取图像中的道路；随后，对提取的道路进行二值化，分割出路面上颜色较深且面积较大的区域，并采用支持向量机对这些区域进行分类，获得路面坑塘候选区域；最后，输出存在被语义分割模型划分为路面坑塘子区域的候选区域。通过本发明有效减少了复杂背景对检测任务的干扰，提高了算法的鲁棒性，并提高了检测精度。
Description
技术领域
本发明属于机器视觉技术领域，具体为一种复杂环境下基于机器视觉的路面坑塘检测方法。
背景技术
依托于人工智能、云计算、物联网等新一代信息技术，借助视频监控、GPS、移动终端等感知设备，越来越多的路面坑塘自动检测技术被研究者们提出。传统的方法通常是对不同的道路坑塘进行针对性的特征分析，然后依赖于这些特征进行目标检测；同时，也有部分研究者使用已有数据集训练神经网络以期对各类路面坑塘进行识别。但是，对于监控视角下复杂道路场景图像来说，其具有背景复杂、目标尺度较小、纹理特征退化等特点，与此同时，现有路面坑塘数据量较小，不加改进的照搬现有方法对该类图像进行目标检测，得到的效果较为有限。
发明内容
本发明提出了一种复杂环境下基于机器视觉的路面坑塘检测方法。
实现本发明的技术解决方案为：一种复杂环境下基于机器视觉的路面坑塘检测方法，具体步骤为：
步骤1、将进行了像素级标注的交通监控图像作为训练样本来训练语义分割模型；
步骤2、获取待检测的交通监控视频，对其进行背景建模，排除视频中的运动物体，获得交通监控背景图像；
步骤3、使用训练好的语义分割模型对交通监控背景图像进行分割，提取图像中的道路；
步骤4、对提取的道路进行二值化，分割出路面上的类坑塘区域；
步骤5、利用基于路面坑塘样本集训练得到的支持向量机对步骤4分割得到的区域进行分类，如果支持向量机判断该区域为路面坑塘，则将其作为候选区域，否则排除这一区域；
步骤6、判断所有候选区域中是否存在被语义分割模型划分为路面坑塘的子区域，如果存在，则判断这一区域为路面坑塘区域。
优选地，步骤1中所述语义分割模型为具有编码-解码结构的卷积神经神经网络或采取空洞卷积策略的卷积神经网络。
优选地，步骤1中所述语义分割模型包括基础层、与基础层的输出端连接的金字塔池化模块、与金字塔池化模块的输出端连接的N个依次连接的卷积层；其中：
所述基础层为采用空洞卷积策略预训练过的ResNet网络；
所述金字塔池化模块用于通过四个扩张率不同的空洞卷积提取四种不同尺度下的特征图，且将四张特征图进行上采样使其尺度均与ResNet网络的输出特征图相同，然后将ResNet的输出特征图与上采样后的四张特征图拼接作为输出。
优选地，步骤1中训练语义分割模型的具体方法为：将交通监控图像作为语义分割模型的输入，并将交通监控图像进行像素级标注后的掩膜作为真值，采用多分类损失函数，不断比较真值和模型输出的预测值，使用反向传播算法不断优化神经网络参数，当迭代次数达到设定值，或者损失函数值小于设定阈值，得到网络参数最优解，其中，损失函数具体为：
其中，Y代表样本的one-hot向量，
代表softmax输出的向量。
优选地，步骤3中所述提取的道路包括被语义分割模型分割为正常路面及路面坑塘的子区域。
优选地，步骤4中所述类坑塘区域是指像素的灰度值小于15，像素总个数大于200的连通区域。
优选地，步骤5中基于路面坑塘样本集训练得到支持向量机的过程具体为：
提取路面坑塘样本集中正样本及负样本的LBP纹理特征，利用LBP纹理特征进行支持向量机的训练。
本发明与现有技术相比，其显著优点为：
1、本发明基于传统特征的检测手段和基于深度学习的语义分割模型进行路面坑塘的检测，两者具有互补性，提高了检测精度；
2、本发明使用基于深度学习的语义分割模型对复杂道路场景进行分割，仅在道路这一感兴趣区域上查找坑塘，保留了路面和坑塘的空间位置关系，有效减少了复杂背景对检测任务的干扰，提高了算法的鲁棒性。
附图说明
图1为本发明一种复杂环境下基于机器视觉的路面坑塘检测方法流程图。
图2为本发明的语义分割模型网络结构图。
图3为本发明的正常路面与路面坑塘对比图。
图4为本发明中ResNet网络结构示意图。
具体实施方式
如图1所示，一种复杂环境下基于机器视觉的路面坑塘检测方法，具体步骤为：
步骤1、将进行了像素级标注的交通监控图像作为训练样本来训练语义分割模型；
进一步的实施例中，所述语义分割模型可以使用但不限于使用具有编码-解码结构的卷积神经神经网络或采取空洞卷积策略的卷积神经网络。
如图2、4所示，进一步的实施例中，所述语义分割模型的基础层为采用空洞卷积策略预训练过的ResNet网络；基础层的输出连接金字塔池化模块，其中金字塔池化模块通过四个扩张率不同的空洞卷积提取四种不同尺度下的特征图，将这四张特征图进行上采样使其尺度均与ResNet的输出特征图相同，随后将ResNet的输出特征图与上采样后的四张特征图拼接作为金字塔池化模块的输出；最后，金字塔池化模块的输出连接N个卷积层进一步提取特征并输出语义分割预测图。
进一步的实施例中，训练语义分割模型的具体方法为：将交通监控图像作为语义分割模型的输入，并将交通监控图像进行像素级标注后的掩膜作为真值，采用多分类损失函数，不断比较真值和模型输出的预测值，使用反向传播算法不断优化神经网络参数，当迭代次数达到设定值，或者损失函数值小于设定阈值，得到网络参数最优解，其中，损失函数具体为：
其中，Y代表样本的one-hot向量，
代表softmax输出的向量。
本发明中，所述语义分割模型用于区分属于感兴趣目标的前景像素F(x,y)及不属于感兴趣目标的背景像素B(x,y)，其中，感兴趣目标是指包括但不限于正常路面、路面坑塘、车辆、行人等事物。
步骤2、获取待检测的交通监控视频，对其进行背景建模，排除视频中的运动物体，获得交通监控背景图像；
进一步的实施例中，对交通监控进行背景建模的方法可以但不限于使用差分背景建模、GMM、SACON、VIBE等各类背景建模方法，在本实施例中采用GMM背景建模获得交通监控背景图像。
步骤3、使用训练好的语义分割模型对交通监控背景图像进行分割，提取图像中的道路；
进一步的实施例中，所述提取的道路应包含被语义分割模型分割为正常路面及路面坑塘的子区域，如图3所示。
步骤4、对提取的道路进行二值化，分割出路面上的类坑塘区域；
进一步的实施例中，所述类坑塘区域是指所有像素灰度值I(x,y)小于15、像素个数S大于200的连通区域。
步骤5、利用基于路面坑塘样本集训练得到的支持向量机对步骤4分割得到的区域进行分类，如果支持向量机判断该区域为路面坑塘，则将其作为候选区域，否则排除这一区域；
进一步的实施例中，基于路面坑塘样本集训练得到支持向量机的过程具体为：
将所有交通监控图像中的路面坑塘截取出来，统一缩放成48×48像素大小的图片作为正样本集P，将交通监控图像中不包含路面坑塘的区域分割成若干个48×48像素大小的图片作为负样本集N，提取所有正负样本的LBP纹理特征，使用这些LBP纹理特征进行支持向量机的训练，其中，支持向量机的核函数选用线性核函数，惩罚因子C设定为1.319。
步骤6、判断所有候选区域中是否存在被语义分割模型划分为路面坑塘的子区域Sub(x,y)，如果存在，则判断这一区域为路面坑塘区域。
Claims (7)
1.一种复杂环境下基于机器视觉的路面坑塘检测方法，其特征在于，具体步骤为：
步骤1、将进行了像素级标注的交通监控图像作为训练样本来训练语义分割模型；
步骤2、获取待检测的交通监控视频，对其进行背景建模，排除视频中的运动物体，获得交通监控背景图像；
步骤3、使用训练好的语义分割模型对交通监控背景图像进行分割，提取图像中的道路；
步骤4、对提取的道路进行二值化，分割出路面上的类坑塘区域；
步骤5、利用基于路面坑塘样本集训练得到的支持向量机对步骤4分割得到的区域进行分类，如果支持向量机判断该区域为路面坑塘，则将其作为候选区域，否则排除这一区域；
步骤6、判断所有候选区域中是否存在被语义分割模型划分为路面坑塘的子区域，如果存在，则判断这一区域为路面坑塘区域。
2.根据权利要求1所述的复杂环境下基于机器视觉的路面坑塘检测方法，其特征在于，步骤1中所述语义分割模型为具有编码-解码结构的卷积神经神经网络或采取空洞卷积策略的卷积神经网络。
3.根据权利要求1所述的复杂环境下基于机器视觉的路面坑塘检测方法，其特征在于，步骤1中所述语义分割模型包括基础层、与基础层的输出端连接的金字塔池化模块、与金字塔池化模块的输出端连接的N个依次连接的卷积层；其中：
所述基础层为采用空洞卷积策略预训练过的ResNet网络；
所述金字塔池化模块用于通过四个扩张率不同的空洞卷积提取四种不同尺度下的特征图，且将四张特征图进行上采样使其尺度均与ResNet网络的输出特征图相同，然后将ResNet的输出特征图与上采样后的四张特征图拼接作为输出。
4.根据权利要求1所述的复杂环境下基于机器视觉的路面坑塘检测方法，其特征在于，步骤1中训练语义分割模型的具体方法为：将交通监控图像作为语义分割模型的输入，并将交通监控图像进行像素级标注后的掩膜作为真值，采用多分类损失函数，不断比较真值和模型输出的预测值，使用反向传播算法不断优化神经网络参数，当迭代次数达到设定值，或者损失函数值小于设定阈值，得到网络参数最优解，其中，损失函数具体为：
其中，Y代表样本的one-hot向量，
代表softmax输出的向量。
5.根据权利要求1所述的复杂环境下基于机器视觉的路面坑塘检测方法，其特征在于，步骤3中所述提取的道路包括被语义分割模型分割为正常路面及路面坑塘的子区域。
6.根据权利要求1所述的复杂环境下基于机器视觉的路面坑塘检测方法，其特征在于，步骤4中所述类坑塘区域是指像素的灰度值小于15，像素总个数大于200的连通区域。
7.根据权利要求1所述的复杂环境下基于机器视觉的路面坑塘检测方法，其特征在于，步骤5中基于路面坑塘样本集训练得到支持向量机的过程具体为：
提取路面坑塘样本集中正样本及负样本的LBP纹理特征，利用LBP纹理特征进行支持向量机的训练。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910829118.8A CN110717886A (zh) | 2019-09-03 | 2019-09-03 | 复杂环境下基于机器视觉的路面坑塘检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910829118.8A CN110717886A (zh) | 2019-09-03 | 2019-09-03 | 复杂环境下基于机器视觉的路面坑塘检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110717886A true CN110717886A (zh) | 2020-01-21 |
Family
ID=69209650
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910829118.8A Withdrawn CN110717886A (zh) | 2019-09-03 | 2019-09-03 | 复杂环境下基于机器视觉的路面坑塘检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110717886A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111539494A (zh) * | 2020-07-08 | 2020-08-14 | 浙江浙能天然气运行有限公司 | 基于U-Net和SVM的水工保护损毁检测方法 |
| CN111862143A (zh) * | 2020-07-13 | 2020-10-30 | 郑州信大先进技术研究院 | 一种河堤坍塌自动监测方法 |
| CN111884873A (zh) * | 2020-07-13 | 2020-11-03 | 上海华讯网络系统有限公司 | 一种自学习的预测网络监控图形的方法和系统 |
| CN112950640A (zh) * | 2021-02-23 | 2021-06-11 | Oppo广东移动通信有限公司 | 视频人像分割方法、装置、电子设备及存储介质 |
| CN112966665A (zh) * | 2021-04-01 | 2021-06-15 | 广东诚泰交通科技发展有限公司 | 路面病害检测模型训练方法、装置和计算机设备 |
| CN113269794A (zh) * | 2021-05-27 | 2021-08-17 | 中山大学孙逸仙纪念医院 | 一种图像区域分割方法、装置、终端设备及存储介质 |
| CN113435354A (zh) * | 2021-06-30 | 2021-09-24 | 深圳市商汤科技有限公司 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
| CN113763392A (zh) * | 2021-11-10 | 2021-12-07 | 北京中科慧眼科技有限公司 | 用于路面平坦度检测的模型预测方法、系统和智能终端 |
-
2019
- 2019-09-03 CN CN201910829118.8A patent/CN110717886A/zh not_active Withdrawn
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111539494A (zh) * | 2020-07-08 | 2020-08-14 | 浙江浙能天然气运行有限公司 | 基于U-Net和SVM的水工保护损毁检测方法 |
| CN111862143A (zh) * | 2020-07-13 | 2020-10-30 | 郑州信大先进技术研究院 | 一种河堤坍塌自动监测方法 |
| CN111884873A (zh) * | 2020-07-13 | 2020-11-03 | 上海华讯网络系统有限公司 | 一种自学习的预测网络监控图形的方法和系统 |
| CN111884873B (zh) * | 2020-07-13 | 2021-10-29 | 上海华讯网络系统有限公司 | 一种自学习的预测网络监控图形的方法和系统 |
| CN111862143B (zh) * | 2020-07-13 | 2024-03-19 | 郑州信大先进技术研究院 | 一种河堤坍塌自动监测方法 |
| CN112950640A (zh) * | 2021-02-23 | 2021-06-11 | Oppo广东移动通信有限公司 | 视频人像分割方法、装置、电子设备及存储介质 |
| CN112966665A (zh) * | 2021-04-01 | 2021-06-15 | 广东诚泰交通科技发展有限公司 | 路面病害检测模型训练方法、装置和计算机设备 |
| CN113269794A (zh) * | 2021-05-27 | 2021-08-17 | 中山大学孙逸仙纪念医院 | 一种图像区域分割方法、装置、终端设备及存储介质 |
| CN113435354A (zh) * | 2021-06-30 | 2021-09-24 | 深圳市商汤科技有限公司 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
| CN113763392A (zh) * | 2021-11-10 | 2021-12-07 | 北京中科慧眼科技有限公司 | 用于路面平坦度检测的模型预测方法、系统和智能终端 |
| CN113763392B (zh) * | 2021-11-10 | 2022-03-18 | 北京中科慧眼科技有限公司 | 用于路面平坦度检测的模型预测方法、系统和智能终端 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110717886A (zh) | 复杂环境下基于机器视觉的路面坑塘检测方法 | |
| CN108492319B (zh) | 基于深度全卷积神经网络的运动目标检测方法 | |
| CN112966691B (zh) | 基于语义分割的多尺度文本检测方法、装置及电子设备 | |
| CN113160192B (zh) | 复杂背景下基于视觉的压雪车外观缺陷检测方法及装置 | |
| CN111598174B (zh) | 基于半监督对抗学习的模型训练方法及图像变化分析方法 | |
| Zhong et al. | Multi-scale feature fusion network for pixel-level pavement distress detection | |
| CN108830171B (zh) | 一种基于深度学习的智能物流仓库引导线视觉检测方法 | |
| CN109840483B (zh) | 一种滑坡裂缝检测与识别的方法及装置 | |
| CN104598885B (zh) | 街景图像中的文字标牌检测与定位方法 | |
| CN106651774B (zh) | 一种车牌超分辨率模型重建方法及装置 | |
| CN106683119A (zh) | 基于航拍视频图像的运动车辆检测方法 | |
| CN112307989A (zh) | 路面物体识别方法、装置、计算机设备和存储介质 | |
| CN108416316B (zh) | 一种黑烟车的检测方法及系统 | |
| CN113392849A (zh) | 一种基于r-cnn的复杂路面裂缝识别方法 | |
| CN110135354A (zh) | 一种基于实景三维模型的变化检测方法 | |
| CN111582126A (zh) | 基于多尺度行人轮廓分割融合的行人重识别方法 | |
| CN116485717A (zh) | 一种基于像素级深度学习的混凝土坝表面裂缝检测方法 | |
| CN112700418A (zh) | 一种基于改进编解码网络模型的裂缝检测方法 | |
| CN115457044A (zh) | 基于类激活映射的路面裂缝分割方法 | |
| Kulambayev et al. | A Deep Learning-Based Approach for Road Surface Damage Detection. | |
| CN112785610A (zh) | 一种融合低层特征的车道线语义分割方法 | |
| CN111160274A (zh) | 一种基于二值化Faster RCNN网络的行人检测方法 | |
| CN117037049B (zh) | 基于YOLOv5深度学习的图像内容检测方法及系统 | |
| CN111160282B (zh) | 一种基于二值化Yolov3网络的红绿灯检测方法 | |
| CN116129280B (zh) | 一种遥感影像雪检测的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20200121 |
|
| WW01 | Invention patent application withdrawn after publication |