CN114693605A - 一种基于deepstream的道路裂缝检测方法 - Google Patents
一种基于deepstream的道路裂缝检测方法 Download PDFInfo
- Publication number
- CN114693605A CN114693605A CN202210222573.3A CN202210222573A CN114693605A CN 114693605 A CN114693605 A CN 114693605A CN 202210222573 A CN202210222573 A CN 202210222573A CN 114693605 A CN114693605 A CN 114693605A
- Authority
- CN
- China
- Prior art keywords
- layer
- detection
- box
- frames
- road crack
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 47
- 238000000034 method Methods 0.000 claims abstract description 14
- 238000012545 processing Methods 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 6
- 238000012216 screening Methods 0.000 claims description 6
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 238000006073 displacement reaction Methods 0.000 claims description 3
- 201000010099 disease Diseases 0.000 abstract description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 abstract description 2
- 238000013461 design Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于deepstream的道路裂缝检测方法，属于道路病害检测技术领域，一所述检测方法以车载流媒体相机为输入源，获取道路裂缝的外部图像，视频信号以rtsp流的形式传输，在视频实时传输到微型计算机后，使用基于gstream的deepstream技术对rtsp流进行实时处理，通过建立管道对视频信号完成解析，再通过在管道上建立的插件，完成对道路裂缝的检测。采用本发明方法，使得道路裂缝识别不再受天气等因素影响，算法相对简单能够适应大部分道路检测系统。
Description
技术领域
本发明属于道路病害检测技术领域，具体涉及一种基于deepstream的道路裂缝检测方法。
背景技术
在目前的道路病害检测中，对于道路裂缝的检测普遍做法是使用高速相机采集图片，然后通过图像处理的相关算法进行识别处理。这种方式有如下几种弊端：
1、光线问题，CCD数字相机对光线十分敏感，天气晴朗与天气阴暗的情况下成像效果明显不一样，这对识别结果会有很大的影响。
2、算法适应性问题，在道路浇筑时，使用的材料、工艺不尽相同，造成路面上的情况也不相同，因此，很难用一个统一的算法来识别。
3、算法效率问题，在目前的道路裂缝识别过程中，主要依靠先拍摄后检测的方式，由于需要应对不同的路面情况，因此算法复杂度很高，处理时间也就变长。
4、算法检测结果问题，对于不同路面不同的环境来说，检测的算法复杂度提高，伴随而来的就是检测的结果错误率也提高了。
发明内容
有鉴于此，本发明的目的在于提供一种基于deepstream的道路裂缝检测方法，使得道路裂缝识别不再受天气等因素影响，算法相对简单能够适应大部分道路检测系统。
为达到上述目的，本发明提供如下技术方案：
本发明一种基于deepstream的道路裂缝检测方法，所述检测方法以车载流媒体相机为输入源，获取道路裂缝的外部图像，视频信号以rtsp流的形式传输，在视频实时传输到微型计算机后，使用基于gstream的deepstream技术对rtsp流进行实时处理，通过建立管道对视频信号完成解析，再通过在管道上建立的插件，完成对道路裂缝的检测。
进一步，所述检测方法还包括运用神经网络技术进行图像识别，通过采用SSD网络，所述SSD网络包括以下步骤：
1)VGG16 Base Layer，以VGG16作为基础的特征提取层Base Layer，选取其中的Conv4_3作为第一个特征层用于目标检测；
2)Extra Feature Layer，在VGG16 Base Layer的基础上，额外的添加几个特征层用于目标检测，将VGG16中的FC7改成了卷积层Conv7，同时增加Conv8、Conv9、Conv10、Conv11几个特征层；；
3)Detection Layer，准备好特征金字塔来进行目标检测后，预先设定一些框proir box/default box，以他们为基本，通过位移和长宽比改变慢慢的向真实目标位置靠近；设计了大量的密集的proir box，保证对整幅图像的每个地方都有；对这个proir box中目标的类别进行预测，预测proir box最终演变的框，Detection Layer实现类别预测和框预测；
4)NMS，特征层通过Detection Layer将得到多个proir box的预测结果，对这些预测结果进行筛选。
进一步，所述筛选过程包括：
S1,对于某个类别，将分类预测的<置信度阈值的框删除；
S2,将该类别筛选后的框按照置信度降序排序；
S3,对筛选后的框采用NMS；
S4,计算置信度最高的框与后面所有框的iou，iou>阈值就删除；
S5,找到筛选后的框中除了当前框后面的另一个置信度最高的框，重复第一个步骤，以此不断遍历，直到结束。
本发明的有益效果在于：
本发明一种基于deepstream的道路裂缝检测方法，采用流媒体作为输入源的方式，能明显降低不同天气不同光线带来的影响。以视频作为输入源，继而把视频作为处理目标，能做到实时传输、实时输出处理结果。相较于传统的高速相机拍照，再通过物理介质传回处理中心进行人工处理识别这一流程，实时流媒体检测的方式拥有明显的速度优势。较现有技术此发明使得道路裂缝识别不再受天气等因素影响，算法相对简单能够适应大部分道路检测系统。
本发明的其他优点、目标和特征将在随后的说明书中进行阐述，并且在某种程度上对本领域技术人员而言是显而易见的，或者本领域技术人员可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。
具体实施方式
本发明一种基于deepstream的道路裂缝检测方法，所述检测方法以车载流媒体相机为输入源，获取道路裂缝的外部图像，视频信号以rtsp流的形式传输，在视频实时传输到微型计算机后，使用基于gstream的deepstream技术对rtsp流进行实时处理，通过建立管道对视频信号完成解析，再通过在管道上建立的插件，完成对道路裂缝的检测。
采用流媒体作为输入源的方式，能明显降低不同天气不同光线带来的影响。以视频作为输入源，继而把视频作为处理目标，能做到实时传输、实时输出处理结果。相较于传统的高速相机拍照，再通过物理介质传回处理中心进行人工处理识别这一流程，实时流媒体检测的方式拥有明显的速度优势。
所述检测方法还包括运用神经网络技术进行图像识别，SSD网络是一种one-stage目标检测网络，主要设计思想是多尺度多长宽比的密集锚点设计和特征金字塔，通过采用SSD网络，所述SSD网络包括以下步骤：
1)VGG16 Base Layer，以VGG16作为基础的特征提取层Base Layer，选取其中的Conv4_3作为第一个特征层用于目标检测；
2)Extra Feature Layer，在VGG16 Base Layer的基础上，额外的添加几个特征层用于目标检测，将VGG16中的FC7改成了卷积层Conv7，同时增加Conv8、Conv9、Conv10、Conv11几个特征层；；网络设计的第一个重要思想：特征金字塔，在多个尺度上进行目标检测以提高检测精度。特征层越高，具有的语义信息越丰富，不同特征层代表了不同级别的特征利用，检测结果必然比只在最后一层进行检测效果好。特征层从低到高，其感受野由小到大，不同特征层对检测不同尺寸的目标检测是有帮助的。
3)Detection Layer，准备好特征金字塔来进行目标检测后，预先设定一些框proir box/default box，以他们为基本，通过位移和长宽比改变慢慢的向真实目标位置靠近；设计了大量的密集的proir box，保证对整幅图像的每个地方都有；对这个proir box中目标的类别进行预测，预测proir box最终演变的框，Detection Layer实现类别预测和框预测；
4)NMS，特征层通过Detection Layer将得到8732个proir box的预测结果，很多proir box的预测结果是无用的，需要对这些预测结果进行筛选。所述筛选过程包括：
S1,对于某个类别，将分类预测的<置信度阈值的框删除；
S2,将该类别筛选后的框按照置信度降序排序；
S3,对筛选后的框采用NMS；
S4,计算置信度最高的框与后面所有框的iou，iou>阈值就删除；
S5,找到筛选后的框中除了当前框后面的另一个置信度最高的框，重复第一个步骤，以此不断遍历，直到结束。本发明方法较现有技术，使得道路裂缝识别不再受天气等因素影响，算法相对简单能够适应大部分道路检测系统。
最后说明的是，以上优选实施例仅用以说明本发明的技术方案而非限制，尽管通过上述优选实施例已经对本发明进行了详细的描述，但本领域技术人员应当理解，可以在形式上和细节上对其作出各种各样的改变，而不偏离本发明权利要求书所限定的范围。
Claims (2)
1.一种基于deepstream的道路裂缝检测方法，其特征在于：所述检测方法以车载流媒体相机为输入源，获取道路裂缝的外部图像，视频信号以rtsp流的形式传输，在视频实时传输到微型计算机后，使用基于gstream的deepstream技术对rtsp流进行实时处理，通过建立管道对视频信号完成解析，再通过在管道上建立的插件，完成对道路裂缝的检测，所述检测方法还包括运用神经网络技术进行图像识别，通过采用SSD网络，所述SSD网络包括以下步骤：
1)VGG16 Base Layer，以VGG16作为基础的特征提取层Base Layer，选取其中的Conv4_3作为第一个特征层用于目标检测；
2)Extra Feature Layer，在VGG16 Base Layer的基础上，额外的添加几个特征层用于目标检测，将VGG16中的FC7改成了卷积层Conv7，同时增加Conv8、Conv9、Conv10、Conv11几个特征层；；
3)Detection Layer，准备好特征金字塔来进行目标检测后，预先设定一些框proirbox/default box，以他们为基本，通过位移和长宽比改变慢慢的向真实目标位置靠近；设计了大量的密集的proir box，保证对整幅图像的每个地方都有；对这个proir box中目标的类别进行预测，预测proir box最终演变的框，Detection Layer实现类别预测和框预测；
4)NMS，特征层通过Detection Layer将得到多个proir box的预测结果，对这些预测结果进行筛选。
2.根据权利要求1所述的基于deepstream的道路裂缝检测方法，其特征在于：所述筛选过程包括：
S1,对于某个类别，将分类预测的<置信度阈值的框删除；
S2,将该类别筛选后的框按照置信度降序排序；
S3,对筛选后的框采用NMS；
S4,计算置信度最高的框与后面所有框的iou，iou>阈值就删除；
S5,找到筛选后的框中除了当前框后面的另一个置信度最高的框，重复第一个步骤，以此不断遍历，直到结束。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210222573.3A CN114693605A (zh) | 2022-03-07 | 2022-03-07 | 一种基于deepstream的道路裂缝检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210222573.3A CN114693605A (zh) | 2022-03-07 | 2022-03-07 | 一种基于deepstream的道路裂缝检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114693605A true CN114693605A (zh) | 2022-07-01 |
Family
ID=82137255
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210222573.3A Pending CN114693605A (zh) | 2022-03-07 | 2022-03-07 | 一种基于deepstream的道路裂缝检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114693605A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111091533A (zh) * | 2019-11-13 | 2020-05-01 | 江苏大学 | 一种基于改进ssd算法的电池片el缺陷检测方法 |
| WO2021046951A1 (zh) * | 2019-09-09 | 2021-03-18 | 安徽继远软件有限公司 | 图像识别方法、系统及存储介质 |
| CN113298181A (zh) * | 2021-06-16 | 2021-08-24 | 合肥工业大学智能制造技术研究院 | 基于密集连接的Yolov3网络的井下管道异常目标识别方法及系统 |
| US20210334524A1 (en) * | 2020-04-22 | 2021-10-28 | Ubtech Robotics Corp Ltd | Gesture recognition method and terminal device and computer readable storage medium using the same |
| WO2021244079A1 (zh) * | 2020-06-02 | 2021-12-09 | 苏州科技大学 | 智能家居环境中图像目标检测方法 |
-
2022
- 2022-03-07 CN CN202210222573.3A patent/CN114693605A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021046951A1 (zh) * | 2019-09-09 | 2021-03-18 | 安徽继远软件有限公司 | 图像识别方法、系统及存储介质 |
| CN111091533A (zh) * | 2019-11-13 | 2020-05-01 | 江苏大学 | 一种基于改进ssd算法的电池片el缺陷检测方法 |
| US20210334524A1 (en) * | 2020-04-22 | 2021-10-28 | Ubtech Robotics Corp Ltd | Gesture recognition method and terminal device and computer readable storage medium using the same |
| WO2021244079A1 (zh) * | 2020-06-02 | 2021-12-09 | 苏州科技大学 | 智能家居环境中图像目标检测方法 |
| CN113298181A (zh) * | 2021-06-16 | 2021-08-24 | 合肥工业大学智能制造技术研究院 | 基于密集连接的Yolov3网络的井下管道异常目标识别方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 孙朝云;马志丹;李伟;郝雪丽;申浩;: "基于深度卷积神经网络融合模型的路面裂缝识别方法", 长安大学学报(自然科学版), no. 04, 15 July 2020 (2020-07-15) * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110263706B (zh) | 一种雾霾天气车载视频动态目标检测和识别的方法 | |
| TWI677826B (zh) | 車牌辨識系統與方法 | |
| CN108039044B (zh) | 基于多尺度卷积神经网络的车辆智能排队的系统及方法 | |
| CN111339839B (zh) | 一种密集型目标检测计量方法 | |
| CN110659333B (zh) | 一种多层次视觉特征描述方法和视觉检索系统 | |
| RU2651147C1 (ru) | Устройство и способ каскадной обработки потока изображений с помощью свёрточных нейронных сетей | |
| CN110648310A (zh) | 基于注意力机制的弱监督铸件缺陷识别方法 | |
| CN109063667B (zh) | 一种基于场景的视频识别方式优化及推送方法 | |
| CN115331141A (zh) | 一种基于改进YOLO v5的高空烟火检测方法 | |
| CN111160100A (zh) | 一种基于样本生成的轻量级深度模型航拍车辆检测方法 | |
| RU173468U1 (ru) | Устройство каскадной обработки потока изображений с помощью свёрточных нейронных сетей | |
| Ko et al. | An energy-quality scalable wireless image sensor node for object-based video surveillance | |
| CN114693605A (zh) | 一种基于deepstream的道路裂缝检测方法 | |
| CN113660484A (zh) | 基于音视频内容的音视频属性比对方法、系统、终端及介质 | |
| CN110991219B (zh) | 一种基于双路3d卷积网络的行为识别方法 | |
| CN117274967A (zh) | 一种基于卷积神经网络多模态融合车牌识别算法 | |
| CN115393743A (zh) | 基于双分支编解码网络的车辆检测方法、无人机、介质 | |
| CN115359399A (zh) | 一种基于改进yolox的地下排水管道缺陷检测识别方法 | |
| CN114581769A (zh) | 一种基于无监督聚类的在建房屋识别方法 | |
| CN114170271A (zh) | 一种具有自跟踪意识的多目标跟踪方法、设备及存储介质 | |
| CN112001211B (zh) | 对象检测方法、装置、设备及计算机可读存储介质 | |
| CN111881922A (zh) | 一种基于显著性特征的绝缘子图像识别方法及系统 | |
| Jöchl et al. | Deep Learning Image Age Approximation-What is More Relevant: Image Content or Age Information? | |
| CN110689520A (zh) | 一种基于ai的磁芯产品缺陷检测系统及方法 | |
| CN117152142B (zh) | 一种轴承缺陷检测模型构建方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |