CN113344885A - 基于级联卷积神经网络的河道漂浮物检测方法 - Google Patents
基于级联卷积神经网络的河道漂浮物检测方法 Download PDFInfo
- Publication number
- CN113344885A CN113344885A CN202110658902.4A CN202110658902A CN113344885A CN 113344885 A CN113344885 A CN 113344885A CN 202110658902 A CN202110658902 A CN 202110658902A CN 113344885 A CN113344885 A CN 113344885A
- Authority
- CN
- China
- Prior art keywords
- neural network
- river channel
- image
- river
- convolutional neural
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000007667 floating Methods 0.000 title claims abstract description 15
- 238000001514 detection method Methods 0.000 title claims abstract description 12
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 8
- 238000012549 training Methods 0.000 claims abstract description 42
- 238000007781 pre-processing Methods 0.000 claims abstract description 27
- 238000003062 neural network model Methods 0.000 claims abstract description 19
- 208000034699 Vitreous floaters Diseases 0.000 claims abstract description 16
- 238000013527 convolutional neural network Methods 0.000 claims description 51
- 238000012544 monitoring process Methods 0.000 claims description 29
- 238000012545 processing Methods 0.000 claims description 27
- 238000000034 method Methods 0.000 claims description 18
- 238000002372 labelling Methods 0.000 claims description 10
- 230000005540 biological transmission Effects 0.000 claims description 9
- 238000005070 sampling Methods 0.000 claims description 9
- 238000003860 storage Methods 0.000 claims description 9
- 238000001914 filtration Methods 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 6
- WHXSMMKQMYFTQS-UHFFFAOYSA-N Lithium Chemical compound [Li] WHXSMMKQMYFTQS-UHFFFAOYSA-N 0.000 claims description 3
- 230000003321 amplification Effects 0.000 claims description 3
- 238000004891 communication Methods 0.000 claims description 3
- 238000005520 cutting process Methods 0.000 claims description 3
- 238000003708 edge detection Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 3
- 238000003709 image segmentation Methods 0.000 claims description 3
- 230000005764 inhibitory process Effects 0.000 claims description 3
- 229910052744 lithium Inorganic materials 0.000 claims description 3
- 238000004519 manufacturing process Methods 0.000 claims description 3
- 230000000877 morphologic effect Effects 0.000 claims description 3
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 9
- 239000003344 environmental pollutant Substances 0.000 description 3
- 231100000719 pollutant Toxicity 0.000 description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 3
- 230000006872 improvement Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 241000196324 Embryophyta Species 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000000575 pesticide Substances 0.000 description 1
- 230000003014 reinforcing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20032—Median filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于级联卷积神经网络的河道漂浮物检测方法，包括：获取河道数据信息；对河道数据信息进行预处理；使用预处理后的数据信息制作数据集；将所述数据集输入至级联卷积神经网络模型中进行训练；通过训练好的级联卷积神经网络模型实时对河道进行实时监测，本发明通过实际拍摄和网络爬虫的方式获取河道区域图像和视频，并对河道区域图像和视频进行预处理后制作数据集，同时，并对训练集进行软数据增强，有效缓解了数据量不足的问题，可提高检测的精度，此外，将制作好的数据集输入级联卷积神经网络模型中进行训练，并过训练好的级联卷积神经网络模型实时对河道进行实时监测，能够高效地对漂浮物进行识别。
Description
技术领域
本发明涉及电学领域，尤其涉及基于级联卷积神经网络的河道漂浮物检测方法。
背景技术
由于一些人将垃圾等投入到河道中，使得河道污染严重，河道中的生物也会因此受到影响，对河道污染改善的最直接方式为对河道中的漂浮物进行处理，保持河道水面干净整洁，然而，人为检测河道水面的漂浮物会需要大量的人力和物力，于是，采用机器视觉技术自动识别河道水面的漂浮物成为必要。
因此，提供一种新的技术方案改善上述问题，是本领域技术人员急需解决的问题。
发明内容
有鉴于此，本发明提供一种基于级联卷积神经网络的河道漂浮物检测方法，以解决上述技术问题。
为实现上述目的，本发明提供如下技术方案：
一种基于级联卷积神经网络的河道漂浮物检测方法，其特征在于，包括：获取河道数据信息；对河道数据信息进行预处理；使用预处理后的数据信息制作数据集；将所述数据集输入至级联卷积神经网络模型中进行训练；通过训练好的级联卷积神经网络模型实时对河道进行实时监测。
在上述的方案中，所述获取河道数据信息包括以下步骤：通过基于多线程爬虫方式对河道图像数据进行收集，并将通过基于多线程爬虫方式爬取的图像保存在存储单元中；通过安装于无人机上的摄像机对河道进行正射来采集河道视频图像，并将通过安装于无人机上的摄像机获取的视频图像保存在存储单元中，所述存储单元用于对获取的河道数据信息和对河道进行实时监测所获取的数据信息进行存储。
在上述的方案中，所述对河道数据信息进行预处理包括对通过基于多线程爬虫方式爬取的图像进行预处理，所述对通过基于多线程爬虫方式爬取的图像进行预处理包括以下步骤：通过降采样滤波器对爬取的图像进行降采样处理；通过图像中值滤波方法对经过降采样处理的图像进行平滑处理；对经过平滑处理的图像进行边缘增强，检测经过平滑处理的图像中的多个像素，从多个像素中找出多个边缘像素，并且对多个边缘像素进行亮度性能增强；将经过边缘增强的图像存储在河道区域图像数据库中。
在上述的方案中，所述对河道数据信息进行预处理还包括对通过安装于无人机上的摄像机获取的视频图像进行预处理，所述对通过安装于无人机上的摄像机获取的视频图像进行预处理包括以下步骤：对视频图像进行滤波处理；通过自适应阈值化操作对经过滤波处理的视频图像进行二值化处理；对经过二值化处理的视频图像进行形态学处理来去除视频图像中的干扰块；通过河道区域提取算法提取河道区域图像，当河道中心线与视频帧中图像中心线相偏离且超过中心线偏离预设值时，取视频帧中图像宽度的一定倍数，通过当前视频帧的上一视频帧的图像中心线对当前视频帧进行纠正来提取河道区域图像；将提取的河道区域图像进行保存至河道区域图像数据库中。
在上述的方案中，所述对河道数据信息进行预处理包括还包括去除河道区域图像数据库中河道区域被遮挡以及错误识别的河道区域图像，所述去除河道区域图像数据库中河道区域被遮挡以及错误识别的河道区域图像包括以下步骤：通过Sobel边缘检测算法识别河道区域图像的各区域边界；使用自适应阈值图像分割算法提取河道区域图像的各区域特征信息；通过卷积神经网络算法根据河道区域图像的各区域特征信息识别河道；计算河道在河道区域图像中所占比例；将河道在河道区域图像中所占比例小于预设值的河道区域图像进行删除。
在上述的方案中，所述使用预处理后的数据信息制作数据集包括以下步骤：使用labelImage对经过预处理后的河道区域图像进行漂浮物标注，并将标注完成的河道区域图像保存至标注数据集中；将标注数据集中的图像按预设比例划分为训练集与验证集；通过软数据增强技术对训练集进行数据增强，对每批次待训练的训练集中的数据进行随机翻转处理、随机颜色抖动处理和随机裁剪处理，使每次待训练的训练集中的数据不相同来进行数据软扩增。
在上述的方案中，所述将所述数据集输入至级联卷积神经网络模型中进行训练包括以下步骤：搭建卷积神经网络模型；初始化搭建的卷积神经网络模型参数，通过ResNet101网络对经过制作数据集获取的训练集进行训练获取所述卷积神经网络模型中卷积层参数，通过随机方式初始化所述卷积神经网络模型中池化层的参数；通过所述卷积神经网络模型提取层次特征建立特征金字塔来获取图像的多尺度特征表达；通过RPN网络生成目标候选区域，在特征金字塔各个层级中找到对应的目标区域，并提取出目标的多尺度特征；将提取的目标的多尺度特征进行池化操作，并对池化操作后的特征进行特征融合操作来检测目标。
在上述的方案中，所述通过RPN网络生成目标候选区域包括以下步骤：将通过卷积神经网络模型进行卷积操作获取的锚框输入至RPN网络；RPN网络从全部锚框中分配正样本和负样本，将出现概率大于第一阈值的样本作为正样本，将出现概率小于第二阈值的样本作为负样本；从全部的正样本和负样本中随机抽取多个样本使用GIoU作为损失函数进行训练获取预测的分类概率；根据预测的分类概率对样本进行排序，并通过非极大值抑制的方法进行筛选后得到多个候选区域；从多个候选区域中选出一部分输入至第一卷积神经网络中进行训练；将所述第一卷积神经网络的输出输入至第二卷积神经网络中进行训练；将所述第二卷积神经网络的输出送入第二卷积神经网络中进行训练生成目标候选区域。
在上述的方案中，所述通过训练好的级联卷积神经网络模型实时对河道进行实时监测包括以下步骤：使得河道信息采集模块与存储有所述训练好的级联卷积神经网络模型的监控终端通过无线通信方式相互通信；通过所述河道信息采集模块采集河道视频信息，将采集的河道视频信息传输至所述监控终端进行处理；将经过所述监控终端处理后的信息通过所述监控终端包括的显示模块进行显示，所述显示模块包括LCD显示屏。
在上述的方案中，所述河道信息采集模块包括无人机单元和摄像机单元，所述摄像机单元安装于所述无人机单元上，所述无人机单元包括传感器模块、驱动模块、MCU模块和电源模块，所述传感器模块和所述驱动模块均与所述MCU模块相连接，所述传感器模块包括姿态传感器和速度传感器，所述传感器模块用于获取无人机飞行的速度与姿态数据，所述MCU模块用于根据所述传感器模块和所述监控终端发送的信息控制所述驱动模块进行工作，所述驱动模块用于驱动无人机进行速度调整和姿态变换，所述驱动模块包括电机和电子调速器，所述电子调速器与所述电机相连接，所述电源模块与所述驱动模块相连接，所述电源模块通过锂电池为所述驱动模块提供电源；所述摄像机单元包括CMOS摄像机、云台、云台驱动电机和无线图传设备，所述CMOS摄像机安装在所述云台上，所述云台驱动电机与所述云台相连接，所述云台驱动电机用于驱动所述云台进行旋转，所述无线图传设备与所述CMOS摄像机相连接，所述无线图传设备用于将所述CMOS摄像机采集的视频信息实时传输至所述监控终端。
综上所述，本发明的有益效果是：通过实际拍摄和网络爬虫的方式获取河道区域图像和视频，并对河道区域图像和视频进行预处理后制作数据集，同时，并对训练集进行软数据增强，有效缓解了数据量不足的问题，可提高检测的精度，此外，将制作好的数据集输入级联卷积神经网络模型中进行训练，并过训练好的级联卷积神经网络模型实时对河道进行实时监测，能够高效地对漂浮物进行识别。
附图说明
构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1为本发明基于级联卷积神经网络的河道漂浮物检测方法的步骤图。
图2为对通过基于多线程爬虫方式爬取的图像进行预处理的步骤图。
图3为对通过安装于无人机上的摄像机获取的视频图像进行预处理的步骤图。
图4为去除河道区域图像数据库中河道区域被遮挡以及错误识别的河道区域图像的步骤图。
图5为使用预处理后的数据信息制作数据集的步骤图。
图6为将所述数据集输入至级联卷积神经网络模型中进行训练的步骤图。
图7为通过RPN网络生成目标候选区域的步骤图。
图8为通过训练好的级联卷积神经网络模型实时对河道进行实时监测的步骤图。
图9为河道信息采集模块的组成示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施方式和附图，对本发明做进一步详细说明。在此，本发明的示意性实施方式及其说明用于解释本发明，但并不作为对本发明的限定。
如图1所示，本发明的一种基于级联卷积神经网络的河道漂浮物检测方法，其特征在于，以下步骤：
步骤S1：获取河道数据信息；
步骤S2：对河道数据信息进行预处理；
步骤S3：使用预处理后的数据信息制作数据集；
步骤S4：将所述数据集输入至级联卷积神经网络模型中进行训练；
步骤S5：通过训练好的级联卷积神经网络模型实时对河道进行实时监测。
进一步地，所述获取河道数据信息包括以下步骤：通过基于多线程爬虫方式对河道图像数据进行收集，并将通过基于多线程爬虫方式爬取的图像保存在存储单元中；通过安装于无人机上的摄像机对河道进行正射来采集河道视频图像，并将通过安装于无人机上的摄像机获取的视频图像保存在存储单元中，所述存储单元用于对获取的河道数据信息和对河道进行实时监测所获取的数据信息进行存储。
如图2所示，所述对河道数据信息进行预处理包括对通过基于多线程爬虫方式爬取的图像进行预处理，所述对通过基于多线程爬虫方式爬取的图像进行预处理包括以下步骤：
步骤S211：通过降采样滤波器对爬取的图像进行降采样处理；
步骤S212：通过图像中值滤波方法对经过降采样处理的图像进行平滑处理；
步骤S213：对经过平滑处理的图像进行边缘增强，检测经过平滑处理的图像中的多个像素，从多个像素中找出多个边缘像素，并且对多个边缘像素进行亮度性能增强；
步骤S214：将经过边缘增强的图像存储在河道区域图像数据库中。
如图3所示，所述对河道数据信息进行预处理还包括对通过安装于无人机上的摄像机获取的视频图像进行预处理，所述对通过安装于无人机上的摄像机获取的视频图像进行预处理包括以下步骤：
步骤S221：对视频图像进行滤波处理；
步骤S222：通过自适应阈值化操作对经过滤波处理的视频图像进行二值化处理；
步骤S223：对经过二值化处理的视频图像进行形态学处理来去除视频图像中的干扰块；
步骤S224：通过河道区域提取算法提取河道区域图像，当河道中心线与视频帧中图像中心线相偏离且超过中心线偏离预设值时，取视频帧中图像宽度的一定倍数，通过当前视频帧的上一视频帧的图像中心线对当前视频帧进行纠正来提取河道区域图像；
步骤S225：将提取的河道区域图像进行保存至河道区域图像数据库中。
如图4所示，所述对河道数据信息进行预处理包括还包括去除河道区域图像数据库中河道区域被遮挡以及错误识别的河道区域图像，所述去除河道区域图像数据库中河道区域被遮挡以及错误识别的河道区域图像包括以下步骤：
步骤S231：通过Sobel边缘检测算法识别河道区域图像的各区域边界；
步骤S232：使用自适应阈值图像分割算法提取河道区域图像的各区域特征信息；
步骤S233：通过卷积神经网络算法根据河道区域图像的各区域特征信息识别河道；
步骤S234：计算河道在河道区域图像中所占比例；
步骤S235：将河道在河道区域图像中所占比例小于预设值的河道区域图像进行删除。
如图5所示，所述使用预处理后的数据信息制作数据集包括以下步骤：
步骤S31：使用labelImage对经过预处理后的河道区域图像进行漂浮物标注，并将标注完成的河道区域图像保存至标注数据集中；
步骤S32：将标注数据集中的图像按预设比例划分为训练集与验证集；
步骤S33：通过软数据增强技术对训练集进行数据增强，对每批次待训练的训练集中的数据进行随机翻转处理、随机颜色抖动处理和随机裁剪处理，使每次待训练的训练集中的数据不相同来进行数据软扩增。
在本实施例中，使用labelImage对经过预处理后的河道区域图像进行漂浮物标注过程中：将包含农药袋等的严重污染物类别的漂浮物用红色框标注，将包含生活垃圾袋等的中度污染物类别的漂浮物用黄色框标注，将包含玻璃瓶、硬纸箱、漂浮水草与落叶等的轻度污染物类别的漂浮物用绿色框标注。
如图6所示，所述将所述数据集输入至级联卷积神经网络模型中进行训练包括以下步骤：
步骤S41：搭建卷积神经网络模型；
步骤S42：初始化搭建的卷积神经网络模型参数，通过ResNet101网络对经过制作数据集获取的训练集进行训练获取所述卷积神经网络模型中卷积层参数，通过随机方式初始化所述卷积神经网络模型中池化层的参数；
步骤S43：通过所述卷积神经网络模型提取层次特征建立特征金字塔来获取图像的多尺度特征表达；
步骤S44：通过RPN网络生成目标候选区域，在特征金字塔各个层级中找到对应的目标区域，并提取出目标的多尺度特征；
步骤S45：将提取的目标的多尺度特征进行池化操作，并对池化操作后的特征进行特征融合操作来检测目标。
如图7所示，所述通过RPN网络生成目标候选区域包括以下步骤：
步骤S441：将通过卷积神经网络模型进行卷积操作获取的锚框输入至RPN网络；
步骤S442：RPN网络从全部锚框中分配正样本和负样本，将出现概率大于第一阈值的样本作为正样本，将出现概率小于第二阈值的样本作为负样本；
步骤S443：从全部的正样本和负样本中随机抽取多个样本使用GIoU作为损失函数进行训练获取预测的分类概率；
步骤S444：根据预测的分类概率对样本进行排序，并通过非极大值抑制的方法进行筛选后得到多个候选区域；
步骤S445：从多个候选区域中选出一部分输入至第一卷积神经网络中进行训练；
步骤S446：将所述第一卷积神经网络的输出输入至第二卷积神经网络中进行训练；
步骤S447：将所述第二卷积神经网络的输出送入第二卷积神经网络中进行训练生成目标候选区域。
如图8所示，所述通过训练好的级联卷积神经网络模型实时对河道进行实时监测包括以下步骤：
步骤S51：使得河道信息采集模块与存储有所述训练好的级联卷积神经网络模型的监控终端通过无线通信方式相互通信；
步骤S52：通过所述河道信息采集模块采集河道视频信息，将采集的河道视频信息传输至所述监控终端进行处理；
步骤S53：将经过所述监控终端处理后的信息通过所述监控终端包括的显示模块进行显示，所述显示模块包括LCD显示屏。
在本实施例中，所述LCD显示屏对漂浮物类别、漂浮物数量和检测河道的污染长度进行显示。
如图9所示，所述河道信息采集模块包括无人机单元和摄像机单元，所述摄像机单元安装于所述无人机单元上，所述无人机单元包括传感器模块、驱动模块、MCU模块和电源模块，所述传感器模块和所述驱动模块均与所述MCU模块相连接，所述传感器模块包括姿态传感器和速度传感器，所述传感器模块用于获取无人机飞行的速度与姿态数据，所述MCU模块用于根据所述传感器模块和所述监控终端发送的信息控制所述驱动模块进行工作，所述驱动模块用于驱动无人机进行速度调整和姿态变换，所述驱动模块包括电机和电子调速器，所述电子调速器与所述电机相连接，所述电源模块与所述驱动模块相连接，所述电源模块通过锂电池为所述驱动模块提供电源；所述摄像机单元包括CMOS摄像机、云台、云台驱动电机和无线图传设备，所述CMOS摄像机安装在所述云台上，所述云台驱动电机与所述云台相连接，所述云台驱动电机用于驱动所述云台进行旋转，所述无线图传设备与所述CMOS摄像机相连接，所述无线图传设备用于将所述CMOS摄像机采集的视频信息实时传输至所述监控终端。
在本实施例中，存储有所述训练好的级联卷积神经网络模型的监控终端在对河道漂浮物检测后，根据漂浮物的类别和数量，计算所检测河道的污染程度。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于级联卷积神经网络的河道漂浮物检测方法，其特征在于，包括：
获取河道数据信息；
对河道数据信息进行预处理；
使用预处理后的数据信息制作数据集；
将所述数据集输入至级联卷积神经网络模型中进行训练；
通过训练好的级联卷积神经网络模型实时对河道进行实时监测。
2.根据权利要求1所述的基于级联卷积神经网络的河道漂浮物检测方法，其特征在于，所述获取河道数据信息包括以下步骤：通过基于多线程爬虫方式对河道图像数据进行收集，并将通过基于多线程爬虫方式爬取的图像保存在存储单元中；通过安装于无人机上的摄像机对河道进行正射来采集河道视频图像，并将通过安装于无人机上的摄像机获取的视频图像保存在存储单元中，所述存储单元用于对获取的河道数据信息和对河道进行实时监测所获取的数据信息进行存储。
3.根据权利要求1所述的基于级联卷积神经网络的河道漂浮物检测方法，其特征在于，所述对河道数据信息进行预处理包括对通过基于多线程爬虫方式爬取的图像进行预处理，所述对通过基于多线程爬虫方式爬取的图像进行预处理包括以下步骤：通过降采样滤波器对爬取的图像进行降采样处理；通过图像中值滤波方法对经过降采样处理的图像进行平滑处理；对经过平滑处理的图像进行边缘增强，检测经过平滑处理的图像中的多个像素，从多个像素中找出多个边缘像素，并且对多个边缘像素进行亮度性能增强；将经过边缘增强的图像存储在河道区域图像数据库中。
4.根据权利要求3所述的基于级联卷积神经网络的河道漂浮物检测方法，其特征在于，所述对河道数据信息进行预处理还包括对通过安装于无人机上的摄像机获取的视频图像进行预处理，所述对通过安装于无人机上的摄像机获取的视频图像进行预处理包括以下步骤：对视频图像进行滤波处理；通过自适应阈值化操作对经过滤波处理的视频图像进行二值化处理；对经过二值化处理的视频图像进行形态学处理来去除视频图像中的干扰块；通过河道区域提取算法提取河道区域图像，当河道中心线与视频帧中图像中心线相偏离且超过中心线偏离预设值时，取视频帧中图像宽度的一定倍数，通过当前视频帧的上一视频帧的图像中心线对当前视频帧进行纠正来提取河道区域图像；将提取的河道区域图像进行保存至河道区域图像数据库中。
5.根据权利要求3所述的基于级联卷积神经网络的河道漂浮物检测方法，其特征在于，所述对河道数据信息进行预处理包括还包括去除河道区域图像数据库中河道区域被遮挡以及错误识别的河道区域图像，所述去除河道区域图像数据库中河道区域被遮挡以及错误识别的河道区域图像包括以下步骤：通过Sobel边缘检测算法识别河道区域图像的各区域边界；使用自适应阈值图像分割算法提取河道区域图像的各区域特征信息；通过卷积神经网络算法根据河道区域图像的各区域特征信息识别河道；计算河道在河道区域图像中所占比例；将河道在河道区域图像中所占比例小于预设值的河道区域图像进行删除。
6.根据权利要求1所述的基于级联卷积神经网络的河道漂浮物检测方法，其特征在于，所述使用预处理后的数据信息制作数据集包括以下步骤：使用labelImage对经过预处理后的河道区域图像进行漂浮物标注，并将标注完成的河道区域图像保存至标注数据集中；将标注数据集中的图像按预设比例划分为训练集与验证集；通过软数据增强技术对训练集进行数据增强，对每批次待训练的训练集中的数据进行随机翻转处理、随机颜色抖动处理和随机裁剪处理，使每次待训练的训练集中的数据不相同来进行数据软扩增。
7.根据权利要求1所述的基于级联卷积神经网络的河道漂浮物检测方法，其特征在于，所述将所述数据集输入至级联卷积神经网络模型中进行训练包括以下步骤：搭建卷积神经网络模型；初始化搭建的卷积神经网络模型参数，通过ResNet101网络对经过制作数据集获取的训练集进行训练获取所述卷积神经网络模型中卷积层参数，通过随机方式初始化所述卷积神经网络模型中池化层的参数；通过所述卷积神经网络模型提取层次特征建立特征金字塔来获取图像的多尺度特征表达；通过RPN网络生成目标候选区域，在特征金字塔各个层级中找到对应的目标区域，并提取出目标的多尺度特征；将提取的目标的多尺度特征进行池化操作，并对池化操作后的特征进行特征融合操作来检测目标。
8.根据权利要求1所述的基于级联卷积神经网络的河道漂浮物检测方法，其特征在于，所述通过RPN网络生成目标候选区域包括以下步骤：将通过卷积神经网络模型进行卷积操作获取的锚框输入至RPN网络；RPN网络从全部锚框中分配正样本和负样本，将出现概率大于第一阈值的样本作为正样本，将出现概率小于第二阈值的样本作为负样本；从全部的正样本和负样本中随机抽取多个样本使用GIoU作为损失函数进行训练获取预测的分类概率；根据预测的分类概率对样本进行排序，并通过非极大值抑制的方法进行筛选后得到多个候选区域；从多个候选区域中选出一部分输入至第一卷积神经网络中进行训练；将所述第一卷积神经网络的输出输入至第二卷积神经网络中进行训练；将所述第二卷积神经网络的输出送入第二卷积神经网络中进行训练生成目标候选区域。
9.根据权利要求1所述的基于级联卷积神经网络的河道漂浮物检测方法，其特征在于，所述通过训练好的级联卷积神经网络模型实时对河道进行实时监测包括以下步骤：使得河道信息采集模块与存储有所述训练好的级联卷积神经网络模型的监控终端通过无线通信方式相互通信；通过所述河道信息采集模块采集河道视频信息，将采集的河道视频信息传输至所述监控终端进行处理；将经过所述监控终端处理后的信息通过所述监控终端包括的显示模块进行显示，所述显示模块包括LCD显示屏。
10.根据权利要求9所述的基于级联卷积神经网络的河道漂浮物检测方法，其特征在于，所述河道信息采集模块包括无人机单元和摄像机单元，所述摄像机单元安装于所述无人机单元上，所述无人机单元包括传感器模块、驱动模块、MCU模块和电源模块，所述传感器模块和所述驱动模块均与所述MCU模块相连接，所述传感器模块包括姿态传感器和速度传感器，所述传感器模块用于获取无人机飞行的速度与姿态数据，所述MCU模块用于根据所述传感器模块和所述监控终端发送的信息控制所述驱动模块进行工作，所述驱动模块用于驱动无人机进行速度调整和姿态变换，所述驱动模块包括电机和电子调速器，所述电子调速器与所述电机相连接，所述电源模块与所述驱动模块相连接，所述电源模块通过锂电池为所述驱动模块提供电源；所述摄像机单元包括CMOS摄像机、云台、云台驱动电机和无线图传设备，所述CMOS摄像机安装在所述云台上，所述云台驱动电机与所述云台相连接，所述云台驱动电机用于驱动所述云台进行旋转，所述无线图传设备与所述CMOS摄像机相连接，所述无线图传设备用于将所述CMOS摄像机采集的视频信息实时传输至所述监控终端。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110658902.4A CN113344885B (zh) | 2021-06-15 | 2021-06-15 | 基于级联卷积神经网络的河道漂浮物检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110658902.4A CN113344885B (zh) | 2021-06-15 | 2021-06-15 | 基于级联卷积神经网络的河道漂浮物检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113344885A true CN113344885A (zh) | 2021-09-03 |
| CN113344885B CN113344885B (zh) | 2024-07-02 |
Family
ID=77477011
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110658902.4A Active CN113344885B (zh) | 2021-06-15 | 2021-06-15 | 基于级联卷积神经网络的河道漂浮物检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113344885B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114463430A (zh) * | 2022-04-13 | 2022-05-10 | 威海经济技术开发区天智创新技术研究院 | 一种基于图像处理的海洋搜救系统和方法 |
| CN114937195A (zh) * | 2022-03-29 | 2022-08-23 | 江苏海洋大学 | 基于无人机航拍和改进的YOLO v3的水面漂浮物目标检测系统 |
| CN116310999A (zh) * | 2023-05-05 | 2023-06-23 | 贵州中水能源股份有限公司 | 一种水力发电站库区大型漂浮物检测方法 |
| CN117185376A (zh) * | 2023-09-12 | 2023-12-08 | 河北省水利工程局集团有限公司 | 一种河道的治理系统 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105929845A (zh) * | 2016-05-18 | 2016-09-07 | 中国计量大学 | 基于无人机网络的河道巡航系统与巡航方法 |
| CN108647574A (zh) * | 2018-04-10 | 2018-10-12 | 江河瑞通（北京）技术有限公司 | 漂浮物图像检测模型生成方法、识别方法及设备 |
| CN109242015A (zh) * | 2018-08-29 | 2019-01-18 | 北京航空航天大学 | 基于空基平台视觉监视的水域面积检测方法与装置 |
| CN109766811A (zh) * | 2018-12-31 | 2019-05-17 | 复旦大学 | 一种星载sar图像中海面船只的端到端检测与识别方法 |
| CN110781786A (zh) * | 2019-10-18 | 2020-02-11 | 贺纯洁 | 一种基于Graph Cuts算法的漂浮物识别方法 |
| CN111060079A (zh) * | 2019-12-31 | 2020-04-24 | 华东理工大学 | 河道异物识别方法以及河道异物监控平台系统 |
| CN111259827A (zh) * | 2020-01-19 | 2020-06-09 | 河海大学 | 一种面向城市河道监管的水面漂浮物自动检测方法及装置 |
| KR20210007767A (ko) * | 2019-07-12 | 2021-01-20 | 수상에스티(주) | 딥러닝-영상인식 기반 해상폐기물 제거용 자율운항 선박 시스템 |
| KR20210061848A (ko) * | 2019-11-20 | 2021-05-28 | 한국항공우주연구원 | 부유물 탐지 방법 및 장치 |
-
2021
- 2021-06-15 CN CN202110658902.4A patent/CN113344885B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105929845A (zh) * | 2016-05-18 | 2016-09-07 | 中国计量大学 | 基于无人机网络的河道巡航系统与巡航方法 |
| CN108647574A (zh) * | 2018-04-10 | 2018-10-12 | 江河瑞通（北京）技术有限公司 | 漂浮物图像检测模型生成方法、识别方法及设备 |
| CN109242015A (zh) * | 2018-08-29 | 2019-01-18 | 北京航空航天大学 | 基于空基平台视觉监视的水域面积检测方法与装置 |
| CN109766811A (zh) * | 2018-12-31 | 2019-05-17 | 复旦大学 | 一种星载sar图像中海面船只的端到端检测与识别方法 |
| KR20210007767A (ko) * | 2019-07-12 | 2021-01-20 | 수상에스티(주) | 딥러닝-영상인식 기반 해상폐기물 제거용 자율운항 선박 시스템 |
| CN110781786A (zh) * | 2019-10-18 | 2020-02-11 | 贺纯洁 | 一种基于Graph Cuts算法的漂浮物识别方法 |
| KR20210061848A (ko) * | 2019-11-20 | 2021-05-28 | 한국항공우주연구원 | 부유물 탐지 방법 및 장치 |
| CN111060079A (zh) * | 2019-12-31 | 2020-04-24 | 华东理工大学 | 河道异物识别方法以及河道异物监控平台系统 |
| CN111259827A (zh) * | 2020-01-19 | 2020-06-09 | 河海大学 | 一种面向城市河道监管的水面漂浮物自动检测方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 唐小敏等: "基于SSD深度网络的河道漂浮物检测技术研究", 《计算机技术与发展》, vol. 30, no. 9, pages 154 - 158 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114937195A (zh) * | 2022-03-29 | 2022-08-23 | 江苏海洋大学 | 基于无人机航拍和改进的YOLO v3的水面漂浮物目标检测系统 |
| CN114463430A (zh) * | 2022-04-13 | 2022-05-10 | 威海经济技术开发区天智创新技术研究院 | 一种基于图像处理的海洋搜救系统和方法 |
| CN114463430B (zh) * | 2022-04-13 | 2022-07-01 | 威海经济技术开发区天智创新技术研究院 | 一种基于图像处理的海洋搜救系统和方法 |
| CN116310999A (zh) * | 2023-05-05 | 2023-06-23 | 贵州中水能源股份有限公司 | 一种水力发电站库区大型漂浮物检测方法 |
| CN116310999B (zh) * | 2023-05-05 | 2023-07-21 | 贵州中水能源股份有限公司 | 一种水力发电站库区大型漂浮物检测方法 |
| CN117185376A (zh) * | 2023-09-12 | 2023-12-08 | 河北省水利工程局集团有限公司 | 一种河道的治理系统 |
| CN117185376B (zh) * | 2023-09-12 | 2024-04-26 | 河北省水利工程局集团有限公司 | 一种河道的治理系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113344885B (zh) | 2024-07-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113344885B (zh) | 基于级联卷积神经网络的河道漂浮物检测方法 | |
| CN109460699B (zh) | 一种基于深度学习的驾驶员安全带佩戴识别方法 | |
| CN109086785B (zh) | 一种图像标定模型的训练方法和装置 | |
| CN112339773B (zh) | 一种基于单目视觉的非主动车道偏离预警方法及系统 | |
| CN107067006A (zh) | 一种服务于数据采集的验证码识别方法及系统 | |
| CN108764154A (zh) | 一种基于多特征机器学习的水面垃圾识别方法 | |
| CN115065798B (zh) | 一种基于大数据的视频分析监控系统 | |
| CN116310845B (zh) | 一种用于污水处理的智能监测系统 | |
| CN109740553B (zh) | 一种基于识别的图像语义分割数据筛选方法及系统 | |
| Li et al. | Recognizing white line markings for vision-guided vehicle navigation by fuzzy reasoning | |
| CN111507391A (zh) | 一种基于机器视觉的有色金属破碎料智能识别方法 | |
| CN115410039A (zh) | 基于改进YOLOv5算法的煤炭异物检测系统及方法 | |
| CN112487877A (zh) | 一种厨余垃圾规范操作的监控方法、系统、装置及介质 | |
| Ghahremannezhad et al. | A new adaptive bidirectional region-of-interest detection method for intelligent traffic video analysis | |
| CN112906533B (zh) | 一种基于自适应检测区域的安全帽佩戴检测方法 | |
| CN113139497B (zh) | 一种水面物体识别的系统、方法及基于5g mec的应用 | |
| CN113705638A (zh) | 一种移动车载式智能垃圾信息管理方法及系统 | |
| CN113313071A (zh) | 一种道路区域识别方法及系统 | |
| CN113092502A (zh) | 一种无人机路面破损检测方法与系统 | |
| CN112634241A (zh) | 基于人工智能的光伏电池功率衰减分析方法及系统 | |
| CN110782485A (zh) | 一种车辆变道检测方法及装置 | |
| CN114913438A (zh) | 一种基于锚框最优聚类的YOLOv5园林异常目标识别方法 | |
| CN113052820A (zh) | 一种基于神经网络技术的电路设备缺陷识别方法 | |
| Winger et al. | Low-complexity character extraction in low-contrast scene images | |
| CN110766714A (zh) | 一种基于高斯混合模型的水面漂浮物自动分割方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |