CN109614924A - 一种基于深度学习算法的水面垃圾检测方法 - Google Patents

一种基于深度学习算法的水面垃圾检测方法 Download PDF

Info

Publication number
CN109614924A
CN109614924A CN201811496414.2A CN201811496414A CN109614924A CN 109614924 A CN109614924 A CN 109614924A CN 201811496414 A CN201811496414 A CN 201811496414A CN 109614924 A CN109614924 A CN 109614924A
Authority
CN
China
Prior art keywords
deep learning
learning algorithm
garbage
video
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811496414.2A
Other languages
English (en)
Inventor
王旭
贠周会
吴斌
谢吉朋
王欣欣
叶超
应艳丽
黄江林
钟媛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangxi Hongdu Aviation Industry Group Co Ltd
Original Assignee
Jiangxi Hongdu Aviation Industry Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangxi Hongdu Aviation Industry Group Co Ltd filed Critical Jiangxi Hongdu Aviation Industry Group Co Ltd
Priority to CN201811496414.2A priority Critical patent/CN109614924A/zh
Publication of CN109614924A publication Critical patent/CN109614924A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

一种基于深度学习算法的水面垃圾检测方法，首先对硬件设备进行布设安装，在待检测的内河、湖泊等水域的若干重要区段布设前端摄像机，前端摄像机经接入层交换机，最终接入至核心交换机；基于深度学习算法的视频分析服务器内设置有深度学习算法与反馈机制，反馈机制将在进行深度学习训练中发生误报或漏报的图片进行二次训练，使得不断训练后的深度学习算法模型特征覆盖更加全面，以降低图片误报率和漏报率；视频分析服务器采用多GPU并行计算架构，最大化的利用硬件服务器资源，节约投资成本；而基于CAFFE的SSD深度学习算法，计算速度突出，有效保障检测实时性。

Description

一种基于深度学习算法的水面垃圾检测方法
技术领域
本发明涉及人工智能技术领域，尤其涉及一种基于深度学习算法的水面垃圾检测方法。
背景技术
淡水无论对人类的生存还是对社会的发展，都是不可或缺的资源。随着人口数量不断增加和社会经济不断发展，人类对淡水资源的需求量也越来越大，但伴随而来的淡水污染情况也越来越严重。目前，我国淡水环境质量出现了令人担忧的局面，全国淡水质量检测结果显示，90%以上的城市水域污染严重，到目前为止，淡水污染造成的经济损失高达2400亿元。
水面垃圾是指长时间漂浮在水面上的植物枯枝、枯叶，禽类、鱼类等动物的尸体，也包括人类生活、生产所产生的废弃物品，比如纸屑、木块、泡沫、塑料制品等，水面垃圾的长期漂浮将严重污染水质，并对人类健康和生态环境造成严重威胁。目前，我国内河、湖泊等淡水流域的水面垃圾检测基本以人工巡查为主，个别地区采用简单的视频图像分析检测方法，但这种简单的视频图像分析检测方法的核心算法都是使用帧间差分法或者背景差分法，此类算法无论怎样优化升级，其本质都是用当前视频帧减去前一视频帧或者减去背景视频关键帧以求出像素产生变化的区域，再通过滤波降噪和阈值判断求出最终的变化区域即为此类算法判断出的水面垃圾，显然，对于人类或者动物在水面的游泳行为，雨水或者风对水面造成的波纹或者浪涌，摄像机抖动产生的视频画面变化等很多类似情况都会使得视频图像产生前后帧的像素变化，从而导致被错误地判断为是水面垃圾，严重影响判断的准确率，耽误水面垃圾的清理工作，往往需要人工二次巡查，没有达到预期目的，影响工作效率。
发明内容
本发明所解决的技术问题在于提供一种基于深度学习算法的水面垃圾检测方法，以解决上述背景技术中的缺点。
本发明所解决的技术问题采用以下技术方案来实现：
一种基于深度学习算法的水面垃圾检测方法，具体步骤如下：
1）对检测系统进行布设安装，在待检测的内河、湖泊等水域的若干重要区段布设前端摄像机，前端摄像机经接入层交换机，最终接入至核心交换机；基于深度学习算法的视频分析服务器通过核心交换机取得所有前端摄像头的实时视频流，并同步进行分析检测；
2）对安装有多GPU的视频分析服务器进行软件环境搭建，并对视频分析服务器的软件程序进行调试和试运行；
3）对视频分析服务器中的深度学习算法进行模型训练和测试，首先选取样本图片与测试图片，再对样本图片进行深度学习算法模型训练，得出训练完毕的深度学习算法M，而后将测试图片在深度学习算法M中进行测试，找出相似度判断错误的测试图片，利用此类数据对深度学习算法M进行修正，得到深度学习算法；
4）待深度学习算法完成后，正式运行检测系统，对步骤1）中采集的视频图像进行处理分析，判断具有水面垃圾的图片；同时设置有反馈机制，以降低图片误报率和漏报率。
在本发明中，步骤1）中，摄像机配备有语音报警器，利用语音报警器的功能对出现水面垃圾的摄像机所在位置进行语音提示和报警，告知该位置的工作人员进行水面垃圾清理工作。
在本发明中，步骤2）中，视频分析服务器软件环境为：操作系统Windows10，安装软件操作平台QT5.7.0；算法所需的软件环境Opencv3.3.0、Matlab、Python2.7。
在本发明中，步骤2）中，视频分析服务器采用基于CAFFE的SSD深度学习算法。
在本发明中，步骤3）中，从前端摄像机获取的视频中提取画面上具有水面垃圾的视频图片作为正样本图片，选择一部分有水面垃圾的图片与无水面垃圾的图片作为测试图片，所有正样本图片与测试图片均具备一定数量和多样性，同时对正样本图片中的水面垃圾进行标注，并圈定出水面垃圾范围，再将标注好的正样本图片进行深度学习算法模型训练。
在本发明中，步骤4）中，设置的反馈机制是将在进行深度学习算法训练中发生误报或漏报的图片进行二次训练，使得不断训练后的深度学习算法模型特征覆盖更加全面。
在本发明中，步骤4）中，对步骤1）中采集的视频图像进行处理分析流程为：首先对前端摄像机采集的视频图像进行实时视频流解码，将视频图像处理为视频帧数据暂存于缓存中，而后对缓存中的视频帧数据逐一提取，再将提取的视频帧进行深度学习算法分析，最终得出被判断为具有水面垃圾的报警图片。
在本发明中，步骤4）中，对提取的视频帧进行深度学习算法分析前进行图像预处理，以增强对比度。
有益效果：
1）本发明将多GPU并行计算架构应用于水面垃圾检测技术领域中，视频分析服务器的核心能力就是多个GPU并行处理视频图像，同步进行多路视频的深度学习识别算法，能够提高服务器的计算能力，不仅保障了水面垃圾检测系统实时性的能力，还能够让一台服务器同时分析30路水面垃圾检测视频，最大化的利用硬件服务器资源，节约投资成本；
2）本发明将基于CAFFE的SSD深度学习算法应用于水面垃圾检测技术领域中，用于判定水面上是否存在漂浮的垃圾，计算速度突出，有效保障检测实时性，同时本算法精确度高，不会受到噪声干扰从而产生误报，识别准确率要明显高于其他算法；
3）本发明设计有算法反馈机制，将误报或者漏报的图片进行二次训练，使得不断训练后的模型特征覆盖的更加全面，从而提高水面垃圾识别准确率与工作效率。
附图说明
图1是本发明的较佳实施例中的检测系统框图。
图2是本发明的较佳实施例中的检测系统流程示意图。
具体实施方式
为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体图示，进一步阐述本发明。
一种基于深度学习算法的水面垃圾检测方法，具体步骤如下：
1）对检测系统进行布设安装，如图1所示，在待检测的内河、湖泊等水域的若干重要区段布设前端摄像机，摄像机配备有语音报警器，调整摄像机的高度和角度，确保所有布设的摄像机能够采集到优质画面；同时对前端设备的网线、信号线、数据线等线路进行穿管和铺设，经接入层交换机，最终接入至核心交换机；基于深度学习算法的视频分析服务器通过核心交换机取得所有前端摄像头的实时视频流，并同步进行分析检测；
2）对基于CAFFE的SSD深度学习算法的视频分析服务器进行软件环境搭建，首先，安装视频分析服务器操作系统Windows10，安装软件操作平台QT5.7.0；其次，安装多GPU并行计算所需的软件环境CUDA8.0及驱动，安装算法所需的软件环境Opencv3.3.0、Matlab、Python2.7；最后安装深度学习算法所需相关软件环境等，软件环境搭建完成后，对视频分析服务器的软件程序进行调试和试运行；
3）对视频分析服务器中的深度学习算法进行模型训练和测试，首先从前端摄像机获取的视频中提取画面上具有水面垃圾的视频图片作为正样本图片，选择一部分有水面垃圾的图片与无水面垃圾的图片作为测试图片，所有正样本图片与测试图片均具备一定数量和多样性，而后对正样本图片中的水面垃圾进行标注，并圈定出水面垃圾范围，再将标注好的正样本图片进行深度学习算法模型训练，得出训练完毕的深度学习算法M，最后将测试图片在深度学习算法M中进行测试，找出相似度判断错误的测试图片，利用此类数据对深度学习算法M进行修正，得到深度学习算法；
4）待深度学习算法完成后，正式运行检测系统，检测系统的运行流程为：首先对前端摄像机采集的视频图像，进行实时视频流解码，将视频图像处理为视频帧数据暂存于缓存中，而后对缓存中的视频帧数据逐一提取，并进行图像预处理以增强对比度，再将预处理后的视频帧进行深度学习算法分析，最终得出被判断为具有水面垃圾的报警图片；同时，对于得出的错误报警图片，不断地进行反馈，对深度学习算法进行不断修正，从而提高判断准确率，如图2所示。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (8)

1.一种基于深度学习算法的水面垃圾检测方法，其特征在于，具体步骤如下：
1）对检测系统进行布设安装，在待检测的内河、湖泊等水域的若干重要区段布设前端摄像机，前端摄像机经接入层交换机，最终接入至核心交换机；基于深度学习算法的视频分析服务器通过核心交换机取得所有前端摄像头的实时视频流，并同步进行分析检测；
2）对安装有多GPU的视频分析服务器进行软件环境搭建，并对视频分析服务器的软件程序进行调试和试运行；
3）对视频分析服务器中的深度学习算法进行模型训练和测试，首先选取样本图片与测试图片，再对样本图片进行深度学习算法模型训练，得出训练完毕的深度学习算法M，而后将测试图片在深度学习算法M中进行测试，找出相似度判断错误的测试图片，利用此类数据对深度学习算法M进行修正，得到深度学习算法；
4）待深度学习算法完成后，正式运行检测系统，对步骤1）中采集的视频图像进行处理分析，判断具有水面垃圾的图片；同时设置有反馈机制，以降低图片误报率和漏报率。
2.根据权利要求1所述的一种基于深度学习算法的水面垃圾检测方法，其特征在于，步骤1）中，摄像机配备有语音报警器。
3.根据权利要求1所述的一种基于深度学习算法的水面垃圾检测方法，其特征在于，步骤2）中，视频分析服务器软件环境为：操作系统Windows10，安装软件操作平台QT5.7.0；算法所需的软件环境Opencv3.3.0、Matlab、Python2.7。
4.根据权利要求1所述的一种基于深度学习算法的水面垃圾检测方法，其特征在于，步骤2）中，视频分析服务器采用基于CAFFE的SSD深度学习算法。
5.根据权利要求1所述的一种基于深度学习算法的水面垃圾检测方法，其特征在于，步骤3）中，从前端摄像机获取的视频中提取画面上具有水面垃圾的视频图片作为正样本图片，选择一部分有水面垃圾的图片与无水面垃圾的图片作为测试图片，所有正样本图片与测试图片均具备一定数量和多样性，同时对正样本图片中的水面垃圾进行标注，并圈定出水面垃圾范围，再将标注好的正样本图片进行深度学习算法模型训练。
6.根据权利要求1所述的一种基于深度学习算法的水面垃圾检测方法，其特征在于，步骤4）中，设置的反馈机制是将在进行深度学习算法训练中发生误报或漏报的图片进行二次训练，使得不断训练后的深度学习算法模型特征覆盖更加全面。
7.根据权利要求1所述的一种基于深度学习算法的水面垃圾检测方法，其特征在于，步骤4）中，对步骤1）中采集的视频图像进行处理分析流程为：首先对前端摄像机采集的视频图像进行实时视频流解码，将视频图像处理为视频帧数据暂存于缓存中，而后对缓存中的视频帧数据逐一提取，再将提取的视频帧进行深度学习算法分析，最终得出被判断为具有水面垃圾的报警图片。
8.根据权利要求7所述的一种基于深度学习算法的水面垃圾检测方法，其特征在于，对提取的视频帧进行深度学习算法分析前进行图像预处理。
CN201811496414.2A 2018-12-07 2018-12-07 一种基于深度学习算法的水面垃圾检测方法 Pending CN109614924A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811496414.2A CN109614924A (zh) 2018-12-07 2018-12-07 一种基于深度学习算法的水面垃圾检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811496414.2A CN109614924A (zh) 2018-12-07 2018-12-07 一种基于深度学习算法的水面垃圾检测方法

Publications (1)

Publication Number Publication Date
CN109614924A true CN109614924A (zh) 2019-04-12

Family

ID=66007592

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811496414.2A Pending CN109614924A (zh) 2018-12-07 2018-12-07 一种基于深度学习算法的水面垃圾检测方法

Country Status (1)

Country Link
CN (1) CN109614924A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110674731A (zh) * 2019-09-22 2020-01-10 江苏悦达专用车有限公司 一种基于深度学习的道路清洁度量化方法
CN110793566A (zh) * 2019-10-18 2020-02-14 南京中科智慧生态科技有限公司 一种水体漂浮物智能视觉检测方法
CN111103416A (zh) * 2019-12-30 2020-05-05 重庆商勤科技有限公司 一种水源污染预警方法及系统
CN111475674A (zh) * 2020-04-22 2020-07-31 深圳市艾伯信息科技有限公司 用于暴力行为检测的深度学习模型训练数据集构造方法及系统
TWI726396B (zh) * 2019-08-23 2021-05-01 經緯航太科技股份有限公司 環境巡檢系統及其方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106960446A (zh) * 2017-04-01 2017-07-18 广东华中科技大学工业技术研究院 一种面向无人艇应用的水面目标检测跟踪一体化方法
CN108647559A (zh) * 2018-03-21 2018-10-12 四川弘和通讯有限公司 一种基于深度学习的危险物识别方法
CN108647574A (zh) * 2018-04-10 2018-10-12 江河瑞通（北京）技术有限公司 漂浮物图像检测模型生成方法、识别方法及设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106960446A (zh) * 2017-04-01 2017-07-18 广东华中科技大学工业技术研究院 一种面向无人艇应用的水面目标检测跟踪一体化方法
CN108647559A (zh) * 2018-03-21 2018-10-12 四川弘和通讯有限公司 一种基于深度学习的危险物识别方法
CN108647574A (zh) * 2018-04-10 2018-10-12 江河瑞通（北京）技术有限公司 漂浮物图像检测模型生成方法、识别方法及设备

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
张晓明: "基于卷积神经网络与3D几何语义的室内场景理解研究", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 *
我是小将: "目标检测算法之SSD", 《HTTPS://BLOG.CSDN.NET/XIAOHU2022/ARTICLE/DETAILS/79833786》 *
金网奖: "一起做实验 | 多GPU并行计算训练深度神经网络", 《HTTPS://WWW.SOHU.COM/A/225478373_509575》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI726396B (zh) * 2019-08-23 2021-05-01 經緯航太科技股份有限公司 環境巡檢系統及其方法
CN110674731A (zh) * 2019-09-22 2020-01-10 江苏悦达专用车有限公司 一种基于深度学习的道路清洁度量化方法
CN110793566A (zh) * 2019-10-18 2020-02-14 南京中科智慧生态科技有限公司 一种水体漂浮物智能视觉检测方法
CN110793566B (zh) * 2019-10-18 2022-01-28 南京中科智慧生态科技有限公司 一种水体漂浮物智能视觉检测方法
CN111103416A (zh) * 2019-12-30 2020-05-05 重庆商勤科技有限公司 一种水源污染预警方法及系统
CN111475674A (zh) * 2020-04-22 2020-07-31 深圳市艾伯信息科技有限公司 用于暴力行为检测的深度学习模型训练数据集构造方法及系统

Similar Documents

Publication Publication Date Title
CN109614924A (zh) 一种基于深度学习算法的水面垃圾检测方法
US20200117907A1 (en) Method for detecting violent incident in video based on hypergraph transition
CN108764154B (zh) 一种基于多特征机器学习的水面垃圾识别方法
CN109636758B (zh) 一种基于时空动态算子的水面漂浮物检测方法
CN101022505A (zh) 复杂背景下运动目标自动检测方法和装置
CN109003290A (zh) 一种监控系统的视频跟踪方法
CN111127399A (zh) 一种基于深度学习与声呐成像的水下桥墩病害识别方法
CN102663362A (zh) 一种基于灰度特征的运动目标检测方法
CN103605983A (zh) 一种遗留物检测和跟踪方法
CN106339657A (zh) 基于监控视频的秸秆焚烧监测方法、装置
CN108335294A (zh) 复杂条件下的配电房异常状态图像识别方法
CN111145222A (zh) 一种结合烟雾运动趋势和纹理特征的火灾检测方法
CN112287823A (zh) 一种基于视频监控的面部口罩识别方法
CN102436578A (zh) 狗脸特征检测器的形成方法、狗脸检测方法及装置
Su et al. A new local-main-gradient-orientation HOG and contour differences based algorithm for object classification
CN106650735B (zh) 一种led字符自动定位识别方法
CN113469938B (zh) 基于嵌入式前端处理服务器的管廊视频分析方法及系统
CN113837164A (zh) 一种基于图像识别技术的工地积水点检测方法和装置
CN106128105B (zh) 一种交通路口行人行为监测系统
CN113139507A (zh) 一种排水管道缺陷照片自动截取方法及其系统
CN112861762A (zh) 基于生成对抗网络的铁路道口异常事件检测方法及系统
CN115862021B (zh) 基于yolo的水电站闸门自动识别方法
CN112669269A (zh) 一种基于图像识别的管道缺陷分类分级方法及系统
CN104866844A (zh) 一种面向监控视频的人群聚集检测方法
CN116311071A (zh) 一种融合帧差和ca的变电站周界异物识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190412

RJ01 Rejection of invention patent application after publication