CN105512666A - 一种基于视频的河道垃圾识别方法 - Google Patents

一种基于视频的河道垃圾识别方法 Download PDF

Info

Publication number
CN105512666A
CN105512666A CN201510939196.5A CN201510939196A CN105512666A CN 105512666 A CN105512666 A CN 105512666A CN 201510939196 A CN201510939196 A CN 201510939196A CN 105512666 A CN105512666 A CN 105512666A
Authority
CN
China
Prior art keywords
rubbish
recognition methods
doubtful
garbage
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510939196.5A
Other languages
English (en)
Inventor
戴林
马凌宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin Tiandy Digital Technology Co Ltd
Original Assignee
Tianjin Tiandy Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin Tiandy Digital Technology Co Ltd filed Critical Tianjin Tiandy Digital Technology Co Ltd
Priority to CN201510939196.5A priority Critical patent/CN105512666A/zh
Publication of CN105512666A publication Critical patent/CN105512666A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于视频的河道垃圾识别方法，包括检测利用视频图像检测疑似垃圾，利用模式识别方法对疑似垃圾再识别。本发明可以自动检测江面，大坝等水面上的静态和动态垃圾，并具有检测率高，误检率低等特点，可以有效减轻视频垃圾审核人员的工作负担；本方法可以运行在嵌入式前端，可以全天候定时或者实时检测水面上的垃圾，可以降低存储传输等成本；本方法可以检测包括生活垃圾，树枝等多种形态垃圾，并通过模式识别方法有效去除倒影，水纹等的误检，具有较强的准确性。

Description

一种基于视频的河道垃圾识别方法
技术领域
本发明涉及视频图像处理领域，特别是一种基于视频的河道垃圾识别方法。
背景技术
随着经济的快速发展和人民生活水平不断提高，自然环境也受到更多的污染威胁，特别是江面，大坝等污染日益严重，河道中存在的垃圾使水污染事件时有发生，河道脏、乱、差现象普遍存在，但是河道保洁任务艰巨，存在人力成本高，耗时费力，不能保证垃圾的及时检测。
发明内容
本发明为了解决上述问题而提供一种基于视频的河道垃圾识别方法。
本发明为解决这一问题所采取的技术方案是：一种基于视频的河道垃圾识别方法，包括检测利用视频图像检测疑似垃圾，利用模式识别方法对疑似垃圾再识别。
进一步的所述的疑似垃圾包括疑似静态垃圾或疑似动态垃圾。
优选的所述的疑似静态垃圾的检测方法包括利用图像内邻域空间建模方法。
更优选的所述的利用图像内邻域空间建模方法包括利用河道水面和垃圾的纹理特性，对图像中的每个像素进行周围邻域的空间建模，根据模型判断该像素点是属于背景还是前景。
优选的所述的疑似动态垃圾的检测方法包括利用视频图像间的时间建模方法。
更优选的所述的时间建模方法包括：利用混合高斯背景建模方法，对每个像素进行时间维度的建模，根据模型判断该像素点是属于背景还是前景。
进一步的所述的利用模式识别方法对疑似垃圾再识别包括：对垃圾图像提取HOG特征和HSV颜色空间的颜色特征，并利用神经网络进行垃圾的再识别。
进一步的所述的利用模式识别方法对疑似垃圾再识别包括采用不同的分辨率和不同的特征进行二次或者多次识别。
本发明具有的优点和积极效果是：
本发明可以自动检测江面，大坝等水面上的静态和动态垃圾，并具有检测率高，误检率低等特点，可以有效减轻视频垃圾审核人员的工作负担；本方法可以运行在嵌入式前端，可以全天候定时或者实时检测水面上的垃圾，可以降低存储传输等成本；本方法可以检测包括生活垃圾，树枝等多种形态垃圾，并通过模式识别方法有效去除倒影，水纹等的误检，具有较强的准确性。
附图说明
图1是本发明的空间建模实例图；
图2是本发明的HOG特征提取流程图；
图3是本发明的训练过程流程图。
具体实施方式
以下参照附图及实施例对本发明的一种基于视频的河道垃圾识别方法。
本发明为解决这一问题所采取的技术方案是：一种基于视频的河道垃圾识别方法，包括检测利用视频图像检测疑似垃圾，利用模式识别方法对疑似垃圾再识别。
进一步的所述的疑似垃圾包括疑似静态垃圾或疑似动态垃圾。
优选的所述的疑似静态垃圾的检测方法包括利用图像内邻域空间建模方法。
更优选的所述的利用图像内邻域空间建模方法包括利用河道水面和垃圾的纹理特性，对图像中的每个像素进行周围邻域的空间建模，根据模型判断该像素点是属于背景（河面）或前景（垃圾）。
如图1所示，所述的空间建模方法为对每个像素进行空间建模，当该像素值较周围像素值有较大突变时，则认为该像素为前景点，否则为背景点。并以一定的帧率进行更新每个像素的空间模型。
优选的所述的疑似动态垃圾的检测方法包括利用视频图像间的时间建模方法。
更优选的所述的时间建模方法包括：利用混合高斯背景建模方法，对每个像素进行时间维度的建模，根据模型判断该像素点是属于背景（河面）或前景（垃圾）。
基于时间的混合高斯建模方法，该方法是基于像素样本统计信息的背景表示方法，利用像素在较长时间内大量样本值的概率密度等统计信息进行目标像素判断，在该模型中，认为像素之间的颜色信息是互不相关的，对各个像素的处理都是互相独立的，这与空间建模方法形成互补，可以检测动态漂浮的垃圾
进一步的所述的利用模式识别方法对疑似垃圾再识别包括：对垃圾图像提取HOG特征和HSV颜色空间的颜色特征，并利用神经网络进行垃圾的再识别。
进一步的所述的利用模式识别方法对疑似垃圾再识别包括采用不同的分辨率和不同的特征进行二次或者多次识别。
提取HOG特征的方法为：梯度方向直方图(HistogramofOrientedGradient,HOG)特征是一种在计算机视觉和图像处理领域常用的特征描述方法，如图2所示，其提取特征过程包括：输入归一化图像，计算梯度，每一个cell块的梯度进行方向投影，相邻cell块进行对比度归一化，把所有cell的向量组成一维长向量。提取HSV颜色空间的颜色特征的方法包括：把待识别图像转换到HSV颜色空间,再把H,S和V3个通道平均分成10个bin，分别统计待识别图像3*10个bin的直方图，并归一化后形成HSV颜色特征直方图。再将HSV颜色特征直方图和HOG直方图合并组成颜色纹理融合的混合特征，最后利用神经网络做最终的垃圾识别与判断。
如图3所示本发明的训练预测过程可以分为训练阶段和识别阶段两部分。
1训练阶段，提取HOG和HSV特征训练第一层神经网络分类器，如果识别错误，则在样本周围扩大分辨率重新提取特征，重新训练第二层分类器。训练第二层分类器的目的是加强对水面倒影，大波纹等的识别效果。
2识别阶段，对神经网络第一层识别为垃圾的图像进行高分辨率二次识别判别，只有第二层分类器识别为垃圾才会最终判定为垃圾。当第一层分类器判定为非垃圾则不再进行二次判别，直接判定为非垃圾。

Claims (8)

1.一种基于视频的河道垃圾识别方法，其特征在于：包括检测利用视频图像检测疑似垃圾，利用模式识别方法对疑似垃圾再识别。
2.根据权利要求1所述的一种基于视频的河道垃圾识别方法，其特征在于：所述的疑似垃圾包括疑似静态垃圾或疑似动态垃圾。
3.根据权利要求2所述的一种基于视频的河道垃圾识别方法，其特征在于：所述的疑似静态垃圾的检测方法包括利用图像内邻域空间建模方法。
4.根据权利要求3所述的一种基于视频的河道垃圾识别方法，其特征在于：所述的利用图像内邻域空间建模方法包括利用河道水面和垃圾的纹理特性，对图像中的每个像素进行周围邻域的空间建模，根据模型判断该像素点是属于背景或前景。
5.根据权利要求2所述的一种基于视频的河道垃圾识别方法，其特征在于：所述的疑似动态垃圾的检测方法包括利用视频图像间的时间建模方法。
6.根据权利要求5所述的一种基于视频的河道垃圾识别方法，其特征在于：所述的时间建模方法包括：利用混合高斯背景建模方法，对每个像素进行时间维度的建模，根据模型判断该像素点是属于背景或前景。
7.根据权利要求1所述的一种基于视频的河道垃圾识别方法，其特征在于：所述的利用模式识别方法对疑似垃圾再识别包括：对垃圾图像提取HOG特征和HSV颜色空间的颜色特征，并利用神经网络进行垃圾的再识别。
8.根据权利要求1所述的一种基于视频的河道垃圾识别方法，其特征在于：所述的利用模式识别方法对疑似垃圾再识别包括采用不同的分辨率和不同的特征进行二次或者多次识别。
CN201510939196.5A 2015-12-16 2015-12-16 一种基于视频的河道垃圾识别方法 Pending CN105512666A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510939196.5A CN105512666A (zh) 2015-12-16 2015-12-16 一种基于视频的河道垃圾识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510939196.5A CN105512666A (zh) 2015-12-16 2015-12-16 一种基于视频的河道垃圾识别方法

Publications (1)

Publication Number Publication Date
CN105512666A true CN105512666A (zh) 2016-04-20

Family

ID=55720633

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510939196.5A Pending CN105512666A (zh) 2015-12-16 2015-12-16 一种基于视频的河道垃圾识别方法

Country Status (1)

Country Link
CN (1) CN105512666A (zh)

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105929845A (zh) * 2016-05-18 2016-09-07 中国计量大学 基于无人机网络的河道巡航系统与巡航方法
CN106203498A (zh) * 2016-07-07 2016-12-07 中国科学院深圳先进技术研究院 一种城市场景垃圾检测方法及系统
CN106339723A (zh) * 2016-08-30 2017-01-18 天津天地伟业数码科技有限公司 基于视频河道盗采的检测方法
CN107016082A (zh) * 2017-03-31 2017-08-04 君晟合众（北京）科技有限公司 一种污染事件识别与处理方法及系统
CN108764154A (zh) * 2018-05-30 2018-11-06 重庆邮电大学 一种基于多特征机器学习的水面垃圾识别方法
CN109024417A (zh) * 2018-07-24 2018-12-18 长安大学 一种智能道路清扫车及其道路污染物识别方法和控制方法
CN109101944A (zh) * 2018-08-27 2018-12-28 四创科技有限公司 一种识别向河道内抛投垃圾的实时视频监控算法
CN109145820A (zh) * 2018-08-22 2019-01-04 四创科技有限公司 一种基于视频动态图像的河道位置标注方法
CN109711744A (zh) * 2018-12-29 2019-05-03 南京天溯自动化控制系统有限公司 保洁任务自动生成、执行评价方法、保洁方法及装置
CN109858331A (zh) * 2018-12-17 2019-06-07 安徽酷哇机器人有限公司 自动驾驶清洁车垃圾识别清理方法
CN110119662A (zh) * 2018-03-29 2019-08-13 王胜春 一种基于深度学习的垃圾种类识别系统
CN110399791A (zh) * 2019-06-18 2019-11-01 东华大学 一种草坪中垃圾检测与识别系统与方法
CN110400325A (zh) * 2019-03-26 2019-11-01 桑尼环保（江苏）有限公司 智能化河道管控平台
CN110443823A (zh) * 2018-05-03 2019-11-12 西南科技大学 一种水面漂浮物前景分割方法
CN110458068A (zh) * 2019-07-31 2019-11-15 秒针信息技术有限公司 酒店卫生的管理方法，装置以及系统
CN111126116A (zh) * 2018-11-01 2020-05-08 中国移动通信集团浙江有限公司 无人船河道垃圾识别方法及系统
CN111241899A (zh) * 2019-03-26 2020-06-05 桑尼环保（江苏）有限公司 智能化河道管控方法
CN111783841A (zh) * 2020-06-09 2020-10-16 中科院成都信息技术股份有限公司 基于迁移学习和模型融合的垃圾分类方法、系统及介质
CN113076924A (zh) * 2021-04-21 2021-07-06 西交利物浦大学 基于无人船的河面垃圾实时检测方法、装置及存储介质
US11881019B2 (en) 2018-09-20 2024-01-23 Cortexia Sa Method and device for tracking and exploiting at least one environmental parameter

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070010998A1 (en) * 2005-07-08 2007-01-11 Regunathan Radhakrishnan Dynamic generative process modeling, tracking and analyzing
CN102222339A (zh) * 2011-06-17 2011-10-19 中国科学院自动化研究所 一种基于纹理和强度特征融合的多尺度背景建模方法
CN102288166A (zh) * 2011-05-13 2011-12-21 河海大学 基于视频的多模型结合水面船舶检测方法
CN102568002A (zh) * 2011-12-20 2012-07-11 福建省华大数码科技有限公司 基于纹理和运动模式融合的运动目标检测算法
CN104209949A (zh) * 2013-05-31 2014-12-17 董挺挺 清洁遥控机器人装置
CN104598924A (zh) * 2015-01-14 2015-05-06 南京邮电大学 一种目标匹配检测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070010998A1 (en) * 2005-07-08 2007-01-11 Regunathan Radhakrishnan Dynamic generative process modeling, tracking and analyzing
CN102288166A (zh) * 2011-05-13 2011-12-21 河海大学 基于视频的多模型结合水面船舶检测方法
CN102222339A (zh) * 2011-06-17 2011-10-19 中国科学院自动化研究所 一种基于纹理和强度特征融合的多尺度背景建模方法
CN102568002A (zh) * 2011-12-20 2012-07-11 福建省华大数码科技有限公司 基于纹理和运动模式融合的运动目标检测算法
CN104209949A (zh) * 2013-05-31 2014-12-17 董挺挺 清洁遥控机器人装置
CN104598924A (zh) * 2015-01-14 2015-05-06 南京邮电大学 一种目标匹配检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MARKO HEIKKILA: "A Texture-Based Method for Modeling the Background and Detecting Moving Objects", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 *
田鹏辉: "视频图像中运动目标检测与跟踪方法研究", 《中国博士学位论文全文数据库信息科技辑》 *

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105929845B (zh) * 2016-05-18 2018-10-19 中国计量大学 基于无人机网络的河道巡航系统与巡航方法
CN105929845A (zh) * 2016-05-18 2016-09-07 中国计量大学 基于无人机网络的河道巡航系统与巡航方法
CN106203498A (zh) * 2016-07-07 2016-12-07 中国科学院深圳先进技术研究院 一种城市场景垃圾检测方法及系统
CN106203498B (zh) * 2016-07-07 2019-12-24 中国科学院深圳先进技术研究院 一种城市场景垃圾检测方法及系统
CN106339723A (zh) * 2016-08-30 2017-01-18 天津天地伟业数码科技有限公司 基于视频河道盗采的检测方法
CN107016082A (zh) * 2017-03-31 2017-08-04 君晟合众（北京）科技有限公司 一种污染事件识别与处理方法及系统
CN110119662A (zh) * 2018-03-29 2019-08-13 王胜春 一种基于深度学习的垃圾种类识别系统
CN110443823A (zh) * 2018-05-03 2019-11-12 西南科技大学 一种水面漂浮物前景分割方法
CN108764154A (zh) * 2018-05-30 2018-11-06 重庆邮电大学 一种基于多特征机器学习的水面垃圾识别方法
CN109024417A (zh) * 2018-07-24 2018-12-18 长安大学 一种智能道路清扫车及其道路污染物识别方法和控制方法
CN109145820A (zh) * 2018-08-22 2019-01-04 四创科技有限公司 一种基于视频动态图像的河道位置标注方法
CN109145820B (zh) * 2018-08-22 2021-11-12 四创科技有限公司 一种基于视频动态图像的河道位置标注方法
CN109101944A (zh) * 2018-08-27 2018-12-28 四创科技有限公司 一种识别向河道内抛投垃圾的实时视频监控算法
US11881019B2 (en) 2018-09-20 2024-01-23 Cortexia Sa Method and device for tracking and exploiting at least one environmental parameter
CN111126116A (zh) * 2018-11-01 2020-05-08 中国移动通信集团浙江有限公司 无人船河道垃圾识别方法及系统
CN109858331A (zh) * 2018-12-17 2019-06-07 安徽酷哇机器人有限公司 自动驾驶清洁车垃圾识别清理方法
CN109711744B (zh) * 2018-12-29 2024-02-06 南京天溯自动化控制系统有限公司 保洁任务自动生成、执行评价方法、保洁方法及装置
CN109711744A (zh) * 2018-12-29 2019-05-03 南京天溯自动化控制系统有限公司 保洁任务自动生成、执行评价方法、保洁方法及装置
CN111241899A (zh) * 2019-03-26 2020-06-05 桑尼环保（江苏）有限公司 智能化河道管控方法
CN110400325A (zh) * 2019-03-26 2019-11-01 桑尼环保（江苏）有限公司 智能化河道管控平台
CN110399791A (zh) * 2019-06-18 2019-11-01 东华大学 一种草坪中垃圾检测与识别系统与方法
CN110458068A (zh) * 2019-07-31 2019-11-15 秒针信息技术有限公司 酒店卫生的管理方法，装置以及系统
CN111783841A (zh) * 2020-06-09 2020-10-16 中科院成都信息技术股份有限公司 基于迁移学习和模型融合的垃圾分类方法、系统及介质
CN111783841B (zh) * 2020-06-09 2023-08-04 中科院成都信息技术股份有限公司 基于迁移学习和模型融合的垃圾分类方法、系统及介质
CN113076924A (zh) * 2021-04-21 2021-07-06 西交利物浦大学 基于无人船的河面垃圾实时检测方法、装置及存储介质

Similar Documents

Publication Publication Date Title
CN105512666A (zh) 一种基于视频的河道垃圾识别方法
Chen et al. A self organizing map optimization based image recognition and processing model for bridge crack inspection
CN103258213B (zh) 一种用于智能交通系统中的动态车辆车型识别方法
CN102855487B (zh) 高分辨率遥感图像新增建设用地变化图斑自动提取的方法
CN103729842B (zh) 基于局部统计特征与整体显著性分析的织物疵点检测方法
CN103049763B (zh) 一种基于上下文约束的目标识别方法
CN110310264A (zh) 一种基于dcnn的大尺度目标检测方法、装置
CN111339882A (zh) 基于实例分割的输电线路隐患检测方法
CN103778627B (zh) 一种基于sar图像的海域溢油检测方法
CN103048329A (zh) 一种基于主动轮廓模型的路面裂缝检测方法
CN114841972A (zh) 基于显著性图和语义嵌入特征金字塔的输电线路缺陷识别方法
CN109902618A (zh) 一种海面船只识别方法和装置
CN109448009A (zh) 用于输电线路检测的红外图像处理方法及装置
CN106557740A (zh) 一种遥感图像中油库目标的识别方法
Altabey et al. Research in image processing for pipeline crack detection applications
Yu YOLO V5s-based deep learning approach for concrete cracks detection
Li et al. Wafer crack detection based on yolov4 target detection method
CN112330562B (zh) 一种异构遥感图像变换方法及系统
CN103065296A (zh) 一种基于边缘特征的高分辨率遥感影像居民区提取方法
Ashraf et al. Efficient Pavement Crack Detection and Classification Using Custom YOLOv7 Model
Yan-Li Introduction to digital image pre-processing and segmentation
Zhao et al. Semantic segmentation of sea ice based on U-Net network modification
CN110674827A (zh) 一种融合深度学习与形态学滤波的设备状态视觉检测方法
Wang et al. An automatic bridge detection technique for high resolution SAR images
Shen et al. Design and Implementation of Campus Pedestrian Detection based on Unmanned Robot “Sweeper”

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20160420

RJ01 Rejection of invention patent application after publication