CN111950357A - 一种基于多特征yolov3的船用水面垃圾快速识别方法 - Google Patents

一种基于多特征yolov3的船用水面垃圾快速识别方法 Download PDF

Info

Publication number
CN111950357A
CN111950357A CN202010621539.4A CN202010621539A CN111950357A CN 111950357 A CN111950357 A CN 111950357A CN 202010621539 A CN202010621539 A CN 202010621539A CN 111950357 A CN111950357 A CN 111950357A
Authority
CN
China
Prior art keywords
image
target
garbage
yolov3
tiny
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010621539.4A
Other languages
English (en)
Inventor
李威
蔡立明
高永发
谢家文
戴智航
符浩
胡常青
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aerospace Times (Qingdao) marine equipment technology development Co.,Ltd.
Original Assignee
Beijing Aerospace Control Instrument Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Aerospace Control Instrument Institute filed Critical Beijing Aerospace Control Instrument Institute
Priority to CN202010621539.4A priority Critical patent/CN111950357A/zh
Publication of CN111950357A publication Critical patent/CN111950357A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/40Image enhancement or restoration using histogram techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/46Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于多特征YOLOV3的船用水面垃圾快速识别方法,通过下述方式实现:S1、利用船载摄像装置拍摄图像,对图像进行直方图均衡化预处理,构建图像特征描述子图;S2、构建基于YOLOV3‑tiny目标检测方法的目标识别模型;S3、利用目标识别模型识别S1处理后的图像特征描述子图中存在的目标;S4、根据检测到的目标坐标判断垃圾与船的距离,当距离小于设定的阈值时,进行垃圾收集;S5、对从陆基采集的未被识别的图像进行图像增广处理以及模型训练,得到新的目标识别模型,返回S3重新执行,直至构建的目标识别模型的准确率满足要求。

Description

一种基于多特征YOLOV3的船用水面垃圾快速识别方法
技术领域
本发明涉及计算机视觉、图像处理、深度学习、人工智能领域。具体涉及一种基于多特征YOLOV3的船用垃圾快速识别方法。
背景技术
智能化垃圾采集是一项包含图像处理、人工智能和自动控制等多个技术的新领域。环保设备的智能化与我们的生活息息相关,随着经济的发展,水面污染越加严重。
关于水面垃圾快速识别方法的研究越来越多。目前,水面垃圾检测算法多基于混合高斯模型和双背景模型的改进方法,在水面复杂场景下,容易受到光照和噪声的影响。存在目标虚警率高、物体定位不准确等问题。同时,上述方法的调参过程复杂,很难满足水面垃圾快速识别的要求。如何提升系统在水面复杂环境下对垃圾检测的准确性和实时性,成为下一步研究的热点问题。
发明内容
本发明解决的技术问题是:本发明提出了一种基于多特征YOLOV3-tiny的垃圾快速识别方法,实现垃圾清理的智能化与自动化。
本发明解决技术的方案是:一种基于多特征YOLOV3的船用水面垃圾快速识别方法,通过下述方式实现:
S1、利用船载摄像装置拍摄图像,对图像进行直方图均衡化预处理,构建图像特征描述子图;
S2、构建基于YOLOV3-tiny目标检测方法的目标识别模型;
S3、利用目标识别模型识别S1处理后的图像特征描述子图中存在的目标;
S4、根据检测到的目标坐标判断垃圾与船的距离,当距离小于设定的阈值时,进行垃圾收集;
S5、对从陆基采集的未被识别的图像进行图像增广处理以及模型训练,得到新的目标识别模型,返回S3重新执行,直至构建的目标识别模型的准确率满足要求。
优选的,S1中拍摄图像数量大于1000张。
优选的,所述的图像特征描述子图通过下述方式完成构建:
将拍摄的RGB图像压缩为灰度图像,提取灰度图像的梯度特征和形态学特征,并将灰度图像作为第一波段,梯度特征图像作为第二波段及形态学特征作为第三波段;利用上述三个波段构建图像特征描述子图。
优选的,基于YOLOV3-tiny目标检测方法的目标识别模型为利用YOLOV3-tiny目标检测方法构建的YOLOV3-tiny神经网络,通过下述方式完成所述目标识别模型的构建:
初始化所述神经网络中卷积层预训练参数以及模型权重;
YOLOV3-tiny神经网络对输入的图像通过卷积、池化操作,得到特征图;
将所述特征图中数据进行归一化处理,保证预测数据在0~1之间,并通过预测层识别目标类别和目标位置;
设置置信度阈值并进行极大值抑制处理,将低于所述置信度阈值的预测层框图去除,得到识别的垃圾出现概率和垃圾位置。
优选的,所述的置信度阈值不低于0.7。
优选的,S5中对从陆基采集的未被识别的图像进行人为标注垃圾,之后进行随机旋转角度、水平偏移、竖直偏移、随机缩放和随机水平旋转中至少三种处理,得到增广图像,对增广图像进行特征提取,输入YOLOV3-tiny神经网络进行训练,得到模型权重,进而得到新的目标识别模型。
优选的,S5中的准确率至少达到85%。
S1中拍摄图像的分辨率最优为2048*1080。
本发明与现有技术相比的有益效果是:
本发明采用基于多特征YOLOV3网络的检测算法进行垃圾检测,取代了基于混合高斯模型和双背景模型的改进方法,避免了复杂的算法调参过程,满足系统在水面复杂环境下对垃圾检测的准确性和实时性;
本发明采用基于多特征YOLOV3网络的检测算法进行垃圾检测,图像经过预处理后提供互补信息,有效防止水面光照和图像噪声的影响,并保证对水面物体的持续跟踪;
本发明采用基于多特征YOLOV3网络的检测算法进行垃圾检测,有效分离目标(垃圾)与背景,并且能够精确区分垃圾的种类,解决了传统垃圾识别算法对垃圾分类不准确的问题。系统具备自学习的能力,保证目标库的实时更新。
附图说明
图1是本方法的步骤图;
图2是构建图像特征描述子图流程图;
图3是对检测到的目标进行筛选分类流程图;
图4是垃圾位置判断与垃圾收集步骤图;
具体实施方式
下面结合实施例对本发明作进一步阐述。
如图1,本方法的实现步骤如下:
A.读入图像数据,对图像进行直方图均衡化和特征学习等预处理
图2,利用船载摄像头实时获取1080P的RGB图像压缩为灰度图像,提取灰度图像的梯度特征和形态学特征图,将灰度图像作为第一波段,梯度特征图像作为第二波段及形态学特征作为第三波段,利用处理后图像构建图像特征描述子图,并将其为分辨率转化为416*416。
B.建立目标识别模型,实时检测水面垃圾
图3,首先对YOLOV3-tiny算法进行参数初始化,读取配置文件,加载模型权重。将A步骤中图像特征描述子图输入YOLOV3-tiny神经网络进行处理。YOLOV3-tiny神经网络包括卷积层,卷积层中卷积核大小不同,导致每个卷积层输出的值不同,对特征处理后的图像进行卷积和均值池化处理,最终输出大小为13*13的卷积特征图,获得归一化的特征数据(数据范围为0~1),保证算法处理结果的稳定性,为后续预测层操作提供数据支持。
通过anchor boxes预测目标类别和相应的坐标。大小为13*13的卷积特征图中每一个cell预测5个框,每一个框包含目标坐标(x,y,w,h)和目标概率Confidence,每个框对应N个垃圾类别,通过框中信息判别垃圾位置和垃圾类别。
根据预测层输出的目标坐标和目标概率等信息,得到包含垃圾物体的框图,通过设置置信度阈值并进行极大值抑制处理,将低于阈值的框图去除,得到较为准确的垃圾出现概率和垃圾位置。区分水面与水面上物体,将检测到的水面目标分为目标类(树干、易拉罐、塑料瓶和塑料袋等)和背景类,持续跟踪;
C.对检测到的垃圾进行距离测算,如果垃圾与船距离小于阈值,开启垃圾搜集设备
图4,通过YOLOV3-tiny获得目标的位置和类别,设定阈值,当目标(垃圾)进入指定范围,开启垃圾收集装置。
D.搜集岸基监控系统采集图像中未被识别的图像,进行数据增广与模型训练
搜集岸基监控系统采集图像中的未被识别的垃圾图像,对图像中的垃圾进行手动标注,对垃圾进行数据增广,即对图像进行随机旋转角度、水平偏移、竖直偏移、随机缩放和随机水平旋转,并对增广后的图像进行特征提取,输入神经网络进行训练YOLOV3-tiny,得到步骤S20的模型权重,即能够得到新的目标识别模型,利用新的目标识别模型实时对A中处理图像进行垃圾识别,重复上述过程,直至目标识别模型的准确率(一般不低于85%)满足要求。
本发明未详细说明部分属于本领域技术人员的公知常识。

Claims (8)

1.一种基于多特征YOLOV3的船用水面垃圾快速识别方法,其特征在于通过下述方式实现:
S1、利用船载摄像装置拍摄图像,对图像进行直方图均衡化预处理,构建图像特征描述子图;
S2、构建基于YOLOV3-tiny目标检测方法的目标识别模型;
S3、利用目标识别模型识别S1处理后的图像特征描述子图中存在的目标;
S4、根据检测到的目标坐标判断垃圾与船的距离,当距离小于设定的阈值时,进行垃圾收集;
S5、对从陆基采集的未被识别的图像进行图像增广处理以及模型训练,得到新的目标识别模型,返回S3重新执行,直至构建的目标识别模型的准确率满足要求。
2.根据权利要求1所述的方法,其特征在于:S1中拍摄图像数量大于1000张。
3.根据权利要求1所述的方法,其特征在于:所述的图像特征描述子图通过下述方式完成构建:
将拍摄的RGB图像压缩为灰度图像,提取灰度图像的梯度特征和形态学特征,并将灰度图像作为第一波段,梯度特征图像作为第二波段及形态学特征作为第三波段;利用上述三个波段构建图像特征描述子图。
4.根据权利要求1所述的方法,其特征在于:基于YOLOV3-tiny目标检测方法的目标识别模型为利用YOLOV3-tiny目标检测方法构建的YOLOV3-tiny神经网络,通过下述方式完成所述目标识别模型的构建:
初始化所述神经网络中卷积层预训练参数以及模型权重;
YOLOV3-tiny神经网络对输入的图像通过卷积、池化操作,得到特征图;
将所述特征图中数据进行归一化处理,保证预测数据在0~1之间,并通过预测层识别目标类别和目标位置;
设置置信度阈值并进行极大值抑制处理,将低于所述置信度阈值的预测层框图去除,得到识别的垃圾出现概率和垃圾位置。
5.根据权利要求4所述的方法,其特征在于:所述的置信度阈值不低于0.7。
6.根据权利要求4所述的方法,其特征在于:S5中对从陆基采集的未被识别的图像进行人为标注垃圾,之后进行随机旋转角度、水平偏移、竖直偏移、随机缩放和随机水平旋转中至少三种处理,得到增广图像,对增广图像进行特征提取,输入YOLOV3-tiny神经网络进行训练,得到模型权重,进而得到新的目标识别模型。
7.根据权利要求1所述的方法,其特征在于:S5中的准确率至少达到85%。
8.根据权利要求1所述的方法,其特征在于:S1中拍摄图像的分辨率最优为2048*1080。
CN202010621539.4A 2020-06-30 2020-06-30 一种基于多特征yolov3的船用水面垃圾快速识别方法 Pending CN111950357A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010621539.4A CN111950357A (zh) 2020-06-30 2020-06-30 一种基于多特征yolov3的船用水面垃圾快速识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010621539.4A CN111950357A (zh) 2020-06-30 2020-06-30 一种基于多特征yolov3的船用水面垃圾快速识别方法

Publications (1)

Publication Number Publication Date
CN111950357A true CN111950357A (zh) 2020-11-17

Family

ID=73337830

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010621539.4A Pending CN111950357A (zh) 2020-06-30 2020-06-30 一种基于多特征yolov3的船用水面垃圾快速识别方法

Country Status (1)

Country Link
CN (1) CN111950357A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113139497A (zh) * 2021-05-08 2021-07-20 广东工业大学 一种水面物体识别的系统、方法及基于5g mec的应用
CN113469090A (zh) * 2021-07-09 2021-10-01 王晓东 水质污染预警方法、装置及存储介质
CN113705505A (zh) * 2021-09-02 2021-11-26 浙江索思科技有限公司 一种面向海洋渔业的船舶目标检测方法和系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106709964A (zh) * 2016-12-06 2017-05-24 河南工业大学 基于梯度修正和多向纹理提取的素描画生成方法及装置
CN106981069A (zh) * 2017-03-31 2017-07-25 卢涵宇 一种高分辨率影像灾害对象快速分割方法
CN108764154A (zh) * 2018-05-30 2018-11-06 重庆邮电大学 一种基于多特征机器学习的水面垃圾识别方法
CN109255044A (zh) * 2018-08-31 2019-01-22 江苏大学 一种基于YOLOv3深度学习网络的图像智能标注方法
CN110348303A (zh) * 2019-06-06 2019-10-18 武汉理工大学 一种可搭载于无人艇的辅助水面巡逻系统以及水面监测方法
CN110796186A (zh) * 2019-10-22 2020-02-14 华中科技大学无锡研究院 基于改进的YOLOv3网络的干湿垃圾识别分类方法
CN110956137A (zh) * 2019-12-02 2020-04-03 深圳市镭神智能系统有限公司 点云数据的目标检测方法、系统及介质
AU2020100705A4 (en) * 2020-05-05 2020-06-18 Chang, Jiaying Miss A helmet detection method with lightweight backbone based on yolov3 network

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106709964A (zh) * 2016-12-06 2017-05-24 河南工业大学 基于梯度修正和多向纹理提取的素描画生成方法及装置
CN106981069A (zh) * 2017-03-31 2017-07-25 卢涵宇 一种高分辨率影像灾害对象快速分割方法
CN108764154A (zh) * 2018-05-30 2018-11-06 重庆邮电大学 一种基于多特征机器学习的水面垃圾识别方法
CN109255044A (zh) * 2018-08-31 2019-01-22 江苏大学 一种基于YOLOv3深度学习网络的图像智能标注方法
CN110348303A (zh) * 2019-06-06 2019-10-18 武汉理工大学 一种可搭载于无人艇的辅助水面巡逻系统以及水面监测方法
CN110796186A (zh) * 2019-10-22 2020-02-14 华中科技大学无锡研究院 基于改进的YOLOv3网络的干湿垃圾识别分类方法
CN110956137A (zh) * 2019-12-02 2020-04-03 深圳市镭神智能系统有限公司 点云数据的目标检测方法、系统及介质
AU2020100705A4 (en) * 2020-05-05 2020-06-18 Chang, Jiaying Miss A helmet detection method with lightweight backbone based on yolov3 network

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113139497A (zh) * 2021-05-08 2021-07-20 广东工业大学 一种水面物体识别的系统、方法及基于5g mec的应用
CN113469090A (zh) * 2021-07-09 2021-10-01 王晓东 水质污染预警方法、装置及存储介质
CN113469090B (zh) * 2021-07-09 2023-07-14 王晓东 水质污染预警方法、装置及存储介质
CN113705505A (zh) * 2021-09-02 2021-11-26 浙江索思科技有限公司 一种面向海洋渔业的船舶目标检测方法和系统
CN113705505B (zh) * 2021-09-02 2024-05-17 浙江索思科技有限公司 一种面向海洋渔业的船舶目标检测方法和系统

Similar Documents

Publication Publication Date Title
CN109766830B (zh) 一种基于人工智能图像处理的舰船目标识别系统及方法
CN107527009B (zh) 一种基于yolo目标检测的遗留物检测方法
CN106960195B (zh) 一种基于深度学习的人群计数方法及装置
CN111950357A (zh) 一种基于多特征yolov3的船用水面垃圾快速识别方法
CN108806334A (zh) 一种基于图像的智能船舶身份识别方法
CN111582126B (zh) 基于多尺度行人轮廓分割融合的行人重识别方法
CN110569843B (zh) 一种矿井目标智能检测与识别方法
CN111310622A (zh) 一种面向水下机器人智能作业的鱼群目标识别方法
CN111539330B (zh) 一种基于双svm多分类器的变电站数显仪表识别方法
CN112417931B (zh) 一种基于视觉显著性的水面物体检测和分类的方法
CN106557740A (zh) 一种遥感图像中油库目标的识别方法
CN115937659A (zh) 基于Mask-RCNN的室内复杂环境下多目标检测方法
Zhao et al. Research on detection method for the leakage of underwater pipeline by YOLOv3
CN112347805A (zh) 一种多目标二维码检测识别方法、系统、装置及存储介质
CN111597875A (zh) 一种交通标志识别方法、装置、设备及存储介质
CN115082781A (zh) 一种舰船图像检测方法、装置以及存储介质
CN114565824A (zh) 基于全卷积网络的单阶段旋转舰船检测方法
CN117475353A (zh) 基于视频的异常烟雾识别方法及系统
CN108985216B (zh) 一种基于多元logistic回归特征融合的行人头部检测方法
CN116797941A (zh) 一种高分辨率遥感影像的海上溢油风险源快速智能识别分类方法
CN114529906A (zh) 基于字符识别的输电设备数字仪表异常检测方法及系统
CN114882375A (zh) 一种尾矿库智能识别方法和装置
CN111191575B (zh) 一种基于火苗跳动建模的明火检测方法及系统
CN114842353B (zh) 基于自适应目标方向的神经网络遥感影像目标检测方法
CN113284135B (zh) 基于全局与局部上下文信息的sar舰船检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20220414

Address after: 266200 aoshanwei sub district office, Jimo District, Qingdao City, Shandong Province

Applicant after: Aerospace Times (Qingdao) marine equipment technology development Co.,Ltd.

Address before: 142 box 403, box 100854, Beijing, Beijing, Haidian District

Applicant before: BEIJIGN INSTITUTE OF AEROSPACE CONTROL DEVICES