CN113807424A - 一种基于离线数据增强的固废数据集生成方法 - Google Patents

一种基于离线数据增强的固废数据集生成方法 Download PDF

Info

Publication number
CN113807424A
CN113807424A CN202111063333.5A CN202111063333A CN113807424A CN 113807424 A CN113807424 A CN 113807424A CN 202111063333 A CN202111063333 A CN 202111063333A CN 113807424 A CN113807424 A CN 113807424A
Authority
CN
China
Prior art keywords
solid waste
data set
waste data
image
deep learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111063333.5A
Other languages
English (en)
Other versions
CN113807424B (zh
Inventor
李建涛
杨建红
计天晨
房怀英
林柏宏
杨宇轩
杨天成
陈伟鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huaqiao University
Original Assignee
Huaqiao University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huaqiao University filed Critical Huaqiao University
Priority to CN202111063333.5A priority Critical patent/CN113807424B/zh
Publication of CN113807424A publication Critical patent/CN113807424A/zh
Application granted granted Critical
Publication of CN113807424B publication Critical patent/CN113807424B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

一种基于离线数据增强的固废数据集生成方法,具体包括:手动标注第一固废数据集A1;对第一固废数据集A1进行离线数据增强生成第二固废数据集A2,合并第一固废数据集A1和第二固废数据集A2,形成合并固废数据集;使用深度学习模型对合并固废数据集进行训练;使用训练好的深度学习模型对未标注的固废数据集D进行预测;通过查询函数找出深度学习模型预测不准确的图像集,并进行手动标注得到第三固废数据集B1;对第三固废数据集B1进行离线数据增强生成第四固废数据集B2。本发明提出的方法可以生成大量固废数据集,快速有效地构扩充固废数据集,从而有助于深度学习模型的训练,进一步提升固废识别的准确率。

Description

一种基于离线数据增强的固废数据集生成方法
技术领域
本发明涉及深度学习及固废识别领域,特别涉及基于离线数据增强的固废固废数据集生成方法。
背景技术
随着近年来的快速发展,深度学习在越来越多的领域发挥作用,其中就包括固废检测领域。为了让深度学习能够在固废上取得良好的效果,企业往往需要获得高质量的固废数据集。对于企业来说,获取图像数据是很容易的。只要搭建好检测平台,通过工业相机的连续拍摄仅需一天就能获得上万张图像。然而,对于用于检测的深度学习网络模型来说,用于模型训练的固废数据集不是单一的图像数据,而是带有标签的图像。为了获取高质量的标签,现阶段常见的方法是请专业的人员对每张图像进行仔细标注,而繁琐的标注过程不仅会耗费大量人力,而且需要长时间的标注才能得到所需数量要求的固废数据集。
此外,由于背景的变化、光照的影响等等,使用某一场景下标注好的固废数据集进行训练的深度学习模型,换个场景就可能检测效果不好,这往往会导致工程师需要重新采集大量的图像并进行长时间的标注。如果仅是采用人工标注模式来得到固废数据集,会延长项目的研发周期,从而拖慢生产进程。
发明内容
本发明的主要目的在于克服现有技术中的上述缺陷,提出一种基于离线数据增强的固废数据集生成方法,能够快速有效地扩充标注的固废数据集,代替人工标注,节省时间人力,并提高深度学习模型检测的性能,进一步提升固废识别的准确率。
本发明采用如下技术方案:
一种基于离线数据增强的固废数据集生成方法,方法具体步骤如下:
手动标注第一固废数据集A1;
对第一固废数据集A1进行离线数据增强生成第二固废数据集A2,合并第一固废数据集A1和第二固废数据集A2,形成合并固废数据集;
使用深度学习模型对合并固废数据集进行训练;
使用训练好的深度学习模型对未标注的固废数据集D进行预测;
通过查询函数找出深度学习模型预测不准确的图像集,并进行手动标注得到第三固废数据集B1;
对第三固废数据集B1进行离线数据增强生成第四固废数据集B2。
具体地,所述的深度学习模型包括但不限于实例分割模型和目标检测模型。
具体地,所述的固废数据集离线数据增强,包括如下步骤:
读取需要进行离线数据增强的固废数据集的标签,分离出固废数据集中每个物体以及物体的标签信息;
将分离出的物体进行几何变换、改变图像亮度与图像对比度,得到增强的物体以及标签信息;
随机将N个增强之后的物体粘贴到一个图像模板上,同时将该N个物体的标签信息存入该模板对应的标签文件当中,N为整数。
具体地,所述标签信息包括物体的轮廓信息以及物体的类别信息。
具体地,所述分离出固废数据集中每个物体以及物体的标签信息固废数据集有如下步骤:
读取图像的标签文件,所述标签文件为json格式;
根据物体的轮廓点集生成包围每个物体的矩形框、x横坐标,y纵坐标、以及w宽、h高;
将物体的轮廓点集减去x横坐标、y纵坐标得到分离好的物体轮廓标签;
根据x横坐标、y纵坐标、w宽、h高以及物体的轮廓点集,将图像中的物体裁剪出来。
具体地,所述的图像模板随机选择以下两种模板:纯传送带背景没有固废、含固废传送带背景。
具体地,所述使用深度学习模型对合并固废数据集进行训练,包括以下步骤:
对需要进行训练的固废数据集进行线上数据增强,包括但不限于:裁剪、水平翻转、竖直翻转、旋转、改变图像亮度和对比度和部分像素置零;
使用SGD优化器进行训练,使用的学习率策略为带预热的余弦退火。
具体地,所述通过查询函数找出深度学习模型预测不准确的图像集,包括如下步骤:
使用深度学习模型对未标注固废数据集D中的每张图像进行检测,得到每个物体的类别和置信度;
对每张图像中所有的物体的置信度进行求平均得到一个分数;
将所有分数按从低到高进行排序,取前M个分数得到模型预测不准确的的M张图像,M为正整数
由上述对本发明的描述可知,与现有技术相比,本发明具有如下有益效果:
(1)本发明提出的一种基于离线数据增强的固废数据集生成方法,首先手动标注第一固废数据集A1;对第一固废数据集A1进行离线数据增强生成第二固废数据集A2,合并第一固废数据集A1和第二固废数据集A2,形成合并固废数据集;使用深度学习模型对合并固废数据集进行训练;使用训练好的深度学习模型对未标注的固废数据集D进行预测;通过查询函数找出深度学习模型预测不准确的图像集,并进行手动标注得到第三固废数据集B1;对第三固废数据集B1进行离线数据增强生成第四固废数据集B2,本发明通过离线数据增强的方式,可以自动生成大量具有丰富信息的固废数据集用于深度学习模型的训练。
(2)本发明通过查询函数的筛选出模型检测效果不准确的图像进行再一次标注,然后再结合离线数据增强该类固废数据集的数量,针对性强,能够在模型迭代中快速提高模型的检测效果。
附图说明
图1为本发明实施例固废数据集的图像示例;
图2为本发明实施例提供的基于离线数据增强的固废数据集生成方法流程图;、
图3为本发明实施例提供的手动标注的含标签的图像示例;
图4为本发明实施例提供的离线数据增强的方法流程图;
图5为本发明实施例提供的分离固废数据集中图像物体的方法流程图;
图6为本发明实施例提供的利用深度学习模型预测得到的结果示例。
具体实施方式
以下通过具体实施方式对本发明作进一步的描述。
一种基于离线数据增强的固废数据集生成方法,关于固废数据集的图像获取具体为,背景为固定的传送带,该图像集由固定于传送带上方的工业相机由上向下拍摄得到,固废数据集的图像示例如图1所示。
一种基于离线数据增强的固废数据集生成方法,具体步骤参见图2所示:
S101:手动标注第一固废数据集A1,该固废数据集的图像为人为挑选,使得标注的各个种类的数量尽可能均衡。其中,该固废数据集的种类为不同颜色的聚丙烯(pp)、聚对苯二甲酸乙二醇酯(pet)以及高密度聚乙烯(hdpe)。手动标注图像得到的标签如图3所示;
S102:对第一固废数据集A1进行离线数据增强生成新第二固废数据集A2,合并第一数据集A1和第二数据集A2,形成合并数据集;
对第一固废数据集A1进行离线数据增强生成新第二固废数据集A2,具体步骤参见图4所示:
S201:读取需要进行离线数据增强的固废数据集的标签;
S202:分离出固废数据集中每个物体以及物体的标签信息;
所述的分离出固废数据集物体的分离方法,具体步骤参见图5所示:
S301:读取固废数据集的标签信息;标签文件为json格式;
S302:根据物体的轮廓点集生成包围该物体的矩形框,该矩形框包含信息(x,y)坐标,以及宽w,高h;
S303:将原标签的轮廓点集减去(x,y)坐标得到分离后的物体轮廓点集;
S304:结合矩形框的信息(x,y,w,h)以及物体的轮廓点集,将图像中的物体分离出来。
S203:对分离出的物体进行数据增强;
S204:随机将N个增强之后的物体粘贴到一个图像模板上,得到生成的固废数据集,N为整数。
所述的图像模板随机选择以下两种模板:纯传送带背景没有固废、含固废传送带背景;
S103:使用深度学习模型对合并固废数据集(A1+A2)进行训练;
用深度学习模型对合并固废数据集进行训练,包括以下步骤:
(1)对需要进行训练的固废数据集进行线上数据增强,包括:裁剪、水平翻转、竖直翻转、旋转、改变图像亮度和对比度、部分像素置零。
(2)使用动量的SGD优化器对模型进行优化,该优化器L的公式如(1)所示,使用的学习率策略为带预热的余弦退火。
Figure BDA0003257273650000041
其中vt表示t时刻积攒的加速度,α表示动力的大小,Wt表示t时刻模型的参数,ηt为学习率,X(is)为训练集中的第is个样本,Y(is)为第is样本的真实值,f(X)为模型的预测值,ΔJ为模型的梯度。
S104:使用训练好的模型对未标注的固废数据集D进行预测;
S105:通过查询函数找出深度学习模型预测不准确的图像集,并进行手动标注得到固废数据集B1;
所述通过查询函数找出深度学习模型预测不准确的图像集,包括如下步骤:
(1)使用深度学习模型对未标注固废数据集D中的每张图像进行检测,该深度学习模型为端到端的实例分割模型Mask R-CNN,即输入图像,可得到该图像上每个物体的类别和置信度,预测结果如图6所示;
(2)图像的分数由公式(2)求得,当图像上有n个物体时,每个物体都有一个由模型预测得到的置信度si,对该图像中所有的物体的置信度进行求平均即可得到该图像的分数。
Figure BDA0003257273650000051
(3)对所有检测后的图像应用公式(2)求得图像的分数,将所有分数按从低到高进行排序,取前M个分数得到模型检测效果不好的M张图像,M为正整数。
S106:对固废数据集B1进行离线数据增强生成固废数据集B2。
本发明提出的一种基于离线数据增强的固废数据集生成方法,首先手动标注第一固废数据集A1;对第一固废数据集A1进行离线数据增强生成第二固废数据集A2,合并第一固废数据集A1和第二固废数据集A2,形成合并固废数据集;使用深度学习模型对合并固废数据集进行训练;使用训练好的深度学习模型对未标注的固废数据集D进行预测;通过查询函数找出深度学习模型预测不准确的图像集,并进行手动标注得到第三固废数据集B1;对第三固废数据集B1进行离线数据增强生成第四固废数据集B2,本发明通过离线数据增强的方式,可以自动生成大量具有丰富信息的固废数据集用于深度学习模型的训练。
(2)本发明通过查询函数的筛选出模型检测效果不准确的图像进行再一次标注,然后再结合离线数据增强该类固废数据集的数量,针对性强,能够在模型迭代中快速提高模型的检测效果。
上述仅为本发明的具体实施方式,但本发明的设计构思并不局限于此,凡利用此构思对本发明进行非实质性的改动,均应属于侵犯本发明保护范围的行为。

Claims (8)

1.一种基于离线数据增强的固废数据集生成方法,其特征在于,方法具体步骤如下:
手动标注第一固废数据集A1;
对第一固废数据集A1进行离线数据增强生成第二固废数据集A2,合并第一固废数据集A1和第二固废数据集A2,形成合并固废数据集;
使用深度学习模型对合并固废数据集进行训练;
使用训练好的深度学习模型对未标注的固废数据集D进行预测;
通过查询函数找出深度学习模型预测不准确的图像集,并进行手动标注得到第三固废数据集B1;
对第三固废数据集B1进行离线数据增强生成第四固废数据集B2。
2.根据权利要求1所述的一种基于离线数据增强的固废数据集生成方法,其特征在于,所述的深度学习模型包括但不限于实例分割模型和目标检测模型。
3.根据权利要求1所述的一种基于离线数据增强的固废固废数据集生成方法,其特征在于,所述的固废数据集离线数据增强,包括如下步骤:
读取需要进行离线数据增强的固废数据集的标签,分离出固废数据集中每个物体以及物体的标签信息;
将分离出的物体进行几何变换、改变图像亮度与图像对比度,得到增强的物体以及标签信息;
随机将N个增强之后的物体粘贴到一个图像模板上,同时将该N个物体的标签信息存入该模板对应的标签文件当中,N为整数。
4.根据权利要求2所述的一种基于离线数据增强的固废数据集生成方法,固废数据集其特征在于,所述标签信息包括物体的轮廓信息以及物体的类别信息。
5.根据权利要求2所述的一种基于离线数据增强的固废数据集生成方法固废数据集,其特征在于,所述分离出固废数据集中每个物体以及物体的标签信息固废数据集有如下步骤:
读取图像的标签文件,所述标签文件为json格式;
根据物体的轮廓点集生成包围每个物体的矩形框、x横坐标,y纵坐标、以及w宽、h高;
将物体的轮廓点集减去x横坐标、y纵坐标得到分离好的物体轮廓标签;
根据x横坐标、y纵坐标、w宽、h高以及物体的轮廓点集,将图像中的物体裁剪出来。
6.根据权利要求2所述的一种基于离线数据增强的固废数据集生成方法,其特征在于,所述的图像模板随机选择以下两种模板:纯传送带背景没有固废、含固废传送带背景。
7.根据权利要求1所述的一种基于离线数据增强的固废固废数据集生成方法,其特征在于,所述使用深度学习模型对合并固废数据集进行训练,包括以下步骤:
对需要进行训练的固废数据集进行线上数据增强,包括但不限于:裁剪、水平翻转、竖直翻转、旋转、改变图像亮度和对比度和部分像素置零;
使用SGD优化器进行训练,使用的学习率策略为带预热的余弦退火。
8.根据权利要求1所述的一种基于离线数据增强的固废数据集生成方法,其特征在于,所述通过查询函数找出深度学习模型预测不准确的图像集,包括如下步骤:
使用深度学习模型对未标注固废数据集D中的每张图像进行检测,得到每个物体的类别和置信度;
对每张图像中所有的物体的置信度进行求平均得到一个分数;
将所有分数按从低到高进行排序,取前M个分数得到模型预测不准确的的M张图像,M为正整数。
CN202111063333.5A 2021-09-10 2021-09-10 一种基于离线数据增强的固废数据集生成方法 Active CN113807424B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111063333.5A CN113807424B (zh) 2021-09-10 2021-09-10 一种基于离线数据增强的固废数据集生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111063333.5A CN113807424B (zh) 2021-09-10 2021-09-10 一种基于离线数据增强的固废数据集生成方法

Publications (2)

Publication Number Publication Date
CN113807424A true CN113807424A (zh) 2021-12-17
CN113807424B CN113807424B (zh) 2024-04-16

Family

ID=78895017

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111063333.5A Active CN113807424B (zh) 2021-09-10 2021-09-10 一种基于离线数据增强的固废数据集生成方法

Country Status (1)

Country Link
CN (1) CN113807424B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114429573A (zh) * 2022-01-10 2022-05-03 华侨大学 一种基于数据增强的生活垃圾数据集生成方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112132179A (zh) * 2020-08-20 2020-12-25 中国人民解放军战略支援部队信息工程大学 基于少量标注样本的增量学习方法及系统
CN112434794A (zh) * 2020-11-30 2021-03-02 国电南瑞科技股份有限公司 一种基于深度学习的计算机视觉数据集半自动标注方法及系统
CN112861959A (zh) * 2021-02-02 2021-05-28 南京天创电子技术有限公司 一种目标检测图像的自动标注方法
CN113033573A (zh) * 2021-03-16 2021-06-25 佛山市南海区广工大数控装备协同创新研究院 一种基于数据增强的提高实例分割模型检测性能的方法
CN113344852A (zh) * 2021-04-30 2021-09-03 苏州经贸职业技术学院 一种电力场景通用物品的目标检测方法、装置及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112132179A (zh) * 2020-08-20 2020-12-25 中国人民解放军战略支援部队信息工程大学 基于少量标注样本的增量学习方法及系统
CN112434794A (zh) * 2020-11-30 2021-03-02 国电南瑞科技股份有限公司 一种基于深度学习的计算机视觉数据集半自动标注方法及系统
CN112861959A (zh) * 2021-02-02 2021-05-28 南京天创电子技术有限公司 一种目标检测图像的自动标注方法
CN113033573A (zh) * 2021-03-16 2021-06-25 佛山市南海区广工大数控装备协同创新研究院 一种基于数据增强的提高实例分割模型检测性能的方法
CN113344852A (zh) * 2021-04-30 2021-09-03 苏州经贸职业技术学院 一种电力场景通用物品的目标检测方法、装置及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
梁玮 裴明涛: "《计算机视觉》", 长沙:湖南科学出版社, pages: 147 - 150 *
谢禹;李玉俊;董文生;: "基于SSD神经网络的图像自动标注及应用研究", 信息技术与标准化, no. 04 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114429573A (zh) * 2022-01-10 2022-05-03 华侨大学 一种基于数据增强的生活垃圾数据集生成方法

Also Published As

Publication number Publication date
CN113807424B (zh) 2024-04-16

Similar Documents

Publication Publication Date Title
CN109543777B (zh) 手写汉字书写质量评价方法及系统
CN104866862A (zh) 一种带钢表面面积型缺陷识别分类的方法
CN110598698B (zh) 基于自适应区域建议网络的自然场景文本检测方法和系统
CN111967313A (zh) 一种深度学习目标检测算法辅助的无人机图像标注方法
CN111696079B (zh) 一种基于多任务学习的表面缺陷检测方法
CN101470802B (zh) 物体检测装置和方法
CN111027538A (zh) 一种基于实例分割模型的集装箱检测方法
CN110599453A (zh) 一种基于图像融合的面板缺陷检测方法、装置及设备终端
CN113191358B (zh) 金属零件表面文本检测方法和系统
CN112766170B (zh) 基于簇类无人机图像的自适应分割检测方法及装置
KR20230030259A (ko) 제품 결함 검출 학습을 위한 딥러닝 기반 데이터 증강 방법
CN113807424A (zh) 一种基于离线数据增强的固废数据集生成方法
CN116029979A (zh) 一种基于改进Yolov4的布料瑕疵视觉检测方法
CN103945227B (zh) 基于光流聚类的视频语义块分割方法
CN114882204A (zh) 船名自动识别方法
CN113159146A (zh) 样本生成、目标检测模型训练、目标检测方法及装置
CN103051923B (zh) 一种用于高速准确拆条的镜头检测方法
CN108734170A (zh) 基于机器学习和模板的车牌字符分割方法
He et al. WSRC: Weakly supervised faster RCNN toward accurate traffic object detection
CN112364687A (zh) 一种基于改进的Faster R-CNN加油站静电标志识别方法及系统
CN114429573A (zh) 一种基于数据增强的生活垃圾数据集生成方法
CN113591761B (zh) 一种视频镜头语言识别方法
CN114898290A (zh) 一种海上船舶实时检测方法及系统
CN111144256B (zh) 基于视频动态分析的电子表格公式合成与错误检测方法
CN115019310A (zh) 图文识别方法及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant