CN113807424B - 一种基于离线数据增强的固废数据集生成方法 - Google Patents
一种基于离线数据增强的固废数据集生成方法 Download PDFInfo
- Publication number
- CN113807424B CN113807424B CN202111063333.5A CN202111063333A CN113807424B CN 113807424 B CN113807424 B CN 113807424B CN 202111063333 A CN202111063333 A CN 202111063333A CN 113807424 B CN113807424 B CN 113807424B
- Authority
- CN
- China
- Prior art keywords
- solid waste
- data set
- waste data
- image
- deep learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000002910 solid waste Substances 0.000 title claims abstract description 134
- 238000000034 method Methods 0.000 title claims abstract description 27
- 238000013136 deep learning model Methods 0.000 claims abstract description 35
- 238000012549 training Methods 0.000 claims abstract description 17
- 230000006870 function Effects 0.000 claims abstract description 11
- 238000002372 labelling Methods 0.000 claims abstract description 10
- 238000001514 detection method Methods 0.000 claims description 12
- 238000012935 Averaging Methods 0.000 claims description 3
- 238000000137 annealing Methods 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims description 2
- 230000009286 beneficial effect Effects 0.000 abstract 1
- 230000000694 effects Effects 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 2
- 229920001903 high density polyethylene Polymers 0.000 description 2
- -1 polypropylene Polymers 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 239000004743 Polypropylene Substances 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000004700 high-density polyethylene Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000005020 polyethylene terephthalate Substances 0.000 description 1
- 229920000139 polyethylene terephthalate Polymers 0.000 description 1
- 229920001155 polypropylene Polymers 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
一种基于离线数据增强的固废数据集生成方法,具体包括:手动标注第一固废数据集A1;对第一固废数据集A1进行离线数据增强生成第二固废数据集A2,合并第一固废数据集A1和第二固废数据集A2,形成合并固废数据集;使用深度学习模型对合并固废数据集进行训练;使用训练好的深度学习模型对未标注的固废数据集D进行预测;通过查询函数找出深度学习模型预测不准确的图像集,并进行手动标注得到第三固废数据集B1;对第三固废数据集B1进行离线数据增强生成第四固废数据集B2。本发明提出的方法可以生成大量固废数据集,快速有效地构扩充固废数据集,从而有助于深度学习模型的训练,进一步提升固废识别的准确率。
Description
技术领域
本发明涉及深度学习及固废识别领域,特别涉及基于离线数据增强的固废固废数据集生成方法。
背景技术
随着近年来的快速发展,深度学习在越来越多的领域发挥作用,其中就包括固废检测领域。为了让深度学习能够在固废上取得良好的效果,企业往往需要获得高质量的固废数据集。对于企业来说,获取图像数据是很容易的。只要搭建好检测平台,通过工业相机的连续拍摄仅需一天就能获得上万张图像。然而,对于用于检测的深度学习网络模型来说,用于模型训练的固废数据集不是单一的图像数据,而是带有标签的图像。为了获取高质量的标签,现阶段常见的方法是请专业的人员对每张图像进行仔细标注,而繁琐的标注过程不仅会耗费大量人力,而且需要长时间的标注才能得到所需数量要求的固废数据集。
此外,由于背景的变化、光照的影响等等,使用某一场景下标注好的固废数据集进行训练的深度学习模型,换个场景就可能检测效果不好,这往往会导致工程师需要重新采集大量的图像并进行长时间的标注。如果仅是采用人工标注模式来得到固废数据集,会延长项目的研发周期,从而拖慢生产进程。
发明内容
本发明的主要目的在于克服现有技术中的上述缺陷,提出一种基于离线数据增强的固废数据集生成方法,能够快速有效地扩充标注的固废数据集,代替人工标注,节省时间人力,并提高深度学习模型检测的性能,进一步提升固废识别的准确率。
本发明采用如下技术方案:
一种基于离线数据增强的固废数据集生成方法,方法具体步骤如下:
手动标注第一固废数据集A1;
对第一固废数据集A1进行离线数据增强生成第二固废数据集A2,合并第一固废数据集A1和第二固废数据集A2,形成合并固废数据集;
使用深度学习模型对合并固废数据集进行训练;
使用训练好的深度学习模型对未标注的固废数据集D进行预测;
通过查询函数找出深度学习模型预测不准确的图像集,并进行手动标注得到第三固废数据集B1;
对第三固废数据集B1进行离线数据增强生成第四固废数据集B2。
具体地,所述的深度学习模型包括但不限于实例分割模型和目标检测模型。
具体地,所述的固废数据集离线数据增强,包括如下步骤:
读取需要进行离线数据增强的固废数据集的标签,分离出固废数据集中每个物体以及物体的标签信息;
将分离出的物体进行几何变换、改变图像亮度与图像对比度,得到增强的物体以及标签信息;
随机将N个增强之后的物体粘贴到一个图像模板上,同时将该N个物体的标签信息存入该模板对应的标签文件当中,N为整数。
具体地,所述标签信息包括物体的轮廓信息以及物体的类别信息。
具体地,所述分离出固废数据集中每个物体以及物体的标签信息固废数据集有如下步骤:
读取图像的标签文件,所述标签文件为json格式;
根据物体的轮廓点集生成包围每个物体的矩形框、x横坐标,y纵坐标、以及w宽、h高;
将物体的轮廓点集减去x横坐标、y纵坐标得到分离好的物体轮廓标签;
根据x横坐标、y纵坐标、w宽、h高以及物体的轮廓点集,将图像中的物体裁剪出来。
具体地,所述的图像模板随机选择以下两种模板:纯传送带背景没有固废、含固废传送带背景。
具体地,所述使用深度学习模型对合并固废数据集进行训练,包括以下步骤:
对需要进行训练的固废数据集进行线上数据增强,包括但不限于:裁剪、水平翻转、竖直翻转、旋转、改变图像亮度和对比度和部分像素置零;
使用SGD优化器进行训练,使用的学习率策略为带预热的余弦退火。
具体地,所述通过查询函数找出深度学习模型预测不准确的图像集,包括如下步骤:
使用深度学习模型对未标注固废数据集D中的每张图像进行检测,得到每个物体的类别和置信度;
对每张图像中所有的物体的置信度进行求平均得到一个分数;
将所有分数按从低到高进行排序,取前M个分数得到模型预测不准确的的M张图像,M为正整数
由上述对本发明的描述可知,与现有技术相比,本发明具有如下有益效果:
(1)本发明提出的一种基于离线数据增强的固废数据集生成方法,首先手动标注第一固废数据集A1;对第一固废数据集A1进行离线数据增强生成第二固废数据集A2,合并第一固废数据集A1和第二固废数据集A2,形成合并固废数据集;使用深度学习模型对合并固废数据集进行训练;使用训练好的深度学习模型对未标注的固废数据集D进行预测;通过查询函数找出深度学习模型预测不准确的图像集,并进行手动标注得到第三固废数据集B1;对第三固废数据集B1进行离线数据增强生成第四固废数据集B2,本发明通过离线数据增强的方式,可以自动生成大量具有丰富信息的固废数据集用于深度学习模型的训练。
(2)本发明通过查询函数的筛选出模型检测效果不准确的图像进行再一次标注,然后再结合离线数据增强该类固废数据集的数量,针对性强,能够在模型迭代中快速提高模型的检测效果。
附图说明
图1为本发明实施例固废数据集的图像示例;
图2为本发明实施例提供的基于离线数据增强的固废数据集生成方法流程图;、
图3为本发明实施例提供的手动标注的含标签的图像示例;
图4为本发明实施例提供的离线数据增强的方法流程图;
图5为本发明实施例提供的分离固废数据集中图像物体的方法流程图;
图6为本发明实施例提供的利用深度学习模型预测得到的结果示例。
具体实施方式
以下通过具体实施方式对本发明作进一步的描述。
一种基于离线数据增强的固废数据集生成方法,关于固废数据集的图像获取具体为,背景为固定的传送带,该图像集由固定于传送带上方的工业相机由上向下拍摄得到,固废数据集的图像示例如图1所示。
一种基于离线数据增强的固废数据集生成方法,具体步骤参见图2所示:
S101:手动标注第一固废数据集A1,该固废数据集的图像为人为挑选,使得标注的各个种类的数量尽可能均衡。其中,该固废数据集的种类为不同颜色的聚丙烯(pp)、聚对苯二甲酸乙二醇酯(pet)以及高密度聚乙烯(hdpe)。手动标注图像得到的标签如图3所示;
S102:对第一固废数据集A1进行离线数据增强生成新第二固废数据集A2,合并第一数据集A1和第二数据集A2,形成合并数据集;
对第一固废数据集A1进行离线数据增强生成新第二固废数据集A2,具体步骤参见图4所示:
S201:读取需要进行离线数据增强的固废数据集的标签;
S202:分离出固废数据集中每个物体以及物体的标签信息;
所述的分离出固废数据集物体的分离方法,具体步骤参见图5所示:
S301:读取固废数据集的标签信息;标签文件为json格式;
S302:根据物体的轮廓点集生成包围该物体的矩形框,该矩形框包含信息(x,y)坐标,以及宽w,高h;
S303:将原标签的轮廓点集减去(x,y)坐标得到分离后的物体轮廓点集;
S304:结合矩形框的信息(x,y,w,h)以及物体的轮廓点集,将图像中的物体分离出来。
S203:对分离出的物体进行数据增强;
S204:随机将N个增强之后的物体粘贴到一个图像模板上,得到生成的固废数据集,N为整数。
所述的图像模板随机选择以下两种模板:纯传送带背景没有固废、含固废传送带背景;
S103:使用深度学习模型对合并固废数据集(A1+A2)进行训练;
用深度学习模型对合并固废数据集进行训练,包括以下步骤:
(1)对需要进行训练的固废数据集进行线上数据增强,包括:裁剪、水平翻转、竖直翻转、旋转、改变图像亮度和对比度、部分像素置零。
(2)使用动量的SGD优化器对模型进行优化,该优化器L的公式如(1)所示,使用的学习率策略为带预热的余弦退火。
其中vt表示t时刻积攒的加速度,α表示动力的大小,Wt表示t时刻模型的参数,ηt为学习率,X(is)为训练集中的第is个样本,Y(is)为第is样本的真实值,f(X)为模型的预测值,ΔJ为模型的梯度。
S104:使用训练好的模型对未标注的固废数据集D进行预测;
S105:通过查询函数找出深度学习模型预测不准确的图像集,并进行手动标注得到固废数据集B1;
所述通过查询函数找出深度学习模型预测不准确的图像集,包括如下步骤:
(1)使用深度学习模型对未标注固废数据集D中的每张图像进行检测,该深度学习模型为端到端的实例分割模型Mask R-CNN,即输入图像,可得到该图像上每个物体的类别和置信度,预测结果如图6所示;
(2)图像的分数由公式(2)求得,当图像上有n个物体时,每个物体都有一个由模型预测得到的置信度si,对该图像中所有的物体的置信度进行求平均即可得到该图像的分数。
(3)对所有检测后的图像应用公式(2)求得图像的分数,将所有分数按从低到高进行排序,取前M个分数得到模型检测效果不好的M张图像,M为正整数。
S106:对固废数据集B1进行离线数据增强生成固废数据集B2。
本发明提出的一种基于离线数据增强的固废数据集生成方法,首先手动标注第一固废数据集A1;对第一固废数据集A1进行离线数据增强生成第二固废数据集A2,合并第一固废数据集A1和第二固废数据集A2,形成合并固废数据集;使用深度学习模型对合并固废数据集进行训练;使用训练好的深度学习模型对未标注的固废数据集D进行预测;通过查询函数找出深度学习模型预测不准确的图像集,并进行手动标注得到第三固废数据集B1;对第三固废数据集B1进行离线数据增强生成第四固废数据集B2,本发明通过离线数据增强的方式,可以自动生成大量具有丰富信息的固废数据集用于深度学习模型的训练。
(2)本发明通过查询函数的筛选出模型检测效果不准确的图像进行再一次标注,然后再结合离线数据增强该类固废数据集的数量,针对性强,能够在模型迭代中快速提高模型的检测效果。
上述仅为本发明的具体实施方式,但本发明的设计构思并不局限于此,凡利用此构思对本发明进行非实质性的改动,均应属于侵犯本发明保护范围的行为。
Claims (5)
1.一种基于离线数据增强的固废数据集生成方法,其特征在于,方法具体步骤如下:
手动标注第一固废数据集A1;
对第一固废数据集A1进行离线数据增强生成第二固废数据集A2,合并第一固废数据集A1和第二固废数据集A2,形成合并固废数据集;
使用深度学习模型对合并固废数据集进行训练;
使用训练好的深度学习模型对未标注的固废数据集D进行预测;
通过查询函数找出深度学习模型预测不准确的图像集,并进行手动标注得到第三固废数据集B1;
对第三固废数据集B1进行离线数据增强生成第四固废数据集B2;
所述离线数据增强,包括如下步骤:
读取需要进行离线数据增强的固废数据集的标签,分离出固废数据集中每个物体以及物体的标签信息;
将分离出的物体进行几何变换、改变图像亮度与图像对比度,得到增强的物体以及标签信息;
随机将N个增强之后的物体粘贴到一个图像模板上,同时将该N个物体的标签信息存入该模板对应的标签文件当中,N为整数;所述的图像模板随机选择以下两种模板:纯传送带背景没有固废、含固废传送带背景;
所述通过查询函数找出深度学习模型预测不准确的图像集,包括如下步骤:
使用深度学习模型对未标注固废数据集D中的每张图像进行检测,得到每个物体的类别和置信度;
对每张图像中所有的物体的置信度进行求平均得到一个分数;
将所有分数按从低到高进行排序,取前M个分数得到模型预测不准确的M张图像,M为正整数。
2.根据权利要求1所述的一种基于离线数据增强的固废数据集生成方法,其特征在于,所述的深度学习模型包括实例分割模型和目标检测模型。
3.根据权利要求2所述的一种基于离线数据增强的固废数据集生成方法,其特征在于,所述标签信息包括物体的轮廓信息以及物体的类别信息。
4.根据权利要求2所述的一种基于离线数据增强的固废数据集生成方法,其特征在于,所述分离出固废数据集中每个物体以及物体的标签信息有如下步骤:
读取图像的标签文件,所述标签文件为json格式;
根据物体的轮廓点集生成包围每个物体的矩形框、x横坐标,y纵坐标、以及w宽、h高;
将物体的轮廓点集减去x横坐标、y纵坐标得到分离好的物体轮廓标签;
根据x横坐标、y纵坐标、w宽、h高以及物体的轮廓点集,将图像中的物体裁剪出来。
5.根据权利要求1所述的一种基于离线数据增强的固废数据集生成方法,其特征在于,所述使用深度学习模型对合并固废数据集进行训练,包括以下步骤:
对需要进行训练的固废数据集进行线上数据增强,包括:裁剪、水平翻转、竖直翻转、旋转、改变图像亮度和对比度和部分像素置零;
使用SGD优化器进行训练,使用的学习率策略为带预热的余弦退火。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111063333.5A CN113807424B (zh) | 2021-09-10 | 2021-09-10 | 一种基于离线数据增强的固废数据集生成方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111063333.5A CN113807424B (zh) | 2021-09-10 | 2021-09-10 | 一种基于离线数据增强的固废数据集生成方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113807424A CN113807424A (zh) | 2021-12-17 |
CN113807424B true CN113807424B (zh) | 2024-04-16 |
Family
ID=78895017
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111063333.5A Active CN113807424B (zh) | 2021-09-10 | 2021-09-10 | 一种基于离线数据增强的固废数据集生成方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113807424B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114429573B (zh) * | 2022-01-10 | 2024-09-06 | 华侨大学 | 一种基于数据增强的生活垃圾数据集生成方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112132179A (zh) * | 2020-08-20 | 2020-12-25 | 中国人民解放军战略支援部队信息工程大学 | 基于少量标注样本的增量学习方法及系统 |
CN112434794A (zh) * | 2020-11-30 | 2021-03-02 | 国电南瑞科技股份有限公司 | 一种基于深度学习的计算机视觉数据集半自动标注方法及系统 |
CN112861959A (zh) * | 2021-02-02 | 2021-05-28 | 南京天创电子技术有限公司 | 一种目标检测图像的自动标注方法 |
CN113033573A (zh) * | 2021-03-16 | 2021-06-25 | 佛山市南海区广工大数控装备协同创新研究院 | 一种基于数据增强的提高实例分割模型检测性能的方法 |
CN113344852A (zh) * | 2021-04-30 | 2021-09-03 | 苏州经贸职业技术学院 | 一种电力场景通用物品的目标检测方法、装置及存储介质 |
-
2021
- 2021-09-10 CN CN202111063333.5A patent/CN113807424B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112132179A (zh) * | 2020-08-20 | 2020-12-25 | 中国人民解放军战略支援部队信息工程大学 | 基于少量标注样本的增量学习方法及系统 |
CN112434794A (zh) * | 2020-11-30 | 2021-03-02 | 国电南瑞科技股份有限公司 | 一种基于深度学习的计算机视觉数据集半自动标注方法及系统 |
CN112861959A (zh) * | 2021-02-02 | 2021-05-28 | 南京天创电子技术有限公司 | 一种目标检测图像的自动标注方法 |
CN113033573A (zh) * | 2021-03-16 | 2021-06-25 | 佛山市南海区广工大数控装备协同创新研究院 | 一种基于数据增强的提高实例分割模型检测性能的方法 |
CN113344852A (zh) * | 2021-04-30 | 2021-09-03 | 苏州经贸职业技术学院 | 一种电力场景通用物品的目标检测方法、装置及存储介质 |
Non-Patent Citations (2)
Title |
---|
基于SSD神经网络的图像自动标注及应用研究;谢禹;李玉俊;董文生;;信息技术与标准化(第04期);全文 * |
梁玮 裴明涛.《计算机视觉》.长沙:湖南科学出版社,2020,147-150页. * |
Also Published As
Publication number | Publication date |
---|---|
CN113807424A (zh) | 2021-12-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111160469B (zh) | 一种目标检测系统的主动学习方法 | |
CN103324937B (zh) | 标注目标的方法和装置 | |
CN111540006B (zh) | 基于深度迁移学习的植物气孔智能检测与识别方法及系统 | |
CN109522900B (zh) | 自然场景文字识别方法及装置 | |
CN107564004B (zh) | 一种基于计算机辅助跟踪的篡改视频标注方法 | |
CN111783783B (zh) | 一种用于图像分割的标注系统及标注方法 | |
CN111967313A (zh) | 一种深度学习目标检测算法辅助的无人机图像标注方法 | |
CN103559237A (zh) | 基于目标跟踪的半自动图像标注样本生成方法 | |
Campos et al. | Sheet music statistical layout analysis | |
CN101901494A (zh) | 自动实现地图注记的方法及其系统 | |
CN106156750A (zh) | 一种基于卷积神经网络的以图搜车方法 | |
CN113807424B (zh) | 一种基于离线数据增强的固废数据集生成方法 | |
CN115205727A (zh) | 一种基于无监督学习的实验智能评分方法和系统 | |
CN111696079A (zh) | 一种基于多任务学习的表面缺陷检测方法 | |
CN112949517A (zh) | 基于深度迁移学习的植物气孔密度和开度识别方法及系统 | |
CN116385374A (zh) | 基于卷积神经网络的细胞计数方法 | |
CN110533074B (zh) | 一种基于双深度神经网络的图片类别自动标注方法及系统 | |
CN116681961A (zh) | 基于半监督方法和噪声处理的弱监督目标检测方法 | |
CN103945227B (zh) | 基于光流聚类的视频语义块分割方法 | |
CN114882204A (zh) | 船名自动识别方法 | |
CN114898290A (zh) | 一种海上船舶实时检测方法及系统 | |
CN114429573B (zh) | 一种基于数据增强的生活垃圾数据集生成方法 | |
CN108734170A (zh) | 基于机器学习和模板的车牌字符分割方法 | |
CN113159146A (zh) | 样本生成、目标检测模型训练、目标检测方法及装置 | |
CN106022389B (zh) | 一种主动选择多示例多标记数字图像的相关反馈方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |