CN108171175B - 一种深度学习样本增强系统及其运行方法 - Google Patents

一种深度学习样本增强系统及其运行方法 Download PDF

Info

Publication number
CN108171175B
CN108171175B CN201711479715.XA CN201711479715A CN108171175B CN 108171175 B CN108171175 B CN 108171175B CN 201711479715 A CN201711479715 A CN 201711479715A CN 108171175 B CN108171175 B CN 108171175B
Authority
CN
China
Prior art keywords
sample
module
level features
sampling
deep learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711479715.XA
Other languages
English (en)
Other versions
CN108171175A (zh
Inventor
杜俊珑
晋兆龙
邹文艺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Keda Technology Co Ltd
Original Assignee
Suzhou Keda Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Keda Technology Co Ltd filed Critical Suzhou Keda Technology Co Ltd
Priority to CN201711479715.XA priority Critical patent/CN108171175B/zh
Publication of CN108171175A publication Critical patent/CN108171175A/zh
Application granted granted Critical
Publication of CN108171175B publication Critical patent/CN108171175B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种深度学习样本增强系统，包括：录制并提供视频序列的视频模块、从视频序列中获取优化的SSD网络的检测器、包括已标注数据的原始样本的样本模块、对视频序列抽样检测并进行统计分析的采样模块、筛选模块、标注模块；同时本发明还公开了深度学习样本增强系统的运行方法。通过深度学习样本增强系统，自动选取训练样本，增强训练样本的多样性、复杂性，减少训练样本的冗余度，提升算法的训练效果和泛化能力；而且本发明的深度学习样本增强系统的运行方法在不进行算法层面的优化的基础上，可以直接大幅提升模型效果，同时减少图像标注的无效工作量。

Description

一种深度学习样本增强系统及其运行方法
技术领域
本发明所述的技术方案属于深度学习领域，本发明涉及一种深度学习样本增强系统及其运行方法。
背景技术
目前，深度学习算法因其参数量巨大，需要大量的训练样本才能让算法训练收敛，如果样本量不足时，需要使用迁移学习的方式，基于别的大数据样本上训练出来的模型，用自已的数据进行Finetune。样本在深度学习算法中的作用至关重要，样本的数量、质量、多样性、复杂性等等都直接关系到算法最终训练模型能否有一个好的测试效果、是否有很强的泛化能力而不是过拟合。
已有的深度学习框架如Caffe等，自身会提供一些样本增强的方法如随机裁切、随机扩展、随机镜像、随机颜色变换等，但这些方法都是在已有的数据集上进行样本增强，可以增加样本的数量，和一定程度地增加样本的多样性，减缓样本的冗余性，但是不能从根本上去增加样本的复杂性、去除样本的冗余性，也不能解决样本的不均衡性问题，过度依赖这些增强技术会导致训练过拟合。SSD(Single Shot Detection)是一种端对端一步到位、效果优异、速度快的目标检测算法，可用于实时的视频目标检测，但原版SSD对小目标的检测效果不好。
在安防领域目标检测的实际应用中，训练样本图像来源主要是各种监控视频，由于监控布置的摄像头数目巨大(一个城市就有上万路的视频),可从这些视频中采集到大量样本进行标注，并用于训练。但是如果使用人工的方式主观、随机地从各路视频中去选取视频帧作为样本，势必导致样本集充满随机不确定性，很难采样到最好的样本分布，并且工作量巨大。
发明内容
为解决现有技术的不足，本发明提供一种深度学习样本增强系统及其运行方法，通过优化SSD网络，并在样本采样阶段增强深度学习样本，提升检测效果，同时减少图像标注的无效工作量。
为实现上述目的，采用以下技术方案：
一种深度学习样本增强系统，包括：
视频模块，录制并提供视频序列；
检测器，检测器从视频序列中获取优化的SSD网络；
样本模块，样本模块中包括已标注数据的原始样本，用原始样本训练优化后的SSD网络，得到检测模型及其在固定测试集上的平均精度均值；统计样本模块中的样本分布数据，得到样本筛选规则，其中固定测试集，是从原始样本中随机抽取出一定数量的样本集合，用来评估检测模型的平均精度，平均精度均值是检测模型相对于测试集的准确度的平均值；
采样模块，采样模块利用检测模型对视频序列进行抽样检测，并对抽样检测结果进行统计分析；
筛选模块，筛选模块按照样本模块中得到样本筛选规则对所有视频抽样检测的统计分析结果进行排序，选取至少两张排序后的图像作为新样本；
标注模块，通过人工精确标注新样本，并将标注后的新样本加入样本模块中，标注后的新样本与原始样本共同形成最终训练样本，以分别更新样本集和所述样本筛选规则。
深度学习样本增强系统的运行方法，包括以下步骤：
步骤一：对SSD网络进行优化，获得优化后的SSD网络；
步骤二：采用原始样本训练优化后的SSD网络，得到检测模型及其在固定测试集上的平均精度均值；统计原始样本的样本分布数据，得到样本筛选规则；其中固定测试集是独立的用于评价检测模型车；
步骤三：用检测模型对视频序列进行抽样检测，对抽样检测结果进行统计分析，按照样本模块中得到样本筛选规则对统计分析结果进行排序，选取至少两张排序后排名靠前的的图像作为新样本；
步骤四：人工精确标注新样本，并将标注后的新样本加入样本模块中，标注后的新样本与原始样本共同形成最终训练样本，同时样本模块统计最终训练样本的样本分布数据，更新样本筛选规则；以得到的最终训练样本作为下一轮训练的原始样本，至少重复两次重复步骤二、三、四，最终到增强样本集合。
进一步的，步骤一中对SSD网络进行优化具体为：在SSD网络的高层特征与低层特征之间增加conv3_3特征层作为小目标检测层，对conv3_3特征层、高层特征以及低层特征进行融合并将融合后的结果反馈给检测器，即得到优化后的SSD网络；对conv3_3特征层、高层特征以及低层特征进行融合是指对conv3_3特征层、高层特征以及低层特征进行反卷积处理。
进一步的，步骤二中样本分布数据包括但不限于分类样本分布、尺寸分布、比例分布、场景分布；其中筛选规则是根据样本的统计分析结果得到的，用来平衡样本的分类、尺寸、比例、场景的均衡性，筛选规则保证了样本的多样性、均衡性和复杂性。
进一步的，步骤三中所述的抽样检测为随机隔帧抽样检测；对抽样检测的统计分析结果进行排序时，提高分类、尺寸、比例、场景占比低的样本以及目标数多的样本的权重；排序的依据是对视频抽样检测的统计分析结果进行打分，打分规则根据对原始样本的统计分析结果确定，把原始样本中目标数占比最少的分类，以及所有占比少于所设定阈值的分类作为待打分的分类，统计当前图像中待打分分类的目标数占比，如果大于原始样本中该分类的统计占比，则打分为原始样本中统计占比的倒数值，如果当前图像中该分类占比小于原始样本中的统计占比则打分为0，其余非待打分分类的目标打分亦为0；同理再对目标的尺寸、比例、场景进行类似的打分，最后根据打分结果进行；其中，随机的大间隔隔帧抽样，进一步保证了样本重复冗余性较低。
本发明的有益效果：
1.通过深度学习样本增强系统，自动选取训练样本，增强训练样本的多样性、复杂性，减少训练样本的冗余度，提升算法的训练效果和泛化能力；
2.本发明的深度学习样本增强系统的运行方法在不进行算法层面的优化的基础上，可以直接大幅提升模型效果，同时减少图像标注的无效工作量。
附图说明
图1为本发明的一种深度学习样本增强系统的一个实施例的结构框图；
图2为本发明的深度学习样本增强系统的运行方法的一个实施例的流程示意图；
图3为本发明的SSD网络优化方法的一个实施例的流程示意图。
具体实施方式
实施例
参照图1所示，一种深度学习样本增强系统，其包括：
视频模块，录制并提供视频序列；
检测器，检测器从视频序列中获取优化的SSD网络；
样本模块，样本模块中包括一千个已标注数据的原始样本，用原始样本训练优化后的SSD网络，得到检测模型及其在固定测试集上的平均精度均值；统计样本模块中的样本分布数据，得到样本筛选规则，其中固定测试集，是从原始样本中随机抽取出一定数量的样本集合，用来评估检测模型的平均精度，平均精度均值是检测模型相对于测试集的准确度的平均值；
采样模块，采样模块利用检测模型对视频序列进行抽样检测，并对抽样检测结果进行统计分析；
筛选模块，筛选模块按照样本模块中得到样本筛选规则对所有视频抽样检测的统计分析结果进行排序，选取两帧以上排序后的图像作为新样本；
标注模块，通过人工精确标注新样本，并将标注后的新样本加入样本模块中，标注后的新样本与原始样本共同形成最终训练样本，以分别更新样本集和所述样本筛选规则。
参照图2所示，深度学习样本增强系统的运行方法，包括以下步骤：
步骤一：对SSD网络进行优化，获得优化后的SSD网络；对SSD网络进行优化具体为：在SSD网络的高层特征与低层特征之间增加conv3_3特征层作为小目标检测层，对conv3_3特征层、高层特征以及低层特征进行融合并将融合后的结果反馈给检测器，即得到优化后的SSD网络；所述的融合是指对conv3_3特征层、高层特征以及低层特征进行反卷积处理(参照图3所示)。
步骤二：利用一千张人工挑选并标注的特定检测场景的原始样本训练优化后的SSD网络，得到检测模型及其在固定测试集上的平均精度均值；统计原始样本的分类样本分布、尺寸分布、比例分布、场景分布数据，得到样本筛选规则；
步骤三：用检测模型对一个十分钟的视频进行随机隔帧抽样检测，得到两百帧的图像，对抽样检测结果进行统计分析，按照样本模块中得到样本筛选规则对统计分析结果进行排序，对视频抽样检测的统计分析结果进行排序时，提高分类、尺寸、比例、场景占比低的样本以及目标数多的样本的权重；排序的依据是对视频抽样检测的统计分析结果进行打分，打分规则根据对原始样本的统计分析结果确定，把原始样本中目标数占比最少的卡车作为待打分的分类，统计当前图像中卡车的目标数占比为6％，如果大于原始样本中卡车的统计占比5％，则打分为原始样本中统计占比的倒数值20分，如果当前图像中卡车的占比为3％小于原始样本中的统计占比5％则打分为0，其余非待打分分类的目标打分亦为0；同理再对目标的尺寸、比例、场景进行类似的打分，最后根据打分结果进行，选取排序后排名最靠前100帧的图像作为新样本；
步骤四：人工精确标注新样本，并将标注后的新样本加入样本模块中，标注后的新样本与原始样本共同形成最终训练样本，同时样本模块统计最终训练样本的样本分布数据，更新样本筛选规则；以得到的最终训练样本作为下一轮训练的原始样本，重复10次步骤二、三、四，最终到增强样本集合，最终在样本模块中得到一个包含两千个增强样本的样本集合。
以上显示和描述了本发明的基本原理、主要特征和优点。本行业的技术人员应该了解，上述实施例不以任何形式限制本发明，凡采用等同替换或等效变换的方式所获得的技术方案，均落在本发明的保护范围内。

Claims (6)

1.一种深度学习样本增强系统，其特征在于，其包括：
视频模块，录制并提供视频序列；
检测器，检测器从视频序列中获取优化的SSD网络；在SSD网络的高层特征与低层特征之间增加conv3_3特征层作为小目标检测层，对conv3_3特征层、高层特征以及低层特征进行融合并将融合后的结果反馈给检测器，即得到优化后的SSD网络；
样本模块，样本模块中包括已标注数据的原始样本，用原始样本训练优化后的SSD网络，得到检测模型及其在固定测试集上的平均精度均值；统计样本模块中的样本分布数据，得到样本筛选规则；
采样模块，采样模块利用检测模型对视频序列进行抽样检测，并对抽样检测结果进行统计分析；
筛选模块，筛选模块按照样本模块中得到样本筛选规则对所有视频抽样检测的统计分析结果进行排序，选取至少两张排序后的图像作为新样本；
标注模块，通过人工精确标注新样本，并将标注后的新样本加入样本模块中。
2.权利要求1所述的深度学习样本增强系统的运行方法，其特征在于，包括以下步骤：
步骤一：对SSD网络进行优化，获得优化后的SSD网络；
步骤二：采用原始样本训练优化后的SSD网络，得到检测模型及其在固定测试集上的平均精度均值；统计原始样本的样本分布数据，得到样本筛选规则；
步骤三：用检测模型对视频序列进行抽样检测，对抽样检测结果进行统计分析，并按照筛选规则对统计分析结果进行排序，选取至少两帧排序后的图像作为新样本；
步骤四：标注新样本，新样本与原始样本共同形成最终训练样本，统计最终训练样本的样本分布数据，更新样本筛选规则；以得到的最终训练样本作为下一轮训练的原始样本，至少重复两次重复步骤二、三、四，最终到增强样本集合；
对SSD网络进行优化具体为：
在SSD网络的高层特征与低层特征之间增加conv3_3特征层作为小目标检测层，对conv3_3特征层、高层特征以及低层特征进行融合并将融合后的结果反馈给检测器，即得到优化后的SSD网络。
3.根据权利要求2所述的深度学习样本增强系统的运行方法，其特征在于：对conv3_3特征层、高层特征以及低层特征进行融合是指对conv3_3特征层、高层特征以及低层特征进行反卷积处理。
4.根据权利要求3所述的深度学习样本增强系统的运行方法，其特征在于：样本分布数据至少包括分类样本分布、尺寸分布、比例分布、场景分布。
5.根据权利要求4所述的深度学习样本增强系统的运行方法，其特征在于，步骤三中所述的抽样检测为随机隔帧抽样检测。
6.根据权利要求5所述的深度学习样本增强系统的运行方法，其特征在于，步骤三中，对所有抽样检测的统计分析结果进行排序时，提高分类、尺寸、比例、场景占比低的样本以及目标数多的样本的权重。
CN201711479715.XA 2017-12-29 2017-12-29 一种深度学习样本增强系统及其运行方法 Active CN108171175B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711479715.XA CN108171175B (zh) 2017-12-29 2017-12-29 一种深度学习样本增强系统及其运行方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711479715.XA CN108171175B (zh) 2017-12-29 2017-12-29 一种深度学习样本增强系统及其运行方法

Publications (2)

Publication Number Publication Date
CN108171175A CN108171175A (zh) 2018-06-15
CN108171175B true CN108171175B (zh) 2020-06-23

Family

ID=62516423

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711479715.XA Active CN108171175B (zh) 2017-12-29 2017-12-29 一种深度学习样本增强系统及其运行方法

Country Status (1)

Country Link
CN (1) CN108171175B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109255767B (zh) * 2018-09-26 2021-03-12 北京字节跳动网络技术有限公司 图像处理方法和装置
CN109389086B (zh) * 2018-10-09 2021-03-05 北京科技大学 检测无人机影像目标的方法和系统
CN111046891A (zh) * 2018-10-11 2020-04-21 杭州海康威视数字技术股份有限公司 车牌识别模型的训练方法、车牌识别方法和装置
CN109697468B (zh) * 2018-12-24 2021-08-06 苏州科达科技股份有限公司 样本图像的标注方法、装置及存储介质
CN109919931B (zh) * 2019-03-08 2020-12-25 数坤（北京）网络科技有限公司 冠脉狭窄度评价模型训练方法及评价系统
CN109978029B (zh) * 2019-03-13 2021-02-09 北京邮电大学 一种基于卷积神经网络的无效图像样本筛选方法
US11887356B2 (en) 2020-12-03 2024-01-30 Huawei Technologies Co., Ltd. System, method and apparatus for training a machine learning model

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103473570A (zh) * 2013-08-16 2013-12-25 电子科技大学 自适应视频场景的行人检测方法
CN106097346A (zh) * 2016-06-13 2016-11-09 中国科学技术大学 一种自学习的视频火灾探测方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103473570A (zh) * 2013-08-16 2013-12-25 电子科技大学 自适应视频场景的行人检测方法
CN106097346A (zh) * 2016-06-13 2016-11-09 中国科学技术大学 一种自学习的视频火灾探测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
"DSSD : Deconvolutional Single Shot Detector";Cheng-Yang Fu 等;《arXiv:1701.06659v1 [cs.CV]》;20170123;正文第1-11页 *
"Feature-Fused SSD: Fast Detection for Small Objects";Guimei Cao 等;《ResearchGate》;20170930;正文第1-8页 *
"SSD：Single Shot MultiBox Detector";Wei Liu 等;《arXiv:1512.02325v5 [cs.CV]》;20161229;正文第1-17页 *

Also Published As

Publication number Publication date
CN108171175A (zh) 2018-06-15

Similar Documents

Publication Publication Date Title
CN108171175B (zh) 一种深度学习样本增强系统及其运行方法
CN111814704B (zh) 基于级联注意力与点监督机制的全卷积考场目标检测方法
CN109978893A (zh) 图像语义分割网络的训练方法、装置、设备及存储介质
CN110084202B (zh) 一种基于高效三维卷积的视频行为识别方法
CN108039044B (zh) 基于多尺度卷积神经网络的车辆智能排队的系统及方法
CN108229550B (zh) 一种基于多粒度级联森林网络的云图分类方法
CN109614921B (zh) 一种基于对抗生成网络的半监督学习的细胞分割方法
CN108875624A (zh) 基于多尺度的级联稠密连接神经网络的人脸检测方法
CN111967313B (zh) 一种深度学习目标检测算法辅助的无人机图像标注方法
CN110880019A (zh) 通过无监督域适应训练目标域分类模型的方法
CN109919252A (zh) 利用少数标注图像生成分类器的方法
CN116310785B (zh) 基于YOLO v4的无人机影像路面病害检测方法
CN110245635B (zh) 一种煤和矸石的红外图像识别方法
CN112528934A (zh) 一种基于多尺度特征层的改进型YOLOv3的交通标志检测方法
CN109410184A (zh) 基于稠密对抗网络半监督学习的直播色情图像检测方法
CN113780435B (zh) 车辆损伤检测方法、装置、设备及存储介质
CN112668375B (zh) 景区内游客分布分析系统及方法
CN112633149A (zh) 一种域自适应雾天图像目标检测方法和装置
CN112613428B (zh) 基于平衡损失的Resnet-3D卷积牛视频目标检测方法
CN108921023A (zh) 一种确定低质量人像数据的方法及装置
CN106227836B (zh) 基于图像与文字的无监督联合视觉概念学习系统及方法
WO2023160666A1 (zh) 一种目标检测方法、目标检测模型训练方法及装置
CN110674887A (zh) 一种基于视频分类的端到端道路拥堵检测算法
CN112288700A (zh) 一种铁轨缺陷检测方法
CN111401149A (zh) 基于长短期时域建模算法的轻量级视频行为识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant