CN113361588A - 基于图像数据增强的图像训练集生成方法和模型训练方法 - Google Patents
基于图像数据增强的图像训练集生成方法和模型训练方法 Download PDFInfo
- Publication number
- CN113361588A CN113361588A CN202110617897.2A CN202110617897A CN113361588A CN 113361588 A CN113361588 A CN 113361588A CN 202110617897 A CN202110617897 A CN 202110617897A CN 113361588 A CN113361588 A CN 113361588A
- Authority
- CN
- China
- Prior art keywords
- image
- target
- training set
- training
- original
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012549 training Methods 0.000 title claims abstract description 233
- 238000000034 method Methods 0.000 title claims abstract description 63
- 238000001514 detection method Methods 0.000 claims abstract description 116
- 238000002372 labelling Methods 0.000 claims abstract description 18
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 238000004891 communication Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000009432 framing Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000002349 favourable effect Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于图像数据增强的图像训练集生成方法和模型训练方法,其中,图像训练集生成方法包括:构造初始图像训练集后训练初始目标检测模型;对原始训练样本图像进行重检测后输出检测输出图像;比较各检测输出图像上形成的检测框和原始训练样本图像上的标注框,将检测框框选的错误目标图像块裁切下;在选中的原始训练样本图像上裁切下剔除图像块,选取错误目标图像块补偿在剔除图像块的原始位置处形成负样本图像;混合进入初始图像训练集中形成图像训练集。本发明解决了利用现有技术中的数据增强方法扩充的图样训练集,能够提升训练出的目标检测模型的泛化能力,但无法提高目标检测模型对特定的目标对象的识别准确率的问题。
Description
技术领域
本发明涉及图像处理以及模型训练技术领域,具体而言,涉及一种基于图像数据增强的 图像训练集生成方法和模型训练方法。
背景技术
现有的计算机视觉领域中,通常使用基于深度学习的目标检测模型来进行决策,为了达 到对目标检测模型理想的训练效果,在模型训练过程中需要使用到包含有大量图像样本的图 像训练集,而在图像样本在数量不足的情况下,便需要采用数据增强的手段来扩充图像训练 集。
相关技术中,通常采用几何变换、颜色变化或混合样本数据增强生成难例的方式来获得 更多的图像样本数据,上述的几种数据增强方法虽然能够有效地扩充图样训练集,丰富图样 训练集中的图像样本数据多样性,提升训练出的目标检测模型的泛化能力;但对于提升目标 检测模型针对特定的目标对象的识别准确率则没有明显帮助,从而导致现有的目标检测模型 存在一定的使用局限性。例如,在道路交通场景中,对道路上行驶车辆的车牌或驾乘人员的 准确监控识别,直接影响到道路交通的综治管理的稳定性、道路交通运输的安全性,因此, 如何稳定地训练出对目标对象具备高精度识别的目标检测模型,便成了现有技术中亟待解决 的问题。
发明内容
本发明的主要目的在于提供一种基于图像数据增强的图像训练集生成方法和模型训练方 法,以解决利用现有技术中的数据增强方法扩充的图样训练集,能够提升训练出的目标检测 模型的泛化能力,但无法提高目标检测模型对特定的目标对象的识别准确率的问题。
为了实现上述目的,根据本发明的一个方面,提供了一种基于图像数据增强的图像训练 集生成方法,包括:步骤S1,采集多张目标场景图像后使用标注框框选出其中的目标对象, 以形成多张原始训练样本图像,汇集多张原始训练样本图像构成初始图像训练集,并基于深 度神经网络利用初始图像训练集训练形成初始目标检测模型;步骤S2,使用初始目标检测模 型对初始图像训练集中的多张原始训练样本图像进行重检测,以形成一一对应的多张检测输 出图像;比较各检测输出图像上形成的检测框和与其相对应的原始训练样本图像上的标注框 的属性信息,以识别出检测输出图像上错误检测为目标对象的部分检测框,并将该部分检测 框框选的错误目标图像块裁切下汇集形成负样本图像增强数据集;步骤S3,选取初始图像训 练集中的至少一部分原始训练样本图像,在选中的每张原始训练样本图像上裁切下至少一个 剔除图像块,针对裁切下的每个剔除图像块,使用负样本图像增强数据集中随机选取的一个 错误目标图像块补偿在剔除图像块的原始位置处,以形成负样本图像;步骤S4,将生成的所 有负样本图像混合进入初始图像训练集中形成图像训练集,图像训练集用于对初始目标检测 模型优化训练。
进一步地,在步骤S3中,选取初始图像训练集中的一部分原始训练样本图像,在选中的 每张原始训练样本图像上裁切下多个剔除图像块,使用多个错误目标图像块一一对应地补偿 在多个剔除图像块的原始位置处,以形成负样本图像;在步骤S4中,将生成的所有负样本图 像与初始图像训练集中的另一部分原始训练样本图像混合后形成图像训练集。
进一步地,在各原始训练样本图像上裁切下相间隔的多个剔除图像块,且相间隔的多个 剔除图像块均与原始训练样本图像上框选目标对象的标注框相间隔。
进一步地,在各原始训练样本图像上裁切下相邻的多个剔除图像块,且相邻的多个剔除 图像块均与原始训练样本图像上框选目标对象的标注框相间隔或相邻;相邻的两个剔除图像 块或剔除图像块与标注框之间的重叠面积为零。
进一步地,每张原始训练样本图像上裁切下剔除图像块的个数大于等于3小于等于5;且 裁切各剔除图像块的尺寸与任意一张原始训练样本图像上框选目标对象的标注框相同。
进一步地,将随机选取的错误目标图像块缩放到与其补偿目标位置处的剔除图像块的同 等大小。
进一步地,随机选取的错误目标图像块缩放后的尺寸大于与其补偿目标位置处的剔除图 像块的尺寸,以覆盖补偿目标位置。
进一步地,目标场景图像为同一个或不同的道路交通场景下采集的图像,目标对象为车 牌或驾乘人员。
进一步地,属性信息包括检测输出图像上形成的检测框的位置和尺寸,以及与其相对应 的原始训练样本图像上的标注框的位置和尺寸。
根据本发明的另一方面,提供了一种目标检测模型训练方法,通过使用上述的图像训练 集生成方法获得的图像训练集对初始目标检测模型优化训练生成。
应用本发明的技术方案,在初始图像训练集的基础上进行了针对性的混合样本的数据增 强,将初始图像训练集中的至少一部分原始训练样本图像进行局部替换以形成用于对初始目 标检测模型优化训练的特定的负样本图像,其中,局部替换为使用初始目标检测模型重检测 初始图像训练集后,将原始训练样本图像上的非目标对象错误检测为目标对象的部分裁切下 (错误目标图像块)随机替换选中的原始训练样本图像的任意部分,构造形成负样本图像, 使得负样本图像中至少含有了初始目标检测模型错误检测为目标对象的部分,从而在对初始 目标检测模型优化训练过程中更有利于其针对性地增强记忆训练。
本发明通过控制负样本图像与原始训练样本图像混合形成的图像训练集的训练样本数 量,解决了因训练数据不足而产生的模型训练中的过拟合的问题,有利于调节分类网络训练 的难易程度,提升深度学习分类网络的泛化能力;本发明还通过调整负样本图像与原始训练 样本图像的配比,避免了过多的作为简单样本的原始训练样本图像对模型训练造成的时间与 算例消耗,有利于针对性地加深初始目标检测模型对特定错误信息的记忆,使目标检测模型 更好更快地收敛;在指定目标场景的情况下,大大地提升了利用图像训练集优化训练出的目 标检测模型对目标对象的识别精确性,进而确保了目标检测模型的实用性。
附图说明
构成本申请的一部分的说明书附图用来提供对本发明的进一步理解,本发明的示意性实 施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1示出了根据本发明的一种可选实施例的图像训练集生成方法的流程图;
图2示出了根据本发明的图像训练集生成方法采集到的道路交通场景的一张可选的目标 场景图像;
图3示出了使用标注框框选出图2中的目标场景图像中的目标对象后形成的原始训练样 本图像;
图4示出了使用初始目标检测模型对图3中的原始训练样本图像进行重检测后形成的检 测输出图像;
图5示出了根据本发明的图像训练集生成方法形成的一种可选实施例的负样本图像增强 数据集的示意图,其中包含了图4中的检测输出图像上裁切下的错误目标图像块;
图6示出了根据本发明的图像训练集生成方法形成的初始图像训练集中选取一张原始训 练样本图像(本实施例以选取图3中的原始训练样本图像为例)后,在其上标注多个剔除图 像块的裁切位置的示意图;
图7示出了将图6中的裁切位置处的多个剔除图像块裁切后的示意图;
图8示出了使用图5中的负样本图像增强数据集的多个错误目标图像块一一对应地补偿 到图7中的裁切下剔除图像块的多个位置后,形成的负样本图像。
具体实施方式
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。 下面将参考附图并结合实施例来详细说明本发明。
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图, 对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明 一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没 有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等 是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据 在适当情况下可以互换,以便这里描述的本发明的实施例。此外,术语“包括”、“和”、“具 有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的 过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清 楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为了解决利用现有技术中的数据增强方法扩充的图样训练集,能够提升训练出的目标检 测模型的泛化能力,但无法提高目标检测模型对特定的目标对象的识别准确率的问题。本发 明提供了一种基于图像数据增强的图像训练集生成方法和模型训练方法,其中,模型训练方 法为目标检测模型训练方法,通过上述和下述的图像训练集生成方法获得的图像训练集对初 始目标检测模型优化训练生成。
图1是根据本发明实施例的基于图像数据增强的图像训练集生成方法的流程图。如图1 所示,该图像训练集生成方法包括:步骤S1,采集多张目标场景图像后使用标注框框选出其 中的目标对象,以形成多张原始训练样本图像,汇集多张原始训练样本图像构成初始图像训 练集,并基于深度神经网络利用初始图像训练集训练形成初始目标检测模型;步骤S2,使用 初始目标检测模型对初始图像训练集中的多张原始训练样本图像进行重检测,以形成一一对 应的多张检测输出图像;比较各检测输出图像上形成的检测框和与其相对应的原始训练样本 图像上的标注框的属性信息,以识别出检测输出图像上错误检测为目标对象的部分检测框, 并将该部分检测框框选的错误目标图像块裁切下汇集形成负样本图像增强数据集;步骤S3, 选取初始图像训练集中的至少一部分原始训练样本图像,在选中的每张原始训练样本图像上 裁切下至少一个剔除图像块,针对裁切下的每个剔除图像块,使用负样本图像增强数据集中 随机选取的一个错误目标图像块补偿在剔除图像块的原始位置处,以形成负样本图像;步骤 S4,将生成的所有负样本图像混合进入初始图像训练集中形成图像训练集,图像训练集用于 对初始目标检测模型优化训练。
应用本发明的技术方案,在初始图像训练集的基础上进行了针对性的混合样本的数据增 强,将初始图像训练集中的至少一部分原始训练样本图像进行局部替换以形成用于对初始目 标检测模型优化训练的特定的负样本图像,其中,局部替换为使用初始目标检测模型重检测 初始图像训练集后,将原始训练样本图像上的非目标对象错误检测为目标对象的部分裁切下 (错误目标图像块)随机替换选中的原始训练样本图像的任意部分,构造形成负样本图像, 使得负样本图像中至少含有了初始目标检测模型错误检测为目标对象的部分,从而在对初始 目标检测模型优化训练过程中更有利于其针对性地增强记忆训练。
本发明通过控制负样本图像与原始训练样本图像混合形成的图像训练集的训练样本数 量,解决了因训练数据不足而产生的模型训练中的过拟合的问题,有利于调节分类网络训练 的难易程度,提升深度学习分类网络的泛化能力;本发明还通过调整负样本图像与原始训练 样本图像的配比,避免了过多的作为简单样本的原始训练样本图像对模型训练造成的时间与 算例消耗,有利于针对性地加深初始目标检测模型对特定错误信息的记忆,使目标检测模型 更好更快地收敛;在指定目标场景的情况下,大大地提升了利用图像训练集优化训练出的目 标检测模型对目标对象的识别精确性,进而确保了目标检测模型的实用性。
本发明的技术方案将初始图像训练集改造形成最终的图像训练集,使用混合样本的数据 增强的方式对初始图像训练集中的至少一部分原始训练样本图像进行了改造,具体手段为 CutMix,但是本发明的技术方案与现有的CutMix又有明显区别,现有的CutMix通常仅是为 了在图像训练集的图像样本数量不足的情况下,快速增加图像样本数量,丰富图像样本集, 通常采用的方式是从图像训练集中随机抽取两个图像样本进行简单的融合而合成新的难例图 像样本,完全没有考虑目标检测模型对图像样本中非目标对象的错误识别的问题,从而合成 的新的难例图像样本对目标检测模型的检测精确性的提升无用,无法解决本发明的技术方案 所解决的技术问题。
需要说明的是,本申请的技术方案能够广泛应用于道路交通场景下训练的用于对车牌或 驾乘人员进行识别检测的目标检测模型。也就是说,优选地,目标场景图像为同一个或不同 的道路交通场景下采集的图像,目标对象为车牌或驾乘人员。
如图2至图8所示,给出了一个优选的图示实施例的基于图像数据增强的图像训练集生 成方法中对原始训练样本图像改造形成负样本图像的全过程。在本实施例中的目标场景图像 为同一个道路交通场景,目标对象为车牌。
如图2所示,为采集到的道路交通场景的一张可选的目标场景图像,该目标场景图像捕 捉到了公路上并行的两辆公共汽车的局部,以公共汽车的尾部为主,两辆公共汽车的尾部底 端均安装有车牌,此车牌便为目标检测模型识别检测的目标对象;需要说明的是,车牌上的 标识文字和数字仅为该实施例中的代表,不限定为具体的文字或数字。
如图3所示,使用标注框对作为目标对象的车牌进行框选,标注框为图中的细虚线框, 即框选了两辆公共汽车的尾部底端的车牌。图3便为初始图像训练集中的一张原始训练样本 图像。
图4为使用了初始目标检测模型对图3中的原始训练样本图像进行重检测后形成的检测 输出图像;图4中,除了图3中原有的标注框框选的两个车牌被初始目标检测模型识别检测 出,初始目标检测模型还错误得将图3中左侧的公共汽车的尾部底端右侧的喷涂数字“5057” 检测为作为目标对象的车牌,在图4中用粗虚线框标注出加以区分,也就是说,图4中出现 了3个检测框(2个细虚线框和1个粗虚线框),将图4的检测输出图像的检测框与图3中的 原始训练样本图像的标注框,得知图4中用粗虚线框便为错误检测为作为目标对象的车牌的 检测框,其框选区域被裁切下的错误目标图像块汇集进入负样本图像增强数据集。
需要说明的是,初始目标检测模型对原始训练样本图像进行重检测后形成的检测输出图 像可能会出现无法识别检测出原始训练样本图像上的目标对象,即存在漏检的问题,但这不 会影响到比较检测输出图像上形成的检测框和与其相对应的原始训练样本图像上的标注框的 属性信息的结果。
如图5所示,为一种可选实施例的负样本图像增强数据集,其中仅示出了负样本图像增 强数据集中的一部分负样本,其中恰好包含了图4中的检测输出图像上裁切下的错误目标图 像块。
在本发明的优选实施例中,在步骤S3中,选取初始图像训练集中的一部分原始训练样本 图像,在选中的每张原始训练样本图像上裁切下多个剔除图像块,使用多个错误目标图像块 一一对应地补偿在多个剔除图像块的原始位置处,以形成负样本图像;在步骤S4中,将生成 的所有负样本图像与初始图像训练集中的另一部分原始训练样本图像混合后形成图像训练 集。
当然,在一种特定实施例方案中,也可以将初始图像训练集中的全部原始训练样本图像 的每张上均裁切下多个剔除图像块;同样地,选中的每张原始训练样本图像最少可以裁切下 一个剔除图像块,凡是裁切下剔除图像块的位置均用目标图像块补偿。此外,当一张原始训 练样本图像裁切下多个剔除图像块时,在负样本图像增强数据集中随机选取的多个目标图像 块有概率选取为全部相同的目标图像块或选取为部分相同的目标图像块,也就是说,每次选 取目标图像块时,负样本图像增强数据集的基数不变。上述的方式都是为了提升构造形成的 负样本图像的多样性。
图6为初始图像训练集中选取一张原始训练样本图像,以选取图3中的原始训练样本图 像为例,除了图3中原有的两个标注框(细虚线框)外,图6中还使用实线框标注出多个剔 除图像块的裁切位置。图7为按照图6中使用实线框标注出多个剔除图像块的裁切位置在图6 的原始训练样本图像上裁切下多个剔除图像块后的示意图。图8为图5中的负样本图像增强 数据集的多个错误目标图像块一一对应地补偿到图7中的裁切下剔除图像块的多个位置后, 形成的负样本图像。
以图6和图7的可选实施例为例,在各原始训练样本图像上裁切下相间隔的多个剔除图 像块,且相间隔的多个剔除图像块均与原始训练样本图像上框选目标对象的标注框相间隔。 这样使得在原始训练样本图像上裁切剔除图像块时不会与原有的框选目标对象的位置有交 集,从而不影响目标检测模型对正确的目标对象的识别率。
在另一个未图示的可选实施例中,在各原始训练样本图像上裁切下相邻的多个剔除图像 块,且相邻的多个剔除图像块均与原始训练样本图像上框选目标对象的标注框相间隔或相邻; 相邻的两个剔除图像块或剔除图像块与标注框之间的重叠面积为零。
为了增加负样本图像包含的错误目标对象的多样性,可选的,每张原始训练样本图像上 裁切下剔除图像块的个数大于等于3小于等于5;且裁切各剔除图像块的尺寸与任意一张原始 训练样本图像上框选目标对象的标注框相同。这样能够确保生成的图像训练集对初始目标检 测模型优化训练形成最终的目标检测模型的稳定性,有利于提升目标检测模型的识别检测率。
当然,在本发明的实施例中,如图6至图8所示,每张原始训练样本图像裁切各剔除图 像块的尺寸可以与原始训练样本图像上框选目标对象的标注框不同,这样是为了提升负样本 图像含带信息的丰富性。
在本实施例中,为了确保错误目标图像块对原始训练样本图像上的补偿目标位置完全覆 盖,且不会覆盖原始训练样本图像过多的固有信息,将随机选取的错误目标图像块缩放到与 其补偿目标位置处的剔除图像块的同等大小。
可选地,随机选取的错误目标图像块缩放后的尺寸大于与其补偿目标位置处的剔除图像 块的尺寸,以覆盖补偿目标位置。这样可以避免因错误目标图像块的尺寸小于原始训练样本 图像上的补偿目标位置而出现空白信息位置,影响对初始目标检测模型优化训练的精度。
需要说明的是,属性信息包括检测输出图像上形成的检测框的位置和尺寸,以及与其相 对应的原始训练样本图像上的标注框的位置和尺寸。以本发明的图示实施例为例,即比较图4 中的检测框与图3中的标注框的位置和尺寸。
需要说明的是,本发明还提供了一种存储介质,存储介质为计算机可读存储介质,存储 介质上存储有计算机程序指令,其中,程序指令被处理器执行时用于实现上述的基于图像数 据增强的图像训练集生成方法的步骤以及目标检测模型训练方法的步骤。本发明还提供了一 种电子设备,包括:处理器、存储器、通信元件和通信总线,处理器、存储器和通信元件通 过所述通信总线完成相互间的通信;存储器用于存放至少一可执行指令,可执行指令使处理 器执行如上述的基于图像数据增强的图像训练集生成方法的步骤以及目标检测模型训练方法 的步骤。本发明还提供了一种基于图像数据增强的图像训练集生成系统,包括:初始模型训 练模块,用于采集多张目标场景图像后使用标注框框选出其中的目标对象,以形成多张原始 训练样本图像,汇集多张原始训练样本图像构成初始图像训练集,并基于深度神经网络利用 初始图像训练集训练形成初始目标检测模型;重检测识别模块,用于使用初始目标检测模型 对初始图像训练集中的多张原始训练样本图像进行重检测,以形成一一对应的多张检测输出 图像;比较各检测输出图像上形成的检测框和与其相对应的原始训练样本图像上的标注框的 属性信息,以识别出检测输出图像上错误检测为目标对象的部分检测框,并将该部分检测框 框选的错误目标图像块裁切下汇集形成负样本图像增强数据集;负样本生成模块,用于选取 初始图像训练集中的至少一部分原始训练样本图像,在选中的每张原始训练样本图像上裁切 下至少一个剔除图像块,针对裁切下的每个剔除图像块,使用负样本图像增强数据集中随机 选取的一个错误目标图像块补偿在剔除图像块的原始位置处,以形成负样本图像;图像训练 集构造模块,用于将生成的所有负样本图像混合进入初始图像训练集中形成图像训练集,图 像训练集用于对初始目标检测模型优化训练。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使 用时,可以存储在上述计算机可读取的存储介质中。基于这样的理解,本发明的技术方案本 质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式 体现出来,该计算机软件产品存储在存储介质中,包括若干指令用以使得一台或多台计算机 设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或 部分步骤。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的 部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的客户端,可通过其它的方式实 现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,仅仅为一种逻 辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集 成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦 合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是 电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部 件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元 上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个 单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以 采用硬件的形式实现,也可以采用软件功能单元的形式实现。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员 来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等 同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于图像数据增强的图像训练集生成方法,其特征在于,包括:
步骤S1,采集多张目标场景图像后使用标注框框选出其中的目标对象,以形成多张原始训练样本图像,汇集多张所述原始训练样本图像构成初始图像训练集,并基于深度神经网络利用所述初始图像训练集训练形成初始目标检测模型;
步骤S2,使用所述初始目标检测模型对所述初始图像训练集中的多张所述原始训练样本图像进行重检测,以形成一一对应的多张检测输出图像;比较各所述检测输出图像上形成的检测框和与其相对应的所述原始训练样本图像上的标注框的属性信息,以识别出所述检测输出图像上错误检测为所述目标对象的部分所述检测框,并将该部分所述检测框框选的错误目标图像块裁切下汇集形成负样本图像增强数据集;
步骤S3,选取所述初始图像训练集中的至少一部分所述原始训练样本图像,在选中的每张所述原始训练样本图像上裁切下至少一个剔除图像块,针对裁切下的每个所述剔除图像块,使用所述负样本图像增强数据集中随机选取的一个所述错误目标图像块补偿在所述剔除图像块的原始位置处,以形成负样本图像;
步骤S4,将生成的所有所述负样本图像混合进入所述初始图像训练集中形成图像训练集,所述图像训练集用于对所述初始目标检测模型优化训练。
2.根据权利要求1所述的图像训练集生成方法,其特征在于,
在所述步骤S3中,选取所述初始图像训练集中的一部分所述原始训练样本图像,在选中的每张所述原始训练样本图像上裁切下多个所述剔除图像块,使用多个所述错误目标图像块一一对应地补偿在多个所述剔除图像块的原始位置处,以形成负样本图像;
在所述步骤S4中,将生成的所有所述负样本图像与所述初始图像训练集中的另一部分所述原始训练样本图像混合后形成所述图像训练集。
3.根据权利要求2所述的图像训练集生成方法,其特征在于,在各所述原始训练样本图像上裁切下相间隔的多个所述剔除图像块,且相间隔的多个所述剔除图像块均与所述原始训练样本图像上框选所述目标对象的所述标注框相间隔。
4.根据权利要求2所述的图像训练集生成方法,其特征在于,在各所述原始训练样本图像上裁切下相邻的多个所述剔除图像块,且相邻的多个所述剔除图像块均与所述原始训练样本图像上框选所述目标对象的所述标注框相间隔或相邻;相邻的两个所述剔除图像块或所述剔除图像块与所述标注框之间的重叠面积为零。
5.根据权利要求2所述的图像训练集生成方法,其特征在于,每张所述原始训练样本图像上裁切下所述剔除图像块的个数大于等于3小于等于5;且裁切各所述剔除图像块的尺寸与任意一张所述原始训练样本图像上框选所述目标对象的所述标注框相同。
6.根据权利要求1至5中任一项所述的图像训练集生成方法,其特征在于,将随机选取的所述错误目标图像块缩放到与其补偿目标位置处的所述剔除图像块的同等大小。
7.根据权利要求1至5中任一项所述的图像训练集生成方法,其特征在于,随机选取的所述错误目标图像块缩放后的尺寸大于与其补偿目标位置处的所述剔除图像块的尺寸,以覆盖所述补偿目标位置。
8.根据权利要求1所述的图像训练集生成方法,其特征在于,所述目标场景图像为同一个或不同的道路交通场景下采集的图像,所述目标对象为车牌或驾乘人员。
9.根据权利要求1所述的图像训练集生成方法,其特征在于,所述属性信息包括所述检测输出图像上形成的检测框的位置和尺寸,以及与其相对应的所述原始训练样本图像上的标注框的位置和尺寸。
10.一种目标检测模型训练方法,其特征在于,通过使用权利要求1至9中任一项所述的图像训练集生成方法获得的图像训练集对初始目标检测模型优化训练生成。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110617897.2A CN113361588B (zh) | 2021-06-03 | 2021-06-03 | 基于图像数据增强的图像训练集生成方法和模型训练方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110617897.2A CN113361588B (zh) | 2021-06-03 | 2021-06-03 | 基于图像数据增强的图像训练集生成方法和模型训练方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113361588A true CN113361588A (zh) | 2021-09-07 |
CN113361588B CN113361588B (zh) | 2024-06-25 |
Family
ID=77531569
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110617897.2A Active CN113361588B (zh) | 2021-06-03 | 2021-06-03 | 基于图像数据增强的图像训练集生成方法和模型训练方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113361588B (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113780474A (zh) * | 2021-09-30 | 2021-12-10 | 北京金山云网络技术有限公司 | 模型训练样本生成方法、装置、存储介质以及电子设备 |
CN113780472A (zh) * | 2021-09-29 | 2021-12-10 | 北京金山云网络技术有限公司 | 模型训练样本生成方法、装置、存储介质以及电子设备 |
CN114120220A (zh) * | 2021-10-29 | 2022-03-01 | 北京航天自动控制研究所 | 一种基于计算机视觉的目标检测方法和装置 |
CN114418898A (zh) * | 2022-03-21 | 2022-04-29 | 南湖实验室 | 一种基于目标重叠度计算和自适应调整的数据增强方法 |
CN114648814A (zh) * | 2022-02-25 | 2022-06-21 | 北京百度网讯科技有限公司 | 人脸活体检测方法及模型的训练方法、装置、设备及介质 |
CN114694150A (zh) * | 2022-05-31 | 2022-07-01 | 成都考拉悠然科技有限公司 | 一种提升数字图像分类模型泛化能力的方法及系统 |
CN115345321A (zh) * | 2022-10-19 | 2022-11-15 | 小米汽车科技有限公司 | 数据增广方法、装置、电子设备及存储介质 |
TWI816500B (zh) * | 2022-08-03 | 2023-09-21 | 和碩聯合科技股份有限公司 | 應用於模型再訓練之圖片選取方法 |
Citations (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011216069A (ja) * | 2010-03-16 | 2011-10-27 | Panasonic Corp | 物体識別装置、物体識別方法、及び、物体識別装置の学習方法 |
CN108830188A (zh) * | 2018-05-30 | 2018-11-16 | 西安理工大学 | 基于深度学习的车辆检测方法 |
CN108960314A (zh) * | 2018-06-26 | 2018-12-07 | 北京旷视科技有限公司 | 基于难样本的训练方法、装置及电子设备 |
CN109886341A (zh) * | 2019-02-25 | 2019-06-14 | 厦门美图之家科技有限公司 | 一种训练生成人脸检测模型的方法 |
CN109978044A (zh) * | 2019-03-20 | 2019-07-05 | 广州云测信息技术有限公司 | 训练数据生成方法和装置、以及模型的训练方法和装置 |
US20190377940A1 (en) * | 2018-06-12 | 2019-12-12 | Capillary Technologies International Pte Ltd | People detection system with feature space enhancement |
CN110796048A (zh) * | 2019-10-18 | 2020-02-14 | 武汉大学 | 一种基于深度神经网络的船舰目标实时检测方法 |
WO2020037960A1 (zh) * | 2018-08-21 | 2020-02-27 | 深圳大学 | 一种sar目标识别方法、装置、计算机设备及存储介质 |
WO2020051545A1 (en) * | 2018-09-07 | 2020-03-12 | Alibaba Group Holding Limited | Method and computer-readable storage medium for generating training samples for training a target detector |
CN110956255A (zh) * | 2019-11-26 | 2020-04-03 | 中国医学科学院肿瘤医院 | 难样本挖掘方法、装置、电子设备及计算机可读存储介质 |
CN111047576A (zh) * | 2019-12-12 | 2020-04-21 | 珠海博明视觉科技有限公司 | 一种表面缺陷样本生成工具 |
CN111159150A (zh) * | 2019-12-19 | 2020-05-15 | 北京文安智能技术股份有限公司 | 一种数据扩充方法及装置 |
CN111292349A (zh) * | 2020-01-17 | 2020-06-16 | 北京大学深圳研究生院 | 一种基于推荐候选框融合的用于目标检测的数据增强方法 |
CN111415293A (zh) * | 2020-03-12 | 2020-07-14 | 上海数川数据科技有限公司 | 基于图像目标-背景变换的数据集增强方法及系统 |
CN111860681A (zh) * | 2020-07-30 | 2020-10-30 | 江南大学 | 一种双注意力机制下的深度网络困难样本生成方法及应用 |
CN112149745A (zh) * | 2020-09-27 | 2020-12-29 | 上海高德威智能交通系统有限公司 | 确定难例样本的方法、装置、设备及存储介质 |
CN112419328A (zh) * | 2019-08-22 | 2021-02-26 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、电子设备和存储介质 |
CN112418108A (zh) * | 2020-11-25 | 2021-02-26 | 西北工业大学深圳研究院 | 一种基于样本重加权的遥感图像多类目标检测方法 |
US20210074046A1 (en) * | 2018-09-03 | 2021-03-11 | Tencent Technology (Shenzhen) Company Limited | Picture generation method and device, storage medium, and electronic device |
CN112668725A (zh) * | 2020-05-21 | 2021-04-16 | 广东顺德募优网络科技有限公司 | 一种基于改进特征的金属洗手盆缺陷目标训练方法 |
CN112734641A (zh) * | 2020-12-31 | 2021-04-30 | 百果园技术(新加坡)有限公司 | 目标检测模型的训练方法、装置、计算机设备及介质 |
CN112733886A (zh) * | 2020-12-24 | 2021-04-30 | 西人马帝言(北京)科技有限公司 | 样本图像的处理方法、装置、设备及存储介质 |
-
2021
- 2021-06-03 CN CN202110617897.2A patent/CN113361588B/zh active Active
Patent Citations (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011216069A (ja) * | 2010-03-16 | 2011-10-27 | Panasonic Corp | 物体識別装置、物体識別方法、及び、物体識別装置の学習方法 |
CN108830188A (zh) * | 2018-05-30 | 2018-11-16 | 西安理工大学 | 基于深度学习的车辆检测方法 |
US20190377940A1 (en) * | 2018-06-12 | 2019-12-12 | Capillary Technologies International Pte Ltd | People detection system with feature space enhancement |
CN108960314A (zh) * | 2018-06-26 | 2018-12-07 | 北京旷视科技有限公司 | 基于难样本的训练方法、装置及电子设备 |
WO2020037960A1 (zh) * | 2018-08-21 | 2020-02-27 | 深圳大学 | 一种sar目标识别方法、装置、计算机设备及存储介质 |
US20210074046A1 (en) * | 2018-09-03 | 2021-03-11 | Tencent Technology (Shenzhen) Company Limited | Picture generation method and device, storage medium, and electronic device |
WO2020051545A1 (en) * | 2018-09-07 | 2020-03-12 | Alibaba Group Holding Limited | Method and computer-readable storage medium for generating training samples for training a target detector |
CN109886341A (zh) * | 2019-02-25 | 2019-06-14 | 厦门美图之家科技有限公司 | 一种训练生成人脸检测模型的方法 |
CN109978044A (zh) * | 2019-03-20 | 2019-07-05 | 广州云测信息技术有限公司 | 训练数据生成方法和装置、以及模型的训练方法和装置 |
CN112419328A (zh) * | 2019-08-22 | 2021-02-26 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、电子设备和存储介质 |
CN110796048A (zh) * | 2019-10-18 | 2020-02-14 | 武汉大学 | 一种基于深度神经网络的船舰目标实时检测方法 |
CN110956255A (zh) * | 2019-11-26 | 2020-04-03 | 中国医学科学院肿瘤医院 | 难样本挖掘方法、装置、电子设备及计算机可读存储介质 |
CN111047576A (zh) * | 2019-12-12 | 2020-04-21 | 珠海博明视觉科技有限公司 | 一种表面缺陷样本生成工具 |
CN111159150A (zh) * | 2019-12-19 | 2020-05-15 | 北京文安智能技术股份有限公司 | 一种数据扩充方法及装置 |
CN111292349A (zh) * | 2020-01-17 | 2020-06-16 | 北京大学深圳研究生院 | 一种基于推荐候选框融合的用于目标检测的数据增强方法 |
CN111415293A (zh) * | 2020-03-12 | 2020-07-14 | 上海数川数据科技有限公司 | 基于图像目标-背景变换的数据集增强方法及系统 |
CN112668725A (zh) * | 2020-05-21 | 2021-04-16 | 广东顺德募优网络科技有限公司 | 一种基于改进特征的金属洗手盆缺陷目标训练方法 |
CN111860681A (zh) * | 2020-07-30 | 2020-10-30 | 江南大学 | 一种双注意力机制下的深度网络困难样本生成方法及应用 |
CN112149745A (zh) * | 2020-09-27 | 2020-12-29 | 上海高德威智能交通系统有限公司 | 确定难例样本的方法、装置、设备及存储介质 |
CN112418108A (zh) * | 2020-11-25 | 2021-02-26 | 西北工业大学深圳研究院 | 一种基于样本重加权的遥感图像多类目标检测方法 |
CN112733886A (zh) * | 2020-12-24 | 2021-04-30 | 西人马帝言(北京)科技有限公司 | 样本图像的处理方法、装置、设备及存储介质 |
CN112734641A (zh) * | 2020-12-31 | 2021-04-30 | 百果园技术(新加坡)有限公司 | 目标检测模型的训练方法、装置、计算机设备及介质 |
Non-Patent Citations (7)
Title |
---|
HAO WANG等: "Constrained Online Cut-Paste for Object Detection", 《IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY》, 21 December 2020 (2020-12-21), pages 4071 - 4083, XP011880711, DOI: 10.1109/TCSVT.2020.3045978 * |
HONGBO WANG等: "A Comprehensive Overview of Person Re-Identification Approaches", 《IEEE ACCESS》, 31 March 2020 (2020-03-31), pages 1 - 28 * |
HYEON-CHEOL SHIN 等: "Data Augmentation Method of Object Detection for Deep Learning in Maritime Image", 《2020 IEEE INTERNATIONAL CONFERENCE ON BIG DATA AND SMART COMPUTING (BIGCOMP)》, pages 1 - 4 * |
SYGOING: "数据增强之CutMix", pages 1 - 3, Retrieved from the Internet <URL:《https://blog.csdn.net/ouyangfushu/article/details/105575258》> * |
史晋涛 等: "基于样本扩充的Faster R-CNN电网异物监测技术", 《电网技术》, vol. 4, no. 1, pages 44 - 51 * |
蔡文杰: "基于特征增强和负样本挖掘的图像描述方法", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 02, 15 February 2021 (2021-02-15), pages 138 - 2057 * |
邹俊杰: "无人船航行环境感知方法研究", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》, no. 03, pages 036 - 81 * |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113780472A (zh) * | 2021-09-29 | 2021-12-10 | 北京金山云网络技术有限公司 | 模型训练样本生成方法、装置、存储介质以及电子设备 |
CN113780474A (zh) * | 2021-09-30 | 2021-12-10 | 北京金山云网络技术有限公司 | 模型训练样本生成方法、装置、存储介质以及电子设备 |
CN114120220A (zh) * | 2021-10-29 | 2022-03-01 | 北京航天自动控制研究所 | 一种基于计算机视觉的目标检测方法和装置 |
CN114648814A (zh) * | 2022-02-25 | 2022-06-21 | 北京百度网讯科技有限公司 | 人脸活体检测方法及模型的训练方法、装置、设备及介质 |
CN114418898A (zh) * | 2022-03-21 | 2022-04-29 | 南湖实验室 | 一种基于目标重叠度计算和自适应调整的数据增强方法 |
CN114418898B (zh) * | 2022-03-21 | 2022-07-26 | 南湖实验室 | 一种基于目标重叠度计算和自适应调整的数据增强方法 |
CN114694150A (zh) * | 2022-05-31 | 2022-07-01 | 成都考拉悠然科技有限公司 | 一种提升数字图像分类模型泛化能力的方法及系统 |
CN114694150B (zh) * | 2022-05-31 | 2022-10-21 | 成都考拉悠然科技有限公司 | 一种提升数字图像分类模型泛化能力的方法及系统 |
TWI816500B (zh) * | 2022-08-03 | 2023-09-21 | 和碩聯合科技股份有限公司 | 應用於模型再訓練之圖片選取方法 |
CN115345321A (zh) * | 2022-10-19 | 2022-11-15 | 小米汽车科技有限公司 | 数据增广方法、装置、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN113361588B (zh) | 2024-06-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113361588A (zh) | 基于图像数据增强的图像训练集生成方法和模型训练方法 | |
CN105930791B (zh) | 基于ds证据理论的多摄像头融合的路面交通标志识别方法 | |
CN108549864B (zh) | 面向车载热成像行人检测的感兴趣区域过滤方法和装置 | |
CN104951784B (zh) | 一种车辆无牌及车牌遮挡实时检测方法 | |
CN108073928B (zh) | 一种车牌识别方法及装置 | |
Tafazzoli et al. | A large and diverse dataset for improved vehicle make and model recognition | |
CN103870803A (zh) | 一种基于粗定位与精定位融合的车牌识别方法和系统 | |
CN111967429A (zh) | 一种基于主动学习的行人重识别模型训练方法及装置 | |
CN111400533B (zh) | 图像筛选方法、装置、电子设备和存储介质 | |
Islam et al. | Automatic vehicle number plate recognition using structured elements | |
CN111753592B (zh) | 交通标志识别方法、装置、计算机设备和存储介质 | |
CN104615986A (zh) | 利用多检测器对场景变化的视频图像进行行人检测的方法 | |
CN109508716B (zh) | 一种图像文字的定位方法及装置 | |
CN110738238A (zh) | 一种证件信息的分类定位方法及装置 | |
CN105469124A (zh) | 一种交通标志分类方法 | |
CN111429512B (zh) | 图像处理方法和装置、存储介质及处理器 | |
CN112528903B (zh) | 人脸图像获取方法、装置、电子设备及介质 | |
CN112508000B (zh) | 一种用于ocr图像识别模型训练数据生成的方法及设备 | |
Nienhüser et al. | Fast and reliable recognition of supplementary traffic signs | |
CN111553368A (zh) | 伪造车牌的识别方法、训练方法、装置、设备及存储介质 | |
Arifeen et al. | Traffic Accident Detection and Classification in Videos based on Deep Network Features | |
CN113743434A (zh) | 一种目标检测网络的训练方法、图像增广方法及装置 | |
Siddique et al. | Development of an automatic vehicle license plate detection and recognition system for Bangladesh | |
CN113989780A (zh) | 标志牌检测方法及装置 | |
CN114581900A (zh) | 用于视频字幕识别的方法及装置、电子设备、存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information | ||
CB02 | Change of applicant information |
Country or region after: China Address after: 1602, 16th Floor, Building 4, Zone 4, No. 81 Beiqing Road, Haidian District, Beijing, 100094 Applicant after: BEIJING VION INTELLIGENT TECHNOLOGY Co.,Ltd. Address before: Unit 801, Unit 5, No. 2 Building, 9 Yuan, Fenghao East Road, Haidian District, Beijing 100094 Applicant before: BEIJING VION INTELLIGENT TECHNOLOGY Co.,Ltd. Country or region before: China |
|
GR01 | Patent grant | ||
GR01 | Patent grant |