CN113361588A - 基于图像数据增强的图像训练集生成方法和模型训练方法 - Google Patents

基于图像数据增强的图像训练集生成方法和模型训练方法 Download PDF

Info

Publication number
CN113361588A
CN113361588A CN202110617897.2A CN202110617897A CN113361588A CN 113361588 A CN113361588 A CN 113361588A CN 202110617897 A CN202110617897 A CN 202110617897A CN 113361588 A CN113361588 A CN 113361588A
Authority
CN
China
Prior art keywords
image
target
training set
training
original
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110617897.2A
Other languages
English (en)
Inventor
陈映
曹松
任必为
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Vion Intelligent Technology Co ltd
Original Assignee
Beijing Vion Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Vion Intelligent Technology Co ltd filed Critical Beijing Vion Intelligent Technology Co ltd
Priority to CN202110617897.2A priority Critical patent/CN113361588A/zh
Publication of CN113361588A publication Critical patent/CN113361588A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于图像数据增强的图像训练集生成方法和模型训练方法，其中，图像训练集生成方法包括：构造初始图像训练集后训练初始目标检测模型；对原始训练样本图像进行重检测后输出检测输出图像；比较各检测输出图像上形成的检测框和原始训练样本图像上的标注框，将检测框框选的错误目标图像块裁切下；在选中的原始训练样本图像上裁切下剔除图像块，选取错误目标图像块补偿在剔除图像块的原始位置处形成负样本图像；混合进入初始图像训练集中形成图像训练集。本发明解决了利用现有技术中的数据增强方法扩充的图样训练集，能够提升训练出的目标检测模型的泛化能力，但无法提高目标检测模型对特定的目标对象的识别准确率的问题。

Description

基于图像数据增强的图像训练集生成方法和模型训练方法
技术领域
本发明涉及图像处理以及模型训练技术领域，具体而言，涉及一种基于图像数据增强的 图像训练集生成方法和模型训练方法。
背景技术
现有的计算机视觉领域中，通常使用基于深度学习的目标检测模型来进行决策，为了达 到对目标检测模型理想的训练效果，在模型训练过程中需要使用到包含有大量图像样本的图 像训练集，而在图像样本在数量不足的情况下，便需要采用数据增强的手段来扩充图像训练 集。
相关技术中，通常采用几何变换、颜色变化或混合样本数据增强生成难例的方式来获得 更多的图像样本数据，上述的几种数据增强方法虽然能够有效地扩充图样训练集，丰富图样 训练集中的图像样本数据多样性，提升训练出的目标检测模型的泛化能力；但对于提升目标 检测模型针对特定的目标对象的识别准确率则没有明显帮助，从而导致现有的目标检测模型 存在一定的使用局限性。例如，在道路交通场景中，对道路上行驶车辆的车牌或驾乘人员的 准确监控识别，直接影响到道路交通的综治管理的稳定性、道路交通运输的安全性，因此， 如何稳定地训练出对目标对象具备高精度识别的目标检测模型，便成了现有技术中亟待解决 的问题。
发明内容
本发明的主要目的在于提供一种基于图像数据增强的图像训练集生成方法和模型训练方 法，以解决利用现有技术中的数据增强方法扩充的图样训练集，能够提升训练出的目标检测 模型的泛化能力，但无法提高目标检测模型对特定的目标对象的识别准确率的问题。
为了实现上述目的，根据本发明的一个方面，提供了一种基于图像数据增强的图像训练 集生成方法，包括：步骤S1，采集多张目标场景图像后使用标注框框选出其中的目标对象， 以形成多张原始训练样本图像，汇集多张原始训练样本图像构成初始图像训练集，并基于深 度神经网络利用初始图像训练集训练形成初始目标检测模型；步骤S2，使用初始目标检测模 型对初始图像训练集中的多张原始训练样本图像进行重检测，以形成一一对应的多张检测输 出图像；比较各检测输出图像上形成的检测框和与其相对应的原始训练样本图像上的标注框 的属性信息，以识别出检测输出图像上错误检测为目标对象的部分检测框，并将该部分检测 框框选的错误目标图像块裁切下汇集形成负样本图像增强数据集；步骤S3，选取初始图像训 练集中的至少一部分原始训练样本图像，在选中的每张原始训练样本图像上裁切下至少一个 剔除图像块，针对裁切下的每个剔除图像块，使用负样本图像增强数据集中随机选取的一个 错误目标图像块补偿在剔除图像块的原始位置处，以形成负样本图像；步骤S4，将生成的所 有负样本图像混合进入初始图像训练集中形成图像训练集，图像训练集用于对初始目标检测 模型优化训练。
进一步地，在步骤S3中，选取初始图像训练集中的一部分原始训练样本图像，在选中的 每张原始训练样本图像上裁切下多个剔除图像块，使用多个错误目标图像块一一对应地补偿 在多个剔除图像块的原始位置处，以形成负样本图像；在步骤S4中，将生成的所有负样本图 像与初始图像训练集中的另一部分原始训练样本图像混合后形成图像训练集。
进一步地，在各原始训练样本图像上裁切下相间隔的多个剔除图像块，且相间隔的多个 剔除图像块均与原始训练样本图像上框选目标对象的标注框相间隔。
进一步地，在各原始训练样本图像上裁切下相邻的多个剔除图像块，且相邻的多个剔除 图像块均与原始训练样本图像上框选目标对象的标注框相间隔或相邻；相邻的两个剔除图像 块或剔除图像块与标注框之间的重叠面积为零。
进一步地，每张原始训练样本图像上裁切下剔除图像块的个数大于等于3小于等于5；且 裁切各剔除图像块的尺寸与任意一张原始训练样本图像上框选目标对象的标注框相同。
进一步地，将随机选取的错误目标图像块缩放到与其补偿目标位置处的剔除图像块的同 等大小。
进一步地，随机选取的错误目标图像块缩放后的尺寸大于与其补偿目标位置处的剔除图 像块的尺寸，以覆盖补偿目标位置。
进一步地，目标场景图像为同一个或不同的道路交通场景下采集的图像，目标对象为车 牌或驾乘人员。
进一步地，属性信息包括检测输出图像上形成的检测框的位置和尺寸，以及与其相对应 的原始训练样本图像上的标注框的位置和尺寸。
根据本发明的另一方面，提供了一种目标检测模型训练方法，通过使用上述的图像训练 集生成方法获得的图像训练集对初始目标检测模型优化训练生成。
应用本发明的技术方案，在初始图像训练集的基础上进行了针对性的混合样本的数据增 强，将初始图像训练集中的至少一部分原始训练样本图像进行局部替换以形成用于对初始目 标检测模型优化训练的特定的负样本图像，其中，局部替换为使用初始目标检测模型重检测 初始图像训练集后，将原始训练样本图像上的非目标对象错误检测为目标对象的部分裁切下 (错误目标图像块)随机替换选中的原始训练样本图像的任意部分，构造形成负样本图像， 使得负样本图像中至少含有了初始目标检测模型错误检测为目标对象的部分，从而在对初始 目标检测模型优化训练过程中更有利于其针对性地增强记忆训练。
本发明通过控制负样本图像与原始训练样本图像混合形成的图像训练集的训练样本数 量，解决了因训练数据不足而产生的模型训练中的过拟合的问题，有利于调节分类网络训练 的难易程度，提升深度学习分类网络的泛化能力；本发明还通过调整负样本图像与原始训练 样本图像的配比，避免了过多的作为简单样本的原始训练样本图像对模型训练造成的时间与 算例消耗，有利于针对性地加深初始目标检测模型对特定错误信息的记忆，使目标检测模型 更好更快地收敛；在指定目标场景的情况下，大大地提升了利用图像训练集优化训练出的目 标检测模型对目标对象的识别精确性，进而确保了目标检测模型的实用性。
附图说明
构成本申请的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实 施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1示出了根据本发明的一种可选实施例的图像训练集生成方法的流程图；
图2示出了根据本发明的图像训练集生成方法采集到的道路交通场景的一张可选的目标 场景图像；
图3示出了使用标注框框选出图2中的目标场景图像中的目标对象后形成的原始训练样 本图像；
图4示出了使用初始目标检测模型对图3中的原始训练样本图像进行重检测后形成的检 测输出图像；
图5示出了根据本发明的图像训练集生成方法形成的一种可选实施例的负样本图像增强 数据集的示意图，其中包含了图4中的检测输出图像上裁切下的错误目标图像块；
图6示出了根据本发明的图像训练集生成方法形成的初始图像训练集中选取一张原始训 练样本图像(本实施例以选取图3中的原始训练样本图像为例)后，在其上标注多个剔除图 像块的裁切位置的示意图；
图7示出了将图6中的裁切位置处的多个剔除图像块裁切后的示意图；
图8示出了使用图5中的负样本图像增强数据集的多个错误目标图像块一一对应地补偿 到图7中的裁切下剔除图像块的多个位置后，形成的负样本图像。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。 下面将参考附图并结合实施例来详细说明本发明。
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图， 对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明 一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没 有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等 是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据 在适当情况下可以互换，以便这里描述的本发明的实施例。此外，术语“包括”、“和”、“具 有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的 过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清 楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为了解决利用现有技术中的数据增强方法扩充的图样训练集，能够提升训练出的目标检 测模型的泛化能力，但无法提高目标检测模型对特定的目标对象的识别准确率的问题。本发 明提供了一种基于图像数据增强的图像训练集生成方法和模型训练方法，其中，模型训练方 法为目标检测模型训练方法，通过上述和下述的图像训练集生成方法获得的图像训练集对初 始目标检测模型优化训练生成。
图1是根据本发明实施例的基于图像数据增强的图像训练集生成方法的流程图。如图1 所示，该图像训练集生成方法包括：步骤S1，采集多张目标场景图像后使用标注框框选出其 中的目标对象，以形成多张原始训练样本图像，汇集多张原始训练样本图像构成初始图像训 练集，并基于深度神经网络利用初始图像训练集训练形成初始目标检测模型；步骤S2，使用 初始目标检测模型对初始图像训练集中的多张原始训练样本图像进行重检测，以形成一一对 应的多张检测输出图像；比较各检测输出图像上形成的检测框和与其相对应的原始训练样本 图像上的标注框的属性信息，以识别出检测输出图像上错误检测为目标对象的部分检测框， 并将该部分检测框框选的错误目标图像块裁切下汇集形成负样本图像增强数据集；步骤S3， 选取初始图像训练集中的至少一部分原始训练样本图像，在选中的每张原始训练样本图像上 裁切下至少一个剔除图像块，针对裁切下的每个剔除图像块，使用负样本图像增强数据集中 随机选取的一个错误目标图像块补偿在剔除图像块的原始位置处，以形成负样本图像；步骤 S4，将生成的所有负样本图像混合进入初始图像训练集中形成图像训练集，图像训练集用于 对初始目标检测模型优化训练。
应用本发明的技术方案，在初始图像训练集的基础上进行了针对性的混合样本的数据增 强，将初始图像训练集中的至少一部分原始训练样本图像进行局部替换以形成用于对初始目 标检测模型优化训练的特定的负样本图像，其中，局部替换为使用初始目标检测模型重检测 初始图像训练集后，将原始训练样本图像上的非目标对象错误检测为目标对象的部分裁切下 (错误目标图像块)随机替换选中的原始训练样本图像的任意部分，构造形成负样本图像， 使得负样本图像中至少含有了初始目标检测模型错误检测为目标对象的部分，从而在对初始 目标检测模型优化训练过程中更有利于其针对性地增强记忆训练。
本发明通过控制负样本图像与原始训练样本图像混合形成的图像训练集的训练样本数 量，解决了因训练数据不足而产生的模型训练中的过拟合的问题，有利于调节分类网络训练 的难易程度，提升深度学习分类网络的泛化能力；本发明还通过调整负样本图像与原始训练 样本图像的配比，避免了过多的作为简单样本的原始训练样本图像对模型训练造成的时间与 算例消耗，有利于针对性地加深初始目标检测模型对特定错误信息的记忆，使目标检测模型 更好更快地收敛；在指定目标场景的情况下，大大地提升了利用图像训练集优化训练出的目 标检测模型对目标对象的识别精确性，进而确保了目标检测模型的实用性。
本发明的技术方案将初始图像训练集改造形成最终的图像训练集，使用混合样本的数据 增强的方式对初始图像训练集中的至少一部分原始训练样本图像进行了改造，具体手段为 CutMix，但是本发明的技术方案与现有的CutMix又有明显区别，现有的CutMix通常仅是为 了在图像训练集的图像样本数量不足的情况下，快速增加图像样本数量，丰富图像样本集， 通常采用的方式是从图像训练集中随机抽取两个图像样本进行简单的融合而合成新的难例图 像样本，完全没有考虑目标检测模型对图像样本中非目标对象的错误识别的问题，从而合成 的新的难例图像样本对目标检测模型的检测精确性的提升无用，无法解决本发明的技术方案 所解决的技术问题。
需要说明的是，本申请的技术方案能够广泛应用于道路交通场景下训练的用于对车牌或 驾乘人员进行识别检测的目标检测模型。也就是说，优选地，目标场景图像为同一个或不同 的道路交通场景下采集的图像，目标对象为车牌或驾乘人员。
如图2至图8所示，给出了一个优选的图示实施例的基于图像数据增强的图像训练集生 成方法中对原始训练样本图像改造形成负样本图像的全过程。在本实施例中的目标场景图像 为同一个道路交通场景，目标对象为车牌。
如图2所示，为采集到的道路交通场景的一张可选的目标场景图像，该目标场景图像捕 捉到了公路上并行的两辆公共汽车的局部，以公共汽车的尾部为主，两辆公共汽车的尾部底 端均安装有车牌，此车牌便为目标检测模型识别检测的目标对象；需要说明的是，车牌上的 标识文字和数字仅为该实施例中的代表，不限定为具体的文字或数字。
如图3所示，使用标注框对作为目标对象的车牌进行框选，标注框为图中的细虚线框， 即框选了两辆公共汽车的尾部底端的车牌。图3便为初始图像训练集中的一张原始训练样本 图像。
图4为使用了初始目标检测模型对图3中的原始训练样本图像进行重检测后形成的检测 输出图像；图4中，除了图3中原有的标注框框选的两个车牌被初始目标检测模型识别检测 出，初始目标检测模型还错误得将图3中左侧的公共汽车的尾部底端右侧的喷涂数字“5057” 检测为作为目标对象的车牌，在图4中用粗虚线框标注出加以区分，也就是说，图4中出现 了3个检测框(2个细虚线框和1个粗虚线框)，将图4的检测输出图像的检测框与图3中的 原始训练样本图像的标注框，得知图4中用粗虚线框便为错误检测为作为目标对象的车牌的 检测框，其框选区域被裁切下的错误目标图像块汇集进入负样本图像增强数据集。
需要说明的是，初始目标检测模型对原始训练样本图像进行重检测后形成的检测输出图 像可能会出现无法识别检测出原始训练样本图像上的目标对象，即存在漏检的问题，但这不 会影响到比较检测输出图像上形成的检测框和与其相对应的原始训练样本图像上的标注框的 属性信息的结果。
如图5所示，为一种可选实施例的负样本图像增强数据集，其中仅示出了负样本图像增 强数据集中的一部分负样本，其中恰好包含了图4中的检测输出图像上裁切下的错误目标图 像块。
在本发明的优选实施例中，在步骤S3中，选取初始图像训练集中的一部分原始训练样本 图像，在选中的每张原始训练样本图像上裁切下多个剔除图像块，使用多个错误目标图像块 一一对应地补偿在多个剔除图像块的原始位置处，以形成负样本图像；在步骤S4中，将生成 的所有负样本图像与初始图像训练集中的另一部分原始训练样本图像混合后形成图像训练 集。
当然，在一种特定实施例方案中，也可以将初始图像训练集中的全部原始训练样本图像 的每张上均裁切下多个剔除图像块；同样地，选中的每张原始训练样本图像最少可以裁切下 一个剔除图像块，凡是裁切下剔除图像块的位置均用目标图像块补偿。此外，当一张原始训 练样本图像裁切下多个剔除图像块时，在负样本图像增强数据集中随机选取的多个目标图像 块有概率选取为全部相同的目标图像块或选取为部分相同的目标图像块，也就是说，每次选 取目标图像块时，负样本图像增强数据集的基数不变。上述的方式都是为了提升构造形成的 负样本图像的多样性。
图6为初始图像训练集中选取一张原始训练样本图像，以选取图3中的原始训练样本图 像为例，除了图3中原有的两个标注框(细虚线框)外，图6中还使用实线框标注出多个剔 除图像块的裁切位置。图7为按照图6中使用实线框标注出多个剔除图像块的裁切位置在图6 的原始训练样本图像上裁切下多个剔除图像块后的示意图。图8为图5中的负样本图像增强 数据集的多个错误目标图像块一一对应地补偿到图7中的裁切下剔除图像块的多个位置后， 形成的负样本图像。
以图6和图7的可选实施例为例，在各原始训练样本图像上裁切下相间隔的多个剔除图 像块，且相间隔的多个剔除图像块均与原始训练样本图像上框选目标对象的标注框相间隔。 这样使得在原始训练样本图像上裁切剔除图像块时不会与原有的框选目标对象的位置有交 集，从而不影响目标检测模型对正确的目标对象的识别率。
在另一个未图示的可选实施例中，在各原始训练样本图像上裁切下相邻的多个剔除图像 块，且相邻的多个剔除图像块均与原始训练样本图像上框选目标对象的标注框相间隔或相邻； 相邻的两个剔除图像块或剔除图像块与标注框之间的重叠面积为零。
为了增加负样本图像包含的错误目标对象的多样性，可选的，每张原始训练样本图像上 裁切下剔除图像块的个数大于等于3小于等于5；且裁切各剔除图像块的尺寸与任意一张原始 训练样本图像上框选目标对象的标注框相同。这样能够确保生成的图像训练集对初始目标检 测模型优化训练形成最终的目标检测模型的稳定性，有利于提升目标检测模型的识别检测率。
当然，在本发明的实施例中，如图6至图8所示，每张原始训练样本图像裁切各剔除图 像块的尺寸可以与原始训练样本图像上框选目标对象的标注框不同，这样是为了提升负样本 图像含带信息的丰富性。
在本实施例中，为了确保错误目标图像块对原始训练样本图像上的补偿目标位置完全覆 盖，且不会覆盖原始训练样本图像过多的固有信息，将随机选取的错误目标图像块缩放到与 其补偿目标位置处的剔除图像块的同等大小。
可选地，随机选取的错误目标图像块缩放后的尺寸大于与其补偿目标位置处的剔除图像 块的尺寸，以覆盖补偿目标位置。这样可以避免因错误目标图像块的尺寸小于原始训练样本 图像上的补偿目标位置而出现空白信息位置，影响对初始目标检测模型优化训练的精度。
需要说明的是，属性信息包括检测输出图像上形成的检测框的位置和尺寸，以及与其相 对应的原始训练样本图像上的标注框的位置和尺寸。以本发明的图示实施例为例，即比较图4 中的检测框与图3中的标注框的位置和尺寸。
需要说明的是，本发明还提供了一种存储介质，存储介质为计算机可读存储介质，存储 介质上存储有计算机程序指令，其中，程序指令被处理器执行时用于实现上述的基于图像数 据增强的图像训练集生成方法的步骤以及目标检测模型训练方法的步骤。本发明还提供了一 种电子设备，包括：处理器、存储器、通信元件和通信总线，处理器、存储器和通信元件通 过所述通信总线完成相互间的通信；存储器用于存放至少一可执行指令，可执行指令使处理 器执行如上述的基于图像数据增强的图像训练集生成方法的步骤以及目标检测模型训练方法 的步骤。本发明还提供了一种基于图像数据增强的图像训练集生成系统，包括：初始模型训 练模块，用于采集多张目标场景图像后使用标注框框选出其中的目标对象，以形成多张原始 训练样本图像，汇集多张原始训练样本图像构成初始图像训练集，并基于深度神经网络利用 初始图像训练集训练形成初始目标检测模型；重检测识别模块，用于使用初始目标检测模型 对初始图像训练集中的多张原始训练样本图像进行重检测，以形成一一对应的多张检测输出 图像；比较各检测输出图像上形成的检测框和与其相对应的原始训练样本图像上的标注框的 属性信息，以识别出检测输出图像上错误检测为目标对象的部分检测框，并将该部分检测框 框选的错误目标图像块裁切下汇集形成负样本图像增强数据集；负样本生成模块，用于选取 初始图像训练集中的至少一部分原始训练样本图像，在选中的每张原始训练样本图像上裁切 下至少一个剔除图像块，针对裁切下的每个剔除图像块，使用负样本图像增强数据集中随机 选取的一个错误目标图像块补偿在剔除图像块的原始位置处，以形成负样本图像；图像训练 集构造模块，用于将生成的所有负样本图像混合进入初始图像训练集中形成图像训练集，图 像训练集用于对初始目标检测模型优化训练。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使 用时，可以存储在上述计算机可读取的存储介质中。基于这样的理解，本发明的技术方案本 质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式 体现出来，该计算机软件产品存储在存储介质中，包括若干指令用以使得一台或多台计算机 设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或 部分步骤。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的 部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的客户端，可通过其它的方式实 现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻 辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集 成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦 合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是 电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部 件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元 上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个 单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以 采用硬件的形式实现，也可以采用软件功能单元的形式实现。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员 来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等 同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于图像数据增强的图像训练集生成方法，其特征在于，包括：
步骤S1，采集多张目标场景图像后使用标注框框选出其中的目标对象，以形成多张原始训练样本图像，汇集多张所述原始训练样本图像构成初始图像训练集，并基于深度神经网络利用所述初始图像训练集训练形成初始目标检测模型；
步骤S2，使用所述初始目标检测模型对所述初始图像训练集中的多张所述原始训练样本图像进行重检测，以形成一一对应的多张检测输出图像；比较各所述检测输出图像上形成的检测框和与其相对应的所述原始训练样本图像上的标注框的属性信息，以识别出所述检测输出图像上错误检测为所述目标对象的部分所述检测框，并将该部分所述检测框框选的错误目标图像块裁切下汇集形成负样本图像增强数据集；
步骤S3，选取所述初始图像训练集中的至少一部分所述原始训练样本图像，在选中的每张所述原始训练样本图像上裁切下至少一个剔除图像块，针对裁切下的每个所述剔除图像块，使用所述负样本图像增强数据集中随机选取的一个所述错误目标图像块补偿在所述剔除图像块的原始位置处，以形成负样本图像；
步骤S4，将生成的所有所述负样本图像混合进入所述初始图像训练集中形成图像训练集，所述图像训练集用于对所述初始目标检测模型优化训练。
2.根据权利要求1所述的图像训练集生成方法，其特征在于，
在所述步骤S3中，选取所述初始图像训练集中的一部分所述原始训练样本图像，在选中的每张所述原始训练样本图像上裁切下多个所述剔除图像块，使用多个所述错误目标图像块一一对应地补偿在多个所述剔除图像块的原始位置处，以形成负样本图像；
在所述步骤S4中，将生成的所有所述负样本图像与所述初始图像训练集中的另一部分所述原始训练样本图像混合后形成所述图像训练集。
3.根据权利要求2所述的图像训练集生成方法，其特征在于，在各所述原始训练样本图像上裁切下相间隔的多个所述剔除图像块，且相间隔的多个所述剔除图像块均与所述原始训练样本图像上框选所述目标对象的所述标注框相间隔。
4.根据权利要求2所述的图像训练集生成方法，其特征在于，在各所述原始训练样本图像上裁切下相邻的多个所述剔除图像块，且相邻的多个所述剔除图像块均与所述原始训练样本图像上框选所述目标对象的所述标注框相间隔或相邻；相邻的两个所述剔除图像块或所述剔除图像块与所述标注框之间的重叠面积为零。
5.根据权利要求2所述的图像训练集生成方法，其特征在于，每张所述原始训练样本图像上裁切下所述剔除图像块的个数大于等于3小于等于5；且裁切各所述剔除图像块的尺寸与任意一张所述原始训练样本图像上框选所述目标对象的所述标注框相同。
6.根据权利要求1至5中任一项所述的图像训练集生成方法，其特征在于，将随机选取的所述错误目标图像块缩放到与其补偿目标位置处的所述剔除图像块的同等大小。
7.根据权利要求1至5中任一项所述的图像训练集生成方法，其特征在于，随机选取的所述错误目标图像块缩放后的尺寸大于与其补偿目标位置处的所述剔除图像块的尺寸，以覆盖所述补偿目标位置。
8.根据权利要求1所述的图像训练集生成方法，其特征在于，所述目标场景图像为同一个或不同的道路交通场景下采集的图像，所述目标对象为车牌或驾乘人员。
9.根据权利要求1所述的图像训练集生成方法，其特征在于，所述属性信息包括所述检测输出图像上形成的检测框的位置和尺寸，以及与其相对应的所述原始训练样本图像上的标注框的位置和尺寸。
10.一种目标检测模型训练方法，其特征在于，通过使用权利要求1至9中任一项所述的图像训练集生成方法获得的图像训练集对初始目标检测模型优化训练生成。
CN202110617897.2A 2021-06-03 2021-06-03 基于图像数据增强的图像训练集生成方法和模型训练方法 Pending CN113361588A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110617897.2A CN113361588A (zh) 2021-06-03 2021-06-03 基于图像数据增强的图像训练集生成方法和模型训练方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110617897.2A CN113361588A (zh) 2021-06-03 2021-06-03 基于图像数据增强的图像训练集生成方法和模型训练方法

Publications (1)

Publication Number Publication Date
CN113361588A true CN113361588A (zh) 2021-09-07

Family

ID=77531569

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110617897.2A Pending CN113361588A (zh) 2021-06-03 2021-06-03 基于图像数据增强的图像训练集生成方法和模型训练方法

Country Status (1)

Country Link
CN (1) CN113361588A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113780472A (zh) * 2021-09-29 2021-12-10 北京金山云网络技术有限公司 模型训练样本生成方法、装置、存储介质以及电子设备
CN114418898A (zh) * 2022-03-21 2022-04-29 南湖实验室 一种基于目标重叠度计算和自适应调整的数据增强方法
CN114648814A (zh) * 2022-02-25 2022-06-21 北京百度网讯科技有限公司 人脸活体检测方法及模型的训练方法、装置、设备及介质
CN114694150A (zh) * 2022-05-31 2022-07-01 成都考拉悠然科技有限公司 一种提升数字图像分类模型泛化能力的方法及系统
CN115345321A (zh) * 2022-10-19 2022-11-15 小米汽车科技有限公司 数据增广方法、装置、电子设备及存储介质
TWI816500B (zh) * 2022-08-03 2023-09-21 和碩聯合科技股份有限公司 應用於模型再訓練之圖片選取方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011216069A (ja) * 2010-03-16 2011-10-27 Panasonic Corp 物体識別装置、物体識別方法、及び、物体識別装置の学習方法
CN108830188A (zh) * 2018-05-30 2018-11-16 西安理工大学 基于深度学习的车辆检测方法
CN109886341A (zh) * 2019-02-25 2019-06-14 厦门美图之家科技有限公司 一种训练生成人脸检测模型的方法
US20190377940A1 (en) * 2018-06-12 2019-12-12 Capillary Technologies International Pte Ltd People detection system with feature space enhancement
CN110796048A (zh) * 2019-10-18 2020-02-14 武汉大学 一种基于深度神经网络的船舰目标实时检测方法
WO2020037960A1 (zh) * 2018-08-21 2020-02-27 深圳大学 一种sar目标识别方法、装置、计算机设备及存储介质
CN111047576A (zh) * 2019-12-12 2020-04-21 珠海博明视觉科技有限公司 一种表面缺陷样本生成工具
CN111292349A (zh) * 2020-01-17 2020-06-16 北京大学深圳研究生院 一种基于推荐候选框融合的用于目标检测的数据增强方法
CN111415293A (zh) * 2020-03-12 2020-07-14 上海数川数据科技有限公司 基于图像目标-背景变换的数据集增强方法及系统
CN112668725A (zh) * 2020-05-21 2021-04-16 广东顺德募优网络科技有限公司 一种基于改进特征的金属洗手盆缺陷目标训练方法
CN112734641A (zh) * 2020-12-31 2021-04-30 百果园技术(新加坡)有限公司 目标检测模型的训练方法、装置、计算机设备及介质

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011216069A (ja) * 2010-03-16 2011-10-27 Panasonic Corp 物体識別装置、物体識別方法、及び、物体識別装置の学習方法
CN108830188A (zh) * 2018-05-30 2018-11-16 西安理工大学 基于深度学习的车辆检测方法
US20190377940A1 (en) * 2018-06-12 2019-12-12 Capillary Technologies International Pte Ltd People detection system with feature space enhancement
WO2020037960A1 (zh) * 2018-08-21 2020-02-27 深圳大学 一种sar目标识别方法、装置、计算机设备及存储介质
CN109886341A (zh) * 2019-02-25 2019-06-14 厦门美图之家科技有限公司 一种训练生成人脸检测模型的方法
CN110796048A (zh) * 2019-10-18 2020-02-14 武汉大学 一种基于深度神经网络的船舰目标实时检测方法
CN111047576A (zh) * 2019-12-12 2020-04-21 珠海博明视觉科技有限公司 一种表面缺陷样本生成工具
CN111292349A (zh) * 2020-01-17 2020-06-16 北京大学深圳研究生院 一种基于推荐候选框融合的用于目标检测的数据增强方法
CN111415293A (zh) * 2020-03-12 2020-07-14 上海数川数据科技有限公司 基于图像目标-背景变换的数据集增强方法及系统
CN112668725A (zh) * 2020-05-21 2021-04-16 广东顺德募优网络科技有限公司 一种基于改进特征的金属洗手盆缺陷目标训练方法
CN112734641A (zh) * 2020-12-31 2021-04-30 百果园技术(新加坡)有限公司 目标检测模型的训练方法、装置、计算机设备及介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
HYEON-CHEOL SHIN 等: "Data Augmentation Method of Object Detection for Deep Learning in Maritime Image", 《2020 IEEE INTERNATIONAL CONFERENCE ON BIG DATA AND SMART COMPUTING (BIGCOMP)》, pages 1 - 4 *
史晋涛 等: "基于样本扩充的Faster R-CNN电网异物监测技术", 《电网技术》, vol. 4, no. 1, pages 44 - 51 *
邹俊杰: "无人船航行环境感知方法研究", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》, no. 03, pages 036 - 81 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113780472A (zh) * 2021-09-29 2021-12-10 北京金山云网络技术有限公司 模型训练样本生成方法、装置、存储介质以及电子设备
CN114648814A (zh) * 2022-02-25 2022-06-21 北京百度网讯科技有限公司 人脸活体检测方法及模型的训练方法、装置、设备及介质
CN114418898A (zh) * 2022-03-21 2022-04-29 南湖实验室 一种基于目标重叠度计算和自适应调整的数据增强方法
CN114418898B (zh) * 2022-03-21 2022-07-26 南湖实验室 一种基于目标重叠度计算和自适应调整的数据增强方法
CN114694150A (zh) * 2022-05-31 2022-07-01 成都考拉悠然科技有限公司 一种提升数字图像分类模型泛化能力的方法及系统
CN114694150B (zh) * 2022-05-31 2022-10-21 成都考拉悠然科技有限公司 一种提升数字图像分类模型泛化能力的方法及系统
TWI816500B (zh) * 2022-08-03 2023-09-21 和碩聯合科技股份有限公司 應用於模型再訓練之圖片選取方法
CN115345321A (zh) * 2022-10-19 2022-11-15 小米汽车科技有限公司 数据增广方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN113361588A (zh) 基于图像数据增强的图像训练集生成方法和模型训练方法
CN108549864B (zh) 面向车载热成像行人检测的感兴趣区域过滤方法和装置
Xu et al. Detection of sudden pedestrian crossings for driving assistance systems
CN104951784B (zh) 一种车辆无牌及车牌遮挡实时检测方法
CN108073928B (zh) 一种车牌识别方法及装置
Tafazzoli et al. A large and diverse dataset for improved vehicle make and model recognition
Han et al. Robust traffic sign recognition with feature extraction and k-NN classification methods
CN111967429A (zh) 一种基于主动学习的行人重识别模型训练方法及装置
Islam et al. Automatic vehicle number plate recognition using structured elements
CN111400533B (zh) 图像筛选方法、装置、电子设备和存储介质
CN104615986A (zh) 利用多检测器对场景变化的视频图像进行行人检测的方法
CN110738238A (zh) 一种证件信息的分类定位方法及装置
CN105469124A (zh) 一种交通标志分类方法
CN111429512B (zh) 图像处理方法和装置、存储介质及处理器
CN111753592A (zh) 交通标志识别方法、装置、计算机设备和存储介质
CN109508716B (zh) 一种图像文字的定位方法及装置
CN112528903B (zh) 人脸图像获取方法、装置、电子设备及介质
CN112508000B (zh) 一种用于ocr图像识别模型训练数据生成的方法及设备
Nienhüser et al. Fast and reliable recognition of supplementary traffic signs
CN113743434A (zh) 一种目标检测网络的训练方法、图像增广方法及装置
JP5327241B2 (ja) 物体識別装置
CN113989780A (zh) 标志牌检测方法及装置
Muller-Schneiders et al. Performance evaluation of a real time traffic sign recognition system
CN114581900A (zh) 用于视频字幕识别的方法及装置、电子设备、存储介质
CN110533034B (zh) 一种汽车前脸品牌分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination