CN109544468A - 一种图像数据扩增方法 - Google Patents

一种图像数据扩增方法 Download PDF

Info

Publication number
CN109544468A
CN109544468A CN201811309890.9A CN201811309890A CN109544468A CN 109544468 A CN109544468 A CN 109544468A CN 201811309890 A CN201811309890 A CN 201811309890A CN 109544468 A CN109544468 A CN 109544468A
Authority
CN
China
Prior art keywords
image
noise jamming
sample
category
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811309890.9A
Other languages
English (en)
Other versions
CN109544468B (zh
Inventor
熊继平
叶灵枫
叶童
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Normal University CJNU
Original Assignee
Zhejiang Normal University CJNU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Normal University CJNU filed Critical Zhejiang Normal University CJNU
Priority to CN201811309890.9A priority Critical patent/CN109544468B/zh
Publication of CN109544468A publication Critical patent/CN109544468A/zh
Application granted granted Critical
Publication of CN109544468B publication Critical patent/CN109544468B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种图像数据扩增方法，针对深度学习中目标检测样本不均衡问题，通过增加少样本(样本数量较少的类别)的数据量，避免该问题产生的过拟合现象，提高训练后的模型泛化能力，同时能够减少前期图像数据的采集量以及预处理工作量。该方法包括：确定所需扩增图像类别，通过标注软件提取该图像中的类别标记框，确定其目标区域和噪声干扰区域，改变噪声干扰区域的像素值，生成新的样本。通过该方法可以利用已有样本生成新的样本，在突出目标特征的同时减少噪声特征对模型的干扰，以及生成的新样本不需要再重新进行预处理，可直接进行检测模型的训练。

Description

一种图像数据扩增方法
技术领域
本发明涉及数据扩增技术，尤其涉及基于深度学习目标检测的一种图像数据扩增方法。
背景技术
深度学习在针对目标检测这个问题上，相对于传统方法来说它的检测速度更快，精确度也更高，同时深度学习不需要进行复杂的特征工程，直接将数据集传递给网络即可。因此，深度学习非常依赖数据样本，数据量越大，深度学习训练得到的模型的性能就越好，如何获取到大量的样本数据也是深度学习关注的重点之一。
不可避免的是样本数据的采集具有相当的繁琐度，需要花费大量的时间、人力和物力，同时采集到的各个类别样本数量不均衡也会导致模型产生过拟合的问题，这就需要深度学习在模型训练前进行复杂的数据校验，同时在进行数据预处理时，也需要花费大量的时间对样本进行标记，随着数据集数量的增加所需花费的时间也随之增加，这极大的影响了模型训练的周期。
图像扩增技术对深度学习中目标检测有着积极的作用，它能够增加各类别的数据量，使各类别保持平衡，避免样本不均衡带来的过拟合问题，同时也能够在一定程度上减少前期样本采集的数据量。现阶段常见的图像扩增方法有图像旋转、随机添加噪声、对图像做一些弹性畸变以及截取原始图像的一部分等。
其中随机添加噪声的方法能够在短时间内进行大批量的扩增数据，相较于其它方法，它的实现更方便，生成的样本具有随机性，因此它的适用性更强。它通过对图像中的每个像素RGB进行随机变化从而生成新的样本，通常使用的噪声是椒盐噪声和高斯噪声。该方法虽然通过改变像素值能在一定程度上增加模型的泛化能力，但是因为并没有区分背景区域和目标区域，在图像各位置上随机添加噪声是等可能的，这会导致在增强模型识别泛化能力的同时，也增强了背景带来的干扰问题，其次若像素发生变化的区域是类别的特征所在区域，这会影响模型的学习，在检测时会降低模型的识别率。
上述的图像数据扩增方法，能够在某些任务中实现对数据规模的扩大，减少样本数据不平衡带来的问题。但是在数据扩增的过程中，只是单纯的增加了数据规模，并没有区分图像中目标区域和噪声区域，在增加类别图像数据的同时，噪声区域部分也被扩增了，在训练过程这会导致模型收敛过慢，也会对模型检测的准确度造成一定的影响。
本发明提供了一种图像数据扩增方法，首先确定需要进行扩增的类别，在数据集中挑选出已有的包含该类别的图像数据，其次用标注软件在图像中对该类别进行标记，获取表示该类别在图像中位置关系的标记框，标记框之外的区域为噪声干扰区域1，从标记框内确定该类别的特有特征作为目标区域，其余部分为噪声干扰区域2，最后改变两个噪声干扰区域像素值即可得到新的该类别图像数据，重复以上过程可以增加该别类样本数量。
发明内容
本发明的目的是利用已有的少样本图像生成新的图像数据，提高少样本图像数据量，解决样本不均衡带来的过拟合问题，同时减少噪声特征对模型的影响，提高模型的泛化能力，以及减少前期图像数据的采集量，减轻标记等图像预处理工作量，加快训练集的建立。
为了实现上述目的，本发明提供了一种图像数据扩增方法，该方法包括：
确定所需扩增的类别，从数据集中挑选出含有该类别的样本图像；
利用标注软件获取图像中该类别的标记框，确定类别信息中的目标区域和噪声干扰区域；
改变噪声干扰区域的像素值，生成新的图像样本；
重复上述过程即可对该类别图像数据进行扩增。
其中，根据所述获取类别标记框，包括：
确定要进行数据扩增的类别，从数据集中挑选出已有的包含该类别的图像样本数据，包括不同形状、大小、放置位置的图像样本，以及含有其他类别的图像样本；
利用标记软件在图像中标出该类别的区域，用标记框表示。
其中，根据所述确定类别中的目标区域和噪声干扰区域，包括：
标记框之外的区域为噪声干扰区域1；
标记框之内需要保留的类别特征区域为目标区域；
标记框之内不需要保留的类别特征区域为噪声干扰区域2；
将目标区域和噪声干扰区域进行分离。
其中，根据所述改变噪声干扰区域像素值，得到该类别新样本数据，包括：
改变标记框之外的图像样本噪声干扰区域像素值，生成粗扩增样本；
标记框内将所需扩增类别中的噪声干扰区域像素值与其他类别的噪声干扰区域像素值相互交换以及标记框内所需扩增类别的噪声干扰区域像素值随机发生变化之后，生成细扩增样本；
粗扩增样本与细扩增样本相互结合得到所需扩增样本；
重复上述过程即可对该类别图像数据进行扩增。
扩增得到的该类别新样本图像信息与原始样本信息一致，不需要再进行标记，可以直接进行模型的训练。
基于上述发明方法，与现有方法相比具有突出的区别和贡献在于：
本发明利用其他类别的噪声干扰区域像素值代替少样本类别的噪声干扰区域像素值，减少噪声特征的影响，突出类别特有的特征，提高模型检测的准确率。同时本发明能够极大减少前期图像采集的数量，只需采集各类别的少量图像数据，通过本方法可以扩大数据集，并且扩增后的图像数据不需要再进行标记，在目标检测任务中可以减少图像数据预处理的过程，加快训练集的建立。
附图说明：
图1为本申请实施例的一种图像数据扩增方法的流程图。
图2为本申请实施例利用标注软件获取类别信息的流程图。
图3为本申请实施例确定目标区域和噪声干扰区域的示意图。
图4为本申请实施例改变噪声干扰区域K1像素值的示意图。
图5为本申请实施例改变噪声干扰区域K2像素值的示意图。
具体实施方式：
以下将通过具体的实施例及附图来详细介绍本发明的目的、技术方案和优点。
图1所示为本申请实施例的整个流程示意图，具体实施如下：
步骤S110，确定所需扩增的类别，从数据集中挑选出含有该类别的样本图像。
步骤S120，利用标注软件对该类别进行标记得到标记框，从图像中分割出标记框并获取该类别在图像中的信息。
步骤S130，确定该类别的信息中目标区域和噪声干扰区域，目标区域为包含该类别主要特征的区域，噪声干扰区域则为包含背景特征及其他干扰因素特征的区域。
步骤S140，改变噪声干扰区域的像素值。
步骤S150，重复上述步骤即可得到该类别新样本图像。
以下对本申请实施例的若干关键步骤作详细介绍。
一、图2表示获取类别信息
本申请实施例利用标注软件获取少样本类别在图像中的信息，其中：
确定要扩增的类别P(数据集中样本较少的一类)；
从已有的数据集中挑选出包含类别P的图像样本L1；
步骤S210，利用标注软件在图像L1中标记类别P图像，即在图像中框出类别P得到一个标记框T；
步骤S220，获取类别P信息，包括类别P在图像L1中的位置信息即标记框T的两个坐标A，B，类别名等。
二、图3表示确定所需扩增的类别P信息中的目标区域和噪声干扰区域本申请实施例通过先验知识判断来确定目标区域和噪声干扰区域，其中：
从图像L1中分割出标记框T，分割后的图像L1其余部分为噪声干扰区域K1；
在标记框T中确定目标区域和噪声干扰区域，即：带有类别特有特征的为目标区域O(类别颜色，类别形状等)，其余部分为噪声干扰区域K2；
将目标区域O和噪声干扰区域K2进行分离。
三、图4表示改变噪声干扰区域K1像素值
本申请实施例通过改变噪声干扰区域K1的像素值来减少噪声特征对模型的影响，其中：
从样本数据集中挑选不包含类别P的图像样本L2；
根据标记框T的两个坐标点A和B确定图像样本L2的相同区域；
将标记框T替换图像样本L2区域，得到新的样本图像。
四、图5表示改变噪声干扰区域K2像素值
本申请实施例通过改变噪声干扰区域K2的像素值来减少噪声特征对模型的影响，其中：
步骤S410，分离图像中各类别的目标区域和噪声干扰区域，确定图像中各个类别的噪声干扰区域；
步骤S420，第一种扩增方式：将所需扩增类别P的噪声干扰区域的像素值替换成其他类别中的噪声干扰区域像素值；
步骤S430，改变后的噪声干扰区域和目标区域重新组合得到新的该类别样本；
步骤S440，第二种扩增方式：将类别P的噪声干扰区域的像素值随机改变；
步骤S450，重组噪声干扰区域和目标区域，得到新的该类别图像样本；
重复以上过程即可得到大量类别P的扩增图像样本数据，其中改变噪声干扰区域K1的像素值为粗扩增方式，改变噪声干扰区域K2的像素值为精扩增方式，在实际的扩增过程中应将两种方式相互结合进行扩增。

Claims (5)

1.一种图像数据扩增方法，其特征在于，所述方法包括以下步骤：
确定所需扩增的类别，从数据集中挑选出含有该类别的样本图像；
利用标注软件获取图像中该类别的标记框，确定类别信息中的目标区域和噪声干扰区域；
改变噪声干扰区域的像素值，生成新的图像样本；
重复上述过程即可对该类别图像数据进行扩增。
2.根据权利要求1所述的一种图像数据扩增方法，其特征在于，确定所需扩增的类别，从数据集中挑选出含有该类别的样本图像，包括：
确定所需扩增类别，即数据集中样本偏少的类别；
从数据集中挑选包含该类别的图像样本数据，包括不同形状、大小、放置位置的图像样本，以及含有其他类别的图像样本。
3.根据权利要求1所述的一种图像数据扩增方法，其特征在于，利用标注软件获取图像中该类别的标记框，确定类别信息中的目标区域和噪声干扰区域，包括：
利用标记软件在图像中标出该类别的区域，用标记框表示；
标记框之外的区域为噪声干扰区域1；
标记框之内需要保留的类别特征区域为目标区域；
标记框之内不需要保留的类别特征区域为噪声干扰区域2。
4.根据权利要求1所述的一种图像数据扩增方法，其特征在于，改变噪声干扰区域的像素值，包括：
改变标记框之外的图像样本噪声干扰区域像素值；
标记框内将所需扩增类别中的噪声干扰区域像素值与其他类别的噪声干扰区域像素值相互交换；
标记框内所需扩增类别的噪声干扰区域像素值随机发生变化。
5.根据权利要求1所述的一种图像数据扩增方法，其特征在于，生成新的样本，包括：
改变噪声干扰区域1，生成粗扩增样本；
改变噪声干扰区域2，生成细扩增样本；
粗扩增样本与细扩增样本相互结合得到所需扩增样本；；
重复上述过程即可对该类别图像数据进行扩增；
新样本不需要重新进行标记，直接可以进行模型训练。
CN201811309890.9A 2018-10-26 2018-10-26 一种图像数据扩增方法 Active CN109544468B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811309890.9A CN109544468B (zh) 2018-10-26 2018-10-26 一种图像数据扩增方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811309890.9A CN109544468B (zh) 2018-10-26 2018-10-26 一种图像数据扩增方法

Publications (2)

Publication Number Publication Date
CN109544468A true CN109544468A (zh) 2019-03-29
CN109544468B CN109544468B (zh) 2023-10-13

Family

ID=65846124

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811309890.9A Active CN109544468B (zh) 2018-10-26 2018-10-26 一种图像数据扩增方法

Country Status (1)

Country Link
CN (1) CN109544468B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111292396A (zh) * 2020-01-16 2020-06-16 武汉轻工大学 图像样本集生成方法、设备、装置及存储介质
CN111461227A (zh) * 2020-04-01 2020-07-28 北京字节跳动网络技术有限公司 样本生成方法、装置、电子设备和计算机可读介质
CN112149718A (zh) * 2020-09-03 2020-12-29 济南信通达电气科技有限公司 一种输电通道隐患目标扩增方法及设备
CN113111966A (zh) * 2021-04-29 2021-07-13 北京九章云极科技有限公司 一种图像处理方法和图像处理系统
WO2023050651A1 (zh) * 2021-09-29 2023-04-06 平安科技（深圳）有限公司 图像语义分割方法、装置、设备及存储介质
CN116109891A (zh) * 2023-02-08 2023-05-12 人民网股份有限公司 图像数据扩增方法、装置、计算设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013042352A1 (ja) * 2011-09-22 2013-03-28 株式会社島津製作所 画像処理装置およびそれを備えた放射線撮影装置
CN106372390A (zh) * 2016-08-25 2017-02-01 姹ゅ钩 一种基于深度卷积神经网络的预防肺癌自助健康云服务系统
CN107330863A (zh) * 2017-05-27 2017-11-07 浙江大学 一种基于噪声估计的图像去噪方法
CN108154118A (zh) * 2017-12-25 2018-06-12 北京航空航天大学 一种基于自适应组合滤波与多级检测的目标探测系统及方法
CN108364293A (zh) * 2018-04-10 2018-08-03 复旦大学附属肿瘤医院 一种在线训练甲状腺肿瘤超声图像识别方法及其装置
CN108460764A (zh) * 2018-03-31 2018-08-28 华南理工大学 基于自动上下文和数据增强的超声图像智能分割方法
CN108510467A (zh) * 2018-03-28 2018-09-07 西安电子科技大学 基于深度可变形卷积神经网络的sar图像目标识别方法
CN108564587A (zh) * 2018-03-07 2018-09-21 浙江大学 一种基于全卷积神经网络的大范围遥感影像语义分割方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013042352A1 (ja) * 2011-09-22 2013-03-28 株式会社島津製作所 画像処理装置およびそれを備えた放射線撮影装置
CN106372390A (zh) * 2016-08-25 2017-02-01 姹ゅ钩 一种基于深度卷积神经网络的预防肺癌自助健康云服务系统
CN107330863A (zh) * 2017-05-27 2017-11-07 浙江大学 一种基于噪声估计的图像去噪方法
CN108154118A (zh) * 2017-12-25 2018-06-12 北京航空航天大学 一种基于自适应组合滤波与多级检测的目标探测系统及方法
CN108564587A (zh) * 2018-03-07 2018-09-21 浙江大学 一种基于全卷积神经网络的大范围遥感影像语义分割方法
CN108510467A (zh) * 2018-03-28 2018-09-07 西安电子科技大学 基于深度可变形卷积神经网络的sar图像目标识别方法
CN108460764A (zh) * 2018-03-31 2018-08-28 华南理工大学 基于自动上下文和数据增强的超声图像智能分割方法
CN108364293A (zh) * 2018-04-10 2018-08-03 复旦大学附属肿瘤医院 一种在线训练甲状腺肿瘤超声图像识别方法及其装置

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111292396A (zh) * 2020-01-16 2020-06-16 武汉轻工大学 图像样本集生成方法、设备、装置及存储介质
CN111292396B (zh) * 2020-01-16 2023-08-29 武汉轻工大学 图像样本集生成方法、设备、装置及存储介质
CN111461227A (zh) * 2020-04-01 2020-07-28 北京字节跳动网络技术有限公司 样本生成方法、装置、电子设备和计算机可读介质
CN111461227B (zh) * 2020-04-01 2023-05-23 抖音视界有限公司 样本生成方法、装置、电子设备和计算机可读介质
CN112149718A (zh) * 2020-09-03 2020-12-29 济南信通达电气科技有限公司 一种输电通道隐患目标扩增方法及设备
CN112149718B (zh) * 2020-09-03 2023-03-14 济南信通达电气科技有限公司 一种输电通道隐患目标扩增方法及设备
CN113111966A (zh) * 2021-04-29 2021-07-13 北京九章云极科技有限公司 一种图像处理方法和图像处理系统
WO2023050651A1 (zh) * 2021-09-29 2023-04-06 平安科技（深圳）有限公司 图像语义分割方法、装置、设备及存储介质
CN116109891A (zh) * 2023-02-08 2023-05-12 人民网股份有限公司 图像数据扩增方法、装置、计算设备及存储介质
CN116109891B (zh) * 2023-02-08 2023-07-25 人民网股份有限公司 图像数据扩增方法、装置、计算设备及存储介质

Also Published As

Publication number Publication date
CN109544468B (zh) 2023-10-13

Similar Documents

Publication Publication Date Title
CN109544468A (zh) 一种图像数据扩增方法
CN109509187B (zh) 一种针对大分辨率布匹图像中的小瑕疵的高效检验算法
CN110348319B (zh) 一种基于人脸深度信息和边缘图像融合的人脸防伪方法
CN105574513B (zh) 文字检测方法和装置
CN103577475B (zh) 一种图片自动化分类方法、图片处理方法及其装置
CN107133955B (zh) 一种多层次结合的协同显著性检测方法
CN105719243B (zh) 图像处理装置和方法
CN109598287A (zh) 基于深度卷积生成对抗网络样本生成的外观瑕疵检测方法
CN109543688A (zh) 一种新型的基于多层卷积神经网络的水表读数检测与识别的方法
CN103971361B (zh) 图像处理装置和方法
CN103268481A (zh) 一种复杂背景图像中的文本提取方法
CN110245697B (zh) 一种表面脏污检测方法、终端设备及存储介质
CN106295502A (zh) 一种人脸检测方法及装置
CN105046241B (zh) 基于rbm模型的目标级遥感图像变化检测方法
CN108268527B (zh) 一种检测土地利用类型变化的方法
CN103413149B (zh) 复杂背景中实现静态目标检测和识别的方法
CN105718552A (zh) 基于服装手绘草图的服装图像检索方法
CN108537286A (zh) 一种基于关键区域检测的复杂目标精准识别方法
CN106295498A (zh) 光学遥感图像目标区域检测装置与方法
CN107705323A (zh) 一种基于卷积神经网络的水平集目标追踪方法
CN110599463A (zh) 一种基于轻量级联神经网络的舌像检测及定位算法
CN116206185A (zh) 一种基于改进YOLOv7的轻量级小目标检测方法
CN105894037A (zh) 一种基于sift训练样本提取的遥感图像全监督分类方法
CN109409227A (zh) 一种基于多通道cnn的手指静脉图质量评估方法及其装置
CN107578424A (zh) 一种基于时空分类的动态背景差分检测方法、系统及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant