CN112270653A - 一种针对图像样本不平衡的数据增强方法 - Google Patents
一种针对图像样本不平衡的数据增强方法 Download PDFInfo
- Publication number
- CN112270653A CN112270653A CN202011160209.6A CN202011160209A CN112270653A CN 112270653 A CN112270653 A CN 112270653A CN 202011160209 A CN202011160209 A CN 202011160209A CN 112270653 A CN112270653 A CN 112270653A
- Authority
- CN
- China
- Prior art keywords
- image
- sample
- data set
- images
- random function
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000012549 training Methods 0.000 claims abstract description 5
- 230000007547 defect Effects 0.000 claims description 4
- 230000002708 enhancing effect Effects 0.000 claims description 4
- 238000001514 detection method Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 230000006872 improvement Effects 0.000 claims description 2
- 238000013519 translation Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 abstract description 3
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种针对图像样本不平衡数据集的数据增强方法RFCAP(Random Feature Cropping and Patching,RFCAP)。该方法主要针对小样本且各样本量比例不平衡的图像数据集。基于各样本在数据集中的比例，使用随机函数控制数据增强过程中各样本量的比例保持平衡。通过图像随机裁剪与拼接生成新的数据集对原数据集进行扩充。通过RFCAP方式进行数据增强后，通过该数据集训练得到的模型泛化能力强，且能有效避免在训练过程中对某一类特征容易出现过拟合的情况。
Description
技术领域：
本申请涉及数字图像处理、图像变换、图像检测领域，特别涉及图像数据增强方面。
背景技术：
深度卷积神经网络(CNN)由于参数众多和丰富的表达能力，在图像分类和图像处理任务中取得了显著成效。然而，具有大量参数的CNN存在过度拟合的风险，造成这一风险的原因之一在于数据集。数据集中若样本量过少或各样本量之间比例不平衡，都可能造成基于此类数据集训练得到的CNN网络过拟合或泛化能力不强。数据增强被用来解决这个问题。常见的数据增强方式有图像翻转、调整图像大小、随机裁剪和颜色转换等。
目前图像数据增强方法基本只是对小样本平衡数据集进行处理，没有一种针对样本不平衡的图像数据增强方法。若样本不平衡，即使数据集非常大，通过该数据集训练出的网络对数据集中样本量小的特征仍会出现过拟合情况，训练出的网络泛化能力不强。
发明内容：
本发明目的在于针对小样本且样本量不平衡的图像数据集，提出一种针对图像样本不平衡的数据增强方法(Random Feature Cropping and Patching,RFCAP)。
本发明是通过以下技术方案来实现的：一种针对图像样本不平衡的数据增强方法。
具体包括的步骤：
1、一种针对图像样本不平衡的数据增强方法，具体步骤如下：
(1)分析图像数据集，将数据集划分为包含特征的数据集和不包含特征的数据集，统计包含特征数据集中各样本比例。对整个数据集进行图片翻转、平移、旋转、色域变换、增加噪声等基础数据增强操作。
(2)划分特征图像与非特征图像选取比例，构建随机函数A。
(3)根据样本比例计算各样本被选取的概率，通过算出各样本的被选概率构建随机函数B，通过随机函数A、B选取4张图像。
(4)使用改进的标准分布计算图像拼接点。改进方法为标准分布中加入随机变量t，限制标准分布取到边界点。
(5)将特征填补位置划分为5个位置，构建随机函数C选取特征填补位置。
(6)使用随机函数C剪切4张图像，拼接得到一张新图像。
2、一种针对图像样本不平衡的数据增强方法，其特征在于，步骤(1)中，不同于一般数据增强中随机选取图像、裁剪图像后拼接的方法，该方法在使用时需要根据数据集中不同样本量在数据集中的比例进行后续随机函数的设定。在统计样本类别后，对样本图像进行组合基础的数据增强操作，对原本数据集进行第一次扩容。
3、一种针对图像样本不平衡的数据增强方法，其特征在于，步骤(2)中，在拼接特征图像的同时，增加非特征(不包括特征)图像或其他无关类别的图像。通过加入无关图像和非特征图像，可强化通过该数据集训练得到网络的鲁棒性，泛化模型检测能力，避免小样本数据集易过拟合问题。划分非特征图像与特征图像拼接的比例，构建随机函数A。通过随机函数A保证在选取图像的同时能够使特征图像与非特征图像比例为1:1，同时保证在该比例下图像选取的随机性。
4、一种针对图像样本不平衡的数据增强方法，其特征在于，步骤(3)中，基于步骤(1)中计算得出的样本比例，计算各样本应被选取的概率使得进行数据增强后各样本在数据集中比例基本一致。通过计算出的被选比例构建随机函数B。随机函数B能够保证数据集中样本比例基本一致的同时，不影响该比例下图像选取的随机性。
5、一种针对图像样本不平衡的数据增强方法，其特征在于，步骤(4)中，在图像二维坐标上选择一个点(w,h)作为四张裁剪后图像的拼接点，为保证拼接点随机且尽量在图像中间，故使用标准分布计算拼接点(w,h)，为了限制在标准分布中将拼接点(w,h)取到图像边缘，故在拼接点(w,h)标准分布中引入随机变量t，使计算得到的拼接点随机分布在图像中央。
6、一种针对图像样本不平衡的数据增强方法，其特征在于，步骤(5)中，对选取图像中标注的特征框进行裁剪，若选取的特征框小于拼接部分的面积，需要图像其他区域进行填补。提出5个缺陷框可以存放的位置随机确定裁剪背景内容。特征框分别位于图像坐上角、右上角、中间、左下角、右下角，构建随机函数C，随机为特征框选取位置。随机函数C保证了特征框在剪切图像上位置的多样性。
本发明的有益效果是：
1.发明了一种针对小样本且样本量不平衡的数据增强方式。可以有效改善数据集中样本不平衡的情况。
2.模型不容易由于样本不平衡在某一类样本中出现过拟合现象。
附图说明：
图1为本发明的实施流程图；
图2为特征选取位置示意图；
图3为实例展示图；
具体实施方法：
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述地实施例仅是本发明一部分实施例，而不是全部地实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，一种针对图像样本不平衡的数据增强方法，其具体步骤如下：
步骤一：分析样本数据集，筛选数据集中存在特征的图像与不存在特征的图像。统计存在特征的样本比例，数据集图像进行基础数据增强操作。数据增强使用组合的基础数据增强方式，随机选取若干种数据增强方式，如：图像翻转、图像平移、增加噪声、颜色改变等。
步骤二：划分特征图像与非特征图像比例，构建随机函数A。从(0-1)取随机选择特征图像或不包含特征的图像，随机函数A对应随机数选取图像类型表格如下表1。包含特征的图像与不包含特征的图像比例为1：1，每次选择时使用随机函数判断选取包含特征的图像或不包含特征的图像。
表1
通过随机函数A，选择图像类型。
步骤三：根据样本比例计算各样本被选取的概率，通过算出各样本的被选概率构建随机函数B，通过随机函数A、B选取4张图像。从(1-100)范围取随机数选取特征图像进行拼接。假设当前存在6种特征，各类特征在数据集种所占的比例为5％、20％、9％、15％、34.9％、15.3％。对各特征的比例求倒数，计算在选取特征时每种特征被选取得概率。随机函数B对应随机数选取特征类型图像表格如下表2。
表2
使用随机函数A、B，选择四张图像。
步骤四：通过改进的标准分布计算图像拼接点。在选择4张需要提取的图像之后，在图像二维坐标上选择一个点(w,h)作为四张裁剪后图像的拼接点。(w,h)的所有可能值在[0,Ix]和[0,Iy]范围内选择。使用标准正态分布作为拼接点(w,h)在图像中的分布，分布如公式x所示:
其中Ix、Iy为要拼接图像的宽度和高度。
为了限制在标准分布中将拼接点(w,h)取到图像边缘，故改进标准分布计算拼接点(w,h)。引入一个新的变量t，将拼接点(w,h)限制在修补图像的中心区域，如图x所示，拼接点(w,h)的分布如公式(2)为：
通过上述改进分布计算拼接点(w,h)。
步骤五：将特征填补位置划分为5个位置，构建随机函数C选取特征填补位置。通过拼接点(w,h)获取四块区域中每一块区域的裁剪尺寸，四块区域的寸尺分别为(w,h)，(Ix,h)，(w,Iy-h)，(Ix-w,Iy-h)。当缺陷标注框bbox尺寸小于对应的区域时，在裁剪bbox的同时，需要将背景一起裁剪，为了确定需要裁剪背景的位置，使用随机函数C进行选取。特征填补位置如图2特征选取位置示意图所示，特征可存放于左上角、右上角、中间、左下角、右下角五个位置。构建随机函数C，从(1-5)范围取特征框在填充缺陷图像区域的位置。通过随机函数C的输出，确定裁剪区域。
步骤六：将上述步骤中裁剪的图像进行图像放大或缩小后，在拼接点(w,h)处将图像进行拼接，生成新的图像数据。图3为实例展示。
本文中对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。
Claims (6)
1.一种针对图像样本不平衡的数据增强方法，具体步骤如下：
(1)分析数据集，将数据集划分为包含特征的数据集和不包含特征的数据集，统计包含特征数据集中各样本比例。对整个数据集进行图片翻转、平移、旋转、色域变换、增加噪声等基础数据增强操作。
(2)划分特征图像与非特征图像比例，构建随机函数A。
(3)根据样本比例计算各样本被选取的概率，通过算出各样本的被选概率构建随机函数B，通过随机函数A、B选取4张图像。
(4)使用改进的标准分布计算图像拼接点。改进方法为标准分布中加入随机变量t，限制标准分布取到边界点。
(5)将特征填补位置划分为5个位置，构建随机函数C选取特征填补位置。
(6)使用随机函数C剪切4张图像，拼接得到一张新图像。
2.根据权利要求1所述一种针对图像样本不平衡的数据增强方法，其特征在于，步骤(1)中，不同于一般数据增强中随机选取图像、裁剪图像后拼接的方法，该方法在使用时需要根据数据集中不同样本量在数据集中的比例进行后续随机函数的设定。在统计样本类别后，对样本图像进行随机数据增强操作，对原本数据集进行第一次扩容。
3.根据权利要求1所述一种针对图像样本不平衡的数据增强方法，其特征在于，步骤(2)中，拼接特征图像的同时，增加非特征(不包括特征)图像或其他无关类别的图像。通过加入无关图像和非特征图像，可强化通过该数据集训练得到网络的鲁棒性，泛化模型检测能力，避免小样本数据集易过拟合问题。划分非特征图像与特征图像拼接的比例，构建随机函数A。通过随机函数A保证在选取图像的同时能够使特征图像与非特征图像比例为1:1，同时保证在该比例下图像选取的随机性。
4.根据权利要求1所述一种针对图像样本不平衡的数据增强方法，其特征在于，步骤(3)中，基于步骤(1)中计算得出的样本比例，计算各样本应被选取的概率使得进行数据增强后各样本在数据集中比例基本一致。通过计算出的被选比例构建随机函数B。随机函数B能够保证数据集中样本比例基本一致的同时，不影响该比例下特征图像选取的随机性。
5.根据权利要求1所述一种针对图像样本不平衡的数据增强方法，其特征在于，步骤(4)中，在图像二维坐标上选择一个点(w,h)作为四张裁剪后图像的拼接点，为保证拼接点随机且尽量在图像中间，故使用标准分布计算拼接点(w,h)，为了限制在标准分布中将拼接点(w,h)取到图像边缘，故在拼接点(w,h)标准分布中引入随机变量t，使计算得到的拼接点随机分布在图像中央。
6.根据权利要求1所述一种针对图像样本不平衡的数据增强方法，特征在于，步骤(5)中，对选取图像中标注的特征框进行裁剪，若选取的特征框小于拼接部分的面积，需要图像其他区域进行填补。提出5个缺陷框可以存放的位置随机确定裁剪背景内容。特征框分别位于图像坐上角、右上角、中间、左下角、右下角，构建随机函数C，随机为特征框选取位置。随机函数C保证了特征框在剪切图像上位置的多样性。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011160209.6A CN112270653A (zh) | 2020-10-27 | 2020-10-27 | 一种针对图像样本不平衡的数据增强方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011160209.6A CN112270653A (zh) | 2020-10-27 | 2020-10-27 | 一种针对图像样本不平衡的数据增强方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112270653A true CN112270653A (zh) | 2021-01-26 |
Family
ID=74342559
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011160209.6A Pending CN112270653A (zh) | 2020-10-27 | 2020-10-27 | 一种针对图像样本不平衡的数据增强方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112270653A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113256652A (zh) * | 2021-05-24 | 2021-08-13 | 中国长江三峡集团有限公司 | 一种混合图像数据增强方法 |
| CN113537085A (zh) * | 2021-07-20 | 2021-10-22 | 南京工程学院 | 基于两次迁移学习和数据增广的船舶目标检测方法 |
| CN113642612A (zh) * | 2021-07-19 | 2021-11-12 | 北京百度网讯科技有限公司 | 样本图像生成方法、装置、电子设备及存储介质 |
| WO2023050651A1 (zh) * | 2021-09-29 | 2023-04-06 | 平安科技（深圳）有限公司 | 图像语义分割方法、装置、设备及存储介质 |
| TWI802906B (zh) * | 2021-01-28 | 2023-05-21 | 旺宏電子股份有限公司 | 資料識別裝置及辨識方法 |
-
2020
- 2020-10-27 CN CN202011160209.6A patent/CN112270653A/zh active Pending
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI802906B (zh) * | 2021-01-28 | 2023-05-21 | 旺宏電子股份有限公司 | 資料識別裝置及辨識方法 |
| CN113256652A (zh) * | 2021-05-24 | 2021-08-13 | 中国长江三峡集团有限公司 | 一种混合图像数据增强方法 |
| CN113642612A (zh) * | 2021-07-19 | 2021-11-12 | 北京百度网讯科技有限公司 | 样本图像生成方法、装置、电子设备及存储介质 |
| CN113537085A (zh) * | 2021-07-20 | 2021-10-22 | 南京工程学院 | 基于两次迁移学习和数据增广的船舶目标检测方法 |
| WO2023050651A1 (zh) * | 2021-09-29 | 2023-04-06 | 平安科技（深圳）有限公司 | 图像语义分割方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112270653A (zh) | 一种针对图像样本不平衡的数据增强方法 | |
| CN106504220B (zh) | 一种图像处理方法及装置 | |
| Omer et al. | Color lines: Image specific color representation | |
| US8666156B2 (en) | Image-based backgrounds for images | |
| CN105574918B (zh) | 一种3d模型的材质添加方法、装置及终端 | |
| US7620251B2 (en) | Apparatus for selecting image of specific scene, program therefor, and recording medium storing the program | |
| US7265761B2 (en) | Multilevel texture processing method for mapping multiple images onto 3D models | |
| CN108648249B (zh) | 一种图像渲染方法、装置及智能穿戴设备 | |
| CN111489322B (zh) | 给静态图片加天空滤镜的方法及装置 | |
| JP2022091270A (ja) | 方法、システム、および、コンピュータプログラム | |
| JP6986438B2 (ja) | カラー情報推定モデル生成装置、画像カラー化装置およびそれらのプログラム | |
| CN113301408B (zh) | 视频数据处理方法、装置、电子设备和可读存储介质 | |
| CN113301409A (zh) | 视频合成方法、装置、电子设备和可读存储介质 | |
| CN113012188A (zh) | 图像融合方法、装置、计算机设备和存储介质 | |
| CN107832359A (zh) | 一种图片检索方法及系统 | |
| US9235773B2 (en) | Image processing device capable of determining types of images accurately | |
| WO2023047162A1 (en) | Object sequence recognition method, network training method, apparatuses, device, and medium | |
| JP2004021430A (ja) | 画像検索装置、画像検索方法及び画像検索プログラム | |
| CN112149745B (zh) | 确定难例样本的方法、装置、设备及存储介质 | |
| CN111160063A (zh) | 一种物联网ipc二维码配网图像增强方法及系统 | |
| CN108876870B (zh) | 一种考虑纹理复杂性的域映射GANs图像着色方法 | |
| WO2022124224A1 (ja) | 方法、システム、および、コンピュータプログラム | |
| CN116310515A (zh) | 一种针对小目标数据集的背景置零Mosaic数据增强方法 | |
| CN112149684B (zh) | 图像处理方法和用于目标检测的图像预处理方法 | |
| Kiess et al. | SeamCrop for image retargeting |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |