CN112560998A - 针对目标检测的少样本数据扩增方法 - Google Patents
针对目标检测的少样本数据扩增方法 Download PDFInfo
- Publication number
- CN112560998A CN112560998A CN202110070610.9A CN202110070610A CN112560998A CN 112560998 A CN112560998 A CN 112560998A CN 202110070610 A CN202110070610 A CN 202110070610A CN 112560998 A CN112560998 A CN 112560998A
- Authority
- CN
- China
- Prior art keywords
- target
- sample
- style
- scene
- samples
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000001514 detection method Methods 0.000 title claims abstract description 20
- 230000003321 amplification Effects 0.000 title claims abstract description 16
- 238000003199 nucleic acid amplification method Methods 0.000 title claims abstract description 16
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 21
- 238000004458 analytical method Methods 0.000 claims abstract description 8
- 238000000605 extraction Methods 0.000 claims abstract description 7
- 238000010801 machine learning Methods 0.000 claims abstract description 4
- 238000001914 filtration Methods 0.000 claims description 6
- 238000007621 cluster analysis Methods 0.000 claims description 2
- 238000012549 training Methods 0.000 abstract description 6
- 230000008859 change Effects 0.000 abstract description 5
- 230000009466 transformation Effects 0.000 description 11
- 238000007635 classification algorithm Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000005520 cutting process Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013501 data transformation Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Abstract
本发明涉及针对目标检测的少样本数据扩增方法，包括以下步骤：S1，定性分析目标样本可能出现的场景以及场景的风格；S2，利用场景检测算法和风格提取算法提取目标样本的场景特征、风格特征；S3，利用机器学习算法对场景特征和风格特征进行聚类分析；S4，根据聚类分析结果从开源数据集中搜索具有相似场景或风格的图片；S5，将目标样本与从开源数据集中找出的相似图片进行融合，制作出假样本。本发明方法可以改变目标样本的场景（背景），能生成更多的风格相似的假样本，以弥补部分样本在样本数量上的不均衡问题，同时还能规避基于GAN网络需要训练等问题。本发明不仅提高了数据扩增的效率，同时也提高了就样本的数据质量。
Description
技术领域
本发明涉及目标检测技术领域，尤其涉及针对目标检测的少样本数据扩增方法。
背景技术
数据扩增也叫数据增强，意思是在不实质性的增加数据的情况下，让有限的数据产生等价于更多数据的价值，是目标检测领域内常用的数据处理方法。数据扩增对提高模型精度、提高模型泛化能力具有非常重要的作用。一般来说数据增强可以分为，有监督的数据增强和无监督的数据增强方法。
一、有监督数据增强，即采用预设的数据变换规则，在已有数据的基础上进行数据的扩增，包括几何操作类，颜色变换类。
（1）几何变换类即对图像进行几何变换，包括翻转，旋转，裁剪，变形，缩放等各类操作，下面展示其中的若干个操作。水平翻转和垂直翻转、随机旋转随机裁剪变形缩放翻转操作和旋转操作，对于那些对方向不敏感的任务，比如图像分类，都是很常见的操作，在caffe等框架中翻转对应的就是mirror操作。翻转和旋转不改变图像的大小，而裁剪会改变图像的大小。
(2) 颜色变换类上面的几何变换类操作，没有改变图像本身的内容，它可能是选择了图像的一部分或者对像素进行了重分布。如果要改变图像本身的内容，就属于颜色变换类的数据增强了，常见的包括噪声、模糊、颜色变换、擦除、填充等等。
二、无监督的数据增强方法包括两类：
(1) 通过模型学习数据的分布，随机生成与训练数据集分布一致的图片，代表方法有GAN。
(2) 通过模型，学习出适合当前任务的数据增强方法，代表方法有Auto Augment。
在目前的深度学习领域，有监督的数据扩增应用较广，如旋转、裁剪、变形、缩放、增加噪声、模糊、颜色变换，但是这些数据扩增技巧并不能改变目标样本的前景和背景的相对结构，同时也改变不了不同目标样本数量间的关系。而单纯增加少样本目标的数据样本，如复制等方法又不能改变目标样本数据的多样性，同时还增加了大量无效样本，白白增加了大量的学习时间。
而利用GAN网络等的无监督的数据增强方法可以极大的增加少样本的数据，提高样本的丰富性，但是缺点也非常明显：需要训练一对生成对抗网络或者其他的学习模型，而生成对抗网络或其他的学习模型本身需要大量样本的训练，这直接增加了算法的难度，使得算法难以实现。
发明内容
本发明为了解决上述问题，提供一种针对目标检测的少样本数据扩增方法，包括以下步骤：
S1，定性分析目标样本可能出现的场景以及场景的风格；
S2，提取目标样本的场景特征、风格特征；
S3，利用机器学习算法对场景特征和风格特征进行聚类分析；
S4，根据聚类分析结果从开源数据集中搜索具有相似场景或风格的图片；
S5，将目标样本与从开源数据集中找出的相似图片进行融合，制作出假样本。
进一步的，针对目标检测的少样本数据扩增方法它还包括S6，利用高斯滤波对假样本进行滤波，一定程度上消除图片融合过程中出现的边缘特征。
进一步的，所述S2中，利用场景检测算法和风格提取算法提取目标样本的场景特征、风格特征。
优选地，所述S3中，利用kmeans算法对场景特征和风格特征进行聚类分析。
优选地，所述的开源数据集包括ImageNet和/或COCO数据集。
其中，所述S5中，采用mixup或替换相应区域的方式将目标样本与找出的相似图片进行融合。
与现有技术相比，本发明具有以下有益效果：
现有的颜色变换或者几何变换等数据增强方法，只是单纯改变目标样本的空间信息以及颜色信息。本发明方法可以改变目标样本的场景（背景），能生成更多的风格相似的假样本，以弥补部分样本在样本数量上的不均衡问题，同时还能规避基于GAN网络需要训练等问题。本发明不仅提高了数据扩增的效率，同时也提高了就样本的数据质量。
附图说明
此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不构成对本发明实施例的限定。
图1是本发明的流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。
如图1所示，本发明公开的针对目标检测的少样本数据扩增方法，包括以下步骤：
S1，定性分析目标样本可能出现的场景以及场景的风格；
S2，利用场景检测算法和风格提取算法提取目标样本的场景特征、风格特征；
S3，利用机器学习算法对场景特征和风格特征进行聚类分析；
S4，根据聚类分析结果从开源数据集中搜索具有相似场景或风格的图片；
S5，将目标样本与从开源数据集中找出的相似图片进行融合，制作出假样本。
基于上述方法，本发明提供一实施例。本实施例主要分为以下六步：
第一步，定性分析目标样本可能出现的场景以及风格，尽可能的包含目标样本可能出现的场景，并补充可能出现的场景图片；
第二步，利用场景分类算法或者风格提取算法（如改造分割迁移算法）提取目标可能出现的场景特征和风格体征，形成一个高维的特征向量；
第三步，利用kmeans等算法对高维的场景或者风格特征进行聚类，并根据定性分析的场景或风格的类别数量确定聚类中心点的数目；
第四步，根据聚类的中心点的数目确定场景或风格的类别数目，并在ImageNet和COCO数据集中利用场景分类算法和风格提取算法搜索具有相似场景风格的图片，在搜索的过程中尽量确保每一类场景或者风格具有相同的数量；
第五步，裁剪原图像中的目标，然后利用scale系数调整目标尺寸，并利用mixup或者替换的方式将调整过后的目标与找出的图片进行融合，制造出假样本；
第六步，利用高斯滤波对假样本进行滤波，一定程度上消除图片融合过程中出现的边缘特征。
本发明利用场景分类算法和风格提取算法分析样本目标的场景特征和风格特征，然后从第三方数据集中的数据寻找具有相似场景的图片并和目标样本进行融合，产生一定数量的假样本用于目标检测算法的训练，平衡了不同目标样本的数量，同时避免了训练GAN网络生成假数据，降低了数据获取的难度。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (6)
1.针对目标检测的少样本数据扩增方法，其特征在于：包括以下步骤：
S1，定性分析目标样本可能出现的场景以及场景的风格；
S2，提取目标样本的场景特征、风格特征；
S3，利用机器学习算法对场景特征和风格特征进行聚类分析；
S4，根据聚类分析结果从开源数据集中搜索具有相似场景或风格的图片；
S5，将目标样本与从开源数据集中找出的相似图片进行融合，制作出假样本。
2.根据权利要求1所述的针对目标检测的少样本数据扩增方法，其特征在于：它还包括S6，利用高斯滤波对假样本进行滤波。
3.根据权利要求1或2所述的针对目标检测的少样本数据扩增方法，其特征在于：所述S2中，利用场景检测算法和风格提取算法提取目标样本的场景特征、风格特征。
4.根据权利要求1所述的针对目标检测的少样本数据扩增方法，其特征在于：所述S3中，利用kmeans算法对场景特征和风格特征进行聚类分析。
5.根据权利要求1所述的针对目标检测的少样本数据扩增方法，其特征在于：所述的开源数据集包括ImageNet和/或COCO数据集。
6.根据权利要求1所述的针对目标检测的少样本数据扩增方法，其特征在于：所述S5中，采用mixup或替换相应区域的方式将目标样本与找出的相似图片进行融合。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110070610.9A CN112560998A (zh) | 2021-01-19 | 2021-01-19 | 针对目标检测的少样本数据扩增方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110070610.9A CN112560998A (zh) | 2021-01-19 | 2021-01-19 | 针对目标检测的少样本数据扩增方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112560998A true CN112560998A (zh) | 2021-03-26 |
Family
ID=75035668
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110070610.9A Pending CN112560998A (zh) | 2021-01-19 | 2021-01-19 | 针对目标检测的少样本数据扩增方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112560998A (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106021362A (zh) * | 2016-05-10 | 2016-10-12 | 百度在线网络技术（北京）有限公司 | 查询式的图片特征表示的生成、图片搜索方法和装置 |
| WO2018053952A1 (zh) * | 2016-09-26 | 2018-03-29 | 浙江工商大学 | 一种基于场景样本库的影视图像深度提取方法 |
| CN108121781A (zh) * | 2017-12-18 | 2018-06-05 | 辽宁师范大学 | 基于高效样本选取与参数优化的相关反馈图像检索方法 |
| CN108492343A (zh) * | 2018-03-28 | 2018-09-04 | 东北大学 | 一种扩充目标识别的训练数据的图像合成方法 |
| CN108898082A (zh) * | 2018-06-19 | 2018-11-27 | Oppo广东移动通信有限公司 | 图片处理方法、图片处理装置及终端设备 |
| CN111753874A (zh) * | 2020-05-15 | 2020-10-09 | 江苏大学 | 一种结合半监督聚类的图像场景分类方法及系统 |
-
2021
- 2021-01-19 CN CN202110070610.9A patent/CN112560998A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106021362A (zh) * | 2016-05-10 | 2016-10-12 | 百度在线网络技术（北京）有限公司 | 查询式的图片特征表示的生成、图片搜索方法和装置 |
| WO2018053952A1 (zh) * | 2016-09-26 | 2018-03-29 | 浙江工商大学 | 一种基于场景样本库的影视图像深度提取方法 |
| CN108121781A (zh) * | 2017-12-18 | 2018-06-05 | 辽宁师范大学 | 基于高效样本选取与参数优化的相关反馈图像检索方法 |
| CN108492343A (zh) * | 2018-03-28 | 2018-09-04 | 东北大学 | 一种扩充目标识别的训练数据的图像合成方法 |
| CN108898082A (zh) * | 2018-06-19 | 2018-11-27 | Oppo广东移动通信有限公司 | 图片处理方法、图片处理装置及终端设备 |
| CN111753874A (zh) * | 2020-05-15 | 2020-10-09 | 江苏大学 | 一种结合半监督聚类的图像场景分类方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110032942B (zh) | 基于时域分段及特征差分的动作识别方法 | |
| CN112686812B (zh) | 银行卡倾斜矫正检测方法、装置、可读存储介质和终端 | |
| CN109285162A (zh) | 一种基于局部区域条件随机场模型的图像语义分割方法 | |
| CN110532946B (zh) | 一种基于卷积神经网络识别绿通车车辆轴型的方法 | |
| CN112950661A (zh) | 一种基于注意力生成对抗网络人脸卡通画生成方法 | |
| CN110322445B (zh) | 基于最大化预测和标签间相关性损失函数的语义分割方法 | |
| CN111339832A (zh) | 人脸合成图像的检测方法及装置 | |
| CN110598698A (zh) | 基于自适应区域建议网络的自然场景文本检测方法和系统 | |
| CN114677394B (zh) | 抠图方法、装置、摄像设备、会议系统、电子设备及介质 | |
| CN112949378A (zh) | 一种基于深度学习网络的细菌显微图像分割方法 | |
| CN113591831A (zh) | 一种基于深度学习的字体识别方法、系统及存储介质 | |
| CN112508836A (zh) | 一种基于标注框拼接的深度学习图像增强方法 | |
| CN114170227A (zh) | 产品表面缺陷检测方法、装置、设备及存储介质 | |
| CN114022497A (zh) | 一种图像处理方法及装置 | |
| CN111814917B (zh) | 一种存在模糊态的字轮图像数字识别方法 | |
| CN112560998A (zh) | 针对目标检测的少样本数据扩增方法 | |
| CN110322440B (zh) | 一种细胞显微图像数据扩充的方法 | |
| CN112686248A (zh) | 证件增减类别检测方法、装置、可读存储介质和终端 | |
| CN114418898B (zh) | 一种基于目标重叠度计算和自适应调整的数据增强方法 | |
| CN111612803A (zh) | 一种基于图像清晰度的车辆图像语义分割方法 | |
| CN114359669A (zh) | 图片分析模型调整方法、装置以及计算机可读存储介质 | |
| Vu et al. | Automatic extraction of text regions from document images by multilevel thresholding and k-means clustering | |
| CN114418872A (zh) | 一种基于mGANprior的真实图像美感增强方法 | |
| US8942491B2 (en) | Topology-preserving downsampling of binary images | |
| CN113095400A (zh) | 一种用于机器视觉缺陷检测的深度学习模型训练方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |