CN111626342B - 一种图像样本处理方法、装置及存储介质 - Google Patents
一种图像样本处理方法、装置及存储介质 Download PDFInfo
- Publication number
- CN111626342B CN111626342B CN202010403710.4A CN202010403710A CN111626342B CN 111626342 B CN111626342 B CN 111626342B CN 202010403710 A CN202010403710 A CN 202010403710A CN 111626342 B CN111626342 B CN 111626342B
- Authority
- CN
- China
- Prior art keywords
- foreground images
- foreground
- image
- images
- equalization
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title abstract description 7
- 238000000034 method Methods 0.000 claims abstract description 23
- 238000004590 computer program Methods 0.000 claims description 7
- 230000002194 synthesizing effect Effects 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 3
- 230000003247 decreasing effect Effects 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 2
- 238000001514 detection method Methods 0.000 abstract description 27
- 230000000694 effects Effects 0.000 abstract description 11
- 238000010586 diagram Methods 0.000 description 18
- 230000015654 memory Effects 0.000 description 11
- 241000282472 Canis lupus familiaris Species 0.000 description 3
- 241000282326 Felis catus Species 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 244000005700 microbiome Species 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- KLDZYURQCUYZBL-UHFFFAOYSA-N 2-[3-[(2-hydroxyphenyl)methylideneamino]propyliminomethyl]phenol Chemical compound OC1=CC=CC=C1C=NCCCN=CC1=CC=CC=C1O KLDZYURQCUYZBL-UHFFFAOYSA-N 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 201000001098 delayed sleep phase syndrome Diseases 0.000 description 1
- 208000033921 delayed sleep phase type circadian rhythm sleep disease Diseases 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例公开了一种图像样本处理方法、装置及存储介质，该包括：提取出原始数据集中第一图像样本的前景图像，得到M张前景图像；其中，M取正整数；采用预设的均衡化处理策略对所述M张前景图像进行均衡化处理，得到P张前景图像；其中，P取大于M的整数；利用所述P张前景图像和至少一张背景图像构建第二图像样本，并利用构建的第二图像样本和所述第一图像样本组成目标数据集。如此，通过对原始数据集中的前景图像进行均衡化处理，使不同类型或不同尺寸的前景图像能够均衡分布，再将均衡处理后的前景图像与背景图像合成，得到更多的图像样本，可以为检测模型提高丰富且均衡的图像样本，从而提高检测模型的训练效果。
Description
技术领域
本申请涉及图像处理技术，尤其涉及一种图像样本处理方法、装置及存储介质。
背景技术
基于机器学习的图像目标检测技术日渐成熟，已经在诸多领域得到应用，并发挥强大的技术效能。检测模型在训练时通常利用一个公开的数据集或者自己制作的数据集来作为训练样本，但现有数据集中不可避免的会存在图像样本类别不均衡的问题，数据集中图像样本类别分布不均衡会对检测模型的收敛产生很大的影响，从而影响检测模型的检测效果。
发明内容
为解决上述技术问题，本申请实施例期望提供一种图像样本处理方法、装置及存储介质。
本申请的技术方案是这样实现的：
第一方面，提供了一种种图像样本处理方法，所述方法包括：
提取出原始数据集中第一图像样本的前景图像，得到M张前景图像；其中，M取正整数；
采用预设的均衡化处理策略对所述M张前景图像进行均衡化处理，得到P张前景图像；其中，P取大于M的整数；
利用所述P张前景图像和至少一张背景图像构建第二图像样本，并利用构建的第二图像样本和所述第一图像样本组成目标数据集。
第二方面，提供了一种图像样本处理装置，所述装置包括：
提取单元，用于提取出原始数据集中第一图像样本的前景图像，得到M张前景图像；其中，M取正整数；
均衡单元，用于采用预设的均衡化处理策略对所述M张前景图像进行均衡化处理，得到P张前景图像；其中，P取大于M的整数；
构建单元，用于利用所述P张前景图像和至少一张背景图像构建第二图像样本，并利用构建的第二图像样本和所述第一图像样本组成目标数据集。
第三方面，提供了一种计算机存储介质，其上存储有计算机程序，其中，该计算机程序被处理器执行时实现前述方法的步骤。
采用上述技术方案，提取出原始数据集中第一图像样本的前景图像，得到M张前景图像；其中，M取正整数；采用预设的均衡化处理策略对所述M张前景图像进行均衡化处理，得到P张前景图像；其中，P取大于M的整数；利用所述P张前景图像和至少一张背景图像构建第二图像样本，并利用构建的第二图像样本和所述第一图像样本组成目标数据集。如此，通过对原始数据集中的前景图像进行均衡化处理，使不同类型或不同尺寸的前景图像能够均衡分布，再将均衡处理后的前景图像与背景图像合成，得到更多的图像样本，可以为检测模型提高丰富且均衡的图像样本，从而提高检测模型的训练效果。
附图说明
图1为本申请实施例中图像样本处理方法的流程示意图；
图2为本申请实施例中原始数据集中不同尺度前景图像的分布示意图；
图3为本申请实施例中原始数据集中不同类别样本数量的分布示意图；
图4为本申请实施例中不同尺度前景图像扩充数量的分布示意图；
图5为本申请实施例中扩充后的不同尺度前景图像的第一分布示意图；
图6为本申请实施例中扩充后不同类别样本数量的分布示意图；
图7为本申请实施例中不同尺度前景图像扩充后的第二分布示意图；
图8为本申请实施例中不同尺度前景图像扩充后的第三分布示意图；
图9为本申请实施例中前景图像均衡化处理方式示意图；
图10为图像中两个目标的真值边界框示意图；
图11为特征图的第一划分方式示意图；
图12为特征图的第二划分方式示意图；
图13为开源数据集COCO中80个类别样本数量的分布示意图；
图14为本申请实施例中图像样本处理装置的组成结构示意图；
图15为本申请实施例中图样样本处理设备的组成结构示意图。
具体实施方式
为了能够更加详尽地了解本申请实施例的特点与技术内容，下面结合附图对本申请实施例的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本申请实施例。
本申请实施例提供了一种图像样本处理方法，如图1所示，该方法具体可以包括：
步骤101：提取出原始数据集中第一图像样本的前景图像，得到M张前景图像；其中，M取正整数；
在机器学习中真值边界框(ground truth bounding box，GT bbox)表示有监督学习的训练集的分类准确性，用于证明或者推翻某个假设。有监督的机器学习会对训练数据打标记，本申请实施例用GT bbox体现标注前景图像。
具体的，原始数据集为现有数据集，比如，ImageNet、PASCALVOC、Labelme、COCO、SUN、Caltech等任意一个或多个，还可以由一些网站图片库组成原始数据集。本申请实施例中在获取原始数据集后分析图像样本的M个前景图像的分布特征，根据分布特征对M个前景图像进行均衡化处理。
获取到原始数据集之后，基于GT bbox裁剪出前景图像，剩余图像可以作为构建第二图像样本的背景图像，一个第一图像样本可以裁剪出至少一幅前景图像，因此，M大于或者等于图像样本数量N。
步骤102：采用预设的均衡化处理策略对所述M张前景图像进行均衡化处理，得到P张前景图像；其中，P取大于M的整数；
这里，均衡化处理策略用于将所述M张前景图像中不同类型前景图像的数量调整均衡。受原始数据集中图像样本的限制，得到的前景图像存在严重的不均衡的问题，因此需要采用本申请实施例提出的均衡化处理策略对M张前景图像进行均衡处理。
在一些实施例中，所述采用预设的均衡化处理策略对所述M张前景图像进行均衡化处理，得到P张前景图像，包括：对所述M张前景图像进行分类，得到至少两类前景图像；统计所述至少两类前景图像的分布特征，得到所述至少两类前景图像的统计结果；基于所述统计结果，采用预设的均衡化处理策略对所述至少两类前景图像进行均衡化处理，得到所述P张前景图像。
在训练检测模型时，检测模型对一类识别对象的识别效果会收到样本质量的影响，样本质量包括：样本数量、样本尺度、样本清晰度等。本申请实施例中，样本均衡化处理主要针对不同类型前景图像和不同尺度前景图像进行数量均衡化处理。
本申请实施例中，前景图像类别即为识别对象类别，比如，人物、动物、微生物、植物、其他无生命物体等，每一类还可以具体细分多种类型，这里不再赘述。另外图像分类可以是现有的图像分类标准，或者根据实际情况灵活改变。
这里，对M张前景图像进行分类可以有通过人工标记的方法区分不同类型前景图像。如果原始数据集包含不同类型的子数据集，一种子数据集中图像样本包含同一种类型前景图像，一种子数据集的所有前景图像的类型相同自成一类，无需进行图像分类。
统计每一类前景图像的分布特征，这里，分布特征包括不同类型前景图像的数量，以及同一类型前景中不同尺度前景图像的数量。
如图2所示，M个前景图像中包含5种不同类型的前景图像，包括：类型_1、类型_2、类型_3、类型_4和类型_5，基于SSD的feature map尺寸将anchor尺度分为30～60，60～111，111～162，162～213，213～264，264～315六组，这里尺度是以像素为单位的，每种类型前景图像在这六组中的分布情况如图4中柱状图所示，每一组柱状图从左到右依次为：类型_1、类型_2、类型_3、类型_4和类型_5。从图4中可以看出，同一类型前景图像中不同尺度的前景图像分布不均衡，同一尺度中不同类型前景图像分布也不均衡。
如图3所示，M个前景图像中包含5种不同类型的前景图像，包括：类型_1、类型_2、类型_3、类型_4和类型_5，每种前景图像总数量的分布情况如图3中柱状图所示，可见不同类型前景图像总数量也分布不均衡。
这种不均衡情况的存在，会使得检测模型对不同类型图像的检测存在偏差，对于数量太少的某一类前景图像会使模型训练效果较差，对于数量太多的某一类前景图像会占用过多的计算资源。因此，本步骤的目的是实现前景图像类型和前景图像尺度的均衡化。
在一些实施例中，所述统计结果为每一类前景图像中不同尺度前景图像的第一数量统计结果；所述基于所述统计结果，采用预设的均衡化处理策略对所述至少两类前景图像进行均衡化处理，包括：判断每一类前景图像的第一数量统计结果是否满足对应的第一均衡化条件；其中，所述第一均衡化条件限定了每一类前景图像中不同尺度前景图像的第一数量范围；当所述至少两类前景图像中目标类前景图像的第一数量统计结果不满足所述第一均衡化条件时，将所述目标类前景图像中不同尺度前景图像的数量调整到限定的第一数量范围内；当所述至少两类前景图像中目标类前景图像的第一数量统计结果满足所述第一均衡化条件时，不对所述目标类前景图像进行调整。
在一些实施例中，将所述目标类前景图像中不同尺度前景图像的数量调整到限定的第一数量范围内，包括：基于目标类前景图像中不同尺度前景图像的第一数量范围，计算不同尺度前景图像的扩充数量；基于不同尺度前景图像的扩充数量与原始数量，得到目标类前景图像。
需要说明的是，不同尺度前景图像的调整包括增加、减少或保持不变，也就是说扩充数量可以取正数、负数和0。
图4为本申请实施例中不同尺度前景图像扩充数量的分布示意图，其中包括五种类型前景图像不同尺度下的扩充数量。
将图2中五种类型前景图像不同尺度下的原始数量加上的图4中的扩充数量，得到图5，图5为本申请实施例中扩充后的不同尺度前景图像的第一分布示意图，其中表示了均衡化后的五种类型前景图像不同尺度下的分布情况，可以看出每种尺度下，不同类型前景图像分布变得均衡。
扩充之后，统计图5中每种类型前景图像中6种尺度下的总数量，得到图6中示出的五种类型前景图像总数量的分布情况，相比于图3前景图像总数量分布均衡性上有了很大改善。
在一些实施例中，所述第一均衡化条件具体限定了不同尺度前景图像的数量下限值；所述将所述目标类前景图像中不同尺度前景图像的数量调整到限定的第一数量范围内，包括：将小于所述数量下限值的至少一种尺度的前景图像的数量增加到所述数量下限值；所述第一均衡化条件具体限定了不同尺度前景图像的数量下限值和数量上限值；所述将所述目标类前景图像中不同尺度前景图像的数量调整到限定的第一数量范围内，包括：将小于所述数量下限值的至少一种尺度的前景图像的数量增加到所述数量下限值，将大于所述数量下限值的至少一种尺度的前景图像的数量减少到所述数量上限值。
这里，数量下限值是用来保证模型训练效果的最低样本数量要求，数量上限值是用来限制样本数量，避免过多的样本数量增加数据处理量，影响模型训练效率。
具体的，根据前景图像类型确定不同尺度下前景图像的数量下限值，不同尺度下数量下限值可以相同也可以不同。由于不同识别对象的真实尺寸有所差异，在图像中的尺寸也不同，真实尺寸较大的其图像尺寸也多分布在大尺寸区域，反正则分布在小尺寸区域。如马的前景图像多分布在162～213，213～264，264～315这三组中，老鼠的前景图像尺寸多分布在60～111，111～162，162～213这三组中，30～60这组中多部分类型均分布较少。
图7为本申请实施例中不同尺度前景图像扩充后的第二分布示意图，依据数量下限值对前景图像进行扩充得到的调整结果，其中尺度30～60这组的数量下限值和其他四组的数量下限值不同，将小于数量下限值五种类型前景图像扩充到数量下限值，得到扩充后的不同尺度下的图像样本分布情况。
具体的，根据前景图像类型确定不同尺度下前景图像的数量上限值，不同尺度下数量上限值可以相同也可以不同。
图8为本申请实施例中不同尺度前景图像扩充后的第三分布示意图，依据数量上限值和数量下限值对前景图像进行扩充得到的调整结果，6组尺度对应的数量上限值相同，将小于数量下限值五种类型前景图像扩充到数量下限值，将大于数量上限值五种类型前景图像扩充到数量上限值，得到扩充后的不同尺度下的图像样本分布情况。
在一些实施例中，所述将小于所述数量下限值的至少一种尺度的前景图像的数量增加到所述数量下限值，包括：增加目标尺度的前景图像的数量时，对所述目标类前景图像中剩余尺度的前景图像进行裁剪、旋转、拉伸、压缩和/或变形处理，得到所述目标尺度的新增前景图像。
如图9所示，增加目标尺度的前景图像的数量时，可以对小于目标尺度的第一尺度的前景图像进行裁剪、旋转、拉伸和/或变形等操作，可以对大于目标尺度的第二尺度和第三尺度进行裁剪、旋转、压缩和/或变形等操作，得到目标尺度的新增前景图像，利用目标尺度的新增前景图像和原始前景图像组成该类前景图像中目标尺度扩充后的前景图像。
采用尺度均衡处理方案，计算前景图像在各个尺度上要达到均衡所需要扩充的数量，再根据计算的结果扩充前景图像，利用前景和背景合成新的图像样本，从基本上解决了各个尺度下样本均衡和类别间样本均衡的问题。
在另一些实施例中，所述统计结果为所述至少两类前景图像的第二数量统计结果；所述基于所述统计结果，采用预设的均衡化处理策略对所述至少两类前景图像进行均衡化处理，包括：判断所述至少两类前景图像的第二数量统计结果是否满足对应的第二均衡化条件；其中，所述第二均衡化条件限定了每一类前景图像的第二数量范围；当所述至少两类前景图像中目标类前景图像的第二数量统计结果不满足所述第二均衡化条件时，将所述目标类前景图像的数量调整到限定的第二数量范围内；当所述至少两类前景图像中目标类前景图像的第二数量统计结果满足所述第二均衡化条件时，不对所述目标类前景图像进行调整。
在一些实施例中，将所述目标类前景图像的数量调整到限定的第二数量范围内，包括：基于目标类前景图像的数量调整到第二数量范围，计算扩充数量；基于目标类前景图像的扩充数量与原始数量，得到目标类前景图像。
具体的，基于目标类前景图像的扩充数量与原始数量，得到目标类前景图像，基于所述扩充数量确定每一类前景图像中不同尺度前景图像的子扩充数量；基于子扩充数量，对每一类前景图像中不同尺度前景图像进行均衡调整。
也就是说，除了依据尺度进行均衡化调整，还可以依据前景图像类型进行调整，在确定了每一类前景图像的扩充数量之后，可以将扩充数量平均分配给每一个尺度，或者按照一定的比例分配。以图4中类型_1为例，将扩充数量平均分配给每一个尺度时，对类型_1的六个柱状图进行整体抬升，将扩充数量按照一定的比例分配，确定每一个尺度的扩充量，对类型_1的六个柱状图分别抬升，抬升效果类似于图5。
步骤103：利用所述P张前景图像和至少一张背景图像构建第二图像样本，并利用构建的第二图像样本和所述第一图像样本组成目标数据集。
具体的，所述利用所述P张前景图像和所述N张背景图像构建第二图像样本，包括：从所述至少一张背景图像中，获取与所述P张前景图像中目标类前景图像具有不同类别的至少一类背景图像；利用所述的目标类前景图像和所述至少一类背景图像合成第二图像样本。其中，所述目标类前景图像为所述P张前景图像中任一类前景图像。
这里，前景图像类别即为识别对象类别，比如，人物、动物、微生物、植物、其他无生命物体等，同样背景图像类别也可以包括人物、动物、微生物、植物、其他无生命物体等。每一类还可以具体细分多种类型，这里不再赘述。将不同类别的背景图像和目标图像融合是为了区分前景和背景，如果背景和前景为同种类型会造成检测失败，不适合作为图像样本。比如，前景为人物背景建筑或植物可以作为图像样本，前景和背景均为人物则不适合作为图像样本。
这里，目标数据集可以用于训练图像检测模型。
在一些实施例中，所述利用所述P张前景图像和至少一张背景图像构建第二图像样本之前，所述方法还包括：提取所述原始数据集中第一图像样本的背景图像；或者，提取其他数据集中图像样本的背景图像；从所述原始图像集的背景图像和/或所述其他数据集的背景图像中得到所述至少一张背景图像。
也就是说，可以利用原始数据集中的背景图像作为构建第二图像样本的背景图像，或者利用其他数据集中的背景图像作为构建第二图像样本的背景图像，或者二者均有。这里，背景图像的获取来源本申请不做具体限定，任何一种适合构建第二图像样本的背景图像均可。
实际应用中，基于锚框(anchor box)的检测模型通常利用一个公开的数据集或者自己制作的数据集作为训练样本，因此，为了提高模型检测效果，可以利用本申请这种图像样本处理方法对现有的数据集进行均衡化处理。
在进行模型训练时，均会根据一定规则初始化设置一些锚框，基于这些预先设定的锚框来训练检测模型。在一目标检测网络(YOLO-v3)中，不同尺寸的特征图(featuremap)上锚框的尺寸设置不一样。在另一目标检测网络(Single Shot MultiBox Detector，SSD)中，特征图通常被划分为38*38、19*19、10*10、5*5、3*3和1*1六种尺寸，然后根据特征图的尺寸，设置不同比例、不同大小的锚框。如下图10-图12示例，图10的图像中包含不同尺度的两个目标猫和狗，及标注猫狗的GT bbox，即图中两个粗实线矩形框。图11中包含了8*8的特征图上每个像素点的锚框示例，即图中虚线矩形框。图12中包含了4*4的特征图上每个像素点的锚框示例。从图11和图12中可以看到，不同尺寸特征图上的锚框匹配不同尺度的目标，8*8的特征图上锚框较小，刚好匹配猫，4*4的特征图上锚框较大，用来匹配狗，即实际中同一张图像中不同尺寸的目标物体是在不同的特征图上实现检测的。对于尺寸较大的GTbbox，采用较大尺寸锚框进行检测，对于尺寸较小的GT bbox，采用较小尺寸锚框进行检测。
相关技术中使用的数据集中不可避免的会存在图像样本不均衡的问题，图13为开源数据集COCO中80个类别样本数量的分布，从图13中可以看到，不同类别间样本存在严重的不平衡，数据集中图像样本分布会对模型的收敛产生很大的影响，从而影响模型的检测效果。
采用本申请上述技术方案通过对原始数据集中的前景图像进行均衡化处理，使不同类型或不同尺寸的前景图像能够均衡分布，再将均衡处理后的前景图像与背景图像合成，得到更多的图像样本，可以为检测模型提高丰富且均衡的图像样本，从而提高检测模型的训练效果。
为实现本申请实施例的方法，基于同一发明构思本申请实施例还提供了一种图像样本处理装置，如图14所示，该装置包括：
提取单元1401，用于提取出原始数据集中第一图像样本的前景图像，得到M张前景图像；其中，M取正整数；
均衡单元1402，用于采用预设的均衡化处理策略对所述M张前景图像进行均衡化处理，得到P张前景图像；其中，P取大于M的整数；
构建单元1403，用于利用所述P张前景图像和至少一张背景图像构建第二图像样本，并利用构建的第二图像样本和所述第一图像样本组成目标数据集。
在一些实施例中，所述均衡单元1402，具体用于对所述M张前景图像进行分类，得到至少两类前景图像；统计所述至少两类前景图像的分布特征，得到所述至少两类前景图像的统计结果；基于所述统计结果，采用预设的均衡化处理策略对所述至少两类前景图像进行均衡化处理，得到所述P张前景图像。
在一些实施例中，所述统计结果为每一类前景图像中不同尺度前景图像的第一数量统计结果；
所述均衡单元1402，具体用于判断每一类前景图像的第一数量统计结果是否满足对应的第一均衡化条件；其中，所述第一均衡化条件限定了每一类前景图像中不同尺度前景图像的第一数量范围；当所述至少两类前景图像中目标类前景图像的第一数量统计结果不满足所述第一均衡化条件时，将所述目标类前景图像中不同尺度前景图像的数量调整到限定的第一数量范围内；当所述至少两类前景图像中目标类前景图像的第一数量统计结果满足所述第一均衡化条件时，不对所述目标类前景图像进行调整。
在一些实施例中，所述第一均衡化条件具体限定了不同尺度前景图像的数量下限值；所述均衡单元1402，具体用于将小于所述数量下限值的至少一种尺度的前景图像的数量增加到所述数量下限值；
所述第一均衡化条件具体限定了不同尺度前景图像的数量下限值和数量上限值；所述均衡单元1402，具体用于将小于所述数量下限值的至少一种尺度的前景图像的数量增加到所述数量下限值，将大于所述数量下限值的至少一种尺度的前景图像的数量减少到所述数量上限值。
在一些实施例中，所述均衡单元1402，具体用于增加目标尺度的前景图像的数量时，对所述目标类前景图像中剩余尺度的前景图像进行裁剪、旋转、拉伸、压缩和/或变形处理，得到所述目标尺度的新增前景图像。
在一些实施例中，所述统计结果为所述至少两类前景图像的第二数量统计结果；
所述均衡单元1402，具体用于判断所述至少两类前景图像的第二数量统计结果是否满足对应的第二均衡化条件；其中，所述第二均衡化条件限定了每一类前景图像的第二数量范围；当所述至少两类前景图像中目标类前景图像的第二数量统计结果不满足所述第二均衡化条件时，将所述目标类前景图像的数量调整到限定的第二数量范围内；当所述至少两类前景图像中目标类前景图像的第二数量统计结果满足所述第二均衡化条件时，不对所述目标类前景图像进行调整。
在一些实施例中，所述构建单元1403，具体用于从所述至少一张背景图像中，获取与所述P张前景图像中目标类前景图像具有不同类别的至少一类背景图像；其中，所述目标类前景图像为所述P张前景图像中任一类前景图像；利用所述的目标类前景图像和所述至少一类背景图像合成第二图像样本。
在一些实施例中，提取单元1401，还用于提取所述原始数据集中第一图像样本的背景图像；或者，提取其他数据集中图像样本的背景图像；从所述原始图像集的背景图像和/或所述其他数据集的背景图像中得到所述至少一张背景图像。
采用上述技术方案，通过对原始数据集中的前景图像进行均衡化处理，使不同类型或不同尺寸的前景图像能够均衡分布，再将均衡处理后的前景图像与背景图像合成，得到更多的图像样本，可以为检测模型提高丰富且均衡的图像样本，从而提高检测模型的训练效果。
基于上述图像样本处理装置中各单元的硬件实现，本申请实施例还提供了一种图像样本处理设备，如图15所示，该设备包括：处理器1501和配置为存储能够在处理器上运行的计算机程序的存储器1502；
其中，处理器1501配置为运行计算机程序时，执行前述实施例中的方法步骤。
当然，实际应用时，如图15所示，该设备中的各个组件通过总线系统1503耦合在一起。可理解，总线系统1503用于实现这些组件之间的连接通信。总线系统1503除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图15中将各种总线都标为总线系统1503。
在实际应用中，上述处理器可以为特定用途集成电路(ASIC，ApplicationSpecific Integrated Circuit)、数字信号处理装置(DSPD，Digital Signal ProcessingDevice)、可编程逻辑装置(PLD，Programmable Logic Device)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、控制器、微控制器、微处理器中的至少一种。可以理解地，对于不同的设备，用于实现上述处理器功能的电子器件还可以为其它，本申请实施例不作具体限定。
上述存储器可以是易失性存储器(volatile memory)，例如随机存取存储器(RAM，Random-Access Memory)；或者非易失性存储器(non-volatile memory)，例如只读存储器(ROM，Read-Only Memory)，快闪存储器(flash memory)，硬盘(HDD，Hard Disk Drive)或固态硬盘(SSD，Solid-State Drive)；或者上述种类的存储器的组合，并向处理器提供指令和数据。
在示例性实施例中，本申请实施例还提供了一种计算机可读存储介质，例如包括计算机程序的存储器，上述计算机程序可由图像样本处理设备的处理器执行，以完成前述方法步骤。
本申请实施例所记载的技术方案之间，在不冲突的情况下，可以任意组合。
在本申请所提供的几个实施例中，应该理解到，所揭露的方法和智能设备，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
另外，在本申请各实施例中的各功能单元可以全部集成在一个第二处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。
Claims (9)
1.一种图像样本处理方法，其特征在于，所述方法包括：
提取出原始数据集中第一图像样本的前景图像，得到M张前景图像；其中，M取正整数；
对所述M张前景图像进行分类，得到至少两类前景图像；
统计所述至少两类前景图像的分布特征，得到所述至少两类前景图像的统计结果；
基于所述统计结果，采用预设的均衡化处理策略对所述至少两类前景图像进行均衡化处理，得到P张前景图像；其中，P取大于M的整数；
利用所述P张前景图像和至少一张背景图像构建第二图像样本，并利用构建的所述第二图像样本和所述第一图像样本组成目标数据集；
所述统计结果为每一类前景图像中不同尺度前景图像的第一数量统计结果；
所述基于所述统计结果，采用预设的均衡化处理策略对所述至少两类前景图像进行均衡化处理，包括：
判断每一类前景图像的第一数量统计结果是否满足对应的第一均衡化条件；其中，所述第一均衡化条件限定了每一类前景图像中不同尺度前景图像的第一数量范围；
当所述至少两类前景图像中目标类前景图像的第一数量统计结果不满足所述第一均衡化条件时，将所述目标类前景图像中不同尺度前景图像的数量调整到限定的第一数量范围内；
当所述至少两类前景图像中目标类前景图像的第一数量统计结果满足所述第一均衡化条件时，不对所述目标类前景图像进行调整。
2.根据权利要求1所述的方法，其特征在于，所述第一均衡化条件具体限定了不同尺度前景图像的数量下限值；所述将所述目标类前景图像中不同尺度前景图像的数量调整到限定的第一数量范围内，包括：
将小于所述数量下限值的至少一种尺度的前景图像的数量增加到所述数量下限值。
3.根据权利要求1所述的方法，其特征在于，所述第一均衡化条件具体限定了不同尺度前景图像的数量下限值和数量上限值；所述将所述目标类前景图像中不同尺度前景图像的数量调整到限定的第一数量范围内，包括：
将小于所述数量下限值的至少一种尺度的前景图像的数量增加到所述数量下限值，将大于所述数量下限值的至少一种尺度的前景图像的数量减少到所述数量上限值。
4.根据权利要求2或3所述的方法，其特征在于，所述将小于所述数量下限值的至少一种尺度的前景图像的数量增加到所述数量下限值，包括：
增加目标尺度的前景图像的数量时，对所述目标类前景图像中剩余尺度的前景图像进行裁剪、旋转、拉伸、压缩，得到所述目标尺度的新增前景图像。
5.根据权利要求1所述的方法，其特征在于，所述统计结果为所述至少两类前景图像的第二数量统计结果；
所述基于所述统计结果，采用预设的均衡化处理策略对所述至少两类前景图像进行均衡化处理，包括：
判断所述至少两类前景图像的第二数量统计结果是否满足对应的第二均衡化条件；其中，所述第二均衡化条件限定了每一类前景图像的第二数量范围；
当所述至少两类前景图像中目标类前景图像的第二数量统计结果不满足所述第二均衡化条件时，将所述目标类前景图像的数量调整到限定的第二数量范围内；
当所述至少两类前景图像中目标类前景图像的第二数量统计结果满足所述第二均衡化条件时，不对所述目标类前景图像进行调整。
6.根据权利要求1所述的方法，其特征在于，所述利用所述P张前景图像和至少一张背景图像构建第二图像样本，包括：
从所述至少一张背景图像中，获取与所述P张前景图像中目标类前景图像具有不同类别的至少一类背景图像；
利用所述的目标类前景图像和所述至少一类背景图像合成第二图像样本。
7.根据权利要求6所述的方法，其特征在于，所述利用所述P张前景图像和至少一张背景图像构建第二图像样本之前，所述方法还包括：
提取所述原始数据集中第一图像样本的背景图像；或者，提取其他数据集中图像样本的背景图像；
从所述原始数据集的背景图像和/或所述其他数据集的背景图像中得到所述至少一张背景图像。
8.一种图像样本处理装置，其特征在于，所述装置包括：
提取单元，用于提取出原始数据集中第一图像样本的前景图像，得到M张前景图像；其中，M取正整数；
均衡单元，用于对所述M张前景图像进行分类，得到至少两类前景图像；统计所述至少两类前景图像的分布特征，得到所述至少两类前景图像的统计结果；基于所述统计结果，采用预设的均衡化处理策略对所述至少两类前景图像进行均衡化处理，得到P张前景图像；其中，P取大于M的整数；
构建单元，用于利用所述P张前景图像和至少一张背景图像构建第二图像样本，并利用构建的所述第二图像样本和所述第一图像样本组成目标数据集；
其中，所述统计结果为每一类前景图像中不同尺度前景图像的第一数量统计结果；
所述均衡单元，具体用于判断每一类前景图像的第一数量统计结果是否满足对应的第一均衡化条件；其中，所述第一均衡化条件限定了每一类前景图像中不同尺度前景图像的第一数量范围；当所述至少两类前景图像中目标类前景图像的第一数量统计结果不满足所述第一均衡化条件时，将所述目标类前景图像中不同尺度前景图像的数量调整到限定的第一数量范围内；当所述至少两类前景图像中目标类前景图像的第一数量统计结果满足所述第一均衡化条件时，不对所述目标类前景。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至7任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010403710.4A CN111626342B (zh) | 2020-05-13 | 2020-05-13 | 一种图像样本处理方法、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010403710.4A CN111626342B (zh) | 2020-05-13 | 2020-05-13 | 一种图像样本处理方法、装置及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111626342A CN111626342A (zh) | 2020-09-04 |
| CN111626342B true CN111626342B (zh) | 2023-07-18 |
Family
ID=72270929
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010403710.4A Active CN111626342B (zh) | 2020-05-13 | 2020-05-13 | 一种图像样本处理方法、装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111626342B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112329616B (zh) * | 2020-11-04 | 2023-08-11 | 北京百度网讯科技有限公司 | 目标检测方法、装置、设备以及存储介质 |
| CN114462628A (zh) * | 2020-11-09 | 2022-05-10 | 华为技术有限公司 | 数据增强方法、装置、计算设备以及计算机可读存储介质 |
| CN112560698B (zh) * | 2020-12-18 | 2024-01-16 | 北京百度网讯科技有限公司 | 图像处理方法、装置、设备和介质 |
| CN112767239A (zh) * | 2021-01-12 | 2021-05-07 | 云南电网有限责任公司电力科学研究院 | 一种样本自动生成方法、系统、设备和存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108564030A (zh) * | 2018-04-12 | 2018-09-21 | 广州飒特红外股份有限公司 | 面向车载热成像行人检测的分类器训练方法和装置 |
| CN111046980A (zh) * | 2020-03-16 | 2020-04-21 | 腾讯科技（深圳）有限公司 | 一种图像检测方法、装置、设备及计算机可读存储介质 |
| CN111062897A (zh) * | 2019-12-06 | 2020-04-24 | Oppo广东移动通信有限公司 | 图像均衡方法、终端及存储介质 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8270716B2 (en) * | 2007-12-04 | 2012-09-18 | Ricoh Company, Limited | Selectively compressing picture and text areas of an image to maintain highest quality and effective compaction |
| CN110580428A (zh) * | 2018-06-08 | 2019-12-17 | Oppo广东移动通信有限公司 | 图像处理方法、装置、计算机可读存储介质和电子设备 |
-
2020
- 2020-05-13 CN CN202010403710.4A patent/CN111626342B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108564030A (zh) * | 2018-04-12 | 2018-09-21 | 广州飒特红外股份有限公司 | 面向车载热成像行人检测的分类器训练方法和装置 |
| WO2019196130A1 (zh) * | 2018-04-12 | 2019-10-17 | 广州飒特红外股份有限公司 | 面向车载热成像行人检测的分类器训练方法和装置 |
| CN111062897A (zh) * | 2019-12-06 | 2020-04-24 | Oppo广东移动通信有限公司 | 图像均衡方法、终端及存储介质 |
| CN111046980A (zh) * | 2020-03-16 | 2020-04-21 | 腾讯科技（深圳）有限公司 | 一种图像检测方法、装置、设备及计算机可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111626342A (zh) | 2020-09-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111626342B (zh) | 一种图像样本处理方法、装置及存储介质 | |
| CN104537359B (zh) | 一种车辆目标检测方法及装置 | |
| CN108009567B (zh) | 一种结合图像颜色及hog和svm的粪便性状的自动辨别方法 | |
| CN114022872B (zh) | 基于动态神经网络的多种类农作物叶病识别方法 | |
| CN108764302A (zh) | 一种基于颜色特征和词袋特征的票据图像分类方法 | |
| CN111680705A (zh) | 适于目标检测的mb-ssd方法和mb-ssd特征提取网络 | |
| CN112257738A (zh) | 机器学习模型的训练方法、装置和图像的分类方法、装置 | |
| CN113127864B (zh) | 特征码提取方法、装置、计算机设备和可读存储介质 | |
| CN111783812A (zh) | 违禁图像识别方法、装置和计算机可读存储介质 | |
| CN111814820A (zh) | 图像处理方法及装置 | |
| CN115713669A (zh) | 一种基于类间关系的图像分类方法、装置、存储介质及终端 | |
| CN112766387B (zh) | 一种训练数据的纠错方法、装置、设备及存储介质 | |
| CN113127866B (zh) | 恶意代码的特征码提取方法、装置和计算机设备 | |
| CN113283388A (zh) | 活体人脸检测模型的训练方法、装置、设备及存储介质 | |
| CN113920511A (zh) | 车牌识别方法、模型训练方法、电子设备及可读存储介质 | |
| CN112949592A (zh) | 高光谱图像的分类方法、装置和电子设备 | |
| CN108133210B (zh) | 一种图像格式识别方法及装置 | |
| CN112926609A (zh) | 图像处理方法及装置 | |
| CN110929788A (zh) | 食材识别方法、装置、存储介质及电子设备 | |
| CN111027568B (zh) | 一种迭代的神经网络批量规范化系统 | |
| CN110505180A (zh) | 一种网络流量分类方法及系统 | |
| CN113762382B (zh) | 模型的训练及场景识别方法、装置、设备及介质 | |
| CN112704259B (zh) | 一种密集烟叶识别的打叶质量评价方法及系统 | |
| CN107918777A (zh) | 一种筛除图像不稳定特征点的方法 | |
| CN114782755A (zh) | 西林瓶检测模型的训练方法、西林瓶的检测方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |