CN110378419B - 一种图像集扩充方法、装置、设备及可读存储介质 - Google Patents
一种图像集扩充方法、装置、设备及可读存储介质 Download PDFInfo
- Publication number
- CN110378419B CN110378419B CN201910657512.8A CN201910657512A CN110378419B CN 110378419 B CN110378419 B CN 110378419B CN 201910657512 A CN201910657512 A CN 201910657512A CN 110378419 B CN110378419 B CN 110378419B
- Authority
- CN
- China
- Prior art keywords
- image
- enhancement
- parameters
- image set
- tested
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 238000003860 storage Methods 0.000 title claims abstract description 21
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 41
- 230000000694 effects Effects 0.000 claims abstract description 31
- 238000005457 optimization Methods 0.000 claims abstract description 29
- 238000012360 testing method Methods 0.000 claims description 62
- 238000011156 evaluation Methods 0.000 claims description 29
- 230000001174 ascending effect Effects 0.000 claims description 9
- 238000007637 random forest analysis Methods 0.000 claims description 8
- 230000000630 rising effect Effects 0.000 claims description 4
- 238000013210 evaluation model Methods 0.000 claims description 3
- 238000012795 verification Methods 0.000 abstract description 5
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 230000008569 process Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 8
- 238000012549 training Methods 0.000 description 8
- 239000003623 enhancer Substances 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000003066 decision tree Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 230000003416 augmentation Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
- G06F18/24155—Bayesian classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/40—Software arrangements specially adapted for pattern recognition, e.g. user interfaces or toolboxes therefor
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Probability & Statistics with Applications (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种图像集扩充方法,通过从预设增强策略库中确定当前待调用的增强策略;调用贝叶斯优化算法确定待测试参数,调用贝叶斯优化算法可以从无数增强策略的调用参数中快速确定性能增强性能优良的若干参数,确定待测试参数中的最优参数,最优参数为待测试参数中增强效果最好的参数;由于调用的增强策略参数增强性能优良,调用增强策略以及最优参数对原始图像集进行图像增强,可以保证生成图像的高可用性,因此可以将当前得到的图像集直接作为待输出数据集,而无需占用过多资源进行图像有效性验证,可以快速解决图像集数量不足的问题,并且可以减少实现成本。本发明还公开了一种图像集扩充装置、设备及一种可读存储介质,具有上述有益效果。
Description
技术领域
本发明涉及数据管理领域,特别涉及一种图像集扩充方法、装置、设备及可读存储介质。
背景技术
在图片分类领域(比如目前实际使用的车型分类、人脸肤色分类等)中,图像数据集是其中最关键的部分,没有足够的标记图像数据常常导致过度拟合,并造成采样噪声,这意味着模型将无法归纳未发现的示例。而该问题可以通过图像扩充来缓解。图像扩充是通过对原始图像集进行(如旋转、裁剪、遮挡、缩放等)等图像转换,人为地生成新图像,图像扩充可以有效地增加网络所看到的图像的数量和多样性。
对于图像扩充,如何调用合适的增强算法实现对已有的图像集进行扩充十分重要。目前传统方法采用强化学习来优化图像集,这种方式由于搜索范围太广,会占用大量资源,并且对计算能力的要求太高,实现成本极高,不适用于低成本的使用场景。
因此,如何在保证图像集的数量以及高可用性的前提下,降低实现过程的资源消耗以及成本,是本领域技术人员需要解决的技术问题。
发明内容
本发明的目的是提供一种图像集扩充方法,该方法可以实现在低资源消耗下高效的增加图像集的数量,从而提供有价值的图像集;本发明的另一目的是提供一种图像集扩充装置、设备及可读存储介质。
为解决上述技术问题,本发明提供一种图像集扩充方法,包括:
从预设增强策略库中确定当前待调用的增强策略;
调用贝叶斯优化算法确定待测试参数;其中,所述待测试参数为所述增强策略的调用参数;
确定所述待测试参数中的最优参数;
调用所述增强策略以及对应的最优参数对原始图像集进行图像增强,并将当前得到的图像集作为待输出数据集。
可选地,确定所述待测试参数中的最优参数,包括:
调用随机森林算法对所述待测试参数的图像增强优化程度进行排序;
确定当前图像增强优化程度最高的未测试的待测试参数,作为当前测试参数;
调用所述当前测试参数以及所述增强策略进行图像增强测试,生成当前测试图像;
对所述当前测试图像进行增强效果评估,得到测试分数;
获取距离当前间隔时间最短的图像增强测试对应的测试分数,作为历史测试分数;
判断所述测试分数是否高于所述历史测试分数;
若是,将所述当前测试参数作为所述最优参数;
若否,执行所述确定图像增强优化程度最高的所述未测试的待测试参数的步骤。
可选地,对所述当前测试图像进行增强效果评估,包括:
对所述当前测试图像进行图像识别,得到增强识别结果;
获取所述当前测试图像对应的原始图像的图像识别结果,作为原始识别结果;
根据所述增强识别结果与所述原始识别结果的差异度生成测试分数。
可选地,所述调用贝叶斯优化算法确定待测试参数,包括:
确定若干参数;
调用所述增强策略对所述参数逐一进行图像增强测试;
根据所述图像增强测试中的输入项以及输出项对应的参数绘制波动曲线;
确认所述波动曲线中上升趋势的中心点;
获取距离所述中心点预设范围内的点,作为所述待测试参数。
可选地,所述获取距离所述中心点预设范围内的点,包括:
生成位于所述中心点的水平位置的直线;
获取所述直线上与所述波动曲线相交,并且处于上升区域与中心点距离最近的指定数量的点。
可选地,在调用所述增强策略以及对应的最优参数对原始图像集进行图像增强之后,还包括:
调用预训练的图像评估模型对所述扩充后的图像集进行有效性评估,得到图像评估结果;
当所述图像评估结果显示所述扩充后的图像集中的有效图像数量未达到预设标准时,将当前得到的数据集作为所述原始数据集,并执行所述从预设增强策略库中确定当前待调用的增强策略的步骤。
可选地,所述图像集扩充方法还包括:
当所述图像评估结果显示所述扩充后的图像集中的有效图像数量未达到预设标准时,统计迭代次数;
判断所述迭代次数是否达到迭代阈值;
若达到,将当前得到的图像集作为所述待输出图像集;
若未达到,将当前得到的图像集作为所述原始图像集,并执行所述从预设增强策略库中确定当前待调用的增强策略的步骤。
本申请还公开了一种图像集扩充装置,包括:
策略确定单元,用于从预设增强策略库中确定当前待调用的增强策略;
参数确定单元,用于调用贝叶斯优化算法确定待测试参数;其中,所述待测试参数为所述增强策略的调用参数;
最优参确定单元,用于确定所述待测试参数中的最优参数;
图像增强单元,用于调用所述增强策略以及对应的最优参数对原始图像集进行图像增强,并将当前得到的图像集作为待输出数据集。
本申请还公开了一种图像集扩充设备,包括:
存储器,用于存储程序;
处理器,用于执行所述程序时实现所述图像集扩充方法的步骤。
本申请还公开了一种可读存储介质,所述可读存储介质上存储有程序,所述程序被处理器执行时实现所述图像集扩充方法的步骤。
本发明所提供的图像集扩充方法,通过从预设增强策略库中确定当前待调用的增强策略;调用贝叶斯优化算法确定待测试参数,调用贝叶斯优化算法可以从无数增强策略的调用参数中快速确定性能增强性能优良的若干参数,实现方式简单,而且该些参数可以实现较好的增强效果,确定待测试参数中的最优参数,最优参数为待测试参数中增强效果最好的参数,可以实现最优的增强效果,保证生成的增强图像的高可用性;调用增强策略以及对应的最优参数对原始图像集进行图像增强,由于调用的增强策略参数增强性能优良,可以保证生成图像的高可用性,因此可以将当前得到的图像集直接作为待输出数据集,而无需占用过多资源进行图像有效性验证,可以快速解决图像集数量不足的问题,并且可以减少人为成本,可以提高产品竞争力。
本发明还公开了一种图像集扩充装置、设备及一种可读存储介质,具有上述有益效果,在此不再赘述。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的一种图像集扩充方法的流程图;
图2为本发明实施例提供的一种参数波动变化曲线图;
图3为本发明实施例提供的一种图像集扩充装置的结构框图;
图4为本发明实施例提供的一种图像集扩充设备的结构框图;
图5为本发明实施例提供的一种图像集扩充设备的结构示意图;
图6为本发明实施例提供的一种部件连接方式以及工作流程示意图。
具体实施方式
本发明的核心是提供一种图像集扩充方法,该方法可以实现在低资源消耗下高效的增加图像集的数量,从而提供有价值的图像集;本发明的另一核心是提供一种图像集扩充装置、设备及可读存储介质。
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明提出了一种图像集扩充方法,请参考图1,图1为本实施例提供的图像集扩充方法的流程图;该方法可以包括:
步骤s110、从预设增强策略库中确定当前待调用的增强策略。
图像增强为通过一定手段对原图像附加一些信息或变换数据,有选择地突出图像中感兴趣的特征或者抑制(掩盖)图像中某些不需要的特征,使图像与视觉响应特性相匹配。图像增强策略包括很多,比如图像旋转、图像缩放、图像遮挡、图像裁剪、图像对比度调整、图像色彩变换等,本实施例中预设增强策略库,增强策略库中包括若干图像增强策略,本实施例中对增强策略库中具体配置的图像增强策略的种类或数量不做限定,可以根据图像增强效果的需求进行配置;另外对增强策略库中预设值的增强策略的数据存储方式不做限定,比如可以以数组的方式定义增强策略。
从增强策略库中确定当前待调用的增强策略的方式不做限定,可以随机选择,即调用某种随机算法进行增强策略的选择;也可以按照某些筛选算法实现增强策略的指定等。另外,确定的增强策略的数量不做限定,可以仅选取一种增强策略作为当前待调用的增强策略,也可以选择两种及两种以上的增强策略混合搭配作为当前待调用的增强策略等,可以根据实际图像增强效果的需要进行数量的设定。
步骤s120、调用贝叶斯优化算法确定待测试参数。
贝叶斯算法是一种基于贝叶斯定理与特征条件独立假设的分类算法。对于给定的训练数据集,首先基于特征条件独立假设学习输入/输出的联合概率分布,然后基于此模型,对给定的输入x,利用贝叶斯定理求出后验证概率最大的输出y。
待测试参数为增强策略的调用参数,比如选取的增强策略为图像旋转,则旋转方向以及旋转度数等参数均可作为调用参数的类型。
增强策略的调用参数有无限多个,本实施例中调用贝叶斯算法确定待测试参数,可以从可调用的无限个策略参数中快速挑选出图像增强性能优良(具体地,增强性能优良指增强处理后的图像与原图像间的识别差异性较小)的参数,不仅可以实现高效的图像集扩充,而且生成的图像集价值性更高,可用性更高,可以为后续图像处理提供有效的图像质量支持。
调用贝叶斯优化算法确定待测试参数的具体实现步骤不做限定,具体地,可以调用贝叶斯算法根据若干次增强测试的结果确定其中优选的参数作为待测试参数,具体实现步骤可以参照相关技术中对贝叶斯算法的调用方式。
为加深理解,以下提供一种调用贝叶斯优化算法确定待测试参数的具体实现方式,具体包括以下步骤:
(1)、确定若干参数;
该步骤的目的在于从无限个可行的策略参数中选取若干个参数进行后续的图像增强测试,具体的参数选择方式不做限定,可以直接调用随机算法随机选择若干个参数,也可以指定某些参数等,在此不再赘述。
(2)、调用增强策略对参数逐一进行图像增强测试;
图像增强测试指调用增强策略并添加对应的参数对原始图像进行图像增强处理。
(3)、根据图像增强测试中的输入项以及输出项对应的参数绘制波动曲线;
具体地,可以以输入项所为横坐标,输出项作为纵坐标,绘制参数波动曲线。
(4)、确认波动曲线中上升趋势的中心点;
上升趋势指示输出项效果的提升,上升趋势的中心点为最优参数点。
(5)、获取距离中心点预设范围内的点,作为待测试参数。
确定待测试参数的个数,获取距离中心点预设范围内数量匹配的点,作为待测试参数。一种具体的实现步骤如下:
生成位于中心点的水平位置的直线;
获取直线上与波动曲线相交,并且处于上升区域与中心点距离最近的指定数量的点。
该方式下实现方式简单,而且获取的参数点增强效果优良。
为加深对上述实现方式的理解,以旋转策略为例进行介绍。首先根据原始数据集中的1000张图片计算每个输入项以及输出项对应的参数。根据计算的结果绘制曲线,图2所示为一种参数波动变化曲线图,根据绘制的曲线确认上升趋势的中心点,即星标位置。在中心点水平位置绘制一条直线,选择直接与曲线相交,并且处于上升区域与中心点距离最近的十个点,这十个点作为待测试参数。
步骤s130、确定待测试参数中的最优参数。
待测试参数为无限个参数中可以实现较好的增强效果的参数,确定待测试参数中的最优参数,最优参数为待测试参数中增强效果最好的参数,可以实现最优的增强效果,保证生成的增强图像的高可用性。
本实施例中对最优参数的确定方式不做限定,可以直接选择上述步骤(4)中的中心点,也可以对待测试参数进行进一步图像增强测试以精准确定最优参数,实现最优的图像增强效果,具体可以参照scikit-optimization(开发代码库)库的ask-and-tell方法,依次通过:设置代理目标→查找代理参数→执行目标函数→更新代理模型,在搜索空间中获取最优的超参和策略。
优选地,一种确定待测试参数中的最优参数的具体实现步骤包括:
(1)、调用随机森林算法对待测试参数的图像增强优化程度进行排序;
(2)、确定当前图像增强优化程度最高的未测试的待测试参数,作为当前测试参数;
(3)、调用当前测试参数以及增强策略进行图像增强测试,生成当前测试图像;
(4)、对当前测试图像进行增强效果评估,得到测试分数;
(5)、获取距离当前间隔时间最短的图像增强测试对应的测试分数,作为历史测试分数;
(6)、判断测试分数是否高于历史测试分数;
(7)、若是,将当前测试参数作为最优参数;
(8)、若否,跳转至步骤(2),执行确定图像增强优化程度最高的未测试的待测试参数的步骤。
其中,随机森林算法是指利用多棵决策树对样本进行训练并预测的一种算法,也就是说随机森林算法是一个包含多个决策树的算法,其输出的类别是由个别决策树输出的类别的众树来决定的,调用随机森林算法可以实现参数增强效果的排序,若前一个参数实际评估效果优于后一个,则指示前一个不仅经过随机森林算法判定性能优良,而且实际测试效果较好,则可以直接将前一个参数作为最优参数,节省了后续的比对步骤;若前一个参数实际评估效果差于后一个,则继续进行比对,直至找到前一个参数实际评估效果优于后一个的参数,若遍历完成也不存在前一个参数实际评估效果优于后一个的情况,可以直接选取所有参数评估效果中最好的参数作为最优参数。该实现方式实现过程步骤简单,而且经过多次评估可以得到各方面最优的参数,保证实际图像增强效果。
上述过程中,需要多次执行对测试图像进行增强效果评估,而具体的评估手段不做限定,由于本申请中为扩充图像集,为保证扩充的图像与原始图像间保持较小的识别差异,优选地,一种评估方式为:
对当前测试图像进行图像识别,得到增强识别结果;
获取当前测试图像对应的原始图像的图像识别结果,作为原始识别结果;
根据增强识别结果与原始识别结果的差异度生成测试分数。
例如,首先由机器针对旋转后的1000张图片进行识别(识别时与原始图片比对),判断旋转后的图片是否与原始图片相同,记录1(相同)或者0(不同),另外,增加人为核实:抽样60%的图片进行结果校验,确认选择后的图片是否正常,记录1(相同)或者0(不同)。根据机器和人为核实,计算相同在1000张图片的比分,正确/1000,比如80%,根据评估结果反馈增强策略的有效性。
步骤s140、调用增强策略以及对应的最优参数对原始图像集进行图像增强,并将当前得到的图像集作为待输出数据集。
确定增强策略以及对应的增强效果优良的参数后,调用其对原始图像集进行图像增强处理,具体实现图像增强处理的实现步骤可以参照相关技术,例如可以调用Imgaug(开源项目,包含大量的增强算法),在此不做限定。
基于上述技术方案,本实施例所提供的图像集扩充方法,通过从预设增强策略库中确定当前待调用的增强策略;调用贝叶斯优化算法确定待测试参数,调用贝叶斯优化算法可以从无数增强策略的调用参数中快速确定性能增强性能优良的若干参数,实现方式简单,而且该些参数可以实现较好的增强效果,确定待测试参数中的最优参数,最优参数为待测试参数中增强效果最好的参数,可以实现最优的增强效果,保证生成的增强图像的高可用性;调用增强策略以及对应的最优参数对原始图像集进行图像增强,由于调用的增强策略参数增强性能优良,可以保证生成图像的高可用性,因此可以将当前得到的图像集直接作为待输出数据集,而无需占用过多资源进行图像有效性验证,可以快速解决图像集数量不足的问题,并且可以减少人为成本,可以提高产品竞争力。
基于上述实施例,由于一般在进行图像集扩充时要求的扩充量极大,在图像增强过程中可能会生成一些不符合后续图像处理要求(比如失真)的图像,为避免这些图像影响后续图像处理质量,优选地,在调用增强策略以及对应的最优参数对原始图像集进行图像增强之后,可以进一步:调用预训练的图像评估模型对扩充后的图像集进行有效性评估,得到图像评估结果;当图像评估结果显示扩充后的图像集中的有效图像数量未达到预设标准时,将当前得到的数据集作为原始数据集,跳转至步骤S110,执行从预设增强策略库中确定当前待调用的增强策略的步骤。其中,图像评估可以调用卷积神经网络实现,在此不做限定。
进一步地,还可以根据有效性评估的结果反馈调整增强策略以及对应的最优参数,对前述步骤中的相关参数进行调整反馈,以辅助进一步提升增强效果。
而另外,为避免多次迭代过程导致图像集扩充过程占用资源过多,优选地,可以进一步设置迭代次数阈值,则当图像评估结果显示扩充后的图像集中的有效图像数量未达到预设标准时,统计迭代次数;判断迭代次数是否达到迭代阈值;若达到,将当前得到的图像集作为待输出图像集;若未达到,将当前得到的图像集作为原始图像集,并执行从预设增强策略库中确定当前待调用的增强策略的步骤。
该方法在达到预设的迭代次数阈值时停止迭代,直接将当前得到的图像集输出,可以实现对资源占用的有效控制,提升系统处理效率。
另外,本实施例中对反馈调节方式不做限定,一种反馈调节方式如下:通过获取输出的扩充后的图像集开始训练数据增强的参数,测试训练结果是否达到预期;训练过程中设置奖励策略,奖励值返回给控制器,使用此奖励和相关的增强策略更新增强策略以及对应的参数,然后再次采样新的策略以及对应的参数,循环执行,直到达到用户设置的最大迭代次数。
请参考图3,图3为本实施例提供的图像集扩充装置的结构框图;该装置可以包括:策略确定单元210,参数确定单元220、最优参确定单元230以及图像增强单元240。本实施例提供的图像集扩充装置可与上述实施例中提供的图像集扩充方法相互对照,在此不再赘述。
其中,策略确定单元210主要用于从预设增强策略库中确定当前待调用的增强策略;
参数确定单元220主要用于调用贝叶斯优化算法确定待测试参数;其中,待测试参数为增强策略的调用参数;
最优参确定单元230主要用于确定待测试参数中的最优参数;
图像增强单元240主要用于调用增强策略以及对应的最优参数对原始图像集进行图像增强,并将当前得到的图像集作为待输出数据集。
本实施例提供的图像集扩充装置可以实现在低资源消耗下高效的增加图像集的数量,从而提供有价值的图像集。
请参考图4,图4为本实施例提供的图像集扩充设备的结构框图;该设备可以包括:存储器400以及处理器410。图像集扩充设备可参照上述图像集扩充方法的介绍。
其中,存储器400主要用于存储程序;
处理器410主要用于执行程序时实现上述图像集扩充方法的步骤。
请参考图5,为本实施例提供的图像集扩充设备的结构示意图,该图像集扩充设备可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上处理器(centralprocessing units,CPU)322(例如,一个或一个以上处理器)和存储器332,一个或一个以上存储应用程序342或数据344的存储介质330(例如一个或一个以上海量存储设备)。其中,存储器332和存储介质330可以是短暂存储或持久存储。存储在存储介质330的程序可以包括一个或一个以上模块(图示没标出),每个模块可以包括对数据处理设备中的一系列指令操作。更进一步地,中央处理器322可以设置为与存储介质330通信,在图像集扩充设备301上执行存储介质330中的一系列指令操作。
图像集扩充设备301还可以包括一个或一个以上电源326,一个或一个以上有线或无线网络接口350,一个或一个以上输入输出接口358,和/或,一个或一个以上操作系统341,例如Windows ServerTM,Mac OS XTM,UnixTM,LinuxTM,FreeBSDTM等等。
上面图1所描述的图像集扩充方法中的步骤可以由本实施例提供的图像集扩充设备的结构实现。
进一步地,本实施例中提供另一种部件划分方式下的图像集扩充设备,该设备主要包括四个组件:控制器(使用贝叶斯优化算法完成控制器的设计,并且支持各种常用的数据集增强策略,比如:旋转、缩放、遮挡、裁剪等)、增强器(按照控制器选择的最优策略完成数据集转换增强)、评估器(通过增强器增强的数据集从头开始训练,测试训练结果是否达到预期),该设备的部件连接方式以及工作流程示意图如图6所示。
各部件的具体工作过程如下:
1、控制器
设计增强策略:以数组的方式定义增强策略(旋转、缩放、遮挡、裁剪等),并且定义获取增强策略的随机算法,通过随机算法获取策略方式;
选择最优超参/策略:参考scikit-optimization(开发代码库)库的ask-and-tell方法,依次通过:设置代理目标→查找代理参数→行目标函数→更新代理模型,在搜索空间中获取最优的超参和策略。
2、增强器
按照控制器选择的新策略完成数据集转换增强;
3、评估器
通过增强器增强的数据集开始训练;
在训练过程中保存运行参数;
通过运行参数评估奖励分数,使用奖励分数和运行参数循环调用控制器和增强器直到达到迭代次数。
该种部件划分方式下的图像集扩充设备可以快速找到一种增强策略完成数据的增强,不仅可以解决数据集不足的问题,并且可以减少人为成本,提高了产品的竞争力。
本实施例公开了一种可读存储介质,可读存储介质上存储有程序,程序被处理器执行时实现图像集扩充方法的步骤,其中,图像集扩充方法可参照图1对应的实施例,在此不再赘述。
说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本发明所提供的图像集扩充方法、装置、设备及可读存储介质进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以对本发明进行若干改进和修饰,这些改进和修饰也落入本发明权利要求的保护范围内。
Claims (9)
1.一种图像集扩充方法,其特征在于,包括:
从预设增强策略库中确定当前待调用的增强策略;
调用贝叶斯优化算法确定待测试参数;其中,所述待测试参数为所述增强策略的调用参数;所述调用贝叶斯优化算法确定待测试参数,包括:确定若干参数;调用所述增强策略对所述参数逐一进行图像增强测试;根据所述图像增强测试中的输入项以及输出项对应的参数绘制波动曲线;确认所述波动曲线中上升趋势的中心点;获取距离所述中心点预设范围内的点,作为所述待测试参数;其中,所述获取距离所述中心点预设范围内的点,包括:生成位于所述中心点的水平位置的直线;获取所述直线上与所述波动曲线相交,并且处于上升区域与所述中心点距离最近的指定数量的点;
确定所述待测试参数中的最优参数;
调用所述增强策略以及对应的最优参数对原始图像集进行图像增强,并将当前得到的图像集作为待输出数据集。
2.如权利要求1所述的图像集扩充方法,其特征在于,确定所述待测试参数中的最优参数,包括:
调用随机森林算法对所述待测试参数的图像增强优化程度进行排序;
确定当前图像增强优化程度最高的未测试的待测试参数,作为当前测试参数;
调用所述当前测试参数以及所述增强策略进行图像增强测试,生成当前测试图像;
对所述当前测试图像进行增强效果评估,得到测试分数;
获取距离当前间隔时间最短的图像增强测试对应的测试分数,作为历史测试分数;
判断所述测试分数是否高于所述历史测试分数;
若是,将所述当前测试参数作为所述最优参数;
若否,执行所述确定图像增强优化程度最高的所述未测试的待测试参数的步骤。
3.如权利要求2所述的图像集扩充方法,其特征在于,对所述当前测试图像进行增强效果评估,包括:
对所述当前测试图像进行图像识别,得到增强识别结果;
获取所述当前测试图像对应的原始图像的图像识别结果,作为原始识别结果;
根据所述增强识别结果与所述原始识别结果的差异度生成测试分数。
4.如权利要求1所述的图像集扩充方法,其特征在于,所述获取距离所述中心点预设范围内的点,包括:
生成位于所述中心点的水平位置的直线;
获取所述直线上与所述波动曲线相交,并且处于上升区域与中心点距离最近的指定数量的点。
5.如权利要求1所述的图像集扩充方法,其特征在于,在调用所述增强策略以及对应的最优参数对原始图像集进行图像增强之后,还包括:
调用预训练的图像评估模型对所述扩充后的图像集进行有效性评估,得到图像评估结果;
当所述图像评估结果显示所述扩充后的图像集中的有效图像数量未达到预设标准时,将当前得到的数据集作为所述原始数据集,并执行所述从预设增强策略库中确定当前待调用的增强策略的步骤。
6.如权利要求5所述的图像集扩充方法,其特征在于,还包括:
当所述图像评估结果显示所述扩充后的图像集中的有效图像数量未达到预设标准时,统计迭代次数;
判断所述迭代次数是否达到迭代阈值;
若达到,将当前得到的图像集作为所述待输出图像集;
若未达到,将当前得到的图像集作为所述原始图像集,并执行所述从预设增强策略库中确定当前待调用的增强策略的步骤。
7.一种图像集扩充装置,其特征在于,包括:
策略确定单元,用于从预设增强策略库中确定当前待调用的增强策略;
参数确定单元,用于调用贝叶斯优化算法确定待测试参数;其中,所述待测试参数为所述增强策略的调用参数;所述调用贝叶斯优化算法确定待测试参数,包括:确定若干参数;调用所述增强策略对所述参数逐一进行图像增强测试;根据所述图像增强测试中的输入项以及输出项对应的参数绘制波动曲线;确认所述波动曲线中上升趋势的中心点;获取距离所述中心点预设范围内的点,作为所述待测试参数;其中,所述获取距离所述中心点预设范围内的点,包括:生成位于所述中心点的水平位置的直线;获取所述直线上与所述波动曲线相交,并且处于上升区域与所述中心点距离最近的指定数量的点;
最优参确定单元,用于确定所述待测试参数中的最优参数;
图像增强单元,用于调用所述增强策略以及对应的最优参数对原始图像集进行图像增强,并将当前得到的图像集作为待输出数据集。
8.一种图像集扩充设备,其特征在于,包括:
存储器,用于存储程序;
处理器,用于执行所述程序时实现如权利要求1至6任一项所述图像集扩充方法的步骤。
9.一种可读存储介质,其特征在于,所述可读存储介质上存储有程序,所述程序被处理器执行时实现如权利要求1至6任一项所述图像集扩充方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910657512.8A CN110378419B (zh) | 2019-07-19 | 2019-07-19 | 一种图像集扩充方法、装置、设备及可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910657512.8A CN110378419B (zh) | 2019-07-19 | 2019-07-19 | 一种图像集扩充方法、装置、设备及可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110378419A CN110378419A (zh) | 2019-10-25 |
CN110378419B true CN110378419B (zh) | 2021-07-16 |
Family
ID=68254381
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910657512.8A Active CN110378419B (zh) | 2019-07-19 | 2019-07-19 | 一种图像集扩充方法、装置、设备及可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110378419B (zh) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110807109A (zh) * | 2019-11-08 | 2020-02-18 | 北京金山云网络技术有限公司 | 数据增强策略的生成方法、数据增强方法和装置 |
CN111223054B (zh) * | 2019-11-19 | 2024-03-15 | 深圳开立生物医疗科技股份有限公司 | 超声图像评估方法和装置 |
CN111127364B (zh) * | 2019-12-26 | 2022-08-02 | 吉林大学 | 图像数据增强策略选择方法及人脸识别图像数据增强方法 |
CN111260134A (zh) * | 2020-01-17 | 2020-06-09 | 南京星火技术有限公司 | 调试辅助设备、装置、产品调试设备和计算机可读介质 |
CN111582375B (zh) * | 2020-05-09 | 2024-07-12 | 广州易通达供应链管理有限公司 | 数据增强策略搜索方法、装置、设备以及存储介质 |
CN111899186A (zh) * | 2020-06-29 | 2020-11-06 | 深圳中兴网信科技有限公司 | 图像数据增强方法、系统、存储介质和堆场覆盖检测方法 |
CN112085160A (zh) * | 2020-08-06 | 2020-12-15 | 珠海格力电器股份有限公司 | 一种图像样本扩充方法、装置及存储介质 |
CN112613543B (zh) * | 2020-12-15 | 2023-05-30 | 重庆紫光华山智安科技有限公司 | 增强策略验证方法、装置、电子设备及存储介质 |
CN116401394B (zh) * | 2023-06-06 | 2023-08-29 | 摩尔线程智能科技(北京)有限责任公司 | 对象集和图像生成方法、装置、电子设备及存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0905649A2 (en) * | 1997-09-24 | 1999-03-31 | Sarnoff Corporation | Image enhancement processing method and apparatus |
CN102236883A (zh) * | 2010-04-27 | 2011-11-09 | 株式会社理光 | 图像增强方法和装置、物体检测方法和装置 |
CN102982511A (zh) * | 2012-09-17 | 2013-03-20 | 中国人民解放军理工大学气象学院 | 一种图像智能优化处理方法 |
CN107679465A (zh) * | 2017-09-20 | 2018-02-09 | 上海交通大学 | 一种基于生成网络的行人重识别数据生成和扩充方法 |
CN107809559A (zh) * | 2017-09-21 | 2018-03-16 | 中国科学院长春光学精密机械与物理研究所 | 一种图像自学习增强方法和系统 |
CN109584142A (zh) * | 2018-12-05 | 2019-04-05 | 网易传媒科技(北京)有限公司 | 图像增强系统和方法、训练方法、介质以及电子设备 |
-
2019
- 2019-07-19 CN CN201910657512.8A patent/CN110378419B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0905649A2 (en) * | 1997-09-24 | 1999-03-31 | Sarnoff Corporation | Image enhancement processing method and apparatus |
CN102236883A (zh) * | 2010-04-27 | 2011-11-09 | 株式会社理光 | 图像增强方法和装置、物体检测方法和装置 |
CN102982511A (zh) * | 2012-09-17 | 2013-03-20 | 中国人民解放军理工大学气象学院 | 一种图像智能优化处理方法 |
CN107679465A (zh) * | 2017-09-20 | 2018-02-09 | 上海交通大学 | 一种基于生成网络的行人重识别数据生成和扩充方法 |
CN107809559A (zh) * | 2017-09-21 | 2018-03-16 | 中国科学院长春光学精密机械与物理研究所 | 一种图像自学习增强方法和系统 |
CN109584142A (zh) * | 2018-12-05 | 2019-04-05 | 网易传媒科技(北京)有限公司 | 图像增强系统和方法、训练方法、介质以及电子设备 |
Non-Patent Citations (1)
Title |
---|
Improved image enhancement method for flotation froth image based on parameter extraction;LI Jian-qi et al;《Journal of Central South University》;20160531;第6卷(第20期);第1602-1609页 * |
Also Published As
Publication number | Publication date |
---|---|
CN110378419A (zh) | 2019-10-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110378419B (zh) | 一种图像集扩充方法、装置、设备及可读存储介质 | |
US20180204110A1 (en) | Compressed neural network system using sparse parameters and design method thereof | |
EP3734475A1 (en) | Method and device for training data, storage medium, and electronic device | |
US20180365525A1 (en) | Multi-sampling model training method and device | |
CN112287986B (zh) | 一种图像处理方法、装置、设备及可读存储介质 | |
JP2019520600A (ja) | ニューラルネットワークを使用した周波数ベースのオーディオ分析 | |
CN111144561A (zh) | 一种神经网络模型确定方法及装置 | |
CN111027428B (zh) | 一种多任务模型的训练方法、装置及电子设备 | |
CN112836756B (zh) | 图像识别模型训练方法、系统和计算机设备 | |
CN109712128A (zh) | 特征点检测方法、装置、计算机设备和存储介质 | |
CN109978058B (zh) | 确定图像分类的方法、装置、终端及存储介质 | |
CN116188929A (zh) | 小目标检测方法、小目标检测系统 | |
CN110472588A (zh) | 锚点框确定方法、装置、计算机设备和存储介质 | |
CN112614108B (zh) | 基于深度学习检测甲状腺超声图像中结节的方法和装置 | |
CN114241234A (zh) | 细粒度图像分类方法、装置、设备及介质 | |
EP3973501A1 (en) | Dynamic image resolution assessment | |
CN110263842B (zh) | 用于目标检测的神经网络训练方法、装置、设备、介质 | |
CN114830137A (zh) | 用于生成预测模型的方法和系统 | |
CN117114074A (zh) | 神经网络模型的训练、数据处理方法、装置以及介质 | |
US20220036506A1 (en) | Image reconstruction method and device, apparatus, and non-transitory computer-readable storage medium | |
CN114692888A (zh) | 系统参数处理方法、装置、设备及存储介质 | |
CN111488970A (zh) | 神经网络的执行优化方法及装置 | |
CN113066038A (zh) | 图像评估方法、装置、电子设备及计算机存储介质 | |
Chassein et al. | Approximating multiobjective combinatorial optimization problems with the OWA criterion | |
US20240061906A1 (en) | System and method for downsampling data |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |