CN114241346A - 一种图像去重超参数优化方法、装置、设备及存储介质 - Google Patents

一种图像去重超参数优化方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN114241346A
CN114241346A CN202210125524.8A CN202210125524A CN114241346A CN 114241346 A CN114241346 A CN 114241346A CN 202210125524 A CN202210125524 A CN 202210125524A CN 114241346 A CN114241346 A CN 114241346A
Authority
CN
China
Prior art keywords
hyper
target
parameter set
image data
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210125524.8A
Other languages
English (en)
Inventor
高依铨
邓富城
罗韵
陈振杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Jivisual Angle Technology Co ltd
Original Assignee
Shandong Jivisual Angle Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Jivisual Angle Technology Co ltd filed Critical Shandong Jivisual Angle Technology Co ltd
Priority to CN202210125524.8A priority Critical patent/CN114241346A/zh
Publication of CN114241346A publication Critical patent/CN114241346A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种图像去重超参数优化方法、装置、设备及介质，包括：对待去重图像数据集进行随机采样得到采样图像数据；基于初始超参数集和预设图像去重算法对采样图像数据进行去重，得到去重图像数据集；利用基于目标距离计算方法创建的目标相似度函数对去重图像数据集中任意两张图像的相似度进行计算，得到目标相似度函数值；判断当前迭代次数是否达到最大迭代次数，若未达到则利用目标相似度函数值对当前超参数集进行优化，并进入下一次迭代；若达到则将所有目标相似度函数值中相似度最小的值对应的优化超参数集作为目标超参数集，以便利用目标超参数集进行图像去重。本申请通过预先创建的目标相似度函数能够对超参数进行自动、高效的调优。

Description

一种图像去重超参数优化方法、装置、设备及存储介质
技术领域
本申请涉及自动机器学习技术领域，特别涉及一种图像去重超参数优化方法、装置、设备及存储介质。
背景技术
超参数优化是图像去重任务的必要步骤。目前主流的图像去重超参数调整优化方法包括网格搜索、随机搜索和基于经验的搜索。其中，网格搜索是将搜索空间定义为一个包含所有可能存在的超参数值的网格，然后遍历网格中的每个位置并进行评估，因此网格搜索在高维搜索空间并不经济和实用。随机搜索是将搜索空间定义为超参数值的有限域，并对该域中的随机采样点进行评估。在随机搜索中，不同的超参数往往是并行随机选择的，即没有考虑超参数分布之间的内在关系，因此随机搜索针对具有独立分布的超参数的图像去重会产生性能良好的超参数集，但在具有相关超参数的情况下通常表现不佳。基于经验的搜索在很大程度上依赖于数据工程师或算法工程师以往的经验，工程师通常会结合经验知识直接地确定初始超参数集，并对确定的初始超参数进行微调，直到图像去重的结果达到令人满意的效果为止，然而即便对于非常有经验的工程师，针对一组性能良好的超参数的微调过程有时也会花费大量的时间和精力。
综上所述，如何有效的对图像去重中的超参数进行调优是目前还有待进一步解决的问题。
发明内容
有鉴于此，本申请的目的在于提供一种图像去重超参数优化方法、装置、设备及存储介质，能够自动对超参数进行调优，普适性强，超参数空间搜索灵活高效，适用于独立和相关的超参数分布，并且不需要工程师经验和手动调整。其具体方案如下：
第一方面，本申请公开了一种图像去重超参数优化方法，包括：
对待去重图像数据集进行随机采样，得到预设数量的采样图像数据；
基于初始超参数集和预设图像去重算法对所述采样图像数据进行去重处理，得到去重图像数据集；
利用基于目标距离计算方法创建的目标相似度函数对所述去重图像数据集中任意两张图像的相似度进行计算，以得到目标相似度函数值；
判断当前迭代次数是否达到最大迭代次数，若未达到所述最大迭代次数，则利用所述目标相似度函数值对当前超参数集进行优化，得到优化超参数集，并利用所述优化超参数集对所述当前超参数集进行更新，再利用更新后的超参数集进入下一次迭代过程；
若达到所述最大迭代次数，则将所有迭代次数中得到的所述目标相似度函数值中相似度最小的值对应的所述优化超参数集作为目标超参数集，以便利用所述目标超参数集进行图像去重。
可选的，所述对待去重图像数据集进行随机采样，得到预设数量的采样图像数据，包括：
按照预设的随机采样方法对待去重图像数据集进行随机采样，得到预设数量的采样图像数据；其中，所述随机采样方法包括简单随机抽样、等距随机抽样、分层随机抽样、整群随机抽样和多段随机抽样中的任意一种。
可选的，所述利用基于目标距离计算方法创建的目标相似度函数对所述去重图像数据集中任意两张图像的相似度进行计算，以得到目标相似度函数值，包括：
利用基于目标距离计算方法创建的目标相似度函数对所述去重图像数据集中任意两张图像的相似度进行计算，得到多个目标相似度值，并计算所有所述目标相似度值之和的均值，得到目标相似度函数值。
可选的，所述利用基于目标距离计算方法创建的目标相似度函数对所述去重图像数据集中任意两张图像的相似度进行计算，得到多个目标相似度值，包括：
利用基于余弦距离计算方法创建的目标相似度函数对所述去重图像数据集中任意两张图像的相似度进行计算，得到多个目标相似度值。
可选的，所述利用所述目标相似度函数值对当前超参数集进行优化，得到优化超参数集，包括：
将所述目标相似度函数值反馈至自动机器学习基线，以便所述机器学习基线利用所述目标相似度函数值对当前超参数集进行自动优化，得到优化超参数集。
可选的，所述目标超参数集的获取过程对应的函数表达式为：
θOPT＝argmax|minfT(fD(θHPS；IS))；
式中，θOPT表示所述目标超参数集，IS表示所述采样图像数据，θHPS表示当前超参数集，fD表示所述预设图像去重算法的函数，fT表示所述目标相似度函数。
可选的，所述利用所述目标超参数集进行图像去重，包括：
利用所述目标超参数集对当前超参数集进行更新，并利用所述目标超参数集对所述待去重图像数据集进行去重处理。
第二方面，本申请公开了一种图像去重超参数优化装置，包括：
随机采样模块，用于对待去重图像数据集进行随机采样，得到预设数量的采样图像数据；
去重模块，用于基于初始超参数集和预设图像去重算法对所述采样图像数据进行去重处理，得到去重图像数据集；
相似度计算模块，用于利用基于目标距离计算方法创建的目标相似度函数对所述去重图像数据集中任意两张图像的相似度进行计算，以得到目标相似度函数值；
迭代次数判断模块，用于判断当前迭代次数是否达到最大迭代次数；
超参数优化模块，用于如果未达到所述最大迭代次数，则利用所述目标相似度函数值对当前超参数集进行优化，得到优化超参数集，并利用所述优化超参数集对所述当前超参数集进行更新，再利用更新后的超参数集进入下一次迭代过程；
目标超参数集确定模块，用于如果达到所述最大迭代次数，则将所有迭代次数中得到的所述目标相似度函数值中相似度最小的值对应的所述优化超参数集作为目标超参数集，以便利用所述目标超参数集进行图像去重。
第三方面，本申请公开了一种电子设备，包括处理器和存储器；其中，所述处理器执行所述存储器中保存的计算机程序时实现前述的图像去重超参数优化方法。
第四方面，本申请公开了一种计算机可读存储介质，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现前述的图像去重超参数优化方法。
可见，本申请先对待去重图像数据集进行随机采样，得到预设数量的采样图像数据，然后基于初始超参数集和预设图像去重算法对所述采样图像数据进行去重处理，得到去重图像数据集，再利用基于目标距离计算方法创建的目标相似度函数对所述去重图像数据集中任意两张图像的相似度进行计算，以得到目标相似度函数值，判断当前迭代次数是否达到最大迭代次数，若未达到所述最大迭代次数，则利用所述目标相似度函数值对当前超参数集进行优化，得到优化超参数集，并利用所述优化超参数集对所述当前超参数集进行更新，再利用更新后的超参数集进入下一次迭代过程，若达到所述最大迭代次数，则将所有迭代次数中得到的所述目标相似度函数值中相似度最小的值对应的所述优化超参数集作为目标超参数集，以便利用所述目标超参数集进行图像去重。可见，本申请通过基于目标距离计算方法创建的目标函数的超参数优化框架能够自动对超参数进行调优，具有普适性强，超参数空间搜索灵活高效，适用于独立和相关的超参数分布，不需要工程师经验和手动调整的特点，并且无需图像数据集携带人工标注，应用成本低，有利于在复杂多变的大规模图像场景中的去重任务。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请公开的一种图像去重超参数优化方法流程图；
图2为本申请公开的一种具体的图像去重超参数优化方法流程图；
图3为本申请公开的一种具体的图像去重超参数自动优化及去重流程图；
图4为本申请公开的一种图像去重超参数优化装置结构示意图；
图5为本申请公开的一种电子设备结构图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请实施例公开了一种图像去重超参数优化方法，参见图1所示，该方法包括：
步骤S11：对待去重图像数据集进行随机采样，得到预设数量的采样图像数据。
本实施例中，首先按照预设的随机采样方法对待去重图像数据集进行随机采样，得到预设数量的采样图像数据。需要指出的是，所述随机采样方法可以根据实际情况自行选择，应合理的考虑待去重图像数据集的数量并且尽可能保持与待去重图像数据集的分布一致，具体的，所述随机采样方法包括但不限于简单随机抽样、等距随机抽样、分层随机抽样、整群随机抽样和多段随机抽样等。
步骤S12：基于初始超参数集和预设图像去重算法对所述采样图像数据进行去重处理，得到去重图像数据集。
本实施例中，对待去重图像数据集进行随机采样，得到预设数量的采样图像数据之后，可以按照预设图像去重算法和随机生成的初始超参数集对上述采样图像数据进行去重处理，得到去重图像数据集。其中，所述初始超参数集中的各个超参数的取值范围均为有界区间，所述预设图像去重算法包括但不限于感知哈希算法(PHA，Perceptual HashAlgorithm)。
步骤S13：利用基于目标距离计算方法创建的目标相似度函数对所述去重图像数据集中任意两张图像的相似度进行计算，以得到目标相似度函数值。
本实施例中，基于初始超参数集和预设图像去重算法对所述采样图像数据进行去重处理得到去重图像数据集之后，进一步的，通过预设的目标距离计算方法创建目标相似度函数，并利用创建的所述目标相似度函数对上述去重图像数据集中任意两张图像的相似度进行计算，进而得到能够反映所述去重图像数据集整体图像相似度的目标相似度函数值。其中，所述目标距离计算方法包括但不限于欧氏距离(Euclidean Distance)、夹角余弦(Cosine)等。
在一种具体的实施方式中，所述利用基于目标距离计算方法创建的目标相似度函数对所述去重图像数据集中任意两张图像的相似度进行计算，以得到目标相似度函数值，具体可以包括：利用基于目标距离计算方法创建的目标相似度函数对所述去重图像数据集中任意两张图像的相似度进行计算，得到多个目标相似度值，并计算所有所述目标相似度值之和的均值，得到目标相似度函数值。可以理解的是，在通过目标距离计算方法创建目标相似度函数之后，可以利用创建的上述目标相似度函数对所述去重图像数据集中任意两张成对图像的相似度进行计算，得到相应的多个目标相似度值，然后计算所述多个目标相似度值的和，并除以成对图像的总对数，即进行均值计算，得到目标相似度函数值。
步骤S14：判断当前迭代次数是否达到最大迭代次数，若未达到所述最大迭代次数，则利用所述目标相似度函数值对当前超参数集进行优化，得到优化超参数集，并利用所述优化超参数集对所述当前超参数集进行更新，再利用更新后的超参数集进入下一次迭代过程。
本实施例中，利用基于目标距离计算方法创建的目标相似度函数对所述去重图像数据集中任意两张图像的相似度进行计算，得到目标相似度函数值之后，判断当前迭代次数是否已经达到了预设的最大迭代次数，如果未达到所述最大迭代次数，则可以利用上述目标相似度函数值对当前超参数集进行优化调整，得到相应的优化超参数集，并利用上述优化超参数集对所述当前超参数集进行配置，再利用配置后的超参数集进入下一次的迭代过程中。
步骤S15：若达到所述最大迭代次数，则将所有迭代次数中得到的所述目标相似度函数值中相似度最小的值对应的所述优化超参数集作为目标超参数集，以便利用所述目标超参数集进行图像去重。
本实施例中，如果当前迭代次数达到了所述最大迭代次数，则将在所有迭代次数中获取到的所述目标相似度函数值中相似度最小的值对应的优化超参数集作为目标超参数集，即将所述目标相似度函数值作为度量分数来判定当前使用的超参数集是否最优，然后可以利用上述目标超参数集对上述待去重图像数据集进行图像去重。
本实施例中，所述目标超参数集的获取过程对应的函数表达式可以用下式表示：
θOPT＝argmax|minfT(fD(θHPS；IS))；
θHPS＝{x1,x2,x3,...,xk}；且θHPS∈Θ；
式中，θOPT表示最终确定出的所述目标超参数集，IS表示经过随机采样后的采样图像数据，θHPS表示当前迭代过程中使用的超参数集，θHPS具体包括x1至xk等k个超参数，并且属于一个预定义的有界超参数搜索空间Θ，fD表示预设的图像去重算法对应的函数，fT表示通过所述图像去重算法fD创建的目标相似度函数。需要指出的是，最终θOPT的选取与fT的设计有关，如fT采用的是夹角余弦(Cosine)的距离计算方法，则θOPT取最大值。
本实施例中，所述利用所述目标超参数集进行图像去重，具体可以包括：利用所述目标超参数集对当前超参数集进行更新，并利用所述目标超参数集对所述待去重图像数据集进行去重处理。本实施例中，在获取到所述目标超参数集之后，可以利用所述目标超参数集对当前正在使用的超参数集进行重新配置，即进行更新，然后利用上述目标超参数集，即能够使所述待去重图像数据集中任意两张图像相似度最小的超参数集，对上述待去重图像数据集进行去重处理。
可见，本申请实施例先对待去重图像数据集进行随机采样，得到预设数量的采样图像数据，然后基于初始超参数集和预设图像去重算法对所述采样图像数据进行去重处理，得到去重图像数据集，再利用基于目标距离计算方法创建的目标相似度函数对所述去重图像数据集中任意两张图像的相似度进行计算，以得到目标相似度函数值，判断当前迭代次数是否达到最大迭代次数，若未达到所述最大迭代次数，则利用所述目标相似度函数值对当前超参数集进行优化，得到优化超参数集，并利用所述优化超参数集对所述当前超参数集进行更新，再利用更新后的超参数集进入下一次迭代过程，若达到所述最大迭代次数，则将所有迭代次数中得到的所述目标相似度函数值中相似度最小的值对应的所述优化超参数集作为目标超参数集，以便利用所述目标超参数集进行图像去重。可见，本申请实施例通过基于目标距离计算方法创建的目标函数的超参数优化框架能够自动对超参数进行调优，具有普适性强，超参数空间搜索灵活高效，适用于独立和相关的超参数分布，不需要工程师经验和手动调整的特点。
本申请实施例公开了一种具体的图像去重超参数优化方法，参见图2所示，该方法包括：
步骤S21：对待去重图像数据集进行随机采样，得到预设数量的采样图像数据。
步骤S22：基于初始超参数集和预设图像去重算法对所述采样图像数据进行去重处理，得到去重图像数据集。
步骤S23：利用基于余弦距离计算方法创建的目标相似度函数对所述去重图像数据集中任意两张图像的相似度进行计算，得到多个目标相似度值，并计算所有所述目标相似度值之和的均值，得到目标相似度函数值。
本实施例中，基于初始超参数集和预设图像去重算法对所述采样图像数据进行去重处理，得到去重图像数据集之后，基于余弦距离计算方法创建目标相似度函数，然后利用创建的上述目标相似度函数计算所述去重图像数据集中任意两张图像的相似度，得到相应的多个目标相似度值，再计算所有所述目标相似度值的总和并除以的所述目标相似度值的总个数，得到目标相似度函数值。
步骤S24：判断当前迭代次数是否达到最大迭代次数，若未达到所述最大迭代次数，则将所述目标相似度函数值反馈至自动机器学习基线，以便所述机器学习基线利用所述目标相似度函数值对当前超参数集进行自动优化，得到优化超参数集，并利用所述优化超参数集对所述当前超参数集进行更新，再利用更新后的超参数集进入下一次迭代过程。
本实施例中，利用基于余弦距离计算方法创建的目标相似度函数对所述去重图像数据集中任意两张图像的相似度进行计算，得到多个目标相似度值，并计算所有所述目标相似度值之和的均值得到目标相似度函数值之后，判断当前迭代次数是否已经达到了预设的最大迭代次数，如果未达到所述最大迭代次数，则将上述目标相似度函数值作为先验知识反馈至自动机器学习基线(Baseline)，所述机器学习基线在接收到上述目标相似度函数值后，能够利用上述目标相似度函数值对当前超参数集进行自动优化，得到优化超参数集，并利用所述优化超参数集对当前超参数集进行重新配置，再利用配置后的超参数集进入下一次的迭代过程中。
步骤S25：若达到所述最大迭代次数，则将所有迭代次数中得到的所述目标相似度函数值中相似度最小的值对应的所述优化超参数集作为目标超参数集，以便利用所述目标超参数集进行图像去重。
本实施例中，如果达到了所述最大迭代次数，则将所有迭代次数中得到的所述目标相似度函数值中相似度最小的值对应的所述优化超参数集作为目标超参数集，然后便可以利用上述目标超参数集对所述待去重图像数据集进行图像去重处理。需要指出的是，由于所述目标相似度函数是基于余弦距离计算方法创建的，根据余弦函数图像的性质可知，所有迭代次数中得到的所述目标相似度函数值中能够表示成对图像相似度最小的值应为所有数值中最大的值，因此所述目标超参数集为所述目标相似度函数值中取最大值时对应的超参数集。
在一种具体的实施方式中，所述目标超参数集的获取过程及利用所述目标超参数集进行图像去重的具体过程可以参见图3所示，首先对待去重的图像数据集，即图3中的原始数据集进行随机抽样，得到采样数据，然后加载所述采样数据并利用预设的图像去重算法和原始超参数集进行去重，得到去重数据，然后将上述去重数据输入至基于目标距离计算方法创建的目标函数中，通过计算得到目标函数值，即图3中的度量分数，接着判断当前迭代次数是否达到了预设的最大迭代次数，如果未达到则将所述度量分数反馈至自动机器学习基线，并通过所述自动学习基线对当前超参数集进行自动调优，并利用优化后的超参数集再次对所述采样数据进行图像去重操作，直到达到所述最大迭代次数，当达到了所述最大迭代次数则将所有迭代过程中产生的度量分数中最大值或最小值对应的超参数集作为目标超参数集进行图像去重。其中，所述最大值或最小值的选取与目标函数所采用的距离计算方法有关。
其中，关于上述步骤S21、S22更加具体的处理过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。
可见，本申请实施例在当前迭代次数未达到所述最大迭代次数时，将目标相似度函数值反馈至自动机器学习基线，并通过所述机器学习基线对当前超参数集进行自动优化，得到优化超参数集，然后利用所述优化超参数集对当前超参数集进行更新，再利用更新后的超参数集进入下一次迭代过程，如果达到所述最大迭代次数，则将所有迭代次数中得到的目标相似度函数值中相似度最小的值对应的超参数集作为目标超参数集。可见，本申请实施例通过将目标相似度函数值作为先验知识反馈至自动机器学习基线，能够有效地指导自动机器学习基线及时更新超参数空间的优化方向和步伐，减少冗余的搜索时间，使得超参数空间搜索效率高，即使在高维空间中也具有相当的灵活性。
相应的，本申请实施例还公开了一种图像去重超参数优化装置，参见图4所示，该装置包括：
随机采样模块11，用于对待去重图像数据集进行随机采样，得到预设数量的采样图像数据；
去重模块12，用于基于初始超参数集和预设图像去重算法对所述采样图像数据进行去重处理，得到去重图像数据集；
相似度计算模块13，用于利用基于目标距离计算方法创建的目标相似度函数对所述去重图像数据集中任意两张图像的相似度进行计算，以得到目标相似度函数值；
迭代次数判断模块14，用于判断当前迭代次数是否达到最大迭代次数；
超参数优化模块15，用于如果未达到所述最大迭代次数，则利用所述目标相似度函数值对当前超参数集进行优化，得到优化超参数集，并利用所述优化超参数集对所述当前超参数集进行更新，再利用更新后的超参数集进入下一次迭代过程；
目标超参数集确定模块16，用于如果达到所述最大迭代次数，则将所有迭代次数中得到的所述目标相似度函数值中相似度最小的值对应的所述优化超参数集作为目标超参数集，以便利用所述目标超参数集进行图像去重。
其中，关于上述各个模块的具体工作流程可以参考前述实施例中公开的相应内容，在此不再进行赘述。
可见，本申请实施例中，先对待去重图像数据集进行随机采样，得到预设数量的采样图像数据，然后基于初始超参数集和预设图像去重算法对所述采样图像数据进行去重处理，得到去重图像数据集，再利用基于目标距离计算方法创建的目标相似度函数对所述去重图像数据集中任意两张图像的相似度进行计算，以得到目标相似度函数值，判断当前迭代次数是否达到最大迭代次数，若未达到所述最大迭代次数，则利用所述目标相似度函数值对当前超参数集进行优化，得到优化超参数集，并利用所述优化超参数集对所述当前超参数集进行更新，再利用更新后的超参数集进入下一次迭代过程，若达到所述最大迭代次数，则将所有迭代次数中得到的所述目标相似度函数值中相似度最小的值对应的所述优化超参数集作为目标超参数集，以便利用所述目标超参数集进行图像去重。可见，本申请实施例通过基于目标距离计算方法创建的目标函数的超参数优化框架能够自动对超参数进行调优，具有普适性强，超参数空间搜索灵活高效，适用于独立和相关的超参数分布，不需要工程师经验和手动调整的特点。
在一些具体实施例中，所述随机采样模块11，具体可以包括：
随机采样单元，用于按照预设的随机采样方法对待去重图像数据集进行随机采样，得到预设数量的采样图像数据；其中，所述随机采样方法包括简单随机抽样、等距随机抽样、分层随机抽样、整群随机抽样和多段随机抽样中的任意一种。
在一些具体实施例中，所述相似度计算模块13，具体可以包括：
第一相似度计算单元，用于利用基于目标距离计算方法创建的目标相似度函数对所述去重图像数据集中任意两张图像的相似度进行计算，得到多个目标相似度值；
求和计算单元，用于计算所有所述目标相似度值之和的均值，得到目标相似度函数值。
在一些具体实施例中，所述利用基于目标距离计算方法创建的目标相似度函数对所述去重图像数据集中任意两张图像的相似度进行计算，得到多个目标相似度值，具体可以包括：
第二相似度计算单元，用于利用基于余弦距离计算方法创建的目标相似度函数对所述去重图像数据集中任意两张图像的相似度进行计算，得到多个目标相似度值。
在一些具体实施例中，所述利用所述目标相似度函数值对当前超参数集进行优化，得到优化超参数集，具体可以包括：
超参数集优化单元，用于将所述目标相似度函数值反馈至自动机器学习基线，以便所述机器学习基线利用所述目标相似度函数值对当前超参数集进行自动优化，得到优化超参数集。
在一些具体实施例中，所述目标超参数集的获取过程对应的函数表达式为：
θOPT＝argmax|minfT(fD(θHPS；IS))；
式中，θOPT表示所述目标超参数集，IS表示所述采样图像数据，θHPS表示当前超参数集，fD表示所述预设图像去重算法的函数，fT表示所述目标相似度函数。
在一些具体实施例中，所述利用所述目标超参数集进行图像去重，具体可以包括：
图像去重单元，用于利用所述目标超参数集对当前超参数集进行更新，并利用所述目标超参数集对所述待去重图像数据集进行去重处理。
进一步的，本申请实施例还公开了一种电子设备，图5是根据一示例性实施例示出的电子设备20结构图，图中的内容不能认为是对本申请的使用范围的任何限制。
图5为本申请实施例提供的一种电子设备20的结构示意图。该电子设备20，具体可以包括：至少一个处理器21、至少一个存储器22、电源23、通信接口24、输入输出接口25和通信总线26。其中，所述存储器22用于存储计算机程序，所述计算机程序由所述处理器21加载并执行，以实现前述任一实施例公开的图像去重超参数优化方法中的相关步骤。另外，本实施例中的电子设备20具体可以为电子计算机。
本实施例中，电源23用于为电子设备20上的各硬件设备提供工作电压；通信接口24能够为电子设备20创建与外界设备之间的数据传输通道，其所遵循的通信协议是能够适用于本申请技术方案的任意通信协议，在此不对其进行具体限定；输入输出接口25，用于获取外界输入数据或向外界输出数据，其具体的接口类型可以根据具体应用需要进行选取，在此不进行具体限定。
另外，存储器22作为资源存储的载体，可以是只读存储器、随机存储器、磁盘或者光盘等，其上所存储的资源可以包括操作系统221、计算机程序222等，存储方式可以是短暂存储或者永久存储。
其中，操作系统221用于管理与控制电子设备20上的各硬件设备以及计算机程序222，其可以是Windows Server、Netware、Unix、Linux等。计算机程序222除了包括能够用于完成前述任一实施例公开的由电子设备20执行的图像去重超参数优化方法的计算机程序之外，还可以进一步包括能够用于完成其他特定工作的计算机程序。
进一步的，本申请还公开了一种计算机可读存储介质，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现前述公开的图像去重超参数优化方法。关于该方法的具体步骤可以参考前述实施例中公开的相应内容，在此不再进行赘述。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本申请所提供的一种图像去重超参数优化方法、装置、设备及存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种图像去重超参数优化方法，其特征在于，包括：
对待去重图像数据集进行随机采样，得到预设数量的采样图像数据；
基于初始超参数集和预设图像去重算法对所述采样图像数据进行去重处理，得到去重图像数据集；
利用基于目标距离计算方法创建的目标相似度函数对所述去重图像数据集中任意两张图像的相似度进行计算，以得到目标相似度函数值；
判断当前迭代次数是否达到最大迭代次数，若未达到所述最大迭代次数，则利用所述目标相似度函数值对当前超参数集进行优化，得到优化超参数集，并利用所述优化超参数集对所述当前超参数集进行更新，再利用更新后的超参数集进入下一次迭代过程；
若达到所述最大迭代次数，则将所有迭代次数中得到的所述目标相似度函数值中相似度最小的值对应的所述优化超参数集作为目标超参数集，以便利用所述目标超参数集进行图像去重。
2.根据权利要求1所述的图像去重超参数优化方法，其特征在于，所述对待去重图像数据集进行随机采样，得到预设数量的采样图像数据，包括：
按照预设的随机采样方法对待去重图像数据集进行随机采样，得到预设数量的采样图像数据；其中，所述随机采样方法包括简单随机抽样、等距随机抽样、分层随机抽样、整群随机抽样和多段随机抽样中的任意一种。
3.根据权利要求1所述的图像去重超参数优化方法，其特征在于，所述利用基于目标距离计算方法创建的目标相似度函数对所述去重图像数据集中任意两张图像的相似度进行计算，以得到目标相似度函数值，包括：
利用基于目标距离计算方法创建的目标相似度函数对所述去重图像数据集中任意两张图像的相似度进行计算，得到多个目标相似度值，并计算所有所述目标相似度值之和的均值，得到目标相似度函数值。
4.根据权利要求3所述的图像去重超参数优化方法，其特征在于，所述利用基于目标距离计算方法创建的目标相似度函数对所述去重图像数据集中任意两张图像的相似度进行计算，得到多个目标相似度值，包括：
利用基于余弦距离计算方法创建的目标相似度函数对所述去重图像数据集中任意两张图像的相似度进行计算，得到多个目标相似度值。
5.根据权利要求1所述的图像去重超参数优化方法，其特征在于，所述利用所述目标相似度函数值对当前超参数集进行优化，得到优化超参数集，包括：
将所述目标相似度函数值反馈至自动机器学习基线，以便所述机器学习基线利用所述目标相似度函数值对当前超参数集进行自动优化，得到优化超参数集。
6.根据权利要求1所述的图像去重超参数优化方法，其特征在于，所述目标超参数集的获取过程对应的函数表达式为：
θOPT＝arg max|min fT(fD(θHPS；IS))；
式中，θOPT表示所述目标超参数集，IS表示所述采样图像数据，θHPS表示当前超参数集，fD表示所述预设图像去重算法的函数，fT表示所述目标相似度函数。
7.根据权利要求1至6任一项所述的图像去重超参数优化方法，其特征在于，所述利用所述目标超参数集进行图像去重，包括：
利用所述目标超参数集对当前超参数集进行更新，并利用所述目标超参数集对所述待去重图像数据集进行去重处理。
8.一种图像去重超参数优化装置，其特征在于，包括：
随机采样模块，用于对待去重图像数据集进行随机采样，得到预设数量的采样图像数据；
去重模块，用于基于初始超参数集和预设图像去重算法对所述采样图像数据进行去重处理，得到去重图像数据集；
相似度计算模块，用于利用基于目标距离计算方法创建的目标相似度函数对所述去重图像数据集中任意两张图像的相似度进行计算，以得到目标相似度函数值；
迭代次数判断模块，用于判断当前迭代次数是否达到最大迭代次数；
超参数优化模块，用于如果未达到所述最大迭代次数，则利用所述目标相似度函数值对当前超参数集进行优化，得到优化超参数集，并利用所述优化超参数集对所述当前超参数集进行更新，再利用更新后的超参数集进入下一次迭代过程；
目标超参数集确定模块，用于如果达到所述最大迭代次数，则将所有迭代次数中得到的所述目标相似度函数值中相似度最小的值对应的所述优化超参数集作为目标超参数集，以便利用所述目标超参数集进行图像去重。
9.一种电子设备，其特征在于，包括处理器和存储器；其中，所述处理器执行所述存储器中保存的计算机程序时实现如权利要求1至7任一项所述的图像去重超参数优化方法。
10.一种计算机可读存储介质，其特征在于，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的图像去重超参数优化方法。
CN202210125524.8A 2022-02-10 2022-02-10 一种图像去重超参数优化方法、装置、设备及存储介质 Pending CN114241346A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210125524.8A CN114241346A (zh) 2022-02-10 2022-02-10 一种图像去重超参数优化方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210125524.8A CN114241346A (zh) 2022-02-10 2022-02-10 一种图像去重超参数优化方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN114241346A true CN114241346A (zh) 2022-03-25

Family

ID=80747533

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210125524.8A Pending CN114241346A (zh) 2022-02-10 2022-02-10 一种图像去重超参数优化方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN114241346A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117689011A (zh) * 2023-12-28 2024-03-12 杭州汇健科技有限公司 一种模型调整方法、装置、设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117689011A (zh) * 2023-12-28 2024-03-12 杭州汇健科技有限公司 一种模型调整方法、装置、设备及存储介质
CN117689011B (zh) * 2023-12-28 2024-05-03 杭州汇健科技有限公司 一种模型调整方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN113505128B (zh) 创建数据表的方法、装置、设备及存储介质
US11481440B2 (en) System and method for processing metadata to determine an object sequence
CN110941598A (zh) 一种数据去重方法、装置、终端及存储介质
CN113177732A (zh) 一种工艺流程管理方法、装置、介质及终端设备
GB2605273A (en) Microservices change management and analytics
CN106445643A (zh) 克隆、升级虚拟机的方法及设备
CN114241346A (zh) 一种图像去重超参数优化方法、装置、设备及存储介质
CN110019806B (zh) 一种文档聚类方法及设备
US10296628B2 (en) Sample size estimator
CN112650618A (zh) 用于备份数据的方法、设备和计算机程序产品
CN111125199B (zh) 一种数据库访问方法、装置及电子设备
CN111122222B (zh) 一种样本点位置确定方法及系统
US10969964B2 (en) Method, device, and computer program product for parallel data transmission using machine learning to determine number of concurrencies and data slice size
US20160147616A1 (en) Recovery strategy with dynamic number of volumes
CN111177644A (zh) 模型参数的优化方法、装置、设备及存储介质
US11403267B2 (en) Dynamic transformation code prediction and generation for unavailable data element
CN107679107B (zh) 一种基于图数据库的电网设备可达性查询方法及系统
GB2505186A (en) Using machine learning to categorise software items
CN110532274B (zh) 配置联动方法及装置
CN114463598A (zh) 一种图像去重方法、装置、设备及存储介质
CN113961556A (zh) 用于信息处理的方法、装置、设备和存储介质
US9367937B2 (en) Apparatus and method for effective graph clustering of probabilistic graphs
US10614055B2 (en) Method and system for tree management of trees under multi-version concurrency control
US20170139969A1 (en) Method for filtering and analyzing big data, electronic device, and non-transitory computer-readable storage medium
CN111104247A (zh) 管理数据复制的方法、设备和计算机程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination