CN116523760A - 数据增强的方法、设备和计算机程序产品 - Google Patents

数据增强的方法、设备和计算机程序产品 Download PDF

Info

Publication number
CN116523760A
CN116523760A CN202210072009.8A CN202210072009A CN116523760A CN 116523760 A CN116523760 A CN 116523760A CN 202210072009 A CN202210072009 A CN 202210072009A CN 116523760 A CN116523760 A CN 116523760A
Authority
CN
China
Prior art keywords
feature representations
images
saliency map
model
dynamic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210072009.8A
Other languages
English (en)
Inventor
王子嘉
杨文彬
贾真
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dell Products LP
Original Assignee
Dell Products LP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dell Products LP filed Critical Dell Products LP
Priority to CN202210072009.8A priority Critical patent/CN116523760A/zh
Priority to US17/676,426 priority patent/US11941869B2/en
Publication of CN116523760A publication Critical patent/CN116523760A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/771—Feature selection, e.g. selecting representative features from a multi-dimensional feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06V10/7747—Organisation of the process, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/12—Computing arrangements based on biological models using genetic models
    • G06N3/126—Evolutionary algorithms, e.g. genetic algorithms or genetic programming
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Physiology (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Genetics & Genomics (AREA)
  • Image Analysis (AREA)

Abstract

本公开的实施例涉及数据增强的方法、电子设备和计算机程序产品。该方法包括：利用热力学遗传算法TDGA模型，基于目标图像生成一组候选图像，其中TDGA模型被配置为在每次进化过程中应用一组预定图像处理操作中的一项或多项操作；以及基于一组候选图像的自由能，从一组候选图像中确定多个增强图像，多个增强图像被确定为具有与目标图像相同的分类。基于这样的方式，可以利用热力学遗传算法来高效地实现数据扩充。

Description

数据增强的方法、设备和计算机程序产品
技术领域
本公开的实施例涉及计算机领域，并且更具体地，涉及数据增强的方法、设备和计算机程序产品。
背景技术
随着计算机技术的发展，机器学习技术已经被逐渐被运用于人们生活中的各个方面。计算设备可以利用机器学习模型可以执行各种各样的任务。
机器学习模型的性能与训练数据集的规模和质量密切相关联。在一些领域，通常难以获得足够数量的训练数据。因此，如何有效地对数据进行增强(augmentation)已经成为人们关注的焦点。
发明内容
本公开的实施例提供一种用于数据增强的方案。
根据本公开的第一方面，提出了一种任务处理的方法。该方法包括：利用热力学遗传算法TDGA模型，基于目标图像生成一组候选图像，其中TDGA模型被配置为在每次进化过程中应用一组预定图像处理操作中的一项或多项操作；以及基于一组候选图像的自由能，从一组候选图像中确定多个增强图像，多个增强图像被确定为具有与目标图像相同的分类。
根据本公开的第二方面，提出了一种电子设备。该设备包括：至少一个处理单元；至少一个存储器，该至少一个存储器被耦合到该至少一个处理单元并且存储用于由该至少一个处理单元执行的指令，该指令当由该至少一个处理单元执行时，使得该设备执行动作，该动作包括：利用热力学遗传算法TDGA模型，基于目标图像生成一组候选图像，其中TDGA模型被配置为在每次进化过程中应用一组预定图像处理操作中的一项或多项操作；以及基于一组候选图像的自由能，从一组候选图像中确定多个增强图像，多个增强图像被确定为具有与目标图像相同的分类。
在本公开的第三方面，提供了一种计算机程序产品。该计算机程序产品被存储在非瞬态计算机存储介质中并且包括机器可执行指令，该机器可执行指令在设备中运行时使该设备执行根据本公开的第一方面所描述的方法的任意步骤。
提供发明内容部分是为了以简化的形式来介绍对概念的选择，它们在下文的具体实施方式中将被进一步描述。发明内容部分无意标识本公开的关键特征或必要特征，也无意限制本公开的范围。
附图说明
通过结合附图对本公开示例性实施例进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显，其中，在本公开示例性实施例中，相同的参考标号通常代表相同部件。
图1示出了本公开的实施例可以在其中被实现的示例环境的示意图；
图2示出了根据本公开的一些实施例的数据增强的方法的流程图；
图3示出了根据本公开的一些实施例的生成动态显著图的示意图；以及
图4示出了可以用来实施本公开的实施例的示例设备的框图。
具体实施方式
下面将参照附图更详细地描述本公开的优选实施例。虽然附图中显示了本公开的优选实施例，然而应该理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。
在本文中使用的术语“包括”及其变形表示开放性包括，即“包括但不限于”。除非特别申明，术语“或”表示“和/或”。术语“基于”表示“至少部分地基于”。术语“一个示例实施例”和“一个实施例”表示“至少一个示例实施例”。术语“另一实施例”表示“至少一个另外的实施例”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。
如前文所提及的，机器学习模型的性能与训练数据集的规模和质量密切相关联。在一些领域，通常难以获得足够数量的训练数据。因此，如何有效地对数据进行增强(也称为数据扩充或数据增广)已经成为人们关注的焦点。
根据本公开的实施例，提供了一种数据增强的方案。在该方案中，利用热力学遗传算法TDGA模型，基于目标图像生成一组候选图像，其中TDGA模型被配置为在每次进化过程中应用一组预定图像处理操作中的一项或多项操作；以及基于一组候选图像的自由能，从一组候选图像中确定多个增强图像，多个增强图像被确定为具有与目标图像相同的分类。
基于这样的方式，本公开的实施例可以有效地利用遗传算法中的交叉和变异过程来高效地实现数据扩充。
以下将参考附图来描述本公开的方案。
图1示出了本公开实施例可以在其中执行的示例环境100。如图1所示，该环境100中可以包括计算设备120。计算设备120可以获取目标图像110，并利用热力学遗传算法(Thermodynamical Genetic Algorithm，TDGA)模型130来基于目标图像110来生成多个增强图像140。
遗传算法GA是基于系统演化过程的优化方法。它已被用于解决离散优化问题，因为它不需要事先了解奖励或差异梯度。然而，遗传算法受到一种称为过早收敛的现象的不利影响。换句话说，在搜索的早期阶段，种群多样性往往会丧失。与传统的遗传算法不同，TDGA通过在选择规则中加入温度和熵的概念解决了这一过早收敛的问题。关于生成多个增强图像的细节将在下文详细描述。
图2示出了根据本公开的一些实施例的数据增强的过程200的流程图。过程200例如可以由图1中所示的计算设备120来实现。
如图2所示，在框202，计算设备120利用热力学遗传算法TDGA模型130，基于目标图像110生成一组候选图像，其中TDGA模型被配置为在每次进化过程中应用一组预定图像处理操作中的一项或多项操作。
在一些实施例中，计算设备120可以获取经训练的TDGA模型130，并利用TDGA模型130中的进化过程来基于目标图像110来生成一组候选图像。
具体地，在TDGA模型130的进化过程中，类似于模拟最火算法，其引入了温度参数，以避免种群多样性的丧失。在进化过程中，TDGA可以将每次进化中具有最小自由能(freeenergy)的预定数目的个体添加到下一代中，以实现群体自由能最小这一目标。
在一些实施例中，在利用TDGA模型130生成一组候选图像的过程中，每次进化过程都可以对个体实施一组预定图像处理操作中的一项或多项操作。
示例性地，该组预定图像处理操作例如可以包括十六项图像操作，例如，自动压缩、均衡、反转、旋转、定位、曝光、曝光度增加、颜色、对比度、亮度、锐度、剪切(shear)X、剪切Y、切割(cutout)、平移X和平移Y。
此外，对于每中图像处理操作，其可以被设置有幅度M以及被选择的概率P。在一些实施例中，幅度M例如可以是0到30之间的值。概率P可以表示为P＝m/L，其中m为1到5之间的正整数，而L表示染色体长度。
基于这样的方式，TDGA自动申请的搜索空间约为31×5×10×216≈1.0×108，其远小于自动增强算法中1032的搜索空间大小。
在框204，计算设备120基于一组候选图像的自由能，从一组候选图像中确定多个增强图像140，其中多个增强图像140被确定为具有与目标图像110相同的分类。
在一些实施例中，TDGA模型可以基于训练数据集D而被训练。在训练过程中，D可以被划分为训练集和验证集。各候选图像的自由能例如可以基于验证集而被确定。具体地，利用在训练集上所训练的TDGA模型处理验证集的准确度可以被视为个体的拟合度，并且其负值则可以被视作个体的自由能。
在一些实施例中，计算设备120从一组候选图像中选择出具有最小自由能的预定数目的候选图像，以作为多个增强图像140。
基于这样的方式，本公开的实施例可以充分利用遗传算法中的各种变换来高效地构建增强图像。
在一些实施例中，所构建的增强图像还可以被用于对比学习(ContrastiveLearning)。对比文件学习旨在将具有相同分类的样本转换为接近的特征表示，而将不同分类的样本转换为差异的特征表示。
在一些实施例中，鉴于基于TDGA所生成的增强图像总是与目标图像具有相同的类别，计算设备120可以进一步基于目标图像和一组候选图像构建训练图像集，并基于训练图像集来训练对比学习模型，其中对比学习模型被配置为最小化相同类型的图像样本对应的特征表示之间的距离，并且最大化最小化不同类型的图像样本对应的特征表示之间的距离。
以此方式，本公开的实施例可以提高对比学习模型的质量，使得其能够更好地区分同类别图像和不同类别图像。
在一些实施例中，经训练的对比文件学习模型还可以被用于处理基于图像的对象层检测任务。具体地，计算设备120可以接收一组输入图像，并利用对比学习模型来确定一组输入图像的一组特征表示。进一步地，计算设备120还可以基于一组特征表示，检测一组输入图像中的对象。
在一些实施例中，计算设备120可以依赖于动态显著图(Dynamic saliency map，DSM)来执行图像中的对象检测。具体地，计算设备120可以基于所述一组特征表示，构建动态显著图。进一步地，计算设备120可以基于所述动态显著图，确定所述一组输入图像中的对象。
在一些实施例中，计算设备120还可以利用遗传算法来优化对象检测过程中的动态显著图(Dynamic saliency map，DSM)的生成过程。以下将参考图3来描述DSM的生成过程，图3示出了根据本公开的一些实施例的生成DSM的示意图300。
如图3所示，与传统的DSM生成过程不同，计算设备120可以利用GA模型310来对中央周边差CSD图来进行加权。具体地，计算设备120可以基于所述一组特征表示，确定一组中央周边差CSD图，并基于遗传算法GA模型310，确定用于对所述一组CSD图进行加权的权重w。
对于GA模型310而言，其适应度函数可以被确定为：
fitness function＝E(1-overlapratio) (I)
其中覆盖率overlapratio可以被确定为：
其中AT表示对目标对象的真值区域，AD表示使用DSM所确定的区域，AC表示两者重叠的区域。GA模型310旨在最小化如公式(8)中所定义的适应度函数。
在一些实施例中，如图4所示，计算设备120还可以基于经加权的一组CSD图来构建动态显著图，也称为遗传DSM 320。
在一些实施例中，传统的DSM使用给定时间段内不同连续帧之间的最大熵来分析显著图的动态特性。然而，熵是根据对应于局部区域的像素值的直方图来计算的，其计算过程复杂而且计算量较大，不适用于嵌入式和实时系统。
在一些实施例中，为了减少计算量，计算设备120还可以基于局部区域的像素值的方差而被确定与动态显著图相关联的动态特性，而不依赖于传统的熵计算。示例性地，如果像素的方差大于预定阈值，则该像素例如可以被确定为前景。
基于这样的方式，本公开的实施例可以进一步降低计算开销，从而提高计算效率。
图4示出了可以用来实施本公开内容的实施例的示例设备400的示意性框图。例如，根据本公开实施例的计算设备120可以由设备400来实施。如图所示，设备400包括中央处理单元(CPU)401，其可以根据存储在只读存储器(ROM)402中的计算机程序指令或者从存储单元408加载到随机访问存储器(RAM)403中的计算机程序指令，来执行各种适当的动作和处理。在RAM 403中，还可存储设备400操作所需的各种程序和数据。CPU 401、ROM 402以及RAM 403通过总线404彼此相连。输入/输出(I/O)接口405也连接至总线404。
设备400中的多个部件连接至I/O接口405，包括：输入单元406，例如键盘、鼠标等；输出单元407，例如各种类型的显示器、扬声器等；存储单元408，例如磁盘、光盘等；以及通信单元409，例如网卡、调制解调器、无线通信收发机等。通信单元409允许设备400通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
上文所描述的各个过程和处理，例如过程200和/或过程300，可由处理单元401执行。例如，在一些实施例中，过程200可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元408。在一些实施例中，计算机程序的部分或者全部可以经由ROM 402和/或通信单元409而被载入和/或安装到设备400上。当计算机程序被加载到RAM 403并由CPU 401执行时，可以执行上文描述的过程200的一个或多个动作。
本公开可以是方法、装置、系统和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于执行本公开的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是--但不限于--电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方面。
这里参照根据本公开实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理单元，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理单元执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本公开的各实施方式，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施方式。在不偏离所说明的各实施方式的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施方式的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其他普通技术人员能理解本文披露的各实施方式。

Claims (18)

1.一种用于数据增强的方法，包括：
利用热力学遗传算法TDGA模型，基于目标图像生成一组候选图像，其中所述TDGA模型被配置为在每次进化过程中应用一组预定图像处理操作中的一项或多项操作；以及
基于所述一组候选图像的所述自由能，从所述一组候选图像中确定多个增强图像，所述多个增强图像被确定为具有与所述目标图像相同的分类。
2.根据权利要求1所述的方法，还包括：
基于所述目标图像和所述一组候选图像构建训练图像集；以及
基于所述训练图像集来训练对比学习模型，所述对比学习模型被配置为最小化相同类型的图像样本对应的特征表示之间的距离，并且最大化最小化不同类型的图像样本对应的特征表示之间的距离。
3.根据权利要求2所述的方法，还包括：
接收一组输入图像；
利用所述对比学习模型，确定所述一组输入图像的一组特征表示；以及
基于所述一组特征表示，检测所述一组输入图像中的对象。
4.根据权利要求3所述的方法，其中基于所述一组特征表示检测所述一组输入图像中的对象包括：
基于所述一组特征表示，构建动态显著图；以及
基于所述动态显著图，确定所述一组输入图像中的对象。
5.根据权利要求4所述的方法，其中基于所述一组特征表示构建动态显著图包括：
基于所述一组特征表示，确定一组中央周边差CSD图；
基于遗传算法模型，确定用于对所述一组CSD图进行加权的权重；以及
基于经加权的所述一组CSD图，构建所述动态显著图。
6.根据权利要求5所述的方法，其中与所述动态显著图相关联的动态特性基于局部区域的像素值的方差而被确定。
7.一种电子设备，包括：
至少一个处理单元；
至少一个存储器，所述至少一个存储器被耦合到所述至少一个处理单元并且存储用于由所述至少一个处理单元执行的指令，所述指令当由所述至少一个处理单元执行时，使得所述设备执行动作，所述动作包括：
利用热力学遗传算法TDGA模型，基于目标图像生成一组候选图像，其中所述TDGA模型被配置为在每次进化过程中应用一组预定图像处理操作中的一项或多项操作；以及
基于所述一组候选图像的所述自由能，从所述一组候选图像中确定多个增强图像，所述多个增强图像被确定为具有与所述目标图像相同的分类。
8.根据权利要求7所述的电子设备，所述动作还包括：
基于所述目标图像和所述一组候选图像构建训练图像集；以及
基于所述训练图像集来训练对比学习模型，所述对比学习模型被配置为最小化相同类型的图像样本对应的特征表示之间的距离，并且最大化最小化不同类型的图像样本对应的特征表示之间的距离。
9.根据权利要求8所述的电子设备，所述动作还包括：
接收一组输入图像；
利用所述对比学习模型，确定所述一组输入图像的一组特征表示；以及
基于所述一组特征表示，检测所述一组输入图像中的对象。
10.根据权利要求9所述的电子设备，其中基于所述一组特征表示检测所述一组输入图像中的对象包括：
基于所述一组特征表示，构建动态显著图；以及
基于所述动态显著图，确定所述一组输入图像中的对象。
11.根据权利要求10所述的电子设备，其中基于所述一组特征表示构建动态显著图包括：
基于所述一组特征表示，确定一组中央周边差CSD图；
基于遗传算法模型，确定用于对所述一组CSD图进行加权的权重；以及
基于经加权的所述一组CSD图，构建所述动态显著图。
12.根据权利要求11所述的电子设备，其中与所述动态显著图相关联的动态特性基于局部区域的像素值的方差而被确定。
13.一种计算机程序产品，所述计算机程序产品被存储在非瞬态计算机存储介质中并且包括机器可执行指令，所述机器可执行指令在设备中运行时使所述设备执行动作，所述动作包括：
利用热力学遗传算法TDGA模型，基于目标图像生成一组候选图像，其中所述TDGA模型被配置为在每次进化过程中应用一组预定图像处理操作中的一项或多项操作；以及
基于所述一组候选图像的所述自由能，从所述一组候选图像中确定多个增强图像，所述多个增强图像被确定为具有与所述目标图像相同的分类。
14.根据权利要求13所述的计算机程序产品，所述动作还包括：
基于所述目标图像和所述一组候选图像构建训练图像集；以及
基于所述训练图像集来训练对比学习模型，所述对比学习模型被配置为最小化相同类型的图像样本对应的特征表示之间的距离，并且最大化最小化不同类型的图像样本对应的特征表示之间的距离。
15.根据权利要求14所述的计算机程序产品，所述动作还包括：
接收一组输入图像；
利用所述对比学习模型，确定所述一组输入图像的一组特征表示；以及
基于所述一组特征表示，检测所述一组输入图像中的对象。
16.根据权利要求15所述的计算机程序产品，其中基于所述一组特征表示检测所述一组输入图像中的对象包括：
基于所述一组特征表示，构建动态显著图；以及
基于所述动态显著图，确定所述一组输入图像中的对象。
17.根据权利要求16所述的计算机程序产品，其中基于所述一组特征表示构建动态显著图包括：
基于所述一组特征表示，确定一组中央周边差CSD图；
基于遗传算法模型，确定用于对所述一组CSD图进行加权的权重；以及
基于经加权的所述一组CSD图，构建所述动态显著图。
18.根据权利要求17所述的计算机程序产品备，其中与所述动态显著图相关联的动态特性基于局部区域的像素值的方差而被确定。
CN202210072009.8A 2022-01-21 2022-01-21 数据增强的方法、设备和计算机程序产品 Pending CN116523760A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210072009.8A CN116523760A (zh) 2022-01-21 2022-01-21 数据增强的方法、设备和计算机程序产品
US17/676,426 US11941869B2 (en) 2022-01-21 2022-02-21 Method, device, and computer program product for data augmentation

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210072009.8A CN116523760A (zh) 2022-01-21 2022-01-21 数据增强的方法、设备和计算机程序产品

Publications (1)

Publication Number Publication Date
CN116523760A true CN116523760A (zh) 2023-08-01

Family

ID=87314296

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210072009.8A Pending CN116523760A (zh) 2022-01-21 2022-01-21 数据增强的方法、设备和计算机程序产品

Country Status (2)

Country Link
US (1) US11941869B2 (zh)
CN (1) CN116523760A (zh)

Also Published As

Publication number Publication date
US20230237780A1 (en) 2023-07-27
US11941869B2 (en) 2024-03-26

Similar Documents

Publication Publication Date Title
CN109816589B (zh) 用于生成漫画风格转换模型的方法和装置
CN111915480B (zh) 生成特征提取网络的方法、装置、设备和计算机可读介质
US20220092407A1 (en) Transfer learning with machine learning systems
CN114511576B (zh) 尺度自适应特征增强深度神经网络的图像分割方法与系统
JP2023531350A (ja) サンプル画像を増分する方法、画像検出モデルの訓練方法及び画像検出方法
CN114677565B (zh) 特征提取网络的训练方法和图像处理方法、装置
JP7392707B2 (ja) 画像処理の方法、デバイス及びコンピュータ可読記憶媒体
JP7347492B2 (ja) 画像処理方法及びコンピューティングデバイス
CN111340221A (zh) 神经网络结构的采样方法和装置
CN110633717A (zh) 一种目标检测模型的训练方法和装置
CN113627536A (zh) 模型训练、视频分类方法，装置，设备以及存储介质
CN116431597A (zh) 用于训练数据分类模型的方法、电子设备和计算机程序产品
CN116982089A (zh) 用于图像语义增强的方法和系统
CN116758360B (zh) 土地空间用途管理方法及其系统
CN117315758A (zh) 面部表情的检测方法、装置、电子设备及存储介质
US10956778B2 (en) Multi-level deep feature and multi-matcher fusion for improved image recognition
CN114581966A (zh) 用于信息处理的方法、电子设备和计算机程序产品
CN117454935A (zh) 模型训练方法、信息生成方法、装置、设备和介质
CN115170919B (zh) 图像处理模型训练及图像处理方法、装置、设备和存储介质
CN114758130B (zh) 图像处理及模型训练方法、装置、设备和存储介质
CN116523760A (zh) 数据增强的方法、设备和计算机程序产品
US11416775B2 (en) Training robust machine learning models
CN113361677B (zh) 神经网络模型的量化方法和装置
WO2023287392A1 (en) Systems and methods for federated learning of machine-learned models with sampled softmax
CN111353585A (zh) 神经网络模型的结构搜索方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination