CN113780555A - 基于数据增强的模型训练方法、装置、设备及存储介质 - Google Patents

基于数据增强的模型训练方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN113780555A
CN113780555A CN202111064179.3A CN202111064179A CN113780555A CN 113780555 A CN113780555 A CN 113780555A CN 202111064179 A CN202111064179 A CN 202111064179A CN 113780555 A CN113780555 A CN 113780555A
Authority
CN
China
Prior art keywords
image data
pixel
value
enhancement
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111064179.3A
Other languages
English (en)
Other versions
CN113780555B (zh
Inventor
郑喜民
苏杭
舒畅
陈又新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN202111064179.3A priority Critical patent/CN113780555B/zh
Publication of CN113780555A publication Critical patent/CN113780555A/zh
Application granted granted Critical
Publication of CN113780555B publication Critical patent/CN113780555B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及AI技术领域，并公开了一种基于数据增强的模型训练方法，包括：对原始图像数据进行随机增强处理，得到第一图像数据；对所述第一图像数据基于预设的二维特征网络进行分析，得到所述第一图像数据的热力图；基于所述热力图，确定用于表示所述第一图像数据的像素值对目标模型的精度判断具有影响作用的权重矩阵；根据所述权重矩阵对所述第一图像数据的各像素值进行增强处理，得到第二图像数据；根据所述第二图像数据对所述目标模型进行训练，得到训练完成的模型。能够基于较少的训练数据得到高精度的目标模型。

Description

基于数据增强的模型训练方法、装置、设备及存储介质
技术领域
本申请涉及AI技术领域，尤其涉及一种基于数据增强的模型训练方法、装置、设备及存储介质。
背景技术
随着人工智能技术的发展和应用，为了在有效的训练样本下训练出高精度的大数据模型，数据增强技术得到了广泛的应用。数据增强也叫数据扩增，是指在不增加数据的情况下，训练出等价于由更多数据训练得到的模型。
现有的数据增强方式主要包括几何变换类和颜色变换类。其中，几何变换类是对图像像素进行随机的翻转、旋转、裁剪、变形和缩放等各类几何操作，没有改变图像本身的内容，对模型训练过程中精度的影响不明显；颜色变换类包括噪声、模糊、颜色变换、擦除和填充等，虽然能够在原来图像的基础上，随机叠加一些噪声，但是仍不能保证增强后的结果有利于模型训练的精度。
发明内容
本申请提供了一种基于数据增强的模型训练方法、装置、设备及存储介质，通过利用图像数据的热力图确定图像像素值对模型精度的影响权重，来提高图像对目标模型精度的影响，进而实现基于较少的训练数据得到高精度的目标模型的目的。
第一方面，本申请提供了一种基于数据增强的模型训练方法，所述方法包括：
对原始图像数据进行随机增强处理，得到第一图像数据；
对所述第一图像数据基于预设的二维特征网络进行分析，得到所述第一图像数据的热力图；
基于所述热力图，确定用于表示所述第一图像数据的像素值对目标模型的精度判断具有影响作用的权重矩阵；
根据所述权重矩阵对所述第一图像数据的各像素值进行增强处理，得到第二图像数据；
根据所述第二图像数据对所述目标模型进行训练，得到训练完成的模型。
第二方面，本申请还提供了一种基于数据增强的模型训练装置，包括：
第一处理模块，用于对原始图像数据进行随机增强处理，得到第一图像数据；
分析模块，用于对所述第一图像数据基于预设的二维特征网络进行分析，得到所述第一图像数据的热力图；
确定模块，用于基于所述热力图，确定用于表示所述第一图像数据的像素值对目标模型的精度判断具有影响作用的权重矩阵；
第二处理模块，用于根据所述权重矩阵对所述第一图像数据的各像素值进行增强处理，得到第二图像数据；
训练模块，用于根据所述第二图像数据对所述目标模型进行训练，得到训练完成的模型。
第三方面，本申请还提供了一种基于数据增强的模型训练设备，包括：
存储器和处理器；
所述存储器用于存储计算机程序；
所述处理器，用于执行所述计算机程序并在执行所述计算机程序时实现如上第一方面所述的基于数据增强的模型训练方法的步骤。
第四方面，本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现如上第一方面所述的基于数据增强的模型训练方法的步骤。
本申请公开了一种基于数据增强的模型训练方法、装置、设备及存储介质，首先通过对原始图像数据进行随机增强处理，并对增强处理之后的第一图像数据基于预设的二维特征网络进行分析，得到所述第一图像数据的热力图；然后，基于所述热力图，确定用于表示所述第一图像数据的像素值对目标模型的精度判断具有影响作用的权重矩阵；再根据所述权重矩阵对所述第一图像数据的各像素值进行增强处理，得到第二图像数据；最后，根据所述第二图像数据对所述目标模型进行训练，得到训练完成的模型。通过利用图像数据的热力图确定图像像素值对模型精度的影响权重，来提高图像对目标模型精度的影响，进而实现基于较少的训练数据得到高精度的目标模型的目的。
附图说明
为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一实施例提供的基于数据增强的模型训练方法的实现流程图；
图2是图1中S102的具体实现流程图；
图3是图1中S103的具体实现流程图；
图4是本申请实施例提供的基于数据增强的模型训练装置的结构示意图；
图5是本申请实施例提供的基于数据增强的模型训练设备的结构示意性框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
附图中所示的流程图仅是示例说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解、组合或部分合并，因此实际执行的顺序有可能根据实际情况改变。
应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
本申请的实施例提供了一种基于数据增强的模型训练方法、装置、设备及存储介质。本申请实施例提供的基于数据增强的模型训练方法，首先通过对原始图像数据进行随机增强处理，并对增强处理之后的第一图像数据基于预设的二维特征网络进行分析，得到所述第一图像数据的热力图；然后，基于所述热力图，得到所述第一图像数据的像素值对目标模型精度影响的权重矩阵；再根据所述权重矩阵对所述第一图像数据的各像素值进行增强处理，得到第二图像数据；最后，根据所述第二图像数据对所述目标模型进行训练，得到训练完成的模型。通过利用图像数据的热力图确定图像像素值对模型精度的影响权重，来提高图像对目标模型精度的影响，进而实现基于较少的训练数据得到高精度的目标模型的目的。
下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
请参阅图1，图1是本申请一实施例提供的基于数据增强的模型训练方法的示意流程图。该基于数据增强的模型训练方法可以由服务器或者终端实现，所述服务器可以是单个服务器或者服务器集群。所述终端可以是手持终端、笔记本电脑、可穿戴设备或者机器人等。
如图1所示，图1是本申请一实施例提供的基于数据增强的模型训练方法的实现流程图。具体包括：步骤S101至步骤S105。详述如下：
S101，对原始图像数据进行随机增强处理，得到第一图像数据。
在本申请的实施例中，所述原始图像数据为训练大数据模型的样本数据，尤其是指样本量较少时的小样本数据。由于训练样本量较少时，出现噪声的概率较大，在这种情况下，训练得到的大数据模型通常存在准确性较低的问题。因此，需要对所述原始图像数据进行随机增强处理，得到增强处理后的第一图像数据。其中，对所述原始图像数据进行图像增强处理的算法包括空间域图像增强算法、时间域图像增强算法、空间域与时间域相结合的图像增强算法、基于TensorFlow批量的图像随机增强算法等。具体地，上述各种对图像增强处理的过程均是对原始图像进行去噪处理，提高图像质量的过程，具体可以参考现有的利用上述各种图像增强算法进行去噪处理的过程，在此不再赘述。
可以理解地，所述第一图像数据是对原始图像数据进行去噪声处理之后，得到的高质量图像。所述噪声可以是随机噪声和周期噪声的混合噪声，所述第一图像数据相较于原始图像数据具有较好的视觉效果，便于观察和分析，有利于对图像的进一步处理。
S102，对所述第一图像数据基于预设的二维特征网络进行分析，得到所述第一图像数据的热力图。
其中，预设的二维特征网络为与特定输出类别相关的二维特征分数网络，将对应的第一图像数据输入该预设的二维特征网络，该预设的二维特征网络对应输出所述第一图像数据中每个像素点对应对特定输出类别的重要影响程度。具体地，将所述第一图像数据中每个像素点对应对特定输出类别的重要影响程度用热力图来表示。
示例性地，请参阅图2所示，图2是图1中S102的具体实现流程图。由图2可知，在本实施例中，S102包括S1021和S1022。详述如下：
S1021，将所述第一图像数据输入所述预设的二维特征网络，利用所述预设的二维特征网络对所述第一图像数据进行类激活，得到类激活图像。
具体地，所述与特定输出类别相关的二维特征分数网络为Gradient-weightedClass Activation Map网络，简称Grad-Cam，具体包括神经网络层和末尾卷积激活输出层；其中，所述将所述第一图像数据输入所述预设的二维特征网络，利用所述预设的二维特征网络对所述第一图像数据进行类激活，得到类激活图像，具体包括：将所述第一图像数据输入所述神经网络层进行处理，所述末尾卷积激活输出层根据所述神经网络层的决策分类过程，确定所述第一图像数据中各像素点对所述神经网络层决策分类的影响权重；将所述第一图像数据中各像素点对所述神经网络层决策分类的影响权重和所述第一图像数据进行重叠，得到所述类激活图像。
S1022，将所述类激活图像输入目标模型进行渲染处理，得到所述第一图像数据的热力图。
其中，所述目标模型为预训练的神经网络模型，该神经网络模型可以是应用在系统辨识、模式识别、智能控制等领域模拟人类实际神经网络的数学模型；示例性地，假设该目标模型为用于目标识别的GAN神经网络模型，所述类激活图像的每个通道的梯度加权值可以用于表示图像中对应部分对目标模型输出类别的影响程度(激活程度)，将类激活图像输入到预训练的目标模型中，获取所述目标模型的最后一个卷积层的输出特征图，并根据输出类别的梯度对输出特征图的每个通道进行加权(将输出类别的梯度分别与输出特征图的每个通道，进行梯度加权计算)，得到对应的热力图，该热力图可以表明输入图像中哪些部分对输出类别的激活程度最大。
具体地，将所述类激活图像输入目标模型进行渲染处理，得到所述第一图像数据的热力图，包括：将所述类激活图像输入所述目标模型，获取所述目标模型的最后一个卷积层的输出特征图；计算所述目标模型输出类别的梯度，将所述梯度与所述输出特征图进行梯度加权，得到所述热力图。
S103，基于所述热力图，确定用于表示所述第一图像数据的像素值对目标模型的精度判断具有影响作用的权重矩阵。
其中，所述热力图中每个像素点的热力值用于表示输入图像(本实施例中为第一图像数据)中对应的像素位置对目标模型输出类别的影响程度。将所述热力图中的每个像素点的热离职进行归一化处理之后，以矩阵的形式表示，则可以得到所述第一图像数据的各个像素值对目标模型判断精度的影响权重矩阵。
示例性地，请参阅图3所示，图3是图1中S103的具体实现流程图。由图3可知，在本实施例中，S103包括S1031与S1032，详述如下：
S1031，根据所述热力图中每个像素位置的热力值，计算所述第一图像数据中各个像素点的权重值。
其中，由前面分析可知，所述热力图中每个像素位置的热力值，可以表示第一图像数据中各个像素点对目标模型输出类别的影响程度，在本实施例中，设定对热力图中每个像素位置的热力值进行归一化处理之后，得到的归一化热力值用于表示第一图像数据中各个像素点对目标模型输出类别的权重值。具体地，根据所述热力图中每个像素位置的热力值，计算所述第一图像数据中各个像素点的权重值，可以包括：分别基于预设的归一化公式，对所述热力图中每个像素位置的热力值进行归一化处理，得到所述热力图中每个像素位置的归一化热力值；以所述热力图中每个像素位置的归一化热力值，分别为所述第一图像数据中对应的各个像素点的权重值。
S1032，根据所述第一图像数据中各个像素点的权重值，生成所述第一图像数据的像素值对目标模型精度判断具有影响作用的权重矩阵。
具体地，设定所述第一图像数据中各个像素点的像素位置与权重矩阵中各个权重值对应位置之间的映射关系；根据所述映射关系，将所述第一图像数据中各个像素点各自对应的权重值，映射在所述权重矩阵中，得到所述第一图像数据的像素值对目标模型精度影响的权重矩阵。
S104，根据所述权重矩阵对所述第一图像数据的各像素值进行增强处理，得到第二图像数据。
其中，根据所述权重矩阵对所述第一图像数据的各像素值进行增强处理，使得在模型训练过程中，更关注对应权重值高的图像区域，类似于在模型的训练过程中引入注意力机制。具体地，对所述第一图像数据可以采用自动数据增强算法进行增强处理；示例性地，在本申请的实施例中，自动数据增强处理的过程采用格点搜索进行自动学习的数据增强算法。
具体地，采用格点搜索进行自动学习的数据增强算法常设定多个参数空间，从对个参数空间中随机选取N中参数进行数据增强，对增强后的数据均匀进行图像大小变换，最后得到增强后的图像数据。
示例性地，在本申请的实施例中，所述根据所述权重矩阵对所述第一图像数据的各像素值进行增强处理，得到第二图像数据，包括：设定参数空间；根据所述目标模型的大小和训练数据集的大小从所述参数空间中随机获取预设数量的参数；分别将各个参数下的权重值与各个像素点各自对应在所述第一图像数据中的像素值相乘，得到增强后各个第一图像数据；基于预设缩放公式，对增强后各个第一图像数据分别进行缩放，得到所述第二图像数据。
其中，参数空间包括可以选取的参数数量和不同参数数量下对应的数据增强倍数，例如参数空间表示为：(2，1到2倍权重值)，(3,1到3倍权重值)，...，(n，1到n倍权重值)；其中，(2，1到2倍权重值)代表可以选取2个参数下的权重值，分别为权重值和权重值的2倍。可以理解地，(3,1到3倍权重值)，...，(n，1到n倍权重值)，与(2，1到2倍权重值)所表示的意思类似，分别代表可以选取的参数，和可选取的各参数下的权重值，在此不再赘述。
此外，预设缩放公式可以表示为：
Figure BDA0003257547840000081
其中，outputi,j表示第二图像数据中像素坐标为(i,j)的像素点的像素值，max(inputi,j)表示第一图像数据的像素值对目标模型精度影响的最大权重值，inputu,j表示第一图像数据中像素坐标为(i，j)的像素点的像素值，wu,j为第一图像数据中像素坐标为(i，j)的像素点的权重值。
S105，根据所述第二图像数据对所述目标模型进行训练，得到训练完成的模型。
具体地，根据所述第二图像数据对所述目标模型进行训练，若所述目标模型在迭代更新过程中，所述目标模型的损失函数值不再变化且小于预设值，则得到训练完成的模型。
通过上述分析可知，本实施例提供的基于数据增强的模型训练方法，首先通过对原始图像数据进行随机增强处理，并对增强处理之后的第一图像数据基于预设的二维特征网络进行分析，得到所述第一图像数据的热力图；然后，基于所述热力图，确定用于表示所述第一图像数据的像素值对目标模型的精度判断具有影响作用的权重矩阵；再根据所述权重矩阵对所述第一图像数据的各像素值进行增强处理，得到第二图像数据；最后，根据所述第二图像数据对所述目标模型进行训练，得到训练完成的模型。通过利用图像数据的热力图确定图像像素值对模型精度的影响权重，来提高图像对目标模型精度的影响，进而实现基于较少的训练数据得到高精度的目标模型的目的。
请参阅图4所示，图4是本申请实施例提供的基于数据增强的模型训练装置的结构示意图。该基于数据增强的模型训练装置400用于执行图1实施例所示的基于数据增强的模型训练方法的步骤。该基于数据增强的模型训练装置400可以是单个服务器或服务器集群，或者该基于数据增强的模型训练装置400可以是终端，该终端可以是手持终端、笔记本电脑、可穿戴设备或者机器人等。
如图4所示，基于数据增强的模型训练装置400包括：
第一处理模块401，用于对原始图像数据进行随机增强处理，得到第一图像数据；
分析模块402，用于对所述第一图像数据基于预设的二维特征网络进行分析，得到所述第一图像数据的热力图；
确定模块403，用于基于所述热力图，确定用于表示所述第一图像数据的像素值对目标模型的精度判断具有影响作用的权重矩阵；
第二处理模块404，用于根据所述权重矩阵对所述第一图像数据的各像素值进行增强处理，得到第二图像数据；
训练模块405，用于根据所述第二图像数据对所述目标模型进行训练，得到训练完成的模型。
在一实施例中，所述分析模块402，包括：
第一得到单元，用于将所述第一图像数据输入所述预设的二维特征网络，利用所述预设的二维特征网络对所述第一图像数据进行类激活，得到类激活图像；
第二得到单元，用于将所述类激活图像输入目标模型进行渲染处理，得到所述第一图像数据的热力图。
在一实施例中，所述预设的二维特征网络包括神经网络层和末尾卷积激活输出层；所述第一得到单元，包括：
确定子单元，用于将所述第一图像数据输入所述神经网络层进行处理，所述末尾卷积激活输出层根据所述神经网络层的决策分类过程，确定所述第一图像数据中各像素点对所述神经网络层决策分类的影响权重；
第一得到子单元，用于将所述第一图像数据中各像素点对所述神经网络层决策分类的影响权重和所述第一图像数据进行重叠，得到所述类激活图像。
在一实施例中，所述确定模块403，包括：
计算单元，用于根据所述热力图中每个像素位置的热力值，计算所述第一图像数据中各个像素点的权重值；
生成单元，用于根据所述第一图像数据中各个像素点的权重值，生成所述第一图像数据的像素值对目标模型精度判断具有影响作用的权重矩阵。
在一实施例中，所述计算单元，包括：
第二得到子单元，用于分别基于预设的归一化公式，对所述热力图中每个像素位置的热力值进行归一化处理，得到所述热力图中每个像素位置的归一化热力值；
作为子单元，用于以所述热力图中每个像素位置的归一化热力值，分别为所述第一图像数据中对应的各个像素点的权重值。
在一实施例中，所述第二处理模块404，包括：
第二得到单元，用于将所述权重矩阵中各个像素点的权重值分别与各个像素点各自对应在所述第一图像数据中的像素值相乘，得到增强后各个像素点的像素值；
缩放单元，用于基于预设缩放公式，对增强后各个像素点的像素值分别进行缩放；
构成单元，用于根据缩放后各个像素值对应的像素点构成所述第二图像数据。
在一实施例中，预设缩放公式包括：
Figure BDA0003257547840000101
其中，outputi,j表示第二图像数据中像素坐标为(i,j)的像素点的像素值，max(inputi,j)表示第一图像数据的像素值对目标模型精度影响的最大权重值，inputi,j表示第一图像数据中像素坐标为(i，j)的像素点的像素值，wi,j为第一图像数据中像素坐标为(i，j)的像素点的权重值。
需要说明的是，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的基于数据增强的模型训练装置和各模块的具体工作过程，可以参考图1实施例所述的基于数据增强的模型训练方法实施例中的对应过程，在此不再赘述。
上述的基于数据增强的模型训练方法可以实现为一种计算机程序的形式，该计算机程序可以在如图4所示的装置上运行。
请参阅图5，图5是本申请实施例提供的基于数据增强的模型训练设备的结构示意性框图。该基于数据增强的模型训练设备500包括通过系统总线连接的处理器、存储器和网络接口，其中，存储器可以包括非易失性存储介质和内存储器。
非易失性存储介质可存储操作系统和计算机程序。该计算机程序包括程序指令，该程序指令被执行时，可使得处理器执行任意一种基于数据增强的模型训练方法。
处理器用于提供计算和控制能力，支撑整个计算机设备的运行。
内存储器为非易失性存储介质中的计算机程序的运行提供环境，该计算机程序被处理器执行时，可使得处理器执行任意一种基于数据增强的模型训练方法。
该网络接口用于进行网络通信，如发送分配的任务等。本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的终端的限定，具体的基于数据增强的模型训练设备500可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
应当理解的是，处理器可以是中央处理单元(Central Processing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
其中，在一个实施例中，所述处理器用于运行存储在存储器中的计算机程序，以实现如下步骤：
对原始图像数据进行随机增强处理，得到第一图像数据；
对所述第一图像数据基于预设的二维特征网络进行分析，得到所述第一图像数据的热力图；
基于所述热力图，确定用于表示所述第一图像数据的像素值对目标模型的精度判断具有影响作用的权重矩阵；
根据所述权重矩阵对所述第一图像数据的各像素值进行增强处理，得到第二图像数据；
根据所述第二图像数据对所述目标模型进行训练，得到训练完成的模型。
在一实施例中，所述对所述第一图像数据基于预设的二维特征网络进行分析，得到所述第一图像数据的热力图，包括：
将所述第一图像数据输入所述预设的二维特征网络，利用所述预设的二维特征网络对所述第一图像数据进行类激活，得到类激活图像；
将所述类激活图像输入目标模型进行渲染处理，得到所述第一图像数据的热力图。
在一实施例中，所述预设的二维特征网络包括神经网络层和末尾卷积激活输出层；所述将所述第一图像数据输入所述预设的二维特征网络，利用所述预设的二维特征网络对所述第一图像数据进行类激活，得到类激活图像，包括：
将所述第一图像数据输入所述神经网络层进行处理，所述末尾卷积激活输出层根据所述神经网络层的决策分类过程，确定所述第一图像数据中各像素点对所述神经网络层决策分类的影响权重；
将所述第一图像数据中各像素点对所述神经网络层决策分类的影响权重和所述第一图像数据进行重叠，得到所述类激活图像。
在一实施例中，所述基于所述热力图，确定用于表示所述第一图像数据的像素值对目标模型的精度判断具有影响作用的权重矩阵，包括：
根据所述热力图中每个像素位置的热力值，计算所述第一图像数据中各个像素点的权重值；
根据所述第一图像数据中各个像素点的权重值，生成所述第一图像数据的像素值对目标模型精度判断具有影响作用的权重矩阵。
在一实施例中，所述根据所述热力图中每个像素位置的热力值，计算所述第一图像数据中各个像素点的权重值，包括：
分别基于预设的归一化公式，对所述热力图中每个像素位置的热力值进行归一化处理，得到所述热力图中每个像素位置的归一化热力值；
以所述热力图中每个像素位置的归一化热力值，分别为所述第一图像数据中对应的各个像素点的权重值。
在一实施例中，所述根据所述权重矩阵对所述第一图像数据的各像素值进行增强处理，得到第二图像数据，包括：
将所述权重矩阵中各个像素点的权重值分别与各个像素点各自对应在所述第一图像数据中的像素值相乘，得到增强后各个像素点的像素值；
基于预设缩放公式，对增强后各个像素点的像素值分别进行缩放；
根据缩放后各个像素值对应的像素点构成所述第二图像数据。
在一实施例中，预设缩放公式包括：
Figure BDA0003257547840000131
其中，outputi,j表示第二图像数据中像素坐标为(i,j)的像素点的像素值，max(inputi,j)表示第一图像数据的像素值对目标模型精度影响的最大权重值，inputi,j表示第一图像数据中像素坐标为(i，j)的像素点的像素值，wi,j为第一图像数据中像素坐标为(i，j)的像素点的权重值。
本申请的实施例中还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序中包括程序指令，所述处理器执行所述程序指令，实现本申请图1实施例提供的基于数据增强的模型训练方法的步骤。
其中，所述计算机可读存储介质可以是前述实施例所述的计算机设备的内部存储单元，例如所述计算机设备的硬盘或内存。所述计算机可读存储介质也可以是所述计算机设备的外部存储设备，例如所述计算机设备上配备的插接式硬盘，智能存储卡(SmartMedia Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种基于数据增强的模型训练方法，其特征在于，所述方法包括：
对原始图像数据进行随机增强处理，得到第一图像数据；
对所述第一图像数据基于预设的二维特征网络进行分析，得到所述第一图像数据的热力图；
基于所述热力图，确定用于表示所述第一图像数据的像素值对目标模型的精度判断具有影响作用的权重矩阵；
根据所述权重矩阵对所述第一图像数据的各像素值进行增强处理，得到第二图像数据；
根据所述第二图像数据对所述目标模型进行训练，得到训练完成的模型。
2.根据权利要求1所述的基于数据增强的模型训练方法，其特征在于，所述对所述第一图像数据基于预设的二维特征网络进行分析，得到所述第一图像数据的热力图，包括：
将所述第一图像数据输入所述预设的二维特征网络，利用所述预设的二维特征网络对所述第一图像数据进行类激活，得到类激活图像；
将所述类激活图像输入目标模型进行渲染处理，得到所述第一图像数据的热力图。
3.根据权利要求2所述的基于数据增强的模型训练方法，其特征在于，所述预设的二维特征网络包括神经网络层和末尾卷积激活输出层；所述将所述第一图像数据输入所述预设的二维特征网络，利用所述预设的二维特征网络对所述第一图像数据进行类激活，得到类激活图像，包括：
将所述第一图像数据输入所述神经网络层进行处理，所述末尾卷积激活输出层根据所述神经网络层的决策分类过程，确定所述第一图像数据中各像素点对所述神经网络层决策分类的影响权重；
将所述第一图像数据中各像素点对所述神经网络层决策分类的影响权重和所述第一图像数据进行重叠，得到所述类激活图像。
4.根据权利要求1至3任一项所述的基于数据增强的模型训练方法，其特征在于，所述基于所述热力图，确定用于表示所述第一图像数据的像素值对目标模型的精度判断具有影响作用的权重矩阵，包括：
根据所述热力图中每个像素位置的热力值，计算所述第一图像数据中各个像素点的权重值；
根据所述第一图像数据中各个像素点的权重值，生成所述第一图像数据的像素值对目标模型精度判断具有影响作用的权重矩阵。
5.根据权利要求4所述的基于数据增强的模型训练方法，其特征在于，所述根据所述热力图中每个像素位置的热力值，计算所述第一图像数据中各个像素点的权重值，包括：
分别基于预设的归一化公式，对所述热力图中每个像素位置的热力值进行归一化处理，得到所述热力图中每个像素位置的归一化热力值；
以所述热力图中每个像素位置的归一化热力值，分别为所述第一图像数据中对应的各个像素点的权重值。
6.根据权利要求5所述的基于数据增强的模型训练方法，其特征在于，所述根据所述权重矩阵对所述第一图像数据的各像素值进行增强处理，得到第二图像数据，包括：
将所述权重矩阵中各个像素点的权重值分别与各个像素点各自对应在所述第一图像数据中的像素值相乘，得到增强后各个像素点的像素值；
基于预设缩放公式，对增强后各个像素点的像素值分别进行缩放；
根据缩放后各个像素值对应的像素点构成所述第二图像数据。
7.根据权利要求6所述的基于数据增强的模型训练方法，其特征在于，预设缩放公式包括：
Figure FDA0003257547830000021
其中，outputu,j表示第二图像数据中像素坐标为(i,j)的像素点的像素值，max(inputu,j)表示第一图像数据的像素值对目标模型精度影响的最大权重值，inputu,j表示第一图像数据中像素坐标为(i，j)的像素点的像素值，wu,j为第一图像数据中像素坐标为(i，j)的像素点的权重值。
8.一种基于数据增强的模型训练装置，其特征在于，包括：
第一处理模块，用于对原始图像数据进行随机增强处理，得到第一图像数据；
分析模块，用于对所述第一图像数据基于预设的二维特征网络进行分析，得到所述第一图像数据的热力图；
确定模块，用于基于所述热力图，确定用于表示所述第一图像数据的像素值对目标模型的精度判断具有影响作用的权重矩阵；
第二处理模块，用于根据所述权重矩阵对所述第一图像数据的各像素值进行增强处理，得到第二图像数据；
训练模块，用于根据所述第二图像数据对所述目标模型进行训练，得到训练完成的模型。
9.一种基于数据增强的模型训练设备，其特征在于，包括：
存储器和处理器；
所述存储器用于存储计算机程序；
所述处理器，用于执行所述计算机程序并在执行所述计算机程序时实现如权利要求1至7中任一项所述的基于数据增强的模型训练方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现如权利要求1至7中任一项所述的基于数据增强的模型训练方法的步骤。
CN202111064179.3A 2021-09-10 2021-09-10 基于数据增强的模型训练方法、装置、设备及存储介质 Active CN113780555B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111064179.3A CN113780555B (zh) 2021-09-10 2021-09-10 基于数据增强的模型训练方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111064179.3A CN113780555B (zh) 2021-09-10 2021-09-10 基于数据增强的模型训练方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN113780555A true CN113780555A (zh) 2021-12-10
CN113780555B CN113780555B (zh) 2024-05-10

Family

ID=78842795

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111064179.3A Active CN113780555B (zh) 2021-09-10 2021-09-10 基于数据增强的模型训练方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN113780555B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115657118A (zh) * 2022-09-01 2023-01-31 中国人民解放军63983部队 基于深度学习的声震信号数据识别方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010055410A (ja) * 2008-08-28 2010-03-11 Kyocera Corp 画像処理装置、画像処理方法、および画像処理プログラム
CN111145106A (zh) * 2019-12-06 2020-05-12 深圳市雄帝科技股份有限公司 一种图像增强方法、装置、介质及设备
CN112101490A (zh) * 2020-11-20 2020-12-18 支付宝(杭州)信息技术有限公司 热力图转换模型训练方法以及装置
CN112200737A (zh) * 2020-09-27 2021-01-08 北京达佳互联信息技术有限公司 一种基于强化学习的图像处理方法、装置及存储介质
CN112785582A (zh) * 2021-01-29 2021-05-11 北京百度网讯科技有限公司 热力图生成模型的训练方法、装置、电子设备和存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010055410A (ja) * 2008-08-28 2010-03-11 Kyocera Corp 画像処理装置、画像処理方法、および画像処理プログラム
CN111145106A (zh) * 2019-12-06 2020-05-12 深圳市雄帝科技股份有限公司 一种图像增强方法、装置、介质及设备
CN112200737A (zh) * 2020-09-27 2021-01-08 北京达佳互联信息技术有限公司 一种基于强化学习的图像处理方法、装置及存储介质
CN112101490A (zh) * 2020-11-20 2020-12-18 支付宝(杭州)信息技术有限公司 热力图转换模型训练方法以及装置
CN112785582A (zh) * 2021-01-29 2021-05-11 北京百度网讯科技有限公司 热力图生成模型的训练方法、装置、电子设备和存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115657118A (zh) * 2022-09-01 2023-01-31 中国人民解放军63983部队 基于深度学习的声震信号数据识别方法及系统
CN115657118B (zh) * 2022-09-01 2023-11-10 中国人民解放军63983部队 基于深度学习的声震信号数据识别方法及系统

Also Published As

Publication number Publication date
CN113780555B (zh) 2024-05-10

Similar Documents

Publication Publication Date Title
CN108351984B (zh) 硬件高效的深度卷积神经网络
CN109685819B (zh) 一种基于特征增强的三维医学图像分割方法
US9349076B1 (en) Template-based target object detection in an image
CN109671020B (zh) 图像处理方法、装置、电子设备和计算机存储介质
WO2022068623A1 (zh) 一种模型训练方法及相关设备
WO2022042123A1 (zh) 图像识别模型生成方法、装置、计算机设备和存储介质
CN110287775B (zh) 手掌图像裁剪方法、装置、计算机设备及存储介质
CN112288011B (zh) 一种基于自注意力深度神经网络的图像匹配方法
CN112613581A (zh) 一种图像识别方法、系统、计算机设备和存储介质
CN110610154A (zh) 行为识别方法、装置、计算机设备和存储介质
CN111274999B (zh) 数据处理、图像处理方法、装置及电子设备
KR102250728B1 (ko) 샘플 처리 방법, 장치, 기기 및 저장 매체
CN113408570A (zh) 一种基于模型蒸馏的图像类别识别方法、装置、存储介质及终端
CN115066687A (zh) 放射性数据生成
CN112085056A (zh) 目标检测模型生成方法、装置、设备及存储介质
CN113837942A (zh) 基于srgan的超分辨率图像生成方法、装置、设备及存储介质
RU2013134325A (ru) Устройство и способ распознавания жестов на основе анализа множества возможных границ раздела
CN111709415B (zh) 目标检测方法、装置、计算机设备和存储介质
CN112115937A (zh) 目标识别方法、装置、计算机设备和存储介质
CN111126254A (zh) 图像识别方法、装置、设备及存储介质
CN114120349A (zh) 基于深度学习的试卷识别方法及系统
CN113065593A (zh) 模型训练方法、装置、计算机设备和存储介质
CN114925320B (zh) 一种数据处理方法及相关装置
CN113780555B (zh) 基于数据增强的模型训练方法、装置、设备及存储介质
CN114049491A (zh) 指纹分割模型训练、指纹分割方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant