CN116310660B - 一种增强样本的生成方法及装置 - Google Patents

一种增强样本的生成方法及装置 Download PDF

Info

Publication number
CN116310660B
CN116310660B CN202310589045.6A CN202310589045A CN116310660B CN 116310660 B CN116310660 B CN 116310660B CN 202310589045 A CN202310589045 A CN 202310589045A CN 116310660 B CN116310660 B CN 116310660B
Authority
CN
China
Prior art keywords
noise
feature vector
image feature
original
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310589045.6A
Other languages
English (en)
Other versions
CN116310660A (zh
Inventor
吴亚军
暴宇健
汪骞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Xumi Yuntu Space Technology Co Ltd
Original Assignee
Shenzhen Xumi Yuntu Space Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Xumi Yuntu Space Technology Co Ltd filed Critical Shenzhen Xumi Yuntu Space Technology Co Ltd
Priority to CN202310589045.6A priority Critical patent/CN116310660B/zh
Publication of CN116310660A publication Critical patent/CN116310660A/zh
Application granted granted Critical
Publication of CN116310660B publication Critical patent/CN116310660B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/84—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using probabilistic graphical models from image or video features, e.g. Markov models or Bayesian networks
    • G06V10/85—Markov-related models; Markov random fields
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本公开涉及人工智能技术领域，提供了一种增强样本的生成方法、装置、计算机设备及计算机可读存储介质。该方法可以通过扩散模型来生成高质量的增强样本图像，从而可以提升增强样本图像的真实性和多样性，同时降低扩散模型的使用成本和算力消耗，进而可以提升利用原始样本图像和增强样本图像训练模型的训练效果和效率。

Description

一种增强样本的生成方法及装置
技术领域
本公开涉及人工智能技术领域，尤其涉及一种增强样本的生成方法及装置。
背景技术
在计算机视觉领域，图像数据增强技术是一种常用的方法，图像数据增强技术用于丰富训练数据集，提升模型的泛化能力。图像数据增强通常通过对原始图像进行一系列仿射变换来生成新的图像数据。现有的图像数据增强技术方案是基于随机变换的图像数据增强方法，这种方法由于随机变换并不能准确地再现真实世界中的图像变化，因此，这种方法的主要缺点是所生成的增强图像缺乏真实性，并不真实，且模式相对单一。此外，这种方法也不能有效地模拟真实世界中的视觉和环境变化，例如光线、视角等的变化等，导致所生成的图像数据模式单一，生成内容不够丰富。另外，如果采用经典扩散模型来生成新的图像数据，由于生成新的图像数据的扩散过程通常是在像素空间进行，导致图像增强过程算力消耗较大，数据增强过程很不经济，耗费较大的算力和时间。故此，亟需一种新的增强图像的生成方法。
发明内容
有鉴于此，本公开实施例提供了一种增强样本的生成方法、装置、计算机设备及计算机可读存储介质，以解决现有技术所生成的增强图像缺乏真实性，并不真实，且模式相对单一，也不能有效地模拟真实世界中的视觉和环境变化，导致所生成的图像数据模式单一，生成内容不够丰富，以及，图像增强过程算力消耗较大，数据增强过程很不经济，耗费较大的算力和时间的问题。
本公开实施例的第一方面，提供了一种增强样本的生成方法，所述方法包括：
获取原始样本图像；
将所述原始样本图像输入已训练的扩散模型中的编码器，得到所述原始样本图像的原始图像特征向量；
对所述原始样本图像的原始图像特征向量进行增加噪声处理，得到噪声图像特征向量；其中，所述对所述原始样本图像的原始图像特征向量进行增加噪声处理，得到噪声图像特征向量，包括：在所述原始样本图像的原始图像特征向量中添加预设噪声向量，得到所述原始样本图像对应的噪声图像特征向量，其中，所述预设噪声向量为根据马尔可夫过程所确定的；
将所述噪声图像特征向量输入所述扩散模型中的去噪模型，得到增强图像特征向量；
将所述增强图像特征向量输入所述扩散模型中的解码器，得到所述原始样本图像对应的增强样本图像。
本公开实施例的第二方面，提供了一种增强样本的生成装置，所述装置包括：
获取单元，用于获取原始样本图像；
编码单元，用于将所述原始样本图像输入已训练的扩散模型中的编码器，得到所述原始样本图像的原始图像特征向量；
增噪单元，用于对所述原始样本图像的原始图像特征向量进行增加噪声处理，得到噪声图像特征向量；其中，所述对所述原始样本图像的原始图像特征向量进行增加噪声处理，得到噪声图像特征向量，包括：在所述原始样本图像的原始图像特征向量中添加预设噪声向量，得到所述原始样本图像对应的噪声图像特征向量，其中，所述预设噪声向量为根据马尔可夫过程所确定的；
去噪单元，用于将所述噪声图像特征向量输入所述扩散模型中的去噪模型，得到增强图像特征向量；
解码单元，用于将所述增强图像特征向量输入所述扩散模型中的解码器，得到所述原始样本图像对应的增强样本图像。
本公开实施例的第三方面，提供了一种计算机设备，包括存储器、处理器以及存储在存储器中并且可以在处理器上运行的计算机程序，该处理器执行计算机程序时实现上述方法的步骤。
本公开实施例的第四方面，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述方法的步骤。
本公开实施例与现有技术相比存在的有益效果是：本公开实施例可以先获取原始样本图像；然后，可以将所述原始样本图像输入已训练的扩散模型中的编码器，得到所述原始样本图像的原始图像特征向量；接着，可以对所述原始样本图像的原始图像特征向量进行增加噪声处理，得到噪声图像特征向量，其中，所述对所述原始样本图像的原始图像特征向量进行增加噪声处理，得到噪声图像特征向量，包括：在所述原始样本图像的原始图像特征向量中添加预设噪声向量，得到所述原始样本图像对应的噪声图像特征向量，其中，所述预设噪声向量为根据马尔可夫过程所确定的；紧接着，可以将所述噪声图像特征向量输入所述扩散模型中的去噪模型，得到增强图像特征向量；最后，可以将所述增强图像特征向量输入所述扩散模型中的解码器，得到所述原始样本图像对应的增强样本图像。这样，在本实施例中，通过先对原始样本图像的原始图像特征向量增加噪声处理，接着，再利用扩散模型进行去噪声处理，可以使得所得到的增强样本图像可以符合原始样本图像中的原始数据分布（即和原始图片所包含信息更加一致），不会由于机械破坏的方式而丢失原始样本图像中的关键信息，这样，扩散模型所得到的原始样本图像对应的增强样本图像更加真实且多样化；另外，由于扩散模型对原始样本图像进行增强的过程是在图像特征向量（即低维度的隐层空间）的维度进行处理的，所以本实施例提供的方法对算力的需求较传统在像素空间的扩散模型远远更小，因此，本实施例所提供的方法能在低成本低算力的硬件上运行，进行图像增强的成本更低。可见，本实施例可以通过扩散模型来生成高质量的增强样本图像，从而可以提升增强样本图像的真实性和多样性，同时降低扩散模型的使用成本和算力消耗，进而可以提升利用原始样本图像和增强样本图像训练模型的训练效果和效率。
附图说明
为了更清楚地说明本公开实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1是本公开实施例的应用场景的场景示意图；
图2是本公开实施例提供的增强样本的生成方法的流程图；
图3是本公开实施例提供的增强样本的生成装置的框图；
图4是本公开实施例提供的计算机设备的示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本公开实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本公开。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本公开的描述。
下面将结合附图详细说明根据本公开实施例的一种增强样本的生成方法和装置。
在现有技术中，由于由于随机变换并不能准确地再现真实世界中的图像变化，因此，这种方法的主要缺点是所生成的增强图像缺乏真实性，并不真实，且模式相对单一。此外，这种方法也不能有效地模拟真实世界中的视觉和环境变化，例如光线、视角等的变化等，导致所生成的图像数据模式单一，生成内容不够丰富。另外，如果采用经典扩散模型来生成新的图像数据，由于生成新的图像数据的扩散过程通常是在像素空间进行，导致图像增强过程算力消耗较大，数据增强过程很不经济，耗费较大的算力和时间。故此，亟需一种新的增强图像的生成方法。
为了解决上述问题。本发明提供了一种增强样本的生成方法，在本方法中，由于本实施例可以通过先对原始样本图像的原始图像特征向量增加噪声处理，接着，再利用扩散模型进行去噪声处理，可以使得所得到的增强样本图像可以符合原始样本图像中的原始数据分布（即和原始图片所包含信息更加一致），不会由于机械破坏的方式而丢失原始样本图像中的关键信息，这样，扩散模型所得到的原始样本图像对应的增强样本图像更加真实且多样化；另外，由于扩散模型对原始样本图像进行增强的过程是在图像特征向量（即低维度的隐层空间）的维度进行处理的，所以本实施例提供的方法对算力的需求较传统在像素空间的扩散模型远远更小，因此，本实施例所提供的方法能在低成本低算力的硬件上运行，进行图像增强的成本更低。可见，本实施例可以通过扩散模型来生成高质量的增强样本图像，从而可以提升增强样本图像的真实性和多样性，同时降低扩散模型的使用成本和算力消耗，进而可以提升利用原始样本图像和增强样本图像训练模型的训练效果和效率。
举例说明，本发明实施例可以应用到如图1所示的应用场景。在该场景中，可以包括终端设备1和服务器2。
终端设备1可以是硬件，也可以是软件。当终端设备1为硬件时，其可以是具有显示屏且支持与服务器2通信的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等；当终端设备1为软件时，其可以安装在如上该的电子设备中。终端设备1可以实现为多个软件或软件模块，也可以实现为单个软件或软件模块，本公开实施例对此不作限制。进一步地，终端设备1上可以安装有各种应用，例如数据处理应用、即时通信工具、社交平台软件、搜索类应用、购物类应用等。
服务器2可以是提供各种服务的服务器，例如，对与其建立通信连接的终端设备发送的请求进行接收的后台服务器，该后台服务器可以对终端设备发送的请求进行接收和分析等处理，并生成处理结果。服务器2可以是一台服务器，也可以是由若干台服务器组成的服务器集群，或者还可以是一个云计算服务中心，本公开实施例对此不作限制。
需要说明的是，服务器2可以是硬件，也可以是软件。当服务器2为硬件时，其可以是为终端设备1提供各种服务的各种电子设备。当服务器2为软件时，其可以是为终端设备1提供各种服务的多个软件或软件模块，也可以是为终端设备1提供各种服务的单个软件或软件模块，本公开实施例对此不作限制。
终端设备1与服务器2可以通过网络进行通信连接。网络可以是采用同轴电缆、双绞线和光纤连接的有线网络，也可以是无需布线就能实现各种通信设备互联的无线网络，例如，蓝牙（Bluetooth）、近场通信（Near Field Communication，NFC）、红外（Infrared）等，本公开实施例对此不作限制。
具体地，用户可以通过终端设备1输入原始样本图像；终端设备1将原始样本图像向服务器2发送。服务器2存储有已训练的扩散模型；服务器2可以先将所述原始样本图像输入已训练的扩散模型中的编码器，得到所述原始样本图像的原始图像特征向量；然后，服务器2可以对所述原始样本图像的原始图像特征向量进行增加噪声处理，得到噪声图像特征向量，其中，所述对所述原始样本图像的原始图像特征向量进行增加噪声处理，得到噪声图像特征向量，包括：在所述原始样本图像的原始图像特征向量中添加预设噪声向量，得到所述原始样本图像对应的噪声图像特征向量，其中，所述预设噪声向量为根据马尔可夫过程所确定的；接着，服务器2可以将所述噪声图像特征向量输入所述扩散模型中的去噪模型，得到增强图像特征向量；紧接着，服务器2可以将所述增强图像特征向量输入所述扩散模型中的解码器，得到所述原始样本图像对应的增强样本图像。这样，由于本申请可以通过先对原始样本图像的原始图像特征向量增加噪声处理，接着，再利用扩散模型进行去噪声处理，可以使得所得到的增强样本图像可以符合原始样本图像中的原始数据分布（即和原始图片所包含信息更加一致），不会由于机械破坏的方式而丢失原始样本图像中的关键信息，这样，扩散模型所得到的原始样本图像对应的增强样本图像更加真实且多样化；另外，由于扩散模型对原始样本图像进行增强的过程是在图像特征向量（即低维度的隐层空间）的维度进行处理的，所以本实施例提供的方法对算力的需求较传统在像素空间的扩散模型远远更小，因此，本实施例所提供的方法能在低成本低算力的硬件上运行，进行图像增强的成本更低。可见，本实施例可以通过扩散模型来生成高质量的增强样本图像，从而可以提升增强样本图像的真实性和多样性，同时降低扩散模型的使用成本和算力消耗，进而可以提升利用原始样本图像和增强样本图像训练模型的训练效果和效率。
需要说明的是，终端设备1和服务器2以及网络的具体类型、数量和组合可以根据应用场景的实际需求进行调整，本公开实施例对此不作限制。
需要注意的是，上述应用场景仅是为了便于理解本公开而示出，本公开的实施方式在此方面不受任何限制。相反，本公开的实施方式可以应用于适用的任何场景。
图2是本公开实施例提供的一种增强样本的生成方法的流程图。图2的一种增强样本的生成方法可以由图1的终端设备或服务器执行。如图2所示，该增强样本的生成方法包括：
S201：获取原始样本图像。
在本实施例中，原始样本图像可以理解为需要进行数据增强的图像或视频帧。例如，原始样本图像可以为未经过任何图像处理的原始图像文件。作为一种示例，终端设备可以提供一个页面，用户可以通过该页面上传一图像，并点击预设按键，以触发对该图像进行增强样本的生成处理，此时，便可以将该图像作为原始样本图像。
S202：将所述原始样本图像输入已训练的扩散模型中的编码器，得到所述原始样本图像的原始图像特征向量。
在本实施例中，扩散模型可以将数据分布建模为一个马尔可夫链X0...XT,X0式的数据的原始分布（大写X代表数据分布），xt被近似认为是一个高斯分布。任意时刻的数据分布xt由上一时刻的xt-1叠加高斯噪声得到。扩散模型可以学习从xt开始将xt恢复为xt-1，直至x0，从而实现将一个随机高斯噪声转化为符合原始数据分布的样本。也就是说，扩散模型可以理解数据的分布，给定一个随机高斯噪声，扩散模型就能将其转化为符合原始数据分布的样本。
在一些实施例中，扩散模型中可以包括变分自编码器，所述变分自编码器包括所述编码器和所述解码器。也就是说，编码器和解码器可以构成一个变分自编码器VAE结构。
其中，所述编码器可以包括若干卷积层、若干高维度的残差网络（即高维度的ResNet）、若干下采样层和若干低维度的残差网络（即低维度的ResNet）或者transformer。具体地，所述编码器中各个层的连接方式为：若干卷积层相串联，且最后一个卷积层的输出端与若干串联的高维度的残差网络中的第一个残差网络的输入端相连，若干串联的高维度的残差网络中的最后一个残差网络的输出端与若干串联的下采样层中的第一个下采样层的输入端相连接，若干串联的下采样层中的最后一个下采样层的输出端与若干串联的低维度的残差网络中的第一个残差网络的输入端相连接，若干串联的低维度的残差网络中的最后一个残差网络的输出端与若干串联的卷积层的第一个卷积层的输入端相连接，且该若干串联的卷积层的最后一个卷积层的输出为原始样本图像的原始图像特征向量。也就是说，在本实施例中，将所述原始样本图像输入已训练的扩散模型中的编码器，得到所述原始样本图像的原始图像特征向量。原始样本图像的原始图像特征向量可以理解为能够反映原始样本图像中的图像内容的特征向量，例如原始样本图像中的纹理特征、边缘特征、颜色特征、形状特征、空间特征等特征信息。在一种实现方式中，原始样本图像的原始图像特征向量可以为低维的图像隐层表示向量（即低维度的隐层空间中的向量表征）。
需要说明的是，在一种实现方式中，原始样本图像可以为一个灰度图像，原始样本图像的形状为2N*2D维；首先该原始样本图像输入编码器，可以获得一个低维向量的原始图像特征向量，假设原始图像特征向量为N*D维，该原始图像特征向量为代表原始样本图像的隐层向量而并非原始样本图像。
S203：对所述原始样本图像的原始图像特征向量进行增加噪声处理，得到噪声图像特征向量。
在得到原始样本图像的原始图像特征向量后，可以在原始图像特征向量中添加预设噪声向量，得到原始样本图像对应的噪声图像特征向量，其中，所述预设噪声向量为根据马尔可夫过程所确定的。例如，在一种实现方式中，扩散模型中可以包括DiffusionProcess模块，Diffusion Process模块可以向原始样本图像的原始图像特征向量x0中添加T次预设噪声向量，得到噪声图像特征向量x1，...，xt；这个添加预设噪声向量的过程是一个马尔可夫过程，可以用下公式描述：
；
其中， q（xt|xt-1）为一个N*D维的条件高斯分布，其中，原始样本图像对应的噪声图像特征向量的形状为2Nx2D维；代表多维正态分布；xt为第t个噪声图像特征向量；xt-1为第t-1个噪声图像特征向量；βt是一个常数，用于控制噪声的大小，其取值范围在0~1之间；I为一个单位矩阵，元素都是1。上式代表了从xt-1向xt的转变，具体到一条原始图像特征向量xt-1添加噪声得到噪声图像特征向量xt的方式可以通过下述公式得到：
；
其中，为从标准高斯分布中采样的预设噪声向量，该预设噪声向量的形状与噪声图像特征向量xt的形状相同。
需要说明的是，当T足够大时，xt几乎所有信息都被噪声掩盖，可以被视为一个各向同性的高斯噪声，也即实现了将一个原始样本图像的原始图像特征向量转化为一个只含高斯噪声的噪声图像特征向量。这样，便把原始样本图像逐渐破坏成接近噪声的图像。
也就是说，Diffusion Process模块可以基于马尔可夫过程向原始样本图像的原始图像特征向量x0中依次添加T次预设噪声向量，得到T个噪声图像特征向量x0，...，xt。可以理解的，可以先对原始样本图像的原始图像特征向量x0中添加1次预设噪声向量，得到噪声图像特征向量x1；然后，对原始样本图像的原始图像特征向量x0中添加2次预设噪声向量，得到噪声图像特征向量x2；接着，对原始样本图像的原始图像特征向量x0中添加3次预设噪声向量，得到噪声图像特征向量x3；依次类推，直至对原始样本图像的原始图像特征向量x0中添加T次预设噪声向量，得到噪声图像特征向量xt。其中，噪声图像特征向量x1，...，xt的添加预设噪声向量的过程符合一个马尔可夫过程。
S204：将所述噪声图像特征向量输入所述扩散模型中的去噪模型，得到增强图像特征向量。
在本实施例中，获取到原始样本图像的噪声图像特征向量后，可以将原始样本图像的噪声图像特征向量输入扩散模型中的去噪模型，得到原始样本图像的增强图像特征向量。需要说明的是，增强图像特征向量可以理解为增强后的与原始图像特征向量属于同一类型的图像特征向量，且增强样本图像符合原始样本图像中的原始数据分布。其中，噪声图像特征向量对应的形状与增强图像特征向量对应的形状是相同的。这样，在本实施例中，在对原始样本图像的原始图像特征向量增加噪声处理后，可以利用扩散模型中的去噪模型进行去噪声处理，可以使得所得到的增强样本图像可以符合原始样本图像中的原始数据分布（即和原始图片所包含信息更加一致），不会由于机械破坏的方式而丢失原始样本图像中的关键信息。
在一些实施例中，去噪模型可以包括多个卷积层和多个逆卷积层；其中，多个卷积层可以为串联，多个逆卷积层也可以为串联，且多个卷积层的最后一个卷积层的输出端与多个逆卷积层的第一个逆卷积层的输入端连接。在一种实现方式中，去噪模型可以为一个U-net神经网络结构，U-net神经网络结构由多个卷积层和逆卷积层组成，U-Net的输入、输出的形状完全相同，U-Net可以用于预测每一步叠加的噪声，从而可以逐步去除噪声。在一种实现方式中，去噪模型中的多个卷积层和多个逆卷积层均为线性映射层；每一个线性映射层均可以先提取噪声图像特征向量中的Q向量、K向量和V向量，其中，Q向量、K向量和V向量分别代表噪声图像特征向量对应的原始文本向量（即原始样本图像的原始文本向量）的query值、key值和value值；接着，线性映射层可以根据噪声图像特征向量中的Q向量、K向量和V向量，对噪声图像特征向量进行一次去噪处理，得到去噪后的噪声图像特征向量。在经历去噪模型中的多个卷积层和多个逆卷积层的去噪处理后，可以得到噪声图像特征向量对应的增强图像特征向量。
去噪模型中的噪声图像特征向量的去噪过程可以视为一个马尔可夫过程。在本实施例中，可以用下公式去除噪声图像特征向量xt中的噪声，直至t=0；，/>，/>；其中，xt-1是去除噪声后的图像特征向量；xt为噪声图像特征向量；βt是一个常数，用于控制噪声的大小，其取值范围在0~1之间；z是从标准高斯分布中采样的随机噪声；θ代表去噪模型的模型参数；t代表去噪处理的次数；/>代表加噪过程中第t次加噪过程的噪声方差。需要说明的是，当去除到t=0时，就得到了增强图像特征向量x0。
S205：将所述增强图像特征向量输入所述扩散模型中的解码器，得到所述原始样本图像对应的增强样本图像。
在得到增强图像特征向量后，可以将所述增强图像特征向量输入所述扩散模型中的解码器，得到所述原始样本图像对应的增强样本图像。可以理解的是，增强图像特征向量经过解码器转换得到原始样本图像对应的增强样本图像，例如原始样本图像x0为一张猫的图像，则最后经隐层编码加噪-去除噪声（即经历过S202-S205的处理）后，解码得到的也是一张类似的猫的图像，即原始样本图像与增强样本图像相似，但是不是完全相同。
其中，所述解码器包括若干反卷积层、若干低维度的残差网络（即低维度的ResNet）或者transforme、若干上采样层和若干高维度的残差网络。具体地，所述解码器中各个层的连接方式为：若干反卷积层相串联，且最后一个反卷积层的输出端与若干串联的低维度的残差网络中的第一个残差网络的输入端相连，若干串联的低维度的残差网络中的最后一个残差网络的输出端与若干串联的上采样层中的第一个若干上采样层的输入端相连接，若干串联的上采样层中的最后一个上采样层的输出端与若干串联的低维度的残差网络中的第一个残差网络的输入端相连接，若干串联的低维度的残差网络中的最后一个残差网络的输出端与若干串联的反卷积层的第一个反卷积层的输入端相连接，且该若干串联的反卷积层的最后一个反卷积层的输出为原始样本图像对应的增强样本图像。
本公开实施例的有益效果是：本公开实施例可以先获取原始样本图像；然后，可以将所述原始样本图像输入已训练的扩散模型中的编码器，得到所述原始样本图像的原始图像特征向量；接着，可以对所述原始样本图像的原始图像特征向量进行增加噪声处理，得到噪声图像特征向量，其中，所述对所述原始样本图像的原始图像特征向量进行增加噪声处理，得到噪声图像特征向量，包括：在所述原始样本图像的原始图像特征向量中添加预设噪声向量，得到所述原始样本图像对应的噪声图像特征向量，其中，所述预设噪声向量为根据马尔可夫过程所确定的；紧接着，可以将所述噪声图像特征向量输入所述扩散模型中的去噪模型，得到增强图像特征向量；最后，可以将所述增强图像特征向量输入所述扩散模型中的解码器，得到所述原始样本图像对应的增强样本图像。这样，在本实施例中，通过先对原始样本图像的原始图像特征向量增加噪声处理，接着，再利用扩散模型进行去噪声处理，可以使得所得到的增强样本图像可以符合原始样本图像中的原始数据分布（即和原始图片所包含信息更加一致），不会由于机械破坏的方式而丢失原始样本图像中的关键信息，这样，扩散模型所得到的原始样本图像对应的增强样本图像更加真实且多样化；另外，由于扩散模型对原始样本图像进行增强的过程是在图像特征向量（即低维度的隐层空间）的维度进行处理的，所以本实施例提供的方法对算力的需求较传统在像素空间的扩散模型远远更小，因此，本实施例所提供的方法能在低成本低算力的硬件上运行，进行图像增强的成本更低。可见，本实施例可以通过扩散模型来生成高质量的增强样本图像，从而可以提升增强样本图像的真实性和多样性，同时降低扩散模型的使用成本和算力消耗，进而可以提升利用原始样本图像和增强样本图像训练模型的训练效果和效率。也就是说，本实施例通过使用扩散模型来生成新的图像数据，从而更加真实地再现真实世界中的图像多样性。通过调整扩散模型的参数，可以控制生成的图像的多样性，从而获得更为丰富的训练数据。由于扩散模型生成图像数据具有多样性和真实性，可以用于训练各种计算机视觉模型，比机械的图像随机变换方法生成图像对提升模型的泛化能力有更佳的提升效果。由于该扩散过程在低维度的隐层空间中加噪和去噪，所以对算力需求较传统在像素空间的扩散模型远远更小，所以能在低成本低算力的硬件上运行，进行增强的成本更低廉。
需要强调的是，本实施例的扩散模型中，编码器的输出端与去噪模型的输入端连接，去噪模型的输出端与解码器的输入端连接。若扩散模型中包括变分自编码器，所述变分自编码器包括所述编码器和所述解码器，则变分自编码器的输出端与去噪模型的输入端连接，去噪模型的输出端与变分自编码器的输入端连接。
接下来，将介绍本实施例中扩散模型的训练方式。所述扩散模型的训练方式包括以下步骤：
步骤a：利用原始训练图像对所述扩散模型中的编码器和解码器进行训练，得到调整后的编码器和解码器的网络参数。
在本实施例中，可以先对所述扩散模型中的编码器和解码器进行训练。作为一种示例，可以先将所述原始训练图像输入所述扩散模型中的编码器，得到所述原始训练图像的原始图像特征向量。原始训练图像可以理解为需要进行数据增强的图像或视频帧。原始训练图像的原始图像特征向量可以理解为能够反映原始训练图像中的图像内容的特征向量，例如原始训练图像中的纹理特征、边缘特征、颜色特征、形状特征、空间特征等特征信息。在一种实现方式中，原始训练图像的原始图像特征向量可以为低维的图像隐层表示向量（即低维度的隐层空间中的向量表征）。然后，可以将所述原始训练图像的原始图像特征向量输入所述扩散模型中的解码器，得到测试样本图像；测试样本图像可以理解为解码器根据原始训练图像的原始图像特征向量所恢复的图像。也就是说，用事先选定好的图像经过编码器编码后，得到隐层向量（即原始图像特征向量），隐层向量再经过解码器重新构建成图像（即测试样本图像）。
接着，可以根据所述原始训练图像和所述测试样本图像，确定第一损失函数值。紧接着，可以根据所述第一损失函数值，对所述编码器和所述解码器的网络参数进行调整，得到调整后的编码器和解码器的网络参数。在一种实现方式中，第一损失函数值可以为MSE(均方误差)损失函数值。也就是说，可以根据所述原始训练图像和所述测试样本图像，确定MSE(均方误差)损失函数值，该MSE(均方误差)损失函数值用于进行编码器和解码器的神经网络参数优化，即根据第一损失函数值（即MSE损失函数值），对所述编码器和所述解码器的网络参数进行调整，得到调整后的编码器和解码器的网络参数。
步骤b：固定所述调整后的编码器和解码器的网络参数，利用原始训练图像对所述去噪模型进行训练，得到调整后的去噪模型。
在编码器和解码器训练完成后，可以对去噪模型进行训练。具体地，可以先固定所述调整后的编码器和解码器的网络参数。也就是说，在对去噪模型进行训练的过程中，调整后的编码器和解码器的网络参数固定不变。然后，可以将原始训练图像输入所述调整后的编码器，得到所述原始训练图像对应的原始图像特征向量。需要说明的是，在一种实现方式中，原始训练图像可以为一个灰度图像，原始训练图像的形状为2Nx2D维；首先该图原始训练图像经过前一步训练的编码器，获得一个低维向量的原始图像特征向量，假设原始图像特征向量为NxD维，该原始图像特征向量为代表原始训练图像的隐层向量而并非原始训练图像。
接着，对所述原始训练图像的原始图像特征向量增加预设噪声向量（即预设的噪声向量），得到所述原始训练图像对应的噪声图像特征向量；可以理解的是，可以在前向过程中，对所述原始训练图像的原始图像特征向量增加预设噪声向量（即预设的预设噪声向量），得到所述原始训练图像对应的噪声图像特征向量。其中，预设噪声向量可以为根据马尔可夫过程所确定的。例如，在一种实现方式中，扩散模型中可以包括Diffusion Process模块，Diffusion Process模块可以向原始训练图像的原始图像特征向量x0中添加T次预设噪声向量，得到噪声图像特征向量x1，...，xt；这个添加预设噪声向量的过程是一个马尔可夫过程，可以用下公式描述：
；其中， q（xt|xt-1）为一个N*D维的条件高斯分布，其中，原始训练图像对应的噪声图像特征向量的形状为2Nx2D维；/>代表多维正态分布；xt为第t个噪声图像特征向量；xt-1为第t-1个噪声图像特征向量；βt是一个常数，用于控制噪声的大小，其取值范围在0~1之间；I为一个单位矩阵，元素都是1。上式代表了从xt-1向xt的转变，具体到一条原始图像特征向量xt-1添加预设噪声向量得到噪声图像特征向量xt的方式可以通过下述公式得到：
；
其中，为从标准高斯分布中采样的预设噪声向量，该预设噪声向量的形状与噪声图像特征向量xt的形状相同。
需要说明的是，当T足够大时，xt几乎所有信息都被噪声掩盖，可以被视为一个各向同性的高斯噪声，也即实现了将一个原始训练图像的原始图像特征向量转化为一个只含高斯噪声的噪声图像特征向量。这样，便把原始训练图像逐渐破坏成接近噪声的图像。
也就是说，Diffusion Process模块可以基于马尔可夫过程向原始训练图像的原始图像特征向量x0中依次添加T次预设噪声向量，得到T个原始训练图像的噪声图像特征向量x0，...，xt。可以理解的，可以先对原始训练图像的原始图像特征向量x0中添加1次预设噪声向量，得到原始训练图像的噪声图像特征向量x1；然后，对原始训练图像的原始图像特征向量x0中添加2次预设噪声向量，得到原始训练图像的噪声图像特征向量x2；接着，对原始训练图像的原始图像特征向量x0中添加3次预设噪声向量，得到原始训练图像的噪声图像特征向量x3；依次类推，直至对原始训练图像的原始图像特征向量x0中添加T次预设噪声向量，得到原始训练图像的噪声图像特征向量xt。其中，噪声图像特征向量x1，...，xt的添加预设噪声向量的过程符合一个马尔可夫过程。
紧接着，可以将所述原始训练图像对应的噪声图像特征向量输入所述去噪模型，利用所述去噪模型对所述噪声图像特征向量进行去噪处理，得到去噪图像特征向量。可以理解的是，反向过程与前向过程正好相反，反向过程是一个去噪过程。反向过程通过去噪模型完成，与前向过程正好相反，反向过程是一个去噪过程，可以将噪声图像特征向量xt开始逐渐去除噪声，直至获得原始训练图像x0的去噪图像特征向量。反向过程也被视为一个马尔可夫过程。具体地，在一些实施例中，去噪模型可以包括多个卷积层和多个逆卷积层；其中，多个卷积层可以为串联，多个逆卷积层也可以为串联，且多个卷积层的最后一个卷积层的输出端与多个逆卷积层的第一个逆卷积层的输入端连接。在一种实现方式中，去噪模型可以为一个U-net神经网络结构，U-net神经网络结构由多个卷积层和逆卷积层组成，U-Net的输入、输出的形状完全相同，U-Net可以用于预测每一步叠加的噪声，从而可以逐步去除噪声。在一种实现方式中，去噪模型中的多个卷积层和多个逆卷积层均为线性映射层；每一个线性映射层均可以先提取原始训练图像的噪声图像特征向量中的Q向量、K向量和V向量，其中，Q向量、K向量和V向量分别代表噪声图像特征向量对应的原始文本向量（即原始训练图像的原始文本向量）的query值、key值和value值；接着，线性映射层可以根据噪声图像特征向量中的Q向量、K向量和V向量，对噪声图像特征向量进行一次去噪处理，得到原始训练图像对应的去噪后的噪声图像特征向量。在经历去噪模型中的多个卷积层和多个逆卷积层的去噪处理后，可以得到原始训练图像的噪声图像特征向量对应的增强图像特征向量。
去噪模型中的噪声图像特征向量的去噪过程可以视为一个马尔可夫过程。在本实施例中，可以用下公式去除噪声图像特征向量xt中的噪声，直至t=0；，/>，/>；其中，xt-1是去除噪声后的图像特征向量；xt为噪声图像特征向量；βt是一个常数，用于控制噪声的大小，其取值范围在0~1之间；z是从标准高斯分布中采样的随机噪声；θ代表去噪模型的模型参数；t代表去噪处理的次数；/>代表加噪过程中第t次加噪过程的噪声方差。需要说明的是，当去除到t=0时，就得到了增强图像特征向量x0。
接下来，可以根据所述去噪图像特征向量和原始训练图像对应的噪声图像特征向量，确定预测噪声；可以理解的是，预测噪声为去噪模型所预测到的在原始训练图像的原始图像特征向量中所增加的噪声。例如，可以将去噪图像特征向量和原始训练图像对应的噪声图像特征向量之间的差值，作为去噪模型所预测的预测噪声。
在确定去噪模型所预测的预测噪声后，可以根据所述预设噪声向量和所述预测噪声，确定第二损失函数值；以及，可以根据所述第二损失函数值，对所述去噪模型的网络参数进行调整，得到调整后的去噪模型。在一种实现方式中，第二损失函数值可以为MSE(均方误差)损失函数值。也就是说，可以根据所述预设噪声向量和所述预测噪声，确定MSE(均方误差)损失函数值，该MSE(均方误差)损失函数值用于对去噪模型的网络参数进行优化，即根据第二损失函数值（即MSE损失函数值），对去噪模型的网络参数进行调整，得到调整后的去噪模型的网络参数。
步骤c：将调整后的编码器、解码器和去噪模型作为已训练的扩散模型。
在确定调整后的编码器、解码器和去噪模型的网络参数后，便可以将调整后的编码器、解码器和去噪模型作为已训练的扩散模型。
上述所有可选技术方案，可以采用任意结合形成本公开的可选实施例，在此不再一一赘述。
下述为本公开装置实施例，可以用于执行本公开方法实施例。对于本公开装置实施例中未披露的细节，请参照本公开方法实施例。
图3是本公开实施例提供的增强样本的生成装置的示意图。如图3所示，该增强样本的生成装置包括：
获取单元301，用于获取原始样本图像；
编码单元302，用于将所述原始样本图像输入已训练的扩散模型中的编码器，得到所述原始样本图像的原始图像特征向量；
增噪单元303，用于对所述原始样本图像的原始图像特征向量进行增加噪声处理，得到噪声图像特征向量；
去噪单元304，用于将所述噪声图像特征向量输入所述扩散模型中的去噪模型，得到增强图像特征向量；
解码单元305，用于将所述增强图像特征向量输入所述扩散模型中的解码器，得到所述原始样本图像对应的增强样本图像。
可选的，所述扩散模型中包括变分自编码器，所述变分自编码器包括所述编码器和所述解码器；
所述编码器包括若干卷积层、若干高维度的残差网络、若干下采样层和若干低维度的残差网络；
所述解码器包括若干反卷积层、若干低维度的残差网络、若干上采样层和若干高维度的残差网络。
可选的，所述噪声图像特征向量对应的形状与所述增强图像特征向量对应的形状是相同的；所述去噪模型包括多个卷积层和多个逆卷积层。
可选的，所述装置还包括训练单元，用于：
利用原始训练图像对所述扩散模型中的编码器和解码器进行训练，得到调整后的编码器和解码器的网络参数；
固定所述调整后的编码器和解码器的网络参数，利用原始训练图像对所述去噪模型进行训练，得到调整后的去噪模型；
将调整后的编码器、解码器和去噪模型作为已训练的扩散模型。
可选的，所述装置具体用于：
将所述原始训练图像输入所述扩散模型中的编码器，得到所述原始训练图像的原始图像特征向量；
将所述原始训练图像的原始图像特征向量输入所述扩散模型中的解码器，得到测试样本图像；
根据所述原始训练图像和所述测试样本图像，确定第一损失函数值；
根据所述第一损失函数值，对所述编码器和所述解码器的网络参数进行调整，得到调整后的编码器和解码器的网络参数。
可选的，所述装置具体用于：
固定所述调整后的编码器和解码器的网络参数；
将原始训练图像输入所述调整后的编码器，得到所述原始训练图像对应的原始图像特征向量；
对所述原始训练图像的原始图像特征向量增加预设噪声向量，得到所述原始训练图像对应的噪声图像特征向量；
将所述原始训练图像对应的噪声图像特征向量输入所述去噪模型，利用所述去噪模型对所述噪声图像特征向量进行去噪处理，得到去噪图像特征向量；
根据所述去噪图像特征向量和所述原始训练图像对应的噪声图像特征向量，确定预测噪声；
根据所述预设噪声向量和所述预测噪声，确定第二损失函数值；
根据所述第二损失函数值，对所述去噪模型的网络参数进行调整，得到调整后的去噪模型。
可选的，所述装置具体用于：
所述预设噪声向量为根据马尔可夫过程所确定的。
本公开实施例与现有技术相比存在的有益效果是：本公开实施例提供了一种增强样本的生成装置，所述装置包括：获取单元，用于获取原始样本图像；编码单元，用于将所述原始样本图像输入已训练的扩散模型中的编码器，得到所述原始样本图像的原始图像特征向量；增噪单元，用于对所述原始样本图像的原始图像特征向量进行增加噪声处理，得到噪声图像特征向量，其中，所述对所述原始样本图像的原始图像特征向量进行增加噪声处理，得到噪声图像特征向量，包括：在所述原始样本图像的原始图像特征向量中添加预设噪声向量，得到所述原始样本图像对应的噪声图像特征向量，其中，所述预设噪声向量为根据马尔可夫过程所确定的；去噪单元，用于将所述噪声图像特征向量输入所述扩散模型中的去噪模型，得到增强图像特征向量；解码单元，用于将所述增强图像特征向量输入所述扩散模型中的解码器，得到所述原始样本图像对应的增强样本图像。这样，在本实施例中，通过先对原始样本图像的原始图像特征向量增加噪声处理，接着，再利用扩散模型进行去噪声处理，可以使得所得到的增强样本图像可以符合原始样本图像中的原始数据分布（即和原始图片所包含信息更加一致），不会由于机械破坏的方式而丢失原始样本图像中的关键信息，这样，扩散模型所得到的原始样本图像对应的增强样本图像更加真实且多样化；另外，由于扩散模型对原始样本图像进行增强的过程是在图像特征向量（即低维度的隐层空间）的维度进行处理的，所以本实施例提供的方法对算力的需求较传统在像素空间的扩散模型远远更小，因此，本实施例所提供的方法能在低成本低算力的硬件上运行，进行图像增强的成本更低。可见，本实施例可以通过扩散模型来生成高质量的增强样本图像，从而可以提升增强样本图像的真实性和多样性，同时降低扩散模型的使用成本和算力消耗，进而可以提升利用原始样本图像和增强样本图像训练模型的训练效果和效率。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本公开实施例的实施过程构成任何限定。
图4是本公开实施例提供的计算机设备4的示意图。如图4所示，该实施例的计算机设备4包括：处理器401、存储器402以及存储在该存储器402中并且可以在处理器401上运行的计算机程序403。处理器401执行计算机程序403时实现上述各个方法实施例中的步骤。或者，处理器401执行计算机程序403时实现上述各装置实施例中各模块/模块的功能。
示例性地，计算机程序403可以被分割成一个或多个模块/模块，一个或多个模块/模块被存储在存储器402中，并由处理器401执行，以完成本公开。一个或多个模块/模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序403在计算机设备4中的执行过程。
计算机设备4可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算机设备。计算机设备4可以包括但不仅限于处理器401和存储器402。本领域技术人员可以理解，图4仅仅是计算机设备4的示例，并不构成对计算机设备4的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如，计算机设备还可以包括输入输出设备、网络接入设备、总线等。
处理器401可以是中央处理模块（Central Processing Unit，CPU），也可以是其它通用处理器、数字信号处理器（Digital Signal Processor，DSP）、专用集成电路（Application SpecificIntegrated Circuit，ASIC）、现场可编程门阵列（Field-Programmable Gate Array，FPGA）或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器402可以是计算机设备4的内部存储模块，例如，计算机设备4的硬盘或内存。存储器402也可以是计算机设备4的外部存储设备，例如，计算机设备4上配备的插接式硬盘，智能存储卡（Smart Media Card，SMC），安全数字（Secure Digital，SD）卡，闪存卡（Flash Card）等。进一步地，存储器402还可以既包括计算机设备4的内部存储模块也包括外部存储设备。存储器402用于存储计算机程序以及计算机设备所需的其它程序和数据。存储器402还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能模块、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块、模块完成，即将装置的内部结构划分成不同的功能模块或模块，以完成以上描述的全部或者部分功能。实施例中的各功能模块、模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中，上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。另外，各功能模块、模块的具体名称也只是为了便于相互区分，并不用于限制本公开的保护范围。上述系统中模块、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的模块及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本公开的范围。
在本公开所提供的实施例中，应该理解到，所揭露的装置/计算机设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/计算机设备实施例仅仅是示意性的，例如，模块或模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或模块的间接耦合或通讯连接，可以是电性，机械或其它的形式。
作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本公开各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
集成的模块/模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本公开实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，计算机程序可以存储在计算机可读存储介质中，该计算机程序在被处理器执行时，可以实现上述各个方法实施例的步骤。计算机程序可以包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（Read-Only Memory，ROM）、随机存取存储器（Random Access Memory，RAM）、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如，在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
以上实施例仅用以说明本公开的技术方案，而非对其限制；尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本公开各实施例技术方案的精神和范围，均应包含在本公开的保护范围之内。

Claims (4)

1.一种增强图像样本的生成方法，其特征在于，所述方法包括：
获取原始样本图像；
将所述原始样本图像输入已训练的扩散模型中的编码器，得到所述原始样本图像的原始图像特征向量；
对所述原始样本图像的原始图像特征向量进行增加噪声处理，得到噪声图像特征向量；其中，所述对所述原始样本图像的原始图像特征向量进行增加噪声处理，得到噪声图像特征向量，包括：在所述原始样本图像的原始图像特征向量中添加预设噪声向量，得到所述原始样本图像对应的噪声图像特征向量，其中，所述预设噪声向量为根据马尔可夫过程所确定的；具体的：向原始样本图像的原始图像特征向量x0中添加T次预设噪声向量，得到噪声图像特征向量x1，...，xt；添加预设噪声向量的过程是一个马尔可夫过程，用下述公式描述：
；
其中，q（xt|xt-1）为一个N*D维的条件高斯分布，其中，原始样本图像对应的噪声图像特征向量的形状为2Nx2D维；代表多维正态分布；xt为第t个噪声图像特征向量；xt-1为第t-1个噪声图像特征向量；βt是一个常数，用于控制噪声的大小，其取值范围在0~1之间；I为一个单位矩阵，元素都是1，对一条原始图像特征向量xt-1添加噪声得到噪声图像特征向量xt的方式通过下述公式得到：
其中，为从标准高斯分布中采样的预设噪声向量，该预设噪声向量的形状与噪声图像特征向量xt的形状相同；
将所述噪声图像特征向量输入所述扩散模型中的去噪模型，得到增强图像特征向量；所述噪声图像特征向量对应的形状与所述增强图像特征向量对应的形状是相同的；所述去噪模型中的噪声图像特征向量的去噪过程为一个马尔可夫过程，用以下公式去除噪声图像特征向量xt中的噪声：
，/>，/>；其中，xt-1是去除噪声后的图像特征向量；xt为噪声图像特征向量；βt是一个常数，用于控制噪声的大小，其取值范围在0~1之间；z是从标准高斯分布中采样的随机噪声；θ代表所述去噪模型的模型参数；t代表去噪处理的次数；/>代表加噪过程中第t次加噪过程的噪声方差，当去除到t=0时，就得到了增强图像特征向量x0；
将所述增强图像特征向量输入所述扩散模型中的解码器，得到所述原始样本图像对应的增强样本图像；
所述扩散模型中包括变分自编码器，所述变分自编码器包括所述编码器和所述解码器；
所述编码器包括若干卷积层、若干高维度的残差网络、若干下采样层和若干低维度的残差网络；所述编码器中各个层的连接方式为：若干卷积层相串联，且最后一个卷积层的输出端与若干串联的高维度的残差网络中的第一个残差网络的输入端相连，若干串联的高维度的残差网络中的最后一个残差网络的输出端与若干串联的下采样层中的第一个下采样层的输入端相连接，若干串联的下采样层中的最后一个下采样层的输出端与若干串联的低维度的残差网络中的第一个残差网络的输入端相连接，若干串联的低维度的残差网络中的最后一个残差网络的输出端与若干串联的卷积层的第一个卷积层的输入端相连接，且该若干串联的卷积层的最后一个卷积层的输出为原始样本图像的原始图像特征向量；所述原始图像特征向量为低维的图像隐层表示向量，其中所述原始样本图像为一个灰度图像，原始样本图像的形状为2N*2D维，将所述原始样本图像输入编码器，获得一个低维向量的原始图像特征向量为N*D维；
所述解码器包括若干反卷积层、若干低维度的残差网络、若干上采样层和若干高维度的残差网络；所述解码器中各个层的连接方式为：若干反卷积层相串联，且最后一个反卷积层的输出端与若干串联的低维度的残差网络中的第一个残差网络的输入端相连，若干串联的低维度的残差网络中的最后一个残差网络的输出端与若干串联的上采样层中的第一个若干上采样层的输入端相连接，若干串联的上采样层中的最后一个上采样层的输出端与若干串联的低维度的残差网络中的第一个残差网络的输入端相连接，若干串联的低维度的残差网络中的最后一个残差网络的输出端与若干串联的反卷积层的第一个反卷积层的输入端相连接，且该若干串联的反卷积层的最后一个反卷积层的输出为原始样本图像对应的增强样本图像；
所述去噪模型包括多个卷积层和多个逆卷积层，多个卷积层为串联，多个逆卷积层也为串联，且多个卷积层的最后一个卷积层的输出端与多个逆卷积层的第一个逆卷积层的输入端连接，所述去噪模型为一个U-net神经网络结构，用于预测每一步叠加的噪声，以逐步去除噪声，且所述多个卷积层和多个逆卷积层均为线性映射层；其中，每一个线性映射层均先提取噪声图像特征向量中的Q向量、K向量和V向量，所述Q向量、K向量和V向量分别代表所述噪声图像特征向量对应的原始文本向量的查询向量、键值向量和值向量；所述线性映射层根据噪声图像特征向量中的Q向量、K向量和V向量，对噪声图像特征向量进行一次去噪处理，得到去噪后的噪声图像特征向量；在经历去噪模型中的多个卷积层和多个逆卷积层的去噪处理后，得到所述噪声图像特征向量对应的增强图像特征向量；
所述变分自编码器的输出端与去噪模型的输入端连接，去噪模型的输出端与变分自编码器的输入端连接；
所述扩散模型的训练方式包括以下步骤：
利用原始训练图像对所述扩散模型中的编码器和解码器进行训练，得到调整后的编码器和解码器的网络参数；
固定所述调整后的编码器和解码器的网络参数，利用原始训练图像对所述去噪模型进行训练，得到调整后的去噪模型；
将调整后的编码器、解码器和去噪模型作为已训练的扩散模型；
所述利用原始训练图像对所述扩散模型中的编码器和解码器进行训练，得到调整后的编码器和解码器的网络参数，包括：
将所述原始训练图像输入所述扩散模型中的编码器，得到所述原始训练图像的原始图像特征向量；
将所述原始训练图像的原始图像特征向量输入所述扩散模型中的解码器，得到测试样本图像；
根据所述原始训练图像和所述测试样本图像，确定第一损失函数值，所述第一损失函数值为均方误差MSE损失函数值；
根据所述第一损失函数值，对所述编码器和所述解码器的网络参数进行调整，得到调整后的编码器和解码器的网络参数；
所述固定所述调整后的编码器和解码器的网络参数，利用原始训练图像对所述去噪模型进行训练，得到调整后的去噪模型，包括：
固定所述调整后的编码器和解码器的网络参数；
将原始训练图像输入所述调整后的编码器，得到所述原始训练图像对应的原始图像特征向量；
对所述原始训练图像的原始图像特征向量增加预设噪声向量，得到所述原始训练图像对应的噪声图像特征向量；
将所述原始训练图像对应的噪声图像特征向量输入所述去噪模型，利用所述去噪模型对所述噪声图像特征向量进行去噪处理，得到去噪图像特征向量；
根据所述去噪图像特征向量和所述原始训练图像对应的噪声图像特征向量，确定预测噪声；
根据所述预设噪声向量和所述预测噪声，确定第二损失函数值，所述第二损失函数值为均方误差MSE损失函数值；
根据所述第二损失函数值，对所述去噪模型的网络参数进行调整，得到调整后的去噪模型。
2.一种增强图像样本的生成装置，其特征在于，所述装置包括：
获取单元，用于获取原始样本图像；
编码单元，用于将所述原始样本图像输入已训练的扩散模型中的编码器，得到所述原始样本图像的原始图像特征向量；
增噪单元，用于对所述原始样本图像的原始图像特征向量进行增加噪声处理，得到噪声图像特征向量；其中，所述对所述原始样本图像的原始图像特征向量进行增加噪声处理，得到噪声图像特征向量，包括：在所述原始样本图像的原始图像特征向量中添加预设噪声向量，得到所述原始样本图像对应的噪声图像特征向量，其中，所述预设噪声向量为根据马尔可夫过程所确定的；具体的：向原始样本图像的原始图像特征向量x0中添加T次预设噪声向量，得到噪声图像特征向量x1，...，xt；添加预设噪声向量的过程是一个马尔可夫过程，用下述公式描述：
；
其中，q（xt|xt-1）为一个N*D维的条件高斯分布，其中，原始样本图像对应的噪声图像特征向量的形状为2Nx2D维；代表多维正态分布；xt为第t个噪声图像特征向量；xt-1为第t-1个噪声图像特征向量；βt是一个常数，用于控制噪声的大小，其取值范围在0~1之间；I为一个单位矩阵，元素都是1，对一条原始图像特征向量xt-1添加噪声得到噪声图像特征向量xt的方式通过下述公式得到：
其中，为从标准高斯分布中采样的预设噪声向量，该预设噪声向量的形状与噪声图像特征向量xt的形状相同；
去噪单元，用于将所述噪声图像特征向量输入所述扩散模型中的去噪模型，得到增强图像特征向量；所述噪声图像特征向量对应的形状与所述增强图像特征向量对应的形状是相同的；所述去噪模型中的噪声图像特征向量的去噪过程为一个马尔可夫过程，用以下公式去除噪声图像特征向量xt中的噪声：
，/>，/>；其中，xt-1是去除噪声后的图像特征向量；xt为噪声图像特征向量；βt是一个常数，用于控制噪声的大小，其取值范围在0~1之间；z是从标准高斯分布中采样的随机噪声；θ代表所述去噪模型的模型参数；t代表去噪处理的次数；/>代表加噪过程中第t次加噪过程的噪声方差，当去除到t=0时，就得到了增强图像特征向量x0；
解码单元，用于将所述增强图像特征向量输入所述扩散模型中的解码器，得到所述原始样本图像对应的增强样本图像；
其中，所述扩散模型中包括变分自编码器，所述变分自编码器包括所述编码器和所述解码器；
所述编码器包括若干卷积层、若干高维度的残差网络、若干下采样层和若干低维度的残差网络；所述编码器中各个层的连接方式为：若干卷积层相串联，且最后一个卷积层的输出端与若干串联的高维度的残差网络中的第一个残差网络的输入端相连，若干串联的高维度的残差网络中的最后一个残差网络的输出端与若干串联的下采样层中的第一个下采样层的输入端相连接，若干串联的下采样层中的最后一个下采样层的输出端与若干串联的低维度的残差网络中的第一个残差网络的输入端相连接，若干串联的低维度的残差网络中的最后一个残差网络的输出端与若干串联的卷积层的第一个卷积层的输入端相连接，且该若干串联的卷积层的最后一个卷积层的输出为原始样本图像的原始图像特征向量；所述原始图像特征向量为低维的图像隐层表示向量，其中所述原始样本图像为一个灰度图像，原始样本图像的形状为2N*2D维，将所述原始样本图像输入编码器，获得一个低维向量的原始图像特征向量为N*D维；
所述解码器包括若干反卷积层、若干低维度的残差网络、若干上采样层和若干高维度的残差网络；所述解码器中各个层的连接方式为：若干反卷积层相串联，且最后一个反卷积层的输出端与若干串联的低维度的残差网络中的第一个残差网络的输入端相连，若干串联的低维度的残差网络中的最后一个残差网络的输出端与若干串联的上采样层中的第一个若干上采样层的输入端相连接，若干串联的上采样层中的最后一个上采样层的输出端与若干串联的低维度的残差网络中的第一个残差网络的输入端相连接，若干串联的低维度的残差网络中的最后一个残差网络的输出端与若干串联的反卷积层的第一个反卷积层的输入端相连接，且该若干串联的反卷积层的最后一个反卷积层的输出为原始样本图像对应的增强样本图像；
所述去噪模型包括多个卷积层和多个逆卷积层，多个卷积层为串联，多个逆卷积层也为串联，且多个卷积层的最后一个卷积层的输出端与多个逆卷积层的第一个逆卷积层的输入端连接，所述去噪模型为一个U-net神经网络结构，用于预测每一步叠加的噪声，以逐步去除噪声，且所述多个卷积层和多个逆卷积层均为线性映射层；其中，每一个线性映射层均先提取噪声图像特征向量中的Q向量、K向量和V向量，所述Q向量、K向量和V向量分别代表所述噪声图像特征向量对应的原始文本向量的查询向量、键值向量和值向量；所述线性映射层根据噪声图像特征向量中的Q向量、K向量和V向量，对噪声图像特征向量进行一次去噪处理，得到去噪后的噪声图像特征向量；在经历去噪模型中的多个卷积层和多个逆卷积层的去噪处理后，得到所述噪声图像特征向量对应的增强图像特征向量；
所述变分自编码器的输出端与去噪模型的输入端连接，去噪模型的输出端与变分自编码器的输入端连接；
所述装置还包括训练单元，用于：
利用原始训练图像对所述扩散模型中的编码器和解码器进行训练，得到调整后的编码器和解码器的网络参数；具体的：将所述原始训练图像输入所述扩散模型中的编码器，得到所述原始训练图像的原始图像特征向量；将所述原始训练图像的原始图像特征向量输入所述扩散模型中的解码器，得到测试样本图像；根据所述原始训练图像和所述测试样本图像，确定第一损失函数值；根据所述第一损失函数值，对所述编码器和所述解码器的网络参数进行调整，得到调整后的编码器和解码器的网络参数；
固定所述调整后的编码器和解码器的网络参数，利用原始训练图像对所述去噪模型进行训练，得到调整后的去噪模型；具体的：固定所述调整后的编码器和解码器的网络参数；将原始训练图像输入所述调整后的编码器，得到所述原始训练图像对应的原始图像特征向量；对所述原始训练图像的原始图像特征向量增加预设噪声向量，得到所述原始训练图像对应的噪声图像特征向量；将所述原始训练图像对应的噪声图像特征向量输入所述去噪模型，利用所述去噪模型对所述噪声图像特征向量进行去噪处理，得到去噪图像特征向量；根据所述去噪图像特征向量和所述原始训练图像对应的噪声图像特征向量，确定预测噪声；根据所述预设噪声向量和所述预测噪声，确定第二损失函数值；根据所述第二损失函数值，对所述去噪模型的网络参数进行调整，得到调整后的去噪模型；
将调整后的编码器、解码器和去噪模型作为已训练的扩散模型。
3.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并且可以在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1所述方法的步骤。
4.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1所述方法的步骤。
CN202310589045.6A 2023-05-24 2023-05-24 一种增强样本的生成方法及装置 Active CN116310660B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310589045.6A CN116310660B (zh) 2023-05-24 2023-05-24 一种增强样本的生成方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310589045.6A CN116310660B (zh) 2023-05-24 2023-05-24 一种增强样本的生成方法及装置

Publications (2)

Publication Number Publication Date
CN116310660A CN116310660A (zh) 2023-06-23
CN116310660B true CN116310660B (zh) 2024-06-11

Family

ID=86834478

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310589045.6A Active CN116310660B (zh) 2023-05-24 2023-05-24 一种增强样本的生成方法及装置

Country Status (1)

Country Link
CN (1) CN116310660B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115239593A (zh) * 2022-07-29 2022-10-25 平安科技（深圳）有限公司 图像复原方法、装置、电子设备及存储介质
CN115409733A (zh) * 2022-09-02 2022-11-29 山东财经大学 一种基于图像增强和扩散模型的低剂量ct图像降噪方法
CN115660931A (zh) * 2022-11-01 2023-01-31 南京信息工程大学 基于Transformer和去噪扩散模型的鲁棒水印方法
CN115908187A (zh) * 2022-12-07 2023-04-04 北京航空航天大学 基于快速去噪扩散概率模型的图像特征分析与生成方法
CN115982965A (zh) * 2022-12-13 2023-04-18 汕头大学 去噪扩散样本增量学习的碳纤维材料损伤检测方法及装置
CN116108810A (zh) * 2023-02-08 2023-05-12 深圳须弥云图空间科技有限公司 文本数据增强方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115239593A (zh) * 2022-07-29 2022-10-25 平安科技（深圳）有限公司 图像复原方法、装置、电子设备及存储介质
CN115409733A (zh) * 2022-09-02 2022-11-29 山东财经大学 一种基于图像增强和扩散模型的低剂量ct图像降噪方法
CN115660931A (zh) * 2022-11-01 2023-01-31 南京信息工程大学 基于Transformer和去噪扩散模型的鲁棒水印方法
CN115908187A (zh) * 2022-12-07 2023-04-04 北京航空航天大学 基于快速去噪扩散概率模型的图像特征分析与生成方法
CN115982965A (zh) * 2022-12-13 2023-04-18 汕头大学 去噪扩散样本增量学习的碳纤维材料损伤检测方法及装置
CN116108810A (zh) * 2023-02-08 2023-05-12 深圳须弥云图空间科技有限公司 文本数据增强方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
赵婕.图像特征提取与语义分析.重庆大学出版社 ,2015,第3-4页. *

Also Published As

Publication number Publication date
CN116310660A (zh) 2023-06-23

Similar Documents

Publication Publication Date Title
CN110163080B (zh) 人脸关键点检测方法及装置、存储介质和电子设备
CN111079764B (zh) 一种基于深度学习的低照度车牌图像识别方法及装置
CN112950471A (zh) 视频超分处理方法、装置、超分辨率重建模型、介质
CN113066034B (zh) 人脸图像的修复方法与装置、修复模型、介质和设备
CN112906721B (zh) 图像处理方法、装置、设备及计算机可读存储介质
CN110830808A (zh) 一种视频帧重构方法、装置及终端设备
CN118283297A (zh) 视频数据处理方法、装置、电子设备及可读存储介质
CN111460876A (zh) 用于识别视频的方法和装置
CN114140346A (zh) 一种图像处理方法及装置
CN117173609A (zh) 基于多尺度特征和通道注意力的无参考屏幕视频质量评价方法及装置
CN117894038A (zh) 一种图像中对象姿态生成方法和装置
CN113724136A (zh) 一种视频修复方法、设备及介质
CN112419179A (zh) 修复图像的方法、装置、设备和计算机可读介质
CN118172134A (zh) 虚拟试衣方法、装置、电子设备及可读存储介质
Huang et al. Underwater image enhancement via LBP‐based attention residual network
CN114399814A (zh) 一种基于深度学习的遮挡物移除和三维重建方法
CN117671254A (zh) 一种图像分割方法及装置
CN116310660B (zh) 一种增强样本的生成方法及装置
CN112950501B (zh) 基于噪声场的图像降噪方法、装置、设备及存储介质
CN114596203A (zh) 用于生成图像和用于训练图像生成模型的方法和装置
CN114399708A (zh) 一种视频动作迁移深度学习系统和方法
CN115222606A (zh) 图像处理方法、装置、计算机可读介质及电子设备
CN112258392A (zh) 一种超分辨图像训练方法、装置、介质及设备
CN116862803B (zh) 逆转图像重建方法、装置、设备及可读存储介质
CN117252787B (zh) 图像重新照明方法、模型训练方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant