CN114463599A - 对抗生成网络快速训练方法、装置、设备和存储介质 - Google Patents

对抗生成网络快速训练方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN114463599A
CN114463599A CN202210131123.3A CN202210131123A CN114463599A CN 114463599 A CN114463599 A CN 114463599A CN 202210131123 A CN202210131123 A CN 202210131123A CN 114463599 A CN114463599 A CN 114463599A
Authority
CN
China
Prior art keywords
matrix
layer
training
generator
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210131123.3A
Other languages
English (en)
Inventor
郭平
杨栋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Normal University
Original Assignee
Beijing Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Normal University filed Critical Beijing Normal University
Priority to CN202210131123.3A priority Critical patent/CN114463599A/zh
Publication of CN114463599A publication Critical patent/CN114463599A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种对抗生成网络快速训练方法、装置、电子设备和计算机可读存储介质。其中方法包括：获取训练数据集，训练数据集包括多个图像训练样本；对抗生成网络的判别器D，针对生成器G生成的第一合成图像集，判断第一合成图像集中的每个第一合成图像是否是真实图像；所述对抗生成网络的生成器G和判别器D，两个神经网络模型交替进行训练，互相竞争，使得目标函数达到最优。

Description

对抗生成网络快速训练方法、装置、设备和存储介质
技术领域
本发明涉及人工智能领域，特别涉及一种对抗生成网络训练方法。
背景技术
目前，以深度学习为代表的人工智能技术中，通常采用的是有监督学习方式，往往需要大量的标注好的数据来训练深度网络模型，然而在实际应用中获取的数据绝大部分属于无标注数据，如果对大量无标注数据进行人工标注则需要很高的人力和时间成本。因此，采用无监督学习的技术和方法，直接在无标注数据上进行表示学习，充分利用大量的无标注数据是人工智能技术发展的趋势。
监督式学习的缺点就是需要大量标签样本，这非常耗时耗力。非监督式学习虽然没有这个问题，但准确率往往更低。对抗生成网络(GAN)可以说是对于非监督式学习的一种提升。
发明内容
本发明的目的在于克服现有的对抗生成网络训练算法的不足。本发明为解决其技术问题采用的技术方案如下：
一种快速训练对抗生成网络的方法，包括：
步骤S01：获取训练数据集，训练数据集包括多个图像训练样本，用于训练对抗生成网络的生成器G、判别器D；
步骤S02：对抗生成网络的生成器G，针对每个图像训练样本，生成第一合成图像集；
步骤S03：对抗生成网络的判别器D，针对生成器G生成的第一合成图像集，判断第一合成图像集中的每个第一合成图像是否是真实图像；
步骤S04：所述对抗生成网络的生成器G和判别器D，两个神经网络模型交替进行训练，互相竞争，使得目标函数达到最优；生成器G和判别器D的神经网络模型均由多层构成，沿着网络正向传播样本；生成器G由2个反卷积层和10个卷积层组成；判别器D由4个卷积层和一个全连接层组成；两个神经网络模型的卷积层按照如下方法优化：
步骤S0401：计算l层到l+1层的连接权重Wl；其中l为对抗生成网络的层编号；
步骤S0402：第l层的输入数据矩阵为Xl，对Xl进行奇异值分解，得到矩阵U、Σ、V，使得Xl＝UΣVT；
步骤S0403：计算Xl的伪逆矩阵Y＝VΣ’UT；其中，Σ’为Σ中奇异值的倒数组成的对角矩阵；
步骤S0404：对矩阵V进行截断，保留V矩阵的前p行，得到截断后的矩阵V’。计算近似的伪逆矩阵X’表示为X’＝V’Σ’UT；
步骤S0405：将X’作为第l层到第l+1层的连接权值Wl的初始值；
步骤S0406：使用l层到l+1层的连接权重Wl，乘以第l层的神经元输出矩阵Yl，并应用激活函数，可以得到第l+1层的输出矩阵Yl+1；
步骤S0407：调节正则化参数以控制重构误差的大小；结束神经网络模型的训练。
本发明还提供了一种快速训练对抗生成网络的装置，包括：
数据集获取模块：获取训练数据集，训练数据集包括多个图像训练样本，用于训练对抗生成网络的生成器G、判别器D；
生成器模块：对抗生成网络的生成器G，针对每个图像训练样本，生成第一合成图像集；
判别器模块：对抗生成网络的判别器D，针对生成器G生成的第一合成图像集，判断第一合成图像集中的每个第一合成图像是否是真实图像；
优化模块：所述对抗生成网络的生成器G和判别器D，两个神经网络模型交替进行训练，互相竞争，使得目标函数达到最优；生成器G和判别器D的神经网络模型均由多层构成，沿着网络正向传播样本；生成器G由2个反卷积层和10个卷积层组成；判别器D由4个卷积层和一个全连接层组成；两个神经网络模型的卷积层按照如下方法优化：
步骤S0401：计算l层到l+1层的连接权重Wl；其中l为对抗生成网络的层编号；
步骤S0402：第l层的输入数据矩阵为Xl，对Xl进行奇异值分解，得到矩阵U、Σ、V，使得Xl＝UΣVT；
步骤S0403：计算Xl的伪逆矩阵Y＝VΣ’UT；其中，Σ’为Σ中奇异值的倒数组成的对角矩阵；
步骤S0404：对矩阵V进行截断，保留V矩阵的前p行，得到截断后的矩阵V’。计算近似的伪逆矩阵X’表示为X’＝V’Σ’UT；
步骤S0405：将X’作为第l层到第l+1层的连接权值Wl的初始值；
步骤S0406：使用l层到l+1层的连接权重Wl，乘以第l层的神经元输出矩阵Yl，并应用激活函数，可以得到第l+1层的输出矩阵Yl+1；
步骤S0407：调节正则化参数以控制重构误差的大小；结束神经网络模型的训练。
本发明还提供了一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行所述的方法。
本发明还提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行所述的方法。
具体地，在分类或预测问题中，可选择对抗生成网络输出的特征作为分类器或预测模型的输入，使用带有类别标签的训练样本，对分类器或预测模型进行微调，最终得到用于具体学习任务的对抗生成网络。
应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。本发明的其它特征、目的和优点从说明书、附图以及权利要求书中可以得出。
附图说明
附图1是本发明的对抗生成网络的示意图。
具体实施方式
本发明为克服现有对现有神经网络训练算法的不足，提供一种快速训练对抗生成网络的方法。
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合具体实施例及附图1对该方法作进一步详细描述。应当理解，此处的具体实施例的描述仅用以解释本发明，并不用于限定本发明。
具体地，请参阅图1，是本发明实施例的一种快速训练对抗生成网络的方法流程图。
本发明实施例的一种对抗生成网络的快速训练方法包括：
步骤S01：获取训练数据集，训练数据集包括多个图像训练样本，用于训练对抗生成网络的生成器G、判别器D；
步骤S02：对抗生成网络的生成器G，针对每个图像训练样本，生成第一合成图像集；
具体地，针对每个图像训练样本，提取图像特征；由多个图像训练样本的图像特征构成输入矩阵X；将输入矩阵输入生成器G的神经网络模型，得到输出矩阵Y；
步骤S03：对抗生成网络的判别器D，针对生成器G生成的第一合成图像集，判断第一合成图像集中的每个第一合成图像是否是真实图像；
具体地，针对每个图像训练样本，提取图像特征；由多个图像训练样本的图像特征构成输入矩阵X’；将输入矩阵输入判别器D的神经网络模型，得到输出矩阵Y’；
步骤S04：所述对抗生成网络的生成器G和判别器D，两个神经网络模型交替进行训练，互相竞争，使得目标函数达到最优；生成器G和判别器D的神经网络模型均由多层构成，沿着网络正向传播样本；生成器G由2个反卷积层和10个卷积层组成；判别器D由4个卷积层和一个全连接层组成；两个神经网络模型的卷积层按照如下方法优化：
步骤S0401：计算l层到l+1层的连接权重Wl；其中l为对抗生成网络的层编号；
步骤S0402：第l层的输入数据矩阵为Xl，对Xl进行奇异值分解，得到矩阵U、Σ、V，使得Xl＝UΣVT；
步骤S0403：计算Xl的伪逆矩阵Y＝VΣ’UT；其中，Σ’为Σ中奇异值的倒数组成的对角矩阵；
步骤S0404：对矩阵V进行截断，保留V矩阵的前p行，得到截断后的矩阵V’。计算近似的伪逆矩阵X’表示为X’＝V’Σ’UT；
步骤S0405：将X’作为第l层到第l+1层的连接权值Wl的初始值；
由于上述步骤，本发明能够直接计算优化目标的解析解，无需迭代优化的过程，而且无需繁琐的调节超参数过程，因此学习效率较之于误差反向传播等其它基于梯度下降算法的效率更高；
步骤S0406：使用l层到l+1层的连接权重Wl，乘以第l层的神经元输出矩阵Yl，并应用激活函数，可以得到第l+1层的输出矩阵Yl+1；
具体地，激活函数可以采用阶跃激活函数，即如果x>δmax,f(x)＝1,如果x≤δmax,f(x)＝0；δmax是一个较小的正数，与具体的数据有关；
由于上述步骤，本发明的网络优化目标可以转换为找到这样的投影算子，使得输出误差最小；
步骤S0407：调节正则化参数以控制重构误差的大小；结束神经网络模型的训练
由于上述步骤，本发明的训练过程不需要进行基于梯度下降算法的迭代优化过程，直接通过基本的线性代数运算求解连接权重，因此计算速度较快。而从原始数据中学习特征，因此训练时不必对数据进行精确重构。不需要设置太多的控制参数，因此本发明中的训练方法易用性强。
对所公开的实施例的上述说明，使熟悉本领域的专业技术人员能够实现或使用本发明。对实施例的修改对本领域的专业技术人员来说将是显而易见的。本专利中所定义的一般原理可以在不脱离本发明的基本思想或适用范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的实施例，凡是利用本发明的设计思路，做一些简单变化的方案，都应计入本发明的保护范围之内。

Claims (8)

1.一种对抗生成网络快速训练方法，其特征在于：
步骤S01：获取训练数据集，训练数据集包括多个图像训练样本，用于训练对抗生成网络的生成器G、判别器D；
步骤S02：对抗生成网络的生成器G，针对每个图像训练样本，生成第一合成图像集；
步骤S03：对抗生成网络的判别器D，针对生成器G生成的第一合成图像集，判断第一合成图像集中的每个第一合成图像是否是真实图像；
步骤S04：所述对抗生成网络的生成器G和判别器D，两个神经网络模型交替进行训练，互相竞争，使得目标函数达到最优；生成器G和判别器D的神经网络模型均由多层构成，沿着网络正向传播样本；生成器G由2个反卷积层和10个卷积层组成；判别器D由4个卷积层和一个全连接层组成；两个神经网络模型的卷积层按照如下方法优化：
步骤S0401：计算l层到l+1层的连接权重Wl；其中l为对抗生成网络的层编号；
步骤S0402：第l层的输入数据矩阵为Xl，对Xl进行奇异值分解，得到矩阵U、Σ、V，使得Xl＝UΣVT；
步骤S0403：计算Xl的伪逆矩阵Y＝VΣ’UT；其中，Σ’为Σ中奇异值的倒数组成的对角矩阵；
步骤S0404：对矩阵V进行截断，保留V矩阵的前p行，得到截断后的矩阵V’。计算近似的伪逆矩阵X’表示为X’＝V’Σ’UT；
步骤S0405：将X’作为第l层到第l+1层的连接权值Wl的初始值；
步骤S0406：使用l层到l+1层的连接权重Wl，乘以第l层的神经元输出矩阵Yl，并应用激活函数，可以得到第l+1层的输出矩阵Yl+1；
步骤S0407：调节正则化参数以控制重构误差的大小；结束神经网络模型的训练。
2.根据权利要求1所述的一种对抗生成网络快速训练方法，其特征在于，步骤S02中，具体地，针对每个图像训练样本，提取图像特征；由多个图像训练样本的图像特征构成输入矩阵X；将输入矩阵输入生成器G的神经网络模型，得到输出矩阵Y。
3.根据权利要求1所述的一种对抗生成网络快速训练方法，其特征在于，步骤S03中，针对每个图像训练样本，提取图像特征；由多个图像训练样本的图像特征构成输入矩阵X’；将输入矩阵输入判别器D的神经网络模型，得到输出矩阵Y’。
4.根据权利要求1所述的一种对抗生成网络快速训练方法，其特征在于，步骤S0406包括，
激活函数可以采用阶跃激活函数，即如果x>δmax,f(x)＝1,如果x≤δmax,f(x)＝0；δmax是一个较小的正数，与具体的数据有关。
5.根据权利要求1所述的一种对抗生成网络快速训练方法，其特征在于，所述对抗神经网络用于对人脸图像的合成。
6.一种快速训练深度神经网络的装置，包括：
数据集获取模块：获取训练数据集，训练数据集包括多个图像训练样本，用于训练对抗生成网络的生成器G、判别器D；
生成器模块：对抗生成网络的生成器G，针对每个图像训练样本，生成第一合成图像集；
判别器模块：对抗生成网络的判别器D，针对生成器G生成的第一合成图像集，判断第一合成图像集中的每个第一合成图像是否是真实图像；
优化模块：所述对抗生成网络的生成器G和判别器D，两个神经网络模型交替进行训练，互相竞争，使得目标函数达到最优；生成器G和判别器D的神经网络模型均由多层构成，沿着网络正向传播样本；生成器G由2个反卷积层和10个卷积层组成；判别器D由4个卷积层和一个全连接层组成；两个神经网络模型的卷积层按照如下方法优化：
步骤S0401：计算l层到l+1层的连接权重Wl；其中l为对抗生成网络的层编号；
步骤S0402：第l层的输入数据矩阵为Xl，对Xl进行奇异值分解，得到矩阵U、Σ、V，使得Xl＝UΣVT；
步骤S0403：计算Xl的伪逆矩阵Y＝VΣ’UT；其中，Σ’为Σ中奇异值的倒数组成的对角矩阵；
步骤S0404：对矩阵V进行截断，保留V矩阵的前p行，得到截断后的矩阵V’。计算近似的伪逆矩阵X’表示为X’＝V’Σ’UT；
步骤S0405：将X’作为第l层到第l+1层的连接权值Wl的初始值；
步骤S0406：使用l层到l+1层的连接权重Wl，乘以第l层的神经元输出矩阵Yl，并应用激活函数，可以得到第l+1层的输出矩阵Yl+1；
步骤S0407：调节正则化参数以控制重构误差的大小；结束神经网络模型的训练。
7.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-5中任一项所述的方法。
8.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-5中任一项所述的方法。
CN202210131123.3A 2022-02-13 2022-02-13 对抗生成网络快速训练方法、装置、设备和存储介质 Pending CN114463599A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210131123.3A CN114463599A (zh) 2022-02-13 2022-02-13 对抗生成网络快速训练方法、装置、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210131123.3A CN114463599A (zh) 2022-02-13 2022-02-13 对抗生成网络快速训练方法、装置、设备和存储介质

Publications (1)

Publication Number Publication Date
CN114463599A true CN114463599A (zh) 2022-05-10

Family

ID=81413032

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210131123.3A Pending CN114463599A (zh) 2022-02-13 2022-02-13 对抗生成网络快速训练方法、装置、设备和存储介质

Country Status (1)

Country Link
CN (1) CN114463599A (zh)

Similar Documents

Publication Publication Date Title
CN108491874B (zh) 一种基于生成式对抗网络的图像单分类方法
CN109711426B (zh) 一种基于gan和迁移学习的病理图片分类装置及方法
CN107292352B (zh) 基于卷积神经网络的图像分类方法和装置
CN111428818A (zh) 基于神经通路激活状态的深度学习模型测试方法与装置
CN113780292B (zh) 一种基于证据推理的语义分割网络模型不确定性量化方法
CN111507993A (zh) 一种基于生成对抗网络的图像分割方法、装置及存储介质
CN114332578A (zh) 图像异常检测模型训练方法、图像异常检测方法和装置
CN110298394B (zh) 一种图像识别方法和相关装置
CN111127360A (zh) 一种基于自动编码器的灰度图像迁移学习方法
CN112183742A (zh) 基于渐进式量化和Hessian信息的神经网络混合量化方法
CN115147402A (zh) 用于图像处理的自对比学习
CN114782742A (zh) 基于教师模型分类层权重的输出正则化方法
CN112561054B (zh) 一种基于批量特征热图的神经网络滤波器剪枝方法
CN114462597A (zh) 快速训练深度神经网络的方法、装置、设备和存储介质
US20230281981A1 (en) Methods, devices, and computer readable media for training a keypoint estimation network using cgan-based data augmentation
CN114463591A (zh) 深度神经网络图像分类方法、装置、设备和存储介质
CN110889316B (zh) 一种目标对象识别方法、装置及存储介质
CN114463599A (zh) 对抗生成网络快速训练方法、装置、设备和存储介质
CN115063374A (zh) 模型训练、人脸图像质量评分方法、电子设备及存储介质
CN108460401B (zh) 基于非负特征融合的场景图像分类方法
CN114419382A (zh) 一种无监督的多视图图像的图嵌入方法及系统
CN112861601A (zh) 生成对抗样本的方法及相关设备
JP7047665B2 (ja) 学習装置、学習方法及び学習プログラム
CN111402121A (zh) 图像风格的转换方法、装置、计算机设备和存储介质
US20190332928A1 (en) Second order neuron for machine learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination