CN111598189A - 产生式模型的训练方法、数据生成方法、装置、介质和设备 - Google Patents

产生式模型的训练方法、数据生成方法、装置、介质和设备 Download PDF

Info

Publication number
CN111598189A
CN111598189A CN202010697904.XA CN202010697904A CN111598189A CN 111598189 A CN111598189 A CN 111598189A CN 202010697904 A CN202010697904 A CN 202010697904A CN 111598189 A CN111598189 A CN 111598189A
Authority
CN
China
Prior art keywords
data
transformation
probability density
network
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010697904.XA
Other languages
English (en)
Other versions
CN111598189B (zh
Inventor
陈键飞
朱军
田天
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Real AI Technology Co Ltd
Original Assignee
Beijing Real AI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Real AI Technology Co Ltd filed Critical Beijing Real AI Technology Co Ltd
Priority to CN202010697904.XA priority Critical patent/CN111598189B/zh
Publication of CN111598189A publication Critical patent/CN111598189A/zh
Application granted granted Critical
Publication of CN111598189B publication Critical patent/CN111598189B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Complex Calculations (AREA)

Abstract

本发明的实施方式提供了一种产生式模型的训练方法，所述产生式模型包括数据增广网络和概率变换网络，所述方法包括：通过所述数据增广网络基于训练数据和一随机数进行数据增广；计算增广得到的数据的概率密度；将所述训练数据和增广得到的数据拼接；通过所述概率变换网络基于拼接后的数据进行变换；获取变换后的拼接数据的概率密度；以使增广得到的数据的概率密度和变换得到的数据的概率密度之差最小为目标进行优化，以更新所述数据增广网络和概率变换网络的参数。此外，本发明的实施方式提供了一种数据生成方法。本发明的产生式模型的训练方法和数据生成方法，基于变分思想学习最优的数据增广网络和概率变换网络，能够提升模型的表达能力。

Description

产生式模型的训练方法、数据生成方法、装置、介质和设备
技术领域
本发明的实施方式涉及人工智能领域，更具体地，本发明的实施方式涉及一种产生式模型的训练方法、数据生成方法、装置、介质和设备。
背景技术
本部分旨在为权利要求书中陈述的本发明的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
数据增广是深度学习中常用的技巧之一，主要用于增加训练数据集，让数据集尽可能的多样化，使得训练的模型具有更强的泛化能力。目前数据增广的方式主要包括：水平/垂直翻转，旋转，缩放，裁剪，剪切，平移等。
产生式模型根据数据的分布进行建模，可以实现图像、文字、视频生成，艺术创作，语音合成等一系列数据生成任务。当前的产生式模型用于数据生成需要解决的主要问题是：模型的表达能力需要足够强，可以拟合足够复杂的分布，如图像分布；此外计算需要足够高效，如模型的概率密度可以精确求解而无需采用数值方法近似，可以从模型中并行采样大量样本等。
现有技术中，生成对抗网络、变分自编码器等模型无法精确计算概率密度，而需要采用核密度估计等数值手段近似，计算效率低；像素卷积神经网络模型无法高效并行采样，计算效率同样低下；而高效的正规化流模型需要满足可逆性限制，表达能力弱，生成效果差。
通过上述描述可见，已有的数据生成方法无法同时满足表达能力强和计算效率高的要求。
发明内容
在本上下文中，本发明的实施方式期望提供一种产生式模型的训练方法、数据生成方法、装置、介质和设备。
在本发明实施方式的第一方面中，提供了一种产生式模型的训练方法，所述产生式模型包括数据增广网络和概率变换网络，所述方法包括：
通过所述数据增广网络基于训练数据和一随机数进行数据增广；
计算增广得到的数据的概率密度；
将所述训练数据和增广得到的数据拼接；
通过所述概率变换网络基于拼接后的数据进行变换；
获取变换后的拼接数据的概率密度；
以使增广得到的数据的概率密度和变换得到的数据的概率密度之差最小为目标进行优化，以更新所述数据增广网络和概率变换网络的参数。
在本实施方式的一个实施例中，所述随机数根据预设条件生成。
在本实施方式的一个实施例中，所述预设条件至少包括待生成随机数的维度以及生成的随机数需服从的数据分布。
在本实施方式的一个实施例中，所述训练数据中包括多个训练样本。
在本实施方式的一个实施例中，所述数据增广网络包括至少一个可逆变换层，其中每一可逆变换层的正向变换的输入为所述训练数据和初始输入的随机数或前一可逆变换层输出的变换后的随机数，输出为变换后的随机数以及所述变换的雅克比矩阵的行列式的对数。
在本实施方式的一个实施例中，计算增广得到的数据的概率密度，包括：
计算初始输入的所述随机数在标准正态分布下的概率密度；
获取各层正向变换输出的雅克比矩阵的行列式的对数之和；
以所述随机数在标准正态分布下的概率密度与各层正向变换输出的雅克比矩阵的行列式的对数之和的差作为增广得到的数据的概率密度。
在本实施方式的一个实施例中，所述概率变换网络包括至少一个可逆变换层，其中每一可逆变换层的正向变换的输入为拼接后的数据或前一可逆变换层输出的变换后的拼接数据，输出为变换后的拼接数据以及所述变换的雅克比矩阵的行列式的对数。
在本实施方式的一个实施例中，获取变换后的拼接数据的概率密度，包括：
计算最终输出的变换后的拼接数据在标准正态分布下的概率密度；
获取各层正向变换输出的雅克比矩阵的行列式的对数之和；
以所述拼接数据在标准正态分布下的概率密度与各层正向变换输出的雅克比矩阵的行列式的对数之和的和作为变换后的拼接数据的概率密度。
在本实施方式的一个实施例中，采用随机梯度优化法进行优化。
在本实施方式的一个实施例中，根据预设次数进行优化。
在本发明实施方式的第二方面中，提供了一种数据生成方法，其中，利用本发明实施方式的第一方面中任一项所述的产生式模型的训练方法训练得到的产生式模型进行数据生成。
在本实施方式的一个实施例中，所述方法包括：
获取需生成的数据的生成参数；
基于所述生成参数利用所述产生式模型进行数据生成。
在本实施方式的一个实施例中，所述生成参数至少包括需生成数据的数目。
在本实施方式的一个实施例中，基于所述生成参数利用所述产生式模型进行数据生成，包括：
根据需生成数据的数目提供服从正态分布的随机数；
将所述随机数输入所述产生式模型的概率变换网络，由所述概率变换网络进行逆变换；
从逆变换后的结果中保留特定维作为生成的数据。
在本实施方式的一个实施例中，保留结果中的前特定维数据作为生成的数据，其中所述特定维的维数与训练数据的维数相同。
在本发明实施方式的第三方面中，提供了一种产生式模型的训练装置，所述产生式模型包括数据增广网络和概率变换网络，所述装置包括：
数据增广模块，被配置为通过所述数据增广网络基于训练数据和一随机数进行数据增广；
第一概率密度计算模块，被配置为计算增广得到的数据的概率密度；
数据拼接模块，被配置为将所述训练数据和增广得到的数据拼接；
数据变换模块，被配置为通过所述概率变换网络基于拼接后的数据进行变换；
第二概率密度计算模块，被配置为获取变换后的拼接数据的概率密度；
优化模块，被配置为以使增广得到的数据的概率密度和变换得到的数据的概率密度之差最小为目标进行优化，以更新所述数据增广网络和概率变换网络的参数。
在本发明实施方式的第四方面中，提供了一种数据生成装置，其中，利用本发明实施方式的第三方面所述的产生式模型的训练装置训练得到的产生式模型进行数据生成。
在本发明实施方式的第五方面中,提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，
所述计算机程序用于执行本发明实施方式的第一或第二方面中任一所述的方法。
在本发明实施方式的第六方面中,提供了一种计算设备，所述计算设备包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于执行本发明实施方式的第一或第二方面中任一所述的方法。
根据本发明实施方式的产生式模型的训练方法和数据生成方法，基于变分思想学习最优的数据增广网络和概率变换网络，能够提升模型的表达能力。
附图说明
通过参考附图阅读下文的详细描述，本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，其中：
图1为本发明一实施方式的产生式模型的训练场景示意图;
图2为本发明一实施方式的产生式模型的训练方法的流程示意图;
图3为本发明实施例提供的数据增广网络的结构示意图;
图4为本发明实施例提供的数据生成方法的流程示意图;
图5为根据本发明一实施例提供的数据增广方法进行图像生成的结果示意图;
图6为本发明一实施例提供的仿射耦合层的结构示意图;
图7为本发明实施例提供的产生式模型的训练装置的模块示意图;
图8为本发明实施例提供的数据生成装置的模块示意图;
图9为本发明实施例提供的一种计算机可读存储介质的示意图;
图10为本发明实施例提供的一种计算设备的示意；
图6中的Invertible transformation step表示可逆变换步（层），Augmenteddimensions表示增广（数据）维度，Transformed data表示变换后的数据，Internal hiddenlayers表示内部隐藏层；
在附图中，相同或对应的标号表示相同或对应的部分。
具体实施方式
下面将参考若干示例性实施方式来描述本发明的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本发明，而并非以任何方式限制本发明的范围。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。
本领域技术人员知道，本发明的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：完全的硬件、完全的软件（包括固件、驻留软件、微代码等），或者硬件和软件结合的形式。
根据本发明的实施方式，提出了一种产生式模型的训练方法及装置、数据生成方法及装置、介质和计算设备。
此外，附图中的任何元素数量均用于示例而非限制，以及任何命名都仅用于区分，而不具有任何限制含义。
下面参考本发明的若干代表性实施方式，详细阐释本发明的原理和精神。
示例性方法
下面结合图1的应用场景，参考图2来描述根据本发明示例性实施方式的产生式模型的训练方法。需要注意的是，上述应用场景仅是为了便于理解本发明的精神和原理而示出，本发明的实施方式在此方面不受任何限制。相反，本发明的实施方式可以应用于适用的任何场景。
本发明实施例提供了一种产生式模型的训练方法，所述产生式模型包括数据增广网络和概率变换网络，所述方法包括：
步骤S101，通过所述数据增广网络基于训练数据和一随机数进行数据增广；
步骤S102，计算增广得到的数据的概率密度；
步骤S103，将所述训练数据和增广得到的数据拼接；
步骤S104，通过所述概率变换网络基于拼接后的数据进行变换；
步骤S105，获取变换后的拼接数据的概率密度；
步骤S106，以使增广得到的数据的概率密度和变换得到的数据的概率密度之差最小为目标进行优化，以更新所述数据增广网络和概率变换网络的参数。
可以理解的是，本申请中所述的数据增广网络和概率变换网络为能够进行数据增广或概率变换的神经网络，其可以是循环神经网络，也可以是卷积神经网络或其他可以实现相应功能的网络结构，具体采用何种网络与增广的数据类型或应用场景有关，本申请对此不做限定。
本申请所提出的方法适用于多种类型的数据增广，包括但不限于图像、文字、视频生成，艺术创作，语音合成等一系列数据生成任务，在相应的场景下，所述训练数据分别为图像、文字、视频、时序、语音数据，所述时序数据为在时间上存在因果关系的数据，例如用户行为（如购物）数据，气象数据（如经纬度与对应地点的降雨数据），农作物种植数据（如种植条件数据和结果数据）。
下面结合附图说明如何进行产生式模型的训练：
在所述步骤S101中，训练数据可以是事先准备好的全部训练数据，也可以是从事先准备好的训练数据集中随机抽取的包括多个训练样本的一批训练数据，所述训练数据即为需要进行增加数据量的数据集。
所述随机数可以是事先准备好的或由外部提供的，也可以是实时生成的，本实施 方式对此不做限定，在本实施方式的一个实施例中，所述随机数的具体形式可以根据实际 情况进行选择，例如，所述随机数为一服从正态分布的随机张量，所述随机张量的维度可以 是自行设置的。由此，在本实施方式的一个实施例中，所述随机数可以根据预设条件（至少 包括待生成随机数的维度以及生成的随机数需服从的数据分布）生成，例如，事先准备好的 训练数据集包括若干D维样本数据，从中随机抽取一个批次的训练数据，其中该批次中包含
Figure 764431DEST_PATH_IMAGE001
个训练样本，批次大小
Figure 681572DEST_PATH_IMAGE001
为预先指定的常量，计该批次样本为
Figure 461309DEST_PATH_IMAGE002
,生成的随机 张量为
Figure 918835DEST_PATH_IMAGE003
;
其中，该随机张量的维度E为预先指定的常量；
Figure 733207DEST_PATH_IMAGE004
表示全体N×D维张量构成的张量 组，
Figure 555670DEST_PATH_IMAGE005
表示数学期望为0，方差为I的正态分布。
接下来，将该批次样本数据X以及生成的随机张量ϵ q 输入进数据增广网络
Figure 822703DEST_PATH_IMAGE006
。
在本实施方式中，所述数据增广网络包括至少一个可逆变换层，其中每一可逆变换层的正向变换的输入为所述训练数据和初始输入的随机数或前一可逆变换层输出的变换后的随机数，输出为变换后的随机数以及所述变换的雅克比矩阵的行列式的对数，下面参照图3对数据增广网络进行说明，所述数据增广网络可以是一由输入层、多个可逆变换层和输出层依次串联的神经网络，所述可逆变换层可以由双射函数实现，具体的，每一双射函数包括三个部分：1）正向映射b=f(a),f从d维实空间映射到d维实空间；2)反向映射a=f -1 (b)；3）雅克比矩阵的行列式的对数（log determinant of the Jacobian）。
在本实施方式的一个实施例中，所述数据增广网络包括T个可逆变换层：
Figure 21603DEST_PATH_IMAGE007
其中，第T个可逆变换层g T (E T-1 ;X)将E T-1 变换成E T 并给出该变换的行列式log|∂E T /∂E T-1 |。
接下来，执行步骤S102，计算增广得到的数据的概率密度logq (Z|X)，包括：
计算初始输入的所述随机数在标准正态分布下的概率密度；
Figure 690482DEST_PATH_IMAGE008
在本式中，x为表示所述随机数的变量。需要说明的是，在标准正态分布中，方差为1，即上式中的I的值为1。
获取各层正向变换输出的雅克比矩阵的行列式的对数之和；
在本步骤中，可以通过∑ T log|∂E T /∂E T-1 |表示计算得到的各层正向变换输出的雅克比矩阵的行列式的对数之和；
以所述随机数在标准正态分布下的概率密度与各层正向变换输出的雅克比矩阵的行列式的对数之和的差作为增广得到的数据的概率密度。
在本步骤中，可以通过如下方式计算增广得到的数据的概率密度：
logq (Z|X)= logN (ϵ q ;0,I)-∑ T log|∂E T /∂E T-1 |。
可以理解的是，虽然在本申请的上述优选实施例中给出了一种概率密度的计算方式，但并不代表必须通过以上实施例中的方式实现概率密度的计算，在本实施方式的其他实施例中，计算概率密度的方式包括但不限于正规化流（Normaling Flow）、变分自编码器（Variational Autoencoder）、像素卷积神经网络（PixelCNN）、Transformer模型等。
接下来，执行步骤S103，将所述训练数据和增广得到的数据拼接；
在本步骤中，例如所述训练数据为
Figure 746163DEST_PATH_IMAGE009
，增广得到的数据为
Figure 500492DEST_PATH_IMAGE010
； 那么拼接得到的数据为(X,Z)，其维度为D+E维，即X的D维与Z的E维。
在这之后，执行所述步骤S104，通过所述概率变换网络基于拼接后的数据进行变换，所述概率变换网络可以与数据增广网络的结构类似，即包括至少一个可逆变换层，其中每一可逆变换层的正向变换的输入为拼接后的数据或前一可逆变换层输出的变换后的拼接数据，输出为变换后的拼接数据以及所述变换的雅克比矩阵的行列式的对数。同样可以参照图3，所述概率变换网络可以是一由输入层、多个可逆变换层和输出层依次串联的神经网络，所述可逆变换层可以由双射函数实现，具体的，每一双射函数包括三个部分：1）正向映射b=f(a),f从d维实空间映射到d维实空间；2)反向映射a=f -1 (b)；3）雅克比矩阵的行列式的对数（log determinant of the Jacobian）。
在本实施方式的一个实施例中，与所述数据增广网络类似，所述概率变换网络也可以包括T个可逆变换层：
Figure 237504DEST_PATH_IMAGE011
其中，第T个可逆变换层f T (E T-1 )将E T-1 变换成E T 并给出该变换的行列式log|∂E T /∂E T-1 |。
之后，执行步骤S105，获取变换后的拼接数据的概率密度，具体包括：
计算最终输出的变换后的拼接数据在标准正态分布下的概率密度logN (ϵ,0,I)；
具体的计算方式，在上面的实施例中已经进行了示例性的说明，在此不再赘述；
获取各层正向变换输出的雅克比矩阵的行列式的对数之和，即
∑ T log|∂E T /∂E T-1 |；
以所述拼接数据在标准正态分布下的概率密度与各层正向变换输出的雅克比矩阵的行列式的对数之和的和作为变换后的拼接数据的概率密度。
在本步骤中，可以通过如下方式计算变换后的拼接数据的概率密度：
logp (X,Z)= logN (ϵ,0,I)+∑ T log|∂E T /∂E T-1 |。
最后，执行步骤S106，以使增广得到的数据的概率密度和变换得到的数据的概率密度之差最小为目标进行优化，以更新所述数据增广网络和概率变换网络的参数，即目标函数为：L=logp(X,Z) -logq(Z|X)。
在得到目标函数之后，即可计算其梯度，并采用基于梯度的优化方法对产生式模型中的数据增广网络和概率变换网络进行更新，例如可以采用批量梯度下降（BatchGradient Descent，BGD），小批量梯度下降（Mini-Batch Gradient Descent，MBGD）和随机梯度下降（Stochastic Gradient Descent，SGD），在本实施方式的一个实施例中，采用随机梯度优化器（基于随机梯度下降原理封装好的API）进行优化更新，具体而言，在本方法的中，在执行步骤S101之前，可以随机初始化所述数据增广网络、概率变换网络和随机梯度优化器的参数，然后依次执行步骤S101-S105，在步骤S106中采用所述随机梯度优化器进行梯度处理，并更新所述数据增广网络、概率变换网络和随机梯度优化器的参数。
需要说明的是，虽然上述实施例中采用随机梯度优化器进行更新，但不代表仅仅可以通过以上方式达到优化更新的目的，在本实施方式的其他实施例中，还可以采用动量法、Adagrad、Adadelta或RMSProp等方法。
另外，为了得到更加优良的产生式模型，在本实施方式的一个实施例中，多次迭代更新所述产生式模型，即重复执行步骤S101-S106直到到达预设的停止条件，例如可以是预设的迭代次数。
本发明的实施例还提供了一种数据生成方法，参照图4，该数据生成方法利用所述产生式模型的训练方法训练得到的产生式模型进行数据生成。
具体而言，首先执行步骤S410，获取需生成的数据的生成参数；所述生成参数至少 包括需生成数据的数目，例如给定需生成的（样本）数据的数目为M，接下来，执行步骤S420， 根据需生成数据的数目提供服从正态分布的随机数；例如生成上述数目M的正态随机数
Figure 760889DEST_PATH_IMAGE012
，在本实施方式中，可以采用逆变换法和舍选法中的任一方式生成所 述服从正态分布的随机数，或者也可以事先生成多个随机数，在需要使用时，从事先生成的 多个随机数中抽取M个，本实施方式对随机数如何获得不做限定。
接下来，将所述随机数输入所述产生式模型的概率变换网络，由所述概率变换网 络进行逆变换；例如，所述随机数为ϵ，将其输入概率变换网络，进行逆变换，得到结果
Figure 190733DEST_PATH_IMAGE013
；其逆变换可以通过如下方式计算：
Figure 432359DEST_PATH_IMAGE014
需要说明的是，以上得到的结果Y的维度大小为M×（D+E），与需要增加的数据的原始维度D维并不一致，因此，还需要将从逆变换后的结果中保留特定维（即前D列）作为生成的数据，即维度大小为M×D的张量作为生成的样本。
下面结合具体实例对本申请提出的产生式模型的训练方法和数据生成方法进行说明。例如将本申请的一个实施方式中所述的方法用于训练图像的产生式模型。在本实施例中，每个训练样本X为一张图片，任一训练样本X（即训练数据）的维度D为宽32像素*高32像素*3通道=3072维。增广数据维度E可以任意选择，本例中选择其同样为宽32像素*高32像素*3通道=3072维。则增广后的数据(X, Z)为一32*32*6的张量。将其输入到一个包含T=10个可逆变换层的卷积神经网络f1, …, fT中，得到与(X, Z)同样为6144维的随机数ET，并按照文中所述方式（即步骤S105中所述的公式）计算其概率。其中每个可逆变换层选用包含10个残差模块（Residual Block），每个模块96通道的仿射耦合层（Affine Coupling Layer）。所述仿射耦合层（Affine Coupling Layer）的结构如图6所示，需要说明的是，所述可逆变换层采用仿射耦合层仅仅是本实施例的优选方式，并不代表必须选用才能实现本申请。此外，增广数据Z由一个E维（32*32*3）标准正态随机张量ϵ q 经过一T=4个可逆变换层组成的卷积神经网络g1, …, gT变换得到。其中每个可逆变换层同样选用包含10个残差模块（Residual Block），每个模块96通道的仿射耦合层（Affine Coupling Layer）。将训练完成的网络对应的目标函数L=log p(X,Z) -log q(Z|X)除以（ln 2 * D），换算成编码每维数据所需的比特数（bits-per-dimension）。
为了验证本申请的实际效果，发明人在CIFAR-10数据集上进行了图像生成实验（即采用上一实例训练得到的产生式模型进行了图像生成），生成结果如图5所示，结果表明，选取额外维数E=0时，编码每维需要3.08比特；而选取额外维数E=3072时，编码每维仅需2.98比特。因此可知，本发明提出的变分数据增广方法有效提高了模型的质量。在本领域中，生成自然图像是很难的任务，由图5可见，图中第6行第一张图是船，第1行第8列、第3行第7列是马；第10行第6列是鸵鸟等，由此本发明所提出的模型能较好地生成自然图像的颜色及纹理。
本实施方式中公开的产生式模型的训练方法和数据生成方法，在产生式模型中部署了多个依次串联的可逆变换层（也可称之为标准化流或正规化流），可以高效的完成数据生成任务，另外，对目标函数的构建采用了变分推断的思想，可以基于训练数据学习到最优的数据增广网络和概率变换网络，其中所述数据增广网络中得到的增广数据维度增多，进而提升了模型表达能力，最终使得所述训练方法能够高效地学习富有表达能力的产生式模型。
示例性装置
在介绍了本发明示例性实施方式的方法之后，接下来，参考图5对本发明示例性实施方式的产生式模型的训练装置，所述产生式模型包括数据增广网络和概率变换网络，所述装置包括：
数据增广模块510，被配置为通过所述数据增广网络基于训练数据和一随机数进行数据增广；
第一概率密度计算模块520，被配置为计算增广得到的数据的概率密度；
数据拼接模块530，被配置为将所述训练数据和增广得到的数据拼接；
数据变换模块540，被配置为通过所述概率变换网络基于拼接后的数据进行变换；
第二概率密度计算模块550，被配置为获取变换后的拼接数据的概率密度；
优化模块560，被配置为以使增广得到的数据的概率密度和变换得到的数据的概率密度之差最小为目标进行优化，以更新所述数据增广网络和概率变换网络的参数。
在本实施方式的一个实施例中，所述随机数根据预设条件生成。
在本实施方式的一个实施例中，所述预设条件至少包括待生成随机数的维度以及生成的随机数需服从的数据分布。
在本实施方式的一个实施例中，所述训练数据中包括多个训练样本。
在本实施方式的一个实施例中，所述数据增广网络包括至少一个可逆变换层，其中每一可逆变换层的正向变换的输入为所述训练数据和初始输入的随机数或前一可逆变换层输出的变换后的随机数，输出为变换后的随机数以及所述变换的雅克比矩阵的行列式的对数。
在本实施方式的一个实施例中，所述第一概率密度计算模块包括：
第一计算单元，被配置为计算初始输入的所述随机数在标准正态分布下的概率密度；
第一获取单元，被配置为获取各层正向变换输出的雅克比矩阵的行列式的对数之和；
第二计算单元，被配置为以所述随机数在标准正态分布下的概率密度与各层正向变换输出的雅克比矩阵的行列式的对数之和的差作为增广得到的数据的概率密度。
在本实施方式的一个实施例中，所述概率变换网络包括至少一个可逆变换层，其中每一可逆变换层的正向变换的输入为拼接后的数据或前一可逆变换层输出的变换后的拼接数据，输出为变换后的拼接数据以及所述变换的雅克比矩阵的行列式的对数。
在本实施方式的一个实施例中，所述第二概率密度计算模块包括：
第三计算单元，被配置为计算最终输出的变换后的拼接数据在标准正态分布下的概率密度；
第二获取单元，被配置为获取各层正向变换输出的雅克比矩阵的行列式的对数之和；
第四计算单元，被配置为以所述拼接数据在标准正态分布下的概率密度与各层正向变换输出的雅克比矩阵的行列式的对数之和的和作为变换后的拼接数据的概率密度。
在本实施方式的一个实施例中，所述优化模块被配置为采用随机梯度优化法进行优化。
在本实施方式的一个实施例中，所述优化模块被配置为根据预设次数进行优化。
本发明的实施例还提供了一种数据生成装置，利用所述产生式模型的训练装置训练得到的产生式模型进行数据生成。
在本实施方式的一个实施例中，参照图6，所述装置包括：
参数获取模块610，被配置为获取需生成的数据的生成参数；
数据生成模块620，被配置为基于所述生成参数利用所述产生式模型进行数据生成。
在本实施方式的一个实施例中，所述生成参数至少包括需生成数据的数目。
在本实施方式的一个实施例中，数据生成模块620包括：
随机数提供单元，被配置为根据需生成数据的数目提供服从正态分布的随机数；
数据生成单元，被配置为将所述随机数输入所述产生式模型的概率变换网络，由所述概率变换网络进行逆变换；
数据选择单元，被配置为从逆变换后的结果中保留特定维作为生成的数据。
在本实施方式的一个实施例中，所述数据选择单元还被配置为保留结果中的前特定维数据作为生成的数据，其中所述特定维的维数与训练数据的维数相同。
示例性介质
在介绍了本发明示例性实施方式的方法和装置之后，接下来，参考图7对本发明示例性实施方式的计算机可读存储介质进行说明，请参考图7，其示出的计算机可读存储介质为光盘70，其上存储有计算机程序（即程序产品），所述计算机程序在被处理器运行时，会实现上述方法实施方式中所记载的各步骤，例如，通过所述数据增广网络基于训练数据和一随机数进行数据增广；计算增广得到的数据的概率密度；将所述训练数据和增广得到的数据拼接；通过所述概率变换网络基于拼接后的数据进行变换；获取变换后的拼接数据的概率密度；以使增广得到的数据的概率密度和变换得到的数据的概率密度之差最小为目标进行优化，以更新所述数据增广网络和概率变换网络的参数；各步骤的具体实现方式在此不再重复说明。
需要说明的是，所述计算机可读存储介质的例子还可以包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他光学、磁性存储介质，在此不再一一赘述。
示例性计算设备
在介绍了本发明示例性实施方式的方法、介质和装置之后，接下来，参考图 对本发明示例性实施方式的用于训练产生式模型和/或生成数据的计算设备。
图8示出了适于用来实现本发明实施方式的示例性计算设备80的框图，该计算设备80可以是计算机系统或服务器。图8显示的计算设备80仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图8所示，计算设备80的组件可以包括但不限于：一个或者多个处理器或者处理单元801，系统存储器802，连接不同系统组件（包括系统存储器802和处理单元801）的总线803。
计算设备80典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算设备80访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
系统存储器802可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器（RAM）8021和/或高速缓存存储器8022。计算设备80可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，ROM8023可以用于读写不可移动的、非易失性磁介质（图8中未显示，通常称为“硬盘驱动器”）。尽管未在图8中示出，可以提供用于对可移动非易失性磁盘（例如“软盘”）读写的磁盘驱动器，以及对可移动非易失性光盘（例如CD-ROM，DVD-ROM或者其它光介质）读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线803相连。系统存储器802中可以包括至少一个程序产品，该程序产品具有一组（例如至少一个）程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组（至少一个）程序模块8024的程序/实用工具8025，可以存储在例如系统存储器802中，且这样的程序模块8024包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块8024通常执行本发明所描述的实施例中的功能和/或方法。
计算设备80也可以与一个或多个外部设备804（如键盘、指向设备、显示器等）通信。这种通信可以通过输入/输出（I/O）接口805进行。并且，计算设备80还可以通过网络适配器806与一个或者多个网络（例如局域网（LAN），广域网（WAN）和/或公共网络，例如因特网）通信。如图8所示，网络适配器806通过总线803与计算设备80的其它模块（如处理单元801等）通信。应当明白，尽管图8中未示出，可以结合计算设备80使用其它硬件和/或软件模块。
处理单元801通过运行存储在系统存储器802中的程序，从而执行各种功能应用以及数据处理，例如，通过所述数据增广网络基于训练数据和一随机数进行数据增广；计算增广得到的数据的概率密度；将所述训练数据和增广得到的数据拼接；通过所述概率变换网络基于拼接后的数据进行变换；获取变换后的拼接数据的概率密度；以使增广得到的数据的概率密度和变换得到的数据的概率密度之差最小为目标进行优化，以更新所述数据增广网络和概率变换网络的参数。各步骤的具体实现方式在此不再重复说明。应当注意，尽管在上文详细描述中提及了产生式模型的训练和数据生成装置的若干单元/模块或子单元/子模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之，上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。
在本发明的描述中，需要说明的是，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。
此外，尽管在附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

Claims (32)

1.一种产生式模型的训练方法，所述产生式模型包括数据增广网络和概率变换网络，所述方法包括：
通过所述数据增广网络基于训练数据和一随机数进行数据增广；
计算增广得到的数据的概率密度；
将所述训练数据和增广得到的数据拼接；
通过所述概率变换网络基于拼接后的数据进行变换；
获取变换后的拼接数据的概率密度；
以使增广得到的数据的概率密度和变换得到的数据的概率密度之差最小为目标进行优化，以更新所述数据增广网络和概率变换网络的参数。
2.如权利要求1所述的产生式模型的训练方法，其中，所述随机数根据预设条件生成。
3.如权利要求2所述的产生式模型的训练方法，其中，所述预设条件至少包括待生成随机数的维度以及生成的随机数需服从的数据分布。
4.如权利要求1-3中任一所述的产生式模型的训练方法，其中，所述训练数据中包括多个训练样本。
5.如权利要求4所述的产生式模型的训练方法，其中，所述数据增广网络包括至少一个可逆变换层，其中每一可逆变换层的正向变换的输入为所述训练数据和初始输入的随机数或前一可逆变换层输出的变换后的随机数，输出为变换后的随机数以及所述变换的雅克比矩阵的行列式的对数。
6.如权利要求5所述的产生式模型的训练方法，其中，计算增广得到的数据的概率密度，包括：
计算初始输入的所述随机数在标准正态分布下的概率密度；
获取各层正向变换输出的雅克比矩阵的行列式的对数之和；
以所述随机数在标准正态分布下的概率密度与各层正向变换输出的雅克比矩阵的行列式的对数之和的差作为增广得到的数据的概率密度。
7.如权利要求5或6所述的产生式模型的训练方法，其中，所述概率变换网络包括至少一个可逆变换层，其中每一可逆变换层的正向变换的输入为拼接后的数据或前一可逆变换层输出的变换后的拼接数据，输出为变换后的拼接数据以及所述变换的雅克比矩阵的行列式的对数。
8.如权利要求7所述的产生式模型的训练方法，其中，获取变换后的拼接数据的概率密度，包括：
计算最终输出的变换后的拼接数据在标准正态分布下的概率密度；
获取各层正向变换输出的雅克比矩阵的行列式的对数之和；
以所述拼接数据在标准正态分布下的概率密度与各层正向变换输出的雅克比矩阵的行列式的对数之和的和作为变换后的拼接数据的概率密度。
9.如权利要求4所述的产生式模型的训练方法，其中，采用随机梯度优化法进行优化。
10.如权利要求9所述的产生式模型的训练方法，其中，根据预设次数进行优化。
11.一种数据生成方法，其中，利用权利要求1-10中任一项所述的产生式模型的训练方法训练得到的产生式模型进行数据生成。
12.如权利要求11所述的数据生成方法，其中，所述方法包括：
获取需生成的数据的生成参数；
基于所述生成参数利用所述产生式模型进行数据生成。
13.如权利要求12所述的数据生成方法，其中，所述生成参数至少包括需生成数据的数目。
14.如权利要求13所述的数据生成方法，其中，基于所述生成参数利用所述产生式模型进行数据生成，包括：
根据需生成数据的数目提供服从正态分布的随机数；
将所述随机数输入所述产生式模型的概率变换网络，由所述概率变换网络进行逆变换；
从逆变换后的结果中保留特定维作为生成的数据。
15.如权利要求14所述的数据生成方法，其中，保留结果中的前特定维数据作为生成的数据，其中所述特定维的维数与训练数据的维数相同。
16.一种产生式模型的训练装置，所述产生式模型包括数据增广网络和概率变换网络，所述装置包括：
数据增广模块，被配置为通过所述数据增广网络基于训练数据和一随机数进行数据增广；
第一概率密度计算模块，被配置为计算增广得到的数据的概率密度；
数据拼接模块，被配置为将所述训练数据和增广得到的数据拼接；
数据变换模块，被配置为通过所述概率变换网络基于拼接后的数据进行变换；
第二概率密度计算模块，被配置为获取变换后的拼接数据的概率密度；
优化模块，被配置为以使增广得到的数据的概率密度和变换得到的数据的概率密度之差最小为目标进行优化，以更新所述数据增广网络和概率变换网络的参数。
17.如权利要求16所述的产生式模型的训练装置，其中，所述随机数根据预设条件生成。
18.如权利要求17所述的产生式模型的训练装置，其中，所述预设条件至少包括待生成随机数的维度以及生成的随机数需服从的数据分布。
19.如权利要求16-18中任一所述的产生式模型的训练装置，其中，所述训练数据中包括多个训练样本。
20.如权利要求19所述的产生式模型的训练装置，其中，所述数据增广网络包括至少一个可逆变换层，其中每一可逆变换层的正向变换的输入为所述训练数据和初始输入的随机数或前一可逆变换层输出的变换后的随机数，输出为变换后的随机数以及所述变换的雅克比矩阵的行列式的对数。
21.如权利要求20所述的产生式模型的训练装置，其中，所述第一概率密度计算模块包括：
第一计算单元，被配置为计算初始输入的所述随机数在标准正态分布下的概率密度；
第一获取单元，被配置为获取各层正向变换输出的雅克比矩阵的行列式的对数之和；
第二计算单元，被配置为以所述随机数在标准正态分布下的概率密度与各层正向变换输出的雅克比矩阵的行列式的对数之和的差作为增广得到的数据的概率密度。
22.如权利要求17或21所述的产生式模型的训练装置，其中，所述概率变换网络包括至少一个可逆变换层，其中每一可逆变换层的正向变换的输入为拼接后的数据或前一可逆变换层输出的变换后的拼接数据，输出为变换后的拼接数据以及所述变换的雅克比矩阵的行列式的对数。
23.如权利要求22所述的产生式模型的训练装置，其中，所述第二概率密度计算模块包括：
第三计算单元，被配置为计算最终输出的变换后的拼接数据在标准正态分布下的概率密度；
第二获取单元，被配置为获取各层正向变换输出的雅克比矩阵的行列式的对数之和；
第四计算单元，被配置为以所述拼接数据在标准正态分布下的概率密度与各层正向变换输出的雅克比矩阵的行列式的对数之和的和作为变换后的拼接数据的概率密度。
24.如权利要求19所述的产生式模型的训练装置，其中，所述优化模块被配置为采用随机梯度优化法进行优化。
25.如权利要求23所述的产生式模型的训练装置，其中，所述优化模块被配置为根据预设次数进行优化。
26.一种数据生成装置，其中，利用权利要求16所述的产生式模型的训练装置训练得到的产生式模型进行数据生成。
27.如权利要求26所述的数据生成装置，其中，所述装置还包括：
参数获取模块，被配置为获取需生成的数据的生成参数；
数据生成模块，被配置为基于所述生成参数利用所述产生式模型进行数据生成。
28.如权利要求27所述的数据生成装置，其中，所述生成参数至少包括需生成数据的数目。
29.如权利要求28所述的数据生成装置，其中，数据生成模块包括：
随机数提供单元，被配置为根据需生成数据的数目提供服从正态分布的随机数；
数据生成单元，被配置为将所述随机数输入所述产生式模型的概率变换网络，由所述概率变换网络进行逆变换；
数据选择单元，被配置为从逆变换后的结果中保留特定维作为生成的数据。
30.如权利要求29所述的数据生成装置，其中，所述数据选择单元还被配置为保留结果中的前特定维数据作为生成的数据，其中所述特定维的维数与训练数据的维数相同。
31.一种计算机可读存储介质，所述存储介质存储有计算机程序，
所述计算机程序用于执行上述权利要求1-10或11-15中 任一所述的方法。
32.一种计算设备，所述计算设备包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于执行上述权利要求1-10或11-15中任一所述的方法。
CN202010697904.XA 2020-07-20 2020-07-20 产生式模型的训练方法、数据生成方法、装置、介质和设备 Active CN111598189B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010697904.XA CN111598189B (zh) 2020-07-20 2020-07-20 产生式模型的训练方法、数据生成方法、装置、介质和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010697904.XA CN111598189B (zh) 2020-07-20 2020-07-20 产生式模型的训练方法、数据生成方法、装置、介质和设备

Publications (2)

Publication Number Publication Date
CN111598189A true CN111598189A (zh) 2020-08-28
CN111598189B CN111598189B (zh) 2020-10-30

Family

ID=72186729

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010697904.XA Active CN111598189B (zh) 2020-07-20 2020-07-20 产生式模型的训练方法、数据生成方法、装置、介质和设备

Country Status (1)

Country Link
CN (1) CN111598189B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1564600A (zh) * 2004-04-22 2005-01-12 上海交通大学 动态场景下的运动物体检测方法
WO2011137407A1 (en) * 2010-04-30 2011-11-03 Vucomp, Inc. Microcalcification detection and classification in radiographic images
CN103870837A (zh) * 2014-02-25 2014-06-18 奇瑞汽车股份有限公司 一种检测待检测区域内是否存在车辆的方法和装置
CN103868692A (zh) * 2014-03-18 2014-06-18 电子科技大学 基于核密度估计和k-l散度的旋转机械故障诊断方法
CN104537252A (zh) * 2015-01-05 2015-04-22 深圳市腾讯计算机系统有限公司 用户状态单分类模型训练方法和装置
CN105975992A (zh) * 2016-05-18 2016-09-28 天津大学 一种基于自适应升采样的不平衡数据集分类方法
CN108230339A (zh) * 2018-01-31 2018-06-29 浙江大学 一种基于伪标签迭代标注的胃癌病理切片标注补全方法
CN110569881A (zh) * 2019-08-12 2019-12-13 北京智芯原动科技有限公司 基于卷积神经网络的数据增广方法及装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1564600A (zh) * 2004-04-22 2005-01-12 上海交通大学 动态场景下的运动物体检测方法
WO2011137407A1 (en) * 2010-04-30 2011-11-03 Vucomp, Inc. Microcalcification detection and classification in radiographic images
CN103870837A (zh) * 2014-02-25 2014-06-18 奇瑞汽车股份有限公司 一种检测待检测区域内是否存在车辆的方法和装置
CN103868692A (zh) * 2014-03-18 2014-06-18 电子科技大学 基于核密度估计和k-l散度的旋转机械故障诊断方法
CN104537252A (zh) * 2015-01-05 2015-04-22 深圳市腾讯计算机系统有限公司 用户状态单分类模型训练方法和装置
CN105975992A (zh) * 2016-05-18 2016-09-28 天津大学 一种基于自适应升采样的不平衡数据集分类方法
CN108230339A (zh) * 2018-01-31 2018-06-29 浙江大学 一种基于伪标签迭代标注的胃癌病理切片标注补全方法
CN110569881A (zh) * 2019-08-12 2019-12-13 北京智芯原动科技有限公司 基于卷积神经网络的数据增广方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
黄玮等: "极小子样试验的虚拟增广样本评估方法", 《西北工业大学学报》 *

Also Published As

Publication number Publication date
CN111598189B (zh) 2020-10-30

Similar Documents

Publication Publication Date Title
US20230419076A1 (en) Recurrent neural networks for data item generation
CN111369681B (zh) 三维模型的重构方法、装置、设备及存储介质
US11348004B2 (en) Method of managing data representation for deep learning, method of processing data for deep learning and deep learning system performing the same
CN111079532A (zh) 一种基于文本自编码器的视频内容描述方法
CN110825884A (zh) 基于人工智能的嵌入表示处理方法、装置及电子设备
JP7403638B2 (ja) 高速なスパースニューラルネットワーク
CN110728295B (zh) 半监督式的地貌分类模型训练和地貌图构建方法
CN114418853B (zh) 基于相似图像检索的图像超分辨率优化方法、介质及设备
CN113065013B (zh) 图像标注模型训练和图像标注方法、系统、设备及介质
WO2022100490A1 (en) Methods and systems for deblurring blurry images
CN112613356B (zh) 一种基于深度注意力融合网络的动作检测方法及装置
JP2023533907A (ja) 自己注意ベースのニューラルネットワークを使用した画像処理
CN114549913A (zh) 一种语义分割方法、装置、计算机设备和存储介质
CN112101364A (zh) 基于参数重要性增量学习的语义分割方法
CN113626610A (zh) 知识图谱嵌入方法、装置、计算机设备和存储介质
CN114780768A (zh) 一种视觉问答任务处理方法、系统、电子设备及存储介质
CN106407932A (zh) 基于分数阶微积分与广义逆神经网络的手写数字识别方法
KR102543690B1 (ko) 사전 정보 학습 기반 영상 업스케일링 장치 및 방법
CN111598189B (zh) 产生式模型的训练方法、数据生成方法、装置、介质和设备
CN115661530A (zh) 一种图像数据增强方法、系统及电子设备
CN115018059A (zh) 数据处理方法及装置、神经网络模型、设备、介质
CN113902631A (zh) 图像处理方法、电子设备和存储介质
CN112668659A (zh) 模型训练方法、平台和电子设备
CN112184592A (zh) 一种图像修复方法、装置、设备及计算机可读存储介质
CN110866866A (zh) 图像仿色处理方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20200828

Assignee: Beijing Intellectual Property Management Co.,Ltd.

Assignor: Beijing Ruili Wisdom Technology Co.,Ltd.

Contract record no.: X2023110000073

Denomination of invention: Training methods, data generation methods, devices, media, and equipment for production models

Granted publication date: 20201030

License type: Common License

Record date: 20230531

EE01 Entry into force of recordation of patent licensing contract