CN115035962A - 基于变分自编码器和生成对抗网络的虚拟样本生成及软测量建模方法 - Google Patents
基于变分自编码器和生成对抗网络的虚拟样本生成及软测量建模方法 Download PDFInfo
- Publication number
- CN115035962A CN115035962A CN202210091114.6A CN202210091114A CN115035962A CN 115035962 A CN115035962 A CN 115035962A CN 202210091114 A CN202210091114 A CN 202210091114A CN 115035962 A CN115035962 A CN 115035962A
- Authority
- CN
- China
- Prior art keywords
- virtual
- training
- samples
- sample
- encoder
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 90
- 238000005259 measurement Methods 0.000 title claims abstract description 22
- 230000008569 process Effects 0.000 claims abstract description 45
- 238000012549 training Methods 0.000 claims description 115
- 238000012360 testing method Methods 0.000 claims description 59
- 238000004519 manufacturing process Methods 0.000 claims description 46
- 229930182555 Penicillin Natural products 0.000 claims description 15
- JGSARLDLIJGVTE-MBNYWOFBSA-N Penicillin G Chemical compound N([C@H]1[C@H]2SC([C@@H](N2C1=O)C(O)=O)(C)C)C(=O)CC1=CC=CC=C1 JGSARLDLIJGVTE-MBNYWOFBSA-N 0.000 claims description 15
- 229940049954 penicillin Drugs 0.000 claims description 15
- 238000012795 verification Methods 0.000 claims description 14
- 238000012216 screening Methods 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 5
- 238000009826 distribution Methods 0.000 abstract description 11
- 238000012544 monitoring process Methods 0.000 abstract description 4
- 238000009825 accumulation Methods 0.000 abstract description 3
- 238000000855 fermentation Methods 0.000 description 10
- 230000004151 fermentation Effects 0.000 description 10
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 239000000758 substrate Substances 0.000 description 3
- CURLTUGMZLYLDI-UHFFFAOYSA-N Carbon dioxide Chemical compound O=C=O CURLTUGMZLYLDI-UHFFFAOYSA-N 0.000 description 2
- 238000004113 cell culture Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- 241000894006 Bacteria Species 0.000 description 1
- 239000002253 acid Substances 0.000 description 1
- 238000005273 aeration Methods 0.000 description 1
- 230000003698 anagen phase Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000003042 antagnostic effect Effects 0.000 description 1
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 229910002092 carbon dioxide Inorganic materials 0.000 description 1
- 239000001569 carbon dioxide Substances 0.000 description 1
- 239000000498 cooling water Substances 0.000 description 1
- 238000010219 correlation analysis Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003912 environmental pollution Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 235000015097 nutrients Nutrition 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000013450 outlier detection Methods 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16C—COMPUTATIONAL CHEMISTRY; CHEMOINFORMATICS; COMPUTATIONAL MATERIALS SCIENCE
- G16C20/00—Chemoinformatics, i.e. ICT specially adapted for the handling of physicochemical or structural data of chemical particles, elements, compounds or mixtures
- G16C20/10—Analysis or design of chemical reactions, syntheses or processes
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16C—COMPUTATIONAL CHEMISTRY; CHEMOINFORMATICS; COMPUTATIONAL MATERIALS SCIENCE
- G16C20/00—Chemoinformatics, i.e. ICT specially adapted for the handling of physicochemical or structural data of chemical particles, elements, compounds or mixtures
- G16C20/30—Prediction of properties of chemical compounds, compositions or mixtures
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16C—COMPUTATIONAL CHEMISTRY; CHEMOINFORMATICS; COMPUTATIONAL MATERIALS SCIENCE
- G16C20/00—Chemoinformatics, i.e. ICT specially adapted for the handling of physicochemical or structural data of chemical particles, elements, compounds or mixtures
- G16C20/70—Machine learning, data mining or chemometrics
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Chemical & Material Sciences (AREA)
- Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Crystallography & Structural Chemistry (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Health & Medical Sciences (AREA)
- Chemical Kinetics & Catalysis (AREA)
- Analytical Chemistry (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了一种基于变分自编码器和生成对抗网络的虚拟样本生成方法及软测量建模方法。本发明引入变分自编码器和WGANgp相结合的监督虚拟样本生成模型，该模型同时学习输入样本和输出样本的数据分布，生成器在最终的潜在空间中采样并生成带有输出的虚拟样本，可以避免误差二次累积。考虑到不是所有的虚拟样本都能提高模型的预测性能，通过对输入样本扰动，构建一组具有多样性的SV‑WGANgp模型，结合高斯过程回归模型对每个SV‑WGANgp模型生成的虚拟样本进行评估，剔除无效的虚拟样本；通过使用非标记样本对剔除后的虚拟样本进行二次选择，有效保证了最终虚拟样本的有效性；最终构建的虚拟样本生成模型和采用的虚拟样本选择方式为小样本问题提供了有效的途径。
Description
技术领域
本发明涉及一种基于变分自编码器和生成对抗网络的虚拟样本生成及软测量建模方法，属于工业过程控制领域。
背景技术
随着监测、控制和优化等技术方面的快速发展，各种过程工业领域例如化工、有色金属加工等已开始广泛采用成熟的技术及方法，在一定程度上保证了生产的正常运行、提高了资源的利用率、减轻了环境污染程度。在工业生产过程中，生产质量和效率往往取决于各种变量，其中很多都是关键变量。然而，由于测量仪器造价昂贵或者不存在，普通的传感器直接测量一些关键质量可能会很困难。为了解决上述困难，把容易测量的变量作为模型的输入，难以测量的变量作为模型的输出，以构建合适的数据驱动软测量模型。目前大多数研究主要集中在模型的结构和训练方法上，很少关注训练数据的数量和质量。通常情况下，充足且高质量的训练数据可以提高模型的预测精度，但是由于工业现场环境恶劣等因素的存在，直接导致了所采集到的高质量样本数量很少。关于数据集的预处理问题已经有了很多成果，例如数据的降维、数据去噪、异常值检测、缺失值检测、相关性分析等，而对于数据生成的研究依然有限。
除此之外，因为关键质量参数获取困难，且滞后性较大，所以获取有真实标签的样本十分困难。其次，大多数传统的软测量模型只利用了有限的有标签样本，直接丢弃工业过程中大量的易于获取且带有丰富信息的非标记样本。因此，开发出能够同时利用有标签数据和大量非标记数据的方法来提升模型的预测性能已经得到了越来越多的关注度。
现有的虚拟样本生成的方法大都只考虑了输入样本的扩充，对应的输出通过在标记样本上建立的模型预测，这可能会导致误差二次累积。
发明内容
本发明提供了一种基于变分自编码器和生成对抗网络的虚拟样本生成方法及软测量建模方法，通过把样本标签作为新增输入维度，不仅仅只生成样本的输入，还同时生成样本的输出，以降低误差累积，另外利用非标记样本中的信息对虚拟样本进行二次挑选，为增加工业过程中高质量样本的数量提供了较为有效的方法。
本发明的技术方案是：一种基于变分自编码器和生成对抗网络的虚拟样本生成方法，包括：
步骤1：获取工业过程数据，确定和工业过程数据的关键变量y密切相关的过程变量作为辅助变量，构建辅助变量向量x；其中，x＝[x1,x2,...,xd]，xd表示第d个辅助变量；
步骤2：依据关键变量y、辅助变量向量x对工业过程数据进行筛选，获得工业过程数据集；其中，工业过程数据集包括标记数据集、非标记数据集；
步骤3：对工业过程数据集进行归一化处理，将归一化后的标记数据集划分为训练集Dtrn、测试集Dtest和验证集Dval，将归一化后的非标记数据集表示为Xu；
步骤4：通过对训练集Dtrn中训练样本的扰动，形成多个训练子集，对多个训练子集构建一组多样的监督虚拟样本生成模型及生成虚拟样本。
每个训练子集用于构建多样的监督虚拟样本生成模型及生成虚拟样本的过程为：
从训练集Dtrn中采集固定个数n的样本，重复M次，即得到M个训练子集，
其中Dm表示第m个训练子集，xm,i表示第m个训练集的第i个样本，yi为xm,i对应的关键变量值，即真实标签值；
利用训练子集训练监督虚拟样本生成模型后生成虚拟样本。
所述监督虚拟样本生成模型包括变分自动编码器、生成对抗网络，将变分自动编码器中的解码器作为生成对抗网络的生成器，形成监督虚拟样本生成模型。
根据本发明实施例的另一方面，还提供了一种基于变分自编码器和生成对抗网络的虚拟样本生成系统，包括：
构建模块，用于获取工业过程数据，确定和工业过程数据的关键变量y密切相关的过程变量作为辅助变量，构建辅助变量向量x；其中，x＝[x1,x2,...,xd]，xd表示第d个辅助变量；
获得模块，用于依据关键变量y、辅助变量向量x对工业过程数据进行筛选，获得工业过程数据集；其中，工业过程数据集包括标记数据集、非标记数据集；
划分模块，用于对工业过程数据集进行归一化处理，将归一化后的标记数据集划分为训练集Dtrn、测试集Dtest和验证集Dval，将归一化后的非标记数据集表示为Xu；
生成模块，用于通过对训练集Dtrn中训练样本的扰动，形成多个训练子集，对多个训练子集构建一组多样的监督虚拟样本生成模型及生成虚拟样本。
根据本发明实施例的另一方面，还提供了一种基于变分自编码器和生成对抗网络的软测量建模方法，包括上述中任一项所述的虚拟样本生成方法，还包括：
步骤5：采用扩充前的训练子集、虚拟样本扩充到对应训练子集分别作为高斯过程回归模型GPR的训练集进行高斯过程回归模型GPR的训练；对比扩充前后训练的高斯过程回归模型GPR在验证集Dval上的预测性能：如果性能提升，则保留虚拟样本；否则，去除；
步骤6：利用非标记样本Xu对步骤5中保留的虚拟样本进行挑选；将挑选出的虚拟样本用来扩充原始训练集Dtrn；构成最终的训练集Dreal+virtual；
步骤7：在最终的训练集Dreal+virtual上构建高斯过程回归模型GPR，并在测试集Dtest上进行测试，最终实现对关键变量的离线估计。
所述挑选过程为：利用非标记样本Xu与虚拟样本进行欧氏距离的计算；按照欧氏距离由小到大的顺序排列虚拟样本；取前Q个不重复的虚拟样本加入到原始训练集Dtrn；构成最终的训练集Dreal+virtual。
根据本发明实施例的另一方面，还提供了一种基于变分自编码器和生成对抗网络的软测量建模系统，包括基于变分自编码器和生成对抗网络的虚拟样本生成系统，还包括：
对比模块，用于采用扩充前的训练子集、虚拟样本扩充到对应训练子集分别作为高斯过程回归模型GPR的训练集进行高斯过程回归模型GPR的训练；对比扩充前后训练的高斯过程回归模型GPR在验证集Dval上的预测性能：如果性能提升，则保留虚拟样本；否则，去除；
挑选模块，用于利用非标记样本Xu对对比模块中保留的虚拟样本进行挑选；将挑选出的虚拟样本用来扩充原始训练集Dtrn；构成最终的训练集Dreal+virtual；
测试模块，用于在最终的训练集Dreal+virtual上构建高斯过程回归模型GPR，并在测试集Dtest上进行测试，最终实现对关键变量的离线估计。
根据本发明实施例的另一方面，还提供了一种青霉素浓度预测方法，采用上述所述的基于变分自编码器和生成对抗网络的软测量建模方法进行。
本发明的有益效果是：本发明所提出的基于监督变分自编码器和生成对抗网络的虚拟样本生成软测量建模方法，考虑了传统虚拟样本生成模型只生成虚拟输入，而准确输出难以获取以及大量的无标签数据没有有效利用的问题，引入变分自编码器和WGANgp相结合的监督虚拟样本生成模型。该模型同时学习输入样本和输出样本的数据分布，生成器在最终的潜在空间中采样并生成带有输出的虚拟样本，可以避免误差二次累积。考虑到不是所有的虚拟样本都能提高模型的预测性能，通过对输入样本扰动，构建一组具有多样性的SV-WGANgp模型，结合高斯过程回归模型对每个SV-WGANgp模型生成的虚拟样本进行评估，剔除无效的虚拟样本。通过使用非标记样本对剔除后的虚拟样本进行二次选择，有效保证了最终虚拟样本的有效性。最终构建的虚拟样本生成模型和采用的虚拟样本选择方式为小样本问题提供了有效的途径。
附图说明
图1是本发明中基于监督变分自编码器和生成对抗网络的虚拟样本生成及软测量建模方法的流程图；
图2是传统高斯过程回归模型的预测值与真实值的曲线图；
图3是本发明中基于监督变分自编码器和生成对抗网络的虚拟样本生成及软测量建模方法在青霉素发酵过程案例中预测值与真实值的曲线图。
具体实施方式
下面结合附图和实施例，对发明做进一步的说明，但本发明的内容并不限于所述范围。
实施例1：如图1-3所示，一种基于变分自编码器和生成对抗网络的虚拟样本生成方法，包括：
步骤1：获取工业过程数据，确定和工业过程数据的关键变量y密切相关的过程变量作为辅助变量，构建辅助变量向量x；其中，x＝[x1,x2,...,xd]，xd表示第d个辅助变量；
具体而言，通过集散控制系统或离线检测的方法来收集工业过程数据，利用特征选择等方法(如：PCA、SAE等)确定和关键变量y密切相关的过程变量作为辅助变量，构建辅助变量向量x；
步骤2：依据关键变量y、辅助变量向量x对工业过程数据进行筛选，获得工业过程数据集；其中，工业过程数据集包括标记数据集、非标记数据集；
步骤3：对工业过程数据集进行归一化处理，将归一化后的标记数据集划分为训练集Dtrn、测试集Dtest和验证集Dval，将归一化后的非标记数据集表示为Xu；
具体而言，利用Z-Score方法，对数据集进行归一化处理，将不同量级的数据统一转换成同一量级，从而保证数据之间的可比性。
步骤4：通过对训练集Dtrn中训练样本的扰动，形成多个训练子集，对多个训练子集构建一组多样的监督虚拟样本生成模型及生成虚拟样本。即用于在不同的训练子集上生成不同的虚拟样本。
可选地，每个训练子集用于构建多样的监督虚拟样本生成模型及生成虚拟样本的过程为：
利用Bootstrap方法从训练集Dtrn中采集固定个数n的样本，重复M次，即得到M个训练子集，
其中Dm表示第m个训练子集，xm,i表示第m个训练集的第i个样本，yi为xm,i对应的关键变量值，即真实标签值；
利用训练子集训练监督虚拟样本生成模型后生成虚拟样本。
可选地，所述监督虚拟样本生成模型包括变分自动编码器、生成对抗网络，将变分自动编码器中的解码器作为生成对抗网络的生成器，形成监督虚拟样本生成模型。模型前半部分在重构误差的约束下学习数据分布，模型后半部分经过判别器的判别促使生成器生成的虚拟样本更加接近真实样本。训练结束后，从标准分布中随机采样获得生成器的输入，进而输出虚拟样本。
具体而言，所述监督虚拟样本生成模型具体的构建过程如下：
①变分自动编码器VAE，将复杂的观测空间x隐射到相对简单的潜在空间z，其边际似然为：
pθ(x)＝∫pθ(z)pθ(x|z)dz (1)
真实后验如(2)所示：
由于潜在空间z和生成模型参数θ具有不确定性，所以把qθ(z|x)作为难以处理的真实后验的近似值，边际对数似然可写为：
其中，公式右侧第一项为近似值与真实后验的KL散度，第二项为输入x的边际似然证据下界，可表示为：
其中，使得证据下界最小的参数θ和
由神经网络的反向传播联合学习得到。
变分自编码器假设先验分布pθ(z)是标准多元高斯分布N(z；0,I)，真实后验pθ(z|x)也是多元高斯分布。令μk、σk分别表示第k个均值和标准差，则：
综上，该模型在任何输入x处的结果近似值为：
其中，j表示采样数，z(j)＝μ+σ⊙∈(j),∈(j)～N(0,I)，⊙表示按元素相乘。
②本发明采用的变分自编码器在上述①的基础上把样本的真实标签作为输入的额外维度，利用编码器构成潜在空间z后再利用解码器从潜在空间z中采样，以重构样本极其对应的标签。编码器和解码器对称使用多个隐藏层的全连接神经网络。在1)中的假设条件下，近似后验和先验之间的KL散度为：
其中，μxy和logσxy 2是由编码器学习得到。
把从N(z；μxy,logσxy 2)中采样得到的z作为解码器的输入，用于对样本极其对应标签进行重构。利用重参数化的方法，将z～qθ(z|x,y)重参数化为z＝μxy+σxy⊙∈，∈～N(0,I)。最终的证据下界为：
③把变分自编码器的解码器作为WGANgp的生成器，判别器同样为多个隐藏层的全连接神经网络。根据2)可知监督变分自编码器的损失函数(证据下界)为：
且，WGANgp的损失函数可由式(10)给出：
其中，pr、pg和ph分别表示真实样本分布、生成样本分布和潜在空间分布，x表示真实样本，
表示由解码器生成的假样本，xp表示由解码器解码潜在空间z获得的重构样本，利用随机数，从真实样本和假样本中插值可获得
λ表示梯度惩罚系数。
结合公式(9)和公式(10)，SV-WGANgp的损失函数即优化目标定义为：
JSV-WGANgp＝JSVAE+ηJWGANgp (11)
其中，η为用于平衡SVAE损失和WGANgp损失的比例系数。
设置λ＝10，η＝20，训练迭代次数epoch＝200，训练批次batch＝30，生成器学习率α1＝0.001，判别器学习率α2＝0.001，在每个训练子集上训练SV-WGANgp模型，最终得到M个SV-WGANgp模型。利用训练好的模型，在潜在空间中随机采样并生成F个虚拟样本，重复M次，得到一组虚拟样本
表示第m个SV-WGANgp模型生成的第f个虚拟样本，
为其对应生成的虚拟标签。
一种基于变分自编码器和生成对抗网络的软测量建模方法，包括上述中任一项所述的虚拟样本生成方法，还包括：
步骤5：采用扩充前的训练子集、虚拟样本扩充到对应训练子集分别作为高斯过程回归模型GPR的训练集进行高斯过程回归模型GPR的训练；对比扩充前后训练的高斯过程回归模型GPR在验证集Dval上的预测性能：如果性能提升，则保留虚拟样本；否则，去除；
具体而言，因为工业过程数据呈现出的非线性和时变性，所以拟选定高斯过程回归模型GPR为基模型，本发明采用选定高斯过程回归模型GPR为基模型用于在验证集Dval上验证步骤4中生成的虚拟样本的有效性，并保留没有使性能恶化的虚拟样本。
验证虚拟样本有效性的过程如下：
对于数据集Dm中的每个样本xm,i在高斯过程回归模型中的预测输出
服从高斯分布：
其中，E(.)和Var(.)分别表示均值和方差算子。则，所述高斯过程回归模型可描述为：
式中，km,i＝[C(xi,xm,1),…,C(xi,xm,N))]T,C是一个由X中每个样本彼此之前作协方差组成的NⅹN阶对称正定矩阵,
和
分别为模型的预测均值与方差。
把SV-WGANgp模型生成的虚拟样本加入对应的训练子集中，作为GPR的训练集，利用验证集Dval进行验证，Dval＝{Xval,yval}，验证集中真实标签对应的预测值为
计算验证误差RMSEval：
重复M次，并计算相应的模型提升率，保留提升率大于0的虚拟样本，剔除提升率小于0的虚拟样本，即
步骤6：利用非标记样本Xu对步骤5中保留的虚拟样本进行挑选；将挑选出的虚拟样本用来扩充原始训练集Dtrn；构成最终的训练集Dreal+virtual；
步骤7：在最终的训练集Dreal+virtual上构建高斯过程回归模型GPR，并在测试集Dtest上进行测试，最终实现对关键变量的离线估计。
所述挑选过程为：利用非标记样本Xu与虚拟样本进行欧氏距离的计算；按照欧氏距离由小到大的顺序排列虚拟样本；取小的前Q个不重复的虚拟样本加入到原始训练集Dtrn；构成最终的训练集Dreal+virtual。
具体而言，所述步骤6中利用非标记样本Xu对
进行挑选的实现步骤如下：
①计算非标记样本Xu与虚拟样本
特征之间的欧氏距离：
其中，s表示样本的第s个特征。
②按照欧氏距离由小到大的顺序排列虚拟样本。
③取前Q个虚拟样本加入到原始训练集D中，构成最终的训练集Dreal+virtual。
所述步骤7在训练集Dreal+virtual上构建高斯过程回归模型GPR，并在测试集Dtest上进行测试的具体过程如下：
利用加入虚拟样本后的训练数据集Dreal+virtual来训练高斯过程回归模型GPR，并用测试集Dtest进行测试，Dtest＝{Xtest,ytest}，测试集标签矩阵ytest对应的预测结果为
测试误差为RMSEtest：
其中，yi表示对应的测试集上的真实标签。
根据本发明实施例的另一方面，还提供了一种青霉素浓度预测方法，采用上述所述的基于变分自编码器和生成对抗网络的软测量建模方法进行。下面对本发明一种可选的实施案例进行详细说明。
上方方法适合多种工业过程质量变量参数的监测，本实施例结合青霉素发酵过程案例的实施验证本发明的有效性。青霉素发酵过程包含两个典型的时段：细胞培养阶段和青霉素补料发酵阶段。细胞培养阶段会产生大量的细菌，然后通过不断的补充营养物质以促进产物合成，此为青霉素生长阶段。为了提高青霉素生产效率，增加产量，实时监测培养过程中青霉素浓度十分必要。青霉素浓度作为主导变量，14个与主导变量呈高相关性的过程变量作为输入变量，如表1所示。
表1青霉素发酵过程输入变量描述
| 序号 | 变量描述(单位) |
| 1 | 发酵时间(h) |
| 2 | 曝气值(L/h) |
| 3 | 搅拌功率(W) |
| 4 | 基质补料速率(L/h) |
| 5 | 基质补料温度(K) |
| 6 | 溶解氧浓度(g/L) |
| 7 | 发酵体积(L) |
| 8 | 二氧化碳浓度(g/L) |
| 9 | pH |
| 10 | 发酵罐温度(K) |
| 11 | 产生热量(kcal) |
| 12 | 酸流量(L/h) |
| 13 | 基质流速(L/h) |
| 14 | 冷却水流量(L/h) |
在默认操作条件下共收集12个批次的数据，其中5个批次的数据用于模型训练，2个批次的数据用于模型验证，5个批次的数据用于模型测试。
本发明实施案例选择均方根误差RMSE和决定系数R2来评价最终的虚拟样本的有效性，如下所示：
式中，Ntest、
ytest、
分别表示测试样本总数、测试样本预测值、测试样本真实值、测试样本真实值的均值，RMSE值越小，表示误差越小，模型预测性能越好；R2值越大，表示模型的拟合程度越高，模型的预测性能越好。如下表2所示为不同方法对青霉素浓度的预测性能。
表2不同方法在青霉素发酵过程中的预测性能
分析表2可知，对比传统高斯过程回归模型GPR，本发明提出的基于监督变分自编码器和WGANgp的小样本软测量建模方法预测性能更好。该方法不仅在小样本的条件下扩充了带标签的样本，缩小二次预测标签带来的累积误差，还利用非标记样本的信息对生成的虚拟样本进行二次挑选，有效低提高了虚拟样本的置信度。从图2、图3对比的结果可以看出，本发明基于监督变分自编码器和生成对抗网络的虚拟样本生成及软测量建模方法在青霉素发酵过程案例中预测值与真实值的曲线较比传统高斯过程回归模型的预测值与真实值的曲线的拟合程度更高(图2、3中横坐标测试集中测试样本的数量，纵坐标表示关键变量的值，actual value表示真实值，prediction value表示预测值)。
上述案例用来解释说明本发明具有一定的可行性和有效性，本发明的重点在于引入变分自编码器和WGANgp作为虚拟样本生成模型SV-WGANgp，兼顾输入和输出的生成，通过模型性能的提升率剔除无效的虚拟样本，并利用非标记样本对虚拟样本进行二次选择。在本发明的精神和权利要求保护范围内，未对本发明做出的任何修改或改进，都将受到本发明的保护范围限制。
实施例2：根据本发明实施例的另一方面，还提供了一种基于变分自编码器和生成对抗网络的虚拟样本生成系统，包括：
构建模块，用于获取工业过程数据，确定和工业过程数据的关键变量y密切相关的过程变量作为辅助变量，构建辅助变量向量x；其中，x＝[x1,x2,...,xd]，xd表示第d个辅助变量；
获得模块，用于依据关键变量y、辅助变量向量x对工业过程数据进行筛选，获得工业过程数据集；其中，工业过程数据集包括标记数据集、非标记数据集；
划分模块，用于对工业过程数据集进行归一化处理，将归一化后的标记数据集划分为训练集Dtrn、测试集Dtest和验证集Dval，将归一化后的非标记数据集表示为Xu；
生成模块，用于通过对训练集Dtrn中训练样本的扰动，形成多个训练子集，对多个训练子集构建一组多样的监督虚拟样本生成模型及生成虚拟样本。
实施例3：根据本发明实施例的另一方面，还提供了一种基于变分自编码器和生成对抗网络的软测量建模系统，包括基于变分自编码器和生成对抗网络的虚拟样本生成系统，即包括(构建模块，获得模块，划分模块，生成模块)，还包括：
对比模块，用于采用扩充前的训练子集、虚拟样本扩充到对应训练子集分别作为高斯过程回归模型GPR的训练集进行高斯过程回归模型GPR的训练；对比扩充前后训练的高斯过程回归模型GPR在验证集Dval上的预测性能：如果性能提升，则保留虚拟样本；否则，去除；
挑选模块，用于利用非标记样本Xu对对比模块中保留的虚拟样本进行挑选；将挑选出的虚拟样本用来扩充原始训练集Dtrn；构成最终的训练集Dreal+virtual；
测试模块，用于在最终的训练集Dreal+virtual上构建高斯过程回归模型GPR，并在测试集Dtest上进行测试，最终实现对关键变量的离线估计。
上面结合附图对本发明的具体实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。
Claims (8)
1.一种基于变分自编码器和生成对抗网络的虚拟样本生成方法，其特征在于：包括：
步骤1：获取工业过程数据，确定和工业过程数据的关键变量y密切相关的过程变量作为辅助变量，构建辅助变量向量x；其中，x＝[x1，x2，...，xd]，xd表示第d个辅助变量；
步骤2：依据关键变量y、辅助变量向量x对工业过程数据进行筛选，获得工业过程数据集；其中，工业过程数据集包括标记数据集、非标记数据集；
步骤3：对工业过程数据集进行归一化处理，将归一化后的标记数据集划分为训练集Dtrn、测试集Dtest和验证集Dval，将归一化后的非标记数据集表示为Xu；
步骤4：通过对训练集Dtrn中训练样本的扰动，形成多个训练子集，对多个训练子集构建一组多样的监督虚拟样本生成模型及生成虚拟样本。
2.根据权利要求1所述的基于变分自编码器和生成对抗网络的虚拟样本生成方法，其特征在于：每个训练子集用于构建多样的监督虚拟样本生成模型及生成虚拟样本的过程为：
从训练集Dtrn中采集固定个数n的样本，重复M次，即得到M个训练子集，
其中Dm表示第m个训练子集，xm，i表示第m个训练集的第i个样本，yi为xm，i对应的关键变量值，即真实标签值；
利用训练子集训练监督虚拟样本生成模型后生成虚拟样本。
3.根据权利要求1所述的基于变分自编码器和生成对抗网络的虚拟样本生成方法，其特征在于：所述监督虚拟样本生成模型包括变分自动编码器、生成对抗网络，将变分自动编码器中的解码器作为生成对抗网络的生成器，形成监督虚拟样本生成模型。
4.一种基于变分自编码器和生成对抗网络的虚拟样本生成系统，其特征在于：包括：
构建模块，用于获取工业过程数据，确定和工业过程数据的关键变量y密切相关的过程变量作为辅助变量，构建辅助变量向量x；其中，x＝[x1，x2，...，xd]，xd表示第d个辅助变量；
获得模块，用于依据关键变量y、辅助变量向量x对工业过程数据进行筛选，获得工业过程数据集；其中，工业过程数据集包括标记数据集、非标记数据集；
划分模块，用于对工业过程数据集进行归一化处理，将归一化后的标记数据集划分为训练集Dtrn、测试集Dtest和验证集Dval，将归一化后的非标记数据集表示为Xu；
生成模块，用于通过对训练集Dtrn中训练样本的扰动，形成多个训练子集，对多个训练子集构建一组多样的监督虚拟样本生成模型及生成虚拟样本。
5.一种基于变分自编码器和生成对抗网络的软测量建模方法，其特征在于：包括权利要求1-3中任一项所述的虚拟样本生成方法，还包括：
步骤5：采用扩充前的训练子集、虚拟样本扩充到对应训练子集分别作为高斯过程回归模型GPR的训练集进行高斯过程回归模型GPR的训练；对比扩充前后训练的高斯过程回归模型GPR在验证集Dval上的预测性能：如果性能提升，则保留虚拟样本；否则，去除；
步骤6：利用非标记样本Xu对步骤5中保留的虚拟样本进行挑选；将挑选出的虚拟样本用来扩充原始训练集Dtrn；构成最终的训练集Dreal+virtual；
步骤7：在最终的训练集Dreal+virtual上构建高斯过程回归模型GPR，并在测试集Dtest上进行测试，最终实现对关键变量的离线估计。
6.根据权利要求5所述的基于变分自编码器和生成对抗网络的软测量建模方法，其特征在于：所述挑选过程为：利用非标记样本Xu与虚拟样本进行欧氏距离的计算；按照欧氏距离由小到大的顺序排列虚拟样本；取前Q个不重复的虚拟样本加入到原始训练集Dtrn；构成最终的训练集Dreal+virtual。
7.一种基于变分自编码器和生成对抗网络的软测量建模系统，其特征在于：包括权利要求4所述的基于变分自编码器和生成对抗网络的虚拟样本生成系统，还包括：
对比模块，采用扩充前的训练子集、虚拟样本扩充到对应训练子集分别作为高斯过程回归模型GPR的训练集进行高斯过程回归模型GPR的训练；对比扩充前后训练的高斯过程回归模型GPR在验证集Dval上的预测性能：如果性能提升，则保留虚拟样本；否则，去除；
挑选模块，用于利用非标记样本Xu对对比模块中保留的虚拟样本进行挑选；将挑选出的虚拟样本用来扩充原始训练集Dtrn；构成最终的训练集Dreal+virtual；
测试模块，用于在最终的训练集Dreal+virtual上构建高斯过程回归模型GPR，并在测试集Dtest上进行测试，最终实现对关键变量的离线估计。
8.一种青霉素浓度预测方法，其特征在于：采用权利要求5所述的基于变分自编码器和生成对抗网络的软测量建模方法进行。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210091114.6A CN115035962A (zh) | 2022-01-26 | 2022-01-26 | 基于变分自编码器和生成对抗网络的虚拟样本生成及软测量建模方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210091114.6A CN115035962A (zh) | 2022-01-26 | 2022-01-26 | 基于变分自编码器和生成对抗网络的虚拟样本生成及软测量建模方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115035962A true CN115035962A (zh) | 2022-09-09 |
Family
ID=83119539
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210091114.6A Pending CN115035962A (zh) | 2022-01-26 | 2022-01-26 | 基于变分自编码器和生成对抗网络的虚拟样本生成及软测量建模方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115035962A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117688388A (zh) * | 2024-01-30 | 2024-03-12 | 武汉纺织大学 | 一种基于数据增强与预测联合学习的软测量方法与系统 |
-
2022
- 2022-01-26 CN CN202210091114.6A patent/CN115035962A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117688388A (zh) * | 2024-01-30 | 2024-03-12 | 武汉纺织大学 | 一种基于数据增强与预测联合学习的软测量方法与系统 |
| CN117688388B (zh) * | 2024-01-30 | 2024-04-30 | 武汉纺织大学 | 一种基于数据增强与预测联合学习的软测量方法与系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Sun et al. | Using Bayesian deep learning to capture uncertainty for residential net load forecasting | |
| CN111079836B (zh) | 基于伪标签方法和弱监督学习的过程数据故障分类方法 | |
| CN110807554B (zh) | 基于风电/光伏经典场景集的生成方法及系统 | |
| CN111860982A (zh) | 一种基于vmd-fcm-gru的风电场短期风电功率预测方法 | |
| CN111814956B (zh) | 一种基于多维度二次特征提取的多任务学习的空气质量预测方法 | |
| CN111460728A (zh) | 一种工业设备剩余寿命预测方法、装置、存储介质及设备 | |
| CN112989711B (zh) | 基于半监督集成学习的金霉素发酵过程软测量建模方法 | |
| CN106897775A (zh) | 基于贝叶斯集成学习的软测量建模方法 | |
| CN112508244B (zh) | 一种用户级综合能源系统多元负荷预测方法 | |
| CN113537469B (zh) | 一种基于LSTM网络和Attention机制的城市需水预测方法 | |
| Li et al. | GMM-HMM-based medium-and long-term multi-wind farm correlated power output time series generation method | |
| CN111428788A (zh) | 基于深度学习的汽轮机发电机组转子多故障诊断方法及系统 | |
| CN115035962A (zh) | 基于变分自编码器和生成对抗网络的虚拟样本生成及软测量建模方法 | |
| CN111191823A (zh) | 一种基于深度学习的生产物流预测方法 | |
| Yang et al. | Teacher–Student Uncertainty Autoencoder for the Process-Relevant and Quality-Relevant Fault Detection in the Industrial Process | |
| CN114239397A (zh) | 基于动态特征提取与局部加权深度学习的软测量建模方法 | |
| CN110909492B (zh) | 一种基于极端梯度提升算法的污水处理过程软测量方法 | |
| CN112348700B (zh) | 一种结合som聚类与ifou方程的线路容量预测方法 | |
| CN115186584A (zh) | 一种融合注意力机制和自适应构图的宽度学习半监督软测量建模方法 | |
| CN114861759A (zh) | 一种线性动态系统模型的分布式训练方法 | |
| CN114169118A (zh) | 考虑分布式电源出力相关性的配电网拓扑结构辨识方法 | |
| CN113537573A (zh) | 基于双重时空特征提取的风电功率运行趋势预测方法 | |
| Huang et al. | Improving machine learning-based weather forecast post-processing with clustering and transfer learning | |
| CN111339646A (zh) | 一种用于全自动控制的温度数据增强方法 | |
| CN114841000B (zh) | 一种基于模态共有特征分离的软测量建模方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |