CN114971243A - 基于fnn对抗生成的二噁英排放风险预警模型构建方法 - Google Patents
基于fnn对抗生成的二噁英排放风险预警模型构建方法 Download PDFInfo
- Publication number
- CN114971243A CN114971243A CN202210529669.4A CN202210529669A CN114971243A CN 114971243 A CN114971243 A CN 114971243A CN 202210529669 A CN202210529669 A CN 202210529669A CN 114971243 A CN114971243 A CN 114971243A
- Authority
- CN
- China
- Prior art keywords
- sample
- real
- follows
- samples
- early warning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000010276 construction Methods 0.000 title claims abstract description 16
- HGUFODBRKLSHSI-UHFFFAOYSA-N 2,3,7,8-tetrachloro-dibenzo-p-dioxin Chemical compound O1C2=CC(Cl)=C(Cl)C=C2OC2=C1C=C(Cl)C(Cl)=C2 HGUFODBRKLSHSI-UHFFFAOYSA-N 0.000 title claims abstract 10
- 238000000034 method Methods 0.000 claims abstract description 51
- 230000008569 process Effects 0.000 claims abstract description 37
- 230000007246 mechanism Effects 0.000 claims abstract description 14
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 7
- 238000007637 random forest analysis Methods 0.000 claims abstract description 7
- 238000012549 training Methods 0.000 claims description 22
- 150000001875 compounds Chemical class 0.000 claims description 21
- 230000006870 function Effects 0.000 claims description 14
- 238000012216 screening Methods 0.000 claims description 14
- 238000003066 decision tree Methods 0.000 claims description 10
- 238000013528 artificial neural network Methods 0.000 claims description 9
- 238000002156 mixing Methods 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 6
- 239000000203 mixture Substances 0.000 claims description 6
- 230000009467 reduction Effects 0.000 claims description 4
- 238000012952 Resampling Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 230000000717 retained effect Effects 0.000 claims description 3
- 230000003321 amplification Effects 0.000 claims description 2
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 2
- KVGZZAHHUNAVKZ-UHFFFAOYSA-N 1,4-Dioxin Chemical compound O1C=COC=C1 KVGZZAHHUNAVKZ-UHFFFAOYSA-N 0.000 description 63
- 210000002569 neuron Anatomy 0.000 description 14
- 238000010187 selection method Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 238000012800 visualization Methods 0.000 description 3
- 230000003042 antagnostic effect Effects 0.000 description 2
- 230000008485 antagonism Effects 0.000 description 2
- 210000002364 input neuron Anatomy 0.000 description 2
- 239000002184 metal Substances 0.000 description 2
- 239000010813 municipal solid waste Substances 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 238000003556 assay Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 150000002013 dioxins Chemical class 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000003446 memory effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000008929 regeneration Effects 0.000 description 1
- 238000011069 regeneration method Methods 0.000 description 1
- 238000009270 solid waste treatment Methods 0.000 description 1
- 238000001179 sorption measurement Methods 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 231100001234 toxic pollutant Toxicity 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 239000002912 waste gas Substances 0.000 description 1
- 238000004056 waste incineration Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0635—Risk analysis of enterprise or organisation activities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/24323—Tree-organised classifiers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/043—Architecture, e.g. interconnection topology based on fuzzy logic, fuzzy membership or fuzzy inference, e.g. adaptive neuro-fuzzy inference systems [ANFIS]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Human Resources & Organizations (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Evolutionary Biology (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- Economics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Entrepreneurship & Innovation (AREA)
- Development Economics (AREA)
- Educational Administration (AREA)
- Computational Mathematics (AREA)
- Probability & Statistics with Applications (AREA)
- Automation & Control Theory (AREA)
- Fuzzy Systems (AREA)
- Primary Health Care (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
Abstract
本发明提供了一种基于FNN对抗生成的二噁英排放风险预警模型构建方法，首先，通过随机森林算法自适应选择与DXN排放相关性高的输入特征；接着，通过FNN对抗生成相应风险等级的候选虚拟样本，以解决样本数量少和存在不确定性的问题；然后，采用判别概率、最大均值差异和最近邻类别构建多约束选择机制，保证所选虚拟样本的质量；最后，基于混合样本构建MSWI过程DXN排放风险预警模型。本发明解决了DXN风险预警模型的建模数据维数高、不确定性强和样本少等问题，构建了有效性和优越性高的MSWI过程DXN排放风险预警模型，提高二噁英排放风险预警准确性。
Description
技术领域
本发明涉及二噁英排放浓度检测技术领域，特别是涉及一种基于FNN对抗生成的二噁英排放风险预警模型构建方法。
背景技术
城市固废焚烧(municipal solid waste incineration，MSWI)是目前世界范围内大多数国家采用的具有无害化、减量化和资源化等优势的城市固废处理方式。MSWI过程排放的废气中存在危害人体健康的剧毒污染物二噁英(dioxin，DXN)，二噁英是MSWI过程严格控制的环保指标。因此，对DXN排放进行风险预警是解决焚烧厂“邻避效应”和实现该过程优化控制的首要问题之一。然而，DXN生成、分解、再生成和吸附的机理与MSWI的全流程相关，并且DXN排放存在的“记忆效应”至今仍机理不清。此外，受限于DXN的在线检测技术难度，目前主要采用高成本、长周期的离线化验方式对DXN排放浓度进行检测。上述因素导致构建DXN风险预警模型的建模数据存在维数高、不确定性强和样本少等问题。
发明内容
本发明的目的是提供一种基于FNN对抗生成的二噁英排放风险预警模型构建方法，解决了DXN风险预警模型的建模数据维数高、不确定性强和样本少等问题，构建了有效性和优越性高的MSWI过程DXN排放风险预警模型，提高二噁英排放风险预警准确性。
为实现上述目的，本发明提供了如下方案：
一种基于FNN对抗生成的二噁英排放风险预警模型构建方法，包括如下步骤：
S1，采用随机森林算法计算MSWI过程输入特征重要程度以自适应选择与DXN排放相关性高的输入特征；
S2，基于生成对抗网络GAN，引入T-S模糊神经网络作为生成器和判别器，形成FNN-GAN，基于FNN对抗生成策略迭代产生用于DXN风险预警建模的候选虚拟样本，并使用DXN风险等级作为条件信息用于控制生成虚拟样本的类型；
S3，采用判别概率、最大均值差异和最近邻类别构建多约束选择机制，通过多约束选择机制进行虚拟样本筛选，获得合格虚拟样本；
S4，将合格虚拟样本与真实样本相混合，得到混合样本，基于混合样本构建MSWI过程DXN排放风险预警模型，进行MSWI过程二噁英排放风险预警。
进一步的，所述步骤S1中，采用随机森林算法计算MSWI过程输入特征重要程度以自适应选择与DXN排放相关性高的输入特征，具体包括：
将MSWI过程获得的原始样本的输入和输出表示如下：
其中，Norg为原始样本的数量，Xorg表示由MSWI过程获得的原始样本的输入，Yreal表示对应的输出；
采用Bootstrap重抽样技术从{Xorg,Yreal}中随机抽取数据构造R组训练子集如下：
同时，还有R组没有被抽中的袋外数据表示如下：
根据R组训练子集构建R组决策树，然后将R组袋外数据输入相应的决策树得到R组预测值表示如下：
则第r个袋外数据误差表示如下：
式中，Noob为袋外数据中样本的数量，
为第r组预测值的第s个值，
为第r组袋外数据的第s个真值，r＝1,2,…,R，s＝1,2,…,Noob；
在袋外数据第h个特征中添加噪声后进行预测，得到的R组噪声预测值表示如下：
则第r个噪声袋外数据误差表示如下：
式中，
为第h个特征的第r组噪声预测值的第s个值；
计算第h个特征的重要性得分为：
重复上述操作计算所有特征的重要性得分，并将所有得分进行归一化表示，归一化后的第h个特征的重要性得分表示如下：
式中，max(γ)和min(γ)表示所有得分的最大和最小值；
将归一化后的重要性得分按照降序排列，如下：
式中，Dorg为原始样本的特征数，
表示第L个降序排列得分对应特征的重要性得分；
当前L+1个降序排列得分对应特征的重要性得分相较于前L个特征的重要性得分增幅低于5％时，将前L个降序排列得分对应的特征作为依据数据特性而自适应选择的特征；
计算增幅ξL+1，如下：
式中，
表示第L+1个降序排列得分对应特征的重要性得分；
若ξL+1≤0.05，则停止增加特征，并将最终约减特征记为：
式中，
表示第l个选择的特征；最终自适应选择得到{Xreal,Yreal}Xreal表示真实样本的输入。
进一步的，所述步骤S2中，基于生成对抗网络GAN，引入T-S模糊神经网络作为生成器和判别器，形成FNN-GAN，基于FNN对抗生成策略迭代产生用于DXN风险预警建模的候选虚拟样本，并使用DXN风险等级作为条件信息用于控制生成虚拟样本的类型，具体包括：
将生成器和判别器学习率分别记为
和
最大训练代数记为Ne；
生成器由前件网络和后件网络组成，前件网络匹配模糊规则的前件，后件网络产生模糊规则的后件，输入噪声表示如下：
其中，Xnoise为随机噪声，Nvir和Dvir表示待生成候选虚拟样本输入的数量和维数，设定Nvir＝Norg；
生成器前件网络由输入层、隶属度函数层、模糊规则层和softmax层组成；
以第s个输入
为例，首先，将
输入到生成器前件网络的隶属度函数层，计算输入量属于各模糊集合的隶属度，如下：
式中，
为
的第i个元素，i＝1,2,…,Dvir+1；
为
第j个模糊集合的隶属度，j＝1,2,…,MG，MG为模糊集合的数量；
和
为隶属度函数的中心和宽度；
接着，将隶属度输入到模糊规则层，确定每个模糊规则前件的适用度，如下：
最后，经过softmax层得到生成器前件网络的输出，如下：
生成器后件网络由Dvir个结构相同的并列子网络组成，每个子网络产生一个输出量，将
输入到生成器后件网络，得到后件网络的输出为
式中，k＝1,2,…,Dvir，
为第k个子网络的第j个输出；
生成器的第k个输出表示如下：
因此，
生成的候选虚拟样本为
最终，生成的候选虚拟样本的输入为
{Xvir,Yreal}为FNN对抗生成的候选虚拟样本；
将{Xvir,Yreal}和{Xreal,Yreal}同时输入到判别器中，其实现流程与生成器类似，不同之处在于，判别器的输出层增加了一个sigmoid层以输出对真实样本和候选虚拟样本的判别结果YD；
相应地，FNN-GAN的损失函数如下：
式中，P(Xreal)表示Xreal的分布；
为判别器对于{Xreal,Yreal}的输出；P(Xnoise)表示Xnoise的分布；
为判别器对于{Xvir,Yreal}的输出。
进一步的，所述步骤S3，采用判别概率、最大均值差异和最近邻类别构建多约束选择机制，通过多约束选择机制进行虚拟样本筛选，获得合格虚拟样本，具体包括：
首先，在训练稳定阶段选择NMMD个生成器并各生成一组候选虚拟样本，如下：
计算虚拟样本和真实样本{Xreal,Yreal}之间的最大均值差异值，如下：
式中，
表示第t组候选虚拟样本的输入，H为再生希尔伯特空间，φ(·)表示将样本映射到高维RKHS，
和Eq[φ(Xreal)]表示样本映射到RKHS中的期望值；
选择最大均值差异值最低的生成器作为筛选生成器
φMMD表示如下：
式中，minMMD(·)表示最大均值差异值最小的那组虚拟样本对应的生成器编号；
接着，由
生成一组虚拟样本{Xfilter,Yfilter}并计算其判别器概率，选择大于判别器概率阈值θdisc的虚拟样本，如下：
式中，
表示{Xfilter,Yfilter}的第i个虚拟样本；
然后，为便于理解，将Xfilter和Xreal表示如下：
式中，Nfilter表示Xfilter的样本数量；Nreal表示Xreal的样本数量，Dreal为样本维数；
计算{Xfilter,Yfilter}中各样本与{Xreal,Yreal}中各样本的欧氏距离，如下：
式中，
表示计算Xfilter的第i个样本
和Xreal的第j个样本
的欧氏距离；
和
分别表示
和
的第a个特征；
依次选取K个最小距离并将其中多数类别作为最近邻类别，表示如下：
式中，minK(·)表示从所有距离中选取K个最小距离，
表示
的K个最小距离；maxknn(·)表示选取
中的多数类别，
表示
的最近邻类别；
当
与
一致时保留该虚拟样本，如下：
如果
则保留
否则，放弃
最后，将满足上述要求的虚拟样本作为合格虚拟样本
和
分别表示合格虚拟样本的输入和输出。
进一步的，所述步骤S4，将合格虚拟样本与真实样本相混合，得到混合样本，基于混合样本构建MSWI过程DXN排放风险预警模型，进行MSWI过程二噁英排放风险预警，具体包括：
将筛选后合格虚拟样本
和真实样本{Xreal,Yreal}混合，得到混合样本表示如下：
根据Rmix构建由NRF个决策树组成的RF作为风险预警模型的分类器。
根据本发明提供的具体实施例，本发明公开了以下技术效果：本发明提供的基于FNN对抗生成的二噁英排放风险预警模型构建方法，1)提出基于FNN-GAN的风险预警框架，采用FNN对抗生成所需风险等级的虚拟样本以解决小样本问题，并用于建立DXN排放浓度风险预警模型；2)提出基于RF的自适应特征选择方法，降低特征选择的人为性和随机性；3)提出多约束的虚拟样本选择方法，通过MMD、判别器概率和最近邻类别选择更接近真实样本的虚拟样本。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明基于FNN对抗生成的二噁英排放风险预警模型构建方法的流程示意图；
图2为本发明基于FNN-GAN生成候选虚拟样本结构图；
图3为本发明DXN数据集原始输入特征的重要性得分；
图4为本发明DXN数据集特征重要性得分增幅；
图5为本发明DXN数据集MMD值与训练代数的关系曲线图；
图6a为筛选后虚拟样本的可视化结果；
图6b为位筛选虚拟样本的可视化结果；
图7a为DXN数据集的训练集结果；
图7b为DXN数据集的验证集集结果；
图7c为DXN数据集的测试集结果。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种基于FNN对抗生成的二噁英排放风险预警模型构建方法，解决了DXN风险预警模型的建模数据维数高、不确定性强和样本少等问题，构建了有效性和优越性高的MSWI过程DXN排放风险预警模型，提高二噁英排放风险预警准确性。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
如图1所示，本发明提供的基于FNN对抗生成的二噁英排放风险预警模型构建方法，包括如下步骤：
S1，采用随机森林算法计算MSWI过程输入特征重要程度以自适应选择与DXN排放相关性高的输入特征；
S2，基于生成对抗网络GAN，引入T-S模糊神经网络作为生成器和判别器，形成FNN-GAN，基于FNN(模糊神经网络，fuzzy neural network)对抗生成策略迭代产生用于DXN风险预警建模的候选虚拟样本，并使用DXN风险等级作为条件信息用于控制生成虚拟样本的类型；
S3，采用判别概率、最大均值差异和最近邻类别构建多约束选择机制，通过多约束选择机制进行虚拟样本筛选，获得合格虚拟样本；
S4，将合格虚拟样本与真实样本相混合，得到混合样本，基于混合样本构建MSWI过程DXN排放风险预警模型，进行MSWI过程二噁英排放风险预警。
其中，所述步骤S1中，采用随机森林算法(random forest，RF)计算MSWI过程输入特征重要程度以自适应选择与DXN排放相关性高的输入特征，具体包括：
将MSWI过程获得的原始样本的输入和输出表示如下：
其中，Norg为原始样本的数量，Xorg表示由MSWI过程获得的原始样本的输入，Yreal表示对应的输出；
采用Bootstrap重抽样技术从{Xorg,Yreal}中随机抽取数据构造R组训练子集如下：
同时，还有R组没有被抽中的袋外(out ofbag，oob)数据表示如下：
根据R组训练子集构建R组决策树，然后将R组袋外数据输入相应的决策树得到R组预测值表示如下：
则第r个袋外数据误差表示如下：
式中，Noob为袋外数据中样本的数量，
为第r组预测值的第s个值，
为第r组袋外数据的第s个真值，r＝1,2,…,R，s＝1,2,…,Noob；
在袋外数据第h个特征中添加噪声后进行预测，得到的R组噪声预测值表示如下：
则第r个噪声袋外数据误差表示如下：
式中，
为第h个特征的第r组噪声预测值的第s个值；
计算第h个特征的重要性得分为：
重复上述操作计算所有特征的重要性得分，并将所有得分进行归一化表示以便进行特征选择，归一化后的第h个特征的重要性得分表示如下：
式中，max(γ)和min(γ)表示所有得分的最大和最小值；
将归一化后的重要性得分按照降序排列，如下：
式中，Dorg为原始样本的特征数，
表示第L个降序排列得分对应特征的重要性得分；
当前L+1个降序排列得分对应特征的重要性得分相较于前L个特征的重要性得分增幅低于5％时，将前L个降序排列得分对应的特征作为依据数据特性而自适应选择的特征，避免了人工设置阈值；
计算增幅ξL+1，如下：
式中，
表示第L+1个降序排列得分对应特征的重要性得分；
若ξL+1≤0.05，则停止增加特征，并将最终约减特征记为：
式中，
表示第l个选择的特征；最终自适应选择得到{Xreal,Yreal}Xreal和Yreal分别表示真实样本的输入和输出。
原始GAN采用BP神经网络进行博弈对抗，为提高处理非线性和不确定性的能力本模块引入T-S模糊神经网络作为生成器和判别器，即FNN-GAN。并使用DXN风险等级作为条件信息用于控制生成虚拟样本的类型。所提的基于FNN-GAN生成候选虚拟样本的结构如图2所示。所述步骤S2中，基于生成对抗网络GAN，引入T-S模糊神经网络作为生成器和判别器，形成FNN-GAN，基于FNN对抗生成策略迭代产生用于DXN风险预警建模的候选虚拟样本，并使用DXN风险等级作为条件信息用于控制生成虚拟样本的类型，具体包括：
将生成器和判别器学习率分别记为
和
最大训练代数记为Ne；
生成器由前件网络和后件网络组成，前件网络匹配模糊规则的前件，后件网络产生模糊规则的后件，输入噪声表示如下：
其中，Xnoise为随机噪声，Nvir和Dvir表示待生成候选虚拟样本输入的数量和维数，设定Nvir＝Norg；
生成器前件网络由输入层、隶属度函数层、模糊规则层和softmax层组成；
以第s个输入
为例，首先，将
输入到生成器前件网络的隶属度函数层，计算输入量属于各模糊集合的隶属度，如下：
式中，
为
的第i个元素，i＝1,2,…,Dvir+1；
为
第j个模糊集合的隶属度，j＝1,2,…,MG，MG为模糊集合的数量；
和
为隶属度函数的中心和宽度；
接着，将隶属度输入到模糊规则层，确定每个模糊规则前件的适用度，如下：
最后，经过softmax层得到生成器前件网络的输出，如下：
生成器后件网络由Dvir个结构相同的并列子网络组成，每个子网络产生一个输出量，将
输入到生成器后件网络，得到后件网络的输出为
式中，k＝1,2,…,Dvir，
为第k个子网络的第j个输出；
生成器的第k个输出表示如下：
因此，
生成的候选虚拟样本为
最终，生成的候选虚拟样本的输入为
{Xvir,Yreal}为FNN对抗生成的候选虚拟样本；
将{Xvir,Yreal}和{Xreal,Yreal}同时输入到判别器中，其实现流程与生成器类似，不同之处在于，判别器的输出层增加了一个sigmoid层以输出对真实样本和候选虚拟样本的判别结果YD；
相应地，FNN-GAN的损失函数如下：
式中，P(Xreal)表示Xreal的分布；
为判别器对于{Xreal,Yreal}的输出；P(Xnoise)表示Xnoise的分布；
为判别器对于{Xvir,Yreal}的输出；
本发明所提FNN-GAN模块采用判别器计算输入样本源自P(Xreal)还是P(Xnoise)的概率，生成器根据判别结果学习Xreal的分布P(Xreal)以减少
通过生成器和判别器的博弈对抗使得生成的候选虚拟样本越来越接近真实样本。
FNN-GAN的博弈对抗是否终止取决于网络是否稳定收敛，但这并不能保证所生成的候选虚拟样本的质量，因此必须建立综合评价指标对其进行评估和筛选，以保证虚拟样本的质量。本文所提基于多约束的虚拟样本选择模块包括3个指标：最大均值差异(maximummean discrepancy，MMD)、判别器概率和最近邻类别。所述步骤S3，采用判别概率、最大均值差异和最近邻类别构建多约束选择机制，通过多约束选择机制进行虚拟样本筛选，获得合格虚拟样本，具体包括：
首先，在训练稳定阶段选择NMMD个生成器并各生成一组候选虚拟样本，如下：
计算虚拟样本和真实样本{Xreal,Yreal}之间的最大均值差异(MMD)值，如下：
式中，
表示第t组候选虚拟样本的输入，H为再生希尔伯特空间(reproducingkernel Hilbert space，RKHS)，φ(·)表示将样本映射到高维RKHS，
和Eq[φ(Xreal)]表示样本映射到RKHS中的期望值；
选择MMD值最低的生成器作为筛选生成器
φMMD表示如下：
式中，minMMD(·)表示MMD值最小的那组虚拟样本对应的生成器编号；
接着，由
生成一组虚拟样本{Xfilter,Yfilter}并计算其判别器概率，选择大于判别器概率阈值θdisc的虚拟样本，如下：
式中，
表示{Xfilter,Yfilter}的第i个虚拟样本；
然后，为便于理解，将Xfilter和Xreal表示如下：
式中，Nfilter表示Xfilter的样本数量；Nreal表示Xreal的样本数量，Dreal为样本维数；
计算{Xfilter,Yfilter}中各样本与{Xreal,Yreal}中各样本的欧氏距离，如下：
式中，
表示计算Xfilter的第i个样本
和Xreal的第j个样本
的欧氏距离；
和
分别表示
和
的第a个特征；
依次选取K个最小距离并将其中多数类别作为最近邻类别，表示如下：
式中，minK(·)表示从所有距离中选取K个最小距离，
表示
的K个最小距离；maxknn(·)表示选取
中的多数类别，
表示
的最近邻类别；
当
与
一致时保留该虚拟样本，如下：
如果
则保留
否则，放弃
最后，将满足上述要求的虚拟样本作为合格虚拟样本
和
分别表示合格虚拟样本的输入和输出。
该步骤中，MMD保证筛选生成器生成虚拟样本的多样性，判别器概率阈值保证所筛选虚拟样本的准确性，最近邻类别保证所筛选虚拟样本与其他类别虚拟样本之间的差异性。此外，还需根据虚拟样本的质量要求以及数据集的特点而定。
最后，所述步骤S4，将合格虚拟样本与真实样本相混合，得到混合样本，基于混合样本构建MSWI过程DXN排放风险预警模型，进行MSWI过程二噁英排放风险预警，具体包括：
将筛选后合格虚拟样本
和真实样本{Xreal,Yreal}混合，得到混合样本表示如下：
根据Rmix构建由NRF个决策树组成的RF作为风险预警模型的分类器。
本发明采用来自北京某MSWI电厂2012-2018年的67个DXN排放浓度检测样本验证所提方法的有效性。由于过程数据在采集过程中存在的缺失和异常等问题，最终使用的原始输入特征共127维。本发明将DXN排放浓度分为3个风险等级，如表1所示。其中，高风险、中风险和低风险各有24、17和27个样本。
表1 DXN排放风险等级划分标准
实验结果分析：
RF中决策树的数量设为500，DXN数据集127维原始输入特征的重要性得分及其增幅如图3和图4所示。
由图4可知，将重要性得分按照降序排列，前14个特征的重要性得分相较于前13个特征的重要性得分增幅小于0.05，因此自适应选择前13个作为输入特征。
FNN-GAN的参数设置为：生成器输入层神经元为14个，隶属度函数层神经元为70×14个，模糊规则层神经元为70个，后件网络的神经元为70×15，输出层神经元为13个；判别器输入层神经元为14个，隶属度函数层神经元为70×14个，模糊规则层神经元为70个，后件网络的神经元为70×15，输出层神经元为1个。训练代数Ne设为500，生成器和判别器学习率αIrG和αIDr分别设为0.0001和0.0001。
训练过程中生成的虚拟样本与真实样本之间的MMD值如图5所示。
由图5可知，随着训练代数的增加，虚拟样本和真实样本的MMD值逐渐降低，当训练代数达到400时，MMD值趋于稳定。
以高、中、低风险各取3个共9个候选虚拟样本为例，说明通过多约束选择合格虚拟样本的过程。
首先，从410到500代以10为间隔取10个生成器，每个生成器生成一组与训练样本数量一致的虚拟样本，计算10组虚拟样本与真实样本之间的MMD值如表2所示。
表2 DXN数据集基于MMD的生成器初筛
由表2可知，第490代的生成器生成的候选虚拟样本的MMD值最低，因此选择其作为筛选生成器。接着，使用筛选生成器生成9个候选虚拟样本，按照要求计算判别器概率如表3所示：
表3 DXN数据集候选虚拟样本的判别器概率
由表3所示，将θdisc设为0.8，编号为3、4、6和9的虚拟样本满足要求。
然后，采用最近邻类别进一步筛选虚拟样本，K设为5，上述虚拟样本的最近邻类别如表4所示。
表4 DXN数据集候选虚拟样本的最近邻类别
由表4可知，成本等级和最近邻类别匹配的虚拟样本编号为3和4，即得到2个合格虚拟样本。
最后，重复上述操作生成筛选后的合格虚拟样本67个，并生成未筛选的虚拟样本67个，各通过t-分布随机邻域嵌入(t-distributed stochastic neighbor embedding，t-SNE)将虚拟样本和训练样本降到3维，可视化结果如图6a和6b所示。
图6a和6b中，空心和实心符号分别代表真实样本和虚拟样本，圆形、正三角和倒三角分别代表低风险、中风险和高风险。
由图6a和6b可知，经过多标准的约束后，筛选得到的虚拟样本集中在真实样附近，并且不同风险等级虚拟样本之间边界清晰。然而，未经筛选的虚拟样本不同风险等级虚拟样本则存在相互重叠的问题。
使用上述筛选后的合格虚拟样本和真实样本组成混合样本构建DXN排放风险预警模型，相关参数如表5所示。
表5混合样本风险预警模型构建的相关参数
由于RF具有随机性，所以进行30次重复实验，实验结果如图7a、图7b、图7c和表6所示。
表6 RB数据集30次重复实验统计结果
由图7a、图7b、图7c可知，混合样本训练的风险预警模型的准确性强于真实样本训练的模型，仅在验证集准确率标准差上弱于真实样本训练的模型，具有较好的风险预警效果。
将所提FNN-GAN与原始GAN进行对比，共进行3组对比实验，相关参数如表7所示。
表7 DXN数据集对比实验参数设置
其中，GAN的参数设置如下：生成器输入神经元14个，隐含层神经元70个，输出层神经元13个；判别器输入神经元14个，隐含层神经元70个，输出层神经元1个；学习率为0.0001，训练代数为500。
对比实验结果如表8所示。
表8 DXN数据集对比实验结果
由表8可知：原始GAN由于未对虚拟样本进行筛选导致添加的虚拟样本质量不一，模型性能提升不明显；FNN对抗生成方法在训练集和测试集精度上优于对比方法，表明本发明所提方法具有较好的精度和稳定性。
综上，本发明提供的基于FNN对抗生成的二噁英排放风险预警模型构建方法，1)提出基于FNN-GAN的风险预警框架，采用FNN对抗生成所需风险等级的虚拟样本以解决小样本问题，并用于建立DXN排放浓度风险预警模型；
2)提出基于RF的自适应特征选择方法，降低特征选择的人为性和随机性；3)提出多约束的虚拟样本选择方法，通过MMD、判别器概率和最近邻类别选择更接近真实样本的虚拟样本。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。
Claims (5)
1.一种基于FNN对抗生成的二噁英排放风险预警模型构建方法，其特征在于，包括以下步骤：
S1，采用随机森林算法计算MSWI过程输入特征重要程度以自适应选择与DXN排放相关性高的输入特征；
S2，基于生成对抗网络GAN，引入T-S模糊神经网络作为生成器和判别器，形成FNN-GAN，基于FNN对抗生成策略迭代产生用于DXN风险预警建模的候选虚拟样本，并使用DXN风险等级作为条件信息用于控制生成虚拟样本的类型；
S3，采用判别概率、最大均值差异和最近邻类别构建多约束选择机制，通过多约束选择机制进行虚拟样本筛选，获得合格虚拟样本；
S4，将合格虚拟样本与真实样本相混合，得到混合样本，基于混合样本构建MSWI过程DXN排放风险预警模型，进行MSWI过程二噁英排放风险预警。
2.根据权利要求1所述的基于FNN对抗生成的二噁英排放风险预警模型构建方法，其特征在于，所述步骤S1中，采用随机森林算法计算MSWI过程输入特征重要程度以自适应选择与DXN排放相关性高的输入特征，具体包括：
将MSWI过程获得的原始样本的输入和输出表示如下：
其中，Norg为原始样本的数量，Xorg表示由MSWI过程获得的原始样本的输入，Yreal表示对应的输出；
采用Bootstrap重抽样技术从{Xorg,Yreal}中随机抽取数据构造R组训练子集如下：
同时，还有R组没有被抽中的袋外数据表示如下：
根据R组训练子集构建R组决策树，然后将R组袋外数据输入相应的决策树得到R组预测值表示如下：
则第r个袋外数据误差表示如下：
式中，Noob为袋外数据中样本的数量，
为第r组预测值的第s个值，
为第r组袋外数据的第s个真值，r＝1,2,…,R；s＝1,2,…,Noob；
在袋外数据第h个特征中添加噪声后进行预测，得到的R组噪声预测值表示如下：
则第r个噪声袋外数据误差表示如下：
式中，
为第h个特征的第r组噪声预测值的第s个值；
计算第h个特征的重要性得分为：
重复上述操作计算所有特征的重要性得分，并将所有得分进行归一化表示，归一化后的第h个特征的重要性得分表示如下：
式中，max(γ)和min(γ)表示所有得分的最大和最小值；
将归一化后的重要性得分按照降序排列，如下：
式中，Dorg为原始样本的特征数，
表示第L个降序排列得分对应特征的重要性得分；
当前L+1个降序排列得分对应特征的重要性得分相较于前L个特征的重要性得分增幅低于5％时，将前L个降序排列得分对应的特征作为依据数据特性而自适应选择的特征；
计算增幅ξL+1，如下：
式中，
表示第L+1个降序排列得分对应特征的重要性得分；
若ξL+1≤0.05，则停止增加特征，并将最终约减特征记为：
式中，
表示第l个选择的特征；最终自适应选择得到{Xreal,Yreal}，Xreal表示真实样本的输入。
3.根据权利要求2所述的基于FNN对抗生成的二噁英排放风险预警模型构建方法，其特征在于，所述步骤S2中，基于生成对抗网络GAN，引入T-S模糊神经网络作为生成器和判别器，形成FNN-GAN，基于FNN对抗生成策略迭代产生用于DXN风险预警建模的候选虚拟样本，并使用DXN风险等级作为条件信息用于控制生成虚拟样本的类型，具体包括：
将生成器和判别器学习率分别记为
和
最大训练代数记为Ne；
生成器由前件网络和后件网络组成，前件网络匹配模糊规则的前件，后件网络产生模糊规则的后件，输入噪声表示如下：
其中，Xnoise为随机噪声，Nvir和Dvir表示待生成候选虚拟样本输入的数量和维数，设定Nvir＝Norg；
生成器前件网络由输入层、隶属度函数层、模糊规则层和softmax层组成；
以第s个输入
为例，首先，将
输入到生成器前件网络的隶属度函数层，计算输入量属于各模糊集合的隶属度，如下：
式中，
为
的第i个元素，i＝1,2,…,Dvir+1；
为
第j个模糊集合的隶属度，j＝1,2,…,MG，MG为模糊集合的数量；
和
为隶属度函数的中心和宽度；
接着，将隶属度输入到模糊规则层，确定每个模糊规则前件的适用度，如下：
最后，经过softmax层得到生成器前件网络的输出，如下：
生成器后件网络由Dvir个结构相同的并列子网络组成，每个子网络产生一个输出量，将
输入到生成器后件网络，得到后件网络的输出为
式中，k＝1,2,…,Dvir，
为第k个子网络的第j个输出；
生成器的第k个输出表示如下：
因此，
生成的候选虚拟样本为
最终，生成的候选虚拟样本的输入为
{Xvir,Yreal}为FNN对抗生成的候选虚拟样本；
将
和
同时输入到判别器中，其实现流程与生成器类似，不同之处在于，判别器的输出层增加了一个sigmoid层以输出对真实样本和候选虚拟样本的判别结果YD；
相应地，FNN-GAN的损失函数如下：
式中，P(Xreal)表示Xreal的分布；
为判别器对于{Xreal,Yreal}的输出；P(Xnoise)表示Xnoise的分布；
为判别器对于{Xvir,Yreal}的输出。
4.根据权利要求3所述的基于FNN对抗生成的二噁英排放风险预警模型构建方法，其特征在于，所述步骤S3，采用判别概率、最大均值差异和最近邻类别构建多约束选择机制，通过多约束选择机制进行虚拟样本筛选，获得合格虚拟样本，具体包括：
首先，在训练稳定阶段选择NMMD个生成器并各生成一组候选虚拟样本，如下：
计算虚拟样本和真实样本之间的最大均值差异值，如下：
式中，
表示第t组候选虚拟样本的输入，H为再生希尔伯特空间，φ(·)表示将样本映射到高维RKHS，
和
表示样本映射到RKHS中的期望值；
选择最大均值差异值最低的生成器作为筛选生成器
φMMD表示如下：
式中，minMMD(·)表示最大均值差异值最小的那组虚拟样本对应的生成器编号；
接着，由
生成一组虚拟样本{Xfilter,Yfilter}并计算其判别器概率，选择大于判别器概率阈值θdisc的虚拟样本，如下：
式中，
表示{Xfilter,Yfilter}的第i个虚拟样本；
然后，为便于理解，将Xfilter和Xreal表示如下：
式中，Nfilter表示Xfilter的样本数量；Nreal表示Xreal的样本数量，Dreal为样本维数；
计算{Xfilter,Yfilter}中各样本与{Xreal,Yreal}中各样本的欧氏距离，如下：
式中，
表示计算Xfilter的第i个样本
和Xreal的第j个样本
的欧氏距离；
和
分别表示
和
的第a个特征；
依次选取K个最小距离并将其中多数类别作为最近邻类别，表示如下：
式中，minK(·)表示从所有距离中选取K个最小距离，
表示
的K个最小距离；maxknn(·)表示选取
中的多数类别，
表示
的最近邻类别；
当
与
一致时保留该虚拟样本，如下：
如果
则保留
否则，放弃
最后，将满足上述要求的虚拟样本作为合格虚拟样本
和
分别表示合格虚拟样本的输入和输出。
5.根据权利要求4所述的基于FNN对抗生成的二噁英排放风险预警模型构建方法，其特征在于，所述步骤S4，将合格虚拟样本与真实样本相混合，得到混合样本，基于混合样本构建MSWI过程DXN排放风险预警模型，进行MSWI过程二噁英排放风险预警，具体包括：
将筛选后合格虚拟样本
和真实样本
混合，得到混合样本表示如下：
根据Rmix构建由NRF个决策树组成的RF作为风险预警模型的分类器。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210529669.4A CN114971243A (zh) | 2022-05-16 | 2022-05-16 | 基于fnn对抗生成的二噁英排放风险预警模型构建方法 |
| PCT/CN2023/099253 WO2023222138A1 (zh) | 2022-05-16 | 2023-06-09 | 基于fnn对抗生成的二噁英排放风险预警模型构建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210529669.4A CN114971243A (zh) | 2022-05-16 | 2022-05-16 | 基于fnn对抗生成的二噁英排放风险预警模型构建方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114971243A true CN114971243A (zh) | 2022-08-30 |
Family
ID=82984047
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210529669.4A Pending CN114971243A (zh) | 2022-05-16 | 2022-05-16 | 基于fnn对抗生成的二噁英排放风险预警模型构建方法 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN114971243A (zh) |
| WO (1) | WO2023222138A1 (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023222138A1 (zh) * | 2022-05-16 | 2023-11-23 | 北京工业大学 | 基于fnn对抗生成的二噁英排放风险预警模型构建方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA3060144A1 (en) * | 2018-10-26 | 2020-04-26 | Royal Bank Of Canada | System and method for max-margin adversarial training |
| CN114266461A (zh) * | 2021-12-15 | 2022-04-01 | 北京工业大学 | 基于可视化分布gan的mswi过程二噁英排放风险预警方法 |
| CN114971243A (zh) * | 2022-05-16 | 2022-08-30 | 北京工业大学 | 基于fnn对抗生成的二噁英排放风险预警模型构建方法 |
-
2022
- 2022-05-16 CN CN202210529669.4A patent/CN114971243A/zh active Pending
-
2023
- 2023-06-09 WO PCT/CN2023/099253 patent/WO2023222138A1/zh unknown
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023222138A1 (zh) * | 2022-05-16 | 2023-11-23 | 北京工业大学 | 基于fnn对抗生成的二噁英排放风险预警模型构建方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2023222138A1 (zh) | 2023-11-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108520268B (zh) | 基于样本选择和模型进化的黑盒对抗性攻击防御方法 | |
| Derrac et al. | IFS-CoCo: Instance and feature selection based on cooperative coevolution with nearest neighbor rule | |
| Mansoori et al. | SGERD: A steady-state genetic algorithm for extracting fuzzy classification rules from data | |
| Yao et al. | A new evolutionary system for evolving artificial neural networks | |
| Islam et al. | A constructive algorithm for training cooperative neural network ensembles | |
| Herrera | Genetic fuzzy systems: Status, critical considerations and future directions | |
| Antonelli et al. | Learning concurrently partition granularities and rule bases of Mamdani fuzzy systems in a multi-objective evolutionary framework | |
| Trawiński et al. | A genetic fuzzy linguistic combination method for fuzzy rule-based multiclassifiers | |
| CN110109358B (zh) | 一种基于反馈的混合多智能体协同控制方法 | |
| CN107122890A (zh) | 个人信用得分优化评价方法 | |
| Li et al. | A bilevel learning model and algorithm for self-organizing feed-forward neural networks for pattern classification | |
| Lin et al. | One-to-one ensemble mechanism for decomposition-based multi-objective optimization | |
| CN114971243A (zh) | 基于fnn对抗生成的二噁英排放风险预警模型构建方法 | |
| CN111832817A (zh) | 基于mcp罚函数的小世界回声状态网络时间序列预测方法 | |
| Braun et al. | ENZO-M—a hybrid approach for optimizing neural networks by evolution and learning | |
| Zhao et al. | A hybrid learning method for constructing compact rule-based fuzzy models | |
| De Campos et al. | Automatic design of neural networks with l-systems and genetic algorithms-a biologically inspired methodology | |
| CN112183598A (zh) | 一种基于遗传算法的特征选择方法 | |
| Abdelwahed et al. | New evolutionary bankruptcy forecasting model based on genetic algorithms and neural networks | |
| Cordón et al. | Comparing two genetic overproduce-and-choose strategies for fuzzy rule-based multiclassification systems generated by bagging and mutual information-based feature selection | |
| Antonelli et al. | Multi-objective evolutionary generation of Mamdani fuzzy rule-based systems based on rule and condition selection | |
| Cárdenas et al. | Multiobjective genetic generation of fuzzy classifiers using the iterative rule learning | |
| Murdock et al. | Identifying species by genetic clustering. | |
| CN112132259A (zh) | 神经网络模型输入参量降维方法及计算机可读存储介质 | |
| Semenkin et al. | Integration of Intelligent Information Technologies Ensembles with Self-Configuring Genetic Programming Algorithm |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information |
Inventor after: Tang Jian Inventor after: Cui Canlin Inventor after: Xia Heng Inventor after: Qiao Junfei Inventor before: Tang Jian Inventor before: Cui Canlin Inventor before: Xia Heng Inventor before: Qiao Junfei |
|
| CB03 | Change of inventor or designer information |