CN116204786B - 生成指定故障趋势数据的方法和装置 - Google Patents

生成指定故障趋势数据的方法和装置 Download PDF

Info

Publication number
CN116204786B
CN116204786B CN202310085004.3A CN202310085004A CN116204786B CN 116204786 B CN116204786 B CN 116204786B CN 202310085004 A CN202310085004 A CN 202310085004A CN 116204786 B CN116204786 B CN 116204786B
Authority
CN
China
Prior art keywords
sample
data
representing
model
fault
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310085004.3A
Other languages
English (en)
Other versions
CN116204786A (zh
Inventor
王铎
张涛
刘磊
王淑一
刘成瑞
刘文静
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Beijing Institute of Control Engineering
Original Assignee
Tsinghua University
Beijing Institute of Control Engineering
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University, Beijing Institute of Control Engineering filed Critical Tsinghua University
Priority to CN202310085004.3A priority Critical patent/CN116204786B/zh
Publication of CN116204786A publication Critical patent/CN116204786A/zh
Application granted granted Critical
Publication of CN116204786B publication Critical patent/CN116204786B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • G06F17/18Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Operations Research (AREA)
  • Probability & Statistics with Applications (AREA)
  • Health & Medical Sciences (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及故障诊断技术领域,特别涉及一种生成指定故障趋势数据的方法和装置。方法包括:确定随机噪声和指定故障趋势;其中,指定故障趋势为0~1中的任一数值;将随机噪声和指定故障趋势输入预先训练好的生成模型中,得到与指定故障趋势相匹配的数据;其中,生成模型是基于样本集对预先构建的条件生成对抗网络模型进行训练得到的,样本集是通过对真实数据集进行近邻估计得到的,样本集包括若干个样本对,每个样本对均包括一个样本数据和用于表征该样本数据的故障趋势的样本标签,真实数据集中的每一个真实数据均对应一个用于表征该真实数据的故障趋势的故障标签。本发明方法能够生成与指定故障趋势相匹配的数据,且生成的数据质量较高。

Description

生成指定故障趋势数据的方法和装置
技术领域
本发明涉及故障诊断技术领域,特别涉及一种生成指定故障趋势数据的方法和装置。
背景技术
生成对抗网络模型是一种深度学习模型,通常由生成模型和判别模型组成。实际应用中,只要具备足够数量的真实数据样本,就可以通过交替训练生成模型和判别模型,得到生成效果逼真的生成模型,并利用该生成模型生成满足要求的拟真数据。然而,在故障诊断应用场景中,正常运行数据和故障数据的比例严重失衡,利用失衡数据直接训练生成对抗网络模型,会使得网络只学会正常状态的数据分布特性,而无法有效生成具有故障特征的数据。因此,需要使用条件生成对抗网络模型,并将运行数据对应的故障趋势作为标签,来引导生成模型生成指定故障条件下的数据。
然而,相关技术中,条件生成对抗网络主要针对离散类型的条件变量,对于故障趋势这类连续形式的条件变量,样本的稀疏性导致模型难以被有效训练。
因此,目前亟待需要一种生成指定故障趋势数据的方法和装置来解决上述问题。
发明内容
基于上述问题,本发明提供了一种生成指定故障趋势数据的方法和装置,能够生成与指定故障趋势相匹配的数据,且生成的数据质量较高。
第一方面,本发明实施例提供了一种生成指定故障趋势数据的方法,包括:
确定随机噪声和指定故障趋势;其中,所述指定故障趋势为0~1中的任一数值;
将所述随机噪声和所述指定故障趋势输入预先训练好的生成模型中,得到与所述指定故障趋势相匹配的数据;其中,所述生成模型是基于样本集对预先构建的条件生成对抗网络模型进行训练得到的,所述样本集是通过对真实数据集进行近邻估计得到的,所述样本集包括若干个样本对,每个所述样本对均包括一个样本数据和用于表征该样本数据的故障趋势的样本标签,所述真实数据集中的每一个真实数据均对应一个用于表征该真实数据的故障趋势的故障标签。
在一种可能的设计中,所述条件生成对抗网络模型包括所述生成模型和判别模型;其中,
所述生成模型包括多个全连接层和多个一维反卷积层,所述生成模型以随机噪声和故障趋势为输入,输出为伪数据;
所述判别模型包括多个一维卷积层和至少一个全连接层,所述判别模型以所述样本数据或所述伪数据为输入,输出为置信度,所述置信度用于表征输入数据的真实性以及输入所述生成模型的故障趋势与所述样本数据对应的样本标签的匹配性。
在一种可能的设计中,基于样本集对预先构建的条件生成对抗网络模型进行训练,得到训练好的生成模型的方法为:
确定所述样本标签的故障趋势分布;
确定所述样本数据的条件分布;
基于所述故障趋势分布和所述条件分布,确定所述样本数据和所述样本标签联合概率分布的经验估计;
基于所述经验估计,分别确定所述生成模型和所述判别模型的损失函数;
基于所述损失函数对所述生成模型和所述判别模型进行交替训练,得到训练好的生成模型。
在一种可能的设计中,所述近邻估计为截断式近邻估计,对真实数据集进行近邻估计,得到样本集的方法为:
从所述真实数据集中抽取预设个数的故障标签;
针对每个故障标签,均执行:
基于正态分布函数,为该故障标签施加一个干扰项,得到一个所述样本标签;
根据预设的邻域范围,确定包含该样本标签的故障趋势范围;
将该故障趋势范围内的至少部分真实数据作为该样本标签下的样本数据。
在一种可能的设计中,
所述样本标签的故障趋势分布为:
所述样本数据的条件分布:
所述样本数据和所述样本标签联合概率分布的经验估计为:
所述生成模型的损失函数为:
所述判别模型的损失函数为:
式中,x、y分别表示概率分布/>的自变量,x表示样本,y表示样本标签,N表示用于融合的样本数据和生成的伪数据对的数量,Nr和Ng分别表示样本数据和生成的伪数据的数量,H1、H2、H3、H4、H5和H9分别表示归一化的常数,E表示期望,D()表示判别模型的输出,G()表示生成模型的输出,ξ表示干扰项,xi r表示样本集中的样本数据,xi g表示生成网络生成的伪数据,xi、xk分别表示第i、k个训练样本,yi、yj、yk分别表示第i、j、k个训练样本的样本标签,σ2表示正态分布的方差,ε表示所述预设的邻域范围,λ表示可调整权重,Z表示随机噪声,α表示融合权重,/>表示判别模型的输出相对于输入样本的梯度。
在一种可能的设计中,所述近邻估计为加权式近邻估计,对真实数据集进行近邻估计,得到样本集的方法为:
从所述真实数据集中抽取预设个数的故障标签;
针对每个故障标签,均执行:
基于正态分布函数,为该故障标签施加一个干扰项,得到一个所述样本标签;
将最小故障标签至最大故障标签范围内的至少部分真实数据作为该样本标签下的样本数据,并根据每个真实数据的故障标签与该样本标签的差值确定每个真实数据的权重。
在一种可能的设计中,
所述样本标签的故障趋势分布为:
所述样本数据的条件分布:
所述样本数据和所述样本标签联合概率分布的经验估计为:
所述生成模型的损失函数为
所述判别模型的损失函数为:
式中,x、y分别表示概率分布/>的自变量,x表示样本,y表示样本标签,N表示用于融合的样本数据和生成的伪数据对的数量,Nr和Ng分别表示样本数据和生成的伪数据的数量,H1、H2、H6、H7、H8和H9分别表示归一化的常数,E表示期望,D()表示判别模型的输出,G()表示生成模型的输出,ξ表示干扰项,xi r表示样本集中的样本数据,xi g表示生成网络生成的伪数据,xi、xk分别表示第i、k个训练样本,yi、yj、yk分别表示第i、j、k个训练样本的样本标签,σ2表示正态分布的方差,ε表示所述预设的邻域范围,λ表示可调整权重,Z表示随机噪声,α表示融合权重,/>表示判别模型的输出相对于输入样本的梯度,w(y,yi)表示权重函数。
第二方面,本发明实施例还提供了一种生成指定故障趋势数据的装置,包括:
确定模块,用于确定随机噪声和指定故障趋势;其中,所述指定故障趋势为0~1中的任一数值;
输入模块,用于将所述随机噪声和所述指定故障趋势输入预先训练好的生成模型中,得到与所述指定故障趋势相匹配的数据;其中,所述生成模型是基于样本集对预先构建的条件生成对抗网络模型进行训练得到的,所述样本集是通过对真实数据集进行近邻估计得到的,所述样本集包括若干个样本对,每个所述样本对均包括一个样本数据和用于表征该样本数据的故障趋势的样本标签,所述真实数据集中的每一个真实数据均对应一个用于表征该真实数据的故障趋势的故障标签。
第三方面,本发明实施例还提供了一种电子设备,包括存储器和处理器,所述存储器中存储有计算机程序,所述处理器执行所述计算机程序时,实现本说明书任一实施例所述的方法。
第四方面,本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,当所述计算机程序在计算机中执行时,令计算机执行本说明书任一实施例所述的方法。
在本发明实施例中,故障趋势为连续的变量,在每个故障趋势下,很难得到与之对应的大量真实数据,即无法得到足够数量的样本数据用于模型训练。基于此,本发明利用对真实数据集进行近邻估计的方法来扩充样本数据的数量,这是由于相近故障趋势的数据具有相似的特性,因此,针对任一故障趋势,均可以将与之相邻近的故障趋势对应的真实数据也作为该故障趋势下的数据,从而增加每一故障趋势下的样本数据,得到丰富的样本集。基于该样本集对预先构建的条件生成对抗网络模型进行训练,可以解决连续条件下有限数量样本数据模型难易收敛的问题,从而得到质量较高的生成模型。并利用该模型生成与指定故障趋势相匹配的数据,且生成的数据质量较高。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明一实施例提供的一种生成指定故障趋势数据的方法的流程图;
图2是本发明一实施例提供的一种电子设备的硬件架构图;
图3是本发明一实施例提供的一种生成指定故障趋势数据的装置结构图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例,基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参考图1,本发明实施例提供了一种生成指定故障趋势数据的方法,该方法包括:
步骤100,确定随机噪声和指定故障趋势;其中,指定故障趋势为0~1中的任一数值;
步骤102,将随机噪声和指定故障趋势输入预先训练好的生成模型中,得到与指定故障趋势相匹配的数据;其中,生成模型是基于样本集对预先构建的条件生成对抗网络模型进行训练得到的,样本集是通过对真实数据集进行近邻估计得到的,样本集包括若干个样本对,每个样本对均包括一个样本数据和用于表征该样本数据的故障趋势的样本标签,真实数据集中的每一个真实数据均对应一个用于表征该真实数据的故障趋势的故障标签。
在本发明实施例中,故障趋势为连续的变量,在每个故障趋势下,很难得到与之对应的大量真实数据,即无法得到足够数量的样本数据用于模型训练。基于此,本发明利用对真实数据集进行近邻估计的方法来扩充样本数据的数量,这是由于相近故障趋势的数据具有相似的特性,因此,针对任一故障趋势,均可以将与之相邻近的故障趋势对应的真实数据也作为该故障趋势下的数据,从而增加每一故障趋势下的样本数据,得到丰富的样本集。基于该样本集对预先构建的条件生成对抗网络模型进行训练,可以解决连续条件下有限数量样本数据模型难易收敛的问题,从而得到质量较高的生成模型。并利用该模型生成与指定故障趋势相匹配的数据,且生成的数据质量较高。
还需要说明的是,由于样本集是对真实数据集进行近邻估计的得到的,因此该样本集也称为真实样本,而生成模型生成的伪数据为生成样本。
针对步骤100,随机噪声为高斯噪声。
针对步骤102,在一些实施方式中,条件生成对抗网络模型包括生成模型和判别模型;其中,
生成模型包括多个全连接层和多个一维反卷积层,生成模型以随机噪声和故障趋势为输入,输出为伪数据;
判别模型包括多个一维卷积层和至少一个全连接层,判别模型以样本数据或伪数据为输入,输出为置信度,置信度用于表征输入数据的真实性以及输入生成模型的故障趋势与样本数据对应的样本标签的匹配性。
在该步骤中,生成模型以一维的随机变量作为输入,依次通过多个全连接层和一维反卷积层后,输出维度为[B,C,L]的张量。其中,B代表生成的数据数量,C代表数据中包含的特征数量(例如电流、电压、温度等),L代表数据的序列长度。该步骤将故障趋势通过可训练的编码模块转换为故障趋势信息向量,同时为保证故障趋势信息的有效嵌入,本发明将故障趋势信息向量分别与输入的随机变量和每个全连接层的输出向量拼接,以提升故障趋势信息对生成数据特征的影响效果。对于判别模型,输出的置信度越大,说明输入的数据越接近于真实数据。
通常,对于条件生成对抗网络的训练,需要计算样本x和条件标签y(即样本标签)的联合概率分布p(x,y)在已有样本(即真实数据集)下的经验估计,其基本思想是利用在已知样本处的脉冲函数的累加作为联合概率分布的估计。根据联合概率分布公式p(x,y)=p(y)p(x|y),对于离散条件生成对抗网络模型,利用脉冲函数累加的形式分别对p(y)和p(x|y)进行估计,可得:
式中,C表示标签数量,NC表示c标签对应的样本数量,yc表示第c类的类别标签,xc,j表示标签为c的第j个样本,对于离散取值的标签,每个标签c都会有一定的样本数,因此这种分布估计是可以接受的。然而对于故障趋势这种连续形式的标签,其取值是稠密的而样本数量是有限的,因此这种概率密度估计方法会导致大多数故障趋势标签对应的样本数量稀少,难以充分准确挖掘故障趋势下的数据分布信息,从而使得以故障趋势为条件的数据生成模型训练效果不佳。
基于此,本发明采用近邻估计方法对样本数据和样本标签联合概率分布的经验估计进行优化。其思想是对于稠密故障趋势标签,相邻或接近的故障趋势对应的数据分布特性比较相似,对于某个故障趋势条件下的数据分布估计可利用其相邻故障趋势下的数据作为补充,最后基于扩充后的样本集对生成模型和判别模型进行交替训练,从而得到训练好的生成模型。
具体而言,首先需要确定样本标签的故障趋势分布,对于故障趋势分布p(y),可以利用高斯核密度函数对脉冲函数进行平滑化松弛,得到连续形式的分布,即:
而对于样本数据的条件分布,本发明分别采用了两种近邻估计方法:截断式近邻估计和加权式近邻估计,下面分别论述两种方法的计算过程。
第一种,截断式近邻估计法。
样本数据的条件分布为:
式中,N是训练样本的数量,表示示性函数,()内为真取1,否则取0。截断式近邻估计的含义是选择待估故障趋势的ε邻域内的数据对条件概率分布进行经验估计,近邻外的数据则忽略。
综合对故障趋势分布的估计和对条件分布的形式估计,得到样本数据与连续形式的故障趋势联合概率分布的经验估计,即样本数据和样本标签联合概率分布的经验估计为:
式中,H1和H2表示归一化常数,保证概率密度函数积分为1。
再然后,根据得出的样本数据与连续形式的故障趋势联合概率分布的经验估计,推导Wasserstein距离引导的连续条件生成对抗网络的训练损失函数。首先给出基于原始概率分布的连续条件生成对抗网络的训练损失函数,生成对抗网络模型中对判别模型(D)训练的原则是希望其对于真实样本给出尽可能大的置信度,而对于生成样本给出尽可能小的置信度,实现对真实和生成样本的区分,其本质是计算真实数据分布和生成数据分布的某种距离度量。对于Wasserstein距离,要求判别网络D满足1-Lipschitz条件,等价于D相对于输入样本的梯度的模不大于1,该项约束可通过在损失函数中施加对D的梯度二范数惩罚项(GP)实现。而对生成网络模型(G)训练的原则是希望其生成的样本能够让判别网络给出尽可能大的置信度,其本质是缩小真实样本分布和生成样本分布之间的距离,使得生成样本与真实样本无法区分。即最小化如下损失函数:
式中,pr和pg分别表示真实样本及其故障趋势的联合分布以及生成样本及其故障趋势的联合分布。表示真实样本和生成样本线性组合及其故障趋势的联合分布,其中/>α~U(0,1),(xr,y)~pr(x,y),(xg,y)~pg(x,y)。根据联合分布、边缘分布与条件分布的定义及其之间的关系,/>等价于:
将其带入GP项,可得:
用样本数据和样本标签联合概率分布的经验估计替换,利用脉冲函数性质以及数学期望的定义,可以得到训练函数的经验估计形式,判别模型的截断式训练损失函数可表示为:
以上公式中,x、y分别表示概率分布/>的自变量,x表示样本,y表示样本标签,N表示用于融合的样本数据和生成的伪数据对的数量,Nr和Ng分别表示样本数据和生成的伪数据的数量,H1、H2、H3、H4、H5和H9分别表示归一化的常数,E表示期望,D()表示判别模型的输出,G()表示生成模型的输出,ξ表示干扰项,xi r表示样本集中的样本数据,xi g表示生成网络生成的伪数据,xi、xk分别表示第i、k个训练样本,yi、yj、yk分别表示第i、j、k个训练样本的样本标签,σ2表示正态分布的方差,ε表示预设的邻域范围,λ表示可调整权重,Z表示随机噪声,α表示融合权重,/>表示判别模型的输出相对于输入样本的梯度。
第二种,加权式近邻估计法。
该方法与截断式近邻估计法的思想类似,相同之处不再赘述,两种方法的区别在于,加权式近邻估计法需要考虑数据对应的真实故障趋势与待估故障趋势的差异不同对样本施加不同程度的权重,以降低故障趋势偏差带来的影响,具体地,各公式表达式分别如下:
样本标签的故障趋势分布为:
样本数据的条件分布:
样本数据和样本标签联合概率分布的经验估计为:
其中,H1和H2表示归一化常数,保证概率密度函数积分为1。权重函数w(y,yi)设为两标签欧式距离的负指数函数:
其中,γ为权重变化因子,描述y与yi距离变化对权重w的影响程度。
生成模型的损失函数为:
判别模型的损失函数为:
上述公式中,x、y分别表示概率分布/>的自变量,x表示样本,y表示样本标签,N表示用于融合的样本数据和生成的伪数据对的数量,Nr和Ng分别表示样本数据和生成的伪数据的数量,H1、H2、H6、H7、H8和H9分别表示归一化的常数,E表示期望,D()表示判别模型的输出,G()表示生成模型的输出,ξ表示干扰项,xi r表示样本集中的样本数据,xi g表示生成网络生成的伪数据,xi、xk分别表示第i、k个训练样本,yi、yj、yk分别表示第i、j、k个训练样本的样本标签,σ2表示正态分布的方差,ε表示预设的邻域范围,λ表示可调整权重,Z表示随机噪声,α表示融合权重,/>表示判别模型的输出相对于输入样本的梯度。
还需要说明的是,在实际训练时为简化计算,可令Nr=Ng=N。H3、H4、H5、H6、H7、H8表示归一化常数,需保证概率密度函数积分为1。
此外,针对两种近邻估计方法,生成模型的损失函数为:
下面分别详述两种近邻估计方法对条件生成对抗模型的训练过程。
第一种,针对截断式生成对抗网络,训练过程如下:
a,训练超参数初始化:包括训练轮数M,生成模型训练间隔Mg,带有故障趋势标签的真实数据集Dr,随机分布随机分布U(0,1),生成模型的输入噪声分布pz(z),生成模型和判别模型的学习率lg、ld,单次训练的样本批次大小B,故障趋势标签邻域范围ε;
b,生成模型、判别模型参数随机初始化,分别记作θg,θd
c,针对每一轮训练,均对真实数据集进行近邻估计,得到一个样本集,具体方法为:
c1,从真实数据集中抽取预设个数的故障标签yj,如B个,则j=1,2,...,B;
c2,针对每个故障标签yj,均执行:
基于正态分布函数随机为该故障标签yj施加一个干扰项ξj,得到一个样本标签ξj+yj,j=1,2,...,B;
根据预设的邻域范围ε,确定包含该样本标签的故障趋势范围ξj+yj±ε;
将该故障趋势范围ξj+yj±ε内的至少部分真实数据(xi r,yi)作为该样本标签下的样本数据对(xi r,ξj+yj),其中,ξj+yj-ε≤yi≤ξj+yj+ε。
例如y1=0.5,ξ1=0.05,ε=0.1,则ξ1+y1=0.55,ξ1+y1在ε的邻域范围为0.45~0.65,则将真实数据集中故障趋势标签为0.45~0.65范围内的部分或全部数据作为0.55样本标签下的真实数据,如此,得到样本集,样本集由若干个样本数据对组成;
d,针对每一轮训练,均判断训练轮数是否为Mg的整数倍,若否,则固定生成模型的网络参数,以c2中采集的故障趋势yi为条件,从pz(z)中采集噪声z,通过生成模型产生样本xi g=G(z,yi),组成生成数据对(xi g,ξj+yj),并执行e和f;若是,则执行g;
e,从随机分布U(0,1)中随机采集融合权重α,得到融合数据对(αxi r+(1-α)xi g,ξj+yj);
f,利用真实数据对(xi r,ξj+yj)、生成数据对(xi g,ξj+yj)和融合数据对(αxi r+(1-α)xi g,ξj+yj)训练判别模型,训练轮数+1;
g,固定判别模型的网络参数,通过生成模型产生样本xj g=G(z,ξj+yj),利用生成数据对(xj g,ξj+yj)训练生成模型,训练轮数+1;
h,当训练轮数小于M时,重复步骤c-g,否则输出生成模型和判别模型,结束训练。
第二种,针对近邻式生成对抗网络,训练过程如下:
a,训练超参数初始化:包括训练轮数M,生成模型训练间隔Mg,带有故障趋势标签的真实数据集Dr,随机分布随机分布U(0,1),生成模型的输入噪声分布pz(z),生成模型和判别模型的学习率lg、ld,单次训练的样本批次大小B,权重函数w;
b,生成模型、判别模型参数随机初始化,分别记作θg,θd
c,针对每一轮训练,均对真实数据集进行近邻估计,得到一个样本集,具体方法为:
c1,从真实数据集中抽取预设个数的故障标签yj,如B个,则j=1,2,...,B;
c2,针对每个故障标签yj,均执行:
基于正态分布函数随机为该故障标签yj施加一个干扰项ξj,得到一个样本标签ξj+yj,j=1,2,...,B;
将最小故障标签至最大故障标签范围内的至少部分真实数据作为该样本标签下的样本数据,并根据每个真实数据的故障标签与该样本标签的差值确定每个真实数据的权重。
例如,y1=0.5,ξ1=0.05,则ξ1+y1=0.55,最小故障标签为0.2,最大故障标签为0.9,则将真实数据集中故障趋势标签为0.2~0.9范围内的部分或全部数据作为该样本标签0.55下的真实数据,如此,得到样本集,样本集由若干个样本数据对组成,当然,每个故障标签的权重w(ξ+yj,yi)不同,需要根据权重对数据做归一化处理。
d,针对每一轮训练,均判断训练轮数是否为Mg的整数倍,若否,则固定生成模型的网络参数,以c2中采集的故障趋势yi为条件,从pz(z)中采集噪声z,通过生成模型产生样本xi g=G(z,yi),组成生成数据对(xi g,ξj+yj),并执行e和f;若是,则执行g;
e,从随机分布U(0,1)中随机采集融合权重α,得到融合数据对(αxi r+(1-α)xi g,ξj+yj);
f,利用真实数据对(xi r,ξj+yj)、生成数据对(xi g,ξj+yj)、融合数据对(αxi r+(1-α)xi g,ξj+yj)以及归一化权重w(ξ+yj,yi)训练判别模型,训练轮数+1;
g,固定判别模型的网络参数,通过生成模型产生样本xj g=G(z,ξj+yj),利用生成数据对(xj g,ξj+yj)训练生成模型,训练轮数+1;
h,当训练轮数小于M时,重复步骤c-g,否则输出生成模型和判别模型,结束训练。
针对每种方法,训练结束后即可将训练好的生成模型作为最终模型,用于生成任意给定故障趋势下的数据。
为了证明本发明方法生成模型的准确性,发明人构建了故障趋势预测模型,并分别用原始的真实数据集组成的样本,以及使用本发明方法生成的数据集对该故障趋势预测模型进行训练,分别得到训练好的预测模型。最后分别使用训练好的预测模型进行故障趋势预测,结果表明:利用本发明方法生成的数据集训练得到的预测模型的预测准确性比利用原始数据集训练得到的预测模型的预测准确性提升了40%,由此可见,利用本发明方法可以准确生成指定故障趋势的数据。
如图2、图3所示,本发明实施例提供了一种生成指定故障趋势数据的装置。装置实施例可以通过软件实现,也可以通过硬件或者软硬件结合的方式实现。从硬件层面而言,如图2所示,为本发明实施例提供的一种生成指定故障趋势数据的装置所在电子设备的一种硬件架构图,除了图2所示的处理器、内存、网络接口、以及非易失性存储器之外,实施例中装置所在的电子设备通常还可以包括其他硬件,如负责处理报文的转发芯片等等。以软件实现为例,如图3所示,作为一个逻辑意义上的装置,是通过其所在电子设备的CPU将非易失性存储器中对应的计算机程序读取到内存中运行形成的。本实施例提供的一种生成指定故障趋势数据的装置,包括:
确定模块300,用于确定随机噪声和指定故障趋势;其中,指定故障趋势为0~1中的任一数值;
输入模块302,用于将随机噪声和指定故障趋势输入预先训练好的生成模型中,得到与指定故障趋势相匹配的数据;其中,生成模型是基于样本集对预先构建的条件生成对抗网络模型进行训练得到的,样本集是通过对真实数据集进行近邻估计得到的,样本集包括若干个样本对,每个样本对均包括一个样本数据和用于表征该样本数据的故障趋势的样本标签,真实数据集中的每一个真实数据均对应一个用于表征该真实数据的故障趋势的故障标签。
在本发明实施例中,获取模块300可用于执行上述方法实施例中的步骤100,输入模块302可用于执行上述方法实施例中的步骤102。
在一些实施方式中,条件生成对抗网络模型包括生成模型和判别模型;其中,
生成模型包括多个全连接层和多个一维反卷积层,生成模型以随机噪声和故障趋势为输入,输出为伪数据;
判别模型包括多个一维卷积层和至少一个全连接层,判别模型以样本数据或伪数据为输入,输出为置信度,置信度用于表征输入数据的真实性以及输入生成模型的故障趋势与样本数据对应的样本标签的匹配性。
在一些实施方式中,基于样本集对预先构建的条件生成对抗网络模型进行训练,得到训练好的生成模型的方法为:
确定样本标签的故障趋势分布;
确定样本数据的条件分布;
基于故障趋势分布和条件分布,确定样本数据和样本标签联合概率分布的经验估计;
基于经验估计,分别确定生成模型和判别模型的损失函数;
基于损失函数对生成模型和判别模型进行交替训练,得到训练好的生成模型。
在一些实施方式中,近邻估计为截断式近邻估计,对真实数据集进行近邻估计,得到样本集的方法为:
从真实数据集中抽取预设个数的故障标签;
针对每个故障标签,均执行:
基于正态分布函数,为该故障标签施加一个干扰项,得到一个样本标签;
根据预设的邻域范围,确定包含该样本标签的故障趋势范围;
将该故障趋势范围内的至少部分真实数据作为该样本标签下的样本数据。
在一些实施方式中,
样本标签的故障趋势分布为:
样本数据的条件分布:
样本数据和样本标签联合概率分布的经验估计为:
生成模型的损失函数为:
判别模型的损失函数为:
式中,x、y分别表示概率分布/>的自变量,x表示样本,y表示样本标签,N表示用于融合的样本数据和生成的伪数据对的数量,Nr和Ng分别表示样本数据和生成的伪数据的数量,H1、H2、H3、H4、H5和H9分别表示归一化的常数,E表示期望,D()表示判别模型的输出,G()表示生成模型的输出,ξ表示干扰项,xi r表示样本集中的样本数据,xi g表示生成网络生成的伪数据,xi、xk分别表示第i、k个训练样本,yi、yj、yk分别表示第i、j、k个训练样本的样本标签,σ2表示正态分布的方差,ε表示预设的邻域范围,λ表示可调整权重,Z表示随机噪声,α表示融合权重,/>表示判别模型的输出相对于输入样本的梯度。
在一些实施方式中,近邻估计为加权式近邻估计,对真实数据集进行近邻估计,得到样本集的方法为:
从真实数据集中抽取预设个数的故障标签;
针对每个故障标签,均执行:
基于正态分布函数,为该故障标签施加一个干扰项,得到一个样本标签;
将最小故障标签至最大故障标签范围内的至少部分真实数据作为该样本标签下的样本数据,并根据每个真实数据的故障标签与该样本标签的差值确定每个真实数据的权重。
在一些实施方式中,
样本标签的故障趋势分布为:
样本数据的条件分布:
样本数据和样本标签联合概率分布的经验估计为:
生成模型的损失函数为:
/>
判别模型的损失函数为:
式中,x、y分别表示概率分布/>的自变量,x表示样本,y表示样本标签,N表示用于融合的样本数据和生成的伪数据对的数量,Nr和Ng分别表示样本数据和生成的伪数据的数量,H1、H2、H6、H7、H8和H9分别表示归一化的常数,E表示期望,D()表示判别模型的输出,G()表示生成模型的输出,ξ表示干扰项,xi r表示样本集中的样本数据,xi g表示生成网络生成的伪数据,xi、xk分别表示第i、k个训练样本,yi、yj、yk分别表示第i、j、k个训练样本的样本标签,σ2表示正态分布的方差,ε表示预设的邻域范围,λ表示可调整权重,Z表示随机噪声,α表示融合权重,/>表示判别模型的输出相对于输入样本的梯度,w(y,yi)表示权重函数。
可以理解的是,本发明实施例示意的结构并不构成对一种生成指定故障趋势数据的装置的具体限定。在本发明的另一些实施例中,一种生成指定故障趋势数据的装置可以包括比图示更多或者更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件、软件或者软件和硬件的组合来实现。
上述装置内的各模块之间的信息交互、执行过程等内容,由于与本发明方法实施例基于同一构思,具体内容可参见本发明方法实施例中的叙述,此处不再赘述。
本发明实施例还提供了一种电子设备,包括存储器和处理器,所述存储器中存储有计算机程序,所述处理器执行所述计算机程序时,实现本发明任一实施例中的一种生成指定故障趋势数据的方法。
本发明实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序在被处理器执行时,使所述处理器执行本发明任一实施例中的一种生成指定故障趋势数据的方法。
具体地,可以提供配有存储介质的系统或者装置,在该存储介质上存储着实现上述实施例中任一实施例的功能的软件程序代码,且使该系统或者装置的计算机(或CPU或MPU)读出并执行存储在存储介质中的程序代码。
在这种情况下,从存储介质读取的程序代码本身可实现上述实施例中任何一项实施例的功能,因此程序代码和存储程序代码的存储介质构成了本发明的一部分。
用于提供程序代码的存储介质实施例包括软盘、硬盘、磁光盘、光盘(如CD-ROM、CD-R、CD-RW、DVD-ROM、DVD-RAM、DVD-RW、DVD+RW)、磁带、非易失性存储卡和ROM。可选择地,可以由通信网络从服务器计算机上下载程序代码。
此外,应该清楚的是,不仅可以通过执行计算机所读出的程序代码,而且可以通过基于程序代码的指令使计算机上操作的操作系统等来完成部分或者全部的实际操作,从而实现上述实施例中任意一项实施例的功能。
此外,可以理解的是,将由存储介质读出的程序代码写到插入计算机内的扩展板中所设置的存储器中或者写到与计算机相连接的扩展模块中设置的存储器中,随后基于程序代码的指令使安装在扩展板或者扩展模块上的CPU等来执行部分和全部实际操作,从而实现上述实施例中任一实施例的功能。
需要说明的是,在本文中,诸如第一和第二之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储在计算机可读取的存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质中。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种生成指定故障趋势数据的方法,其特征在于,包括:
确定随机噪声和指定故障趋势;其中,所述指定故障趋势为0~1中的任一数值;
将所述随机噪声和所述指定故障趋势输入预先训练好的生成模型中,得到与所述指定故障趋势相匹配的数据;其中,所述生成模型是基于样本集对预先构建的条件生成对抗网络模型进行训练得到的,所述样本集是通过对真实数据集进行近邻估计得到的,所述样本集包括若干个样本对,每个所述样本对均包括一个样本数据和用于表征该样本数据的故障趋势的样本标签,所述真实数据集中的每一个真实数据均对应一个用于表征该真实数据的故障趋势的故障标签。
2.根据权利要求1所述的方法,其特征在于,所述条件生成对抗网络模型包括所述生成模型和判别模型;其中,
所述生成模型包括多个全连接层和多个一维反卷积层,所述生成模型以随机噪声和故障趋势为输入,输出为伪数据;
所述判别模型包括多个一维卷积层和至少一个全连接层,所述判别模型以所述样本数据或所述伪数据为输入,输出为置信度,所述置信度用于表征输入数据的真实性以及输入所述生成模型的故障趋势与所述样本数据对应的样本标签的匹配性。
3.根据权利要求2所述的方法,其特征在于,基于样本集对预先构建的条件生成对抗网络模型进行训练,得到训练好的生成模型的方法为:
确定所述样本标签的故障趋势分布;
确定所述样本数据的条件分布;
基于所述故障趋势分布和所述条件分布,确定所述样本数据和所述样本标签联合概率分布的经验估计;
基于所述经验估计,分别确定所述生成模型和所述判别模型的损失函数;
基于所述损失函数对所述生成模型和所述判别模型进行交替训练,得到训练好的生成模型。
4.根据权利要求3所述的方法,其特征在于,所述近邻估计为截断式近邻估计,对真实数据集进行近邻估计,得到样本集的方法为:
从所述真实数据集中抽取预设个数的故障标签;
针对每个故障标签,均执行:
基于正态分布函数,为该故障标签施加一个干扰项,得到一个所述样本标签;
根据预设的邻域范围,确定包含该样本标签的故障趋势范围;
将该故障趋势范围内的至少部分真实数据作为该样本标签下的样本数据。
5.根据权利要求4所述的方法,其特征在于,
所述样本标签的故障趋势分布为:
所述样本数据的条件分布:
所述样本数据和所述样本标签联合概率分布的经验估计为:
所述生成模型的损失函数为:
所述判别模型的损失函数为:
式中,x、y分别表示概率分布/>的自变量,x表示样本,y表示样本标签,N表示用于融合的样本数据和生成的伪数据对的数量,Nr和Ng分别表示样本数据和生成的伪数据的数量,H1、H2、H3、H4、H5和H9分别表示归一化的常数,E表示期望,D()表示判别模型的输出,G()表示生成模型的输出,ξ表示干扰项,xi r表示样本集中的样本数据,xi g表示生成网络生成的伪数据,xi、xk分别表示第i、k个训练样本,yi、yj、yk分别表示第i、j、k个训练样本的样本标签,σ2表示正态分布的方差,ε表示所述预设的邻域范围,λ表示可调整权重,Z表示随机噪声,α表示融合权重,/>表示判别模型的输出相对于输入样本的梯度。
6.根据权利要求3所述的方法,其特征在于,所述近邻估计为加权式近邻估计,对真实数据集进行近邻估计,得到样本集的方法为:
从所述真实数据集中抽取预设个数的故障标签;
针对每个故障标签,均执行:
基于正态分布函数,为该故障标签施加一个干扰项,得到一个所述样本标签;
将最小故障标签至最大故障标签范围内的至少部分真实数据作为该样本标签下的样本数据,并根据每个真实数据的故障标签与该样本标签的差值确定每个真实数据的权重。
7.根据权利要求6所述的方法,其特征在于,
所述样本标签的故障趋势分布为:
所述样本数据的条件分布:
所述样本数据和所述样本标签联合概率分布的经验估计为:
所述生成模型的损失函数为:
所述判别模型的损失函数为:
式中,x、y分别表示概率分布/>的自变量,x表示样本,y表示样本标签,N表示用于融合的样本数据和生成的伪数据对的数量,Nr和Ng分别表示样本数据和生成的伪数据的数量,H1、H2、H6、H7、H8和H9分别表示归一化的常数,E表示期望,D()表示判别模型的输出,G()表示生成模型的输出,ξ表示干扰项,xi r表示样本集中的样本数据,xi g表示生成网络生成的伪数据,xi、xk分别表示第i、k个训练样本,yi、yj、yk分别表示第i、j、k个训练样本的样本标签,σ2表示正态分布的方差,ε表示所述预设的邻域范围,λ表示可调整权重,Z表示随机噪声,α表示融合权重,/>表示判别模型的输出相对于输入样本的梯度,w(y,yi)表示权重函数。
8.一种生成指定故障趋势数据的装置,其特征在于,包括:
确定模块,用于确定随机噪声和指定故障趋势;其中,所述指定故障趋势为0~1中的任一数值;
输入模块,用于将所述随机噪声和所述指定故障趋势输入预先训练好的生成模型中,得到与所述指定故障趋势相匹配的数据;其中,所述生成模型是基于样本集对预先构建的条件生成对抗网络模型进行训练得到的,所述样本集是通过对真实数据集进行近邻估计得到的,所述样本集包括若干个样本对,每个所述样本对均包括一个样本数据和用于表征该样本数据的故障趋势的样本标签,所述真实数据集中的每一个真实数据均对应一个用于表征该真实数据的故障趋势的故障标签。
9.一种电子设备,包括存储器和处理器,所述存储器中存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时,实现如权利要求1-8中任一项所述的方法。
10.一种存储介质,其上存储有计算机程序,其特征在于,当所述计算机程序在计算机中执行时,令计算机执行权利要求1-7中任一项所述的方法。
CN202310085004.3A 2023-01-18 2023-01-18 生成指定故障趋势数据的方法和装置 Active CN116204786B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310085004.3A CN116204786B (zh) 2023-01-18 2023-01-18 生成指定故障趋势数据的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310085004.3A CN116204786B (zh) 2023-01-18 2023-01-18 生成指定故障趋势数据的方法和装置

Publications (2)

Publication Number Publication Date
CN116204786A CN116204786A (zh) 2023-06-02
CN116204786B true CN116204786B (zh) 2023-09-15

Family

ID=86518522

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310085004.3A Active CN116204786B (zh) 2023-01-18 2023-01-18 生成指定故障趋势数据的方法和装置

Country Status (1)

Country Link
CN (1) CN116204786B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117368799B (zh) * 2023-12-07 2024-02-23 山西思极科技有限公司 一种电力系统输电线路短路故障的诊断方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111177135A (zh) * 2019-12-27 2020-05-19 清华大学 一种基于界标的数据填补方法及装置
CN111814823A (zh) * 2020-05-26 2020-10-23 北京控制工程研究所 一种基于场景模板生成的迁移学习方法
CN113884290A (zh) * 2021-09-28 2022-01-04 江南大学 基于自训练半监督生成对抗网络的调压器故障诊断方法
CN113935460A (zh) * 2021-09-27 2022-01-14 苏州大学 类不平衡数据集下的机械故障智能诊断方法
CN114091504A (zh) * 2021-07-19 2022-02-25 中国科学院空间应用工程与技术中心 一种基于生成对抗网络的旋转机械小样本故障诊断方法
CN115374842A (zh) * 2022-08-03 2022-11-22 哈尔滨工业大学(深圳) 基于生成对抗网络的机械轴承故障分类方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7057913B2 (ja) * 2016-06-09 2022-04-21 株式会社島津製作所 ビッグデータ解析方法及び該解析方法を利用した質量分析システム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111177135A (zh) * 2019-12-27 2020-05-19 清华大学 一种基于界标的数据填补方法及装置
CN111814823A (zh) * 2020-05-26 2020-10-23 北京控制工程研究所 一种基于场景模板生成的迁移学习方法
CN114091504A (zh) * 2021-07-19 2022-02-25 中国科学院空间应用工程与技术中心 一种基于生成对抗网络的旋转机械小样本故障诊断方法
CN113935460A (zh) * 2021-09-27 2022-01-14 苏州大学 类不平衡数据集下的机械故障智能诊断方法
CN113884290A (zh) * 2021-09-28 2022-01-04 江南大学 基于自训练半监督生成对抗网络的调压器故障诊断方法
CN115374842A (zh) * 2022-08-03 2022-11-22 哈尔滨工业大学(深圳) 基于生成对抗网络的机械轴承故障分类方法及系统

Non-Patent Citations (9)

* Cited by examiner, † Cited by third party
Title
A semi-supervised GAN method for RUL prediction using failure and suspension histories;RUI HE等;《Mechanical systems and signal Processing》;108657:1-18 *
Optical Visualization of Radiative Recombination at Partial Dislocations in GaAs;Karin T等;《2016 IEEE 43RD PHOTOVOLTAIC SPECIALISTS CONFERENCE》;1989-1992 *
QSCGAN:AN un-supervised Quick Self-Attention Convolutional GAN for LRE Bearing Fault Diagnosis Under Limited Label-Lacked Data;Wan WQ等;《IEEE TRANSACTION ON INSTRUMENTATION AND MEASUREMENT》;1-7 *
一类非线性系统的故障可诊断性量化评价方法;李文博;王大轶;刘成瑞;;宇航学报(第04期);95-102 *
图像描述问题发展趋势及应用;马倩霞等;《无人系统技术》;25-35 *
基于时间序列法与马尔可夫链的多沙水库动态运用研究;吴腾;张红武;钟德钰;刘磊;;水力发电学报(第04期);67-73+86 *
基于深度学习的推荐系统研究综述;黄立威;江碧涛;吕守业;刘艳博;李德毅;;计算机学报(第07期);191-219 *
针对对抗样本检测的近邻判别方法研究;任毅;《中国优秀硕士学位论文全文数据库信息科技辑》;I140-151 *
面向复杂网络的异常检测研究进展;苏江军等;《控制与决策》;1293-1310 *

Also Published As

Publication number Publication date
CN116204786A (zh) 2023-06-02

Similar Documents

Publication Publication Date Title
Liu et al. Compositional visual generation with composable diffusion models
Chen et al. Source-free domain adaptive fundus image segmentation with denoised pseudo-labeling
US7797259B2 (en) System for temporal prediction
CN112966074B (zh) 一种情感分析方法、装置、电子设备以及存储介质
US20200065673A1 (en) Pre-training system for self-learning agent in virtualized environment
CN112766386B (zh) 一种基于多输入多输出融合网络的广义零样本学习方法
US10210456B2 (en) Estimation of predictive accuracy gains from added features
CN116204786B (zh) 生成指定故障趋势数据的方法和装置
Liu et al. Co-correcting: noise-tolerant medical image classification via mutual label correction
US20200265307A1 (en) Apparatus and method with multi-task neural network
US11948078B2 (en) Joint representation learning from images and text
Qu et al. Improving the reliability for confidence estimation
Valle Hands-On Generative Adversarial Networks with Keras: Your guide to implementing next-generation generative adversarial networks
Yu et al. Whittle networks: A deep likelihood model for time series
KR102562377B1 (ko) 우울증 진단 정보를 제공하기 위한 인공지능 연합학습 방법 및 시스템
CN113592008A (zh) 一种基于自编码器的图神经网络机制解决小样本图像分类的系统、方法、设备及存储介质
CN114298299A (zh) 基于课程学习的模型训练方法、装置、设备及存储介质
CN116232699A (zh) 细粒度网络入侵检测模型的训练方法和网络入侵检测方法
CN111612022A (zh) 用于分析数据的方法、设备和计算机存储介质
CN111368337B (zh) 保护隐私的样本生成模型构建、仿真样本生成方法及装置
CN114691981A (zh) 一种会话推荐方法、系统、装置及存储介质
Bach et al. Analyzing classifiers: Fisher vectors and deep neural networks
Zhao et al. Generating Counterfactual Images: Towards a C2C-VAE Approach.
CN114332469A (zh) 模型训练方法、装置、设备及存储介质
CN112861601A (zh) 生成对抗样本的方法及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant