CN111898095B - 深度迁移学习智能故障诊断方法、装置、存储介质和设备 - Google Patents
深度迁移学习智能故障诊断方法、装置、存储介质和设备 Download PDFInfo
- Publication number
- CN111898095B CN111898095B CN202010663794.5A CN202010663794A CN111898095B CN 111898095 B CN111898095 B CN 111898095B CN 202010663794 A CN202010663794 A CN 202010663794A CN 111898095 B CN111898095 B CN 111898095B
- Authority
- CN
- China
- Prior art keywords
- fault diagnosis
- connection layer
- neural network
- convolutional neural
- network model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003745 diagnosis Methods 0.000 title claims abstract description 116
- 238000013508 migration Methods 0.000 title claims abstract description 99
- 230000005012 migration Effects 0.000 title claims abstract description 99
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000003860 storage Methods 0.000 title claims abstract description 9
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 81
- 230000006870 function Effects 0.000 claims abstract description 52
- 238000012549 training Methods 0.000 claims abstract description 36
- 230000036541 health Effects 0.000 claims abstract description 30
- 238000005457 optimization Methods 0.000 claims abstract description 9
- 230000003862 health status Effects 0.000 claims abstract description 8
- 238000011176 pooling Methods 0.000 claims description 28
- 239000011159 matrix material Substances 0.000 claims description 12
- 238000013526 transfer learning Methods 0.000 claims description 11
- 238000004422 calculation algorithm Methods 0.000 claims description 6
- 239000013598 vector Substances 0.000 claims description 6
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 4
- 230000009191 jumping Effects 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 4
- 238000009826 distribution Methods 0.000 abstract description 11
- 235000014653 Carica parviflora Nutrition 0.000 description 10
- 241000243321 Cnidaria Species 0.000 description 9
- 230000006978 adaptation Effects 0.000 description 9
- 230000004913 activation Effects 0.000 description 8
- 230000009466 transformation Effects 0.000 description 7
- 238000010801 machine learning Methods 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000000844 transformation Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000000691 measurement method Methods 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 244000132059 Carica parviflora Species 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 210000002364 input neuron Anatomy 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 238000003892 spreading Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Pure & Applied Mathematics (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Mathematical Optimization (AREA)
- Mathematical Analysis (AREA)
- Evolutionary Biology (AREA)
- Health & Medical Sciences (AREA)
- Computational Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Biophysics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Databases & Information Systems (AREA)
- Operations Research (AREA)
- Algebra (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Test And Diagnosis Of Digital Computers (AREA)
- Testing And Monitoring For Control Systems (AREA)
Abstract
本发明提供了一种深度迁移学习智能故障诊断方法、装置、存储介质和设备。其中，方法包括：获取待识别的目标域数据；将目标域数据输入至故障诊断迁移卷积神经网络模型进行故障判断，得到健康状况标签；故障诊断迁移卷积神经网络模型的训练方法是：将源域样本和目标域样本分别输入故障诊断迁移卷积神经网络模型以提取特征；通过交叉熵损失函数来最小化源域样本上的健康状态分类错误；并通过域自适应模块计算源域样本与目标域样本之间特征的协方差距离；通过迭代优化损失函数对参数进行约束。本发明可减少源域与目标域之间的数据分布差异，达到预测目标域标签的目的，有效提高健康状况标签从源域至目标域的迁移准确性。
Description
技术领域
本发明涉及故障数据处理技术领域，更具体地说，涉及一种深度迁移学习智能故障诊断方法、装置、存储介质和设备。
背景技术
机械故障诊断对于保障设备安全运行意义重大,因为机械设备一旦出现事故，就将带来巨大的经济损失和人员伤亡。近年来，由于传感器技术和计算能力的飞速发展，故障诊断逐步在工业界与学术界受到重视。在以信号处理为基础的故障诊断研究中，传统的特征提取模式和机器学习分类模式的方法取得了良好的效果；例如使用K最近邻分类算法，支持向量机算法和BP神经网络方法等。但是以上方法都是通过传统信号处理方法提取的特征作为机器学习模型的输入，需要大量的手动特征提取，仍然取决于复杂的信号处理方法,在特征的选择上比较困难。
由于互联网技术的发展,收集到的数据量空前庞大,一些学者开始通过深度学习从输入的监测数据中自动学习特征,同时根据学习到的特征识别状态。JIA提出了一种归一化稀疏声发射方法,从输入的振动数据中学习有意义的特征,基于归一化稀疏自编码器来构造端到端的网络,机型机械故障诊断；Tamilselvan等使用深度置信网络对飞机发动机以及电力变压器进行了健康诊断,JIANG叠置多个RBMS构建基于深度置信网络的诊断模型,在滚动轴承数据集上比传统的诊断模型具有更高的精度；ZHANG设计了一种“第一层宽卷积神经网络(deep convolutional neural networks with wide first-layer kernel，WDCNN)”，并在轴承数据集上取得了不错的效果；ZHAO等基于Reset，开发了动态加权小波系数；与其他深度学习的方法相比，在严重噪声环境下行星齿轮箱的故障诊断中获得了更高的精度。
然而,上述文献对于故障诊断的成功局限于两个条件：1)具有大量的可用的故障信息的标记数据；2)训练数据(源域)和测试数据(目标域)来自相同的概率分布。然而，在现实中很难满足这两个条件。因为，在实际工作中，大多数机械都处于正常状态中，如果发生故障机械也会立即停止。同时，机器从健康状态到发生故障经历的时间比较漫长，这种情况下，获得故障数据将会非常困难。总之，传统的机器学习方法能在智能故障诊断领域取得巨大的成果，极大部分都要归功于可获得的大量的标记数据。在不同工况之间，以及只有少量标记数据的故障诊断方法仍然是一个挑战。
近年来，迁移学习受到机器学习领域的广泛关注，Arnold首次提出了迁移学习的概念，将在机器学习中训练数据与测试数据来自不同分布问题归结为跨域学习问题，对应的解决方案称为domain adaptation(DA)。在域适应中，模型的训练数据属于源域，与训练数据分布不同的测试数据属于目标域。因此，迁移学习具有利用从源域到目标域的知识的能力，并在计算机视觉、文本分类、行为识别、医疗健康等领域取得了重要成就。此外，在故障诊断领域，迁移学习的出现成功，使得收集足够的标记数据是不必要的，这释放了基于机器学习的训练诊断模型的共同假设。其中Lu提出了一种具有域自适应性的新型深度神经网络模型，用于故障诊断。郭等提出了一个新的深度迁移学习方法(DCTLN)，将不同机器之间的数据进行自适应，从而进行故障诊断。li等人使用多个域适应层进行权重分配进行故障诊断。上述文献中都是使用最大均值差异(MMD)度量值作为域适层的附加损失函数。但是MMD用在域适应层的局限在于，在计算积分概率度量(IPM)时，随着样本数量的增加，MMD的计算成本将成倍增加。此外，基于MMD的方法通常是将相同的转换应用于源域与目标域；然而，与对称变化相比，非对称变换往往更加灵活，通常在自适应任务中表现出更好的性能。
发明内容
为克服现有技术中的缺点与不足，本发明的目的在于提供一种深度迁移学习智能故障诊断方法、装置、存储介质和设备；本发明可减少源域与目标域之间的数据分布差异，达到预测目标域标签的目的，有效提高健康状况标签从源域至目标域的迁移准确性。
为了达到上述目的，本发明通过下述技术方案予以实现：一种深度迁移学习智能故障诊断方法，其特征在于：包括：
获取待识别的目标域数据；
将目标域数据输入至故障诊断迁移卷积神经网络模型，通过所述故障诊断迁移卷积神经网络模型对所述目标域数据进行故障判断；其中，所述故障诊断迁移卷积神经网络模型为对初始故障诊断迁移卷积神经网络模型进行训练处理得到的模型；
所述故障诊断迁移卷积神经网络模型为对初始故障诊断迁移卷积神经网络模型进行训练处理得到的模型，是指：获取源域样本和目标域样本；将源域样本和目标域样本分别通过前向传播输入故障诊断迁移卷积神经网络模型，以提取特征；在故障诊断迁移卷积神经网络模型设有域自适应模块；通过交叉熵损失函数来最小化源域样本上的健康状态分类错误；并通过域自适应模块计算源域样本与目标域样本之间特征的协方差距离，以增加源域样本与目标域样本之间特征之间的相似性；通过迭代优化损失函数来对故障诊断迁移卷积神经网络模型的参数进行约束，对故障诊断迁移卷积神经网络模型进行不对训练，直到达到最大迭代次数或损失函数小于设定值。
优选地，所述故障诊断迁移卷积神经网络模型包括特征提取器和健康分类器；其中，特征提取器包括源域特征提取器和目标域特征提取器；源域特征提取器和目标域特征提取器均包括卷积层和池化层；源域特征提取器还包括全连接层1S；目标域特征提取器还包括全连接层1T；所述健康分类器包括与全连接层1S连接的全连接层2S、与全连接层1T连接的全连接层2T，以及与全连接层2S连接的输出层；全连接层1S与全连接层1T之间，以及全连接层2S与全连接层2T之间分别通过域自适应模块连接。
优选地，源域特征提取器包括卷积层和池化层，是指：源域特征提取器包括依次连接的卷积层1S、池化层1S、卷积层2S、卷积层3S、卷积层4S和池化层2S；池化层2S与全连接层1S连接；
目标域特征提取器包括卷积层和池化层，是指：目标域特征提取器包括依次连接的卷积层1T、池化层1T、卷积层2T、卷积层3T、卷积层4T和池化层2T；池化层2T与全连接层1T连接。
优选地，所述对初始故障诊断迁移卷积神经网络模型进行训练处理，是指包括如下步骤：
S1，获取源域样本和目标域样本；其中，源域样本带有健康状况标签；
S2，将源域样本和目标域样本分别通过前向传播输入故障诊断迁移卷积神经网络模型，以提取特征；
S3，通过减少交叉熵损失函数来最小化源域样本上的健康状态分类错误，其公式如下：
其中，m是源域样本的批量大小；j是故障类别；I[·]是指标函数，其取值规则为：I[值为真]＝1，I[值为假]＝0；
S4，计算全连接层1S与全连接层1T特征之间、以及全连接层2S与全连接层2T特征之间的协方差距离：
其中，l1表示全连接层1S与全连接层1T；l2表示全连接层2S与全连接层2T；表示矩阵的Frobenius范数；CS表示源域样本的协方差矩阵；CT表示目标域样本的协方差矩阵；CS和CT计算公式分别如下：
其中，1T表示元素都为1的列向量的转置；FS表示源域样本经过全连接层的输出数据；FT表示目标域样本经过全连接层的输出数据；nS表示源域样本个数；nT表示目标域样本个数；
S5，将特征提取器和健康分类器的参数分别设定为θf和θc；计算损失函数：
L(θf,θc)＝Lc(θf,θc)+λLCORAL(θf)
S6，基于损失函数和adam算法,更新参数θf和θc：
其中，η是学习率；
S7，判断是否达到最大迭代次数或损失函数小于设定值：若是，则结束训练；否则跳至步骤S2继续训练。
一种深度迁移学习智能故障诊断装置，其特征在于，包括：
数据输入模块，用于获取待识别的目标域数据；
数据识别模块，用于将目标域数据输入至故障诊断迁移卷积神经网络模型，通过所述故障诊断迁移卷积神经网络模型对所述目标域数据进行故障判断；其中，所述故障诊断迁移卷积神经网络模型为对初始故障诊断迁移卷积神经网络模型进行训练处理得到的模型；
所述故障诊断迁移卷积神经网络模型为对初始故障诊断迁移卷积神经网络模型进行训练处理得到的模型，是指：获取源域样本和目标域样本；将源域样本和目标域样本分别通过前向传播输入故障诊断迁移卷积神经网络模型，以提取特征；在故障诊断迁移卷积神经网络模型设有域自适应模块；通过交叉熵损失函数来最小化源域样本上的健康状态分类错误；并通过域自适应模块计算源域样本与目标域样本之间特征的协方差距离，以增加源域样本与目标域样本之间特征之间的相似性；通过迭代优化损失函数来对故障诊断迁移卷积神经网络模型的参数进行约束，对故障诊断迁移卷积神经网络模型进行不对训练，直到达到最大迭代次数或损失函数小于设定值。
一种存储介质，其特征在于，其中所述存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行上述深度迁移学习智能故障诊断方法。
一种计算设备，包括处理器以及用于存储处理器可执行程序的存储器，其特征在于，所述处理器执行存储器存储的程序时，实现上述深度迁移学习智能故障诊断方法。
与现有技术相比，本发明具有如下优点与有益效果：
1、本发明提出了一种深度迁移学习智能故障诊断方法，用以解决不同工况下的迁移故障诊断问题；首先通过提取特征，随后执行域自适应，减少源域与目标域之间的数据分布差异，达到预测目标域标签的目的；
2、本发明不同于现有使用MMD作为衡量源域与目标域之间的距离，本发明将coral改进作非线性变换直接作用于源域与目标域，使其作为衡量两个域之间相似性的度量方法，有效提高健康状况标签从源域至目标域的迁移准确性。
附图说明
图1是本发明中故障诊断迁移卷积神经网络模型的结构示意图；
图2是本发明故障诊断迁移卷积神经网络模型训练流程图。
具体实施方式
下面结合附图与具体实施方式对本发明作进一步详细的描述。
实施例一
本实施例一种深度迁移学习智能故障诊断方法，包括：
获取待识别的目标域数据；
将目标域数据输入至故障诊断迁移卷积神经网络模型，通过所述故障诊断迁移卷积神经网络模型对所述目标域数据进行故障判断；其中，所述故障诊断迁移卷积神经网络模型为对初始故障诊断迁移卷积神经网络模型进行训练处理得到的模型。
如图1所示，故障诊断迁移卷积神经网络模型包括特征提取器和健康分类器；其中，特征提取器包括源域特征提取器和目标域特征提取器。
源域特征提取器包括依次连接的卷积层1S、池化层1S、卷积层2S、卷积层3S、卷积层4S、池化层2S和全连接层1S；目标域特征提取器包括依次连接的卷积层1T、池化层1T、卷积层2T、卷积层3T、卷积层4T、池化层2T和全连接层1T。健康分类器包括与全连接层1S连接的全连接层2S、与全连接层1T连接的全连接层2T，以及与全连接层2S连接的输出层；全连接层1S与全连接层1T之间，以及全连接层2S与全连接层2T之间分别通过域自适应模块连接。源域输入层与卷积层1S连接，目标域输入层与卷积层1T连接。
所有输入层、卷积层、池化层和全连接层均是一维CNN，各层结构如表1所示。
表1
卷积层是故障诊断迁移卷积神经网络模型的核心，它包含一组可训练的过滤器；其最重要的特点是权值共享(Weights Sharing)，即同一个卷积核将以固定的步长(Stride)遍历一次输入。权值共享减少了卷积层的网络参数，避免了由于参数过多造成的过拟合，并且降低了系统所需内存，减小了计算机的负荷。卷积层的运算公式如下：
其中，表示第l层第j个特征图，M是输入特征图的集合，k表示卷积核，b表示偏置项，f(·)表示非线性激活函数；在经过卷积操作之后，使用激活函数将对每一个卷积输出值进行非线性变换，可以将原本线性不可分的多维特征映射到另一空间，从而增强特征的线性可分性，常用的激活函数为ReLU(Rectified Linear Unit)，其表达式如下：
ReLU(x)＝max(0,x)
池化层(Pooling Layer)进行的是降采样操作，主要目的是减少神经网络参数的同时，保留较主要的特征，防止过拟合，提高模型的泛化能力；其公式如下所示：
其中，表示第l+1层的特征图，/>表示的是池化操作。
全连接层是将前面提取出的特征进行分类，在整个神经网络中起到“分类器”的作用。具体做法为，先将最后一个池化层的输出，铺展成一维的特征向量，作为全连接层的输入；再将输入与输出之间进行全连接，其中隐含层使用的激活函数为ReLU，最后输出层采用的是激活函数是Softmax函数。Softmax函数的目的是将输入的神经元转化为和为1的概率分布，这样做有利于后续的多分类目标函数的建立。全连接层的公式如下所示：
xl＝f(wlxl-1+bl)
其中，wl和bl分别表示全连接层的权重和偏置，f(·)表示非线性激活函数，当第l层为隐藏层时，激活函数为ReLU，当l+1层为输出层时，激活函数为Softmax，其公式如下：
其中，p(y(i)＝1|x(i)；θ)表示第i个样本的输入x(i)属于类别j的概率，θ1，θ2，…，是模型的参数，θ表示参数总称，/>表示将概率分布进行归一化，使所有的概率之和为1。
Coral(CORrelationALignment)是一种有效的简单的无监督自适应方法，首先通过需要手动提取数据的特征，其次进行线性变换将源和目标分布的二阶统计量对齐，最后使用SVM算法进行分类。本发明在此基础上对coral方法进行了扩展，将coral改进作非线性变换直接作用于源域与目标域，使其作为衡量两个域之间相似性的度量方法，将其嵌入到卷积神经网络之中，在减少分类损失同时，最小化coral损失，使其在目标域上可以有更好的分类效果。
本发明中，故障诊断迁移卷积神经网络模型通过特征提取器来直接在故障诊断信号中提取特征，交由健康状态分类器基于提取特征来识别正确的健康状态。域自适应模块通过最小化源域与目标域学习到的特征之间的度量距离来实现，采用的是coral方法。通过将coral损失纳入优化目标，从源域与目标域学习到的特征将有较大的相似性，以帮助cnn学习到域不变特征。
本发明具有两个优化对象：(1)最小化源域数据集上的健康状态分类错误；(2)最小化源域与目标域之间的源和目标特征的二阶统计量(协方差)之间的距离。因此，所述故障诊断迁移卷积神经网络模型为对初始故障诊断迁移卷积神经网络模型进行训练处理得到的模型，是指：获取源域样本和目标域样本；将源域样本和目标域样本分别通过前向传播输入故障诊断迁移卷积神经网络模型，以提取特征；在故障诊断迁移卷积神经网络模型设有域自适应模块；通过交叉熵损失函数来最小化源域样本上的健康状态分类错误；并通过域自适应模块计算源域样本与目标域样本之间特征的协方差距离，以增加源域样本与目标域样本之间特征之间的相似性；通过迭代优化损失函数来对故障诊断迁移卷积神经网络模型的参数进行约束，对故障诊断迁移卷积神经网络模型进行不对训练，直到达到最大迭代次数或损失函数小于设定值。
具体地说，如图2所示，包括如下步骤：
S1，获取源域样本和目标域样本；其中，源域样本带有健康状况标签；
S2，将源域样本和目标域样本分别通过前向传播输入故障诊断迁移卷积神经网络模型，以提取特征；
S3，通过减少交叉熵损失函数来最小化源域样本上的健康状态分类错误，其公式如下：
其中，m是源域样本的批量大小；j是故障类别；I[·]是指标函数，其取值规则为：I[值为真]＝1，I[值为假]＝0；
S4，计算全连接层1S与全连接层1T特征之间、以及全连接层2S与全连接层2T特征之间的协方差距离：
其中，l1表示全连接层1S与全连接层1T；l2表示全连接层2S与全连接层2T；表示矩阵的Frobenius范数；CS表示源域样本的协方差矩阵；CT表示目标域样本的协方差矩阵；CS和CT计算公式分别如下：
其中，1表示元素都为1的列向量；1T表示元素都为1的列向量的转置；FS表示源域样本经过全连接层的输出数据；FT表示目标域样本经过全连接层的输出数据；nS表示源域样本个数；nT表示目标域样本个数；
他们的梯度计算如下所示：
S5，将特征提取器和健康分类器的参数分别设定为θf和θc；计算损失函数：
L(θf,θc)＝Lc(θf,θc)+λLCORAL(θf)
S6，基于损失函数和adam算法,更新参数θf和θc：
其中，η是学习率；
S7，判断是否达到最大迭代次数或损失函数小于设定值：若是，则结束训练；否则跳至步骤S2继续训练。
训练过程完成后，通过域自适应模块可以将源域与目标域之间的分布差异最小化，同时健康状态分类器可以使得目标域中的未标记样本正确分类。
经试验，本发明方法与没有进行域适应的深度学习方法、传统的迁移学习方法、与使用Wasserstein距离作为域适应的迁移学习方法，以及与使用mmd作为域适应的迁移学习方法进行对比，本发明在目标域均具有较其它方法优异的故障判断准确率。
实施例二
为实现实施例一所述的深度迁移学习智能故障诊断方法，本实施例提供一种深度迁移学习智能故障诊断装置，包括：
数据输入模块，用于获取待识别的目标域数据；
数据识别模块，用于将目标域数据输入至故障诊断迁移卷积神经网络模型，通过所述故障诊断迁移卷积神经网络模型对所述目标域数据进行故障判断；其中，所述故障诊断迁移卷积神经网络模型为对初始故障诊断迁移卷积神经网络模型进行训练处理得到的模型；
所述故障诊断迁移卷积神经网络模型为对初始故障诊断迁移卷积神经网络模型进行训练处理得到的模型，是指：获取源域样本和目标域样本；将源域样本和目标域样本分别通过前向传播输入故障诊断迁移卷积神经网络模型，以提取特征；在故障诊断迁移卷积神经网络模型设有域自适应模块；通过交叉熵损失函数来最小化源域样本上的健康状态分类错误；并通过域自适应模块计算源域样本与目标域样本之间特征的协方差距离，以增加源域样本与目标域样本之间特征之间的相似性；通过迭代优化损失函数来对故障诊断迁移卷积神经网络模型的参数进行约束，对故障诊断迁移卷积神经网络模型进行不对训练，直到达到最大迭代次数或损失函数小于设定值。
实施例三
本实施例一种存储介质，其特征在于，其中所述存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行实施例一所述的深度迁移学习智能故障诊断方法。
实施例四
本实施例一种计算设备，包括处理器以及用于存储处理器可执行程序的存储器，其特征在于，所述处理器执行存储器存储的程序时，实现实施例一所述的深度迁移学习智能故障诊断方法。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。
Claims (5)
1.一种深度迁移学习智能故障诊断方法，其特征在于：包括：
获取待识别的目标域数据；
将目标域数据输入至故障诊断迁移卷积神经网络模型，通过所述故障诊断迁移卷积神经网络模型对所述目标域数据进行故障判断，得到健康状况标签；其中，所述故障诊断迁移卷积神经网络模型为对初始故障诊断迁移卷积神经网络模型进行训练处理得到的模型；
所述故障诊断迁移卷积神经网络模型为对初始故障诊断迁移卷积神经网络模型进行训练处理得到的模型，是指：获取源域样本和目标域样本；将源域样本和目标域样本分别通过前向传播输入故障诊断迁移卷积神经网络模型，以提取特征；在故障诊断迁移卷积神经网络模型设有域自适应模块；通过交叉熵损失函数来最小化源域样本上的健康状态分类错误；并通过域自适应模块计算源域样本与目标域样本之间特征的协方差距离，以增加源域样本与目标域样本之间特征之间的相似性；通过迭代优化损失函数来对故障诊断迁移卷积神经网络模型的参数进行约束，对故障诊断迁移卷积神经网络模型进行不对训练，直到达到最大迭代次数或损失函数小于设定值；
所述故障诊断迁移卷积神经网络模型包括特征提取器和健康分类器；其中，特征提取器包括源域特征提取器和目标域特征提取器；源域特征提取器和目标域特征提取器均包括卷积层和池化层；源域特征提取器还包括全连接层1S；目标域特征提取器还包括全连接层1T；所述健康分类器包括与全连接层1S连接的全连接层2S、与全连接层1T连接的全连接层2T，以及与全连接层2S连接的输出层；全连接层1S与全连接层1T之间，以及全连接层2S与全连接层2T之间分别通过域自适应模块连接；
所述对初始故障诊断迁移卷积神经网络模型进行训练处理，是指包括如下步骤：
S1，获取源域样本和目标域样本；其中，源域样本带有健康状况标签；
S2，将源域样本和目标域样本分别通过前向传播输入故障诊断迁移卷积神经网络模型，以提取特征；
S3，通过减少交叉熵损失函数来最小化源域样本上的健康状态分类错误，其公式如下：
其中，m是源域样本的批量大小；j是故障类别；I[·]是指标函数，其取值规则为：I[值为真]＝1，I[值为假]＝0；
S4，计算全连接层1S与全连接层1T特征之间、以及全连接层2S与全连接层2T特征之间的协方差距离：
其中，l1表示全连接层1S与全连接层1T；l2表示全连接层2S与全连接层2T；表示矩阵的Frobenius范数；CS表示源域样本的协方差矩阵；CT表示目标域样本的协方差矩阵；CS和CT计算公式分别如下：
其中，表示元素都为1的列向量的转置；FS表示源域样本经过全连接层的输出数据；FT表示目标域样本经过全连接层的输出数据；nS表示源域样本个数；nT表示目标域样本个数；
S5，将特征提取器和健康分类器的参数分别设定为θf和θc；计算损失函数：
L(θf,θc)＝Lc(θf,θc)+λLCORAL(θf)
S6，基于损失函数和adam算法,更新参数θf和θc：
其中，η是学习率；
S7，判断是否达到最大迭代次数或损失函数小于设定值：若是，则结束训练；否则跳至步骤S2继续训练。
2.根据权利要求1所述的深度迁移学习智能故障诊断方法，其特征在于：源域特征提取器包括卷积层和池化层，是指：源域特征提取器包括依次连接的卷积层1S、池化层1S、卷积层2S、卷积层3S、卷积层4S和池化层2S；池化层2S与全连接层1S连接；
目标域特征提取器包括卷积层和池化层，是指：目标域特征提取器包括依次连接的卷积层1T、池化层1T、卷积层2T、卷积层3T、卷积层4T和池化层2T；池化层2T与全连接层1T连接。
3.一种深度迁移学习智能故障诊断装置，其特征在于，包括：
数据输入模块，用于获取待识别的目标域数据；
数据识别模块，用于将目标域数据输入至故障诊断迁移卷积神经网络模型，通过所述故障诊断迁移卷积神经网络模型对所述目标域数据进行故障判断；其中，所述故障诊断迁移卷积神经网络模型为对初始故障诊断迁移卷积神经网络模型进行训练处理得到的模型；
所述故障诊断迁移卷积神经网络模型为对初始故障诊断迁移卷积神经网络模型进行训练处理得到的模型，是指：获取源域样本和目标域样本；将源域样本和目标域样本分别通过前向传播输入故障诊断迁移卷积神经网络模型，以提取特征；在故障诊断迁移卷积神经网络模型设有域自适应模块；通过交叉熵损失函数来最小化源域样本上的健康状态分类错误；并通过域自适应模块计算源域样本与目标域样本之间特征的协方差距离，以增加源域样本与目标域样本之间特征之间的相似性；通过迭代优化损失函数来对故障诊断迁移卷积神经网络模型的参数进行约束，对故障诊断迁移卷积神经网络模型进行不对训练，直到达到最大迭代次数或损失函数小于设定值；
所述故障诊断迁移卷积神经网络模型包括特征提取器和健康分类器；其中，特征提取器包括源域特征提取器和目标域特征提取器；源域特征提取器和目标域特征提取器均包括卷积层和池化层；源域特征提取器还包括全连接层1S；目标域特征提取器还包括全连接层1T；所述健康分类器包括与全连接层1S连接的全连接层2S、与全连接层1T连接的全连接层2T，以及与全连接层2S连接的输出层；全连接层1S与全连接层1T之间，以及全连接层2S与全连接层2T之间分别通过域自适应模块连接；
所述对初始故障诊断迁移卷积神经网络模型进行训练处理，是指包括如下步骤：
S1，获取源域样本和目标域样本；其中，源域样本带有健康状况标签；
S2，将源域样本和目标域样本分别通过前向传播输入故障诊断迁移卷积神经网络模型，以提取特征；
S3，通过减少交叉熵损失函数来最小化源域样本上的健康状态分类错误，其公式如下：
其中，m是源域样本的批量大小；j是故障类别；I[·]是指标函数，其取值规则为：I[值为真]＝1，I[值为假]＝0；
S4，计算全连接层1S与全连接层1T特征之间、以及全连接层2S与全连接层2T特征之间的协方差距离：
其中，l1表示全连接层1S与全连接层1T；l2表示全连接层2S与全连接层2T；表示矩阵的Frobenius范数；CS表示源域样本的协方差矩阵；CT表示目标域样本的协方差矩阵；CS和CT计算公式分别如下：
其中，表示元素都为1的列向量的转置；FS表示源域样本经过全连接层的输出数据；FT表示目标域样本经过全连接层的输出数据；nS表示源域样本个数；nT表示目标域样本个数；
S5，将特征提取器和健康分类器的参数分别设定为θf和θc；计算损失函数：
L(θf,θc)＝Lc(θf,θc)+λLCORAL(θf)
S6，基于损失函数和adam算法,更新参数θf和θc：
其中，η是学习率；
S7，判断是否达到最大迭代次数或损失函数小于设定值：若是，则结束训练；否则跳至步骤S2继续训练。
4.一种存储介质，其特征在于，其中所述存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行权利要求1或2所述的深度迁移学习智能故障诊断方法。
5.一种计算设备，包括处理器以及用于存储处理器可执行程序的存储器，其特征在于，所述处理器执行存储器存储的程序时，实现权利要求1或2所述的深度迁移学习智能故障诊断方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010663794.5A CN111898095B (zh) | 2020-07-10 | 2020-07-10 | 深度迁移学习智能故障诊断方法、装置、存储介质和设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010663794.5A CN111898095B (zh) | 2020-07-10 | 2020-07-10 | 深度迁移学习智能故障诊断方法、装置、存储介质和设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111898095A CN111898095A (zh) | 2020-11-06 |
| CN111898095B true CN111898095B (zh) | 2024-04-19 |
Family
ID=73192293
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010663794.5A Active CN111898095B (zh) | 2020-07-10 | 2020-07-10 | 深度迁移学习智能故障诊断方法、装置、存储介质和设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111898095B (zh) |
Families Citing this family (46)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3874417A1 (en) * | 2018-10-29 | 2021-09-08 | HRL Laboratories, LLC | Systems and methods for few-shot transfer learning |
| CN112529063B (zh) * | 2020-12-03 | 2023-12-15 | 重庆大学 | 一种适用于帕金森语音数据集的深度域适应分类方法 |
| CN112418175A (zh) * | 2020-12-09 | 2021-02-26 | 北京信息科技大学 | 基于域迁移的滚动轴承故障诊断方法、系统及存储介质 |
| US11493406B2 (en) * | 2020-12-22 | 2022-11-08 | Korea Manufacture Process Co., Ltd. | Motor noise detecting device and detecting method using AE sensor |
| CN112784872B (zh) * | 2020-12-25 | 2023-06-30 | 北京航空航天大学 | 一种基于开放集联合迁移学习的跨工况故障诊断方法 |
| CN112629863B (zh) * | 2020-12-31 | 2022-03-01 | 苏州大学 | 变工况下动态联合分布对齐网络的轴承故障诊断方法 |
| CN112834945B (zh) * | 2020-12-31 | 2024-06-21 | 东软睿驰汽车技术（沈阳）有限公司 | 评估模型建立方法、电池健康状态评估方法及相关产品 |
| CN112908466B (zh) * | 2021-01-13 | 2023-08-04 | 中国科学院计算技术研究所 | 基于迁移学习的阿尔兹海默病智能决策支持方法及系统 |
| CN112699966B (zh) * | 2021-01-14 | 2022-10-11 | 中国人民解放军海军航空大学 | 基于深度迁移学习的雷达hrrp小样本目标识别预训练及微调方法 |
| CN112686333A (zh) * | 2021-01-19 | 2021-04-20 | 科润智能控制股份有限公司 | 一种基于深度子域适配迁移网络的开关柜局部放电模式识别方法 |
| CN112767997B (zh) * | 2021-02-04 | 2023-04-25 | 齐鲁工业大学 | 一种基于多尺度卷积注意力神经网络的蛋白质二级结构预测方法 |
| CN112926642B (zh) * | 2021-02-22 | 2022-06-07 | 山东大学 | 一种多源域自适应智能机械故障诊断方法及系统 |
| CN112861879B (zh) * | 2021-02-23 | 2022-11-01 | 中国科学院计算技术研究所 | 基于双重迁移的认知障碍辅助决策支持方法和系统 |
| CN113496061A (zh) * | 2021-03-03 | 2021-10-12 | 安徽大学 | 一种基于迁移学习和流形距离的som网络聚类机电设备轴承故障分析方法 |
| CN113032916A (zh) * | 2021-03-03 | 2021-06-25 | 安徽大学 | 一种基于迁移学习的贝叶斯网络的机电设备轴承故障预测方法 |
| CN112861787A (zh) * | 2021-03-09 | 2021-05-28 | 上海电力大学 | 一种风电机组行星齿轮箱故障诊断方法 |
| CN113065581B (zh) * | 2021-03-18 | 2022-09-16 | 重庆大学 | 基于参数共享对抗域自适应网络的振动故障迁移诊断方法 |
| CN113239720B (zh) * | 2021-03-30 | 2022-08-23 | 河海大学 | 一种基于深度迁移学习的地铁车辆走行部故障诊断方法 |
| CN113420775B (zh) * | 2021-03-31 | 2024-03-29 | 中国矿业大学 | 基于非线性度自适应子域领域适应的极少量训练样本下图片分类方法 |
| CN113094996B (zh) * | 2021-04-16 | 2023-05-16 | 重庆大学 | 基于dda域自适应机制的智能故障迁移诊断方法 |
| CN113219942B (zh) * | 2021-04-23 | 2022-10-25 | 浙江大学 | 基于加权联合分布适配神经网络的高炉故障诊断方法 |
| CN113204280B (zh) * | 2021-05-08 | 2023-09-26 | 山东英信计算机技术有限公司 | 一种诊断电源故障的方法、系统、设备及介质 |
| CN113240022A (zh) * | 2021-05-19 | 2021-08-10 | 燕山大学 | 多尺度单分类卷积网络的风电齿轮箱故障检测方法 |
| CN113310689B (zh) * | 2021-05-27 | 2022-07-12 | 西安交通大学 | 基于域自适应图卷积网络的航发传动系统故障诊断方法 |
| CN113268833B (zh) * | 2021-06-07 | 2023-07-04 | 重庆大学 | 一种基于深度联合分布对齐的迁移故障诊断方法 |
| CN113360633B (zh) * | 2021-06-09 | 2023-10-17 | 南京大学 | 一种基于深度域适应的跨域测试文档分类方法 |
| CN113469230B (zh) * | 2021-06-17 | 2023-07-07 | 北京信息科技大学 | 一种转子系统深度迁移故障诊断方法、系统及介质 |
| CN113591553B (zh) * | 2021-06-18 | 2023-07-18 | 北京航天动力研究所 | 一种基于小样本权值优化的涡轮泵迁移学习故障智能判定方法 |
| CN113555004A (zh) * | 2021-07-15 | 2021-10-26 | 复旦大学 | 基于特征选择与迁移学习的语音抑郁状态识别方法 |
| CN113269278B (zh) * | 2021-07-16 | 2021-11-09 | 广东众聚人工智能科技有限公司 | 基于领域翻转的机器人巡航目标识别方法及系统 |
| CN114295967A (zh) * | 2021-07-26 | 2022-04-08 | 桂林电子科技大学 | 一种基于迁移神经网络的模拟电路故障诊断方法 |
| CN113805561A (zh) * | 2021-08-16 | 2021-12-17 | 天津大学 | 基于深度迁移学习的航天器智能故障诊断方法 |
| CN113610219B (zh) * | 2021-08-16 | 2024-05-14 | 中国石油大学(华东) | 一种基于动态残差的多源域自适应方法 |
| CN113867307B (zh) * | 2021-08-20 | 2022-10-21 | 天津大学 | 基于深度神经网络的航天器智能故障诊断方法 |
| CN113962254B (zh) * | 2021-09-27 | 2024-04-02 | 西安交通大学 | 一种知识驱动的工业机器人智能迁移故障诊断方法及系统 |
| CN114021180B (zh) * | 2021-10-11 | 2024-04-12 | 清华大学 | 一种电力系统动态安全域确定方法、装置、电子设备及可读介质 |
| CN113935377B (zh) * | 2021-10-13 | 2024-05-07 | 燕山大学 | 一种特征迁移结合时频图的管道泄漏孔径识别方法 |
| CN113988189B (zh) * | 2021-10-29 | 2024-05-07 | 燕山大学 | 一种跨风电机组的迁移故障诊断方法 |
| CN114120010B (zh) * | 2021-11-22 | 2023-11-03 | 西安交通大学 | 一种多视角多层次工业机器人迁移故障诊断方法 |
| CN114331214A (zh) * | 2022-01-21 | 2022-04-12 | 山东大学 | 基于强化学习的域自适应轴承声纹故障诊断方法及系统 |
| CN114548301B (zh) * | 2022-02-25 | 2024-03-01 | 西安交通大学 | 基于迁移学习的压缩机故障诊断方法及系统 |
| CN114742122A (zh) * | 2022-02-25 | 2022-07-12 | 中国科学院自动化研究所 | 设备故障诊断方法、装置、电子设备以及存储介质 |
| CN114332568B (zh) * | 2022-03-16 | 2022-07-15 | 中国科学技术大学 | 域适应图像分类网络的训练方法、系统、设备及存储介质 |
| CN115482927B (zh) * | 2022-09-21 | 2023-05-23 | 浙江大学 | 一种基于小样本的儿童肺炎诊断系统 |
| CN117370851B (zh) * | 2023-08-31 | 2024-04-16 | 西南交通大学 | 基于无监督迁移学习的自适应输入长度轴承故障诊断方法 |
| CN117390411B (zh) * | 2023-10-16 | 2024-03-29 | 石家庄铁道大学 | 基于元迁移学习的变工况轴承故障诊断方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109376620A (zh) * | 2018-09-30 | 2019-02-22 | 华北电力大学 | 一种风电机组齿轮箱故障的迁移诊断方法 |
| CN109684520A (zh) * | 2019-01-07 | 2019-04-26 | 东北大学 | 一种大规模时序图顶点相似度计算方法 |
| CN109766921A (zh) * | 2018-12-19 | 2019-05-17 | 合肥工业大学 | 一种基于深度领域自适应的振动数据故障分类方法 |
| CN110186680A (zh) * | 2019-05-30 | 2019-08-30 | 盐城工学院 | 一种对抗判别域适应一维卷积神经网络智能故障诊断方法 |
| CN110598744A (zh) * | 2019-08-12 | 2019-12-20 | 浙江大学 | 一种基于惯性传感器和Edge TPU的实时人体行为识别系统及方法 |
| CN110866365A (zh) * | 2019-11-22 | 2020-03-06 | 北京航空航天大学 | 基于部分迁移卷积网络的机械设备智能故障诊断方法 |
| CN111060318A (zh) * | 2020-01-09 | 2020-04-24 | 山东科技大学 | 一种基于深度对抗迁移网络的轴承故障诊断方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8959454B2 (en) * | 2010-08-09 | 2015-02-17 | International Business Machines Corporation | Table management |
-
2020
- 2020-07-10 CN CN202010663794.5A patent/CN111898095B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109376620A (zh) * | 2018-09-30 | 2019-02-22 | 华北电力大学 | 一种风电机组齿轮箱故障的迁移诊断方法 |
| CN109766921A (zh) * | 2018-12-19 | 2019-05-17 | 合肥工业大学 | 一种基于深度领域自适应的振动数据故障分类方法 |
| CN109684520A (zh) * | 2019-01-07 | 2019-04-26 | 东北大学 | 一种大规模时序图顶点相似度计算方法 |
| CN110186680A (zh) * | 2019-05-30 | 2019-08-30 | 盐城工学院 | 一种对抗判别域适应一维卷积神经网络智能故障诊断方法 |
| CN110598744A (zh) * | 2019-08-12 | 2019-12-20 | 浙江大学 | 一种基于惯性传感器和Edge TPU的实时人体行为识别系统及方法 |
| CN110866365A (zh) * | 2019-11-22 | 2020-03-06 | 北京航空航天大学 | 基于部分迁移卷积网络的机械设备智能故障诊断方法 |
| CN111060318A (zh) * | 2020-01-09 | 2020-04-24 | 山东科技大学 | 一种基于深度对抗迁移网络的轴承故障诊断方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于搜索区域条件概率CNN的精确目标探测方法;熊丽婷;张青苗;沈克永;;计算机工程与应用;20171015(第20期);139-145 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111898095A (zh) | 2020-11-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111898095B (zh) | 深度迁移学习智能故障诊断方法、装置、存储介质和设备 | |
| CN112926641B (zh) | 基于多模态数据的三阶段特征融合旋转机械故障诊断方法 | |
| CN110555399B (zh) | 手指静脉识别方法、装置、计算机设备及可读存储介质 | |
| CN111898634A (zh) | 一种基于深度对抗域自适应的智能故障诊断方法 | |
| Pal | Soft computing for feature analysis | |
| CN113988126B (zh) | 一种基于少标签数据特征迁移的滚动轴承故障诊断方法 | |
| CN112711953A (zh) | 一种基于注意力机制和gcn的文本多标签分类方法和系统 | |
| CN111222457B (zh) | 一种基于深度可分离卷积的鉴别视频真伪性的检测方法 | |
| CN114816497B (zh) | 基于bert预训练模型的链接生成方法 | |
| CN114417913B (zh) | 基于pc-tcn和迁移学习的轴承寿命预测方法 | |
| Mridha et al. | Plant disease detection using web application by neural network | |
| CN112232395B (zh) | 一种基于联合训练生成对抗网络的半监督图像分类方法 | |
| CN116777006A (zh) | 基于样本缺失标签增强的多标签学习方法、装置和设备 | |
| CN117201122A (zh) | 基于视图级图对比学习的无监督属性网络异常检测方法及系统 | |
| Al-Akkam et al. | Plants leaf diseases detection using deep learning | |
| CN117313251B (zh) | 基于非滞后渐进学习的列车传动装置全局故障诊断方法 | |
| CN117390411B (zh) | 基于元迁移学习的变工况轴承故障诊断方法 | |
| CN116884067B (zh) | 一种基于改进的隐式语义数据增强的微表情识别方法 | |
| CN110613445B (zh) | 一种基于dwnn框架的心电信号的识别方法 | |
| CN117111464A (zh) | 一种多工况下的自适应故障诊断方法 | |
| CN117235490A (zh) | 一种融合深度卷积和自注意力网络的故障自适应诊断方法 | |
| CN113158878B (zh) | 一种基于子空间的异构迁移故障诊断方法、系统和模型 | |
| CN115620064A (zh) | 一种基于卷积神经网络的点云下采样分类方法及系统 | |
| Chen et al. | Bearing fault diagnosis based on pooling weight multi-scale convolutional neural networks | |
| CN116405368B (zh) | 一种高维不平衡数据条件下的网络故障诊断方法、系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |