CN110309867B - 一种基于卷积神经网络的混合气体识别方法 - Google Patents

一种基于卷积神经网络的混合气体识别方法 Download PDF

Info

Publication number
CN110309867B
CN110309867B CN201910541654.8A CN201910541654A CN110309867B CN 110309867 B CN110309867 B CN 110309867B CN 201910541654 A CN201910541654 A CN 201910541654A CN 110309867 B CN110309867 B CN 110309867B
Authority
CN
China
Prior art keywords
matrix
multiplied
data
sample
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910541654.8A
Other languages
English (en)
Other versions
CN110309867A (zh
Inventor
于重重
韩璐
肖开泰
孟祥宁
赵霞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Technology and Business University
CCTEG China Coal Technology and Engineering Group Corp
Original Assignee
Beijing Technology and Business University
CCTEG China Coal Technology and Engineering Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Technology and Business University, CCTEG China Coal Technology and Engineering Group Corp filed Critical Beijing Technology and Business University
Priority to CN201910541654.8A priority Critical patent/CN110309867B/zh
Publication of CN110309867A publication Critical patent/CN110309867A/zh
Application granted granted Critical
Publication of CN110309867B publication Critical patent/CN110309867B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Abstract

本发明公布了一种基于卷积神经网络的混合气体识别方法，将利用传感器获得的原始气体时序数据根据不同的方式映射为类图片矩阵，再利用卷积神经网络模型CNN进行特征提取和分类，由此实现对混合气体的分类。本发明基于卷积神经网络的分类优势，应用于时序的混合气体的分类领域，利用CNN的卷积操作提取出矩阵数据更全面的特征，不仅速度快，还能够得到较高的准确率。本发明能够解决现有的混合气体分类技术由于输入数据的限制而无法直接应用图像分类的VGG，Google‑Net等CNN网络针对混合气体数据进行分类的问题。

Description

一种基于卷积神经网络的混合气体识别方法
技术领域
本发明涉及混合气体种类识别技术，具体涉及一种基于卷积神经网络的混合气体识别方法,属于传感器采集数据的时序分类技术领域。
背景技术
MOX(金属氧化物)气体传感器是利用金属氧化物气敏元件作为敏感元件的气体传感器，具有体积小，响应速度较快、成本较低、使用寿命较长等优点，故而被广泛应用于有毒气体、易燃易爆气体，工业废气等气体检测领域。MOX气体传感器通过与被测气体发生物理化学反应，引起电阻的变化，将气体种类、浓度等相关的信息转换成单一的信号输出。气敏元件在不同的单一气体中反应不同，导致传感器响应值不同。因此利用MOX气体传感器采集的时序数据可以对气体成分进行有效地识别。
对于混合气体组分识别问题，气体现有的混合气体分类的方法大概分为基于GasChromatography-Mass Spectrometer(GC-MS)的方法,数据驱动的方法和融合的方法。其中一些方法，具有一定局限性，比如浅层神经网络的结构比较简单，一般采用经验法确定，这将在一定程度上引起气体识别准确率下降的问题。SVM中支持向量的个数随着训练样本的增加而线性增加，模型稀疏性会大大降低，需要优化参数才能达到最好的识别率，而参数优化的过程大大增加了计算量。然而，气体时间序列数据特征复杂，维度大，数据隐含模式较难挖掘。利用以上算法计算量较大，在大数据环境下无法达到理想的效果。近年来，随着深度学习技术的不断发展，一些深度学习模型逐渐被应用到数据分类的研究中。深度学习模型是一种拥有多个非线性映射层级的深度神经网络模型，能够对输入信号逐层抽象并提取特征，挖掘出更深层次的潜在规律。在众多深度学习模型中，卷积神经网络(ConvolutionalNeural Network,CNN)是一种层次模型，由输入和输出层以及多个隐藏层组成。CNN通过卷积操作，pooling操作和非线性激活函数映射等一系列操作的层层堆叠，将高层语义信息由原始数据输入层中抽取出来，逐层抽象，其整体结构如图1，在图片分类，语义分割等应用领域有很好的效果，因此可以将其应用于混合气体的分类中。例如，2018年，等人首次提出了利用Deep Convolutional Neural Network(DCNN)进行气体分类的思想，设计了名为GasNet的气体神经网络；等人则利用较简单的LeNet-5网络进行气体分类。这些应用于分类气体数据的深度学习模型结构较为简单，输入数据量较小，并且直接对采集的二维时序数据进行卷积，池化等操作。但是由于输入数据的限制，应用于图像分类的VGG，Google-Net等CNN网络则无法直接应用于分类混合气体数据。
发明内容
为了克服上述现有技术的不足，本发明提供一种基于卷积神经网络的混合气体识别方法，是一种传感器混合气体分类的新方法，将利用传感器获得的原始气体时序数据根据不同的方式映射为类图片矩阵，再利用现有经典的CNN模型对其进行更全面的特征提取，进而达到分类混合气体的目的。
本发明把现有的CNN数据分类的深度模型应用于混合气体分类的方法，构建具有时序特征的类图片矩阵，对原始时序数据进行转换，并利用卷积神经网络分类模型，有效地对混合气体进行分类识别。本发明基于卷积神经网络的分类优势，将其应用于时序的混合气体的分类领域，利用CNN的卷积操作提取出矩阵数据更全面的特征，不仅速度快，还能够得到较高的准确率。本发明能够克服现有技术由于输入数据的限制，应用于图像分类的VGG，Google-Net等CNN网络则无法直接应用于分类混合气体数据的问题。
本发明提供的技术方案是：
一种基于卷积神经网络的混合气体识别方法，将利用传感器获得的原始气体时序数据根据不同的方式映射为类图片矩阵，再利用现有经典的CNN模型对其进行更全面的特征提取，由此实现对混合气体的分类。
本发明选定CNN中的残差网络(ResNet)作为分类的网络，分别是ResNet18，ResNet34，ResNet50。他们的区别在于卷积层数量和卷积核参数不同。网络的残差模块如图3，输入为x，残差学习模块有两个分支：其一是左边的残差函数F(x)；其二是右边对对输入的恒等映射x。这两个分支经过一个简单的整合(对应元素相加H(x)＝F(x)+x)后，再经过一个非线性变换(ReLu激活函数，其函数表达式如式(1)，其中x1为自变量)，最后形成整个残差学习模块。由多个残差模块堆叠而成的网络结构被称作“残差网络”。
Figure BDA0002102740970000021
本发明的方法分为4个阶段：对原始时序数据进行分析处理、二维的原始数据映射为类图片矩阵、利用卷积神经网络对类图片矩阵进行分类、模型评价，具体过程包括：
1)对原始时序数据进行分析处理：
MOX(金属氧化物)气体传感器采集不同种类的混合气体样本数据，原始气体数据包含多个气体样本，每个样本包括时间标签和该时间对应的多个传感器的气体采样值。然后搜索采集到的原始气体数据中有无缺失值和异常值，并进行处理；
具体实施时，采用多个传感器对混合气体样本进行测量，每个传感器在每个时间点测量得到一个响应值，由得到的多个时间点的响应值构成时间序列，得到初始样本时序数据集N。一个样本原始数据即为多个传感器得到的多个时间序列组成的二维矩阵A。
2)将二维的原始数据映射为类图片矩阵：设计数据映射模式，将处理好的数据根据不同的模式映射成类图片矩阵，并生成相应的样本集(Sample-set)(包括第一样本集～第四样本集)，其中每类80％为训练集，20％为测试集；
3)利用卷积神经网络对类图片矩阵进行训练：选择一种卷积神经网络模型对第二阶段生成的多个样本集种的训练集进行训练；
4)混合气体分类：根据产生权重对测试集进行分类，得到测试准确率，选取测试准确率最大的样本集对应的权重对未知的混合气体对应的类图片进行分类；本发明方法的模型结构图如图1所示。
具体来说，本发明的方法包括下列步骤：
A.数据的预处理，本发明包括针对时序数据进行分类，通过预处理得到有效的数据集。具体实现如下：
A1.统计初始样本时序数据集N中的混合气体样本个数为u，其中每一个样本二维矩阵Ae的大小为m×n，其中m为每个传感器在采样时间t内采集的时序数据的个数，n为所使用的传感器的个数，Ae表示第e个样本，样本序号e＝1,2,…,u，Ae表示为式(2)：
Figure BDA0002102740970000031
A2.Ae中的元素aij是第j个传感器在i时刻对混合气体测得的响应值，并且在一般的二维矩阵基础上加入了时间因素，即aij为ai-1,j下一时刻的值，两者顺序不可改变，可表示为式(3)：
(a1,j,a2,j,...,at-1,j,at,j,at+1,j,...,am,j) 式(3)
A3.查询m×n的初始数据Ae中的元素是否有空值，即NA值，如果有，则将其值设置为该时刻的前一时刻与后一时刻响应值的平均值；
A4.设置阈值，删除超过阈值的响应值，得到处理后的数据Ae＝m1×n，m1表示剩余的时序数据的个数；
Figure BDA0002102740970000041
A5.将Ae中所有元素做四舍五入处理，得到整数值；以便响应值与矩阵的行或列进行映射；
A6.将数据集N中所有样本均做上述预处理，得到新的数据集N1.
B.对于预处理后的数据集N1，将N1中的样本所对应的二维矩阵映射为类图片矩阵，得到第一样本集，具体实现如下：
B1.比较数据集N1中的样本二维矩阵Ae中元素的大小，找到每一个样本的元素中最大的数值M1(M1随样本而改变，为样本测量值的上限)；
B2.设置一个像素矩阵Be＝m1×M1，e＝1,2,…,u，并将所有位置处的值设为空，Be表示第e个样本；
Figure BDA0002102740970000042
B3.以列的顺序遍历Ae(e＝1,2,…,u)中第j列(j＝1,2,…,n)元素aij，并将矩阵Be的
Figure BDA0002102740970000043
位置处的值设为(200/n)×j；
B4.Ae中的元素遍历完成后，Be矩阵得到更新，Be中有些位置有值，有些位置无值；
B5.二维矩阵Be中没有值的位置填充为255，即完成类图片矩阵的映射，得到新的二维矩阵Be
B6.将新得到的二维矩阵Be转化为X×Y×3的图片，即图片长有X个像素点、图片高有Y个像素点；
B7.将N1中所有样本均做B1～B5步骤的映射处理，得到新的样本集(第一样本集)。
C.原数据集N1中每个样本的最大响应值是不同的，所对应的类图片中无法反映出响应值大小对分类的影响，即具有不同值的像素点可能在类图片的同一位置，因此，为了体现值的大小对像素点在纵轴位置高低的影响，在固定纵轴范围的情况下，将N1中的样本所对应的二维矩阵映射为类图片矩阵，得到第二样本集，具体实现如下：
C1.依次比较数据集N1中的所有样本Ae中元素的大小，搜索找到所有样本的元素中最大的数值M2；；
C2.设置一个像素矩阵Be2＝m1×M2，并将所有位置处的值设为空，Be2表示第e2个样本；
Figure BDA0002102740970000051
C3.以列的顺序遍历Ae(e＝1,2,…,u)中第j列(j＝1,2,…,n)元素aij，并将矩阵Be2的
Figure BDA0002102740970000053
位置处的值设为(200/n)×j；
C4.Ae中的元素遍历完成后，Be2矩阵得到更新，Be2中有些位置有值，有些位置无值；
C5.二维矩阵Be2中没有值的位置填充为255，即完成类图片矩阵的映射，得到新的二维矩阵Be2；
C6.将新得到的二维矩阵Be2转化为X×Y×3的图片，即图片长有X个像素点、图片高有Y个像素点；
C7.将N1中所有样本均做C2～C5步骤固定纵轴范围的映射处理，得到新的样本集(第二样本集).
因此，第一样本集中M1是随样本变化的，每一个样本对应一个M1；第二样本集中M2是固定的，所有样本中元素的最大值为M2。
D.不同传感器的基线差异略大。一般的模式识别算法为了消除基线对数据的影响，保证数据的可靠性，首先对数据进行减基线处理。经过减基线的数据可以有效消除环境带来的影响，将环境带来的误差降到最低。因此，本发明同样考虑传感器基线对分类结果的影响。在传感器基线标准化的情况下，将N1中的样本所对应的二维矩阵映射为类图片矩阵，得到第三样本集，具体实现如下：
D1.对N1中样本的数值按照式(7)进行标准化，其中
Figure BDA0002102740970000052
表示对样本数据标准化后的值，
Figure BDA0002102740970000061
表示原样本数据，xd基线值表示每个传感器在标准气体或空气中的响应值，称为基线值，即数据的标准值等于数据的响应值减去基线值，再除以数据的基线值，得到N2；
Figure BDA0002102740970000062
D2.依次比较数据集N2中的所有样本As中元素的大小，搜索找到所有样本的元素中最大的数值M3，As表示第s个样本；
D3.设置一个像素矩阵Bs＝m1×M3，并将所有位置处的值设为空；
Figure BDA0002102740970000063
D4.以列的顺序遍历As(s＝1,2,…,u)中第j列(j＝1,2,…,n)元素aij，并将矩阵Be的
Figure BDA0002102740970000064
位置处的值设为(200/n)×j；
D5.As中的元素遍历完成后，Bs矩阵得到更新，Bs中有些位置有值，有些位置无值；
D6.二维矩阵Bs中没有值的位置填充为255，即完成类图片矩阵的映射，得到新的二维矩阵Bs；
D7.将新得到的二维矩阵Bs转化为X×Y×3的图片，即图片长有X个像素点、图片高有Y个像素点；
D8.将N2中所有样本均做E2～E7步骤，即传感器基线标准化的映射处理，得到新的第三样本集。
E.传感器时序数据与机器视觉数据最大的差距是时序数据具有时间顺序，而一般的图片中不包含时间信息，改变图片的方向也不会影响图片中物体的形状，但是对于时序数据，更改数据发展方向会导致数据改变的趋势和位置发生很大的变化。因此当利用卷积神经网络对时序数据图片进行分类时，需要考虑数据发展的方向对实验结果的影响。对比第一样本集，在更改数据发展方向的情况下，将N1中的样本所对应的二维矩阵映射为类图片矩阵，得到第四样本集，具体实现如下：
E1.设置一个像素矩阵Be3＝m1×M2，并将所有位置处的值设为空；
Figure BDA0002102740970000071
E2.以列的顺序遍历Ae(e＝1,2,…,u)中第j列(j＝1,2,…,n)元素aij，并将矩阵Be的
Figure BDA0002102740970000072
位置处的值设为(200/n)×j；
E3.Ae中的元素遍历完成后，Be3矩阵得到更新，Be3中有些位置有值，有些位置无值；
E4.二维矩阵Be3中没有值的位置填充为255，即完成类图片矩阵的映射，得到新的二维矩阵Be3；
E5.将新得到的二维矩阵Be3转化为Y×X×3的图片，即图片长有Y个像素点、图片高有X个像素点；
E6.将N1中所有样本均做G1～G5步骤，即改变数据发展方向的映射处理，得到新的第四样本集。
F.利用卷积神经网络模型如ResNet18网络对第一样本集～第四样本集进行网络训练，得到训练权重，并进行比较，再利用最优的训练权重对未知的混合气体进行分类，具体方式如下：
F1.分别以第一样本集～第四样本集中的训练集
Figure BDA0002102740970000073
Figure BDA0002102740970000074
作为网络的输入数据，其中K为样本集中的训练样本数，第一样本集～第三样本的集训练样本大小为X×Y×3，第四样本集集训练样本大小为Y×X×3；
F2.将四个样本集的训练图像分别输入4类残差模块、平均池化层和全连接层进行特征提取操作，具体包括：
F2.1对训练数据图像进行卷积操作，设置卷积核参数为7×7×64，步长为2，得到X×Y×64或Y×X×64的特征图，再利用ReLu激活函数进行非线性映射；
F2.2对X×Y×64或Y×X×64的特征图进行最大池化操作，设置卷积核参数为3×3，步长为2，得到
Figure BDA0002102740970000075
或
Figure BDA0002102740970000076
的特征图；
F2.3将
Figure BDA0002102740970000077
或
Figure BDA0002102740970000078
的特征图输入第一类残差模块，该类残差模块个数为2，设置卷积核参数为3×3×64，得到的特征图大小同样为
Figure BDA0002102740970000081
或
Figure BDA0002102740970000082
再利用ReLu激活函数进行非线性映射；
F2.4将
Figure BDA0002102740970000083
或
Figure BDA0002102740970000084
的特征图输入第二类残差模块，该类残差模块个数为2，其中第一个残差模块的第一个卷积层的卷积核参数为3×3×128，步长为2，其余卷积层的的卷积核参数为3×3×128，步长为1，得到的特征图大小同样为
Figure BDA0002102740970000085
或
Figure BDA0002102740970000086
再利用ReLu激活函数进行非线性映射；
F2.5将
Figure BDA0002102740970000087
或
Figure BDA0002102740970000088
的特征图输入第三类残差模块，该类残差模块个数为2，其中第一个残差模块的第一个卷积层的卷积核参数为3×3×256，步长为2，其余卷积层的的卷积核参数为3×3×256，步长为1，得到的特征图大小同样为
Figure BDA0002102740970000089
或
Figure BDA00021027409700000810
再利用ReLu激活函数进行非线性映射；
F2.6将
Figure BDA00021027409700000811
或
Figure BDA00021027409700000812
的特征图输入第四类残差模块，该类残差模块个数为2，其中第一个残差模块的第一个卷积层的卷积核参数为3×3×512，步长为2，其余卷积层的的卷积核参数为3×3×512，步长为1，得到的特征图大小同样为
Figure BDA00021027409700000813
或
Figure BDA00021027409700000814
再利用ReLu激活函数进行非线性映射；
F2.7将
Figure BDA00021027409700000815
或
Figure BDA00021027409700000816
的特征图输入平均池化层和全连接层，全连接层参数为1×1×r，得到1×1×r的特征图；
F3将得到的1×1×r的特征图输入Softmax层，得到每一类相对应的概率，取概率最大的类别为预测类别
Figure BDA00021027409700000817
F4.网络在训练的过程中，利用交叉熵损失函数loss对模型进行训练，根据loss值的大小，反向更新步骤F2中各部分的网络权值参数，设置学习率为λ，网络需要训练迭代的次数为n，当网络迭代n次后结束训练。网络训练的过程中会不断优化网络权值参数，最终使得loss逐渐的变小最终趋于0，最后得到网络权值参数分别为WResNet18-1～WResNet18-4。
Figure BDA00021027409700000818
交叉熵损失函数中q代表第q类，yq为第q类的标签，pq代表第q类的概率，c为分类任务类别数，
Figure BDA0002102740970000091
为第q类数据经过最后一层网络后的输出、
Figure BDA0002102740970000092
为第h类数据经过最后一层网络后的输出；
F5.对未知的混合气体进行分类，具体方式如下：
F5.1利用得到的网络权值参数WResNet18-1～WResNet18-4，对第一样本集～第四样本集的测试数据进行测试，每一个样本集的每一张测试图片均得到预测的类别szh∈{1,2,...,c}，szh表示第z个样本集中第h张测试图片(z＝1,2,3,4h＝1,2,…,t)的预测类别，并与真实类别进行对比得到四个样本集对应的测试正确率，记为acc18_1、acc18_2、acc18_3、acc18_4，并比较大小，选定其中最大的测试正确acc_max＝max{acc18_1,acc18_2,acc18_3,acc18_4}所对应的网络权值参数WResNet18-max为最优权值参数；
F5.2利用WResNet18-max对未知的混合气体进行预测，预测结果即为该方法所得到的混合气体的分类结果。
与现有技术相比，本发明的有益效果是：
本发明提供了一种基于卷积神经网络的混合气体识别方法，其识别过程分为：对原始时序数据进行分析处理、二维的原始数据映射为类图片、利用卷积神经网络训练、利用网络参数对混合气体对应的类图片进行分类四个阶段。经实验表明，其优点是算法高效稳定、能够快速有效地对混合气体的种类进行鉴定，提高混合气体的识别率。本发明能够解决现有的混合气体分类技术由于输入数据的限制而无法直接应用图像分类的VGG，Google-Net等CNN网络针对混合气体数据进行分类的问题。
附图说明
图1是本发明提供的基于卷积神经网络的混合气体识别方法的流程框图。
图2是本发明实施例采用的CNN的整体结构示意图。
图3是本发明实施例采用的ResNet网络的残差模块示意图；
其中，x为输入，F(x)为残差函数；H(x)为输入和残差函数之和，ReLu是激活函数。
具体实施方式
下面结合附图，通过对UCI公共数据集“Gas sensor array exposed toturbulent gas mixtures Data Set”中的气体混合物进行种类识别的过程说明，作为实施例对本发明作进一步描述。
方法流程图如图1所示。本发明方法包括：
1)对原始时序数据进行分析处理：搜索MOX气体传感器采集到的原始数据中有无缺失值和异常值，并对数据进行特性分析；
2)二维的原始数据映射为类图片矩阵：设计数据映射模式，将处理好的数据根据不同的模式映射成类图片矩阵，并生成相应的样本集(Sample-set)；
3)利用卷积神经网络对类图片矩阵进行训练：选择一种卷积神经网络模型对第二阶段生成的多个样本集种的训练集进行训练；
4)对未知的混合气体分类：根据产生权重对测试集进行分类，得到测试准确率，选取测试准确率最大的样本集对应的权重对未知的混合气体对应的类图片进行分类。
下面按照步骤，结合实例对本发明作进一步描述：
1.数据预处理
实例数据共包含三种气体的混合物：CO、甲烷和乙烯的测量数据，共5类，分别是：CO、甲烷、乙烯、CO和乙烯混合物、甲烷和乙烯混合物。共包含180个样本数据，对应的样本数量分别为：18、18、36、54、54，每类80％为训练集，20％为测试集。其中每个样本的大小为2970×8.
Figure BDA0002102740970000101
表中的数值为传感器的测量值，剔除数据中的异常值，并补全缺失值，并将所有数据四舍五入得到整数值，最终得到可以使用的数据集N1。
2.将步骤1得到的数据集N1进行类图片矩阵映射得到第一样本集：
2.1比较数据集N1中的一个样本Ae(e＝1,2,…,180)中元素的大小，找到每一个样本的元素中最大的数值M1(M1随样本而改变)，其中A1如式(11)所示；
Figure BDA0002102740970000102
2.2.设置一个像素矩阵Be＝M1×2970，并将所有位置处的值设为空；
2.3.以列的顺序遍历Ae(e＝1,2,…,180)中第j列(j＝1,2,…,8)元素aij，并将矩阵Be的
Figure BDA0002102740970000111
位置处的值设为(200/8)×j；
2.4 Ae中的元素遍历完成后，Be矩阵得到更新，Be中有些位置有值，有些位置无值；
2.5二维矩阵Be中没有值的位置填充为255，即完成类图片矩阵的映射；得到新的二维矩阵Be
2.6将新得到的二维矩阵Be转化为640×480×3的图片；
2.7将N1中所有样本均做2.1～2.6步骤的映射处理，得到新的第一样本集。
3.在固定纵轴范围的情况下，将N1中的样本所对应的二维矩阵映射为类图片矩阵，得到第二样本集：
3.1依次比较数据集N1中的所有样本Ae(e＝1,2,…,180)中元素的大小，找到所有样本的元素中最大的数值M2＝1200；
3.2.设置一个像素矩阵Be2＝1200×2970，并将所有位置处的值设为空；
3.3.以列的顺序遍历Ae(e＝1,2,…,180)中第j列(j＝1,2,…,8)元素aij，并将矩阵Be2的
Figure BDA0002102740970000112
位置处的值设为(200/8)×j；
3.4 Ae中的元素遍历完成后，Be2矩阵得到更新，Be2中有些位置有值，有些位置无值；
3.5二维矩阵Be2中没有值的位置填充为255，即完成类图片矩阵的映射；得到新的二维矩阵Be
3.6将新得到的二维矩阵Be2转化为640×480×3的图片；
3.7将N1中所有样本均做3.2～3.6步骤的映射处理，得到新的第二样本集。
4.在传感器基线标准化的情况下，将N1中的样本所对应的二维矩阵映射为类图片矩阵，得到第三样本集：
4.1对N1中所有样本的数值按照式(7)进行标准化，得到N2，As(s＝1,2,…,180)为N2中的样本；
4.2找出以N2中样本的二维矩阵值中的最大值M3，设置一个像素矩阵Bs＝1200×2970，并将所有位置处的值设为空；；
4.3以列的顺序遍历As中第j列(j＝1,2,…,8)元素aij，并将矩阵Bs的
Figure BDA0002102740970000113
位置处的值设为(200/8)×j；
4.4 Ae中的元素遍历完成后，Be矩阵得到更新，Be中有些位置有值，有些位置无值；
4.5二维矩阵Be2中没有值的位置填充为255，即完成类图片矩阵的映射；得到新的二维矩阵Bs；
4.6将新得到的二维矩阵Bs转化为640×480×3的图片；
4.7将N1中所有样本均做5.2～5.6步骤的映射处理，得到新的第三样本集。
5.在更改数据发展方向的情况下，将N1中的样本所对应的二维矩阵映射为类图片矩阵，得到第四样本集，具体实现如下：
5.1设置一个像素矩阵Be3＝2970×1200，并将所有位置处的值设为空；
5.2以列的顺序遍历Ae(e＝1,2,…,180)中第j列(j＝1,2,…,8)元素aij，并将矩阵Be3的
Figure BDA0002102740970000121
位置处的值设为(200/8)×j；
5.3 Ae中的元素遍历完成后，Be3矩阵得到更新，Be3中有些位置有值，有些位置无值；
5.4二维矩阵Be3中没有值的位置填充为255，即完成类图片矩阵的映射；得到新的二维矩阵Be
5.5将新得到的二维矩阵Be3转化为480×640×3的图片；
5.6将N1中所有样本均做8.1～8.5步骤的映射处理，得到新的第四样本集。
6.利用ResNet18网络对第一样本集～第四样本集的训练集进行训练，得到相应的权重参数：
6.1分别以第一样本集～第四样本集中的训练集
Figure BDA0002102740970000122
Figure BDA0002102740970000123
作为网络的输入数据，第一样本集～第三样本的集训练样本大小为640×480×3，第四样本集集训练样本大小为480×640×3；
6.2将四个样本集的训练图像分别输入4类残差模块、平均池化层和全连接层进行特征提取操作，得到1×1×5的特征图；
6.3将得到的1×1×5的特征图输入Softmax层，得到每一类相对应的概率，取概率最大的类别为预测类别
Figure BDA0002102740970000124
6.5网络在训练的过程中，利用交叉熵损失函数loss对模型进行训练，根据loss值的大小，反向更新步骤F2中各部分的网络权值参数，设置学习率为0.001，网络需要训练迭代的次数为100，当网络迭代100次后结束训练。网络训练的过程中会不断优化网络权值参数，最终使得loss逐渐的变小最终趋于0，最后得到网络权值参数分别为WResNet18-1～WResNet18-4。
Figure BDA0002102740970000131
交叉熵损失函数中q代表第q类，yq为第q类的标签，pq代表第q类的概率，5为分类任务类别数，
Figure BDA0002102740970000132
为第q类数据经过最后一层网络后的输出、
Figure BDA0002102740970000133
为第h类数据经过最后一层网络后的输出；
6.6对未知的混合气体进行分类，具体方式如下：
F5.1利用得到的网络权值参数WResNet18-1～WResNet18-4，对第一样本集～第四样本集的测试数据进行测试，每一个样本集的每一张测试图片均得到预测的类别szh∈{1,2,...,5}，z表示第z个样本集，h表示第z个样本集中第h张测试图片(z＝1,2,3,4h＝1,2,…,15/30/45)，并与真实类别进行对比得到四个样本集对应的测试正确率，记为93.3％、93.3％、90％、96.6％，并比较大小，选定其中最大的测试正确acc_max＝96.6％所对应的网络权值参数WResNet18-4为最优权值参数；
F5.2利用WResNet18-4对未知的混合气体进行预测，预测结果即为该方法所得到的混合气体的分类结果。
本发明的方法实现了基于卷积神经网络的混合气体识别方法，通过4个步骤能够快速有效地识别出混合气体中的气体成分，能够为工作人员提供复杂的工业环境中的，具有很高的商业价值和经济效益。
最后需要注意的是，公布实施例的目的在于帮助进一步理解本发明，但是本领域的技术人员可以理解：在不脱离本发明及所附的权利要求的精神和范围内，各种替换和修改都是可能的。因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。

Claims (5)

1.一种基于卷积神经网络的混合气体识别方法，将利用传感器获得的原始气体时序数据根据不同的方式映射为类图片矩阵，再利用卷积神经网络模型CNN进行特征提取和分类，由此实现对混合气体的分类；包括如下步骤：
1)对原始时序数据集N进行预处理，得到有效的样本时序数据集N1：
利用MOX气体传感器采集不同种类的混合气体样本，每个传感器在每个时间点测量得到一个响应值，由得到的多个时间点的响应值构成时间序列；由多个传感器得到的多个时间序列组成的二维矩阵Ae即为初始样本时序数据集N，包含多个气体样本的采集时间标签和该时间对应的多个传感器的气体采样值；N中的混合气体样本个数为u；二维矩阵Ae的大小为m×n，其中m为每个传感器在采样时间t内采集的时序数据的个数，n为所使用的传感器的个数；进行数据预处理后得到有效的样本时序数据集N1；
2)设计数据映射模式，将样本时序数据集N1的二维矩阵映射为类图片矩阵，并生成相应的样本集；具体包括如下操作：
B、生成第一样本集：
B1.比较数据集N1中的每一个样本Ae中元素的大小，找到每一个样本的元素中最大的数值M1；Ae表示第e个样本，e＝1,2,…,u；
B2.设置一个像素矩阵Be＝m1×M1，表示如式(5)，并将Be所有位置处的值设为空；
Figure FDA0003039364700000011
B3.以列的顺序遍历Ae中第j列元素aij，j ＝ 1,2, … ,n ， 并设置矩阵Be的
Figure FDA0003039364700000012
的值；
B4.遍历完成Ae中的元素后，即完成更新Be矩阵，Be中的元素为有值或无值；
B5.将Be中无值的元素设置为255，即完成类图片矩阵的映射，得到新的二维矩阵Be；
B6.将新得到的二维矩阵Be转化为X×Y×3的图片，即图片的长有X个像素点、图片的高有Y个像素点；
B7.将N1中所有样本均执行步骤B1～B5的映射处理，得到新的样本集为第一样本集；
C.在固定纵轴范围的情况下，将N1中的样本所对应的二维矩阵映射为类图片矩阵，得到第二样本集，具体实现如下：
C1.依次比较数据集N1中的所有样本Ae中元素的大小，搜索找到所有样本的元素中最大的数值M2；
C2.设置像素矩阵Be2＝m1×M2，并将Be2所有位置处的值设为空，e2表示第e2个样本；
Figure FDA0003039364700000021
C3.以列的顺序遍历Ae中第j列元素aij，j ＝ 1,2, … ,n ， 并设置矩阵Be的元素
Figure FDA0003039364700000022
的值；
C4.Ae中的元素遍历完成后，即完成更新Be2矩阵，Be2中元素为有值或无值；
C5.将二维矩阵Be2中无值的元素填充为255，即完成类图片矩阵的映射，得到新的二维矩阵Be2；
C6.将新得到的二维矩阵Be2转化为X×Y×3的图片；
C7.将N1中所有样本均执行步骤C2～C5的固定纵轴范围的映射处理，得到新的样本集，为第二样本集；
D.在传感器基线标准化的情况下，将N1对应的二维矩阵映射为类图片矩阵，得到第三样本集；具体包括如下操作：
D1.对N1中样本的数值按照式(7)进行标准化，即数据的标准值等于数据的响应值减去基线值，再除以数据的基线值，得到数据集N2：
Figure FDA0003039364700000023
其中，
Figure FDA0003039364700000024
表示对样本数据标准化后的值，
Figure FDA0003039364700000025
表示原样本数据，xd基线值表示每个传感器在标准气体或空气中的响应值，称为基线值；
D2.依次比较数据集N2中的所有样本As中元素的大小，搜索找到所有样本的元素中最大的数值M3，As表示第s个样本；
D3.设置一个像素矩阵Bs＝m1×M3，并将Bs中所有元素的值设为空；像素矩阵Bs表示为：
Figure FDA0003039364700000031
D4.以列的顺序遍历As中第j列元素aij，j＝1,2,…,n，并设置矩阵Be的元素
Figure FDA0003039364700000032
的值；
D5.二维矩阵Bs矩阵更新完成，Bs中的元素为有值或无值；
D6.将二维矩阵Bs中无值的元素设置为255，即完成类图片矩阵的映射，得到新的二维矩阵Bs；
D7.将新的二维矩阵Bs转化为X×Y×3的图片，即图片长有X个像素点、图片高有Y个像素点；
D8.将N2中所有样本均执行步骤D2～D7，即传感器基线标准化的映射处理，得到新的样本集，为第三样本集；
E.对比第一样本集，将N1中的样本所对应的二维矩阵映射为类图片矩阵，得到第四样本集；包括如下操作：
E1.设置一个像素矩阵Be3＝m1×M2，并将所有位置处的值设为空；像素矩阵Be3表示为式(12)：
Figure FDA0003039364700000033
E2.以列的顺序遍历Ae中第j列元素aij，并设置矩阵Be的元素
Figure FDA0003039364700000034
的值；
E3.二维矩阵Be3矩阵完成更新，Be3中的元素为有值或无值；
E4.二维矩阵Be3中无值的元素设置为255，即完成类图片矩阵的映射，得到新的二维矩阵Be3；
E5.将新的二维矩阵Be3转化为Y×X×3的图片，即图片长有Y个像素点、图片高有X个像素点；
E6.将N1中的样本均执行步骤E1～E5，完成映射处理，得到新的样本集，为第四样本集；
3)利用卷积神经网络对类图片矩阵进行分类：利用卷积神经网络模型分别对生成的多个样本集进行训练；包括如下操作：
F1.分别以第一样本集～第四样本集中的训练集
Figure FDA0003039364700000041
Figure FDA0003039364700000042
作为网络的输入数据，其中K为样本集中的训练样本数，q1～q4分别为第一样本集～第四样本集中样本的序号，即第一样本集～第四样本集中第q1～q4个样本，序号范围为1～K；
第一样本集～第三样本集的训练样本大小为X×Y×3，第四样本集的训练样本大小为Y×X×3；
F2.将四个样本集的训练图像分别输入4类残差模块、平均池化层和全连接层进行特征提取操作，得到1×1×r的特征图；
F3将得到的1×1×r的特征图输入网络的Softmax层，得到图像每一类相对应的概率；取概率最大的类别为预测类别
Figure FDA0003039364700000043
F4.网络在训练的过程中，利用交叉熵损失函数loss对模型进行训练，根据loss值的大小，反向更新步骤3)F2中各部分的网络权值参数，得到网络权值参数分别为WResNet18-1～WResNet18-4 ；
4)对未知的混合气体进行分类，具体包括如下操作：
利用得到的网络权值参数WResNet18-1～WResNet18-4 ，对第一样本集～第四样本集的测试数据进行测试，每一个样本集的每一张测试图片均得到预测的类别szh∈{1,2,...,c}，szh表示第z个样本集中第h张测试图片的预测类别，z＝1,2,3,4；h＝1,2,…,t；
与真实类别进行对比，得到四个样本集对应的测试正确率，记为acc18_1、acc18_2、acc18_3、acc18_4；
比较测试正确率的大小，选定其中最大的测试正确率acc_max＝max{acc18_1,acc18_2,acc18_3,acc18_4}所对应的网络权值参数WResNet18-max为最优权值参数；
利用WResNet18-max对未知的混合气体进行预测，得到混合气体的分类结果。
2.如权利要求1所述基于卷积神经网络的混合气体识别方法，其特征是，将残差网络ResNet作为分类的卷积神经网络；采用ResNet18进行网络模型验证。
3.如权利要求2所述基于卷积神经网络的混合气体识别方法，其特征是，步骤3)中F2将四个样本集的训练图像分别输入4类残差模块、平均池化层和全连接层进行特征提取操作，具体包括：
F2.1对训练数据图像进行卷积操作，设置卷积核参数为7×7×64，步长为2，得到X×Y×64或Y×X×64的特征图，再利用ReLu激活函数进行非线性映射；
F2.2对X×Y×64或Y×X×64的特征图进行最大池化操作，设置卷积核参数为3×3，步长为2，得到
Figure FDA0003039364700000051
或
Figure FDA0003039364700000052
的特征图；
F2.3将
Figure FDA0003039364700000053
或
Figure FDA0003039364700000054
的特征图输入第一类残差模块，该类残差模块个数为2，设置卷积核参数为3×3×64，得到的特征图大小同样为
Figure FDA0003039364700000055
或
Figure FDA0003039364700000056
再利用ReLu激活函数进行非线性映射；
F2.4将
Figure FDA0003039364700000057
或
Figure FDA0003039364700000058
的特征图输入第二类残差模块，该类残差模块个数为2，其中第一个残差模块的第一个卷积层的卷积核参数为3×3×128，步长为2，其余卷积层的卷积核参数为3×3×128，步长为1，得到的特征图大小同样为
Figure FDA0003039364700000059
或
Figure FDA00030393647000000510
再利用ReLu激活函数进行非线性映射；
F2.5将
Figure FDA00030393647000000511
或
Figure FDA00030393647000000512
的特征图输入第三类残差模块，该类残差模块个数为2，其中第一个残差模块的第一个卷积层的卷积核参数为3×3×256，步长为2，其余卷积层的的卷积核参数为3×3×256，步长为1，得到的特征图大小同样为
Figure FDA00030393647000000513
或
Figure FDA00030393647000000514
再利用ReLu激活函数进行非线性映射；
F2.6将
Figure FDA00030393647000000515
或
Figure FDA00030393647000000516
的特征图输入第四类残差模块，该类残差模块个数为2，其中第一个残差模块的第一个卷积层的卷积核参数为3×3×512，步长为2，其余卷积层的的卷积核参数为3×3×512，步长为1，得到的特征图大小同样为
Figure FDA00030393647000000517
或
Figure FDA00030393647000000518
再利用ReLu激活函数进行非线性映射；
F2.7将
Figure FDA00030393647000000519
或
Figure FDA00030393647000000520
的特征图输入平均池化层和全连接层，全连接层参数为1×1×r，得到1×1×r的特征图。
4.如权利要求1所述基于卷积神经网络的混合气体识别方法，其特征是，步骤3)中F4在网络在训练的过程中，最后得到网络权值参数分别为WResNet18-1～WResNet18-4 ，具体包括如下操作：
设置学习率为λ，网络需要训练迭代的次数为num，当网络迭代num次后结束训练；
网络训练的过程中不断优化网络权值参数，使得loss值逐渐变小最终趋于0，最后得到网络权值参数分别为WResNet18-1～WResNet18-4 ；交叉熵损失函数表示为式(10)：
Figure FDA0003039364700000063
交叉熵损失函数中，q代表第q类，yq为第q类的标签，pq代表第q类的概率，c为分类任务类别数，
Figure FDA0003039364700000064
为第q类数据经过最后一层网络后的输出，
Figure FDA0003039364700000065
为第h类数据经过最后一层网络后的输出。
5.如权利要求1所述基于卷积神经网络的混合气体识别方法，其特征是，数据的预处理包括针对时序数据进行分类，得到有效的数据集；具体包括如下操作：
A1.m×n的二维矩阵Ae表示为式(2)，其中m为每个传感器在采样时间t内采集的时序数据的个数，n为所使用的传感器的个数；
Figure FDA0003039364700000066
A2.Ae中的元素aij是第j个传感器在i时刻对混合气体测得的响应值，且aij为ai-1,j下一时刻的值，aij时序表示为式(3)：
(a1,j,a2,j,...,at-1,j,at,j,at+1,j,...,am,j) 式(3)
A3.当初始数据Ae中的元素有空值时，将该值设置为该时刻的前一时刻与后一时刻响应值的平均值；
A4.设置阈值，删除超过阈值的响应值，得到处理后的数据Ae＝m1×n，m1表示剩余的时序数据的个数；
Figure FDA0003039364700000071
A5.将数据集N中所有样本执行上述步骤进行预处理，得到新的数据集N1。
CN201910541654.8A 2019-06-21 2019-06-21 一种基于卷积神经网络的混合气体识别方法 Active CN110309867B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910541654.8A CN110309867B (zh) 2019-06-21 2019-06-21 一种基于卷积神经网络的混合气体识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910541654.8A CN110309867B (zh) 2019-06-21 2019-06-21 一种基于卷积神经网络的混合气体识别方法

Publications (2)

Publication Number Publication Date
CN110309867A CN110309867A (zh) 2019-10-08
CN110309867B true CN110309867B (zh) 2021-09-24

Family

ID=68077038

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910541654.8A Active CN110309867B (zh) 2019-06-21 2019-06-21 一种基于卷积神经网络的混合气体识别方法

Country Status (1)

Country Link
CN (1) CN110309867B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111813830B (zh) * 2020-07-02 2023-03-28 清华大学 一种基于轨道交通工业互联网的工业时序数据检索方法
CN112116962A (zh) * 2020-09-21 2020-12-22 河北工业大学 一种空气成分识别方法及系统
CN112613431B (zh) * 2020-12-28 2021-06-29 中北大学 一种泄漏气体自动识别方法、系统及装置
CN113077002B (zh) * 2021-04-09 2023-07-21 郑州航空工业管理学院 基于空间外差拉曼光谱的机器嗅觉可视化传感数据分析方法
CN113267535A (zh) * 2021-07-21 2021-08-17 深圳盛方科技有限公司 一种智能气体识别方法及其装置
CN115356434B (zh) * 2022-07-14 2023-06-02 福建省杭氟电子材料有限公司 六氟丁二烯储放场所的气体监测系统及其监测方法
CN115618927B (zh) * 2022-11-17 2023-04-18 中国人民解放军陆军防化学院 一种基于时序-图融合神经网络的气体种类识别方法
CN116832588B (zh) * 2023-08-25 2024-02-02 湖北鼎信成套设备有限公司 酸再生烟气净化装置及其方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5598509A (en) * 1992-08-28 1997-01-28 Hitachi, Ltd. Method of configuring a neural network and a diagnosis/recognition system using the same
WO2017066543A1 (en) * 2015-10-16 2017-04-20 Google Inc. Systems and methods for automatically analyzing images
CN107341518A (zh) * 2017-07-07 2017-11-10 东华理工大学 一种基于卷积神经网络的图像分类方法
CN107958253A (zh) * 2018-01-18 2018-04-24 浙江中控技术股份有限公司 一种图像识别的方法和装置
CN108268860A (zh) * 2018-02-09 2018-07-10 重庆科技学院 一种基于卷积神经网络的天然气集输站设备图像分类方法
CN109325469A (zh) * 2018-10-23 2019-02-12 北京工商大学 一种基于深度神经网络的人体姿态识别方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007064769A1 (en) * 2005-11-30 2007-06-07 The General Hospital Corporation Adaptive density mapping in computed tomographic images
CN108875593A (zh) * 2018-05-28 2018-11-23 上海交通大学 基于卷积神经网络的可见光图像天气识别方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5598509A (en) * 1992-08-28 1997-01-28 Hitachi, Ltd. Method of configuring a neural network and a diagnosis/recognition system using the same
WO2017066543A1 (en) * 2015-10-16 2017-04-20 Google Inc. Systems and methods for automatically analyzing images
CN107341518A (zh) * 2017-07-07 2017-11-10 东华理工大学 一种基于卷积神经网络的图像分类方法
CN107958253A (zh) * 2018-01-18 2018-04-24 浙江中控技术股份有限公司 一种图像识别的方法和装置
CN108268860A (zh) * 2018-02-09 2018-07-10 重庆科技学院 一种基于卷积神经网络的天然气集输站设备图像分类方法
CN109325469A (zh) * 2018-10-23 2019-02-12 北京工商大学 一种基于深度神经网络的人体姿态识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Gas discrimination method for detecting transformer faults by neural network;T. Nogami 等;《Proceedings of 1994 IEEE International Conference on Neural Networks (ICNN"94)》;IEEE;19940702;3800-3805 *
小波变换在TDLAS二次谐波气体检测系统中的应用研究;贺鸿浩 等;《科技风》;20170730(第14期);253-254 *

Also Published As

Publication number Publication date
CN110309867A (zh) 2019-10-08

Similar Documents

Publication Publication Date Title
CN110309867B (zh) 一种基于卷积神经网络的混合气体识别方法
US11055574B2 (en) Feature fusion and dense connection-based method for infrared plane object detection
Lin et al. Parameter tuning, feature selection and weight assignment of features for case-based reasoning by artificial immune system
CN103886342B (zh) 基于光谱和邻域信息字典学习的高光谱图像分类方法
CN113360701B (zh) 一种基于知识蒸馏的素描图处理方法及其系统
CN109492230B (zh) 一种基于感兴趣文本域卷积神经网络提取保险合同关键信息的方法
EP4322031A1 (en) Recommendation method, recommendation model training method, and related product
CN111428513A (zh) 一种基于卷积神经网络的虚假评论分析方法
CN112766161B (zh) 基于集成约束多示例学习的高光谱目标检测方法
CN114332621A (zh) 一种基于多模型特征融合的病虫害识别方法及系统
CN113095409A (zh) 基于注意力机制和权值共享的高光谱图像分类方法
CN111798417A (zh) 一种基于ssd遥感图像目标检测的方法及装置
CN114937173A (zh) 一种基于动态图卷积网络的高光谱图像快速分类方法
CN111833310A (zh) 一种基于神经网络架构搜索的表面缺陷分类方法
Hu et al. Saliency-based YOLO for single target detection
CN113724195B (zh) 基于免疫荧光图像的蛋白质的定量分析模型和建立方法
Long et al. A review of artificial intelligence technologies in mineral identification: classification and visualization
CN116665039A (zh) 基于两阶段因果干预的小样本目标识别方法
Yang et al. Classification of industrial surface defects based on neural architecture search
CN114882409A (zh) 一种基于多模态特征融合的智能暴力行为检测方法及装置
Liu et al. Deep convolutional neural networks for regular texture recognition
CN114153968A (zh) 基于词属性位置关系与贝叶斯的少样本金融文本分类系统
CN113627522A (zh) 基于关系网络的图像分类方法、装置、设备及存储介质
CN113297376A (zh) 基于元学习的法律案件风险点识别方法及系统
CN112465821A (zh) 一种基于边界关键点感知的多尺度害虫图像检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant