CN109886109B - 一种基于深度学习的行为识别方法 - Google Patents
一种基于深度学习的行为识别方法 Download PDFInfo
- Publication number
- CN109886109B CN109886109B CN201910041967.7A CN201910041967A CN109886109B CN 109886109 B CN109886109 B CN 109886109B CN 201910041967 A CN201910041967 A CN 201910041967A CN 109886109 B CN109886109 B CN 109886109B
- Authority
- CN
- China
- Prior art keywords
- stft
- lstm
- drnn
- data
- sequence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明公开了一种基于深度学习的行为识别方法，行为识别分为训练阶段和识别阶段，在训练阶段，对加速度传感器采集的三轴加速度数据预处理之后提取合加速度值，即xyz三轴加速度平方和的均方根值，然后对合加速度值进行STFT变换以提取数据中时间和频率之间的关系，将STFT序列的能量谱和每次采集数据对应的行为标签作为行为识别模型的训练集输入；行为识别模型采用基于LSTM单元的DRNN网络，使用训练集数据训练初始模型，选择测试集分类正确率最高的训练模型应用于识别阶段。该方法相对与已有方案而言，识别的准确度更高，且功耗较低，适合工作在资源受限的智能终端。
Description
技术领域
本发明涉及一种基于深度学习的行为识别方法，属于行为识别领域。
背景技术
目前，现有的基于机器学习的行为识别，往往需要手工提取大量的特征值，导致识别模型在特征值选用方面的客观性欠缺、系统能耗增加等缺点。而深度学习算法的应用可以避免人工提取特征值的过程，识别模型能够自主从输入数据中寻找特征，从而进行结果的预测，保证了系统的正确率。深度学习算法的便利性和高效性使得将其应用于行为识别领域成为研究的热点。
在利用深度学习进行为识别的方法中，在提高系统检测正确度的同时不显著增加模型复杂度是研究的重要方面。
发明内容
本发明旨在解决以上现有技术中存在的技术问题，提出了一种基于深度学习的行为识别方法。
本发明方法在行为识别系统训练阶段通过加速度传感器获取合加速度值，经过STFT变换提取合加速度值序列中频率和时间的关系，得到STFT能量谱序列，结合每次实验对应的行为标签；采用基于LSTM(Long Short-Term Memory，长短期记忆网络)单元的DRNN网络(Deep Recurrent Neural Networks，深层循环神经网络)建立起LSTM-DRNN行为识别模型；使用训练集数据训练初始模型，获得相应的参数。根据识别正确率选择最佳的训练模型，应用于行为识别系统的识别阶段。识别阶段对加速度传感器的处理同训练阶段相同，识别阶段的输入仅为STFT(Short-time Fourier Transform，短时傅里叶变换)能量谱序列，经过训练好的DRNN-LSTM模型处理，就可以输出预测的行为类别。
本发明具体采用以下技术方案：
本发明提供了一种基于深度学习的行为识别方法，所述方法包括如下步骤：
步骤一、采用加速度传感器采集x轴、y轴和z轴的行为数据ai(n)并对行为类型进行标记，其中i等于0、1或2，表示传感器x轴、y轴和z轴；n表示行为标记；
步骤二、对行为数据ai(n)采用滤波处理得到滤波处理后的加速度传感器数据aiτ(n)；
步骤三、对滤波处理后的加速度传感器数据aiτ(n)采用STFT变换后输出复序列Astft(m，ω)；取STFT变换后的复序列的幅度值的平方作为该序列的谱能量Pstft(m，ω)；
步骤四、把谱能量Pstft(m，ω)作为LSTM-DRNN模型的输入建立LSTM-DRNN行为识别模型；
步骤五，对LSTM-DRNN行为识别模型训练获取模型参数得到最终的LSTM-DRNN行为识别模型；
步骤六、采用LSTM-DRNN行为识别模型识别行为获得最终的识别结果。
在以上技术方案中，步骤二具体包括以下步骤：
用截止频率为fmc的阶数为a的中值滤波器和截止频率为flc的阶数为b的低通滤波器去除ai(n)中的噪声na(n)，得到滤波处理后的加速度传感器数据aiτ(n)。
在以上技术方案中，步骤三的具体步骤如下：
根据加速度传感器数据aiw(n)计算合加速度值a(n)，其中加加速度传感器数据aiw(n)是速度传感器数据aiτ(n)采用滑动窗口法处理后的加速度传感器数据；
表示传感器x轴、y轴和z轴，其中序列a(n)共有数据wfs个；然后对合加速度值a(n)进行STFT变换得到频域复序列Astft(m，ω)，
w(n)为窗函数，Astft(m，ω)有st×sf个数据，st为每个时间段里的时间点数，sf为STFT得到的频率点数(st×sf＜wfs)；
取频域复序列Astft(m，ω)的幅度值的平方作为该序列的谱能量Pstft(m，ω)，Pstft(m，ω)＝|Astft(m，ω)|2，其中序列Pstft(m，ω)，其中同样有st×sf个数据(st×sf＜wfs)。
进一步地，加速度传感器数据aiτ(n)采用滑动窗口法处理，即采用一个w秒重叠p％的窗口进行数据提取，得到加速度传感器数据aiw(n)。
在以上技术方案中，步骤四具体包括以下步骤：
DRNN分成输入层、隐藏层和输出层，其中隐藏层的深度为3；
隐藏层均采用LSTM单元取代基本RNN单元；
对加速度传感进行k次STFT谱能量序列计算，得到
同时将每种行为标记与谱能量Pstft相应元素对应起来，构建行为标记与STFT谱能量序列
之间的映射关系，建立LSTM-DRNN识别模型。
在以上技术方案中，步骤五的具体方法如下：
步骤5-1：选取全部k次实验得到的谱能量Psftf中的特定比例用作训练集Ptrain，剩下的用作测试集Ptest来训练建立的LSTM-DRNN模型；
步骤5-2：使用正确率评估模型的训练效果；
步骤5-3：选择测试集Ptest上准确度最高的迭代周期，获取该周期下的模型参数得到最终的LSTM-DRNN模型，得到最终的LSTM-DRNN模型。
在以上技术方案中，步骤六的具体方法如下：
对经过预处理的加速度传感器数据进行STFT变换，得到经过STFT变换后的STFT序列Astft(m，ω)，取STFT变换后的序列的幅度值的平方作为该序列的谱能量序列Pstft(m，ω)；
将谱能量序列Pstft(m，ω)作为输入数据传入训练好的LSTM-DRNN行为识别模型当中，获得分类结果。
本发明所取得的有益技术效果：
1、本发明通过在LSTM-DRNN行为识别模型的训练阶段和识别阶段，对加速度传感器获取的xyz三轴的加速值进行处理，提取一维的合加速度值，经过STFT变换提取合加速度值序列中频率和时间的关系，得到STFT序列的能量谱，其中STFT序列的能量谱序列中的数据数远少于xyz三轴加速传感器的数据数；控制能量谱序列中的数据数目少于加速度传感器获得的三轴加速度值的数目，就可以减少模型的训练时间，从而达到控制模型复杂度的目的；
2、结合每次实验对应的行为标签对建立起的LSTM-DRNN行为识别模型进行训练获得相应的参数。根据识别正确率选择最佳的训练模型，应用于系统的识别阶段；识别阶段的输入仅为STFT序列的能量谱序列，经过训练好的DRNN-LSTM模型处理，就可以输出预测的行为类别。上述处理中使用的LSTM-DRNN深度学习模型可以充分利用数据提取特征，提高识别的正确率，同时训练模型使用的STFT序列能量谱序列的数据数目远少于直接使用xyz三轴加速度传感器的原始数据数目，从而减少了训练模型的时间，控制了DRNN-LSTM模型的复杂度，对低能耗的终端设备具有适用性。
附图说明
图1为本发明具体实施例的整体方法流程示意图；
图2为LSTM-DRNN行为识别模型训练阶段的示意图。
具体实施方式
以下结合说明书附图对本发明作进一步的详细说明。下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
图1为本发明的整体方法流程示意图；如图1所示，本实施例提供的行为识别方法分为训练阶段和识别阶段。
训练阶段主要包括四个部分，分别为传感器数据采集和预处理，STFT变换，建立LSTM-DRNN行为识别模型，训练获取模型参数。其具体过程如图2所示。
LSTM-DRNN模型的训练阶段具体包括以下步骤：
步骤一、采用加速度传感器采集x轴、y轴和z轴的行为数据ai(n)并对行为类型进行标记，其中i等于0、1或2，表示传感器x轴、y轴和z轴；n表示行为标记；
步骤二、对行为数据ai(n)采用滤波处理得到滤波处理后的加速度传感器数据aiτ(n)；
步骤三、对滤波处理后的加速度传感器数据aiτ(n)采用STFT变换后输出复序列Astft(m，ω)；取STFT变换后的复序列的幅度值的平方作为该序列的谱能量Pstft(m，ω)；
步骤四、把谱能量Pstft(m，ω)作为LSTM-DRNN模型的输入建立LSTM-DRNN行为识别模型；
步骤五，对LSTM-DRNN行为识别模型训练获取模型参数得到最终的LSTM-DRNN行为识别模型；
优选地，在具体实施例中，在传感器数据采集和预处理部分，先启用智能手机加速度传感器，设置加速度传感器的采样频率为fs，分别采集诸如静坐、平躺、走路、慢跑、上楼梯和下楼梯、跌倒七种常见行为的加速度传感器数据ai(n)，(i＝0，1，2，表示传感器x轴、y轴和z轴)，数据ai(n)为离散数据。同时由人工为上述行为进行标记，标签1-7对应上述行为的顺序，记为Labe(l)，(l＝1，2，...，7，依次对应静坐、平躺、走路、慢跑、上楼梯和下楼梯、跌倒这七种常见行为)。然后用截止频率为fmc的阶数为a的中值滤波器和截止频率为flc的阶数为b的低通滤波器去除ai(n)中的噪声na(n)，得到滤波处理后的加速度传感器数据aiτ(n)。通过使用智能手机内置的加速度传感器获取合加速度和，处理后得到STFT序列，不用额外配置检测设备；行为识别系统的训练阶段可以线下完成，将训练好的模型应用于云端或者手机应用当中，进一步降低系统的能耗要求。整个行为识别系统具有普遍适用性。需要说明的是，在其它的实施例中可以采用现有技术中的其它设备采集行为感应数据，可根据实际情况设定要采集的行为类别。
在STFT变换部分，首先，加速度传感器数据aiτ(n)采用滑动窗口法处理，即采用一个w秒重叠p％的窗口进行数据提取，得到加速度传感器数据aiw(n)。然后，对得到的三维加速度传感器数据aiw(n)计算合加速度值a(n)，即xyz三轴加速度平方和的均方根值。对一维合加速度值a(n)进行STFT变换，经过STFT变换之后输出二维的复序列为Astft(m，ω)，其表示的是输入序列之间的时间和频率之间的关系。取STFT变换后的序列的幅度值的平方作为该序列的谱能量Pstft(m，ω)。经过STFT变换使STFT序列的数据数目比原始数据数目大大减少，可以有效降低系统处理的能耗，提升系统的处理速度。凭借LSTM-DRNN深度学习算法模型的优势能够保证识别正确率，具有普遍适用性。
在建立LSTM-DRNN行为识别模型部分，先把DRNN分成输入层、隐藏层和输出层，其中隐藏层的深度为3(隐藏层深度可以在[2，4]中视情况调整，一般不宜过大否则网络会过于复杂)。为了避免长时间依赖问题，隐藏层均采用LSTM单元取代基本RNN单元。初始化模型参数。对加速度传感进行k次STFT谱能量序列计算，得到
同时将每种行为标记与集合Pstft相应元素对应起来，构建行为标记与STFT谱能量序列
之间的映射关系，建立识别模型。
在训练获取模型参数部分，先选取全部k次实验得到的STFT数据集合Psftf中的70％用作训练集Ptrain，剩下的30％用作测试集Ptest来训练建立的LSTM-DRNN模型(在其它实施例中根据情况设定STFT数据集合Psftf中训练集和测试集的比例。)。然后使用正确率评估模型的训练效果。正确率定义为正确区分出的正负样本的数量总和与训练总样本数的比值。最后，选择测试集Ptest上正确率最高的迭代周期，获取该周期下的模型参数，得到最终的LSTM-DRNN模型，使用这样的模型进行预测。
行为识别系统的识别阶段同样包括四个部分，分别为传感器数据采集和预处理，STFT变换，输入LSTM-DRNN行为识别模型，获取预测结果，其中传感器数据采集和预处理，STFT变换与训练阶段对应的部分一致。首先对经过预处理的加速度传感器数据进行STFT变换，得到经过STFT变换后的序列Astft(m，ω)，取STFT变换后的序列的幅度值的平方作为该序列的谱能量序列Pstft(m，ω)。然后，将谱能量序列Pstft(m，ω)作为输入数据传入训练好的LSTM-DRNN行为识别模型当中，获得分类结果。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。
Claims (9)
1.一种基于深度学习的行为识别方法，其特征在于，所述方法包括如下步骤：
步骤一、采用加速度传感器采集x轴、y轴和z轴的行为数据ai(n)并对行为类型进行标记，其中i等于0、1或2，表示传感器x轴、y轴和z轴；n表示行为标记；
步骤二、对行为数据ai(n)采用滤波处理得到滤波处理后的加速度传感器数据aiτ(n)；
步骤三、对滤波处理后的加速度传感器数据aiτ(n)采用STFT变换后输出复序列Astft(m，ω)；取STFT变换后的复序列的幅度值的平方作为该序列的谱能量Pstft(m，ω)；
步骤四、把谱能量Pstft(m，ω)作为LSTM-DRNN模型的输入建立LSTM-DRNN行为识别模型；
步骤五，对LSTM-DRNN行为识别模型训练获取模型参数得到最终的LSTM-DRNN行为识别模型；
步骤六、采用LSTM-DRNN行为识别模型识别行为获得最终的识别结果；
步骤三的具体步骤如下：
根据加速度传感器数据aiw(n)计算合加速度值a(n)，其中加速度传感器数据aiw(n)是速度传感器数据aiτ(n)采用滑动窗口法处理后的加速度传感器数据；
合加速度值a(n)的表达式如下：
其中i＝0，1，2，表示传感器x轴、y轴和z轴，其中序列a(n)共有数据wfs个；
对合加速度值a(n)进行STFT变换得到频域复序列Astft(m，ω)，表达式如下：
其中w(n)为窗函数，Astft(m，ω)有st×sf个数据，st为每个时间段里的时间点数，sf为STFT得到的频率点数；
取频域复序列Astft(m，ω)的幅度值的平方作为该序列的谱能量Pstft(m，ω)，Pstft(m，ω)＝|Astft(m，ω)|2，其中序列Pstft(m，ω)，其中同样有st×sf个数据。
2.根据权利要求1所述的行为识别方法，其特征在于，步骤二具体包括以下步骤：
用截止频率为fmc的阶数为a的中值滤波器和截止频率为flc的阶数为b的低通滤波器去除ai(n)中的噪声na(n)，得到滤波处理后的加速度传感器数据aiτ(n)。
3.根据权利要求1所述的行为识别方法，其特征在于，加速度传感器数据aiτ(n)采用滑动窗口法处理，即采用一个w秒重叠p％的窗口进行数据提取，得到加速度传感器数据aiw(n)。
4.根据权利要求1所述的行为识别方法，其特征在于，步骤四具体包括以下步骤：
DRNN分成输入层、隐藏层和输出层，其中隐藏层的深度为3；
隐藏层均采用LSTM单元取代RNN单元；
对加速度传感进行k次STFT谱能量序列计算，得到
同时将每种行为标记与谱能量Pstft相应元素对应起来，构建行为标记与STFT谱能量序列
之间的映射关系，建立LSTM-DRNN识别模型。
5.根据权利要求1所述的行为识别方法，其特征在于，步骤五的具体方法如下：
步骤5-1：选取全部k次实验得到的谱能量Psftf中的特定比例的数据用作训练集Ptrain，剩下的用作测试集Ptest来训练建立的LSTM-DRNN模型；
步骤5-2：使用正确率评估模型的训练效果；
步骤5-3选择测试集Ptest上准确度最高的迭代周期，获取该周期下的模型参数得到最终的LSTM-DRNN模型，得到最终的LSTM-DRNN模型。
6.根据权利要求5所述的行为识别方法，其特征在于，选取全部k次实验得到的谱能量Psftf中的70％的数据用作训练集Ptrain，剩下的30％用作测试集Ptest来训练建立的LSTM-DRNN模型。
7.根据权利要求1所述的行为识别方法，其特征在于，步骤六的具体方法如下：
对经过预处理的加速度传感器数据进行STFT变换，得到经过STFT变换后的STFT序列Astft(m，ω)，取STFT变换后的序列的幅度值的平方作为该序列的谱能量序列Pstft(m，ω)；
将谱能量Pstft(m，ω)作为输入数据传入训练好的LSTM-DRNN行为识别模型当中，获得分类结果。
8.根据权利要求1所述的行为识别方法，其特征在于，步骤一包括以下步骤：
设置加速度传感器的采样频率为fs，分别采集静坐、平躺、走路、慢跑、上楼梯和下楼梯、跌倒七种行为的加速度传感器数据ai(n)，其中i＝0，1，2，表示传感器x轴、y轴和z轴，数据ai(n)为离散数据；
同时为上述行为进行标记，标签1-7对应上述行为的顺序，记为Labe(l)，其中l＝1，2，…，7.依次对应静坐、平躺、走路、慢跑、上楼梯和下楼梯、跌倒这七种行为；
将每次实验的行为标记Labe(l)和谱能量Pstft之间构建起映射关系，用于训练所建的LSTM-DRNN识别模型，获得模型内部参数。
9.根据权利要求8所述的行为识别方法，其特征在于，
LSTM-DRNN行为识别模型的输入数据维度为1；输出为行为对应的标签Labe(l)，其中l＝1，2，…，7，依次对应静坐、平躺、走路、慢跑、上楼梯和下楼梯、跌倒这七种行为，输出类别维度为7；中间共有隐藏层数为3，每一层都采用LSTM单元，每层LSTM单元数为60。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910041967.7A CN109886109B (zh) | 2019-01-16 | 2019-01-16 | 一种基于深度学习的行为识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910041967.7A CN109886109B (zh) | 2019-01-16 | 2019-01-16 | 一种基于深度学习的行为识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109886109A CN109886109A (zh) | 2019-06-14 |
| CN109886109B true CN109886109B (zh) | 2022-08-30 |
Family
ID=66926080
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910041967.7A Active CN109886109B (zh) | 2019-01-16 | 2019-01-16 | 一种基于深度学习的行为识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109886109B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114254680B (zh) * | 2022-02-28 | 2022-05-17 | 成都大公博创信息技术有限公司 | 基于多特征信息的深度学习网络调制识别方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010207488A (ja) * | 2009-03-12 | 2010-09-24 | Gifu Univ | 行動解析装置及びプログラム |
| CN107092894A (zh) * | 2017-04-28 | 2017-08-25 | 孙恩泽 | 一种基于lstm模型的运动行为识别方法 |
| CN107358248A (zh) * | 2017-06-07 | 2017-11-17 | 南京邮电大学 | 一种提高跌倒检测系统精度的方法 |
-
2019
- 2019-01-16 CN CN201910041967.7A patent/CN109886109B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010207488A (ja) * | 2009-03-12 | 2010-09-24 | Gifu Univ | 行動解析装置及びプログラム |
| CN107092894A (zh) * | 2017-04-28 | 2017-08-25 | 孙恩泽 | 一种基于lstm模型的运动行为识别方法 |
| CN107358248A (zh) * | 2017-06-07 | 2017-11-17 | 南京邮电大学 | 一种提高跌倒检测系统精度的方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109886109A (zh) | 2019-06-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107679522B (zh) | 基于多流lstm的动作识别方法 | |
| CN108537191B (zh) | 一种基于结构光摄像头的三维人脸识别方法 | |
| CN109171707A (zh) | 一种智能心电图分类方法 | |
| CN109632310A (zh) | 一种基于特征增强的轴承故障诊断方法 | |
| CN105184325A (zh) | 一种人体动作识别方法和移动智能终端 | |
| CN101441776B (zh) | 示范表演驱动的基于加速传感器的三维人体动作编排方法 | |
| CN105841961A (zh) | 一种基于Morlet小波变换和卷积神经网络的轴承故障诊断方法 | |
| CN103970271A (zh) | 融合运动和生理传感数据的日常活动识别方法 | |
| CN106446754A (zh) | 图像识别方法、度量学习方法、图像来源识别方法及装置 | |
| CN109559758B (zh) | 一种基于深度学习的将纹理图像转换成触觉信号的方法 | |
| CN105512620A (zh) | 用于人脸识别的卷积神经网络的训练方法和装置 | |
| CN111855202A (zh) | 一种齿轮箱故障诊断方法及系统 | |
| CN113008559B (zh) | 基于稀疏自编码器和Softmax的轴承故障诊断方法及系统 | |
| CN111079658A (zh) | 基于视频的多目标连续行为分析方法、系统、装置 | |
| CN111189638B (zh) | 基于hmm和qpso优化算法的轴承故障程度辨识方法 | |
| CN111709477A (zh) | 一种基于改进MobileNet网络进行垃圾分类的方法及工具 | |
| CN109359550A (zh) | 基于深度学习技术的满文文档印章提取与去除方法 | |
| CN103984954B (zh) | 基于多特征融合的图像合成方法 | |
| CN109886109B (zh) | 一种基于深度学习的行为识别方法 | |
| CN108717548A (zh) | 一种面向传感器动态增加的行为识别模型更新方法及系统 | |
| CN115587290A (zh) | 基于变分自编码生成对抗网络的航空发动机故障诊断方法 | |
| WO2022100187A1 (zh) | 一种基于移动端对用户的情感进行识别与监测方法 | |
| CN111144269A (zh) | 一种基于深度学习的信号相关行为识别方法及系统 | |
| CN114548268A (zh) | 基于原型网络的小样本垃圾图像分类方法 | |
| CN109271889A (zh) | 一种基于双层lstm神经网络的动作识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |