CN114694245A - 基于Capsule和GRU的实时行为识别和体征状态监测方法及系统 - Google Patents
基于Capsule和GRU的实时行为识别和体征状态监测方法及系统 Download PDFInfo
- Publication number
- CN114694245A CN114694245A CN202011621083.8A CN202011621083A CN114694245A CN 114694245 A CN114694245 A CN 114694245A CN 202011621083 A CN202011621083 A CN 202011621083A CN 114694245 A CN114694245 A CN 114694245A
- Authority
- CN
- China
- Prior art keywords
- information
- behavior
- physiological
- modal
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000002775 capsule Substances 0.000 title claims abstract description 54
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000012544 monitoring process Methods 0.000 title claims abstract description 37
- 241000288105 Grus Species 0.000 title claims abstract description 27
- 230000006399 behavior Effects 0.000 claims abstract description 168
- 230000033001 locomotion Effects 0.000 claims abstract description 99
- 238000013136 deep learning model Methods 0.000 claims abstract description 37
- 230000011218 segmentation Effects 0.000 claims abstract description 23
- 230000002123 temporal effect Effects 0.000 claims abstract description 23
- 238000012545 processing Methods 0.000 claims abstract description 19
- 238000010606 normalization Methods 0.000 claims abstract description 18
- 238000000605 extraction Methods 0.000 claims description 40
- 230000001133 acceleration Effects 0.000 claims description 20
- 230000006698 induction Effects 0.000 claims description 20
- 230000004927 fusion Effects 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 14
- 238000009826 distribution Methods 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 13
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 claims description 10
- 239000008280 blood Substances 0.000 claims description 10
- 210000004369 blood Anatomy 0.000 claims description 10
- 230000036772 blood pressure Effects 0.000 claims description 10
- 229910052760 oxygen Inorganic materials 0.000 claims description 10
- 239000001301 oxygen Substances 0.000 claims description 10
- 230000005540 biological transmission Effects 0.000 claims description 9
- 238000003860 storage Methods 0.000 claims description 9
- 238000007781 pre-processing Methods 0.000 claims description 8
- 230000010365 information processing Effects 0.000 claims description 7
- 230000029058 respiratory gaseous exchange Effects 0.000 claims description 6
- 238000002759 z-score normalization Methods 0.000 claims description 4
- 238000005457 optimization Methods 0.000 claims description 3
- 238000013473 artificial intelligence Methods 0.000 abstract description 3
- 238000003909 pattern recognition Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 12
- 239000013598 vector Substances 0.000 description 10
- 230000006870 function Effects 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 210000002569 neuron Anatomy 0.000 description 4
- 230000036387 respiratory rate Effects 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000037147 athletic performance Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 235000019577 caloric intake Nutrition 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- QVFWZNCVPCJQOP-UHFFFAOYSA-N chloralodol Chemical compound CC(O)(C)CC(C)OC(O)C(Cl)(Cl)Cl QVFWZNCVPCJQOP-UHFFFAOYSA-N 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Image Analysis (AREA)
Abstract
本发明属于人工智能与模式识别领域，提供了基于Capsule和GRU的实时行为识别和体征状态监测方法及系统。其中该方法包括获取多模态运动信息和多模态生理信息；将多模态运动信息与九轴运动数据融合，将多模态生理信息与四轴生理数据融合；将融合后的多模态运动信息和融合后的生理信息均依次进行归一化和滑窗分割操作，对应得到运动数据块和生理数据块；通过基于Capsule和GRU的空间和时间特征提取的深度学习模型对运动数据块进行处理，识别出人体当前行为；将生理数据块与生理参数阈值比较，判断用户的行为适宜状态并判断是否发出报警；根据输出的行为类别，统计设定时间段内的人体行为信息，以反馈调整深度学习模型中的时空特征权重参数。
Description
技术领域
本发明属于人工智能与模式识别领域，尤其涉及一种基于Capsule和GRU的实时行为识别和体征状态监测方法及系统。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
人体行为识别(Human Activity Recognition，HAR)是对人体特定的动作类型和运动方式进行分类和识别。随着蓝牙、5G、WiFi、LoRa等传输技术，机器学习、深度学习等人工智能技术以及云计算和大数据等先进技术的发展和成熟，行为识别已成为一个炙手可热的研究方向，在医疗、家居、体育运动和人机交互等领域有着广泛的应用。
人体的行为活动与运动学之间存在紧密联系，使用运动传感器采集运动数据来判断人体的行为是可行的。运动传感器主要包括加速度传感器、角速度传感器和磁感强度传感器，它们采集九轴多模态运动数据，分别是三轴加速度数据、三轴角速度数据和三轴磁感强度数据，对九轴数据进行融合和特征提取，可以判断人体行为。
发明人发现，传统的空间特征提取算法主要是基于CNN的特征提取，而基于CNN的特征提取忽视特征之间的空间关系，只要存在一定特征就会被分类为某一类行为。
发明内容
为了解决上述背景技术中存在的至少一项技术问题，本发明提供一种基于Capsule和GRU的实时行为识别和体征状态监测方法及系统，其基于Capsule和GRU的深度学习模型以及多模态信息以及时空多特征，大大提高了行为识别的准确率。
为了实现上述目的，本发明采用如下技术方案：
本发明的第一个方面提供一种基于Capsule和GRU的实时行为识别和体征状态监测方法。
一种基于Capsule和GRU的实时行为识别和体征状态监测方法，包括：
获取多模态运动信息和多模态生理信息；
将多模态运动信息与九轴运动数据融合，将多模态生理信息与四轴生理数据融合；
将融合后的多模态运动信息和融合后的生理信息均依次进行归一化和滑窗分割操作，对应得到运动数据块和生理数据块；
通过基于Capsule和GRU的空间和时间特征提取的深度学习模型对运动数据块进行处理，识别出人体当前行为；
将生理数据块中的每列数据计算均值并和生理参数阈值进行比较，判断用户的身体状态及对应的行为适宜状态，反馈调整生理参数阈值并判断是否发出报警信息；
根据输出的行为类别，统计设定时间段内的人体行为信息并反馈至深度学习模型中，以调整深度学习模型中的时空特征权重参数，来保障行为识别的稳定性和自适应性。
作为一种实施方式，基于Capsule和GRU的空间和时间特征提取的深度学习模型包括依次串联的特征提取层、时空特征权重分配层、全连接层和Softmax分类层；所述特征提取层由并行的空间特征提取层和时间特征提取层构成。
作为一种实施方式，所述识别出人体当前行为的过程为：
将运动数据块输入到空间特征提取层，通过卷积层、Capsule 1层和Capsule2层进行空间特征的提取；将运动数据块输入到时间特征提取层，通过GRU层和Attention层进行时间特征的提取；
对提取的空间特征和时间特征进行权重分配，将分配好权重的时空特征融合成一维时空特征数组；
将一维时空特征数组输入全连接层映射为样本标记空间中的一维数组，并输入到Softmax分类层进行运算，识别出人体当前行为。
作为一种实施方式，采用Z-score归一化方法，将融合后的多模态运动信息和融合后的生理信息映射为均值为0，标准差为1的对应数据。
作为一种实施方式，滑窗分割操作的过程为：通过滑窗将连续的归一化后的融合多模态运动信息和融合生理信息分割为大小相同的数据块，分割后的每个数据块代表一个完整的数据周期。
作为一种实施方式，所述多模态运动数据包括三轴加速度值、三轴角速度值和三轴磁感强度值；所述多模态生理数据包括血压值、心率值、血氧值和呼吸速率值。
本发明的第二个方面提供一种基于Capsule和GRU的实时行为识别和体征状态监测系统。
在一个或多个实施例中，一种基于Capsule和GRU的实时行为识别和体征状态监测系统，包括：
信息获取模块，其用于获取多模态运动信息和多模态生理信息；
信息融合模块，其用于将多模态运动信息与九轴运动数据融合，将多模态生理信息与四轴生理数据融合；
信息预处理模块，其用于将融合后的多模态运动信息和融合后的生理信息均依次进行归一化和滑窗分割操作，对应得到运动数据块和生理数据块；
行为识别模块，其用于通过基于Capsule和GRU的空间和时间特征提取的深度学习模型对运动数据块进行处理，识别出人体当前行为；
身体状态及行为适宜状态判断模块，其用于将生理数据块中的每列数据计算均值并和生理参数阈值进行比较，判断用户的身体状态及对应的行为适宜状态，反馈调整生理参数阈值并判断是否发出报警信息；
深度学习模型优化模块，其用于根据输出的行为类别，统计设定时间段内的人体行为信息并反馈至深度学习模型中，以调整深度学习模型中的时空特征权重参数，来保障行为识别的稳定性和自适应性。
在一个或多个实施例中，一种基于Capsule和GRU的实时行为识别和体征状态监测系统，包括：
多模态信息采集模块，其用于采集多模态运动信息和多模态生理信息；
多模态信息传输模块，其用于将多模态信息采集模块所采集的信息传输至多模态信息处理模块；
多模态信息处理模块，其用于将多模态运动信息与九轴运动数据融合，将多模态生理信息与四轴生理数据融合；将融合后的多模态运动信息和融合后的生理信息均依次进行归一化和滑窗分割操作，对应得到运动数据块和生理数据块；通过基于Capsule和GRU的空间和时间特征提取的深度学习模型对运动数据块进行处理，识别出人体当前行为；将生理数据块中的每列数据计算均值并和生理参数阈值进行比较，判断用户的身体状态；
多模态信息应用模块，其用于根据用户的行为适宜状态并判断是否发出报警信息；根据输出的行为类别，统计设定时间段内的人体行为信息并反馈至深度学习模型中，以调整深度学习模型中的时空特征权重参数，来保障行为识别的稳定性和自适应性。
本发明的第三个方面提供一种计算机可读存储介质。
一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述所述的基于Capsule和GRU的实时行为识别和体征状态监测方法中的步骤。
本发明的第四个方面提供一种计算机设备。
一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述所述的基于Capsule和GRU的实时行为识别和体征状态监测方法中的步骤。
与现有技术相比，本发明的有益效果是：
本发明基于Capsule和GRU的深度学习框架，通过对行为信息提取时间特征、空间特征以及空间特征之间的关系，并进行时空特征权重分配，从而更好的判断行为类别，有效提高了行为识别的准确率。
本发明提出了一种基于Capsule和GRU的实时行为识别和体征状态监测系统，通过对人体多模态信息进行处理和分析，可以实现对人体行为信息的统计分析以及体征状态的监测，提高人们的生活质量。
本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1是本发明实施例的基于Capsule和GRU的实时行为识别和体征状态监测方法流程示意图。
图2是本发明实施例的基于Capsule和GRU的实时行为识别和体征状态监测系统的主模块结构框架及连接关系示意图。
图3是本发明实施例的基于Capsule和GRU的实时行为识别和体征状态监测系统的行为分类模块示意图。
图4是本发明实施例的基于Capsule和GRU的实时行为识别和体征状态监测系统的行为分类模块中的空间特征提取原理图。
图5是本发明实施例的基于Capsule和GRU的实时行为识别和体征状态监测系统的行为分类模块中的时间特征提取原理图。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
Capsule：胶囊网络，由Hinton于2017年提出的概念，胶囊网络不仅可以标识行为信息是否具有某些特征，同时还可以标识各个特征之间的空间关系，这提升了分类的准确率。
GRU网络：是由Cho等人于2014年提出的一种用来提取时间特征的网络，通过门控机制不仅可以记忆过去的信息，还能选择性地忘记不重要的信息而对长时间的信息进行建模。GRU网络是LSTM网络的变体，保留了LSTM网络的效果，同时具有更加简单的结构、更少的参数和更好的收敛性。
实施例一
如图1所示，本实施例的基于Capsule和GRU的实时行为识别和体征状态监测方法，包括：
步骤1：获取多模态运动信息和多模态生理信息。
基于图1，步骤1具体包括S01多模态运动信息和多模态生理信息采集步骤以及S02多模态信息传输步骤。
在具体实施中，通过加速度传感器、角速度传感器、磁感强度传感器、血压传感器、心率传感器、血氧传感器和呼吸速率传感器实时采集人体多模态运动和生理数据；多模态运动数据包括三轴加速度值、三轴角速度值和三轴磁感强度值；多模态生理数据包括血压值、心率值、血氧值和呼吸速率值。
可通过将采集的人体多模态信息通过有线或者无线传输技术进行传输至相应信号处理端。
步骤2：将多模态运动信息与九轴运动数据融合，将多模态生理信息与四轴生理数据融合。
具体地，步骤2对应于图1中的S03的数据融合步骤：
将采集的三轴加速度值、三轴角速度值和三轴磁感强度值，按照以纵向为时间单位，横向依次为各传感器采集的数据值为合并规则，融合到同一个数组中，融合后的数组共9列，分别是X轴加速度值、Y轴加速度值、Z轴加速度值、X轴角速度值、Y轴角速度值、Z轴角速度值、X轴磁感强度值、Y轴磁感强度值和Z轴磁感强度值，该数组为原始运动数据。
将采集的血压值、心率值、血氧值和呼吸速率值，按照以纵向为时间单位，横向依次为各传感器采集的数据值为合并规则，融合到同一个数组中，融合后的数组共4列，分别是血压值、心率值、血氧值和呼吸速率值，该数组为原始生理数据。
步骤3：将融合后的多模态运动信息和融合后的生理信息均依次进行归一化和滑窗分割操作，对应得到运动数据块和生理数据块。
在具体实施中，步骤3包括图1中的S04归一化步骤和S05滑窗分割步骤。
具体地，在本实施例中，采用Z-score归一化的方法将9列运动数据和4列生理数据分别映射为均值为0，标准差为1的新数据，实现公式如下：
式(I)中，xnorm为对某列数据归一化后的数据，
为该列数据的均值，σ为该列数据的标准差；通过上述操作，将不同量纲和量纲单位的传感器数据归一到同一量级，以消除不同数据之间的量纲影响和奇异样本数据导致的训练时间加长的影响。
此处需要说明的是，在其他实施例中，也可采用其他归一化方法来对融合后的多模态运动信息和融合后的生理信息进行归一化，其结果并不影响本发明的行为识别和体征状态监测结果。
由于输入的数据是基于时间段的连续信号，采用滑窗的方式将步骤S04中归一化处理后的运动和生理数据分别分割为大小相同的数据块，分割后的每个数据块代表一个完整的数据周期。
此处需要说明的是，根据用户需求，针对用户个人行为特点，用户可预设相关参数，包括滑窗大小和滑动步长，默认滑窗大小为4倍的传感器采样频率值，滑动步长为滑窗窗口长度的50％。
步骤4：通过基于Capsule和GRU的空间和时间特征提取的深度学习模型对运动数据块进行处理，识别出人体当前行为。
具体地，步骤4包括图1中的S06空间特征提取步骤、S07时间特征提取步骤、S09时空特征权重分配步骤和S10行为信息分类步骤。
本实施例的基于Capsule和GRU的空间和时间特征提取的深度学习模型包括依次串联的特征提取层、时空特征权重分配层、全连接层和Softmax分类层；所述特征提取层由并行的空间特征提取层和时间特征提取层构成。
S06空间特征提取步骤具体过程为：
将运动数据块输入到空间特征提取层，通过卷积层、Capsule 1层和Capsule2层进行空间特征的提取；本步骤中用户设置的参数包括输入数据的大小、卷积核大小、卷积核移动步长等。
空间特征提取层包括依次连接的卷积层、Capsule 1层和Capsule 2层；如图4所示，本实施例中所采用的模块的具体实现流程如下所示：
设置卷积层中卷积核的个数为256，每个卷积核的大小为1×41，步长为1；
设置Capsule 1层中的卷积核的组数为34，每组卷积核的个数为11，每个卷积核的大小为1×21，步长为2；
设置Capsule 2层中的输出特征的维度为12维，每个维度的特征为长度为16的向量；
包括步骤如下：
(1)输入维度为10×1×80×3的行为信息；
(2)输入的行为信息经过卷积层之后，通过式(II)，将输入的行为信息由标量转换为矢量：
式(II)中，xi是指行为信息经过多模态数据融合、归一化以及滑窗分割之后的时间序列中的第i行行为信息；Wij是指与xi相关的卷积层中的第j个权重参数，初始值默认为截断正态分布产生的随机数；bj为卷积层的偏置参数，初始值默认为0；yj表示卷积层的输出，它是一个矢量，大小满足Capsule 1层输入数据的要求；
经过卷积层后的输出信息维度为10×1×40×256；
(3)系统在Capsule 1层中封装34组卷积核，将卷积层输出的10×1×40×256维度的行为信息输入到Capsule 1层，通过式(III)，将输入的行为信息转换成具有空间特性的行为信息：
式(III)中，Wjk表示Capsule 1层中与yj相关的第k个权重参数，初始值默认为截断正态分布产生的随机数；bk为Capsule 1层中的偏置参数，初始值默认为0；squash(·)是一种新的非线性函数，类似于常见的tanh(·)和relu(·)等非线性函数，squash(·)函数可以使矢量经过换后模值不超过1，并且可以保持矢量的方向不发生改变；uk表示Capsule 1层的输出，它是一个矢量，能够标识行为信息的特征以及不同特征之间的空间关系；
经过Capsule1层后的输出信息维度为10×340×11×1；
(4)将具有空间特性的行为信息输入到Capsule 2层，通过式(IV)和是(V)所示的动态路由协议和squash(·)函数对行为信息进行处理：
式(IV)中，bik为Capsule 1层中的第i个神经元和Capsule 2层中的第k个神经元之间的动态路由权重；bij为Capsule 1层中的第i个神经元和Capsule 2层中的第j个神经元之间的动态路由权重；uj|i为Capsule 1层第i个输出矢量的加权和；sj为通过动态路由协议处理后的行为信息；式(V)中，vj为sj经过squash(·)函数处理后的输出矢量；
经过Capsule 2层后的输出信息维度为10×12×16×1。
S07时间特征提取步骤的具体过程为：
将运动数据块输入到时间特征提取层，通过GRU层和Attention层进行时间特征的提取；本步骤中用户设置的参数包括输入数据的大小、GRU输出单元个数和Attention层的关注长度。
具体地，时间特征提取层包括依次连接的GRU层和Attention层；如图5所示，本实例中所采用的模块的具体实现流程如下所示：
设置GRU层中的GRU单元个数为128；
设置Attention层的关注长度为50；
包括步骤如下：
(1)将维度为10×1×80×3的行为信息输入到GRU层；
(2)输入的行为信息经过128个GRU单元处理后，转换成具有时间特性的行为信息；
经过GRU层后的输出信息维度为10×1×128；
(3)将GRU层输出的行为信息输入Attention层，通过对不同区域的特征赋予不同的权重，让网络更好地关注重要信息并弱化无关信息；
经过Attention层后的输出信息维度为10×1×128；
步骤S10，包括步骤如下：
设置全连接层的输出信息长度为19；
(1)将一维时空特征数组输入全连接层映射为样本标记空间中的一维数组；
经过全连接层后的输出信息维度为10×19×1；
(2)将全连接层的输出信息输入到Softmax分类层进行运算，识别出当前行为。
S09时空特征权重分配步骤的具体过程为：
将提取的空间和时间特征进行权重分配，并将分配好权重的时空特征融合成一维时空特征数组；权重分配的初始值设置为时空特征分别为0.5。
S10行为信息分类步骤的具体过程为：
将一维时空特征数组输入全连接层映射为样本标记空间中的一维数组，并输入到Softmax分类层进行运算，识别出当前行为；通过对预设的带标签的数据进行迭代训练，得到最优的深度学习模型，将实时采集的多模态信息输入到此模型，即可进行实时行为类型判别；本步骤中用户设置的参数为全连接层输出信息长度。
步骤5：将生理数据块中的每列数据计算均值并和生理参数阈值进行比较，判断用户的身体状态及对应的行为适宜状态并判断是否发出报警信息。
在本实施例中，步骤5具体包括图1中的S08阈值检测步骤、S11行为适宜状态判断步骤、S12阈值反馈调整步骤、S15报警判断步骤和S16报警步骤；
S08阈值检测步骤的具体过程为：
将生理数据块中的每列数据计算均值并和生理参数阈值进行比较，判断当前用户生理参数处于哪个范围；
比如：预设四个的生理参数值，判断当前用户生理参数处于哪个范围；四个生理参数值将生理数据划分为五个范围，分别为极低于正常范围、低于正常范围、正常范围、高于正常范围和极高于正常范围。
S11行为适宜状态判断步骤的具体过程为：
根据用户生理数据范围，判断用户的行为适宜状态；极低于正常范围和极高于正常范围对应重度不适宜状态，高于正常范围和低于正常范围对应轻度不适宜状态，正常范围对应适宜状态。
以运动行为为例，运动行为状态的不适宜代表当前不适合进行该项运动。
在S12阈值反馈调整步骤中，用户根据自身情况和输出的用户行为适宜状态与自身实际状态的符合程度向系统反馈，系统根据用户反馈调整系统预设阈值；
在S15报警判断步骤中，判断行为适宜状态是否达到报警值，根据输出的用户行为适宜状态是否为重度不适宜，判断是否发出报警信息；如果为重度不适宜，则执行S16报警步骤，发送报警信息。
步骤6：根据输出的行为类别，统计设定时间段内的人体行为信息并反馈至深度学习模型中，以调整深度学习模型中的时空特征权重参数，来保障行为识别的稳定性和自适应性。
在本实施例中，步骤5具体包括图1中的S13行为信息统计步骤和S14时空特征权重反馈调整步骤。
在S13行为信息统计步骤中，将输出的行为类别实时输出到用户端，并根据用户设置的时间段进行行为信息统计；以运动行为为例，运动行为信息包括模型准确率、运动类型、时长和卡路里消耗值；运动信息统计的时间段设置以天为单位，比如：范围为1～7天。
在S14时空特征权重反馈调整步骤中，用户根据输出的模型准确率是否达到自身需求向系统反馈，系统根据用户反馈调整时空特征权重。
本实施例通过对Capsule和GRU提取的空间和时间特征进行融合，提升了行为识别的准确率。
实施例二
本实施例提供了一种基于Capsule和GRU的实时行为识别和体征状态监测系统，其具体包括如下模块：
信息获取模块，其用于获取多模态运动信息和多模态生理信息；
信息融合模块，其用于将多模态运动信息与九轴运动数据融合，将多模态生理信息与四轴生理数据融合；
信息预处理模块，其用于将融合后的多模态运动信息和融合后的生理信息均依次进行归一化和滑窗分割操作，对应得到运动数据块和生理数据块；
行为识别模块，其用于通过基于Capsule和GRU的空间和时间特征提取的深度学习模型对运动数据块进行处理，识别出人体当前行为；
身体状态及行为适宜状态判断模块，其用于将生理数据块中的每列数据计算均值并和生理参数阈值进行比较，判断用户的身体状态及对应的行为适宜状态，反馈调整生理参数阈值并判断是否发出报警信息；
深度学习模型优化模块，其用于根据输出的行为类别，统计设定时间段内的人体行为信息并反馈至深度学习模型中，以调整深度学习模型中的时空特征权重参数，来保障行为识别的稳定性和自适应性。
此处需要说明的是，本实施例的基于Capsule和GRU的实时行为识别和体征状态监测系统中的各个模块，与实施例一中的基于Capsule和GRU的实时行为识别和体征状态监测方法中的各个步骤一一对应，其具体实施过程相同，此处不再累述。
实施例三
如图2所示，本实施例提供了一种基于Capsule和GRU的实时行为识别和体征状态监测系统，其具体包括如下结构。
(1)多模态信息采集模块，其用于采集多模态运动信息和多模态生理信息；
具体地，多模态信息采集模块包括运动数据采集子模块和生理数据采集子模块。
运动数据采集子模块用于：实时采集多模态运动数据，包括三轴加速度值、三轴角速度值和三轴磁感强度值；三轴为X轴、Y轴和Z轴，三轴加速度值包括X轴加速度值、Y轴加速度值和Z轴加速度值，三轴角速度值包括X轴角速度值、Y轴角速度值和Z轴角速度值，三轴磁感强度值包括X轴磁感强度值、Y轴磁感强度值和Z轴磁感强度值；
生理数据采集子模块用于：实时采集多模态生理数据，包括血压值、心率值、血氧值和呼吸速率值。
(2)多模态信息传输模块，其用于将多模态信息采集模块所采集的信息传输至多模态信息处理模块。
多模态信息传输模块将采集的人体多模态信息通过有线或者无线传输技术，传输至接收端。多模态信息传输模块包括多模态信息发送单元和多模态信息接收单元；多模态信息发送单元用于多模态信息的发送；多模态信息接收单元用于多模态信息的接收。
(3)多模态信息处理模块，其用于将多模态运动信息与九轴运动数据融合，将多模态生理信息与四轴生理数据融合；将融合后的多模态运动信息和融合后的生理信息均依次进行归一化和滑窗分割操作，对应得到运动数据块和生理数据块；通过基于Capsule和GRU的空间和时间特征提取的深度学习模型对运动数据块进行处理，识别出人体当前行为；将生理数据块中的每列数据计算均值并和生理参数阈值进行比较，判断用户的身体状态。
具体地，多模态信息处理模块用于：将接收到的多模态运动和生理数据通过多模态信息预处理子模块和多模态信息分类子模块进行处理，得到当前用户的行为类型和身体状态；
多模态信息预处理子模块用于：对接收到的多模态运动和生理数据分别依次进行多模态数据融合、归一化以及滑窗分割操作；
多模态信息分类子模块用于：通过基于Capsule和GRU的空间和时间特征提取的深度学习算法对人体当前行为进行判断；通过生理参数阈值比较对用户当前身体状态进行判断；
多模态信息预处理子模块包括依次连接的多模态数据融合单元、多模态数据归一化单元和多模态数据滑窗分割单元；
多模态数据融合单元包括运动数据融合子单元和生理数据融合子单元；
运动数据融合子单元用于将加速度传感器、角速度传感器和磁感强度传感器分别采集的三轴加速度值、三轴角速度值和三轴磁感强度值，按照以纵向为时间单位，横向依次为各传感器采集的数据值为合并规则，融合到同一个数组中，融合后的数组共9列，分别是X轴加速度值、Y轴加速度值、Z轴加速度值、X轴角速度值、Y轴角速度值、Z轴角速度值、X轴磁感强度值、Y轴磁感强度值和Z轴磁感强度值，用于进一步的数据预处理；
生理数据融合子单元用于将血压传感器、心率传感器、血氧传感器和呼吸速率传感器分别采集的血压值、心率值、血氧值和呼吸速率值，按照以纵向为时间单位，横向依次为各传感器采集的数据值为合并规则，融合到同一个数组中，融合后的数组共4列，分别是血压值、心率值、血氧值和呼吸速率值，用于进一步的数据预处理；
多模态数据归一化单元包括运动数据归一化子单元和生理数据归一化子单元；
运动数据归一化子单元和生理数据归一化子单元用于将不同量纲和量纲单位的传感器数据归一到同一量级，本发明采用的Z-score归一化的方法，将数据映射为均值为0，标准差为1的新数据，以消除不同数据之间的量纲影响和奇异样本数据导致的训练时间加长的影响；
多模态数据滑窗分割单元包括运动数据滑窗分割子单元和生理数据滑窗分割子单元；
运动数据滑窗分割子单元和生理数据滑窗分割子单元用于通过滑窗将连续的数据分割为大小相同的数据块，分割后的每个数据块代表一个完整的数据周期；滑窗的窗口大小即为数据块的大小，滑动步长为滑窗每次移动的距离；
多模态信息分类子模块包括空间特征提取单元、时间特征提取单元、时空特征权重分配单元、行为分类单元、阈值比较单元和身体状态判断单元；运动数据滑窗分割子单元分别连接空间特征提取单元和时间特征提取单元；空间特征提取单元和时间特征提取单元均连接时空特征权重分配单元；时空特征权重分配单元连接行为分类单元；生理数据滑窗分割子单元连接阈值比较单元；阈值比较单元连接所述身体状态判断单元；
在图3中，空间特征提取单元包括依次连接的卷积层、Capsule 1层和Capsule2层，用于提取输入的传感器数据的空间特征；
卷积层用于初步提取空间特征并对特征进行标量到矢量的转换；
Capsule 1层用于将输入的行为信息转换成具有空间特性的行为信息；
Capsule 2层用于通过动态路由协议对行为信息进行处理；
在图3中，时间特征提取单元包括依次连接的GRU层和Attention层，用于提取输入的传感器数据的时间特征；
GRU层用于提取输入的行为信息序列中的时间特征；
Attention层是一种信息选择机制，通过对不同区域的特征赋予不同的权重，让网络更好地关注重要信息并弱化无关信息；
时空特征权重分配单元用于将提取的空间和时间特征进行权重分配，并将分配好的时空特征融合成一维时空特征数组；
行为分类单元包括依次连接的全连接层和Softmax分类层；
全连接层用于将融合后的时空特征数组映射到样本标记空间中形成一维数组；
Softmax分类层用于对全连接层输出的一维数组进行运算，识别出当前的行为；
阈值比较单元用于将采集的生理数据和预设生理参数阈值进行比较，判断当前用户生理参数是否在正常范围内；
身体状态判断单元用于根据阈值比较单元的输出判断当前用户的身体状态。
(4)多模态信息应用模块，其用于根据用户的行为适宜状态并判断是否发出报警信息；根据输出的行为类别，统计设定时间段内的人体行为信息并反馈至深度学习模型中，以调整深度学习模型中的时空特征权重参数，来保障行为识别的稳定性和自适应性。
具体地，多模态信息应用模块包括依次连接的运动适宜判断单元和报警单元以及行为信息统计单元；
行为适宜判断单元用于根据身体状态判断单元的输出判断用户的行为适宜状态；
报警单元用于当用户的行为适宜状态达到重度不适宜时发出报警信息；
行为信息统计单元用于实时输出当前用户的行为类别，并根据用户设置的时间段进行运动信息统计。
实施例四
本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述实施例一所述的基于Capsule和GRU的实时行为识别和体征状态监测方法中的步骤。
实施例五
本实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述实施例一所述的基于Capsule和GRU的实时行为识别和体征状态监测方法中的步骤。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于Capsule和GRU的实时行为识别和体征状态监测方法，其特征在于，包括：
获取多模态运动信息和多模态生理信息；
将多模态运动信息与九轴运动数据融合，将多模态生理信息与四轴生理数据融合；
将融合后的多模态运动信息和融合后的生理信息均依次进行归一化和滑窗分割操作，对应得到运动数据块和生理数据块；
通过基于Capsule和GRU的空间和时间特征提取的深度学习模型对运动数据块进行处理，识别出人体当前行为；
将生理数据块中的每列数据计算均值并和生理参数阈值进行比较，判断用户的身体状态及对应的行为适宜状态，反馈调整生理参数阈值并判断是否发出报警信息；
根据输出的行为类别，统计设定时间段内的人体行为信息并反馈至深度学习模型中，以调整深度学习模型中的时空特征权重参数，来保障行为识别的稳定性和自适应性。
2.如权利要求1所述的基于Capsule和GRU的实时行为识别和体征状态监测方法，其特征在于，基于Capsule和GRU的空间和时间特征提取的深度学习模型包括依次串联的特征提取层、时空特征权重分配层、全连接层和Softmax分类层；所述特征提取层由并行的空间特征提取层和时间特征提取层构成。
3.如权利要求2所述的基于Capsule和GRU的实时行为识别和体征状态监测方法，其特征在于，所述识别出人体当前行为的过程为：
将运动数据块输入到空间特征提取层，通过卷积层、Capsule 1层和Capsule2层进行空间特征的提取；将运动数据块输入到时间特征提取层，通过GRU层和Attention层进行时间特征的提取；
对提取的空间特征和时间特征进行权重分配，将分配好权重的时空特征融合成一维时空特征数组；
将一维时空特征数组输入全连接层映射为样本标记空间中的一维数组，并输入到Softmax分类层进行运算，识别出人体当前行为。
4.如权利要求1所述的基于Capsule和GRU的实时行为识别和体征状态监测方法，其特征在于，采用Z-score归一化方法，将融合后的多模态运动信息和融合后的生理信息映射为均值为0，标准差为1的对应数据。
5.如权利要求1所述的基于Capsule和GRU的实时行为识别和体征状态监测方法，其特征在于，滑窗分割操作的过程为：通过滑窗将连续的归一化后的融合多模态运动信息和融合生理信息分割为大小相同的数据块，分割后的每个数据块代表一个完整的数据周期。
6.如权利要求1所述的基于Capsule和GRU的实时行为识别和体征状态监测方法，其特征在于，所述多模态运动数据包括三轴加速度值、三轴角速度值和三轴磁感强度值；所述多模态生理数据包括血压值、心率值、血氧值和呼吸速率值。
7.一种基于Capsule和GRU的实时行为识别和体征状态监测系统，其特征在于，包括：
信息获取模块，其用于获取多模态运动信息和多模态生理信息；
信息融合模块，其用于将多模态运动信息与九轴运动数据融合，将多模态生理信息与四轴生理数据融合；
信息预处理模块，其用于将融合后的多模态运动信息和融合后的生理信息均依次进行归一化和滑窗分割操作，对应得到运动数据块和生理数据块；
行为识别模块，其用于通过基于Capsule和GRU的空间和时间特征提取的深度学习模型对运动数据块进行处理，识别出人体当前行为；
身体状态及行为适宜状态判断模块，其用于将生理数据块中的每列数据计算均值并和生理参数阈值进行比较，判断用户的身体状态及对应的行为适宜状态，反馈调整生理参数阈值并判断是否发出报警信息；
深度学习模型优化模块，其用于根据输出的行为类别，统计设定时间段内的人体行为信息并反馈至深度学习模型中，以调整深度学习模型中的时空特征权重参数，来保障行为识别的稳定性和自适应性。
8.一种基于Capsule和GRU的实时行为识别和体征状态监测系统，其特征在于，包括：
多模态信息采集模块，其用于采集多模态运动信息和多模态生理信息；
多模态信息传输模块，其用于将多模态信息采集模块所采集的信息传输至多模态信息处理模块；
多模态信息处理模块，其用于将多模态运动信息与九轴运动数据融合，将多模态生理信息与四轴生理数据融合；将融合后的多模态运动信息和融合后的生理信息均依次进行归一化和滑窗分割操作，对应得到运动数据块和生理数据块；通过基于Capsule和GRU的空间和时间特征提取的深度学习模型对运动数据块进行处理，识别出人体当前行为；将生理数据块中的每列数据计算均值并和生理参数阈值进行比较，判断用户的身体状态；
多模态信息应用模块，其用于根据用户的行为适宜状态并判断是否发出报警信息；根据输出的行为类别，统计设定时间段内的人体行为信息并反馈至深度学习模型中，以调整深度学习模型中的时空特征权重参数，来保障行为识别的稳定性和自适应性。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-6中任一项所述的基于Capsule和GRU的实时行为识别和体征状态监测方法中的步骤。
10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-6中任一项所述的基于Capsule和GRU的实时行为识别和体征状态监测方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011621083.8A CN114694245B (zh) | 2020-12-30 | 2020-12-30 | 基于Capsule和GRU的实时行为识别和体征状态监测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011621083.8A CN114694245B (zh) | 2020-12-30 | 2020-12-30 | 基于Capsule和GRU的实时行为识别和体征状态监测方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114694245A true CN114694245A (zh) | 2022-07-01 |
| CN114694245B CN114694245B (zh) | 2024-11-08 |
Family
ID=82134992
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011621083.8A Active CN114694245B (zh) | 2020-12-30 | 2020-12-30 | 基于Capsule和GRU的实时行为识别和体征状态监测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114694245B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116092701A (zh) * | 2023-03-07 | 2023-05-09 | 南京康尔健医疗科技有限公司 | 基于健康数据分析管理平台的控制系统及其方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109447162A (zh) * | 2018-11-01 | 2019-03-08 | 山东大学 | 一种基于Lora和Capsule的实时行为识别系统及其工作方法 |
| CN110188195A (zh) * | 2019-04-29 | 2019-08-30 | 苏宁易购集团股份有限公司 | 一种基于深度学习的文本意图识别方法、装置及设备 |
| CN110689041A (zh) * | 2019-08-20 | 2020-01-14 | 陈羽旻 | 一种多目标行为动作识别预测方法、电子设备及存储介质 |
| CN110852382A (zh) * | 2019-11-12 | 2020-02-28 | 山东大学 | 一种基于时空多特征提取的行为识别系统及其工作方法 |
-
2020
- 2020-12-30 CN CN202011621083.8A patent/CN114694245B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109447162A (zh) * | 2018-11-01 | 2019-03-08 | 山东大学 | 一种基于Lora和Capsule的实时行为识别系统及其工作方法 |
| WO2020087848A1 (zh) * | 2018-11-01 | 2020-05-07 | 山东大学 | 一种基于Lora和Capsule的实时行为识别系统及其工作方法 |
| CN110188195A (zh) * | 2019-04-29 | 2019-08-30 | 苏宁易购集团股份有限公司 | 一种基于深度学习的文本意图识别方法、装置及设备 |
| CN110689041A (zh) * | 2019-08-20 | 2020-01-14 | 陈羽旻 | 一种多目标行为动作识别预测方法、电子设备及存储介质 |
| CN110852382A (zh) * | 2019-11-12 | 2020-02-28 | 山东大学 | 一种基于时空多特征提取的行为识别系统及其工作方法 |
Non-Patent Citations (1)
| Title |
|---|
| 董理骅;刘强;陈海明;崔莉;: "一种基于时间窗口的轻量级实时运动识别算法", 计算机研究与发展, no. 12, 15 December 2017 (2017-12-15) * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116092701A (zh) * | 2023-03-07 | 2023-05-09 | 南京康尔健医疗科技有限公司 | 基于健康数据分析管理平台的控制系统及其方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114694245B (zh) | 2024-11-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108764059B (zh) | 一种基于神经网络的人体行为识别方法及系统 | |
| CN111027487B (zh) | 基于多卷积核残差网络的行为识别系统、方法、介质及设备 | |
| CN113693613B (zh) | 脑电信号分类方法、装置、计算机设备及存储介质 | |
| CN107153871B (zh) | 基于卷积神经网络和手机传感器数据的跌倒检测方法 | |
| CN110852382B (zh) | 一种基于时空多特征提取的行为识别系统及其工作方法 | |
| CN110309861B (zh) | 一种基于生成对抗网络的多模态人类活动识别方法 | |
| CN107423730A (zh) | 一种基于语义折叠的人体步态行为主动检测识别系统和方法 | |
| CN110333783B (zh) | 一种用于鲁棒肌电控制的无关手势处理方法及系统 | |
| CN107506692A (zh) | 一种基于深度学习的密集人群计数与人员分布估计方法 | |
| CN105739688A (zh) | 一种基于情感体系的人机交互方法、装置和交互系统 | |
| CN107092894A (zh) | 一种基于lstm模型的运动行为识别方法 | |
| CN110532850B (zh) | 一种基于视频关节点和混合分类器的跌倒检测方法 | |
| CN109726662A (zh) | 基于卷积和循环组合神经网络的多类别人体姿态识别方法 | |
| CN110874587A (zh) | 一种人脸特征参数提取系统 | |
| CN108762503A (zh) | 一种基于多模态数据采集的人机交互系统 | |
| CN109362066B (zh) | 一种基于低功耗广域物联网和胶囊网络的实时行为识别系统及其工作方法 | |
| CN109740418B (zh) | 一种基于多加速度传感器的瑜伽动作识别方法 | |
| CN114694245B (zh) | 基于Capsule和GRU的实时行为识别和体征状态监测方法及系统 | |
| CN116563758A (zh) | 狮头鹅监控方法、装置、设备及存储介质 | |
| CN107967944A (zh) | 一种基于Hadoop的户外环境大数据人体健康监测方法与平台 | |
| Sudha et al. | Real time riped fruit detection using faster R-CNN deep neural network models | |
| CN118152931B (zh) | 一种基于有源电子耳标动态窗口机制的猪只行为分类方法 | |
| CN109165576A (zh) | 一种运动状态识别方法及装置 | |
| CN117831743A (zh) | 基于物联网技术的居家养老健康监测管理系统及方法 | |
| Gupta et al. | Deep Learning Technique Used for Tomato and Potato Plant Leaf Disease Classification and Detection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |