CN113111756B - 基于人体骨架关键点和长短期记忆人工神经网络的人体摔倒识别方法 - Google Patents
基于人体骨架关键点和长短期记忆人工神经网络的人体摔倒识别方法 Download PDFInfo
- Publication number
- CN113111756B CN113111756B CN202110362569.2A CN202110362569A CN113111756B CN 113111756 B CN113111756 B CN 113111756B CN 202110362569 A CN202110362569 A CN 202110362569A CN 113111756 B CN113111756 B CN 113111756B
- Authority
- CN
- China
- Prior art keywords
- neural network
- human body
- short
- artificial neural
- long
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 32
- 238000000034 method Methods 0.000 title claims abstract description 25
- 230000015654 memory Effects 0.000 title claims abstract description 15
- 238000012549 training Methods 0.000 claims abstract description 28
- 239000013598 vector Substances 0.000 claims abstract description 21
- 230000007787 long-term memory Effects 0.000 claims abstract description 17
- 238000012795 verification Methods 0.000 claims abstract description 16
- 230000006403 short-term memory Effects 0.000 claims abstract description 15
- 230000006399 behavior Effects 0.000 claims abstract description 9
- 238000012545 processing Methods 0.000 claims abstract description 7
- 230000006870 function Effects 0.000 claims description 10
- 230000000873 masking effect Effects 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 239000012634 fragment Substances 0.000 claims description 3
- 210000002569 neuron Anatomy 0.000 claims description 3
- 238000011156 evaluation Methods 0.000 claims description 2
- 230000006378 damage Effects 0.000 description 2
- 208000014674 injury Diseases 0.000 description 2
- 210000003127 knee Anatomy 0.000 description 2
- 210000000707 wrist Anatomy 0.000 description 2
- 206010063746 Accidental death Diseases 0.000 description 1
- 208000012260 Accidental injury Diseases 0.000 description 1
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 208000034656 Contusions Diseases 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000011866 long-term treatment Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 208000010125 myocardial infarction Diseases 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000011282 treatment Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Probability & Statistics with Applications (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
基于人体骨架关键点和长短期记忆人工神经网络的人体摔倒识别方法，包括：获取人体不同行为的视频数据；利用OpenPose对视频进行处理，将视频转换成一帧一帧的PNG图像，最后得到视频中每一帧图像中人体骨架关节点数据；在提取出人体骨架关键点后，利用特征向量的均值和标准差对特征向量进行归一化，以降低数据的方差；对数据集中的每个视频构造每个子序列数据，获得的每个子序列数据都有一个行为标签，并将所有子序列数据共同构成样本集；建立长短期记忆人工神经网络；将样本集划分为模型训练集和模型验证集，利用模型训练集训练长短期记忆人工神经网络模型，并在验证集上进行模型验证；利用训练好的长短期记忆人工神经网络模型识别摔倒获得识别结果。
Description
技术领域
随着社会的发展，全球的老龄人口在不断增加，使老年人的医疗健康成为社会关注的问题之一。美国疾病控制和防疫中心的调查结果表明，摔倒已经成为导致65岁以上老年人意外死亡和伤害的最大诱因。Noury等的研究显示，老年人摔倒后，如能得到及时的救助，可以有效降低80％的死亡风险和26％的住院长期治疗风险。而根据全国老年办统计数据显示，现有大量的老人远离子女独自生活。因此，迫切需要为老年人开发智能监控系统，该系统可以自动并立即检测跌倒事件并通知护理人员或家属。
为了解决该问题，已经进行了将动作识别应用于通过计算机识别人类活动的视频监视系统的研究。跌倒涉及人体的一部分接触或跌落到地面上。一些跌落的情况可能会导致简单的瘀伤，但可能导致严重的伤害，例如滑盘和骨折。与一般的跌倒事故不同，如果一个人由于心脏病发作而跌倒，则最初的反应非常重要。因此，必须准确而迅速地识别到跌倒。
发明内容
为了克服现有技术的上述缺点，本发明提供了一种基于人体骨架关键点和长短期记忆人工神经网络的人体摔倒识别方法，其目的是建立一种能够准确及时识别出摔倒并及时进行应对处理的方法。
本发明为解决上述技术问题采取的技术方案是：
步骤一、获取人体不同行为的视频数据，该过程收集2D RGB视频数据；并从CRFD数据集中收集人类摔倒视频和人类日常生活视频；
步骤二、利用OpenPose对视频进行处理，将视频转换成一帧一帧的PNG图像，最后得到视频中每一帧图像中人体骨架关节点数据；
步骤三、在提取出人体骨架关键点后，利用特征向量的均值和标准差对特征向量进行归一化，以降低数据的方差。
步骤四、对数据集中的每个视频构造每个子序列数据，获得的每个子序列数据都有一个行为标签。并将所有子序列数据共同构成样本集。
步骤五、建立长短期记忆人工神经网络；
步骤六、将样本集划分为模型训练集和模型验证集，利用模型训练集训练长短期记忆人工神经网络模型，并在验证集上进行模型验证；
步骤七、利用训练好的长短期记忆人工神经网络模型识别摔倒获得识别结果；
所述步骤三中，归一化方法如下：
用M＝(m1,m2,…,mn)∈Nn×2表示二维特征向量，包含n个元素，其中每个元素mi∈Nn,1≤i≤n代表一个人体的关键点，而元素 包含两个整数/>和/>分别是在视频帧中关键点mi的x坐标和y坐标。从特征向量M中可以提取两个特征向量如下：
简单来说，分别收集关键点的x坐标和y坐标，同时保持顺序，然后将 x坐标和y坐标向量归一化：
其中是Mx的平均值，σ(Mx)是Mx的标准差。而/>也是类似于/>计算出来的。最后将两个归一化的向量连接起来，形成最终的特征向量/>
所述步骤四中，使用窗口滑动方法获得子序列数据，标签包括日常生活动作，摔倒和躺下。
所述步骤五中，所构建的长短期记忆人工神经网络，包括 InputLayer层，masking层，lstm层，BN层，Dropout层和Dense层； InputLayer层输入的是关键点的二维坐标信息；masking层是使用给定的值对输入的序列数据进行“屏蔽”，用以定位所需要的时间步；lstm层用于提取输入的变长的序列特征；BN层的设置有两个作用，一是加快训练和收敛速度，二是防止训练过拟合；Dropout层主要作用也是防止训练过拟合；Dense层是一个100个神经元的全连接层，并且通过softmax激活函数激活，输出各类别的分类得分。
所述步骤六中，利用训练集中每个子序列数据对应的类别标签，训练长短期记忆人工神经网络模型，并在验证集上进行验证，使用准确率作为模型的评估标准，选择在验证集具有最高准确率的迭代周期，获取该迭代周期下的模型参数得到最终的长短期记忆人工神经网络模型。
所述步骤七中，使用openpose对视频进行处理，获得视频中每一帧图像中人体骨架关节点数据，并进行归一化；采用滑动窗口方法获得子序列数据，将数据片段输入训练好的长短期记忆人工神经网络，检测出当前是否摔倒。
本发明的优点是：对人体摔倒的识别更为准确、高效。
附图说明
图1是OpenPose提取的人体骨架关节点示意图；
图2是本发明行为识别方法流程示意图；
图3是本发明的长短期记忆人工神经网络模型结构示意图。
具体实施方式
下面结合附图对本发明作进一步描述。
参照图1～图3，一种基于人体骨架关键点和长短期记忆人工神经网络的人体摔倒识别方法，包括以下步骤：
步骤一、获取人体不同行为的视频数据，该过程收集2D RGB视频数据；本实施方法使用CRFD公开数据集，数据集视频包括人类摔倒视频和人类日常生活视频；
步骤二、利用OpenPose对视频进行处理，将视频转换成一帧一帧的PNG图像，最后得到视频中每一帧图像中人体骨架关键点数据，包括身体18个关键点；关键点及部位名称如下：0(鼻)、1(颈)、2(右肩)、3(右肘)、4(右腕)、5(左肩)、6(左肘)、7(左腕)、8、9(左膝)、10(左脚)、11、12(右膝)、13(右脚)、14(右眼)、15(左眼)、16(右耳)、17(左耳)；
步骤三、在提取出人体骨架关键点后，需要进行归一化：用M＝(m1,m2,…,mn)∈Nn×2表示二维特征向量，包含n个元素，其中每个元素mi∈Nn,1≤i≤n代表一个人体的关键点，而元素包含两个整数/>和/>分别是在视频帧中关键点mi的x坐标和y坐标。从特征向量M中可以提取两个特征向量如下：
简单来说，分别收集关键点的x坐标和y坐标，同时保持顺序，然后将 x坐标和y坐标向量归一化：
其中是Mx的平均值，σ(Mx)是Mx的标准差。而/>也是类似于/>计算出来的。最后将两个归一化的向量连接起来，形成最终的特征向量/>
步骤四、使用窗口滑动方法对数据集中的每个视频构造每个子序列数据，获得的每个子序列数据都有一个行为标签，标签包括日常生活动作，摔倒和躺下。并将所有子序列数据共同构成样本集。
步骤五、建立长短期记忆人工神经网络，长短期记忆人工神经网络模型结构如图3所示，包括InputLayer层，masking层，lstm层，BN 层，Dropout层和Dense层；InputLayer层输入的是关键点的二维坐标信息；masking层是使用给定的值对输入的序列数据进行“屏蔽”，用以定位所需要的时间步；lstm层用于提取输入的变长的序列特征； batch_normalization层的设置有两个作用，一是加快训练和收敛速度，二是防止训练过拟合；Dropout层主要作用也是防止训练过拟合；Dense层是一个100个神经元的全连接层，并且通过softmax激活函数激活，输出各类别的分类得分；
步骤六、将步骤四中的样本集中的70％划分为训练集，30％划分为验证集，利用模型训练集训练长短期记忆人工神经网络模型，采用的是多分类对数函数(categoricalcrossentropy)，使用Adam优化器用于训练更新网络权值和偏置，根据数据集的大小设定batch为256，最大的epoch为200，设置初始学习率为0.001，并在训练过程中，每 10个epoch衰减一次，衰减因子为0.2。还使用了概率为0.3的dropout 正则化用来防止训练过拟合；最终在验证集上进行模型验证；
步骤七、利用训练好的长短期记忆人工神经网络模型识别摔倒获得识别结果。使用openpose对视频进行处理，获得视频中每一帧图像中人体骨架关节点数据，并进行归一化；采用滑动窗口方法获得子序列数据，将数据片段输入训练好的长短期记忆人工神经网络，检测出当前是否摔倒。
本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。
Claims (4)
1.一种基于人体骨架关键点和长短期记忆人工神经网络的人体摔倒识别方法，包括以下步骤：
步骤一、获取人体不同行为的视频数据，该过程收集2D RGB视频数据；并从CRFD数据集中收集人类摔倒视频和人类日常生活视频；
步骤二、利用OpenPose对视频进行处理，将视频转换成一帧一帧的PNG图像，最后得到视频中每一帧图像中人体骨架关节点数据；
步骤三、在提取出人体骨架关键点后，利用特征向量的均值和标准差对特征向量进行归一化，以降低数据的方差；所述归一化方法如下：
用M＝(m1,m2,…,mn)∈Nn×2表示二维特征向量，包含n个元素，其中每个元素mi∈Nn,1≤i≤n代表一个人体的关键点，而元素包含两个整数/>和/>分别是在视频帧中关键点mi的x坐标和y坐标；从特征向量M中可以提取两个特征向量如下：
简单来说，分别收集关键点的x坐标和y坐标，同时保持顺序，然后将x坐标和y坐标向量归一化：
其中是Mx的平均值，σ(Mx)是Mx的标准差；而/>也是类似于/>计算出来的；最后将两个归一化的向量连接起来，形成最终的特征向量/>
步骤四、对数据集中的每个视频构造每个子序列数据，获得的每个子序列数据都有一个行为标签；并将所有子序列数据共同构成样本集；
步骤五、建立长短期记忆人工神经网络；所述的长短期记忆人工神经网络，包括InputLayer层，masking层，BN层，lstm层Dropout层和Dense层；InputLayer层输入的是关键点的二维坐标信息；masking层是使用给定的值对输入的序列数据进行“屏蔽”，用以定位所需要的时间步；lstm层用于提取输入的变长的序列特征；BN层的设置有两个作用，一是加快训练和收敛速度，二是防止训练过拟合；Dropout层主要作用也是防止训练过拟合；Dense层是一个100个神经元的全连接层，并且通过softmax激活函数激活，输出各类别的分类得分；
步骤六、将样本集划分为模型训练集和模型验证集，利用模型训练集训练长短期记忆人工神经网络模型，并在验证集上进行模型验证；
步骤七、利用训练好的长短期记忆人工神经网络模型识别摔倒获得识别结果。
2.根据权利要求1所述的一种基于人体骨架关键点和长短期记忆人工神经网络的人体摔倒识别方法，其特征在于：步骤四中，使用窗口滑动方法获得子序列数据，标签包括日常生活动作，摔倒和躺下。
3.根据权利要求1所述的一种基于人体骨架关键点和长短期记忆人工神经网络的人体摔倒识别方法，其特征在于：步骤六中，利用训练集中每个子序列数据对应的类别标签，训练长短期记忆人工神经网络模型，并在验证集上进行验证，使用准确率作为模型的评估标准，选择在验证集具有最高准确率的迭代周期，获取该迭代周期下的模型参数得到最终的长短期记忆人工神经网络模型。
4.根据权利要求1所述的一种基于人体骨架关键点和长短期记忆人工神经网络的人体摔倒识别方法，其特征在于：步骤七中，使用openpose对视频进行处理，获得视频中每一帧图像中人体骨架关节点数据，并进行归一化；采用滑动窗口方法获得子序列数据，将数据片段输入训练好的长短期记忆人工神经网络，检测出当前是否摔倒。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110362569.2A CN113111756B (zh) | 2021-04-02 | 2021-04-02 | 基于人体骨架关键点和长短期记忆人工神经网络的人体摔倒识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110362569.2A CN113111756B (zh) | 2021-04-02 | 2021-04-02 | 基于人体骨架关键点和长短期记忆人工神经网络的人体摔倒识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113111756A CN113111756A (zh) | 2021-07-13 |
| CN113111756B true CN113111756B (zh) | 2024-05-03 |
Family
ID=76713699
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110362569.2A Active CN113111756B (zh) | 2021-04-02 | 2021-04-02 | 基于人体骨架关键点和长短期记忆人工神经网络的人体摔倒识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113111756B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113920326A (zh) * | 2021-09-10 | 2022-01-11 | 浙江汉德瑞智能科技有限公司 | 基于人体骨骼关键点检测的摔倒行为识别方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110321833A (zh) * | 2019-06-28 | 2019-10-11 | 南京邮电大学 | 基于卷积神经网络和循环神经网络的人体行为识别方法 |
| CN111401144A (zh) * | 2020-02-26 | 2020-07-10 | 华南理工大学 | 一种基于视频监控的手扶电梯乘客行为识别方法 |
| CN111814661A (zh) * | 2020-07-07 | 2020-10-23 | 西安电子科技大学 | 基于残差-循环神经网络的人体行为识别方法 |
-
2021
- 2021-04-02 CN CN202110362569.2A patent/CN113111756B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110321833A (zh) * | 2019-06-28 | 2019-10-11 | 南京邮电大学 | 基于卷积神经网络和循环神经网络的人体行为识别方法 |
| CN111401144A (zh) * | 2020-02-26 | 2020-07-10 | 华南理工大学 | 一种基于视频监控的手扶电梯乘客行为识别方法 |
| CN111814661A (zh) * | 2020-07-07 | 2020-10-23 | 西安电子科技大学 | 基于残差-循环神经网络的人体行为识别方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113111756A (zh) | 2021-07-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106682616B (zh) | 基于双通道特征深度学习的新生儿疼痛表情识别方法 | |
| CN110705390A (zh) | 基于lstm的形体姿态识别方法、装置及存储介质 | |
| CN110390303B (zh) | 摔倒报警方法、电子设备及计算机可读存储介质 | |
| CN111524608A (zh) | 智能检测与防疫系统和方法 | |
| CN109902564A (zh) | 一种基于结构相似性稀疏自编码网络的异常事件检测方法 | |
| CN113111865B (zh) | 一种基于深度学习的跌倒行为检测方法和系统 | |
| Xu et al. | Intelligent emotion detection method based on deep learning in medical and health data | |
| CN111091060A (zh) | 基于深度学习的跌倒和暴力检测方法 | |
| Ansar et al. | Robust hand gesture tracking and recognition for healthcare via Recurent neural network | |
| CN113111756B (zh) | 基于人体骨架关键点和长短期记忆人工神经网络的人体摔倒识别方法 | |
| CN113297900A (zh) | 基于yolo的视频流安全帽识别方法、装置、设备及存储介质 | |
| CN111950340A (zh) | 一种适用于戴口罩的人脸卷积神经网络特征表达学习和提取方法 | |
| CN115170998A (zh) | 人体行为动作识别方法、装置、计算机设备和存储介质 | |
| CN116503785A (zh) | 游泳馆监管系统及其方法 | |
| Varsha et al. | Indian sign language gesture recognition using deep convolutional neural network | |
| Ge et al. | Multiple face mask wearer detection based on YOLOv3 approach | |
| CN112784812B (zh) | 一种深蹲动作识别方法 | |
| Jayaswal et al. | Detection of Hidden Facial Surface Masking in Stored and Real Time Captured Images: A Deep Learning Perspective in Covid Time. | |
| CN109961038A (zh) | 一种基于计算机算法的儿童安全监控方法及系统 | |
| CN107967455A (zh) | 一种智能人体多维自然特征大数据透明学习方法与系统 | |
| ben Abdel Ouahab et al. | Real-time facemask detector using deep learning and raspberry pi | |
| Nie et al. | [Retracted] Health Recognition Algorithm for Sports Training Based on Bi‐GRU Neural Networks | |
| Zhou | The application of machine learning in activity recognition with healthy older people using a batteryless wearable sensor | |
| Joby et al. | Pneumogan: a gan based model for pneumonia detection | |
| Javeed et al. | Physical Locomotion Detection using pre-classification for Muscles monitoring |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |