CN114241602B - 一种基于深度学习的多目转动惯量测量和计算方法 - Google Patents
一种基于深度学习的多目转动惯量测量和计算方法 Download PDFInfo
- Publication number
- CN114241602B CN114241602B CN202111540970.7A CN202111540970A CN114241602B CN 114241602 B CN114241602 B CN 114241602B CN 202111540970 A CN202111540970 A CN 202111540970A CN 114241602 B CN114241602 B CN 114241602B
- Authority
- CN
- China
- Prior art keywords
- moment
- inertia
- human body
- camera
- speed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004364 calculation method Methods 0.000 title claims abstract description 33
- 238000013135 deep learning Methods 0.000 title claims abstract description 20
- 238000000691 measurement method Methods 0.000 title abstract description 8
- 238000000034 method Methods 0.000 claims abstract description 34
- 230000000875 corresponding effect Effects 0.000 claims description 10
- 230000005484 gravity Effects 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 6
- 230000037396 body weight Effects 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 3
- 230000009189 diving Effects 0.000 description 6
- 230000000386 athletic effect Effects 0.000 description 4
- 230000037237 body shape Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 150000001875 compounds Chemical class 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明公开了一种基于深度学习的多目转动惯量测量和计算方法，属于体育专项动作分析技术领域。一种基于深度学习的多目转动惯量测量和计算方法，利用多台高速运动摄像机多角度捕获人体的运动轨迹，最大限度的保证捕获的轨迹的完整性以及实时性，有效地避免了其他方法不能确保运动轨迹的完整性，通过基于深度学习的方法识别人体的关键点坐标，并进行多相机交汇准确，高效地解算出人体各个部位的运动轨迹、并计算出人体运动过程中的转动惯量。
Description
技术领域
本发明涉及体育专项动作分析技术领域，具体为一种基于深度学习的多目转动惯量测量和计算方法。
背景技术
在众多竞技体育项目中，许多运动与人体转动息息相关，如跳水，单板大跳台、跳马，滑冰、自由体操等。这些竞技运动的成绩通常依赖于运动员所完成动作的难度和完成度，其技术动作越难，完成度越高，成绩越好。而高难度的技术动作和完成度取决于运动员旋转的速度和身体协调能力，这一般可以用人体转动惯量和转动惯量调整能力来评估。上述运动员的训练中，通常教练员通过录像回放等方法对运动员的转体等技术动作进行评估和修正，这种方法对教练要求高，效率较低。这就需要建立一种快速对人体转动惯量进行计算的方法，用以计算运动员运动过程中转动惯量变化，进而对运动员转动的技术动作进行指导和优化。
当前也有一些方法是基于计算机视觉对物体的转动惯量进行测量，其中专利号为CN 103499416B的《一种单目转动惯量快速测量方法及装置》采用单目视觉系统，利用超高速摄像机实时采集复摆装置上被测物体表面标记点的运动图像，提取并拟合标记点运动轨迹，计算出被测物体的摆动周期，进而计算出被测物体的转动惯量。专利号为CN 103542981B的名为《一种双目视觉测量转动惯量的方法》，该测量方法采用双目视觉系统，利用两台超高速摄像机实时采集被测物体表面标记点的运动图像，并解算和拟合标记点轨迹，计算出被测物体的转动惯量；现有技术在对转动惯量进行测量和计算时，往往需要在被测物体上贴标记点来进行识别和计算物体的运动，不适用于快速运动的人体，且运动过程中，贴点的位置在复杂运动时较易被遮挡，无法适用于人体复杂转动时转动惯量的测量和计算，同时现有技术测量时使用的相机数目较少，不具有一定的鲁棒性，且现有技术主要是通过计算人体单摆的周期来评估物体的转动惯量，难以用以评估人体复杂的转动情况；基于上述原因，我们提出了一种基于深度学习的多目转动惯量测量和计算方法。
发明内容
1、本发明要解决的技术问题
本发明的目的在于解决现有技术无法适用于快速运动的人体的转动惯量的测量和计算，以及难以评估人体复杂转动情况的问题，进而提出的一种基于深度学习的多目转动惯量测量和计算方法。
2、技术方案
为实现上述目的，本发明提供如下技术方案：
一种基于深度学习的多目转动惯量测量和计算方法，包括以下步骤：
S1、高速运动相机架设：根据场地条件，针对受试人员的运动形式和范围将若干个高速运动相机架设在一定范围内；
S2、高速运动相机内外参数标定：利用直接线性变化标定方法对S1中所架设的若干个运动相机的内外参数进行标定，得到高速运动相机的世界坐标及高速运动相机本身的焦距和畸变系数；
S3、关键点识别：利用多个高速运动相机采集受试人员的运动视频数据，并将其导入到计算机中，构建深度学习网络，对运动视频数据各帧图像中人体若干关键点进行识别，得到各个关键点在高速运动相机坐标系中的位置；
S4、三维重建：根据S2中所得的高速运动相机标定的内外参数以及交汇数据解算出受试人员身体各关键点的空间三维坐标，逐帧计算后得到关键点的空间三维运动轨迹；
S5、转动惯量计算：输入受试人员的身体体重数据，根据身高体重数据对标准人体质量分布进行缩放得到受试人员各个身体部位的质量以及肢体长度，并结合三维重建的空间信息确定人体的转轴，实现对人体各个时刻对应动作转动惯量的计算。
优选地，所述S1中提到的相机内外参数标定，通过建立世界坐标到相机坐标的线性映射，并通过选择对应的标记点，进而通过最小二乘法实现对相机内外参数的解算，计算公式如下：
其中：p1p2p3为相机的内外参数，u v标定点相机照片中的坐标参数，标定点在世界坐标系中的坐标；
记方程的左边矩阵为M，右侧矩阵为P则方程化为
MP＝0
由于系统存在误差，令MP＝w，问题转化为求P使得w极小，
问题转化为：
最终通过实现对P(相机内参)的解算。
优选地，所述S5中所提到的转动惯量计算，具体包括以下步骤：
A1、受试人员身体基本参数缩放：将受试人员身体的体重和身高数据代入转动惯量计算公式中进行运算，所述计算公式为：
其中，Ii为标准人体各个部位的转动惯量，M0为标准人体的体重，M为受试者体重，L0为标准人体躯干长度，L为受试者躯干长度，I为受试者人体的转动惯量；
A2、转轴的确定：通过对人体各个关节的运动轨迹进行微分，得到各个关节的速度，然后将速度分别在人体躯干的矢量面、冠状面和横断面的垂直方向进行分解，从而得到各个关节的速度在三个方向的分量，进而根据关节的空间方位确定三个方向的转轴；
A3、转动惯量计算：通过确定某一时刻各个关节和转轴之间的位置，然后再用平行轴定理确定关节的转动惯量，再求和得到整个人体在某一时刻的转动惯量，其计算公式为：
其中，Ii为某一时刻关节肢体重心为重心对应的转动惯量，Mi为某一肢体的质量，为某一时刻关节肢体绕转轴的转动惯量，Ik为某一时刻整个人体的转动惯量。
3、有益效果
本发明提出了一种基于深度学习的多目转动惯量测量和计算方法，利用多目高速运动相机采集数据，并结合深度学习、多相机交汇算法、结合人体形态和质量实现对人体转动惯量更为方便、精确的计算。该方法可以广泛用于跳水、花样滑冰、自由体操、自由式单板大跳台等各项竞技运动中，通过采集、识别、计算、分析进而分析运动员在空中转体时转动惯量的变化，实现对运动员动作的指导分析。
附图说明
图1为本发明提出的一种基于深度学习的多目转动惯量测量和计算方法的方法框架示意图。
具体实施方式
下面结合附图和具体实施例对本发明提供的一种基于深度学习的多目转动惯量测量和计算方法进行详细描述。
同时，在这里做以说明的是，为了使实施例更加详尽，下面的实施例为最佳、优选实施例，对于一些公知技术本领域技术人员也可采用其他替代方式而进行实施；而且附图部分仅是为了更具体的描述实施例，而并不旨在对本发明进行具体的限定。
本发明涵盖任何在本发明的精髓和范围上做的替代、修改、等效方法以及方案。为了使公众对本发明有彻底的了解，在以下本发明优选实施例中详细说明了具体的细节，而对本领域技术人员来说没有这些细节的描述也可以完全理解本发明。另外，为了避免对本发明的实质造成不必要的混淆，并没有详细说明众所周知的方法、过程、流程、元件和电路等。
实施例1：
请参阅图1，一种基于深度学习的多目转动惯量测量和计算方法，包括以下步骤：
S1、高速运动相机架设：根据场地条件，针对受试人员的运动形式和范围将若干个高速运动相机架设在一定范围内；
S1中提到的相机内外参数标定，通过建立世界坐标到相机坐标的线性映射，并通过选择对应的标记点，进而通过最小二乘法实现对相机内外参数的解算，计算公式如下：
其中：p1p2p3为相机的内外参数，u v标定点相机照片中的坐标参数，标定点在世界坐标系中的坐标；
记方程的左边矩阵为M，右侧矩阵为P则方程化为
MP＝0
由于系统存在误差，令MP＝w，问题转化为求P使得w极小，
问题转化为：
最终通过实现对P(相机内参)的解算；
S2、高速运动相机内外参数标定：利用直接线性变化标定方法对S1中所架设的若干个运动相机的内外参数进行标定，得到高速运动相机的世界坐标及高速运动相机本身的焦距和畸变系数；
S3、关键点识别：利用多个高速运动相机采集受试人员的运动视频数据，并将其导入到计算机中，构建深度学习网络，对运动视频数据各帧图像中人体若干关键点进行识别，得到各个关键点在高速运动相机坐标系中的位置；
S4、三维重建：根据S2中所得的高速运动相机标定的内外参数以及交汇数据解算出受试人员身体各关键点的空间三维坐标，逐帧计算后得到关键点的空间三维运动轨迹；
S5、转动惯量计算：输入受试人员的身体体重数据，根据身高体重数据对标准人体质量分布进行缩放得到受试人员各个身体部位的质量以及肢体长度，并结合三维重建的空间信息确定人体的转轴，实现对人体各个时刻对应动作转动惯量的计算；
S5中所提到的转动惯量计算，具体包括以下步骤：
A1、受试人员身体基本参数缩放：将受试人员身体的体重和身高数据代入转动惯量计算公式中进行运算，计算公式为：
其中，Ii为标准人体各个部位的转动惯量，M0为标准人体的体重，M为受试者体重，L0为标准人体躯干长度，L为受试者躯干长度，I为受试者人体的转动惯量；
A2、转轴的确定：通过对人体各个关节的运动轨迹进行微分，得到各个关节的速度，然后将速度分别在人体躯干的矢量面、冠状面和横断面的垂直方向进行分解，从而得到各个关节的速度在三个方向的分量，进而根据关节的空间方位确定三个方向的转轴；
A3、转动惯量计算：通过确定某一时刻各个关节和转轴之间的位置，然后再用平行轴定理确定关节的转动惯量，再求和得到整个人体在某一时刻的转动惯量，其计算公式为：
其中，Ii为某一时刻关节肢体重心为重心对应的转动惯量，Mi为某一肢体的质量，为某一时刻关节肢体绕转轴的转动惯量，Ik为某一时刻整个人体的转动惯量。
本发明提出了一种基于深度学习的多目转动惯量测量和计算方法，利用多目高速运动相机采集数据，并结合深度学习、多相机交汇算法、结合人体形态和质量实现对人体转动惯量更为方便、精确的计算。该方法可以广泛用于跳水、花样滑冰、自由体操、自由式单板大跳台等各项竞技运动中，通过采集、识别、计算、分析进而分析运动员在空中转体时转动惯量的变化，实现对运动员动作的指导分析。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其改进构思加以等同替换或改变，都应涵盖在本发明的保护范围内。
Claims (1)
1.一种基于深度学习的多目转动惯量测量和计算方法，其特征在于，包括以下步骤：
S1、高速运动相机架设：根据场地条件，针对受试人员的运动形式和范围将若干个高速运动相机架设在一定范围内；
所述相机的内外参数标定，通过建立世界坐标到相机坐标的线性映射，并通过选择对应的标记点，进而通过最小二乘法实现对相机内外参数的解算，计算公式如下：
其中：p1 p2 p3为相机的内外参数，u v标定点相机照片中的坐标参数，标定点在世界坐标系中的坐标；
记方程的左边矩阵为M，右侧矩阵为P 则方程化为
MP = 0
由于系统存在误差，令MP = w，问题转化为求P使得w极小，
问题转化为：
最终实现对P的解算；
S2、高速运动相机内外参数标定：利用直接线性变化标定方法对S1中所架设的若干个运动相机的内外参数进行标定，得到高速运动相机的世界坐标及高速运动相机本身的焦距和畸变系数；
S3、关键点识别：利用多个高速运动相机采集受试人员的运动视频数据，并将其导入到计算机中，构建深度学习网络，对运动视频数据各帧图像中人体若干关键点进行识别，得到各个关键点在高速运动相机坐标系中的位置；
S4、三维重建：根据S2中所得的高速运动相机标定的内外参数以及交汇数据解算出受试人员身体各关键点的空间三维坐标，逐帧计算后得到关键点的空间三维运动轨迹；
S5、转动惯量计算：输入受试人员的身体体重数据，根据身高体重数据对标准人体质量分布进行缩放得到受试人员各个身体部位的质量以及肢体长度，并结合三维重建的空间信息确定人体的转轴，实现对人体各个时刻对应动作转动惯量的计算，具体包括以下步骤：
A1、受试人员身体基本参数缩放：将受试人员身体的体重和身高数据代入转动惯量计算公式中进行运算，所述计算公式为：
其中，Ii为受试者肢体i重心对应的转动惯量，为标准人体肢体i的转动惯量，M0为标准人体的体重，M为受试者体重，L0为标准人体躯干长度，L为受试者躯干长度；
A2、转轴的确定：通过对人体各个关节的运动轨迹进行微分，得到各个关节的速度，然后将速度分别在人体躯干的矢量面、冠状面和横断面的垂直方向进行分解，从而得到各个关节的速度在三个方向的分量，进而根据关节的空间方位确定三个方向的转轴；
A3、转动惯量计算：通过确定某一时刻各个关节和转轴之间的位置，然后再用平行轴定理确定关节的转动惯量，再求和得到整个人体在某一时刻的转动惯量，其计算公式为：
其中，为k时刻关节肢体i绕转轴的转动惯量，Ii为受试者肢体i重心对应的转动惯量，Mi为肢体i的质量，Ik为k时刻整个人体的转动惯量。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111540970.7A CN114241602B (zh) | 2021-12-16 | 2021-12-16 | 一种基于深度学习的多目转动惯量测量和计算方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111540970.7A CN114241602B (zh) | 2021-12-16 | 2021-12-16 | 一种基于深度学习的多目转动惯量测量和计算方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114241602A CN114241602A (zh) | 2022-03-25 |
| CN114241602B true CN114241602B (zh) | 2024-05-28 |
Family
ID=80756917
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111540970.7A Active CN114241602B (zh) | 2021-12-16 | 2021-12-16 | 一种基于深度学习的多目转动惯量测量和计算方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114241602B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115096178B (zh) * | 2022-05-11 | 2023-06-13 | 中国矿业大学 | 基于机器视觉的提升容器定位方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108058758A (zh) * | 2017-12-07 | 2018-05-22 | 东莞深圳清华大学研究院创新中心 | 基于六自由度腿的机器人双足行走仿真评估系统及评估方法 |
| CN108972558A (zh) * | 2018-08-16 | 2018-12-11 | 居鹤华 | 一种基于轴不变量的多轴机器人动力学建模方法 |
| CN112183355A (zh) * | 2020-09-28 | 2021-01-05 | 北京理工大学 | 基于双目视觉和深度学习的出水高度检测系统及其方法 |
| CN113077519A (zh) * | 2021-03-18 | 2021-07-06 | 中国电子科技集团公司第五十四研究所 | 一种基于人体骨架提取的多相机外参自动标定方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| IES86097B2 (en) * | 2010-11-22 | 2012-12-05 | Brian Francis Mooney | Determining and analysing movement and spin characteristics in a golf shot |
| CN108665956A (zh) * | 2018-06-05 | 2018-10-16 | 陈燕 | 体能和肌肉能力的综合评估系统及方法 |
-
2021
- 2021-12-16 CN CN202111540970.7A patent/CN114241602B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108058758A (zh) * | 2017-12-07 | 2018-05-22 | 东莞深圳清华大学研究院创新中心 | 基于六自由度腿的机器人双足行走仿真评估系统及评估方法 |
| CN108972558A (zh) * | 2018-08-16 | 2018-12-11 | 居鹤华 | 一种基于轴不变量的多轴机器人动力学建模方法 |
| CN112183355A (zh) * | 2020-09-28 | 2021-01-05 | 北京理工大学 | 基于双目视觉和深度学习的出水高度检测系统及其方法 |
| CN113077519A (zh) * | 2021-03-18 | 2021-07-06 | 中国电子科技集团公司第五十四研究所 | 一种基于人体骨架提取的多相机外参自动标定方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114241602A (zh) | 2022-03-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104504694B (zh) | 一种获取运动球体三维信息的方法 | |
| Wang et al. | Inertial sensor-based analysis of equestrian sports between beginner and professional riders under different horse gaits | |
| CN103442773B (zh) | 虚拟高尔夫模拟装置及其使用的感测装置与感测方法 | |
| Mooney et al. | Application of video-based methods for competitive swimming analysis: a systematic review | |
| CN107871120A (zh) | 基于机器学习的体育赛事理解系统及方法 | |
| EP1930841B1 (en) | Method and measuring device for motional performance | |
| WO2023221524A1 (zh) | 一种人体运动智能测量与数字训练系统 | |
| Ahmadi et al. | Development of inertial and novel marker-based techniques and analysis for upper arm rotational velocity measurements in tennis | |
| Blank et al. | Ball speed and spin estimation in table tennis using a racket-mounted inertial sensor | |
| CN107260179A (zh) | 基于惯性和体感传感器数据质量评价的人体运动跟踪方法 | |
| CN106256394A (zh) | 混合动作捕捉的训练装置及系统 | |
| Wang et al. | Swimming motion analysis and posture recognition based on wearable inertial sensors | |
| CN114241602B (zh) | 一种基于深度学习的多目转动惯量测量和计算方法 | |
| Kim et al. | Golf swing analysis system with a dual band and motion analysis algorithm | |
| CN112933581A (zh) | 一种基于虚拟现实技术的体育动作评分方法与装置 | |
| CN109876417B (zh) | 基于计算机视觉检测技术的羽毛球发球助理裁判系统 | |
| CN105879349A (zh) | 显示屏上显示高尔夫球落在果岭上的位置的方法及系统 | |
| Lin et al. | Using hybrid sensoring method for motion capture in volleyball techniques training | |
| CN211878611U (zh) | 基于多特征值融合的滑雪运动员姿态识别系统 | |
| JP2006227932A (ja) | 二次元画像からの三次元解析方法とそれを実行するシステム | |
| CN110705496B (zh) | 一种基于九轴传感器的游泳姿势识别方法 | |
| CN111488861A (zh) | 基于多特征值融合的滑雪运动员姿态识别系统 | |
| CN113274733A (zh) | 一种高尔夫球置顶式检测方法、系统及存储介质 | |
| Zhang et al. | Motion damage attitude acquisition based on three-dimensional image analysis | |
| Elipot | A new paradigm to do and understand the race analyses in swimming: The application of convolutional neural networks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |