CN113066133B - 一种基于路面标识几何特征的车载摄像头在线自标定方法 - Google Patents
一种基于路面标识几何特征的车载摄像头在线自标定方法 Download PDFInfo
- Publication number
- CN113066133B CN113066133B CN202110441904.8A CN202110441904A CN113066133B CN 113066133 B CN113066133 B CN 113066133B CN 202110441904 A CN202110441904 A CN 202110441904A CN 113066133 B CN113066133 B CN 113066133B
- Authority
- CN
- China
- Prior art keywords
- calibration
- feature
- features
- vehicle
- cameras
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 16
- 239000003550 marker Substances 0.000 title claims description 4
- 238000005457 optimization Methods 0.000 claims description 39
- 230000006870 function Effects 0.000 claims description 34
- 238000006073 displacement reaction Methods 0.000 claims description 10
- 230000000007 visual effect Effects 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 4
- 230000002159 abnormal effect Effects 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 2
- 230000008859 change Effects 0.000 abstract description 3
- 238000001514 detection method Methods 0.000 abstract description 3
- 230000008569 process Effects 0.000 abstract description 3
- 238000005516 engineering process Methods 0.000 description 4
- 102100034112 Alkyldihydroxyacetonephosphate synthase, peroxisomal Human genes 0.000 description 3
- 101000799143 Homo sapiens Alkyldihydroxyacetonephosphate synthase, peroxisomal Proteins 0.000 description 3
- 238000000848 angular dependent Auger electron spectroscopy Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30256—Lane; Road marking
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Abstract
本发明涉及一种基于路面标识几何特征的车载摄像头在线自标定方法，其在车辆行驶过程中，实时采集路面特征信息，并使用路面存在的各种标识标线，如国标车道线、人行道，或者是自定义的方形、圆形等形状标定块，自动计算摄像头各类参数。场地要求低、人力成本少、标定精度高、摄像头状态变化检测及时，能解决现有车载摄像头标定存在的问题。本发明具有自动化程度高，无需人工参与，标定精度高的优点。
Description
技术领域
本发明涉及车载摄像头标定技术领域，具体涉及一种基于路面标识几何特征的车载摄像头在线自标定方法。
背景技术
目前，计算机视觉技术已经被广泛应用到了各类先进驾驶辅助系统
(ADAS)中。通过视觉技术感知车辆周围的道路信息、路况信息，可以为ADAS系统提供决策所需要的基础数据。为了提高行车环境的感知准确性和可靠性，对车载摄像头的准确标定是车辆定位准确的重要基础。
传统车载摄像头标定算法一般采用固定场地标定的方式。在车辆静 止状态下，预先放置黑白棋盘格等高对比度的标靶，对摄像头各类参数进行离线标定。 传统标定技术存在以下几个问题：
(1) 场地精度要求高，需要投入场地建设费用，且场地需要定期维护；
(2) 标定流程需要人工参与，大大增加了标定的复杂度；
(3) 当摄像头状态发生改变，如摄像头后视镜更换等，车辆须返回售后点进行标定，增加了售后的人力和材料费用；
(4) 随着时间的推移，摄像头支架会不可避免的出现振动、老化等问题，造成摄像头姿态的变化，如果不能及时对摄像头重新标定参数，ADAS系统无法做出正确决策，就会对行车安全造成极大的隐患；
(5)在车辆静止状态下进行标定，图像内特征点(线)较少，且只能利用单帧图像信息, 标定精度不高。
由于存在上述问题，现有车载摄像头标定技术无法满足未来无人驾驶的需求。
有鉴于此，本发明进行了深入构思，遂产生本案。
发明内容
本发明的目的在于提供一种基于路面标识几何特征的车载摄像头在线自标定方法，以实现自动化标定，并提高标定的灵活性。
为实现上述目的，本发明采用的技术方案是：
一种基于路面标识几何特征的车载摄像头在线自标定方法，其包括以下步骤：
步骤1、车载摄像头的自标定启动后，实时采集当前帧图像；同时，检测当前帧图像场景是否具有标定所需要的特征，当发现符合条件的场景后，执行步骤2，否则重复步骤1；
步骤2、对符合标定条件的图像进行预处理，然后提取图像中的精确特征并存储至特征数据库中；所述特征包括点特征和线特征；
步骤3、检查特征数据库中的数量是否足够达到设定值，特征数量满足要求后，执行步骤4，否则执行步骤1，继续采集图像；
步骤4、确定特征数据库中的特征数据集的类型，并根据所确定的特征数据集类型选择相应的目标优化函数；
步骤5、获取标定摄像头的参数，采用目标优化函数以及特征数据集、标定摄像头与相关摄像头之间的相对空间位移对车载摄像头的参数进行迭代优化；若优化的结果收敛，执行步骤6，否则执行步骤7；
步骤6、 校核优化结果是否存在异常值，若不存在则标定流程结束，标定成功；否则标定失败；
步骤7、判断是否已剔除离群特征点，若已剔除，标定流程结束，标定失败；否则剔除数据集中的离群特征，继续执行步骤5；
所述数据集特征类型分为车道线特征、人行道特征和自定义标识特征三类。
所述步骤4中，如果数据特征类型确认为车道线特征时，利用车道线中包含的平行的几何关系构建目标优化函数；如果数据特征集类型确认为人行道特征时，利用人行道中包含的平行和等距的几何关系构建目标优化函数；如果数据特征集类型确认为自定义标识特征，则利用自定义标识的几何特征构建目标优化函数。
所述特征数据库中包含多个类型的特征数据集，此时，针对各类型的特征数据集构建相应的目标函数，然后取所有目标优化函数的加权平均和作为最终使用的优化目标函数。
所述步骤5中，若目标优化函数非凸时，为避免问题解陷入局部最优，每次迭代完成后增加一个微小扰动，使迭代结果尽量接近真实值。
采用上述方案后，本发明在车辆行驶过程中，实时采集路面特征信息，并使用路面存在的各种标识标线，如车道线，人行道，或者是自定义的方形、圆形等形状标定块，对于标定摄像头，从采集的路面信息中提取相应的特征形成特征数据集，并确定相应的目标优化函数，然后利用特征数据集、标定摄像头与相关摄像头之间的相对空间位移对目标优化函数进行迭代优化，计算出标定摄像头的各类参数，完成标定摄像头的标定工作。本发明的摄像头标定对场地要求低、人力成本少、标定精度高、摄像头状态变化检测及时，能解决现有车载摄像头标定存在的问题。本发明具有自动化程度高，无需人工参与，标定精度高的优点。
附图说明
图1为本发明流程图；
图2-1和图2-2为车道线场景示意图；
图3-1和图3-2为人行道场景示意图；
图4-1和图4-2为自定义标识场景示意图。
具体实施方式
如图1所示，本发明揭示了一种基于路面标识几何特征的车载摄像头在线自标定方法，其包括以下步骤：
步骤1、车载摄像头的自标定启动后，实时采集当前帧图像；同时，检测当前帧图像场景是否具有标定所需要的特征，当发现符合条件的场景后，执行步骤2，否则重复步骤1。
车载摄像头的自标定启动可以由多种方式触发。例如，可以通过手动触发某一按钮或开关来启动自标定。或者利用车载摄像头的相关参数来启动：当车载摄像头的视角或者焦距发生变化时，说明车载摄像头的原有标定参数可能不再适用，此时就可以自动地启动自标定工作。当然也可以根据车辆的行驶里程来确定是否要进行车载摄像头的自标定启动。因为车辆行驶到一定里程后，其摄像头有极大可能会发生振动、老化，从而发生位姿的变化。本实施例中对车载摄像头自标定的触发方式并不限定。
为了保证所采集的图像质量，图像采集的工作最好在车辆行驶平稳的情况下进行。这样，图像质量不受车辆行驶路面不平整等外界因素干扰，保证后续能够提取出更为精确的特征。
步骤2、对符合标定条件的图像进行预处理，然后提取图像中的精确特征并存储至特征数据库中。
本实施例中对图像进行预处理主要为了在一定程度上去除阴影、反光、运动等带来的影响，便于后去特征提取的操作。从图像中提取的特征包括点特征和线特征。
步骤3、检查特征数据库中的数量是否足够达到设定值，特征数量满足要求后，执行步骤4，否则执行步骤1，继续采集图像。
本发明是基于提取的点特征和线特征的组合如点-点、点-线、线-线之间形成的几何特征进行自标定，所以，只有特征的数量达到一定数量才能确定特征数据集构成的特征类型。特征数据集构成的几何特征包括三点构成的三角特征、四点构成的平行四边形特征和两直线的平行关系等。本实施例中，图2所示的场景中左右车道线构成了平行的特征。图3所示的场景中人行道的白色线条部分不仅有平行特征，还有等宽特征。图4所示的场景中各角点有正方形特征。
步骤4、确定特征数据库中的特征数据集的类型，并根据所确定的特征数据集类型选择相应的目标优化函数。
本实施例中，数据集特征类型分为车道线特征、人行道特征和自定义标识特征三类。如图2-1、2-2和图3-1、3-2所示，车辆在行驶过程中所遇到的场景中，车道线（包括实线和虚线）和人行道是最为常见的，所以数据特征集分类中包括车道线特征和人行道特征。而车辆行驶所遇到的场景中也会包含其他类型的特征，所以用户可以自定义一些除车道线和人行道外的其他常见特征，例如图4-1、4-2所示场景所示的正方形特征。当然，自定义标识也可以是长方形、圆形等其他类型的几何特征。
如果数据特征类型确认为车道线特征时，利用车道线中包含的平行的几何关系构建目标优化函数。如果数据特征集类型确认为人行道特征时，利用人行道中包含的平行和等距的几何关系构建目标优化函数。如果数据特征集类型确认为自定义标识特征，则利用自定义标识的三角、四边形等几何关系构建目标优化函数。以车道线特征为例，在构建目标优化函数时，使用数学方程式描述车道线的边缘线，然后计算所有车道线的平行度，并针对各边缘线的置信度分配权重，然后使用该平行度作为优化目标函数。
特征数据库中可以包含多个类型的特征数据集，此时，将针对各类型的特征数据集构建相应的目标函数，然后取所有目标优化函数的加权平均和作为最终使用的优化目标函数。
步骤5、获取标定摄像头的参数，采用目标优化函数以及特征数据集、标定摄像头与相关摄像头之间的相对空间位移对车载摄像头的参数进行迭代优化。若优化的结果收敛，执行步骤6，否则执行步骤7。
所述相关摄像头是指与标定摄像头存在视野重叠区的摄像头。以前视摄像头为例，其相关摄像头则为左视摄像头和右视摄像头。如果前摄像头的特征数据集来自于第3-5帧的图像中，那么在进行迭代优化时，除了要从第3-5帧图像中提取特征数据集外，还要获取左视摄像头和右视摄像头的第3-5帧图像，然后利用前视-左视摄像头之间以及前视-右视摄像头之间的视野重叠区特征计算相对空间位移。具体地，以前摄像头和右摄像头的空间位移为例，匹配同一帧时刻的前图像和右图像的特征，将特征映射到世界坐标系下，从初始值触发迭代求解两摄像头的相对空间位移，直至特征匹配完成。
问题非凸时，为避免问题解陷入局部最优，每次迭代完成后增加一个微小扰动，使迭代结果尽量接近真实值。
步骤6、 校核优化结果是否存在异常值，若不存在则标定流程结束，标定成功；否则标定失败。
步骤7、判断是否已剔除离群特征点，若已剔除，标定流程结束，标定失败；否则剔除数据集中的离群特征，继续执行步骤5。
本发明在车辆行驶过程中，实时采集路面特征信息，并使用路面存在的各种标识标线，如车道线，人行道，或者是自定义的方形、圆形等形状标定块，对于标定摄像头，从采集的路面信息中提取相应的特征形成特征数据集，并确定相应的目标优化函数，然后利用特征数据集、标定摄像头与相关摄像头之间的相对空间位移对目标优化函数进行迭代优化，计算出标定摄像头的各类参数，完成标定摄像头的标定工作。本发明的摄像头标定对场地要求低、人力成本少、标定精度高、摄像头状态变化检测及时，能解决现有车载摄像头标定存在的问题。本发明具有自动化程度高，无需人工参与，标定精度高的优点。
以上所述，仅是本发明实施例而已，并非对本发明的技术范围作任何限制，故凡是依据本发明的技术实质对以上实施例所作的任何细微修改、等同变化与修饰，均仍属于本发明技术方案的范围内。
Claims (3)
1.一种基于路面标识几何特征的车载摄像头在线自标定方法，其特征在于：其包括以下步骤：
步骤1、车载摄像头的自标定启动后，实时采集当前帧图像；同时，检测当前帧图像场景是否具有标定所需要的特征，当发现符合条件的场景后，执行步骤2，否则重复步骤1；
步骤2、对符合标定条件的图像进行预处理，然后提取图像中的精确特征并存储至特征数据库中；所述精确特征包括点特征和线特征；
步骤3、检查特征数据库中的数量是否足够达到设定值，特征数量满足要求后，执行步骤4，否则执行步骤1，继续采集图像；
步骤4、确定特征数据库中的特征数据集的类型，并根据所确定的特征数据集类型选择相应的目标优化函数；
所述数据集特征类型分为车道线特征、人行道特征和自定义标识特征三类；
所述步骤4中，如果数据特征类型确认为车道线特征时，利用车道线中包含的平行的几何关系构建目标优化函数；如果数据特征集类型确认为人行道特征时，利用人行道中包含的平行和等距的几何关系构建目标优化函数；如果数据特征集类型确认为自定义标识特征，则利用自定义标识的几何特征构建目标优化函数；在构建目标优化函数时，使用数学方程式描述车道线特征、人行道特征和自定义标识特征，然后计算几何关系特征，并根据置信度分配权重，最后使用几何关系特征作为优化目标函数；
步骤5、获取标定摄像头的参数，采用目标优化函数以及特征数据集、标定摄像头与相关摄像头之间的相对空间位移对车载摄像头的参数进行迭代优化；若优化的结果收敛，执行步骤6，否则执行步骤7；
所述相关摄像头是指与标定摄像头存在视野重叠区的摄像头，迭代优化时，利用标定摄像头与相关摄像头之间的视野重叠区特征计算相对空间位移；具体地，匹配同一帧时刻的标定摄像头图像和相关摄像头图像的特征，将特征映射到世界坐标系下，从初始值触发迭代求解标定摄像头和相关摄像头的相对空间位移，直至特征匹配完成；
步骤6、 校核优化结果是否存在异常值，若不存在则标定流程结束，标定成功；否则标定失败；
步骤7、判断是否已剔除离群特征点，若已剔除，标定流程结束，标定失败；否则剔除数据集中的离群特征，继续执行步骤5。
2.根据权利要求1所述的一种基于路面标识几何特征的车载摄像头在线自标定方法，其特征在于：所述特征数据库中包含多个类型的特征数据集，此时，针对各类型的特征数据集构建相应的目标函数，然后取所有目标函数的加权平均和作为最终使用的优化目标函数。
3.根据权利要求1所述的一种基于路面标识几何特征的车载摄像头在线自标定方法，其特征在于：所述步骤5中，若目标优化函数非凸时，为避免问题解陷入局部最优，每次迭代完成后增加一个扰动。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110441904.8A CN113066133B (zh) | 2021-04-23 | 2021-04-23 | 一种基于路面标识几何特征的车载摄像头在线自标定方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110441904.8A CN113066133B (zh) | 2021-04-23 | 2021-04-23 | 一种基于路面标识几何特征的车载摄像头在线自标定方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113066133A CN113066133A (zh) | 2021-07-02 |
| CN113066133B true CN113066133B (zh) | 2024-02-09 |
Family
ID=76567400
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110441904.8A Active CN113066133B (zh) | 2021-04-23 | 2021-04-23 | 一种基于路面标识几何特征的车载摄像头在线自标定方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113066133B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117036505B (zh) * | 2023-08-23 | 2024-03-29 | 长和有盈电子科技(深圳)有限公司 | 车载摄像头在线标定方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105976377A (zh) * | 2016-05-09 | 2016-09-28 | 西安电子科技大学 | 车载鱼眼摄像头自标定的方法 |
| CN110378931A (zh) * | 2019-07-10 | 2019-10-25 | 成都数之联科技有限公司 | 一种基于多摄像头的行人目标移动轨迹获取方法及系统 |
| CN112164119A (zh) * | 2020-09-04 | 2021-01-01 | 华南理工大学 | 一种适用于狭小空间的环绕放置多摄像机系统标定方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8311283B2 (en) * | 2008-07-06 | 2012-11-13 | Automotive Research&Testing Center | Method for detecting lane departure and apparatus thereof |
-
2021
- 2021-04-23 CN CN202110441904.8A patent/CN113066133B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105976377A (zh) * | 2016-05-09 | 2016-09-28 | 西安电子科技大学 | 车载鱼眼摄像头自标定的方法 |
| CN110378931A (zh) * | 2019-07-10 | 2019-10-25 | 成都数之联科技有限公司 | 一种基于多摄像头的行人目标移动轨迹获取方法及系统 |
| CN112164119A (zh) * | 2020-09-04 | 2021-01-01 | 华南理工大学 | 一种适用于狭小空间的环绕放置多摄像机系统标定方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于自然特征与陀螺仪的移动增强现实研究;杜杰;《万方数据知识服务平台学位论文库》;第1-57页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113066133A (zh) | 2021-07-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2021004548A1 (zh) | 一种基于双目立体视觉系统的车辆智能测速方法 | |
| EP3519770B1 (en) | Methods and systems for generating and using localisation reference data | |
| CN109074085B (zh) | 一种自主定位和地图建立方法、装置和机器人 | |
| CN110795819B (zh) | 自动驾驶仿真场景的生成方法和装置、存储介质 | |
| WO2021227645A1 (zh) | 目标检测方法和装置 | |
| JP2008082870A (ja) | 画像処理プログラム及びこれを用いた路面状態計測システム | |
| CN111429527B (zh) | 一种车载相机的外参自动标定方法及系统 | |
| CN112154445A (zh) | 高精度地图中车道线的确定方法和装置 | |
| CN109271861B (zh) | 多尺度融合的点云交通标识牌自动提取方法 | |
| CN109564682A (zh) | 路面估计装置、车辆控制装置、路面估计方法以及程序 | |
| CN114083536B (zh) | 一种利用立体块恢复单线结构光传感器手眼关系的方法 | |
| CN114280582A (zh) | 激光雷达的标定校准方法、装置、存储介质及电子设备 | |
| CN113392169A (zh) | 一种高精度地图更新的方法、装置及服务器 | |
| Wang et al. | Multi-cue road boundary detection using stereo vision | |
| CN113066133B (zh) | 一种基于路面标识几何特征的车载摄像头在线自标定方法 | |
| CN108107897A (zh) | 实时传感器控制方法及装置 | |
| CN103679121A (zh) | 采用视差图像检测路边的方法及系统 | |
| CN110992424B (zh) | 基于双目视觉的定位方法和系统 | |
| CN111126363B (zh) | 自动驾驶车辆的物体识别方法及装置 | |
| CN110864670B (zh) | 目标障碍物位置的获取方法和系统 | |
| KR102003387B1 (ko) | 조감도 이미지를 이용한 교통 장애물의 검출 및 거리 측정 방법, 교통 장애물을 검출하고 거리를 측정하는 프로그램을 저장한 컴퓨터 판독가능 기록매체 | |
| CN111192283A (zh) | 一种限高杆检测和高度计算方法 | |
| KR20220131378A (ko) | 포지셔닝 방법, 장치, 전자 기기 및 저장 매체 | |
| CN107248171A (zh) | 一种基于三角剖分的单目视觉里程计尺度恢复方法 | |
| JP4584405B2 (ja) | ３次元物体検出装置と３次元物体検出方法及び記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |