CN104856720B - 一种基于rgb‑d传感器的机器人辅助超声扫描系统 - Google Patents
一种基于rgb‑d传感器的机器人辅助超声扫描系统 Download PDFInfo
- Publication number
- CN104856720B CN104856720B CN201510226888.5A CN201510226888A CN104856720B CN 104856720 B CN104856720 B CN 104856720B CN 201510226888 A CN201510226888 A CN 201510226888A CN 104856720 B CN104856720 B CN 104856720B
- Authority
- CN
- China
- Prior art keywords
- robot
- ultrasonic probe
- image
- marker
- main frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Ultra Sonic Daignosis Equipment (AREA)
- Manipulator (AREA)
Abstract
一种基于RGB‑D传感器的机器人辅助超声扫描系统，包括Kinect传感器、机器人、超声探头、标示物和主机，其特征是：以Kinect传感器作为机器人的视觉伺服系统，在机器人机械臂上夹持超声探头，在超声探头上固定标示物，采用机器人的视觉伺服系统同时进行RGB彩色图像和深度图像的采集，并将图像传给主机，由主机完成图像拼接、图像三维重构等处理，根据视觉伺服系统采集的图像对，由主机对固定在超声探头的标示物进行识别和定位，根据识别定位结果计算超声探头位姿，再由主机发出对机器人的控制指令,控制机器人的机械臂到达指定位置进行超声扫描操作。具有结构合理,性能可靠,自动化程度高,检测效率高，成本低等优点。
Description
技术领域
本发明涉及光电技术领域，是一种集计算机视觉技术、计算机辅助医疗技术、机器人控制理论于一体的基于RGB-D传感器的机器人辅助超声扫描系统。能够实现机器人辅助的超声扫描操作，用于辅助医疗器械研发、血液循环、医疗影像研究及培训医生。
背景技术
机器人辅助诊断和治疗一直是国际上医疗领域内的研究热点，很多研究机构一直致力于利用机器人技术的高准确度、高灵敏度、可规划性及可操作性，为患者提供微创和精细的诊断和治疗。目前已经有daVinci、RoboDoc等多套机器人系统应用于临床中，还有各种解决不同临床问题的机器人处于在研发之中。超声扫描机器人(RUS，Robots Ultrasound)是利用机器人或者机械臂、视觉伺服系统、空间定位设备及工作站进行机器人辅助超声扫描的系统，通过视觉伺服系统的定位，引导机械臂到达指定的位置执行超声扫描操作。
视觉伺服系统在机器人辅助超声扫描系统中占据着非常重要的地位。在机器人辅助医疗领域，如何正确定位机器人手臂的位置和动作、并回馈位置信息进行机器人控制及规划机器人路径，是实现机器人辅助外科手术的关键。基于图像的视觉伺服采用误差信号定义在图像特征空间的方式，通过图像采集、特征提取等一系列图像处理方法对机械臂进行定位、导航，进而实现机器人控制。
目前，很多超声图像的采集仍然由医生全程手工操作，为了准确评估病患罹患疾病的风险和发展情况，超声医师需要连续工作数小时以上才能完成对患者的超声扫描检查，无法满足我国巨大的患者基数的需求。由于全面扫描的工作量比较繁重，所以超声医师往往仅根据经验选择扫描几个关键位置来完成超声图像的采集及诊断工作。这种以点带面的做法直接导致严重的漏检风险，阻碍了疾病的早期诊断。采用机器人来辅助超声扫描主要目的是希望通过机器人的精准操作把医生从繁重的劳动中解放出来，把注意力集中到更高层次的决策方面。
目前常用的超声机器人定位导航系统主要是基于光学的跟踪系统，主要有NDI公司的Polaris系统、Optotrack系统和双目视觉系统等，目前的定位导航系统在医疗机器人导航领域已经得到广泛应用。光学跟踪系统的优势是精度高、定位迅速和稳定，但是跟踪器与标识物之间的光学可视路径易受术中物体的遮挡，也无法跟踪靶目标的形貌，而且价格昂贵。
针对以上问题，本发明采用一种用户级别的3D测量仪——微软公司开发的Kinect传感器——作为视觉伺服系统，采用图像拼接及图像重构等技术，实时计算超声探头的3D形貌和位姿，并将当前探头位姿信息及解算出的控制指令发给机器人，以控制及引导机器人夹持超声探头到达指定位置，实现机器人辅助超声扫描的目的。本发明是针对超声检测特殊且紧迫的临床需求，对人机协同操作方式的全新探索，有望大大提高病患的检出率，提升检测效率，降低劳动强度，减少系统成本，为国民的健康护航，造福百万患者群体。
发明内容
针对目前超声检测时间长、劳动繁重等问题，提出了一种基于RGB-D传感器的机器人辅助超声扫描系统，集合计算机视觉技术、计算机辅助医疗技术和机器人控制理论，采用图像拼接及图像重构等技术，实时计算超声探头的3D形貌和位姿，并将当前探头位姿信息及解算出的控制指令发给机器人，以控制及引导机器人夹持超声探头到达指定位置，实现机器人辅助超声扫描的目的。
本发明的目的是依据以下技术方案实现的：一种基于RGB-D传感器的机器人辅助超声扫描系统，它包括Kinect传感器、机器人、超声探头、标示物和主机，其特征在于：以所述的Kinect传感器作为机器人的视觉伺服系统，在所述的机器人机械臂上夹持所述的超声探头，在所述的超声探头上固定标示物，采用机器人的视觉伺服系统同时进行RGB彩色图像和点云深度图像的采集，并将RGB彩色图像和深度图像传给主机，由主机完成图像的3D拼接、3D重构处理，获得物体的3D位置信息，根据视觉伺服系统采集的图像对，由主机对固定在超声探头的标示物进行识别和定位，根据识别定位结果计算超声探头位姿，由主机发出对机器人的控制指令,再由主机控制机器人的机械臂到达指定位置进行超声扫描操作。
所述的基于RGB-D传感器的机器人辅助超声扫描系统，其特征在于：所述的超声探头采用二维线性超声探头。
本发明提出的基于RGB-D的机器人辅助超声扫描系统，采用图像3D拼接及图像重构等技术，实时计算超声探头的3D形貌和位姿，并将当前探头位姿信息及解算出的控制指令发给机器人，以控制及引导机器人夹持超声探头到达指定位置，实现机器人辅助超声扫描的目的。具有结构合理,性能可靠,自动化程度高,检测效率高，成本低等优点。
附图说明
图1为基于RGB-D视觉伺服的机器人辅助超声扫描系统的组成框图；
图2为基于RGB-D视觉伺服的机器人辅助超声扫描系统的工作流程图；
图3为图像拼接及三维重构处理流程图。
具体实施方式
下面利用附图和实施例对本发明作进一步说明。
参考图1，本发明的一种基于RGB-D传感器的机器人辅助超声扫描系统，包括Kinect传感器11、机器人12、超声探头13、标识物14和主机15。采用Kinect传感器11进行超声探头13和标识物14的RGB彩色图像和深度图像的采集，并将图像信息传给主机15，由主机15进行诸如图像3D拼接及图像重构等处理，并实时计算的超声探头13的3D形貌和位姿，处理结束后，将当前探头14位姿信息及解算出的控制指令发给机器人12，以控制及引导机器人12夹持超声探头13到达指定位置，实现机器人辅助超声扫描的目的。
参考图2，本发明的一种基于RGB-D传感器的机器人辅助超声扫描系统，整个工作过程分为术前规划和术中操作两部分。术前规划主要是采用Kinect传感器将实时获取的RGB图像和深度图像经过相机标定、图像预处理、图像分割和标识物提取等图像处理后，将医生事先规划好的预扫描3D位置传给机器人，并结合机器人轨迹规划确定机器人的扫描路径；术中操作过程需要对Kinect传感器的坐标系与机器人坐标系进行实时的坐标配准，并实时计算超声探头的3D位姿，以便对机械臂进行导航、引导，机械臂夹持超声探头沿着术前规划好的路径进行超声扫描，Kinect传感器对机器人的运动位置进行视觉反馈，控制机器人从初始位置运动到扫描点处，由视觉系统计算出的探头与患者下肢表面的距离来控制超声探头的挤压深度，并保证超声图像的质量及操作的安全性。
参考图3，本发明的一种基于RGB-D传感器的机器人辅助超声扫描系统，从Kinect传感器进行超声探头和标识物的RGB图像和深度图像的采集，并将图像信息传给主机，由主机进行诸如图像拼接及图像重构等处理，并实时计算的超声探头的3D形貌和位姿，其中涉及的图像拼接及三维重构处理流程为：首先，从采集的RGB彩色图像中，提取出标识物的特征，生成彩色图像的特征集合；其次，为了实现特征点云数据的自动提取，对点云图像进行深度分割，提取目标区域的点云数据，采用最小二乘拟合方法将目标区域点云投影到深度图像平面上，在深度图像模板中提取深度图像中的目标的特征点；然后，将深度图像中的特征点映射到目标区域的点云中，形成特征点云；最后，将特征点云与彩色图像的特征点集合进行特征配准，实现图像拼接及重构操作，并得到标识物的3D空间坐标，并根据几帧图像间的标识物的空间坐标值，计算出标识物的位姿转换矩阵，根据矩阵求得超声探头的当前位姿。
参考图1-图3，本发明的一种基于RGB-D传感器的机器人辅助超声扫描系统，在计算出标识物14和超声探头13在Kinect传感器11坐标系中的空间坐标及位姿，需要进行坐标系配准，将3D位置转换到机器人12坐标系，才能得到机器人的空间位置信息，从而实现对机器人12位置的控制及机器人12定位导航。
定义∑R,∑K,∑P，∑Q,∑M分别表示机器人坐标系、Kinect坐标系、超声探头坐标顶端、超声探头底端及标示物坐标系。TPM代表探头与标示物坐标系之间的转换矩阵，TPQ表示超声探头顶端与底端之间的转换矩阵，TRK表示Kinect坐标系到机器人坐标系的转换矩阵，TPK表示Kinect坐标系到超声探头坐标系的转换矩阵，TMK表示Kinect坐标系到标示物坐标系的转换矩阵，TKQ表示Kinect坐标系到超声探头底端的转换矩阵，TRP表示超声探头坐标系到机器人坐标系的转换矩阵。由于超声探头是固定在机械臂上，标识物也是唯一固定的，因此，TPM、TPQ和TRP已知的，而且是唯一确定的，TMK在设计标识物的过程中通过设计得到，因此可以公式(1)来计算TRK:
根据转换矩阵TRK，可以将从Kinect获取到的扫描点通过转换矩阵，转换的机器人坐标系中的坐标点，实现对机器人运动的控制。
本发明基于RGB-D传感器的机器人辅助超声扫描系统和图像处理算法中的各种控制指令和拼接、重构跟踪算法及程序均依据具体应用场合的需要、根据信号控制理论和数字图像处理技术设计和编制。
本发明的一种基于RGB-D传感器的机器人辅助超声扫描系统，对于本领域技术人员来说，根据本发明实施例获得的启示，不经过创造性劳动就能够想到其它实质上等同的替代，均在本发明保护范围内。
Claims (1)
1.一种基于RGB-D传感器的机器人辅助超声扫描系统，它包括Kinect传感器、机器人、超声探头、标示物和主机，以所述的Kinect传感器作为机器人的视觉伺服系统，在所述的机器人机械臂上夹持所述的超声探头，在所述的超声探头上固定标示物，根据视觉伺服系统采集的图像对，由主机对固定在超声探头的标示物进行实时识别和定位，根据识别定位结果计算超声探头位姿，再通过Kinect坐标系与机器人坐标系的配准，获得机器人的空间位置信息，最后由主机发出对机器人的控制指令,再由主机控制机器人的机械臂到达指定位置进行超声扫描操作，其特征在于：采用标示物的方法实时计算超声探头的3D形貌和位姿，其具体步骤为：首先，从采集的RGB彩色图像中，提取出标示物的特征，生成彩色图像的特征集合；其次，为了实现特征点云数据的自动提取，对点云图像进行深度分割，提取目标区域的点云数据，采用最小二乘拟合方法将目标区域点云投影到深度图像平面上，在深度图像模板中提取深度图像中目标的特征点；然后，将深度图像中的特征点映射到目标区域的点云中，形成特征点云；最后，将特征点云与彩色图像的特征点集合进行特征配准，实现图像拼接及重构操作，并得到标示物的3D空间坐标，并根据几帧图像间的标识物的空间坐标值，计算出标示物的位姿转换矩阵，根据矩阵求得超声探头的当前位姿。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510226888.5A CN104856720B (zh) | 2015-05-07 | 2015-05-07 | 一种基于rgb‑d传感器的机器人辅助超声扫描系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510226888.5A CN104856720B (zh) | 2015-05-07 | 2015-05-07 | 一种基于rgb‑d传感器的机器人辅助超声扫描系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104856720A CN104856720A (zh) | 2015-08-26 |
| CN104856720B true CN104856720B (zh) | 2017-08-08 |
Family
ID=53903223
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510226888.5A Active CN104856720B (zh) | 2015-05-07 | 2015-05-07 | 一种基于rgb‑d传感器的机器人辅助超声扫描系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104856720B (zh) |
Families Citing this family (34)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105319991B (zh) * | 2015-11-25 | 2018-08-28 | 哈尔滨工业大学 | 一种基于Kinect视觉信息的机器人环境识别与作业控制方法 |
| CN105665970B (zh) * | 2016-03-01 | 2018-06-22 | 中国科学院自动化研究所 | 用于焊接机器人的路径点自动生成系统和方法 |
| US20170252002A1 (en) * | 2016-03-07 | 2017-09-07 | Toshiba Medical Systems Corporation | Ultrasonic diagnostic apparatus and ultrasonic diagnosis support apparatus |
| DE112017001315T5 (de) * | 2016-03-16 | 2018-11-22 | Koninklijke Philips N.V. | Rechenvorrichtung zum Überblenden eines laparoskopischen Bildes und eines Ultraschallbildes |
| CN106344066B (zh) * | 2016-08-26 | 2019-05-31 | 飞依诺科技(苏州)有限公司 | 探头机器人装置 |
| CN106842187A (zh) * | 2016-12-12 | 2017-06-13 | 西南石油大学 | 一种相控阵扫描与视频图像处理融合定位装置及其方法 |
| EP3409230B1 (de) * | 2017-05-31 | 2019-05-22 | Siemens Healthcare GmbH | Bewegen eines roboterarms |
| CN107543531B (zh) * | 2017-08-13 | 2019-10-11 | 天津职业技术师范大学 | 一种机器人视觉定位系统 |
| CN107483096B (zh) * | 2017-09-18 | 2020-07-24 | 河南科技学院 | 一种面向复杂环境的自主排爆机器人通信链路重构方法 |
| CN108555908B (zh) * | 2018-04-12 | 2020-07-28 | 同济大学 | 一种基于rgbd相机的堆叠工件姿态识别及拾取方法 |
| CN110368028B (zh) * | 2018-04-13 | 2021-09-14 | 北京柏惠维康科技有限公司 | 一种空间坐标系的实时配准方法和装置 |
| CN109171817B (zh) * | 2018-09-05 | 2021-12-07 | 浙江深博医疗技术有限公司 | 三维乳腺超声扫描方法及超声扫描系统 |
| CN109480906A (zh) * | 2018-12-28 | 2019-03-19 | 无锡祥生医疗科技股份有限公司 | 超声换能器导航系统及超声成像设备 |
| CN109549667B (zh) * | 2018-12-29 | 2022-05-27 | 无锡祥生医疗科技股份有限公司 | 超声换能器扫描系统、方法及超声成像设备 |
| CN109549705B (zh) * | 2019-01-21 | 2024-04-26 | 华科精准（北京）医疗科技有限公司 | 一种手术机器人系统及其使用方法 |
| US10881353B2 (en) * | 2019-06-03 | 2021-01-05 | General Electric Company | Machine-guided imaging techniques |
| CN110609388A (zh) * | 2019-09-24 | 2019-12-24 | 上海初云开锐管理咨询有限公司 | 一种可用于超声图像显示的增强现实处理方法和系统 |
| CN110664438B (zh) * | 2019-10-22 | 2021-09-10 | 深圳瀚维智能医疗科技有限公司 | 超声扫查轨迹规划方法、装置、存储介质及计算机设备 |
| CN110786887B (zh) * | 2019-10-22 | 2021-11-26 | 深圳瀚维智能医疗科技有限公司 | 乳腺超声筛查方法、装置及系统 |
| CN110755110A (zh) * | 2019-11-20 | 2020-02-07 | 浙江伽奈维医疗科技有限公司 | 一种基于机械臂单元的三维超声扫查装置及方法 |
| CN110992410B (zh) * | 2019-11-29 | 2020-10-30 | 广东技术师范大学 | 基于rgb-d数据融合的机器人视觉引导方法和装置 |
| CN111672034B (zh) * | 2020-04-26 | 2022-06-14 | 上海盼研机器人科技有限公司 | 超声溶脂机器人 |
| CN111426325B (zh) * | 2020-06-12 | 2020-11-27 | 北京云迹科技有限公司 | 定位方法及装置、机器人、存储介质及定位系统 |
| CN112775959A (zh) * | 2020-07-24 | 2021-05-11 | 上海芯翌智能科技有限公司 | 机械手的抓取位姿确定方法及系统、存储介质 |
| CN111938700B (zh) * | 2020-08-21 | 2021-11-09 | 电子科技大学 | 基于人体解剖结构实时匹配的超声探头引导系统及方法 |
| CN112155734B (zh) * | 2020-09-29 | 2022-01-28 | 苏州微创畅行机器人有限公司 | 可读存储介质、骨建模配准系统及骨科手术系统 |
| CN112155598A (zh) * | 2020-10-23 | 2021-01-01 | 周敬洋 | 一种超声波诊断系统 |
| CN112754616B (zh) * | 2020-12-30 | 2022-05-10 | 诺创智能医疗科技(杭州)有限公司 | 超声定位穿刺系统和存储介质 |
| CN112842252A (zh) * | 2020-12-31 | 2021-05-28 | 北京理工大学 | 空间自定位的眼科光学相干层析成像系统 |
| CN113057678A (zh) * | 2021-04-09 | 2021-07-02 | 哈尔滨理工大学 | 一种基于双目视觉与机器人的乳腺超声扫描方法及系统 |
| CN113855068A (zh) * | 2021-08-27 | 2021-12-31 | 谈斯聪 | 智能识别胸部器官、自主定位扫查胸部器官的方法 |
| CN113796895B (zh) * | 2021-09-26 | 2023-07-07 | 中国科学院深圳先进技术研究院 | 一种超声扫查装置 |
| CN114748100B (zh) * | 2022-06-15 | 2023-02-03 | 深圳瀚维智能医疗科技有限公司 | 超声波扫查的控制方法、视觉伺服系统及可读存储介质 |
| CN116158851B (zh) * | 2023-03-01 | 2024-03-01 | 哈尔滨工业大学 | 医用远程超声自动扫描机器人的扫描目标定位系统及方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4427536B2 (ja) * | 2006-10-23 | 2010-03-10 | 東芝医用システムエンジニアリング株式会社 | ３次元超音波システム |
| CN102743188A (zh) * | 2011-04-22 | 2012-10-24 | 李百祺 | 超声波自动扫描系统及其扫描方法 |
| CN202920235U (zh) * | 2012-10-17 | 2013-05-08 | 吴宗贵 | 一种辅助定位的实验动物超声支架装置 |
| CN103440662A (zh) * | 2013-09-04 | 2013-12-11 | 清华大学深圳研究生院 | Kinect深度图像获取方法与装置 |
| CN104013424A (zh) * | 2014-05-28 | 2014-09-03 | 华南理工大学 | 一种基于深度信息的超声宽景成像方法 |
| US8880151B1 (en) * | 2013-11-27 | 2014-11-04 | Clear Guide Medical, Llc | Surgical needle for a surgical system with optical recognition |
| CN104224233A (zh) * | 2014-09-16 | 2014-12-24 | 无锡海斯凯尔医学技术有限公司 | 影像引导型弹性检测系统及其检测方法 |
-
2015
- 2015-05-07 CN CN201510226888.5A patent/CN104856720B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4427536B2 (ja) * | 2006-10-23 | 2010-03-10 | 東芝医用システムエンジニアリング株式会社 | ３次元超音波システム |
| CN102743188A (zh) * | 2011-04-22 | 2012-10-24 | 李百祺 | 超声波自动扫描系统及其扫描方法 |
| CN202920235U (zh) * | 2012-10-17 | 2013-05-08 | 吴宗贵 | 一种辅助定位的实验动物超声支架装置 |
| CN103440662A (zh) * | 2013-09-04 | 2013-12-11 | 清华大学深圳研究生院 | Kinect深度图像获取方法与装置 |
| US8880151B1 (en) * | 2013-11-27 | 2014-11-04 | Clear Guide Medical, Llc | Surgical needle for a surgical system with optical recognition |
| CN104013424A (zh) * | 2014-05-28 | 2014-09-03 | 华南理工大学 | 一种基于深度信息的超声宽景成像方法 |
| CN104224233A (zh) * | 2014-09-16 | 2014-12-24 | 无锡海斯凯尔医学技术有限公司 | 影像引导型弹性检测系统及其检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104856720A (zh) | 2015-08-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104856720B (zh) | 一种基于rgb‑d传感器的机器人辅助超声扫描系统 | |
| Wang et al. | Video see‐through augmented reality for oral and maxillofacial surgery | |
| US20230389801A1 (en) | Methods and systems for tracking and guiding sensors and instruments | |
| US11986256B2 (en) | Automatic registration method and device for surgical robot | |
| US10039476B2 (en) | Method for the automated and assisted acquisition of anatomical surfaces | |
| EP2953569B1 (en) | Tracking apparatus for tracking an object with respect to a body | |
| Boctor et al. | A novel closed form solution for ultrasound calibration | |
| US8108072B2 (en) | Methods and systems for robotic instrument tool tracking with adaptive fusion of kinematics information and image information | |
| US8147503B2 (en) | Methods of locating and tracking robotic instruments in robotic surgical systems | |
| US8073528B2 (en) | Tool tracking systems, methods and computer products for image guided surgery | |
| CN204909663U (zh) | 一种基于图像的外科手术导航系统 | |
| US20210045715A1 (en) | Three-dimensional imaging and modeling of ultrasound image data | |
| CN105611877A (zh) | 引导超声图像采集的方法和系统 | |
| CN101861526A (zh) | 用于跟踪超声自动校准的系统和方法 | |
| CN112043382B (zh) | 一种手术导航系统 | |
| WO2009045827A2 (en) | Methods and systems for tool locating and tool tracking robotic instruments in robotic surgical systems | |
| CN102106758A (zh) | 立体定向神经外科手术中病人头部标记的自动视觉定位装置及方法 | |
| US10991113B2 (en) | Gyroscope-based system and method for assisting in tracking heat source on mechanical arm | |
| CN102068294B (zh) | 冲击波碎石机辅助定位系统 | |
| CN113229937A (zh) | 一种利用实时结构光技术实现手术导航的方法和系统 | |
| CN202128503U (zh) | 冲击波碎石机辅助定位系统 | |
| Farag et al. | Real-time vision-based approach for probe tracking in operating room | |
| Theodoridou | Smart tele-rehabilitation and tele-monitoring system based on 3D sensors and advanced computer vision techniques | |
| CN114332372A (zh) | 血管三维模型的确定方法以及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| EXSB | Decision made by sipo to initiate substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |