CN111273701A - 一种云台视觉控制系统以及控制方法 - Google Patents
一种云台视觉控制系统以及控制方法 Download PDFInfo
- Publication number
- CN111273701A CN111273701A CN202010128998.9A CN202010128998A CN111273701A CN 111273701 A CN111273701 A CN 111273701A CN 202010128998 A CN202010128998 A CN 202010128998A CN 111273701 A CN111273701 A CN 111273701A
- Authority
- CN
- China
- Prior art keywords
- target
- coordinate system
- angle
- measured
- calculating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000000007 visual effect Effects 0.000 title claims abstract description 64
- 238000000034 method Methods 0.000 title claims abstract description 26
- 230000007613 environmental effect Effects 0.000 claims abstract description 7
- 238000004364 calculation method Methods 0.000 claims description 12
- 238000007781 pre-processing Methods 0.000 claims description 12
- 239000011159 matrix material Substances 0.000 claims description 10
- 238000003708 edge detection Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 238000001514 detection method Methods 0.000 abstract description 5
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D3/00—Control of position or direction
- G05D3/12—Control of position or direction using feedback
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Automation & Control Theory (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种云台视觉控制系统以及控制方法,控制方法包括获取环境信息,得到视觉图像;从视觉图像中识别待测目标;计算待测目标在相机坐标系中的三维坐标;根据待测目标在相机坐标系中的三维坐标,计算视觉控制角度;计算待测目标在地面坐标系中的三维坐标;根据待测目标在地面坐标系中的三维坐标,计算预测补偿角度;根据视觉控制角度以及预测补偿角度,利用基于模糊控制算法控制云台电机。本技术方案在对云台电机进行控制时,参考了结合待测目标在地面坐标系中的三维坐标以及陀螺仪检测数据得到的待测目标的偏航角预测补偿值以及俯仰角预测补偿值,从而提高了运行系统响应的速度以及控制的精准度。
Description
技术领域
本发明涉及机器视觉技术领域,更具体地说涉及一种云台视觉控制系统以及控制方法。
背景技术
随着目标检测技术特别是卷积深度神经网络的迅猛发展,视觉系统更具智能和鲁棒性,计算机视觉可解决的任务更加复杂多样,应用领域更加广泛。具有追踪功能的视觉系统,可应用在可移动机器人的云台控制中,用于检测动态目标。视觉追踪技术在一步步走向成熟,逐渐成为现代机器人的核心技术,应用于机器人竞赛、采摘系统、手持云台系统和无人机等领域。
传统的云台视觉系统,所采用的视觉追踪方法仅使用二维的目标检测,以目标与云台机构的偏差作为控制数值,或者使用绝对坐标作为控制数值,两种方法都不能兼备快速响应和稳定的特性,无法很好的应用在变视场随机动态目标追踪上。
发明内容
本发明目的在于提供一种云台视觉控制系统以及控制方法,以解决现有技术中所存在的一个或多个技术问题,至少提供一种有益的选择或创造条件。
为解决上述技术问题所采用的技术方案:
一种云台视觉系统的控制方法,包括以下步骤:
步骤100,获取环境信息,得到视觉图像,并对所述视觉图像进行预处理;
步骤200,从所述视觉图像中识别待测目标;
步骤300,建立相机坐标系,计算所述待测目标在所述相机坐标系中的三维坐标;
步骤400,根据所述待测目标在所述相机坐标系中的三维坐标,计算视觉控制角度,所述视觉控制角度包括待测目标相对于相机坐标系的偏航角和俯仰角;
步骤500,建立地面坐标系,计算所述待测目标在所述地面坐标系中的三维坐标;
步骤600,根据所述待测目标在所述地面坐标系中的三维坐标,计算预测补偿角度,所述预测补偿角度包括待测目标的偏航角预测补偿值以及俯仰角预测补偿值;
步骤700,根据所述视觉控制角度以及所述预测补偿角度,利用基于模糊控制算法控制云台电机。
作为上述技术方案的进一步改进,所述步骤100中,对所述视觉图像进行预处理包括对所述视觉图像先后进行二值化处理、噪声滤除处理以及开运算处理。
作为上述技术方案的进一步改进,所述步骤200包括对所述视觉图像进行边缘检测操作以及特征筛选操作,得到待测目标,并输出所述待测目标在所述视觉图像中的投影坐标。
作为上述技术方案的进一步改进,所述步骤300包括:
步骤310,根据所述待测目标在所述视觉图像中的投影坐标,通过公式计算旋转矩阵R3×3以及偏移向量t3×1,其中z表示缩放尺寸,表示待测目标在视觉图像中的投影坐标,表示内参矩阵,属于图像采集装置的固定参数,表示物体坐标系中的齐次坐标;
作为上述技术方案的进一步改进,所述步骤500包括:
步骤510,建立地面坐标系,读取陀螺仪的偏航角数值以及俯仰角数值;
作为上述技术方案的进一步改进,步骤600包括:
步骤610,利用最小二乘法二次拟合得到待测目标在地面坐标系中的预测坐标;
步骤620,计算待测目标的偏航角预测补偿值以及俯仰角预测补偿值,俯仰角预测补偿值为偏航角预测补偿值为其中Sp表示俯仰角比例系数,Sy表示偏航角比例系数,Px和Py表示步骤610中待测目标在地面坐标系中的预测坐标。
本发明同时还公开了一种云台视觉系统,包括:
图像采集模块,用于获取环境信息,得到视觉图像;
预处理模块,用于对所述视觉图像进行预处理操作;
识别模块,用于从所述视觉图像中识别待测目标;
第一坐标计算模块,用于建立相机坐标系,计算所述待测目标在所述相机坐标系中的三维坐标;
第一角度计算模块,用于根据所述待测目标在所述相机坐标系中的三维坐标,计算视觉控制角度,所述视觉控制角度包括待测目标相对于相机坐标系的偏航角和俯仰角;
第二坐标计算模块,用于建立地面坐标系,计算所述待测目标在所述地面坐标系中的三维坐标;
第二角度计算模块,用于根据所述待测目标在所述地面坐标系中的三维坐标,计算预测补偿角度,所述预测补偿角度包括待测目标的偏航角预测补偿值以及俯仰角预测补偿值;
控制模块,用于根据所述视觉控制角度以及所述预测补偿角度,利用基于模糊控制算法控制云台电机。
本发明的有益效果是:本技术方案在对云台电机进行控制时,参考了结合待测目标在所述地面坐标系中的三维坐标以及陀螺仪检测数据得到的待测目标的偏航角预测补偿值以及俯仰角预测补偿值,从而提高了运行系统响应的速度以及控制的精准度。
附图说明
下面结合附图和实施例对本发明做进一步的说明;
图1是本发明控制方法的流程示意图。
具体实施方式
本部分将详细描述本发明的具体实施例,本发明之较佳实施例在附图中示出,附图的作用在于用图形补充说明书文字部分的描述,使人能够直观地、形象地理解本发明的每个技术特征和整体技术方案,但其不能理解为对本发明保护范围的限制。
在本发明的描述中,需要理解的是,涉及到方位描述,例如上、下、前、后、左、右等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
在本发明的描述中,如果具有“若干”之类的词汇描述,其含义是一个或者多个,多个的含义是两个以上,大于、小于、超过等理解为不包括本数,以上、以下、以内等理解为包括本数。
本发明的描述中,除非另有明确的限定,设置、安装、连接等词语应做广义理解,所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。
参照图1,本申请公开了一种云台视觉系统的控制方法,其第一实施例,包括以下步骤:
步骤100,获取环境信息,得到视觉图像,并对所述视觉图像进行预处理;
步骤200,从所述视觉图像中识别待测目标;
步骤300,建立相机坐标系,计算所述待测目标在所述相机坐标系中的三维坐标;
步骤400,根据所述待测目标在所述相机坐标系中的三维坐标,计算视觉控制角度,所述视觉控制角度包括待测目标相对于相机坐标系的偏航角和俯仰角;
步骤500,建立地面坐标系,计算所述待测目标在所述地面坐标系中的三维坐标;
步骤600,根据所述待测目标在所述地面坐标系中的三维坐标,计算预测补偿角度,所述预测补偿角度包括待测目标的偏航角预测补偿值以及俯仰角预测补偿值;
步骤700,根据所述视觉控制角度以及所述预测补偿角度,对所述视觉控制角度以及所述预测补偿角度进行相加操作,并根据得到的数据,利用基于模糊控制算法控制云台电机。
具体地,本实施例中,在对云台电机进行控制时,参考了结合待测目标在所述地面坐标系中的三维坐标以及陀螺仪检测数据得到的待测目标的偏航角预测补偿值以及俯仰角预测补偿值,从而提高了运行系统响应的速度以及控制的精准度;另外本实施例采用了模糊控制算法对云台电机进行闭环控制,能够更进一步地提高对云台电机控制的精准度。
进一步作为优选的实施方式,本实施例所述步骤100中,对所述视觉图像进行预处理包括对所述视觉图像先后进行二值化处理、噪声滤除处理以及开运算处理。
进一步作为优选的实施方式,本实施例中所述步骤200包括对所述视觉图像进行边缘检测操作以及特征筛选操作,得到待测目标,并输出所述待测目标在所述视觉图像中的投影坐标。
进一步作为优选的实施方式,本实施例中,所述步骤300包括:
步骤310,根据所述待测目标在所述视觉图像中的投影坐标,通过公式计算旋转矩阵R3×3以及偏移向量t3×1,其中z表示缩放尺寸,表示待测目标在视觉图像中的投影坐标,表示内参矩阵,属于图像采集装置的固定参数,表示物体坐标系中的齐次坐标;
进一步作为优选的实施方式,本实施例中,所述步骤500包括:
步骤510,建立地面坐标系,读取陀螺仪的偏航角数值以及俯仰角数值;
进一步作为优选的实施方式,本实施例中,步骤600包括:
步骤610,利用最小二乘法二次拟合得到待测目标在地面坐标系中的预测坐标;
步骤620,计算待测目标的偏航角预测补偿值以及俯仰角预测补偿值,俯仰角预测补偿值为偏航角预测补偿值为其中Sp表示俯仰角比例系数,Sy表示偏航角比例系数,Px和Py表示步骤610中待测目标在地面坐标系中的预测坐标。
本申请同时还公开了一种云台视觉系统,其第一实施例,包括:
图像采集模块,用于获取环境信息,得到视觉图像;
预处理模块,用于对所述视觉图像进行预处理操作;
识别模块,用于从所述视觉图像中识别待测目标;
第一坐标计算模块,用于建立相机坐标系,计算所述待测目标在所述相机坐标系中的三维坐标;
第一角度计算模块,用于根据所述待测目标在所述相机坐标系中的三维坐标,计算视觉控制角度,所述视觉控制角度包括待测目标相对于相机坐标系的偏航角和俯仰角;
第二坐标计算模块,用于建立地面坐标系,计算所述待测目标在所述地面坐标系中的三维坐标;
第二角度计算模块,用于根据所述待测目标在所述地面坐标系中的三维坐标,计算预测补偿角度,所述预测补偿角度包括待测目标的偏航角预测补偿值以及俯仰角预测补偿值;
控制模块,用于根据所述视觉控制角度以及所述预测补偿角度,利用基于模糊控制算法控制云台电机。
以上对本发明的较佳实施方式进行了具体说明,但本发明创造并不限于所述实施例,熟悉本领域的技术人员在不违背本发明精神的前提下还可作出种种的等同变型或替换,这些等同的变型或替换均包含在本申请权利要求所限定的范围内。
Claims (8)
1.一种云台视觉系统的控制方法,其特征在于:包括以下步骤:
步骤100,获取环境信息,得到视觉图像,并对所述视觉图像进行预处理;
步骤200,从所述视觉图像中识别待测目标;
步骤300,建立相机坐标系,计算所述待测目标在所述相机坐标系中的三维坐标;
步骤400,根据所述待测目标在所述相机坐标系中的三维坐标,计算视觉控制角度,所述视觉控制角度包括待测目标相对于相机坐标系的偏航角和俯仰角;
步骤500,建立地面坐标系,计算所述待测目标在所述地面坐标系中的三维坐标;
步骤600,根据所述待测目标在所述地面坐标系中的三维坐标,计算预测补偿角度,所述预测补偿角度包括待测目标的偏航角预测补偿值以及俯仰角预测补偿值;
步骤700,根据所述视觉控制角度以及所述预测补偿角度,利用基于模糊控制算法控制云台电机。
2.根据权利要求1所述的一种云台视觉系统的控制方法,其特征在于:所述步骤100中,对所述视觉图像进行预处理包括对所述视觉图像先后进行二值化处理、噪声滤除处理以及开运算处理。
3.根据权利要求2所述的一种云台视觉系统的控制方法,其特征在于:所述步骤200包括对所述视觉图像进行边缘检测操作以及特征筛选操作,得到待测目标,并输出所述待测目标在所述视觉图像中的投影坐标。
8.一种云台视觉系统,其特征在于:包括:
图像采集模块,用于获取环境信息,得到视觉图像;
预处理模块,用于对所述视觉图像进行预处理操作;
识别模块,用于从所述视觉图像中识别待测目标;
第一坐标计算模块,用于建立相机坐标系,计算所述待测目标在所述相机坐标系中的三维坐标;
第一角度计算模块,用于根据所述待测目标在所述相机坐标系中的三维坐标,计算视觉控制角度,所述视觉控制角度包括待测目标相对于相机坐标系的偏航角和俯仰角;
第二坐标计算模块,用于建立地面坐标系,计算所述待测目标在所述地面坐标系中的三维坐标;
第二角度计算模块,用于根据所述待测目标在所述地面坐标系中的三维坐标,计算预测补偿角度,所述预测补偿角度包括待测目标的偏航角预测补偿值以及俯仰角预测补偿值;
控制模块,用于根据所述视觉控制角度以及所述预测补偿角度,利用基于模糊控制算法控制云台电机。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010128998.9A CN111273701B (zh) | 2020-02-28 | 2020-02-28 | 一种云台视觉控制系统以及控制方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010128998.9A CN111273701B (zh) | 2020-02-28 | 2020-02-28 | 一种云台视觉控制系统以及控制方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111273701A true CN111273701A (zh) | 2020-06-12 |
CN111273701B CN111273701B (zh) | 2023-10-31 |
Family
ID=71000426
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010128998.9A Active CN111273701B (zh) | 2020-02-28 | 2020-02-28 | 一种云台视觉控制系统以及控制方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111273701B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112949478A (zh) * | 2021-03-01 | 2021-06-11 | 浙江国自机器人技术股份有限公司 | 基于云台相机的目标检测方法 |
CN113489970A (zh) * | 2021-06-30 | 2021-10-08 | 浙江大华技术股份有限公司 | 云台相机的校正方法和装置、存储介质及电子装置 |
CN115474895A (zh) * | 2022-09-29 | 2022-12-16 | 山东探微医疗技术有限公司 | 一种oct眼底成像装置及方法 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080050042A1 (en) * | 2006-05-31 | 2008-02-28 | Zhang Guangjun | Hardware-in-the-loop simulation system and method for computer vision |
WO2018076977A1 (zh) * | 2016-10-27 | 2018-05-03 | 南京阿凡达机器人科技有限公司 | 一种基于单目机器视觉的身高测量方法 |
CN109084724A (zh) * | 2018-07-06 | 2018-12-25 | 西安理工大学 | 一种基于双目视觉的深度学习障碍物测距方法 |
CN109389650A (zh) * | 2018-09-30 | 2019-02-26 | 京东方科技集团股份有限公司 | 一种车载相机的标定方法、装置、车辆和存储介质 |
CN109753076A (zh) * | 2017-11-03 | 2019-05-14 | 南京奇蛙智能科技有限公司 | 一种无人机视觉追踪实现方法 |
CN110296691A (zh) * | 2019-06-28 | 2019-10-01 | 上海大学 | 融合imu标定的双目立体视觉测量方法与系统 |
US20190378294A1 (en) * | 2017-02-23 | 2019-12-12 | Hangzhou Hikvision Digital Technology Co., Ltd. | Stereo camera and height acquisition method thereof and height acquisition system |
CN110622091A (zh) * | 2018-03-28 | 2019-12-27 | 深圳市大疆创新科技有限公司 | 云台的控制方法、装置、系统、计算机存储介质及无人机 |
CN110648367A (zh) * | 2019-08-15 | 2020-01-03 | 大连理工江苏研究院有限公司 | 一种基于多层深度与彩色视觉信息的几何体目标定位方法 |
-
2020
- 2020-02-28 CN CN202010128998.9A patent/CN111273701B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080050042A1 (en) * | 2006-05-31 | 2008-02-28 | Zhang Guangjun | Hardware-in-the-loop simulation system and method for computer vision |
WO2018076977A1 (zh) * | 2016-10-27 | 2018-05-03 | 南京阿凡达机器人科技有限公司 | 一种基于单目机器视觉的身高测量方法 |
US20190378294A1 (en) * | 2017-02-23 | 2019-12-12 | Hangzhou Hikvision Digital Technology Co., Ltd. | Stereo camera and height acquisition method thereof and height acquisition system |
CN109753076A (zh) * | 2017-11-03 | 2019-05-14 | 南京奇蛙智能科技有限公司 | 一种无人机视觉追踪实现方法 |
CN110622091A (zh) * | 2018-03-28 | 2019-12-27 | 深圳市大疆创新科技有限公司 | 云台的控制方法、装置、系统、计算机存储介质及无人机 |
CN109084724A (zh) * | 2018-07-06 | 2018-12-25 | 西安理工大学 | 一种基于双目视觉的深度学习障碍物测距方法 |
CN109389650A (zh) * | 2018-09-30 | 2019-02-26 | 京东方科技集团股份有限公司 | 一种车载相机的标定方法、装置、车辆和存储介质 |
CN110296691A (zh) * | 2019-06-28 | 2019-10-01 | 上海大学 | 融合imu标定的双目立体视觉测量方法与系统 |
CN110648367A (zh) * | 2019-08-15 | 2020-01-03 | 大连理工江苏研究院有限公司 | 一种基于多层深度与彩色视觉信息的几何体目标定位方法 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112949478A (zh) * | 2021-03-01 | 2021-06-11 | 浙江国自机器人技术股份有限公司 | 基于云台相机的目标检测方法 |
CN113489970A (zh) * | 2021-06-30 | 2021-10-08 | 浙江大华技术股份有限公司 | 云台相机的校正方法和装置、存储介质及电子装置 |
CN115474895A (zh) * | 2022-09-29 | 2022-12-16 | 山东探微医疗技术有限公司 | 一种oct眼底成像装置及方法 |
CN115474895B (zh) * | 2022-09-29 | 2024-05-28 | 山东探微医疗技术有限公司 | 一种oct眼底成像装置及方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111273701B (zh) | 2023-10-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108932736B (zh) | 二维激光雷达点云数据处理方法以及动态机器人位姿校准方法 | |
CN112734852B (zh) | 一种机器人建图方法、装置及计算设备 | |
CN108885791B (zh) | 地面检测方法、相关装置及计算机可读存储介质 | |
CN109345593B (zh) | 一种摄像机姿态的检测方法及装置 | |
CN103065323B (zh) | 一种基于单应性变换矩阵的分段空间对准方法 | |
CN111273701A (zh) | 一种云台视觉控制系统以及控制方法 | |
CN111598952B (zh) | 一种多尺度合作靶标设计与在线检测识别方法及系统 | |
CN112132874A (zh) | 无标定板异源图像配准方法、装置、电子设备及存储介质 | |
CN114022560A (zh) | 标定方法及相关装置、设备 | |
CN114325634A (zh) | 一种基于激光雷达的高鲁棒性野外环境下可通行区域提取方法 | |
Wang et al. | Autonomous landing of multi-rotors UAV with monocular gimbaled camera on moving vehicle | |
CN111964680A (zh) | 一种巡检机器人的实时定位方法 | |
CN110992424A (zh) | 基于双目视觉的定位方法和系统 | |
CN113838125A (zh) | 目标位置确定方法、装置、电子设备以及存储介质 | |
CN114972421A (zh) | 车间物料识别追踪与定位方法、系统 | |
CN110070581A (zh) | 双视野定位方法、装置及系统 | |
CN107767366B (zh) | 一种输电线路拟合方法及装置 | |
CN113378701A (zh) | 一种基于无人机的地面多agv状态监测方法 | |
CN112396634A (zh) | 运动目标检测方法、装置、车辆及存储介质 | |
CN111402324B (zh) | 一种目标测量方法、电子设备以及计算机存储介质 | |
Duan et al. | Image digital zoom based single target apriltag recognition algorithm in large scale changes on the distance | |
CN113610001B (zh) | 基于深度相机和imu组合的室内移动终端定位方法 | |
US12002371B2 (en) | Neuromorphic cameras for aircraft | |
KR20230044785A (ko) | 자율주행 기반 무허가 주정차 차량 단속 시스템 | |
CN112862865A (zh) | 水下机器人的检测识别方法、装置和计算机存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |