CN112508995A - 一种基于tof相机的煤流量实时动态计量方法 - Google Patents

一种基于tof相机的煤流量实时动态计量方法 Download PDF

Info

Publication number
CN112508995A
CN112508995A CN202011415182.0A CN202011415182A CN112508995A CN 112508995 A CN112508995 A CN 112508995A CN 202011415182 A CN202011415182 A CN 202011415182A CN 112508995 A CN112508995 A CN 112508995A
Authority
CN
China
Prior art keywords
tof camera
image
coal flow
real
coal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011415182.0A
Other languages
English (en)
Other versions
CN112508995B (zh
Inventor
乔铁柱
汪心悦
张海涛
杨毅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Taiyuan University of Technology
Original Assignee
Taiyuan University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Taiyuan University of Technology filed Critical Taiyuan University of Technology
Priority to CN202011415182.0A priority Critical patent/CN112508995B/zh
Publication of CN112508995A publication Critical patent/CN112508995A/zh
Application granted granted Critical
Publication of CN112508995B publication Critical patent/CN112508995B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • G06T7/238—Analysis of motion using block-matching using non-full search, e.g. three-step search
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20032—Median filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及无损检测技术领域，尤其涉及一种基于TOF相机的煤流量实时动态计量方法，包括：对TOF相机进行标定和畸变校正；使用TOF相机按照一定的帧率同时采集输送带上煤料的深度图像和强度图像；对采集到的当前帧的深度图像和强度图像进行预处理；获取高精度深度图像；利用当前帧的高精度深度图计算实时煤流量；本发明提供的基于TOF相机的煤流量实时动态计量方法，根据当前帧高精度深度图计算实时动态煤流量；本发明方法只需要使用当前帧获取的像素信息，延迟小、计算速度快，可以满足高实时性和高准确性的要求。

Description

一种基于TOF相机的煤流量实时动态计量方法
技术领域
本发明涉及无损检测技术领域，尤其涉及一种基于TOF相机的煤流量实时动态计量方法。
背景技术
在煤矿采集过程中，煤料的输送主要依靠输送带运输，由于输送距离较长，以及煤矿的特殊生产条件，使得同一时间段内煤料运输量不均匀，导致输送带在负载较轻或无负载的状态下长时间运行，不仅造成额外的电能浪费，而且也缩短了设备使用寿命，增加煤炭运输的成本。因此，输送带的煤流量检测问题十分重要。
现有的基于图像信息采集的检测方法受到地下环境能见度低的影响导致检测结果准确率不够高，实时性不够强，仍然存在缺陷，需要改进。
发明内容
本发明克服了现有技术的不足，提出一种基于TOF相机的煤流量实时动态计量方法。用于在矿井下环境能见度不足的条件下精确检测实时动态的煤流量。
为了达到上述目的，本发明是通过如下技术方案实现的。
一种基于TOF相机的煤流量实时动态计量方法，包括以下步骤：
S1：使用TOF相机按照一定的帧率同时采集输送带上煤料的深度图像和强度图像。
S2：对采集到的当前帧的深度图像和强度图像进行预处理。
S3：利用当前帧强度图和深度图来获取高精度深度图像。
S4：利用当前帧的高精度深度图计算实时煤流量，计算实时煤流量的步骤包括：
S41：利用转化函数，将深度图像中的各个像素的深度数据转化为景深数据，每个像素点代表的是深度图中各个像素到TOF相机平面的垂直距离。
S42：输送带宽度为H、设当前帧所拍实际区域的长度为M，则当前图像覆盖的煤料有效区域底面积S：S＝H×M。
S43：当前图像所覆盖区域的煤料体积V为：
Figure BDA0002817671300000011
其中hi(i＝1,2,…,n)为当前帧高精度深度图F与空载时的高精度深度图Fk使用帧差法逐像素求取的差值。
S44：将TOF相机每两帧图像之间的时间段内煤流量视为匀速，当前帧所测得的煤流量G为：
Figure BDA0002817671300000021
S45：在(t0,t1)时间段内通过TOF相机采集区域的煤流量总体积
Figure BDA0002817671300000022
其中Gt为t时刻TOF相机采集的图像帧所测得的煤流量。
优选的，所述步骤S1具体包括以下步骤：
S11：以TOF相机为原点根据右手定则设立三维坐标系，设垂直向下的方向为Z轴正方向，输送带运动的方向为X轴正方向；将TOF相机安装在传送带上方，拍摄方向垂直于传送带，TOF相机距离输送带的垂直距离h满足：
Figure BDA0002817671300000023
其中T为TOF相机的测距范围，H为输送带的宽度，β为TOF相机在Y轴方向的视场范围，hw为输送带上煤料的最高高度。
S12：由中央控制单元控制相机的开启关闭以及相机拍摄的帧率f，满足
Figure BDA0002817671300000024
其中v为输送带当前运行的速度，α为TOF相机在X轴方向的视场范围；相机开启拍摄后按照预设好的帧率f同时采集深度图像和强度图像并将图像传送到图像处理单元。
进一步的，在步骤S1之前对TOF相机进行标定和畸变校正。
本发明相对于现有技术所产生的有益效果为。
本发明提供的基于TOF相机的煤流量实时动态计量方法，根据当前帧高精度深度图计算实时动态煤流量；发明方法只需要使用当前帧获取的像素信息，延迟小、计算速度快，可以满足高实时性和高准确性的要求。
1、本发明方法使用基于TOF相机的煤流量实时动态计量方法属于无损检测方法，能在不接触输送带且不妨碍煤矿运输的情况下获取实时动态的煤流量信息，能更好的为后续煤量统计、输送带速度控制和煤矿采集提供更及时准确的信息。
2、本发明方法中的TOF相机与传统的相机比不仅能获取二维图像信息，还能同时获取三维的深度信息，能在更短的时间获取更多信息，比传统相机处理速度快处理结果准确。
3、本发明方法中的TOF相机检测属于主动光检测，能降低背景光影响，在矿下昏暗环境下仍能采集质量较高的深度图像。
4、本发明方法中图像精度的提升以及实时动态煤流量的计量方法只需要当前帧获取的信息，延迟小、计算速度快、准确性高，可以满足高实时性的要求。
5、本发明可以实现二十四小时实时动态监测，有效减少人工成本提高检测的有效性和可靠性。
附图说明
图1为本发明基于TOF相机的煤流量实时动态计量方法的基本流程图；
图2为本发明基于TOF相机的煤流量实时动态计量方法的实现原理图。
图中：1为输送带上表面、2为煤料、3为TOF相机、4为图像处理模块、5为数据存储模块、6为中央处理单元。
具体实施方式
为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白，结合实施例和附图，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。下面结合实施例及附图详细说明本发明的技术方案，但保护范围不被此限制。
如图1所示，本发明实施例提供一种基于TOF相机的煤流量实时动态计量方法的基本流程图，动态计量方法的步骤包括：
S1：对TOF相机进行标定和畸变校正；
S2：使用TOF相机按照一定的帧率同时采集输送带上煤料的深度图像和强度图像；
S3：对采集到的当前帧的深度图像和强度图像进行预处理；
S4：利用当前帧强度图和深度图来获取高精度深度图像；
S5：利用当前帧的高精度深度图计算实时煤流量。
其中，步骤S1对TOF相机进行标定和畸变校正，包括：
S11：使用张正友标定法对TOF相机进行标定，对标定板从多个方向进行拍摄，得到多组照片，采用最大似然估计建立非线性最小化模型求最优解；
S12：使用镜头径向畸变模型对TOF相机进行畸变矫正。
步骤S2使用TOF相机按照一定的帧率同时采集输送带上煤料的深度图像和强度图像，包括步骤：
S21：以TOF相机为原点根据右手定则设立三维坐标系，设垂直向下的方向为Z轴正方向，输送带运动的方向为X轴正方向；将TOF相机安装在传送带上方，拍摄方向垂直于传送带，TOF相机距离输送带的垂直距离h满足：
Figure BDA0002817671300000031
其中T为TOF相机的测距范围，H为输送带的宽度，β为TOF相机在Y轴方向的视场范围，hw为输送带上煤料的最高高度。
S22：由中央控制单元控制相机的开启关闭以及相机拍摄的帧率f，满足
Figure BDA0002817671300000032
其中v为输送带当前运行的速度，α为TOF相机在X轴方向的视场范围；相机开启拍摄后按照预设好的帧率f同时采集深度图像和强度图像并将图像传送到图像处理单元。
其中，步骤S3对采集到的当前帧的深度图像和强度图像进行预处理，包括步骤：
S31：使用快速中值滤波法对深度图像和强度图像进行去噪；
S32：使用边缘检测Sobel算法对深度图像和强度图像检测边缘，选择输送带内相同的区域。
其中，步骤S4获取高精度深度图像，具体包括：在当前帧深度图像所对应的强度图像中强度在预定范围外的区域，将深度图像以该区域中心向八个方向依次搜索直到当前方向搜到有效值后搜索下一个方向，每个方向都获得有效值之后计算加权平均值作为空洞像素的深度值，权重系数为有效值距离空洞的欧式距离。
其中，步骤S5利用当前帧的高精度深度图计算实时煤流量，具体包括以下步骤：
S51：利用转化函数，将深度图像中的各个像素的深度数据转化为景深数据，每个像素点代表的是深度图中各个像素到TOF相机平面的垂直距离。
S52：输送带宽度为H、设当前帧所拍实际区域的长度为M，则当前图像覆盖的煤料有效区域底面积S：S＝H×M。
S53：当前图像所覆盖区域的煤料体积V为：
Figure BDA0002817671300000041
其中hi(i＝1,2,…,n)为当前帧高精度深度图F与空载时的高精度深度图Fk使用帧差法逐像素求取的差值。
S54：由于输送带在实际工作中的速度不会变化太快，因此TOF相机每两帧图像之间的时间段内可以看作匀速，则获得当前帧所测得的煤流量G为：
Figure BDA0002817671300000042
该式展开后的结果与当前帧所拍实际区域的长度M无关，仅与当前帧的高精度深度图的深度值有关，因此所测实时动态煤流量的值省去了求当前帧所拍实际区域的长度M的过程，加快了计算速度，增加了结果的精度和准确度。
S55：在(t0,t1)时间段内通过TOF相机采集区域的煤流量总体积
Figure BDA0002817671300000043
其中Gt为t时刻TOF相机采集的图像帧所测得的煤流量。
S56：在实时动态煤流量G过高或过低时进行报警提示。
如图2所示，为本发明实施例提供的一种基于TOF相机的煤流量实时动态计量方法的实现原理图，如图所示，TOF相机3设置于输送带上表面1的正上方，摄像头正对着输送带上表面，用于对输送带上的煤料2进行检测，在输送带运输过程中，TOF相机3会按照中央处理单元6预定好的帧率f持续不断地对输送带上表面特定区域进行深度图像和强度图像的采集，采集到的图像在图像处理模块4中被进一步处理，处理好的图像传送到数据存储模块5进行存储，中央处理模块6将实时的图像进行计算，用于计算实时煤流量，将计算结果传送到数据存储模块5进行存储，同时显示实时煤流量或进行报警提示。
图像处理模块4对采集到的当前帧的深度图像和强度图像进行预处理，进一步,获取高精度深度图像，包括：使用快速中值滤波法对深度图像和强度图像进行去噪；使用边缘检测Sobel算法对深度图像和强度图像检测边缘，选择输送带内相同的区域；在当前帧深度图像所对应的强度图像中强度在预定范围外的区域，将深度图像以该区域中心向八个方向依次搜索直到当前方向搜到有效值后搜索下一个方向，每个方向都获得有效值之后计算加权平均值作为空洞像素的深度值，权重系数为有效值距离空洞的欧式距离。
数据存储模块5用于存储图像处理模块4处理后的图像以及中央处理模块6的计算结果和报警提示。
中央处理模块6对TOF相机3进行图像采集帧率设置以及相机启动关闭的控制；将实时的图像进行计算，用于计算和显示实时煤流量G和任意指定时间段内经过TOF相机采集区域的煤料总体积V总，将计算结果传送到数据存储模块5进行存储；显示TOF相机3相机当前的工作状态，并且在实时煤流量过高或过低时进行报警提示。
以上内容是结合具体的优选实施方式对本发明所做的进一步详细说明，不能认定本发明的具体实施方式仅限于此，对于本发明所属技术领域的普通技术人员来说，在不脱离本发明的前提下，还可以做出若干简单的推演或替换，都应当视为属于本发明由所提交的权利要求书确定专利保护范围。

Claims (3)

1.一种基于TOF相机的煤流量实时动态计量方法，其特征在于，包括以下步骤：
S1：使用TOF相机按照一定的帧率同时采集输送带上煤料的深度图像和强度图像；
S2：对采集到的当前帧的深度图像和强度图像进行预处理；
S3：利用当前帧强度图和深度图来获取高精度深度图像；
S4：利用当前帧的高精度深度图计算实时煤流量，计算实时煤流量的步骤包括：
S41：利用转化函数，将深度图像中的各个像素的深度数据转化为景深数据，每个像素点代表的是深度图中各个像素到TOF相机平面的垂直距离；
S42：输送带宽度为H、设当前帧所拍实际区域的长度为M，则当前图像覆盖的煤料有效区域底面积S：S＝H×M；
S43：当前图像所覆盖区域的煤料体积V为：
Figure FDA0002817671290000011
其中hi(i＝1，2，...，n)为当前帧高精度深度图F与空载时的高精度深度图Fk使用帧差法逐像素求取的差值；
S44：将TOF相机每两帧图像之间的时间段内煤流量视为匀速，当前帧所测得的煤流量G为：
Figure FDA0002817671290000012
S45：在(t0，t1)时间段内通过TOF相机采集区域的煤流量总体积
Figure FDA0002817671290000013
其中Gt为t时刻TOF相机采集的图像帧所测得的煤流量。
2.根据权利要求1所述的一种基于TOF相机的煤流量实时动态计量方法，其特征在于，所述步骤S1具体包括以下步骤：
S11：以TOF相机为原点根据右手定则设立三维坐标系，设垂直向下的方向为Z轴正方向，输送带运动的方向为X轴正方向；将TOF相机安装在传送带上方，拍摄方向垂直于传送带，TOF相机距离输送带的垂直距离h满足：
Figure FDA0002817671290000014
其中T为TOF相机的测距范围，H为输送带的宽度，β为TOF相机在Y轴方向的视场范围，hw为输送带上煤料的最高高度；
S12：由中央控制单元控制相机的开启关闭以及相机拍摄的帧率f，满足
Figure FDA0002817671290000015
其中v为输送带当前运行的速度，α为TOF相机在X轴方向的视场范围；相机开启拍摄后按照预设好的帧率f同时采集深度图像和强度图像并将图像传送到图像处理单元。
3.根据权利要求1所述的一种基于TOF相机的煤流量实时动态计量方法，其特征在于：在步骤S1之前对TOF相机进行标定和畸变校正。
CN202011415182.0A 2020-12-04 2020-12-04 一种基于tof相机的煤流量实时动态计量方法 Active CN112508995B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011415182.0A CN112508995B (zh) 2020-12-04 2020-12-04 一种基于tof相机的煤流量实时动态计量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011415182.0A CN112508995B (zh) 2020-12-04 2020-12-04 一种基于tof相机的煤流量实时动态计量方法

Publications (2)

Publication Number Publication Date
CN112508995A true CN112508995A (zh) 2021-03-16
CN112508995B CN112508995B (zh) 2023-07-07

Family

ID=74970599

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011415182.0A Active CN112508995B (zh) 2020-12-04 2020-12-04 一种基于tof相机的煤流量实时动态计量方法

Country Status (1)

Country Link
CN (1) CN112508995B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113686878A (zh) * 2021-09-03 2021-11-23 太原理工大学 一种特钢棒材表面缺陷多级联合检测方法及系统
CN114684568A (zh) * 2022-04-29 2022-07-01 天地（常州）自动化股份有限公司 一种煤流速度和煤流量的测量系统及其测量方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1584494A (zh) * 2004-06-07 2005-02-23 上海电力学院 基于三维图像分析计算传输流量的方法和装置
CN109903241A (zh) * 2019-01-31 2019-06-18 武汉市聚芯微电子有限责任公司 一种tof相机系统的深度图像校准方法及系统
CN110930411A (zh) * 2019-11-20 2020-03-27 杭州光珀智能科技有限公司 一种基于深度相机的人体分割方法及系统
US20200193623A1 (en) * 2018-12-18 2020-06-18 Samsung Electronics Co., Ltd. Method and apparatus for calculating depth map

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1584494A (zh) * 2004-06-07 2005-02-23 上海电力学院 基于三维图像分析计算传输流量的方法和装置
US20200193623A1 (en) * 2018-12-18 2020-06-18 Samsung Electronics Co., Ltd. Method and apparatus for calculating depth map
CN109903241A (zh) * 2019-01-31 2019-06-18 武汉市聚芯微电子有限责任公司 一种tof相机系统的深度图像校准方法及系统
CN110930411A (zh) * 2019-11-20 2020-03-27 杭州光珀智能科技有限公司 一种基于深度相机的人体分割方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
刘娇丽;李素梅;李永达;刘富岩;: "基于TOF与立体匹配相融合的高分辨率深度获取", 信息技术, no. 12 *
王宗省;管振栋;张欣;康树强;: "基于图像处理的输送带煤量动态计量研究", 煤炭工程, no. 08 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113686878A (zh) * 2021-09-03 2021-11-23 太原理工大学 一种特钢棒材表面缺陷多级联合检测方法及系统
CN113686878B (zh) * 2021-09-03 2024-02-09 太原理工大学 一种特钢棒材表面缺陷多级联合检测方法及系统
CN114684568A (zh) * 2022-04-29 2022-07-01 天地（常州）自动化股份有限公司 一种煤流速度和煤流量的测量系统及其测量方法

Also Published As

Publication number Publication date
CN112508995B (zh) 2023-07-07

Similar Documents

Publication Publication Date Title
CN109969736B (zh) 一种大型运载皮带跑偏故障智能检测方法
CN109489566B (zh) 锂电池隔膜材料分切宽度检测方法、检测系统及装置
CN111288967B (zh) 一种基于机器视觉的远距离高精度位移检测方法
CN102538705B (zh) 基于二次投影算法的在线非接触式中厚板轮廓检测系统及方法
CN112508995A (zh) 一种基于tof相机的煤流量实时动态计量方法
CN106978774B (zh) 一种路面坑槽自动检测方法
CN107064169A (zh) 一种桥梁裂缝检测装置及检测方法
CN102680481B (zh) 棉纤维杂质的检测方法
CN111604916B (zh) 一种机房it设备故障机柜u位定位系统及方法
CN208505241U (zh) 一种轧钢板宽度的测量机构
CN113375566B (zh) 物体尺寸的精确测量方法及系统
CN103913149A (zh) 一种基于stm32单片机的双目测距系统及其测距方法
CN108960070A (zh) 一种水位高程检测系统及其方法
CN110334583A (zh) 一种小区域土壤植被覆盖率测量方法、装置及电子设备
CN113188633A (zh) 一种基于机器视觉的液面检测和测量方法
CN112945323A (zh) 一种上煤流量检测方法
CN115078382A (zh) 基于视频图像的桥梁裂缝监测系统
CN113607058B (zh) 一种基于机器视觉的直刃刀尺寸检测方法及系统
CN112595266B (zh) 一种用于管道检测的缺陷面积计算方法及系统
CN112258398B (zh) 基于tof与双目图像融合的输送带纵向撕裂检测装置与方法
CN108550144B (zh) 基于灰度信度的激光光条序列图像质量评价方法
CN114782561B (zh) 基于大数据的智慧农业云平台监控系统
CN115546072A (zh) 一种图像畸变矫正方法
CN114841929A (zh) 一种基于机器视觉的板宽检测方法
CN102937592A (zh) 陶瓷天线罩气孔及材质疏松缺陷自动检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant