CN117197246A - 一种基于三维点云与双目视觉的人形机器人位置确认方法 - Google Patents

一种基于三维点云与双目视觉的人形机器人位置确认方法 Download PDF

Info

Publication number
CN117197246A
CN117197246A CN202311464476.6A CN202311464476A CN117197246A CN 117197246 A CN117197246 A CN 117197246A CN 202311464476 A CN202311464476 A CN 202311464476A CN 117197246 A CN117197246 A CN 117197246A
Authority
CN
China
Prior art keywords
point cloud
coordinate system
coordinates
objects
humanoid robot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311464476.6A
Other languages
English (en)
Other versions
CN117197246B (zh
Inventor
郭龙涛
贺亮
孙浩
马金达
马延
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Yunmu Zhizao Technology Co ltd
Original Assignee
Jiangsu Yunmu Zhizao Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Yunmu Zhizao Technology Co ltd filed Critical Jiangsu Yunmu Zhizao Technology Co ltd
Priority to CN202311464476.6A priority Critical patent/CN117197246B/zh
Publication of CN117197246A publication Critical patent/CN117197246A/zh
Application granted granted Critical
Publication of CN117197246B publication Critical patent/CN117197246B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

一种基于三维点云与双目视觉的人形机器人位置确认方法,包括如下步骤:S1:输入场景重建三维点云;S2:进行点云分割,计算场景内所有物体在点云坐标系下的坐标;S3:根据场景的尺寸,计算物体在现实空间坐标系下的坐标;S4:场景内的物体与点云中的物体一一对应,人形机器人通过物体识别,与点云坐标系下的物体进行对应,得到识别到的物体的现实空间坐标系下的坐标后,得出人形机器人自身的坐标,实现人形机器人自身以及场景所有物体的位置确认。本发明所述的一种基于三维点云与双目视觉的人形机器人位置确认方法,在人形机器人只配备了深度相机的情况下,无需任何传感器,可以实现对视野范围内外整个场景的信息以及自身位置信息的确认。

Description

一种基于三维点云与双目视觉的人形机器人位置确认方法
技术领域
本发明属于机器人位置确认技术领域,具体涉及一种基于三维点云与双目视觉的人形机器人位置确认方法。
背景技术
随着人工智能的发展,学术界以及业界对人形机器人的研究也开始兴起,人形机器人对于周围物体以及自身的位置确认则是其中的一个重点研究问题。现有技术中的人形机器人位置确认技术较为常用的有SLAM、GPS定位、激光雷达扫描或者纯视觉的方法等等。
其中,SLAM与GPS定位都需要用到额外的硬件,例如在SLAM中,需要用到激光雷、惯性传感器等等,这些有助于确认环境的深度信息以及机器人自身的位置,朝向信息等。GPS定位同样要使用到定位器等额外硬件。由于SLAM与GPS定位这两个方法都需要用到额外的硬件,因此,在小场景下,例如在家庭环境,SLAM、GPS要做到高精度的定位是一件很难得事情,在消费者的角度来说,给家用机器人配备一个高精度的定位硬件会加大自身的价格。
此外,通过视觉视像头的方法则只能获得视觉范围内的信息,无法获得视觉范围外的信息。结构光构建法在随着距离的增加会出现结构光逐渐稀疏的问题。
因此,本发明的目的是提供一种基于三维点云与双目视觉的人形机器人位置确认方法,不需要其余的硬件,例如 GPS 定位器、激光雷达等,也不需要人工干预,通过三维点云结合双目视觉,实现人形机器人对环境视野范围内外整个场景的信息以及自身位置信息的确认。
发明内容
发明目的:为了克服以上不足,本发明的目的是提供一种基于三维点云与双目视觉的人形机器人位置确认方法,设计合理,在人形机器人只配备了深度相机的情况下,无需增加任何传感器,通过三维点云结合双目视觉,可以实现对视野范围内外整个场景的信息以及自身位置信息的确认,应用前景广泛。
本发明的目的是通过以下技术方案实现的:
一种基于三维点云与双目视觉的人形机器人位置确认方法,包括如下步骤:
S1:输入场景重建三维点云;
S2:进行点云分割,计算场景内所有物体在点云坐标系下的坐标;
S3:根据场景的尺寸,计算物体在现实空间坐标系下的坐标;
S4:场景内的物体与点云中的物体一一对应,人形机器人通过物体识别,与点云坐标系下的物体进行对应,得到识别到的物体的现实空间坐标系下的坐标后,得出人形机器人自身的坐标,从而实现人形机器人自身以及场景所有物体的位置确认。
进一步的,上述的一种基于三维点云与双目视觉的人形机器人位置确认方法,所述步骤S1,具体包括如下内容:输入场景,对整个场景进行三维重建,得到场景的重建点云后,对点云坐标系进行修正,点云坐标系地面将地面平铺于x、y轴平面,整个场景均位于点云坐标系z轴正方向;现实空间坐标系地面同样将地面平铺于x、y轴平面,整个场景均位于现实空间坐标系z轴正方向。
优选的,为了方便后续计算,点云坐标系与现实空间坐标系的坐标原点位于地面的几何中心,点云坐标系的x轴最大坐标值为正负1,其余两条坐标轴按场景比例进行换算。
对整个场景进行三维重建,可以采用以下方法,步骤如下:
(1)拍摄照片:在场景中拍摄一系列照片,这些照片应该从不同角度拍摄,以捕捉到场景中的多个视角;
(2)位姿计算:对上述照片进行位姿计算;位姿计算是为了确定相机在拍摄过程中的位置和方向,通过计算相机的位姿,可以得出每张照片对应的相机位置和方向;
(3)NERF算法重建:通过上述照片获得位姿信息,采用NERF算法来重建三维点云;NERF算法利用神经网络模型,通过学习输入的拍摄照片和与之对应的相机位姿,来生成场景中每个点的几何信息和颜色信息。通过采用NERF算法,该算法利用位姿计算和拍摄照片,实现了对场景的三维点云重建。
进一步的,上述的一种基于三维点云与双目视觉的人形机器人位置确认方法,所述步骤S2,具体包括如下内容:在z轴正方向看向z轴负方向,即俯视情况下,对点云进行分割后,得出了每一个物体的点集;此时通过物体的点集计算物体在点云坐标系下的几何中心,使用几何中心来表示物体在点云坐标系下的坐标;为物体的点集,/>为物体的几何中心,/>的计算方式为:
原始数据为三维点云,坐标形为也可计算z轴的几何分量,
进一步的,上述的一种基于三维点云与双目视觉的人形机器人位置确认方法,所述步骤S3,在人形机器人配备深度相机的情况下,通过现实世界物体与点云坐标系下的物体的对应关系,计算出现实世界的尺寸,即计算出场景的尺寸。
进一步的,上述的一种基于三维点云与双目视觉的人形机器人位置确认方法,所述场景的尺寸,计算方式如下:
S3(1.1):在深度相机得出的深度空间里,设两个物体的坐标分别为,则两个物体与人形机器人的深度相机双目连成线段的夹角θ的计算方式为:
S3(1.2):计算两个物体之间的距离,/>、/>分别为人形机器人的深度相机双目测得人形机器人头部与两个物体之间的距离,计算方式为:
S3(1.3):由于为三维空间距离,此时需要去掉z轴对于/>的影响,将其转换为俯视情况下的二维距离/>
S3(1.4):根据,计算场景的尺寸/>、/>,/>为现实世界在x轴方向的尺寸,/>为现实世界在y轴方向的尺寸,所有的物体置于x、y轴所形成的二维坐标系下,/>为所述二维坐标系下两个物体坐标连成线段与x轴之间的夹角,/>、/>分别为点云坐标系下两个物体的俯视坐标,则/>的计算方式为:
设点云坐标系里x轴坐标最大值为、最小值为/>和y轴坐标最大值为/>、最小值为/>,则/>的计算方式为:
进一步的,上述的一种基于三维点云与双目视觉的人形机器人位置确认方法,所述步骤S3,通过点云坐标系下物体的坐标计算现实空间坐标系下的物体的坐标,其中,为物体的几何中心,即物体在点云坐标系下的坐标,/>为物体在现实空间坐标系下的坐标,/>的计算方式为:
其中,为点云坐标系下的坐标到现实空间坐标系下的坐标的换算系数,/>的计算方式为:
进一步的,上述的一种基于三维点云与双目视觉的人形机器人位置确认方法,所述步骤S4,计算人形机器人自身在现实空间坐标系下的坐标,/>、/>分别为现实空间坐标系下随机三个物体的俯视情况下的二维坐标,、/>、/>分别为俯视情况下人形机器人与上述三个物体的二维距离,/>为人形机器人的高度,则/>的计算方式为:
与现有技术相比,本发明具有如下的有益效果:本发明所述的一种基于三维点云与双目视觉的人形机器人位置确认方法,设计合理,直接使用整个三维点云作为一个类似于地图的功能,并且在点云上进行后续分析,可以采用多种方式处理点云,具有良好的发展性。在这个过程中,不需要用到额外的硬件,例如 GPS 定位器、激光雷达等,也不需要人工干预,使用人形机器人的深度相机(双目视觉)即可。所述人形机器人位置确认方法对小场景、大场景同样适用,仅仅需要改变场景的三维点云信息就可以实现不同场景下的导航,并且避免了各个坐标系之间的转换,减少计算量,节省性能,应用前景广泛。
附图说明
图1为本发明所述一种基于三维点云与双目视觉的人形机器人位置确认方法的流程图;
图2为本发明实施例1的输入场景重建三维点云示意图;
图3为本发明实施例1的物体在点云坐标系下的坐标(几何中心)示意图;
图4为本发明实施例1的使用人形机器人测量物体间的距离坐标系示意图;
图5为本发明实施例1的测量俯视人形机器人与目标间的距离坐标系示意图。
具体实施方式
下面将附图1-5、实施例1对本发明的技术方案进行清楚、完整的描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通的技术人员在没有做出创造性劳动的前提下所获得的所有其它实施例,都属于本发明的保护范围。
以下实施例1提供了一种基于三维点云与双目视觉的人形机器人位置确认方法。
实施例1
实施例1的基于三维点云与双目视觉的人形机器人位置确认方法,该方法旨在解决人形机器人只配备了双目深度相机的情况下,无任何传感器,实现对视野范围内外整个场景的信息以及自身位置信息的确认。
如图1所示,该方法包括如下步骤:
S1:输入场景重建三维点云。
如图2所示,首先对整个场景进行三维重建,得到场景的重建点云以后,对点云坐标系进行修正,点云坐标系地面将地面平铺于x、y轴平面,整个场景均位于点云坐标系z轴正方向,现实空间坐标系地面同样将地面平铺于x、y轴平面,整个场景均位于现实空间坐标系z轴正方向。
为了方便后续计算,点云坐标系与现实空间坐标系的坐标原点位于地面的几何中心,点云坐标系的x轴最大坐标值为正负1,其余两条坐标轴按场景比例进行换算。
S2:进行点云分割,计算场景内所有物体在点云坐标系下的坐标。
在z轴正方向看向z轴负方向,即俯视情况下,对点云进行分割后,得出了每一个物体的点集;对每一个点集只关注x、y两个维度下的坐标;如图3所示,此时通过物体的点集计算物体在点云坐标系下的几何中心,使用几何中心来表示物体在点云坐标系下的坐标;为物体的点集,/>为物体的几何中心,/>的计算方式为:
原始数据为三维点云,坐标形为也可计算z轴的几何分量,
S3:根据场景的尺寸,计算物体在现实空间坐标系下的坐标。
S3(1):在人形机器人配备深度相机的情况下,通过现实世界物体与点云坐标系下的物体的对应关系,计算出现实世界的尺寸,即计算出场景的尺寸。
所述场景的尺寸,计算方式如下:
S3(1.1):在深度相机得出的深度空间里,设两个物体的坐标分别为、/>,则两个物体与人形机器人的深度相机双目连成线段的夹角θ的计算方式为:
S3(1.2):如图4所示,计算两个物体之间的距离,/>、/>分别为人形机器人的深度相机双目测得人形机器人头部与两个物体之间的距离,计算方式为:
S3(1.3):由于为三维空间距离,此时需要去掉z轴对于/>的影响,将其转换为俯视情况下的二维距离/>,/>的计算方式如下:
S3(1.3.1):计算两个点与空间中一点所形成的直角三角形的靠近深度空间第三个坐标偏小的点的角度
S3(1.3.2):计算两个点之间的二维距离:
S3(1.4):根据,可以计算出场景的尺寸/>、/>,/>为现实世界在x轴方向的尺寸,/>为现实世界在y轴方向的尺寸,所有的物体置于x、y轴所形成的二维坐标系下,为此二维坐标系下两个物体坐标连成线段与x轴之间的夹角,/>、/>分别为点云坐标系下两个物体的俯视坐标,则/>的计算方式为:
设点云坐标系里x轴坐标最大值为、最小值为/>和y轴坐标最大值为/>、最小值为/>,则/>的计算方式为:
S3(2):通过点云坐标系下物体的坐标计算现实空间坐标系下的物体的坐标,其中,为物体的几何中心,即物体在点云坐标系下的坐标,/>为物体在现实空间坐标系下的坐标。
的计算方式为:
其中,为点云坐标系下的坐标到现实空间坐标系下的坐标的换算系数,/>为现实世界在x轴方向的尺寸,/>的计算方式为:
S4:场景内的物体与点云中的物体一一对应,人形机器人通过物体识别,与点云坐标系下的物体进行对应,得到识别到的物体的现实空间坐标系下的坐标后,得出人形机器人自身的坐标,从而实现人形机器人自身以及场景所有物体的位置确认。
如图5所示,计算人形机器人自身在现实空间坐标系下的坐标、/>、/>分别为现实空间坐标系下随机三个物体的俯视情况下的二维坐标,/>、/>、/>分别为俯视情况下人形机器人与上述三个物体的二维距离,/>为人形机器人的高度,则/>的计算方式为:
采用实施例1的基于三维点云与双目视觉的人形机器人位置确认方法,具有以下优点:
1、该方法直接使用整个三维点云作为一个类似于地图的功能,并在点云上进行后续分析,可以用多种方式处理点云,所以有很好的发展性。
2、不需要其余的硬件,例如GPS定位器、激光雷达等,也不需要人工干预,仅需要人形机器人自身的双目视觉就可以实现人形机器人的定位、场景物体定位、判断朝向等功能。
3、该方法对小场景与大场景同样适用,仅仅需要改变场景的三维点云信息就可以实现不同场景下的导航。
4、避免了各个坐标系之间的转换,减少计算量,节省性能。
本发明具体应用途径很多,以上所述仅是本发明的优选实施方式。应当指出,以上实施例仅用于说明本发明,而并不用于限制本发明的保护范围。对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进,这些改进也应视为本发明的保护范围。

Claims (7)

1.一种基于三维点云与双目视觉的人形机器人位置确认方法,其特征在于,包括如下步骤:
S1:输入场景重建三维点云;
S2:进行点云分割,计算场景内所有物体在点云坐标系下的坐标;
S3:根据场景的尺寸,计算物体在现实空间坐标系下的坐标;
S4:场景内的物体与点云中的物体一一对应,人形机器人通过物体识别,与点云坐标系下的物体进行对应,得到识别到的物体的现实空间坐标系下的坐标后,得出人形机器人自身的坐标,从而实现人形机器人自身以及场景所有物体的位置确认。
2.根据权利要求1所述一种基于三维点云与双目视觉的人形机器人位置确认方法,其特征在于,所述步骤S1,具体包括如下内容:输入场景,对整个场景进行三维重建,得到场景的重建点云后,对点云坐标系进行修正,点云坐标系地面将地面平铺于x、y轴平面,整个场景均位于点云坐标系z轴正方向;现实空间坐标系地面同样将地面平铺于x、y轴平面,整个场景均位于现实空间坐标系z轴正方向。
3.根据权利要求2所述一种基于三维点云与双目视觉的人形机器人位置确认方法,其特征在于,所述步骤S2,具体包括如下内容:在z轴正方向看向z轴负方向,即俯视情况下,对点云进行分割后,得出了每一个物体的点集;此时通过物体的点集计算物体在点云坐标系下的几何中心,使用几何中心来表示物体在点云坐标系下的坐标;为物体的点集, />为物体的几何中心,/>的计算方式为:
4.根据权利要求1所述一种基于三维点云与双目视觉的人形机器人位置确认方法,其特征在于,所述步骤S3,在人形机器人配备深度相机的情况下,通过现实世界的物体与点云坐标系下的物体的对应关系,计算出现实世界的尺寸,即计算出场景的尺寸。
5.根据权利要求4所述一种基于三维点云与双目视觉的人形机器人位置确认方法,其特征在于,所述场景的尺寸,计算方式如下:
S3(1.1):在深度相机得出的深度空间里,设两个物体的坐标分别为,则两个物体与人形机器人的深度相机双目连成线段的夹角θ的计算方式为:
S3(1.2):计算两个物体之间的距离,/>、/>分别为人形机器人的深度相机双目测得人形机器人头部与两个物体之间的距离,计算方式为:
S3(1.3):由于为三维空间距离,此时需要去掉z轴对于/>的影响,将其转换为俯视情况下的二维距离/>
S3(1.4):根据,计算场景的尺寸/>、/>,/>为现实世界在x轴方向的尺寸,/>为现实世界在y轴方向的尺寸,所有的物体置于x、y轴所形成的二维坐标系下,/>为所述二维坐标系下两个物体坐标连成线段与x轴之间的夹角,/>、/>分别为点云坐标系下两个物体的俯视坐标,则/>的计算方式为:
设点云坐标系里x轴坐标最大值为、最小值为/>和y轴坐标最大值为 />、最小值为 />,则/> 的计算方式为:
6.根据权利要求5所述一种基于三维点云与双目视觉的人形机器人位置确认方法,其特征在于,所述步骤S3,通过点云坐标系下物体的坐标计算现实空间坐标系下的物体的坐标,其中,为物体的几何中心,即物体在点云坐标系下的坐标,/>为物体在现实空间坐标系下的坐标,/>的计算方式为:
其中,为点云坐标系下的坐标到现实空间坐标系下的坐标的换算系数,/>的计算方式为:
7.根据权利要求6所述一种基于三维点云与双目视觉的人形机器人位置确认方法,其特征在于,所述步骤S4,计算人形机器人自身在现实空间坐标系下的坐标、/>、/>分别为现实空间坐标系下随机三个物体的俯视情况下的二维坐标,/>、/>、/>分别为俯视情况下人形机器人与上述三个物体的二维距离,/>为人形机器人的高度,则/>的计算方式为:
CN202311464476.6A 2023-11-07 2023-11-07 一种基于三维点云与双目视觉的人形机器人位置确认方法 Active CN117197246B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311464476.6A CN117197246B (zh) 2023-11-07 2023-11-07 一种基于三维点云与双目视觉的人形机器人位置确认方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311464476.6A CN117197246B (zh) 2023-11-07 2023-11-07 一种基于三维点云与双目视觉的人形机器人位置确认方法

Publications (2)

Publication Number Publication Date
CN117197246A true CN117197246A (zh) 2023-12-08
CN117197246B CN117197246B (zh) 2024-01-26

Family

ID=88994661

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311464476.6A Active CN117197246B (zh) 2023-11-07 2023-11-07 一种基于三维点云与双目视觉的人形机器人位置确认方法

Country Status (1)

Country Link
CN (1) CN117197246B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107830854A (zh) * 2017-11-06 2018-03-23 深圳精智机器有限公司 基于orb稀疏点云与二维码的视觉定位方法
CN108171748A (zh) * 2018-01-23 2018-06-15 哈工大机器人(合肥)国际创新研究院 一种面向机器人智能抓取应用的视觉识别与定位方法
CN112414396A (zh) * 2020-11-05 2021-02-26 山东产研信息与人工智能融合研究院有限公司 现实场景中物体模位置测量方法、装置、存储介质及设备
CN112435325A (zh) * 2020-09-29 2021-03-02 北京航空航天大学 基于vi-slam和深度估计网络的无人机场景稠密重建方法
CN114119864A (zh) * 2021-11-09 2022-03-01 同济大学 一种基于三维重建与点云匹配的定位方法和装置
CN115546289A (zh) * 2022-10-27 2022-12-30 电子科技大学 一种基于机器人的复杂结构件三维形貌测量方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107830854A (zh) * 2017-11-06 2018-03-23 深圳精智机器有限公司 基于orb稀疏点云与二维码的视觉定位方法
CN108171748A (zh) * 2018-01-23 2018-06-15 哈工大机器人(合肥)国际创新研究院 一种面向机器人智能抓取应用的视觉识别与定位方法
CN112435325A (zh) * 2020-09-29 2021-03-02 北京航空航天大学 基于vi-slam和深度估计网络的无人机场景稠密重建方法
CN112414396A (zh) * 2020-11-05 2021-02-26 山东产研信息与人工智能融合研究院有限公司 现实场景中物体模位置测量方法、装置、存储介质及设备
CN114119864A (zh) * 2021-11-09 2022-03-01 同济大学 一种基于三维重建与点云匹配的定位方法和装置
CN115546289A (zh) * 2022-10-27 2022-12-30 电子科技大学 一种基于机器人的复杂结构件三维形貌测量方法

Also Published As

Publication number Publication date
CN117197246B (zh) 2024-01-26

Similar Documents

Publication Publication Date Title
CN110728715B (zh) 一种智能巡检机器人摄像机角度自适应调整方法
CN110070615B (zh) 一种基于多相机协同的全景视觉slam方法
WO2022257801A1 (zh) 基于slam的移动机器人矿山场景重建方法及系统
CN112396664B (zh) 一种单目摄像机与三维激光雷达联合标定及在线优化方法
CN110176032B (zh) 一种三维重建方法及装置
WO2019127347A1 (zh) 三维建图方法、装置、系统、云端平台、电子设备和计算机程序产品
WO2019127445A1 (zh) 三维建图方法、装置、系统、云端平台、电子设备和计算机程序产品
CN113436260B (zh) 基于多传感器紧耦合的移动机器人位姿估计方法和系统
CN110189399B (zh) 一种室内三维布局重建的方法及系统
Hong et al. Three-dimensional visual mapping of underwater ship hull surface using piecewise-planar slam
WO2024045632A1 (zh) 基于双目视觉和imu的水下场景三维重建方法及设备
CN108764080B (zh) 一种基于点云空间二值化的无人机视觉避障方法
CN112179357B (zh) 基于单目相机的平面运动目标视觉导航方法及系统
CN113362247A (zh) 一种激光融合多目相机的语义实景三维重建方法及系统
US20230351625A1 (en) A method for measuring the topography of an environment
CN111127540A (zh) 一种三维虚拟空间自动测距方法及系统
Ann et al. Study on 3D scene reconstruction in robot navigation using stereo vision
CN109636897B (zh) 一种基于改进RGB-D SLAM的Octomap优化方法
CN112197773B (zh) 基于平面信息的视觉和激光定位建图方法
CN113256696A (zh) 基于自然场景的激光雷达和相机的外参标定方法
CN117197246B (zh) 一种基于三维点云与双目视觉的人形机器人位置确认方法
CN115307646B (zh) 一种多传感器融合的机器人定位方法、系统及装置
Buck et al. Capturing uncertainty in monocular depth estimation: Towards fuzzy voxel maps
CN116402904A (zh) 一种基于激光雷达间和单目相机的联合标定方法
CN114648639B (zh) 一种目标车辆的检测方法、系统及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant