CN110879979B - 一种基于移动终端的增强现实系统 - Google Patents

一种基于移动终端的增强现实系统 Download PDF

Info

Publication number
CN110879979B
CN110879979B CN201911104217.6A CN201911104217A CN110879979B CN 110879979 B CN110879979 B CN 110879979B CN 201911104217 A CN201911104217 A CN 201911104217A CN 110879979 B CN110879979 B CN 110879979B
Authority
CN
China
Prior art keywords
mobile terminal
virtual
model
user
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911104217.6A
Other languages
English (en)
Other versions
CN110879979A (zh
Inventor
吴伊萍
陈明玉
谢叻
林志鹏
林捷
王鸿伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Quanzhou Normal University
Original Assignee
Quanzhou Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Quanzhou Normal University filed Critical Quanzhou Normal University
Priority to CN201911104217.6A priority Critical patent/CN110879979B/zh
Publication of CN110879979A publication Critical patent/CN110879979A/zh
Application granted granted Critical
Publication of CN110879979B publication Critical patent/CN110879979B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提出一种基于移动终端的增强现实系统,包括帮助提示模块、景物识别模块、虚拟模型存储模块、拍摄模块;虚拟模型存储模块贮有虚拟AR模型;帮助提示模块贮有帮助视频;帮助视频可提示在使用本系统时所需的移动终端正确位姿;景物识别模块以摄像模块采集外界环境影像并在显示屏显示;当移动终端位姿符合虚拟模型的显示条件时,增强现实系统把与当前环境影像相关联的虚拟AR模型置于显示影像的关联区域处演示;当使用者在影像内出现时,所述拍摄模块拍摄使用者、虚拟AR模型、环境影像的叠加影像;本发明可按移动终端的地点和位姿来调用相应的AR内容并与之交互,借助AR模型提升使用者与实时环境的互动,从而使使用者获得超越真实环境的视觉体验。

Description

一种基于移动终端的增强现实系统
技术领域
本发明涉及AR增强现实技术领域,尤其是一种基于移动终端的增强现实系统。
背景技术
AR增强现实技术在近年来有较大发展,但目前的AR增强现实仍有较大不足,例如AR内容、AR演示方式等,如何建立更好的AR应用,是一个研究方向。
发明内容
本发明提出一种基于移动终端的增强现实系统,可按移动终端的地点和位姿来调用相应的AR内容并与之交互,而且可让使用者在AR场景内自拍。
本发明采用以下技术方案。
一种基于移动终端的增强现实系统,可在设有摄像模块的移动终端上运行,所述增强现实系统包括帮助提示模块、景物识别模块、虚拟模型存储模块、拍摄模块;所述虚拟模型存储模块贮有与环境影像相关联的虚拟AR模型;所述帮助提示模块贮有帮助视频;所述帮助视频可提示在使用本系统时所需的移动终端正确位姿;所述景物识别模块以移动终端的摄像模块采集外界环境影像并在移动终端显示屏处显示;当移动终端位姿符合虚拟模型的显示条件时,增强现实系统把与当前环境影像相关联的虚拟AR模型置于所显示的实时环境影像的关联区域处进行AR演示;当使用者在实时环境影像内出现时,所述拍摄模块通过拍摄模块拍摄的影像可以是使用者影像与虚拟AR模型共同叠加于环境影像上生成的叠加影像。
所述景物识别模块通过对移动终端摄像模块的视频流检查,来确认移动终端的位姿是否正确。
所述虚拟模型的显示条件为移动终端的位置坐标位于观看AR演示的地点,移动终端位姿与虚拟AR模型所需的终端位姿匹配,且位姿匹配后移动终端停止明显移动的时间大于阈值,从而满足以凝视交互方式启动AR演示的条件。
所述AR演示,是虚拟AR模型的演示图像对显示屏实时环境影像的关联区域进行区域叠加或区域替换生成的融合影像显示。
所述移动终端为智能手机或平板电脑;所述帮助视频为用户提示短视频;用于提示用户如何摆放移动终端以使移动终端的位姿正确,以确保用户获取最佳虚实融合的增强现实的场景观察视角。
所述虚拟模型为通过三维建模、纹理贴图生成的三维虚拟场景。
所述增强现实系统的数据准备工作包括以下步骤;
步骤A1:采集虚拟模型所需数据,通过三维建模、纹理贴图来建立虚拟场景所需的虚拟模型;
步骤A2:为虚拟模型创建视频关联标识,并在真实环境中,以环境影像的关联区域来创建视频关联标识。
所述增强现实系统在景区内的使用方法包括以下步骤;
步骤A3:用户以移动终端的摄像模块扫描环境景物,移动终端识别用户所在景区位置;
步骤A4:移动终端根据用户所在景区位置,生成用户提示短视频:提示用户如何到达可进行AR演示的景区位置,并如何摆放智能手机或平板电脑等移动终端,以确保用户获取最佳虚实融合的场景观察视角。
步骤A5:景物识别模块通过对移动终端摄像模块的视频流检查,来判断用户是否到达可进行AR演示的景区位置并获取最佳视角,如果是执行步骤A6;否则,执行步骤A4;
步骤A6:增强现实系统按终端所在地点及终端位姿,加载与之对应的虚拟场景中的虚拟AR模型并在用户移动终端上显示;用户通过移动终端,可以在移动终端的显示屏中观看到虚拟模型和真实环境融合在一起。
步骤7:用户调整移动终端的位置或位姿;以凝视交互方式,通过移动终端与虚拟模型进行交互,并通过移动终端获取虚拟AR模型的介绍。
步骤8:用户把移动终端固定,然后站在摄像模块的拍摄范围中,并以遥控方式或定时方式控制拍摄模块,实现与用户本人、虚拟AR模型和景区环境的合影。
所述景区为古泉州港遗址景区;所述虚拟AR模型为古泉州港景物的演示模型;所述演示模型包括古船。
所述帮助视频、虚拟AR模型和移动终端正确位姿可存储于云端存储设备中,由移动终端按用户所在景区位置,从云端存储设备调用相应的位姿数据和虚拟AR模型。
本发明的优点在于:
1、可在移动终端上实现了与现实景区关联的增强现实系统,拓展了用户在游览现实景区时的体验;
2、用户利用移动终端扫描景区环境,即可获得景区古代的三维虚拟场景,简单方便;
3、用户可通过移动终端,以凝视交互方式,为用户深入了解景区信息提供了便捷的获取渠道;
4、用户通过本系统,可以与虚拟景物、现实景物进行合影,互动性更强。
本发明可以把帮助视频、虚拟AR模型和移动终端正确位姿存储于云端存储设备,由移动终端按用户所在景区位置从云端存储设备调用,从而极大地减轻了对移动终端的存储要求和性能要求,而且可以让景区管理者方便地对AR演示的内容进行维护和管理。
附图说明
下面结合附图和具体实施方式对本发明进一步详细的说明:
附图1是本发明在古泉州港景区处的实施及使用流程图。
具体实施方式
如图1所示,一种基于移动终端的增强现实系统,可在设有摄像模块的移动终端上运行,所述增强现实系统包括帮助提示模块、景物识别模块、虚拟模型存储模块、拍摄模块;所述虚拟模型存储模块贮有与环境影像相关联的虚拟AR模型;所述帮助提示模块贮有帮助视频;所述帮助视频可提示在使用本系统时所需的移动终端正确位姿;所述景物识别模块以移动终端的摄像模块采集外界环境影像并在移动终端显示屏处显示;当移动终端位姿符合虚拟模型的显示条件时,增强现实系统把与当前环境影像相关联的虚拟AR模型置于所显示的实时环境影像的关联区域处进行AR演示;当使用者在实时环境影像内出现时,所述拍摄模块通过拍摄模块拍摄的影像可以是使用者影像与虚拟AR模型共同叠加于环境影像上生成的叠加影像。
所述景物识别模块通过对移动终端摄像模块的视频流检查,来确认移动终端的位姿是否正确。
所述虚拟模型的显示条件为移动终端的位置坐标位于观看AR演示的地点,移动终端位姿与虚拟AR模型所需的终端位姿匹配,且位姿匹配后移动终端停止明显移动的时间大于阈值,从而满足以凝视交互方式启动AR演示的条件。
所述AR演示,是虚拟AR模型的演示图像对显示屏实时环境影像的关联区域进行区域叠加或区域替换生成的融合影像显示。
所述移动终端为智能手机或平板电脑;所述帮助视频为用户提示短视频;用于提示用户如何摆放移动终端以使移动终端的位姿正确,以确保用户获取最佳虚实融合的增强现实的场景观察视角。
所述虚拟模型为通过三维建模、纹理贴图生成的三维虚拟场景。
所述增强现实系统的数据准备工作包括以下步骤;
步骤A1:采集虚拟模型所需数据,通过三维建模、纹理贴图来建立虚拟场景所需的虚拟模型;
步骤A2:为虚拟模型创建视频关联标识,并在真实环境中,以环境影像的关联区域来创建视频关联标识。
所述增强现实系统在景区内的使用方法包括以下步骤;
步骤A3:用户以移动终端的摄像模块扫描环境景物,移动终端识别用户所在景区位置;
步骤A4:移动终端根据用户所在景区位置,生成用户提示短视频:提示用户如何到达可进行AR演示的景区位置,并如何摆放智能手机或平板电脑等移动终端,以确保用户获取最佳虚实融合的场景观察视角。
步骤A5:景物识别模块通过对移动终端摄像模块的视频流检查,来判断用户是否到达可进行AR演示的景区位置并获取最佳视角,如果是执行步骤A6;否则,执行步骤A4;
步骤A6:增强现实系统按终端所在地点及终端位姿,加载与之对应的虚拟场景中的虚拟AR模型并在用户移动终端上显示;用户通过移动终端,可以在移动终端的显示屏中观看到虚拟模型和真实环境融合在一起。
步骤7:用户调整移动终端的位置或位姿;以凝视交互方式,通过移动终端与虚拟模型进行交互,并通过移动终端获取虚拟AR模型的介绍。
步骤8:用户把移动终端固定,然后站在摄像模块的拍摄范围中,并以遥控方式或定时方式控制拍摄模块,或由第三方帮助被拍摄者拍摄,实现与用户本人、虚拟AR模型和景区环境的合影。
所述景区为古泉州港遗址景区;所述虚拟AR模型为古泉州港景物的演示模型;所述演示模型包括古船。
所述帮助视频、虚拟AR模型和移动终端正确位姿(可由仪器如陀螺仪定义的正确位姿定义数据)可存储于云端存储设备中,由移动终端按用户所在景区位置,从云端存储设备调用相应的位姿数据和虚拟AR模型。
实施例:
使用者在手机上启动本系统后,本系统从手机的GPS模块或基站定位功能来定位使用者手机位置,当进入古泉州港遗址景区时,帮助提示模块在显示屏上提示用户本景区可观看AR演示的地点并给出路线图;当用户到达观看地点后,帮助提示模块播放与观看地点对应的帮助视频,来协助用户把手机位姿调整至正确观看位姿,在用户调整手机的过程中,景物识别模块通过对手机摄像模块的视频流检查,来确认手机的位姿是否正确,并向用户给出位姿正确或位姿不正确的提示。
当用户调整手机至正确的AR观看位姿时,景物识别模块向用户给出位姿正确提示,并提示用户保持该位姿一段时间,当用户手机停留于正确的AR观看位姿一段时间后,系统把与当前摄像头所拍摄环境影像相关联的虚拟AR模型置于所显示的实时环境影像的关联区域处进行AR演示。
用户在观看完AR演示后,可以把手机固定于安全位置,然后进入手机摄像头的拍摄区域,以遥控方式或定时方式来控制拍摄模块,实现与用户本人、虚拟AR模型和景区环境的合影。

Claims (7)

1.一种基于移动终端的增强现实系统,在设有摄像模块的移动终端上运行,其特征在于:所述增强现实系统包括帮助提示模块、景物识别模块、虚拟模型存储模块、拍摄模块;所述虚拟模型存储模块贮有与环境影像相关联的虚拟AR模型;所述帮助提示模块贮有帮助视频;所述帮助视频提示在使用本系统时所需的移动终端正确位姿;所述景物识别模块以移动终端的摄像模块采集外界环境影像并在移动终端显示屏处显示;当移动终端位姿符合虚拟AR模型的显示条件时,增强现实系统把与当前环境影像相关联的虚拟AR模型置于所显示的实时环境影像的关联区域处进行AR演示;当使用者在实时环境影像内出现时,所述拍摄模块拍摄的影像是使用者影像与虚拟AR模型共同叠加于环境影像上生成的叠加影像;
所述虚拟AR模型为通过三维建模、纹理贴图生成的三维虚拟场景;
所述增强现实系统的数据准备工作包括以下步骤;
步骤A1:采集虚拟AR模型所需数据,通过三维建模、纹理贴图来建立虚拟场景所需的虚拟AR模型;
步骤A2:为虚拟AR模型创建视频关联标识,并在真实环境中,以环境影像的关联区域来创建视频关联标识;
所述增强现实系统在景区内的使用方法包括以下步骤;
步骤A3:用户以移动终端的摄像模块扫描环境景物,移动终端识别用户所在景区位置;
步骤A4:移动终端根据用户所在景区位置,生成用户提示短视频:提示用户如何到达可进行AR演示的景区位置,并如何摆放智能手机或平板电脑移动终端,以确保用户获取最佳虚实融合的场景观察视角;
步骤A5:景物识别模块通过对移动终端摄像模块的视频流检查,来判断用户是否到达可进行AR演示的景区位置并获取最佳视角,如果是执行步骤A6;否则,执行步骤A4;
步骤A6:增强现实系统按终端所在地点及终端位姿,加载与之对应的虚拟场景中的虚拟AR模型并在用户移动终端上显示;用户通过移动终端,可以在移动终端的显示屏中观看到虚拟AR模型和真实环境融合在一起;
步骤A7:用户调整移动终端的位置或位姿;以凝视交互方式,通过移动终端与虚拟AR模型进行交互,并通过移动终端获取虚拟AR模型的介绍;
步骤A8:用户把移动终端固定,然后站在摄像模块的拍摄范围中,并以遥控方式或定时方式控制拍摄模块,实现与用户本人、虚拟AR模型和景区环境的合影。
2.根据权利要求1所述的一种基于移动终端的增强现实系统,其特征在于:所述景物识别模块通过对移动终端摄像模块的视频流检查,来确认移动终端的位姿是否正确。
3.根据权利要求2所述的一种基于移动终端的增强现实系统,其特征在于:所述虚拟AR模型的显示条件为移动终端的位置坐标位于观看AR演示的地点,移动终端位姿与虚拟AR模型所需的终端位姿匹配,且位姿匹配后移动终端停止明显移动的时间大于阈值,从而满足以凝视交互方式启动AR演示的条件。
4.根据权利要求3所述的一种基于移动终端的增强现实系统,其特征在于:所述AR演示,是虚拟AR模型的演示图像对显示屏实时环境影像的关联区域进行区域叠加或区域替换生成的融合影像显示。
5.根据权利要求4所述的一种基于移动终端的增强现实系统,其特征在于:所述移动终端为智能手机或平板电脑;所述帮助视频为用户提示短视频;用于提示用户如何摆放移动终端以使移动终端的位姿正确,以确保用户获取最佳虚实融合的增强现实的场景观察视角。
6.根据权利要求1所述的一种基于移动终端的增强现实系统,其特征在于:所述景区为古泉州港遗址景区;所述虚拟AR模型为古泉州港景物的演示模型;所述演示模型包括古船。
7.根据权利要求1所述的一种基于移动终端的增强现实系统,其特征在于:所述帮助视频、虚拟AR模型和移动终端正确位姿存储于云端存储设备中,由移动终端按用户所在景区位置,从云端存储设备调用相应的位姿数据和虚拟AR模型。
CN201911104217.6A 2019-11-13 2019-11-13 一种基于移动终端的增强现实系统 Active CN110879979B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911104217.6A CN110879979B (zh) 2019-11-13 2019-11-13 一种基于移动终端的增强现实系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911104217.6A CN110879979B (zh) 2019-11-13 2019-11-13 一种基于移动终端的增强现实系统

Publications (2)

Publication Number Publication Date
CN110879979A CN110879979A (zh) 2020-03-13
CN110879979B true CN110879979B (zh) 2024-01-02

Family

ID=69730389

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911104217.6A Active CN110879979B (zh) 2019-11-13 2019-11-13 一种基于移动终端的增强现实系统

Country Status (1)

Country Link
CN (1) CN110879979B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111640165A (zh) * 2020-06-08 2020-09-08 上海商汤智能科技有限公司 Ar合影图像的获取方法、装置、计算机设备及存储介质
CN112330818B (zh) * 2020-11-03 2021-06-22 北京卫星环境工程研究所 基于增强现实的无人机零部件手工铺层辅助系统和方法
CN112598803A (zh) * 2020-12-15 2021-04-02 中国建筑西南设计研究院有限公司 一种景区ar合影方法
CN115686182B (zh) * 2021-07-22 2024-02-27 荣耀终端有限公司 增强现实视频的处理方法与电子设备
CN113568504A (zh) * 2021-07-22 2021-10-29 福州富星光学科技有限公司 一种基于移动设备的ar显示处理方法及其系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104378536A (zh) * 2014-11-18 2015-02-25 宋小波 基于ar技术的互动照相装置
CN104778654A (zh) * 2015-03-10 2015-07-15 湖北大学 非物质文化遗产数字化展示系统及其方法
TW201604759A (zh) * 2014-07-31 2016-02-01 Sibonnevie Co Ltd 物體於載體身上的擴增實境之應用系統
CN106157359A (zh) * 2015-04-23 2016-11-23 中国科学院宁波材料技术与工程研究所 一种虚拟场景体验系统的设计方法
CN107084740A (zh) * 2017-03-27 2017-08-22 宇龙计算机通信科技(深圳)有限公司 一种导航方法和装置
CN107590754A (zh) * 2017-11-01 2018-01-16 首都师范大学 一种基于增强现实技术提升国家公园旅游体验的系统及方法
CN108510592A (zh) * 2017-02-27 2018-09-07 亮风台(上海)信息科技有限公司 真实物理模型的增强现实展示方法
CN208013548U (zh) * 2017-11-29 2018-10-26 歌尔科技有限公司 现实增强眼镜
CN109685905A (zh) * 2017-10-18 2019-04-26 深圳市掌网科技股份有限公司 基于增强现实的小区规划方法和系统
CN110351514A (zh) * 2019-07-09 2019-10-18 北京猫眼视觉科技有限公司 一种虚拟模型通过远程协助方式和视频流同时传输的方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105955456B (zh) * 2016-04-15 2018-09-04 深圳超多维科技有限公司 虚拟现实与增强现实融合的方法、装置及智能穿戴设备

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201604759A (zh) * 2014-07-31 2016-02-01 Sibonnevie Co Ltd 物體於載體身上的擴增實境之應用系統
CN104378536A (zh) * 2014-11-18 2015-02-25 宋小波 基于ar技术的互动照相装置
CN104778654A (zh) * 2015-03-10 2015-07-15 湖北大学 非物质文化遗产数字化展示系统及其方法
CN106157359A (zh) * 2015-04-23 2016-11-23 中国科学院宁波材料技术与工程研究所 一种虚拟场景体验系统的设计方法
CN108510592A (zh) * 2017-02-27 2018-09-07 亮风台(上海)信息科技有限公司 真实物理模型的增强现实展示方法
CN107084740A (zh) * 2017-03-27 2017-08-22 宇龙计算机通信科技(深圳)有限公司 一种导航方法和装置
CN109685905A (zh) * 2017-10-18 2019-04-26 深圳市掌网科技股份有限公司 基于增强现实的小区规划方法和系统
CN107590754A (zh) * 2017-11-01 2018-01-16 首都师范大学 一种基于增强现实技术提升国家公园旅游体验的系统及方法
CN208013548U (zh) * 2017-11-29 2018-10-26 歌尔科技有限公司 现实增强眼镜
CN110351514A (zh) * 2019-07-09 2019-10-18 北京猫眼视觉科技有限公司 一种虚拟模型通过远程协助方式和视频流同时传输的方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
VR/AR/MR技术在景区中的应用与前瞻;魏三强;《吉林师范大学学报(自然科学版)》;20171110(第04期);全文 *
基于计算机视觉的增强现实演示系统;丁海洋;《北京印刷学院学报》;20090826(第04期);全文 *

Also Published As

Publication number Publication date
CN110879979A (zh) 2020-03-13

Similar Documents

Publication Publication Date Title
CN110879979B (zh) 一种基于移动终端的增强现实系统
CN108292489B (zh) 信息处理装置和图像生成方法
US9729788B2 (en) Image generation apparatus and image generation method
JP5659304B2 (ja) 画像生成装置および画像生成方法
US10284776B2 (en) Image generation apparatus and image generation method
US9894272B2 (en) Image generation apparatus and image generation method
CN106657923B (zh) 基于位置的场景切换式共享观景系统
US20170213085A1 (en) See-through smart glasses and see-through method thereof
CN108762501B (zh) Ar显示方法、智能终端、ar设备及系统
CN107562189B (zh) 一种基于双目摄像头的空间定位方法及服务设备
CN110858414A (zh) 图像处理方法、装置、可读存储介质与增强现实系统
EP3819752A1 (en) Personalized scene image processing method and apparatus, and storage medium
CN106657792B (zh) 共享式观景装置
US11553009B2 (en) Information processing device, information processing method, and computer program for switching between communications performed in real space and virtual space
CN106101575B (zh) 一种增强现实照片的生成方法、装置及移动终端
CN114067087A (zh) Ar展示方法及装置、电子设备和存储介质
CN113870213A (zh) 图像显示方法、装置、存储介质以及电子设备
CN111179341B (zh) 一种增强现实设备与移动机器人的配准方法
KR20110123907A (ko) Iptv 시스템 및 그의 컨텐츠 제공 방법
JP7195118B2 (ja) 情報表示システム、情報表示方法及び情報表示プログラム
CN109657078A (zh) 一种ar的交互方法和设备
CN212012916U (zh) 一种增强现实的显示设备
CN107426522B (zh) 基于虚拟现实设备的视频方法和系统
CN114612637B (zh) 一种场景画面显示方法、装置、计算机设备及存储介质
CN113438416B (zh) 图像数量获取方法和装置、电子设备、存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant