CN211590199U - 一种基于视觉slam的管道机器人 - Google Patents

一种基于视觉slam的管道机器人 Download PDF

Info

Publication number
CN211590199U
CN211590199U CN202020000982.5U CN202020000982U CN211590199U CN 211590199 U CN211590199 U CN 211590199U CN 202020000982 U CN202020000982 U CN 202020000982U CN 211590199 U CN211590199 U CN 211590199U
Authority
CN
China
Prior art keywords
robot
pipeline
nvidia
pipeline robot
slam
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN202020000982.5U
Other languages
English (en)
Inventor
袁亮
唐鼎新
何丽
冉腾
张建博
田进
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xinjiang University
Original Assignee
Xinjiang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xinjiang University filed Critical Xinjiang University
Priority to CN202020000982.5U priority Critical patent/CN211590199U/zh
Application granted granted Critical
Publication of CN211590199U publication Critical patent/CN211590199U/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Manipulator (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本实用新型公开了一种基于视觉SLAM的管道机器人,主要包括底盘、升降支架、车轮、单目摄像头。所述底盘上设置stm32底层控制板、NVIDIA tx2开发板、步进电机驱动、大功率步进电机、减速器。所述的单目摄像头通过升降支架与步进电机驱动进行连接,可配合安装在步进电机驱动左边的NVIDIA tx2开发板中的单目SLAM系统实现自身定位、导航。所述单目摄像头上设置有可折叠镜头盖,折叠镜头盖设置有LED灯。所述底盘上设置有大功率步进电机可配合减速器保证机器人平稳作业。所述车轮采用橡胶材质和侧花纹外表,可以提高车轮与管道壁的接触面积。所述电源的散热片安装在底盘两侧。本实用新型在复杂与环境恶劣的管道中移动,整体智能化程度高,具有良好的前景。

Description

一种基于视觉SLAM的管道机器人
技术领域
本实用新型涉及机器人技术领域,更具体地,涉及一种基于视觉SLAM的管道机器人。
背景技术
为了在未知环境中进行导航,移动机器人需要构建环境地图并且同时定位自身在地图中的位置,像这样同时解决这两个问题的过程就称为同步定位与地图构建(Simultaneously Localization And Mapping,SLAM)。当机器人处于室外环境的时候,这个问题可以通过高精度的 GPS 来解决。但是,当机器人处于室内环境时,或当 GPS 不够精确无法满足高精度的需求时,或者当机器人所处环境涉密时,人们就必须使用其他方法来精确估计机器人的位置并且同时构建环境地图。移动机器人要真正走向应用,一个关键功能在于自主导航,而实现移动机器人自主导航的核心技术是SLAM、避障和自主路径规划。
在工农业生产及日常生活中,管道应用范围极为广泛。在管道使用过程中,会产生管道堵塞与管道故障和损伤,需要定期维护、检修等。但管道所处的环境往往人们不易到达或者不允许人们直接进入,所以开发管道机器人就显得尤为重要。
管道机器人在我国处于发展阶段,具有广阔的市场前景。管道机器人相对于人工操作来说,有无可比拟的优势。管道机器人在机载计算机的控制线,可以进行采样、检测、补空和防锈等工作。而单片机技术的发展,为管道机器人的方便应用提供了一个良好的技术基础。利用单片机,可以实现管道机器人的控制,是管道机器人设计中较好的选择。
管道机器人具有广阔的开发市场,为此开发一个能实现避障和自主路径规划并且能进行采样、检测、补空和防锈等工作的管道机器人具有重要的研究意义和价值。
发明内容
针对管道环境复杂,维修人员不易到达或者不允许维修人员进入的维修难题。克服现有技术中移动机器人实现避障功能的精度低、实时性不佳、易受环境干扰且运行量大的缺陷和不足,提供一种基于视觉SLAM的管道机器人。本实用新型提供的一种基于视觉SLAM的管道机器人在NVIDIA tx2开发板上搭建视觉SLAM系统,利用TX2在计算机视觉方面的高性能、低能耗计算的特点来减少视觉处理的时间,提高实时性;利用单目摄像头作为主要的视觉信息收集工具;由于管道环境过于复杂,所以安装了超声波传感器和激光测距传感器来弥补对光照要求的缺陷,可有效增加白墙和无纹理物体的识别精度,为管道的环境识别和视觉SLAM算法提供更精准的图像源。通过上述部件的配合,开发设计出了精度高、实时性好的自主移动机器人,可自主应用于各种管道。
为实现上述目的,本实用新型提供如下技术方案:一种基于视觉SLAM的管道机器人,包括:
机器人本体包括底盘、升降支架、车轮、电源和处理器集成仓。所述底盘上设置有处理器集成仓、大功率步进电机、电源、激光测距传感器和减速器。所述处理器集成仓位于底盘之上,设有stm32底层控制板、NVIDIA tx2开发板和步进电机驱动。所述电源位于底盘之上,用于对所述stm32底层控制板、NVIDIA tx2开发板、减速器和大功率步进电机提供供电装置。所述底盘上的大功率步进电机、减速器和步进电机驱动机器人平稳作业。所述处理器集成仓上有单目摄像头和控制单目摄像头的升降支架。所述激光测距传感器、步进电机驱动和超声波传感器分别与所述stm32底层控制板电性连接。所述单目摄像头、stm32底层控制板与NVIDIA tx2开发板电性连接。所述NVIDIA tx2开发板装载有单目SLAM系统。
NVIDIA tx2开发板具有 256 个 NVIDIA CUDA核心、64 位CPU,并且采用了节能高效的设计。此外,它还采用了深度学习、计算机视觉、GPU 计算和图形方面的新技术。
在移动机器人研究领域,同步定位与地图创建(SLAM)技术使机器人从未知环境的未知地点出发,在运动过程中通过机器人搭载视觉、激光等传感器重复观测到的地图特征定位自身位置和姿态,再根据自身位置增量式的构建地图,从而达到同时定位和地图构建的目的,为机器人自主定位、避障、导航、路径规划等任务提供必要的支持。
管道机器人行走机构,其中包括机器人底盘上的塑胶或橡胶材质的车轮,车轮采用大面积的侧花纹,可以提高车轮与管道壁的接触面积。还包括与车轮配合的轴套。通过更换轴套及车轮,可以使管道机器人适用于更多的管径和管道作业。
优选的,所述的处理器集成仓包括前后左右上下设置的前仓板、后仓板、左仓板、右仓板、左顶盖和顶盖,所述前仓板、后仓板、左仓板、右仓板、顶盖均通过连接杆固接于所述底盘上,所述集成仓内部还设有stm32底层控制板、NVIDIA tx2开发板和步进电机驱动。
优选的,所述处理器集成仓的stm32底层控制板通过接收NVIDIA tx2开发板规划好的路径,stm32底层控制板给步进电机驱动发送信号,步进电机驱动驱动大功率步进电机和减速器操控管道机器人进行移动。电机驱动型号选用42微型步进电机驱动,减速器选用步进电机伺服蜗轮蜗杆rv减速机小型减速器。
优选的,所述的处理器集成仓的stm32底层控制板电性连接激光测距传感器和超声波传感器,处理器集成仓的stm32底层控制板接收底盘的激光测距传感器和单目摄像头的超声波传感器传输的信息,已实现弥补单目SLAM工程在光线不足和纹理不够情况下进行移动的情况,激光传感器由于位于封闭环境作业,不会受到阳光影响,可以为车提供精准的两端距离,为车调整姿态提供必要的数据。超声波传感器,通过配合图像识别,用于识别弯道及障碍物。激光测距传感器选用元创开发的M18激光传感器,超声波传感器选用WGSD US-100超声波测距模块。
优选的,所述处理器集成仓的NVIDIA tx2开发板电性连接了单目摄像头。
优选的,所述处理器集成仓的NVIDIA tx2开发板装载有Ubuntu16.04系统,Ubuntu16.04系统安装了单目视觉的SLAM工程,通过单目摄像头获取周围环境图像信息和机器人的位姿数据进行处理,运用SLAM算法对周围环境进行建图;根据建好的地图,运用路径规划算法生成从当前位置到目标点的路径。
优选的,所述处理器集成仓的NVIDIA tx2开发板装载了远程操控模块,已实现外部人员对管道机器人进行操控以及收集管道内部信息。
优选的,所述的电源为stm32底层控制板、NVIDIA tx2开发板、减速器和大功率步进电机提供电力。
优选的,所述的stm32底层控制板电性连接步进电机驱动,通过stm32底层控制板传输信号给步进电机驱动,步进电机驱动发送信号给升降支架,升降支架将单目摄像头调整位姿,以实现不同任务要求和环境。
优选的,所述的单目摄像头前方有折叠镜头盖和超声波传感器。所述折叠镜头盖用于放置管道作业时,管道内的灰尘会落在镜头及超声波传感器上,影响图像识别及录制效果,以及超声波传感器的精度。同时镜头盖内侧装有LED灯,为图像采集提供光源,同时可以避免LED灯上落入灰尘。
优选的,所述的电源,为它在底盘上设置了散热片,通过伸出车体外的散热片为其提供良好的散热效果。
本实用新型的有益效果是:本实用新型基于管道机器人结合SLAM技术,利用激光测距传感器和超声波传感器检测障碍信息,将检测到的信息通过stm32底层控制板传给安装在机器人底盘上的NVIDIA tx2开发板;利用单目摄像头收集图像信息,并传输给NVIDIAtx2开发板。NVIDIA tx2开发板上对各种信息进行处理,利用SLAM工程和路径规划工程作出决策,控制管道机器人进行地图构建、定位、导航和避障,使管道机器人能在黑暗狭小的管道中以自主巡航的方式,检查管道是否有缺口和锈迹,并且实时传输给外部工作人员工作的电脑。
附图说明
为了更清楚地说明本实用新型实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本实用新型的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本实用新型的正视结构示意图;
图2是本实用新型的后视结构示意图;
图3是本实用新型的左视图;
图4是本实用新型的附视图;
图5是本实用新型的镜头盖结构示意图;
图6是本实用新型的车轮结构示意图;
图7是本实用新型的单目摄像头结构示意图;
图8是本实用新型的单目SLAM工程的流程示意图;
图中1为镜头盖、2为车轮、3为轴套、4为超声波传感器、5为单目摄像头、6为升降支架、7为大功率步进电机、8为减速器、9 为处理器集成仓、10为激光测距传感器、11为电源、12为底盘。
具体实施方式
以下将结合实施例和附图对本实用新型的构思、具体结构及产生的技术效果进行清楚、完整地描述,以充分地理解本实用新型的目的、特征和效果。显然,所描述的实施例只是本实用新型的一部分实施例,而不是全部实施例,基于本实用新型的实施例,本领域的技术人员在不付出创造性劳动的前提下所获得的其他实施例,均属于本实用新型保护的范围。另外,文中所提到的所有联接/连接关系,并非单指构件直接相接,而是指可根据具体实施情况,通过添加或减少联接辅件,来组成更优的联接结构。本发明创造中的各个技术特征,在不互相矛盾冲突的前提下可以交互组合。
实施例1
本实施例提供一种基于视觉SLAM的管道机器人,如图1~4,包括长方形底盘12,设置于底盘12下的4个顶角处的4个对称分布的车轮2,用于驱动车轮2运动的大功率步进电机7,而大功率步进电机7需要步进电机驱动来驱动,大功率步进电机7设置在底盘2的上方位于处理器集成仓9后方,减速器8设置在大功率步进电机7后方,大功率步进电机7和减速器8互相配合,为管道机器人提供更大的驱动力,并且可以平稳的执行各种操作任务;底盘12设置有处理器集成仓9、大功率步进电机7和减速器8;底盘12左右两侧设置激光测距传感器10,激光测距传感器10由于位于封闭环境作业,不会受到阳光影响,可以为管道机器人提供精准的两端距离,为管道机器人调整姿态提供必要的数据。
实施例2
作为优选的,为更好地实现本实用新型,在上述实施例的基础上进一步优化,特别采用下述设置结构:如图1~4、图7~8,在本实施列中,在机器人本体的底盘12上中间位置设置处理器集成仓9,处理器集成仓9上方设置stm32底层控制板,下方放置NVIDIA tx2开发板,步进电机驱动放置在NVIDIA tx2开发板上方,升降支架6放置在处理器集成仓9上方;在机器人本体的底盘12上设置有电源11为stm32底层控制板、NVIDIA tx2开发板、减速器8和大功率步进电机7提供供电装置;在所述的处理器集成仓9的NVIDIA tx2开发板上电性连接单目摄像头5和stm32底层控制板,单目摄像头5由升降支架6支撑,升降支架6调整单目摄像头5位姿;在所述的处理器集成仓9的stm32底层控制板电性连接激光测距传感器10、步进电机驱动和超声波传感器4;所述管道机器人操控采用无线控制,外部人员通过WiFi远程遥控和操控机器人和单目SLAM工程。
实施例3
作为优选的,为更好地实现本实用新型,在上述实施例的基础上进一步优化,特别采用下述设置结构:如图1~4、图6,车轮2采用塑胶或橡胶材质,车轮采用大面积的侧花纹,可以提高车轮与管道壁的接触面积。轴套3配合车轮,提高车轮的强度。通过更换轴套及车轮,可以使管道机器人适用于更多的管径和管道作业。
实施例4
作为优选的,为更好地实现本实用新型,在上述实施例的基础上进一步优化,特别采用下述设置结构:如图1~4、图5、图7,单目摄像头5前方有折叠镜头盖1和超声波传感器4。所述折叠镜头盖1用于放置管道作业时,管道内的灰尘会落在镜头及超声波传感器上,影响图像识别及录制效果,以及超声波传感器的精度。同时镜头盖内侧装有LED灯,为图像采集提供光源,同时可以避免LED灯上落入灰尘。
实施例5
作为优选的,为更好地实现本实用新型,在上述实施例的基础上进一步优化,特别采用下述设置结构:如图1~4,处理器集成仓9的NVIDIA tx2开发板装载有Ubuntu16.04系统,Ubuntu16.04系统安装了单目视觉的SLAM工程,通过单目摄像头5获取周围环境图像信息和机器人的位姿数据进行处理,运用SLAM算法对周围环境进行建图;根据建好的地图,运用路径规划算法生成从当前位置到目标点的路径。控制管道机器人进行地图构建、定位、导航和避障,使管道机器人能在黑暗狭小的管道中以自主巡航的方式,检查管道是否有缺口和锈迹,并且实时传输给外部工作人员工作的电脑。
实施例6
作为优选的,为更好地实现本实用新型,在上述实施例的基础上进一步优化,特别采用下述设置结构:在机器人本体的底盘12上设置有电源11为stm32底层控制板、NVIDIAtx2开发板、减速器8和大功率步进电机7提供电力,并且为它在底盘上设置了散热片,通过伸出车体外的散热片为其提供良好的散热效果。
实施例7
作为优选的,为更好地实现本实用新型,在上述实施例的基础上进一步优化,特别采用下述设置结构:如图8,使用单目SLAM工程,它有四个线程分别是跟踪线程、闭环检测线程、优化线程和建图线程。首先在当前帧查找角点,估计灰度质心的方向向量,然后对前一步提取出特征点的周围图像区域进行描述,通过得到的ORB特征描述子进行匹配,匹配好的特征点用PnP估计相机位姿。在单目SLAM工程中后端非线性优化接受不同时刻视觉里程计测量的相机位姿,以及回环检测信息,对其进行优化,得到全局一致的轨迹和地图。在单目SLAM工程中回环检测判断机器人是否到达过先前的位置,如果检测到回环,就会把信息提供给后端进行处理。然后根据估计的位姿和轨迹,建立关于管道对应的地图。
实施例8
作为优选的,为更好地实现本实用新型,在上述实施例的基础上进一步优化,特别采用下述设置结构:所述的远程操作管道机器人与外部人员使用的工作站通过网络连接。
各部件的具体作用过程如下:在NVIDIA tx2开发板上搭建视觉SLAM系统,利用TX2在计算机视觉方面的高性能、低能耗计算的特点来减少视觉处理的时间,提高实时性;利用单目摄像头作为主要的视觉信息收集工具;由于管道环境过于复杂,所以安装了超声波传感器和激光测距传感器来弥补对光照要求的缺陷,可有效增加白墙和无纹理物体的识别精度,为管道的环境识别和视觉SLAM算法提供更精准的图像源;处理器集成仓9的stm32底层控制板通过接收NVIDIA tx2开发板规划好的路径,stm32底层控制板给步进电机驱动发送信号,步进电机驱动驱动大功率步进电机和减速器操控管道机器人平稳的进行移动。
以上所述仅为本实用新型的较佳实施例而已,并不用以限制本实用新型,凡在本实用新型的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本实用新型的保护范围之内。

Claims (9)

1.一种基于视觉SLAM的管道机器人,其特征在于:机器人的本体、处理器集成仓(9)、单目摄像头(5)和传感器;在机器人本体的底盘(12)两侧的四个角部分别设置有一个塑胶或橡胶材质的车轮(2);在所述的底盘(12)上设置有两个大功率步进电机(7)进行驱动,配合底盘(12)上的减速器(8),为管道机器人提供更大的驱动力,并且可以平稳的执行操作任务;在机器人本体的底盘(12)上设置处理器集成仓(9),处理器集成仓(9)含有stm32底层控制板、NVIDIA tx2开发板和步进电机驱动;在机器人本体的底盘(12)上设置有电源(11)为stm32底层控制板、NVIDIA tx2开发板、减速器(8)和大功率步进电机(7)提供供电装置;在所述的处理器集成仓(9)的NVIDIA tx2开发板上电性连接单目摄像头(5)和stm32底层控制板;在所述的处理器集成仓(9)的stm32底层控制板电性连接激光测距传感器(10)、步进电机驱动和超声波传感器(4);所述管道机器人操控采用无线控制,外部人员通过WiFi远程遥控和操控机器人和单目SLAM工程。
2.根据权利要求1所述的一种基于视觉SLAM的管道机器人,其特征在于:所述车轮(2)采用塑胶或橡胶材质,车轮采用大面积的侧花纹,可以提高车轮与管道壁的接触面积。
3.根据权利要求1所述的一种基于视觉SLAM的管道机器人,其特征在于:所述处理器集成仓(9)的stm32底层控制板电性连接步进电机驱动,控制升降支架(6)调整单目摄像头(5)的位姿。
4.根据权利要求1所述的一种基于视觉SLAM的管道机器人,其特征在于:所述的电源(11),为它在底盘上设置了散热片,通过伸出车体外的散热片为其提供散热功能。
5.根据权利要求1所述的一种基于视觉SLAM的管道机器人,其特征在于:所述的处理器集成仓(9)的NVIDIA tx2开发板上连接有WiFi模块,可供外部人员远程操控视觉SLAM的管道机器人和收集视觉SLAM的管道机器人采集的信息。
6.根据权利要求1所述的一种基于视觉SLAM的管道机器人,其特征在于:所述的处理器集成仓(9)的NVIDIA tx2开发板上装载有Ubuntu16.04系统,用于开发视觉SLAM管道机器人的功能;在Ubuntu16.04系统中装有单目SLAM工程,单目SLAM工程帮助视觉SLAM管道机器人实现自主导航、定位和建图;在NVIDIA tx2开发板上连接有单目摄像头(5),NVIDIA tx2开发板通过单目摄像头(5)收集视觉信息并且通过视觉信息实现视觉SLAM管道机器人的功能。
7.根据权利要求1所述的一种基于视觉SLAM的管道机器人,其特征在于:所述的处理器集成仓(9)的stm32底层控制板电性连接NVIDIA tx2开发板,NVIDIA tx2开发板对stm32底层控制板发送指令,控制视觉SLAM管道机器人的行动。
8.根据权利要求1所述的一种基于视觉SLAM的管道机器人,其特征在于:所述的处理器集成仓(9)的stm32底层控制板电性连接激光测距传感器(10)和超声波传感器(4);stm32底层控制板通过收集激光测距传感器(10)和超声波传感器(4)的信息实现自主导航和避障。
9.根据权利要求3所述的一种基于视觉SLAM的管道机器人,其特征在于:单目摄像头(5)前方有折叠镜头盖(1)和超声波传感器(4);所述折叠镜头盖(1)用于放置管道作业时,管道内的灰尘会落在镜头及超声波传感器上,影响图像识别及录制效果,以及超声波传感器的精度;同时镜头盖内侧装有LED灯,为图像采集提供光源,同时可以避免LED灯上落入灰尘。
CN202020000982.5U 2020-01-02 2020-01-02 一种基于视觉slam的管道机器人 Expired - Fee Related CN211590199U (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202020000982.5U CN211590199U (zh) 2020-01-02 2020-01-02 一种基于视觉slam的管道机器人

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202020000982.5U CN211590199U (zh) 2020-01-02 2020-01-02 一种基于视觉slam的管道机器人

Publications (1)

Publication Number Publication Date
CN211590199U true CN211590199U (zh) 2020-09-29

Family

ID=72599932

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202020000982.5U Expired - Fee Related CN211590199U (zh) 2020-01-02 2020-01-02 一种基于视觉slam的管道机器人

Country Status (1)

Country Link
CN (1) CN211590199U (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113266726A (zh) * 2021-04-21 2021-08-17 武汉工程大学 一种定位管道机器人
CN113576780A (zh) * 2021-08-04 2021-11-02 北京化工大学 一种基于语义视觉slam的智能轮椅

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113266726A (zh) * 2021-04-21 2021-08-17 武汉工程大学 一种定位管道机器人
CN113576780A (zh) * 2021-08-04 2021-11-02 北京化工大学 一种基于语义视觉slam的智能轮椅

Similar Documents

Publication Publication Date Title
CN108890611A (zh) 一种基于slam的双目视觉避障轮式机器人
CN108189040B (zh) 一种污水管线检测机器人系统
CN211590199U (zh) 一种基于视觉slam的管道机器人
CN106325267A (zh) 具有自主巡线和避障功能的全方位移动平台车
CN207397090U (zh) 一种无人驾驶配送小车
CN206833250U (zh) 一种基于激光雷达的无人驾驶侦查小车
CN207319062U (zh) 一种机器人自主导航及运动控制系统
CN111823228A (zh) 一种室内跟随机器人系统和运行方法
CN206523763U (zh) 用于洒水车智能循迹避障的控制装置
CN107817319A (zh) 一种用于城市道路与管线工程地下缺陷的无损检测机器人系统
CN105044754A (zh) 一种基于多传感器融合的移动平台室外定位方法
CN102221831A (zh) 可移动式远程遥控视觉机器巡检系统
CN206105880U (zh) 一种机器人控制系统
CN207240184U (zh) 移动物体追踪机器人
CN109571470A (zh) 一种机器人
CN116215697A (zh) 粮食采样系统
CN208854616U (zh) 一种基于slam的双目视觉动态避障轮式机器人
CN203070098U (zh) 巡检机器人室内外自主导航系统
CN104535023A (zh) 管道探测智能车
CN218398132U (zh) 一种变电站室内多功能操作机器人
CN204189024U (zh) 一种信号采集机器人
CN116352722A (zh) 多传感器融合的矿山巡检救援机器人及其控制方法
CN207798777U (zh) 一种用于城市道路与管线工程地下缺陷的无损检测机器人系统
Chen et al. Robo-sweeper: Bionics based unmanned sweeper platform
CN204203767U (zh) 一种智能巡检机器人

Legal Events

Date Code Title Description
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200929

Termination date: 20220102

CF01 Termination of patent right due to non-payment of annual fee