CN110659552B - 有轨电车障碍物检测及报警方法 - Google Patents

有轨电车障碍物检测及报警方法 Download PDF

Info

Publication number
CN110659552B
CN110659552B CN201910346188.8A CN201910346188A CN110659552B CN 110659552 B CN110659552 B CN 110659552B CN 201910346188 A CN201910346188 A CN 201910346188A CN 110659552 B CN110659552 B CN 110659552B
Authority
CN
China
Prior art keywords
image
obstacle
pixel
edge
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201910346188.8A
Other languages
English (en)
Other versions
CN110659552A (zh
Inventor
伏筱堃
曹睿炜
周梦笛
吴羡
孙芮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN201910346188.8A priority Critical patent/CN110659552B/zh
Publication of CN110659552A publication Critical patent/CN110659552A/zh
Application granted granted Critical
Publication of CN110659552B publication Critical patent/CN110659552B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B61—RAILWAYS
    • B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L23/00—Control, warning or like safety means along the route or between vehicles or trains
    • B61L23/04—Control, warning or like safety means along the route or between vehicles or trains for monitoring the mechanical state of the route
    • B61L23/041—Obstacle detection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本发明提出了一种有轨电车障碍物检测及报警方法，包括以下步骤：提取监控设备帧图，划分一个梯形的感兴趣区域；将感兴趣区域进行灰度化处理；滤波处理消除噪声；采用Sobel边缘检测进行定位；进行图像二值化处理；利用几何特征对障碍物进行筛选；建立测距模型精确计算筛选后的障碍物距离；用激光雷达检测前方障碍物距离；取两边检测信息进行目标障碍物一致性检测和重合度计算判断是否需要报警。本发明采用激光检测与机器视觉检测双检测系统识别障碍物并测距报警，观测效率高。

Description

有轨电车障碍物检测及报警方法
技术领域
本发明属于机器视觉与激光检测技术，具体为一种有轨电车障碍物检测及报警方法。
背景技术
机器视觉检测与激光雷达检测技术是智能交通领域运用极为广泛的一部分，如无人驾驶、高铁异物侵限监测等。国内如今大部分有轨电车运行安全都是依赖于司机对前方路况的主观判断，存在一定的安全隐患。在交通流较大的路段处，司机易出现慌神、走神等情况，无法观察到所有动态障碍物的运动轨迹或是静态障碍物的存在，并且在夜晚、雨雾等天气条件下，司机的视线会受到较大的影响，无法保证有轨电车安全运行。
目前最常用的障碍物检测传感器为雷达或者机器视觉，但是机器视觉易受光照影响，并且计算量大，难以获取难度信息，雷达又只能获取目标的点位信息。并且以上两种方法都是通过单个传感器进行检测，而单个传感器往往只能有针对性的获取障碍物一到两个特征，而无法兼顾障碍物其他信息，同时对于计算障碍物距离存在一定误差，无法帮助司机实时监测并且受到报警信息。
发明内容
本发明的目的在于提出了一种有轨电车障碍物检测及报警方法。
实现本发明的技术解决方案为：一种有轨电车障碍物检测及报警方法，具体步骤为：
步骤1、提取设置在有轨电车上摄像机识别车前障碍物监控视频中的一帧图像作为源图；
步骤2、对步骤1获得的源图划分感兴趣目标区域；
步骤3、对感兴趣区域进行灰度化和归一化处理；
步骤4、对灰度图进行直方图均衡化处理、线性的高斯平滑处理以及非线性的中值滤波处理；
步骤5、采用Sobel算法进行边缘检测对障碍物检测定位，确定障碍物粗定位区域；
步骤6、对图像进行二值化处理；
步骤7、通过障碍物粗定位区域边缘像素与其周围像素的连接数判断该障碍物粗定位区域边缘像素示是否为目标障碍物的边缘点，并将判断为目标障碍物的边缘点确组成一个连通域；
步骤8、根据边缘曲线轮廓确定是否为障碍物；
步骤9、计算有轨电车到障碍物的距离；
步骤10、利用激光雷达扫描有轨电车前方，根据激光雷达接收的反射光束，确定障碍物所在位置以及到有轨电车的距离；
步骤11、判断步骤9和步骤10检测的障碍物位置是否有重叠，如果有重叠，则认为所检测的目标为同一个目标，进行一级报警；如果没有重叠，当只有激光雷达检测到障碍物则进行一级报警，当只有摄像机图像检测到障碍物则进行二级报警；当同时都检测到障碍物时，进行二级报警。
本发明与现有技术相比，其显著优点为：1)本发明采用激光检测与机器视觉检测双检测系统识别障碍物并测距报警，观测效率高；2)本发明结合两种检测方法，检测精度高，能够确定感兴趣区域，成本低；3)本发明障碍物检测系统大范围布置代价小，可行性高，将两种检测系统的优缺点进行互补，提升了系统的准确性。
下面结合附图对本发明做进一步详细的描述。
附图说明
图1为本发明机器视觉检测障碍物流程图。
图2为本发明激光雷达检测障碍物流程图。
图3为本发明测距模型示意图。
图4为本发明报警流程图。
具体实施方式
如图1～图4所示，一种有轨电车障碍物检测及报警方法，具体步骤为：
步骤1、提取设置在有轨电车上摄像机识别车前障碍物监控视频中的一帧图像作为源图；
步骤2、对步骤1获得的源图划分感兴趣目标区域，本发明只对感兴趣区域内部进行后续处理，可以节省图像处理的时间，提高处理精度。
步骤3、对感兴趣区域进行灰度化和归一化处理，灰度化能反映图像的形态特征，而图像归一化使得图像能够抵抗几何变换的攻击，从而找出图像中的不变量。
步骤4、对灰度图进行直方图均衡化处理使得图片的对比度增大，使图像细节清晰，以达到增强的目的。通过高斯平滑分配权重，客观上减轻了与周围像素的差异。现实情况下，由于灰度化处理图像的噪声存在会使图像上在噪声处出现灰度跃变，干扰对图像进行分析处理，采用中值滤波用邻域中值代替该点像素值，去除噪声保留图像特征。
步骤5、机动车车身纹理为水平边缘，行人纹理多呈现垂直边缘。依据此特性采用Sobel算法实现边缘检测对障碍物检测进行定位。Sobel算法是一离散型差分算子，用以运算图像高亮函数的灰度近似值，为便于后续二值图像处理，具体方法为：
步骤5-1、提取图像每一个像素点(a,b)的灰度值f(a,b)，根据像素点的灰度值确定横向及纵向边缘检测的图像灰度值；
步骤5-2、将横向及纵向边缘检测的图像灰度值分别与原始图像进行平面卷积；
步骤5-3、根据平面卷积后图像的横向及纵向灰度值，计算目标图像像素点图像梯度值；
步骤5-4、将目标像素点的图像梯度值与设定阈值进行比较，当目标像素点的图像梯度值大于或等于设定阈值时，判定该像素点为边界点。
步骤6、在图像进行基本处理后，由于Sobel算子在进行卷积运算之后会留下大量边界线，需要对图像进行二值化处理，对图像进行二值化处理的具体方法为：
步骤6-1、根据每行像素灰度值的最大灰度值maxi和平均像素平均值avri确定图像每一行的阈值：
Figure BDA0002042353720000031
步骤6-2、将每个像素点灰度值与该行的阈值进行比较获得二值化图像，即：
Figure BDA0002042353720000041
式中，g(x,y)为输出图像的灰度值，Tx为x行的阈值，(x,y)为目标像素点，f(x,y)为每个像素点的灰度值。
步骤7、在边缘检测部分处理后，检测到的边缘并不都是目标边缘并且会出现一些不完整或者有残缺冗余的情况，需对边界线上的每个像素进行处理，通过目标像素与其周围像素的连接数和交叉数判断该点是目标障碍物的边缘点、内部点还是外部无关点，可以进一步确定该点所在的边缘能否组成一个连通域，帮助判断边缘的性质，具体方法为：
步骤7-1、将障碍物粗定位区域边缘线上的每个像素点与其周围邻近的像素进行连接；
步骤7-2、根据连接数判断该像素点的属性，具体连接数与像素点属性关系如下：
Figure BDA0002042353720000042
步骤7-3、根据上表像素点属性判断是否需要加入连通域，判断如下：
Figure BDA0002042353720000043
步骤7-4、根据连通域得到边缘曲线。
步骤8、在确定了所有检测到的边缘后，用几何判定方法对目标进行筛选。由于机动车外形矩形度较高，而行人和非机动车也有一定的长宽比，故可从矩形度、长宽比、面积三个方面来筛选，具体方法为：
计算目标障碍物与矩形的相似程度
Figure BDA0002042353720000051
其中AS为连通域S的面积，AR是包围连通域的最小矩形的面积，将矩形度低于设定阈值的目标过滤；
计算包围连通域的最小矩形的长宽比，排除长宽比大于最高设定门限或小于最低设定门限的目标；
计算目标连通域中像素总个数，根据近大远小视觉规律排除面积小于设定门限的目标。
步骤9、在确定前方障碍物后，根据以摄像机为原点的几个基本坐标系即世界坐标系、CCD平面坐标系、相机坐标系、像素坐标系，计算测量障碍物距有轨电车的距离，具体为：
Figure BDA0002042353720000052
式中，A是摄像机拍摄到的图像下边缘在路面上的点与有轨电车车身前端的距离；B是摄像机拍摄到的图像下边缘在路面上的点与摄像机在地面上的投影点之间距离；C是障碍物与摄像机拍摄到的图像下边缘在路面上的点之间的距离；D是摄像机在地面上的投影点与摄像机拍摄到的图像上边缘在路面上的点之间的距离；H为摄像头距地面高度；x是障碍物下边缘在图像上的位置距离图像上边缘之间的距离；X图像的总高度。
步骤10、利用激光雷达扫描有轨电车前方，当激光光束碰到了障碍物会进行反射，雷达接收器接收反射光束与其发射光束进行对比，从而能够得知障碍物所在的位置、距离等信息。
步骤11、判断步骤9和步骤10检测的障碍物位置是否有重叠，如果有重叠，则认为所检测的目标为同一个目标，进行一级报警；如果没有重叠，当只有激光雷达检测到障碍物则进行一级报警，当只有摄像机图像检测到障碍物则进行二级报警；当同时都检测到障碍物时，进行二级报警。

Claims (7)

1.一种有轨电车障碍物检测及报警方法，其特征在于，具体步骤为：
步骤1、提取设置在有轨电车上摄像机识别车前障碍物监控视频中的一帧图像作为源图；
步骤2、对步骤1获得的源图划分感兴趣目标区域；
步骤3、对感兴趣区域进行灰度化和归一化处理；
步骤4、对灰度图进行直方图均衡化处理、线性的高斯平滑处理以及非线性的中值滤波处理；
步骤5、采用Sobel算法进行边缘检测对障碍物检测定位，确定障碍物粗定位区域；
步骤6、对图像进行二值化处理；
步骤7、通过障碍物粗定位区域边缘像素与其周围像素的连接数判断该障碍物粗定位区域边缘像素是否为目标障碍物的边缘点，并将判断为目标障碍物的边缘点组成一个连通域，具体方法为：
步骤7-1、将障碍物粗定位区域边缘线上的每个像素点与其周围邻近的像素进行连接；
步骤7-2、根据连接数判断该像素点的属性，具体连接数与像素点属性关系如下：
Figure FDA0003712388340000011
步骤7-3、根据上表像素点属性判断是否需要加入连通域，判断如下：
Figure FDA0003712388340000012
Figure FDA0003712388340000021
步骤7-4、根据连通域得到边缘曲线；
步骤8、根据边缘曲线轮廓确定是否为障碍物；
步骤9、计算有轨电车到障碍物的距离；
步骤10、利用激光雷达扫描有轨电车前方，根据激光雷达接收的反射光束，确定障碍物所在位置以及到有轨电车的距离；
步骤11、判断步骤9和步骤10检测的障碍物位置是否有重叠，如果有重叠，则认为所检测的目标为同一个目标，进行一级报警；如果没有重叠，当只有激光雷达检测到障碍物则进行一级报警，当只有摄像机图像检测到障碍物则进行二级报警。
2.根据权利要求1所述的有轨电车障碍物检测及报警方法，其特征在于，步骤5采用Sobel算法进行边缘检测对障碍物检测定位，确定障碍物粗定位区域的具体方法为：
步骤5-1、提取图像每一个像素点(a,b)的灰度值f(a,b)，根据像素点的灰度值确定横向及纵向边缘检测的图像灰度值；
步骤5-2、将横向及纵向边缘检测的图像灰度值分别与原始图像进行平面卷积；
步骤5-3、根据平面卷积后图像的横向及纵向灰度值，计算目标图像像素点图像梯度值；
步骤5-4、将目标像素点的图像梯度值与设定阈值进行比较，当目标像素点的图像梯度值大于或等于设定阈值时，判定该像素点为边界点。
3.根据权利要求1所述的有轨电车障碍物检测及报警方法，其特征在于，步骤6对图像进行二值化处理的具体方法为：
步骤6-1、根据每行像素灰度值的最大灰度值maxi和平均像素平均值avri确定图像每一行的阈值：
Figure FDA0003712388340000022
步骤6-2、将每个像素点灰度值与该行的阈值进行比较获得二值化图像，即：
Figure FDA0003712388340000031
式中，g(x,y)为输出图像的灰度值，Tx为x行的阈值，(x,y)为目标像素点，f(x,y)为每个像素点的灰度值。
4.根据权利要求1所述的有轨电车障碍物检测及报警方法，其特征在于，步骤8根据障碍物粗定位区域轮廓确定是否为障碍物的具体方法为：根据边缘曲线轮廓的几何特征确定是否为障碍物，具体为从矩形度、长宽比、面积三个方面判断。
5.根据权利要求4所述的有轨电车障碍物检测及报警方法，其特征在于，从矩形度、长宽比、面积三个方面判断的具体方法为：
计算目标障碍物与矩形的相似程度
Figure FDA0003712388340000032
其中AS为连通域S的面积，AR是包围连通域的最小矩形的面积，将矩形度低于设定阈值的目标过滤；
计算包围连通域的最小矩形的长宽比，排除长宽比大于最高设定门限或小于最低设定门限的目标；
计算目标连通域中像素总个数，根据近大远小视觉规律排除面积小于设定门限的目标。
6.根据权利要求1所述的有轨电车障碍物检测及报警方法，其特征在于，步骤9有轨电车到障碍物的距离具体为：
Figure FDA0003712388340000033
式中，A是摄像机拍摄到的图像下边缘在路面上的点与有轨电车车身前端的距离；B是摄像机拍摄到的图像下边缘在路面上的点与摄像机在地面上的投影点之间距离；C是障碍物与摄像机拍摄到的图像下边缘在路面上的点之间的距离；D是摄像机在地面上的投影点与摄像机拍摄到的图像上边缘在路面上的点之间的距离；H为摄像头距地面高度；x是障碍物下边缘在图像上的位置距离图像上边缘之间的距离；X图像的总高度。
7.根据权利要求1所述的有轨电车障碍物检测及报警方法，其特征在于，步骤11中报警方式设置为一级报警语音提示司机减速行驶，二级报警语音提示司机紧急制动。
CN201910346188.8A 2019-04-26 2019-04-26 有轨电车障碍物检测及报警方法 Expired - Fee Related CN110659552B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910346188.8A CN110659552B (zh) 2019-04-26 2019-04-26 有轨电车障碍物检测及报警方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910346188.8A CN110659552B (zh) 2019-04-26 2019-04-26 有轨电车障碍物检测及报警方法

Publications (2)

Publication Number Publication Date
CN110659552A CN110659552A (zh) 2020-01-07
CN110659552B true CN110659552B (zh) 2022-08-16

Family

ID=69028874

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910346188.8A Expired - Fee Related CN110659552B (zh) 2019-04-26 2019-04-26 有轨电车障碍物检测及报警方法

Country Status (1)

Country Link
CN (1) CN110659552B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112254647A (zh) * 2020-09-04 2021-01-22 广东科学技术职业学院 基于摄像装置的物体识别及间距测量方法及装置
CN112258517A (zh) * 2020-09-30 2021-01-22 无锡太机脑智能科技有限公司 激光雷达栅格地图的自动修图方法和装置
CN112215137B (zh) * 2020-10-10 2024-04-26 中国电子科技集团公司第十四研究所 基于区域约束的低虚警目标检测方法
CN114494842B (zh) * 2020-11-13 2025-07-04 苏州科瓴精密机械科技有限公司 基于图像识别工作区域的方法、系统及机器人
CN112418323B (zh) * 2020-11-24 2021-07-16 哈尔滨市科佳通用机电股份有限公司 基于图像处理的铁路货车钩舌销故障检测方法
CN116092076A (zh) * 2023-02-06 2023-05-09 杭州长川科技股份有限公司 显微图像中的探针针尖识别方法及装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106324619A (zh) * 2016-10-28 2017-01-11 武汉大学 一种变电站巡检机器人自动避障方法
CN108254748A (zh) * 2018-01-15 2018-07-06 武汉理工大学 基于激光测距和雷达图像的内河船舶超高报警系统及方法

Also Published As

Publication number Publication date
CN110659552A (zh) 2020-01-07

Similar Documents

Publication Publication Date Title
CN110659552B (zh) 有轨电车障碍物检测及报警方法
CN104331910B (zh) 一种基于机器视觉的轨道障碍物检测系统
CN104657735B (zh) 车道线检测方法、系统、车道偏离预警方法及系统
CN101608924B (zh) 一种基于灰度估计和级联霍夫变换的车道线检测方法
CN110210363A (zh) 一种基于车载图像的目标车辆压线检测方法
JP6020567B2 (ja) 立体物検出装置および立体物検出方法
CN114415171A (zh) 一种基于4d毫米波雷达的汽车可行驶区域检测方法
CN107066986A (zh) 一种基于单目视觉的车道线与前方障碍物检测方法
CN108805065A (zh) 一种基于几何特征改进的车道线检测方法
CN104881645B (zh) 基于特征点互信息量和光流法的车辆前方目标的检测方法
CN102682455A (zh) 一种基于单目视觉的前方车辆检测方法
CN104063882B (zh) 一种基于双目的车辆视频测速方法
CN106096512B (zh) 利用深度摄像头对车辆或行人进行识别的检测装置及方法
CN104106105A (zh) 立体物检测装置
CN103927548B (zh) 一种新的避免车辆碰撞的刹车行为检测方法
CN107886034B (zh) 行车提醒方法、装置及车辆
KR20110001427A (ko) 관심영역 추출에 의한 차선 고속검출 방법
JP2000285245A (ja) 移動体の衝突防止装置、衝突防止方法、および記録媒体
CN115327572A (zh) 一种车辆前方障碍物检测方法
CN115755094A (zh) 障碍物检测方法、装置、设备及存储介质
CN108021849A (zh) 一种行人预警方法及装置
CN107341455A (zh) 一种对夜间机场跑道路面上外来物的区域多特征的检测方法及检测装置
KR101998584B1 (ko) 차선 검출 장치 및 차선 검출 방법
CN202911633U (zh) 基于多信息融合的混合动力车车道标识线动态检测装置
CN114638895B (zh) 一种道岔识别方法、系统、轨道清洁车

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20220816

CF01 Termination of patent right due to non-payment of annual fee