CN110077349A - 一种车辆防撞智能预警装置及预警方法 - Google Patents

一种车辆防撞智能预警装置及预警方法 Download PDF

Info

Publication number
CN110077349A
CN110077349A CN201910326376.4A CN201910326376A CN110077349A CN 110077349 A CN110077349 A CN 110077349A CN 201910326376 A CN201910326376 A CN 201910326376A CN 110077349 A CN110077349 A CN 110077349A
Authority
CN
China
Prior art keywords
distance
target
vehicle
mounting platform
warning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910326376.4A
Other languages
English (en)
Other versions
CN110077349B (zh
Inventor
刘建阳
陈亦麟
仲成军
王发宇
吴小平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southwest Jiaotong University
Original Assignee
Southwest Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southwest Jiaotong University filed Critical Southwest Jiaotong University
Priority to CN201910326376.4A priority Critical patent/CN110077349B/zh
Publication of CN110077349A publication Critical patent/CN110077349A/zh
Application granted granted Critical
Publication of CN110077349B publication Critical patent/CN110077349B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0042—Arrangements for holding or mounting articles, not otherwise provided for characterised by mounting means
    • B60R2011/008—Adjustable or movable supports

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及汽车安全辅助驾驶领域，尤其涉及一种车辆防撞智能预警装置及预警方法，包括安装于靠近车辆前挡风玻璃的车顶中心位置处的横梁，所述横梁中心位置处竖直向下安装一连接杆，连接杆远离车顶的一端安装有安装平台且所述连接杆将安装平台分为左右两侧，分别在其两侧安装有能够沿安装平台长度方向上移动的移动滑台，并分别在两个移动平台上安装驱动旋转平台转动的驱动装置，所述驱动装置与旋转平台连接来带动旋转平台转动，并分别在旋转平台上安装有CCD图像传感器，通过两个CCD图像传感器组成双目视觉系统根据目标自动调整基线长度与旋转角度，提高测距的精确性和准确性，避免了车辆在进入弯道时，导致测距目标丢失而不可测的技术问题。

Description

一种车辆防撞智能预警装置及预警方法
技术领域
本发明涉及汽车安全辅助驾驶领域，尤其涉及一种车辆防撞智能预警装置及预警方法。
背景技术
现有的车辆防撞预警系统中，通常使用激光雷达、单目相机、双目视觉系统等装置进行车辆前方信息的收集。在使用双目视觉系统的系统中，申请号为CN201711343501X的中国发明专利，公开了一种基于双目视觉系统的车载智能前车防撞预警方法，其通过双目视觉系统对前方车辆进行检测和跟踪。但是使用该方法进行检测时，由于双目视觉系统的基线长度固定，对不同距离的目标测距时误差会发生较大变化，即测量远距离目标比测量近距离目标的误差大。同时该系统的双目视觉系统固定在安装架上不可旋转，导致双目视觉系统共同视场区域固定，在车辆前方目标偏离该区域，如：车辆进入弯道，将导致测距目标丢失而距离不可测。从而导致前车防撞预警系统的精度下降。
发明内容
本发明要解决的技术问题是：本发明提供了一种车辆防撞智能预警装置及预警方法，有效的避免了车辆在进入弯道时，导致测距目标丢失而不可测的技术问题，提高了车辆防撞系统的测量精度。
本发明的技术方案如下：
一种车辆防撞智能预警装置包括：安装于靠近车辆前挡风玻璃的车顶中心位置处的横梁，所述横梁中心位置处竖直向下安装一连接杆，连接杆远离车顶的一端安装有安装平台且所述连接杆将安装平台分为左右两侧，分别在其两侧安装有能够沿安装平台长度方向上移动的移动滑台，并分别在两个移动平台上安装驱动旋转平台转动的驱动装置，所述驱动装置与旋转平台连接来带动旋转平台转动，并分别在旋转平台上安装有CCD图像传感器，并在所述旋转平台上安装有测距传感器。
具体的，在所述安装平台的左右两侧且分别沿安装平台左右两侧的长度方向安装滚珠丝杠，所述两个移动平台分别安装在安装平台两侧的滚珠丝杠上，所述两个螺杆均与安装在安装平台中心位置处的双轴式步进电机连接，使得可通过双轴式步进电机驱动两个滚珠丝杠转动，从而使得两个移动平台做相向运动和背向运动。
所述驱动装置采用带轮驱动，具体的，通过步进电机驱动小带轮转动，小带轮通过皮带与大带轮连接，其旋转平台与大带轮连接，从而实现旋转平台的转动，来带动CCD图像传感器旋转。
进一步的，在所述大带轮所安装的转轴上安装有编码器，从而可通过两个编码器获取分别安装在安装平台两侧的CCD图像传感器的转动角度。
本发明通过安装平台两侧的CCD图像传感器组成了双目视觉系统。
一种上述车辆防撞智能预警装置所采用的预警方法如下：
步骤1：首先由快速自标定方法进行标定，确定相机坐标系下的坐标转换到像素坐标系下的参数，包含缩放和一个原点的平移；并且获取相机外参数，即为将世界坐标系下的坐标转换到相机坐标系下的参数，包含旋转矩阵R和平移向量t 。
步骤2：通过Bouguet方法进行极线校正，使得两个相机的光轴完全平行。
步骤3：通过双目视觉系统检测车道线，确定本车行驶的车道。再检测行驶车道上的车辆和行人，计算本车与前方车辆的距离，本车与前方行人的距离。选取距离最小值，对距离最近的目标，即碰撞风险最大的目标进行跟踪。
步骤4：在提前测试得到的数据集中，记录了不同基线长度下，对不同距离的目标的测距误差。目标距离越远，测距误差越大。以最近测量距离至测距误差达到2%的距离范围作为某一基线长度下的最佳测距区间。
根据被跟踪的目标的距离，比对数据集，判断是否处于双目视觉系统的最佳测距区间，若处于最佳测距区间则执行步骤5，若不处于最佳测距区间则通过控制模块控制双轴式步进电机运动，使得双目视觉系统的基线长度增加或减少，直到目标重新处于双目视觉系统的最佳测距区间，返回第1步。
步骤5：当双目视觉系统检测到被跟踪的目标因进入弯道，向双目视觉系统共同视场区域边缘运动，从而即将偏离双目视觉系统共同视场区域而导致无法测距，通过控制B组步进电机通过带传动调整CCD图像传感器摄像头角度，直到使该目标重新处于共同视场区域中心，返回第1步。若被跟踪的目标处于共同视场区域中心，无偏离共同视场区域趋势，执行第6步。
步骤6：根据本车与目标之间的相对距离、相对速度，参考GB∕T 33577-2017推荐性国家标准中报警距离计算公式，智能预警系统自主设定当前状况下的安全距离。
步骤7：当本车行驶到接近安全距离时，控制板控制报警装置进行预备碰撞报警，预备碰撞报警提前时间可以人为进行调整。当本车不在报警范围时，则返回第3步。
本发明的有益效果：1. 本发明的双目视觉系统能够根据目标自动调整基线长度与旋转角度，提高测距的精确性和准确性，从而使前车防撞预警系统适应更多情况，可靠性增加，车辆驾驶的安全性上升，从而有效的避免了车辆在进入弯道时，导致测距目标丢失而不可测的技术问题。
2. 能够有效识别本车行驶车道上的前方车辆、行人目标，智能计算安全距离并提前报警，并且能够减少误报。
附图说明
图1所示为本发明的主视图；
图2为本发明的安装平台俯视图；
图3为本发明的检测步骤示意图；
图4为本发明的基线变化情景示意图；
图5为本发明的角度旋转情景示意图；
附图标记说明： 1.横梁；2.连接杆；3.安装平台；4.移动滑台；5.旋转平台；6. CCD图像传感器；7.滚珠丝杠；8.双轴式步进电机；9.测距传感器；10.小带轮；11.皮带；12.大带轮。
具体实施方式
下面结合附图和具体实施方式对本发明做详细的说明。
结合附图1到2对本发明的一种车辆防撞智能预警装置的最优实施例做详细说明，一种车辆防撞智能预警装置包括：安装于靠近车辆前挡风玻璃的车顶中心位置处的横梁1，所述横梁1中心位置处竖直向下安装一连接杆2，连接杆2远离车顶的一端安装有安装平台3且所述连接杆2将安装平台3分为左右两侧，分别在其两侧安装有能够沿安装平台3长度方向上移动的移动滑台4，并分别在两个移动滑台4上安装驱动旋转平台5转动的驱动装置，所述驱动装置与旋转平台5连接来带动旋转平台5转动，并分别在旋转平台5上安装有CCD图像传感器6，并在所述旋转平台5上安装有测距传感器9。
具体的，在所述安装平台3的左右两侧且分别沿安装平台3左右两侧的长度方向安装滚珠丝杠7，所述两个移动滑台4分别安装在安装平台3两侧的滚珠丝杠7上，所述两个螺杆均与安装在安装平台3中心位置处的双轴式步进电机8连接，使得可通过双轴式步进电机8驱动两个滚珠丝杠7转动，从而使得两个移动滑台4做相向运动和背向运动。
所述驱动装置采用带轮驱动，具体的，通过步进电机驱动小带轮10转动，小带轮10通过皮带11与大带轮12连接，其旋转平台5与大带轮12连接，从而实现旋转平台5的转动，来带动CCD图像传感器6旋转。
进一步的，在所述大带轮12所安装的转轴上安装有编码器，从而可通过两个编码器获取分别安装在安装平台3两侧的CCD图像传感器6的转动角度。
本发明通过安装平台3两侧的CCD图像传感器6组成了双目视觉系统。
结合附图1到附图5对本发明的一种车辆防撞智能预警装置所采用的预警方法做详细的说明，其步骤如下：
步骤1：首先由快速自标定方法进行标定，确定相机坐标系下的坐标转换到像素坐标系下的参数，包含缩放和一个原点的平移；并且获取相机外参数，即为将世界坐标系下的坐标转换到相机坐标系下的参数，包含旋转矩阵R和平移向量t 。
步骤2：通过Bouguet方法进行极线校正，使得两个相机的光轴完全平行。
步骤3：通过双目视觉系统检测车道线，确定本车行驶的车道。再检测行驶车道上的车辆和行人，计算本车与前方车辆的距离，本车与前方行人的距离。选取距离最小值，对距离最近的目标，即碰撞风险最大的目标进行跟踪。
步骤4：在提前测试得到的数据集中，记录了不同基线长度下，对不同距离的目标的测距误差。目标距离越远，测距误差越大。以最近测量距离至测距误差达到2%的距离范围作为某一基线长度下的最佳测距区间。
根据被跟踪的目标的距离，比对数据集，判断是否处于双目视觉系统的最佳测距区间，若处于最佳测距区间则执行步骤5，若不处于最佳测距区间则通过控制模块控制双轴式步进电机8运动，使得双目视觉系统的基线长度增加或减少，直到目标重新处于双目视觉系统的最佳测距区间，返回第1步。
步骤5：当双目视觉系统检测到被跟踪的目标因进入弯道，向双目视觉系统共同视场区域边缘运动，从而即将偏离双目视觉系统共同视场区域而导致无法测距，通过控制B组步进电机通过带传动调整CCD图像传感器6摄像头角度，直到使该目标重新处于共同视场区域中心，返回第1步。若被跟踪的目标处于共同视场区域中心，无偏离共同视场区域趋势，执行第6步。
步骤6：根据本车与目标之间的相对距离、相对速度，参考GB∕T 33577-2017推荐性国家标准中报警距离计算公式，智能预警系统自主设定当前状况下的安全距离。
步骤7：当本车行驶到接近安全距离时，控制板控制报警装置进行预备碰撞报警，预备碰撞报警提前时间可以人为进行调整。当本车不在报警范围时，则返回第3步。

Claims (5)

1.一种车辆防撞智能预警装置，其特征在于，包括安装于靠近车辆前挡风玻璃的车顶中心位置处的横梁（1），所述横梁（1）中心位置处竖直向下安装一连接杆（2），连接杆（2）远离车顶的一端安装有安装平台（3）且所述连接杆（2）将安装平台（3）分为左右两侧，分别在其两侧安装有能够沿安装平台（3）长度方向上移动的移动滑台（4），并分别在两个移动滑台（4）上安装驱动旋转平台（5）转动的驱动装置，所述驱动装置与旋转平台（5）连接来带动旋转平台（5）转动，并分别在旋转平台（5）上安装有CCD图像传感器（6），并在所述旋转平台（5）上安装有测距传感器（9）。
2.如权利要求1所述的一种车辆防撞智能预警系统，其特征在于，所述安装平台（3）的左右两侧且分别沿安装平台（3）左右两侧的长度方向安装滚珠丝杠（7），所述两个移动滑台（4）分别安装在安装平台（3）两侧的滚珠丝杠（7）上，所述两个螺杆均与安装在安装平台（3）中心位置处的双轴式步进电机（8）连接。
3.如权利要求1或2所述的一种车辆防撞智能预警系统，其特征在于，所述驱动装置采用带轮驱动，通过步进电机驱动小带轮（10）转动，小带轮（10）通过皮带（11）与大带轮（12）连接，其旋转平台（5）与大带轮（12）连接，从而实现旋转平台（5）的转动，来带动CCD图像传感器（6）旋转。
4.如权利要求3所述的一种车辆防撞智能预警系统，其特征在于，所述大带轮（12）所安装的转轴上安装有编码器，从而可通过两个编码器获取分别安装在安装平台（3）两侧的CCD图像传感器（6）的转动角度。
5.一种车辆防撞智能预警方法，其特征在于，包括以下步骤：
步骤1：首先由快速自标定方法进行标定，确定相机坐标系下的坐标转换到像素坐标系下的参数，包含缩放和一个原点的平移；并且获取相机外参数，即为将世界坐标系下的坐标转换到相机坐标系下的参数，包含旋转矩阵R和平移向量t ；
步骤2：通过Bouguet方法进行极线校正，使得两个相机的光轴完全平行；
步骤3：通过双目视觉系统检测车道线，确定本车行驶的车道；再检测行驶车道上的车辆和行人，计算本车与前方车辆的距离，本车与前方行人的距离；选取距离最小值，对距离最近的目标，即碰撞风险最大的目标进行跟踪；
步骤4：在提前测试得到的数据集中，记录了不同基线长度下，对不同距离的目标的测距误差；目标距离越远，测距误差越大；以最近测量距离至测距误差达到2%的距离范围作为某一基线长度下的最佳测距区间；
根据被跟踪的目标的距离，比对数据集，判断是否处于双目视觉系统的最佳测距区间，若处于最佳测距区间则执行步骤5，若不处于最佳测距区间则通过控制模块控制双轴式步进电机（8）运动，使得双目视觉系统的基线长度增加或减少，直到目标重新处于双目视觉系统的最佳测距区间，返回第1步；
步骤5：当双目视觉系统检测到被跟踪的目标因进入弯道，向双目视觉系统共同视场区域边缘运动，从而即将偏离双目视觉系统共同视场区域而导致无法测距，通过控制B组步进电机通过带传动调整CCD图像传感器（6）摄像头角度，直到使该目标重新处于共同视场区域中心，返回第1步；若被跟踪的目标处于共同视场区域中心，无偏离共同视场区域趋势，执行第6步；
步骤6：根据本车与目标之间的相对距离、相对速度，参考GB∕T 33577-2017推荐性国家标准中报警距离计算公式，智能预警系统自主设定当前状况下的安全距离；
步骤7：当本车行驶到接近安全距离时，控制板控制报警装置进行预备碰撞报警，预备碰撞报警提前时间可以人为进行调整；当本车不在报警范围时，则返回第3步。
CN201910326376.4A 2019-04-23 2019-04-23 一种车辆防撞智能预警装置及预警方法 Expired - Fee Related CN110077349B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910326376.4A CN110077349B (zh) 2019-04-23 2019-04-23 一种车辆防撞智能预警装置及预警方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910326376.4A CN110077349B (zh) 2019-04-23 2019-04-23 一种车辆防撞智能预警装置及预警方法

Publications (2)

Publication Number Publication Date
CN110077349A true CN110077349A (zh) 2019-08-02
CN110077349B CN110077349B (zh) 2021-07-30

Family

ID=67416148

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910326376.4A Expired - Fee Related CN110077349B (zh) 2019-04-23 2019-04-23 一种车辆防撞智能预警装置及预警方法

Country Status (1)

Country Link
CN (1) CN110077349B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110703273A (zh) * 2019-10-16 2020-01-17 江苏科技大学 一种激光辅助视觉实时位置测量装置及其测量方法
CN111182210A (zh) * 2019-12-31 2020-05-19 浙江大学 一种双目分析双云台多目标跟踪摄像机
CN112407106A (zh) * 2020-11-20 2021-02-26 苏州智加科技有限公司 分体式双目摄像头的安装方法及装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105262946A (zh) * 2015-09-23 2016-01-20 上海大学 一种三维双目相机云台实验装置
US20160252909A1 (en) * 2003-03-20 2016-09-01 Agjunction Llc Gnss and optical guidance and machine control
CN106347351A (zh) * 2016-09-28 2017-01-25 奇瑞汽车股份有限公司 一种带有自动紧急制动的自适应巡航方法及系统
CN107917318A (zh) * 2017-12-15 2018-04-17 浙江工业大学 一种双目相机调节位姿的支架
CN207487590U (zh) * 2017-11-29 2018-06-12 刘松林 视觉测量试验平台
CN207796436U (zh) * 2017-12-15 2018-08-31 浙江工业大学 一种双目相机调节位姿的支架
CN109605422A (zh) * 2018-12-28 2019-04-12 西北工业大学 自适应结构参数双目测量平台
CN209938515U (zh) * 2019-04-23 2020-01-14 西南交通大学 一种车辆防撞智能预警装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160252909A1 (en) * 2003-03-20 2016-09-01 Agjunction Llc Gnss and optical guidance and machine control
CN105262946A (zh) * 2015-09-23 2016-01-20 上海大学 一种三维双目相机云台实验装置
CN106347351A (zh) * 2016-09-28 2017-01-25 奇瑞汽车股份有限公司 一种带有自动紧急制动的自适应巡航方法及系统
CN207487590U (zh) * 2017-11-29 2018-06-12 刘松林 视觉测量试验平台
CN107917318A (zh) * 2017-12-15 2018-04-17 浙江工业大学 一种双目相机调节位姿的支架
CN207796436U (zh) * 2017-12-15 2018-08-31 浙江工业大学 一种双目相机调节位姿的支架
CN109605422A (zh) * 2018-12-28 2019-04-12 西北工业大学 自适应结构参数双目测量平台
CN209938515U (zh) * 2019-04-23 2020-01-14 西南交通大学 一种车辆防撞智能预警装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李磊: "多传感器融合的智能车自主导航系统设计", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110703273A (zh) * 2019-10-16 2020-01-17 江苏科技大学 一种激光辅助视觉实时位置测量装置及其测量方法
CN111182210A (zh) * 2019-12-31 2020-05-19 浙江大学 一种双目分析双云台多目标跟踪摄像机
CN112407106A (zh) * 2020-11-20 2021-02-26 苏州智加科技有限公司 分体式双目摄像头的安装方法及装置

Also Published As

Publication number Publication date
CN110077349B (zh) 2021-07-30

Similar Documents

Publication Publication Date Title
CN110517521B (zh) 一种基于路车融合感知的车道偏离预警方法
US11348266B2 (en) Estimating distance to an object using a sequence of images recorded by a monocular camera
CN107728618B (zh) 一种无人船的避障方法
US9443154B2 (en) Fusion of far infrared and visible images in enhanced obstacle detection in automotive applications
US9053554B2 (en) Object detection device using an image captured with an imaging unit carried on a movable body
CN107179530B (zh) 用于求取固定在车辆上的探测设备的失调的装置
CN110077349A (zh) 一种车辆防撞智能预警装置及预警方法
US7965871B2 (en) Moving-state determining device
CN108928343A (zh) 一种全景融合自动泊车系统及方法
US9975499B2 (en) Wading apparatus for a vehicle and method of use
US20150032369A1 (en) Wayfinding method and device
CN104802710B (zh) 一种智能汽车倒车辅助系统及辅助方法
CN103373349A (zh) 自动泊车辅助系统的障碍物避碰装置及方法
CN111661047B (zh) 车辆中的车道位置感测和跟踪
CN106573571A (zh) 利用惯性传感器的驾驶员辅助系统
JP3440956B2 (ja) 車両用走行路検出装置
KR20150010126A (ko) 차량 측방 표시 제어 장치 및 방법
CN209938515U (zh) 一种车辆防撞智能预警装置
CN212694022U (zh) 一种汽车前视防撞雷达状态检测与安装标校装置
CN211032395U (zh) 自动驾驶车辆
US20230368424A1 (en) Vehicle and method of controlling the same
US20240059310A1 (en) Method for controlling drive-through and apparatus for controlling drive-through
CN117302200A (zh) 一种用于adas系统的横穿防碰撞方法
CN117377890A (zh) 一种雷达系统
CN101687475B (zh) 用于示出停车位的控制装置和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210730

CF01 Termination of patent right due to non-payment of annual fee