CN114445335B - 基于双目机器视觉的车辆行驶状态监测方法 - Google Patents
基于双目机器视觉的车辆行驶状态监测方法 Download PDFInfo
- Publication number
- CN114445335B CN114445335B CN202111586345.6A CN202111586345A CN114445335B CN 114445335 B CN114445335 B CN 114445335B CN 202111586345 A CN202111586345 A CN 202111586345A CN 114445335 B CN114445335 B CN 114445335B
- Authority
- CN
- China
- Prior art keywords
- running state
- camera
- vehicle
- image
- binocular
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 23
- 238000000034 method Methods 0.000 title claims abstract description 19
- 230000003287 optical effect Effects 0.000 claims description 11
- 101100243951 Caenorhabditis elegans pie-1 gene Proteins 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- 210000004196 psta Anatomy 0.000 claims description 5
- 239000011159 matrix material Substances 0.000 claims description 4
- 238000005259 measurement Methods 0.000 claims description 2
- 238000007781 pre-processing Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 abstract description 10
- 238000006073 displacement reaction Methods 0.000 abstract description 5
- 238000012806 monitoring device Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20228—Disparity calculation for image-based rendering
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- Quality & Reliability (AREA)
- Image Processing (AREA)
- Measurement Of Optical Distance (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本发明涉及基于双目机器视觉的车辆行驶状态监测方法，该方法包括：通过第一摄像头拍摄车辆的第一图像，同时通过第二摄像头拍摄车辆的第二图像；对所述第一图像和第二图像进行处理得到车身分别与前车轮和后车轮的距离；根据所述距离计算车辆的即时行驶状态值和行驶状态统计值，并据两状态值判断是否发出告警。本发明其通过双目机器视觉设备来测量车身与前轮和后轮之间的距离及相对位移，解决了实时高精度监测车身与车轮的动态位移关系的问题，基于此数据构建车辆行驶状态监测方法，通过用数值的形式表示车辆行驶状态，并判断是否需要对车辆进行相应的操控调整。
Description
技术领域
本发明涉及车辆行驶状态的检测，具体地指基于双目机器视觉的车辆行驶状态监测方法及系统。
背景技术
车辆行驶过程中，在路面不平整、道路曲折、加速、减速、转弯、倒车等情形下，车辆将出现重心偏移、车身倾斜、车厢抖动等现象，既影响了车内乘客等乘坐舒适性，又关乎出行安全。
发明内容
本发明的目的在于提供一种基于双目机器视觉的车辆行驶状态监测方法及系统，通过该方法能够精确地测量车身与前轮和后轮之间的距离及相对位移，从而为调整车辆的安全和舒适性提供数据支持。
实现本发明目的采用的技术方案是一种基于双目机器视觉的车辆行驶状态监测方法，该方法包括：
通过第一摄像头拍摄车辆的第一图像，同时通过第二摄像头拍摄车辆的第二图像；
对所述第一图像和第二图像进行处理得到车身分别与前车轮和后车轮的距离delta1和delta2；
根据所述delta1和delta2计算车辆的即时行驶状态值和一段时间内的行驶状态统计值，当即时行驶状态值Pins(i)≥Pth_ins时，给出即时行驶状态告警；或者，当一段时间内的行驶状态统计值Psta(mn)≥Pth_sta时，给出统计行驶状态告警。
此外，本发明还提供一种基于双目机器视觉的车辆行驶状态监测系统，该系统包括：
第一摄像头和第二摄像头，所述第一摄像头和第二摄像头放置在车身上的位置可调节，两个摄像头的镜头法线方向在车辆平置状态时与地面垂直，图像拍摄角度一致，且能够同时抓拍图像，
图像采集模块，用于获取所述第一摄像头和第二摄像头拍摄的图像；
图像处理模块，用于对所述图像采集模块获取的图像进行处理得到车身与前轮和后轮之间的距离；
行驶状态计算统计模块，用于根据所述图像处理模块得到的车身与前轮和后轮之间的距离，计算车辆的即时行驶状态值和一段时间内的行驶状态统计值；
车辆行驶状态告警模块，用于根据所述即时行驶状态值和行驶状态统计值发出告警。
本发明其通过双目机器视觉设备来测量车身与前轮和后轮之间的距离及相对位移，解决了实时高精度监测车身与车轮的动态位移关系的问题，基于此数据构建车辆行驶状态监测方法，通过用数值的形式表示车辆行驶状态，并判断是否需要对车辆进行相应的操控调整。
附图说明
图1为本发明基于双目机器视觉的车辆行驶状态监测系统中两个摄像头的安装示意图。
图2为本发明基于双目机器视觉的车辆行驶状态监测系统中各信号模块的连接框图。
图3为本发明基于双目机器视觉的车辆行驶状态监测方法的流程示意图。
图4为本发明基于双目机器视觉的车辆行驶状态监测方法中基于特征的匹配算法示意图。
图5为本发明基于双目机器视觉的车辆行驶状态监测方法中的双目机器视觉测距的系统示意图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步的详细说明。
如图1所示，本发明基于双目机器视觉的车辆行驶状态监测系统包括一组双目摄像头——摄像头#1和摄像头#2，摄像头#1和摄像头#2的硬件参数一致，安装在车身上的位置可以调节，且能够同时拍摄到前轮和后轮的图像。本发明中摄像头#1和摄像头#2的镜头的法线方向在车辆平置状态时与地面垂直，图像拍摄角度一致，且同时抓拍图像。如图2所示，本发明基于双目机器视觉的车辆行驶状态监测系统还包括依次信号连接的图像采集模块、图像处理模块、车辆行驶状态计算统计模块和车辆行驶状态告警模块。
本发明双目机器视觉的车辆行驶状态监测系统安装在车身上，测量出与前后轮的距离值即为车身与前后轮的距离值。
如图3所示，上述基于双目机器视觉的车辆行驶状态监测系统实现检测的过程包括：
S1：通过图像采集模块采集厢式车的图像，并将图像传输到图像处理模块；所述图像采集模块，即基于双目机器视觉的车辆行驶状态监测装置，此装置中包含摄像头#1和摄像头#2；摄像头#1和摄像头#2同时拍摄得到图像Pic1和Pic2，图像中均包含前轮和后轮。
S2：通过图像处理模块接收摄像头#1和摄像头#2采集的图像Pic1和Pic2，并对图像进行处理，得到车身(即基于双目机器视觉的车辆行驶状态监测装置)与前轮和后轮之间的距离。
优选地，本发明给出一种获得车身(即基于双目机器视觉的车辆行驶状态监测装置)与前轮和后轮之间距离的优选实施方案，具体地包括：接收摄像头采集的图像，然后采用基于特征的立体匹配算法对图像进行处理，通过视差原理的计算方法来得到空间物体表面上所有点的坐标，从而得到车身(即基于双目机器视觉的车辆行驶状态监测装置)与前轮和后轮之间的距离；
其中，本实施例采用基于特征的立体匹配算法对图像进行处理的方法如下：针对基于双目机器视觉的车辆行驶状态监测装置中的一组双目摄像头——摄像头#1和摄像头#2，采用基于特征的立体匹配算法对图像进行处理，首先提取两幅图像(Pic1和Pic2)中的特征点，包括灰度变化明显的拐角、直线、圆弧、自由曲线、图像的过零点和图像边缘特征，然后对特征点进行筛选并建立两幅图像之间特征的匹配对应关系，如图4所示，基于特征的立体匹配算法的具体步骤如下：
(1)对图像进行预处理，以提取特征点或线；
(2)对于Pic1中的某个特征，运用相似性度量公式计算Pic2中特征扫描线附近每个特征与它的相似度；
(3)选出相似程度最大的特征作为Pic1中特征的匹配特征；
(4)重复上述步骤，直到Pic1中所有特征都进行了匹配。
本实施例针对基于双目机器视觉的车辆行驶状态监测装置中的一组双目摄像头——摄像头#1和摄像头#2，通过采用视差原理的逆过程来得到空间物体表面上所有点的坐标，从而重建三维物体的表面形状以及物体在空间中的位置，具体步骤如下：经过摄像机标定得到摄像机内参数及基于双目机器视觉的车辆行驶状态监测装置中的一组双目摄像头——摄像头#1和摄像头#2之间的外参数，由于立体匹配的极限约束，双目校正后的图像进行匹配时，只在水平方向存在视差变化，垂直方向不存在视差变化；以摄像头#1坐标系为世界坐标系，如图5所示，由于左右两个摄像机的参数一样且空间点P(XW,YW,ZW)在左右图相对的映射点为Pl(xl,yl),Pr(xr,yr)，其中xl-xr＝d，yl＝yr，已知摄像机焦距f和双目摄像机光心之间的距离(即基线长度B)，以摄像头#1光心为世界坐标系原点，得到下列关系：
式中(xo,yo)代表摄像头#1光心在图像平面的映射点，将公式(1)归一化表示，得到二维平面坐标与三维空间点坐标之间的映射关系：
其中变换矩阵Q是线性双目摄像机模型下的变换：
实际情况下，影响三维重建的因子主要是摄像头#1和摄像头#2光心在图像中的映射坐标点横坐标的偏差，因此，需要用摄像头#1和摄像头#2光心的偏差对视差d进行补偿，补偿后的变换矩阵Q：
其中，x′o为摄像头#2光心映射在图像上的横坐标值；
通过得到的双目立体匹配的稠密视差图，求出每一个像素点在实际空间中的坐标，形成三维重建点云；将这些实际空间点平滑地连接起来，形成三维重建模型。通过目标识别方法，获得前车轮和后车轮的在图像中的位置，匹配上述三维重建模型，计算得到车身(即基于双目机器视觉的车辆行驶状态监测装置)与前轮和后轮之间的距离delta1和delta2；
在对车辆的监测过程中：首先初始化：车辆平置状态下，启动时刻为i＝0，即通过如上步骤获得的车身(即基于双目机器视觉的车辆行驶状态监测装置)与前轮和后轮之间的距离为delta1(0)和delta2(0)；车辆运行过程中，以基于双目机器视觉的车辆行驶状态监测装置获取的图像帧计数i，即通过如上步骤获得的车身(即基于双目机器视觉的车辆行驶状态监测装置)与前轮和后轮之间的距离为delta1(i)和delta2(i)。
S3：车辆行驶状态监测模块，根据上述步骤所获得从启动时刻到当前时刻的所有历史数据[delta1(0),delta1(1),delta1(2),...,delta1(i)]及[delta2(0),delta2(1),delta2(2),...,delta2(i)]对车辆的即时行驶状态值和一段时间内的行驶状态统计值进行计算，具体包括：
即时行驶状态Pins(i)的计算公式为：
其中，i>0。
一段时间内的行驶状态统计值Psta(mn)，即对时刻m～n的历史数据进行统计运算，其计算公式为：
其中，m>0，n>m。
S4：车辆行驶状态告警模块对上述步骤计算得到对车辆即时行驶状态值和一段时间内的行驶状态统计值，分别设置告警阈值Pth_ins及Pth_sta；当即时行驶状态值Pins(i)≥Pth_ins时，给出即时行驶状态告警；当一段时间内的行驶状态统计值Psta(mn)≥Pth_sta时，给出统计行驶状态告警。告警形式可以为声音、灯光、显示等形式。
Claims (1)
1.一种基于双目机器视觉的车辆行驶状态监测方法，其特征在于，包括：
通过第一摄像头拍摄车辆的第一图像，同时通过第二摄像头拍摄车辆的第二图像；
对所述第一图像和第二图像进行处理得到车身分别与前车轮和后车轮的距离delta1和delta2，具体为：分别提取所述第一图像和第二图像的特征点，并建立两幅图像特征点的匹配对应关系；所述特征点包括灰度变化明显的拐角、直线、圆弧、自由曲线、图像的过零点和图像边缘特征；得到车辆表面所有点的坐标，根据所述坐标建立车辆的三维重建模型，在所述三维重建模型中识别前车轮和后车轮的位置，计算得到车身分别与前车轮和后车轮的距离delta1和delta2；
根据所述delta1和delta2计算车辆的即时行驶状态值和一段时间内的行驶状态统计值，当即时行驶状态值Pins(i)≥Pth_ins时，给出即时行驶状态告警；或者，当一段时间内的行驶状态统计值Psta(mn)≥Pth_sta时，给出统计行驶状态告警；其中
所述建立两幅图像特征点的匹配对应关系包括：
(1)对图像进行预处理，以提取特征点或线；
(2)对于Pic1中的某个特征，运用相似性度量公式计算Pic2中特征扫描线附近每个特征与它的相似度；
(3)选出相似程度最大的特征作为Pic1中特征的匹配特征；
(4)重复上述步骤，直到Pic1中所有特征都进行了匹配；
所述三维重建模型通过以下方式获得：
以摄像头#1坐标系为世界坐标系，空间点P(XW,YW,ZW)在左右图相对的映射点为Pl(xl,yl),Pr(xr,yr)，其中xl-xr＝d，yl＝yr，已知摄像机焦距f和双目摄像机光心之间的距离，以摄像头#1光心为世界坐标系原点，得到下列关系：
式(1)中(xo,yo)代表摄像头#1光心在图像平面的映射点，将公式(1)归一化表示，得到二维平面坐标与三维空间点坐标之间的映射关系：
其中变换矩阵Q是线性双目摄像机模型下的变换：
用摄像头#1和摄像头#2光心的偏差对视差d进行补偿，补偿后的变换矩阵Q：
其中，x′o为摄像头#2光心映射在图像上的横坐标值；
通过得到的双目立体匹配的稠密视差图，求出每一个像素点在实际空间中的坐标，形成三维重建点云；将这些实际空间点平滑地连接起来，形成三维重建模型；
所述即时行驶状态值的计算公式为：
其中，Pins(i)为即时行驶状态值，i>0；
所述行驶状态统计值是对时刻m～n的历史数据进行统计运算，其计算公式为：
其中，Psta(mn)是行驶状态统计值，m>0，n>m。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111586345.6A CN114445335B (zh) | 2021-12-22 | 2021-12-22 | 基于双目机器视觉的车辆行驶状态监测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111586345.6A CN114445335B (zh) | 2021-12-22 | 2021-12-22 | 基于双目机器视觉的车辆行驶状态监测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114445335A CN114445335A (zh) | 2022-05-06 |
| CN114445335B true CN114445335B (zh) | 2024-04-12 |
Family
ID=81363841
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111586345.6A Active CN114445335B (zh) | 2021-12-22 | 2021-12-22 | 基于双目机器视觉的车辆行驶状态监测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114445335B (zh) |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS6488210A (en) * | 1987-09-30 | 1989-04-03 | Suzuki Motor Co | Method for detecting distance between cars |
| JP2006040029A (ja) * | 2004-07-28 | 2006-02-09 | Daihatsu Motor Co Ltd | 障害物認識方法及び障害物認識装置 |
| CN101894271A (zh) * | 2010-07-28 | 2010-11-24 | 重庆大学 | 汽车偏离车道线角度和距离的视觉计算及预警方法 |
| CN103386975A (zh) * | 2013-08-02 | 2013-11-13 | 重庆市科学技术研究院 | 一种基于机器视觉的车辆避障方法及系统 |
| CN104506764A (zh) * | 2014-11-17 | 2015-04-08 | 南京泓众电子科技有限公司 | 一种基于拼接视频图像的汽车行驶记录系统 |
| CN105469418A (zh) * | 2016-01-04 | 2016-04-06 | 中车青岛四方机车车辆股份有限公司 | 基于摄影测量的大视场双目视觉标定装置及方法 |
| CN105678787A (zh) * | 2016-02-03 | 2016-06-15 | 西南交通大学 | 一种基于双目鱼眼摄像头的载重货车行驶障碍物检测及跟踪方法 |
| CN106251701A (zh) * | 2016-09-14 | 2016-12-21 | 郑州轻工业学院 | 基于旋转变焦多摄像头的车辆后视监测报警系统及方法 |
| CN106709905A (zh) * | 2016-12-07 | 2017-05-24 | 成都通甲优博科技有限责任公司 | 一种基于双目视觉图像的防振锤故障在线检测识别方法 |
| CN109035200A (zh) * | 2018-06-21 | 2018-12-18 | 北京工业大学 | 一种基于单双目视觉协同的螺栓定位及位姿检测方法 |
| CN109801302A (zh) * | 2018-12-14 | 2019-05-24 | 华南理工大学 | 一种基于双目视觉的高压输电线路异物检测方法 |
| JP2020047086A (ja) * | 2018-09-20 | 2020-03-26 | いすゞ自動車株式会社 | 車両用監視装置 |
| CN112161997A (zh) * | 2020-09-28 | 2021-01-01 | 南京工程学院 | 半导体芯片管脚三维几何尺寸的在线精密视觉测量方法及系统 |
| CN113793297A (zh) * | 2021-08-13 | 2021-12-14 | 北京迈格威科技有限公司 | 位姿确定方法、装置、电子设备及可读存储介质 |
-
2021
- 2021-12-22 CN CN202111586345.6A patent/CN114445335B/zh active Active
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS6488210A (en) * | 1987-09-30 | 1989-04-03 | Suzuki Motor Co | Method for detecting distance between cars |
| JP2006040029A (ja) * | 2004-07-28 | 2006-02-09 | Daihatsu Motor Co Ltd | 障害物認識方法及び障害物認識装置 |
| CN101894271A (zh) * | 2010-07-28 | 2010-11-24 | 重庆大学 | 汽车偏离车道线角度和距离的视觉计算及预警方法 |
| CN103386975A (zh) * | 2013-08-02 | 2013-11-13 | 重庆市科学技术研究院 | 一种基于机器视觉的车辆避障方法及系统 |
| CN104506764A (zh) * | 2014-11-17 | 2015-04-08 | 南京泓众电子科技有限公司 | 一种基于拼接视频图像的汽车行驶记录系统 |
| CN105469418A (zh) * | 2016-01-04 | 2016-04-06 | 中车青岛四方机车车辆股份有限公司 | 基于摄影测量的大视场双目视觉标定装置及方法 |
| CN105678787A (zh) * | 2016-02-03 | 2016-06-15 | 西南交通大学 | 一种基于双目鱼眼摄像头的载重货车行驶障碍物检测及跟踪方法 |
| CN106251701A (zh) * | 2016-09-14 | 2016-12-21 | 郑州轻工业学院 | 基于旋转变焦多摄像头的车辆后视监测报警系统及方法 |
| CN106709905A (zh) * | 2016-12-07 | 2017-05-24 | 成都通甲优博科技有限责任公司 | 一种基于双目视觉图像的防振锤故障在线检测识别方法 |
| CN109035200A (zh) * | 2018-06-21 | 2018-12-18 | 北京工业大学 | 一种基于单双目视觉协同的螺栓定位及位姿检测方法 |
| JP2020047086A (ja) * | 2018-09-20 | 2020-03-26 | いすゞ自動車株式会社 | 車両用監視装置 |
| CN109801302A (zh) * | 2018-12-14 | 2019-05-24 | 华南理工大学 | 一种基于双目视觉的高压输电线路异物检测方法 |
| CN112161997A (zh) * | 2020-09-28 | 2021-01-01 | 南京工程学院 | 半导体芯片管脚三维几何尺寸的在线精密视觉测量方法及系统 |
| CN113793297A (zh) * | 2021-08-13 | 2021-12-14 | 北京迈格威科技有限公司 | 位姿确定方法、装置、电子设备及可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114445335A (zh) | 2022-05-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107133985B (zh) | 一种基于车道线消逝点的车载摄像机自动标定方法 | |
| JP3895238B2 (ja) | 障害物検出装置及びその方法 | |
| CN105225482B (zh) | 基于双目立体视觉的车辆检测系统和方法 | |
| CN110008893B (zh) | 一种基于车载图像传感器的车辆行驶跑偏自动检测方法 | |
| CN106978774B (zh) | 一种路面坑槽自动检测方法 | |
| CN111485475B (zh) | 一种路面坑槽识别方法及其装置 | |
| CN109263637B (zh) | 一种碰撞预测的方法及装置 | |
| CN110717445B (zh) | 一种用于自动驾驶的前车距离跟踪系统与方法 | |
| CN110031829A (zh) | 一种基于单目视觉的目标精准测距方法 | |
| CN104132818B (zh) | 三维四轮定位仪及其测量方法 | |
| CN110136047B (zh) | 一种车载单目图像中静止目标三维信息获取方法 | |
| CN112800938B (zh) | 无人驾驶车辆检测侧面落石发生的方法及装置 | |
| WO2018149539A1 (en) | A method and apparatus for estimating a range of a moving object | |
| CN114639078A (zh) | 一种车型识别方法、装置和系统 | |
| CN104792302A (zh) | 一种建模测车距的方法 | |
| CN108189757A (zh) | 一种行车安全提示系统 | |
| CN113191239A (zh) | 一种基于计算机视觉的车辆外廓尺寸动态检测系统 | |
| CN117058236A (zh) | 一种基于多目视觉系统自切换的目标识别定位方法 | |
| CN106709432B (zh) | 基于双目立体视觉的人头检测计数方法 | |
| CN111476798A (zh) | 一种基于轮廓约束的车辆空间形态识别方法及系统 | |
| CN116958195A (zh) | 物件追踪整合方法及整合装置 | |
| CN112161685B (zh) | 一种基于表面特征的车辆荷载测量方法 | |
| CN114445335B (zh) | 基于双目机器视觉的车辆行驶状态监测方法 | |
| CN107677223B (zh) | 一种非接触四轮定位仪的车轮拍摄测量装置及测量方法 | |
| CN111860270B (zh) | 一种基于鱼眼相机的障碍物检测方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |