CN109410264A - 一种基于激光点云与图像融合的前方车辆距离测量方法 - Google Patents

一种基于激光点云与图像融合的前方车辆距离测量方法 Download PDF

Info

Publication number
CN109410264A
CN109410264A CN201811144951.0A CN201811144951A CN109410264A CN 109410264 A CN109410264 A CN 109410264A CN 201811144951 A CN201811144951 A CN 201811144951A CN 109410264 A CN109410264 A CN 109410264A
Authority
CN
China
Prior art keywords
point cloud
image
laser point
vehicle
laser
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811144951.0A
Other languages
English (en)
Other versions
CN109410264B (zh
Inventor
林秋华
张晓川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian University of Technology
Original Assignee
Dalian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian University of Technology filed Critical Dalian University of Technology
Priority to CN201811144951.0A priority Critical patent/CN109410264B/zh
Publication of CN109410264A publication Critical patent/CN109410264A/zh
Application granted granted Critical
Publication of CN109410264B publication Critical patent/CN109410264B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Abstract

一种基于激光点云与图像融合的前方车辆距离测量方法，属于多传感器信息融合领域。首先，利用激光点云与相机图像之间的映射关系，将3D激光点云映射为二维图像。其次，根据相机图像中所识别的车辆ROI，对激光点云映射的图像进行筛选。接着，经过图像—激光点云映射，得到筛选后车辆ROI对应的激光点云。利用双目图像检测的前方车辆距离进行约束，再次筛选对应车辆的激光点云。然后，对车辆点云进行聚类，进一步去除非车辆点云。最后，使用聚类出的车辆点云计算前方车辆的距离。测试结果表明，激光点云与图像融合方法测得的距离平均误差较之双目图像方法减小近一半，均方差也有所降低。因此，本发明方法较之双目图像方法测距更精确、更稳定。

Description

一种基于激光点云与图像融合的前方车辆距离测量方法
技术领域
本发明涉及多传感器信息融合领域，特别是涉及一种基于激光点云与图像融合的前方车辆距离测量方法。
背景技术
激光雷达通过发射、接收激光束实现障碍物表面距离的测量，具有精度高、速度快等优点。但是，基于3D激光雷达的障碍物检测难度大，识别率低。相比之下，基于图像的物体检测技术成熟，识别率高。然而，受外界条件限制，基于图像的距离测量精度往往低于3D激光测距精度。例如，基于双目立体视觉的距离检测精度受图像分辨率和距离因素的影响较大。当图像成像分辨率较高时，所计算的视差值精度提高，由此得到的距离精度也高于低分辨率图像。同时，当待检测障碍物的距离较远时，障碍物形成的像素较少，这时计算的距离误差将大于近距离情况。
因此，当测距系统同时搭载3D激光雷达和双目视觉传感器时，融合应用这两种传感器，互相取长补短，可实现对障碍物距离的高精度检测。本发明采用KITTI实验平台进行验证。该平台搭载了3D激光雷达Velodyne HDL-64和双目视觉传感器。激光雷达能检测的障碍物距离最远可达120m，距离精度可达2cm。当障碍物距离较远时，激光雷达扫描得到的激光点数虽然减少，但其距离精度的下降幅度小于双目视觉。为此，本发明以双目视觉所获得的前方车辆位置与距离信息对3D激光点云测距加以辅助，进而实现高精度的距离测量。
发明内容
本发明的目的在于，提供一种融合3D激光点云与双目视觉图像的前方车辆距离测量方法，通过融合应用激光点云与图像的映射关系，以及双目视觉所检测的前方车辆感兴趣区域(ROI)与距离信息，实现误差小、识别率高、稳定性高的3D激光测距。
本发明的技术方案：
一种基于激光点云与图像融合的前方车辆距离测量方法，如图1所示。首先，利用激光点云与相机图像之间的映射关系，将3D激光点云映射为二维图像。其次，根据相机图像中所识别的车辆ROI位置，对激光点云映射的图像进行筛选。接着，经过图像—激光点云映射，得到筛选后车辆ROI对应的激光点云。利用双目图像检测的前方车辆距离D进行约束，再次筛选对应车辆的激光点云。然后，使用K-means算法对车辆点云进行聚类，进一步去除非车辆点云。最后，使用聚类出的车辆激光点云计算前方车辆的距离DL。具体实现步骤如下：
第一步：获取激光点云与图像的映射矩阵Tl_c。
KITTI实验平台中，激光雷达和相机的摆放位置如图2(a)所示。已知相机焦距f，像主点(cx,cy)，激光雷达坐标原点Ol和相机坐标原点Oc之间的距离分量为dx，dy和dz，参照图2(b)，则激光点云与图像的映射矩阵Tl_c为
激光点(xl,yl,zl)和图像像素(u,v)之间的映射关系如下：
式中表示伪逆。
第二步：采用双目图像检测前方车辆ROI与距离D。基于与激光点云同步采集的双目图像，采用林秋华和张晓川等人提出的“一种基于窄基线双目视觉的前方车辆快速测距方法”(CN201711248419)，检测前方车辆ROI和距离D。设所检测车辆ROI的左上角坐标为(xs,ys)，ROI的宽度为wr，高度为hr。
第三步：将3D激光点云映射为二维图像，根据车辆ROI筛选点云。
设一激光点P(x,y,z)，根据公式(2)将其映射到图像坐标系，得到的图像坐标为(u,v)。若点P是属于前方车辆的激光点，则(u,v)需要满足下列约束条件：
第四步：将第三步筛选过的二维图像映射为3D激光点云，根据车辆距离D再次筛选激光点云。
激光点坐标P(x,y,z)中，x表示前方距离，所以进行如下筛选：
若x∈[D-Dth,D+Dth]，则激光点P属于前方车辆，否则认为是非车辆点。Dth为筛选阈值，可令Dth＝3。
第五步：使用K-means对车辆点云进行聚类，进一步去除非车辆点云。
将第四步筛选过的激光点数据与图像对应的RGB值结合，得到信息更丰富的(x,y,z,RGB)格式的数据。将(x,y,z,RGB)数据输入K-means算法中进行二聚类，使其分为车辆激光点和非车辆激光点。
第六步：应用第五步筛选出的车辆激光点计算距离DL。
设K-means算法检测到的属于前方车辆的激光点共M个，记为(x1,y1,z1),(x2,y2,z2),...,(xM,yM,zM)。则前方车辆的激光检测距离为：
本发明的有益效果：在前方车辆测距任务中，充分发挥激光点云与图像各自的优势，同时弥补二者之不足。首先使用检测率高的图像进行前方车辆的ROI和距离检测，然后根据这些车辆信息对3D激光点云进行筛选，再结合K-means聚类，选取高质量的车辆激光点。最后，利用这些激光点求取前方车辆距离。测试结果表明，激光点云与图像融合方法测得的平均距离误差为0.666m，而双目图像测距的平均误差高达1.223m，融合方法的均方差(0.453)则低于双目图像(0.487)。因此，激光点云与图像融合方法比双目图像方法测量的距离更精确、更稳定。
附图说明
图1是本发明激光点云与图像融合测距示意图。
图2是激光雷达和相机的位置关系。(a)KITTI实验平台各传感器安装位置与相互之间的距离示意图；(b)相机坐标系与激光雷达坐标系之间关系示意图。
具体实施方式
下面结合技术方案和附图，详细叙述本发明的一个具体实施例。
现有KITTI实验平台同步采集的3D激光点云与彩色双目相机获取的图像。彩色图像分辨率为1242*375；像主点(cx,cy)是(621,187.5)，单位为像素。相机的焦距为721.5377像素。相机坐标系原点与激光坐标系原点之间的距离分别为dx＝0.27m，dy＝0m，dz＝0.08m。车辆ROI选自右侧彩色相机。
第一步：利用公式(1)获取激光点云与图像的映射矩阵Tl_c。
第二步：采用专利CN201711248419方法由双目图像检测前方车辆ROI与距离D。记车辆ROI的左上角坐标为(x0,y0)，ROI的宽度为wr，高度为hr。
检测前方车辆ROI与距离D的具体步骤为：对于右目图像，按照经典方法进行车道线ROI设定、车道线检测、车辆ROI设定、车辆识别、车辆ROI区域确定；对于左目图像，根据双目视觉的成像特点和前一帧图像的距离信息，直接估计车辆ROI区域。接着，对左、右目图像中的车辆ROI区域提取特征点，并进行特征匹配。然后，对所有匹配的特征点对计算横向视差，并进行中值处理。最后，利用中值处理后的视差值计算前方车辆的距离D。
第三步：将3D激光点云映射为二维图像，根据车辆ROI和公式(3)筛选激光点云。
第四步：将第三步筛选过的二维图像映射为3D激光点云，根据车辆距离D和公式(4)再次筛选激光点云，其中Dth＝3。
第五步：将第四步筛选过的激光点数据与图像对应的RGB值结合，得到彩色点云数据(x,y,z,RGB)，输入K-means进行二聚类，进一步去除非车辆点云。
第六步：应用第五步筛选出的M个车辆激光点和公式(5)计算距离DL。

Claims (2)

1.一种基于激光点云与图像融合的前方车辆距离测量方法，其特征在于，以下步骤：
第一步：获取激光点云与图像的映射矩阵Tl_c；
KITTI实验平台中，将激光雷达和相机摆放到位；已知相机焦距f，像主点(cx,cy)，激光雷达坐标原点Ol和相机坐标原点Oc之间的距离分量为dx，dy和dz，则激光点云与图像的映射矩阵Tl_c为
激光点(xl,yl,zl)和图像像素(u,v)之间的映射关系如下：
式中表示伪逆；
第二步：采用双目图像检测前方车辆ROI与距离D；
基于与激光点云同步采集的双目图像，检测前方车辆ROI和距离D；设所检测车辆ROI的左上角坐标为(xs,ys)，ROI的宽度为wr，高度为hr；
第三步：将3D激光点云映射为二维图像，根据车辆ROI筛选点云；
设一激光点P(x,y,z)，根据公式(2)将其映射到图像坐标系，得到的图像坐标为(u,v)；当点P是属于前方车辆的激光点时，则(u,v)需要满足下列约束条件：
第四步：将第三步筛选过的二维图像映射为3D激光点云，根据车辆距离D再次筛选激光点云；
激光点坐标P(x,y,z)中，x表示前方距离，所以进行如下筛选：
当x∈[D-Dth,D+Dth]时，则激光点P属于前方车辆，否则认为是非车辆点；Dth为筛选阈值；
第五步：使用K-means对车辆点云进行聚类，进一步去除非车辆点云；
将第四步筛选过的激光点数据与图像对应的RGB值结合，得到(x,y,z,RGB)格式的数据；将(x,y,z,RGB)数据输入K-means算法中进行二聚类，使其分为车辆激光点和非车辆激光点；
第六步：应用第五步筛选出的车辆激光点计算距离DL；
设K-means算法检测到的属于前方车辆的激光点共M个，记为(x1,y1,z1),(x2,y2,z2),...,(xM,yM,zM)；则前方车辆的激光检测距离为：
2.根据权利要求1所述的一种基于激光点云与图像融合的前方车辆距离测量方法，其特征在于，所述筛选阈值Dth＝3。
CN201811144951.0A 2018-09-29 2018-09-29 一种基于激光点云与图像融合的前方车辆距离测量方法 Active CN109410264B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811144951.0A CN109410264B (zh) 2018-09-29 2018-09-29 一种基于激光点云与图像融合的前方车辆距离测量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811144951.0A CN109410264B (zh) 2018-09-29 2018-09-29 一种基于激光点云与图像融合的前方车辆距离测量方法

Publications (2)

Publication Number Publication Date
CN109410264A true CN109410264A (zh) 2019-03-01
CN109410264B CN109410264B (zh) 2020-08-25

Family

ID=65466516

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811144951.0A Active CN109410264B (zh) 2018-09-29 2018-09-29 一种基于激光点云与图像融合的前方车辆距离测量方法

Country Status (1)

Country Link
CN (1) CN109410264B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110047147A (zh) * 2019-04-09 2019-07-23 易视智瞳科技（深圳）有限公司 一种3d点云处理方法、装置、系统及计算机存储介质
CN110632617A (zh) * 2019-09-29 2019-12-31 北京邮电大学 一种激光雷达点云数据处理的方法及装置
CN111238370A (zh) * 2020-02-20 2020-06-05 中国科学院声学研究所东海研究站 一种kit板的智能检测方法及装置
CN111323767A (zh) * 2020-03-12 2020-06-23 武汉理工大学 一种夜间无人车障碍物检测系统与方法
CN111798700A (zh) * 2020-06-30 2020-10-20 北京行易道科技有限公司 盲区监测报警方法和装置
CN111796299A (zh) * 2020-06-10 2020-10-20 东风汽车集团有限公司 一种障碍物的感知方法、感知装置和无人驾驶清扫车
CN113095324A (zh) * 2021-04-28 2021-07-09 合肥工业大学 一种针对锥桶的分类与测距方法及系统
CN114018215A (zh) * 2022-01-04 2022-02-08 智道网联科技(北京)有限公司 基于语义分割的单目测距方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101581575A (zh) * 2009-06-19 2009-11-18 南昌航空大学 基于激光和摄像机数据融合的三维重建方法
CN106097348A (zh) * 2016-06-13 2016-11-09 大连理工大学 一种三维激光点云与二维图像的融合方法
US20160330434A1 (en) * 2015-05-08 2016-11-10 Lite-On Electronics (Guangzhou) Limited Control method of a depth camera
CN106932780A (zh) * 2017-03-14 2017-07-07 北京京东尚科信息技术有限公司 物体定位方法、装置和系统
CN108509918A (zh) * 2018-04-03 2018-09-07 中国人民解放军国防科技大学 融合激光点云与图像的目标检测与跟踪方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101581575A (zh) * 2009-06-19 2009-11-18 南昌航空大学 基于激光和摄像机数据融合的三维重建方法
US20160330434A1 (en) * 2015-05-08 2016-11-10 Lite-On Electronics (Guangzhou) Limited Control method of a depth camera
CN106097348A (zh) * 2016-06-13 2016-11-09 大连理工大学 一种三维激光点云与二维图像的融合方法
CN106932780A (zh) * 2017-03-14 2017-07-07 北京京东尚科信息技术有限公司 物体定位方法、装置和系统
CN108509918A (zh) * 2018-04-03 2018-09-07 中国人民解放军国防科技大学 融合激光点云与图像的目标检测与跟踪方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
LIPU ZHOU: "Fusing Laser Point Cloud and Visual Image at Data Level Using a New Reconstruction Algorithm", 《2013 IEEE INTELLIGENT VEHICLES SYMPOSIUM》 *
XIAO-CHUAN ZHANG 等: "Fusion of Laser Point Clouds and Color Images with Post-calibration", 《INTERNATIONAL SYMPOSIUM ON NEURAL NETWORKS 2018》 *
孙康: "三维激光彩色扫描测距系统设计与三维点云模型重建", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
庞成: "基于测距雷达和机器视觉数据融合的前方车辆检测系统", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110047147A (zh) * 2019-04-09 2019-07-23 易视智瞳科技（深圳）有限公司 一种3d点云处理方法、装置、系统及计算机存储介质
CN110632617A (zh) * 2019-09-29 2019-12-31 北京邮电大学 一种激光雷达点云数据处理的方法及装置
CN110632617B (zh) * 2019-09-29 2021-11-02 北京邮电大学 一种激光雷达点云数据处理的方法及装置
CN111238370A (zh) * 2020-02-20 2020-06-05 中国科学院声学研究所东海研究站 一种kit板的智能检测方法及装置
CN111323767A (zh) * 2020-03-12 2020-06-23 武汉理工大学 一种夜间无人车障碍物检测系统与方法
CN111323767B (zh) * 2020-03-12 2023-08-08 武汉理工大学 一种夜间无人车障碍物检测系统与方法
CN111796299A (zh) * 2020-06-10 2020-10-20 东风汽车集团有限公司 一种障碍物的感知方法、感知装置和无人驾驶清扫车
CN111798700A (zh) * 2020-06-30 2020-10-20 北京行易道科技有限公司 盲区监测报警方法和装置
CN113095324A (zh) * 2021-04-28 2021-07-09 合肥工业大学 一种针对锥桶的分类与测距方法及系统
CN114018215A (zh) * 2022-01-04 2022-02-08 智道网联科技(北京)有限公司 基于语义分割的单目测距方法、装置、设备及存储介质
CN114018215B (zh) * 2022-01-04 2022-04-12 智道网联科技(北京)有限公司 基于语义分割的单目测距方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN109410264B (zh) 2020-08-25

Similar Documents

Publication Publication Date Title
CN109410264A (zh) 一种基于激光点云与图像融合的前方车辆距离测量方法
CN110569704B (zh) 一种基于立体视觉的多策略自适应车道线检测方法
CN109300162B (zh) 一种基于精细化雷达扫描边缘点的多线激光雷达和相机联合标定方法
CN110942449B (zh) 一种基于激光与视觉融合的车辆检测方法
CN107389026B (zh) 一种基于固定点射影变换的单目视觉测距方法
CN103487034B (zh) 一种基于立式标靶的车载单目摄像头测距测高方法
CN104700414B (zh) 一种基于车载双目相机的前方道路行人快速测距方法
US10909395B2 (en) Object detection apparatus
CN111882612A (zh) 一种基于三维激光检测车道线的车辆多尺度定位方法
CN109472831A (zh) 面向压路机施工过程的障碍物识别测距系统及方法
CN103499337B (zh) 一种基于立式标靶的车载单目摄像头测距测高装置
CN110334678A (zh) 一种基于视觉融合的行人检测方法
CN110288659B (zh) 一种基于双目视觉的深度成像及信息获取方法
CN108444390A (zh) 一种无人驾驶汽车障碍物识别方法及装置
CN110197173B (zh) 一种基于双目视觉的路沿检测方法
CN112698302A (zh) 一种颠簸路况下的传感器融合目标检测方法
CN107796373B (zh) 一种基于车道平面几何模型驱动的前方车辆单目视觉的测距方法
CN108280401A (zh) 一种路面检测方法、装置、云端服务器及计算机程序产品
CN113205604A (zh) 一种基于摄像机和激光雷达的可行区域检测方法
CN106524995B (zh) 基于可见光图像实时检测目标物体空间距离的定位方法
CN108645375A (zh) 一种用于车载双目系统快速车辆测距优化方法
CN113920183A (zh) 基于单目视觉的车前障碍物测距方法
CN111723778B (zh) 基于MobileNet-SSD的车辆测距系统及方法
CN112489106A (zh) 基于视频的车辆尺寸测量方法、装置、终端及存储介质
CN109241855A (zh) 基于立体视觉的智能车辆可行驶区域探测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant