CN106707295A - 基于时间关联的三维成像装置和成像方法 - Google Patents

基于时间关联的三维成像装置和成像方法 Download PDF

Info

Publication number
CN106707295A
CN106707295A CN201710000722.0A CN201710000722A CN106707295A CN 106707295 A CN106707295 A CN 106707295A CN 201710000722 A CN201710000722 A CN 201710000722A CN 106707295 A CN106707295 A CN 106707295A
Authority
CN
China
Prior art keywords
target
laser
array detector
time
light intensity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710000722.0A
Other languages
English (en)
Other versions
CN106707295B (zh
Inventor
薄遵望
龚文林
韩申生
陈明亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Institute of Optics and Fine Mechanics of CAS
Original Assignee
Shanghai Institute of Optics and Fine Mechanics of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Institute of Optics and Fine Mechanics of CAS filed Critical Shanghai Institute of Optics and Fine Mechanics of CAS
Priority to CN201710000722.0A priority Critical patent/CN106707295B/zh
Publication of CN106707295A publication Critical patent/CN106707295A/zh
Application granted granted Critical
Publication of CN106707295B publication Critical patent/CN106707295B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

一种基于时间关联的三维成像装置和成像方法，该三维成像装置由激光器、光强调制器、激光扩束镜、接收望远镜、面阵探测器和工控机组成，基于该三维成像装置的时间关联三维成像方法的实现途径包括三步，第一步通过单次曝光成像获取目标的二维图像信息，第二步通过多次曝光探测及信号时间关联运算获取目标二维图像上每个像点的高程信息，最后将二维图像信息和对应像点的高程信息复合成目标的三维图像。本方法可用于构建大视场、高分辨、低成本的三维激光成像雷达。

Description

基于时间关联的三维成像装置和成像方法
技术领域
本发明涉及激光三维成像，特别是一种基于时间关联的三维成像装置及成像方法。
背景技术
随着科技的进步，三维成像正受到越来越多的重视和研究。三维图像所携带的丰富信息和其所具有的几何不变特性，使该技术如今已在城市规划、工业检测、自动导航和军事目标识别等领域发挥了巨大作用。在遥感观测领域，较为成熟的激光三维成像技术按照图像获取方式可以分为扫描成像和非扫描成像。
扫描成像利用激光照明和高灵敏点探测，逐点或逐行扫描获取目标上每个点的光强反射信息和距离信息，从而实现三维成像。该成像方式得益于辐照能量的集中和单点探测器的高灵敏性，通常具有很高的探测信噪比，但其成像分辨率却因远距离探测时激光束受大气扰动易于发散而导致成像分辨率较低。另外，扫描成像受扫描速率的限制，大视场扫描探测时成像速率较慢，不适合运动目标的三维信息获取。为克服扫描成像存在的分辨率低和成像速率慢等问题，将点探测器集成为面阵探测器，对目标进行大范围闪光照明及面探测可实现单次曝光成像。该成像方式在提取目标距离信息时通常有两种方式，一种是面阵探测器中的每个像素独立工作，独立完成对返回信号的强度及到达时间的信息提取，该方式受器件集成技术的限制，一般难以实现大规模的面探测器集成，从而影响成像视场；另一种测距技术则通过准确而快速的曝光，通过距离选通实现距离信息提取，比如现有的增强电荷耦合器件(ICCD)便可实现纳秒量级的曝光探测，但是该类器件成本高昂，尤其在红外波段更是难以实现，目前世界上仅有少数国家掌握该面阵探测器技术。
发明内容
针对上述激光三维成像存在的问题，本发明提出一种基于时间关联的三维成像装置及成像方法。该成像装置首先通过激光主动照明和焦平面曝光成像获取目标的二维图像信息；然后利用一系列光强随机涨落的时间调制光场辐照目标，并通过接受系统中的低速面阵探测器对目标返回光进行积分探测，多次探测过程结束后利用一系列接收到的返回光场与发射出去的时间调制光场之间的时间相关性来判断目标上每个像点的能量积分时间，将每个像点的能量积分时间映射到距离维度上获取目标的高程信息；最后结合目标的二维图像信息及二维图像上每个像点对应的高程信息复合出目标的三维图像。
本发明的技术解决方案如下：
一种基于时间关联的三维成像装置，其特点在于，包括发射系统、接收系统和控制系统：
所述的发射系统包括激光器、光强调制器和激光扩束镜，所述的接收系统包括接收望远镜和面阵探测器，所述的控制系统为工控机，沿所述激光器的输出光路依次是所述的光强调制器和激光扩束镜，所述激光扩束镜将激光束整形扩束成空间均匀分布的光束并辐照到目标上，所述的接收望远镜将目标成像到所述面阵探测器的感光面上；所述的激光器、光强调制器和面阵探测器分别与所述的工控机相连，并在所述工控机的控制下同步协调工作。
所述的基于时间关联的三维成像装置的三维成像方法，该方法包括下列步骤：
1)在所述的工控机的控制下，所述的激光器、光强调制器和面阵探测器同步工作，所述的激光器输出的连续激光经所述的激光扩束镜整形扩束成空间分布相对均匀的光场后发射到目标上，所述的目标反射后进入所述的接收望远镜并被成像到所述的面阵探测器的感光面上，所述的面阵探测器获取目标的二维图像信息A(x,y)，其中A(x,y)的数值为归一化的目标反射系数，(x,y)表示二维图像上每个像点的坐标；
2)获取目标二维图像上每个像点的高程信息R(x,y)；
3)将所述的目标二维图像信息A(x,y)和对应像点的高程信息R(x,y)复合成目标的三维图像。
所述的步骤2)的具体过程是：
在所述的工控机的控制下，所述的激光器、光强调制器和面阵探测器同步工作，所述的光强调制器将所述的激光器输出的连续激光调制成一系列光强随机涨落的矩形激光脉冲序列，即时间调制光场，并将第k个矩形激光脉冲t∈(0,P],k＝1,2…M经所述的激光扩束镜发射到目标上，第k个矩形激光脉冲辐照到目标上反射进入所述的接收望远镜并被成像到面阵探测器的感光面上，所述的面阵探测器在所述的工控机的延时触发下记录返回光场的空间分布为k＝1,2…M；其中在时间t∈(0,P]内服从随机分布，P为一个矩形激光脉冲的持续时间，M为探测过程中经所述的激光扩束镜发射到目标上的矩形激光脉冲个数；每个矩形激光脉冲的持续时间P、触发面阵探测器的同步信号相对于触发光强调制器的同步信号的延时Δτ和面阵探测器的曝光开门时间Δs满足下列关系式：
Lmax和Lmin分别表示成像装置到目标的最远点的距离和最近点的距离，c为光在真空中的传播速度，所述的面阵探测器的曝光设置使不同像点的返回光经历不同的积分时间；
将所述的与按下列公式计算相关系数函数：
其中，E(·)和σ(·)分别表示测量数据关于k次采样的均值运算和标准差运算，
表示对像点(x,y)处的返回光场在0～tg时间内能量积分的第k个光场强度，按下列公式计算：
其中，tg为对应于相关系数函数C(x,y,tg)具有最大值的能量积分时间，即为面阵探测器在像点(x,y)的能量积分时间tg(x,y)，最后利用公式计算目标的高程信息R(x,y)：
R(x,y)＝c×tg(x,y)。 (4)
光强调制器将激光器发出的连续激光调制成一系列光强随时间随机涨落的矩形激光脉冲序列，即时间调制光场，然后利用激光扩束镜将其整形扩束后发射到目标上，其中发射视场的大小和接收视场的大小一样；辐照到目标上的时间调制光场经目标反射后返回接收系统，并被接收望远镜成像到面阵探测器的感光面上，不同距离切片上的反射光由于飞行时间的差异将依次到达面阵探测器；通过面阵探测器的曝光设置(包括曝光开门时刻和开门时长)使不同距离切片上的返回光场经历不同的积分时间。多次曝光探测过程结束后，利用面阵探测器探测到的光强信息与发射出去的时间调制光场在不同能量积分下的光强涨落信息之间的相关性，判断目标上每个像点的能量积分时间。将能量积分时间映射到距离维度上便可得到目标的高程信息，最后结合主动连续激光照明和面阵探测器单次曝光获取的目标的二维图像复合出目标的三维图像。
与现有技术相比，本发明具有以下的技术效果：
1.该三维成像技术的距离分辨率取决于时间调制光场的调制带宽，接收端的无时间分辨探测模式可有效缓解远距离成像时对高功率光源的要求。
2.该技术在实现过程中所需的低速面阵探测器易于获得，易于获得像素数较多的大面阵探测器，高分辨的大规模面阵探测器可以保证该三维成像技术具有足够大的成像视场。
3.本发明装置结构简单，成本低廉，通过一个激光光源、一个光强调制器和一个低速面阵探测器便可以获取目标的高精度三维图像。
附图说明
图1是本发明基于时间关联的三维成像装置的结构示意图。
图2是本发明中经光强调制器调制后的时间调制光场的光强分布的示意图。
具体实施方式
下面结合附图对本发明做进一步说明。
图1为本发明基于时间关联的三维成像装置的结构示意图，由图可见，本发明基于时间关联的三维成像装置，包括发射系统、接收系统和控制系统：
所述的发射系统包括激光器1、光强调制器2和激光扩束镜3，所述的接收系统包括接收望远镜5和面阵探测器6，所述的控制系统为工控机7，沿所述激光器1的输出光路依次是所述的光强调制器2和激光扩束镜3，所述激光扩束镜3将激光束整形扩束成空间均匀分布的光束并辐照到目标4上，所述的接收望远镜5将目标4成像到所述面阵探测器6的感光面上；所述的激光器1、光强调制器2和面阵探测器6分别与所述的工控机7相连，并在所述工控机7的控制下同步协调工作。
所述的基于时间关联的三维成像装置的三维成像方法，其特征在于该方法包括下列步骤：
1)在所述的工控机)的控制下，所述的激光器1、光强调制器2和面阵探测器6同步工作，所述的激光器1输出的连续激光经所述的激光扩束镜(3)整形扩束成空间分布相对均匀的光场后发射到目标4上，所述的目标4反射后进入所述的接收望远镜(5)并被成像到所述的面阵探测器6的感光面上，所述的面阵探测器6获取目标的二维图像信息A(x,y)，其中A(x,y)的数值为归一化的目标反射系数，(x,y)表示二维图像上每个像点的坐标；
2)在所述的工控机7的控制下，所述的激光器1、光强调制器2和面阵探测器6同步工作，所述的光强调制器2将所述的激光器1输出的连续激光调制成一系列光强随机涨落的矩形激光脉冲序列，即时间调制光场，并将第k个矩形激光脉冲t∈(0,P],k＝1,2…M经所述的激光扩束镜3发射到目标4上，第k个矩形激光脉冲辐照到目标4上反射进入所述的接收望远镜5并被成像到面阵探测器6的感光面上，所述的面阵探测器6在所述的工控机7的延时触发下记录返回光场的空间分布为k＝1,2…M；其中在时间t∈(0,P]内服从随机分布，P为一个矩形激光脉冲的持续时间，M为探测过程中经所述的激光扩束镜3发射到目标4上的矩形激光脉冲个数；每个矩形激光脉冲的持续时间P、触发面阵探测器6的同步信号相对于触发光强调制器2的同步信号的延时Δτ和面阵探测器6的曝光开门时间Δs满足下列关系式：
Lmax和Lmin分别表示成像装置到目标4的最远点的距离和最近点的距离，c为光在真空中的传播速度，所述的面阵探测器6的曝光设置使不同像点的返回光经历不同的积分时间；
将所述的与按下列公式计算相关系数函数：
其中，E(·)和σ(·)分别表示测量数据关于k次采样的均值运算和标准差运算，
表示对像点(x,y)处的返回光场在0～tg时间内能量积分的第k个光场强度，按下列公式计算：
其中，tg为对应于相关系数函数C(x,y,tg)具有最大值的能量积分时间，即为面阵探测器6在像点(x,y)的能量积分时间tg(x,y)，最后按下列公式计算目标的高程信息R(x,y)：
R(x,y)＝c×tg(x,y)； (4)
3)将所述的目标二维图像信息A(x,y)和对应像点的高程信息R(x,y)复合成目标的三维图像。

Claims (3)

1.一种基于时间关联的三维成像装置，其特征在于，包括发射系统、接收系统和控制系统：
所述的发射系统包括激光器(1)、光强调制器(2)和激光扩束镜(3)，所述的接收系统包括接收望远镜(5)和面阵探测器(6)，所述的控制系统为工控机(7)，沿所述激光器(1)的输出光路依次是所述的光强调制器(2)和激光扩束镜(3)，所述激光扩束镜(3)将激光束整形扩束成空间均匀分布的光束并辐照到目标(4)上，所述的接收望远镜(5)将目标(4)成像到所述面阵探测器(6)的感光面上；所述的激光器(1)、光强调制器(2)和面阵探测器(6)分别与所述的工控机(7)相连，并在所述工控机(7)的控制下同步协调工作。
2.权利要求1所述的基于时间关联的三维成像装置的三维成像方法，其特征在于该方法包括下列步骤：
1)在所述的工控机(7)的控制下，所述的激光器(1)、光强调制器(2)和面阵探测器(6)同步工作，所述的激光器(1)输出的连续激光经所述的激光扩束镜(3)整形扩束成空间分布相对均匀的光场后发射到目标(4)上，所述的目标(4)反射后进入所述的接收望远镜(5)并被成像到所述的面阵探测器(6)的感光面上，所述的面阵探测器(6)获取目标的二维图像信息A(x,y)，其中A(x,y)的数值为归一化的目标反射系数，(x,y)表示二维图像上每个像点的坐标；
2)获取目标二维图像上每个像点的高程信息R(x,y)；
3)将所述的目标二维图像信息A(x,y)和对应像点的高程信息R(x,y)复合成目标的三维图像。
3.根据权利要求2所述的基于时间关联的三维成像方法，其特征在于所述的步骤2)的具体过程是：
在所述的工控机(7)的控制下，所述的激光器(1)、光强调制器(2)和面阵探测器(6)同步工作，所述的光强调制器(2)将所述的激光器(1)输出的连续激光调制成一系列光强随机涨落的矩形激光脉冲序列，即时间调制光场，并将第k个矩形激光脉冲t∈(0,P],k＝1,2…M经所述的激光扩束镜(3)发射到目标(4)上，第k个矩形激光脉冲辐照到目标(4)上反射进入所述的接收望远镜(5)并被成像到面阵探测器(6)的感光面上，所述的面阵探测器(6)在所述的工控机(7)的延时触发下记录返回光场的空间分布为k＝1,2…M；其中在时间t∈(0,P]内服从随机分布，P为一个矩形激光脉冲的持续时间，M为探测过程中经所述的激光扩束镜(3)发射到目标(4)上的矩形激光脉冲个数；每个矩形激光脉冲的持续时间P、触发面阵探测器(6)的同步信号相对于触发光强调制器(2)的同步信号的延时Δτ和面阵探测器(6)的曝光开门时间Δs满足下列关系式：
Lmax和Lmin分别表示成像装置到目标(4)的最远点的距离和最近点的距离，c为光在真空中的传播速度，所述的面阵探测器(6)的曝光设置使不同像点的返回光经历不同的积分时间；
将所述的与按下列公式计算相关系数函数：
其中，E(·)和σ(·)分别表示测量数据关于k次采样的均值运算和标准差运算，
表示对像点(x,y)处的返回光场在0～tg时间内能量积分的第k个光场强度，按下列公式计算：
其中，tg为对应于相关系数函数C(x,y,tg)具有最大值的能量积分时间，即为面阵探测器(6)在像点(x,y)的能量积分时间tg(x,y)，最后利用公式计算目标的高程信息R(x,y)：
R(x,y)＝c×tg(x,y) (4)。
CN201710000722.0A 2017-01-03 2017-01-03 基于时间关联的三维成像装置和成像方法 Active CN106707295B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710000722.0A CN106707295B (zh) 2017-01-03 2017-01-03 基于时间关联的三维成像装置和成像方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710000722.0A CN106707295B (zh) 2017-01-03 2017-01-03 基于时间关联的三维成像装置和成像方法

Publications (2)

Publication Number Publication Date
CN106707295A true CN106707295A (zh) 2017-05-24
CN106707295B CN106707295B (zh) 2019-05-17

Family

ID=58905758

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710000722.0A Active CN106707295B (zh) 2017-01-03 2017-01-03 基于时间关联的三维成像装置和成像方法

Country Status (1)

Country Link
CN (1) CN106707295B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107526948A (zh) * 2017-09-28 2017-12-29 同方威视技术股份有限公司 生成关联图像的方法和设备以及图像验证方法和设备
CN107607960A (zh) * 2017-10-19 2018-01-19 深圳市欢创科技有限公司 一种光学测距的方法及装置
CN109246340A (zh) * 2018-09-18 2019-01-18 杭州行开科技有限公司 一种光场影像处理显示系统及方法
CN111801593A (zh) * 2018-03-02 2020-10-20 松下知识产权经营株式会社 物体检测装置
CN112230238A (zh) * 2020-12-09 2021-01-15 武汉光谷航天三江激光产业技术研究院有限公司 激光强度调制测距测速方法及系统、终端设备、存储介质
CN112867962A (zh) * 2018-09-11 2021-05-28 恩耐公司 电光调制器及其用于三维成像的使用和制造方法
WO2023011091A1 (en) * 2021-08-03 2023-02-09 Congying Sui An imaging method and system based on wise-pixels with valved modulation

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102375144A (zh) * 2011-09-22 2012-03-14 北京航空航天大学 单光子计数压缩采样激光三维成像方法
CN105044731A (zh) * 2015-08-31 2015-11-11 中国电子科技集团公司第十一研究所 一种激光三维成像系统及成像方法
JP2015222234A (ja) * 2014-05-23 2015-12-10 三菱電機株式会社 レーザレーダ装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102375144A (zh) * 2011-09-22 2012-03-14 北京航空航天大学 单光子计数压缩采样激光三维成像方法
JP2015222234A (ja) * 2014-05-23 2015-12-10 三菱電機株式会社 レーザレーダ装置
CN105044731A (zh) * 2015-08-31 2015-11-11 中国电子科技集团公司第十一研究所 一种激光三维成像系统及成像方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
WENLIN GONG ETAL: "Improving the Imaging Quality of Ghost Imaging Lidar via Sparsity Constraint by Time-Resolved Technique", 《REMOTE SENSING》 *
薄遵望 等: "基于光子计数的关联成像实验研究", 《中国激光》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107526948A (zh) * 2017-09-28 2017-12-29 同方威视技术股份有限公司 生成关联图像的方法和设备以及图像验证方法和设备
WO2019062308A1 (zh) * 2017-09-28 2019-04-04 同方威视技术股份有限公司 生成关联图像的方法和设备以及图像验证方法和设备
CN107526948B (zh) * 2017-09-28 2023-08-25 同方威视技术股份有限公司 生成关联图像的方法和设备以及图像验证方法和设备
CN107607960A (zh) * 2017-10-19 2018-01-19 深圳市欢创科技有限公司 一种光学测距的方法及装置
CN111801593A (zh) * 2018-03-02 2020-10-20 松下知识产权经营株式会社 物体检测装置
CN112867962A (zh) * 2018-09-11 2021-05-28 恩耐公司 电光调制器及其用于三维成像的使用和制造方法
US12066546B2 (en) 2018-09-11 2024-08-20 Nlight, Inc. Electro-optic modulator and methods of using and manufacturing same for three-dimensional imaging
CN109246340A (zh) * 2018-09-18 2019-01-18 杭州行开科技有限公司 一种光场影像处理显示系统及方法
CN109246340B (zh) * 2018-09-18 2020-11-27 杭州行开科技有限公司 一种光场影像处理显示系统及方法
CN112230238A (zh) * 2020-12-09 2021-01-15 武汉光谷航天三江激光产业技术研究院有限公司 激光强度调制测距测速方法及系统、终端设备、存储介质
CN112230238B (zh) * 2020-12-09 2021-04-23 武汉光谷航天三江激光产业技术研究院有限公司 激光强度调制测距测速方法及系统、终端设备、存储介质
WO2023011091A1 (en) * 2021-08-03 2023-02-09 Congying Sui An imaging method and system based on wise-pixels with valved modulation

Also Published As

Publication number Publication date
CN106707295B (zh) 2019-05-17

Similar Documents

Publication Publication Date Title
CN106707295A (zh) 基于时间关联的三维成像装置和成像方法
CN109375237B (zh) 一种全固态面阵三维成像激光雷达系统
CN101408618B (zh) 机载激光雷达的宽光束照明三维选通成像系统及成像方法
CN105115445A (zh) 基于深度相机与双目视觉复合的三维成像系统及成像方法
CN103064087B (zh) 基于多次积分的三维成像雷达系统及方法
CN110579775A (zh) 超远程单光子三维激光雷达扫描成像系统
CN110471083B (zh) 一种纵向距离的激光三维成像装置及方法
CN107462898B (zh) 基于单光子阵列的选通型漫反射绕角成像系统与方法
US20070247612A1 (en) System and method for improving lidar data fidelity using pixel-aligned lidar/electro-optic data
CN106644077B (zh) 高精度视场匹配的主被动立体光谱成像装置及其探测方法
CN107238842B (zh) 一种面阵目标搜索扫描成像装置及方法
WO2017024673A1 (zh) 一种基于射频和双目视觉的目标定位系统及方法
CN102375144A (zh) 单光子计数压缩采样激光三维成像方法
CN104655016A (zh) 一种基于激光原向反射式光幕的弹丸着靶坐标测试方法
CN106970024A (zh) 基于相机和可控频闪光源的限界检测测距方法及系统
CN105044731A (zh) 一种激光三维成像系统及成像方法
CN115079199A (zh) 一种水下目标多模态信息感知系统及方法
CN101271590A (zh) 一种获取凸轮廓物体形状的方法
EP3857259A1 (en) Enhanced depth mapping using visual inertial odometry
CN102043155A (zh) 机载凝视成像三维选通成像控制数据拼接方法和系统
CN107202993B (zh) 基于全波形采样的级联声光大视场激光三维成像系统
CN101886951B (zh) 高重频激光瞄准可移动目标性能的分析系统及方法
CN103697825B (zh) 一种超分辨3d激光测量系统及方法
CN206514948U (zh) 一种高精度视场匹配的主被动立体光谱成像装置
KR101866764B1 (ko) 통합픽셀로 구성된 거리영상센서

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant