CN109696667B - 一种基于3DToF摄像头的门禁道闸检测方法 - Google Patents

一种基于3DToF摄像头的门禁道闸检测方法 Download PDF

Info

Publication number
CN109696667B
CN109696667B CN201811554519.9A CN201811554519A CN109696667B CN 109696667 B CN109696667 B CN 109696667B CN 201811554519 A CN201811554519 A CN 201811554519A CN 109696667 B CN109696667 B CN 109696667B
Authority
CN
China
Prior art keywords
camera
vehicle
distance
barrier
management server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811554519.9A
Other languages
English (en)
Other versions
CN109696667A (zh
Inventor
孙小旭
张如意
瞿喜锋
郭平平
蔡龙海
张强
于振中
李文兴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HRG International Institute for Research and Innovation
Original Assignee
HRG International Institute for Research and Innovation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by HRG International Institute for Research and Innovation filed Critical HRG International Institute for Research and Innovation
Priority to CN201811554519.9A priority Critical patent/CN109696667B/zh
Publication of CN109696667A publication Critical patent/CN109696667A/zh
Application granted granted Critical
Publication of CN109696667B publication Critical patent/CN109696667B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/12—Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及一种基于3D ToF摄像头的门禁道闸检测方法，该方法通过3D ToF摄像头采集车辆图像和距离、速度等信息，经过后台处理来采集车辆信息，控制道闸拦杆的抬杠和落杆。该方法通过主动发射红外光抗干扰更强，采集精度高，成本低，施工简单，不破坏路面，大大降低了施工难度和维护成本；比毫米波检测更灵敏。

Description

一种基于3DToF摄像头的门禁道闸检测方法
【技术领域】
本发明属于门禁道闸控制和自动化化控制领域，尤其涉及一种基于3DToF摄像头的门禁道闸检测方法。
【背景技术】
小区、单位、学校、商场、公司及园区等需要停车的地方一般都会有门禁道闸，它一般与物业管理系统或者停车场管理系统结合来进行对车辆和人的识别，从而帮助物业管理或者停车场管理系统提升效率。
传统的门禁道闸检测主要要采用地磁线圈传感器配合高清相机的方案来检测识别车辆。通常地磁线圈埋于闸机进口或出口的地面下，分为触发地磁传感线圈和防砸地磁传感线圈；摄像头通常安装于闸机旁边或者车库出入口正上方2～4米。
然而传统地磁线圈传感器检测却存在以下问题：(1)安装地磁线圈需要剖开路面，会对路面造成破坏，且施工成本比较高；(2)埋于地面的地磁线圈传感器维护和更换非常麻烦；(3)地磁线圈传感器对车辆等较大金属能较好识别，但是对于较小磁性金属、非金属(譬如人、动物、塑料、木头)以及无磁性金属物体不能有效识别，即使通过闸机后，拦杆落下之前不能检测到人或者物体将很有可能砸到人。(4)地磁线圈传感器容易被干扰，功耗大，随之时间推移精度越来越差；(5)用于牌照识别的高清相机需要可见光光源补光才能在环境昏暗的条件下获得较好的成像效果，但是可见光光源亮度很强，会造成司机无法看清前方，存在安全隐患。
【发明内容】
为了解决现有技术中的上述问题，本发明提供了一种基于3DToF摄像头的门禁道闸检测方法。
本发明采用的技术方案具体如下：
一种基于3D ToF摄像头的门禁道闸检测方法，在道闸栏杆两侧各安装一个3D ToF摄像头：第一摄像头和第二摄像头，其中第一摄像头为对向检测摄像头，其拍摄方向和车辆行驶方向相对，第二摄像头为同向检测摄像头，其拍摄方向与车辆行驶方向相同；两个摄像头均设置于车道正中间上方；所述方法包括以下步骤：
(1)当车辆接近道闸栏杆并停留在与栏杆一定距离的地方时，第一摄像头拍摄车头，将拍摄的车头图像以及车头与第一摄像头的第一距离发送到后台管理服务器；
(2)第二摄像头同时拍摄车尾，将拍摄的车尾图像以及车尾与第二摄像头的第二距离发送到后台管理服务器；
(3)所述后台管理服务器根据所述第一距离和第二距离计算第一摄像头与车头的水平距离C1，以及第二摄像头与车尾的水平距离C2，并进一步计算出车身长度LCar；
(4)所述后台管理器判断C1是否小于L1+L3，如果小于，则后台管理服务器控制道闸栏杆抬杠；其中L1是第一摄像头与道闸栏杆的水平距离，L3是预定义的抬杠和落杆距离；
(5)在抬杠后，车辆驶过道闸，第一摄像头继续追踪车头位置，后台管理服务器根据第一摄像头的追踪结果实时计算车头与栏杆的距离，当车头与栏杆的距离大于LCar+L3时，控制道闸栏杆落杆。
进一步地，预先在后台管理服务器中设置第一摄像头距离地面的高度H1、第二摄像头距离地面的高度H2、第一摄像头与道闸栏杆的水平距离L1、第二摄像头与道闸栏杆的水平距离L2。
进一步地，所述步骤3包括：
(3.1)所述后台管理服务器根据所述第一距离S1，计算出第一摄像头与车头的水平距离C1，即
Figure BDA0001911498150000031
其中h是预定义的车身高度；
(3.2)所述后台管理服务器根据所述第二距离S2，计算第二摄像头与车尾的水平距离C2，即：
Figure BDA0001911498150000032
(3.3)所述后台管理服务器计算车身长度LCar＝L1+L2-C1-C2。
进一步地，所述3D ToF摄像头包括红外发射单元、传感器接收单元、信号处理单元、红外驱动单元和控制单元。
进一步地，所述信号处理单元产生调制过的PWM驱动信号通过驱动单元进行信号放大，在红外发射单元上产生调制过的光源照射到目标上，然后通过传感器接收单元观察计算反射回来的对应光，信号处理单元通过发射和反射光之间的相位差通过运算和转换得到点云。
进一步地，所述传感器接收单元由滤光组件、镜头以及传感器组成。
进一步地，所述控制单元的输出与所述信号处理单元的输入连接；所述信号处理单元的输出与所述控制单元的输入连接；所述信号处理单元的输出与所述红外驱动单元的输入连接；所述红外驱动单元的输出与所述红外发射单元的输入连接；所述传感器接收单元的输出与所述信号处理单元的输入连接。
进一步地，摄像头的拍摄都是实时进行的，当摄像头检测到车辆时，同时测量摄像头与车辆的距离。
进一步地，第一摄像头和第二摄像头在发送拍摄图像和距离时，携带相应的时间戳。
本发明的有益效果为:通过主动发射红外光抗干扰更强，采集精度高，成本低，施工简单，不破坏路面，大大降低了施工难度和维护成本；比毫米波检测更灵敏。
【附图说明】
此处所说明的附图是用来提供对本发明的进一步理解，构成本申请的一部分，但并不构成对本发明的不当限定，在附图中：
图1是本发明3D ToF摄像头的逻辑结构图。
图2是3D ToF摄像头的同向检测图。
图3是3D ToF摄像头的对向检测图。
【具体实施方式】
下面将结合附图以及具体实施例来详细说明本发明，其中的示意性实施例以及说明仅用来解释本发明，但并不作为对本发明的限定。
本发明提供一种用于门禁道闸控制的3D ToF摄像头及其控制方法。首先，利用3DToF摄像头完成对进、出车库车辆三维信息与速度信息(速度大小与速度方向)的准确探测；然后，通过将探测到的车辆信息与相关软件算法相结合，合理、准确地设置触发时刻，从而达到精确控制道闸拦杆的起、落目的，避免因落杆时间不恰当导致砸到车或者人，与此同时，3D ToF摄像头还可完成对出入车库车辆录像、拍照、以及车牌识别等功能。
在三维ToF传感器中，二维地址阵列上的每个像素来测量距离，也就得到景深图。景深图是场景中所有三维点(每个点也称一个三维像素)的集合体，三维点的集合体又叫点云。本发明提出一种用于门禁道闸控制的3D ToF摄像头，该摄像头包括红外发射单元、传感器接收单元、信号处理单元、红外驱动单元与控制单元。
所述信号处理单元产生调制过的PWM驱动信号通过驱动单元进行信号放大，在红外发射单元上产生调制过的光源照射到目标上，然后通过传感器接收单元观察计算反射回来的对应光，信号处理单元通过发射和反射光之间的相位差通过运算和转换得到点云。一般来说，红外发射单元的发射光源是780nm～2500nm波长的固态激光管Vcsel或者发光二极管LED，对人眼来说是不可见光。传感器接收单元是一个特制的成像传感器，用来接受发射光频谱的光线，并且转换光子能量到电子电流，光线进入该传感器有一个环境光分量和反射光分量。距离(景深)信息就存在反射光分量中。
参见附图1，所述控制单元的输出与信号处理单元的输入连接；信号处理单元的输出与控制单元的输入连接；信号处理单元的输出与红外驱动单元的输入连接；红外驱动单元的输出与红外发射单元的输入连接；传感器接收单元的输出与信号处理单元的输入连接。
在3D ToF摄像头的红外发射单元中，由于连续PWM调制波测量是基于相位差，而相位每2π会重叠，这也意味着测量距离会混叠。发生混叠的测量距离称之为最大测量距离Damb，计算公式为：Damb＝c/2f。其中c为光速，f为调制的PWM发射光的频率。
所述传感器接收单元主要由滤光组件、镜头以及传感器组成。滤光片可以镀在镜头上，也可以是单独的滤光片，滤光组件主要用于滤除反射光以外的波长。镜头的可视角度FOV值取值范围1°～150°，用于接收反射光，聚焦于传感器上。传感器将光信号转换为电信号，锁存于像素点寄存器中。
所述信号处理单元对经过传感器转换的数字信号完成算法的实现与处理，进而可以得到目标的二维图像、距离等信息。
在使用3D TOF摄像头检测门禁道闸时，其探测方式可以分为同向检测和对向检测。参见附图2，所述同向检测指的是摄像头的红外光照射方向和车子行驶方向一致，摄像头可以拍摄到车尾。参见附图3，所述对向检测指的是红外光照射方向和车子行驶方向相对，摄像头拍摄车头。
但是，仅使用同向检测，或者仅使用对向检测，都具有一定的缺点，也具有相应的检测死角。因此本发明的检测方法同时结合了同向检测和对向检测，以尽可能保证准确性和安全性。下面以车库的入口为例进行详细说明，车库出口的情况与入口类似，不再赘述。
首先，相当于结合图2和图3，以车库入口的道闸栏杆为界，在车库入口的内部和外部各安装一个3D ToF摄像头：第一摄像头和第二摄像头。第一摄像头为对向检测摄像头，其位置与图3中摄像头的位置类似，设置于入口内部，其拍摄方向和车辆的行驶方向相对，可以拍摄到车头。第二摄像头为同向检测摄像头，其位置与图2中的摄像头位置类似，设置在入口外部，其拍摄方向和车辆的行驶方向相同，可以拍摄到车尾。此外，两个摄像头应当设置于车道正中间的上方，这样可以减少运算量。基于上述设置，本发明检测方法的具体步骤如下：
(1)当车辆准备进入车库时，其接近道闸栏杆并停留在与栏杆一定距离的地方，此时第一摄像头进行拍摄，第一摄像头的信号处理单元可以获得拍摄的车头图像以及车头与第一摄像头的距离(下称第一距离)，第一摄像头的控制单元将拍摄的车头图像和所述第一距离发送到后台管理服务器。
需要说明的，摄像头的拍摄都是实时进行的，当摄像头检测到车辆时，同时可测量摄像头与车辆的距离。对于车辆的检测方法现有技术已有多种方案，在此不再赘述。
所述后台管理服务器是整个车库的管理者，其可以控制车库中各个道闸栏杆的抬杠和落杆。
(2)第二摄像头拍摄所述车辆，第二摄像头的信号处理单元获得拍摄的车尾图像以及车尾与第二摄像头的距离(下称第二距离)，第二摄像头的控制单元将拍摄的车尾图像和所述第二距离发送到后台管理服务器。
第一摄像头和第二摄像头的拍摄是同时进行的，为了表达同时性，一个优选的方案是在拍摄的同时获取当前的时间，因而第一摄像头和第二摄像头在发送拍摄图像和距离时，可以携带相应的时间戳，以方便后台管理服务器确定两者拍摄图像的时间关系。
(3)所述后台管理服务器根据所述第一距离和第二距离计算第一摄像头与车头的水平距离，以及第二摄像头与车尾的水平距离，并进一步计算出车身长度。
具体的，第一摄像头和第二摄像头的位置是事先固定的，因此可预先在后台管理器中输入第一摄像头和第二摄像头距离地面的高度，以及第一摄像头和第二摄像头与道闸栏杆的水平距离。
首先，后台管理服务器根据第一摄像头与车头的第一距离S1，以及第一摄像头距离地面的高度H1，可大致估计出第一摄像头与车头的水平距离C1，即
Figure BDA0001911498150000081
其中，h是预定义的车身高度，虽然不同车辆的车身高度略有不同，但是本发明只需要做大致估计，无需精确计算。
同理，后台管理服务器根据第二摄像头与车尾的第二距离S2，以及第二摄像头距离地面的高度H2，也可大致估计第二摄像头与车尾的水平距离C2，即：
Figure BDA0001911498150000091
最后，后台管理服务器计算出车身长度LCar＝L1+L2-C1-C2。其中L1和L2分别是第一摄像头和第二摄像头与道闸栏杆的水平距离。
(4)所述后台管理器判断C1是否小于L1+L3，如果小于，则后台管理服务器控制道闸栏杆抬杠。
其中，L3是预定义的抬杠和落杆距离，即车辆与栏杆的距离为L3的时候抬杠。
(5)在抬杠后，车辆驶入车库，第一摄像头继续追踪车头位置，后台管理服务器根据第一摄像头的追踪结果实时计算车头与栏杆的距离，当车头与栏杆的距离大于LCar+L3时，控制道闸栏杆落杆。
步骤5中具体的距离计算方法类似于步骤3，即先计算第一摄像头与车头的水平距离，再根据第一摄像头与栏杆的水平距离，就可以得到车头与栏杆的水平距离。
如果车流量较大，第一辆车驶入车库时，第二辆车可能立即来到栏杆前，对第一辆车的车尾形成遮挡，导致第二摄像头可能不能准确追踪车尾，此时依据前述步骤计算得到的车身长度，后台服务器依靠第一摄像头的追踪就可以准确控制落杆。
以上所述仅是本发明的较佳实施方式，故凡依本发明专利申请范围所述的构造、特征及原理所做的等效变化或修饰，均包括于本发明专利申请范围内。

Claims (7)

1.一种基于3D ToF摄像头的门禁道闸检测方法，其特征在于，在道闸栏杆两侧各安装一个3D ToF摄像头：第一摄像头和第二摄像头，其中第一摄像头为对向检测摄像头，其拍摄方向和车辆行驶方向相对，第二摄像头为同向检测摄像头，其拍摄方向与车辆行驶方向相同；两个摄像头均设置于车道正中间上方，当摄像头检测到车辆时，同时可测量摄像头与车辆的距离；所述方法包括以下步骤：
(1)当车辆接近道闸栏杆并停留在与栏杆一定距离的地方时，第一摄像头拍摄车头，将拍摄的车头图像以及车头与第一摄像头的第一距离发送到后台管理服务器；
(2)第二摄像头同时拍摄车尾，将拍摄的车尾图像以及车尾与第二摄像头的第二距离发送到后台管理服务器；
(3)所述后台管理服务器根据所述第一距离和第二距离计算第一摄像头与车头的水平距离C1，以及第二摄像头与车尾的水平距离C2，并进一步计算出车身长度LCar；
(4)所述后台管理器判断C1是否小于L1+L3，如果小于，则后台管理服务器控制道闸栏杆抬杠；其中L1是第一摄像头与道闸栏杆的水平距离，L3是预定义的抬杠和落杆距离；
(5)在抬杠后，车辆驶过道闸，第一摄像头继续追踪车头位置，后台管理服务器根据第一摄像头的追踪结果实时计算车头与栏杆的距离，当车头与栏杆的距离大于LCar+L3时，控制道闸栏杆落杆；
其中，预先在后台管理服务器中设置第一摄像头距离地面的高度H1、第二摄像头距离地面的高度H2、第一摄像头与道闸栏杆的水平距离L1、第二摄像头与道闸栏杆的水平距离L2；
其中，所述步骤3包括：
(3.1)所述后台管理服务器根据所述第一距离S1，计算出第一摄像头与车头的水平距离C1，即
Figure FDA0003953121690000021
其中h是预定义的车身高度；
(3.2)所述后台管理服务器根据所述第二距离S2，计算第二摄像头与车尾的水平距离C2，即：
Figure FDA0003953121690000022
(3.3)所述后台管理服务器计算车身长度LCar＝L1+L2-C1-C2。
2.根据权利要求1所述的方法，其特征在于，所述3D ToF摄像头包括红外发射单元、传感器接收单元、信号处理单元、红外驱动单元和控制单元。
3.根据权利要求2所述的方法，其特征在于，所述信号处理单元产生调制过的PWM驱动信号通过驱动单元进行信号放大，在红外发射单元上产生调制过的光源照射到目标上，然后通过传感器接收单元观察计算反射回来的对应光，信号处理单元通过发射和反射光之间的相位差通过运算和转换得到点云。
4.根据权利要求2-3任意一项所述的方法，其特征在于，所述传感器接收单元由滤光组件、镜头以及传感器组成。
5.根据权利要求2-3任意一项所述的方法，其特征在于，所述控制单元的输出与所述信号处理单元的输入连接；所述信号处理单元的输出与所述控制单元的输入连接；所述信号处理单元的输出与所述红外驱动单元的输入连接；所述红外驱动单元的输出与所述红外发射单元的输入连接；所述传感器接收单元的输出与所述信号处理单元的输入连接。
6.根据权利要求1所述的方法，其特征在于，摄像头的拍摄都是实时进行的，当摄像头检测到车辆时，同时测量摄像头与车辆的距离。
7.根据权利要求1所述的方法，其特征在于，第一摄像头和第二摄像头在发送拍摄图像和距离时，携带相应的时间戳。
CN201811554519.9A 2018-12-19 2018-12-19 一种基于3DToF摄像头的门禁道闸检测方法 Active CN109696667B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811554519.9A CN109696667B (zh) 2018-12-19 2018-12-19 一种基于3DToF摄像头的门禁道闸检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811554519.9A CN109696667B (zh) 2018-12-19 2018-12-19 一种基于3DToF摄像头的门禁道闸检测方法

Publications (2)

Publication Number Publication Date
CN109696667A CN109696667A (zh) 2019-04-30
CN109696667B true CN109696667B (zh) 2023-04-18

Family

ID=66231826

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811554519.9A Active CN109696667B (zh) 2018-12-19 2018-12-19 一种基于3DToF摄像头的门禁道闸检测方法

Country Status (1)

Country Link
CN (1) CN109696667B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112482265B (zh) * 2019-09-12 2022-02-08 比亚迪股份有限公司 道闸系统、自动驾驶车辆及车辆通行道闸的方法
CN111833464A (zh) * 2020-06-20 2020-10-27 宁波工程学院 一种停车自动收费方法、系统、智能终端及存储介质
CN111951565B (zh) * 2020-08-25 2021-07-02 上海建工集团股份有限公司 一种施工现场智慧车辆围栏管理方法
WO2022147703A1 (zh) * 2021-01-07 2022-07-14 深圳市大疆创新科技有限公司 跟焦方法、装置、拍摄设备及计算机可读存储介质
CN113763750B (zh) * 2021-09-29 2023-06-13 天翼交通科技有限公司 基于5g的智能车路协同系统及方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107808420A (zh) * 2016-09-08 2018-03-16 千寻位置网络有限公司 道路通行站点的快速通行、收费的方法及其系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001195700A (ja) * 2000-01-14 2001-07-19 Matsushita Electric Ind Co Ltd 車両情報検出装置
CN202189396U (zh) * 2011-03-21 2012-04-11 王辉 一种用于煤样自动采集系统的车辆管理系统
CN107729798A (zh) * 2017-05-10 2018-02-23 西安艾润物联网技术服务有限责任公司 道闸控制方法、系统以及计算机可读存储介质
CN107730902B (zh) * 2017-05-11 2021-03-19 西安艾润物联网技术服务有限责任公司 车辆录像的录制方法、摄像设备及存储介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107808420A (zh) * 2016-09-08 2018-03-16 千寻位置网络有限公司 道路通行站点的快速通行、收费的方法及其系统

Also Published As

Publication number Publication date
CN109696667A (zh) 2019-04-30

Similar Documents

Publication Publication Date Title
CN109696667B (zh) 一种基于3DToF摄像头的门禁道闸检测方法
USRE48914E1 (en) System and method for multipurpose traffic detection and characterization
CN107738612B (zh) 基于全景视觉辅助系统的自动泊车停车位检测与识别系统
US10183541B2 (en) Surround sensing system with telecentric optics
US8422737B2 (en) Device and method for measuring a parking space
KR102614323B1 (ko) 수동 및 능동 측정을 이용한 장면의 3차원 지도 생성
EP2517189B1 (en) Active 3d monitoring system for traffic detection
US9378640B2 (en) System and method for traffic side detection and characterization
US9551791B2 (en) Surround sensing system
KR102144521B1 (ko) 적응 피사계심도를 이용한 게이트된 영상 획득 방법 및 영상 시스템
JP4405155B2 (ja) 画像解析システム
US10712446B1 (en) Remote sensing for detection and ranging of objects
KR101980697B1 (ko) 객체 정보 획득 장치 및 방법
CN204632107U (zh) 一种基于扫描式激光测距仪的组合型车型识别系统
CN105629261B (zh) 基于结构光的无扫描汽车防撞激光雷达系统及其工作方法
BR112014005878A2 (pt) sensor de telêmetro a laser melhorado
CN109653124A (zh) 一种基于激光雷达的门禁道闸检测系统及方法
CN110244313A (zh) 一种基于tof相机的防碰撞系统和方法
CN107991685B (zh) 基于线激发光源的面探测激光荧光雷达及探测方法
CN116110231A (zh) 一种交通监控方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant