CN110674672A - 一种基于tof相机的多场景人数统计方法 - Google Patents

一种基于tof相机的多场景人数统计方法 Download PDF

Info

Publication number
CN110674672A
CN110674672A CN201910621363.XA CN201910621363A CN110674672A CN 110674672 A CN110674672 A CN 110674672A CN 201910621363 A CN201910621363 A CN 201910621363A CN 110674672 A CN110674672 A CN 110674672A
Authority
CN
China
Prior art keywords
people
point
target
counting
queue
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910621363.XA
Other languages
English (en)
Other versions
CN110674672B (zh
Inventor
徐国晟
訚胜利
陈浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dipu Technology Co Ltd
Original Assignee
Beijing Dipu Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dipu Technology Co Ltd filed Critical Beijing Dipu Technology Co Ltd
Priority to CN201910621363.XA priority Critical patent/CN110674672B/zh
Publication of CN110674672A publication Critical patent/CN110674672A/zh
Application granted granted Critical
Publication of CN110674672B publication Critical patent/CN110674672B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53Recognition of crowd images, e.g. recognition of crowd congestion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/30Noise filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于tof相机的多场景人数统计方法,包括但不限于旅游景点、商场、公交车、图书馆等具有固定进出通道的场所,通过tof相机,结合后端处理器,统计上述公共区域内的人数;从而可以适应多种光照条件,光照条件较差甚至夜晚无灯情况下也可以有效统计人数,整个统计过程除tof相机模组与树莓派(兼容多种嵌入式开发板)及相关线缆外,无需其他额外设备,具有设备精简、安装方便等优点,而且,整个统计方法除可以统计人数之外,还可以识别行人的身高,以适应特殊场景需求。

Description

一种基于tof相机的多场景人数统计方法
技术领域
本发明涉及公共区域内人数统计技术领域,具体为一种基于tof相机的多场景人数统计方法。
背景技术
近几年的对于旅游景点、商场、公交车、图书馆等具有固定进出通道的场所客流量统计系统主要均采用非接触的方式,其对应的主流传感器大体分为单目摄像头,双目摄像头,红外光幕传感器等这三类。
在已有的相关专利中,申请号为201210413969.2的发明专利中描述了一种基于单目的摄像头智能化视频客流分析方法及系统,其原理是基于机器视觉理论,首先对监控视频的人体目标初步检测并跟踪目标,最后判断客流轨迹得到客流数据;申请号为201310363318.1的发明专利描述了一种基于双目摄像头的视频分析方法,其原理是获取摄像头采集的两张原始二维图,利用深度图算法对两张原始二维图进行重建及背景过滤,获得3D深度图,然后利用图像分割算法得到目标位置,并跟踪目标,最后判断客流轨迹得到客流数据;申请号为201320379173.X 的专利中描述了一种基于红外光幕传感器的客流统计分析及系统,原理是利用红外发射模块将红外光发射出去,同时红外接收模块来接收自身发射出去的红外光,与此同时,如果人体目标经过该区域,其辐射出来的红外线会导致人体热释电红外探头检测到微弱的信号变化,经信号处理电路后传送给客流微控制器,并判断单人或者双人通过,最终得到客流数据。
上述市面的三种人流量统计系统存在以下不足:单、双目普通相机:a.对环境光照条件要求较高,较暗调条件下无法准确检测识别人数;b.戴帽子等特殊人群无法识别;基于电子感应设备:需要安装检测门,影响正常进出,降低效率。基于其他设备:一些需要区分行人身高的场景如车、船等,无法有效的区分行人的身高。
发明内容
本发明的目的在于提供一种基于tof相机的多场景人数统计方法,可以适应多种光照条件,光照条件较差甚至夜晚无灯情况下也可以有效统计人数,以解决上述背景技术中提出的问题。
为实现上述目的,本发明提供如下技术方案:一种基于tof相机的多场景人数统计方法,包括以下步骤:
S1:根据场景需求,在场景适当位置安装tof相机获取当前区域图像;
S2:通过公式把TOF_camera相机获取的3D点云数据转化为二维深度图像:
Figure RE-GDA0002296233200000021
S3:相邻两帧图像进行帧差处理,并对帧差结果进行阈值判定,选取测试用模板,满足下列方程即可判定为匹配模板:
Figure RE-GDA0002296233200000022
S4:当前图像与匹配模板进行帧差处理,不存在则取系统中匹配模板,获取预处理图像,消除背景带来的干扰信息;
S5:选取5*5滤波算子,进行腐蚀操作,去除tof图像中噪点;
S6:选取7*7滤波算子,进行膨胀操作,并循环三次,以降低因tof相机因未返回结构光造成的成像黑洞对检测结果的影响;
S7:目标检测:
S701:对ai,j进行二值化处理,灰度值阈值是20-45;对二值化进行连通区域检测,当角点检测检测到目标时,对目标特征进行分析,数据点小于300舍去,数据点大于300的统计目标特征中心坐标,用于检测1.4M以下身高;
S702:对ai,j进行二值化处理,灰度值阈值是20-75;对二值化进行连通区域检测,当角点检测检测到目标时,对目标特征进行分析,数据点小于300舍去,大于300的统计目标特征中心坐标,用于检测1.4M以上身高;
S8:目标跟踪:针对检测出的行人目标特征点,进行进出人数统计,点 m1(a,b)、m2(a,b)、、、mn(a,b)为当前检测目标点,具体的:
S801:上一帧不存在目标监测点:(1)人数统计队列为空:当a<180时,判定为初始进入,启动进入人数队列统计;当a>460时,判定为初始离开,启动离开人数队列统计;(2)人数统计队列不为空:若初始点a0<180,结束点an>460,则统计此时进入一人;若初始点a0>460,结束点an<180,则判定此时离开一人;
S802:当上一帧存在目标点时,对当前存在的目标点进行遍历分类,把当前检测的目标点与上一帧中队列中最后坐标点进行比较,若当前点坐标与下一点坐标m1(a1,b1)、m1'(a1',b1')满足以下关系:
(1)
(2)若a0<180,则a1-a1'>5
若a0>460,则a1-a1'<5
则当前点加入上一帧人数统计队列,否则当a<180时,判定为初始进入,启动人数队列统计;当a>460时,判定为初始离开,启动人数队列统计;
S803:当队列人数不再增加时,判定人数队列数据,如果初始点a0<180,且结束点an>460,则统计此时进入一人;若初始点a0>460,结束点an<180,则判定此时离开一人;
S804:重复上述S801、S802、S803则可以进行不间断的人数统计;
S9:数据统计与传输。
更进一步地,多场景:包括但不限于旅游景点、商场、公交车、图书馆或具有固定进出通道的场所。
更进一步地,上述S1-S9中m,n为图像长宽方向大小,i,j为具体像素点坐标, a,b为前后两帧相邻图像。
与现有技术相比,本发明的有益效果是:
本发明提供的一种基于tof相机的多场景人数统计方法,可以适应多种光照条件,光照条件较差甚至夜晚无灯情况下也可以有效统计人数,整个统计过程除 tof相机模组与树莓派(兼容多种嵌入式开发板)及相关线缆外,无需其他额外设备,具有设备精简、安装方便等优点,而且,整个统计方法除可以统计人数之外,还可以识别行人的身高,以适应特殊场景需求。
具体实施方式
以下将详细说明本发明实施例,然而,本发明实施例并不以此为限。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例中:提供一种基于tof相机的多场景人数统计方法,包括以下步骤:
步骤一:根据场景需求,在场景适当位置安装tof相机获取当前区域图像,其中,多场景:包括但不限于旅游景点、商场、公交车、图书馆等具有固定进出通道的场所,以满足更广泛的应用需求;
步骤二:通过公式把TOF_camera相机获取的3D点云数据转化为二维深度图像:
步骤三:相邻两帧图像进行帧差处理,并对帧差结果进行阈值判定,选取测试用模板,满足下列方程即可判定为匹配模板:
Figure RE-GDA0002296233200000052
步骤四:当前图像与匹配模板进行帧差处理,不存在则取系统中匹配模板,获取预处理图像,消除背景带来的干扰信息;
步骤五:选取5*5滤波算子,进行腐蚀操作,去除tof图像中噪点;
步骤六:选取7*7滤波算子,进行膨胀操作,并循环三次,以降低因tof相机因未返回结构光造成的成像黑洞对检测结果的影响;
步骤七:目标检测:
S701:对ai,j进行二值化处理,灰度值阈值是20-45;对二值化进行连通区域检测,当角点检测检测到目标时,对目标特征进行分析,数据点小于300舍去,数据点大于300的统计目标特征中心坐标,用于检测1.4M以下身高;
S702:对ai,j进行二值化处理,灰度值阈值是20-75;对二值化进行连通区域检测,当角点检测检测到目标时,对目标特征进行分析,数据点小于300舍去,大于300的统计目标特征中心坐标,用于检测1.4M以上身高;
步骤八:目标跟踪:针对检测出的行人目标特征点,进行进出人数统计,点m1(a,b)、m2(a,b)、、、mn(a,b)为当前检测目标点,具体的:
S801:上一帧不存在目标监测点:(1)人数统计队列为空:当a<180时,判定为初始进入,启动进入人数队列统计;当a>460时,判定为初始离开,启动离开人数队列统计;(2)人数统计队列不为空:若初始点a0<180,结束点an>460,则统计此时进入一人;若初始点a0>460,结束点an<180,则判定此时离开一人;
S802:当上一帧存在目标点时,对当前存在的目标点进行遍历分类,把当前检测的目标点与上一帧中队列中最后坐标点进行比较,若当前点坐标与下一点坐标m1(a1,b1)、m1'(a1',b1')满足以下关系:
(1)
Figure RE-GDA0002296233200000061
(2)若a0<180,则a1-a1'>5
若a0>460,则a1-a1'<5
则当前点加入上一帧人数统计队列,否则当a<180时,判定为初始进入,启动人数队列统计;当a>460时,判定为初始离开,启动人数队列统计;
S803:当队列人数不再增加时,判定人数队列数据,如果初始点a0<180,且结束点an>460,则统计此时进入一人;若初始点a0>460,结束点an<180,则判定此时离开一人;
S804:重复上述S801、S802、S803则可以进行不间断的人数统计;
步骤九:数据统计与传输,其采用与上述已公开专利相同的实施方式,在此不作赘述。
在上述步骤中m,n为图像长宽方向大小,i,j为具体像素点坐标,a,b为前后两帧相邻图像。
综上所述:本发明提供的一种基于tof相机的多场景人数统计方法,可以适应多种光照条件,光照条件较差甚至夜晚无灯情况下也可以有效统计人数,整个统计过程除tof相机模组与树莓派(兼容多种嵌入式开发板)及相关线缆外,无需其他额外设备,具有设备精简、安装方便等优点,而且,整个统计方法除可以统计人数之外,还可以识别行人的身高,以适应特殊场景需求。
尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同物限定。

Claims (3)

1.一种基于tof相机的多场景人数统计方法,其特征在于,包括以下步骤:
S1:根据场景需求,在场景适当位置安装tof相机获取当前区域图像;
S2:通过公式把TOF_camera相机获取的3D点云数据转化为二维深度图像:
Figure RE-FDA0002296233190000011
S3:相邻两帧图像进行帧差处理,并对帧差结果进行阈值判定,选取测试用模板,满足下列方程即可判定为匹配模板:
Figure RE-FDA0002296233190000012
S4:当前图像与匹配模板进行帧差处理,不存在则取系统中匹配模板,获取预处理图像,消除背景带来的干扰信息;
S5:选取5*5滤波算子,进行腐蚀操作,去除tof图像中噪点;
S6:选取7*7滤波算子,进行膨胀操作,并循环三次,以降低因tof相机因未返回结构光造成的成像黑洞对检测结果的影响;
S7:目标检测:
S701:对ai,j进行二值化处理,灰度值阈值是20-45;对二值化进行连通区域检测,当角点检测检测到目标时,对目标特征进行分析,数据点小于300舍去,数据点大于300的统计目标特征中心坐标,用于检测1.4M以下身高;
S702:对ai,j进行二值化处理,灰度值阈值是20-75;对二值化进行连通区域检测,当角点检测检测到目标时,对目标特征进行分析,数据点小于300舍去,大于300的统计目标特征中心坐标,用于检测1.4M以上身高;
S8:目标跟踪:针对检测出的行人目标特征点,进行进出人数统计,点m1(a,b)、m2(a,b)、、、mn(a,b)为当前检测目标点,具体的:
S801:上一帧不存在目标监测点:(1)人数统计队列为空:当a<180时,判定为初始进入,启动进入人数队列统计;当a>460时,判定为初始离开,启动离开人数队列统计;(2)人数统计队列不为空:若初始点a0<180,结束点an>460,则统计此时进入一人;若初始点a0>460,结束点an<180,则判定此时离开一人;
S802:当上一帧存在目标点时,对当前存在的目标点进行遍历分类,把当前检测的目标点与上一帧中队列中最后坐标点进行比较,若当前点坐标与下一点坐标m1(a1,b1)、m1'(a1',b1')满足以下关系:
(1)
Figure RE-FDA0002296233190000021
(2)若a0<180,则a1-a1'>5
若a0>460,则a1-a1'<5
则当前点加入上一帧人数统计队列,否则当a<180时,判定为初始进入,启动人数队列统计;当a>460时,判定为初始离开,启动人数队列统计;
S803:当队列人数不再增加时,判定人数队列数据,如果初始点a0<180,且结束点an>460,则统计此时进入一人;若初始点a0>460,结束点an<180,则判定此时离开一人;
S804:重复上述S801、S802、S803则可以进行不间断的人数统计;
S9:数据统计与传输。
2.根据权利要求1所述的一种基于tof相机的多场景人数统计方法,其特征在于,多场景:包括但不限于旅游景点、商场、公交车、图书馆或具有固定进出通道的场所。
3.根据权利要求1所述的一种基于tof相机的多场景人数统计方法,其特征在于,上述S1-S9中m,n为图像长宽方向大小,i,j为具体像素点坐标,a,b为前后两帧相邻图像。
CN201910621363.XA 2019-07-10 2019-07-10 一种基于tof相机的多场景人数统计方法 Active CN110674672B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910621363.XA CN110674672B (zh) 2019-07-10 2019-07-10 一种基于tof相机的多场景人数统计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910621363.XA CN110674672B (zh) 2019-07-10 2019-07-10 一种基于tof相机的多场景人数统计方法

Publications (2)

Publication Number Publication Date
CN110674672A true CN110674672A (zh) 2020-01-10
CN110674672B CN110674672B (zh) 2020-10-27

Family

ID=69068864

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910621363.XA Active CN110674672B (zh) 2019-07-10 2019-07-10 一种基于tof相机的多场景人数统计方法

Country Status (1)

Country Link
CN (1) CN110674672B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111310643A (zh) * 2020-02-12 2020-06-19 北京师范大学 一种基于点云数据的车辆计数方法、装置及电子设备
CN112477707A (zh) * 2020-12-15 2021-03-12 四川长虹电器股份有限公司 一种基于tof的可自动调节的汽车座椅控制系统及方法
CN112509184A (zh) * 2020-12-02 2021-03-16 海南华晟瑞博科技有限公司 一种特定人群出入房屋监测方法、系统及存储介质
CN112634270A (zh) * 2021-03-09 2021-04-09 深圳华龙讯达信息技术股份有限公司 一种基于工业互联网的成像检测系统及方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102867177A (zh) * 2012-09-19 2013-01-09 无锡慧眼电子科技有限公司 一种基于图像灰度匹配的人数统计方法
US20130182905A1 (en) * 2012-01-17 2013-07-18 Objectvideo, Inc. System and method for building automation using video content analysis with depth sensing
CN103455792A (zh) * 2013-08-20 2013-12-18 深圳市飞瑞斯科技有限公司 一种客流量统计方法及系统
CN106339687A (zh) * 2016-08-30 2017-01-18 吉林大学 基于视频的行人过街信号自适应计算方法
CN108195841A (zh) * 2017-12-06 2018-06-22 浙江大学 基于gfv-sift特征的振动环境注塑模具异常缺陷检测方法
CN108520528A (zh) * 2018-03-29 2018-09-11 中山大学新华学院 基于改进差分阈值和位移匹配模型的移动车辆跟踪方法
CN108596938A (zh) * 2018-04-25 2018-09-28 杭州光珀智能科技有限公司 一种客流统计方法及装置
CN109344690A (zh) * 2018-08-09 2019-02-15 上海青识智能科技有限公司 一种基于深度相机的人数统计方法
KR101961891B1 (ko) * 2018-07-23 2019-03-25 (주)넥스리얼 자동출입심사대에 진입하는 사람 및 물건 중 사람을 자동 계수하는 방법 및 장치

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130182905A1 (en) * 2012-01-17 2013-07-18 Objectvideo, Inc. System and method for building automation using video content analysis with depth sensing
CN102867177A (zh) * 2012-09-19 2013-01-09 无锡慧眼电子科技有限公司 一种基于图像灰度匹配的人数统计方法
CN103455792A (zh) * 2013-08-20 2013-12-18 深圳市飞瑞斯科技有限公司 一种客流量统计方法及系统
CN106339687A (zh) * 2016-08-30 2017-01-18 吉林大学 基于视频的行人过街信号自适应计算方法
CN108195841A (zh) * 2017-12-06 2018-06-22 浙江大学 基于gfv-sift特征的振动环境注塑模具异常缺陷检测方法
CN108520528A (zh) * 2018-03-29 2018-09-11 中山大学新华学院 基于改进差分阈值和位移匹配模型的移动车辆跟踪方法
CN108596938A (zh) * 2018-04-25 2018-09-28 杭州光珀智能科技有限公司 一种客流统计方法及装置
KR101961891B1 (ko) * 2018-07-23 2019-03-25 (주)넥스리얼 자동출입심사대에 진입하는 사람 및 물건 중 사람을 자동 계수하는 방법 및 장치
CN109344690A (zh) * 2018-08-09 2019-02-15 上海青识智能科技有限公司 一种基于深度相机的人数统计方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
BERLIAN AKBAR YON AGUSTA 等: "Field seeding algorithm for people counting using KINECT depth image", 《ICCEMS 2014 INTERNATIONAL CONFERENCE ON COMPUTER ENGINEERING & MATHEMATICAL SCIENCES》 *
DEL PIZZO L 等: "Counting people by RGB or depth overhead cameras", 《 PATTERN RECOGNITION LETTERS》 *
尹章芹 等: "三维深度图像在自动客流计数系统中的应用", 《中国激光》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111310643A (zh) * 2020-02-12 2020-06-19 北京师范大学 一种基于点云数据的车辆计数方法、装置及电子设备
CN111310643B (zh) * 2020-02-12 2023-08-29 北京师范大学 一种基于点云数据的车辆计数方法、装置及电子设备
CN112509184A (zh) * 2020-12-02 2021-03-16 海南华晟瑞博科技有限公司 一种特定人群出入房屋监测方法、系统及存储介质
CN112477707A (zh) * 2020-12-15 2021-03-12 四川长虹电器股份有限公司 一种基于tof的可自动调节的汽车座椅控制系统及方法
CN112477707B (zh) * 2020-12-15 2022-05-10 四川长虹电器股份有限公司 一种基于tof的可自动调节的汽车座椅控制系统及方法
CN112634270A (zh) * 2021-03-09 2021-04-09 深圳华龙讯达信息技术股份有限公司 一种基于工业互联网的成像检测系统及方法
CN112634270B (zh) * 2021-03-09 2021-06-04 深圳华龙讯达信息技术股份有限公司 一种基于工业互联网的成像检测系统及方法

Also Published As

Publication number Publication date
CN110674672B (zh) 2020-10-27

Similar Documents

Publication Publication Date Title
CN110674672B (zh) 一种基于tof相机的多场景人数统计方法
JP3816887B2 (ja) 車両待機行列の長さ測定装置及びその方法
CN101944267B (zh) 基于视频的烟火检测装置
US8019157B2 (en) Method of vehicle segmentation and counting for nighttime video frames
CN102509090B (zh) 一种基于天网工程中公共安全视频图像的车辆特征识别装置
CN111462128B (zh) 一种基于多模态光谱图像的像素级图像分割系统及方法
Chen et al. People counting system for getting in/out of a bus based on video processing
CN107990878B (zh) 基于微光双目相机的测距系统和测距方法
US20200250840A1 (en) Shadow detection method and system for surveillance video image, and shadow removing method
TWI401473B (zh) 影像式夜間行人偵測系統及方法
CN106096512B (zh) 利用深度摄像头对车辆或行人进行识别的检测装置及方法
CN103366155B (zh) 通畅路径检测中的时间相干性
CN112991369B (zh) 基于双目视觉的行驶车辆外廓尺寸检测方法
CN105046218B (zh) 一种基于串并行处理的多特征交通视频烟雾检测方法
CN111582253B (zh) 基于事件触发的车牌跟踪识别方法
US10984264B2 (en) Detection and validation of objects from sequential images of a camera
CN109887276B (zh) 基于前景提取与深度学习融合的夜间交通拥堵检测方法
CN109447093B (zh) 基于yuv图像的车尾灯检测方法
CN111723778A (zh) 基于MobileNet-SSD的车辆测距系统及方法
CN101930540A (zh) 基于视频的多特征融合的火焰检测装置和方法
US11455710B2 (en) Device and method of object detection
CN112613568B (zh) 基于可见光及红外多光谱图像序列的目标识别方法和装置
CN103453890A (zh) 一种基于尾灯检测的夜间车距测量方法
JP2005156199A (ja) 車両検知方法及び車両検知装置
CN109800693B (zh) 一种基于颜色通道混合特征的夜间车辆检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant