CN111639585A - 一种自适应人群计数系统及自适应人群计数方法 - Google Patents

一种自适应人群计数系统及自适应人群计数方法 Download PDF

Info

Publication number
CN111639585A
CN111639585A CN202010458576.8A CN202010458576A CN111639585A CN 111639585 A CN111639585 A CN 111639585A CN 202010458576 A CN202010458576 A CN 202010458576A CN 111639585 A CN111639585 A CN 111639585A
Authority
CN
China
Prior art keywords
crowd
counting
adaptive
network based
self
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010458576.8A
Other languages
English (en)
Inventor
陈琳
宋小军
尚明生
朱帆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Institute of Green and Intelligent Technology of CAS
Original Assignee
Chongqing Institute of Green and Intelligent Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Institute of Green and Intelligent Technology of CAS filed Critical Chongqing Institute of Green and Intelligent Technology of CAS
Priority to CN202010458576.8A priority Critical patent/CN111639585A/zh
Publication of CN111639585A publication Critical patent/CN111639585A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53Recognition of crowd images, e.g. recognition of crowd congestion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/047Probabilistic or stochastic networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Probability & Statistics with Applications (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明为一种自适应人群计数系统及自适应人群计数方法,属于深度学习、图像处理和智能安防领域。自适应人群计数系统采用基于检测的人群计数网络和基于密度估计的人群计数网络并联,前端与分类器串联的结构,自适应人群计数方法包含以下步骤:S1:建立已标注数据集;S2:自适应人群计数系统的建立;S3:利用已标注数据集训练自适应人群计数系统;S4:利用训练好的自适应人群计数系统,对人群视频图像数据进行计数。通过分类器自适应选择基于检测的人群计数网络和基于密度估计的人群计数网络,本发明能够自适应的调节发挥两种检测方法各自的优势,有效的解决不同应用场景的人群检测,解决多尺度多视角问题,提高了人群检测的精确度和鲁棒性。

Description

一种自适应人群计数系统及自适应人群计数方法
技术领域
本发明涉及一种自适应人群计数系统及自适应人群计数方法,属于深度学习、图像处理和智能安防领域,尤其适用于自适应人群的计数。
背景技术
随着生活人口密度的增加,群体聚集的行为也越来越多。虽然摄像机设备几乎安装在城市的每个角落,但目前的人群聚集行为仍然缺乏有效的管理和控制,经常会出现人群拥堵导致人流缓慢,甚至可能导致踩踏事故发生,因此会造成巨大的生命和财产损失。人群计数在人群监控中起着非常重要的作用,尤其是在节假日的一些典型的人群聚集场景,如车站、景区等。在中国上海,2014年12月31日上海发生新年聚集踩踏事件,造成36人死亡。此外,在2020年1月7日,伊朗将军苏莱马尼葬礼期间发生的踩踏事件中,有50多人死亡,212人受伤。因此,利用人群计数或人群密度估计进行实时预警,成为智能安防领域不可或缺的研究课题。如今,基于深度学习的人群计数方法得到了越来越多的关注,它不仅能够节省大量的人力物力,还能够提高人群计数的准确度和稳定性,并在人群密度超过阈值时进行实时报警。
现有的人群计数方法为基于密度估计的人群计数方法,一般利用一个训练完成的人群计数模型处理原始图像,得到人群计数密度特征图,然后将人群计数密度特征图中各个像素点的像素值求和,得到的结果就是原始图像中的人数,这种方法只能在人群比较密集的场景中效果较好。此外,还有基于检测的人群计数方法,这种方法只能在人群比较稀疏的场景中效果较好。但是在实际的无约束场景中,由于遮挡、背景干扰、微小的头目标,特别是不同摄像机视点下的视角畸变所引起的尺度的变异性,仍然是一个极具挑战性的问题。
然而,现有的人群计数方法中并未考虑不同的人群密集程度对人群计数模型的识别精度的影响,一般只在特定的人群密集程度范围内具有较高的识别精度,如果人群密集程度小于或大于该范围,该方法得到的人群计数模型的识别精度将显著降低。
发明内容
有鉴于此,本发明提供一种自适应人群计数系统及自适应人群计数方法,能够解决人群头部多尺度问题,以及背景干扰和视角畸变所引起的尺度变异性问题,可适应变化的应用场景。
为达到上述目的,本发明提供如下技术方案:
一种自适应人群计数系统,包括一种自适应人群计数系统包含一个分类器、一个基于检测的人群计数网络和一个基于密度估计的人群计数网络;所述的基于检测的人群计数网络和基于密度估计的人群计数网络并联,前端与分类器串联;所述的基于检测的人群计数网络和基于密度估计的人群计数网络都为卷积神经网络;所述的基于密度估计的人群计数网络含有并列的多个不同尺寸的卷积核。
其中,基于检测的人群计数网络工作原理为:通过卷积操作、多级池化模块和特征融合操作,得到多尺度特征,最后将输出的人头框个数求和,得到人群人数,该网络可以为YOLO的Darknet网络。
基于密度估计的人群计数网络工作原理为:使用多个不同尺寸的卷积核作为输入端,再通过多级池化模块,得到针对不同密度人群信息的选择卷积核特征向量,然后得到不同尺寸卷积核对不同密度人群信息利用卷积操作的融合特征图,最后将人群计数密度特征图中各个像素点的像素值求和,得到的人群人数,该网络可以根据需要和自适应的范围灵活改进SKNet(Selective Kernel Networks)实现。
分类器工作原理为:通过对比数据集图片块基于检测的人群计数网络和基于密度估计的人群计数网络预测人数与人工标注的人数的距离,评价图片块运用哪一种人群计数网络预测方法更佳,并将其归为对应人群计数网络的分类,可以为决策树、逻辑回归、朴素贝叶斯、神经网络等。
至于自适应人群计数方法,包括如下步骤:
S1:建立已标注数据集;
S2:自适应人群计数系统的建立;
S3:利用已标注数据集训练自适应人群计数系统;
S4:利用训练好的自适应人群计数系统,对人群视频图像数据进行计数。
进一步,所述的步骤S1和步骤S4都需要对视频图像数据先进行预处理,具体为:(1)、将视频图像在时间上进行采样,提取为图片图像;(2)、将图片图像平均分成M个图片块,然后对每个图片块进行色度变换和随机剪切的人工扩充;(3)、把图片块中人群头部的坐标进行归一化处理,存储为基于检测的人群计数网络输入数据;(4)、将图片块中人群头部的坐标处理成一个点,最后利用高斯分布算法,将这个点扩充为N*N的像素大小,存储为基于密度估计的人群计数网络输入数据。其中,M和N为正整数,根据实际应用场景进行人为设定。
其中,人工扩充依次为:首先,色度变换:把原图片块转换到HSV空间,然后再加上某个值;然后,随机裁剪:将原图片块和色彩变换后的图片块,每张都进行随机裁剪,并且随机裁剪后的图片块中必含有人群目标,如果没有,则删除该随机剪切的图片块。
进一步,所述的步骤S1所述的已标注数据集为对所有的图片块进行人工的人群计数并将结果数据分别与基于检测的人群计数网络输入数据和基于密度估计的人群计数网络输入数据绑定在一起作为数据集。其中,数据集来源可以为视频图像,也可以为图片图像,所不同的是图片图像在预处理过程中不需要进行采样。
进一步,步骤S3中所述的利用已标注数据集训练自适应人群计数系统,具体为:(1)、将数据集按照一定的比例分为训练集和测试集;(2)、将训练集作为输入,分别输入到基于检测的人群计数网络和基于密度估计的人群计数网络,进行参数训练,并用测试集进行性能评判;(3)、分别利用训练好的基于检测的人群计数网络和基于密度估计的人群计数网络对数据集进行分类;(4)、用分类好的训练集对分类器进行训练,并用测试集进行性能评判。
本发明的有益效果在于:本发明提供了一种自适应人群计数系统及自适应人群计数方法,通过自适应的选择基于检测的人群计数网络和基于密度估计的人群计数网络进行预测人数,以及通过采用不同尺寸的卷积核的基于密度估计的人群计数网络,能够自适应的调节发挥两种检测方法各自的优势,有效的解决不同应用场景的人群检测,解决多尺度多视角问题,提高了人群检测的精确度和鲁棒性。
附图说明
为了使本发明的目的、技术方案更加清晰明白,本发明提供如下附图进行说明:
图1为一种自适应人群计数方法流程图;
图2为一种自适应人群计数系统构架图;
图3为本发明实施例的基于密度估计的人群计数网络结构图。
具体实施方式
为使本发明的目的和技术方案更加清晰明白,下面结合附图及实施例对本发明进行详细的描述。
实施例:
地铁、轻轨等轨道交通作为当前大中城市人们出行的主要交通工具,往往会在一天的不同时间段不同位置出现人群的不同群聚现象,人群计数有利于预测和控制客流大小,以便交管部门及时有效的进行客流的疏导和播报。针对人群计数,本实施例提供一种自适应人群计数系统及自适应人群计数方法。
结合图2,一种自适应人群计数系统,包括一种自适应人群计数系统包含一个分类器、一个基于检测的人群计数网络和一个基于密度估计的人群计数网络;所述的基于检测的人群计数网络和基于密度估计的人群计数网络并联,前端与分类器串联;所述的基于检测的人群计数网络为YOLO的Darknet网络;所述的基于密度估计的人群计数网络为并列的3个不同尺寸(3*3,5*5,7*7)的卷积核输入端的SKNet网络。其中,5*5是空洞率为2的卷积核,7*7是空洞率为3的卷积核。其中,分类器,为支持向量机,工作原理为:通过对比数据集图片块基于检测的人群计数网络和基于密度估计的人群计数网络预测人数与人工标注的人数的距离,最简单的目标函数为人数差的绝对值最小,评价图片块选择基于检测的人群计数网络和基于密度估计的人群计数网络中的哪一种预测方法更佳,并将其归为对应人群计数网络的分类。
结合图1,自适应人群计数方法包含以下步骤:
步骤一、建立已标注数据集;
具体的,首先,需要对视频图像数据先进行预处理,具体为:(1)、将地铁站监控拍摄的历史视频图像每10帧提取一张为图片图像;(2)、将图片图像平均分成9个图片块,然后对每个图片块进行色度变换和随机剪切的人工扩充;(3)、把图片块中人群头部的坐标进行归一化处理,存储为基于检测的人群计数网络输入数据;(4)、将图片块中人群头部的坐标处理成一个点,最后利用高斯分布算法,将这个点扩充为15*15的像素大小,存储为基于密度估计的人群计数网络输入数据。
然后,对所有的图片块进行人工的人群计数并将结果数据分别与基于检测的人群计数网络输入数据和基于密度估计的人群计数网络输入数据绑定在一起作为数据集。
步骤二、自适应人群计数系统的建立;
结合图3所示,基于密度估计的人群计数网络的构架在原SKNet网络上做出了改进,原理具体为:(1)、将图片块经过卷积操作和多级池化模块得到特征图,分别输入3个不同尺寸卷积核中,得到3个各自的卷积特征图;(2)、针对不同的卷积特征图进行融合,通过全局平均池化来获得特征向量;(3)、将特征向量通过一个简单的全连接层得到一个对应3个尺寸的1维权重向量;(4)、将不同尺寸的权重向量分别与对应尺寸卷积核获得的卷积特征图进行点乘操作,得到3个各自的特征图;(5)、把3个特征图再次拼接融合,再使用1*1的卷积核得到通道为1的人群计数密度特征图;(6)、将人群计数密度特征图中各个像素点的像素值求和,得到的人群人数。
步骤三、利用已标注数据集训练自适应人群计数系统;
具体为:(1)、将数据集按照8∶2的比例分为训练集和测试集;(2)、将训练集作为输入,分别输入到基于检测的人群计数网络和基于密度估计的人群计数网络,进行参数训练,并用测试集进行性能评判;(3)、分别利用训练好的基于检测的人群计数网络和基于密度估计的人群计数网络对数据集进行分类;(4)、用分类好的训练集对分类器进行训练,并用测试集进行性能评判。
步骤四、利用训练好的自适应人群计数系统,对人群视频图像数据进行计数。
首先,需要对视频图像数据先进行预处理,具体为:(1)、将监控拍摄的视频图像每20帧提取一张为图片图像;(2)、将图片图像平均分成9个图片块。
预处理结束后,逐一将图片块输入训练好的自适应人群计数系统,通过该系统预测出人群人数,并实时的将人群计数反馈给平台终端。
最后说明的是,以上优选实施例仅用以说明本发明的技术方案而非限制,尽管通过上述优选实施例已经对本发明进行了详细的描述,但本领域技术人员应当理解,可以在形式上和细节上对其做出各种各样的改变,而不偏离本发明权利要求书所限定的范围。

Claims (5)

1.一种自适应人群计数系统,包括一种自适应人群计数系统包含一个分类器、一个基于检测的人群计数网络和一个基于密度估计的人群计数网络,其特征在于,
所述的基于检测的人群计数网络和基于密度估计的人群计数网络并联,前端与分类器串联;
所述的基于检测的人群计数网络和基于密度估计的人群计数网络都为卷积神经网络;
所述的基于密度估计的人群计数网络含有并列的多个不同尺寸的卷积核。
2.应用于权利要求1所述的自适应人群计数系统的自适应人群计数方法,其特征在于,包含以下步骤:
S1:建立已标注数据集;
S2:自适应人群计数系统的建立;
S3:利用已标注数据集训练自适应人群计数系统;
S4:利用训练好的自适应人群计数系统,对人群视频图像数据进行计数。
3.根据权利要求2所述的一种自适应人群计数方法,其特征在于,所述的步骤S1和步骤S4都需要对视频图像数据先进行预处理,具体为:(1)、将视频图像在时间上进行采样,提取为图片图像;(2)、将图片图像平均分成M个图片块,然后对每个图片块进行色度变换和随机剪切的人工扩充;(3)、把图片块中人群头部的坐标进行归一化处理,存储为基于检测的人群计数网络输入数据;(4)、将图片块中人群头部的坐标处理成一个点,最后利用高斯分布算法,将这个点扩充为N*N的像素大小,存储为基于密度估计的人群计数网络输入数据。
4.根据权利要求2所述的一种自适应人群计数方法,其特征在于,步骤S1所述的已标注数据集为对所有的图片块进行人工的人群计数并将结果数据分别与基于检测的人群计数网络输入数据和基于密度估计的人群计数网络输入数据绑定在一起作为数据集。
5.根据权利要求2所述的一种自适应人群计数方法,其特征在于,步骤S3中所述的利用已标注数据集训练自适应人群计数系统,具体为:(1)、将数据集按照一定的比例分为训练集和测试集;(2)、将训练集作为输入,分别输入到基于检测的人群计数网络和基于密度估计的人群计数网络,进行参数训练,并用测试集进行性能评判;(3)、分别利用训练好的基于检测的人群计数网络和基于密度估计的人群计数网络对数据集进行分类;(4)、用分类好的训练集对分类器进行训练,并用测试集进行性能评判。
CN202010458576.8A 2020-05-21 2020-05-21 一种自适应人群计数系统及自适应人群计数方法 Pending CN111639585A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010458576.8A CN111639585A (zh) 2020-05-21 2020-05-21 一种自适应人群计数系统及自适应人群计数方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010458576.8A CN111639585A (zh) 2020-05-21 2020-05-21 一种自适应人群计数系统及自适应人群计数方法

Publications (1)

Publication Number Publication Date
CN111639585A true CN111639585A (zh) 2020-09-08

Family

ID=72332905

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010458576.8A Pending CN111639585A (zh) 2020-05-21 2020-05-21 一种自适应人群计数系统及自适应人群计数方法

Country Status (1)

Country Link
CN (1) CN111639585A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112560807A (zh) * 2021-02-07 2021-03-26 南京云创大数据科技股份有限公司 一种基于人头检测的人群聚集检测方法
CN112991274A (zh) * 2021-02-19 2021-06-18 平安科技(深圳)有限公司 一种人群计数方法、装置、计算机设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104077613A (zh) * 2014-07-16 2014-10-01 电子科技大学 一种基于级联多级卷积神经网络的人群密度估计方法
CN105160313A (zh) * 2014-09-15 2015-12-16 中国科学院重庆绿色智能技术研究院 视频监控中人群行为分析的方法及装置
CN109697435A (zh) * 2018-12-14 2019-04-30 重庆中科云从科技有限公司 人流量监测方法、装置、存储介质及设备
CN110059581A (zh) * 2019-03-28 2019-07-26 常熟理工学院 基于场景深度信息的人群计数方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104077613A (zh) * 2014-07-16 2014-10-01 电子科技大学 一种基于级联多级卷积神经网络的人群密度估计方法
CN105160313A (zh) * 2014-09-15 2015-12-16 中国科学院重庆绿色智能技术研究院 视频监控中人群行为分析的方法及装置
CN109697435A (zh) * 2018-12-14 2019-04-30 重庆中科云从科技有限公司 人流量监测方法、装置、存储介质及设备
CN110059581A (zh) * 2019-03-28 2019-07-26 常熟理工学院 基于场景深度信息的人群计数方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
DEEPAK BABU SAM等: "《Convolutional Neural Network for Crowd Counting》", 《2017 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 *
XIANG LI等: "《Selective Kernel Networks》", 《2019 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112560807A (zh) * 2021-02-07 2021-03-26 南京云创大数据科技股份有限公司 一种基于人头检测的人群聚集检测方法
CN112560807B (zh) * 2021-02-07 2021-05-11 南京云创大数据科技股份有限公司 一种基于人头检测的人群聚集检测方法
CN112991274A (zh) * 2021-02-19 2021-06-18 平安科技(深圳)有限公司 一种人群计数方法、装置、计算机设备及存储介质
CN112991274B (zh) * 2021-02-19 2023-06-30 平安科技(深圳)有限公司 一种人群计数方法、装置、计算机设备及存储介质

Similar Documents

Publication Publication Date Title
US7224852B2 (en) Video segmentation using statistical pixel modeling
CN108197566B (zh) 一种基于多路神经网络的监控视频行为检测方法
CN111259783A (zh) 视频行为检测方法与系统、精彩视频回播系统及存储介质
CN111222478A (zh) 一种工地安全防护检测方法和系统
CN111401202A (zh) 一种基于深度学习的行人口罩佩戴实时检测方法
CN111723693A (zh) 一种基于小样本学习的人群计数方法
CN111639585A (zh) 一种自适应人群计数系统及自适应人群计数方法
CN115841649A (zh) 一种用于城市复杂场景的多尺度人数统计方法
CN112749654A (zh) 一种用于视频大雾监测的深度神经网络模型构建方法、系统及装置
CN113591674A (zh) 一种面向实时视频流的边缘环境行为识别系统
CN112784834A (zh) 一种自然场景下的车牌自动识别方法
CN115546742A (zh) 一种基于单目热红外摄像头的铁轨异物识别方法及系统
CN112637550A (zh) 多路4k准实时拼接视频的ptz动目标跟踪方法
CN111767881A (zh) 一种基于ai技术的自适应人群密度估计装置
Lam et al. Real-time traffic status detection from on-line images using generic object detection system with deep learning
CN109389177B (zh) 一种基于协同级联森林的隧道车辆再识别方法
CN110674887A (zh) 一种基于视频分类的端到端道路拥堵检测算法
CN112132207A (zh) 基于多分支特征映射目标检测神经网络构建方法
CN108960181B (zh) 基于多尺度分块lbp和隐马尔科夫模型的黑烟车检测方法
CN116543333A (zh) 电力系统的目标识别方法、训练方法、装置、设备和介质
CN113034543B (zh) 一种基于局部注意力机制的3D-ReID多目标追踪方法
Neto et al. Computer-vision-based surveillance of intelligent transportation systems
CN114429578A (zh) 古建筑脊兽装饰件巡检方法
CN114387310A (zh) 一种基于深度学习的城市主干道路车流量统计方法
CN114419018A (zh) 图像采样方法、系统、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200908

RJ01 Rejection of invention patent application after publication