CN112541452A - 一种针对可疑人员的管控方法、系统及设备 - Google Patents

一种针对可疑人员的管控方法、系统及设备 Download PDF

Info

Publication number
CN112541452A
CN112541452A CN202011510238.0A CN202011510238A CN112541452A CN 112541452 A CN112541452 A CN 112541452A CN 202011510238 A CN202011510238 A CN 202011510238A CN 112541452 A CN112541452 A CN 112541452A
Authority
CN
China
Prior art keywords
region
image
suspicious
area
pixel points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011510238.0A
Other languages
English (en)
Inventor
彭鹏
胡增
钟生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Applied Technology Co Ltd
Original Assignee
China Applied Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Applied Technology Co Ltd filed Critical China Applied Technology Co Ltd
Priority to CN202011510238.0A priority Critical patent/CN112541452A/zh
Publication of CN112541452A publication Critical patent/CN112541452A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种针对可疑人员的管控方法,对警戒区域内是否存在可疑人员进行检测,包括以下步骤,通过摄像机获取警戒区域内的视频数据流,绘制最大尺寸过滤框和最小尺寸过滤框;通过区域检测算法,确定视频数据流中位于最大尺寸过滤框和最小尺寸过滤框之间的物体类别;如果物体类别为非人类,则对物体进行抓拍,不触发报警;如果物体类别为人类,且逗留时间超过预先设置的触发阈值,则通过语音输入输出设备发出警报,调度大屏显示可疑人员的实时监控画面。

Description

一种针对可疑人员的管控方法、系统及设备
技术领域
本发明涉及安全控制领域,具体涉及一种针对可疑人员的管控方法、系统及设备。
背景技术
随着社会的发展,现在办公大楼、工业园区、住户小区越来越多。对于这些区域的安防工作是管理过程中的一个重要环节。
对于可疑人员,传统的措施是通过巡逻人员或者值班人员去发现,但是这些区域无法配备较多的巡逻人员或者值班人员,会造成监管的盲区,可能造成财产损失,或者人身安全受到威胁。
发明内容
为解决上述技术问题,本发明提供一种针对可疑人员的管控方法、系统及设备。
为解决上述技术问题,本发明采用如下技术方案:
一种针对可疑人员的管控方法,对警戒区域内是否存在可疑人员进行检测,包括以下步骤:
步骤一:通过摄像机获取警戒区域内的视频数据流,绘制最大尺寸过滤框和最小尺寸过滤框;
步骤二:通过区域检测算法,确定视频数据流中位于最大尺寸过滤框和最小尺寸过滤框之间的物体类别;
步骤三:如果物体类别为非人类,则对物体进行抓拍,不触发报警;如果物体类别为人类,且逗留时间超过预先设置的触发阈值,则通过语音输入输出设备发出警报,调度大屏显示可疑人员的实时监控画面。
具体地,所述区域检测算法进行训练时,需对已标注图像进行最大极值稳定区域提取,包括依次进行的像素点排序、极值区域生成、稳定区域判断、区域拟合、区域归一化,并将得到的预处理图像导入FasterRCNN模型中进行训练。
具体地,对已标注图像进行像素点排序时,采用opencv软件库的sort函数将已标注图像进行排序。
具体地,对已标注图像进行极值区域生成时,选取不同像素点的阈值对图形进行二值化,得到二值化图像;阈值T=m+kv,其中m为以该像素点为中心的区域的平均灰度值,v为该区域的标准差,k为系数。
具体地,采用Seed-Filling方法求解所述二值化图像的连通区域,包括以下步骤:
a:扫描图像B,直到当前像素点B(x,y)=1;
a1:将当前像素点B(x,y)作为种子并赋予其一个标签,然后将该种子相邻的所有前景像素点都压入栈中;
a2:弹出栈顶像素点,赋予其相同的标签,然后再将与该栈顶像素点相邻的所有前景像素点都压入栈中;
a3:重复步骤a2直到栈内元素为空,此时便找到图像B中的一个连通区域,该区域内的像素点的标签均为label;
b:重复第步骤a直到扫描结束;扫描结束时得到图像B中所有的连通区域。
具体地,对已标注图像进行稳定区域判断时,则
Figure BDA0002846171210000021
其中Qi表示第i个连通区域的面积,Δ表示微小的阈值变化,当v(i)小于给定阈值时则认为该连通区域为极值区域。
具体地,对已标注图片进行区域拟合即对极值区域进行椭圆拟合:
对极值区域内的每个像素点(x,y),计算整个区域的几何零阶矩和几何一阶矩,其中几何零阶矩m00=∑I(x,y),几何一阶矩m01=∑yI(x,y)、m10=∑xI(x,y),则整个区域的重心位置(xc,yc),其中
Figure BDA0002846171210000022
I(x,y)为点(x,y)到待拟合椭圆的最小距离;
计算中心二阶矩
Figure BDA0002846171210000023
其中μ20=∑(x-xc)2I(x,y),μ02=∑(y-yc)2I(x,y),μ11=∑(x-xc)(y-yc)I(x,y);计算该中心二阶矩的两个特征值λ1、λ2
Figure BDA0002846171210000024
于是可以分别得到椭圆的长半轴a、短半轴b、角度θ:
Figure BDA0002846171210000025
具体地,对已标注图像进行区域归一化时,为了保持图像的仿射不变性,需对其进行坐标中心化、x-shearing归一化、缩放归一化以及旋转归一化。
一种针对可疑人员的管控系统,包括:
视频获取模块:其通过摄像机获取警戒区域内的视频数据流,绘制最大尺寸过滤框和最小尺寸过滤框;
类别识别模块,其通过区域检测算法,确定视频数据流中位于最大尺寸过滤框和最小尺寸过滤框之间的物体类别;
报警模块,如果物体类别为非人类,其对物体进行抓拍,不触发报警:如果物体类别为人类,且逗留时间超过预先设置的触发阈值,其通过语音输入输出设备发出警报,调度大屏显示可疑人员的实时监控画面。
一种计算机设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现所述的管控方法。
与现有技术相比,本发明的有益技术效果是:
本发明通过基于最大极值稳定区域提取的区域检测算法,对警戒区域内是否存在可以人员进行检测识别,并通过最大尺寸过滤框以及最小尺寸过滤框相结合的方式提高检测精度,实现区域的无人化监管。
附图说明
图1为本发明管控方法的流程示意图。
具体实施方式
下面结合附图对本发明的一种优选实施方式作详细的说明。
如图1所示,本发明提供了一种针对可疑人员的管控方法,对警戒区域内是否存在可疑人员进行检测,包括以下步骤:
S1:通过摄像机获取警戒区域内的视频数据流,绘制最大尺寸过滤框和最小尺寸过滤框。
应先调整监控摄像机的位置,使其对准警戒区域;调取监控主机上的监控摄像机对应操作软件的绘制功能,在警戒区域内绘制最大尺寸过滤框和最小尺寸过滤框,当有物体进入警戒区域时,并且该物体的大小处于最大过滤框和最小尺寸过滤框之间,才能被识别为目标,否则不属于目标,通过这种方式可以提高检测的准确率;选择待检测的目标后,监控摄像机对所选的目标进行检测。
S2:通过区域检测算法,确定视频数据流中位于最大尺寸过滤框和最小尺寸过滤框之间的物体类别。
S3:如果物体类别为非人类,则对物体进行抓拍,不触发报警;如果物体类别为人类,且逗留时间超过预先设置的触发阈值,则通过语音输入输出设备发出警报,调度大屏显示可疑人员的实时监控画面。
本实施例中,当徘徊的可疑人员在警戒区域停留的时间超过10秒,发出报警信息。将语音输入输出设备、调度大屏与主机相连接,报警信息可通过语音输入输出设备进行播报,通过调度大屏显示可疑人员的实时监控画面;监控主机发送入侵消息给管理人员,管理人员去现场对可疑人员进行询问。
在区域检测之前,首先需要对检测模型进行大量的训练,本实施例中采用MSERs算法。
具体地,所述区域检测算法进行训练时,需对已标注图像进行最大极值稳定区域提取,包括依次进行的像素点排序、极值区域生成、稳定区域判断、区域拟合、区域归一化,并将得到的预处理图像导入FasterRCNN模型中进行训练。
具体地,对已标注图像进行像素点排序时,采用opencv软件库的sort函数将已标注图像进行排序;可以根据列或者行,按照升序或者降序对像素点矩阵进行重新排序。
极值区域存在这样的特点:极值区域外边界的像素值严格大于极值区域内的像素值。
具体地,对已标注图像进行极值区域生成时,选取不同像素点的阈值对图形进行二值化,得到二值化图像;阈值T=m+kv,其中m为以该像素点为中心的区域的平均灰度值,v为该区域的标准差,k为系数。
具体地,采用Seed-Filling方法求解所述二值化图像的连通区域,也被称为er区域,包括以下步骤:
a:扫描图像B,直到当前像素点B(x,y)=1;
a1:将当前像素点B(x,y)作为种子并赋予其一个标签label,然后将该种子相邻的所有前景像素点都压入栈中;
a2:弹出栈顶像素点,赋予其相同的标签,然后再将与该栈顶像素点相邻的所有前景像素点都压入栈中;
a3:重复步骤a2直到栈内元素为空,此时便找到图像B中的一个连通区域,该区域内的像素点的标签均为label;
b:重复第步骤a直到扫描结束;扫描结束时得到图像B中所有的连通区域。
具体地,对已标注图像进行稳定区域判断时,则
Figure BDA0002846171210000051
其中Qi表示第i个连通区域的面积,Δ表示微小的阈值变化,当v(i)小于给定阈值时则认为该连通区域为极值区域。
具体地,对已标注图片进行区域拟合即对极值区域进行椭圆拟合:
对极值区域内的每个像素点(x,y),计算整个区域的几何零阶矩和几何一阶矩,其中几何零阶矩m00=∑I(x,y),几何一阶矩m01=∑yI(x,y)、m10=∑xI(,y),则整个区域的重心位置(xc,yc),其中
Figure BDA0002846171210000052
I(x,y)为点(x,y)到待拟合椭圆的最小距离;
计算中心二阶矩
Figure BDA0002846171210000053
其中μ20=∑(x-xc)2I(x,y),μ02=∑(y-yc)2I(x,y),μ11=∑(x-xc)(y-yc)I(x,y);计算该中心二阶矩的两个特征值λ1、λ2
Figure BDA0002846171210000054
于是可以分别得到椭圆的长半轴a、短半轴b、角度θ:
Figure BDA0002846171210000055
区域拟合时为了进一步对得到的不规则的极值区域进行描述和处理,椭圆拟合能够反映极值区域的位置、尺寸、方向。
具体地,对已标注图像进行区域归一化时,为了保持图像的仿射不变性,需对其进行坐标中心化、x-shearing归一化、缩放归一化以及旋转归一化。
一种针对可疑人员的管控系统,包括:
视频获取模块:其通过摄像机获取警戒区域内的视频数据流,绘制最大尺寸过滤框和最小尺寸过滤框;
类别识别模块,其通过区域检测算法,确定视频数据流中位于最大尺寸过滤框和最小尺寸过滤框之间的物体类别;
报警模块,如果物体类别为非人类,其对物体进行抓拍,不触发报警:如果物体类别为人类,且逗留时间超过预先设置的触发阈值,其通过语音输入输出设备发出警报,调度大屏显示可疑人员的实时监控画面。
一种计算机设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现所述的管控方法。
对于本领域技术人员而言,显然本发明不限于上述示范性实施例的细节,而且在不背离本发明的精神或基本特征的情况下,能够以其他的具体形式实现本发明。因此无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本发明的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内,不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外,应当理解,虽然本说明书按照实施方式加以描述,但并非每个实施方式仅包含一个独立技术方案,说明书的这种叙述方式仅仅是为了清楚起见,本领域技术人员应当将说明书作为一个整体,各实施例中的技术方案也可以经适当组合,形成本领域技术人员可以理解的其他实施方式。

Claims (10)

1.一种针对可疑人员的管控方法,对警戒区域内是否存在可疑人员进行检测,包括以下步骤:
步骤一:通过摄像机获取警戒区域内的视频数据流,绘制最大尺寸过滤框和最小尺寸过滤框;
步骤二:通过区域检测算法,确定视频数据流中位于最大尺寸过滤框和最小尺寸过滤框之间的物体类别;
步骤三:如果物体类别为非人类,则对物体进行抓拍,不触发报警;如果物体类别为人类,且逗留时间超过预先设置的触发阈值,则通过语音输入输出设备发出警报,调度大屏显示可疑人员的实时监控画面。
2.根据权利要求1所述的针对可疑人员的管控方法,其特征在于,对所述区域检测算法进行训练时,需对已标注图像进行最大极值稳定区域提取,包括依次进行的像素点排序、极值区域生成、稳定区域判断、区域拟合、区域归一化,并将得到的预处理图像导入FasterRCNN模型中进行训练。
3.根据权利要求2所述的针对可疑人员的管控方法,其特征在于,对已标注图像进行像素点排序时,采用opencv软件库的sort函数将已标注图像进行排序。
4.根据权利要求2所述的针对可疑人员的管控方法,其特征在于,对已标注图像进行极值区域生成时,选取不同像素点的阈值对图像进行二值化,得到二值化图像;阈值T=m+kv,其中m为以该像素点为中心的区域的平均灰度值,v为该区域的标准差,k为系数。
5.根据权利要求4所述的针对可疑人员的管控方法,其特征在于,采用Seed-Filling方法求解所述二值化图像的连通区域,包括以下步骤:
a:扫描图像B,直到当前像素点B(x,y)=1;
a1:将当前像素点B(x,y)作为种子并赋予其一个标签,然后将该种子相邻的所有前景像素点都压入栈中;
a2:弹出栈顶像素点,赋予其相同的标签,然后再将与该栈顶像素点相邻的所有前景像素点都压入栈中;
a3:重复步骤a2直到栈内元素为空,此时便找到图像B中的一个连通区域,该区域内的像素点的标签均为label;
b:重复第步骤a直到扫描结束;扫描结束时得到图像B中所有的连通区域。
6.根据权利要求5所述的针对可疑人员的管控方法,其特征在于,对已标注图像进行稳定区域判断时,则
Figure FDA0002846171200000021
其中Qi表示第i个连通区域的面积,Δ表示微小的阈值变化,当v(i)小于给定阈值时则认为该连通区域为极值区域。
7.根据权利要求6所述的针对可疑人员的管控方法,其特征在于,对已标注图片进行区域拟合即对极值区域进行椭圆拟合:
对极值区域内的每个像素点(x,y),计算整个区域的几何零阶矩和几何一阶矩,其中几何零阶矩m00=∑I(x,y),几何一阶矩m01=∑yI(x,y)、m10=∑xI(x,y),则整个区域的重心位置(xc,yc),其中
Figure FDA0002846171200000022
I(x,y)为点(x,y)到待拟合椭圆的最小距离;
计算中心二阶矩
Figure FDA0002846171200000023
其中μ20=∑(x-xc)2I(x,y),μ02=∑(y-yc)2I(x,y),μ11=∑(x-xc)(y-yc)I(x,y);计算该中心二阶矩的两个特征值λ1、λ2
Figure FDA0002846171200000024
于是可以分别得到椭圆的长半轴a、短半轴b、角度θ:
Figure FDA0002846171200000025
8.根据权利要求2所述的针对可疑人员的管控方法,其特征在于,对已标注图像进行区域归一化时,为了保持图像的仿射不变性,需对其进行坐标中心化、x-shearing归一化、缩放归一化以及旋转归一化。
9.一种针对可疑人员的管控系统,其特征在于,包括:
视频获取模块:其通过摄像机获取警戒区域内的视频数据流,绘制最大尺寸过滤框和最小尺寸过滤框;
类别识别模块,其通过区域检测算法,确定视频数据流中位于最大尺寸过滤框和最小尺寸过滤框之间的物体类别;
报警模块,如果物体类别为非人类,其对物体进行抓拍,不触发报警:如果物体类别为人类,且逗留时间超过预先设置的触发阈值,其通过语音输入输出设备发出警报,调度大屏显示可疑人员的实时监控画面。
10.一种计算机设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1-8中任一项所述的管控方法。
CN202011510238.0A 2020-12-18 2020-12-18 一种针对可疑人员的管控方法、系统及设备 Pending CN112541452A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011510238.0A CN112541452A (zh) 2020-12-18 2020-12-18 一种针对可疑人员的管控方法、系统及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011510238.0A CN112541452A (zh) 2020-12-18 2020-12-18 一种针对可疑人员的管控方法、系统及设备

Publications (1)

Publication Number Publication Date
CN112541452A true CN112541452A (zh) 2021-03-23

Family

ID=75019245

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011510238.0A Pending CN112541452A (zh) 2020-12-18 2020-12-18 一种针对可疑人员的管控方法、系统及设备

Country Status (1)

Country Link
CN (1) CN112541452A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104394361A (zh) * 2014-11-20 2015-03-04 天津艾思科尔科技有限公司 行人越界智能监控装置与检测方法
CN107229894A (zh) * 2016-03-24 2017-10-03 上海宝信软件股份有限公司 基于计算机视觉分析技术的智能视频监控方法及系统
CN111046797A (zh) * 2019-12-12 2020-04-21 天地伟业技术有限公司 一种基于人员和车辆行为分析的输油管线警戒方法
CN111539437A (zh) * 2020-04-27 2020-08-14 西南大学 基于深度学习的甲骨文偏旁的检测与识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104394361A (zh) * 2014-11-20 2015-03-04 天津艾思科尔科技有限公司 行人越界智能监控装置与检测方法
CN107229894A (zh) * 2016-03-24 2017-10-03 上海宝信软件股份有限公司 基于计算机视觉分析技术的智能视频监控方法及系统
CN111046797A (zh) * 2019-12-12 2020-04-21 天地伟业技术有限公司 一种基于人员和车辆行为分析的输油管线警戒方法
CN111539437A (zh) * 2020-04-27 2020-08-14 西南大学 基于深度学习的甲骨文偏旁的检测与识别方法

Similar Documents

Publication Publication Date Title
CN108053427B (zh) 一种基于KCF与Kalman的改进型多目标跟踪方法、系统及装置
CN108009473B (zh) 基于目标行为属性视频结构化处理方法、系统及存储装置
JP5390322B2 (ja) 画像処理装置、及び画像処理方法
CN106951849B (zh) 一种预防儿童意外的监控方法及系统
CN107679471B (zh) 基于视频监控平台的室内人员空岗检测方法
WO2011132387A1 (ja) 照合装置
CN110096945B (zh) 基于机器学习的室内监控视频关键帧实时提取方法
CN111767823A (zh) 一种睡岗检测方法、装置、系统及存储介质
CN112487891B (zh) 一种应用于电力作业现场的视觉智能动态识别模型构建方法
CN111597879A (zh) 一种基于监控视频的姿态检测方法、装置及系统
CN112183219A (zh) 一种基于人脸识别的公共安全视频监测方法及系统
CN111079694A (zh) 一种柜面助手履职监控装置和方法
CN111191507A (zh) 智慧社区的安全预警分析方法及系统
CN110598596A (zh) 一种危险行为监测方法、装置及电子设备
CN108805184B (zh) 一种固定空间、车辆上的图像识别方法及系统
CN114140745A (zh) 施工现场人员属性检测方法、系统、装置及介质
CN115116004A (zh) 一种基于深度学习的办公区域异常行为检测系统及方法
CN110557628A (zh) 一种检测摄像头遮挡的方法、装置及电子设备
CN115205581A (zh) 一种钓鱼检测方法、钓鱼检测设备和计算机可读存储介质
CN116962598B (zh) 一种监控视频信息融合方法及系统
KR102171384B1 (ko) 영상 보정 필터를 이용한 객체 인식 시스템 및 방법
CN113255542A (zh) 一种基于违规行为识别的违规对象身份识别方法
CN112541452A (zh) 一种针对可疑人员的管控方法、系统及设备
CN111274872A (zh) 基于模板匹配的视频监控动态不规则多监管区域判别方法
KR20210013865A (ko) 생성적 대립 네트워크를 이용한 사람의 비정상 행동 탐지 시스템 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210323