CN113313060A - 基于视频监控的异常事件分类模型构建方法及检测方法 - Google Patents

基于视频监控的异常事件分类模型构建方法及检测方法 Download PDF

Info

Publication number
CN113313060A
CN113313060A CN202110672089.6A CN202110672089A CN113313060A CN 113313060 A CN113313060 A CN 113313060A CN 202110672089 A CN202110672089 A CN 202110672089A CN 113313060 A CN113313060 A CN 113313060A
Authority
CN
China
Prior art keywords
abnormal
video
image
learning
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110672089.6A
Other languages
English (en)
Inventor
王雯哲
高岩
王建华
高明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong New Generation Information Industry Technology Research Institute Co Ltd
Original Assignee
Shandong New Generation Information Industry Technology Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong New Generation Information Industry Technology Research Institute Co Ltd filed Critical Shandong New Generation Information Industry Technology Research Institute Co Ltd
Priority to CN202110672089.6A priority Critical patent/CN113313060A/zh
Publication of CN113313060A publication Critical patent/CN113313060A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了基于视频监控的异常事件分类模型构建方法及检测方法，属于视频监控技术领域，要解决的技术问题为如何减少假异常事件的预警并可以实现各种场景下的实时监控异常事件检测。方法包括如下步骤：对视频中目标进行逐帧检测；基于边界框对对象进行剪裁，并将剪裁后图像转化为灰度图像；以上述灰度图像为输入训练学习网络模型，得到训练后学习网络模型，并输出外观特征和运动特征；通过K‑Means聚类算法对正常事件数据集进行聚类后，选择位于异常点的正常事件数据作为虚假异常事件数据集，并结合其他正常事件数据集和异常事件数据集组成样本训练集；基于上述样本训练集对SVM模型进行训练，得到训练后SVM模型。

Description

基于视频监控的异常事件分类模型构建方法及检测方法
技术领域
本发明涉及视频监控技术领域，具体地说是基于视频监控的异常事件分类模型构建方法及检测方法。
背景技术
监控视频中的异常事件监测技术是智能监控视频分析的重要分支，它解决的主要问题是利用计算机对视频数据进行数据分析，并学习和理解视频中所发生的行为和动作。由于监控的视频自身具有分辨率高、冗余度高以及容量大的特点，使用智能异常事件检测的方法可以减少人工观察检测视频的成本，并且减少人工疏忽所带来的安全隐患。因此监控视频中的异常事件检测技术具有非常重要的研究和应用价值。
目前的异常事件检测技术有利用手工设计的方法，如方向梯度直方图、光流直方图、混合动态纹理等，也有学者在低层视觉特征的基础上设计中层语义特征来理解群体行为，以自编码器、循环神经网络、生成对抗网络为代表的的深度学习模型对于异常事件监测也表现出优异的性能。
现有的大多数异常检测方法是从训练视频中基于离群点的等检测学习一个模型，可能存在假异常时间从而影响检测的准确性，且应用范围有限。
基于上述，如何减少假异常事件的预警并可以实现各种场景下的实时监控异常事件检测，是需要解决的技术问题。
发明内容
本发明的技术任务是针对以上不足，提供基于视频监控的异常事件分类模型构建方法及检测方法，来解决如何减少假异常事件的预警并可以实现各种场景下的实时监控异常事件检测的技术问题。
第一方面，本发明提供基于视频监控的异常事件分类模型构建方法，对对象的运动和外观进行特征学习，并基于多分类的SVM分类器对事件进行分类，所述方法包括如下步骤：
对视频中目标进行逐帧检测，得到每个对象的边界框；
基于边界框对对象进行剪裁，得到剪裁后图像，并将剪裁后图像转化为灰度图像；
构建基于CNN架构的学习网络模型，以上述灰度图像为输入训练所述学习网络模型，得到训练后学习网络模型，并输出外观特征和运动特征，上述外观特征和运动特征组成事件数据集；
通过K-Means聚类算法对正常事件数据集进行聚类后，选择位于异常点的正常事件数据作为虚假异常事件数据集，并结合其他正常事件数据集和异常事件数据集组成样本训练集；
基于上述样本训练集对SVM模型进行训练，得到训练后SVM模型，所述训练后SVM模型用于对正常事件、异常事件以及虚假异常事件进行辨别。
作为优选，所述学习网络模型为基于以对象为中心的卷积自编码器的无监督特征学习框架。
作为优选，学习网络模型用于进行如下特征学习：
以对象为中心，学习外观特征；
通过前后三帧视频图像的图像梯度变化，学习运动特征。
作为优选，通过前后三帧视频图像的图像梯度变化，学习运动特征，包括：
使用包含物体的视频图像计算表示运动的梯度；
选择在索引t-3时刻到t+3时刻的视频图像，获得t-3时刻到t时刻的图像梯度，以及t时刻到t+3时刻的图像梯度；
通过上述两个图像梯度图学习对象的运动特征。
第二方面，本发明提供基于视频监控的异常事件检测方法，包括如下步骤：
通过如权利要求1-4任一项所述的基于视频监控的异常事件分类模型构建方法得到训练后学习网络模型和训练后SVM模型；
通过训练后学习网络模型对待测视频进行特征学习，得到外观特征和运动特征，将上述外观特征和运动特征作为数据集输入训练后SVM模型进行事件分类辨别。
作为优选，对于待测视频的每一帧视频图像，将SVM模型得到的最高的分数作为所述视频图像的异常分数，并通过高斯滤波器临时平滑所述异常分数。
第三方面，本发明提供装置，包括：至少一个存储器和至少一个处理器；
所述至少一个存储器，用于存储机器可读程序；
所述至少一个处理器，用于调用所述机器可读程序，执行第一方面任一所述的方法。
第四方面，本发明提供计算机可读介质，所述计算机可读介质上存储有计算机指令，所述计算机指令在被处理器执行时，使所述处理器执行第一方面任一所述的方法。
本发明的基于视频监控的异常事件分类模型构建方法及检测方法具有以下优点：将异常事件监测转化为以人员为中心，对人员进行运动以及外观信息的特征学习，再通过异常事件分类器区分异常事件，可以减少假异常事件的预警，并且可以用于各种场景下的实时监控异常事件检测。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
下面结合附图对本发明进一步说明。
图1为实施例基于视频监控的异常事件分类模型构建方法的流程框图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定，在不冲突的情况下，本发明实施例以及实施例中的技术特征可以相互结合。
本发明实施例提供基于视频监控的异常事件分类模型构建方法及检测方法，用于解决如何减少假异常事件的预警并可以实现各种场景下的实时监控异常事件检测的技术问题。
实施例1：
本发明的基于视频监控的异常事件分类模型构建方法，对对象的运动和外观进行特征学习，并基于多分类的SVM分类器对事件进行分类，该方法包括如下步骤：
S100、对视频中目标进行逐帧检测，得到每个对象的边界框；
S200、基于边界框对对象进行剪裁，得到剪裁后图像，并将剪裁后图像转化为灰度图像；
S300、构建基于CNN架构的学习网络模型，以上述灰度图像为输入训练所述学习网络模型，得到训练后学习网络模型，并输出外观特征和运动特征，上述外观特征和运动特征组成事件数据集；
S400、通过K-Means聚类算法对正常事件数据集进行聚类后，选择位于异常点的正常事件数据作为虚假异常事件数据集，并结合其他正常事件数据集和异常事件数据集组成样本训练集；
S500、基于上述样本训练集对SVM模型进行训练，得到训练后SVM模型，所述训练后SVM模型用于对正常事件、异常事件以及虚假异常事件进行辨别。
本实施例中学习网络模型为基于以对象为中心的卷积自编码器的无监督特征学习框架。学习网络模型用于进行如下特征学习：
(1)以对象为中心，学习外观特征；
(2)通过前后三帧视频图像的图像梯度变化，学习运动特征。
步骤(2)通过前后三帧视频图像的图像梯度变化，学习运动特征，包括：
(2-1)使用包含物体的视频图像计算表示运动的梯度；
(2-2)选择在索引t-3时刻到t+3时刻的视频图像，获得t-3时刻到t时刻的图像梯度，以及t时刻到t+3时刻的图像梯度；
(2-3)通过上述两个图像梯度图学习对象的运动特征。
本实施例中，首先对视频中的目标进行逐帧检测，从而获得每个对象的边界框，将剪裁后的对象进行特征学习，外表特征学习直接通过图像进行学习，动作特征的学习通过前后3帧的图像梯度变化进行学习；学习特征后对图像进行聚类，使用部分正常图像作为虚假异常信息，从而使模型对虚假异常信息有一定的判别能力；最后训练SVM分类器作为异常事件分类器。该方法得到的模型将异常事件监测转化为以人员为中心，对人员进行运动以及外观信息的特征学习，再通过异常事件分类器区分异常事件，该模型可以减少假异常事件的预警并且可以用于各种场景下的实时监控异常事件检测。
实施例2：
本发明的基于视频监控的异常事件检测方法，包括如下步骤：
通过实施例1公开的基于视频监控的异常事件分类模型构建方法得到训练后学习网络模型和训练后SVM模型；
通过训练后学习网络模型对待测视频进行特征学习，得到外观特征和运动特征，将上述外观特征和运动特征作为数据集输入训练后SVM模型进行事件分类辨别。
对于待测视频的每一帧视频图像，将SVM模型得到的最高的分数作为所述视频图像的异常分数，并通过高斯滤波器临时平滑所述异常分数。该方法可以减少假异常事件的预警并且可以用于各种场景下的实时监控异常事件检测。
实施例2：
本发明的装置，包括：至少一个存储器和至少一个处理器；上述至少一个存储器，用于存储机器可读程序；上述至少一个处理器，用于调用所述机器可读程序，执行实施例1公开的基于视频监控的异常事件分类模型构建方法。
实施例3：
本发明的计算机可读介质，上述计算机可读介质上存储有计算机指令，上述计算机指令在被处理器执行时，使所述处理器执行实施例1公开的方法。具体地，可以提供配有存储介质的系统或者装置，在该存储介质上存储着实现上述实施例中任一实施例的功能的软件程序代码，且使该系统或者装置的计算机(或CPU或MPU)读出并执行存储在存储介质中的程序代码。
在这种情况下，从存储介质读取的程序代码本身可实现上述实施例中任何一项实施例的功能，因此程序代码和存储程序代码的存储介质构成了本发明的一部分。
用于提供程序代码的存储介质实施例包括软盘、硬盘、磁光盘、光盘(如CD-ROM、CD-R、CD-RW、DVD-ROM、DVD-RAM、DVD-RW、DVD+RW)、磁带、非易失性存储卡和ROM。可选择地，可以由通信网络从服务器计算机上下载程序代码。
此外，应该清楚的是，不仅可以通过执行计算机所读出的程序代码，而且可以通过基于程序代码的指令使计算机上操作的操作系统等来完成部分或者全部的实际操作，从而实现上述实施例中任意一项实施例的功能。
此外，可以理解的是，将由存储介质读出的程序代码写到插入计算机内的扩展板中所设置的存储器中或者写到与计算机相连接的扩展单元中设置的存储器中，随后基于程序代码的指令使安装在扩展板或者扩展单元上的CPU等来执行部分和全部实际操作，从而实现上述实施例中任一实施例的功能。
需要说明的是，上述各流程和各系统结构图中不是所有的步骤和模块都是必须的，可以根据实际的需要忽略某些步骤或模块。各步骤的执行顺序不是固定的，可以根据需要进行调整。上述各实施例中描述的系统结构可以是物理结构，也可以是逻辑结构，即，有些模块可能由同一物理实体实现，或者，有些模块可能分由多个物理实体实现，或者，可以由多个独立设备中的某些部件共同实现。
上文通过附图和优选实施例对本发明进行了详细展示和说明，然而本发明不限于这些已揭示的实施例，基与上述多个实施例本领域技术人员可以知晓，可以组合上述不同实施例中的代码审核手段得到本发明更多的实施例，这些实施例也在本发明的保护范围之内。

Claims (8)

1.基于视频监控的异常事件分类模型构建方法，其特征在于对对象的运动和外观进行特征学习，并基于多分类的SVM分类器对事件进行分类，所述方法包括如下步骤：
对视频中目标进行逐帧检测，得到每个对象的边界框；
基于边界框对对象进行剪裁，得到剪裁后图像，并将剪裁后图像转化为灰度图像；
构建基于CNN架构的学习网络模型，以上述灰度图像为输入训练所述学习网络模型，得到训练后学习网络模型，并输出外观特征和运动特征，上述外观特征和运动特征组成事件数据集；
通过K-Means聚类算法对正常事件数据集进行聚类后，选择位于异常点的正常事件数据作为虚假异常事件数据集，并结合其他正常事件数据集和异常事件数据集组成样本训练集；
基于上述样本训练集对SVM模型进行训练，得到训练后SVM模型，所述训练后SVM模型用于对正常事件、异常事件以及虚假异常事件进行辨别。
2.根据权利要求1所述的基于视频监控的异常事件分类模型构建方法，其特征在于所述学习网络模型为基于以对象为中心的卷积自编码器的无监督特征学习框架。
3.根据权利要求2所述的基于视频监控的异常事件分类模型构建方法，其特征在于学习网络模型用于进行如下特征学习：
以对象为中心，学习外观特征；
通过前后三帧视频图像的图像梯度变化，学习运动特征。
4.根据权利要求3所述的基于视频监控的异常事件分类模型构建方法，其特征在于通过前后三帧视频图像的图像梯度变化，学习运动特征，包括：
使用包含物体的视频图像计算表示运动的梯度；
选择在索引t-3时刻到t+3时刻的视频图像，获得t-3时刻到t时刻的图像梯度，以及t时刻到t+3时刻的图像梯度；
通过上述两个图像梯度图学习对象的运动特征。
5.基于视频监控的异常事件检测方法，其特征在于包括如下步骤：
通过如权利要求1-4任一项所述的基于视频监控的异常事件分类模型构建方法得到训练后学习网络模型和训练后SVM模型；
通过训练后学习网络模型对待测视频进行特征学习，得到外观特征和运动特征，将上述外观特征和运动特征作为数据集输入训练后SVM模型进行事件分类辨别。
6.根据权利要求5所述的基于视频监控的异常事件检测方法，其特征在于对于待测视频的每一帧视频图像，将SVM模型得到的最高的分数作为所述视频图像的异常分数，并通过高斯滤波器临时平滑所述异常分数。
7.装置，其特征在于，包括：至少一个存储器和至少一个处理器；
所述至少一个存储器，用于存储机器可读程序；
所述至少一个处理器，用于调用所述机器可读程序，执行权利要求1至6中任一所述的方法。
8.计算机可读介质，其特征在于，所述计算机可读介质上存储有计算机指令，所述计算机指令在被处理器执行时，使所述处理器执行权利要求1至6任一所述的方法。
CN202110672089.6A 2021-06-17 2021-06-17 基于视频监控的异常事件分类模型构建方法及检测方法 Pending CN113313060A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110672089.6A CN113313060A (zh) 2021-06-17 2021-06-17 基于视频监控的异常事件分类模型构建方法及检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110672089.6A CN113313060A (zh) 2021-06-17 2021-06-17 基于视频监控的异常事件分类模型构建方法及检测方法

Publications (1)

Publication Number Publication Date
CN113313060A true CN113313060A (zh) 2021-08-27

Family

ID=77379234

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110672089.6A Pending CN113313060A (zh) 2021-06-17 2021-06-17 基于视频监控的异常事件分类模型构建方法及检测方法

Country Status (1)

Country Link
CN (1) CN113313060A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105227907A (zh) * 2015-08-31 2016-01-06 电子科技大学 基于视频的无监督异常事件实时检测方法
CN108427928A (zh) * 2018-03-16 2018-08-21 华鼎世纪（北京）国际科技有限公司 监控视频中异常事件的检测方法及装置
CN110580504A (zh) * 2019-08-27 2019-12-17 天津大学 一种基于自反馈互斥子类挖掘的视频异常事件检测方法
CN111680614A (zh) * 2020-06-03 2020-09-18 安徽大学 一种基于视频监控中的异常行为检测方法
CN111814644A (zh) * 2020-07-01 2020-10-23 重庆邮电大学 一种基于扰动视觉解释的视频异常事件检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105227907A (zh) * 2015-08-31 2016-01-06 电子科技大学 基于视频的无监督异常事件实时检测方法
CN108427928A (zh) * 2018-03-16 2018-08-21 华鼎世纪（北京）国际科技有限公司 监控视频中异常事件的检测方法及装置
CN110580504A (zh) * 2019-08-27 2019-12-17 天津大学 一种基于自反馈互斥子类挖掘的视频异常事件检测方法
CN111680614A (zh) * 2020-06-03 2020-09-18 安徽大学 一种基于视频监控中的异常行为检测方法
CN111814644A (zh) * 2020-07-01 2020-10-23 重庆邮电大学 一种基于扰动视觉解释的视频异常事件检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
RADU TUDOR IONESCU ET AL.: ""Object-Centric Auto-Encoders and Dummy Anomalies forAbnormal Event Detection in Video"", 《IEEE》 *

Similar Documents

Publication Publication Date Title
KR100442834B1 (ko) 얼굴/유사얼굴 영상으로 학습된 패턴 분류기를 이용한얼굴 검출 방법 및 시스템
CN107273832B (zh) 基于积分通道特征与卷积神经网络的车牌识别方法及系统
CN105574550A (zh) 一种车辆识别方法及装置
KR20090119664A (ko) 다수의 쓰레숄드 적응적 부스팅을 가진 객체 검출 및 분류를 위한 시스템 및 방법
CN111899515B (zh) 一种基于智慧道路边缘计算网关的车辆检测系统
CN112819068A (zh) 一种基于深度学习的船舶作业违章行为实时侦测方法
CN102314591B (zh) 静止前景物体的检测方法和设备
CN112434178A (zh) 图像分类方法、装置、电子设备和存储介质
CN108805181B (zh) 一种基于多分类模型的图像分类装置及分类方法
Prior et al. Estimating precision and accuracy of automated video post-processing: A step towards implementation of ai/ml for optics-based fish sampling
CN113780287A (zh) 一种多深度学习模型的最优选取方法及系统
CN116126740B (zh) 模型在环测试方法、装置、计算机设备及存储介质
CN105404682A (zh) 一种基于数字图像内容的图书检索方法
KR101268596B1 (ko) 정사각 코드북과 다중 경계 값이 적용된 텍스쳐 특징을 이용한 전경 검출 장치 및 방법
CN110163032B (zh) 一种人脸检测方法及装置
CN113313060A (zh) 基于视频监控的异常事件分类模型构建方法及检测方法
CN116091481A (zh) 一种小穗计数方法、装置、设备和存储介质
CN115719428A (zh) 基于分类模型的人脸图像聚类方法、装置、设备及介质
CN114898140A (zh) 一种基于paa算法的行为检测方法、装置及可读介质
CN115620083A (zh) 模型训练方法、人脸图像质量评价方法、设备及介质
WO2021065937A1 (ja) 機械学習装置
CN112651996A (zh) 目标检测跟踪方法、装置、电子设备和存储介质
CN112380986A (zh) 抗复杂街道背景干扰的车型检测方法、系统及存储介质
CN116468974B (zh) 一种基于图像生成的烟雾检测方法、装置及存储介质
KR20200005853A (ko) 심층 구조 학습 기반 사람 계수 방법 및 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210827