CN110580504B - 一种基于自反馈互斥子类挖掘的视频异常事件检测方法 - Google Patents

一种基于自反馈互斥子类挖掘的视频异常事件检测方法 Download PDF

Info

Publication number
CN110580504B
CN110580504B CN201910798156.1A CN201910798156A CN110580504B CN 110580504 B CN110580504 B CN 110580504B CN 201910798156 A CN201910798156 A CN 201910798156A CN 110580504 B CN110580504 B CN 110580504B
Authority
CN
China
Prior art keywords
matrix
features
feature
abnormal event
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910798156.1A
Other languages
English (en)
Other versions
CN110580504A (zh
Inventor
侯春萍
赵春月
王致芃
李北辰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN201910798156.1A priority Critical patent/CN110580504B/zh
Publication of CN110580504A publication Critical patent/CN110580504A/zh
Application granted granted Critical
Publication of CN110580504B publication Critical patent/CN110580504B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种基于自反馈互斥子类挖掘的视频异常事件检测方法，包括下列步骤：第一步：初始特征提取；提取视频的HOG特征和HOF特征；第二步：基于相似性保持和样本恢复特征选择方法进行二次特征提取，得到得到低维特征XW，用于后续的异常检测中；第三步：基于K‑means算法进行聚类；第四步：基于one‑class SVM进行模型学习；第五步：基于多次二分类任务进行异常判断。

Description

一种基于自反馈互斥子类挖掘的视频异常事件检测方法
技术领域
本发明属于图像与视频处理、计算机视觉技术领域，是一种应用K-means聚类与单分类支持向量机算法(one-class SVM)进行视频异常事件检测的方法。
背景技术
近年来，大型多媒体数据的分析和处理越来越受到人们的重视。其中，异常事件检测更为国内外学者研究的重点领域。然而，在大多数情况下，视频异常事件检测是一项具有挑战性的工作，这是因为异常事件的定义取决于场景的内容。例如，汽车在路上行驶是一种正常的行为；但是，同样是汽车行驶，当它出现在人行横道上就是一种不正常的行为。此外，视频中通常没有关于异常事件的标签信息，而人工标记异常事件的成本又过高，这就进一步增加了异常事件检测的难度。同时，这也增加了对高效自动视频异常检测技术的需求。
在视频异常事件检测领域，大多数现有的方法都仅利用正常事件学习出模型，如果测试样本偏离了该模型，则将其视为异常样本。其中，有一些方法学习基于字典学习和稀疏表示的模型[1]。[1]的异常事件检测框架如下:从仅包含正常事件的训练视频中提取特征后，利用提取的特征训练块稀疏字典。然后在检测阶段，计算原始特征与利用块稀疏字典得到的重建特征之间的重建误差。最后，利用构造误差对异常事件进行检测。此外，一些方法通过K-means聚类、one-class SVM算法等学习正态事件模型，如[2]。[2]的异常事件检测框架是，在从仅包含正常事件的训练视频中提取特征后，应用K-means聚类，得到代表不同运动类型的子簇。然后，在每个子簇上训练one-class SVM模型，使每个子簇的边界更加紧密。学习出的one-class SVM模型可以看作是表示不同运动类型的一些紧致子簇。如果测试样本偏离了这些紧致的子簇，则被视为异常事件。
此外，用于异常检测的数据集通常非常大，这意味着数据中包含了太多的冗余信息。因此，应该在数据集上进行特征提取以提高异常判断的效率。一些现有的特征选择方法通常提取原始数据的局部或全局信息[3]，例如全局成对相似性信息和局部几何结构信息。但是，这些方法仍然不能保证完全恢复原始数据。当提取的特征受到噪声干扰时，可能会在异常事件检测中引起巨大的误差。
[1]Rosenblum K,Zelnik-Manor L,Eldar Y C.Dictionary Optimization forBlock-Sparse Representations[J].IEEE Transactions on SignalProcessing,2010,60(5).
[2]R.T.Ionescu,S.Smeureanu,M.Popescu,and B.Alexe.Detecting abnormalevents in videousingnarrowednormalityclusters.InProceedings ofWACV,pages1951–1960,2019.
[3]Zhu X,Zhang S,Hu R,et al.Local and Global Structure Preservationfor Robust Unsupervised Spectral Feature Selection[J].IEEE Transactions onKnowledge and Data Engineering,2017,PP(99):1-1.
发明内容
本发明的目的在于提供一种高速有效的进行视频的异常事件检测方法，技术方案如下：
1.一种基于自反馈互斥子类挖掘的视频异常事件检测方法，包括下列步骤：
第一步：初始特征提取
(1)将视频的每一帧分成小块，并且将连续若干帧的块连接成一个新的三维块cube；
(2)判断每一个cube是否有明显的运动，去除运动不明显的cube；
(3)在保留的cube上将3D梯度特征提取出来，计算HOG特征；
(4)在保留的cube上将光流特征提取出来，计算HOF特征。
(5)将得到的HOG特征和HOF特征垂直地连接起来，得到原始特征X；
第二步：基于相似性保持和样本恢复特征选择方法进行二次特征提取
(1)W为投影矩阵，K是由高斯核计算的全局成对相似性矩阵，L是表征数据局部几何结构的矩阵，V也是用来表示全局成对相似性的矩阵，通过将K分解为K＝VVT来获得V，P是样本复原矩阵，E1表示原始特征与被恢复矩阵之间的误差，E2表示V与低维矩阵之间的误差，E表示误差矩阵，I为单位矩阵。μ，λ，β是用来调节重要性的参数。建立目标函数如下式所示：
s.t.X＝XWP+E1
V＝XW+E2
E＝[E1；E2]
PTP＝I
其中，||·||F表示Frobenius规范。||·||2,1表示l2,1范数，例如利用上式进行迭代更新，可以求得投影矩阵W。
(2)基于求得的投影矩阵W，得到低维特征XW，用于后续的异常检测中。
第三步：基于K-means算法进行聚类
在提取的低维特征XW上进行K-means聚类，得到表示不同正常事件的聚类簇。第四步：基于one-class SVM进行模型学习
在利用K-means聚类得到多个聚类簇以后，在每个聚类簇上训练one-class SVM模型，进而得到边界紧致的互斥子簇。
第五步：基于多次二分类任务进行异常判断
对于每个边界紧致的互斥子簇，训练一个二进制分类器gi。
其中xt∈Rm是测试样本，b是偏差项，pt是系数矢量，如果所有的二分类器都将测试样本视为异常样本，那么认为测试样本是异常事件。
本发明利用相似性保持和样本恢复特征选择方法来提取特征。这意味着本发明不仅充分利用了原始数据的全局成对相似性和局部结构信息，而且能够保证对原始样本的恢复，这表明本发明的特征提取算法能够充分保持原特征的有效信息。
此外，本发明提出了一种自反馈互斥子类挖掘算法，将异常事件检测看作多次二分类任务。利用K-means聚类和One-class SVM算法之间的自反馈机制来确定互斥子簇的数目，能够使聚类效果尽可能达到最好，进而提高异常事件检测框架的有效性。
附图说明
附图1算法流程图
附图2One-class SVM模型效果图
附图3One-class SVM模型重叠区域计算效果图
附图4帧级ROC曲线
具体实施方式
本发明使用了K-means聚类和one-class SVM算法。然而，与已有的方法不同，(Histograms of Oriented Gradients)本发明提出了一套K-means聚类和one-class SVM算法之间的自反馈机制，这可以帮助我们确定互斥子簇的数量。此外，本发明将异常事件检测看做一种分类任务。在从仅包含正常事件的训练视频中的特征后，本发明首先通过K-means聚类算法得到原始的子簇。然后，通过one-class SVM算法得到各子簇的紧致边界。然后，利用学习的one-class SVM模型的重叠区域的大小来确定子簇的数目。最后，通过多次二进制分类任务来进行异常事件检测。
此外，为了给异常检测框架提供有效的特征，本发明提出了一种相似性保持和样本恢复特征选择方法。此方法不仅可以充分利用数据的全局的样本成对相似性和局部几何结构信息，而且可以保证对原始数据的恢复性。
在充分利用数据的全局成对相似性与局部结构信息外，本发明的特征选择算法能够保证对原数据的恢复性，这就保证了原数据的有效性的保持。此外，与已有的方法不同，本发明不认为K-means聚类和one-class SVM算法是两种独立的算法，提出了一套K-means聚类和one-class SVM算法之间的自反馈机制来提高聚类效果。最终，在UCSD Ped2数据集上对本发明的算法进行测试，进行算法效果的评估。
为使本发明的技术方案更加清楚，下面对本发明具体实施方式做进一步地描述。如图1所示，本发明按以下步骤具体实现：
1.特征提取
针对于UCSD Ped2数据集中的每一个视频，将其划分为10*10*5像素块，即连续5帧中每一帧都由10*10个小像素块组成。进而判断每个像素块内是否有运动行为，若有运动行为，则说明这部分特征比较显著，那么就将这部分特征保留，之后再保留的像素块中提取HOF(Histograms of Oriented Optical Flow)特征和HOG(Histograms of OrientedGradients)特征。对于HOG特征，将每个cube的3D梯度特征化为一个基于方向的直方图，该直方图包含30个bin。直方图的bin均匀地分布在0到360度之间。对于每个立方体，可以得到维度为30的特征向量。HOF特征的计算基于光流特征的提取。因此，本发明先从UCSD Ped2数据集中提取光流特征。同样地。每个立方体的光流特征被量化为一个基于方向的直方图，该直方图有30个bin。对于每个立方体，可以得到维度为30的特征向量。最后，我们将HOF特征和HOG特征垂直地连接起来，这样就可以从每个立方体中获得维度为60的原始特征向量X。
为了进一步减少冗余信息，本发明提出了一种相似性保持和样本恢复特征选择方法。本发明的基于相似性保持和样本恢复特征选择方法得目标函数如下式所示：
s.t.X＝XWP+E1
V＝XW+E2
E＝[E1；E2]
PTP＝I
V＝XW+E2这一项用以保存全局结构信息。V代表原始特征的对相似性，它作为一种全局特征，本发明希望低维数据XW仍然保留原始数据的全局特性。利用用E2来测量它们之间的误差，本发明的迭代目标是最小化E2。
不仅全局对相似性对于特征选择很重要，局部结构信息也是至关重要的。谱聚类目标项μ(WTXTLXW))用于从原始数据中提取局部结构信息。μ是用于调整整体特征选择中的局部结构特征重要性的参数。假设D是对角矩阵，其对角元素为V的行和，那么L＝D-V。
X＝XWP+E1这一项可以保证低维数据XW可以尽可能地恢复原始特征X。它表明投影矩阵W不仅可以减少冗余，而且还可以确保在P的帮助下很好地重建袁术数据X。此外，本发明还加入了正交约束，例如PTP＝I.
项的引入是为了减少W的冗余，并且确保尽可能地使低维特征XW稀疏。λ是用于调整整体的特征选择中W的稀疏性的重要性比例的参数。||·||F表示Frobenius规范。
误差E＝[E1；E2]表示垂直地连接E1和E2。||·||2,1表示l2,1范数，例如β是一个用来调整在特征选择中最小化误差E的重要性的参数。
在得到原始特征X后，利用上述特征选择方法进行迭代更新，得到投影矩阵W，进而得到用于后续异常检测的低维特征XW。
2.基于K-means算法进行聚类
在得到低维特征XW之后，利用K-means聚类方法在低维特征上进行聚类，得到代表不同类型正常事件的子簇。然而，若要使用K-means聚类算法，需要提前确定子簇的数目。但是，k的值是一个未知数，这就需要利用自反馈机制来确定k的值。
3.基于one-class SVM进行模型学习
在每一个聚类后的子簇上训练one-class SVM模型，可以使每个子簇获得更加紧致的边界，从而优化每个子簇的边界。很明显，在每个子簇上学习的On-class SVM模型之间可能会有重叠。当重叠区域过大时，这意味着，此时的聚类效果不好，也就是说此时的k值不准确。此外，当子簇数目发生变化时，重叠区域也可能发生变化。因此，我们可以通过On-class SVM模型的重叠情况来确定子簇的数目，即k的值。
One-class SVM模型重叠大小的计算方法如下：假设k的值等于4，这意味着K-means聚类后将生成四个子聚类。然后将第J(J∈[1,4])个子簇作为训练子簇，其余三个子簇作为测试子簇。然后，计算训练子簇和每个测试子簇之间重叠区域的大小，并进行求和。最终将获得四组这样的数据，他们的平均值将被视为单On-class SVM模型的重叠大小，进而用于确定k的值，如图3所示。
通过实验进行佐证，随着k值的增加，重叠的大小先减小后增大，最后不规则波动。首先，当k值增加时，重叠区域减小。在这种情况下，随着子簇数目的增加，簇的精度将越来越高，因此训练出的One-class SVM模型的重叠面积将减小。然后，当k值继续增大时，重叠区域将会增加。在这种情况下，重叠区域增加的原因是，当集群数量合适时，增加集群数量意味着划分已经分割适当的子簇。假设此时k等于n，其中n是常数。当k等于n时，每个子簇的大小是合适的。随着子簇数量从n增加到n+1，第i个(其中i∈[1，n])子簇将被分割。在这种情况下，On-class SVM模型的重叠区域会增大，如图2所示。最后，随着子簇数量的不断增加，重叠区域的大小将不规则波动。这是因为当子簇的数量太大时，聚类的意义就不是很明显了。
4.异常判断
对于每个由One-class SVM模型学习到的互斥子簇上，训练一个二进制分类器gi。
当所有的分类器均判断测试样本为负时，即认为该样本异常。
5.算法的训练、测试与效果评估
本发明在UCSD Ped2上进行了实验，它包括16个训练视频，共2550帧，12个测试视频，共2010帧，每个视频中的每帧的分辨率为240×360像素。本发明以帧级的ROC曲线和相应的AUC值作为评价标准。ROC曲线可由TPR(True-Positive Rates)和FPR(False-PositiveRates)绘制。在帧级水平上，如果一帧包含至少一个异常像素，则该帧被视为异常帧。其中，TPR和FPR的计算方法如下。
在训练集训练出异常检测模型后，在测试集上对本发明的算法进行检验，得到的AUC值为0.84，对应的帧级ROC曲线如图4。

Claims (1)

1.一种基于自反馈互斥子类挖掘的视频异常事件检测方法，包括下列步骤：
第一步：初始特征提取
(1)将视频的每一帧分成小块，并且将连续若干帧的块连接成一个新的三维块cube；
(2)判断每一个cube是否运动，去除不运动的cube；
(3)在保留的cube上将3D梯度特征提取出来，计算HOG特征；
(4)在保留的cube上将光流特征提取出来，计算HOF特征；
(5)将得到的HOG特征和HOF特征垂直地连接起来，得到原始特征X；
第二步：基于相似性保持和样本恢复特征选择方法进行二次特征提取
(1)W为投影矩阵，K是由高斯核计算的全局成对相似性矩阵，L是表征数据局部几何结构的矩阵，V也是用来表示全局成对相似性的矩阵，通过将K分解为K＝VVT来获得V，P是样本复原矩阵，E1表示原始特征与被恢复矩阵之间的误差，E2表示V与低维矩阵之间的误差，E表示误差矩阵，I为单位矩阵；μ，λ，β是用来调节重要性的参数；建立目标函数如下式所示：
minμtr(WTXTLXW)+λ||W||F 2+β||E||2,1
s.t.X＝XWP+E1
V＝XW+E2
E＝[E1；E2]
PTP＝I
其中，||·||F表示Frobenius规范；||·||2,1表示l2,1范数，例如利用上式进行迭代更新，可以求得投影矩阵W；
(2)基于求得的投影矩阵W，得到低维特征XW，用于后续的异常检测中；
第三步：基于K-means算法进行聚类
在提取的低维特征XW上进行K-means聚类，得到表示不同正常事件的聚类簇；
第四步：基于one-class SVM进行模型学习
在利用K-means聚类得到多个聚类簇以后，在每个聚类簇上训练one-class SVM模型，进而得到边界紧致的互斥子簇；
第五步：基于多次二分类任务进行异常判断
对于每个边界紧致的互斥子簇，训练一个二进制分类器gi；
其中xt∈Rm是测试样本，b是偏差项，pt是系数矢量，如果所有的二分类器都将测试样本视为异常样本，那么认为测试样本是异常事件。
CN201910798156.1A 2019-08-27 2019-08-27 一种基于自反馈互斥子类挖掘的视频异常事件检测方法 Active CN110580504B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910798156.1A CN110580504B (zh) 2019-08-27 2019-08-27 一种基于自反馈互斥子类挖掘的视频异常事件检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910798156.1A CN110580504B (zh) 2019-08-27 2019-08-27 一种基于自反馈互斥子类挖掘的视频异常事件检测方法

Publications (2)

Publication Number Publication Date
CN110580504A CN110580504A (zh) 2019-12-17
CN110580504B true CN110580504B (zh) 2023-07-25

Family

ID=68812091

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910798156.1A Active CN110580504B (zh) 2019-08-27 2019-08-27 一种基于自反馈互斥子类挖掘的视频异常事件检测方法

Country Status (1)

Country Link
CN (1) CN110580504B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113313060A (zh) * 2021-06-17 2021-08-27 山东新一代信息产业技术研究院有限公司 基于视频监控的异常事件分类模型构建方法及检测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106503652A (zh) * 2016-10-21 2017-03-15 南京理工大学 基于低秩自适应稀疏重建的异常事件检测方法
CN106503647A (zh) * 2016-10-21 2017-03-15 南京理工大学 基于低秩逼近结构化稀疏表示的异常事件检测方法
CN106780547A (zh) * 2016-12-24 2017-05-31 天津大学 基于运动能量模型针对监控视频速度异常目标的检测方法
CN108537154A (zh) * 2018-03-28 2018-09-14 天津大学 基于hog特征和机器学习的输电线路鸟巢识别方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050285937A1 (en) * 2004-06-28 2005-12-29 Porikli Fatih M Unusual event detection in a video using object and frame features
CN106572493B (zh) * 2016-10-28 2018-07-06 南京华苏科技有限公司 Lte网络中的异常值检测方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106503652A (zh) * 2016-10-21 2017-03-15 南京理工大学 基于低秩自适应稀疏重建的异常事件检测方法
CN106503647A (zh) * 2016-10-21 2017-03-15 南京理工大学 基于低秩逼近结构化稀疏表示的异常事件检测方法
CN106780547A (zh) * 2016-12-24 2017-05-31 天津大学 基于运动能量模型针对监控视频速度异常目标的检测方法
CN108537154A (zh) * 2018-03-28 2018-09-14 天津大学 基于hog特征和机器学习的输电线路鸟巢识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
video anomaly detection based on hierarchical clustering;chunyue zhao;《web of science》;论文全文 *
基于小波变换与结构特征的立体图像质量评价;侯春萍;林洪湖;;激光与光电子学进展(第06期);全文 *

Also Published As

Publication number Publication date
CN110580504A (zh) 2019-12-17

Similar Documents

Publication Publication Date Title
Sun et al. Abnormal event detection for video surveillance using deep one-class learning
CN106803247B (zh) 一种基于多级筛选卷积神经网络的微血管瘤图像识别方法
Sidibé et al. Discrimination of retinal images containing bright lesions using sparse coded features and SVM
Zhou et al. Automatic detection of exudates in digital color fundus images using superpixel multi-feature classification
CN106778687B (zh) 基于局部评估和全局优化的注视点检测方法
CN111814584A (zh) 基于多中心度量损失的多视角环境下车辆重识别方法
Tao et al. Bearing defect diagnosis based on semi-supervised kernel Local Fisher Discriminant Analysis using pseudo labels
Lian On feature selection with principal component analysis for one-class SVM
Wu et al. Typical target detection in satellite images based on convolutional neural networks
Zhang et al. Weakly supervised human fixations prediction
Huo et al. Abnormal event detection via multi-instance dictionary learning
Erfani et al. From shared subspaces to shared landmarks: A robust multi-source classification approach
CN114862857B (zh) 一种基于两阶段学习的工业产品外观异常检测方法及系统
Sabzalian et al. Deep and sparse features for anomaly detection and localization in video
Cheng et al. Spectral embedding norm: Looking deep into the spectrum of the graph laplacian
CN110580504B (zh) 一种基于自反馈互斥子类挖掘的视频异常事件检测方法
Du et al. Convolutional neural network-based data anomaly detection considering class imbalance with limited data
CN111553417B (zh) 基于判别正则化局部保留投影的图像数据降维方法及系统
CN104537392A (zh) 一种基于判别性语义部件学习的对象检测方法
Chapel et al. Anomaly detection with score functions based on the reconstruction error of the kernel PCA
CN116383747A (zh) 基于多时间尺度深度卷积生成对抗网络的异常检测方法
Siddesha et al. Color features and KNN in classification of raw arecanut images
CN112949422A (zh) 一种基于自监督光谱匹配框架的高光谱目标检测方法
Miao et al. Manifold regularized slow feature analysis for dynamic texture recognition
Daood et al. Pollen recognition using multi-layer feature decomposition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant