CN106778590B - 一种基于卷积神经网络模型的暴恐视频检测方法 - Google Patents
一种基于卷积神经网络模型的暴恐视频检测方法 Download PDFInfo
- Publication number
- CN106778590B CN106778590B CN201611128390.6A CN201611128390A CN106778590B CN 106778590 B CN106778590 B CN 106778590B CN 201611128390 A CN201611128390 A CN 201611128390A CN 106778590 B CN106778590 B CN 106778590B
- Authority
- CN
- China
- Prior art keywords
- layer
- training
- network
- video
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
一种基于卷积神经网络模型的暴恐视频检测方法,涉及计算机视觉和机器学习。包括以下步骤:1)深度神经网络模型的训练;2)在线暴恐视频检测。利用深度学习模型组合低层特征,形成更加抽象的高层表示属性或特征,以发现数据的分布式特征表示。通过该模型能够获取描述能力强的视频图像特征描述子。该特征描述子涵盖了视频图像从低到高各个层次的特征信息,从而大大提高了暴恐视频检测的准确率和召回率。通过少量样本来训练深度卷积网络来获得优秀的检测性能。对恐怖图片检测准确率达99%以上,召回率达98%以上。对于恐怖视频检测准确率达95%,召回率达99%。训练过程无需人工参与,自动根据少量样本生成海量数据。
Description
技术领域
本发明涉及计算机视觉和机器学习,尤其是涉及一种基于卷积神经网络模型的暴恐视频检测方法。
背景技术
恐怖主义的横行给世界各国人民带来了巨大灾难和伤痛。它造成了重大人员伤亡和财产损失,妨碍国家安全和社会稳定,其危害性远超普通刑事犯罪。恐怖主义思想散播的一个主要渠道便是通过视频图像进行传播。目前对暴恐视频的检测主要通过人工审核标注,耗费大量财力物力。若对视频或者图片文件重新进行编辑(如翻拍、转录),则又需要重新人工审核,效率十分低下。因此面对数据量日益增长的互联网,需要一种新型的技术自动过滤恐怖主义视频图像内容,并可以在重要公共场所布控预警。
现有的各种视频图像特征描述子(如sift、gist、mser、hessian等描述子)描述能力有限,难以全面准确描述视频图像中的内容,尤其在暴恐视频中需要针对特定的目标进行检测,从而导致该检测工作准确率(precious)和召回率(recall)相对较低。
目前市场上最相近的技术实现方案是利用文件的特征码进行过滤。特征码主要有MD5、SHA和CRC32等。使用特征码的方法只能过滤原始的文件。若文件发生了哪怕一比特的改变(转换格式,翻拍,视频图像编辑等),文件的特征码就会发生改变,此时就无法过滤此文件。因此对于新出现的暴恐视频,检测方法主要通过人工审核。
现有的各种视频图像特征描述子(如sift、gist、mser、hessian等描述子)描述能力有限,难以全面准确描述视频图像中的内容,尤其在暴恐视频中需要针对特定的目标进行检测,从而导致该检测工作准确率(precious)和召回率(recall)相对较低。因此大部分情况下只能通过人工审核。人工审核费时费力,在当前信息爆炸时代非常有局限性。
深度学习的概念由Hinton等(Geoffrey E.,Simon Osindero,and Yee-WhyeTeh."A fast learning algorithm for deep belief nets."Neural computation 18.7(2006):1527-1554.)于2006年提出。基于深信度网(DBN)提出非监督贪心逐层训练算法,为解决深层结构相关的优化难题带来希望,随后提出多层自动编码器深层结构。此外Lecun等(LeCun,Y.,Bottou,L.,Bengio,Y.,&Haffner,P.(1998).Gradient-based learningapplied to document recognition.Proceedings of the IEEE,86(11),2278-2324.)提出的卷积神经网络是第一个真正多层结构学习算法,它利用空间相对关系减少参数数目以提高训练性能。
发明内容
本发明的目的在于针对现有技术存在的上述问题,提供一种基于卷积神经网络模型的暴恐视频检测方法。
本发明包括以下步骤:
1)深度神经网络模型的训练,具体方法如下:
训练数据:
正样本:每个类别一张清晰包含特定目标的暴恐图片或者视频帧,所述特定目标包括但不限于LOGO、旗帜;
负样本:数百万张左右网络下载的正常图片;
训练细节:
训练数据每个类别有200万张图像,正负样本比率一比一;神经网络损失函数是交叉熵损失函数:
其中m为训练样本的数目,yi为第i个训练样本的标签,xi第i个训练样本的图像,hθ(xi)为第i个训练样本的网络输出结果,L(θ)为网络训练损失函数;
训练数据预处理:所有训练图片大小调整为256×256,随机截取227×227大小的区域并减去所有样本均值作为输入;
优化算法:在GPU上使用批量梯度下降算法和反向传播算法训练神经网络,每次迭代最小批量为256,初始学习速率为0.01,每隔10000次迭代学习速率减低10倍,训练过程冲量设为0.9,权重衰退设为0.0005。迭代训练直到训练损失收敛。
2)在线暴恐视频检测,具体方法如下:
在检测过程中,把待检测图像进行预处理,然后输入网络。网络前向传播,最终得到卷积网络的分类结果。为了定位目标在图像里的位置,把分类结果进行网络反向传播,最后得到图像上对应的梯度图,根据梯度图再用混合高斯模型获得具体目标的位置。
本发明的特点及技术效果如下:
1、本发明提供了一种有效的深度神经网络模型,深度神经网络模型是含多隐层的多层感知器,是一种深度学习结构模型。利用深度学习模型组合低层特征,形成更加抽象的高层表示属性或特征,以发现数据的分布式特征表示。通过该模型能够获取描述能力强的视频图像特征描述子。该特征描述子涵盖了视频图像从低到高各个层次的特征信息,从而大大提高了暴恐视频检测的准确率和召回率。
2、在线检测时若要检测的是视频,则提取视频其中关键帧,然后把关键帧输入神经网络。若要检测的是图像,则直接输入神经网络。确定网络的输入后正向传播网络,在输出层获得每个类别的概率输出。对于检测出为正例的图像,再使用级联Adaboost算法或者反向传播算法算法进行精确目标定位。
3、本发明通过少量样本来训练深度卷积网络来获得优秀的检测性能。本发明对恐怖图片检测准确率达99%以上,召回率达98%以上。对于恐怖视频检测准确率达95%,召回率达99%。
4、本发明训练过程无需人工参与,算法自动根据少量样本生成海量数据。
附图说明
图1为本发明实施例的卷积神经网络各层与图像各种层次特征的对应关系图。
图2为网络卷积层的输入与卷积核进行卷积运算过程示意图。
图3为ReLU响应函数示意图。
具体实施方式
以下实施例将结合附图对本发明作进一步的说明。
本发明实施例的卷积神经网络各层与图像各种层次特征的对应关系图参见图1,本发明的网络结构:
网络一共有九层。
第一层输入层,输入RGB三通道的图像。
第二层是卷积层,一共有96个卷积核,每个卷积核大小为11×11,卷积步长为4,输出的特征图后面连接激活层、下采样层和归一化层。激活层激活函数采用ReLU函数。采样层采样方式是最大值采样,采样核是3×3,步长为2。归一化层核大小为5,alpha设为0.0001,beta设为0.75。
第三层是卷积层,有256个卷积核,每个卷积核大小为5×5,步长为1,边框扩充为2,输出的特征图后面连接激活层、下采样层和归一化层。激活层激活函数采用ReLU函数。采样层采样方式是最大值采样,采样核是3×3,步长为2。归一化层核大小为5,alpha设为0.0001,beta设为0.75。
第四层是卷积层,有384个卷积核,每个卷积核大小为3×3,步长为1,边框扩充为1,输出的特征图后面连接激活层。激活层激活函数采用ReLU函数。
第五层是卷积层,有384个卷积核,每个卷积核大小为5×5,步长为1,边框扩充为1,输出的特征图后面连接激活层。激活层激活函数采用ReLU函数。
第六层是卷积层,有256个卷积核,每个卷积核大小为3×3,步长为1,边框扩充为1,输出的特征图后面连接激活层和下采样层。激活层激活函数采用ReLU函数。采样层采样方式是最大值采样,采样核是3×3,步长为2。
第七层是卷积层,有4096个卷积核,每个卷积核大小为6×6,步长为1,输出的特征图后面连接激活层和DropOut层。激活层激活函数采用ReLU函数。DropOut层丢弃比率为0.5。
第八层是卷积层,有4096个卷积核,每个卷积核大小为1×1,步长为1,输出的特征图后面连接激活层和DropOut层。激活层激活函数采用ReLU函数。DropOut层丢弃比率为0.5。
第九层是卷积输出层,输出层输出大小即为需要分类的类别数目加一个背景类别,输出层连接SoftMax函数,用于归一化输出,因此每个类别的输出代表这个类别的概率值。
本发明的网络传播方法:
前向传播:
如图2所示,卷积层的前向传播为:
这里i,j表示位置,S(i,j)表示卷积层的输出,I(i,j)表示卷积层的输入,K(m,n)表示卷积层的卷积核。
所有的下采样层都采用最大值采样:
如图3所示,所有激活层的激活函数为ReLU函数:
A(i,j)=max(0,P(i,j))
归一化层的归一化函数:
这里A(p,i,j)表示激活层输出的第p个feature map的(i,j)位置的元素,同样Z(p,i,j)
表示归一化层输出的第p个feature map的(i,j)位置的元素。
SoftMax层的SoftMax函数:
DropOut层为:
r~Bernoulli(p)
D(i,j)=rA(i,j)
损失函数为:
整体的前向传播算法为:
1、输入RGB图像I到第一层进行预处理后输出到下一层。
2、第二层获得第一层的输出,卷积层输出S1,S1输入下采样层获得P1,P1输入激活层获得A1,A1输入归一化层获得Z1,最后输出Z1到下一层。
3、第三层获得第二层的输出,卷积层输出S2,S2输入下采样层获得P2,P1输入激活层获得A2,A2输入归一化层获得Z2,最后输出Z2到下一层。
4、第四层获得第三层的输出,卷积层输出S3,S3输入激活层获得A3,最后输出A3到下一层。
5、第五层获得第四层的输出,卷积层输出S4,S4输入激活层获得A4,最后输出A4到下一层。
6、第六层获得第五层的输出,卷积层输出S5,S5输入下采样层获得P5,P5输入激活层获得A5,最后输出A5到下一层。
7、第七层获得第六层的输出,卷积层输出S6,S6输入激活层获得A6,A6输入DropOut层获得D6,最后输出D6到下一层。
8、第八层获得第七层的输出,卷积层输出S7,S7输入激活层获得A7,A7输入DropOut层获得D7,最后输出D7到下一层。
9、第九层获得第八层的输出,SoftMax层输出预测结果σ。
反向传播:
反向传播和前向传播是相对立:前向传播输入信号并计算信号响应,反向传播输入响应误差并计算信号梯度。
卷积层的反向传播为:
ΔS为后一层反向传播的信号误差。ΔK为本层参数的信号误差。ΔI为输入的信号误差,用于反向传播到前一层。
下采样层的反向传播为:
激活层的反向传播为:
归一化层的反向传播为:
SoftMax层的反向传播为:
DropOut层的反向传播为:
ΔA(i,j)=rΔD(i,j)
损失函数的反向传播为:
整体的反向传播算法为:
1、第九层获得损失层的输出,SoftMax层输出预测结果的响应误差Δσ。
2、第八层获得第九层的输出,DropOut层输出ΔA7,ΔA7输入激活层获得ΔS7,△S7输入卷积层输出△D6,最后输出ΔD6到上一层。
3、第七层获得第八层的输出,DropOut层输出ΔA6,ΔA6输入激活层获得ΔS6,ΔS6输入卷积层输出ΔA5,最后输出ΔA5到上一层。
4、第六层获得第七层的输出,ΔA5输入激活层获得ΔP5,ΔP5输入下采样层获得ΔS5,ΔS5输入卷积层获得ΔA4,最后输出ΔA4到上一层。
5、第五层获得第六层的输出,ΔA4输入激活层获得ΔS4,ΔS4输入卷积层获得ΔA3,最后输出ΔA3到下一层。
6、第四层获得第五层的输出,ΔA3输入激活层获得卷积层输出ΔS3,ΔS3输入卷积层ΔZ2,最后输出ΔZ2到上一层。
7、第三层获得第四层的输出,ΔZ2输入归一化层获得ΔA2,ΔA2输入激活层获得△P2,△P2输入下采样层获得△S2,△S2输入卷积层获得△Z1,最后输出△Z1到上一层。
8、第二层获得第三层的输出,△Z1输入归一化层获得△A1,ΔA1输入激活层获得△P1,ΔP1输入下采样层获得ΔS1,ΔS1输入卷积层获得ΔI。
本发明的训练方法:
本发明使用随机梯度下降算法训练网络的参数。
参数更新的公式为:
ΔKl:=ηΔL(Kl)+αΔKl-1
Kl:=Kl-ΔKl
这里Kl为网络第l层的参数,也就是卷积层的卷积核。ΔL(Kl)为此参数对于损失函数L的导数。△Kl为需要更新的误差。η为学习速率。α为动量参数。
因此整体的训练算法为:
1.随机输入一定数量的样本图像。
2.前向传播网络并计算损失函数和误差响应。
3.反向传播网络。
4.更新所有参数。
5.重复1,2,3,4步骤直到损失函数的结果不再下降为止。
检测算法:
1.把待检图片大小缩放为227×227,然后输入网络。
2.网络进行前向传播获得每个类别的得分。
3.选取得分最大的类别作为分类结果。
4.反向传播最大的得分,获得图像上的梯度值,以此获得特定目标位置。或者使用级联分类器来获得当前图像的特定目标位置。
Claims (1)
1.一种基于卷积神经网络模型的暴恐视频检测方法,其特征在于包括以下步骤:
1)深度神经网络模型的训练,具体方法如下:
训练数据准备:
(1)正样本:每个类别包含一张清晰特定目标的暴恐图片或者视频帧,所述特定目标包括但不限于LOGO、旗帜;
(2)负样本:数百万张左右网络下载的正常图片,训练数据每个类别有200万张图像,正负样本比率一比一;
训练数据预处理:所有训练图片大小调整为256×256,随机截取227×227大小的区域并减去所有样本均值作为输入;
目标函数设置:卷积神经网络的损失函数是交叉熵损失函数:
其中,N为训练样本的数目,yi为第i个训练样本的标签,xi第i个训练样本的图像,hθ(xi)为第i个训练样本的网络输出结果,L(θ)为网络训练损失函数;
优化算法:在GPU上使用批量梯度下降算法和反向传播算法训练神经网络,每次迭代最小批量为256,初始学习速率为0.01,每隔10000次迭代学习速率减低10倍,训练过程冲量设为0.9,权重衰退设为0.0005,迭代训练直到损失函数收敛;
所述批量梯度下降算法和反向传播算法采用整体的训练算法,具体为:
(1)随机输入一定数量的样本图像;
(2)前向传播网络并计算损失函数和误差响应;
(3)反向传播网络;
(4)更新所有参数;
(5)重复步骤(1)、(2)、(3)、(4)直到损失函数的结果不再下降为止;
2)在线暴恐视频检测,具体方法如下:
在检测过程中,把待检测图像进行预处理,然后输入网络;把待检图片大小缩放为227×227,然后输入网络;网络进行前向传播获得每个类别的得分,选取得分最大的类别作为分类结果;反向传播最大的得分,获得图像上的梯度值,以此获得特定目标位置,或者使用级联分类器来获得当前图像的特定目标位置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611128390.6A CN106778590B (zh) | 2016-12-09 | 2016-12-09 | 一种基于卷积神经网络模型的暴恐视频检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611128390.6A CN106778590B (zh) | 2016-12-09 | 2016-12-09 | 一种基于卷积神经网络模型的暴恐视频检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106778590A CN106778590A (zh) | 2017-05-31 |
CN106778590B true CN106778590B (zh) | 2020-07-17 |
Family
ID=58879432
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201611128390.6A Active CN106778590B (zh) | 2016-12-09 | 2016-12-09 | 一种基于卷积神经网络模型的暴恐视频检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106778590B (zh) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109033921A (zh) * | 2017-06-08 | 2018-12-18 | 北京君正集成电路股份有限公司 | 一种识别模型的训练方法和装置 |
CN108415807A (zh) * | 2018-02-12 | 2018-08-17 | 成都睿码科技有限责任公司 | 一种爬取监控电子设备是否浏览不良信息的方法 |
CN108596082A (zh) * | 2018-04-20 | 2018-09-28 | 重庆邮电大学 | 基于图像扩散速度模型和色彩特征的人脸活体检测方法 |
CN108629309A (zh) * | 2018-04-28 | 2018-10-09 | 成都睿码科技有限责任公司 | 基坑周围人员安全保障方法 |
CN109544837A (zh) * | 2018-11-09 | 2019-03-29 | 中国计量大学 | 一种基于3dcnn的超市安防系统 |
CN109636846B (zh) * | 2018-12-06 | 2022-10-11 | 重庆邮电大学 | 基于循环注意力卷积神经网络的目标定位方法 |
CN109858482B (zh) * | 2019-01-16 | 2020-04-14 | 创新奇智(重庆)科技有限公司 | 一种图像关键区域检测方法及其系统、终端设备 |
CN111755024B (zh) * | 2019-03-27 | 2023-02-10 | 四川大学 | 一种基于迁移学习的暴恐音频检测方法 |
EP3963503A1 (en) | 2019-04-29 | 2022-03-09 | Ecole Polytechnique Federale De Lausanne (Epfl) | Dynamic media content categorisation method |
CN111125539B (zh) * | 2019-12-31 | 2024-02-02 | 武汉市烽视威科技有限公司 | 一种基于人工智能的cdn有害信息阻断方法及系统 |
CN112906588A (zh) * | 2021-03-01 | 2021-06-04 | 上海交通大学 | 基于深度学习的暴恐图片安全检测系统 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104809443A (zh) * | 2015-05-05 | 2015-07-29 | 上海交通大学 | 基于卷积神经网络的车牌检测方法及系统 |
CN105469041A (zh) * | 2015-11-19 | 2016-04-06 | 上海交通大学 | 基于多任务正则化与逐层监督神经网络的人脸点检测系统 |
-
2016
- 2016-12-09 CN CN201611128390.6A patent/CN106778590B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104809443A (zh) * | 2015-05-05 | 2015-07-29 | 上海交通大学 | 基于卷积神经网络的车牌检测方法及系统 |
CN105469041A (zh) * | 2015-11-19 | 2016-04-06 | 上海交通大学 | 基于多任务正则化与逐层监督神经网络的人脸点检测系统 |
Non-Patent Citations (1)
Title |
---|
基于深度卷积神经网络的人体姿势估计研究;王冉;《万方学位论文数据库》;20161103;摘要、正文第19-20,37-39,45-47页 * |
Also Published As
Publication number | Publication date |
---|---|
CN106778590A (zh) | 2017-05-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106778590B (zh) | 一种基于卷积神经网络模型的暴恐视频检测方法 | |
CN110532859B (zh) | 基于深度进化剪枝卷积网的遥感图像目标检测方法 | |
CN111061843B (zh) | 一种知识图谱引导的假新闻检测方法 | |
CN113936339B (zh) | 基于双通道交叉注意力机制的打架识别方法和装置 | |
US20180253640A1 (en) | Hybrid architecture system and method for high-dimensional sequence processing | |
CN109886066A (zh) | 基于多尺度和多层特征融合的快速目标检测方法 | |
CN114119979A (zh) | 基于分割掩码和自注意神经网络的细粒度图像分类方法 | |
Zhang et al. | Generative steganography by sampling | |
EP3690741A2 (en) | Method for automatically evaluating labeling reliability of training images for use in deep learning network to analyze images, and reliability-evaluating device using the same | |
CN106910202B (zh) | 一种遥感图像地物的图像分割方法及系统 | |
CN114511576B (zh) | 尺度自适应特征增强深度神经网络的图像分割方法与系统 | |
CN111382690B (zh) | 基于多损失融合模型的车辆再识别方法 | |
CN112132205B (zh) | 一种基于卷积神经网络的遥感图像分类方法 | |
CN112287983B (zh) | 一种基于深度学习的遥感图像目标提取系统和方法 | |
WO2023206944A1 (zh) | 一种语义分割方法、装置、计算机设备和存储介质 | |
US20210279519A1 (en) | Volterra Neural Network and Method | |
CN111832650A (zh) | 基于生成对抗网络局部聚合编码半监督的图像分类方法 | |
CN114782798A (zh) | 一种基于注意力融合的水下目标检测方法 | |
CN116630183A (zh) | 一种基于生成式对抗网络的文字图像修复方法 | |
Wang | Remote sensing image semantic segmentation algorithm based on improved ENet network | |
Balachandran et al. | A novel approach to detect unmanned aerial vehicle using Pix2Pix generative adversarial network | |
WO2023185074A1 (zh) | 一种基于互补时空信息建模的群体行为识别方法 | |
CN111062409A (zh) | 一种无监督图像特征的提取及分类方法 | |
CN117217929A (zh) | 注册对象风险识别方法、装置、计算机设备和存储介质 | |
CN116630369A (zh) | 基于时空记忆网络的无人机目标跟踪方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |