CN111401225B - 基于改进逻辑回归分类的人群异常行为检测方法 - Google Patents
基于改进逻辑回归分类的人群异常行为检测方法 Download PDFInfo
- Publication number
- CN111401225B CN111401225B CN202010174262.5A CN202010174262A CN111401225B CN 111401225 B CN111401225 B CN 111401225B CN 202010174262 A CN202010174262 A CN 202010174262A CN 111401225 B CN111401225 B CN 111401225B
- Authority
- CN
- China
- Prior art keywords
- gaussian
- optical flow
- model
- logistic regression
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于改进逻辑回归分类的人群异常行为检测方法,具体步骤包括:步骤1:提取正常行为人的运动前景和有异常行为人的运动前景;步骤2:采用Lucas‑Kanada光流法提取正常行为人的U、V光流矢量和有异常行为人的U、V光流矢量;步骤3:采用正弦变换学习率的方法改进逻辑回归分类算法;步骤4:将两种运动前景的U、V光流矢量当中的一部分输入至改进的逻辑回归分类算法中进行训练,从而得到具有最佳超参数的网络模型;步骤5:将剩余部分作为测试集运用到训练好的网络模型中测试算法的性能。本发明模型构建简单,对人群拥挤、遮挡严重的情况仍然保持较高的检测精度,而且检测速度快,泛化性能好,不仅能满足实时性的要求,还能适应多种场景。
Description
技术领域
本发明涉及基于改进逻辑回归分类的人群异常行为检测方法,属于基于特定计算模型的计算机视觉领域。
背景技术
近年来,随着人口的持续增长以及城市化进程的不断加快,人群活动变得日益频繁,而人群行为关乎公共场所的安全,这使得人群密集的公共场所易发生安全事故。因此,人群行为的有效监管能在很大程度上减少公共场所的安全事故。但是,若监管密集人群行为这一项工作仅由人力来完成,则需要浪费大量警力资源,而且还有可能因为人为因素造成监管不及时的问题。因此,基于视频的自动人群异常行为检测已经成为当今热门的研究领域之一。然而传统的人群异常行为检测算法在人群拥挤、遮挡严重的环境中检测准确率低,而且构建模型时需要考虑的因素较多。
发明内容
为解决上述背景技术中的不足,本发明提出基于改进逻辑回归分类的人群异常行为检测方法,实现人群中的异常行为检测且检测速度快,检测精度高,泛化性能好。
为达到上述目的,本发明的技术方案是这样实现的:
基于改进逻辑回归分类的人群异常行为检测方法,具体步骤包括:
步骤1:采用基于混合高斯模型的背景差分法和对象跟踪的方法对输入图像提取正常行为人的运动前景和有异常行为人的运动前景;
步骤2:对步骤1中提取得到的两种运动前景采用Lucas-Kanada光流法提取正常行为人的U、V光流矢量和有异常行为人的U、V光流矢量;
步骤3:采用正弦变换学习率的方法替代固定学习率的方法对逻辑回归分类算法进行改进;
步骤4:将步骤2中计算得到的两种运动前景的U、V光流矢量当中的一部分分别作为负样本和正样本输入至改进的逻辑回归分类算法中进行训练,从而得到具有最佳超参数的网络模型;
步骤5:将步骤2中计算得到的两种运动前景的U、V光流矢量当中的剩余部分作为测试集运用到步骤4训练好的网络模型中测试算法的性能。
优选地,所述步骤1的具体步骤如下:
步骤1-1:在一帧图像中,对每个像素点(x,y)建立K个高斯模型,假设It(x,y)为t时刻该像素点的值,It(x,y)的混合高斯模型由K个高斯模型加权和表示,如式(1)所示:
其中,K为高斯模型的个数;ωi,t为t时刻第i个高斯模型的权值,K个高斯模型的权值总和为1;μi,t为t时刻第i个高斯模型的均值;∑i,t为t时刻第i个高斯模型的协方差矩阵;η(It(x,y),μi,t,∑i,t)是t时刻第i个高斯模型;
步骤1-2:将当前帧中像素值It(x,y)与其对应的K个高斯模型进行匹配,匹配公式如式(2)所示:
其中,μi,t和σi,t分别表示t时刻第i个高斯模型的均值和标准差,若It(x,y)与其对应的任意一个高斯模型满足式(2),则更新该像素对应的所有高斯模型的权值,并更新满足式(2)的高斯模型的均值和标准差;若It(x,y)与其对应的所有高斯模型都不满足式(2),则将其所有高斯模型中权值最小的模型用一个新的高斯模型取代,新的模型以It(x,y)为均值,并初始化一个标准差和一个权值,剩余的高斯模型更新权值并保持原来的均值和标准差。
步骤1-3:按ωi,t/σi,t比值由大到小的顺序将每个像素的K个高斯模型排序,取排序序列中前B个高斯模型作为背景模型,B的计算公式如式(3)所示:
其余高斯模型为运动前景模型,再将像素值It(x,y)与背景模型进行匹配,若匹配,则该像素点为背景点,否则该像素点为前景点,即为运动目标。
步骤1-4:利用上述步骤可得到所有帧中全部人的运动前景,然后在原始帧中利用目标跟踪的方法获得有异常行为人的像素区域,在获得有异常行为人的像素区域的基础上再利用上述步骤得到有异常行为人的运动前景,进而可得到正常行为人的运动前景。
优选地,所述步骤2的具体步骤如下:
其中,n为像素点个数;
步骤2-2:利用Lucas-Kanada光流算法得到前一帧图像像素点集合如式(5)所示:
步骤2-3:利用帧差法计算得到每个像素点的U、V光流矢量,根据式(6)得到第i帧图像第j个像素点的U光流矢量大小,其中,式(6)如下所示:
其中,f为帧率;
同理,根据式(7)得到得到第i帧图像第j个像素点的V光流矢量大小,其中,式(7)如下所示:
步骤2-4:在已提取得到两种运动前景的前提下,使用所有帧中全部像素点的U,V矢量大小计算两种运动前景的像素区域的平均U、V光流矢量大小。
优选地,所述步骤3中的具体改进步骤如下:
采用符合学习率变化需求的正弦变换学习率代替固定学习率,应用于传统的逻辑回归分类算法中,所述正弦变换学习率如式(8)所示:
优选地,所述步骤4的具体步骤如下:
步骤4-1:用人群行为检测数据集UCSD数据集中的图像作为验证步骤3得到的改进算法的数据集;
步骤4-2:把提取得到的两种运动前景的光流矢量当中的70%作为训练集的负样本和正样本运用到改进的逻辑回归分类算法中训练;
步骤4-3:采用网格搜索以及10折交叉验证的方式进行训练以得到具有最佳超参数的网络模型。
优选地,所述步骤5的具体步骤如下:把提取得到的两种运动前景的光流矢量当中的30%作为测试集的负样本和正样本运用到训练好的网络模型中测试算法的性能。
有益效果:本发明提供基于改进逻辑回归分类的人群异常行为检测方法,模型构建简单,对人群拥挤、遮挡严重的情况仍然保持较高的检测精度,而且检测速度快,泛化性能好,不仅能满足实时性的要求,还能适应多种场景,对人群异常行为检测具有极大的现实意义和应用价值。
附图说明
图1为本发明的实现流程图。
具体实施方式
为了使本技术领域的人员更好地理解本申请中的技术方案,下面对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
如图1所示,基于改进逻辑回归分类的人群异常行为检测方法,具体步骤包括:
步骤1:采用基于混合高斯模型的背景差分法和对象跟踪的方法对输入图像提取正常行为人的运动前景和有异常行为人的运动前景;
步骤2:对步骤1中提取得到的两种运动前景采用Lucas-Kanada光流法提取正常行为人的U、V光流矢量和有异常行为人的U、V光流矢量;
步骤3:采用正弦变换学习率的方法替代固定学习率的方法对逻辑回归分类算法进行改进;
步骤4:将步骤2中计算得到的两种运动前景的U、V光流矢量当中的一部分分别作为负样本和正样本输入至改进的逻辑回归分类算法中进行训练,从而得到具有最佳超参数的网络模型;
步骤5:将步骤2中计算得到的两种运动前景的U、V光流矢量当中的剩余部分作为测试集运用到步骤4训练好的网络模型中测试算法的性能。
优选地,所述步骤1的具体步骤如下:
步骤1-1:在一帧图像中,对每个像素点(x,y)建立K个高斯模型,假设It(x,y)为t时刻该像素点的值,It(x,y)的混合高斯模型由K个高斯模型加权和表示,如式(1)所示:
其中,K为高斯模型的个数;ωi,t为t时刻第i个高斯模型的权值,K个高斯模型的权值总和为1;μi,t为t时刻第i个高斯模型的均值;∑i,t为t时刻第i个高斯模型的协方差矩阵;η(It(x,y),μi,t,∑i,t)是t时刻第i个高斯模型;
步骤1-2:将当前帧中像素值It(x,y)与其对应的K个高斯模型进行匹配,匹配公式如式(2)所示:
其中,μi,t和σi,t分别表示t时刻第i个高斯模型的均值和标准差,若It(x,y)与其对应的任意一个高斯模型(这一像素的K个高斯模型中的任意一个)满足式(2),则更新该像素对应的所有高斯模型的权值,并更新满足式(2)的高斯模型的均值和标准差;若It(x,y)与其对应的所有高斯模型都不满足式(2),则将其所有高斯模型中权值最小的模型用一个新的高斯模型取代,新的模型以It(x,y)为均值,并初始化一个较大的标准差和一个较小的权值,剩余的高斯模型更新权值并保持原来的均值和标准差。
步骤1-3:按ωi,t/σi,t比值由大到小的顺序将每个像素的K个高斯模型排序,取排序序列中前B个高斯模型作为背景模型,B的计算公式如式(3)所示:
其余高斯模型为运动前景模型,再将像素值It(x,y)与背景模型进行匹配,若匹配,则该像素点为背景点,否则该像素点为前景点,即为运动目标。
步骤1-4:利用上述步骤可得到所有帧中全部人的运动前景,然后在原始帧中利用目标跟踪的方法获得有异常行为人的像素区域,在获得有异常行为人的像素区域的基础上再利用上述步骤得到有异常行为人的运动前景,进而可得到正常行为人的运动前景。
优选地,所述步骤2的具体步骤如下:
其中,n为像素点个数;
步骤2-2:利用Lucas-Kanada光流算法得到前一帧图像像素点集合如式(5)所示:
步骤2-3:利用帧差法计算得到每个像素点的U、V光流矢量,根据式(6)得到第i帧图像第j个像素点的U光流矢量大小,其中,式(6)如下所示:
其中,f为帧率;
同理,根据式(7)得到得到第i帧图像第j个像素点的V光流矢量大小,其中,式(7)如下所示:
步骤2-4:在已提取得到两种运动前景的前提下,使用所有帧中全部像素点的U,V矢量大小计算两种运动前景的像素区域的平均U、V光流矢量大小。
优选地,所述步骤3中的具体改进步骤如下:
采用符合学习率变化需求的正弦变换学习率代替固定学习率,应用于传统的逻辑回归分类算法中,所述正弦变换学习率如式(8)所示:
优选地,所述步骤4的具体步骤如下:
步骤4-1:用人群行为检测数据集UCSD数据集中的图像作为验证步骤3得到的改进算法的数据集;
步骤4-2:把提取得到的两种运动前景的光流矢量当中的70%作为训练集的负样本和正样本运用到改进的逻辑回归分类算法中训练;
步骤4-3:采用网格搜索以及10折交叉验证的方式进行训练以得到具有最佳超参数的网络模型。
优选地,所述步骤5的具体步骤如下:把提取得到的两种运动前景的光流矢量当中的30%作为测试集的负样本和正样本运用到训练好的网络模型中测试算法的性能。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的两种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (6)
1.基于改进逻辑回归分类的人群异常行为检测方法,其特征在于,具体步骤包括:
步骤1:采用基于混合高斯模型的背景差分法和对象跟踪的方法对输入图像提取正常行为人的运动前景和有异常行为人的运动前景;
步骤2:对步骤1中提取得到的两种运动前景采用Lucas-Kanada光流法提取正常行为人的U、V光流矢量和有异常行为人的U、V光流矢量;
步骤3:采用正弦变换学习率的方法替代固定学习率的方法对逻辑回归分类算法进行改进;
步骤4:将步骤2中计算得到的两种运动前景的U、V光流矢量当中的一部分分别作为负样本和正样本输入至改进的逻辑回归分类算法中进行训练,从而得到具有最佳超参数的网络模型;
步骤5:将步骤2中计算得到的两种运动前景的U、V光流矢量当中的剩余部分作为测试集运用到步骤4训练好的网络模型中测试算法的性能。
2.根据权利要求1所述的基于改进逻辑回归分类的人群异常行为检测方法,其特征在于,所述步骤1的具体步骤如下:
步骤1-1:在一帧图像中,对每个像素点(x,y)建立K个高斯模型,假设It(x,y)为t时刻该像素点的值,It(x,y)的混合高斯模型由K个高斯模型加权和表示,如式(1)所示:
其中,K为高斯模型的个数;ωi,t为t时刻第i个高斯模型的权值,K个高斯模型的权值总和为1;μi,t为t时刻第i个高斯模型的均值;∑i,t为t时刻第i个高斯模型的协方差矩阵;η(It(x,y),μi,t,∑i,t)是t时刻第i个高斯模型;
步骤1-2:将当前帧中像素值It(x,y)与其对应的K个高斯模型进行匹配,匹配公式如式(2)所示:
其中,μi,t和σi,t分别表示t时刻第i个高斯模型的均值和标准差,若It(x,y)与其对应的任意一个高斯模型满足式(2),则更新该像素对应的所有高斯模型的权值,并更新满足式(2)的高斯模型的均值和标准差;若It(x,y)与其对应的所有高斯模型都不满足式(2),则将其所有高斯模型中权值最小的模型用一个新的高斯模型取代,新的高斯模型以It(x,y)为均值,并初始化一个标准差和一个权值,剩余的高斯模型更新权值并保持原来的均值和标准差;
步骤1-3:按ωi,t/σi,t比值由大到小的顺序将每个像素的K个高斯模型排序,取排序序列中前B个高斯模型作为背景模型,B的计算公式如式(3)所示:
其余高斯模型为运动前景模型,再将像素值It(x,y)与背景模型进行匹配,若匹配,则该像素点为背景点,否则该像素点为前景点,即为运动目标;
步骤1-4:利用上述步骤可得到所有帧中全部人的运动前景,然后在原始帧中利用目标跟踪的方法获得有异常行为人的像素区域,在获得有异常行为人的像素区域的基础上,再利用上述步骤得到有异常行为人的运动前景,进而可得到正常行为人的运动前景。
3.根据权利要求1所述的基于改进逻辑回归分类的人群异常行为检测方法,其特征在于,所述步骤2的具体步骤如下:
其中,n为像素点个数;
步骤2-2:利用Lucas-Kanada光流算法得到前一帧图像像素点集合如式(5)所示:
步骤2-3:利用帧差法计算得到每个像素点的U、V光流矢量,根据式(6)得到第i帧图像第j个像素点的U光流矢量大小,其中,式(6)如下所示:
其中,f为帧率;
同理,根据式(7)得到第i帧图像第j个像素点的V光流矢量大小,其中,式(7)如下所示:
步骤2-4:在已提取得到两种运动前景的前提下,使用所有帧中全部像素点的U,V矢量大小计算两种运动前景的像素区域的平均U、V光流矢量大小。
5.根据权利要求1所述的基于改进逻辑回归分类的人群异常行为检测方法,其特征在于,所述步骤4的具体步骤如下:
步骤4-1:用人群行为检测数据集UCSD数据集中的图像作为验证步骤3得到的改进算法的数据集;
步骤4-2:把提取得到的两种运动前景的光流矢量当中的70%作为训练集的负样本和正样本运用到改进的逻辑回归分类算法中训练;
步骤4-3:采用网格搜索以及10折交叉验证的方式进行训练以得到具有最佳超参数的网络模型。
6.根据权利要求1所述的基于改进逻辑回归分类的人群异常行为检测方法,其特征在于,所述步骤5的具体步骤如下:把提取得到的两种运动前景的光流矢量当中的30%作为测试集的负样本和正样本运用到训练好的网络模型中测试算法的性能。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010174262.5A CN111401225B (zh) | 2020-03-13 | 2020-03-13 | 基于改进逻辑回归分类的人群异常行为检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010174262.5A CN111401225B (zh) | 2020-03-13 | 2020-03-13 | 基于改进逻辑回归分类的人群异常行为检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111401225A CN111401225A (zh) | 2020-07-10 |
CN111401225B true CN111401225B (zh) | 2022-08-30 |
Family
ID=71428737
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010174262.5A Active CN111401225B (zh) | 2020-03-13 | 2020-03-13 | 基于改进逻辑回归分类的人群异常行为检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111401225B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112381792B (zh) * | 2020-11-13 | 2023-05-23 | 中国人民解放军空军工程大学 | 基于深度学习的雷达吸波涂层/电磁屏蔽薄膜损伤的智能化成像在线检测方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103488993A (zh) * | 2013-09-22 | 2014-01-01 | 北京联合大学 | 一种基于fast的人群异常行为识别方法 |
CN105389567A (zh) * | 2015-11-16 | 2016-03-09 | 上海交通大学 | 基于稠密光流直方图的群体异常检测方法 |
CN106778595A (zh) * | 2016-12-12 | 2017-05-31 | 河北工业大学 | 基于高斯混合模型的人群中异常行为的检测方法 |
CN108596045A (zh) * | 2018-04-02 | 2018-09-28 | 四川大学 | 一种基于空中监控平台的群体异常行为检测方法 |
-
2020
- 2020-03-13 CN CN202010174262.5A patent/CN111401225B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103488993A (zh) * | 2013-09-22 | 2014-01-01 | 北京联合大学 | 一种基于fast的人群异常行为识别方法 |
CN105389567A (zh) * | 2015-11-16 | 2016-03-09 | 上海交通大学 | 基于稠密光流直方图的群体异常检测方法 |
CN106778595A (zh) * | 2016-12-12 | 2017-05-31 | 河北工业大学 | 基于高斯混合模型的人群中异常行为的检测方法 |
CN108596045A (zh) * | 2018-04-02 | 2018-09-28 | 四川大学 | 一种基于空中监控平台的群体异常行为检测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111401225A (zh) | 2020-07-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108133188B (zh) | 一种基于运动历史图像与卷积神经网络的行为识别方法 | |
WO2021155706A1 (zh) | 利用不平衡正负样本对业务预测模型训练的方法及装置 | |
CN114241282A (zh) | 一种基于知识蒸馏的边缘设备场景识别方法及装置 | |
CN110598598A (zh) | 基于有限样本集的双流卷积神经网络人体行为识别方法 | |
Zhang et al. | A multi-label waste detection model based on transfer learning | |
CN110781829A (zh) | 一种轻量级深度学习的智慧营业厅人脸识别方法 | |
CN112906485A (zh) | 基于改进的yolo模型的视障人士辅助障碍物感知方法 | |
CN108427740B (zh) | 一种基于深度度量学习的图像情感分类与检索算法 | |
CN104636755A (zh) | 一种基于深度学习的人脸美丽评价方法 | |
CN109214444B (zh) | 基于孪生神经网络和gmm的游戏防沉迷判定系统及方法 | |
CN111026898A (zh) | 一种基于交叉空间池化策略的弱监督图像情感分类与定位方法 | |
CN113436174A (zh) | 一种人脸质量评估模型的构建方法及应用 | |
CN111540203B (zh) | 基于Faster-RCNN调节绿灯通行时间的方法 | |
Ma et al. | Intelligent detection model based on a fully convolutional neural network for pavement cracks | |
CN114170627A (zh) | 基于改进的Faster RCNN的行人检测方法 | |
CN106204103A (zh) | 一种移动广告平台寻找相似用户的方法 | |
CN111401225B (zh) | 基于改进逻辑回归分类的人群异常行为检测方法 | |
Cheng | Real-time mask detection based on SSD-MobileNetV2 | |
CN111126155A (zh) | 一种基于语义约束生成对抗网络的行人再识别方法 | |
CN110458215A (zh) | 基于多时态注意力模型的行人属性识别方法 | |
CN109002808A (zh) | 一种人体行为识别方法及系统 | |
CN110826459B (zh) | 基于姿态估计的可迁移校园暴力行为视频识别方法 | |
CN112200260A (zh) | 一种基于丢弃损失函数的人物属性识别方法 | |
CN117079095A (zh) | 基于深度学习的高空抛物检测方法、系统、介质和设备 | |
WO2022227512A1 (zh) | 一种单阶段动态位姿识别方法、装置和终端设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |