CN109344720B - 一种基于自适应特征选择的情感状态检测方法 - Google Patents
一种基于自适应特征选择的情感状态检测方法 Download PDFInfo
- Publication number
- CN109344720B CN109344720B CN201811023852.7A CN201811023852A CN109344720B CN 109344720 B CN109344720 B CN 109344720B CN 201811023852 A CN201811023852 A CN 201811023852A CN 109344720 B CN109344720 B CN 109344720B
- Authority
- CN
- China
- Prior art keywords
- emotional state
- image
- detection
- detected
- state detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24133—Distances to prototypes
- G06F18/24137—Distances to cluster centroïds
- G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/211—Selection of the most significant subset of features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于自适应特征选择的情感状态检测方法,属于计算机视觉技术邻域。本发明基于自适应特征选择可以有效地约束特征之间的类内距离与类间距离,有效减少特征之间的冗余信息和噪声,提取的特征图具有一定的鲁棒性,能够区别较为相似的类别。相比传统的算法,该方案能够更有效地对室内场景下多人的情感状态进行检测,且具有更高的精度和实时性。本发明可用于识别老年人的情感状态,通过移动终端的摄像头实时捕捉室内场景下的视频和图像数据,再基于内嵌的处理方式,利用深度神经网络实时计算自适应特征,准确快速的识别老年人的情感状态。
Description
技术领域
本发明涉及计算机视觉领域,具体涉及一种基于自适应特征选择的情感状态检测方法。
背景技术
近年来,随着老年化问题日益严重,老年群体出现的空巢现象尤其突出,如何实时监测老年人的健康状态和情感状态,是确保老年人幸福晚年的关键。目前,对老年人健康状态和情感状态的监控,大多数可通过佩戴型设备,如智能手环、智能手机等。但这是一种被动的监控方式,难以在老年人需要提供服务时及时响应,如突发疾病、情绪低落等。因此迫切需要一种新型智能的基于图像视频的情感状态检测方法,能够快速有效检测老年人的异常状态。
在计算机视觉领域,有许多状态检测的方法,但是在大多数情况下,状态检测的实时性和精度难以达到要求。深度学习作为机器学习的一个新分支,在实时性和精确性上有了良好的改善。近年来,深度学习在许多领域表现出了良好的性能,如自动语音识别、自然语言处理和图像识别等领域。深度学习也已被广泛应用于图像分类、目标检测和语义分割。
随着深度学习卷积神经网络在目标检测和图像分类方面取得的巨大成功,越来越多的研究者开始着眼于将卷积神经网络特征应用于行为识别、状态检测中,当前基于卷积神经网络的状态检测方法主要利用卷积特征作为目标观测,并以此训练分类器进行状态检测。相比于传统的手动特征提取方法,卷积网络特征具有提取简单、特征丰富、通用性强等优点,但是由于卷积特征的维度是普通特征维度的几十乃至上百倍,一方面会降低分类器在线训练和更新速度,不利于算法的实时性,另外卷积神经网络不同层和同层的不同特征图对前景和背景有不同的响应,并且特征之间存在大量的冗余信息和噪声。
发明内容
本发明的发明目的在于:针对现有卷积神经网络特征带来的特征维度灾难、特征冗余性、鲁棒性低等技术问题,本发明提出一种基于卷积神经网络特征图之间距离的自适应聚类的特征选取方法,能够显著降低特征维度,并在不损失特征判别能力的情况下降低运算量,从而提高情感状态检测的精度和速度。
本发明的一种基于自适应特征选择的情感状态检测方法,包括下列步骤:
构建情感状态检测器步骤:
构建包括顺次连接的输入层、特征提取网络、全连接层和输出层的情感状态检测网络模型;
其中,输入层用于输入待检测人物图像;
特征提取网络用于提取待检测人物图像的特征图;
全连接层用于对特征图进行向量化处理,得到特征图的特征向量;
输出层用于计算归一化特征向量和不同情感状态类别的归一化权重之间的余弦角度,作为当前待检测人物图像对应不同情况状态类别的检测分值;
训练情感状态检测网络模型时,在全连接层后引入辅助损失层,用于计算辅助损失Ln,训练时最终的损失结果L=LAM+λLn,其中权值λ的取值范围为(0,1),其中LAM表示附近边界损失;通过对应的训练样本对情感状态检测网络模型的迭代训练,使得损失结果L的精度达到期望值时结束迭代训练,得到训练好的情感状态检测网络模型,作为情感状态检测器;
所述辅助损失其中,i为训练样本区分符,M表示训练时每次迭代输入训练样本的数量,j表示情感状态类别区分符,N表示总类别数目,xi表示第i个训练样本对应的特征向量,表示特征向量xi对应的情感状态的类别yi的类中心,cj表示第j类情感状态的类中心,margin表示允许的最小类间距离,α表示预设比例,取值范围为(0,1);
所述附近边界损失其中,参数s表示缩放因子,m表示允许的最小余弦角度,e表示自然底数,cosθi,k表示归一化特征向量和归一化权重之间的余弦角度,计算方式为:其中Wk表示第k类情感状态的权重;表示权重Wk与第i个训练样本对应的特征向量xi的内积;
图像预处理步骤:
对待处理的视频帧进行图像预处理,得到待检测图像;
人物区域检测步骤:
对待检测图像通过预设的人物检测器定位人物区域,得到当前帧的待检测图像的初始人物区域检测框,以及各框的检测置信度;
并对初始人物区域检测框进行非极大值抑制,得到最终的人物区域检测框,所述人物区域检测框对应的图像则为待检测人物图像;
情感状态检检测步骤:
对待检测人物图像通过情感状态检测器进行情感状态检测,输出属于不同类情感状态的检测分值,取最大检测分值对应的情感状态作为当前检测结果。
综上所述,由于采用了上述技术方案,本发明的有益效果是:
本发明所提出的基于自适应特征选择的情感状态检测方法能够有效提升状态检测的精度,该方法提出的基于自适应特征选择可以有效地约束特征之间的类内距离与类间距离,有效减少特征之间的冗余信息和噪声,提取的特征图具有一定的鲁棒性,能够区别较为相似的类别。相比传统的算法,该方案能够更有效地对室内场景下多人的情感状态进行检测,且具有更高的精度和实时性。
附图说明
图1:本发明情感状态检测网络结构图;
图2:具体实施例中,本发明情感状态检测流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面结合实施方式和附图,对本发明作进一步地详细描述。
本发明的基于自适应特征选择的情感状态检测方法,主要可以分为人物区域检测和情感状态检测两个部分,具体的步骤如下:
首先,对待处理的视频帧进行图像预处理,得到待检测图像;其中图像预处理包括图像均衡、颜色补偿、尺度归一化等;
然后对待检测图像通过人物检测器定位人物区域,获取当前视频帧的初始人物区域检测框(包括各框的检测置信度);并对初始人物区域检测框进行非极大值抑制,得到最终的人物区域检测框,所述人物区域检测框对应的图像则为待检测人物图像。
本具体实施方式中,以训练好的MobileNet-SSD检测网络模型作为任务检测器,结合低层图像细节信息与高层图像语意信息实现精确快速定位。对定位后特定人物的情感状态进行预测以消除由于卷积神经网络不同特征图对前景和背景响应不同的影响,亦可以同时预测多人的情感状态。
其中MobileNet-SSD网络具体可参考文献《Howard A G,Zhu M,Chen B,etal.MobileNets:Efficient Convolutional Neural Networks for Mobile VisionApplications[J].2017.》。
在进行非极大值抑制处理时,可采用常规的处理方式,也可以采用下述改进的处理方式:
步骤(1):对初始人物区域检测框按照置信度从高到低排序;
步骤(2):选取最高置信度所对应的初始人物区域检测框,记为框FT_H并保留(例如将框FT_H对应的初始人物区域检测框存入集合A(初始值为空集));
步骤(3)遍历所有非框FT_H,去除其中与保留的(集合A中)所有初始人物区域检测框的重叠面积的总和占待检测图像的全图面积的比例大于预设阈值(优选取值范围为:0.01~0.03)的初始人物区域检测框;
步骤(4)对未处理的初始人物区域检测框重复步骤(2)~(3),直到所有初始人物区域检测框均被处理,所述处理包括删除和保留(存入集合A)。
集合A所保留的初始人物区域检测框则为非极大值抑制后所得到的最终的人物区域检测框。
接着,构建情感状态检测器。
本发明的情感状态检测器网络结构包括输入层、特征提取网络、全连接层和输出层;
其中,特征提取网络通常采用度学习网络,即以深度学习网络为基础网络,通过该基础网络用于提取待检测人物图像的特征,得到特征图像;然后在所述特征提取网络后接一个全连接层,输出层为Softmax,本发明采用AM-Softmax(AM-Softmax,Additive MarginSoftmax)来输出待特征图像与各情感状态类别之间的检测分数,即各类归一化特征和归一化权重之间的余弦角度。
在训练时,为了达到显著降低特征维度,并在不损失特征判别能力的情况下降低运算量的目的,本发明引入辅助损失Ln,即训练时包括两个损失层:辅助损失层(用于计算辅助损失Ln)和附近边界损失层(用于计算附近边界损失LAM),再取两者的融合结果作为训练时的最终损失结果:L=LAM+λLn,其中权值λ的取值为经验值,取值范围为(0,1),如图1所示。
具体实施方式中,本发明采用的特征提取网络为BN-SE-Inception,具体可参考文献《HuJ,Shen L,Sun G.Squeeze-and-excitation networks[J].arXiv preprint arXiv:1709.01507,2017,7.》。在训练时,通过在全连接层后引入全新的辅助损失层,结合现有的AM-Softmax,约束特征之间的类内距离和类间距离,即让特征之间具有更小的类内距离,更大的类间距离,通过自适应特征选择方法提高情感状态检测精度。
本发明中,辅助损失Ln的具体计算公式如下:
其中,i为训练样本区分符,M表示训练时每次迭代输入训练样本(待检测人物图像)的数量,j表示情感状态类别区分符,即类别标签,N表示总类别数目,xi表示第i个训练样本对应的特征向量,表示特征向量xi对应的情感状态的类别yi的类中心,cj表示第j类情感状态的类中心,margin表示允许的最小类间距离,本具体实施方式中,优选的取值为5.0,α表示预设比例,取值范围为(0,1),本具体实施方式中,优选的取值为0.1。
通过该辅助损失Ln,希望每个样本的特征与对应类别的特征中心的平方距离越小越好,并且希望每个样本的特征与其他类别的特征中心的平方距离大于允许的类间距离。
附近边界损失LAM的具体计算公式如下:
其中,cosθi,k表示归一化特征向量和归一化权重之间的余弦角度,即Wk表示第k(k=1,2,…,N)类情感状态的权重;参数s表示缩放因子,本具体实施方式中,s的优选取值范围为(5,50),对应的优选取值为30.0;m表示允许的最小余弦角度,本具体实施方式中,优选的取值为0.35。
在训练情感状态检测器时,可运用随机梯度下降法训练网络,经过多次迭代之后获得最优网络,即损失结果L的精度达到期望值,通常考量最近两次迭代对应的损失结果L的变化不超过预设阈值,即当损失结果L几户不再变化时停止迭代。
在基于训练好的情感状态检测器对当前得到的待检测人物图像进行情感状态检测时,只需要计算归一化特征和归一化权重之间的余弦角度,即可得到对应的状态检测结果,即本发明用于实时检测的情感状态检测器的网络结构为输入层、特征提取网络、全连接层和输出层(AM-Softmax)。
至此,本发明的情感状态检测器可以自适应选择最佳特征进行情感状态检测。
实施例
将本发明的基于自适应特征选择的情感状态检测方法用于老年人的情感状态检测,所涉及到的情感状态包括:头晕、悲伤、快乐等。
首先将训练好的人物检测器、情感状态检测器内置于移动终端上;然后通过摄像头实时捕捉室内场景下的视频和图像数据,基于移动终端所内置的情感状态检测器计算自适应特征,准确快速的识别老年人的情感状态。参见图2,其具体执行步骤包括:
步骤一、从彩色摄像头捕获视频帧图像,对捕获的图像进行图像均衡、颜色补偿、尺度变换等预处理操作后,得到待检测图像;
步骤二、通过人物检测器对待检测图像进行人物区域检测,并对得到的初始人物区域检侧框进行非极大值抑制,得到最终的人物区域检测框,由人物区域检测框对应的图像得到待检测人物图像。
步骤三、将每个检测人物图像输入情感状态检测器,获得对应人物区域的特征图,通过角度度量的方式获得最终的情感状态类别。
步骤四、为了进一步精确确定特定人物所处的情感状态,输入连续的多帧(例如10帧)检测人物图像,通过步骤二、三检测每一帧图像人物区域和人物情感状态,将人物连续多帧的情感状态组成时序序列,若存在连续5帧的序列处于相同的情感状态,则判定用户处于对应的情感状态。
以上所述,仅为本发明的具体实施方式,本说明书中所公开的任一特征,除非特别叙述,均可被其他等效或具有类似目的的替代特征加以替换;所公开的所有特征、或所有方法或过程中的步骤,除了互相排斥的特征和/或步骤以外,均可以任何方式组合。
Claims (7)
1.一种基于自适应特征选择的情感状态检测方法,其特征在于,包括下列步骤:
构建情感状态检测器步骤:
构建包括顺次连接的输入层、特征提取网络、全连接层和输出层的情感状态检测网络模型;
其中,输入层用于输入待检测人物图像;
特征提取网络用于提取待检测人物图像的特征图;
全连接层用于对特征图进行向量化处理,得到特征图的特征向量;
输出层用于计算归一化特征向量和不同情感状态类别的归一化权重之间的余弦角度,作为当前待检测人物图像对应不同情况状态类别的检测分值;
训练情感状态检测网络模型时,在全连接层后引入辅助损失层,用于计算辅助损失Ln,训练时最终的损失结果L=LAM+λLn,其中权值λ的取值范围为(0,1),其中LAM表示附近边界损失;通过对应的训练样本对情感状态检测网络模型的迭代训练,使得损失结果L的精度达到期望值时结束迭代训练,得到训练好的情感状态检测网络模型,作为情感状态检测器;
所述辅助损失其中,i为训练样本区分符,M表示训练时每次迭代输入训练样本的数量,j表示情感状态类别区分符,N表示总类别数目,xi表示第i个训练样本对应的特征向量,表示特征向量xi对应的情感状态的类别yi的类中心,cj表示第j类情感状态的类中心,margin表示允许的最小类间距离,α表示预设比例,取值范围为(0,1);
所述附近边界损失其中,参数s表示缩放因子,m表示允许的最小余弦角度,e表示自然底数,cosθi,k表示归一化特征向量和归一化权重之间的余弦角度,计算方式为:其中Wk表示第k类情感状态的权重,符号(·)T表示转置;
图像预处理步骤:
对待处理的视频帧进行图像预处理,得到待检测图像;
人物区域检测步骤:
对待检测图像通过预设的人物检测器定位人物区域,得到当前帧的待检测图像的初始人物区域检测框,以及各框的检测置信度;
并对初始人物区域检测框进行非极大值抑制,得到最终的人物区域检测框,所述人物区域检测框对应的图像则为待检测人物图像;
情感状态检测步骤:
对待检测人物图像通过情感状态检测器进行情感状态检测,输出属于不同类情感状态的检测分值,取最大检测分值对应的情感状态作为当前检测结果。
2.如权利要求1所述的方法,其特征在于,人物区域检测步骤中,采用的非极大值抑制处理具体为:
步骤(1):对初始人物区域检测框按照置信度从高到低排序;
步骤(2):选取最高置信度所对应的初始人物区域检测框,记为框FT_H并保留;
步骤(3)遍历所有非框FT_H,去除其中与保留的所有初始人物区域检测框的重叠面积的总和占待检测图像的全图面积的比例大于预设阈值的初始人物区域检测框,其中,预设阈值的取值范围为:0.01~0.03;
步骤(4)对未处理的初始人物区域检测框重复步骤(2)~(3),直到所有初始人物区域检测框均被处理,所述处理包括删除和保留。
3.如权利要求1或2所述的方法,其特征在于,情感状态检测步骤中,参数margin的取值为5.0。
4.如权利要求1或2所述的方法,其特征在于,情感状态检测步骤中,参数α的取值为0.1。
5.如权利要求1或2所述的方法,其特征在于,情感状态检测步骤中,缩放因子s的取值范围为(5,50)。
6.如权利要求5所述的方法,其特征在于,情感状态检测步骤中,缩放因子s的取值为30.0。
7.如权利要求1或2所述的方法,其特征在于,情感状态检测步骤中,允许的最小余弦角度m的取值为0.35。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811023852.7A CN109344720B (zh) | 2018-09-04 | 2018-09-04 | 一种基于自适应特征选择的情感状态检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811023852.7A CN109344720B (zh) | 2018-09-04 | 2018-09-04 | 一种基于自适应特征选择的情感状态检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109344720A CN109344720A (zh) | 2019-02-15 |
CN109344720B true CN109344720B (zh) | 2022-03-15 |
Family
ID=65292345
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811023852.7A Active CN109344720B (zh) | 2018-09-04 | 2018-09-04 | 一种基于自适应特征选择的情感状态检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109344720B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110263215B (zh) * | 2019-05-09 | 2021-08-17 | 众安信息技术服务有限公司 | 一种视频情感定位方法及系统 |
CN111488813B (zh) * | 2020-04-02 | 2023-09-08 | 咪咕文化科技有限公司 | 视频的情感标注方法、装置、电子设备及存储介质 |
CN111914761A (zh) * | 2020-08-04 | 2020-11-10 | 南京华图信息技术有限公司 | 一种热红外人脸识别的方法及系统 |
CN114385256B (zh) * | 2020-10-22 | 2024-06-11 | 华为云计算技术有限公司 | 系统参数的配置方法和配置装置 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20120064563A (ko) * | 2010-12-09 | 2012-06-19 | 한국전자통신연구원 | 이질적 정보를 이용하여 가상 휴먼의 표정을 제어하기 위한 장치 및 그 방법 |
CN106803069B (zh) * | 2016-12-29 | 2021-02-09 | 南京邮电大学 | 基于深度学习的人群高兴程度识别方法 |
CN106919903B (zh) * | 2017-01-19 | 2019-12-17 | 中国科学院软件研究所 | 一种鲁棒的基于深度学习的连续情绪跟踪方法 |
CN107273876B (zh) * | 2017-07-18 | 2019-09-10 | 山东大学 | 一种基于深度学习的‘宏to微转换模型’的微表情自动识别方法 |
-
2018
- 2018-09-04 CN CN201811023852.7A patent/CN109344720B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN109344720A (zh) | 2019-02-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11195051B2 (en) | Method for person re-identification based on deep model with multi-loss fusion training strategy | |
CN108615010B (zh) | 基于平行卷积神经网络特征图融合的人脸表情识别方法 | |
US11809485B2 (en) | Method for retrieving footprint images | |
CN109344720B (zh) | 一种基于自适应特征选择的情感状态检测方法 | |
CN113378632B (zh) | 一种基于伪标签优化的无监督域适应行人重识别方法 | |
CN107609525B (zh) | 基于剪枝策略构建卷积神经网络的遥感图像目标检测方法 | |
CN109063666A (zh) | 基于深度可分离卷积的轻量化人脸识别方法及系统 | |
CN111523462B (zh) | 基于自注意增强cnn的视频序列表情识别系统及方法 | |
CN107909027B (zh) | 一种具有遮挡处理的快速人体目标检测方法 | |
US11263435B2 (en) | Method for recognizing face from monitoring video data | |
CN109558810B (zh) | 基于部位分割与融合目标人物识别方法 | |
CN110659665B (zh) | 一种异维特征的模型构建方法及图像识别方法、装置 | |
CN109784197B (zh) | 基于孔洞卷积与注意力学习机制的行人再识别方法 | |
CN111178208A (zh) | 基于深度学习的行人检测方法、装置及介质 | |
CN105956570B (zh) | 基于唇部特征和深度学习的笑脸识别方法 | |
CN110222636B (zh) | 基于背景抑制的行人属性识别方法 | |
CN110880010A (zh) | 基于卷积神经网络的视觉slam闭环检测算法 | |
CN110147833A (zh) | 人像处理方法、装置、系统和可读存储介质 | |
CN109033321B (zh) | 一种图像与自然语言特征提取及基于关键词的语言指示图像分割方法 | |
CN110991554B (zh) | 一种基于改进pca的深度网络图像分类方法 | |
CN110580510A (zh) | 一种聚类结果评价方法和系统 | |
CN111666845A (zh) | 基于关键帧采样的小样本深度学习多模态手语识别方法 | |
CN111126155B (zh) | 一种基于语义约束生成对抗网络的行人再识别方法 | |
CN112560787A (zh) | 一种行人重识别匹配边界阈值设置方法、装置及相关组件 | |
CN111860368A (zh) | 一种行人重识别方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |