CN114187638A - 一种基于空间分布损失函数的真实环境下的人脸表情识别方法 - Google Patents

一种基于空间分布损失函数的真实环境下的人脸表情识别方法 Download PDF

Info

Publication number
CN114187638A
CN114187638A CN202111522270.5A CN202111522270A CN114187638A CN 114187638 A CN114187638 A CN 114187638A CN 202111522270 A CN202111522270 A CN 202111522270A CN 114187638 A CN114187638 A CN 114187638A
Authority
CN
China
Prior art keywords
facial expression
loss function
expression recognition
attention mechanism
convolutional neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111522270.5A
Other languages
English (en)
Inventor
文武
董玉晖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Post and Telecommunications
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN202111522270.5A priority Critical patent/CN114187638A/zh
Publication of CN114187638A publication Critical patent/CN114187638A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于空间分布损失函数的真实环境下的人脸表情识别方法，涉及计算机视觉领域，本发明的技术方案1)将人脸表情数据集的图像进行预处理；2)设计高效注意力机制的卷积神经网络；3)在高效注意力机制网络学习过程中部署联合损失函数进行监督学习；4)将人脸表情数据集分为训练集、验证集以及测试集；对上文设计的卷积神经网络进行预训练；5)利用人脸表情数据集对训练模型进行参数微调，得到最终的人脸表情识别模型；6)使用最终的人脸表情识别模型进行人脸表情识别。经过训练后得到人脸表情识别模型，实现对待分类表情图像的有效分类。

Description

一种基于空间分布损失函数的真实环境下的人脸表情识别 方法
技术领域
本发明涉及一种基于空间分布损失函数的真实环境下的人脸表情识别 方法，主要涉及计算机视觉领域。
背景技术
人脸表情是人类表达情感最直观，最有效的手段，表情也是人类非语 言的最重要的情感表达方式。所以为实现真正的人机交互的目的，在过去 十几年间，人脸表情识别技术受到学者的广泛关注和研究。目前，大部分 人脸表情识别相关的研究大多是集中在基本情感的识别，例如愤怒，厌恶， 惊讶，恐惧，悲伤，高兴，中立。而随着人脸识别技术的不断发展，该技 术也已经应用到多个领域，如教学评估，医疗康复，游戏娱乐，交通安全 等。虽然人脸表情识别技术已经拥有巨大的应用价值，但其研究仍然存在 巨大挑战，例如头部多姿态，背景光照不均，个体表情的个性化表达，面 部存在局部遮挡等。目前的人脸表情识别仍然处于只有在用于实验室环境 下光照单一、头部姿态正向以及面部无遮挡时才会有好的识别效果，如果 将这些模型应用于自然环境下的表情识别任务中则难以实现好的效果。
人脸表情识别的过程可以分为两个阶段：表情特征的提取和表示；以 及表情分类。在第一阶段，根据特征提取方式的不同将其分为两类：手工 视觉特征；以及学习型特征。常用手工视觉特征又可分为基于纹理的手工 特征，基于几何特性的手工特征，以及混合特征。
近些年来，随着计算机技术的发展，卷积神经网络已经广泛应用于人 脸表情识别的算法模型中，主要用于提取表情特征。
卷积神经网络是一种自动提取深度特征的较为突出的深度学习技术， 其在人脸表情识别中的应用效果显著优于传统方法。对于任何具有固定类 别集的视觉识别系统，其输入空间都可以被映射成具有输入图片语义信息 的高维特征向量。基于深度卷积神经网络来提取空间特征的方法就是通过 从较低层次到较高层次的组合特征来获取输入图像的抽象语义。然后池化 层将空间特征转换为单个深度特征向量。最后使用Softmax损失函数评估 所有类别的概率分布。因此，可以通过建立一个具有更好鉴别表情特征的 嵌入空间来提升人脸表情识别算法的性能。但自然环境下的人脸表情识别 应用需要在无约束环境中获取大量带注释的图像，即野生人脸表情数据集。 因此，野生环境中的人脸表情图像往往表现出显著的类内变化性和类间相 似性。这表现在样本的嵌入空间中会呈现类间距离小，类内距离大。该现 象严重影响人脸表情识别的分类效果。。
发明内容
针对以上现有技术的不足，本发明提出一种基于空间分布损失函数的 真实环境下的人脸表情识别方法，可以。
为达到上述目的，本发明的技术方案是：其特征在于，
1)将人脸表情数据集的图像进行预处理；
2)设计高效注意力机制的卷积神经网络；
3)在高效注意力机制网络学习过程中部署联合损失函数进行监督学习， 该损失函数由Softmaxloss、centerloss以及SDloss组，其公式如下：
L＝Ls+λLc+γLSD
其中λ＝3，γ＝5；
4)将人脸表情数据集分为训练集、验证集以及测试集；对上文设计的 卷积神经网络进行预训练；
5)利用人脸表情数据集对训练模型进行参数微调，得到最终的人脸表 情识别模型；
6)使用最终的人脸表情识别模型进行人脸表情识别。
根据权利要求1所述的一种基于空间分布损失函数的真实环境下的人 脸表情识别方法，其特征在于：在步骤2)中，所设计高效注意力机制卷积 神经网络的具体过程为：
(1)该网络利用ResNet-18作为骨干网络，将注意力机制模块嵌入 ResNet-18的每一个BasicBlock中；
(2)注意力机制模块利用卷积神经网络生成的特征图以生成注意力图； 再利用注意力图在卷积神经网络生成的特征图重生成对人脸表情识别具有 显著性影响的特征图。
优选地，注意力机制模块采用ECA-Net，其详细过程为：
ECA-Net首先对输入的特征图使用全局平均池化，将特征从二维矩阵 压缩与提取到单个数值，然后在不降低维度的情况下通过执行大小为K的 快速一维卷积来生成通道权重，获取各个通道之间的相关依赖关系，最后 将生成的各个权重通过乘法加权到原来的输入特征图上，将通过ECA-Net 提取的特征与原本的特征的加权完成在通道空间的特征在标定；
ECA-Net通过K近邻进行局部性交互，有效减少了跨所有通道进行 交互的计算量和复杂度，通过大小为K的一维卷积来为每个特征通道生成 权重，获取特征通道之间的相关性，即：
ω＝σ(Conv1Dk(y))
公式中的conv1D表示一维卷积，K决定了跨通道局部交互的覆盖范围， 由于通道维数C大小与k成正比，得到其指数函数对应关系：
C＝φ(k)＝2γ*k-b
因此，在本文给定通道维C的情况下，通过如下函数关系自适应确定 参数K的大小：
Figure BDA0003408111490000031
式中odd为最近的奇数t；并且这里将γ和b分别设为2和1；映射 函数ψ为通道维数越大则k越大，跨通道局部交互的范围也就越大。
优选地，在步骤3)中，部署在高效注意力机制网络中的联合损失函数 的具体的含义：
Figure BDA0003408111490000041
Figure BDA0003408111490000042
Figure BDA0003408111490000043
L＝Ls+λLc+γLSD
其中Ls为Softmax损失，Lc为中心损失，LSD为新提出的空间分布损失。
优选地，在步骤3)中，本发明使用的人脸表情数据集为RAD-DB和 AffectNet数据。
该方法利用高效注意力网络提取表情的细微特征和深层特征。利用新 提出的空间分布损失函数将高维特征空间中的拉近同类间的距离，推离异 类间的距离，以实现更利于分类的空间分布。然后使用分类器计算其概率 分布，取概率最大的类别作为该图像的预测值。经过训练后得到人脸表情 识别模型，实现对待分类表情图像的有效分类。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对 实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中 的附图仅仅是本发明的其中两幅，对于本领域普通技术人员来讲，在不付 出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例的总体框架图；
图2为本发明实施例的ECA_Net框架图。
具体实施方式
下面将结合附图，对本发明中的技术方案进行清楚、完整地描述，显 然，所描述的实施例仅仅是本发明的较佳实施例，而不是全部的实施例。 基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提 下所获得的所有其他实施例，都属于本发明保护的范围。
实施例
如图1所示，本发明实施例包括以下几个步骤：
1)将人脸表情数据集的图像进行预处理；
2)设计高效注意力机制的卷积神经网络。将注意力机制模块ECA-Net 嵌入ResNet-18中的每一个BasicBlock中。注意力机制模块利用卷积神经 网络生成的特征图以生成注意力图。再利用注意力图在卷积神经网络生成 的特征图重生成对人脸表情识别具有显著性影响的特征图。其结构图如图 1所示。
3)在高效注意力机制网络学习过程中部署联合损失函数进行监督学习， 该损失函数由softmaxloss、centerloss以及SDloss组成。其公式如下：
L＝Ls+λLc+γLD
4)将人脸表情数据集分为训练集、验证集以及测试集。对上文设计的 卷积神经网络进行预训练。
5)利用人脸表情数据集对训练模型进行参数微调，得到最终的人脸表 情识别模型。
6)使用最终的人脸表情识别模型进行人脸表情识别。
在步骤2)中，所设计高效注意力机制网络的具体过程为：
(1)该网络利用ResNet-18作为骨干网络，将注意力机制模块嵌入 ResNet-18的每一个BasicBlock中。
(2)注意力机制模块利用卷积神经网络生成的特征图以生成注意力图。 再利用注意力图在卷积神经网络生成的特征图重生成对人脸表情识别具有 显著性影响的特征图。注意力机制模块采用ECA-Net，其详细过程为：
ECA-Net首先对输入的特征图使用全局平均池化，将特征从二维矩阵 压缩与提取到单个数值，然后在不降低维度的情况下通过执行大小为K的 快速一维卷积来生成通道权重，获取各个通道之间的相关依赖关系，最后 将生成的各个权重通过乘法加权到原来的输入特征图上，将通过ECA-Net 提取的特征与原本的特征的加权完成在通道空间的特征在标定。
ECA-Net通过K近邻进行局部性交互，有效减少了跨所有通道进行 交互的计算量和复杂度，通过大小为K的一维卷积来为每个特征通道生成 权重，获取特征通道之间的相关性，即
ω＝σ(Conv1Dk(y))
公式中的conv1D表示一维卷积，K决定了跨通道局部交互的覆盖范围， 由于通道维数C大小与k成正比，得到其指数函数对应关系
C＝φ(k)＝2γ*k-b
因此，在本文给定通道维C的情况下，通过如下函数关系自适应确定 参数K的大小
Figure BDA0003408111490000061
式中odd为最近的奇数t。并且这里将γ和b分别设为2和1。映射 函数ψ为通道维数越大则k越大，跨通道局部交互的范围也就越大。
在步骤3)中，部署在高效注意力机制网络中的联合损失函数的具体的 含义：
假设给定一个训练批次(mini-batch)，其包含m个训练样本，Y为训 练样本的标签。特征图x为卷积神经网络的输出。
深度卷积神经网络通常使用Softmax进行监督多分类任务的训练过程， Softmax可以有效的使不同类别的深度特征分离。Softmax在全连接层后 使用。将最后一层全连接层得到的结果转换成概率值。
zi＝WTxi+B
其中W＝[w1，w2，...WK]∈Rd×K，B＝[b1，b2，...，bK]∈RK×1，是最后一 层全连接层的类别权重和偏差参数。
此概率分布P(y＝j|xi)是由所有的类别通过softmax函数计算得到的。
最后，交叉熵损失函数计算预测值和真实标签yi之间的差异，以形成 如下Softmax损失函数Ls：
Figure BDA0003408111490000071
Figure BDA0003408111490000072
Figure BDA0003408111490000073
深度特征学习的研究者提出中心损失函数(centerloss)。中心损失函数(centerloss)是深度度量学习提出的一个典型方法，其是通过计算样本深度 特征与其相同类的类中的相似度，此相似度使用欧氏距离衡量。中心损失 函数最小化深度特征与其对应类中心之间的欧式距离来监督训练过程。其 目的是将嵌入空间划分为K个簇，以解决K分类问题。假设给定一个含有 M个样本的训练批次，第i个样本的深度特征向量表示为xi＝[xi1,xi2,...,xid]T∈Rd，各类别的标签为y＝{1,...,K}和其类中心cyi＝ [cyi1,cyi2,...,cyid]T∈Rd。中心损失函数可以表示为以下函数
Figure RE-GDA0003504587370000073
中心损失函数只考虑样本的深度特征与同类别的样本深度特征的距离， 忽略样本的深度特征与异类别样本深度特征的距离。并且野生数据集呈现 样本分布极度不平衡的现象。在训练模型上部署中心损失函数会造成小样 本重叠的现象，造成人脸表情识别性能的下降。所以在此基础上，本文即 兼顾样本深度特征的同类别距离和异类别距离以及样本分布极度不平衡问 题，提出新的空间分布损失函数。
在该式中，m为一个样本批次的样本总数，xi为经过卷积神经网络输 出的高维样本特征。
Figure BDA0003408111490000075
此处的ai为样本经过卷积神经网络后的高维特征，api表与ai具有相同 的标签的样本高维特征。aqj表示与ai不同类别的样本高维特征。在人脸表 情识别模型中，会同时使用三种损失函数，具体如下：
L＝Ls+λLc+γLSD
Centerloss在计算样本深度特征与其类中心距离时，类中心的选取是 随机的，而本文新提出的损失函数是设置T个类中心，并取样本深度特征 到T个同类中心的平均作为同类别距离。有效避免因随机选取的类中心不 当而造成的误差。
在步骤3)中，本发明使用的人脸表情数据集为RAD-DB和AffectNet 数据。
RAD-DB数据集包含大约30000张从互联网上下载的人脸表情图像， 该数据集包含两个部分单标签子集(基本表情)和双标签子集(复合表情)。 本文使用具有七个基本表情类别的单标签子集。该子集的训练集包含 12271张图像，测试集包含3068张图像。
AffectNet数据集是最大的公开可用的野生FER数据集，有450000张 从互联网上获取的面部图像，并用分类表情和维度影响(效价和觉醒)进 行手动注释。在我们的实验中，我们使用了280000张训练图像和3500张 图像验证集由六个基本表情和中性的表情。
将RAD-DB数据集作为高效注意力网络的输入数据，并使用联合损 失函数对高效注意力机制网络进行监督训练。
L＝Ls+λLc+γLSD其中λ＝3，γ＝5
使用训练好的算法模型将待分类的人脸表情进行分类，将其分为愤怒， 厌恶，惊讶，恐惧，悲伤，高兴，中立中的一类。
该方法利用高效注意力网络提取表情的细微特征和深层特征。利用新 提出的空间分布损失函数将高维特征空间中的拉近同类间的距离，推离异 类间的距离，以实现更利于分类的空间分布。然后使用分类器计算其概率 分布，取概率最大的类别作为该图像的预测值。经过训练后得到人脸表情 识别模型，实现对待分类表情图像的有效分类。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在 本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包 含在本发明的保护范围之内。

Claims (5)

1.一种基于空间分布损失函数的真实环境下的人脸表情识别方法，其特征在于，
1)将人脸表情数据集的图像进行预处理；
2)设计高效注意力机制的卷积神经网络；
3)在高效注意力机制网络学习过程中部署联合损失函数进行监督学习，该损失函数由Softmaxloss、centerloss以及SDloss组，其公式如下：
L＝Ls+λLc+γLSD
其中λ＝3，γ＝5；
4)将人脸表情数据集分为训练集、验证集以及测试集；对上文设计的卷积神经网络进行预训练；
5)利用人脸表情数据集对训练模型进行参数微调，得到最终的人脸表情识别模型；
6)使用最终的人脸表情识别模型进行人脸表情识别。
2.根据权利要求1所述的一种基于空间分布损失函数的真实环境下的人脸表情识别方法，其特征在于：在步骤2)中，所设计高效注意力机制卷积神经网络的具体过程为：
(1)该网络利用ResNet-18作为骨干网络，将注意力机制模块嵌入ResNet-18的每一个BasicBlock中；
(2)注意力机制模块利用卷积神经网络生成的特征图以生成注意力图；再利用注意力图在卷积神经网络生成的特征图重生成对人脸表情识别具有显著性影响的特征图。
3.根据权利要求2所述的一种基于空间分布损失函数的真实环境下的人脸表情识别方法，其特征在于：注意力机制模块采用ECA-Net，其详细过程为：
ECA-Net首先对输入的特征图使用全局平均池化，将特征从二维矩阵压缩与提取到单个数值，然后在不降低维度的情况下通过执行大小为K的快速一维卷积来生成通道权重，获取各个通道之间的相关依赖关系，最后将生成的各个权重通过乘法加权到原来的输入特征图上，将通过ECA-Net提取的特征与原本的特征的加权完成在通道空间的特征在标定；
ECA-Net通过K近邻进行局部性交互，有效减少了跨所有通道进行交互的计算量和复杂度，通过大小为K的一维卷积来为每个特征通道生成权重，获取特征通道之间的相关性，即：
ω＝σ(Conv1Dk(y))
公式中的conv1D表示一维卷积,K决定了跨通道局部交互的覆盖范围，由于通道维数C大小与k成正比，得到其指数函数对应关系：
C＝φ(k)＝2γ*k-b
因此，在本文给定通道维C的情况下，通过如下函数关系自适应确定参数K的大小：
Figure FDA0003408111480000021
式中odd为最近的奇数t；并且这里将γ和b分别设为2和1；映射函数ψ为通道维数越大则k越大，跨通道局部交互的范围也就越大。
4.根据权利要求1所述的一种基于空间分布损失函数的真实环境下的人脸表情识别方法，其特征在于：在步骤3)中，部署在高效注意力机制网络中的联合损失函数的具体的含义：
Figure FDA0003408111480000022
Figure FDA0003408111480000023
Figure FDA0003408111480000024
L＝Ls+λLc+λLSD
其中Ls为Softmax损失，Lc为中心损失，LSD为新提出的空间分布损失。
5.根据权利要求1所述的一种基于空间分布损失函数的真实环境下的人脸表情识别方法，其特征在于：在步骤3)中，本发明使用的人脸表情数据集为RAD-DB和AffectNet数据。
CN202111522270.5A 2021-12-13 2021-12-13 一种基于空间分布损失函数的真实环境下的人脸表情识别方法 Pending CN114187638A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111522270.5A CN114187638A (zh) 2021-12-13 2021-12-13 一种基于空间分布损失函数的真实环境下的人脸表情识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111522270.5A CN114187638A (zh) 2021-12-13 2021-12-13 一种基于空间分布损失函数的真实环境下的人脸表情识别方法

Publications (1)

Publication Number Publication Date
CN114187638A true CN114187638A (zh) 2022-03-15

Family

ID=80604830

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111522270.5A Pending CN114187638A (zh) 2021-12-13 2021-12-13 一种基于空间分布损失函数的真实环境下的人脸表情识别方法

Country Status (1)

Country Link
CN (1) CN114187638A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114973357A (zh) * 2022-05-07 2022-08-30 湖南大学 一种基于双标签学习的人脸表情识别方法
CN115429284A (zh) * 2022-09-16 2022-12-06 山东科技大学 心电信号分类方法、系统、计算机设备以及可读存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114973357A (zh) * 2022-05-07 2022-08-30 湖南大学 一种基于双标签学习的人脸表情识别方法
CN114973357B (zh) * 2022-05-07 2024-07-09 湖南大学 一种基于双标签学习的人脸表情识别方法
CN115429284A (zh) * 2022-09-16 2022-12-06 山东科技大学 心电信号分类方法、系统、计算机设备以及可读存储介质
CN115429284B (zh) * 2022-09-16 2024-05-03 山东科技大学 心电信号分类方法、系统、计算机设备以及可读存储介质

Similar Documents

Publication Publication Date Title
CN103605972B (zh) 一种基于分块深度神经网络的非限制环境人脸验证方法
CN111639544B (zh) 基于多分支跨连接卷积神经网络的表情识别方法
Wang et al. A comparative study of encoding, pooling and normalization methods for action recognition
Thai et al. Image classification using support vector machine and artificial neural network
CN105469096B (zh) 一种基于哈希二值编码的特征袋图像检索方法
Xiang et al. Fabric image retrieval system using hierarchical search based on deep convolutional neural network
CN102938065B (zh) 基于大规模图像数据的人脸特征提取方法及人脸识别方法
CN107766850A (zh) 基于结合人脸属性信息的人脸识别方法
CN112528928B (zh) 一种基于自注意力深度网络的商品识别方法
CN102156871B (zh) 基于类别相关的码本和分类器投票策略的图像分类方法
Peng et al. Towards facial expression recognition in the wild: A new database and deep recognition system
CN111046900A (zh) 基于局部流形正则化的半监督生成对抗网络图像分类方法
CN110175248B (zh) 一种基于深度学习和哈希编码的人脸图像检索方法和装置
CN108960288B (zh) 基于卷积神经网络的三维模型分类方法及系统
Chanti et al. Improving bag-of-visual-words towards effective facial expressive image classification
CN105718889A (zh) 基于GB(2D)2PCANet深度卷积模型的人脸身份识别方法
CN105205449A (zh) 基于深度学习的手语识别方法
CN114187638A (zh) 一种基于空间分布损失函数的真实环境下的人脸表情识别方法
CN108154156B (zh) 基于神经主题模型的图像集成分类方法及装置
CN103065158A (zh) 基于相对梯度的isa模型的行为识别方法
CN109325507A (zh) 一种结合超像素显著性特征与hog特征的图像分类算法和系统
CN109815920A (zh) 基于卷积神经网络和对抗卷积神经网络的手势识别方法
CN109165698A (zh) 一种面向智慧交通的图像分类识别方法及其存储介质
CN110363156A (zh) 一种姿态无关的面部动作单元识别方法
CN116110089A (zh) 一种基于深度自适应度量学习的面部表情识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination