CN107895144A - 一种手指静脉图像防伪鉴别方法及装置 - Google Patents
一种手指静脉图像防伪鉴别方法及装置 Download PDFInfo
- Publication number
- CN107895144A CN107895144A CN201711023496.4A CN201711023496A CN107895144A CN 107895144 A CN107895144 A CN 107895144A CN 201711023496 A CN201711023496 A CN 201711023496A CN 107895144 A CN107895144 A CN 107895144A
- Authority
- CN
- China
- Prior art keywords
- mrow
- image
- models
- finger
- false
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/14—Vascular patterns
Abstract
本发明提供一种手指静脉图像防伪鉴别方法及系统，该方法包括以下步骤：S1：采集手指静脉图像以及对采集的图像进行真假标注；S2：将标注的真假图像分为训练集、验证集以及测试集，所述训练集中的图像是将标注后的图像进行分块操作后所得；S3：DBN模型的构建及训练；S4：BP模型的构建及训练；S5：提取BP模型中所有隐含层的特征；S6：将提取的所有隐含层的特征作为输入图像的多层次特征向量输入SVM模型进行训练，并确定SVM参数；S7：幅将每幅图像所有块的真假分数进行融合来计算全局分数，通过全局分数来判断手指静脉图像的真假。本发明能够有效提升手指静脉图像防伪鉴别的精度，改善认证系统的安全性能。
Description
技术领域
本发明涉及生物特征识别技术领域，特别是涉及一种手指静脉图像防伪鉴别方法及装置。
背景技术
随着互联网技术广泛应用和恐怖活动的日益猖獗，如何有效鉴别身份以保护个人和财产安全成为急需解决的问题。与传统的认证方式如钥匙和密码相比，基于生理和行为的生物特征很难被盗取、复制和丢失。因此，生物认证技术已经被广泛研究并成功地应用到个人身份认证中。目前用于身份认证的生物特征主要分为两种：(1)外部特征：人脸、指纹和虹膜。(2)内部特征：手指静脉、手掌静脉和手背静脉。与外部生物特征相比，内在的生物特征位于手指的表皮下使其很难被盗取和伪造，因此它们具有更高的安全性能。
随着手指静脉特征的推广应用，手指静脉生物识别系统的脆弱性也相应表现出来。即使手指静脉图案用肉眼看不见，并且不存在潜在的风险，但是存储在系统中的手指静脉模板被盗时，则可以直接攻击手指静脉生物认证系统。有研究表明生物特征研究人员使用印刷图像成功地攻击了手指静脉识别传感器。因此，对于手指静脉防伪鉴别应予以极大重视。目前已有不少手指静脉防伪鉴别算法，比如二值化统计图像特征(BSIF)，雷斯变换(RT)，局部二进制模式(LBP)，局部相位量化(LPQ)，PAD算法，但它们对手指静脉图像防伪鉴别的精度都比较低。
发明内容
本发明的目的在于解决上述现有技术存在的缺陷，提供一种鉴别精度较高的手指静脉图像防伪鉴别方法及装置。
一种手指静脉图像防伪鉴别方法，包括以下步骤：
S1：采集手指静脉图像以及对采集的图像进行真假标注；
S2：利用标注的图像分别建立训练集、验证集以及测试集，所述训练集中的图像是将标注的图像进行分块操作后得到的；所述训练集用来训练DBN模型、BP模型和SVM，验证集用于DBN模型、BP模型和SVM的参数的选择，测试集用于检验手指静脉防伪鉴别模型的性能；
S3：DBN模型的构建及训练，用训练集和验证集构建该模型，并寻找该模型权重和偏置的最优解，以所述权重和偏置的最优解建立最终的DBN模型；
S4：BP模型的构建及训练，将带标签的训练集输入BP模型，利用所述DBN的权重和偏置的最优解对BP模型进行初始化，最终通过训练集和验证集寻找BP模型的最佳滤波器和偏移，以所述最佳滤波器和偏移建立最终的BP模型；
S5：将训练集和验证集依次输入最终的BP模型进行特征提取，提取所述最终的BP模型中所有隐含层的特征；
S6：将提取的所有隐含层的特征作为输入图像的多层次特征向量输入SVM模型对其进行训练，并确定SVM参数；
S7：将测试集中的每幅图像分为与训练集中分块后的图像尺寸大小相同的小块，将测试集中每幅图像分成的小块一一输入最终的BP模型和SVM进行真假分数的计算；将每幅图像所有小块的真假分数进行融合得到全局分数，来判断手指静脉图像的真假；
所述DBN模型与BP模型具有相同数量的隐含层。
进一步地，如上所述的手指静脉图像防伪鉴别方法，所述分块操作的方法为：首先选择一个窗口，其行数与图像的行数相同，列数小于图像的列数，然后，使该窗口沿着列方向在图像上滑动，并截取窗口经过每一位置时的图像块，按照该方法，一幅图像可以产生若干图像块，从而建立训练子块集合。
进一步地，如上所述的手指静脉图像防伪鉴别方法，所述步骤S1包括：首先，利用红外光采集照射人体手指，位于手指下方的红外相机可以获取到相应的手指静脉图像。然后，将真实的手指静脉图像打印到纸张上，再放入采集装置中获取到该手指对应的假手指静脉图像。最后，在数据库建立过程中，把从人体手指上采集的静脉图像标注为1，从打印纸上采集得到的图像标注为0。
进一步地，如上所述的手指静脉图像防伪鉴别方法，所述BP模型为将DBN模型的输出层替换为softmax分类器构建而成的；
所述BP模型的隐含层中，使用Sigmoid激活函数的表达式作为激励函数，其定义如下：
其中s(x)为激活函数的输出，x为数据；
所述Softmax函数σ(z)＝{σ(z1),…,σ(zm)}定义如下：
zi＝wix+bi
其中，σ(zi)表示数据x属于类别i的概率，zi表示第i个类别的线性预测结果，wi和bi表示输出层中第i个类别对应的权重和偏置。
进一步地，如上所述的手指静脉图像防伪鉴别方法，所述SVM的输出概率值为p：
其中，ξ(v)表示传统支持向量机的输出，w和γ表示概率支持向量机训练得到的两个参数。
进一步地，如上所述的手指静脉图像防伪鉴别方法，所述全局真假分数值为G：
其中，P表示一幅图像块的个数，wi和si表示每个手指静脉图像块的权重和分数。
本发明还提供一种手指静脉图像防伪鉴别系统，包括：
图像采集标注单元，用于采集手指静脉图像以及对采集的图像进行真假标注；
分类单元，利用标注的图像分别建立训练集、验证集以及测试集，所述训练集中的图像是将标注的图像进行分块操作后得到的；所述训练集用来训练DBN模型与BP模型，验证集用于DBN模型与BP模型的参数选择，测试集用于评估整个手指静脉防伪鉴别模型的性能；
DBN模型机，用于利用训练集和验证集构建该模型，并寻找该模型权重和偏置的最优解，并通过该权重和偏置的最优解来确立最终的DBN模型机；
BP模型机，用于将带标签的训练集输入BP模型机，利用所述权重和偏置的最优解对BP模型机进行初始化，最终通过训练集和验证集寻找BP模型机的最佳滤波器和偏移，以所述最佳滤波器和偏移建立最终的BP模型机；
提取单元，用于将训练集和验证集依次输入所述最终的BP模型机进行特征提取，提取所述最终的BP模型机中所有隐含层的特征；
SVM模型机，用于将提取的所有隐含层的特征作为输入图像的多层次特征向量对其进行训练，并确定SVM参数，得到最终的SVM模型机；
测试模块，用于将测试集中的每幅图像分为与训练集中分块后的图像尺寸大小相同的小块，将测试集中每幅图像分成的小块一一输入最终的BP模型和SVM进行真假分数的计算；将每幅图像所有小块的真假分数进行融合得到全局分数，来判断手指静脉图像的真假；
所述DBN模型机与BP模型机具有相同数量的隐含层。
进一步地，如上所述的系统，所述分块操作的方法为：首先选择一个窗口，其行数与图像的行数相同，列数小于图像的列数，然后，使该窗口沿着列方向在图像上滑动，并截取窗口经过每一位置时的图像块，按照该方法，一幅图像可以产生若干图像块，从而建立训练子块集合。
进一步地，如上所述的系统，所述BP模型为将DBN模型机中的输出层替换为softmax分类器构建而成的；
所述BP模型机的隐含层中，使用Sigmoid激活函数的表达式作为激励函数，其定义如下：
其中s(x)为激活函数的输出，x为数据；
所述Softmax函数σ(z)＝{σ(z1),…,σ(zm)}定义如下：
zi＝wix+bi
其中，σ(zi)表示数据x属于类别i的概率，zi表示第i个类别的线性预测结果，wi和bi表示输出层中第i个类别的权重和偏置。
进一步地，如上所述的系统，所述支持向量机的输出概率值为p：
其中，ξ(v)表示传统支持向量机的输出，w和γ表示概率支持向量机训练得到的两个参数；
所述全局真假分数值为G：
其中，P表示一幅图像块的个数，wi和si表示每个手指静脉图像块的权重和分数。
有益效果：
本发明通过结合深度信念网络、BP神经网络和多层次深度特征、支持向量机(Support Vector Machine，以下简称：SVM)来实现对手指静脉真假图像的鉴别，能够有效提升手指静脉图像防伪鉴别的精度，改善认证系统的鉴别性能。
附图说明
图1为本发明手指静脉图像防伪鉴别方法流程图；
图2为本发明手指静脉图像防伪鉴别方法的简易流程图；
图3为本发明DBN模型的结构示意图；
图4为本发明BP模型与多层次特征的手指静脉图像真伪鉴别模型结构图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明手指静脉图像防伪鉴别方法流程图，图2为本发明手指静脉图像防伪鉴别方法的简易流程图，图3为本发明DBN模型的结构示意图；图4为本发明BP模型与多层次特征的手指静脉图像真伪鉴别模型结构图，如图1-4所示，该方法包括以下步骤：
步骤101：采集手指静脉图像以及对采集的图像进行真假标注；
具体地，利用红外光采集照射人体手指，位于手指下方的红外相机可以获取到相应的手指静脉图像。然后，将真实的手指静脉图像打印到纸张上，再放入采集装置中获取到该手指对应的假手指静脉图像。最后，在数据库建立过程中，把从人体手指上采集的静脉图像标注为1，从打印纸上采集得到的图像标注为0。
步骤102：利用标注的图像分别建立训练集、验证集以及测试集，所述训练集中的图像是将标注的图像进行分块操作后得到的；所述训练集用来训练DBN模型、BP模型和SVM，验证集用于DBN模型、BP模型和SVM的参数的选择，测试集用于检验手指静脉防伪鉴别模型的性能；
具体地，采集的图像样本数量有限，为了扩大训练集合，我们对训练集中每幅手指静脉图像进行分块。分块过程中，首先选择一个窗口，其行数与图像的行数相同，列数小于图像的列数。然后，使该窗口沿着列方向在图像上滑动，并截取窗口经过每一位置时的图像块。按照该方法，一幅图像可以产生若干图像块，并将该图像的真假标签作为对应若干子块的标签。通过手指静脉真假图像的采集方法，可以从同一手指采集到多幅真假手指静脉图像。我们选取若干手指的图像作为训练集合、若干手指的图像作为验证集合，剩下的图像作为测试集合。然后，利用手指静脉图像的分块方法，对训练集合中的每幅图像进行分块，建立训练子块集合。对于验证集合和测试集合的图像保持不变。
步骤103：DBN模型的构建及训练，利用训练集和验证集构建该模型并寻找该模型权重和偏置的最优解，以所述权重和偏置的最优解建立最终的DBN模型；
具体地，首先随机地设置受限玻尔兹曼机RBM的隐层单元数。其次，通过堆叠多个RBM构成一个DBN，其中，上一个RBM的隐层即为下一个RBM的显层，上一个RBM的输出即为下一个RBM的输入。然后把训练数据集分成不同的子集合，分批次输入到深度信念网络DBN中。当所有网络采用对比散度算法逐一训练后，得到更新的权重和偏置，通过反复迭代寻找权重和偏置的最优解。当精度满足要求时，停止迭代，从而完成本次深度信念网络模型的训练。
所述的由可见层及隐含层组成的深度信念网络模型中，对于每次迭代，在每小批量数据上，采用对比散度算法与Gibbs采样，即在训练过程中，首先把数据向量x视作可见层v(0)，与第一层隐含层h(0)作为一个RBM，训练出这个RBM的参数(包括可见层与隐含层的权重w，可见层的偏置a，隐含层的偏置b)，然后固定这个RBM的参数，把第一隐含层h(0)视作可见向量v(1)，与第二隐含层h(1)一起训练第二个RBM，得到其参数，然后固定这些参数，继续训练后续的RBM。具体计算为：
(1)Gibbs采样
采样过程为将可视向量值映射给隐单元，然后用隐层单元重建可视向量，接着再将可视向量值映射给隐单元…反复执行这种步骤，即：①利用P(h|v(t-1))采样出h(t-1)，其中h(t-1)为第t-1隐含层。首先记其中n为隐含层单元数，然后对于每一次hj，做如下操作：
a.产生[0,1]上的随机数rj；
b.
②.利用P(v|h(t-1))采样出v(t)，其中v(t)为第t可见层。
首先记 其中m为可见层单元数，然后对于每一个vi，做如下操作：
a.产生[0,1]上的随机数ri；
b.
(2)对比散度(Contrastive Divergence，CD)算法
①.对所有隐含层单元j，j＝1,2…,n，计算：
对所有可见层单元i，i＝1,2,…,m，计算：
其中，(a)式表示在已知可见层状态v时采样出隐含层的第j个单元的状态hj等于1的概率，v表示可见层的输入状态，vi表示可见层第i个单元的状态，bj表示隐含层第j个单元的偏置，wij表示可见层第i个单元与隐含层第j个单元的连接权重。(b)式表示在已知隐含层状态h时采样出可见层的第i个单元状态vi等于1的概率，hj表示隐含层第j个单元的状态，ai表示可见层第i个单元的偏置。
②.计算关于连接权重w、可见层偏置a、隐含层偏置b的梯度
Δb≈P(hj＝1|v(0))-P(hj＝1|v(k))
其中v(0)表示第一可见层即输入向量，v(k)表示第k可见层。
③.利用梯度上升法更新RBM参数
w(iter)＝w(iter-1)+Δw(iter)
a(iter)＝a(iter-1)+Δa(iter)
b(iter)＝b(iter-1)+Δb(iter)
其中w(iter),a(iter),b(iter)分别表示当前迭代每小批量数据上的连接权重、可见层偏置和隐含层偏置。
步骤104：BP模型的构建及训练，将带标签的训练集输入BP模型，利用所述DBN的权重和偏置的最优解对BP模型进行初始化，最终通过训练集和验证集寻找BP模型的最佳滤波器和偏移，以所述最佳滤波器和偏移建立最终的BP模型；所述BP模型为将DBN模型的输出层替换为softmax分类器构建而成的；所述DBN模型与BP模型具有相同数量的隐含层。
具体地，首先，通过在DBN网络结构中增加一个softmax分类器构建一个BP神经网络。然后，利用DBN训练的权值初始化BP，把带标签的训练图像输入到BP中进行训练。当网络进行一次前向传播后，计算梯度并进行反向传播以更新滤波器权值和偏移量。通过反复迭代寻找滤波器和偏移的最优解。当精度满足要求时，停止迭代，从而完成本次深度神经网络模型的训练。
(1)BP神经网络模型的隐含层中，使用Sigmoid激活函数的表达式作为激励函数。其定义如下：
其中s(x)为激活函数的输出。
(2)BP神经网络模型的输出层中，采用softmax分类器。
Softmax函数σ(z)＝{σ(z1),…,σ(zm)}定义如下：
zi＝wix+bi
其中，σ(zi)表示数据x属于类别i的概率，zi表示第i个类别的线性预测结果，wi和bi表示输出层中第i个类别对应的权重和偏置。
步骤105：将训练集和验证集依次输入最终的BP模型进行特征提取，提取所述最终的BP模型中所有隐含层的特征。
步骤106：将提取的所有隐含层的特征作为输入图像的多层次特征向量输入SVM模型对其进行训练，并确定SVM参数(通过验证集对应的多层次特征向量来确定的)。
步骤107：将测试集中的每幅图像设定为与训练集中分块后的图像尺寸大小相同的小块，将测试集中每幅图像分成的小块一一输入最终的BP模型和SVM进行真假分数的计算；将每幅图像所有小块的真假分数进行融合得到全局分数，来判断手指静脉图像的真假。
具体地，所述BP模型的隐含层中，使用Sigmoid激活函数的表达式作为激励函数，其定义如下：
其中s(x)为激活函数的输出，x为数据；
所述Softmax函数σ(z)＝{σ(z1),…,σ(zm)}定义如下：
zi＝wix+bi
其中，σ(zi)表示数据x属于类别i的概率，zi表示第i个类别的线性预测结果，wi和bi
表示输出层中第i个类别对应的权重和偏置。进一步地，如上所述的手指静脉图像防伪鉴别方法，所述支持向量机的输出概率值为p：
其中，ξ(v)表示传统支持向量机的输出，w和γ表示概率支持向量机训练得到的两个参数。
在判断手指静脉图像的真假时，由于测试集输入的每个图像为分块小图像，因此，通过测试集得到的结果是每幅图像中每个小块的真假，要判别一幅图像的真假，需要将一幅图像对应的所有小块图像的判断结果做一个加权平均值来最终判断一幅手指图像的真假，即将每幅图像所有块的真假分数进行融合得到全局分数，来判断手指静脉图像的真假。
本发明还提供一种手指静脉图像防伪鉴别系统，包括：
图像采集标注单元，用于采集手指静脉图像以及对采集的图像进行真假标注；
分类单元，利用标注的图像分别建立训练集、验证集以及测试集，所述训练集中的图像是将标注的图像进行分块操作后得到的；所述训练集用来训练DBN模型与BP模型，验证集用于DBN模型与BP模型的参数选择，测试集用于评估整个手指静脉防伪鉴别模型的性能；
DBN模型机，利用训练集和验证集构建该模型，并寻找该模型权重和偏置的最优解，并通过该权重和偏置的最优解来确立最终的DBN模型机；
BP模型机，用于将带标签的训练集输入BP模型机，利用所述权重和偏置的最优解对BP模型机进行初始化，最终通过训练集合和验证集寻找BP模型机的最佳滤波器和偏移，以所述最佳滤波器和偏移建立最终的BP模型机；
提取单元，用于将训练集和验证集依次输入所述最终的BP模型机进行特征提取，提取所述最终的BP模型机中所有隐含层的特征；
SVM模型机，用于将提取的所有隐含层的特征作为输入图像的多层次特征向量对其进行训练，并确定SVM参数，得到最终的SVM模型机；
测试模块，用于将测试集中的每幅图像分为与训练集中分块后的图像尺寸大小相同的小块，将测试集中每幅图像分成的小块一一输入最终的BP模型和SVM进行真假分数的计算；将每幅图像所有小块的真假分数进行融合得到全局分数，来判断手指静脉图像的真假；
所述DBN模型机与BP模型机具有相同数量的隐含层。
所述分块操作的方法为：首先选择一个窗口，其行数与图像的行数相同，列数小于图像的列数，然后，使该窗口沿着列方向在图像上滑动，并截取窗口经过每一位置时的图像块，按照该方法，一幅图像可以产生若干图像块，从而建立训练子块集合。
所述BP模型为将DBN模型机中的输出层替换为softmax分类器构建而成的。
所述BP模型机的隐含层中，使用Sigmoid激活函数的表达式作为激励函数，其定义如下：
其中s(x)为激活函数的输出，x为数据；
所述Softmax函数σ(z)＝{σ(z1),…,σ(zm)}定义如下：
zi＝wix+bi
其中，σ(zi)表示数据x属于类别i的概率，zi表示第i个类别的线性预测结果，wi和bi表示输出层中第i个类别的权重和偏置。
所述支持向量机的输出概率值为p：
其中，ξ(v)表示传统支持向量机的输出，w和γ表示概率支持向量机训练得到的两个参数；
所述全局真假分数值为G：
其中，P表示一幅图像块的个数，wi和si表示每个手指静脉图像块的权重和分数。
实施例：
(1)手指静脉图像的采集和标注如下：
所述样本集中的图像来源于瑞士Idiap研究所的“Spoofing-Attack Finger VeinDatabase”(https://www.idiap.ch/dataset/fvspoofingattack)。该数据库中真假手指静脉图像来自110个人体产生的440幅图像，每人左右食指各采集两次，共产生880幅静脉图像。这又分为3个部分，即训练集、验证集、测试集，其中训练集中有真假手指静脉图像各120幅共240幅，验证集中有真假手指静脉图像各120幅共240幅，测试集中包含共400幅真假手指静脉图像，每幅图像大小为150*565像素。训练集用来训练DBN模型与BP神经网络模型，验证集用于阈值估算，测试集用于检验模型的好坏。
在手指静脉图像的采集和标注中，首先，利用红外光采集照射人体手指，位于手指下方的红外相机可以获取到相应的手指静脉图像。然后，将真实的手指静脉图像打印到纸张上，再放入采集装置中获取到该手指对应的假手指静脉图像。最后，在数据库建立过程中，把从人体手指上采集的静脉图像标注为1，从打印纸上采集得到的图像标注为0。
(2)手指静脉图像训练样本集合的建立如下：
训练集合中只含有真假静脉图像各120幅共240幅，样本数量太少，不利于DBN的学习，故需要对其进行分块处理，以增大样本集，避免模型训练的不够充分。在分块过程中，首先选择一个窗口，其行数与图像的行数相同，列数小于图像的列数。然后，使该窗口沿着列方向在图像上滑动，并截取窗口经过每一位置时的图像块。按照该方法，一幅图像可以产生若干图像块，并将该图像的真假标签作为对应若干子块的标签。
本次实验中，把原始训练集合中每幅图像分成36块，对于验证集合和测试集合的图像保持不变。故新的训练集合中共有8640块图像，其中4320块真，4320块假。验证集合中共有240幅图像，其中120幅真，120幅假。测试集合中共有400幅图像，其中200幅真，200幅假。
(3)手指静脉图像的深度特征提取方法如下：
所述的应用于提取手指静脉图像特征的深度信念网络模型包括：输入层、第一隐含层、第二隐含层、第三隐含层、输出层，如图3所示。所述的应用于提取手指静脉图像特征的神经网络模型包括：输入层、第一隐含层、第二隐含层、第三隐含层、输出层，如图4所示。
所述的输入层，DBN模型含有经归一化处理的8640块图像，每块图像维度为1350维，即1350个输入；NN模型含有1350个神经元与对应的真假图像块标签。
所述的隐含层，DBN模型与NN模型均采用s igmo id函数作为激活函数。
所述的输出层，DBN模型输出层的神经元个数与其输入层维度一致；NN模型采用softmax分类器，输出层神经元个数为2个，即真假静脉图像，其值在{0,1}间选择。
(4)深度信念网络的训练如下：
①初始化RBM可见层偏置a，隐含层偏置b，可见层与隐含层的连接权重w，以及值为零的偏置增量Δa,Δb与权重增量Δw，其他参数初始值为任意常数。
②对于一幅图像F，它的标签为q∈{0,1}，其中0表示印刷图像，1表示从人体手指上采集的静脉图像。训练集合表示为{(F1,q1),(F2,q2),…,(FN,qN)}。把训练数据集分成不同的子集合，分批次输入到如图2所示的深度信念网络中，采用对比散度算法训练RBM。当所有批次的图像在网络进行一次前向传播后，得到更新的权重和偏置。具体计算如下：
Δb≈P(hj＝1|v(0))-P(hj＝1|v(k))
w(iter)＝w(iter-1)+Δw(iter)
a(iter)＝a(iter-1)+Δa(iter)
b(iter)＝b(iter-1)+Δb(iter)
其中，P(hj＝1|v)表示在已知可见层状态v时采样出隐含层的第j个单元的状态hj等于1的概率，P(vi＝1|h)表示在已知隐含层状态h时采样出可见层的第i个单元状态vi等于1的概率。v(0)表示第一可见层即输入向量，v(k)表示第k可见层。(iter)表示当前迭代，(iter-1)表示上一次迭代，Δ表示相应参数的增量，w(iter),a(iter),b(iter)分别表示当前迭代每小批量数据上的连接权重、可见层偏置和隐含层偏置。
③通过反复迭代寻找权重和偏置的最优解。当精度满足要求时，停止迭代，从而完成本次深度信念网络模型的训练。
④完成训练后，去掉深度信念网络的输出层。增加一个softmax分类器作为输出层以构建一个BP神经网络，然后将带标签的训练图像输入到NN中进行训练。
(5)神经网络的训练如下：
在DBN网络结构中增加一个softmax分类器构建一个BP神经网络，然后利用DBN训练的权值初始化BP神经网络，把带标签的训练图像输入到BP神经网络中进行训练，以提取真假静脉图像的特征。其中，BP神经网络中输入层、第一隐含层、第二隐含层、第三隐含层神经元个数与DBN网络中对应的输入层、第一隐含层、第二隐含层、第三隐含层神经元个数相同。
BP神经网络模型的隐含层中，使用Sigmoid激活函数的表达式作为激励函数。其定义如下：
其中s(x)为激活函数的输出。
BP神经网络模型的输出层中，采用softmax分类器。Softmax函数σ(z)＝{σ(z1),…,σ(zm)}定义如下：
zi＝wix+bi
其中，σ(zi)表示数据x属于类别i的概率，zi表示第i个类别的线性预测结果，wi和bi表示输出层中第i个类别对应的权重和偏置。
(6)基于支持向量机的防伪鉴别模型如下：
通过连接BP神经网络模型中所有隐含层的特征得到的多层次特征向量v，v＝{v1,v2,v3}及它的标签q∈{0,1}对概率支持向量机(P-SVM)进行训练，其输出概率值为p：
其中，ξ(v)表示传统支持向量机的输出，ω和γ表示概率支持向量机训练得到的两个参数。经过训练后，概率支持向量机可以计算任意输入特征向量v所对应输出图像的真假类别。
本发明首次将深度信念网络用于手指静脉图像的真假鉴别。
本发明首次提出结合多层次深度特征对手指静脉真假图像进行鉴别。
本发明首次结合深度信念网络、BP神经网络和SVM实现对手指静脉真假图像的鉴别。为了充分训练该网络，本发明进一步对手指静脉图像进行交叉分块，增加训练数据。
本发明提出的基于深度学习的手指静脉图像防伪鉴别方法，不仅适用于手指静脉图像的防伪鉴别，而且可以应用到其他生物特征图像防伪鉴别中。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种手指静脉图像防伪鉴别方法，其特征在于，包括以下步骤：
S1：采集手指静脉图像以及对采集的图像进行真假标注；
S2：利用标注的图像分别建立训练集、验证集以及测试集，所述训练集中的图像是将标注的图像进行分块操作后得到的；所述训练集用来训练DBN模型、BP模型和SVM，验证集用于DBN模型、BP模型和SVM的参数的选择，测试集用于检验手指静脉防伪鉴别模型的性能；
S3：DBN模型的构建及训练，利用训练集和验证集构建该模型并寻找该模型权重和偏置的最优解，以所述权重和偏置的最优解建立最终的DBN模型；
S4：BP模型的构建及训练，将带标签的训练集输入BP模型，利用所述DBN的权重和偏置的最优解对BP模型进行初始化，最终通过训练集和验证集寻找BP模型的最佳滤波器和偏移，以所述最佳滤波器和偏移建立最终的BP模型；
S5：将训练集和验证集依次输入最终的BP模型进行特征提取，提取所述最终的BP模型中所有隐含层的特征；
S6：将提取的所有隐含层的特征作为输入图像的多层次特征向量输入SVM模型对其进行训练，并确定SVM参数；
S7：将测试集中的每幅图像分为与训练集中分块后的图像尺寸大小相同的小块，将测试集中每幅图像分成的小块一一输入最终的BP模型和SVM进行真假分数的计算；将每幅图像所有小块的真假分数进行融合得到全局分数，来判断手指静脉图像的真假；
所述DBN模型与BP模型具有相同数量的隐含层。
2.根据权利要求1所述的手指静脉图像防伪鉴别方法，其特征在于，所述分块操作的方法为：首先选择一个窗口，其行数与图像的行数相同，列数小于图像的列数，然后，使该窗口沿着列方向在图像上滑动，并截取窗口经过每一位置时的图像块，按照该方法，一幅图像可以产生若干图像块，从而建立训练子块集合。
3.根据权利要求1所述的手指静脉图像防伪鉴别方法，其特征在于，所述步骤S1包括：首先，利用红外光采集照射人体手指，位于手指下方的红外相机可以获取到相应的手指静脉图像。然后，将真实的手指静脉图像打印到纸张上，再放入采集装置中获取到该手指对应的假手指静脉图像。最后，在数据库建立过程中，把从人体手指上采集的静脉图像标注为1，从打印纸上采集得到的图像标注为0。
4.根据权利要求1所述的手指静脉图像防伪鉴别方法，其特征在于，所述BP模型为将DBN模型的输出层替换为softmax分类器构建而成的；
所述BP模型的隐含层中，使用Sigmoid激活函数的表达式作为激励函数，其定义如下：
<mrow>
<mi>s</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mrow>
<mn>1</mn>
<mo>+</mo>
<mi>exp</mi>
<mrow>
<mo>(</mo>
<mo>-</mo>
<mi>x</mi>
<mo>)</mo>
</mrow>
</mrow>
</mfrac>
</mrow>
其中s(x)为激活函数的输出，x为数据；
所述Softmax函数σ(z)＝{σ(z1)，…，σ(zm)}定义如下：
<mrow>
<mi>&sigma;</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>z</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mrow>
<mi>exp</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>z</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<msubsup>
<mi>&Sigma;</mi>
<mrow>
<mi>j</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>m</mi>
</msubsup>
<mi>exp</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>z</mi>
<mi>j</mi>
</msub>
<mo>)</mo>
</mrow>
</mrow>
</mfrac>
</mrow>
zi＝wix+bi
其中，σ(zi)表示数据x属于类别i的概率，zi表示第i个类别的线性预测结果，wi和bi表示输出层中第i个类别对应的权重和偏置。
5.根据权利要求1所述的手指静脉图像防伪鉴别方法，其特征在于，所述SVM的输出概率值为p：
<mrow>
<mi>p</mi>
<mrow>
<mo>(</mo>
<mi>q</mi>
<mo>=</mo>
<mn>1</mn>
<mo>|</mo>
<mi>&xi;</mi>
<mo>(</mo>
<mi>v</mi>
<mo>)</mo>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mrow>
<mn>1</mn>
<mo>+</mo>
<mi>exp</mi>
<mrow>
<mo>(</mo>
<mi>w</mi>
<mo>&CenterDot;</mo>
<mi>&xi;</mi>
<mo>(</mo>
<mi>v</mi>
<mo>)</mo>
</mrow>
<mo>+</mo>
<mi>&gamma;</mi>
<mo>)</mo>
</mrow>
</mfrac>
</mrow>
其中，ξ(v)表示传统支持向量机的输出，w和γ表示概率支持向量机训练得到的两个参数。
6.根据权利要求1所述的手指静脉图像防伪鉴别方法，其特征在于，所述全局真假分数值为G：
<mrow>
<mi>G</mi>
<mo>=</mo>
<mfrac>
<mrow>
<msubsup>
<mi>&Sigma;</mi>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>P</mi>
</msubsup>
<msub>
<mi>w</mi>
<mi>i</mi>
</msub>
<msub>
<mi>s</mi>
<mi>i</mi>
</msub>
</mrow>
<mi>P</mi>
</mfrac>
</mrow>
其中，P表示一幅图像块的个数，wi和si表示每个手指静脉图像块的权重和分数。
7.一种手指静脉图像防伪鉴别系统，其特征在于，包括：
图像采集标注单元，用于采集手指静脉图像以及对采集的图像进行真假标注；
分类单元，利用标注的图像分别建立训练集、验证集以及测试集，所述训练集中的图像是将标注的图像进行分块操作后得到的；所述训练集用来训练DBN模型与BP模型，验证集用于DBN模型与BP模型的参数选择，测试集用于评估整个手指静脉防伪鉴别模型的性能；
DBN模型机，利用训练集和验证集构建该模型，并寻找该模型权重和偏置的最优解，然后通过该权重和偏置的最优解来确立最终的DBN模型机；
BP模型机，用于将带标签的训练集输入BP模型机，利用所述权重和偏置的最优解对BP模型机进行初始化，最终通过训练集和验证集寻找BP模型机的最佳滤波器和偏移，以所述最佳滤波器和偏移建立最终的BP模型机；
提取单元，用于将训练集和验证集依次输入所述最终的BP模型机进行特征提取，提取所述最终的BP模型机中所有隐含层的特征；
SVM模型机，用于将提取的所有隐含层的特征作为输入图像的多层次特征向量对其进行训练，并确定SVM参数，得到最终的SVM模型机；
测试模块，用于将测试集中的每幅图像分为与训练集中分块后的图像尺寸大小相同的小块，将测试集中每幅图像分成的小块一一输入最终的BP模型和SVM进行真假分数的计算；将每幅图像所有小块的真假分数进行融合得到全局分数，来判断手指静脉图像的真假；
所述DBN模型机与BP模型机具有相同数量的隐含层。
8.根据权利要求7所述的系统，其特征在于，所述分块操作的方法为：首先选择一个窗口，其行数与图像的行数相同，列数小于图像的列数，然后，使该窗口沿着列方向在图像上滑动，并截取窗口经过每一位置时的图像块，按照该方法，一幅图像可以产生若干图像块，从而建立训练子块集合。
9.根据权利要求7所述的系统，其特征在于，所述BP模型为将DBN模型机中的输出层替换为softmax分类器构建而成的；
所述BP模型机的隐含层中，使用Sigmoid激活函数的表达式作为激励函数，其定义如下：
<mrow>
<mi>s</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mrow>
<mn>1</mn>
<mo>+</mo>
<mi>exp</mi>
<mrow>
<mo>(</mo>
<mo>-</mo>
<mi>x</mi>
<mo>)</mo>
</mrow>
</mrow>
</mfrac>
</mrow>
其中s(x)为激活函数的输出，x为数据；
所述Softmax函数σ(z)＝{σ(z1)，…，σ(zm)}定义如下：
<mrow>
<mi>&sigma;</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>z</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mrow>
<mi>exp</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>z</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<msubsup>
<mi>&Sigma;</mi>
<mrow>
<mi>j</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>m</mi>
</msubsup>
<mi>exp</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>z</mi>
<mi>j</mi>
</msub>
<mo>)</mo>
</mrow>
</mrow>
</mfrac>
</mrow>
zi＝wix+bi
其中，σ(zi)表示数据x属于类别i的概率，zi表示第i个类别的线性预测结果，wi和bi表示输出层中第i个类别的权重和偏置。
10.根据权利要求7所述的系统，其特征在于，所述支持向量机的输出概率值为p：
<mrow>
<mi>p</mi>
<mrow>
<mo>(</mo>
<mi>q</mi>
<mo>=</mo>
<mn>1</mn>
<mo>|</mo>
<mi>&xi;</mi>
<mo>(</mo>
<mi>v</mi>
<mo>)</mo>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mrow>
<mn>1</mn>
<mo>+</mo>
<mi>exp</mi>
<mrow>
<mo>(</mo>
<mi>w</mi>
<mo>&CenterDot;</mo>
<mi>&xi;</mi>
<mo>(</mo>
<mi>v</mi>
<mo>)</mo>
</mrow>
<mo>+</mo>
<mi>&gamma;</mi>
<mo>)</mo>
</mrow>
</mfrac>
</mrow>
其中，ξ(v)表示传统支持向量机的输出，w和γ表示概率支持向量机训练得到的两个参数；
所述全局真假分数值为G：
<mrow>
<mi>G</mi>
<mo>=</mo>
<mfrac>
<mrow>
<msubsup>
<mi>&Sigma;</mi>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>P</mi>
</msubsup>
<msub>
<mi>w</mi>
<mi>i</mi>
</msub>
<msub>
<mi>s</mi>
<mi>i</mi>
</msub>
</mrow>
<mi>P</mi>
</mfrac>
</mrow>
其中，P表示一幅图像块的个数，wi和si表示每个手指静脉图像块的权重和分数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711023496.4A CN107895144A (zh) | 2017-10-27 | 2017-10-27 | 一种手指静脉图像防伪鉴别方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711023496.4A CN107895144A (zh) | 2017-10-27 | 2017-10-27 | 一种手指静脉图像防伪鉴别方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107895144A true CN107895144A (zh) | 2018-04-10 |
Family
ID=61804028
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711023496.4A Pending CN107895144A (zh) | 2017-10-27 | 2017-10-27 | 一种手指静脉图像防伪鉴别方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107895144A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108520285A (zh) * | 2018-04-16 | 2018-09-11 | 清华大学 | 物品鉴别方法、系统、设备及存储介质 |
| CN109657714A (zh) * | 2018-12-11 | 2019-04-19 | 深圳先进技术研究院 | 数据处理方法、装置及电子设备 |
| CN111507947A (zh) * | 2020-04-06 | 2020-08-07 | 新立讯科技股份有限公司 | 一种基于读取商标或图案去识别包装真伪的鉴别方法 |
| CN111827982A (zh) * | 2019-04-17 | 2020-10-27 | 中国石油天然气集团有限公司 | 钻井溢流漏失工况预测方法及装置 |
| CN112395981A (zh) * | 2020-11-17 | 2021-02-23 | 华北电力大学扬中智能电气研究中心 | 一种基于指静脉图像的认证方法、装置、设备及介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008217498A (ja) * | 2007-03-06 | 2008-09-18 | Hitachi Software Eng Co Ltd | 指静脈認証システム |
| CN106326886A (zh) * | 2016-11-07 | 2017-01-11 | 重庆工商大学 | 基于卷积神经网络的手指静脉图像质量评估方法及评估系统 |
| CN106650809A (zh) * | 2016-12-20 | 2017-05-10 | 福州大学 | 一种车载激光点云目标分类方法和系统 |
| CN106980873A (zh) * | 2017-03-09 | 2017-07-25 | 南京理工大学 | 基于深度学习的锦鲤筛选方法及装置 |
| CN107103270A (zh) * | 2016-02-23 | 2017-08-29 | 云智视像科技（上海）有限公司 | 一种基于idf的动态计算分块加权系数的人脸识别系统 |
-
2017
- 2017-10-27 CN CN201711023496.4A patent/CN107895144A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008217498A (ja) * | 2007-03-06 | 2008-09-18 | Hitachi Software Eng Co Ltd | 指静脈認証システム |
| CN107103270A (zh) * | 2016-02-23 | 2017-08-29 | 云智视像科技（上海）有限公司 | 一种基于idf的动态计算分块加权系数的人脸识别系统 |
| CN106326886A (zh) * | 2016-11-07 | 2017-01-11 | 重庆工商大学 | 基于卷积神经网络的手指静脉图像质量评估方法及评估系统 |
| CN106650809A (zh) * | 2016-12-20 | 2017-05-10 | 福州大学 | 一种车载激光点云目标分类方法和系统 |
| CN106980873A (zh) * | 2017-03-09 | 2017-07-25 | 南京理工大学 | 基于深度学习的锦鲤筛选方法及装置 |
Non-Patent Citations (4)
| Title |
|---|
| DAT TIEN NGUYEN 等: "Spoof Detection for Finger-Vein Recognition System Using NIR Camera", 《SENSORS》 * |
| R. RAGHAVENDRA 等: "Transferable deep convolutional neural network features for fingervein presentation attack detection", 《2017 5TH INTERNATIONAL WORKSHOP ON BIOMETRICS AND FORENSICS (IWBF)》 * |
| 沈兰荪，蔡轶珩，张新峰著: "《中医舌象的采集与分析》", 30 April 2007, 北京工业大学出版社 * |
| 陈翠平: "基于深度信念网络的文本分类算法", 《计算机系统应用》 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108520285A (zh) * | 2018-04-16 | 2018-09-11 | 清华大学 | 物品鉴别方法、系统、设备及存储介质 |
| WO2019201187A1 (zh) * | 2018-04-16 | 2019-10-24 | 图灵人工智能研究院（南京）有限公司 | 物品鉴别方法、系统、设备及存储介质 |
| CN109657714A (zh) * | 2018-12-11 | 2019-04-19 | 深圳先进技术研究院 | 数据处理方法、装置及电子设备 |
| CN111827982A (zh) * | 2019-04-17 | 2020-10-27 | 中国石油天然气集团有限公司 | 钻井溢流漏失工况预测方法及装置 |
| CN111507947A (zh) * | 2020-04-06 | 2020-08-07 | 新立讯科技股份有限公司 | 一种基于读取商标或图案去识别包装真伪的鉴别方法 |
| CN111507947B (zh) * | 2020-04-06 | 2023-06-27 | 新立讯科技股份有限公司 | 一种基于读取商标或图案去识别包装真伪的鉴别方法 |
| CN112395981A (zh) * | 2020-11-17 | 2021-02-23 | 华北电力大学扬中智能电气研究中心 | 一种基于指静脉图像的认证方法、装置、设备及介质 |
| CN112395981B (zh) * | 2020-11-17 | 2023-08-18 | 华北电力大学扬中智能电气研究中心 | 一种基于指静脉图像的认证方法、装置、设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106326886B (zh) | 基于卷积神经网络的手指静脉图像质量评估方法 | |
| CN107895144A (zh) | 一种手指静脉图像防伪鉴别方法及装置 | |
| CN108427921A (zh) | 一种基于卷积神经网络的人脸识别方法 | |
| CN103258204B (zh) | 一种基于Gabor和EOH特征的自动微表情识别方法 | |
| CN106991368A (zh) | 一种基于深度卷积神经网络的指静脉验证身份识别方法 | |
| US9514356B2 (en) | Method and apparatus for generating facial feature verification model | |
| CN106548159A (zh) | 基于全卷积神经网络的网纹人脸图像识别方法与装置 | |
| CN105138993A (zh) | 建立人脸识别模型的方法及装置 | |
| CN108171209A (zh) | 一种基于卷积神经网络进行度量学习的人脸年龄估计方法 | |
| CN106295555A (zh) | 一种活体指纹图像的检测方法 | |
| CN106228142A (zh) | 基于卷积神经网络和贝叶斯决策的人脸验证方法 | |
| Salman et al. | Classification of real and fake human faces using deep learning | |
| CN102156887A (zh) | 一种基于局部特征学习的人脸识别方法 | |
| CN110705428A (zh) | 一种基于脉冲神经网络的脸部年龄识别系统及方法 | |
| CN115966010A (zh) | 一种基于注意力和多尺度特征融合的表情识别方法 | |
| CN112766283A (zh) | 一种基于多尺度卷积网络的两相流流型识别方法 | |
| CN114241458A (zh) | 一种基于姿态估计特征融合的驾驶员行为识别方法 | |
| CN108073978A (zh) | 一种人工智能超深度学习模型的构成方法 | |
| Shinde et al. | Feedforward back propagation neural network (FFBPNN) based approach for the identification of handwritten math equations | |
| CN108073979A (zh) | 一种导入人工智能超深度学习用于图像识别的方法 | |
| Bisogni et al. | Multibiometric score-level fusion through optimization and training | |
| CN108073985A (zh) | 一种导入人工智能超深度学习用于语音识别的方法 | |
| Al-jaberi et al. | Palm vein recognition based on convolution neural network | |
| Yadav | Deep learning approach for multimodal biometric recognition system based on fusion of iris, fingerprint and hand written signature traits | |
| Khan | LAFIN: A convolutional neural network-based technique for singular point extraction and classification of latent fingerprints |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |