CN108520202B - 基于变分球面投影的对抗鲁棒性图像特征提取方法 - Google Patents

基于变分球面投影的对抗鲁棒性图像特征提取方法 Download PDF

Info

Publication number
CN108520202B
CN108520202B CN201810212070.1A CN201810212070A CN108520202B CN 108520202 B CN108520202 B CN 108520202B CN 201810212070 A CN201810212070 A CN 201810212070A CN 108520202 B CN108520202 B CN 108520202B
Authority
CN
China
Prior art keywords
parameter
variational
image
weight
spherical projection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201810212070.1A
Other languages
English (en)
Other versions
CN108520202A (zh
Inventor
沃焱
谢仁杰
韩国强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN201810212070.1A priority Critical patent/CN108520202B/zh
Publication of CN108520202A publication Critical patent/CN108520202A/zh
Application granted granted Critical
Publication of CN108520202B publication Critical patent/CN108520202B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/245—Classification techniques relating to the decision surface
    • G06F18/2451—Classification techniques relating to the decision surface linear, e.g. hyperplane
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/48—Extraction of image or video features by mapping characteristic values of the pattern into a parameter space, e.g. Hough transformation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Human Computer Interaction (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于变分球面投影的对抗鲁棒性图像特征提取方法，包括步骤：1)模型初始化；2)数据集预处理；3)变分球面投影前向传播；4)损失函数计算；5)对抗训练正则化；6)反向传播计算梯度，更新权值；7)重复步骤2)至步骤6)过程直至收敛，得到深度特征提取模型；应用时以参数编码过程的均值参数为特征，即可得到高可区分性特征。本发明在CASIA‑webface数据集进行训练，在LFW数据集上进行测试，能够保证模型的对抗鲁棒性的同时，特征具有高可分性。

Description

基于变分球面投影的对抗鲁棒性图像特征提取方法
技术领域
本发明涉及图像处理的技术领域，尤其是指一种基于变分球面投影的对抗鲁棒性图像特征提取方法。
背景技术
近些年来计算硬件GPU计算力的提升，大量的标注数据集的出现，使得深度神经网络训练成为可能。自从深度卷积网络赢得ImageNet官方举办的大型视觉识别比赛(ILSVRC)冠军后，深度网络结构不断推陈出新，逐渐在特定任务上媲美或者超越人类的水平。此后深度学习网络被广泛应用在人脸识别特征提取和相似图片检索上。从表示学习的角度来看，深度特征提取的成功在于通过大量的数据学习得到一个显著而稳定的特征表示方式，通过对原始输入空间到特征空间的映射，实现类别概念距离到欧式距离或者到余弦角距离的映射，让未见过样本依旧能在特征空间依据通过阈值进行分类，特征可分性越高，识别验证越准确。
利用深度神经网络作为可区分性特征提取器的训练方法通常有两种,一种是对训练数据进行精心挑选和重新组合得到符合测度学习的数据集，再通过测度学习损失函数来进行训练；而另一种训练方式则通过定制的损失函数，以直接训练常规分类器的方式间接得到一个可分性高的特征提取器。
然而最近一些关于深度神经网络的研究表明,深度神经网络对于输入空间的划分存在局部非稳定性，特定方向上的人眼难以察觉的微小扰动就可以造成深度神经网络的误分类。在高维度空间下，线性分类器每个分量上的微小变动即可导致线性模型的输出结果大相径庭。在多层线性网络下，通过逐层的累积放大，输入空间仅需要特定方向更加微小的变化即可轻易改变深度神经网络的表示特征，然后影响最后分类器的分类结果。
针对深度网络的局部非稳定性，攻击者可以利用网络的信息对输入进行不同范数测度类型的引导性失真得到对应的对抗样本，从而达到使深度神经网络分类器对该对抗样本误分类的目的，这种攻击方式可称为对抗攻击，而模型对于抵抗这种攻击的能力称为对抗鲁棒性。
正是由于局部非稳定性以及对应该性质的对抗攻击的存在，给深度特征提取器的应用带来了严重的安全隐患。比如自动驾驶中，摄像头对路标的识别特征被蓄意攻击导致误分类，从而造成不可以测的行为结果；又比如在广泛应用了深度神经网络作为特征提取的人脸识别系统，蓄意攻击人脸特征将导致系统错误授权予不法分子，从而造成用户财产隐私，甚至生命的安全收到威胁。
目前为止，提高深度神经网络分类器的对抗鲁棒性一般有三种方式，第一种是对模型参数本身进行正则化约束,但是以往的经典结构，如：多层卷积作为特征提取同时线性网络作为分类器的结构；或者变分参数编码器结构，在较大的正则化参数下，每一层的权重过于平滑，模型表达能力大幅下降，导致特征空间的可分性、分类器的分类性能会大幅度下降。第二种对训练集的进行标签平滑化，蒸馏学习，使模型的决策边界更加平滑，但模型的损失分类性能。第三种是对抗训练,利用模型的梯度生成原始样本的对抗样本，然后加入训练集，使得模型在不损失分类性能的前提下增加模型的鲁棒性，然而现有的方法均不能保证深度特征提取模型在特征空间上阈值可分，不适用用作未见过样本的特征提取。
发明内容
本发明的目的在于克服现有技术的缺点与不足，提出了一种基于变分球面投影的对抗鲁棒性图像特征提取方法，利用变分参数编码器结构在采样上的灵活性，在深度变分信息瓶颈模型(DVIB)的基础上对其采样过程进行改进提出变分球面投影模型(VSP)，通过对采样均值参数进行平衡缩放，再对进行特定半径的球面采样得到特征，配合对抗训练使的采样参数在球面映射训练信号下类内特征聚拢、类间特征更加分离，兼顾特征的高可分性和深度特征提取器的对抗鲁棒性。
为实现上述目的，本发明所提供的技术方案为：基于变分球面投影的对抗鲁棒性图像特征提取方法，包括以下步骤：
1)模型初始化
定义深度特征提取器的网络结构，对深度特征提取器和线性分类器进行权值初始化；
2)数据集预处理
对图像数据进行归一化和数据增广；
3)变分球面投影前向传播
先对图像进行高斯分布参数编码得到对应的高斯分布参数特征；然后高斯分布参数特征的对均值参数进行缩放至相同L2范数；接着在标准正态分布上进行采样得到采样特征并进行L2规范化使采样特征投影至单位球面上，得到单位球面随机采样特征；最后对单位球面随机采样特征根据上面得到的高斯分布参数特征进行重参数化得到球面投影特征；
4)损失函数计算
计算变分正则化的损失函数值；将球面投影特征传入无偏置线性分类器，将特征映射至标签空间；利用标签和线性分类器计算交叉熵损失函数值，与变分正则损失加权求和得到损失函数值；
5)利用对抗训练进行正则化
利用步骤4)得到的损失函数进行反向传播得到损失值关于输入图像的梯度，对输入图像进行梯度上升，并重新进行变分球面投影前向传播和损失函数计算得到新的损失值；然后将新的损失值和上一步的损失值进行加权平均，得到对抗训练的正则化损失值；
6)反向传播计算梯度，更新权值；
利用对抗训练正则化得到的损失值，对深度特征提取器和无偏置线性分类器进行反向传播得到对应模型中权值的梯度，再通过梯度下降更新模型的权值；
7)重复步骤2)至步骤6)过程直至收敛，得到深度特征提取模型；应用时以参数编码过程的均值参数为特征，即可得到高可区分性特征。
在步骤1)中，定义深度特征提取器的模型结构f(·|Wf,bf),和无偏置线性分类器g(·|Wg)，其中深度特征提取器有L层对应L个权值矩阵
Figure GDA0002421355360000041
和偏置项
Figure GDA0002421355360000042
其中
Figure GDA0002421355360000043
表示第l层的权值矩阵，Wf L表示最后一层的权值矩阵，
Figure GDA0002421355360000044
表示第l层偏置项，
Figure GDA0002421355360000045
表示最后一层偏置项；对深度特征提取器的每一层权值
Figure GDA0002421355360000046
和无偏置线性分类器权值Wg进行初始化，如公式(1)所示：
Figure GDA0002421355360000047
其中，其中Wforg表示Wf或者Wg，ω是维度与每层的权重大小一致的矩阵，对于第i行j列元素ωij，有ωij采样自标准正态分布,Din为每层网络的输入维度，第l层偏置项
Figure GDA0002421355360000048
服从均值为0标准差为0.0001的正态分布。
在步骤2)中，所述数据集预处理包括以下步骤：
2.1)对图像RBG三个通道进行规范化至[-1,1]；
2.2)对图像进行数据增广，随机左右翻转；然后对图像进行放大，再对图像进行随机位置、特定大小的裁剪，得到模型的训练输入图像。
在步骤3)中，所述变分球面投影前向传播包括以下步骤：
3.1)对图像进行高斯分布参数编码：
al＝f(x|Wf,bf) (2)
Figure GDA0002421355360000051
其中，x为输入图像，f(x|Wf,bf)表示变分参数编码器，同时也是最后需要学到的深度特征提取器，特征维度为m；aL有2m维，表示变分参数编码器的输出，其中前m维表示高斯分布在每一维度上的均值参数
Figure GDA0002421355360000052
后m维表示每一维度上的标准差参数
Figure GDA0002421355360000053
3.2)对均值参数进行缩放至相同L2范数：
Figure GDA0002421355360000054
其中，s为控制特征空间均值大小的参数；
3.3)在标准正态分布上进行采样得到采样特征zsample，并对采样特征进行单位球面投影得到单位球面随机采样特征zsphere：
zsample～N(0,1) (5)
Figure GDA0002421355360000055
其中zsample～N(0,1)表示zsample服从标准正态分布；
3.4)对单位球面随机采样特征zsample进行重参数化平移缩放得到球面投影采样z：
Figure GDA0002421355360000056
其中，
Figure GDA0002421355360000058
为哈达玛乘积，
Figure GDA0002421355360000057
为参数编码得到的每个维度上的标准差。
在步骤4)中，所述损失函数计算包括以下步骤：
4.1)计算变分正则化损失值
Figure GDA0002421355360000061
Figure GDA0002421355360000062
其中，N为样本数量，m为特征维度大小，xi为第i个训练图像样本，σr为可选参数控制球面投影半径，通常取σr＝s，s为控制特征空间均值大小的参数；
Figure GDA0002421355360000063
表示样本xi经过参数编码后得到
Figure GDA0002421355360000064
的第j个分量，
Figure GDA0002421355360000065
表示样本xi经过参数编码后得到
Figure GDA0002421355360000066
的第j个分量；
4.2)将第i个训练图像的球面投影特征zi作为无偏置线性分类器g(·|Wg)的输入得到最后输出scorei：
scorei＝g(zi|Wg) (9)
其中，假设数据集类别数为j，Wg为无偏置线性分类器的权值矩阵，scoreij表示第i个样本属于第j类的分数值；
4.3)计算交叉熵损失函数值CLF：
Figure GDA0002421355360000067
Figure GDA0002421355360000068
其中，scoreik表示第i个样本属于第k类的分数值；条件概率
Figure GDA0002421355360000069
中的
Figure GDA00024213553600000610
为预测标签，yi为第i个样本对应的标签；N为样本数；最后计算总的损失函数值L：
Figure GDA00024213553600000611
其中，β为拉格朗日系数，控制
Figure GDA0002421355360000071
项作用的大小,Θ表示所有的模型参数包括：深度特征提取器的权值Wf和偏置项bf、无偏置线性分类器权值Wg、可选参σr和控制特征空间均值大小的参数s。
在步骤5)中，所述对抗训练正则化包括以下步骤：
5.1)用变分球面投影模型进行前向传播的得到损失函数L(x,y,Θ)计算L2对抗样本
Figure GDA0002421355360000072
Figure GDA0002421355360000073
其中，ε为参数，控制最大增广L2距离半径，其中Θ表示所有的模型参数包括：深度特征提取器的权值Wf和偏置项bf、无偏置线性分类器权值Wg、可选参σr和控制特征空间均值大小的参数s；
5.2)将对抗样本
Figure GDA0002421355360000074
重新通过变分球面投影模型进行前向传播，计算得到新的损失函数值，并与原始损失函数值进行加权平均：
Figure GDA0002421355360000075
其中，α为可选参数，通常取0.5，Θ表示所有的模型参数包括：深度特征提取器的权值Wf和偏置项bf、无偏置线性分类器权值Wg、可选参σr和控制特征空间均值大小的参数s。
在步骤6)通过变分球面投影的前向传播以及对抗训练正则化后得到最后修正后的损失值
Figure GDA0002421355360000076
再通过反向传播求得对应模型权值和偏置项的偏导，并通过随机梯度下降对模型参数进行更新如式(15)(16)(17)：
Figure GDA0002421355360000077
Figure GDA0002421355360000078
Figure GDA0002421355360000081
其中，t表示迭代次数，ηt表示学习率，
Figure GDA0002421355360000082
和
Figure GDA0002421355360000083
分别代表第t次迭代时深度特征提取器的权值和偏置，
Figure GDA0002421355360000084
表示第t次迭代时无偏置线性分类器的权值。
在步骤7)中，重复步骤2)至步骤6)，直到模型收敛最后得到训练完成的深度特征提取器,在应用深度特征提取器时，以均值参数为图像特征；新样本通过该深度特征提取器即可得到对应的最终图像特征。
本发明原理：利用变分参数编码器结构在采样上的灵活性，在深度变分信息瓶颈模型(DVIB)的基础上对其采样过程进行改进提出变分球面投影模型(VSP)，通过对采样参数进行平衡缩放，再对进行特定半径的球面采样得到特征。在变分球面投影方法的训练完成时，每个类的特征均会以m维半径为σx的小球的形式分布在一个半径为s的大球表面上，此时参数均值也就是最后特征将聚拢在小球的球心处，小球与小球之间相互接邻，保证球心之间约有两倍σx的距离，从而保证了特征的可分性，具有增大特征间隔的作用。此外，在VSP结构下固定数据增广的可行方向，因此对抗训练不仅提高了模型的对抗鲁棒性还可以提高模型提取特征的可区分性。
本发明与现有技术相比，具有如下优点与有益效果：
1、本发明提出的特征提取方法首次同时兼顾特征提取器的对抗鲁棒性和特征的可区分性，提高了深度特征提取器的适用范围。
2、本发明提出的特征提取方法利用变分参数编码器结构的灵活性，限定采样特征的扰动半径和范围，从而使得对抗训练不仅提高模型的对抗鲁棒性也能一定成度上进一步提高特征的可区分性。
3、本发明提出的特征提取方法易于实现，且对未见过样本有较好的泛化能力。
附图说明
图1是本发明的深度特征提取模型训练流程图。
图2是本发明的变分球面投影具体细节流程图。
图3是本发明的对抗鲁棒性图像特征提取流程图。
具体实施方式
下面结合具体实施例对本发明作进一步说明。
如图1所示，本实施例所提供的基于变分球面投影的对抗鲁棒性图像特征提取方法，包括以下步骤：
7)重复步骤2)至步骤6)过程直至收敛，得到深度特征提取模型；应用时以参数编码过程的均值参数为特征，即可得到高可区分性特征。
1)模型初始化，包含以下步骤：
定义深度特征提取器的模型结构f(·|Wf,bf),和无偏置线性分类器g(·|Wg)，其中深度特征提取器有L层对应L个权值矩阵
Figure GDA0002421355360000091
和偏置项
Figure GDA0002421355360000092
其中Wf l表示第l层的权值矩阵，Wf L表示最后一层的权值矩阵，
Figure GDA0002421355360000093
表示第l层偏置项，
Figure GDA0002421355360000094
表示最后一层偏置项；对深度特征提取器的每一层权值
Figure GDA0002421355360000095
和无偏置线性分类器权值Wg进行初始化，如公式(1)所示：
Figure GDA0002421355360000096
其中，其中Wforg表示Wf或者Wg，ω是维度与每层的权重大小一致的矩阵，对于第i行j列元素ωij，有ωij采样自标准正态分布,Din为每层网络的输入维度，第l层偏置项
Figure GDA0002421355360000097
服从均值为0标准差为0.0001的正态分布。
2)数据集预处理，包含以下步骤：
2.1)对图像RBG三个通道进行规范化至[-1,1]；
2.2)对图像进行数据增广，随机左右翻转；然后对图像进行放大，再对图像进行随机位置、特定大小的裁剪，得到模型的训练输入图像。
3)变分球面投影前向传播，包含以下步骤：
3.1)对图像进行高斯分布参数编码：
al＝f(x|Wf,bf) (2)
Figure GDA0002421355360000101
其中，x为输入图像，f(x|Wf,bf)表示变分参数编码器，同时也是最后需要学到的深度特征提取器，特征维度为m；aL有2m维，表示变分参数编码器的输出，其中前m维表示高斯分布在每一维度上的均值参数
Figure GDA0002421355360000102
后m维表示每一维度上的标准差参数
Figure GDA0002421355360000103
3.2)对均值参数进行缩放至相同L2范数：
Figure GDA0002421355360000104
其中，s为控制特征空间均值大小的参数；
3.3)在标准正态分布上进行采样得到采样特征zsample，并对采样特征进行单位球面投影得到单位球面随机采样特征zsphere：
zsample～N(0,1) (5)
Figure GDA0002421355360000105
其中zsample～N(0,1)表示zsample服从标准正态分布；
3.4)对单位球面随机采样特征zsample进行重参数化平移缩放得到球面投影采样z：
Figure GDA0002421355360000111
其中，
Figure GDA00024213553600001112
为哈达玛乘积，
Figure GDA0002421355360000112
为参数编码得到的每个维度上的标准差。
4)损失函数计算，包含以下步骤：
4.1)计算变分正则化损失值
Figure GDA0002421355360000113
Figure GDA0002421355360000114
其中，N为样本数量，m为特征维度大小，xi为第i个训练图像样本，σr为可选参数控制球面投影半径，通常取σr＝s，s为控制特征空间均值大小的参数；
Figure GDA0002421355360000115
表示样本xi经过参数编码后得到
Figure GDA0002421355360000116
的第j个分量，
Figure GDA0002421355360000117
表示样本xi经过参数编码后得到
Figure GDA0002421355360000118
的第j个分量；
4.2)将第i个训练图像的球面投影特征zi作为无偏置线性分类器g(·|Wg)的输入得到最后输出scorei：
scorei＝g(zi|Wg) (9)
其中，假设数据集类别数为j，Wg为无偏置线性分类器的权值矩阵，scoreij表示第i个样本属于第j类的分数值；
4.3)计算交叉熵损失函数值CLF：
Figure GDA0002421355360000119
Figure GDA00024213553600001110
其中，scoreik表示第i个样本属于第k类的分数值；条件概率
Figure GDA00024213553600001111
中的
Figure GDA0002421355360000121
为预测标签，yi为第i个样本对应的标签；N为样本数；最后计算总的损失函数值L：
Figure GDA0002421355360000122
其中，β为拉格朗日系数，控制
Figure GDA0002421355360000123
项作用的大小,Θ表示所有的模型参数包括：深度特征提取器的权值Wf和偏置项bf、无偏置线性分类器权值Wg、可选参σr和控制特征空间均值大小的参数s。
5)利用对抗训练进行正则化，包含以下步骤：
5.1)用变分球面投影模型进行前向传播的得到损失函数L(x,y,Θ)计算L2对抗样本
Figure GDA0002421355360000124
Figure GDA0002421355360000125
其中，∈为参数，控制最大增广L2距离半径，其中Θ表示所有的模型参数包括：深度特征提取器的权值Wf和偏置项bf、无偏置线性分类器权值Wg、可选参σr和控制特征空间均值大小的参数s；
5.2)将对抗样本
Figure GDA0002421355360000126
重新通过变分球面投影模型进行前向传播，计算得到新的损失函数值，并与原始损失函数值进行加权平均：
Figure GDA0002421355360000127
其中，α为可选参数，通常取0.5，Θ表示所有的模型参数包括：深度特征提取器的权值Wf和偏置项bf、无偏置线性分类器权值Wg、可选参σr和控制特征空间均值大小的参数s。
6)反向传播计算梯度，更新权值
通过变分球面投影的前向传播以及对抗训练正则化后得到最后修正后的损失值
Figure GDA0002421355360000128
再通过反向传播求得对应模型权值和偏置项的偏导，并通过随机梯度下降对模型参数进行更新如式(15)(16)(17)：
Figure GDA0002421355360000131
Figure GDA0002421355360000132
Figure GDA0002421355360000133
其中，t表示迭代次数，ηt表示学习率，
Figure GDA0002421355360000134
和
Figure GDA0002421355360000135
分别代表第t次迭代时深度特征提取器的权值和偏置，
Figure GDA0002421355360000136
表示第t次迭代时无偏置线性分类器的权值。
7)，重复步骤2)至步骤6)，直到模型收敛最后得到训练完成的深度特征提取器,在应用深度特征提取器时，以均值参数为图像特征；新样本通过该深度特征提取器即可得到对应的最终图像特征。
下面结合具体参数对本实施例上述方法进行进一步说明，具体步骤如下：
1、模型初始化步骤：深度卷积网络以卷积层加上激活函数层为一个模块，如Conv(64,3,2,1)+pReLU表示卷积层卷积核数量为64，大小为3x3，卷积间隔为2，图像边缘填充像素为1，激活函数为pReLU。多个模块组成一个阶段。定义深度特征提取器的网络结构为Sphere20a，分为5个阶段，第1个阶段由1个Conv(64,3,2,1)+pReLU和2个Conv(64,3,1,1)+pReLU组成；第2阶段由1个Conv(128,3,2,1)+pReLU和2个Conv(128,3,1,1)+pReLU组成；第3阶段由一个Conv(256,3,2,1)+pReLU和8个Conv(256,3,1,1)+pReLU组成；第4阶段由一个Conv(512,3,2,1)+pReLU和两个Conv(512,3,1,1)+pReLU组成，最后阶段输出为线性层输出人脸特征维度为512维，深度特征提取器输出维度为1024维；无偏置线性分类器最后输出维度等于训练集标签类别数。对深度特征提取器和无偏置线性分类器进行权值初始化。
2、数据集预处理步骤：(1)对CASIA-webface和LFW的6000对人脸数据集进行五官标定对齐，对图像RBG三个通道[0,255]的值映射至[0.0,1.0]，然后每个通道减去0.5并乘以2.0使得图片范围规范化至[-1.0,1.0]；(2)将图像裁剪至116x100，然后随机裁剪至112x96，并随机水平翻转。以CASIA-webface数据集(剔除掉LFW6000对数据中出现的人)为训练集，LFW6000对人脸数据为测试集。
3、变分球面投影前向传播步骤：如图2所示，(1)先对图像进行高斯分布参数编码得到对应的高斯分布参数特征；(2)对均值参数特征进行缩放至相同L2范数，另所有均值参数特征的L2范数为s＝10；(3)在标准正态分布上进行一次采样得到采样特征并进行L2规范化使采样特征投影至半径为1的球面上；(4)对采样特征根据得到的高斯分布参数特征进行重参数化平移缩放得到球面投影特征。
4、损失函数计算步骤：(1)计算变分正则化的损失函数值，其中正则化项中的σr＝s，s为控制特征空间均值大小的参数；(2)将球面投影特征传入线性分类器，将特征映射至标签空间；(3)利用标签和线性分类器计算交叉熵损失函数值，与变分正则损失加权求和得到损失函数值，此时拉格朗日系数β＝0.1。
5、对抗训练正则化步骤：(1)利用上一步得到的损失函数进行反向传播得到损失值关于输入图像的梯度，对输入图像进行梯度上升，此时设置∈＝2.0，得到对抗样本；(2)重新用对抗样本进行变分球面投影前向传播和损失函数计算得到新的损失值；新的损失值和上一步的损失值进行加权平均，加权系数α＝0.5，得到对抗训练的正则化损失值。
6、反向传播计算梯度，更新权值步骤：利用对抗训练正则化得到的损失值，对深度特征提取器和线性分类器进行反向传播得到对应模型中权值的梯度，再通过随机梯度下降来优化更新模型的权值，其中初始学习率为η0＝0.1,在训练轮数到第8,10,15轮时，学习率衰减(学习率乘以0.1)。
7、最后重复前面四个过程直至模型收敛，得到深度特征提取模型；应用时以参数编码过程的参数均值为特征，即可得到高可区分性特征，如图3所示。
以上所述实施例只为本发明之较佳实施例，并非以此限制本发明的实施范围，故凡依本发明之形状、原理所作的变化，均应涵盖在本发明的保护范围内。

Claims (8)

1.基于变分球面投影的对抗鲁棒性图像特征提取方法，其特征在于，包括以下步骤：
1)模型初始化
定义深度特征提取器的网络结构，对深度特征提取器和线性分类器进行权值初始化；
2)数据集预处理
对图像数据进行归一化和数据增广；
3)变分球面投影前向传播
先对图像进行高斯分布参数编码得到对应的高斯分布参数特征；然后高斯分布参数特征的对均值参数进行缩放至相同L2范数；接着在标准正态分布上进行采样得到采样特征并进行L2规范化使采样特征投影至单位球面上，得到单位球面随机采样特征；最后对单位球面随机采样特征根据上面得到的高斯分布参数特征进行重参数化得到球面投影特征；
4)损失函数计算
计算变分正则化的损失函数值；将球面投影特征传入无偏置线性分类器，将特征映射至标签空间；利用标签和线性分类器计算交叉熵损失函数值，与变分正则损失加权求和得到损失函数值；
5)利用对抗训练进行正则化
利用步骤4)得到的损失函数进行反向传播得到损失值关于输入图像的梯度，对输入图像进行梯度上升，并重新进行变分球面投影前向传播和损失函数计算得到新的损失值；然后将新的损失值和上一步的损失值进行加权平均，得到对抗训练的正则化损失值；
6)反向传播计算梯度，更新权值；
利用对抗训练正则化得到的损失值，对深度特征提取器和无偏置线性分类器进行反向传播得到对应模型中权值的梯度，再通过梯度下降更新模型的权值；
7)重复步骤2)至步骤6)过程直至收敛，得到深度特征提取模型；应用时以参数编码过程的均值参数为特征，即可得到高可区分性特征。
2.根据权利要求1所述的基于变分球面投影的对抗鲁棒性图像特征提取方法，其特征在于：在步骤1)中，定义深度特征提取器的模型结构f(·|Wf,bf),和无偏置线性分类器g(·|Wg)，其中深度特征提取器有L层对应L个权值矩阵
Figure FDA0002421355350000021
和偏置项
Figure FDA0002421355350000022
其中Wf l表示第l层的权值矩阵，Wf L表示最后一层的权值矩阵，
Figure FDA0002421355350000023
表示第l层偏置项，
Figure FDA0002421355350000024
表示最后一层偏置项；对深度特征提取器的每一层权值
Figure FDA0002421355350000025
和无偏置线性分类器权值Wg进行初始化，如公式(1)所示：
Figure FDA0002421355350000026
其中，其中Wf or g表示Wf或者Wg，ω是维度与每层的权重大小一致的矩阵，对于第i行j列元素ωij，有ωij采样自标准正态分布,Din为每层网络的输入维度，第l层偏置项
Figure FDA0002421355350000027
服从均值为0标准差为0.0001的正态分布。
3.根据权利要求1所述的基于变分球面投影的对抗鲁棒性图像特征提取方法，其特征在于：在步骤2)中，所述数据集预处理包括以下步骤：
2.1)对图像RBG三个通道进行规范化至[-1,1]；
2.2)对图像进行数据增广，随机左右翻转；然后对图像进行放大，再对图像进行随机位置、特定大小的裁剪，得到模型的训练输入图像。
4.根据权利要求1所述的基于变分球面投影的对抗鲁棒性图像特征提取方法，其特征在于：在步骤3)中，所述变分球面投影前向传播包括以下步骤：
3.1)对图像进行高斯分布参数编码：
al＝f(x|Wf,bf) (2)
Figure FDA0002421355350000031
其中，x为输入图像，f(x|Wf,bf)表示变分参数编码器，同时也是最后需要学到的深度特征提取器，特征维度为m；aL有2m维，表示变分参数编码器的输出，其中前m维表示高斯分布在每一维度上的均值参数
Figure FDA0002421355350000032
后m维表示每一维度上的标准差参数
Figure FDA0002421355350000033
3.2)对均值参数进行缩放至相同L2范数：
Figure FDA0002421355350000034
其中，s为控制特征空间均值大小的参数；
3.3)在标准正态分布上进行采样得到采样特征zsample，并对采样特征进行单位球面投影得到单位球面随机采样特征zsphere：
zsample～N(0,1) (5)
Figure FDA0002421355350000035
其中zsample～N(0,1)表示zsample服从标准正态分布；
3.4)对单位球面随机采样特征zsample进行重参数化平移缩放得到球面投影采样z：
Figure FDA0002421355350000036
其中，
Figure FDA0002421355350000037
为哈达玛乘积，
Figure FDA0002421355350000038
为参数编码得到的每个维度上的标准差。
5.根据权利要求1所述的基于变分球面投影的对抗鲁棒性图像特征提取方法，其特征在于：在步骤4)中，所述损失函数计算包括以下步骤：
4.1)计算变分正则化损失值
Figure FDA0002421355350000041
Figure FDA0002421355350000042
其中，N为样本数量，m为特征维度大小，xi为第i个训练图像样本，σr为可选参数控制球面投影半径，取σr＝s，s为控制特征空间均值大小的参数；
Figure FDA0002421355350000043
表示样本xi经过参数编码后得到
Figure FDA0002421355350000044
的第j个分量，
Figure FDA0002421355350000045
表示样本xi经过参数编码后得到
Figure FDA0002421355350000046
的第j个分量；
4.2)将第i个训练图像的球面投影特征zi作为无偏置线性分类器g(·|Wg)的输入得到最后输出scorei：
scorei＝g(zi|Wg) (9)
其中，假设数据集类别数为j，Wg为无偏置线性分类器的权值矩阵，scoreij表示第i个样本属于第j类的分数值；
4.3)计算交叉熵损失函数值CLF：
Figure FDA0002421355350000047
Figure FDA0002421355350000048
其中，scoreik表示第i个样本属于第k类的分数值；条件概率
Figure FDA0002421355350000049
中的
Figure FDA00024213553500000410
为预测标签，yi为第i个样本对应的标签；N为样本数；最后计算总的损失函数值L：
Figure FDA0002421355350000051
其中，β为拉格朗日系数，控制
Figure FDA0002421355350000052
项作用的大小,Θ表示所有的模型参数包括：深度特征提取器的权值Wf和偏置项bf、无偏置线性分类器权值Wg、可选参σr和控制特征空间均值大小的参数s。
6.根据权利要求1所述的基于变分球面投影的对抗鲁棒性图像特征提取方法，其特征在于：在步骤5)中，所述对抗训练正则化包括以下步骤：
5.1)用变分球面投影模型进行前向传播的得到损失函数L(x,y,Θ)计算L2对抗样本
Figure FDA0002421355350000053
Figure FDA0002421355350000054
其中，ε为参数，控制最大增广L2距离半径，其中Θ表示所有的模型参数包括：深度特征提取器的权值Wf和偏置项bf、无偏置线性分类器权值Wg、可选参σr和控制特征空间均值大小的参数s；
5.2)将对抗样本
Figure FDA0002421355350000055
重新通过变分球面投影模型进行前向传播，计算得到新的损失函数值，并与原始损失函数值进行加权平均：
Figure FDA0002421355350000056
其中，α为可选参数，取0.5，Θ表示所有的模型参数包括：深度特征提取器的权值Wf和偏置项bf、无偏置线性分类器权值Wg、可选参σr和控制特征空间均值大小的参数s。
7.根据权利要求1所述的基于变分球面投影的对抗鲁棒性图像特征提取方法，其特征在于：在步骤6)通过变分球面投影的前向传播以及对抗训练正则化后得到最后修正后的损失值
Figure FDA0002421355350000057
再通过反向传播求得对应模型权值和偏置项的偏导，并通过随机梯度下降对模型参数进行更新如式(15)(16)(17)：
Figure FDA0002421355350000061
Figure FDA0002421355350000062
Figure FDA0002421355350000063
其中，t表示迭代次数，ηt表示学习率，
Figure FDA0002421355350000064
和
Figure FDA0002421355350000065
分别代表第t次迭代时深度特征提取器的权值和偏置，
Figure FDA0002421355350000066
表示第t次迭代时无偏置线性分类器的权值。
8.根据权利要求1所述的基于变分球面投影的对抗鲁棒性图像特征提取方法，其特征在于：在步骤7)中，重复步骤2)至步骤6)，直到模型收敛最后得到训练完成的深度特征提取器,在应用深度特征提取器时，以均值参数为图像特征；新样本通过该深度特征提取器即可得到对应的最终图像特征。
CN201810212070.1A 2018-03-15 2018-03-15 基于变分球面投影的对抗鲁棒性图像特征提取方法 Expired - Fee Related CN108520202B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810212070.1A CN108520202B (zh) 2018-03-15 2018-03-15 基于变分球面投影的对抗鲁棒性图像特征提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810212070.1A CN108520202B (zh) 2018-03-15 2018-03-15 基于变分球面投影的对抗鲁棒性图像特征提取方法

Publications (2)

Publication Number Publication Date
CN108520202A CN108520202A (zh) 2018-09-11
CN108520202B true CN108520202B (zh) 2020-06-19

Family

ID=63433271

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810212070.1A Expired - Fee Related CN108520202B (zh) 2018-03-15 2018-03-15 基于变分球面投影的对抗鲁棒性图像特征提取方法

Country Status (1)

Country Link
CN (1) CN108520202B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109598191A (zh) * 2018-10-23 2019-04-09 北京市商汤科技开发有限公司 行人重识别残差网络训练方法及装置
CN109583454A (zh) * 2018-11-14 2019-04-05 天津大学 基于对抗神经网络的图像特征提取方法
CN109784249B (zh) * 2019-01-04 2020-09-22 华南理工大学 一种基于变分级联信息瓶颈的置乱人脸识别方法
CN110210281B (zh) * 2019-03-29 2021-05-11 清华大学 基于球面分形卷积神经网络的三维点云识别方法及装置
CN111797264A (zh) * 2019-04-09 2020-10-20 北京京东尚科信息技术有限公司 图像增广与神经网络训练方法、装置、设备及存储介质
CN113808062A (zh) * 2019-04-28 2021-12-17 深圳市商汤科技有限公司 一种图像处理方法及装置
CN110264505B (zh) * 2019-06-05 2021-07-30 北京达佳互联信息技术有限公司 一种单目深度估计方法、装置、电子设备及存储介质
CN110378092B (zh) * 2019-07-26 2020-12-04 北京积加科技有限公司 身份识别系统及客户端、服务器和方法
CN110751288B (zh) * 2019-09-17 2024-05-07 平安科技（深圳）有限公司 模型训练方法、装置、计算机设备和存储介质
EP3798911A1 (en) * 2019-09-24 2021-03-31 Robert Bosch GmbH Method and system to classify sensor data with improved training robustness
CN112115963B (zh) * 2020-07-30 2024-02-20 浙江工业大学 一种基于迁移学习生成无偏见深度学习模型的方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102184536A (zh) * 2011-04-19 2011-09-14 清华大学 一种提取图像中直线和/或线段端点的方法及系统
CN103530689A (zh) * 2013-10-31 2014-01-22 中国科学院自动化研究所 一种基于深度学习的聚类方法
CN104463172A (zh) * 2014-12-09 2015-03-25 中国科学院重庆绿色智能技术研究院 基于人脸特征点形状驱动深度模型的人脸特征提取方法
CN106355550A (zh) * 2016-10-31 2017-01-25 微景天下（北京）科技有限公司 图像拼接系统和图像拼接方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040207743A1 (en) * 2003-04-15 2004-10-21 Nikon Corporation Digital camera system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102184536A (zh) * 2011-04-19 2011-09-14 清华大学 一种提取图像中直线和/或线段端点的方法及系统
CN103530689A (zh) * 2013-10-31 2014-01-22 中国科学院自动化研究所 一种基于深度学习的聚类方法
CN104463172A (zh) * 2014-12-09 2015-03-25 中国科学院重庆绿色智能技术研究院 基于人脸特征点形状驱动深度模型的人脸特征提取方法
CN106355550A (zh) * 2016-10-31 2017-01-25 微景天下（北京）科技有限公司 图像拼接系统和图像拼接方法

Also Published As

Publication number Publication date
CN108520202A (zh) 2018-09-11

Similar Documents

Publication Publication Date Title
CN108520202B (zh) 基于变分球面投影的对抗鲁棒性图像特征提取方法
CN110991299B (zh) 一种物理域上针对人脸识别系统的对抗样本生成方法
CN108717568B (zh) 一种基于三维卷积神经网络的图像特征提取与训练方法
CN110543846B (zh) 一种基于生成对抗网络的多姿态人脸图像正面化方法
CN111753881B (zh) 一种基于概念敏感性量化识别对抗攻击的防御方法
CN110048827B (zh) 一种基于深度学习卷积神经网络的类模板攻击方法
CN113496217B (zh) 视频图像序列中人脸微表情识别方法
Thai et al. Image classification using support vector machine and artificial neural network
CN108921877B (zh) 一种基于宽度学习的长期目标跟踪方法
CN112800876B (zh) 一种用于重识别的超球面特征嵌入方法及系统
CN109902615B (zh) 一种基于对抗网络的多个年龄段图像生成方法
CN111783748B (zh) 人脸识别方法、装置、电子设备及存储介质
CN110956082B (zh) 基于深度学习的人脸关键点检测方法和检测系统
CN110570443B (zh) 一种基于结构约束条件生成模型的图像线状目标提取方法
CN110136162B (zh) 无人机视角遥感目标跟踪方法及装置
CN109902667A (zh) 基于光流引导特征块和卷积gru的人脸活体检测方法
CN112597980B (zh) 一种面向动态视觉传感器的类脑手势序列识别方法
CN110569916A (zh) 用于人工智能分类的对抗样本防御系统及方法
CN109815814A (zh) 一种基于卷积神经网络的人脸检测方法
Tereikovskyi et al. The method of semantic image segmentation using neural networks
CN113627543A (zh) 一种对抗攻击检测方法
Huang et al. Human emotion recognition based on face and facial expression detection using deep belief network under complicated backgrounds
CN117152486A (zh) 一种基于可解释性的图像对抗样本检测方法
CN111507185B (zh) 一种基于堆叠空洞卷积网络的摔倒检测方法
Lam et al. Application of convolutional neural networks for fingerprint recognition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200619