CN112836798A - 一种针对场景文字识别的非定向式白盒对抗攻击方法 - Google Patents

Abstract

本发明公开了一种针对场景文字识别的非定向式白盒对抗攻击方法，在输入图像中加入人眼难以察觉的噪声，使文字识别算法得到和原来截然不同的识别结果，从而达到攻击场景文字识别网络模型的效果。区别于一般物体的识别，文字识别的结果是字符序列，所以现有的对抗攻击方法不能直接被应用到场景文字识别中。所以，首先将单物体分类的对抗攻击算法中的目标函数，修改成序列形式；为了加快生成对抗样本，引入阶跃函数，一旦对抗样本的识别结果中，有一个字符和原图的识别结果不同，目标函数的惩罚为零；此外，考虑到不同样本的攻击难易程度不一样，越容易被识别正确的样本，越难被攻击，所以在目标函数中引入识别得分，从而得到扰动更小的对抗样本。

Description

一种针对场景文字识别的非定向式白盒对抗攻击方法

技术领域

本发明属于计算机视觉技术领域，更具体地，涉及一种针对场景文字识别的非定向式白盒对抗攻击方法。

背景技术

在计算机视觉领域，因为文本外观的多样性和自然场景的复杂性，场景文本识别是一项具有挑战性的任务。得益于深度学习的发展和大量的训练数据，近年来，场景文本识别取得了令人印象深刻的发展。但是，最近的对抗性研究表明，深度学习模型容易受到输入数据微小扰动的干扰，而导致模型输出发生巨大变化。作为在计算机视觉中最落地的任务之一，场景文本识别依然面临着巨大的安全风险。但是目前一直没有针对注意力机制的场景文本识别器进行对抗性攻击的工作。为此，对该方面的研究迫在眉睫。

区别于一般图像图片，场景文本图片的内容是字符序列，所以虽然近年来有不少一般图像的对抗性研究，但是不能直接被应用到场景文本识别中。此外，目前主流的对抗攻击方法可以分为两大类，第一种是基于梯度的方法，该方法的优点是攻击效率高，但是缺点是对抗样本的扰动较大；第二种是基于优化的方法，该方法的优点是可以生成扰动较小的对抗样本，但是缺点是需要多次迭代优化，所以攻击效率可能较低。因此需要设计一种同时保证攻击成功效率和减小扰动大小的方法。

发明内容

本发明的目的在于提供一种针对场景文字识别的非定向式白盒对抗攻击方法，首先将针对图像分类、语义分割和图像检索这类非序列图像而设计的对抗攻击目标函数调整成适合场景文字的形式。然后通过改进该目标函数，该发明可以进一步减小扰动，并且同时获得更高的攻击成功率。该方法可以被用来促进研究更鲁棒的识别系统，并且也可被用于基于文本的验证码人机验证系统。

为实现上述目的，本发明提供了一种针对场景文字识别的非定向式白盒对抗攻击方法，包括下述步骤：

(1)训练任意一种端到端的场景文字识别网络模型，可以是基于注意力机制的场景文字识别网络模型，也可以是基于时序连接序列的场景文字识别网络模型，这里以基于注意力机制的场景文字识别网络模型为主，包括如下子步骤：

(1.1)对原始数据集中所有图片的任意形状文本进行单词级别的标注，标签为图片中所含文本的单词字符序列，得到带标注的标准训练数据集；

(1.2)构建基于注意力机制的端到端文字识别网络模型，所述识别网络模型中，残差网络作为特征编码器、基于注意力机制的序列识别网络作为序列解码器；

(1.3)文字识别网络模型输出每个字符的概率分布，和该图片的标签计算每个字符的交叉熵，并将所有字符的交叉熵之和作为该场景文字识别网络模型的目标损失函数；

(2)利用上述训练好的场景文字识别网络模型生成对抗攻击样本，包括如下子步骤：

(2.1)生成随机噪声，原始图片叠加该随机噪声之后，生成初始的对抗攻击样本。为了保证该噪声足够小，人眼几乎不能观察到，并且对抗攻击样本所得到的识别结果和原图的识别结果不一致，需要设计针对序列文字识别的对抗攻击目标函数，来对其进行迭代优化，最终得到符合预期的对抗攻击样本。

(2.2)为了加快生成对抗攻击样本的速度和减小噪声的大小，利用字符的识别概率分布和字符串的识别得分，进一步改进目标函数。具体来说，一旦对抗攻击样本的识别文字中的任意一个字符和原图的识别文字不一样，就停止优化该目标函数；此外，越是容易识别的图片，说明其越难以生成对抗攻击样本，反之越容易生成，所以将文字的识别得分作为目标函数的权重，对不同识别难易程度的图片进行不同程度的优化，最终更快更好地生成对抗攻击样本。

进一步地，所述步骤(1.2)中的文字识别网络模型具体为：

所述文字识别网络模型由残差网络、双向长短期记忆层和基于注意力机制的序列识别网络组成；其中，残差网络Resnet以残差块为基础网络，通过修改不同层之间的池化大小，将三维的输入图片I表示成长度为n的二维特征向量序列{v₁,v₂ … v_n}，其中v表示每一帧的图像特征向量；为了表征序列中，帧与帧之间的上下文关系，使用两层双向长短期记忆层BiLSTM对其进行建模，最终得到特征序列{h₁,h₂ … h_n}，其中h表示具有上下文信息的每一帧特征向量；基于注意力机制的序列识别网络由一个单向的门控循环单元GRU构成，注意力模型的每一步会输出目标字符y_t的概率分布p(y_t)＝softmax(q_t)，其中q_t＝W_os_t+b_o,s_t是门控循环单元在t时刻的隐藏层特征，W_o、b_o分别是该全连接层的权重和偏移量，s_t＝GRU(s_t-1,(g_t,f(y_t-1)))，＝f(·)表示y_t-1的字符编码，g_t是特征序列的加权求和表示，

α_t是一个注意力权重的向量，通过以下公式计算得到：e_t,i＝v^Ttanh(Ws_t-1+Vh_i+b),

其中，tanh(·)表示双曲正切函数，exp(·)表示指数函数，W和V分别表示该全连接层的权重和偏移量，最终，该场景文字识别网络模型的目标函数为

其中T表示目标文字的字符个数。

进一步地，所述步骤(2.1)中的生成对抗攻击样本的方法具体为：

将该问题定义为一个优化问题，给定一张输入图片I，威胁模型M(在这里也就是训练得到的场景文字识别网络模型)和该输入图片对应的正确识别结果y,对抗攻击的目标是生成一个对抗样本I′＝I+δ,使得M对其的识别结果y′和原结果不同，并且加入的扰动噪声δ要小到尽可能肉眼看不见。所以整个过程用公式可以表示为：

s.t.M(I)＝y,

M(I+δ)＝y′，

I+δ∈[-1，1].

其中，D(·)表示距离函数，一般采用l₂距离。

因为M(I+δ)＝y′是一个非线性约束，标准的基于梯度下降的方法很难直接应用到该任务上，所以采用另外一种替代优化方案：

s.t.I+δ∈[-1，1].

其中，L(·)被称为攻击损失函数，用来惩罚不成功的攻击。c是一个权重，用来权衡生成噪声的大小和攻击成功率。具体来说，c越大，攻击越容易成功，但是生成的对抗噪声也会更大。为了消除c带来的影响，采用二分查找法对其取值进行遍历。

对于非序列图像的对抗攻击样本生成来说，L(·)一般为M模型的目标函数的相反数。对于文字识别这种序列问题而言，其中y＝(y₁,…,y_T),＝y′＝(y′₁,…,y′_T′)，比较直接的做法是使用-L_rec(I+δ,y)作为L(·)，但是实应用过程中发现该目标函数比较耗时。为此本专利采用

作为目标函数。为了进一步加快成功攻击速度和降低扰动大小，本专利提出了全新的如下目标函数：

其中，S表示当前图片的识别得分。S越高，表示该模型越难被攻击成功，所以L(·)越大。此外，H确保只要字符串中有一个字符识别错误，就认为该样本被成功攻击，L(·)变成0，从而模型去优化D(·)，使得生成的对抗攻击样本扰动进一步变小。因此，通过该目标函数，可以更快更好地生成对抗攻击样本。通过和对抗攻击的相关方法进行对比，本专利提出的方法在噪声大小、攻击成功率和攻击速度上都有绝对的优势。

通过本发明所构思的以上技术方案，与现有技术相比，本发明具有以下技术效果：

(1)噪声扰动小：该发明针对场景文本识别这类序列识别问题，对目标函数进行了特定的设计，引入了门限机制，使得模型在攻击成功之后，会进一步去优化噪声大小，从而使得生成的对抗样本更加难以区分；

(2)速度快：引入了门限机制和识别得分之后，也加快了模型生成对抗样本的速度，减少了生成对抗样本的迭代次数；

(3)攻击成功率高：利用识别得分对样本的被攻击难易程度进行区分，简单的样本就减少迭代次数，困难的样本就增加迭代次数，从而保证在整体相同时间下的攻击成功率更高。

附图说明

图1是本发明一种针对场景文字识别的非定向式白盒对抗攻击方法的流程图；

图2是本发明中基于注意力机制的序列识别网络结构图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

以下首先就本发明的技术术语进行解释和说明：

ResNet：一种可用于分类的神经网络，该网络主要由卷积层、池化层、shortcut连接层组成。卷积层用于提取图片特征；池化层的作用是降低卷积层输出的特征向量的维度，减少过拟合；shortcut连接层用于传递梯度解决消失和爆炸梯度问题。网络参数可以通过反向传导算法，进行更新；

双向长短期记忆层BiLSTM：由前向和后向LSTM级联构成的网络层。区别于普通的RNN，LSTM中引入了门机制，一定程度上避免了梯度爆炸和梯度消失的问题。注意力模块中的GRU也属于LSTM的一个变种，区别在于GRU中的门机制复杂程度低一些，因此更加简洁有效。

如图1所示，本发明针对场景文字识别的非定向式白盒对抗攻击方法包括以下步骤：

(1)训练任意一种端到端的场景文字识别网络模型，可以是基于注意力机制的场景文字识别网络模型，也可以是基于时序连接序列的场景文字识别网络模型，这里以基于注意力机制的场景文字识别网络模型为主，包括如下子步骤：

(1.1)对原始数据集中所有图片的任意形状文本进行单词级别的标注，标签为图片中所含文本的单词字符序列，得到带标注的标准训练数据集；

(1.2)构建基于注意力机制的端到端文字识别网络模型，所述识别网络模型中，残差网络作为特征编码器、基于注意力机制的序列识别网络作为序列解码器；

具体地，如图2所示，所述步骤(1.2)中的文字识别网络模型具体为：

所述文字识别网络模型由残差网络、双向长短期记忆层和基于注意力机制的序列识别网络组成；其中，残差网络Resnet以残差块为基础网络，通过修改不同层之间的池化大小，将三维的输入图片I表示成长度为n的二维特征向量序列{v₁,v₂ … v_n}，其中v表示每一帧的图像特征向量；为了表征序列中，帧与帧之间的上下文关系，使用两层双向长短期记忆层BiLSTM对其进行建模，最终得到特征序列{h₁,h₂ … h_n}，其中h表示具有上下文信息的每一帧特征向量；基于注意力机制的序列识别网络由一个单向的门控循环单元GRU构成，注意力模型的每一步会输出目标字符y_t的概率分布p(y_t)＝softmax(q_t)，其中q_t＝W_os_t+b_o,s_t是门控循环单元在t时刻的隐藏层特征，W_o、b_o分别是该全连接层的权重和偏移量，s_t＝GRU(s_t-1,(g_t,f(y_t-1)))，＝f(·)表示y_t-1的字符编码，g_t是特征序列的加权求和表示，

α_t是一个注意力权重的向量，通过以下公式计算得到：e_t,i＝v^Ttanh(Ws_t-1+Vh_i+b),

其中，tanh(·)表示双曲正切函数，exp(·)表示指数函数，W和V分别表示该全连接层的权重和偏移量，最终，该场景文字识别网络模型的目标函数为

其中T表示目标文字的字符个数。

(1.3)文字识别网络模型输出每个字符的概率分布，和该图片的标签计算每个字符的交叉熵，并将所有字符的交叉熵之和作为该场景文字识别网络模型的目标损失函数；

(2)利用上述训练好的场景文字识别网络模型生成对抗攻击样本，包括如下子步骤：

(2.1)生成随机噪声，原始图片叠加该随机噪声之后，生成初始的对抗攻击样本。为了保证该噪声足够小，人眼几乎不能观察到，并且对抗攻击样本所得到的识别结果和原图的识别结果不一致，需要设计针对序列文字识别的对抗攻击目标函数，来对其进行迭代优化，最终得到符合预期的对抗攻击样本。

(2.2)为了加快生成对抗攻击样本的速度和减小噪声的大小，利用字符的识别概率分布和字符串的识别得分，进一步改进目标函数。具体来说，一旦对抗攻击样本的识别文字中的任意一个字符和原图的识别文字不一样，就停止优化该目标函数；此外，越是容易识别的图片，说明其越难以生成对抗攻击样本，反之越容易生成，所以将文字的识别得分作为目标函数的权重，对不同识别难易程度的图片进行不同程度的优化，最终更快更好地生成对抗攻击样本。

所述步骤(2.1)中的生成对抗攻击样本的方法具体为：

将该问题定义为一个优化问题，给定一张输入图片I，威胁模型M(在这里也就是训练得到的场景文字识别网络模型)和该图片对应的正确识别结果y,＝对抗攻击的目标是生成一个对抗样本I′＝I+δ,＝使得M对其的识别结果y′和原结果不同，并且加入的扰动噪声δ要小到尽可能肉眼看不见。所以整个过程用公式可以表示为：

s.t.M(I)＝y，

M(I+δ)＝y′，

I+δ∈[-1，1].

其中，D(·)表示距离函数，一般采用l₂距离。

因为M(I+δ)＝y′是一个非线性约束，标准的基于梯度下降的方法很难直接应用到该任务上，所以采用另外一种替代优化方案：

s.t.I+δ∈[-1，1].

其中，L(·)被称为攻击损失函数，用来惩罚不成功的攻击。c是一个权重，用来权衡生成噪声的大小和攻击成功率。具体来说，c越大，攻击越容易成功，但是生成的对抗噪声也会更大。为了消除c带来的影响，采用二分查找法对其取值进行遍历。

对于非序列图像的对抗攻击样本生成来说，L(·)一般为M模型的目标函数的相反数。对于文字识别这种序列问题而言，其中y＝(y₁,…,y_T),＝y′＝(y′₁,…,y′_T′)，比较直接的做法是使用-L_rec(I+δ,y)作为L(·)，但是实应用过程中发现该目标函数比较耗时。为此本专利采用

作为目标函数。为了进一步加快成功攻击速度和降低扰动大小，本专利提出了全新的如下目标函数：

其中，S表示当前图片的识别得分。S越高，表示该模型越难被攻击成功，所以L(·)越大。此外，H确保只要字符串中有一个字符识别错误，就认为该样本被成功攻击，L(·)变成0，从而模型去优化D(·)，使得生成的对抗攻击样本扰动进一步变小。因此，通过该目标函数，可以更快更好地生成对抗攻击样本。通过和对抗攻击的相关方法进行对比，本专利提出的方法在噪声大小、攻击成功率和攻击速度上都有绝对的优势。

Claims (8)

1.一种针对场景文字识别的非定向式白盒对抗攻击方法，其特征在于，所述方法包括下述步骤：

(1)训练任意一种端到端的场景文字识别网络模型；

(2)利用上述训练好的场景文字识别网络模型生成对抗攻击样本，包括如下子步骤：

(2.1)生成随机噪声，原始图片叠加该随机噪声之后，生成初始的对抗攻击样本；设计针对序列文字识别的对抗攻击目标函数，来对对抗攻击样本进行迭代优化，最终得到符合预期的对抗攻击样本；

(2.2)为了加快生成对抗攻击样本的速度和减小噪声的大小，利用字符的识别概率分布和字符串的识别得分，进一步改进目标函数。

2.根据权利要求1所述的一种针对场景文字识别的非定向式白盒对抗攻击方法，其特征在于，所述场景文字识别网络模型是：

基于注意力机制的场景文字识别网络模型，或者是基于时序连接序列的场景文字识别网络模型。

3.根据权利要求2所述的一种针对场景文字识别的非定向式白盒对抗攻击方法，其特征在于，所述场景文字识别网络模型是基于注意力机制的场景文字识别网络模型，所述步骤(1)包括如下子步骤：

(1.1)对原始数据集中所有图片的任意形状文本进行单词级别的标注，标签为图片中所含文本的单词字符序列，得到带标注的标准训练数据集；

(1.2)构建基于注意力机制的端到端文字识别网络模型，所述识别网络模型中，残差网络作为特征编码器、基于注意力机制的序列识别网络作为序列解码器；

(1.3)文字识别网络模型输出每个字符的概率分布，和该图片的标签计算每个字符的交叉熵，并将所有字符的交叉熵之和作为该场景文字识别网络模型的目标损失函数。

4.根据权利要求3所述的一种针对场景文字识别的非定向式白盒对抗攻击方法，其特征在于，所述步骤(1.2)中的端到端文字识别网络模型具体为：

所述端到端文字识别网络模型由残差网络、双向长短期记忆层和基于注意力机制的序列识别网络组成；其中，残差网络Resnet以残差块为基础网络，通过修改不同层之间的池化大小，将三维的输入图片I表示成长度为n的二维特征向量序列{v₁，v₂...v_n}，其中v表示每一帧的图像特征向量；为了表征序列中，帧与帧之间的上下文关系，使用两层双向长短期记忆层BiLSTM对其进行建模，最终得到特征序列{h₁，h₂...h_n}，其中h表示具有上下文信息的每一帧特征向量；基于注意力机制的序列识别网络由一个单向的门控循环单元GRU构成，注意力模型的每一步会输出目标字符y_t的概率分布p(y_t)＝softmax(q_t)，其中q_t＝W_os_t+b_o，s_t是门控循环单元在t时刻的隐藏层特征，W_o、b_o分别是该全连接层的权重和偏移量，s_t＝GRU(s_t-1，(g_t，f(y_t-1)))，f(·)表示y_t-1的字符编码，g_t是特征序列的加权求和表示，

α_t是一个注意力权重的向量，通过以下公式计算得到：e_t，i＝v^Ttanh(Ws_t-1+Vh_i+b)，

其中，tanh(·)表示双曲正切函数，exp(·)表示指数函数，W和V分别表示该全连接层的权重和偏移量，最终，该场景文字识别网络模型的目标函数为

其中T表示目标文字的字符个数。

5.根据权利要求1或2所述的一种针对场景文字识别的非定向式白盒对抗攻击方法，其特征在于，所述步骤(2.1)中的生成对抗攻击样本的方法具体为：

将该问题定义为一个优化问题，给定一张输入图片I，威胁模型M即训练得到的场景文字识别网络模型，和该输入图片对应的正确识别结果y，对抗攻击的目标是生成一个对抗样本I′＝I+δ，使得M对其的识别结果y′和原结果不同，并且加入的扰动噪声δ要小到尽可能肉眼看不见，整个过程用公式表示为：

s.t.M(I)＝y，

M(I+δ)＝y′，

I+δ∈[-1，1].

其中，D(·)表示距离函数；

因为M(I+δ)＝y′是一个非线性约束，标准的基于梯度下降的方法很难直接应用到该任务上，所以采用另外一种替代优化方案：

s.t.I+δ∈[-1，1].

其中，L(·)为攻击损失函数，用来惩罚不成功的攻击；c是一个权重，用来权衡生成噪声的大小和攻击成功率；为了消除c带来的影响，采用二分查找法对其取值进行遍历；

对于非序列图像的对抗攻击样本生成来说，L(·)为M模型的目标函数的相反数，对于文字识别这种序列问题，其中y＝(y₁，...，y_T)，y′＝(y′₁，...，y′_T′)，采用

作为目标函数。

6.根据权利要求5所述的一种针对场景文字识别的非定向式白盒对抗攻击方法，其特征在于，为了进一步加快成功攻击速度和降低扰动大小，采用如下目标函数：

其中，S表示当前图片的识别得分，S越高，表示该模型越难被攻击成功，所以L(·)越大，此外，H确保只要字符串中有一个字符识别错误，就认为该样本被成功攻击，L(·)变成0，从而模型去优化D(·)，使得生成的对抗攻击样本扰动进一步变小。

7.根据权利要求5所述的一种针对场景文字识别的非定向式白盒对抗攻击方法，其特征在于，所述距离函数D(·)采用l₂距离。

8.根据权利要求1或2所述的一种针对场景文字识别的非定向式白盒对抗攻击方法，其特征在于，所述步骤(2)具体为：

一旦对抗攻击样本的识别文字中的任意一个字符和原图的识别文字不一样，就停止优化该目标函数；此外，越是容易识别的图片，说明其越难以生成对抗攻击样本，反之越容易生成，所以将文字的识别得分作为目标函数的权重，对不同识别难易程度的图片进行不同程度的优化，最终更快更好地生成对抗攻击样本。

Images