CN110175513B - 一种基于多目标路优化的路牌识别攻击防御方法 - Google Patents

Abstract

本发明公开了一种基于多目标路优化的路牌识别对抗防御方法，包括：(1)构建训练集、测试集以及对抗集；(2)构建路牌分类器，并利用训练集、测试集对路牌分类器进行训练，获得路牌识别模型；(3)根据粒子群算法构建路牌攻击模型，利用路牌攻击模型生成对抗样本；(4)矫正对抗样本，并将对抗样本应用在物理场景下，再采集对抗样本的物理图像；(5)将对抗样本的物理图像输入至路牌识别模型，筛选得到高质量的对抗样本；(6)将高质量的对抗样本添加到训练集中，利用训练集再训练路牌识别模型，实现对路牌识别模型的对抗防御优化；(7)利用对抗防御优化后的路牌识别模型对路牌图像进行识别，以实现路牌识别的对抗防御。

Description

一种基于多目标路优化的路牌识别攻击防御方法

技术领域

本发明属于计算机视觉、智能交通、深度学习领域，尤其是涉及一种基于多目标路优化的路牌识别攻击防御方法。

背景技术

随着近年来机器学习的快速发展，计算机视觉技术与自动驾驶逐渐成为人们生活中关键的技术之一。而路牌识别正是基于计算机视觉技术，从客观世界的交通标志图像中提取信息，并对信息加以处理，使机器能够理解和识别图像中的交通标志。随着研究者们的不懈努力，路牌识别技术逐渐走向成熟、识别精度不断提高，有时甚至能够与人类相竞争，并成功应用于智能交通、智能驾驶、电子警察等领域，对城市道路的交通安全也具有深远的意义。

尽管先进的路牌识别技术能够为我们日常的交通带来很大的便利和安全保障，然而最新的科学研究表明，基于深度神经网络的路牌识别存在天然缺陷，容易受到一些对抗性例子的攻击。这是因为攻击者通过对抗策略在模型的输入中加入了微小的扰动，由于神经网络学习到的函数是不连续的，因此该扰动会导致模型对其预测结果发生改变。反映在实际场景的路牌识别中，这些扰动可能让路牌识别系统出现错误识别，这将造成糟糕的后果。因此，一些基于路牌识别的安全系统就可能会受到威胁。

目前对于路牌识别的攻击大多数是基于白盒模型的攻击，即在获得路牌识别模型内部参数的情况下实现对路牌识别系统的攻击。然而在现实生活中这种攻击意味着需要提前获得路牌识别模型的内部参数，这是相当困难的。因此，基于黑盒模型的路牌攻击可以在不知道路牌识别模型内部参数的情况下，通过模拟物理场景，实现对路牌识别的攻击，这将引起更大的危害。

鉴于路牌识别技术存在上述的安全威胁，研究一种针对PSO算法的进化策略，生成针对路牌识别模型的对抗样本，并通过对抗训练来实现对敌对攻击的防御具有极其重要的理论与实践意义。

发明内容

针对路牌识别技术存在上述的安全威胁，本发明提供一种基于多目标路优化的路牌识别攻击防御方法，采用帕累托最优法则，不仅考虑了设置黑箱模型模拟真实场景，还考虑了多种复杂场景下的实验效果，提高模型的泛化能力，同时通过进化策略优化扰动，实现扰动的物理化。

本发明的技术方案为：

一种基于多目标路优化的路牌识别攻击防御方法，包括以下步骤：

(1)采集路牌图像，并对路牌图像进行预处理后分成训练集、测试集以及用于生成对抗样本的对抗集；

(2)构建路牌分类器，并利用训练集获得路牌识别模型，再利用测试集对路牌识别模型进行测试优化，使路牌识别模型达到预设的识别准确率；

(3)根据粒子群算法构建路牌攻击模型，粒子群算法生成的微粒为扰动矩阵，根据帕累托最优法则设计的适应度函数，迭代寻找微粒在光影变化、角度变化以及距离变化多目标下的最优微粒；然后将最优微粒作为扰动矩阵叠加到对抗集中的路牌图像中形成对抗样本；

(4)矫正对抗样本，缩放打印矫正的对抗样本，将打印的对抗样本应用在物理场景下，再采集对抗样本的物理图像；

(5)将对抗样本的物理图像输入至路牌识别模型，利用路牌识别模型对对抗样本进行评估，筛选得到高质量的物理对抗样本；

(6)将高质量的物理对抗样本添加到训练集中，利用训练集再训练路牌识别模型，实现对路牌识别模型的对抗防御优化；

(7)利用对抗防御优化后的路牌识别模型对路牌图像进行识别，以实现路牌识别的对抗防御。

与现有技术相比，本发明具有的有益效果为：

(1)本发明基于PSO的进化策略，在不了解路牌识别模型内部参数的情况下生成能够使路牌识别模型错误识别的对抗样本用于对抗训练，提高路牌识别模型的防御能力；

(2)本发明生成的对抗样本在物理世界以小贴纸的形式存在，不易引起人们的注意，且不影响人对路牌类别的的正常判断，提高了对抗样本的可物理化程度；

(3)在适应度函数的定义上，本发明根据帕累托最优法则进行多目标优化，综合考虑了光影变化、角度变化以及距离变化下对抗样本的效果，也考虑了目标类的置信度的提高以及对抗样本的平滑程度，并且可以根据实际需求动态调整各目标的权重因子；

(4)在进化策略中，为了降低PSO进化攻击的时间花费，先找出路牌图像容易受攻击的薄弱区域，再重新在该区域制作面具；

(5)由于基于深度神经网络的路牌识别存在天然缺陷，本发明通过进化策略生成对抗样本，再进行对抗训练，提高路牌识别模型防御对抗样本攻击的能力，为路牌识别、智能交通的安全领域提供指导。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。

图1为实施例提供的基于多目标路优化的路牌识别攻击防御方法的流程示意图；

图2为实施例提供的生成对抗样本的流程图；

图3为本发明实施例中对抗样本效果示意图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。

如图1所示，本实施例提供的基于多目标路优化的路牌识别攻击防御方法，包括以下步骤：

S101，采集路牌图像，并对路牌图像进行预处理后分成训练集、测试集以及用于生成对抗样本的对抗集。

在采集路牌图像时，可以采集不同物理场景下的路牌图像，即可以包含光影变化、角度变化以及距离变化多目标下的路牌图像。

具体地，所述光影变化包括晴天白天、阴天白天、晴天夜晚灯照、室内或室外；

所述角度变化包括图像在偏左30°到偏右30°之间变化；

所述距离变化包括图像在实际交通场景中5米到45米之间等距变化。

在获得路牌图像后还需要对路牌图像进行预处理，以获得训练样本。具体地，对路牌图像进行预处理包括对路牌图像的有效区域进行裁剪、缩放以及添加相应标签并加以分类，这样获得的图像作为用于训练路牌分类器的训练样本以及用于生成对抗样本的。

S102，构建路牌分类器，并利用训练集获得路牌识别模型，再利用测试集对路牌识别模型进行测试优化，使路牌识别模型达到预设的识别准确率。

具体地，所述路牌分类器是由6个卷积层和3个全连接层构成的深层神经网络。

S103，根据粒子群算法构建路牌攻击模型，粒子群算法生成的微粒为扰动矩阵，根据帕累托最优法则设计的适应度函数，迭代寻找微粒在光影变化、角度变化以及距离变化多目标下的最优微粒；然后将最优微粒作为扰动矩阵叠加到对抗集中的路牌图像中形成对抗样本。

在构建路牌攻击模型时，需要预先制作限制扰动区域的面具，使扰动分布在预设区域，面具大小与路牌识别模型输入大小一致。

粒子群算法生成的微粒的尺寸与面具中相同，以矩阵的形式表示，矩阵中的每个元素为该位置的RGB值，本实施例中，微粒作为扰动矩阵，微粒更新时，即更新微粒的矩阵中每个元素的RGB值，当迭代终止时，获得的最优微粒即表微粒的矩阵中每个元素的RGB值达到了最优。

具体地，如图2所示，根据帕累托最优法则设计的适应度函数，迭代寻找微粒在光影变化、角度变化以及距离变化多目标下的最优微粒的具体过程为：

(a)粒子群算法初始化，将不同颜色的纯色面具上所有像素点的RGB值作为微粒，即像素点组成的矩阵为扰动矩阵，将面具上像素点RGB值的变化速度作为第i个微粒x_i的速度矩阵v_i，设置微粒总数pN，则0≤i≤(pN-1)，当前迭代数g，最大迭代数G_k，当前惯性权重因子ω^(g)，第i个微粒的历史最优位置

微粒种群发现的全局最优位置

(b)按照对应位置像素替换的方式，将微粒叠加到对抗集中的路牌图像中形成对抗样本，对对抗样本进行光影变化、角度变化以及距离变化三路目标，获得三路目标变化后的路牌图像，将三路变化后的路牌图像输入至路牌识别模型中，输出预测值，并获得当前排名最高的置信度分数top_score和目标类的置信度分数target_score，以每路路牌图像的预测值的均值作为微粒在每路目标下形成的对抗样本的攻击成功率；

(c)计算微粒的平滑度VT(r)；

其中，r_i,j是微粒中坐标位置为(i,j)的扰动像素点的RGB三通道像素R_i,j、G_i,j以及B_i,j的平均值；r_i+1,j是微粒中坐标位置为(i+1,j)的扰动像素点的RGB三通道像素的平均值；r_i,j+1是微粒中坐标位置为(i,j+1)的扰动像素点的RGB三通道像素的平均值；

(d)根据帕累托最优法则设计如公式(3)所示的适应度函数，并利用公式(3)计算微粒的适应度值，

其中，lsr为微粒在光影变化目标下形成的对抗样本的攻击成功率，asr是微粒在角度变化目标下形成的对抗样本的攻击成功率，dsr是微粒在距离变化目标下形成的对抗样本的攻击成功率，k₁、k₂、k₃分别为攻击成功率lsr、asr、dsr的权重，k分别为平滑度VT(r)的权重；

以满足公式(4)为进化方向，记录每个微粒的个体最有适应值fit_{p_best}及对应的最优微粒x_{p_best}，微粒群的最优适应值fit_{g_best}及对应的最优微粒群x_{g_best}；

(e)当满足迭代终止条件时，将获得最优微粒群作为最优解输出，将最优微粒叠加到对抗集中的路牌图像中形成对最终的对抗样本，如图3所示；

(f)当不满足迭代终止条件时，按照公式(5)、(6)以及(7)更新微粒的惯性权重因子ω^(g)、速度矩阵v_i以及对应的微粒x_i：

ω^(g)＝(ω_ini-ω_end)(G_k-g)/G_k+ω_end (5)

υ_i＝ω^(g)×υ_i+c₁×rand()×(pbest_i-x_i)+c₂×rand()×(gbest_i-x_i) (6)

x_i＝x_i+υ_i (7)

其中，ω_ini为初始权重因子值、ω_end为最终权重因子值，c₁、c₂为初始化学习因子，rand()为系统产生的介于(0,1)之间的随机数。

由于路牌图像各个区域被攻击的难易程度不同，为了找出路牌图像容易受攻击的薄弱区域进行攻击，降低微粒子群算法进化攻击的时间花费，可以将初始面具全部设为白色区域具体地，所述路牌识别攻击防御方法还包括：

在路牌图像中添加噪声，形成微粒图像，根据公式(8)计算微粒图像与路牌图像的欧式距离DT(r)：

其中，Rr_i,j、Rx_i,j、Gr_i,j、Gx_i,j、Br_i,j、Bx_i,j分别表示微粒图像r_i,j及路牌图像x_i,j在坐标(i，j)处的RGB值；

将公式(3)中的平滑度VT(r)替换为欧式距离DT(r)，按照步骤(b)～(e)生成对抗样本；

将该对抗样本与路牌图像进行比对，将颜色差距最大的区域作为路牌图像易受共计的薄弱区域，在该薄弱区域重新生成作为用于添加扰动的微粒，并重新执行步骤(b)～(f)，生成大量对抗样本。

本实施例中，迭代终止条件为微粒群的最优适应值fit_{g_best}小于预设的适应值阈值E_end或当前迭代数g达到最大迭代数G_k。

在更新微粒时，为了避免微粒在搜索中脱离有效解空间，即像素点的RGB值超出范围，采用反射强方法以防止微粒越界，保持微粒在有效解的空间内。

S104，矫正对抗样本，缩放打印矫正的对抗样本，将打印的对抗样本应用在物理场景下，再采集对抗样本的物理图像。

S105，将对抗样本的物理图像输入至路牌识别模型，利用路牌识别模型对对抗样本进行评估，筛选得到高质量的物理对抗样本。

通过S104和S105可以获得鲁棒性较高的物理对抗样本，利用物理对抗样本对路牌识别模型进行对抗优化，能够提升路牌识别模型的对抗效果。

S106，将高质量的物理对抗样本添加到训练集中，利用训练集再训练路牌识别模型，实现对路牌识别模型的对抗防御优化；

S107，利用对抗防御优化后的路牌识别模型对路牌图像进行识别，以实现路牌识别的对抗防御。

本发明采用粒子群算法的进化策略，在不了解路牌识别模型内部参数的情况下，能够生成使路牌识别模型错误识别的对抗样本用于对抗训练，提高路牌识别模型防御对抗样本攻击的能力；同时在进化策略中根据帕累托最优法则进行多目标优化，综合考虑光影、角度和距离因素，增强对抗样本的鲁棒性。

以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于多目标路优化的路牌识别攻击防御方法，包括以下步骤：

(1)采集路牌图像，并对路牌图像进行预处理后分成训练集、测试集以及用于生成对抗样本的对抗集；

(2)构建路牌分类器，并利用训练集获得路牌识别模型，再利用测试集对路牌识别模型进行测试优化，使路牌识别模型达到预设的识别准确率；

(3)根据粒子群算法构建路牌攻击模型，粒子群算法生成的微粒为扰动矩阵，根据帕累托最优法则设计适应度函数，迭代寻找微粒在光影变化、角度变化以及距离变化多目标下的最优微粒；然后将最优微粒作为扰动矩阵叠加到对抗集中的路牌图像中形成对抗样本；

(4)矫正对抗样本，缩放打印矫正的对抗样本，将打印的对抗样本应用在物理场景下，再采集对抗样本的物理图像；

(5)将对抗样本的物理图像输入至路牌识别模型，利用路牌识别模型对对抗样本进行评估，筛选得到高质量的物理对抗样本；

(6)将高质量的物理对抗样本添加到训练集中，利用训练集再训练路牌识别模型，实现对路牌识别模型的对抗防御优化；

(7)利用对抗防御优化后的路牌识别模型对路牌图像进行识别，以实现路牌识别的对抗防御；

其中，根据帕累托最优法则设计的适应度函数，迭代寻找微粒在光影变化、角度变化以及距离变化多条件下的最优微粒的具体过程为：

(a)粒子群算法初始化，将不同颜色的纯色面具上所有像素点的RGB值作为微粒，即像素点组成的矩阵为扰动矩阵，将面具上像素点RGB值的变化速度作为第l个微粒x_l的速度矩阵v_l，设置微粒总数pN，则0≤l≤(pN-1)，当前迭代数g，最大迭代数G_k，当前惯性权重因子ω^(g)，第l个微粒的历史最优位置

微粒种群发现的全局最优位置

(b)按照对应位置像素替换的方式，将微粒叠加到对抗集中的路牌图像中形成对抗样本，对对抗样本进行光影变化、角度变化以及距离变化这三路目标变化处理，获得三路目标变化后的路牌图像，将三路目标变化后的路牌图像输入至路牌识别模型中，输出预测值，并获得当前排名最高的置信度分数top_score和目标类的置信度分数target_score，以每路路牌图像的预测值的均值作为微粒在每路目标下形成的对抗样本的攻击成功率；

(c)计算微粒的平滑度VT；

其中，r_i,j是微粒x_l中坐标位置为(i,j)的扰动像素点的RGB三通道像素R_i,j、G_i,j以及B_i,j的平均值；r_i+1,j是微粒x_l中坐标位置为(i+1,j)的扰动像素点的RGB三通道像素的平均值；r_i,j+1是微粒x_l中坐标位置为(i,j+1)的扰动像素点的RGB三通道像素的平均值；

(d)根据帕累托最优法则设计如公式(3)所示的适应度函数，并利用公式(3)计算微粒的适应度值，

其中，lsr为微粒在光影变化目标下形成的对抗样本的攻击成功率，asr是微粒在角度变化目标下形成的对抗样本的攻击成功率，dsr是微粒在距离变化目标下形成的对抗样本的攻击成功率，k₁、k₂、k₃分别为攻击成功率lsr、asr、dsr的权重，w为平滑度VT(x_l)的权重；

以满足公式(4)为进化方向，记录每个微粒的个体最优适应值fit_{p_best}及对应的最优微粒x_{p_best}，微粒群的最优适应值fit_{g_best}及对应的最优微粒群x_{g_best}；

(e)当满足迭代终止条件时，将获得最优微粒群作为最优解输出，将最优微粒叠加到对抗集中的路牌图像中形成最终的对抗样本；

(f)当不满足迭代终止条件时，按照公式(5)、(6)以及(7)更新微粒的惯性权重因子ω^(g)、速度矩阵v_l以及对应的微粒x_l：

ω^(g)＝(ω_ini-ω_end)(G_k-g)/G_k+ω_end (5)

x_l＝x_l+υ_l (7)

其中，ω_ini为初始权重因子值、ω_end为最终权重因子值，c₁、c₂为初始化学习因子，rand()为系统产生的介于(0,1)之间的随机数。

2.如权利要求1所述的基于多目标路优化的路牌识别攻击防御方法，其特征在于，对路牌图像进行预处理包括对路牌图像的有效区域进行裁剪、缩放以及添加相应标签并加以分类。

3.如权利要求1所述的基于多目标路优化的路牌识别攻击防御方法，其特征在于，所述路牌分类器是由6个卷积层和3个全连接层构成的深层神经网络。

4.如权利要求1所述的基于多目标路优化的路牌识别攻击防御方法，其特征在于，所述路牌识别攻击防御方法还包括：

在路牌图像中添加噪声，形成微粒图像，根据公式(8)计算微粒图像与路牌图像的欧式距离DT(r)：

其中，Rs_i,j、Rx_i,j、Gs_i,j、Gx_i,j、Bs_i,j、Bx_i,j分别表示路牌图像sr及微粒图像x在坐标(i，j)处的RGB值；

将公式(3)中的平滑度VT(x_l)替换为欧式距离DT(x,s)，按照步骤(b)～(e)生成对抗样本；

将该对抗样本与路牌图像进行比对，将颜色差距最大的区域作为路牌图像易受攻击的薄弱区域，在该薄弱区域重新生成作为用于添加扰动的微粒，并重新执行步骤(b)～(f)，生成大量对抗样本。

5.如权利要求4所述的基于多目标路优化的路牌识别攻击防御方法，其特征在于，所述光影变化包括晴天白天、阴天白天、晴天夜晚灯照、室内或室外；

所述角度变化包括图像在偏左30°到偏右30°之间变化；

所述距离变化包括图像在实际交通场景中5米到45米之间等距变化。

6.如权利要求4所述的基于多目标路优化的路牌识别攻击防御方法，其特征在于，迭代终止条件为微粒群的最优适应值fit_{g_best}小于预设的适应值阈值E_end或当前迭代数g达到最大迭代数G_k。

7.如权利要求4所述的基于多目标路优化的路牌识别攻击防御方法，其特征在于，在更新微粒时，采用反射强方法以防止微粒越界，保持微粒在有效解的空间内。

Images