CN113095181A - 基于Defense-GAN的交通标志识别方法 - Google Patents

基于Defense-GAN的交通标志识别方法 Download PDF

Info

Publication number
CN113095181A
CN113095181A CN202110347767.1A CN202110347767A CN113095181A CN 113095181 A CN113095181 A CN 113095181A CN 202110347767 A CN202110347767 A CN 202110347767A CN 113095181 A CN113095181 A CN 113095181A
Authority
CN
China
Prior art keywords
traffic sign
image
defense
training
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110347767.1A
Other languages
English (en)
Inventor
赵鸿
闫连山
李赛飞
李洪赭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southwest Jiaotong University
Original Assignee
Southwest Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southwest Jiaotong University filed Critical Southwest Jiaotong University
Priority to CN202110347767.1A priority Critical patent/CN113095181A/zh
Publication of CN113095181A publication Critical patent/CN113095181A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs

Abstract

本发明公开了一种基于Defense‑GAN的交通标志识别方法，具体为：采集交通标志图像，对图片进行预处理后分为训练集、测试集和对抗集；使用训练集和测试集对深度神经网络进行训练获得交通标志识别模型；用对抗集训练模型获得与原始无噪声的交通标志图像分布相似的交通标志对抗样本图片；将对抗样本图片输入交通标志分类模型进行评估，获取高置信度的对抗样本图片；将获取的高置信度对抗样本图片添加进训练集中重新训练交通标志识别模型；利用对抗防御优化后的交通标志识别模型对交通标志图片进行识别。本发明能在任何分类模型之间学习迁移，训练成本低，使用范围广，处理速度快，适用于先进的辅助驾驶以及无人驾驶等多方面应用。

Description

基于Defense-GAN的交通标志识别方法
技术领域
本发明属于交通标志识别技术领域，尤其涉及一种基于Defense-GAN神经网络的交通标志识别方法。
背景技术
近年来，机器学习深度学习快速发展，计算机视觉技术与自动驾驶逐渐成为人们生活中不可或缺的关键技术。交通标志识别(Traffic Sign Identification)也称为交通标志目标检测，是利用深度学习技术中的卷积神经网络(CNN)训练图片集来判断图像或者视频序列中交通标志类别的技术，有很多特征可以提高卷积神经网络的准确性，需要在大型数据集上对这些特征的组合进行实际测试，并需要对结果进行理论证明。大多数基于CNN的物体检测器仅适用于推荐系统。提高实时物体检测器的精度不仅可以将它们用于提示生成推荐系统，还可以用于独立的过程管理和减少人工输入。交通标志识别技术逐渐成熟，识别精度也在不断提高，成功应用于只能驾驶、智能交通等领域。为城市的道路安全做出了极大的贡献。
虽然交通标志识别技术能够给我们的交通生活带来很大的便利和安全保障，但是科学研究表明，基于深度学习的图片分类神经网络系统存在缺陷，极易受到对抗样本攻击。在真实无噪声的图片加入一些微小扰动噪声之后，由于神经网络学习的不连续性，就会影响深度学习模型的识别，导致正确图像的错误分类预测。在实际场景交通标志识别中，这些扰动可能让交通标志识别系统出现错误分了你，将造成十分严重的后果，因此对抗样本会对交通标志识别系统造成威胁。
目前基于交通标志识别的攻击都是白盒攻击，知道交通标志分类模型内部参数的情况下对系统进行攻击。可是在实时场景中，提前获得交通标志模型的内部参数是十分困难的，但是基于黑盒模型的交通标志攻击可以在不知道模型参数的情况下，模拟物理场景，对交通标志进行攻击，会引起更大的隐患。
因为深度学习图像分类过程中的对抗安全威胁，研究了一种基于Defense-GAN神经网络的交通标志识别，针对交给你标志识别模型的对抗样本，通过对抗训练实现对对抗攻击的防御，其主要目的是利用生成模型的表达能力去防御深度神经网络会遭受到的对抗攻击。
国内专利CN111241916A提出一种交通标志识别模型的建立方法，⑴训练集构成，获取交通视频图像，截取交通标志图片，汇总成训练集；⑵训练集增广，模拟实际场景中出现的交通标志识别情况，通过多种图像处理操作对训练集中的图片进行人为步长；⑶图片预处理，对训练集进行预处理操作；⑷模型构建，建立用于交通标志识别的SSD模型；⑸模型训练，将训练集输入SSD模型中、完成对模型的训练，使用测试集进行性能检验，最终得到交通标志识别模型。
国内专利CN102024152B公开一种基于稀疏表达和字典学习进行交通标志识别的方法，包括：(1)收集包含交通标志的自然场景图像，并按其中交通标志的类别手工分成C个图像样本类，然后对于每个图像样本类中的每幅图像，以每幅图像的每个像素为中心，提取大小为n×n的图像块，先按行再按列对每幅图像中的所有像素都进行图像块的提取，形成对应图像样本类的C个训练图像块集合；其中，n小于等于图像大小；(2)利用所有C个训练图像块集合，自动学习出一个视觉字典D；(3)计算出每个类的训练图像块集合在视觉字典D上的稀疏表达，并统计稀疏表达系数沿字典原子的平均概率分布{P1，P2，…，PC}，作为描述C个图像样本类的特征表达；(4)对于一幅包含未知交通标志的测试图像，以测试图像的每个像素为中心，提取大小为n×n的图像块，先按行再按列对图像中的所有像素都进行图像块的提取，从而构成了测试图像块的集合其中，n小于等于图像大小，M为图像块的总数；然后计算测试图像块集合在视觉字典D上的稀疏表达，统计稀疏表达系数沿字典原子的概率分布Pt；(5)计算Pt与{P1，P2，…，PC}的相似度，选择最相似的图像样本类作为测试图像的交通标志识别结果。
国内专利CN108564048A公开一种应用于交通标志识别的深度卷积神经网络方法，该方法通过深度卷积神经网络对交通标志进行训练，建立应用于交通标志识别的深度卷积神经网络模型。经过测试选出最优的深度卷积神经网络模型，利用彩色摄像机采集交通标志，由最优的深度卷积神经网络模型对交通标志进行识别。
发明内容
针对现有深度学习图像分类的缺陷，本发明提供一种基于Defense-GAN神经网络的交通标志识别方法。
本发明的基于Defense-GAN神经网络的交通标志识别方法，包括以下步骤：
步骤1：采集交通标志图像，对图片进行预处理后分为训练集、测试集和用于生成对抗样本的对抗集。
步骤2：使用训练集和测试集对深度神经网络进行训练获得交通标志识别模型。
步骤3：使用对抗集训练Defense-GAN模型，获得与原始无噪声的交通标志图像分布相似的交通标志对抗样本图片。
步骤4：将对抗样本图片输入交通标志分类模型进行评估，获取高置信度的对抗样本图片。
步骤5：将获取的高置信度对抗样本图片添加进训练集中重新训练交通标志识别模型，实现模型的对抗防御优化。
步骤6：利用对抗防御优化后的交通标志识别模型对交通标志图片进行识别，以实现交通标志识别模型的对抗防御。
进一步的，步骤1中，在采集交通标志图像时，采集不同物理场景下的交通标志图像，即包含光影变化、有雾无雾变化、角度变化以及距离变化下的交通标志图像，具体的：
光影变化包括晴天白天、阴天白天、晴天夜晚灯照、室内室外；
有雾无雾变化包括有雾白天、有雾夜晚、有雾夜晚灯照；
角度变化包括图像在偏左90°到偏右90°之间的变化；
所述距离变化包括图像在实际交通场景中5米到100米的变化。
进一步的，步骤2具体为：用训练集训练深度神经网络获得交通标志识别模型，交通标志识别模型由三个卷积层，一个全连接层和一个激活函数组成；再利用测试集对交通标志识别模型进行测试优化，提高交通标志的识别准确率。
进一步的，步骤3具体为：
利用随机噪声生成器生成R个噪声
Figure BDA0003001321210000031
再使用固定L步长的梯度下降法GD计算出最优噪声z*，其中使用的是公式(1)，
Figure BDA0003001321210000032
再放入生成器生成和真实无噪声的原始交通标志图像分布类似的对抗样本图片G(z*)。
进一步的，使用梯度下降法GD迭代计算最优噪声，迭代的终止条件为，经过梯度下降得到的噪声值输入到生成器中得到的分布和真实图像分布近似，当不满足迭代终止条件时，则按照公式(1)继续进行计算。
进一步的，步骤5中，优化的终止条件为：判别器无法区分对抗样本与真实样本的区别。
本发明的有益技术效果为：
(1)本发明基于Defense-GAN的防御策略，在不清楚交通表示识别模型内部参数的情况下生成能够使交通标志识别模型错误分类的对抗样本用于对抗训练，提高交通标志识别模型的防御能力；
(2)本发明生成的对抗样本在物理世界中，人眼可识别，不影响人对交通标志类别的正常判断，使得对抗样本可物理化；
(3)本发明基于Defense-GAN的防御策略，可以和任何分类器一起使用，并且不修改分类器结构本身，提高了对抗防御的泛化性；
(4)本发明基于Defense-GAN的防御策略，可以在任何对抗攻击下进行防御，它不假设攻击的类型，而是利用GAN的生成能力来重建对抗样本；
(5)由于深度学习图像分类的过程存在缺陷，本发明通过Defense-GAN的生成器生成对抗样本，再进行对抗训练，提高交通标志识别模型防御对抗样本攻击的能力，为智能交通的安全提供了保障。
附图说明
图1为本发明基于Defense-GAN神经网络的交通标志识别方法的流程示意图。
图2为本发明提供的Defense-GAN生成和真实无噪声交通标志图片分布相似的对抗样本集的流程图。
图3为本发明提供的Defense-GAN利用生成器的L步长获取最佳梯度的流程图。
具体实施方式
下面结合附图和具体实施方法对本发明做进一步详细说明
本发明的基于Defense-GAN神经网络的交通标志识别方法流程如图1所示，具体为：
步骤1：采集交通标志图像，对图片进行预处理后分为训练集、测试集和用于生成对抗样本的对抗集。
在采集交通标志图像时，采集不同物理场景下的交通标志图像，即包含光影变化、有雾无雾变化、角度变化以及距离变化下的交通标志图像，具体的：
光影变化包括晴天白天、阴天白天、晴天夜晚灯照、室内室外；
有雾无雾变化包括有雾白天、有雾夜晚、有雾夜晚灯照；
角度变化包括图像在偏左90°到偏右90°之间的变化；
所述距离变化包括图像在实际交通场景中5米到100米的变化。
在获得交通标志图像之后，还要对图像进行预处理，以获得训练样本。具体地，使用labelImg图像标注工具对图像进行定位，标注标签加以分类，这样获得的图像作为用于训练交通标志分类器的训练样本，测试样本以及用于生成对抗样本的对抗集。
步骤2：使用训练集和测试集对深度神经网络进行训练获得交通标志识别模型。
用训练集训练深度神经网络获得交通标志识别模型，交通标志识别模型由三个卷积层，一个全连接层和一个激活函数组成；再利用测试集对交通标志识别模型进行测试优化，提高交通标志的识别准确率。
步骤3：使用对抗集训练Defense-GAN模型，获得与原始无噪声的交通标志图像分布相似的交通标志对抗样本图片。如图2所示。
生成器包括多个残差块，先经过全连接层之后，接过一个ReLU函数，后跟一个5*5的卷积层，经过三个残差块的操作后，连接一个sigmoid激活函数函数。
分类器是由三个5*5的卷积层，一个全连接层，最后连接一个Sigmoid激活函数组成。
利用随机噪声生成器生成R个噪声
Figure BDA0003001321210000051
再使用固定L步长的梯度下降法GD计算出最优噪声z*，其中使用的是公式(1)，
Figure BDA0003001321210000052
再放入生成器生成和真实无噪声的原始交通标志图像分布类似的对抗样本图片G(z*)。
使用的是Goodfellow在GAN中的最小-最大博弈方式，如公式(2)所示；
Figure BDA0003001321210000053
使用梯度下降法GD迭代计算最优噪声，迭代的终止条件为，经过梯度下降得到的噪声值输入到生成器中得到的分布和真实图像分布近似，当不满足迭代终止条件时，则按照公式(1)继续进行计算。
步骤4：具体如图3所示，随机输入若干扰动z，利用公式(3)迭代L步得到的最佳扰动zL与原始干净样本相结合，生成后的对抗图片G(z)重新输入交通标志分类模型进行评估，获取高置信度的对抗样本图片，具体评估公式如公式(3)所示；
Figure BDA0003001321210000054
Figure BDA0003001321210000055
步骤5：将获取的高置信度对抗样本图片添加进训练集中重新训练交通标志识别模型，实现模型的对抗防御优化。
步骤6：利用对抗防御优化后的交通标志识别模型对交通标志图片进行识别，以实现交通标志识别模型的对抗防御。
本发明采用基于Defense-GAN的对抗防御方法，能够在任何分类模型之间学习迁移，并且不修改分类器的结构和训练过程，训练成本低，也可以用来防御任何他不知道的生成对抗样本的攻击，使用范围广，不影响原始无噪声样本分类精度，预处理速度快，并且输出图像质量接近于原始无噪声图像，提高交通标志是被模型防御对抗样本攻击的能力，同时又考虑了光影、角度和距离等因素，增强了对抗样本的鲁棒性。适用于先进的辅助驾驶以及无人驾驶等多方面应用。

Claims (6)

1.基于Defense-GAN的交通标志识别方法，其特征在于，包括以下步骤：
步骤1：采集交通标志图像，对图片进行预处理后分为训练集、测试集和用于生成对抗样本的对抗集；
步骤2：使用训练集和测试集对深度神经网络进行训练获得交通标志识别模型；
步骤3：使用对抗集训练Defense-GAN模型，获得与原始无噪声的交通标志图像分布相似的交通标志对抗样本图片；
步骤4：将对抗样本图片输入交通标志分类模型进行评估，获取高置信度的对抗样本图片；
步骤5：将获取的高置信度对抗样本图片添加进训练集中重新训练交通标志识别模型，实现模型的对抗防御优化；
步骤6：利用对抗防御优化后的交通标志识别模型对交通标志图片进行识别，以实现交通标志识别模型的对抗防御。
2.根据权利要求1所述的基于Defense-GAN神经网络的交通标志识别方法，其特征在于，所述步骤1中，在采集交通标志图像时，采集不同物理场景下的交通标志图像，即包含光影变化、有雾无雾变化、角度变化以及距离变化下的交通标志图像，具体的：
光影变化包括晴天白天、阴天白天、晴天夜晚灯照、室内室外；
有雾无雾变化包括有雾白天、有雾夜晚、有雾夜晚灯照；
角度变化包括图像在偏左90°到偏右90°之间的变化；
所述距离变化包括图像在实际交通场景中5米到100米的变化。
3.根据权利要求1所述的基于Defense-GAN神经网络的交通标志识别方法，其特征在于，所述步骤2具体为：用训练集训练深度神经网络获得交通标志识别模型，交通标志识别模型由三个卷积层，一个全连接层和一个激活函数组成；再利用测试集对交通标志识别模型进行测试优化，提高交通标志的识别准确率。
4.根据权利要求1所述的基于Defense-GAN神经网络的交通标志识别方法，其特征在于，所述步骤3具体为：
利用随机噪声生成器生成R个噪声
Figure FDA0003001321200000011
再使用固定L步长的梯度下降法GD计算出最优噪声z*，其中使用的是公式(1)，
Figure FDA0003001321200000012
再放入生成器生成和真实无噪声的原始交通标志图像分布类似的对抗样本图片G(z*)。
5.根据权利要求4所述的基于Defense-GAN神经网络的交通标志识别方法，其特征在于，所述步骤3中，使用梯度下降法GD迭代计算最优噪声，迭代的终止条件为，经过梯度下降得到的噪声值输入到生成器中得到的分布和真实图像分布近似，当不满足迭代终止条件时，则按照公式(1)继续进行计算。
6.根据权利要求1所述的基于Defense-GAN神经网络的交通标志识别方法，其特征在于，所述步骤5中，优化的终止条件为：判别器无法区分对抗样本与真实样本的区别。
CN202110347767.1A 2021-03-31 2021-03-31 基于Defense-GAN的交通标志识别方法 Pending CN113095181A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110347767.1A CN113095181A (zh) 2021-03-31 2021-03-31 基于Defense-GAN的交通标志识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110347767.1A CN113095181A (zh) 2021-03-31 2021-03-31 基于Defense-GAN的交通标志识别方法

Publications (1)

Publication Number Publication Date
CN113095181A true CN113095181A (zh) 2021-07-09

Family

ID=76671620

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110347767.1A Pending CN113095181A (zh) 2021-03-31 2021-03-31 基于Defense-GAN的交通标志识别方法

Country Status (1)

Country Link
CN (1) CN113095181A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116721403A (zh) * 2023-06-19 2023-09-08 山东高速集团有限公司 一种道路交通标志检测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110163093A (zh) * 2019-04-15 2019-08-23 浙江工业大学 一种基于遗传算法的路牌识别对抗防御方法
CN110175513A (zh) * 2019-04-15 2019-08-27 浙江工业大学 一种基于多目标路优化的路牌识别攻击防御方法
CN111598805A (zh) * 2020-05-13 2020-08-28 华中科技大学 一种基于vae-gan的对抗样本防御方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110163093A (zh) * 2019-04-15 2019-08-23 浙江工业大学 一种基于遗传算法的路牌识别对抗防御方法
CN110175513A (zh) * 2019-04-15 2019-08-27 浙江工业大学 一种基于多目标路优化的路牌识别攻击防御方法
CN111598805A (zh) * 2020-05-13 2020-08-28 华中科技大学 一种基于vae-gan的对抗样本防御方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
POUYA SAMANGOUEI,MAYA KABKAB: "DEFENSE-GAN: PROTECTING CLASSIFIERS", 《ICLR 2018 CONFERENCE》 *
于立国: "基于生成对抗网络的交通标志检测研究", 《中国优秀博硕士学位论文全文数据库（硕士）工程科技Ⅱ辑》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116721403A (zh) * 2023-06-19 2023-09-08 山东高速集团有限公司 一种道路交通标志检测方法

Similar Documents

Publication Publication Date Title
Li et al. A free lunch for unsupervised domain adaptive object detection without source data
CN111310862B (zh) 复杂环境下基于图像增强的深度神经网络车牌定位方法
CN110175513B (zh) 一种基于多目标路优化的路牌识别攻击防御方法
CN113486865B (zh) 一种基于深度学习的输电线路悬挂异物目标检测方法
CN105787458A (zh) 基于人工设计特征和深度学习特征自适应融合的红外行为识别方法
Zhang et al. Auxiliary training: Towards accurate and robust models
CN109598268A (zh) 一种基于单流深度网络的rgb-d显著目标检测方法
CN110853074B (zh) 一种利用光流增强目标的视频目标检测网络系统
Lu et al. Dual-branch network for cloud and cloud shadow segmentation
CN109919073B (zh) 一种具有光照鲁棒性的行人再识别方法
CN111339917B (zh) 一种真实场景下玻璃检测的方法
CN109523013A (zh) 一种基于浅层卷积神经网络的空气颗粒物污染程度估计方法
CN108416295A (zh) 一种基于局部嵌入深度特征的行人再识别方法
CN109165698A (zh) 一种面向智慧交通的图像分类识别方法及其存储介质
CN111126155B (zh) 一种基于语义约束生成对抗网络的行人再识别方法
CN110991257A (zh) 基于特征融合与svm的极化sar溢油检测方法
CN115240069A (zh) 一种全雾天场景下的实时性障碍物检测方法
CN115861756A (zh) 基于级联组合网络的大地背景小目标识别方法
CN116524189A (zh) 一种基于编解码索引化边缘表征的高分辨率遥感图像语义分割方法
TWI696958B (zh) 影像適應性特徵提取法及其應用
Tian et al. Semantic segmentation of remote sensing image based on GAN and FCN network model
CN113095181A (zh) 基于Defense-GAN的交通标志识别方法
CN112861840A (zh) 基于多特征融合卷积网络的复杂场景字符识别方法及系统
CN107529647B (zh) 一种基于多层无监督稀疏学习网络的云图云量计算方法
Pang et al. Target tracking based on siamese convolution neural networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210709

RJ01 Rejection of invention patent application after publication