CN113837217B - 基于深度学习的被动式非视域图像识别方法及识别装置 - Google Patents
基于深度学习的被动式非视域图像识别方法及识别装置 Download PDFInfo
- Publication number
- CN113837217B CN113837217B CN202110751193.4A CN202110751193A CN113837217B CN 113837217 B CN113837217 B CN 113837217B CN 202110751193 A CN202110751193 A CN 202110751193A CN 113837217 B CN113837217 B CN 113837217B
- Authority
- CN
- China
- Prior art keywords
- image
- visual field
- passive non
- field image
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000000007 visual effect Effects 0.000 title claims abstract description 320
- 238000000034 method Methods 0.000 title claims abstract description 71
- 238000013135 deep learning Methods 0.000 title claims abstract description 56
- 238000012549 training Methods 0.000 claims abstract description 82
- 238000012360 testing method Methods 0.000 claims abstract description 38
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 13
- 239000000284 extract Substances 0.000 claims abstract description 5
- 238000003384 imaging method Methods 0.000 claims description 90
- 230000000903 blocking effect Effects 0.000 claims description 30
- 238000001514 detection method Methods 0.000 claims description 13
- 238000007781 pre-processing Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 7
- 238000005516 engineering process Methods 0.000 description 21
- 238000012545 processing Methods 0.000 description 10
- 238000004088 simulation Methods 0.000 description 9
- 238000002474 experimental method Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 239000013598 vector Substances 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 230000001186 cumulative effect Effects 0.000 description 4
- 238000011084 recovery Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 241000282412 Homo Species 0.000 description 2
- 230000003042 antagnostic effect Effects 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
- G06F21/57—Certifying or maintaining trusted computer platforms, e.g. secure boots or power-downs, version controls, system software checks, secure updates or assessing vulnerabilities
- G06F21/577—Assessing vulnerabilities and evaluating computer system security
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F2221/03—Indexing scheme relating to G06F21/50, monitoring users, programs or devices to maintain the integrity of platforms
- G06F2221/033—Test or assess software
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Security & Cryptography (AREA)
- Computer Hardware Design (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于深度学习的被动式非视域图像识别方法及识别装置，被动式非视域图像识别方法包括：基于视域图像识别训练数据集中的样本图像构建用于被动式非视域图像识别训练的被动式非视域图像训练集；采用多个深度学习识别网络构建用于被动式非视域图像识别的第一深度学习识别网络；采用被动式非视域图像训练集训练第一深度学习识别网络，待算法收敛之后得到用于被动式非视域图像识别的被动式非视域图像识别模型；基于视域图像测试数据集构建用于被动式非视域图像识别模型的被动式非视域测试图像；被动式非视域图像识别模型抽取被动式非视域测试图像进行识别，并获取识别结果。本发明可快速、准确地识别出被动式非视域图像的类别。
Description
技术领域
本发明涉及图像识别领域，尤其涉及一种基于深度学习的被动式非视域图像识别方法及识别装置。
背景技术
非视域成像(Non-line-of-sight,NLOS)是一种利用散射光来检测障碍物后或拐角处隐藏物体的技术，在天文探测、太空探索、军事侦查、搜索救援、自动驾驶汽车、医学成像等领域上都具备潜在的应用价值。根据应用场景的不同，NLOS成像可以通过重建或识别来实现。NLOS重建的目的是对隐藏的物体进行视觉成像，而NLOS识别侧重于对隐藏的物体进行分类。
目前，绝大多数NLOS成像技术都需要有源激光照射，如基于LIDAR(雷达)技术的方法，基于光学相干性的方法和基于全息技术的方法。基于LIDAR技术的NLOS成像方法通过使用条纹相机或雪崩光电二极管单光子探测器和短脉冲激光器可以进行三维场景重建。然而，基于LIDAR技术的NLOS成像方法面临着成本高、光子效率低、采集时间长等严重的实际限制。不同于基于LIDAR技术的NLOS成像方法，基于光学相干性或全息技术的NLOS成像方法可以用较便宜的硬件实现隐藏物体的形状恢复，但是其依然面临许多困难。比如：基于光学相干性的方法会受到稀疏的隐藏物体和小视场的限制；基于全息技术的方法在记录全息图时面临着严重的实际困难。
NLOS识别可以直接提供隐藏对象的标签。现有的使用激光雷达技术的主动式NLOS识别技术能够以76.6％的精度识别隐藏在散射介质后的人体姿态，使用光学相干技术的主动式NLOS识别技术则在MNIST手写数字数据集上实现了90％的准确率，并在隐藏在拐角处的人体姿态数据集上实现了78.18％的准确率。
与主动式技术不同，被动式NLOS成像使用隐藏物体的微弱散射光或热辐射而非探测激光进行成像。由于被动式NLOS成像的硬件系统简便且具有很好的隐蔽性，它在一些实际场景中非常具有应用价值。然而，被动式NLOS成像面临着有限的编程控制能力，并且极具挑战性。针对上述问题，研究者提出了许多不同的解决方法。例如：在非视域成像系统中使用挡板、热信息或偏振光等来实现角落周围的成像；在非视域成像系统中使用孔径掩模或深度神经网络对隐藏在散射介质后的图像进行成像。其中，基于挡板的被动式NLOS重建技术通过求解一个逆向问题来恢复角落周围的2D场景。但是该方法需要预知实验场景的先验信息，在挡板信息缺失时只能产生低质量的恢复结果。另外，该方法需要花费几分钟的时间来估计挡板的位置以及数十秒以上的时间来重建非视域物体，这在实际应用中是不现实的。目前，已有研究使用深度学习技术对散射介质后的物体进行NLOS重建，以提高恢复质量。但是当手写数字被同侧超弱激光照亮时，重建质量较差，而被动式NLOS成像系统中的有用信号通常都极弱。当恢复质量较差时，人类很难用肉眼识别隐藏的物体。NLOS识别可以避免上述问题，同时加快成像过程。据我们所知，到目前为止，被动式NLOS识别还没有被探索过。
随着人工智能的飞速发展，深度学习技术已经得到了广泛的应用。鉴于深度学习算法在技术性方面存在不足，深度学习技术在给人带来便捷性的同时，也面临着巨大的挑战。深度学习模型的安全性问题更是加剧了被对抗样本欺骗以及隐私泄露等安全风险。自2014年Szegedy等人提出对抗样本以来，深度学习技术的安全性问题受到了越来越广泛的关注。现有的研究都是基于视域图像的，并且研究表明，视域图像(Line-of-sight，LOS)的深度学习模型很容易受到攻击，使得模型完全失效。由于现有的非视域成像技术对深度学习技术有依赖性，并且被动式非视域图像对人类而言具有不可见性，因此研究基于深度学习的被动式非视域图像识别模型的安全性问题是十分有必要且非常迫切的。根据调研结果，目前尚未有人研究基于深度学习的被动式非视域图像识别模型的安全性问题。
发明内容
本发明的目的在于提供一种基于深度学习的被动式非视域图像识别方法及识别装置。
为实现上述发明目的，本发明提供一种基于深度学习的被动式非视域图像识别方法，包括以下步骤：
S1.基于视域图像识别训练数据集中的样本图像构建用于被动式非视域图像识别训练的被动式非视域图像训练集；
S2.采用多个深度学习识别网络构建用于被动式非视域图像识别的第一深度学习识别网络；
S3.采用所述被动式非视域图像训练集训练所述第一深度学习识别网络，待算法收敛之后得到用于被动式非视域图像识别的被动式非视域图像识别模型；
S4.基于视域图像测试数据集中的样本图像构建用于所述被动式非视域图像识别模型的被动式非视域测试图像；
S5.所述被动式非视域图像识别模型抽取所述被动式非视域测试图像进行识别，并获取识别结果。
根据本发明的一个方面，步骤S1中，基于视域图像识别训练数据集中的样本图像构建用于被动式非视域图像识别训练的被动式非视域图像训练集的步骤中，包括：
S11.抽取所述视域图像识别训练数据集中的样本图像，并将所述样本图像投射到显示装置上；
S12.在所述显示装置的前方依次设置有挡板和成像墙，且所述显示装置所显示的样本图像经过挡板在所述成像墙上投射出干涉图像；
S13.采用图像采集装置对所述干涉图像成像获取构建所述被动式非视域图像训练集的训练样本；其中，所述图像采集装置与所述显示装置处于所述成像墙的同一侧，且在所述图像采集装置与所述显示装置之间设置遮挡光线的遮挡墙；
S14.重复步骤S11至S13，通过获取的所述训练样本生成所述被动式非视域图像训练集。
根据本发明的一个方面，步骤S2中，采用多个深度学习识别网络构建用于被动式非视域图像识别的第一深度学习识别网络的步骤中，采用SimpleNet网络或ResNet18网络构建所述第一深度学习识别网络；
步骤S3中，采用所述被动式非视域图像训练集训练所述第一深度学习识别网络的步骤中，采用从头训练的方式来提取所述被动式非视域图像训练集的训练样本中特有的属性特征；以及，采用SGD算法和等间隔调整学习率的方式对所述第一深度学习识别网络的参数进行优化。
根据本发明的一个方面，步骤S4中，基于视域图像测试数据集中的样本图像构建用于所述被动式非视域图像识别模型的被动式非视域图像测试集的步骤中，包括：
S41.抽取所述视域图像测试数据集中的样本图像，并将所述样本图像投射到显示装置上；
S42.在所述显示装置的前方依次设置有挡板和成像墙，且所述显示装置所显示的样本图像经过挡板在所述成像墙上投射出干涉图像；
S43.采用图像采集装置对所述干涉图像成像作为所述被动式非视域测试图像；其中，所述图像采集装置与所述显示装置处于所述成像墙的同一侧，且在所述图像采集装置与所述显示装置之间设置遮挡光线的遮挡墙。
为实现上述发明目的，本发明提供一种用于被动式非视域图像识别模型安全性的检测方法，采用墙面扰动攻击策略实现，包括以下步骤：
S01.基于原始的视域图像识别数据集中的样本图像构建原始的被动式非视域图像识别数据集；
S02.基于所述被动式非视域图像识别数据集，并利用白盒攻击法模拟攻击待检验的被动式非视域图像识别模型，生成墙面扰动；
S03.基于原始的所述视域图像识别数据集中的样本图像获取包含所述墙面扰动的第一被动式非视域图像；
S04.采用所述被动式非视域图像识别模型对所述第一被动式非视域图像进行识别，基于获取的识别结果进行安全性检测。
根据本发明的一个方面，步骤S1中，基于原始的视域图像识别数据集中的样本图像构建原始的被动式非视域图像识别数据集的步骤中，包括：
S011.抽取所述原始的视域图像识别数据集中的样本图像，并将所述样本图像投射到显示装置上；
S012.在所述显示装置的前方依次设置有挡板和成像墙，且所述显示装置所显示的样本图像经过挡板在所述成像墙上投射出干涉图像；
S013.采用图像采集装置对所述干涉图像成像获取构建所述被动式非视域图像识别数据集的识别样本；其中，所述图像采集装置与所述显示装置处于所述成像墙的同一侧，且在所述图像采集装置与所述显示装置之间设置遮挡光线的遮挡墙；
S014.重复步骤S011至S013，通过获取的所述识别样本生成所述被动式非视域图像识别数据集。
根据本发明的一个方面，步骤S03中，基于原始的所述视域图像识别数据集中的样本图像获取包含所述墙面扰动的第一被动式非视域图像的步骤中，包括：
S031.将所述墙面扰动添加到成像墙上；
S032.抽取所述原始的视域图像识别数据集中的样本图像，并将所述样本图像投射到显示装置上；
S033.挡板和所述成像墙依次设置在所述显示装置的前方，且所述显示装置所显示的样本图像经过挡板在添加有所述墙面扰动的所述成像墙上投射出干涉图像；
S034.采用图像采集装置对叠加有所述墙面扰动的所述干涉图像成像获取所述第一被动式非视域图像；其中，所述图像采集装置与所述显示装置处于所述成像墙的同一侧，且在所述图像采集装置与所述显示装置之间设置遮挡光线的遮挡墙。
为实现上述发明目的，本发明提供一种用于被动式非视域图像识别模型安全性的检测方法，采用图像扰动攻击策略实现，包括以下步骤：
S001.基于原始的视域图像识别数据集，并利用白盒攻击法模拟攻击待检验的被动式非视域图像识别模型，生成图像扰动；
S002.将所述图像扰动添加至原始的所述视域图像识别数据集中的样本图像中，构建对抗样本；
S003.基于所述对抗样本获取第二被动式非视域图像；
S004.采用所述被动式非视域图像识别模型对所述第二被动式非视域图像进行识别，基于获取的识别结果进行安全性检测。
根据本发明的一个方面，步骤S003中，基于所述对抗样本获取第二被动式非视域图像的步骤中，包括：
S0031.抽取所述对抗样本，并将所述样本图像投射到显示装置上；
S0032.在所述显示装置的前方依次设置有挡板和成像墙，且所述显示装置所显示的样本图像经过挡板在所述成像墙上投射出干涉图像；
S0033.采用图像采集装置对所述干涉图像成像获取所述第二被动式非视域图像；其中，所述图像采集装置与所述显示装置处于所述成像墙的同一侧，且在所述图像采集装置与所述显示装置之间设置遮挡光线的遮挡墙。
为实现上述发明目的，本发明提供一种用于被动式非视域图像识别的识别装置，包括：计算机储存器、计算机处理器以及储存在所述计算机储存器中并在所述计算机处理器上执行的计算机程序，所述计算机储存器中存有前述的被动式非视域图像识别模型，所述计算机处理器基于所述计算机程序执行所述被动式非视域图像识别模型，包括以下步骤：
1)对待识别的被动式非视域图像进行预处理；
2)调用所述被动式非视域图像识别模型对预处理后的所述被动式非视域图像进行识别，输出识别结果。
根据本发明的一种方案，本发明法可以快速、准确地识别出被动式非视域图像的类别。此外，本发明使用白盒攻击技术检验提出的被动式非视域图像深度学习识别方法的安全性问题。
根据本发明的一种方案，本发明提出了一种直接使用深度卷积神经网络对被动式非视域图像进行分类的方法。与现有的基于拐角处的被动式成像方法相比，该方法无需对场景进行校准，也无需复杂且耗时的图像重构；与现有的主动式非视域识别技术相比，该方法无需昂贵的成像设备，因此该方法具有更好的实用性。该方法可有效地减少先重建后识别过程中有效信息的损失，从而大幅提升被动式非视域图像的识别精度，特别地，在MNIST手写体数据集上的识别准确率可以达到99％。
根据本发明的一种方案，本发明还提供了一种使用白盒攻击技术检验被动式非视域图像深度识别模型安全性的方法。该方法可以在不影响视域内人类观察的情况下，生成一种与原始被动式非视域图像高度相似的携带轻微扰动的被动式非视域图像，并利用该被扰动的被动式非视域图像对非视域图像深度学习识别模型进行攻击，进而实现检验被动式非视域深度学习识别模型安全性的目的。该方法可以应用在军事领域的非视域信息保护方面。
附图说明
图1示意性表示根据本发明的一种实施方式的被动式非视域图像识别方法的流程图；
图2示意性表示根据本发明的一种实施方式的采用墙面扰动攻击策略的安全性检测方法的流程图；
图3示意性表示根据本发明的一种实施方式的采用图像扰动攻击策略的安全性检测方法的流程图；
图4示意性表示本发明依赖的基于挡板的被动式非视域成像实验平台示意图；
图5示意性表示本发明构建的SimpleNet被动式非视域图像深度学习识别网络；
图6示意性表示本发明构建的ResNet18被动式非视域图像深度学习识别网络；
图7示意性表示本发明训练的被动式非视域图像识别模型的准确率和交叉熵损失趋势图；
图8示意性表示本发明提出的被动式非视域图像识别模型攻击策略示意图；
图9示意性表示本发明提出的基于DDN(Decoupl ing Direct ion and Norm)算法的墙面扰动生成方法；
图10示意性表示本发明提出的基于DDN算法的图像扰动生成方法；
图11示意性表示本发明生成的被扰动的被动式非视域图像示例。
具体实施方式
为了更清楚地说明本发明实施方式或现有技术中的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍。
如图1所示，根据本发明的一种实施方式，本发明的一种基于深度学习技术的被动式非视域图像识别方法，包括以下步骤：
S1.基于视域图像识别训练数据集中的样本图像构建用于被动式非视域图像识别训练的被动式非视域图像训练集；
S2.采用多个深度学习识别网络构建用于被动式非视域图像识别的第一深度学习识别网络；
S3.采用被动式非视域图像训练集训练第一深度学习识别网络，待算法收敛之后得到用于被动式非视域图像识别的被动式非视域图像识别模型；
S4.基于视域图像测试数据集中的样本图像构建用于被动式非视域图像识别模型的被动式非视域测试图像；
S5.被动式非视域图像识别模型抽取被动式非视域测试图像进行识别，并获取识别结果。
结合图1和图4所示，根据本发明的一种实施方式，步骤S1中，基于视域图像识别训练数据集中的样本图像构建用于被动式非视域图像识别训练的被动式非视域图像训练集的步骤中，包括：
S11.抽取视域图像识别训练数据集中的样本图像，并将样本图像投射到显示装置上；
S12.在显示装置的前方依次设置有挡板和成像墙，且显示装置所显示的样本图像经过挡板在成像墙上投射出干涉图像；
S13.采用图像采集装置(例如普通相机)对干涉图像成像获取构建被动式非视域图像训练集的训练样本；其中，图像采集装置与显示装置处于成像墙的同一侧，且在图像采集装置与显示装置之间设置遮挡光线的遮挡墙；在本实施方式中，采用图像采集装置对干涉图像成像获取构建被动式非视域图像训练集的训练样本的步骤中，采用图像采集装置对干涉图像成像，并将获取的图像进行预处理，包括下采样、灰度处理，同时记录其分类标签，经过预处理后的图像成为训练样本。
S14.重复步骤S11至S13，通过获取的训练样本生成被动式非视域图像训练集。
结合图1、图5、图6所示，根据本发明的一种实施方式，步骤S2中，采用多个深度学习识别网络构建用于被动式非视域图像识别的第一深度学习识别网络的步骤中，采用SimpleNet网络或ResNet18网络构建第一深度学习识别网络。在本实施方式中，SimpleNet网络由卷积层、池化层、全连接层以及Softmax分类层构成，且不采用预训练参数；此外，还在SimpleNet网络中添加有BN层，提高了识别精度。ResNet18网络由卷积层、池化层、全连接层以及Softmax分类层构成，且不采用预训练参数；在ResNet18网络中还设置有跳跃连接结构。
步骤S3中，采用被动式非视域图像训练集训练第一深度学习识别网络的步骤中，采用从头训练的方式来提取被动式非视域图像训练集的训练样本中特有的属性特征；以及，采用SGD算法和等间隔调整学习率的方式对第一深度学习识别网络的参数进行优化。
如图1所示，根据本发明的一种实施方式，步骤S4中，基于视域图像测试数据集中的样本图像构建用于被动式非视域图像识别模型的被动式非视域图像测试集的步骤中，包括：
S41.抽取视域图像测试数据集中的样本图像，并将样本图像投射到显示装置上；
S42.在显示装置的前方依次设置有挡板和成像墙，且显示装置所显示的样本图像经过挡板在成像墙上投射出干涉图像；
S43.采用图像采集装置对干涉图像成像作为被动式非视域测试图像；其中，图像采集装置与显示装置处于成像墙的同一侧，且在图像采集装置与显示装置之间设置遮挡光线的遮挡墙。在本实施方式中，在获得被动式非视域测试图像后需要进行预处理，包括下采样和灰度处理。
为进一步说明本发明，结合附图对本发明的实施方式作进一步举例。
本发明的基于深度学习技术的被动式非视域图像识别方法，包括以下步骤：
S1.基于视域图像识别训练数据集中的样本图像构建用于被动式非视域图像识别训练的被动式非视域图像训练集。
在本实施方式中，本实施例采用计算机视觉领域的MNIST数据集作为视域图像识别数据集，该数据集由数字0-9十个数字构成，包括60000张训练集和10000张测试集。在选定视域图像识别数据集后，依次将其训练集的图像显示在图4所示的基于挡板的被动式非视域成像实验平台的显示器屏幕上，然后用普通相机拍摄显示器屏幕上的图像经由挡板在成像墙上产生的干涉图像，获取相应的被动式非视域图像。为了加快模型的训练，对获取的被动式非视域图像进行预处理，包括下采样和灰度处理，同时记录其分类标签，以此构建被动式非视域图像识别训练数据集。
S2.采用多个深度学习识别网络构建用于被动式非视域图像识别的第一深度学习识别网络。
在本实施方式中，如图5和图6所示，本实施例中采用了SimpleNet、ResNet18两种被动式非视域图像深度学习识别网络，除ResNet18识别网络拥有特有的跳跃连接结构外，所述的两种非视域图像深度学习识别网络都包括卷积层、池化层、全连接层以及Softmax分类层，且不采用预训练参数。本实施例中被动式非视域图像的类别是10类，所以两个识别网络的最后一层都要设置为10标签的Softmax分类器。
S3.采用被动式非视域图像训练集训练第一深度学习识别网络，待算法收敛之后得到用于被动式非视域图像识别的被动式非视域图像识别模型。在本实施方式中，利用前述步骤获取的第一深度学习识别网络进行训练，待算法收敛之后，获得参数最优的被动式非视域图像识别模型。由于被动式非视域图像训练集和常用的视域图像识别训练数据集中的图像内容不同，所以本实施例中选择从头学习的训练策略。另外，由于交叉熵可以较好地描述实际输出概率分布与期望输出概率分布之间的距离，所以本实施例中选择交叉熵作为损失函数。交叉熵的值越小，表明两个概率分布越接近，说明训练的模型越好。在具体训练时，采用SGD算法作为参数优化方法，训练次数为60个epoch，初始学习率为0.01，动量为0.9，并且每5个epoch之后，学习率衰减为原来的0.9倍。
S4.基于视域图像测试数据集中的样本图像构建用于被动式非视域图像识别模型的被动式非视域测试图像。
在本实施方式中，将MNIST数据集的测试集的图像显示在图4所示的基于挡板的被动式非视域成像实验平台的显示器屏幕上，然后使用普通相机拍摄显示器屏幕上的图像经由挡板在成像墙上产生的干涉图像，获取待识别的被动式非视域测试图像，并对其进行预处理，包括下采样和灰度处理。
S5.被动式非视域图像识别模型抽取被动式非视域测试图像进行识别，并获取识别结果。
在本实施方式中，利用前述步骤中训练的被动式非视域图像识别模型对预处理后的待识别的被动式非视域测试图像进行识别，获得测试结果。图7显示了本实施例训练的被动式非视域图像识别模型的准确率和交叉熵损失趋势图。从图7可以看出：1)随着迭代次数的增加，模型在训练集和测试集上的准确率整体呈现上升趋势，且迭代结束时准确率分别达到了100％和99％；2)随着迭代次数的增加，训练集和测试集的交叉熵损失整体呈现下降趋势，且迭代结束时交叉熵损失分别降到了0.004和0.06。根据准确率和交叉熵损失的变化，可以看出，本实施例训练的被动式非视域图像识别模型的效果较好，达到了试验预期目标。
如图2所示，根据本发明的一种实施方式，本发明的一种用于被动式非视域图像识别模型安全性的检测方法，采用墙面扰动攻击策略实现，包括以下步骤：
S01.基于原始的视域图像识别数据集中的样本图像构建原始的被动式非视域图像识别数据集；
S02.基于被动式非视域图像识别数据集，并利用白盒攻击法模拟攻击待检验的被动式非视域图像识别模型，生成墙面扰动；
S03.基于原始的视域图像识别数据集中的样本图像获取包含墙面扰动的第一被动式非视域图像；
S04.采用被动式非视域图像识别模型对第一被动式非视域图像进行识别，基于获取的识别结果进行安全性检测。
如图1所示，根据本发明的一种实施方式，步骤S1中，基于原始的视域图像识别数据集中的样本图像构建原始的被动式非视域图像识别数据集的步骤中，包括：
S011.抽取原始的视域图像识别数据集中的样本图像，并将样本图像投射到显示装置上；
S012.在显示装置的前方依次设置有挡板和成像墙，且显示装置所显示的样本图像经过挡板在成像墙上投射出干涉图像；
S013.采用图像采集装置对干涉图像成像获取构建被动式非视域图像识别数据集的识别样本；其中，图像采集装置与显示装置处于成像墙的同一侧，且在图像采集装置与显示装置之间设置遮挡光线的遮挡墙；在本实施方式中，采用图像采集装置对干涉图像成像后对获取的图像进行预处理，包括下采样、灰度处理，同时记录其分类标签，以此获取识别样本。
S014.重复步骤S011至S013，通过获取的识别样本生成被动式非视域图像识别数据集。
结合图2、图4、图8所示，根据本发明的一种实施方式，步骤S03中，基于原始的视域图像识别数据集中的样本图像获取包含墙面扰动的第一被动式非视域图像的步骤中，包括：
S031.将墙面扰动添加到成像墙上；在本实施方式中，将生成的墙面扰动打印后粘贴到成像墙上以获取被扰动的成像墙。
S032.抽取原始的视域图像识别数据集中的样本图像，并将样本图像投射到显示装置上；
S033.挡板和成像墙依次设置在显示装置的前方，且显示装置所显示的样本图像经过挡板在添加有墙面扰动的成像墙上投射出干涉图像；
S034.采用图像采集装置对叠加有墙面扰动的干涉图像成像获取第一被动式非视域图像；其中，图像采集装置与显示装置处于成像墙的同一侧，且在图像采集装置与显示装置之间设置遮挡光线的遮挡墙。在本实施方式中，采用图像采集装置对叠加有墙面扰动的干涉图像成像后进行预处理，包括下采样和灰度处理。
如图2所示，根据本发明的一种实施方式，步骤S04中，采用被动式非视域图像识别模型对第一被动式非视域图像进行识别，基于获取的识别结果进行安全性检测的步骤中，如果第一被动式非视域图像被错误地分类，则说明被动式非视域图像识别模型被墙面扰动成功攻击，被动式非视域图像识别模型的安全性有待提高，反之则说明墙面扰动攻击模型失败，被动式非视域图像识别模型具有很好的安全性。
在本实施方式中，生成了一种与原始的被动式非视域图像高度相似的携带轻微扰动的被动式非视域图像，利用生成的被扰动的被动式非视域图像去攻击被动式非视域图像识别模型，进而实现检验被动式非视域图像识别模型安全性的目的。本实施例提出的携带轻微扰动的被动式非视域图像，是基于墙面扰动攻击策略(如图8的攻击策略#1)的方法，在图4所示的基于挡板的被动式非视域成像实验平台的成像墙上添加微小的扰动，直接生成携带扰动的被动式非视域图像。
由于人类对携带轻微扰动的图像是无法感知的，所以携带轻微扰动的视域图像是无法影响人类的判断的。但是被动式非视域图像识别模型对携带轻微扰动的被动式非视域图像是敏感的，即很容易将被扰动的被动式非视域图像识别为错误的类别。因此使用本实施例提出的攻击策略生成携带微小扰动的被动式非视域图像的方法，可以实现在不影响视域内人类观察的情况下攻击被动式非视域图像识别模型的目的，进而实现保护视域场景中信息的效果。
为进一步说明本发明，结合附图对本发明的实施方式作进一步举例。
本发明采用墙面扰动攻击策略的方案，包括以下步骤：
S01.基于原始的视域图像识别数据集中的样本图像构建原始的被动式非视域图像识别数据集。
在本实施方式中，将原始的视域图像识别数据集的样本图像(指未携带扰动的视域图像)依次显示在图4所示的原始的基于挡板的被动式非视域成像实验平台(指成像墙未粘贴扰动的实验平台)的显示器屏幕上，使用普通相机拍摄显示器屏幕上的图像经由挡板在成像墙上产生的干涉图像，获取原始的被动式非视域图像(指未携带扰动的非视域图像)，并对所述的原始的被动式非视域图像进行预处理，包括下采样、灰度处理，同时记录其分类标签，以此构建原始的被动式非视域图像识别数据集。
S02.基于被动式非视域图像识别数据集，并利用白盒攻击法模拟攻击待检验的被动式非视域图像识别模型，生成墙面扰动；
在本实施方式中，采用前述的被动式非视域图像识别数据集，利用白盒攻击技术模拟攻击待检验的被动式非视域图像识别模型，生成墙面扰动。如图6所示，具体步骤如下：
步骤S02-1：输入原始的被动式非视域图像识别数据集中的被动式非视域图像x和真实标签y；
步骤S02-2：将迭代计数器k设置为0，初始扰动Δ0和累计梯度方向δ0设置为与被动式非视域图像x同等大小且像素全为零的图像，ε0设置为1；
步骤S02-3：将被动式非视域图像x与扰动Δk求和得到被扰动的被动式非视域图像，即对抗样本将迭代计数器k执行加一操作。判断k是否小于预设的迭代次数k,如果满足条件，输出扰动Δk-1，否则，将对抗样本/>及其真实标签y输入待检验的被动式非视域图像识别模型(图5的SimpleNet或图6的ResNet18模型)，计算其损失函数和对抗状态，并分别更新扰动方向(累计梯度方向)与扰动大小(步长)，进而更新扰动Δk。其中，损失函数为：/>表示当前对抗样本/>的预测结果与真实标签y的交叉熵。θ表示待检验的被动式非视域图像识别模型的参数。当前的扰动方向，即累计梯度方向为：δk＝δk-1+g，其中δk-1表示k-1时刻的累计梯度方向，g表示当前的梯度方向，计算公式为：
α为学习率。有两种状态，如果它是可对抗的，即可以欺骗待检验的被动式非视域图像识别模型，也就是待检验的被动式非视域图像识别模型将其错误地判断为其他的类别而非其真实标签y，当前的扰动的大小，也即步长更新为：εk＝(1-γ)εk-1，其中εk-1为k-1时刻的步长，γ为自适应因子；否则当前的步长更新为：εk＝(1+γ)εk-1。
随后，扰动Δk可通过将扰动的方向和大小进行耦合来计算得到，即扰动其中||·||2表示向量的欧式范数。重复执行步骤S02-3，直到其达到预设的迭代次数为止。
步骤S02-4：步骤S02-3计算的扰动是特定的，即不同的被动式非视域图像x拥有不同的扰动。由于扰动的特定性，将其粘贴到成像墙上是困难的。为了解决这个困难，本实施例基于原始的被动式非视域图像识别数据集的所有图像的特定扰动计算出一个普遍扰动作为最终的墙面扰动，具体的计算方式如下：
随机选取步骤S02-3为原始的被动式非视域图像识别数据集的某一张图像生成的特定扰动初始化普遍扰动v；
如果基于普遍扰动v与当前选取的被动式非视域图像xi生成的对抗样本无法欺骗待检验的被动式非视域图像识别模型，则在普遍扰动v的基础上增加最小范数的扰动Δvi，以欺骗待检验的被动式非视域图像识别模型，Δvi的计算公式为：
其中，min表示最小化函数；||·||2表示向量的欧式范数；s.t.表示约束条件；代表待检验的被动式非视域图像识别模型对样本xi+v+r的预测类别；k(xi)为图像xi的真实标签。
遍历步骤S02-3为原始的被动式非视域图像识别数据集生成的所有特定扰动，直至待检验的被动式非视域图像识别模型的错误率达到预期设定值为止。
S03.基于原始的视域图像识别数据集中的样本图像获取包含墙面扰动的第一被动式非视域图像。
在本实施方式中，将前述步骤中生成的墙面扰动打印粘贴到成像墙上。将原始的视域图像识别数据集中的样本图像显示在显示器上，使用普通相机拍摄显示器屏幕上的图像经由挡板在被扰动的成像墙上产生的干涉图像，获取被扰动的第一被动式非视域图像。在本实施方式中，获取的被扰动的第一被动式非视域图像进行预处理，包括下采样和灰度处理；
S04.采用被动式非视域图像识别模型对第一被动式非视域图像进行识别，基于获取的识别结果进行安全性检测。
在本实施方式中，如果被扰动的第一被动式非视域图像被错误地分类，则说明被动式非视域图像识别模型被墙面扰动成功攻击，被动式非视域图像识别模型的安全性有待提高，反之则说明墙面扰动攻击模型失败，被动式非视域图像识别模型具有很好的安全性。
如图3所示，根据本发明的一种实施方式，本发明的一种用于被动式非视域图像识别模型安全性的检测方法，采用图像扰动攻击策略实现，包括以下步骤：
S001.基于原始的视域图像识别数据集，并利用白盒攻击法模拟攻击待检验的被动式非视域图像识别模型，生成图像扰动；
S002.将图像扰动添加至原始的视域图像识别数据集中的样本图像中，构建被扰动的视域图像，即对抗样本；
S003.基于对抗样本获取第二被动式非视域图像；
S004.采用被动式非视域图像识别模型对第二被动式非视域图像进行识别，基于获取的识别结果进行安全性检测。
结合图3、图4和图8所示，根据本发明的一种实施方式，步骤S003中，基于对抗样本获取第二被动式非视域图像的步骤中，包括：
S0031.抽取对抗样本，并将样本图像投射到显示装置上；
S0032.在显示装置的前方依次设置有挡板和成像墙，且显示装置所显示的样本图像经过挡板在成像墙上投射出干涉图像；
S0033.采用图像采集装置对干涉图像成像获取第二被动式非视域图像；其中，图像采集装置与显示装置处于成像墙的同一侧，且在图像采集装置与显示装置之间设置遮挡光线的遮挡墙。在本实施方式中，采用图像采集装置对干涉图像成像后，对其进行预处理，包括下采样和灰度处理，进而获得第二被动式非视域图像。
如图3所示，根据本发明的一种实施方式，步骤S004中.采用被动式非视域图像识别模型对第二被动式非视域图像进行识别，基于获取的识别结果进行安全性检测。在本实施方式中，如果第二被动式非视域图像被错误地分类，则说明被动式非视域图像识别模型被图像扰动成功攻击，被动式非视域图像识别模型的安全性有待提高，反之则说明图像扰动攻击模型失败，被动式非视域图像识别模型具有很好的安全性。
在本实施方式中，生成了一种与原始的被动式非视域图像高度相似的携带轻微扰动的被动式非视域图像，利用生成的被扰动的被动式非视域图像去攻击被动式非视域图像识别模型，进而实现检验被动式非视域图像识别模型安全性的目的。本实施例提出的携带轻微扰动的被动式非视域图像，是基于图像扰动攻击策略(如图8的攻击策略#2)的方法，在视域图像上添加微小的扰动，进而通过图1所示的基于挡板的被动式非视域成像实验平台获得携带轻微扰动的被动式非视域图像。
根据本发明，使用本实施例提出的攻击策略生成携带微小扰动的被动式非视域图像的方法，可以实现在不影响视域内人类观察的情况下攻击被动式非视域图像识别模型的目的，进而实现保护视域场景中信息的效果。
为进一步说明本发明，结合附图对本发明的实施方式作进一步举例。
本发明采用图像扰动攻击策略的方案，包括以下步骤：
S001.基于原始的视域图像识别数据集，并利用白盒攻击法模拟攻击待检验的被动式非视域图像识别模型，生成图像扰动；
基于原始视域图像识别数据集，即未携带扰动的视域图像识别数据集(图1中显示在显示器屏幕上的图像)，利用白盒攻击技术模拟攻击待检验的被动式非视域图像识别模型，生成图像扰动。现有的光学研究表明，在被动式非视域图像识别场景中(如图4)，显示器屏幕上的视域图像与相机拍摄成像墙上的干涉图像获取的被动式非视域图像在理论上呈现线性关系，可用f＝A(P0)x+b来表示,下文称此模型为前向传输模型。其中，f表示为被动式非视域图像，x为视域图像，A(P0)为光转移概率矩阵，b是对未知背景的建模。
基于该理论，本实施例提出一种基于视域图像生成图像扰动的方法，该方法的核心思想是用前向传输模型来估计视域图像与拍摄的被动式非视域图像之间的关系，这样，基于视域图像生成欺骗被动式非视域图像识别模型的图像扰动就具有可行性。如图10所示，显示器屏幕上的图像扰动可以通过如下方式模拟计算：
步骤S001-1：输入原始的视域图像识别数据集中的视域图像x和真实标签y；
步骤S001-2：将迭代计数器k设置为0，初始扰动Δ0和累计梯度方向δ0设置为与视域图像x同等大小且像素全为零的图像，ε0设置为1；
步骤S001-3：计算视域图像x的扰动，此处的计算方法与基于墙面扰动攻击策略的被动式非视域深度学习识别模型安全性检验方法中的步骤S02-3是相同的，在此不在赘述。但是需要注意的是，如图10所示，此处的被动式非视域图像是通过前向传输模型模拟生成的，因此，损失函数要修改为：其中/>
相应地，当前的梯度方向要修改为：注意此处的梯度方向是针对视域图像而非模拟生成的被动式非视域图像设计的。另外，此处需要根据模拟生成的被动式非视域图像/>的状态去更新步长。本实施例中，忽略相机本身对拍摄结果的影响时，光转移概率矩阵A(P0)中的每个元素可以通过使用矩形法近似计算如下公式得到：
其中，Sj表示显示器屏幕的像素j，pw是成像墙的像素区域，nw、nx分别是成像墙和显示器屏幕的法向量；表示向量之间的夹角；||·||2表示向量的欧式范数；表示的显示器屏幕的辐射模型与观察角度的变化；/>表示x到pw的路径如果没被遮挡则为1，否则为0。背景项b可以通过如下方式计算得到：
对于原始的视域图像识别数据集中的每一幅图像，将拍摄的被动式非视域图像与预乘光转移概率矩阵A(P0)的视域图像取差，即可得到一组背景项的估计值；
将这组背景项估计值的平均值作为最终背景项的取值。
S002.将图像扰动添加至原始的视域图像识别数据集中的样本图像中，构建被扰动的视域图像，即对抗样本；
在本实施方式中，将步骤S001生成的图像扰动添加到原始视域图像识别数据集中的图像，构建视域图像的对抗样本，即被扰动的视域图像。
S003.基于对抗样本获取第二被动式非视域图像；
在本实施方式中，将步骤S002中构建的被扰动的视域图像显示在原始的基于挡板的被动式非视域成像实验平台的显示器屏幕上，使用普通相机拍摄显示器屏幕上的图像经由挡板在成像墙上产生的干涉图像，获取被扰动的被动式非视域图像。对获取的被扰动的被动式非视域图像进行预处理，包括下采样和灰度处理。
S004.采用被动式非视域图像识别模型对第二被动式非视域图像进行识别，基于获取的识别结果进行安全性检测。
在本实施方式中，利用待检验的被动式非视域图像识别模型识别第二被动式非视域图像，并根据识别结果检验模型的安全性。具体地，如果被扰动的被动式非视域图像被错误地分类，则说明模型被图像扰动成功攻击，模型的安全性有待提高，反之则说明图像扰动攻击模型失败，模型具有很好的安全性。
根据本发明，在表1和图11中列出了MNIST数据集上采用上述两种攻击策略检验被动式非视域图像识别模型安全性的结果。其中，对于基于墙面扰动攻击策略的方法，模拟攻击指的是：在原始的被动式非视域图像(如图11(a))上添加步骤S02生成的墙面扰动(如图11(c))，模拟生成被扰动的被动式非视域图像(如图11(e))，并对待检验的被动式非视域图像识别模型进行攻击。对于基于图像扰动攻击策略的方法，模拟攻击指的是：将被扰动的视域图像(如图11(d))通过前向传输模型，模拟生成被扰动的被动式非视域图像，并对待检验的被动式非视域图像识别模型进行攻击。如表1所示，基于墙面攻击策略的方法模拟攻击成本(扰动的欧式范数)为0.4509，模拟生成的被扰动的被动式非视域图像的识别准确率为10.28％。将墙面扰动粘贴到图4所示实验平台的成像墙上，实际拍摄的被扰动的被动式非视域图像的识别准确率为8.92％。基于图像扰动攻击策略的方法模拟攻击成本为0.6430，模拟生成的被扰动的被动式非视域图像的识别准确率为2.39％。将被扰动的视域图像显示在图4所示的原始的实验平台的显示器屏幕上，实际拍摄的被扰动的被动式非视域图像的识别准确率为58％。综上所述，无论使用哪种方法生成被扰动的被动式非视域图像，待检验的被动式非视域图像识别模型的识别能力都会大幅下降，这说明识别模型的安全性较差，还需要进行对抗训练以提高其安全性和鲁棒性。
表1被动式非视域图像识别模型的识别准确率以及攻击成本
如图1所示，根据本发明的一种实施方式，本发明的一种用于被动式非视域图像识别的识别装置，包括：计算机储存器、计算机处理器以及储存在计算机储存器中并在计算机处理器上执行的计算机程序，计算机储存器中存有前述的被动式非视域图像识别模型，计算机处理器基于计算机程序执行被动式非视域图像识别模型，包括以下步骤：
1)对待识别的被动式非视域图像进行预处理；
2)调用被动式非视域图像识别模型对预处理后的被动式非视域图像进行识别，输出识别结果。
上述内容仅为本发明的具体方案的例子，对于其中未详尽描述的设备和结构，应当理解为采取本领域已有的通用设备及通用方法来予以实施。
以上所述仅为本发明的一个方案而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种基于深度学习的被动式非视域图像识别方法，包括以下步骤：
S1.基于视域图像识别训练数据集中的样本图像构建用于被动式非视域图像识别训练的被动式非视域图像训练集；
S2.采用多个深度学习识别网络构建用于被动式非视域图像识别的第一深度学习识别网络；步骤S2中，采用多个深度学习识别网络构建用于被动式非视域图像识别的第一深度学习识别网络的步骤中，采用SimpleNet网络或ResNet 18网络构建所述第一深度学习识别网络；
S3.采用所述被动式非视域图像训练集训练所述第一深度学习识别网络，待算法收敛之后得到用于被动式非视域图像识别的被动式非视域图像识别模型；
S4.基于视域图像测试数据集中的样本图像构建用于所述被动式非视域图像识别模型的被动式非视域测试图像；
S5.所述被动式非视域图像识别模型抽取所述被动式非视域测试图像进行识别，并获取识别结果。
2.根据权利要求1所述的被动式非视域图像识别方法，其特征在于，步骤S1中，基于视域图像识别训练数据集中的样本图像构建用于被动式非视域图像识别训练的被动式非视域图像训练集的步骤中，包括：
S11.抽取所述视域图像识别训练数据集中的样本图像，并将所述样本图像投射到显示装置上；
S12.在所述显示装置的前方依次设置有挡板和成像墙，且所述显示装置所显示的样本图像经过挡板在所述成像墙上投射出干涉图像；
S13.采用图像采集装置对所述干涉图像成像获取构建所述被动式非视域图像训练集的训练样本；其中，所述图像采集装置与所述显示装置处于所述成像墙的同一侧，且在所述图像采集装置与所述显示装置之间设置遮挡光线的遮挡墙；
S14.重复步骤S11至S13，通过获取的所述训练样本生成所述被动式非视域图像训练集。
3.根据权利要求1所述的被动式非视域图像识别方法，其特征在于，
步骤S3中，采用所述被动式非视域图像训练集训练所述第一深度学习识别网络的步骤中，采用从头训练的方式来提取所述被动式非视域图像训练集的训练样本中特有的属性特征；以及，采用SGD算法和等间隔调整学习率的方式对所述第一深度学习识别网络的参数进行优化。
4.根据权利要求1所述的被动式非视域图像识别方法，其特征在于，步骤S4中，基于视域图像测试数据集中的样本图像构建用于所述被动式非视域图像识别模型的被动式非视域图像的步骤中，包括：
S41.抽取所述视域图像测试数据集中的样本图像，并将所述样本图像投射到显示装置上；
S42.在所述显示装置的前方依次设置有挡板和成像墙，且所述显示装置所显示的样本图像经过挡板在所述成像墙上投射出干涉图像；
S43.采用图像采集装置对所述干涉图像成像作为所述被动式非视域测试图像；其中，所述图像采集装置与所述显示装置处于所述成像墙的同一侧，且在所述图像采集装置与所述显示装置之间设置遮挡光线的遮挡墙。
5.一种用于被动式非视域图像识别模型安全性的检测方法，其特征在于，采用墙面扰动攻击策略实现，包括以下步骤：
S01.基于原始的视域图像识别数据集中的样本图像构建原始的被动式非视域图像识别数据集；
S02.基于所述被动式非视域图像识别数据集，并利用白盒攻击法模拟攻击待检验的被动式非视域图像识别模型，生成墙面扰动；
S03.基于原始的所述视域图像识别数据集中的样本图像获取包含所述墙面扰动的第一被动式非视域图像；
S04.采用所述被动式非视域图像识别模型对所述第一被动式非视域图像进行识别，基于获取的识别结果进行安全性检测；
步骤S03中，基于原始的所述视域图像识别数据集中的样本图像获取包含所述墙面扰动的第一被动式非视域图像的步骤中，包括：
S031.将所述墙面扰动添加到成像墙上；
S032.抽取所述原始的视域图像识别数据集中的样本图像，并将所述样本图像投射到显示装置上；
S033.挡板和所述成像墙依次设置在所述显示装置的前方，且所述显示装置所显示的样本图像经过挡板在添加有所述墙面扰动的所述成像墙上投射出干涉图像；
S034.采用图像采集装置对叠加有所述墙面扰动的所述干涉图像成像获取所述第一被动式非视域图像；其中，所述图像采集装置与所述显示装置处于所述成像墙的同一侧，且在所述图像采集装置与所述显示装置之间设置遮挡光线的遮挡墙。
6.根据权利要求5所述的检测方法，其特征在于，步骤S1中，基于原始的视域图像识别数据集中的样本图像构建原始的被动式非视域图像识别数据集的步骤中，包括：
S011.抽取所述原始的视域图像识别数据集中的样本图像，并将所述样本图像投射到显示装置上；
S012.在所述显示装置的前方依次设置有挡板和成像墙，且所述显示装置所显示的样本图像经过挡板在所述成像墙上投射出干涉图像；
S013.采用图像采集装置对所述干涉图像成像获取构建所述被动式非视域图像识别数据集的识别样本；其中，所述图像采集装置与所述显示装置处于所述成像墙的同一侧，且在所述图像采集装置与所述显示装置之间设置遮挡光线的遮挡墙；
S014.重复步骤S011至S013，通过获取的所述识别样本生成所述被动式非视域图像识别数据集。
7.一种用于被动式非视域图像识别模型安全性的检测方法，其特征在于，采用图像扰动攻击策略实现，包括以下步骤：
S001.基于原始的视域图像识别数据集，并利用白盒攻击法模拟攻击待检验的被动式非视域图像识别模型，生成图像扰动；
S002.将所述图像扰动添加至原始的所述视域图像识别数据集中的样本图像中，构建对抗样本；
S003.基于所述对抗样本获取第二被动式非视域图像；步骤S003中，包括以下步骤：
S0031.抽取所述对抗样本，并将所述样本图像投射到显示装置上；
S0032.在所述显示装置的前方依次设置有挡板和成像墙，且所述显示装置所显示的样本图像经过挡板在所述成像墙上投射出干涉图像；
S0033.采用图像采集装置对所述干涉图像成像获取所述第二被动式非视域图像；其中，所述图像采集装置与所述显示装置处于所述成像墙的同一侧，且在所述图像采集装置与所述显示装置之间设置遮挡光线的遮挡墙；
S004.采用所述被动式非视域图像识别模型对所述第二被动式非视域图像进行识别，基于获取的识别结果进行安全性检测。
8.一种用于被动式非视域图像识别的识别装置，其特征在于，包括：计算机储存器、计算机处理器以及储存在所述计算机储存器中并在所述计算机处理器上执行的计算机程序，所述计算机储存器中存有权利要求1至6任一项所述的被动式非视域图像识别模型，所述计算机处理器基于所述计算机程序执行所述被动式非视域图像识别模型，包括以下步骤：
1)对待识别的被动式非视域图像进行预处理；
2)调用所述被动式非视域图像识别模型对预处理后的所述被动式非视域图像进行识别，输出识别结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110751193.4A CN113837217B (zh) | 2021-07-02 | 2021-07-02 | 基于深度学习的被动式非视域图像识别方法及识别装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110751193.4A CN113837217B (zh) | 2021-07-02 | 2021-07-02 | 基于深度学习的被动式非视域图像识别方法及识别装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113837217A CN113837217A (zh) | 2021-12-24 |
| CN113837217B true CN113837217B (zh) | 2024-05-07 |
Family
ID=78962805
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110751193.4A Active CN113837217B (zh) | 2021-07-02 | 2021-07-02 | 基于深度学习的被动式非视域图像识别方法及识别装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113837217B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116597286B (zh) * | 2023-07-17 | 2023-09-15 | 深圳市诚识科技有限公司 | 一种基于深度学习的图像识别自适应学习方法及系统 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113052833A (zh) * | 2021-04-20 | 2021-06-29 | 东南大学 | 一种基于红外热辐射的非视域成像方法 |
-
2021
- 2021-07-02 CN CN202110751193.4A patent/CN113837217B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113052833A (zh) * | 2021-04-20 | 2021-06-29 | 东南大学 | 一种基于红外热辐射的非视域成像方法 |
Non-Patent Citations (1)
| Title |
|---|
| 被动非视域半影成像方法的研究;苏晴;信息科技;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113837217A (zh) | 2021-12-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110245598B (zh) | 对抗样本生成方法、装置、介质和计算设备 | |
| CN108470332B (zh) | 一种多目标跟踪方法及装置 | |
| CN108491837B (zh) | 一种提高车牌攻击鲁棒性的对抗攻击方法 | |
| CN110348475B (zh) | 一种基于空间变换的对抗样本增强方法和模型 | |
| Vishnu et al. | EV AA-Exchange Vanishing Adversarial Attack on LiDAR Point Clouds in Autonomous Vehicles | |
| CN112528966A (zh) | 一种取款人周边环境智能监控识别方法、装置及介质 | |
| CN112115761B (zh) | 自动驾驶汽车视觉感知系统漏洞检测的对抗样本生成方法 | |
| CN110059579B (zh) | 用于活体检验的方法和装置，电子设备和存储介质 | |
| CN113537374B (zh) | 一种对抗样本生成方法 | |
| CN111539916A (zh) | 一种对抗鲁棒的图像显著性检测方法及系统 | |
| Mekala et al. | Metamorphic detection of adversarial examples in deep learning models with affine transformations | |
| Lian et al. | CBA: Contextual background attack against optical aerial detection in the physical world | |
| CN113343247A (zh) | 生物特征识别对抗样本攻击安全测评方法、系统、装置、处理器及其计算机可读存储介质 | |
| CN113837217B (zh) | 基于深度学习的被动式非视域图像识别方法及识别装置 | |
| Al Jaberi et al. | Object tracking and detection techniques under GANN threats: A systemic review | |
| Zennayi et al. | Unauthorized access detection system to the equipments in a room based on the persons identification by face recognition | |
| Yang et al. | Building Towards" Invisible Cloak": Robust Physical Adversarial Attack on YOLO Object Detector | |
| Zhuang et al. | Military target detection method based on EfficientDet and Generative Adversarial Network | |
| Xiao et al. | A Shadow Capture Deep Neural Network for Underwater Forward‐Looking Sonar Image Detection | |
| CN114332982A (zh) | 一种人脸识别模型攻击防御方法、装置、设备及存储介质 | |
| CN110717544B (zh) | 一种垂直鱼眼镜头下行人属性分析方法及系统 | |
| Agrawal et al. | M-SAN: a patch-based transferable adversarial attack using the multi-stack adversarial network | |
| Tarchoun et al. | Investigating the robustness of multi-view detection to current adversarial patch threats | |
| Larson | Stereo Camera Calibrations with Optical Flow | |
| Yue | On Adversarial Machine Learning and Robust Optimization |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |