CN117152564B - 目标检测方法、装置、电子设备及存储介质 - Google Patents
目标检测方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN117152564B CN117152564B CN202311338326.0A CN202311338326A CN117152564B CN 117152564 B CN117152564 B CN 117152564B CN 202311338326 A CN202311338326 A CN 202311338326A CN 117152564 B CN117152564 B CN 117152564B
- Authority
- CN
- China
- Prior art keywords
- image
- feature
- target detection
- feature map
- attack
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 439
- 238000003860 storage Methods 0.000 title claims abstract description 17
- 238000000034 method Methods 0.000 claims abstract description 158
- 230000004927 fusion Effects 0.000 claims description 111
- 230000006870 function Effects 0.000 claims description 94
- 238000012549 training Methods 0.000 claims description 71
- 230000008569 process Effects 0.000 claims description 67
- 238000012545 processing Methods 0.000 claims description 53
- 238000007781 pre-processing Methods 0.000 claims description 34
- 238000010586 diagram Methods 0.000 claims description 33
- 238000013145 classification model Methods 0.000 claims description 23
- 238000007906 compression Methods 0.000 claims description 19
- 230000006835 compression Effects 0.000 claims description 18
- 238000000605 extraction Methods 0.000 claims description 16
- 238000002156 mixing Methods 0.000 claims description 14
- 238000013507 mapping Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 9
- 238000002372 labelling Methods 0.000 claims description 9
- 238000007499 fusion processing Methods 0.000 claims description 8
- 238000005520 cutting process Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 description 15
- 238000004891 communication Methods 0.000 description 6
- 238000009826 distribution Methods 0.000 description 6
- 238000012360 testing method Methods 0.000 description 6
- 238000000926 separation method Methods 0.000 description 5
- 108010001267 Protein Subunits Proteins 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000011176 pooling Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000011282 treatment Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Image Analysis (AREA)
Abstract
本申请提供了一种目标检测方法、装置、电子设备及存储介质。所述方法包括:获取待检测图像;将所述待检测图像输入至目标检测模型,所述目标检测模型包括:一种基于自编码模型的图像解耦模块和一种带攻击检测的联合目标检测模块;调用所述自编码模型对所述待检测图像的分类属性信息进行分离处理,得到包含与图像类别相关特征的第一特征图和包含与图像类别无关特征的第二特征图;调用所述联合目标检测模块根据所述第一特征图检测所述待检测图像是否存在对抗攻击痕迹,并采用容错自动路由方案根据检测结果对所述第一特征图和所述第二特征图进行目标检测,得到目标检测结果。本申请可以抵抗对抗攻击的影响,实现高可信的目标检测。
Description
技术领域
本申请涉及图像处理技术领域,尤其涉及一种目标检测方法、装置、电子设备及存储介质。
背景技术
目标检测是计算机视觉领域中的一项重要任务,旨在自动识别和定位图像或视频中的感兴趣目标。目标检测的发展受益于计算机视觉、机器学习和深度学习等领域的进展,以及大规模数据集和高性能计算的可用性提升。在过去的几十年中,目标检测经历了快速的演进和改进,取得了显著的成果。
在早期的目标检测研究中,主要采用基于手工设计特征和传统机器学习方法的方式来实现目标检测。这些方法包括使用滑动窗口技术,在不同位置和尺度上应用分类器来判断是否存在目标。然而,这些方法在处理尺度变化、姿态变化、遮挡和复杂背景等情况下存在一定的局限性。
随着深度学习的兴起,特别是卷积神经网络(CNN)的成功应用,目标检测取得了重大突破。深度学习模型可以从大规模数据中学习特征表示,并通过端到端的训练过程实现特征提取和目标分类的同时。
目前使用的目标检测器通常由主干网络(Backbone)、脖颈网络(Neck)和检测器头(Head)三部分组成。但是目前使用的目标检测器对于类别间相似性的区分困难:在存在类别间相似性较高的情况下,目标检测器容易将相似类别的目标混淆。例如,对于区分不同种类的动物或者车辆,目标检测器可能出现混淆和错误分类的情况。对于数据分布偏差的敏感性:目标检测算法对于训练数据分布和测试数据分布之间的偏差较为敏感。当测试数据与训练数据的分布不一致时,会导致检测器的性能下降。
发明内容
本申请实施例提供一种目标检测方法、装置、电子设备及存储介质,以解决相关技术中目标检测器容易将相似类别的目标混淆,目标检测算法对于训练数据分布和测试数据分布之间的偏差较为敏感,当测试数据与训练数据的分布不一致时,会导致检测器的性能下降的问题。
为了解决上述技术问题,本申请实施例是这样实现的:
第一方面,本申请实施例提供了一种目标检测方法,所述方法包括:
获取待检测图像;
将所述待检测图像输入至目标检测模型,所述目标检测模型包括:一种基于自编码模型的图像解耦模块和一种带攻击检测的联合目标检测模块;
调用所述自编码模型对所述待检测图像的分类属性信息进行分离处理,得到包含与图像类别相关特征的第一特征图和包含与图像类别无关特征的第二特征图;
调用所述联合目标检测模块根据所述第一特征图检测所述待检测图像是否存在对抗攻击痕迹,并采用容错自动路由方案根据检测结果对所述第一特征图和所述第二特征图进行目标检测,得到目标检测结果。
可选地,所述自编码模型包括:编码器和解码器,
所述调用所述自编码模型对所述待检测图像的分类属性信息进行分离处理,得到包含与图像类别相关特征的第一特征图和包含与图像类别无关特征的第二特征图,包括:
调用所述编码器对所述待检测图像的图像特征进行编码处理,得到编码特征信息;
调用所述解码器对所述编码特征信息进行解码处理,以重构得到与图像类别无关的第二特征图;
基于输入的所述待检测图像和所述第二特征图,确定与图像类别相关的第一特征图。
可选地,所述联合目标检测模块包括:第一主干网络、攻击检测器、第二主干网络、特征融合网络和目标检测网络,
所述调用所述联合目标检测模块根据所述第一特征图检测所述待检测图像是否存在对抗攻击痕迹,并采用容错自动路由方案根据检测结果对所述第一特征图和所述第二特征图进行目标检测,得到目标检测结果,包括:
调用所述第一主干网络对所述第一特征图进行特征提取,得到第一多尺度特征;
调用所述攻击检测器对所述第一多尺度特征进行检测处理,得到检测结果;
调用所述第二主干网络对所述第二特征图进行特征提取,得到第二多尺度特征;
采用容错自动路由方案根据所述检测结果对所述第一多尺度特征和所述第二多尺度特征进行特征选择,得到选择的特征,并调用所述特征融合网络对选择的特征进行融合处理,得到融合特征;
调用所述目标检测网络对所述融合特征进行处理,得到目标检测结果。
可选地,所述调用所述攻击检测器对所述第一多尺度特征进行检测处理,得到检测结果,包括:
对所述第一多尺度特征进行压缩处理,得到压缩特征;
通过线性映射层将所述压缩特征映射至所述攻击检测器;
调用所述攻击检测器对所述压缩特征进行处理,以得到指示所述待检测图像是否存在对抗攻击痕迹的检测结果。
可选地,所述采用容错自动路由方案根据所述检测结果对所述第一多尺度特征和所述第二多尺度特征进行特征选择,得到选择的特征,并调用所述特征融合网络对选择的特征进行融合处理,得到融合特征,包括:
在所述检测结果指示所述待检测图像不存在对抗攻击痕迹的情况下,将所述第一多尺度特征和所述第二多尺度特征作为选择的特征;
调用所述特征融合网络对所述第一多尺度特征和所述第二多尺度特征进行求均值合并处理,得到所述融合特征。
可选地,所述采用容错自动路由方案根据所述检测结果对所述第一多尺度特征和所述第二多尺度特征进行特征选择,得到选择的特征,并调用所述特征融合网络对选择的特征进行融合处理,得到融合特征,包括:
在所述检测结果指示所述待检测图像存在对抗攻击痕迹的情况下,将所述第二多尺度特征作为选择的特征;
调用所述特征融合网络对所述第二多尺度特征进行融合处理,得到融合特征。
可选地,所述将所述待检测图像输入至目标检测模型,包括:
将所述待检测图像的尺寸调整至所述目标检测模型适配的图像尺寸,得到尺寸调整图像;
将所述尺寸调整图像输入至所述目标检测模型。
可选地,在所述将所述待检测图像输入至目标检测模型之前,还包括:
获取第一样本图像,及包含对抗攻击图像的第二样本图像;
基于所述第一样本图像训练得到用于分离图像中的分类属性信息的图像解耦模块;
基于所述图像解耦模块对所述第二样本图像的分类属性进行分离处理,得到包含与图像类别相关特征的第一类别特征图和包含与图像类别无关特征的第二类别特征图;
基于所述第一类别特征图和所述第二类别特征图,训练得到带攻击检测的联合目标检测模块;
根据训练好的所述图像解耦模块和所述联合目标检测模块,确定所述目标检测模型。
可选地,所述基于所述第一样本图像训练得到用于分离图像中的分类属性信息的图像解耦模块,包括:
对所述第一样本图像进行预处理,得到预处理样本图像;
将所述预处理样本图像输入至待训练图像解耦模块;所述待训练图像解耦模块包括:自编码模型和分类模型;
调用所述自编码模型对所述预处理样本图像的分类属性进行分离处理,得到与图像类别相关的第一特征图,及与图像类别无关的第二特征图;
调用所述分类模型对所述第一特征图进行分类,得到分类结果;
基于所述第一特征图、所述第二特征图和所述分类结果,计算得到所述图像解耦网络层的第一损失函数;
在所述第一损失函数处于预设范围内的情况下,将训练后的待训练图像解耦模块作为最终的所述图像解耦模块。
可选地,所述对所述第一样本图像进行预处理,得到预处理样本图像,包括:
对所述第一样本图像进行数据增强处理,得到增强样本图像;
基于设定尺寸对所述增强样本图像进行裁剪处理,得到多个子图像块;
对所述多个子图像块进行分组及混合处理,得到所述预处理样本图像。
可选地,所述对所述多个子图像块进行分组及混合处理,得到所述预处理样本图像,包括:
获取所述多个子图像块的索引;
调整所述索引的顺序,并依据调整的索引顺序调整所述多个子图像块的顺序;
将调整顺序的多个子图像块进行分组,得到子图像块组;
将所述子图像块组进行混合,得到混合子图像块组;
将所述混合子图像块组恢复为正常的图像顺序,得到混合图像,以作为所述预处理样本图像。
可选地,所述自编码模型包括:编码器和解码器,
所述调用所述自编码模型对所述预处理样本图像的分类属性进行分离处理,得到与图像类别相关的第一特征图,及与图像类别无关的第二特征图,包括:
调用所述编码器对所述预处理样本图像的图像特征进行编码处理,以得到编码特征信息;
调用所述解码器对所述编码特征信息进行解码处理,以重构得到与图像类别无关的第二特征图;
基于输入的所述预处理样本图像和所述第二特征图,确定与图像类别相关的第一特征图。
可选地,所述基于所述第一特征图、所述第二特征图和所述分类结果,计算得到所述图像解耦网络层的第一损失函数,包括:
基于所述第一特征图和所述第二特征图,计算得到所述自编码模型的重构损失函数;
基于所述分类结果,计算得到所述分类模型的分类损失函数;
基于所述重构损失函数和所述分类损失函数,计算得到所述待训练图像解耦模块的第一损失函数。
可选地,获取包含对抗攻击图像的第二样本图像,包括:
获取初始样本图像;
基于选定的多种对抗攻击方式分别对所述初始样本图像中的设定数量的目标图像进行对抗攻击处理,生成对抗攻击图像;
将所述对抗攻击图像和所述初始样本图像作为所述第二样本图像。
可选地,所述基于选定的多种对抗攻击方式分别对所述初始样本图像中的设定数量的目标图像进行对抗攻击处理,生成对抗攻击图像,包括:
获取选择的多种对抗攻击方式;
从所述初始样本图像中随机选择设定数量的目标图像;
基于每种所述对抗攻击方式对所述目标图像进行训练,得到每种所述对抗攻击方式对应的对抗攻击图像。
可选地,所述基于所述第一类别特征图和所述第二类别特征图,训练得到带攻击检测的联合目标检测模块,包括:
将所述第一类别特征图和所述第二类别特征图输入至待训练联合目标检测模块;所述待训练联合目标检测模块包括:第一主干网络、攻击检测器、第二主干网络、特征融合网络和目标检测网络;
调用所述第一主干网络对所述第一类别特征图进行处理,得到第一多尺度特征;
调用所述第二主干网络对所述第二类别特征图进行处理,得到第二多尺度特征;
调用所述攻击检测器对所述第一多尺度特征进行处理,得到所述第二样本图像是否存在对抗攻击痕迹的检测结果;
采用容错自动路由方案,根据所述检测结果对所述第一多尺度特征和所述第二多尺度特征进行特征选择,得到选择特征,并调用所述特征融合网络对所述选择特征进行融合处理,得到融合特征;
调用所述目标检测网络对所述融合特征进行处理,以得到预测目标检测结果;
基于所述预测目标检测结果和所述第二样本图像的目标标注结果,计算得到所述待训练联合目标检测模块的第二损失函数;
在所述第二损失函数处于预设范围内的情况下,将训练后的待训练联合目标检测模块作为最终的所述联合目标检测模块。
第二方面,本申请实施例提供了一种目标检测装置,所述装置包括:
待检测图像获取模块,用于获取待检测图像;
待检测图像输入模块,用于将所述待检测图像输入至目标检测模型,所述目标检测模型包括:一种基于自编码模型的图像解耦模块和一种带攻击检测的联合目标检测模块;
特征图获取模块,用于调用所述自编码模型对所述待检测图像的分类属性信息进行分离处理,得到包含与图像类别相关特征的第一特征图和包含与图像类别无关特征的第二特征图;
目标检测结果获取模块,用于调用所述联合目标检测模块根据所述第一特征图检测所述待检测图像是否存在对抗攻击痕迹,并采用容错自动路由方案根据检测结果对所述第一特征图和所述第二特征图进行目标检测,得到目标检测结果。
可选地,所述自编码模型包括:编码器和解码器,
所述特征图获取模块包括:
编码特征信息获取单元,用于调用所述编码器对所述待检测图像的图像特征进行编码处理,得到编码特征信息;
第二特征图获取单元,用于调用所述解码器对所述编码特征信息进行解码处理,以重构得到与图像类别无关的第二特征图;
第一特征图确定单元,用于基于输入的所述待检测图像和所述第二特征图,确定与图像类别相关的第一特征图。
可选地,所述联合目标检测模块包括:第一主干网络、攻击检测器、第二主干网络、特征融合网络和目标检测网络,
所述目标检测结果获取模块包括:
第一特征获取单元,用于调用所述第一主干网络对所述第一特征图进行特征提取,得到第一多尺度特征;
检测结果获取单元,用于调用所述攻击检测器对所述第一多尺度特征进行检测处理,得到检测结果;
第二特征获取单元,用于调用所述第二主干网络对所述第二特征图进行特征提取,得到第二多尺度特征;
融合特征获取单元,用于采用容错自动路由方案根据所述检测结果对所述第一多尺度特征和所述第二多尺度特征进行特征选择,得到选择的特征,并调用所述特征融合网络对选择的特征进行融合处理,得到融合特征;
目标检测结果获取单元,用于调用所述目标检测网络对所述融合特征进行处理,得到目标检测结果。
可选地,所述检测结果获取单元包括:
压缩特征获取子单元,用于对所述第一多尺度特征进行压缩处理,得到压缩特征;
压缩特征映射子单元,用于通过线性映射层将所述压缩特征映射至所述攻击检测器;
检测结果获取子单元,用于调用所述攻击检测器对所述压缩特征进行处理,以得到指示所述待检测图像是否存在对抗攻击痕迹的检测结果。
可选地,所述融合特征获取单元包括:
第一特征获取子单元,用于在所述检测结果指示所述待检测图像不存在对抗攻击痕迹的情况下,将所述第一多尺度特征和所述第二多尺度特征作为选择的特征;
第一特征融合子单元,用于调用所述特征融合网络对所述第一多尺度特征和所述第二多尺度特征进行求均值合并处理,得到所述融合特征。
可选地,所述融合特征获取单元得到融合特征,包括:
第二特征获取子单元,用于在所述检测结果指示所述待检测图像存在对抗攻击痕迹的情况下,将所述第二多尺度特征作为选择的特征;
第二特征融合子单元,用于调用所述特征融合网络对所述第二多尺度特征进行融合处理,得到融合特征。
可选地,所述待检测图像输入模块包括:
调整图像获取单元,用于将所述待检测图像的尺寸调整至所述目标检测模型适配的图像尺寸,得到尺寸调整图像;
调整图像输入单元,用于将所述尺寸调整图像输入至所述目标检测模型。
可选地,所述装置还包括:
样本图像获取模块,用于获取第一样本图像,及包含对抗攻击图像的第二样本图像;
图像解耦训练模块,用于基于所述第一样本图像训练得到用于分离图像中的分类属性信息的图像解耦模块;
类别特征图获取模块,用于基于所述图像解耦模块对所述第二样本图像的分类属性进行分离处理,得到包含与图像类别相关特征的第一类别特征图和包含与图像类别无关特征的第二类别特征图;
联合目标检测训练模块,用于基于所述第一类别特征图和所述第二类别特征图,训练得到带攻击检测的联合目标检测模块;
目标检测模型确定模块,用于根据训练好的所述图像解耦模块和所述联合目标检测模块,确定所述目标检测模型。
可选地,所述图像解耦训练模块包括:
预处理图像获取单元,用于对所述第一样本图像进行预处理,得到预处理样本图像;
预处理图像输入单元,用于将所述预处理样本图像输入至待训练图像解耦模块;所述待训练图像解耦模块包括:自编码模型和分类模型;
特征图获取单元,用于调用所述自编码模型对所述预处理样本图像的分类属性进行分离处理,得到与图像类别相关的第一特征图,及与图像类别无关的第二特征图;
分类结果获取单元,用于调用所述分类模型对所述第一特征图进行分类,得到分类结果;
第一损失函数计算单元,用于基于所述第一特征图、所述第二特征图和所述分类结果,计算得到所述图像解耦网络层的第一损失函数;
图像解耦模块获取单元,用于在所述第一损失函数处于预设范围内的情况下,将训练后的待训练图像解耦模块作为最终的所述图像解耦模块。
可选地,所述预处理图像获取单元包括:
增强图像获取子单元,用于对所述第一样本图像进行数据增强处理,得到增强样本图像;
子图像块获取子单元,用于基于设定尺寸对所述增强样本图像进行裁剪处理,得到多个子图像块;
预处理图像获取子单元,用于对所述多个子图像块进行分组及混合处理,得到所述预处理样本图像。
可选地,所述预处理图像获取子单元包括:
图像块索引获取子单元,用于获取所述多个子图像块的索引;
图像块顺序调整子单元,用于调整所述索引的顺序,并依据调整的索引顺序调整所述多个子图像块的顺序;
子图像块组获取子单元,用于将调整顺序的多个子图像块进行分组,得到子图像块组;
混合图像块组获取子单元,用于将所述子图像块组进行混合,得到混合子图像块组;
预处理样本图像获取子单元,用于将所述混合子图像块组恢复为正常的图像顺序,得到混合图像,以作为所述预处理样本图像。
可选地,所述自编码模型包括:编码器和解码器,
所述特征图获取单元包括:
编码特征获取子单元,用于调用所述编码器对所述预处理样本图像的图像特征进行编码处理,以得到编码特征信息;
第二特征图重构子单元,用于调用所述解码器对所述编码特征信息进行解码处理,以重构得到与图像类别无关的第二特征图;
第一特征图确定子单元,用于基于输入的所述预处理样本图像和所述第二特征图,确定与图像类别相关的第一特征图。
可选地,所述第一损失函数计算单元包括:
重构损失计算子单元,用于基于所述第一特征图和所述第二特征图,计算得到所述自编码模型的重构损失函数;
分类损失计算子单元,用于基于所述分类结果,计算得到所述分类模型的分类损失函数;
第一损失计算子单元,用于基于所述重构损失函数和所述分类损失函数,计算得到所述待训练图像解耦模块的第一损失函数。
可选地,所述样本图像获取模块包括:
初始图像获取单元,用于获取初始样本图像;
对抗攻击图像生成单元,用于基于选定的多种对抗攻击方式分别对所述初始样本图像中的设定数量的目标图像进行对抗攻击处理,生成对抗攻击图像;
第二样本图像获取单元,用于将所述对抗攻击图像和所述初始样本图像作为所述第二样本图像。
可选地,所述对抗攻击图像生成单元包括:
对抗攻击方式获取子单元,用于获取选择的多种对抗攻击方式;
目标图像选择子单元,用于从所述初始样本图像中随机选择设定数量的目标图像;
对抗攻击图像获取子单元,用于基于每种所述对抗攻击方式对所述目标图像进行训练,得到每种所述对抗攻击方式对应的对抗攻击图像。
可选地,所述联合目标检测训练模块包括:
类别特征图输入单元,用于将所述第一类别特征图和所述第二类别特征图输入至待训练联合目标检测模块;所述待训练联合目标检测模块包括:第一主干网络、攻击检测器、第二主干网络、特征融合网络和目标检测网络;
第一多尺度特征获取单元,用于调用所述第一主干网络对所述第一类别特征图进行处理,得到第一多尺度特征;
第二多尺度特征获取单元,用于调用所述第二主干网络对所述第二类别特征图进行处理,得到第二多尺度特征;
攻击检测结果获取单元,用于调用所述攻击检测器对所述第一多尺度特征进行处理,得到所述第二样本图像是否存在对抗攻击痕迹的检测结果;
特征筛选及融合单元,用于采用容错自动路由方案,根据所述检测结果对所述第一多尺度特征和所述第二多尺度特征进行特征选择,得到选择特征,并调用所述特征融合网络对所述选择特征进行融合处理,得到融合特征;
预测检测结果获取单元,用于调用所述目标检测网络对所述融合特征进行处理,以得到预测目标检测结果;
第二损失函数计算单元,用于基于所述预测目标检测结果和所述第二样本图像的目标标注结果,计算得到所述待训练联合目标检测模块的第二损失函数;
联合目标检测模块获取单元,用于在所述第二损失函数处于预设范围内的情况下,将训练后的待训练联合目标检测模块作为最终的所述联合目标检测模块。
第三方面,本申请实施例提供了一种电子设备,包括:
存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现上述任一项所述的目标检测方法。
第四方面,本申请实施例提供了一种可读存储介质,当所述存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行上述任一项所述的目标检测方法。
在本申请实施例中,通过获取待检测图像,将待检测图像输入至目标检测模型,目标检测模型包括:一种基于自编码模型的图像解耦模块和一种带攻击检测的联合目标检测模块,调用自编码模型对待检测图像的分类属性信息进行分离处理,得到包含与图像类别相关特征的第一特征图和包含与图像类别无关特征的第二特征图,调用联合目标检测模块根据第一特征图检测待检测图像是否存在对抗攻击痕迹,并采用容错自动路由方案根据检测结果对第一特征图和第二特征图进行目标检测,得到目标检测结果。本申请实施例通过图像解耦模块将图像的分类属性信息剥离出来,可以用于抵抗对抗攻击的影响,同时可以使得不同检测模型之间具备的抵抗能力不同。同时利用容错自动路由方案对联合目标检测模块预测的结果进行容错处理,以保证检测模型能够产生有效可信的目标检测结果,实现高可信的目标检测。
上述说明仅是本申请技术方案的概述,为了能够更清楚了解本申请的技术手段,而可依照说明书的内容予以实施,并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂,以下特举本申请的具体实施方式。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对本申请实施例的描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种目标检测方法的步骤流程图;
图2为本申请实施例提供的一种图像属性解耦方法的步骤流程图;
图3为本申请实施例提供的一种目标检测结果获取方法的步骤流程图;
图4为本申请实施例提供的一种检测结果获取方法的步骤流程图;
图5为本申请实施例提供的一种融合特征获取方法的步骤流程图;
图6为本申请实施例提供的另一种融合特征获取方法的步骤流程图;
图7为本申请实施例提供的一种图像尺寸调整方法的步骤流程图;
图8为本申请实施例提供的一种模型训练方法的步骤流程图;
图9为本申请实施例提供的一种图像解耦模块训练方法的步骤流程图;
图10为本申请实施例提供的一种预处理样本获取方法的步骤流程图;
图11为本申请实施例提供的另一种预处理样本获取方法的步骤流程图;
图12为本申请实施例提供的另一种图像属性解耦方法的步骤流程图;
图13为本申请实施例提供的一种损失函数计算方法的步骤流程图;
图14为本申请实施例提供的一种样本图像获取方法的步骤流程图;
图15为本申请实施例提供的一种对抗攻击图像获取方法的步骤流程图;
图16为本申请实施例提供的一种联合目标检测模块训练方法的步骤流程图;
图17为本申请实施例提供的一种目标检测流程的示意图;
图18为本申请实施例提供的一种图像解耦模块的示意图;
图19为本申请实施例提供的一种自编码流程的示意图;
图20为本申请实施例提供的一种联合目标检测模块的示意图;
图21为本申请实施例提供的一种目标检测装置的结构示意图;
图22为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
参照图1,示出了本申请实施例提供的一种目标检测方法的步骤流程图,如图1所示,该目标检测方法可以包括:步骤101、步骤102、步骤103和步骤104。
步骤101:获取待检测图像。
本申请实施例可以应用于通过抵抗图像攻击的基础上进行目标检测的场景中。
待检测图像是指需要进行目标检测的图像,在本示例中,待检测图像可以为监控图像、医疗图像等,具体地,对于待检测图像的具体类型可以根据实际情况而定,本实施例对此不加以限制。
在进行目标检测时,可以先获取待检测图像。
在获取到待检测图像之后,执行步骤102。
步骤102:将所述待检测图像输入至目标检测模型,所述目标检测模型包括:一种基于自编码模型的图像解耦模块和一种带攻击检测的联合目标检测模块。
在获取到待检测图像之后,则可以将待检测图像输入至目标检测模型。该目标检测模型可以包括:一种基于自编码模型的图像解耦模块和一种带攻击检测的联合目标检测模块。
在具体实现中,在将待检测图像输入至目标检测模型之前,还可以对待检测图像的尺寸进行调整,以适配目标检测模型。对于该实现过程可以结合图7进行如下详细描述。
参照图7,示出了本申请实施例提供的一种图像尺寸调整方法的步骤流程图。如图7所示,该图像尺寸调整方法可以包括:步骤701和步骤702。
步骤701:将所述待检测图像的尺寸调整至所述目标检测模型适配的图像尺寸,得到尺寸调整图像。
在本申请实施例中,在获取到待检测图像之后,可以检测该待检测图像的尺寸是否符合目标检测模型的需求,若不满足,则可以将待检测图像的尺寸调整至目标检测模型适配的图像尺寸,得到尺寸调整图像。
步骤702:将所述尺寸调整图像输入至所述目标检测模型。
在得到尺寸调整之后,则可以将尺寸调整图像输入至目标检测模型,以进行后续的目标检测流程。
在将待检测图像输入至目标检测模型之后,执行步骤103。
步骤103:调用所述自编码模型对所述待检测图像的分类属性信息进行分离处理,得到包含与图像类别相关特征的第一特征图和包含与图像类别无关特征的第二特征图。
在将待检测图像输入至目标检测模型之后,则可以调用图像解耦模块对待检测图像的分类属性信息进行分离处理,得到包含与图像类别相关特征的第一特征图和包含与图像类别无关特征的第二特征图。具体地属性分离过程可以结合图2进行如下详细描述。
参照图2,示出了本申请实施例提供的一种图像属性解耦方法的步骤流程图。如图2所示,该图像属性解耦方法可以包括:步骤201、步骤202和步骤203。
步骤201:调用所述编码器对所述待检测图像的图像特征进行编码处理,得到编码特征信息。
在本实施例中,自编码模型可以包括:编码器和解码器。
自编码模型的处理过程可以分为“编码-解码”的重构过程,其中将编码器表示为,其中在自编码器中,编码器负责将输入数据转换成一个低维表示(或编码)并捕捉输入数据的关键特征。编码器的输出通常是一个中间层的特征向量,用于表示输入数据的压缩表示。
解码器:解码器接收编码器的输出,并尝试将压缩表示还原为原始数据。解码器的目标是在保留重要信息的同时,尽可能地恢复输入数据的原始形式。
在将待检测图像输入至目标检测模型之后,则可以先调用编码器对待检测图像的图像特征进行编码处理,得到编码特征信息。
从输入层到隐藏层的原始数据的编码过程可以如下述公式所示:
(1)
在调用编码器对待检测图像的图像特征进行编码处理得到编码特征信息之后,执行步骤202。
步骤202:调用所述解码器对所述编码特征信息进行解码处理,以重构得到与图像类别无关的第二特征图。
在调用编码器对待检测图像的图像特征进行编码处理得到编码特征信息之后,则可以调用解码器对编码特征信息进行解码处理,以重构得到与图像类别无关的第二特征图。
从隐藏层到输出层的解码过程可以如下述公式所示:
(2)
在训练完成之后,可以针对每一幅图像,得到它的编码信息,以及重构图。当和足够相同的时候,表明图像能够用编码信息表示或复原。
在调用解码器对编码特征信息进行解码处理,以重构得到与图像类别无关的第二特征图之后,执行步骤203。
步骤203:基于输入的所述待检测图像和所述第二特征图,确定与图像类别相关的第一特征图。
在重构得到与图像类别无关的第二特征图之后,则可以基于输入的待检测图像和所二特征图,确定与图像类别相关的第一特征图。即在本示例中,可以使用自编码重构出图像类别无关部分,其中是原始图像,而类别决策部分是原始输入图像和重构出来的图像类别无关部分的差值,即。
在本示例中,自编码器中编码器网络层数和解码器网络层数在可以随着数据集量级的增大,相应的网络层数也随之加深。这里在初始标注的5千对数据,采用了6层编码器和1层解码器。后续随着数据集量级增大,比如获得10万对数据,便采用12层编码器及2层解码器。
本申请实施例通过自编码模型的重构过程剥离出图像中的与类别相关的特征和与类别无关的特征,可以用于抵抗对抗攻击的影响。
在调用自编码模型对待检测图像的分类属性信息进行分离处理,得到包含与图像类别相关特征的第一特征图和包含与图像类别无关特征的第二特征图之后,执行步骤104。
步骤104:调用所述联合目标检测模块根据所述第一特征图检测所述待检测图像是否存在对抗攻击痕迹,并采用容错自动路由方案根据检测结果对所述第一特征图和所述第二特征图进行目标检测,得到目标检测结果。
在得到第一特征图和第二特征图之后,则可以调用联合目标检测模块根据第一特征图检测待检测图像是否存在对抗攻击痕迹,并采用容错自动路由方案根据检测结果对第一特征图和第二特征图进行目标检测,得到目标检测结果。对于该实现过程可以结合联合目标检测模块的结构进行如下详细描述。
参照图3,示出了本申请实施例提供的一种目标检测结果获取方法的步骤流程图。如图3所示,该目标检测结果获取方法可以包括:步骤301、步骤302、步骤303、步骤304和步骤305。
步骤301:调用所述第一主干网络对所述第一特征图进行特征提取,得到第一多尺度特征。
在本申请实施例中,联合目标检测模块可以包括:第一主干网络、攻击检测器、第二主干网络、特征融合网络和目标检测网络,通过这些网络协同操作即完成目标检测。
在得到第一特征图和第二特征图之后,则可以将第一特征图和第二特征图输入至联合目标检测模块。
进而,可以调用第一主干网络对第一特征图进行多尺度特征提取,得到第一多尺度特征。
在调用第一主干网络对第一特征图进行特征提取得到第一多尺度特征之后,执行步骤302。
步骤302:调用所述攻击检测器对所述第一多尺度特征进行检测处理,得到检测结果。
在调用第一主干网络对第一特征图进行特征提取得到第一多尺度特征之后,则可以调用攻击检测器对第一多尺度特征进行检测处理,得到检测结果。该检测结果即可以用于指示待检测图像是否存在对抗攻击痕迹。对于该实现过程可以结合图4进行如下详细描述。
参照图4,示出了本申请实施例提供的一种检测结果获取方法的步骤流程图。如图4所示,该检测结果获取方法可以包括:步骤401、步骤402和步骤403。
步骤401:对所述第一多尺度特征进行压缩处理,得到压缩特征。
在本实施例中,在得到第一多尺度特征之后,则可以对第一多尺度特征进行压缩处理,以得到压缩特征。通过对多尺度特征进行压缩可以降低攻击检测器的计算复杂度。具体地压缩过程可以为:以多尺度特征为为例,对进行特征压缩,获得特征压缩后的特征:
(3)
上述公式中,为全局池化层,对每个尺度的特征进行压缩。为在通道层面对每个特征进行拼接。
在对第一多尺度特征进行压缩处理得到压缩特征之后,执行步骤402。
步骤402:通过线性映射层将所述压缩特征映射至所述攻击检测器。
在对第一多尺度特征进行压缩处理得到压缩特征之后,则可以通过线性映射层将压缩特征映射至攻击检测器。
在通过线性映射层将压缩特征映射至攻击检测器之后,执行步骤403。
步骤403:调用所述攻击检测器对所述压缩特征进行处理,以得到指示所述待检测图像是否存在对抗攻击痕迹的检测结果。
在通过线性映射层将压缩特征映射至攻击检测器之后,则可以调用攻击检测器对压缩特征进行处理,以得到待检测图像被攻击的概率。如下述公式(4)所示:
(4)
其中,,分别表示Sigmoid和ReLU激活函数,其他的参数都是线性层中可学习的参数。
同时设定的对抗攻击的输出是大于等于0,小于等于1的浮点数,得分越靠近1表示是对抗样本的可能性越大,得分越靠近0表示是对抗样本的可能性越小。
同时需要设定阈值,来确定得分超过阈值为对抗样本,利用上面提到的对抗样本数据集合制作方法在标准样本中混合对抗攻击样本构建原始数据集,将原始数据集划分为训练集、验证集和测试集。训练集用于训练神经网络模型,验证集用于调整分类器阈值,测试集用于最终评估模型的性能。根据不同阈值下的真正例率(1 Positive Rate)和假正例率(0 Positive Rate)计算ROC曲线,选择使模型的召回率和精确率达到平衡的数值为该检测器阈值。
通过待检测图像被攻击的概率即可以确定出待检测图像是否存在对抗攻击痕迹的检测结果。
步骤303:调用所述第二主干网络对所述第二特征图进行特征提取,得到第二多尺度特征。
在将第二特征图输入至联合目标检测模块之后,则可以调用第二主干网络对第二特征图进行多尺度特征提取,以得到第二多尺度特征。
步骤304:采用容错自动路由方案根据所述检测结果对所述第一多尺度特征和所述第二多尺度特征进行特征选择,得到选择的特征,并调用所述特征融合网络对选择的特征进行融合处理,得到融合特征。
在得到第一多尺度特征、第二多尺度特征和上述检测结果之后,则可以采用容错自动路由方案根据检测结果对第一多尺度特征和第二多尺度特征进行特征选择,得到选择的特征,并调用特征融合网络对选择的特征进行融合处理,得到融合特征。
在本申请的一种具体实现中,若检测结果指示待检测图像不存在对抗攻击痕迹的情况下,则将第一多尺度特征和第二多尺度特征输入至特征融合网络,以进行特征融合。对于该实现过程可以结合图5进行如下详细描述。
参照图5,示出了本申请实施例提供的一种融合特征获取方法的步骤流程图。如图5所示,该融合特征获取方法可以包括:步骤501和步骤502。
步骤501:在所述检测结果指示所述待检测图像不存在对抗攻击痕迹的情况下,将所述第一多尺度特征和所述第二多尺度特征作为选择的特征。
在检测结果指示待检测图像不存在对抗攻击痕迹的情况下,则可以将第一多尺度特征和第二多尺度特征共同作为选择的特征。
步骤502:调用所述特征融合网络对所述第一多尺度特征和所述第二多尺度特征进行求均值合并处理,得到所述融合特征。
进而,可以调用特征融合网络对第一多尺度特征和第二多尺度特征进行求均值合并处理,从而可以得到融合特征。
在本申请的另一种具体实现中,若检测结果指示待检测图像存在对抗攻击痕迹的情况下,则丢弃第一多尺度特征,并将第二多尺度特征输入至特征融合网络,以进行特征融合。对于该实现过程可以结合图6进行如下详细描述。
参照图6,示出了本申请实施例提供的另一种融合特征获取方法的步骤流程图。如图6所示,该融合特征获取方法可以包括:步骤601和步骤602。
步骤601:在所述检测结果指示所述待检测图像存在对抗攻击痕迹的情况下,将所述第二多尺度特征作为选择的特征。
在本实施例中,在检测结果指示待检测图像存在对抗攻击痕迹的情况下,此时,可以丢弃第一多尺度特征,即第一主干网络输出的特征不再进行后续处理,将第二多尺度特征作为选择的特征。
步骤602:调用所述特征融合网络对所述第二多尺度特征进行融合处理,得到融合特征。
进而,可以调用特征融合网络对第二多尺度特征进行融合处理,以得到融合特征。
本申请实施例通过设置一种可主动容错(用于在计算系统中检测和处理错误,以保持系统的可靠性和可用性。与被动容错机制不同,主动容错主动地采取措施来处理错误,而不是仅仅依赖于系统的错误处理能力)的自动路由机制,当不存在对抗样本的时候,利用联合特征进行检测,而当检测出对抗样本的时候,依旧可以通过类别无关的检测器获得正确结果。采用联合模型的作用是在提取第三级的多尺度特征时候,避免了再次对整个图像进行一次推理,而是直接将第一和第二级别的多尺度特征进行融合,这样减少了一次图像的推理时间。
在得到融合特征之后,执行步骤305。
步骤305:调用所述目标检测网络对所述融合特征进行处理,得到目标检测结果。
在得到融合特征之后,则可以调用目标检测网络对融合特征进行处理,以得到目标检测结果。
本申请实施例利用容错自动路由方案对联合目标检测模型结果进行容错处理,保证检测器能够产生有效可信结果,最后实现高可信的目标检测。
对于目标检测的完整流程结合图17进行如下描述。
如图17所示,在进行目标检测时,可以获取模型输入(即待检测图像),继而可以先调用属性解耦模块(即本示例汇总的图像解耦模块)以剥离待检测图像内的与类别无关的特征和与类别相关的特征。进而,可以通过联合目标检测模块采用可容错自动路由方案对待检测图像内的与类别无关的特征和与类别相关的特征进行处理,以得到输出结果,即目标检测结果。
接下来,结合图8对目标检测模型的训练过程进行如下详细描述。
参照图8,示出了本申请实施例提供的一种模型训练方法的步骤流程图。如图8所示,该模型训练方法可以包括:步骤801、步骤802、步骤803、步骤804和步骤805。
步骤801:获取第一样本图像,及包含对抗攻击图像的第二样本图像。
本实施例设计了一套图像解耦模块将图像拆成两部分信息,分别为类别相关的信息(即目标检测主要用来分类的信息),以及和分类无关的信息。
第一样本图像是指用于训练目标检测模型中的图像解耦模块的样本图像。
第二样本图像是指用于训练目标检测模型中的联合目标检测模块的样本图像,在第二样本图像中包含有对抗攻击图像。
在具体实现中,主流的对抗攻击数据集制作都是以单标签为制作方式,即图像或文本是否包含对抗攻击,而缺乏对对抗攻击的详细标签,这样会导致对抗攻击制作的对抗样本可能存在明显的偏向性,即又可能都是类别错误或者都是定位错误,利用这样的数据进行训练,检测器可能只对某一种类的攻击方式具备检测能力,而其他缺乏对其他攻击的检测能力。因此本实施例首先着手对对抗攻击的结果进行详细分类。接下来,结合图14对第二样本图像的获取流程进行如下详细描述。
参照图14,示出了本申请实施例提供的一种样本图像获取方法的步骤流程图。如图14所示,该样本图像获取方法可以包括:步骤1401、步骤1402和步骤1403。
步骤1401:获取初始样本图像。
在本申请实施例中,在进行第二样本图像的选择时,可以获取初始样本图像。在具体实现中,初始样本图像可以为从图像数据库中获取的图像,初始样本图像可以包括但不限于医疗图像、景点图像、人物图像等。具体地,对于初始样本图像的具体类型可以根据业务需求而定,本实施例对此不加以限制。
在获取到初始样本图像之后,执行步骤1402。
步骤1402:基于选定的多种对抗攻击方式分别对所述初始样本图像中的设定数量的目标图像进行对抗攻击处理,生成对抗攻击图像。
在获取到初始样本图像之后,可以基于选定的多种对抗攻击方式分别对初始样本图像中的设定数量的目标图像进行对抗攻击处理,生成对抗攻击图像。对于该实现过程可以结合图15进行如下详细描述。
参照图15,示出了本申请实施例提供的一种对抗攻击图像获取方法的步骤流程图。如图15所示,该对抗攻击图像获取方法可以包括:步骤1501、步骤1502和步骤1503。
步骤1501:获取选择的多种对抗攻击方式。
在本实施例中,在制作对抗攻击图像时,可以先选定多种对抗攻击方式。如FGSM(快速梯度符号法)、PGD(投射梯度下降)等。
在具体实现中,对抗攻击数据集制作,针对以往目标检测经常出现的错误检测的情况,将目标检测错误归纳为:如cls:分类错误,Loc:定位错误,cls+loc:分类且定位错误,duplicate:重复检测错误,Bkgd:背景错误检测,Missed:漏检等。
不同的对抗攻击方式会对数据造成不同程度的扰动。以FGSM为例设定以每个分类错误为目标训练FGSM,获得共6种攻击模型。
在获取到选择的多种对抗攻击方式之后,执行步骤1502。
步骤1502:从所述初始样本图像中随机选择设定数量的目标图像。
在获取到选择的多种对抗攻击方式之后,则可以从初始样本图像中随机选择设定数量的目标图像。对于设定数量的具体数值可以根据业务需求而定,本实施例对此不加以限制。
在从初始样本图像中随机选择设定数量的目标图像之后,执行步骤1503。
步骤1503:基于每种所述对抗攻击方式对所述目标图像进行训练,得到每种所述对抗攻击方式对应的对抗攻击图像。
在从初始样本图像中随机选择设定数量的目标图像之后,则可以基于每种对抗攻击方式对目标图像进行训练,得到每种对抗攻击方式对应的对抗攻击图像。例如,初始样本图像的数量为10000,可以从初始样本图像中随机选取1000张图像,以作为对抗攻击方式对图像进行训练获得对抗攻击图像,即获得6000张对抗样本图像等。
可以理解地,上述示例仅是为了更好地理解本申请实施例的技术方案而列举的示例,不作为对本实施例的唯一限制。
在基于选定的多种对抗攻击方式分别对初始样本图像中的设定数量的目标图像进行对抗攻击处理,生成对抗攻击图像之后,执行步骤1403。
步骤1403:将所述对抗攻击图像和所述初始样本图像作为所述第二样本图像。
在生成对抗攻击图像之后,则可以将生成的对抗攻击图像和初始样本图像作为第二样本图像。例如,初始样本图像的数量为10000,可以从初始样本图像中随机选取1000张图像,以作为对抗攻击方式对图像进行训练获得对抗攻击图像,即获得6000张对抗样本图像。此时,可以将获得的6000张对抗样本图像并将标签设置为1,将原有的图像的标签设置为0,并将所有数据组合在一起,获得最终数据集合共16000张图像和标签。
本申请实施例通过采用多种对抗攻击方式制作对抗攻击图像,以作为模型训练样本,从而可以使得训练的模型能够对多种类别的攻击方式具备检测能力。
在获取到第一样本图像及包含对抗攻击图像的第二样本图像之后,执行步骤802。
步骤802:基于所述第一样本图像训练得到用于分离图像中的分类属性信息的图像解耦模块。
在获取到第一样本图像及包含对抗攻击图像的第二样本图像之后,则可以基于第一样本图像训练得到用于分离图像中的分类属性信息的图像解耦模块。该图像解耦模块的作用是将输入图像样本中的类别决策部分和图像无关部分拆分开来(也叫解耦),可以发现对抗攻击主要攻击的是类别决策部分图像,让模型对图像的类别进行错误分类。用图像类别无关部分去训练检测模型的定位分支。对于图像解耦模块的训练过程可以结合图9进行如下详细描述。
参照图9,示出了本申请实施例提供的一种图像解耦模块训练方法的步骤流程图。如图9所示,该图像解耦模块训练方法可以包括:步骤901、步骤902、步骤903、步骤904、步骤905和步骤906。
步骤901:对所述第一样本图像进行预处理,得到预处理样本图像。
在本申请实施例中,在本实施例中,在得到第一样本图像之后,可以对第一样本图像进行预处理,以得到预处理样本图像。具体地预处理过程可以为:对第一样本图像进行数据增强处理,并对增强后的图像进行裁剪、分组及混合处理,从而得到预处理样本图像。对于该实现过程可以结合图10进行如下详细描述。
参照图10,示出了本申请实施例提供的一种预处理样本图像获取方法的步骤流程图。如图10所示,该预处理样本图像获取方法可以包括:步骤1001、步骤1002和步骤1003。
步骤1001:对所述第一样本图像进行数据增强处理,得到增强样本图像。
在本实施例中,在得到第一样本图像之后,可以对第一样本图像进行数据增强处理,以得到增强样本图像。
在具体实现中,数据混合增强准备过程,由于通过增强后的数据集合对于解耦图像属性会更加鲁棒。没有数据混合增强方案的话,解耦模型会存在过度拟合数据集,使得泛化能力下降。
在对第一样本图像进行数据增强处理得到增强样本图像之后,执行步骤1002。
步骤1002:基于设定尺寸对所述增强样本图像进行裁剪处理,得到多个子图像块。
在对第一样本图像进行数据增强处理得到增强样本图像之后,则可以基于设定尺寸对增强样本图像进行裁剪处理,以得到多个子图像块。具体地,可以将输入图像裁剪为256x256尺寸大小,输入的batch为512,即每次输入512张图像。即将图像分解成设定的patch块,此案例中可以为16,分块的过程可以等分划分,以256尺寸为例,该图像按照长宽各分为4段,分解后图像块尺寸为256/4=64,即64x64大小的子图像块,描述为,其中为子图像块,为原始图像块。表示第张图像,表示第个子图像块,在此表示将第张图像分解为张子图像块。
在基于设定尺寸对增强样本图像进行裁剪处理得到多个子图像块之后,执行步骤1003。
步骤1003:对所述多个子图像块进行分组及混合处理,得到所述预处理样本图像。
在基于设定尺寸对增强样本图像进行裁剪处理得到多个子图像块之后,则可以对多个子图像块进行分组及混合处理,从而得到预处理样本图像。具体地分组混合过程可以结合图11进行如下详细描述。
参照图11,示出了本申请实施例提供的另一种预处理样本图像获取方法的步骤流程图。如图11所示,该预处理样本图像获取方法可以包括:步骤1101、步骤1102、步骤1103、步骤1104和步骤1105。
步骤1101:获取所述多个子图像块的索引。
在本申请实施例中,在对增强样本图像进行裁剪的同时,可以获取裁剪得到的每个子图像块的索引。
可以理解地,每个子图像块的索引可以由图像标识及子图像块在增强样本图像上的位置而定,例如,增强样本图像为图像a,图像a裁剪为4个子图像块,分别为左上、右上、左下和右下,则左上的子图像块的索引可以定义为a-1,左下的子图像块的索引可以定义为a-3等等。
可以理解地,上述示例即时为了更好地理解本申请实施例的技术方案而列举的示例,不作为对本实施例的唯一限制。
在获取到多个子图像块的索引之后,执行步骤1102。
步骤1102:调整所述索引的顺序,并依据调整的索引顺序调整所述多个子图像块的顺序。
在获取到多个子图像块的索引之后,可以调整多个子图像块的索引的顺序,并依据调整的索引顺序调整多个子图像块的顺序。具体地,可以将顺序索引打乱,得到打乱后的顺序索引,即。随后,依据打乱后的索引,对patch子图像块进行打乱,得到打乱顺序的图像,此处使用打乱索引的方式打乱图像块,是利用索引记录打乱的顺序,以方便后面利用索引再恢复图像patch的顺序。
在调整索引的顺序并依据调整的索引顺序调整多个子图像块的顺序之后,执行步骤1103。
步骤1103:将调整顺序的多个子图像块进行分组,得到子图像块组。
在调整索引的顺序并依据调整的索引顺序调整多个子图像块的顺序之后,则可以将调整顺序的多个子图像块进行分组,以得到子图像块组。具体地,为了方便后续的混合,此时可以将打乱的patch块分为M(M为正整数)个组。
在将调整顺序的多个子图像块进行分组得到子图像块组之后,执行步骤1104。
步骤1104:将所述子图像块组进行混合,得到混合子图像块组。
在将调整顺序的多个子图像块进行分组得到子图像块组之后,则可以将子图像块组进行混合,得到混合子图像块组。
在将子图像块组进行混合得到混合子图像块组之后,执行步骤1105。
步骤1105:将所述混合子图像块组恢复为正常的图像顺序,得到混合图像,以作为所述预处理样本图像。
在将子图像块组进行混合得到混合子图像块组之后,则可以将混合子图像块组恢复为正常的图像顺序,得到混合图像,以作为预处理样本图像。完成图像混合操作后,将图像输入到网络中进行训练,随后需再恢复图像patch的顺序,具体地,可以将打乱的索引进行升序排序,并定义恢复索引和恢复操作。然后,可以将原来分为Group的图像,重新展开为patch序列,并将其按照恢复索引。最后,将打乱并混合的图像恢复成正常的图像的顺序,即得到了最终的混合图像。
本申请实施例中,在在模型训练过程中,将该数据增强方式训练之后,便得到训练好的解耦模块,在训练的时候图像将以混合的形式输入到模型中,而在得到重构图像后,在将重构图像从混合模式中恢复过来,这样的好处是在同一个图像中混入了多种图像信息让神经网络更具鲁棒,也让对抗攻击难以通过单图像训练的方式模拟攻击。
在对第一样本图像进行预处理得到预处理样本图像之后,执行步骤902。
步骤902:将所述预处理样本图像输入至待训练图像解耦模块;所述待训练图像解耦模块包括:自编码模型和分类模型。
在对第一样本图像进行预处理得到预处理样本图像之后,则可以将预处理样本图像输入至待训练图像解耦模块。
在本示例中,待训练图像解耦模块可以包括:自编码模型和分类模型。
其中,自编码模型可以分为“编码—解码”的重构过程,分类器的作用是对仅包含类别相关的图像进行分类。
在将预处理样本图像输入至待训练图像解耦模块之后,执行步骤903。
步骤903:调用所述自编码模型对所述预处理样本图像的分类属性进行分离处理,得到与图像类别相关的第一特征图,及与图像类别无关的第二特征图。
在将预处理样本图像输入至待训练图像解耦模块之后,则可以调用自编码模型对预处理样本图像的分类属性进行分离处理,以得到与图像类别相关的第一特征图(即该特征图中包含与图像类别相关的特征),及与图像类别无关的第二特征图(即该特征图中包含与图像类别无关的特征)。在本示例中,自编码模块可以包括:编码器和解码器,编码器和解码器协作处理,即可以得到第一特征图和第二特征图。对于该实现过程可以结合图12进行如下详细描述。
参照图12,示出了本申请实施例提供的另一种图像属性解耦方法的步骤流程图。如图12所示,该图像属性解耦方法可以包括:步骤1201、步骤1202和步骤1203。
步骤1201:调用所述编码器对所述预处理样本图像的图像特征进行编码处理,以得到编码特征信息。
在本申请实施例中,自编码模型可以包括:编码器和解码器,如图18所示。自编码模型可以分为“编码-解码”的重构过程,其中将编码器表示为,其中在自编码器中,编码器负责将输入数据转换成一个低维表示(或编码)并捕捉输入数据的关键特征。编码器的输出通常是一个中间层的特征向量,用于表示输入数据的压缩表示。
解码器:解码器接收编码器的输出,并尝试将压缩表示还原为原始数据。解码器的目标是在保留重要信息的同时,尽可能地恢复输入数据的原始形式。
在将预处理样本图像输入至自编码模块中之后,则可以调用编码器对预处理样本图像的图像特征进行编码处理,以得到编码特征信息。
从输入层到隐藏层的原始数据的编码过程可以如下述公式所示:
(5)
在调用编码器对预处理样本图像的图像特征进行编码处理得到编码特征信息之后,执行步骤1202。
步骤1202:调用所述解码器对所述编码特征信息进行解码处理,以重构得到与图像类别无关的第二特征图。
在调用编码器对预处理样本图像的图像特征进行编码处理得到编码特征信息之后,则可以调用解码器对编码特征信息进行解码处理,以重构得到与图像类别无关的第二特征图。如图19所示,自编码流程可以包括:编码和解码两个过程,通过编码解码过程即可以实现重构。
从隐藏层到输出层的解码过程可以如下述公式所示:
(6)
在训练完成之后,可以针对每一幅图像,得到它的编码信息,以及重构图。当和足够相同的时候,表明图像能够用编码信息表示或复原。
步骤1203:基于输入的所述预处理样本图像和所述第二特征图,确定与图像类别相关的第一特征图。
在得到第二特征图之后,则可以基于输入的预处理样本图像和所二特征图,确定与图像类别相关的第一特征图。即在本示例中,可以使用自编码重构出图像类别无关部分,其中是原始图像,而类别决策部分是原始输入图像和重构出来的图像类别无关部分的差值,即。
在本示例中,自编码器中编码器网络层数和解码器网络层数在可以随着数据集量级的增大,相应的网络层数也随之加深。这里在初始标注的5千对数据,采用了6层编码器和1层解码器。后续随着数据集量级增大,比如获得10万对数据,便采用12层编码器及2层解码器。
步骤904:调用所述分类模型对所述第一特征图进行分类,得到分类结果。
在得到第一特征图之后,则可以调用分类模型对第一特征图进行分类,得到分类结果。
在本示例中,分类模型可以包括以下结构:
1、Input输入图像,在训练的时候尺寸为统一的256x256,推理的时候不限制。
2、Conv卷积模块,卷积核为3x3,步长为1。
3、Max-pool最大池化层。
4、Inception一种常用的结构,用于融合不同尺度的特征信息。
5、Avg-Pool平均池化层。
6、FC全连接网络。
7、均值池化层核尺寸为5x5,步长为3。
8、Softmax激活函数用来分类。
9、Auxiliary classifier(辅助分类器)。
在训练阶段,分类器利用带有标签的训练数据样本来学习特征和类别之间的关系。训练数据包括输入特征和对应的目标类别标签。分类器会根据这些数据来寻找最佳的判别规则或决策边界,以将不同类别的数据样本正确分类。在本案例中分类器和编码器联合训练,用来分离图像中的分类无关信息和类别决策信息。简单说明为:解耦器是要将图像一份为二,其中自编码器将图像重构出分类无关信息,而将剩下的信息归类为类别决策信息用于训练分类器,当分类器可以利用这些很少类别决策信息很好的判断图像的类别的时候,说明整个解耦器已训练完成。
本实施例中的分类模型的架构采用了两个辅助分类架构的原因是因为使用只包含关键分类信息的图像训练分类器容易因为缺乏底层信息而欠拟合,而这样做一方面增强了方向传播的梯度信息,帮助底层特征训练,从而更好的利用底层分类信息,此外,辅助分类器还可以提供额外的正则化效果,使得训练过程更加稳定。
在调用分类模块对第一特征图进行分类得到分类结果之后,执行步骤905。
步骤905:基于所述第一特征图、所述第二特征图和所述分类结果,计算得到所述图像解耦网络层的第一损失函数。
在调用分类模型对第一特征图进行分类得到分类结果之后,则可以基于第一特征图、第二特征图和分类结果,计算得到图像解耦模块的第一损失函数。在本示例中,可以先计算自编码模型的重构损失,然后计算分类模型的分类损失,进而可以结合重构损失和分类损失计算得到第一损失函数。对于该实现过程可以结合图13进行如下详细描述。
参照图13,示出了本申请实施例提供的一种损失函数计算方法的步骤流程图。如图13所示,该损失函数计算方法可以包括:步骤1301、步骤1302和步骤1303。
步骤1301:基于所述第一特征图和所述第二特征图,计算得到所述自编码模型的重构损失函数。
在本申请实施例中,整个图像解耦模块的目标函数由两部分组成,和组成,其中是自编码模块在生成(即重构图像)时候的重构损失函数,是分类器对类别决策部分来对进行正确分类的损失函数。如图18所示,对于自编码模型部分可以计算对应的重构损失。
具体地,可以先基于第一特征图和第二特征图计算得到自编码模型的重构损失函数。
步骤1302:基于所述分类结果,计算得到所述分类模型的分类损失函数。
在得到分类模型预测的分类结果之后,则可以基于分类结果计算得到分类模块的分类损失函数。具体地,可以结合预测的分类结果和标注的分类结果进行分类损失的计算。如图18所示,对于分类器(即本示例中的分类模型)可以计算器对应的分类损失。
步骤1303:基于所述重构损失函数和所述分类损失函数,计算得到所述待训练图像解耦模块的第一损失函数。
在计算得到重构损失函数和分类损失函数之后,则可以基于重构损失函数和分类损失函数计算得到待训练图像解耦网络层的第一损失函数。具体地,可以预先针对重构损失和分类损失设置相应的权重,即重构权重和分类权重,重构权重和分类权重的和值为1,然后,对计算得到的重构损失函数和分类损失函数进行加权求和,即得到第一损失函数。即第一损失函数=重构损失函数×重构权重+分类损失函数×分类权重。
在基于第一特征图、第二特征图和分类结果计算得到图像解耦网络层的第一损失函数之后,执行步骤906。
步骤906:在所述第一损失函数处于预设范围内的情况下,将训练后的待训练图像解耦模块作为最终的所述图像解耦模块。
预设范围是指预先设置的用于判断图像解耦模块是否收敛的损失函数范围。对于预设范围的具体数值可以根据业务需求而定,本实施例对此不加以限制。
在基于第一特征图、第二特征图和分类结果计算得到图像解耦模块的第一损失函数之后,则可以判断该第一损失函数是否处于预设范围内。
若该第一损失函数未处于预设范围内,则表示待训练图像解耦模块未收敛,此时,可以结合第一样本图像继续对待训练图像解耦模块进行训练,直至该模块收敛。
若该第一损失函数处于预设范围内,则表示待训练图像解耦模块已收敛,此时,可以将训练后的待训练图像解耦模块作为最终的图像解耦模块。
在完成图像解耦模块的训练之后,执行步骤803。
步骤803:基于所述图像解耦模块对所述第二样本图像的分类属性进行分离处理,得到包含与图像类别相关特征的第一类别特征图和包含与图像类别无关特征的第二类别特征图。
在完成图像解耦模块的训练之后,则可以基于图像解耦模块对第二样本图像的分类属性进行分离处理,以得到包含与图像类别相关特征的第一类别特征图和包含与图像类别无关特征的第二类别特征图。
在得到包含与图像类别相关特征的第一类别特征图和包含与图像类别无关特征的第二类别特征图之后,执行步骤804。
步骤804:基于所述第一类别特征图和所述第二类别特征图,训练得到带攻击检测的联合目标检测模块。
在得到包含与图像类别相关特征的第一类别特征图和包含与图像类别无关特征的第二类别特征图之后,则可以基于第一类别特征图和第二类别特征图训练得到带攻击检测的联合目标检测模块。
在本示例中,可以利用图像解耦模块生成的图像信息去训练多个不同对抗特性的联合目标检测模块。
联合目标检测模块可以包括:第一主干网络、攻击检测器、第二主干网络、特征融合网络和目标检测网络。其中,主干网络(如ResNet50、Vision Transformer等等)可以用于提取基础视觉特征,特征融合网络可以用于融合多尺度特征信息。目标检测网络可以通过特定设计来预测目标的种类和位置。
对于联合目标检测模块的训练过程可以结合图16进行如下详细描述。
参照图16,示出了本申请实施例提供的一种联合目标检测模块训练方法的步骤流程图。如图16所示,该联合目标检测模块训练方法可以包括:步骤1601、步骤1602、步骤1603、步骤1604、步骤1605、步骤1606、步骤1607和步骤1608。
步骤1601:将所述第一类别特征图和所述第二类别特征图输入至待训练联合目标检测模块;所述待训练联合目标检测模块包括:第一主干网络、攻击检测器、第二主干网络、特征融合网络和目标检测网络。
在本实施例中,在得到第一类别特征图和第二类别特征图之后,则可以将第一类别特征图和第二类别特征图输入至待训练联合目标检测模块。其中,待训练联合目标检测模块可以包括:第一主干网络、攻击检测器、第二主干网络、特征融合网络和目标检测网络。如图20所示,类别无关信息可以输入至第二主干网络,类别相关信息可以输入至第一主干网络。
在将第一类别特征图和第二类别特征图输入至待训练联合目标检测模块之后,执行步骤1602和步骤1603。
步骤1602:调用所述第一主干网络对所述第一类别特征图进行处理,得到第一多尺度特征。
在将第一类别特征图和第二类别特征图输入至待训练联合目标检测模块之后,则可以调用第一主干网络对第一类别特征图进行处理,以得到第一多尺度特征。即通过第一主干网络提取第一类别特征图中不同尺度的特征,即得到第一多尺度特征。
步骤1603:调用所述第二主干网络对所述第二类别特征图进行处理,得到第二多尺度特征。
在将第一类别特征图和第二类别特征图输入至待训练联合目标检测模块之后,则可以调用第二主干网络对第二类别特征图进行处理,得到第二多尺度特征。即通过第二主干网络提取第二类别特征图中不同尺度的特征,即得到第二多尺度特征。
步骤1604:调用所述攻击检测器对所述第一多尺度特征进行处理,得到所述第二样本图像是否存在对抗攻击痕迹的检测结果。
在得到第一多尺度特征之后,则可以调用攻击检测器对第一多尺度特征进行处理,以得到第二样本图像是否存在对抗攻击痕迹的检测结果。
在调用攻击检测器对第一多尺度特征进行处理,得到第二样本图像是否存在对抗攻击痕迹的检测结果之后,执行步骤1605。
步骤1605:采用容错自动路由方案,根据所述检测结果对所述第一多尺度特征和所述第二多尺度特征进行特征选择,得到选择特征,并调用所述特征融合网络对所述选择特征进行融合处理,得到融合特征。
在本示例中,特征融合网络可以为脖颈网络。
在调用攻击检测器对第一多尺度特征进行处理,得到第二样本图像是否存在对抗攻击痕迹的检测结果之后,则可以采用容错自动路由方案,根据检测结果对第一多尺度特征和第二多尺度特征进行特征选择,得到选择特征,并调用特征融合网络对选择特征进行融合处理,得到融合特征。
在具体实现中,在检测结果指示第二样本图像存在对抗攻击痕迹时,可以丢弃第一多尺度特征,并将第二多尺度特征输入至特征融合网络。即将第二多尺度特征作为选择特征,以调用特征融合网络对第二多尺度特征进行融合处理,以得到融合特征。
在检测结果指示第二样本图像不存在对抗攻击痕迹,此时,可以由特征融合网络对第一多尺度特征和第二多尺度特征进行融合。即将第一多尺度特征和第二多尺度特征共同作为选择特征,以调用特征融合网络对选择特征进行融合处理,得到融合特征。
在得到融合特征之后,执行步骤1606。
步骤1606:调用所述目标检测网络对所述融合特征进行处理,以得到预测目标检测结果。
在本示例中,目标检测网络可以为图20中的检测头。
在得到融合特征之后,则可以调用目标检测网络对融合特征进行处理,以得到预测目标检测结果。该预测目标检测结果即检测的第二样本图像内的目标的位置和类别(如车辆、行人、树、建筑等的位置)。
在调用目标检测网络对融合特征进行处理得到预测目标检测结果之后,执行步骤1607。
步骤1607:基于所述预测目标检测结果和所述第二样本图像的目标标注结果,计算得到所述待训练联合目标检测模块的第二损失函数。
在调用目标检测网络对融合特征进行处理得到预测目标检测结果之后,则可以基于预测目标检测结果和第二样本图像的目标标注结果,计算得到待训练联合目标检测模块的第二损失函数。即以预测结果和真实标注结果进行损失函数的计算。
在基于预测目标检测结果和第二样本图像的目标标注结果,计算得到待训练联合目标检测模块的第二损失函数之后,执行步骤1608。
步骤1608:在所述第二损失函数处于预设范围内的情况下,将训练后的待训练联合目标检测模块作为最终的所述联合目标检测模块。
预设范围是指预先设置的用于判断待训练联合目标检测模块是否收敛的损失函数范围。对于预设范围的具体数值可以根据业务需求而定,本实施例对此不加以限制。
可以理解地,本步骤中的预设范围与上述步骤中第一损失函数对应的预设范围是两个不同的概念,即两个预设范围所针对的是不同网络层的损失函数范围。
在基于预测目标检测结果和第二样本图像的目标标注结果,计算得到待训练联合目标检测模块的第二损失函数之后,则可以判断该第二损失函数是否处于预设范围内。
若该第二损失函数未处于预设范围内,则表示待训练联合目标检测模块未收敛,此时,可以结合更多的第二样本图像继续对待训练联合目标检测模块进行训练。
若该第二损失函数处于预设范围内,则表示待训练联合目标检测模块已收敛,此时,可以将训练后的待训练联合目标检测模块作为最终的联合目标检测模块。
步骤805:根据训练好的所述图像解耦模块和所述联合目标检测模块,确定所述目标检测模型。
在通过上述步骤训练得到图像解耦模块和联合目标检测模块之后,则可以根据训练好的图像解耦模块和联合目标检测模块,确定目标检测模型。即训练好的图像解耦模块和联合目标检测模块共同组成了目标检测模型。
本申请实施例提供的具备主动容错能力的目标检测模型可对图像中的目标进行准确、鲁棒的检测和识别,并提供高度可信的检测结果。可信目标检测的潜在市场潜力非常广阔,涵盖了多个行业和应用领域,例如:
1、智能安防:可信目标检测可应用于视频监控和安防系统,实时检测和识别人员、车辆、物体等目标,提高监控系统的准确性和效率,为安全监控提供更可靠的解决方案。
2、自动驾驶:在自动驾驶领域,可信目标检测是关键技术之一。通过准确地检测和识别道路上的车辆、行人、交通标志等目标,自动驾驶系统可以做出更精确的决策,确保行车安全。
3、工业检测和质量控制:在工业生产过程中,可信目标检测可以应用于产品缺陷检测、物体识别和分类,提高产品质量和生产效率。
4、零售和商业:可信目标检测可以用于零售行业中的人流量统计、商品识别和推荐,提供个性化的购物体验和精准的市场分析。
5、医疗诊断:在医疗领域,可信目标检测可以用于医学图像分析和诊断,如肿瘤检测、疾病追踪等,帮助医生提供更准确的诊断结果。
6、城市规划和交通管理:可信目标检测可以用于城市交通管理和规划,实时监测交通流量、道路状况和停车场车位情况,提供智能化的交通解决方案。
可以理解地,上述示例即仅是为了更好地理解本申请实施例的技术方案而列举的示例,不作为对本实施例的唯一限制。
本申请实施例提供的目标检测方法,通过获取待检测图像,将待检测图像输入至目标检测模型,目标检测模型包括:一种基于自编码模型的图像解耦模块和一种带攻击检测的联合目标检测模块,调用自编码模型对待检测图像的分类属性信息进行分离处理,得到包含与图像类别相关特征的第一特征图和包含与图像类别无关特征的第二特征图,调用联合目标检测模块根据第一特征图检测待检测图像是否存在对抗攻击痕迹,并采用容错自动路由方案根据检测结果对第一特征图和第二特征图进行目标检测,得到目标检测结果。本申请实施例通过图像解耦模块将图像的分类属性信息剥离出来,可以用于抵抗对抗攻击的影响,同时可以使得不同检测模型之间具备的抵抗能力不同。同时利用容错自动路由方案对联合目标检测模块预测的结果进行容错处理,以保证检测模型能够产生有效可信的目标检测结果,实现高可信的目标检测。
参照图21,示出了本申请实施例提供的一种目标检测装置的结构示意图。如图21所示,该目标检测装置2100可以包括以下模块:
待检测图像获取模块2110,用于获取待检测图像;
待检测图像输入模块2120,用于将所述待检测图像输入至目标检测模型,所述目标检测模型包括:一种基于自编码模型的图像解耦模块和一种带攻击检测的联合目标检测模块;
特征图获取模块2130,用于调用所述自编码模型对所述待检测图像的分类属性信息进行分离处理,得到包含与图像类别相关特征的第一特征图和包含与图像类别无关特征的第二特征图;
目标检测结果获取模块2140,用于调用所述联合目标检测模块根据所述第一特征图检测所述待检测图像是否存在对抗攻击痕迹,并采用容错自动路由方案根据检测结果对所述第一特征图和所述第二特征图进行目标检测,得到目标检测结果。
可选地,所述自编码模型包括:编码器和解码器,
所述特征图获取模块包括:
编码特征信息获取单元,用于调用所述编码器对所述待检测图像的图像特征进行编码处理,得到编码特征信息;
第二特征图获取单元,用于调用所述解码器对所述编码特征信息进行解码处理,以重构得到与图像类别无关的第二特征图;
第一特征图确定单元,用于基于输入的所述待检测图像和所述第二特征图,确定与图像类别相关的第一特征图。
可选地,所述联合目标检测模块包括:第一主干网络、攻击检测器、第二主干网络、特征融合网络和目标检测网络,
所述目标检测结果获取模块包括:
第一特征获取单元,用于调用所述第一主干网络对所述第一特征图进行特征提取,得到第一多尺度特征;
检测结果获取单元,用于调用所述攻击检测器对所述第一多尺度特征进行检测处理,得到检测结果;
第二特征获取单元,用于调用所述第二主干网络对所述第二特征图进行特征提取,得到第二多尺度特征;
融合特征获取单元,用于采用容错自动路由方案根据所述检测结果对所述第一多尺度特征和所述第二多尺度特征进行特征选择,得到选择的特征,并调用所述特征融合网络对选择的特征进行融合处理,得到融合特征;
目标检测结果获取单元,用于调用所述目标检测网络对所述融合特征进行处理,得到目标检测结果。
可选地,所述检测结果获取单元包括:
压缩特征获取子单元,用于对所述第一多尺度特征进行压缩处理,得到压缩特征;
压缩特征映射子单元,用于通过线性映射层将所述压缩特征映射至所述攻击检测器;
检测结果获取子单元,用于调用所述攻击检测器对所述压缩特征进行处理,以得到指示所述待检测图像是否存在对抗攻击痕迹的检测结果。
可选地,所述融合特征获取单元包括:
第一特征获取子单元,用于在所述检测结果指示所述待检测图像不存在对抗攻击痕迹的情况下,将所述第一多尺度特征和所述第二多尺度特征作为选择的特征;
第一特征融合子单元,用于调用所述特征融合网络对所述第一多尺度特征和所述第二多尺度特征进行求均值合并处理,得到所述融合特征。
可选地,所述融合特征获取单元得到融合特征,包括:
第二特征获取子单元,用于在所述检测结果指示所述待检测图像存在对抗攻击痕迹的情况下,将所述第二多尺度特征作为选择的特征;
第二特征融合子单元,用于调用所述特征融合网络对所述第二多尺度特征进行融合处理,得到融合特征。
可选地,所述待检测图像输入模块包括:
调整图像获取单元,用于将所述待检测图像的尺寸调整至所述目标检测模型适配的图像尺寸,得到尺寸调整图像;
调整图像输入单元,用于将所述尺寸调整图像输入至所述目标检测模型。
可选地,所述装置还包括:
样本图像获取模块,用于获取第一样本图像,及包含对抗攻击图像的第二样本图像;
图像解耦训练模块,用于基于所述第一样本图像训练得到用于分离图像中的分类属性信息的图像解耦模块;
类别特征图获取模块,用于基于所述图像解耦模块对所述第二样本图像的分类属性进行分离处理,得到包含与图像类别相关特征的第一类别特征图和包含与图像类别无关特征的第二类别特征图;
联合目标检测训练模块,用于基于所述第一类别特征图和所述第二类别特征图,训练得到带攻击检测的联合目标检测模块;
目标检测模型确定模块,用于根据训练好的所述图像解耦模块和所述联合目标检测模块,确定所述目标检测模型。
可选地,所述图像解耦训练模块包括:
预处理图像获取单元,用于对所述第一样本图像进行预处理,得到预处理样本图像;
预处理图像输入单元,用于将所述预处理样本图像输入至待训练图像解耦模块;所述待训练图像解耦模块包括:自编码模型和分类模型;
特征图获取单元,用于调用所述自编码模型对所述预处理样本图像的分类属性进行分离处理,得到与图像类别相关的第一特征图,及与图像类别无关的第二特征图;
分类结果获取单元,用于调用所述分类模型对所述第一特征图进行分类,得到分类结果;
第一损失函数计算单元,用于基于所述第一特征图、所述第二特征图和所述分类结果,计算得到所述图像解耦网络层的第一损失函数;
图像解耦模块获取单元,用于在所述第一损失函数处于预设范围内的情况下,将训练后的待训练图像解耦模块作为最终的所述图像解耦模块。
可选地,所述预处理图像获取单元包括:
增强图像获取子单元,用于对所述第一样本图像进行数据增强处理,得到增强样本图像;
子图像块获取子单元,用于基于设定尺寸对所述增强样本图像进行裁剪处理,得到多个子图像块;
预处理图像获取子单元,用于对所述多个子图像块进行分组及混合处理,得到所述预处理样本图像。
可选地,所述预处理图像获取子单元包括:
图像块索引获取子单元,用于获取所述多个子图像块的索引;
图像块顺序调整子单元,用于调整所述索引的顺序,并依据调整的索引顺序调整所述多个子图像块的顺序;
子图像块组获取子单元,用于将调整顺序的多个子图像块进行分组,得到子图像块组;
混合图像块组获取子单元,用于将所述子图像块组进行混合,得到混合子图像块组;
预处理样本图像获取子单元,用于将所述混合子图像块组恢复为正常的图像顺序,得到混合图像,以作为所述预处理样本图像。
可选地,所述自编码模型包括:编码器和解码器,
所述特征图获取单元包括:
编码特征获取子单元,用于调用所述编码器对所述预处理样本图像的图像特征进行编码处理,以得到编码特征信息;
第二特征图重构子单元,用于调用所述解码器对所述编码特征信息进行解码处理,以重构得到与图像类别无关的第二特征图;
第一特征图确定子单元,用于基于输入的所述预处理样本图像和所述第二特征图,确定与图像类别相关的第一特征图。
可选地,所述第一损失函数计算单元包括:
重构损失计算子单元,用于基于所述第一特征图和所述第二特征图,计算得到所述自编码模型的重构损失函数;
分类损失计算子单元,用于基于所述分类结果,计算得到所述分类模型的分类损失函数;
第一损失计算子单元,用于基于所述重构损失函数和所述分类损失函数,计算得到所述待训练图像解耦模块的第一损失函数。
可选地,所述样本图像获取模块包括:
初始图像获取单元,用于获取初始样本图像;
对抗攻击图像生成单元,用于基于选定的多种对抗攻击方式分别对所述初始样本图像中的设定数量的目标图像进行对抗攻击处理,生成对抗攻击图像;
第二样本图像获取单元,用于将所述对抗攻击图像和所述初始样本图像作为所述第二样本图像。
可选地,所述对抗攻击图像生成单元包括:
对抗攻击方式获取子单元,用于获取选择的多种对抗攻击方式;
目标图像选择子单元,用于从所述初始样本图像中随机选择设定数量的目标图像;
对抗攻击图像获取子单元,用于基于每种所述对抗攻击方式对所述目标图像进行训练,得到每种所述对抗攻击方式对应的对抗攻击图像。
可选地,所述联合目标检测训练模块包括:
类别特征图输入单元,用于将所述第一类别特征图和所述第二类别特征图输入至待训练联合目标检测模块;所述待训练联合目标检测模块包括:第一主干网络、攻击检测器、第二主干网络、特征融合网络和目标检测网络;
第一多尺度特征获取单元,用于调用所述第一主干网络对所述第一类别特征图进行处理,得到第一多尺度特征;
第二多尺度特征获取单元,用于调用所述第二主干网络对所述第二类别特征图进行处理,得到第二多尺度特征;
攻击检测结果获取单元,用于调用所述攻击检测器对所述第一多尺度特征进行处理,得到所述第二样本图像是否存在对抗攻击痕迹的检测结果;
特征筛选及融合单元,用于采用容错自动路由方案,根据所述检测结果对所述第一多尺度特征和所述第二多尺度特征进行特征选择,得到选择特征,并调用所述特征融合网络对所述选择特征进行融合处理,得到融合特征;
预测检测结果获取单元,用于调用所述目标检测网络对所述融合特征进行处理,以得到预测目标检测结果;
第二损失函数计算单元,用于基于所述预测目标检测结果和所述第二样本图像的目标标注结果,计算得到所述待训练联合目标检测模块的第二损失函数;
联合目标检测模块获取单元,用于在所述第二损失函数处于预设范围内的情况下,将训练后的待训练联合目标检测模块作为最终的所述联合目标检测模块。
本申请实施例提供的目标检测装置,通过获取待检测图像,将待检测图像输入至目标检测模型,目标检测模型包括:一种基于自编码模型的图像解耦模块和一种带攻击检测的联合目标检测模块,调用自编码模型对待检测图像的分类属性信息进行分离处理,得到包含与图像类别相关特征的第一特征图和包含与图像类别无关特征的第二特征图,调用联合目标检测模块根据第一特征图检测待检测图像是否存在对抗攻击痕迹,并采用容错自动路由方案根据检测结果对第一特征图和第二特征图进行目标检测,得到目标检测结果。本申请实施例通过图像解耦模块将图像的分类属性信息剥离出来,可以用于抵抗对抗攻击的影响,同时可以使得不同检测模型之间具备的抵抗能力不同。同时利用容错自动路由方案对联合目标检测模块预测的结果进行容错处理,以保证检测模型能够产生有效可信的目标检测结果,实现高可信的目标检测。
另外地,本申请实施例还提供了一种电子设备,包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现上述目标检测方法。
图22示出了本发明实施例的一种电子设备2200的结构示意图。如图22所示,电子设备2200包括中央处理单元(CPU)2201,其可以根据存储在只读存储器(ROM)2202中的计算机程序指令或者从存储单元2208加载到随机访问存储器(RAM)2203中的计算机程序指令,来执行各种适当的动作和处理。在RAM2203中,还可存储电子设备2200操作所需的各种程序和数据。CPU2201、ROM2202以及RAM2203通过总线2204彼此相连。输入/输出(I/O)接口2205也连接至总线2204。
电子设备2200中的多个部件连接至I/O接口2205,包括:输入单元2206,例如键盘、鼠标、麦克风等;输出单元2207,例如各种类型的显示器、扬声器等;存储单元2208,例如磁盘、光盘等;以及通信单元2209,例如网卡、调制解调器、无线通信收发机等。通信单元2209允许电子设备2200通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
上文所描述的各个过程和处理,可由处理单元2201执行。例如,上述任一实施例的方法可被实现为计算机软件程序,其被有形地包含于计算机可读介质,例如存储单元2208。在一些实施例中,计算机程序的部分或者全部可以经由ROM2202和/或通信单元2209而被载入和/或安装到电子设备2200上。当计算机程序被加载到RAM2203并由CPU2201执行时,可以执行上文描述的方法中的一个或多个动作。
本申请实施例还提供了一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,计算机程序被处理器执行时实现上述目标检测方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。其中,所述的计算机可读存储介质,如只读存储器(Read-Only Memory,简称ROM)、随机存取存储器(Random Access Memory,简称RAM)、磁碟或者光盘等。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述,但是本申请并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本申请的启示下,在不脱离本申请宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本申请的保护之内。
本领域普通技术人员可以意识到,结合本申请实施例中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。
Claims (19)
1.一种目标检测方法,其特征在于,所述方法包括:
获取待检测图像;
将所述待检测图像输入至目标检测模型,所述目标检测模型包括:一种基于自编码模型的图像解耦模块和一种带攻击检测的联合目标检测模块;
调用所述自编码模型对所述待检测图像的分类属性信息进行分离处理,得到包含与图像类别相关特征的第一特征图和包含与图像类别无关特征的第二特征图;
调用所述联合目标检测模块根据所述第一特征图检测所述待检测图像是否存在对抗攻击痕迹,并采用容错自动路由方案根据检测结果对所述第一特征图和所述第二特征图进行目标检测,得到目标检测结果;
所述联合目标检测模块包括:第一主干网络、攻击检测器、第二主干网络、特征融合网络和目标检测网络,
所述调用所述联合目标检测模块根据所述第一特征图检测所述待检测图像是否存在对抗攻击痕迹,并采用容错自动路由方案根据检测结果对所述第一特征图和所述第二特征图进行目标检测,得到目标检测结果,包括:
调用所述第一主干网络对所述第一特征图进行特征提取,得到第一多尺度特征;
调用所述攻击检测器对所述第一多尺度特征进行检测处理,得到检测结果;
调用所述第二主干网络对所述第二特征图进行特征提取,得到第二多尺度特征;
采用容错自动路由方案根据所述检测结果对所述第一多尺度特征和所述第二多尺度特征进行特征选择,得到选择的特征,并调用所述特征融合网络对选择的特征进行融合处理,得到融合特征;
调用所述目标检测网络对所述融合特征进行处理,得到目标检测结果。
2.根据权利要求1所述的方法,其特征在于,所述自编码模型包括:编码器和解码器,
所述调用所述自编码模型对所述待检测图像的分类属性信息进行分离处理,得到包含与图像类别相关特征的第一特征图和包含与图像类别无关特征的第二特征图,包括:
调用所述编码器对所述待检测图像的图像特征进行编码处理,得到编码特征信息;
调用所述解码器对所述编码特征信息进行解码处理,以重构得到与图像类别无关的第二特征图;
基于输入的所述待检测图像和所述第二特征图,确定与图像类别相关的第一特征图。
3.根据权利要求1所述的方法,其特征在于,所述调用所述攻击检测器对所述第一多尺度特征进行检测处理,得到检测结果,包括:
对所述第一多尺度特征进行压缩处理,得到压缩特征;
通过线性映射层将所述压缩特征映射至所述攻击检测器;
调用所述攻击检测器对所述压缩特征进行处理,以得到指示所述待检测图像是否存在对抗攻击痕迹的检测结果。
4.根据权利要求1所述的方法,其特征在于,所述采用容错自动路由方案根据所述检测结果对所述第一多尺度特征和所述第二多尺度特征进行特征选择,得到选择的特征,并调用所述特征融合网络对选择的特征进行融合处理,得到融合特征,包括:
在所述检测结果指示所述待检测图像不存在对抗攻击痕迹的情况下,将所述第一多尺度特征和所述第二多尺度特征作为选择的特征;
调用所述特征融合网络对所述第一多尺度特征和所述第二多尺度特征进行求均值合并处理,得到所述融合特征。
5.根据权利要求1所述的方法,其特征在于,所述采用容错自动路由方案根据所述检测结果对所述第一多尺度特征和所述第二多尺度特征进行特征选择,得到选择的特征,并调用所述特征融合网络对选择的特征进行融合处理,得到融合特征,包括:
在所述检测结果指示所述待检测图像存在对抗攻击痕迹的情况下,将所述第二多尺度特征作为选择的特征;
调用所述特征融合网络对所述第二多尺度特征进行融合处理,得到融合特征。
6.根据权利要求1所述的方法,其特征在于,所述将所述待检测图像输入至目标检测模型,包括:
将所述待检测图像的尺寸调整至所述目标检测模型适配的图像尺寸,得到尺寸调整图像;
将所述尺寸调整图像输入至所述目标检测模型。
7.根据权利要求1所述的方法,其特征在于,在所述将所述待检测图像输入至目标检测模型之前,还包括:
获取第一样本图像,及包含对抗攻击图像的第二样本图像;
基于所述第一样本图像训练得到用于分离图像中的分类属性信息的图像解耦模块;
基于所述图像解耦模块对所述第二样本图像的分类属性进行分离处理,得到包含与图像类别相关特征的第一类别特征图和包含与图像类别无关特征的第二类别特征图;
基于所述第一类别特征图和所述第二类别特征图,训练得到带攻击检测的联合目标检测模块;
根据训练好的所述图像解耦模块和所述联合目标检测模块,确定所述目标检测模型。
8.根据权利要求7所述的方法,其特征在于,所述基于所述第一样本图像训练得到用于分离图像中的分类属性信息的图像解耦模块,包括:
对所述第一样本图像进行预处理,得到预处理样本图像;
将所述预处理样本图像输入至待训练图像解耦模块;所述待训练图像解耦模块包括:自编码模型和分类模型;
调用所述自编码模型对所述预处理样本图像的分类属性进行分离处理,得到与图像类别相关的第一特征图,及与图像类别无关的第二特征图;
调用所述分类模型对所述第一特征图进行分类,得到分类结果;
基于所述第一特征图、所述第二特征图和所述分类结果,计算得到所述图像解耦网络层的第一损失函数;
在所述第一损失函数处于预设范围内的情况下,将训练后的待训练图像解耦模块作为最终的所述图像解耦模块。
9.根据权利要求8所述的方法,其特征在于,所述对所述第一样本图像进行预处理,得到预处理样本图像,包括:
对所述第一样本图像进行数据增强处理,得到增强样本图像;
基于设定尺寸对所述增强样本图像进行裁剪处理,得到多个子图像块;
对所述多个子图像块进行分组及混合处理,得到所述预处理样本图像。
10.根据权利要求9所述的方法,其特征在于,所述对所述多个子图像块进行分组及混合处理,得到所述预处理样本图像,包括:
获取所述多个子图像块的索引;
调整所述索引的顺序,并依据调整的索引顺序调整所述多个子图像块的顺序;
将调整顺序的多个子图像块进行分组,得到子图像块组;
将所述子图像块组进行混合,得到混合子图像块组;
将所述混合子图像块组恢复为正常的图像顺序,得到混合图像,以作为所述预处理样本图像。
11.根据权利要求8所述的方法,其特征在于,所述自编码模型包括:编码器和解码器,
所述调用所述自编码模型对所述预处理样本图像的分类属性进行分离处理,得到与图像类别相关的第一特征图,及与图像类别无关的第二特征图,包括:
调用所述编码器对所述预处理样本图像的图像特征进行编码处理,以得到编码特征信息;
调用所述解码器对所述编码特征信息进行解码处理,以重构得到与图像类别无关的第二特征图;
基于输入的所述预处理样本图像和所述第二特征图,确定与图像类别相关的第一特征图。
12.根据权利要求8所述的方法,其特征在于,所述基于所述第一特征图、所述第二特征图和所述分类结果,计算得到所述图像解耦网络层的第一损失函数,包括:
基于所述第一特征图和所述第二特征图,计算得到所述自编码模型的重构损失函数;
基于所述分类结果,计算得到所述分类模型的分类损失函数;
基于所述重构损失函数和所述分类损失函数,计算得到所述待训练图像解耦模块的第一损失函数。
13.根据权利要求7所述的方法,其特征在于,获取包含对抗攻击图像的第二样本图像,包括:
获取初始样本图像;
基于选定的多种对抗攻击方式分别对所述初始样本图像中的设定数量的目标图像进行对抗攻击处理,生成对抗攻击图像;
将所述对抗攻击图像和所述初始样本图像作为所述第二样本图像。
14.根据权利要求13所述的方法,其特征在于,所述基于选定的多种对抗攻击方式分别对所述初始样本图像中的设定数量的目标图像进行对抗攻击处理,生成对抗攻击图像,包括:
获取选择的多种对抗攻击方式;
从所述初始样本图像中随机选择设定数量的目标图像;
基于每种所述对抗攻击方式对所述目标图像进行训练,得到每种所述对抗攻击方式对应的对抗攻击图像。
15.根据权利要求7所述的方法,其特征在于,所述基于所述第一类别特征图和所述第二类别特征图,训练得到带攻击检测的联合目标检测模块,包括:
将所述第一类别特征图和所述第二类别特征图输入至待训练联合目标检测模块;所述待训练联合目标检测模块包括:第一主干网络、攻击检测器、第二主干网络、特征融合网络和目标检测网络;
调用所述第一主干网络对所述第一类别特征图进行处理,得到第一多尺度特征;
调用所述第二主干网络对所述第二类别特征图进行处理,得到第二多尺度特征;
调用所述攻击检测器对所述第一多尺度特征进行处理,得到所述第二样本图像是否存在对抗攻击痕迹的检测结果;
采用容错自动路由方案,根据所述检测结果对所述第一多尺度特征和所述第二多尺度特征进行特征选择,得到选择特征,并调用所述特征融合网络对所述选择特征进行融合处理,得到融合特征;
调用所述目标检测网络对所述融合特征进行处理,以得到预测目标检测结果;
基于所述预测目标检测结果和所述第二样本图像的目标标注结果,计算得到所述待训练联合目标检测模块的第二损失函数;
在所述第二损失函数处于预设范围内的情况下,将训练后的待训练联合目标检测模块作为最终的所述联合目标检测模块。
16.一种目标检测装置,其特征在于,所述装置包括:
待检测图像获取模块,用于获取待检测图像;
待检测图像输入模块,用于将所述待检测图像输入至目标检测模型,所述目标检测模型包括:一种基于自编码模型的图像解耦模块和一种带攻击检测的联合目标检测模块;
特征图获取模块,用于调用所述自编码模型对所述待检测图像的分类属性信息进行分离处理,得到包含与图像类别相关特征的第一特征图和包含与图像类别无关特征的第二特征图;
目标检测结果获取模块,用于调用所述联合目标检测模块根据所述第一特征图检测所述待检测图像是否存在对抗攻击痕迹,并采用容错自动路由方案根据检测结果对所述第一特征图和所述第二特征图进行目标检测,得到目标检测结果;
所述联合目标检测模块包括:第一主干网络、攻击检测器、第二主干网络、特征融合网络和目标检测网络,
所述目标检测结果获取模块包括:
第一特征获取单元,用于调用所述第一主干网络对所述第一特征图进行特征提取,得到第一多尺度特征;
检测结果获取单元,用于调用所述攻击检测器对所述第一多尺度特征进行检测处理,得到检测结果;
第二特征获取单元,用于调用所述第二主干网络对所述第二特征图进行特征提取,得到第二多尺度特征;
融合特征获取单元,用于采用容错自动路由方案根据所述检测结果对所述第一多尺度特征和所述第二多尺度特征进行特征选择,得到选择的特征,并调用所述特征融合网络对选择的特征进行融合处理,得到融合特征;
目标检测结果获取单元,用于调用所述目标检测网络对所述融合特征进行处理,得到目标检测结果。
17.根据权利要求16所述的装置,其特征在于,所述自编码模型包括:编码器和解码器,
所述特征图获取模块包括:
编码特征信息获取单元,用于调用所述编码器对所述待检测图像的图像特征进行编码处理,得到编码特征信息;
第二特征图获取单元,用于调用所述解码器对所述编码特征信息进行解码处理,以重构得到与图像类别无关的第二特征图;
第一特征图确定单元,用于基于输入的所述待检测图像和所述第二特征图,确定与图像类别相关的第一特征图。
18.一种电子设备,其特征在于,包括:
存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如权利要求1至15中任一项所述的目标检测方法。
19.一种可读存储介质,其特征在于,当所述存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行权利要求1至15中任一项所述的目标检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311338326.0A CN117152564B (zh) | 2023-10-16 | 2023-10-16 | 目标检测方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311338326.0A CN117152564B (zh) | 2023-10-16 | 2023-10-16 | 目标检测方法、装置、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117152564A CN117152564A (zh) | 2023-12-01 |
CN117152564B true CN117152564B (zh) | 2024-02-20 |
Family
ID=88908304
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311338326.0A Active CN117152564B (zh) | 2023-10-16 | 2023-10-16 | 目标检测方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117152564B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113554089A (zh) * | 2021-07-22 | 2021-10-26 | 西安电子科技大学 | 一种图像分类对抗样本防御方法、系统及数据处理终端 |
CN114332479A (zh) * | 2021-12-23 | 2022-04-12 | 浪潮(北京)电子信息产业有限公司 | 一种目标检测模型的训练方法及相关装置 |
WO2022184019A1 (zh) * | 2021-03-05 | 2022-09-09 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、设备及存储介质 |
CN115913643A (zh) * | 2022-10-19 | 2023-04-04 | 麒麟软件有限公司 | 一种基于对抗自编码器的网络入侵检测方法、系统及介质 |
-
2023
- 2023-10-16 CN CN202311338326.0A patent/CN117152564B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022184019A1 (zh) * | 2021-03-05 | 2022-09-09 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、设备及存储介质 |
CN113554089A (zh) * | 2021-07-22 | 2021-10-26 | 西安电子科技大学 | 一种图像分类对抗样本防御方法、系统及数据处理终端 |
CN114332479A (zh) * | 2021-12-23 | 2022-04-12 | 浪潮(北京)电子信息产业有限公司 | 一种目标检测模型的训练方法及相关装置 |
CN115913643A (zh) * | 2022-10-19 | 2023-04-04 | 麒麟软件有限公司 | 一种基于对抗自编码器的网络入侵检测方法、系统及介质 |
Non-Patent Citations (1)
Title |
---|
基于深度学习的图像目标检测算法研究;张培培;王昭;王菲;;国外电子测量技术(08);第42-47页 * |
Also Published As
Publication number | Publication date |
---|---|
CN117152564A (zh) | 2023-12-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113936339B (zh) | 基于双通道交叉注意力机制的打架识别方法和装置 | |
CN109670446B (zh) | 基于线性动态系统和深度网络的异常行为检测方法 | |
CN110853033B (zh) | 基于帧间相似度的视频检测方法和装置 | |
CN112132119B (zh) | 客流统计方法、装置、电子设备和存储介质 | |
CN112016500A (zh) | 基于多尺度时间信息融合的群体异常行为识别方法及系统 | |
JP2022506905A (ja) | 知覚システムを評価するシステム及び方法 | |
CN112150450B (zh) | 一种基于双通道U-Net模型的图像篡改检测方法及装置 | |
CN111738054B (zh) | 一种基于时空自编码器网络和时空cnn的行为异常检测方法 | |
CN111626367A (zh) | 对抗样本检测方法、装置、设备及计算机可读存储介质 | |
CN110827265B (zh) | 基于深度学习的图片异常检测方法 | |
CN110781980B (zh) | 目标检测模型的训练方法、目标检测方法及装置 | |
CN114332473B (zh) | 目标检测方法、装置、计算机设备、存储介质及程序产品 | |
CN113887472B (zh) | 基于级联颜色及纹理特征注意力的遥感图像云检测方法 | |
CN112966574A (zh) | 人体三维关键点预测方法、装置及电子设备 | |
CN116910752B (zh) | 一种基于大数据的恶意代码检测方法 | |
CN113762326A (zh) | 一种数据识别方法、装置、设备及可读存储介质 | |
CN112614102A (zh) | 一种车辆检测方法、终端及其计算机可读存储介质 | |
CN115546742A (zh) | 一种基于单目热红外摄像头的铁轨异物识别方法及系统 | |
CN110659572B (zh) | 基于双向特征金字塔的视频动作检测方法 | |
CN114898273A (zh) | 一种视频监控异常检测方法、装置及设备 | |
CN112101114A (zh) | 一种视频目标检测方法、装置、设备以及存储介质 | |
CN117496583B (zh) | 一种可学习局部差异的深度伪造人脸检测定位方法 | |
CN114119532A (zh) | 一种基于遥感影像与孪生神经网络的建筑物变化检测方法 | |
CN117152564B (zh) | 目标检测方法、装置、电子设备及存储介质 | |
CN116310748A (zh) | 一种自动驾驶场景恢复及自动驾驶原型测试方法和系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |