CN117115630A - 一种基于循环一致性的强光下多光谱车辆重识别方法 - Google Patents
一种基于循环一致性的强光下多光谱车辆重识别方法 Download PDFInfo
- Publication number
- CN117115630A CN117115630A CN202311117117.3A CN202311117117A CN117115630A CN 117115630 A CN117115630 A CN 117115630A CN 202311117117 A CN202311117117 A CN 202311117117A CN 117115630 A CN117115630 A CN 117115630A
- Authority
- CN
- China
- Prior art keywords
- strong light
- image
- light
- spectrum
- generator
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000001228 spectrum Methods 0.000 claims abstract description 53
- 230000004927 fusion Effects 0.000 claims abstract description 48
- 238000002329 infrared spectrum Methods 0.000 claims abstract description 21
- 230000008447 perception Effects 0.000 claims abstract description 15
- 230000003993 interaction Effects 0.000 claims abstract description 14
- 238000012549 training Methods 0.000 claims abstract description 14
- 238000007499 fusion processing Methods 0.000 claims abstract description 10
- 238000007781 pre-processing Methods 0.000 claims abstract description 7
- 125000004122 cyclic group Chemical group 0.000 claims description 7
- 230000006870 function Effects 0.000 claims description 7
- 230000002452 interceptive effect Effects 0.000 claims description 7
- 238000013528 artificial neural network Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 4
- 230000008485 antagonism Effects 0.000 claims description 3
- 238000002156 mixing Methods 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 238000005496 tempering Methods 0.000 claims description 3
- 239000010410 layer Substances 0.000 description 16
- 238000010586 diagram Methods 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 238000013459 approach Methods 0.000 description 2
- 230000004313 glare Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000004566 IR spectroscopy Methods 0.000 description 1
- 238000004497 NIR spectroscopy Methods 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000011109 contamination Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 239000002355 dual-layer Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000001308 synthesis method Methods 0.000 description 1
- 238000001429 visible spectrum Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Processing (AREA)
Abstract
一种基于循环一致性的强光下多光谱车辆重识别方法，属于车辆重识别技术领域，解决解决强光下的车辆重识别问题；本发明对光谱图像进行数据预处理，提取光谱对应的高维特征，采用强光标签预测器对受到强光污染的图像标记强光伪标签；利用去光斑生成器将强光污染的热红外光谱和受损的光谱融合成去光斑的光谱，以替换受损的光谱；利用强光标签预测器获取的伪标签训练一个图像质量预测器，设计强光感知的交互融合模块，根据图像质量动态调节特征融合过程进行特征级融合；对多光谱进行了图像级融合，并提出了有效的图像级融合框架，使用强光感知的预测模块来自适应调节多分支特征之间的关系，以增强强光不变的有效特征并抑制易受强光干扰的无效特征。
Description
技术领域
本发明属于车辆重识别技术领域，涉及一种基于循环一致性的强光下多光谱车辆重识别方法。
背景技术
车辆重识别是计算机视觉领域的一个重要研究方向，其主要目标是在不同的摄像头视角、不同的时间和地点，识别出同一辆车。这对于智能交通系统、城市监控、车辆追踪等应用场景具有重要的价值。车辆重识别的主要挑战包括但不限于：视角变化、光照变化、遮挡、车辆颜色和型号的多样性等。为了解决这些问题，研究者们提出了许多方法，如文献《Cross-directional consistency network with adaptive layer normalization formulti-spectral vehicle re-identification and a high-quality benchmark》(AihuaZ，Xianpeng Z，Zhiqi M，et al.Information Fusion，2023，100.)采用的基于深度学习的方法。
对比其他目标，车辆更易受光照干扰，这是因为车辆自带光源，如车灯，并且光滑的车表面会反光。这一类光照干扰会严重影响现有相机的成像，进一步导致车辆重识别性能的下降。一种常见的解决思路是利用图像生成的方法对受强光干扰的图像进行恢复。然而这一方法需要配对的强光-非强光数据，现实场景中收集这样的数据非常困难。因此现有基于可见光图像的方法针对强光下的车辆重识别问题难以保持优越的性能。多光谱车辆重识别方法通过利用不同光谱(可见光、近红外、热红外)在多种环境下的成像优势，克服传统基于可见光的方法在极端条件下(黑夜、强光、雾天等)的弱势。热红外光谱在成像原理上解决了光照干扰的问题，具有强光不变性，然而在成像质量上逊于可见光和近红外光谱。现有的多光谱方法，如文献《Multi-Spectral Vehicle Re-Identification：A Challenge》(LiH，Li C，Zhu X，et al.Proceedings of the AAAI Conference on ArtificialIntelligence，2020，34(07).)以及文献《一种基于交叉一致性的多光谱车辆重识别方法》(专利申请号为：202210049114X)主要侧重于利用多光谱间互补和异质信息以及特征融合，在处理强光问题时，可见光和近红外光谱易受强光影响，导致其图像中的判别性线索丢失，从而显著影响多光谱特征融合。
发明内容
本发明的技术方案用于解决解决强光下的车辆重识别问题。
本发明是通过以下技术方案解决上述技术问题的：
一种基于循环一致性的强光下多光谱车辆重识别方法，包括以下步骤：
步骤1：首先对输入的热红外、可见光、近红外光谱图像进行数据预处理；所述的数据预处理的内容包括：将图像转为张量，调整为宽为256个像素，高为128个像素的张量，以便后续深度神经网络的特征提取；
步骤2：将输入的热红外、可见光、近红外光谱对应的张量经过三个独立的深度神经网络ResNet50提取每个光谱对应的高维特征；
步骤3：采用强光标签预测器判断输入的图像是否受强光污染，并对受到强光污染的图像标记强光伪标签；
步骤4：利用随机光斑方法模拟出的配对的强光干扰数据来训练强光感知的去光斑生成器，从而将强光污染的热红外光谱和受损的光谱融合成去光斑的光谱，以替换受损的光谱；
步骤5：利用强光标签预测器获取的伪标签训练一个图像质量预测器，根据不同模态受强光干扰的情况预测图片的总体质量，得到对应的可见光与近红外模态的调质因子α和β，并在自适应融合模块中动态调节多模态特征融合的过程；
步骤6：设计强光感知的交互融合模块，根据图像质量动态调节特征融合过程进行特征级融合。
进一步地，步骤3中所述的采用强光标签预测器判断输入的图像是否受强光污染，并对受到强光污染的图像标记强光伪标签的方法具体如下：由于热红外光谱对强光是免疫的，所以只计算可见光和近红外光谱的强光伪标签。对可见光和近红外这两个易受强光干扰的光谱，由于受光斑污染图像局部区域的像素值较高，因此根据输入图像的数字图像特征，可以获得图像的直方图，并统计图像中的像素数量，以决定图像是否受到强光影响；根据图像本身的统计信息，可以获得R通道中像素值的分布，直方图显示像素数量分布在0～255之间，然后把高于某个阈值θ的像素点设置为高值像素，计算高值像素与图像中所有像素的比例，然后确定特定光谱的比例是否大于设置为1.5％的阈值，从而最终确定光谱是否受到光斑污染。
进一步地，步骤4中所述的利用随机光斑方法模拟出的配对的强光干扰数据来训练强光感知的去光斑生成器，从而将强光污染的热红外光谱和受损的光谱融合成去光斑的光谱，以替换受损的光谱的方法如下：
从数据集中获取不受强光干扰热红外模态和可见光模态的样本，然后对可见光模态随机添加强光干扰，通过卷积层融合后，将其送入基于循环一致性的多模态去光生成器A，建立{强光干扰可见光模态，热红外模态}与{去光可见光模态}的对应关系，以融合{强光干扰可见光模态，热红外模态}两个模态中的有效信息，生成出理想状态下去光的可见光模态。然后，将生成出的未受强光干扰的可见光模态送入循环生成器B，对其增加强光后再经过卷积层融合，进入下一轮循环，构成一个基于循环一致性的多模态去光斑生成器；
从数据集中选择的干净图像添加随机光斑，获得图像对I和If，然后应用卷积层将3通道RGB图像If和3通道TI图像IT投影到一个3通道混合特征fm，然后将fm输入GeneratorA，Generator A中的编码器从fm提取特征，解码器将特征转换为去光斑图像Idf。GeneratorB与Generator A共享相同的结构，为去光斑图像Idf添加光斑，使其与合成的光斑污染图像If相同。在下半圆中，将原始无光斑图像I约束为与Generator A的输出Idf相同，其中I通过Generator B，然后与TI图像混合，并通过Generator A转换为Idf。
损失函数由两种类型的损失构成：生成对抗网络(GAN)损失如公式(1)-(2)所示，循环一致性损失(Cycle Loss)如公式(3)-(5)所示。
losscc(GA，GB)A＝||GB(GA(conv(Ri，T)))-Ri|| (3)
losscc(GA，GB)B＝||GA(conv(GB(R)，T))-R|| (4)
losscc(GA，GB)＝losscc(GA，GB)A+losscc(GA，GB)B (5)
通过结合上述两种GAN损失函数，目标是分别训练一个Generator A，以生成一个融合多模态特征判别行特征的去光图片，达到图像级的融合。
进一步地，步骤5中所述的利用强光标签预测器获取的伪标签训练一个图像质量预测器的方法如下：将从ResNet50提取的特征fR、fN输入到一个包含多个卷积层和分类器的预测子网络中，其输出为RGB光谱和NI光谱的强光影响因子α、β；利用伪标签labelf作为监督信号约束预测子网络的特提取，子网络包含多个卷积层、一个池化层、全连接层和分类器；使用二元交叉熵损失公式： 来训练子网络。
进一步地，步骤6中所述的设计强光感知的交互融合模块，根据图像质量动态调节特征融合过程进行特征级融合的方法具体如下：
从预测子网络中得到RGB和NI光谱的强光因子α和β，用以下方式根据图片受强光影响的程度自适应调节不同光谱分支间的特征交互关系，特征输出如公式(7)、(8)、(9)所示：
f’R＝fnt+(1-α)·fR (7)
f’N＝frt+(1-β)·fN (8)
f’T＝frn+1·fT (9)
在与交互特征frn、frt、fnt进行残差连接时，多分支的特征fR，fN，fT参与特征融合，以建立不同模态间的关系；将交互融合模块的多分支特征，分别输入到分类器中，使用交叉熵损失和三元损失来约束特征学习。
本发明的优点在于：
本发明的方法从数字图像特征层面分析了光斑污染问题，并避免了人工标注来确定强光污染样本，进一步设计强光感知的自适应特征融合，强光感知的去光斑生成器可以很好地生成结合多模态优势的去光图像，并在实验结果中表现出优异的性能；强光感知交互融合模块针对强光问题预测特定样本的质量自适应调节特征融合过程，对比常见的特征融合方式可以更好地融合多模态信息；特征交互的方式以及针对强光问题设计的整体网络结构和收集的多光谱车辆重识别数据集不同光谱的不同图像受强光干扰的区域不同；首次提出对多光谱进行了图像级融合，并提出了有效的图像级融合框架，此外，使用强光感知的预测模块来自适应调节多分支特征之间的关系，而不是平等地考虑受强光干扰和不受干扰的多个模态分支，以增强强光不变的有效特征并抑制易受强光干扰的无效特征。
附图说明
图1是本发明的光斑感知的双层融合网络结构图，其中：FLP表示强光标签预测器、FDG表示强光感知的去光斑生成器、QP表示质量预测器、FIF表示强光感知交互融合模块；
图2是本发明的强光标签预测器的结构图，其中：Flare Label Predictor表示强光标签预测器，Histogram表示统计直方图；
图3是本发明的基于循环一致性的强光感知的去光斑生成器的结构图，其中：Cycle-ConsistencyLoss表示循环一致性损失，Cony表示卷积操作，Generator表示生成器；
图4是本发明的质量预测器的结构图，其中：Quality Predictor表示质量预测器，PredictionSubnetwork表示预测子网络，Cross-Entropy Loss表示交叉熵损失函数；
图5是本发明的强光感知交互融合模块的结构图，其中：Flare-AwareInteractive Fusion表示强光感知的交互式融合。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合说明书附图以及具体的实施例对本发明的技术方案作进一步描述：
实施例一
本发明的一种基于循环一致性的强光下多光谱车辆重识别方法包括以下内容：
步骤1：首先对输入的热红外、可见光、近红外光谱图像进行数据预处理；所述的数据预处理的内容包括：将图像转为张量，调整为宽为256个像素，高为128个像素的张量，以便后续深度神经网络的特征提取。
步骤2：将输入的热红外、可见光、近红外光谱对应的张量经过三个独立的深度神经网络ResNet50提取每个光谱对应的高维特征。
步骤3：采用强光标签预测器判断输入的图像是否受强光污染，并对受到强光污染的图像标记强光伪标签。
对于一张输入图像，其是否受强光影响是没有准确的标签确定的，想要确定其是否受强光影响需要从图像本身像素分布出发。本发明设计了一个强光标签预测器，利用图像本身的数字图像特征，得到对应的强光伪标签。
如图2所示，由于热红外光谱对强光是免疫的，所以只计算可见光和近红外光谱的强光伪标签。对可见光和近红外这两个易受强光干扰的光谱，由于受光斑污染图像局部区域的像素值较高，因此根据输入图像的数字图像特征，可以获得图像的直方图，并统计图像中的像素数量，以决定图像是否受到强光影响。
根据图像本身的统计信息，可以获得R通道中像素值的分布，直方图显示像素数量分布在0～255之间，然后把高于某个阈值θ(设置为250)的像素点设置为高值像素，计算高值像素与图像中所有像素的比例，然后确定特定光谱的比例是否大于设置为1.5％的阈值，从而最终确定光谱是否受到光斑污染。
然而，有些情况下，可见光光谱可能受到强光污染，而近红外光谱受到影响较弱，反之亦然。因此，对于两个光谱需要分别采用不同的标签，通过使用bool(λRGB＞1.5％)或bool(λNI＞1.5％)来确定两个光谱是否受到强光污染，以确保强光伪标签的可靠性。
步骤4：利用随机光斑方法模拟出的配对的强光干扰数据来训练强光感知的去光斑生成器，从而将强光污染的热红外光谱和受损的光谱融合成去光斑的光谱，以替换受损的光谱。
为了最小化额外光照的影响，希望去光斑生成器能够合成一幅理想的无光斑图像，并保持与身份相关的信息。最简单的解决方案是训练一个光污染图像和无光污染图像的图像对，然而收集这么多像素级对齐的图像对既费时又不可行。因此，需要一个适当的数据合成方法，由于相机只捕捉被物体反射的热红外光，热红外图像从不受不受环境光的影响。因此，本发明使用CycleGAN架构将免疫于强光污染的热红外光谱和受损的光谱融合成去光斑的光谱，以替换受损的光谱。
利用随机光斑方法模拟出的配对的强光干扰数据来训练一个多模态去光斑生成器，具体如下：
首先，从数据集中获取不受强光干扰热红外模态和可见光模态的样本，然后对可见光模态随机添加强光干扰，通过卷积层融合后，将其送入基于循环一致性的多模态去光生成器A，建立{强光干扰可见光模态，热红外模态}与{去光可见光模态}的对应关系，以融合{强光干扰可见光模态，热红外模态}两个模态中的有效信息，生成出理想状态下去光的可见光模态。然后，将生成出的未受强光干扰的可见光模态送入循环生成器B，对其增加强光后再经过卷积层融合，进入下一轮循环，构成一个基于循环一致性的多模态去光斑生成器。
具体如图3所示，首先，从数据集中选择的干净图像添加随机光斑，获得图像对I和If，然后应用卷积层将3通道RGB图像If和3通道TI图像IT投影到一个3通道混合特征fm，然后将fm输入Generator A，Generator A中的编码器从fm提取特征，解码器将特征转换为去光斑图像Idf。Generator B与Generator A共享相同的结构，为去光斑图像Idf添加光斑，使其与合成的光斑污染图像If相同。在下半圆中，将原始无光斑图像I约束为与Generator A的输出Idf相同，其中I通过Generator B，然后与TI图像混合，并通过Generator A转换为Idf。
损失函数由两种类型的损失构成：生成对抗网络(GAN)损失如公式(1)-(2)所示，循环一致性损失(Cycle Loss)如公式(3)-(5)所示。
losscc(GA，GB)A＝||GB(GA(conv(Ri，T)))-Ri|| (3)
losscc(GA，GB)B＝||GA(conv(GB(R)，T))-R|| (4)
losscc(GA，GB)＝losscc(GA，GB)A+losscc(GA，GB)B (5)
通过结合上述两种GAN损失函数，目标是分别训练一个Generator A，以生成一个融合多模态特征判别行特征的去光图片，达到图像级的融合。此外，为了只处理受强光干扰的图片，利用步骤3中的伪标签对训练样本进行筛选。
步骤5：利用步骤3中的强光标签预测器获取的伪标签训练一个图像质量预测器，根据不同模态受强光干扰的情况预测图片的总体质量，得到对应的可见光与近红外模态的调质因子α和β，并在自适应融合模块中动态调节多模态特征融合的过程。
具体如图4所示，通过Flare Label Predictor获得的伪标签labelf可以确定某个样本是否受到光斑污染，但labelf不代表某个图像受光斑污染的程度以及经过多模态融合后图像本身的质量。因此，本发明提出使用labelf来训练一个图像质量预测器，用于预测某个受强光污染样本的质量。
首先，将从ResNet50提取的特征fR、fN输入到一个包含多个卷积层和分类器的预测子网络中，以得到RGB(可见光)和NI(近红外)的概率α、β。
使用Flare Label Predictor中的伪标签labelf来训练预测子网络，以获取RGB和NI的调制参数α和β。该子网络包含多个卷积层、一个池化层、全连接层和分类器。使用二元交叉熵损失(BCEloss)如公式(6)所示来训练该子网络。
步骤6：设计强光感知的交互融合模块，根据图像质量动态调节特征融合过程进行特征级融合
如图5所示，通过(1-α)·fR、(1-β)·fN、1·fT自适应调节受强光污染样本之间的相互关系，特征输出如公式(7)、(8)、(9)所示：
f’R＝fnt+(1-α)·fR (7)
f’N＝frt+(1-β)·fN (8)
f’T＝frn+1·fT (9)
在与交互特征frn、frt、fnt进行残差连接时，多分支的特征fR，fN，fT参与特征融合，以建立不同模态间的关系；将交互融合模块的多分支特征，分别输入到分类器中，使用交叉熵损失和三元损失来约束特征学习。
以RGB分支的特征交互融合为例：其中fN与fT通过通道注意力和残差连接相互作用，然后通过Quality Predictor获得的相应因子α调制fR，通过(1-α)·fR与fNT相加得到最终的特征f’R。对于另外两个分支(近红外和热红外)的特征，交互融合模块会做同样的操作。然后将f’R、f’N、f’T连接起来，得到最终的特征表示。
本发明的方法设计了一种光斑感知的双层融合网络(Flare-Aware Bi-levelFusion Network)，所述的光斑感知的双层融合网络包括：强光标签预测器(FLP)、强光感知的去光斑生成器(FDG)、质量预测器(QP)、强光感知交互融合模块(FIF)，专注于解决车辆重识别任务再现实场景中的额外强光的问题，从数字图像特征层面分析了光斑污染问题，并避免了人工标注来定位光斑污染样本，以便进一步设计强光感知的自适应特征融合模块。首次提出对多光谱进行了图像级融合，并提出了一个基于CycleGAN的可行有效的图像级融合框架。此外，使用强光感知的预测模块来自适应调节多分支特征之间的关系，而不是平等地考虑受干扰和不受干扰的模态分支，以此增强强光不变的有效特征并抑制易受强光干扰的无效特征。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (5)
1.一种基于循环一致性的强光下多光谱车辆重识别方法，其特征在于，包括以下步骤：
步骤1：首先对输入的热红外、可见光、近红外光谱图像进行数据预处理；所述的数据预处理的内容包括：将图像转为张量，调整为宽为256个像素，高为128个像素的张量，以便后续深度神经网络的特征提取；
步骤2：将输入的热红外、可见光、近红外光谱对应的张量经过三个独立的深度神经网络ResNet50提取每个光谱对应的高维特征；
步骤3：采用强光标签预测器判断输入的图像是否受强光污染，并对受到强光污染的图像标记强光伪标签；
步骤4：利用随机光斑方法模拟出的配对的强光干扰数据来训练强光感知的去光斑生成器，从而将强光污染的热红外光谱和受损的光谱融合成去光斑的光谱，以替换受损的光谱；
步骤5：利用强光标签预测器获取的伪标签训练一个图像质量预测器，根据不同模态受强光干扰的情况预测图片的总体质量，得到对应的可见光与近红外模态的调质因子α和β，并在自适应融合模块中动态调节多模态特征融合的过程；
步骤6：设计强光感知的交互融合模块，根据图像质量动态调节特征融合过程进行特征级融合。
2.根据权利要求1所述的基于循环一致性的强光下多光谱车辆重识别方法，其特征在于，步骤3中所述的采用强光标签预测器判断输入的图像是否受强光污染，并对受到强光污染的图像标记强光伪标签的方法具体如下：由于热红外光谱对强光是免疫的，所以只计算可见光和近红外光谱的强光伪标签。对可见光和近红外这两个易受强光干扰的光谱，由于受光斑污染图像局部区域的像素值较高，因此根据输入图像的数字图像特征，可以获得图像的直方图，并统计图像中的像素数量，以决定图像是否受到强光影响；根据图像本身的统计信息，可以获得R通道中像素值的分布，直方图显示像素数量分布在0～255之间，然后把高于某个阈值θ的像素点设置为高值像素，计算高值像素与图像中所有像素的比例，然后确定特定光谱的比例是否大于设置为1.5％的阈值，从而最终确定光谱是否受到光斑污染。
3.根据权利要求2所述的基于循环一致性的强光下多光谱车辆重识别方法，其特征在于，步骤4中所述的利用随机光斑方法模拟出的配对的强光干扰数据来训练强光感知的去光斑生成器，从而将强光污染的热红外光谱和受损的光谱融合成去光斑的光谱，以替换受损的光谱的方法如下：
从数据集中获取不受强光干扰热红外模态和可见光模态的样本，然后对可见光模态随机添加强光干扰，通过卷积层融合后，将其送入基于循环一致性的多模态去光生成器A，建立{强光干扰可见光模态，热红外模态}与{去光可见光模态}的对应关系，以融合{强光干扰可见光模态，热红外模态}两个模态中的有效信息，生成出理想状态下去光的可见光模态。然后，将生成出的未受强光干扰的可见光模态送入循环生成器B，对其增加强光后再经过卷积层融合，进入下一轮循环，构成一个基于循环一致性的多模态去光斑生成器；
从数据集中选择的干净图像添加随机光斑，获得图像对I和If，然后应用卷积层将3通道RGB图像If和3通道TI图像IT投影到一个3通道混合特征Fm，然后将Fm输入Generator A，Generator A中的编码器从Fm提取特征，解码器将特征转换为去光斑图像Idf。Generator B与Generator A共享相同的结构，为去光斑图像Idf添加光斑，使其与合成的光斑污染图像If相同。在下半圆中，将原始无光斑图像I约束为与Generator A的输出Idf相同，其中I通过Generator B，然后与TI图像混合，并通过Generator A转换为Idf。
损失函数由两种类型的损失构成：生成对抗网络(GAN)损失如公式(1)-(2)所示，循环一致性损失(Cycle Loss)如公式(3)-(5)所示。
losscc(GA，GB)A＝||B(GA(conv(Ri，T)))-Ri|| (3)
losscc(GA，GB)B＝||GA(conv(GB(R)，T))-R|| (4)
losscc(GA，GB)＝losscc(GA，GB)A+losscc(GA，GB)B (5)
通过结合上述两种GAN损失函数，目标是分别训练一个Generator A，以生成一个融合多模态特征判别行特征的去光图片，达到图像级的融合。
4.根据权利要求3所述的基于循环一致性的强光下多光谱车辆重识别方法，其特征在于，步骤5中所述的利用强光标签预测器获取的伪标签训练一个图像质量预测器的方法如下：将从ResNet50提取的特征fR、fN输入到一个包含多个卷积层和分类器的预测子网络中，其输出为RGB光谱和NI光谱的强光影响因子α、β；利用伪标签labelf作为监督信号约束预测子网络的特提取，子网络包含多个卷积层、一个池化层、全连接层和分类器；使用二元交叉熵损失公式： 来训练子网络。
5.根据权利要求4所述的基于循环一致性的强光下多光谱车辆重识别方法，其特征在于，步骤6中所述的设计强光感知的交互融合模块，根据图像质量动态调节特征融合过程进行特征级融合的方法具体如下：
从预测子网络中得到RGB和NI光谱的强光因子α和β，用以下方式根据图片受强光影响的程度自适应调节不同光谱分支间的特征交互关系，特征输出如公式(7)、(8)、(9)所示：
f’R＝fnt+(1-α)·fR (7)
f’N＝frt+(1-β)·fN (8)
f’T＝frn+1·fT (9)
在与交互特征frn、frt、fnt进行残差连接时，多分支的特征fR,fN,fT参与特征融合，以建立不同模态间的关系；将交互融合模块的多分支特征，分别输入到分类器中，使用交叉熵损失和三元损失来约束特征学习。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311117117.3A CN117115630A (zh) | 2023-08-30 | 2023-08-30 | 一种基于循环一致性的强光下多光谱车辆重识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311117117.3A CN117115630A (zh) | 2023-08-30 | 2023-08-30 | 一种基于循环一致性的强光下多光谱车辆重识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117115630A true CN117115630A (zh) | 2023-11-24 |
Family
ID=88801900
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311117117.3A Pending CN117115630A (zh) | 2023-08-30 | 2023-08-30 | 一种基于循环一致性的强光下多光谱车辆重识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117115630A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117975383A (zh) * | 2024-04-01 | 2024-05-03 | 湖北经济学院 | 一种基于多模态图像融合技术的车辆定位和识别方法 |
-
2023
- 2023-08-30 CN CN202311117117.3A patent/CN117115630A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117975383A (zh) * | 2024-04-01 | 2024-05-03 | 湖北经济学院 | 一种基于多模态图像融合技术的车辆定位和识别方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wagner et al. | Multispectral Pedestrian Detection using Deep Fusion Convolutional Neural Networks. | |
| CN112884064B (zh) | 一种基于神经网络的目标检测与识别方法 | |
| EP3631761B1 (en) | Method and system for automatically colorizing night-vision images | |
| CN112733950A (zh) | 一种基于图像融合与目标检测结合的电力设备故障诊断方法 | |
| CN111292264A (zh) | 一种基于深度学习的图像高动态范围重建方法 | |
| CN110866879B (zh) | 一种基于多密度雨纹感知的图像去雨方法 | |
| CN109063667B (zh) | 一种基于场景的视频识别方式优化及推送方法 | |
| Guo et al. | Image dehazing via enhancement, restoration, and fusion: A survey | |
| CN117115630A (zh) | 一种基于循环一致性的强光下多光谱车辆重识别方法 | |
| CN110705412A (zh) | 一种基于运动历史图像的视频目标检测方法 | |
| CN114663371A (zh) | 基于模态独有和共有特征提取的图像显著目标检测方法 | |
| Dong et al. | Semi-supervised domain alignment learning for single image dehazing | |
| CN116311254A (zh) | 一种恶劣天气情况下的图像目标检测方法、系统及设备 | |
| Zhang et al. | From compressive sampling to compressive tasking: retrieving semantics in compressed domain with low bandwidth | |
| CN114639002A (zh) | 一种基于多模式特征的红外与可见光图像融合方法 | |
| Tang et al. | MPCFusion: Multi-scale parallel cross fusion for infrared and visible images via convolution and vision Transformer | |
| Fu et al. | Low-light image enhancement base on brightness attention mechanism generative adversarial networks | |
| CN116152741A (zh) | 一种基于深度学习算法的矿下人员检测方法 | |
| He et al. | Single maritime image dehazing using unpaired adversarial learning | |
| CN115690578A (zh) | 一种图像融合方法和目标识别方法及装置 | |
| Li et al. | Effective low-light image enhancement with multiscale and context learning network | |
| Stival et al. | Survey on video colorization: Concepts, methods and applications | |
| CN113557522A (zh) | 基于相机统计的图像帧预处理 | |
| Gummadi et al. | Correlating traditional image quality metrics and DNN-based object detection: a case study with compressed camera data | |
| CN116844241B (zh) | 基于着色的红外视频行为识别方法、系统和电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |