CN115457420B - 一种基于无人机拍摄夜间低对比度的车辆重检测方法 - Google Patents

一种基于无人机拍摄夜间低对比度的车辆重检测方法 Download PDF

Info

Publication number
CN115457420B
CN115457420B CN202211401523.8A CN202211401523A CN115457420B CN 115457420 B CN115457420 B CN 115457420B CN 202211401523 A CN202211401523 A CN 202211401523A CN 115457420 B CN115457420 B CN 115457420B
Authority
CN
China
Prior art keywords
vehicle
information
features
representing
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211401523.8A
Other languages
English (en)
Other versions
CN115457420A (zh
Inventor
刘寒松
王永
王国强
刘瑞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sonli Holdings Group Co Ltd
Original Assignee
Sonli Holdings Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sonli Holdings Group Co Ltd filed Critical Sonli Holdings Group Co Ltd
Priority to CN202211401523.8A priority Critical patent/CN115457420B/zh
Publication of CN115457420A publication Critical patent/CN115457420A/zh
Application granted granted Critical
Publication of CN115457420B publication Critical patent/CN115457420B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本发明属于车辆重检测技术领域，涉及一种基于无人机拍摄夜间低对比度的车辆重检测方法，先对数据集中的数据进行视觉信息和红外信息特征提取，然后采用基于弱监督进行车辆定位后将结果输入GAN网络中，得到高质量的视觉信息和高质量的红外信息并进行特征提取后对特征融合，最后输出高维度车辆特征向量，即为车辆重识别结果；能够克服夜晚和复杂条件下的车辆重检测，不受应用场景的限制，节省人力财力物力。

Description

一种基于无人机拍摄夜间低对比度的车辆重检测方法
技术领域
本发明属于车辆重检测技术领域，尤其涉及一种基于无人机拍摄夜间低对比度的车辆重检测方法。
背景技术
车辆重识别是计算机视觉领域中非常活跃的研究领域，目前，车辆重识别包含车辆的分类、车辆的检测和车辆的分割等场景，车辆重识别旨在通过给定的车辆图片，查找与当前车辆图片属于相同车辆的图片，车辆重识别的研究越来越多，与人员重识别的研究具有相同的目的，然而，车辆重识别的研究更加复杂，目前大多数的车辆重识别算法依赖于车辆的外观信息，但是，采用这种基于车辆外观的方式具有非常大的局限性，因为车辆的外观经常具有非常相似的外形和颜色，而且车辆可能在夜间出现，这种情况下，如果基于外表和颜色信息将出现失效问题。
随着多模态传感器的普及，目前，基于可见光热红外的车辆重检测将在车辆温度信息的指导下实现更高的性能，但是当前车辆重检测的算法仅仅针对于裁剪好的车辆区域，并进行车辆之间的相似度度量，在复杂场景下的车辆重检测的相关研究非常少，而针对于无人机的车辆重检测相关研究更少。
发明内容
为解决上述问题，本发明设计提供一种新的基于无人机拍摄夜间低对比度的车辆重检测方法，针对无人机拍摄车辆进行重识别，实现查找车辆的检测与跟踪，从而实现定位查找车辆。
为实现上述目的，本发明实现车辆重检测的具体过程为：
（1）数据集构建：采用无人机拍摄的视频数据构建数据集，无人机拍摄的视频包含 集RGB信息和
Figure 173992DEST_PATH_IMAGE001
数据；
（2）视觉信息和红外信息特征提取：将视频数据划分为单帧的数据，每帧数据包含 RGB图片数据和
Figure 294395DEST_PATH_IMAGE001
图片数据两种数据，将RGB图片和
Figure 74132DEST_PATH_IMAGE001
图片分别输入多尺度特征提取 网络VggNet中，从RGB图片数据中提取视觉信息特征，从
Figure 407025DEST_PATH_IMAGE001
图片数据中提取红外信息特 征；
（3）弱监督车辆定位：采用基于弱监督车辆定位的方式生成车辆位置区域；
（4）基于局部区域增强的分辨率提升：将弱监督车辆定位结果输入GAN网络（Generative Adversarial Nets，生成对抗网络）中，采用基于局部区域增强的方式将图片的分辨率增加，得到高质量的视觉信息和高质量的红外信息，保证车辆在输入到网络中时，有充分的特征用于后续的车辆重检测过程；
（5）分辨率提升后的视觉信息和红外信息特征提取：采用与步骤（2）相同的方式提取分辨率提升后的视觉信息特征和红外信息特征；
（6）基于注意力机制的特征融合：根据视觉特征以及红外特征其自身蕴含的像素级互信息，先计算像素级特征相似性并加权初始特征，得到视觉特征和及热红外特征的自注意力机制结果，再采用基于语义信息特征相似性的特征交互模式，将增强后的车辆区域用来加权初始车辆特征得到跨注意力结果；
（7）结果输出：将步骤（6）得到的自注意力和跨注意力结果进行跨层融合并输出高维度车辆特征向量，即为车辆重识别结果；
（8）网络训练和测试：为训练车辆重识别网络，从无人机拍摄的视频数据中采用跳 帧挑选的方式选择图片数据，然后将图片数据输入到多尺度特征提取网络中，训练二分类 网络并输出图片中是否包含车辆，在训练网络拟合后测试网络，如果包含车辆，则通过CAM 机制将输出车辆的定位信息，不存在车辆的帧将被舍弃，再将低质量的车辆局部区域块输 入到GAN网络中，并朝着高质量、高分辨率的车辆区域块方向拟合，直到生成的质量与真实 的质量之间达到无法分辨真假，得到高质量的更高分辨率的车辆区域块，然后将高质量、高 分辨率的车辆区域（RGB数据和
Figure 955818DEST_PATH_IMAGE001
数据）输入到多尺度特征提取网络中，并将二者充分发 挥出互补特性，从而生成计算相似度量的高维度向量，从而确定车辆是否为查找的车辆。
作为本发明的进一步技术方案，步骤（2）提取的视觉信息和红外信息特征为：
Figure 981542DEST_PATH_IMAGE002
Figure 779734DEST_PATH_IMAGE003
Figure 713055DEST_PATH_IMAGE004
定义如下：
Figure 54038DEST_PATH_IMAGE005
其中
Figure 312981DEST_PATH_IMAGE001
代表可见光热红外图像；
Figure 739414DEST_PATH_IMAGE006
代表包含视觉信息的图片；
Figure 210847DEST_PATH_IMAGE007
代表 提取得到的
Figure 937494DEST_PATH_IMAGE008
特征，i代表不同网络层输出的特征信息；
Figure 632918DEST_PATH_IMAGE009
代表采集的多尺度车 辆信息，3,4,5代表第3,4,5层的输出特征，
Figure 546647DEST_PATH_IMAGE010
代表sigmoid函数。
作为本发明的进一步技术方案，步骤（3）的具体过程为：
（31）先增强多尺度视觉特征和热红外特征，得到增强的多尺度视觉特征和热红外特征：
Figure 821771DEST_PATH_IMAGE011
Figure 131486DEST_PATH_IMAGE012
其中，
Figure 997811DEST_PATH_IMAGE013
代表reshape操作，将特征转化为单一维度向量；
Figure 133257DEST_PATH_IMAGE014
代表softmax函数，表 示将矩阵之间的关系矩阵映射到0-1之间；
Figure 743230DEST_PATH_IMAGE015
代表对矩阵的值进行排序，
Figure 647732DEST_PATH_IMAGE016
代表Concat操作，
Figure 950538DEST_PATH_IMAGE017
代表取K个最大的相似矩阵的值；
（32）采用车辆类别信息约束的方式，即将
Figure 307701DEST_PATH_IMAGE018
和
Figure 986944DEST_PATH_IMAGE019
输入到全局池化 层中，提取高维度特征向量，从而达到精细化车辆特征区域信息的目的，详细操作如下，
Figure 339428DEST_PATH_IMAGE020
Figure 954080DEST_PATH_IMAGE021
Figure 798539DEST_PATH_IMAGE022
其中，
Figure 750314DEST_PATH_IMAGE023
,
Figure 629409DEST_PATH_IMAGE024
,
Figure 274017DEST_PATH_IMAGE025
代表是否存在车辆，
Figure 871351DEST_PATH_IMAGE026
和
Figure 95659DEST_PATH_IMAGE027
代表线性层，
Figure 94839DEST_PATH_IMAGE028
代表 在此处产生的特征将被输出；
Figure 379190DEST_PATH_IMAGE016
代表特征叠加。
作为本发明的进一步技术方案，步骤（4）的具体过程如下：
先确定车辆区域
Figure 463821DEST_PATH_IMAGE029
，
Figure 22978DEST_PATH_IMAGE030
其中，
Figure 611085DEST_PATH_IMAGE031
代表类别激活映射机制，通过类别激活映射机制将车辆区域定位出来； 将车辆类别置信度更强的区域检测出来，采用注意力增强的方式
Figure 597496DEST_PATH_IMAGE032
将车辆类别置信度 更强的区域检测出来，得到车辆位置的粗定位信息
Figure 638264DEST_PATH_IMAGE033
；基于车辆的粗定位信息，通过 外围连接的方式得到外围边界框基于外围边界框，裁剪得到车辆区域
Figure 204375DEST_PATH_IMAGE029
；
再将车辆区域
Figure 506043DEST_PATH_IMAGE029
进行增强得到高质量的车辆区域
Figure 804300DEST_PATH_IMAGE034
，
Figure 191419DEST_PATH_IMAGE035
其中
Figure 295642DEST_PATH_IMAGE036
代表低质量的车辆区域；
Figure 592762DEST_PATH_IMAGE037
代表车辆区域增强模块，车辆 区域增强模块采用GAN网络中判别网络的方式，详细操作如下，
Figure 920975DEST_PATH_IMAGE038
其中，
Figure 936336DEST_PATH_IMAGE039
代表判别网络，
Figure 640986DEST_PATH_IMAGE040
代表真实的高质量的车辆区域；
Figure 386089DEST_PATH_IMAGE041
代表判断当前车辆区域是真实的车辆区域还是生成的车辆区域。
作为本发明的进一步技术方案，步骤（5）的具体过程如下：
Figure 754710DEST_PATH_IMAGE042
Figure 850842DEST_PATH_IMAGE043
其中，
Figure 500129DEST_PATH_IMAGE044
和
Figure 365317DEST_PATH_IMAGE045
分别代表基于车辆区域增强模块提取的视觉特征和 红外特征。
作为本发明的进一步技术方案，步骤（6）得到的自注意力机制结果为：
Figure 504174DEST_PATH_IMAGE046
Figure 25285DEST_PATH_IMAGE047
跨注意力结果为：
Figure 275001DEST_PATH_IMAGE048
其中，
Figure 729116DEST_PATH_IMAGE049
代表融合的视觉特征和热红外特征。
作为本发明的进一步技术方案，步骤（7）的具体过程为：
Figure 445399DEST_PATH_IMAGE050
Figure 47282DEST_PATH_IMAGE051
为最终输出的高维度车辆特征向量。
与现有技术相比，本发明具有以下优点：
一是能够克服夜晚和复杂条件下的车辆重检测，相对于传统的车辆检测方法不受应用场景的限制，只需要无人机拍摄相关视频即可；
二是不仅能够实现车辆重检测，对于行人重检测等都具有非常大的借鉴意义；
三是运用的数据标注方式能够节省人力财力物力，同时，即使是高空拍摄的分辨率小的问题也能很好的解决。
附图说明
图1为本发明实现车辆重检测的结流程框架示意图。
图2为本发明实现车辆重检测所采用的网络框架示意图。
具体实施方式
下面结合附图，通过实施例进一步描述本发明，但不以任何方式限制本发明的范围。
实施例：
本实施例采用如图1所示的流程和图2所示的网络实现车辆重检测，具体包括如下步骤：
（1）构建数据集：为收集基于无人机拍摄夜间低对比度的车辆重检测数据，本实施 例采用无人机拍摄的方式采集车辆在不同的场景下的视频数据，无人机不仅采集RGB信息， 同时还采集
Figure 772793DEST_PATH_IMAGE001
数据，为实现弱监督的车辆定位，将包含车辆的视频设置为类别1，而未包 含车辆的类别设置为0，如果夜晚拍摄的视频过于黑暗，且不存在任何车辆的数据将被去除 掉，在弱监督车辆定位的结果上，采用人工划分相同车辆的方式标注相同车辆的数据，从而 实现车辆重识别算法的数据集收集；
（2）视觉信息和红外信息特征提取：通过收集的视频数据，将视频数据划分为单帧 的数据，每帧数据包含两种类型的数据，即RGB图片数据和
Figure 143731DEST_PATH_IMAGE001
图片数据，从RGB图片数据 中提取视觉信息，而从
Figure 624391DEST_PATH_IMAGE001
图片数据中提取红外信息，无人机拍摄将包含不同尺寸的车辆 信息，如果能够在网络设计过程中，捕获不同尺寸的车辆信息将非常有助于车辆信息的充 分挖掘，因此，本实施例采用多尺度特征提取网络VggNet提取不同尺寸的车辆信息，提取的 视觉信息和红外信息特征如下，
Figure 588936DEST_PATH_IMAGE002
Figure 446033DEST_PATH_IMAGE003
Figure 140320DEST_PATH_IMAGE004
定义如下：
Figure 729564DEST_PATH_IMAGE005
其中
Figure 774881DEST_PATH_IMAGE001
代表可见光热红外图像；
Figure 107773DEST_PATH_IMAGE006
代表包含视觉信息的图片；
Figure 656566DEST_PATH_IMAGE052
代表 提取得到的
Figure 354395DEST_PATH_IMAGE008
特征，i代表不同网络层输出的特征信息；
Figure 152587DEST_PATH_IMAGE009
代表采集的多尺度车 辆信息，3,4,5代表第3,4,5层的输出特征，选择3,4,5层的输出特征是因为3,4,5层输出的 特征语义特征为高维度信息，不仅精确定位，还包含丰富的细节信息；
Figure 758011DEST_PATH_IMAGE010
代表sigmoid函数；
（3）弱监督车辆定位：目前车辆定位检测主要的困难在于标注数据的过程太费时费力，虽然通过标注外围框的方式能够极大的节省时间，但是，标注大量数据的时候，还是需要花费大量的时间，为解决上述问题，本实施例采用基于弱监督车辆定位的方式生成车辆位置区域，主要的操作如下，
Figure 692469DEST_PATH_IMAGE011
Figure 357937DEST_PATH_IMAGE053
其中，
Figure 846687DEST_PATH_IMAGE018
和
Figure 583699DEST_PATH_IMAGE019
代表经过增强的多尺度视觉特征和热红外特征；
Figure 310347DEST_PATH_IMAGE013
代表reshape操作，将特征转化为单一维度向量，
Figure 740191DEST_PATH_IMAGE014
代表softmax函数，表示将矩阵之间的关 系矩阵映射到0-1之间，
Figure 185079DEST_PATH_IMAGE015
代表对矩阵的值进行排序，
Figure 460202DEST_PATH_IMAGE016
代表Concat操作，
Figure 306935DEST_PATH_IMAGE017
代表取K个最大 的相似矩阵的值，通过这种方式能够实现矩阵的稀疏化；
经过上述方式增强后的特征包含车辆位置信息，但是，其中包含大量的背景信息， 为将背景信息滤除，同时保留车辆信息，本实施例采用车辆类别信息约束的方式，即将
Figure 376523DEST_PATH_IMAGE018
和
Figure 326285DEST_PATH_IMAGE019
输入到全局池化层（GAP）中，提取高维度特征向量，从而达到精细化 车辆特征区域信息的目的，详细操作如下，
Figure 405099DEST_PATH_IMAGE020
Figure 903077DEST_PATH_IMAGE054
Figure 346827DEST_PATH_IMAGE055
其中，
Figure 563045DEST_PATH_IMAGE023
,
Figure 383234DEST_PATH_IMAGE024
,
Figure 735717DEST_PATH_IMAGE025
代表是否存在车辆。
Figure 615949DEST_PATH_IMAGE026
和
Figure 53883DEST_PATH_IMAGE027
代表线性层，
Figure 146604DEST_PATH_IMAGE028
代表 在此处产生的特征将被输出；
Figure 291278DEST_PATH_IMAGE016
代表特征叠加；
（4）基于局部区域增强的分辨率提升：拍摄的视频数据为基于高空无人机拍摄，其拍摄的车辆的尺寸将非常受限制，如果将车辆区域裁剪出来，车辆分辨率将会非常低，即使将车辆区域输入到网络中，并充分挖掘车辆信息，仍然不足以支撑车辆重识别的需要的信息隐刺采用基于局部区域增强的方式将图片的分辨率增加，从而保证车辆在输入到网络中时，能够有充分的特征用于后续的车辆重检测过程，具体过程如下，
先确定车辆区域
Figure 404727DEST_PATH_IMAGE029
，
Figure 736483DEST_PATH_IMAGE056
其中，
Figure 757528DEST_PATH_IMAGE031
代表类别激活映射机制，其能够将车辆区域定位出来；为将车辆类别置 信度更强的区域检测出来，采用注意力增强的方式
Figure 84604DEST_PATH_IMAGE032
，通过上述方式，能够得到车辆位 置的粗定位信息
Figure 41059DEST_PATH_IMAGE033
；基于车辆的粗定位信息，通过外围连接的方式得到外围边界框 基于外围边界框，裁剪得到车辆区域
Figure 860111DEST_PATH_IMAGE029
；
再将车辆区域
Figure 419268DEST_PATH_IMAGE029
进行增强得到高质量的车辆区域
Figure 7375DEST_PATH_IMAGE034
，
Figure 993786DEST_PATH_IMAGE035
其中
Figure 300133DEST_PATH_IMAGE036
代表低质量的车辆区域；
Figure 397402DEST_PATH_IMAGE037
代表车辆区域增强模块，车辆 区域增强模块采用GAN网络（Generative Adversarial Nets，生成对抗网络）中判别网络的 方式，详细操作如下，
Figure 840016DEST_PATH_IMAGE057
其中，
Figure 997328DEST_PATH_IMAGE039
代表判别网络，
Figure 118868DEST_PATH_IMAGE040
代表真实的高质量的车辆区域；
Figure 223090DEST_PATH_IMAGE041
代表判断当前车辆块是真实的车辆区域还是生成的车辆区域，此模块训练时采用车辆重识 别数据将
Figure 316948DEST_PATH_IMAGE040
降低分辨率作为
Figure 114003DEST_PATH_IMAGE058
（5）分辨率提升后的视觉信息和红外信息特征提取：根据步骤（5）后得到高质量的 视觉信息
Figure 660522DEST_PATH_IMAGE059
和高质量的红外信息
Figure 834014DEST_PATH_IMAGE060
提取高质量的视觉信息特征和红外 信息特征，同时，本实施例采用与步骤（2）相同的网络，且网络参数为共享，通过这种方式能 够增加网络输入的多样性，同时增强网络的处理不同数据的能力，详细的操作如下，
Figure 782378DEST_PATH_IMAGE061
Figure 156859DEST_PATH_IMAGE062
其中，
Figure 784149DEST_PATH_IMAGE044
和
Figure 630840DEST_PATH_IMAGE045
分别代表基于车辆区域增强模块提取的视觉特征和 红外特征，其他的符号定义如步骤（2）所定义的相同；
（6）基于注意力机制的特征融合：为充分挖掘视觉特征以及红外特征其自身蕴含的像素级互信息，首先计算像素级特征相似性，并加权初始特征，得到自注意力机制结果为，
Figure 292765DEST_PATH_IMAGE063
Figure 431622DEST_PATH_IMAGE064
虽然上述步骤能够充分挖掘车辆图片中蕴含的特征信息，但是其二者之间存在的强互补特征没有充分挖掘，因此需要将视觉信息和红外信息特征进行融合，从而充分发挥二者的互补特性，为充分将二者融合，本实施例采用基于语义信息特征相似性的特征交互模式，并将增强后的车辆区域用来加权初始车辆特征，得到跨注意力结果为，
Figure 15050DEST_PATH_IMAGE065
其中，
Figure 202449DEST_PATH_IMAGE049
代表融合的视觉特征以及热红外特征；
（7）结果输出：得到步骤（6）的自注意力和跨注意力结果后，需要将注意力结果进行跨层融合并输出车辆重识别结果，为计算车辆之间的相似性度量，本实施例采用将特征转化为高维度向量的方式将车辆信息映射到统一维度的向量，其详细的操作如下，
Figure 187723DEST_PATH_IMAGE066
其中，
Figure 435165DEST_PATH_IMAGE067
代表步骤（6）中得到的结果，
Figure 505889DEST_PATH_IMAGE051
为 最终输出的高维度车辆特征向量；
（8）网络训练和测试：为训练车辆重识别网络，从无人机拍摄的视频数据中采用跳 帧挑选的方式选择图片数据，然后将图片数据输入到多尺度特征提取网络中，训练二分类 网络并输出图片中是否包含车辆，在训练网络拟合后测试网络，如果包含车辆，则通过CAM 机制将输出车辆的定位信息，不存在车辆的帧将被舍弃，再将低质量的车辆局部区域块输 入到GAN网络中，并朝着高质量、高分辨率的车辆区域块方向拟合，直到生成的质量与真实 的质量之间达到无法分辨真假，得到高质量的更高分辨率的车辆区域块，然后将高质量、高 分辨率的车辆区域（RGB数据和
Figure 903503DEST_PATH_IMAGE001
数据）输入到多尺度特征提取网络中，并将二者充分发 挥出互补特性，从而生成计算相似度量的高维度向量，从而确定车辆是否为查找的车辆。
本文中为详细公开的网络结构、函数及算法均为本领域通用技术。
需要注意的是，公布实施例的目的在于帮助进一步理解本发明，但是本领域的技术人员可以理解：在不脱离本发明及所附权利要求的精神和范围内，各种替换和修改都是可能的。因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。

Claims (6)

1.一种基于无人机拍摄夜间低对比度的车辆重检测方法，其特征在于，具体过程为：
(1)数据集构建：采用无人机拍摄的视频数据构建数据集，无人机拍摄的视频包含RGB信息和Thermal数据；
(2)视觉信息和红外信息特征提取：将视频数据划分为单帧的数据，每帧数据包含RGB图片数据和Thermal图片数据两种数据，将RGB图片和Thermal图片分别输入多尺度特征提取网络VggNet中，从RGB图片数据中提取视觉信息特征，从Thermal图片数据中提取红外信息特征；
(3)弱监督车辆定位：采用基于弱监督车辆定位的方式生成车辆位置区域；
(4)基于局部区域增强的分辨率提升：将弱监督车辆定位结果输入GAN网络中，采用基于局部区域增强的方式将图片的分辨率增加，得到高质量的视觉信息和高质量的红外信息，保证车辆在输入到网络中时，有充分的特征用于后续的车辆重检测过程；
(5)分辨率提升后的视觉信息和红外信息特征提取：采用与步骤(2)相同的方式提取分辨率提升后的视觉信息特征和红外信息特征；
(6)基于注意力机制的特征融合：根据视觉特征以及红外特征其自身蕴含的像素级互信息，先计算像素级特征相似性并加权步骤(5)得到的视觉信息特征和红外信息特征，得到视觉特征和热红外特征的自注意力机制结果，再采用基于语义信息特征相似性的特征交互模式，将增强后的车辆区域用来加权视觉特征和热红外特征的自注意力机制结果得到跨注意力结果；其中得到的自注意力机制结果为：
Figure FDA0004051278800000012
Figure FDA0004051278800000011
跨注意力结果为：
Figure FDA0004051278800000021
其中，
Figure FDA0004051278800000022
代表融合的视觉特征和热红外特征，其中
Figure FDA0004051278800000023
和
Figure FDA0004051278800000024
分别代表基于车辆区域增强模块提取的视觉特征和红外特征，
Figure FDA0004051278800000025
代表reshape操作，将特征转化为单一维度向量；
Figure FDA0004051278800000026
代表softmax函数，表示将矩阵之间的关系矩阵映射到0-1之间，
Figure FDA0004051278800000027
代表特征叠加；
(7)结果输出：将步骤(6)得到的自注意力和跨注意力结果进行跨层融合并输出高维度车辆特征向量，即为车辆重识别结果；
(8)网络训练和测试：为训练车辆重识别网络，从无人机拍摄的视频数据中采用跳帧挑选的方式选择图片数据，然后将图片数据输入到多尺度特征提取网络中，训练二分类网络并输出图片中是否包含车辆，在训练网络拟合后测试网络，如果包含车辆，则通过CAM机制将输出车辆的定位信息，不存在车辆的帧将被舍弃，再将低质量的车辆局部区域块输入到GAN网络中，并朝着高质量、高分辨率的车辆区域块方向拟合，直到生成的质量与真实的质量之间达到无法分辨真假，得到高质量的更高分辨率的车辆区域块，然后将高质量、高分辨率的车辆区域RGB数据和Thermal数据输入到多尺度特征提取网络中，并将RGB数据和Thermal数据充分发挥出互补特性，从而生成计算相似度量的高维度向量，从而确定车辆是否为查找的车辆。
2.根据权利要求1所述基于无人机拍摄夜间低对比度的车辆重检测方法，其特征在于，步骤(2)提取的视觉信息和红外信息特征为：
Figure FDA0004051278800000028
Figure FDA0004051278800000031
ConvBlock定义如下：
Figure FDA0004051278800000032
其中Thermal代表热红外图像；RGB代表包含视觉信息的图片；
Figure FDA0004051278800000033
代表提取得到的Thremal特征，i代表不同网络层输出的特征信息；
Figure FDA0004051278800000034
代表采集的多尺度车辆信息，3,4,5代表第3,4,5层的输出特征，
Figure FDA0004051278800000035
代表sigmoid函数。
3.根据权利要求2所述基于无人机拍摄夜间低对比度的车辆重检测方法，其特征在于，步骤(3)的具体过程为：
(31)先增强多尺度视觉特征和热红外特征，得到增强的多尺度视觉特征和热红外特征：
Figure FDA0004051278800000036
其中，
Figure FDA0004051278800000037
代表reshape操作，将特征转化为单一维度向量；
Figure FDA0004051278800000038
代表softmax函数，表示将矩阵之间的关系矩阵映射到0-1之间；ε(·)代表对矩阵的值进行排序，TK(·)代表取K个最大的相似矩阵的值；
(32)采用车辆类别信息约束的方式，即将
Figure FDA0004051278800000039
和
Figure FDA00040512788000000310
输入到全局池化层中，提取高维度特征向量，从而达到精细化车辆特征区域信息的目的，详细操作如下，
Figure FDA0004051278800000041
Figure FDA0004051278800000042
Figure FDA0004051278800000043
其中，ClassThermal,ClassVisual,classVisual_Thermal代表是否存在车辆，
Figure FDA0004051278800000044
和
Figure FDA0004051278800000045
代表线性层，
Figure FDA0004051278800000046
代表在此处产生的特征将被输出；
Figure FDA0004051278800000047
代表特征叠加。
4.根据权利要求3所述基于无人机拍摄夜间低对比度的车辆重检测方法，其特征在于，步骤(4)的具体过程如下：
先确定车辆区域Patchvehicle，
Figure FDA0004051278800000048
其中，CAM(·)代表类别激活映射机制，通过类别激活映射机制将车辆区域定位出来；将车辆类别置信度更强的区域检测出来，采用注意力增强的方式
Figure FDA0004051278800000049
将车辆类别置信度更强的区域检测出来，得到车辆位置的粗定位信息LocationCoarse；基于车辆的粗定位信息，通过外围连接的方式得到外围边界框，基于外围边界框，裁剪得到车辆区域Patchvehicle；
再将车辆区域Patchvehicle进行增强得到高质量的车辆区域，
(Patchvehicle)HighQ＝DenseBlock((Patchvehicle)LowQ)
其中(Patchvehicle)LowQ代表低质量的车辆区域；Dense Block(·)代表车辆区域增强模块，车辆区域增强模块采用GAN网络中判别网络的方式，详细操作如下，
Real/Fake＝Discriminator((patchvehicle)HighQ，(Patchvehicle)GT)
其中，Discriminator代表判别网络，(Patchvehicle)GT代表真实的高质量的车辆区域；Real/Fake代表判断当前车辆区域是真实的车辆区域还是生成的车辆区域。
5.根据权利要求4所述基于无人机拍摄夜间低对比度的车辆重检测方法，其特征在于，步骤(5)的具体过程如下：
Figure FDA0004051278800000051
Figure FDA0004051278800000052
其中，
Figure FDA0004051278800000053
和
Figure FDA0004051278800000054
分别代表基于车辆区域增强模块提取的视觉特征和红外特征，
Figure FDA0004051278800000055
和
Figure FDA0004051278800000056
分别代表高质量的视觉信息和高质量的红外信息。
6.根据权利要求5所述基于无人机拍摄夜间低对比度的车辆重检测方法，其特征在于，步骤(7)的具体过程为：
Figure FDA0004051278800000057
VectorReID为最终输出的高维度车辆特征向量。
CN202211401523.8A 2022-11-10 2022-11-10 一种基于无人机拍摄夜间低对比度的车辆重检测方法 Active CN115457420B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211401523.8A CN115457420B (zh) 2022-11-10 2022-11-10 一种基于无人机拍摄夜间低对比度的车辆重检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211401523.8A CN115457420B (zh) 2022-11-10 2022-11-10 一种基于无人机拍摄夜间低对比度的车辆重检测方法

Publications (2)

Publication Number Publication Date
CN115457420A CN115457420A (zh) 2022-12-09
CN115457420B true CN115457420B (zh) 2023-03-17

Family

ID=84311728

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211401523.8A Active CN115457420B (zh) 2022-11-10 2022-11-10 一种基于无人机拍摄夜间低对比度的车辆重检测方法

Country Status (1)

Country Link
CN (1) CN115457420B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115797884B (zh) * 2023-02-09 2023-04-21 松立控股集团股份有限公司 一种基于类人视觉注意力加权的车辆重识别方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112836677A (zh) * 2021-03-02 2021-05-25 西安建筑科技大学 一种利用深度学习的弱监督车辆重识别方法
CN114550110A (zh) * 2022-01-06 2022-05-27 中通服中睿科技有限公司 一种基于无监督域适应的车辆重识别方法及系统

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110414375B (zh) * 2019-07-08 2020-07-17 北京国卫星通科技有限公司 低空目标的识别方法、装置、存储介质及电子设备
CN110717387B (zh) * 2019-09-02 2022-07-08 东南大学 一种基于无人机平台的实时车辆检测方法
CN111814854B (zh) * 2020-06-28 2023-07-28 北京交通大学 一种无监督域适应的目标重识别方法
CN112434796B (zh) * 2020-12-09 2022-10-25 同济大学 一种基于局部信息学习的跨模态行人再识别方法
CN112784768A (zh) * 2021-01-27 2021-05-11 武汉大学 一种基于视角引导多重对抗注意力的行人重识别方法
US20220261593A1 (en) * 2021-02-16 2022-08-18 Nvidia Corporation Using neural networks to perform object detection, instance segmentation, and semantic correspondence from bounding box supervision
CN113221659B (zh) * 2021-04-13 2022-12-23 天津大学 一种基于不确定感知网络的双光车辆检测方法及装置
CN113177518B (zh) * 2021-05-24 2023-04-28 西安建筑科技大学 一种利用弱监督区域推荐的车辆重识别方法
CN113408462B (zh) * 2021-06-29 2023-05-02 西南交通大学 基于卷积神经网络与类别热力图的滑坡遥感信息提取方法
CN114067286A (zh) * 2022-01-18 2022-02-18 松立控股集团股份有限公司 基于序列化可形变注意力机制的高位相机车辆重识别方法
CN115205590A (zh) * 2022-07-11 2022-10-18 齐齐哈尔大学 一种基于互补集成Transformer网络的高光谱图像分类方法
CN115171079B (zh) * 2022-09-08 2023-04-07 松立控股集团股份有限公司 一种基于夜间场景的车辆检测方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112836677A (zh) * 2021-03-02 2021-05-25 西安建筑科技大学 一种利用深度学习的弱监督车辆重识别方法
CN114550110A (zh) * 2022-01-06 2022-05-27 中通服中睿科技有限公司 一种基于无监督域适应的车辆重识别方法及系统

Also Published As

Publication number Publication date
CN115457420A (zh) 2022-12-09

Similar Documents

Publication Publication Date Title
Zhang et al. GAN-FM: Infrared and visible image fusion using GAN with full-scale skip connection and dual Markovian discriminators
CN109977812B (zh) 一种基于深度学习的车载视频目标检测方法
CN111931684B (zh) 一种基于视频卫星数据鉴别特征的弱小目标检测方法
CN110969160B (zh) 一种基于深度学习的车牌图像校正、识别方法及系统
CN111797653A (zh) 基于高维图像的图像标注方法和装置
CN107578091B (zh) 一种基于轻量级深度网络的行人车辆实时检测方法
CN111461083A (zh) 基于深度学习的快速车辆检测方法
CN105574488A (zh) 一种基于低空航拍红外图像的行人检测方法
CN108830254B (zh) 一种基于数据均衡策略和密集注意网络的细粒度车型检测与识别方法
CN111340151B (zh) 一种用于辅助车辆自动驾驶的天气现象识别系统和方法
CN115457420B (zh) 一种基于无人机拍摄夜间低对比度的车辆重检测方法
CN113159043A (zh) 基于语义信息的特征点匹配方法及系统
CN112241693A (zh) 基于YOLOv3实现的违规焊接动火图像识别方法
CN110837769B (zh) 一种图像处理与深度学习的嵌入式远红外行人检测方法
Zhao et al. Image dehazing based on haze degree classification
Li et al. A self-attention feature fusion model for rice pest detection
Sun et al. Exploiting deeply supervised inception networks for automatically detecting traffic congestion on freeway in China using ultra-low frame rate videos
Lu et al. A cross-scale and illumination invariance-based model for robust object detection in traffic surveillance scenarios
CN112785610B (zh) 一种融合低层特征的车道线语义分割方法
Mei et al. A conditional wasserstein generative adversarial network for pixel-level crack detection using video extracted images
CN117036412A (zh) 一种融合可变形卷积的孪生网络红外行人目标跟踪方法
CN116129327A (zh) 一种基于改进YOLOv7算法的红外车辆检测方法
Shahista et al. Detection of the traffic light in challenging environmental conditions
CN113869151A (zh) 一种基于特征融合的跨视角步态识别方法及系统
CN112907634A (zh) 基于无人机的车辆跟踪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant