CN113327271B - 基于双光孪生网络决策级目标跟踪方法、系统及存储介质 - Google Patents
基于双光孪生网络决策级目标跟踪方法、系统及存储介质 Download PDFInfo
- Publication number
- CN113327271B CN113327271B CN202110589860.3A CN202110589860A CN113327271B CN 113327271 B CN113327271 B CN 113327271B CN 202110589860 A CN202110589860 A CN 202110589860A CN 113327271 B CN113327271 B CN 113327271B
- Authority
- CN
- China
- Prior art keywords
- tracking
- visible light
- pseudo
- infrared
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 230000004927 fusion Effects 0.000 claims abstract description 36
- 238000012549 training Methods 0.000 claims description 40
- UXUFTKZYJYGMGO-CMCWBKRRSA-N (2s,3s,4r,5r)-5-[6-amino-2-[2-[4-[3-(2-aminoethylamino)-3-oxopropyl]phenyl]ethylamino]purin-9-yl]-n-ethyl-3,4-dihydroxyoxolane-2-carboxamide Chemical compound O[C@@H]1[C@H](O)[C@@H](C(=O)NCC)O[C@H]1N1C2=NC(NCCC=3C=CC(CCC(=O)NCCN)=CC=3)=NC(N)=C2N=C1 UXUFTKZYJYGMGO-CMCWBKRRSA-N 0.000 claims description 11
- 238000013135 deep learning Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 3
- 230000003042 antagnostic effect Effects 0.000 claims 1
- 230000008569 process Effects 0.000 abstract description 7
- 238000005286 illumination Methods 0.000 abstract description 3
- 230000004044 response Effects 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 238000013136 deep learning model Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000007430 reference method Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于双光孪生网络决策级目标跟踪方法、系统及存储介质。本发明以孪生候选区域生成网络为基础框架，利用生成对抗网络生成伪红外图像数据集对其进行训练，解决了红外图像样本匮乏的问题，提高了网络对红外特征提取的能力。另外，本发明以上下文约束条件设计可见光分支跟踪和伪红外分支跟踪的融合跟踪策略，解决了对弱光或光照不均引起的跟踪困难的问题，避免了跟踪漂移，使跟踪过程更为鲁棒，跟踪精度更为准确。
Description
技术领域
本发明涉及计算机视觉处理领域，尤其是一种基于双光孪生网络决策级目标跟踪方法、系统，以及一种计算机可读存储介质。
背景技术
目标跟踪已经成为计算机视觉领域重要的研究方向和研究热点，可应用于精确制导武器、无人机侦察监视等军事领域，也可应用于机器人导航、人机交互，行人与车辆的视频监控等民用领域。将多源传感器进行数据或信息融合可以实现单一传感器无法获得的目标跟踪效果，提升目标跟踪性能，而其中最典型的是红外与可见光的融合跟踪。在可见光条件下，传感器通常获取目标的反射特性，即目标的颜色、纹理等特征，采用高分辨成像器件更利于获取目标的细节信息，现有技术中，也较为常见基于可见光的基准方法的目标跟踪方法，例如文献“High Performance Visual Tracking with Siamese Region ProposalNetwork，Bo Li、Junjie Yan、Wei Wu等[1]”；而在红外条件下，传感器通常获取目标的热辐射特性，即目标的温度特征(与环境对比度较明显)，便于探测目标，可以避免光照不均及阴影等因素的影响，特别是在弱光条件下具有天然的优势。红外与可见光融合跟踪同时具备双波段各自的优势。目前，红外与可见光融合跟踪大多仍采用传统方法，基于深度学习的目标跟踪大多针对可见光条件下自然图像的目标跟踪，针对红外条件下的目标跟踪研究不多。
近年来，孪生网络以其均衡的精度和速度在跟踪界引起了极大的关注。通过将目标跟踪定义为匹配问题，孪生跟踪方法旨在从大量视频中离线学习通用的相似函数，提高了跟踪精度和跟踪速度，在基于深度学习的目标跟踪方法中取得了很大进展。
数据对于深度学习模型是十分重要的，也是热红外目标追踪最缺少的。对于热红外图像来说，没有大型图像分类数据集进行模型训练，所以热红外目标追踪算法使用深度学习模型提取的特征并不能带来明显的性能提升。这也是现阶段热红外目标跟踪算法仍然使用人工特征的原因。
发明内容
本发明的发明目的在于：针对上述存在的问题，提供一种基于双光孪生网络决策级目标跟踪方法，以解决现有基于可见光的目标跟踪方法对目标跟踪准确率不高、稳健性不好的问题。
本发明采用的技术方案如下：
一种基于双光孪生网络决策级目标跟踪方法，包括：对于视频每一帧图像，均执行可见光分支跟踪；
可见光分支跟踪：将可见光图像输入基于深度学习的可见光孪生网络跟踪模型，分别提取模板区域的可见光跟踪模板特征、目标搜索区域的可见光跟踪目标特征；将可见光跟踪模板特征及可见光跟踪目标特征输入候选区生成网络，得到可见光跟踪置信图；根据可见光跟踪置信图计算可见光跟踪置信度；在可见光跟踪置信度不满足约束条件时，执行伪红外分支跟踪；
伪红外分支跟踪：利用预训练的生成对抗网络模型将当前帧图像转换为伪红外图像，所述预训练的生成对抗网络用于将可见光图像转换为伪红外图像；采用预训练的孪生候选区生成网络提取该伪红外图像上模板区域的伪红外跟踪模板特征、目标搜索区域的伪红外跟踪目标特征，对伪红外跟踪模板特征和伪红外跟踪目标特征进行互相关特征匹配，得到伪红外跟踪置信图；根据伪红外跟踪置信图计算出伪红外跟踪置信度；用于训练所述孪生候选区生成网络的训练样本集，由所述预训练的生成对抗网络模型生成；
将可见光跟踪置信图和伪红外跟踪置信图进行融合，取融合的置信图中置信度最大的位置，映射到原始图像，得到目标跟踪结果。
进一步的，所述预训练的生成对抗网络的训练方法为：利用任意的、无需成对的热红外图像与RGB图像作为训练数据，对无监督生成对抗伪红外生成模型CycleGAN进行训练。
进一步的，本方法利用所述预训练的生成对抗网络，生成伪红外图像数据集；将生成的伪红外图像作为训练数据集输入孪生候选区域生成网络进行模型训练，得到伪红外跟踪模型。
进一步的，所述根据可见光跟踪置信图/伪红外跟踪置信图计算可见光跟踪置信度/伪红外跟踪置信度，包括：选取所述可见光跟踪置信图/伪红外跟踪置信图中最大值作为可见光跟踪置信度/伪红外跟踪置信度。
进一步的，所述约束条件为：当前帧图像的可见光跟踪置信度不低于历史所有帧的可见光跟踪置信度的平均值的γ倍，γ取值范围为0.8～1。
进一步的，所述将可见光跟踪置信图和伪红外跟踪置信图进行融合，包括：根据可见光跟踪置信图和伪红外跟踪置信图分别设计对可见光跟踪置信度和伪红外跟踪置信度的融合比例系数，根据设计的融合比例系数，对可见光跟踪置信图和伪红外跟踪置信图进行线性融合。
进一步的，所述根据可见光跟踪置信图和伪红外跟踪置信图分别设计对可见光跟踪置信度和伪红外跟踪置信度的融合比例系数，包括：根据所述可见光跟踪置信图的APEC值APECvis和所述伪红外跟踪置信图的APEC值APECir，分别设计可见光跟踪置信度的融合比例系数Jvis和伪红外跟踪置信度的融合比例系数Jir：
Jvis＝APECvis/(APECvis+APECir)，
Jir＝1-Jvis。
进一步的，对于每一搜索的帧图像，其目标搜索区域为：以上一帧的目标跟踪结果为中心，选择预定尺寸的区域。所谓的搜索的帧图像，即在视频中，对目标进行跟踪的帧图像，显然，其是可见光跟踪帧后续的帧图像。
本发明还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，运行该计算机程序可执行上述的基于双光孪生网络决策级目标跟踪方法。
本发明还提供了一种基于双光孪生网络决策级目标跟踪系统，包括处理器，其特征在于，所述处理器连接有上述的计算机可读存储介质，所述处理器运行所述计算机可读存储介质中存储的计算机程序。
综上所述，由于采用了上述技术方案，本发明的有益效果是：
1、本发明提出的基于双光孪生网络决策级目标跟踪方案，在孪生网络的基础上加入生成对抗模型(CycleGAN)，使用生成的图像来训练伪红外跟踪模型分支，扩增了红外训练数据集，解决了红外图像训练样本匮乏的问题，使得红外特征提取模型更加有效。
2、本发明通过双光跟踪结果决策及融合实现了伪红外与可见光决策级融合跟踪，充分利用了双波段的信息互补性，解决了由于弱光或光照不均引起的而跟着困难问题。经实验证明，相比于单波段目标跟踪，所提出的基于深度学习的伪红外与可见光决策级融合跟踪方法的跟踪精度和成功率更高，稳健性更好。
3、本发明不仅限于双波段的融合跟踪，可拓展为基于深度学习的多波段融合跟踪，可扩展性强，应用广泛，将现有深度学习模型进行模型迁移学习，具有一定的理论和应用价值。
附图说明
本发明将通过例子并参照附图的方式说明，其中：
图1是本发明基于双光孪生网络决策级目标跟踪方法网络架构图。
具体实施方式
本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。
本说明书(包括任何附加权利要求、摘要)中公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。
实施例一
一种基于双光孪生网络决策级目标跟踪方法，该方法包括：
可见光分支跟踪：将可见光图像输入基于深度学习的可见光孪生网络跟踪模型，利用深度特征进行匹配跟踪，分别提取模板区域的模板特征、目标搜索区域的目标特征。将模板特征及目标特征输入候选区域生成网络，输出候选区域属于前景或背景的概率值，即可见光跟踪置信图(置信度响应图)。根据可见光跟踪置信图计算可见光跟踪置信度Cvis(通常以置信图的最大概率值为可信度判断依据)，并设置约束条件，如果不满足约束条件，则认为当前基于可见光的目标跟踪结果不可信，跟踪任务可能由于困难情况受到了干扰，此时应该通过双光信息的融合调整跟踪结果，激活伪红外分支进行决策级目标跟踪。
具体而言，在可见光视频帧图像上，分别确定模板区域和目标搜索区域，提取模板区域的可见光跟踪模板特征和目标搜索区域的可见光跟踪目标特征，对可见光跟踪模板特征和可见光跟踪目标特征进行互相关特征匹配，得到可见光跟踪置信图，计算出可见光跟踪置信度，在可见光跟踪置信度不满足约束条件时，启动伪红外分支跟踪。可见光分支跟踪中的模板区域，通常为视频中的首帧上的区域，目标搜索区域即为当前搜索的视频帧上的区域。
伪红外分支跟踪：利用预训练的生成对抗网络模型将当前帧图像转换为伪红外图像，采用预训练的孪生候选区生成网络提取该伪红外图像上模板区域的伪红外跟踪模板特征、目标搜索区域的伪红外跟踪目标特征，对伪红外跟踪模板特征和伪红外跟踪目标特征进行互相关特征匹配，得到伪红外跟踪置信图；根据伪红外跟踪置信图计算出伪红外跟踪置信度。孪生候选区生成网络的训练数据集，由预训练的生成对抗网络模型对大量可见光图像训练得到，预训练的生成对抗网络用于将可见光图像转换为伪红外图像。伪红外分支跟踪中的模板区域和目标搜索区域，与可见光分支跟踪中的位置相同。
孪生网络模型，或者孪生候选区生成网络，即采用的孪生网络的跟踪架构，用于提取模板帧和目标搜索帧的特征，以及根据模板特征和目标特征生成候选区。
将可见光跟踪置信图和伪红外跟踪置信图进行融合。根据可见光跟踪置信图和伪红外跟踪置信图分别设计对可见光跟踪置信度和伪红外跟踪置信度的融合比例系数，根据设计的融合比例系数，对可见光跟踪置信图和伪红外跟踪置信图进行线性融合。取融合的置信图中置信度最大的位置，映射到原始图像，得到目标跟踪结果。根据该目标跟踪结果决定下一帧图像的目标搜索区域。在后续帧图像中，目标搜索区域为：以上一帧的跟踪结果作为目标搜索区域中心所确定的固定大小的区域，后续帧图像重复可见光分支跟踪步骤(可能跳转到伪红外分支跟踪步骤)实现视频序列连续跟踪。
实施例二
本实施公开了一种基于双光孪生网络决策级目标跟踪方法，该方法包括：
训练生成对抗网络：利用任意的、无需成对的热红外图像与RGB图像作为训练数据，对无监督生成对抗伪红外生成模型CycleGAN进行训练，训练出将可见光图像转换为伪红外图像的图像转换模型。
利用预训练的生成对抗网络将训练数据集转换为伪红外图像数据集。将伪红外图像进行分集(训练集和测试集)，作为后续跟踪模型的训练样本集。
建立伪红外分支辅助的双光跟踪模型：使用基于孪生候选区生成网络的SiamRPN跟踪器作为跟踪框架进行训练，加载预训练的生成对抗网络模型，输入伪红外图像进行伪红外图像单波段目标跟踪模型的参数训练。跟踪模型中，以AlexNet作为特征提取网络，加载伪红外图像数据集进行训练。SiamRPN跟踪器由Siamese Network和Region ProposalNetwork(RPN)两部分组成，Siamese Network用于提取特征，RPN子网络用于产生候选区域，即充当候选区生成网络。RPN子网络由两个分支组成，一个是分类分支，用来区分目标和背景的，其给出每个样本被预测为目标和背景的打分。分类分支将用Siamese Network网络提取到的模板特征和目标特征用一个卷积核进行卷积，得到分类响应图。另外一个是回归分支，用来微调候选区域，其过程与分类分支类似，得到回归响应图，根据两个响应图确定出候选区。整个SiamRPN网络实现端到端的训练。
上述双光跟踪模型训练过程共包含100轮，并在10-3-10-5的对数空间进行几何退火。本实施例在Pytorch 1.0.1框架中实现了跟踪模型的构建。实验在Intel i5-6500 CPU、8GB RAM和NVIDIA GTX 1080GPU的PC机上进行，并使用测试集进行结果验证。这种方法可以很好地解决红外训练数据不足的问题，扩充训练集。
可见光分支跟踪：将可见光视频序列可见光跟踪帧作为跟踪模板，选取固定大小的区域作为模板区域，在当前搜索的帧图像中，以上一帧的跟踪结果作为目标搜索区域中心，选取固定大小的目标搜索区域。通过参数共享的孪生网络提取模板区域的模板特征，以及提取目标搜索区域的目标特征，对模板特征和目标特征进行互相关特征匹配，通过高斯窗对特征互相关结果进行微调，得到可见光跟踪置信图(置信度响应图)，选取可见光跟踪置信图最大值作为可见光跟踪置信度Cvis。置信度是反应跟踪器准确性概率的指标，当置信度越高时，认为跟踪器的结果越准确。判断可见光跟踪置信度Cvis是否满足上下文约束条件，即判断
是否成立(γ为允许的波动系数，取值0.8～1，
为同前序各帧图像对应的可见光跟踪置信度的均值)，若是，则表明当前可见光分支跟踪的跟踪结果具备可信度，依次作为对该帧图像的跟踪结果，否则，激活伪红外分支进行跟踪决策。
伪红外分支跟踪：利用上述预训练的无监督生成对抗伪红外生成模型CycleGAN将当前帧图像转换为伪红外图像进行跟踪，计算出跟踪的伪红外跟踪置信度。具体为：利用预训练的无监督生成对抗伪红外生成模型CycleGAN将当前帧图像转换为伪红外图像，利用AlexNet提取该伪红外图像模板区域的伪红外跟踪模板特征、目标搜索区域的伪红外跟踪目标特征，对伪红外跟踪模板特征和伪红外跟踪目标特征进行互相关特征匹配，通过高斯窗对特征互相关结果进行微调，得到伪红外跟踪置信图，选取伪红外跟踪置信图最大值作为伪红外跟踪置信度Cir。
对可见光支路的置信图(即可见光跟踪置信图)和伪红外支路的置信图(即伪红外跟踪置信图)进行线性融合，对融合后的置信图采用高斯窗进行微调(可选)，以融合后置信度最大位置对应的原始图像作为最终的跟踪结果。为了避免融合框架中的干扰过程对于跟踪器的误导，根据两置信图的APEC值分别设置了伪红外融合比例系数Jir和可见光融合比例系数Jvis，以到指导融合的作用。根据最终跟踪结果决定下一帧图像的目标搜索区域，重复上述可见光分支跟踪。
实施例三
本实施例公开了一种基于双光孪生网络决策级目标跟踪方法，如图1所示，包括以下流程：
利用无监督生成对抗伪红外生成模型CycleGAN训练出伪红外图像数据集。利用开源可视化数据库ImageNet和Youtub-bb构建训练数据集。使用无监督生成对抗伪红外生成模型引入两个生成模型Ga、Gb。生成器Ga用于把RGB图像转为伪红外图像，生成器Gb用于把红外图像转为目标图像(RGB图像)。同时引入两个判别器Da、Db。判别器Da判断一张输入图像是真实的可见光图像还是生成的可见光图像，判别器Db则用于判别红外图像。
使用AlexNet作为特征提取网络的框架，使用CycleGAN作为预训练模型，将生成的伪红外图像数据集按照4：1的比例分为训练集和测试集，使用该伪红外图像数据集在GPU上训练AlexNet，进行模型参数的调整，和测试结果验证。
可见光分支跟踪：将可见光视频序列可见光跟踪帧作为跟踪模板，选取固定大小目标区域作为模板z,以上一帧跟踪结果作为当前帧目标搜索区域中心，选取固定大小的目标搜索区域x，通过参数共享的孪生网络分别提取模板特征
(对应模板区域)及目标特征
(对应目标搜索区域)。并对模板特征和目标特征进行卷积相关匹配：
其中b为偏置项，相关解释可参见文献“Fully-Convolutional Siamese Networksfor Object Tracking，LucaBertinetto*、Jack Valmadre*等[2]”。
通过高斯窗对特征互相关匹配结果进行微调，得到可见光跟踪置信图。选取相应图最大值作为可见光跟踪置信度Cvis，根据上下文极值约束条件，即当
时(此处令γ＝1)，则将当前基于可见光目标跟踪框架的跟踪结果作为最终跟踪结果，否则，激活伪红外分支进行跟踪决策。
伪红外分支跟踪：利用预训练的无监督生成对抗伪红外生成模型CycleGAN将当前帧图像转换为伪红外图像进行跟踪，计算出跟踪的伪红外跟踪置信度。具体为：利用预训练的无监督生成对抗伪红外生成模型CycleGAN将当前帧图像转换为伪红外图像，利用AlexNet提取该伪红外图像模板区域的伪红外跟踪模板特征、目标搜索区域的伪红外跟踪目标特征，对伪红外跟踪模板特征和伪红外跟踪目标特征进行互相关特征匹配，通过高斯窗对特征互相关结果进行微调，得到伪红外跟踪置信图，选取伪红外跟踪置信图最大值作为伪红外跟踪置信度Cir。
伪红外分支与可见光分支的跟踪结果是对目标定位的两个矩形框，矩形框间存在着中心位置和尺寸的误差。得到跟踪结果后首先计算跟踪结果的置信度，可见光波段为可见光跟踪置信度Cvis，伪红外波段为伪红外跟踪置信度Cir。置信度是反应跟踪器准确性概率的指标，当置信度越高时，认为跟踪器的结果越准确。在融合框架中，依据置信度选择准确性更高的结果同时将融合信息反馈给跟踪器，可以提升分离跟踪器(即两分支的跟踪器)和融合跟踪器的跟踪性能。本实施例分别设置了可见光跟踪置信度的融合比例系数Jvis和伪红外跟踪置信度的融合比例系数Jir，以到指导融合的作用。
APEC值反映了当前跟踪状态下可见光和伪红外目标跟踪过程中的可信程度，根据可信程度对置信图进行线性融合，通过高斯窗对置信图结果进行微调，并根据微调后的置信图选取置信度最大的位置，映射到原始图像，得到跟踪结果，并根据跟踪结果决定下一帧的双光搜索区域。
融合比例系数计算如下：
Jvis＝APECvis/(APECvis+APECir)
Jir＝1-Jvis
其中，APECvis为可见光跟踪置信图的APEC值，APECir为伪红外跟踪置信图的APEC值。
融合置信图计算公式如下：
C＝Jvis×Cvis+Jir×Cir
本实施例还从OTB、VOT及Grayscale-Thermal Dataset数据集中选取行人及交通场景中的视频序列输入生成对抗网络中，生成伪红外图像数据集，伪红外图像由可见光图像依托训练好的无监督生成对抗伪红外生成模型CycleGAN生成，因此可以反映一定的红外图像属性，且不需要配准，共有23个视频序列在此部分测试序列上进行对比，从对比结果来看，对比背景技术中仅基于可见光的基准方法及其他基于双光的目标跟踪方法，本发明在精度上体现了很好的跟踪效果。
本发明并不局限于前述的具体实施方式。本发明扩展到任何在本说明书中披露的新特征或任何新的组合，以及披露的任一新的方法或过程的步骤或任何新的组合。
Claims (10)
1.一种基于双光孪生网络决策级目标跟踪方法，其特征在于，包括：对于视频每一帧图像，均执行可见光分支跟踪；
可见光分支跟踪：将可见光图像输入基于深度学习的可见光孪生候选区域生成网络模型，分别提取模板区域的可见光跟踪模板特征、目标搜索区域的可见光跟踪目标特征；将可见光跟踪模板特征及可见光跟踪目标特征输入候选区生成网络，得到可见光跟踪置信图；根据可见光跟踪置信图计算可见光跟踪置信度；在可见光跟踪置信度不满足约束条件时，执行伪红外分支跟踪；
伪红外分支跟踪：利用预训练的生成对抗网络模型将当前帧图像转换为伪红外图像，所述预训练的生成对抗网络用于将可见光图像转换为伪红外图像；采用预训练的孪生候选区生成网络提取该伪红外图像上模板区域的伪红外跟踪模板特征、目标搜索区域的伪红外跟踪目标特征，对伪红外跟踪模板特征和伪红外跟踪目标特征进行互相关特征匹配，得到伪红外跟踪置信图；根据伪红外跟踪置信图计算出伪红外跟踪置信度；用于训练所述孪生候选区生成网络的训练样本集，由所述预训练的生成对抗网络模型生成；
将可见光跟踪置信图和伪红外跟踪置信图进行融合，取融合的置信图中置信度最大的位置，映射到原始图像，得到目标跟踪结果。
2.如权利要求1所述的基于双光孪生网络决策级目标跟踪方法，其特征在于，所述预训练的生成对抗网络的训练方法为：利用任意的、无需成对的热红外图像与RGB图像作为训练数据，对无监督生成对抗伪红外生成模型CycleGAN进行训练。
3.如权利要求1所述的基于双光孪生网络决策级目标跟踪方法，其特征在于，利用所述预训练的生成对抗网络，生成伪红外图像数据集；将生成的伪红外图像作为训练数据集输入孪生候选区域生成网络进行模型训练，得到伪红外跟踪模型。
4.如权利要求1所述的基于双光孪生网络决策级目标跟踪方法，其特征在于，所述根据可见光跟踪置信图/伪红外跟踪置信图计算可见光跟踪置信度/伪红外跟踪置信度，包括：选取所述可见光跟踪置信图/伪红外跟踪置信图中最大值作为可见光跟踪置信度/伪红外跟踪置信度。
5.如权利要求1所述的基于双光孪生网络决策级目标跟踪方法，其特征在于，所述约束条件为：当前帧图像的可见光跟踪置信度不低于历史所有帧的可见光跟踪置信度的平均值的γ倍，γ取值范围为0.8～1。
6.如权利要求1所述的基于双光孪生网络决策级目标跟踪方法，其特征在于，所述将可见光跟踪置信图和伪红外跟踪置信图进行融合，包括：根据可见光跟踪置信图和伪红外跟踪置信图分别设计对可见光跟踪置信度和伪红外跟踪置信度的融合比例系数，根据设计的融合比例系数，对可见光跟踪置信图和伪红外跟踪置信图进行线性融合。
7.如权利要求6所述的基于双光孪生网络决策级目标跟踪方法，其特征在于，所述根据可见光跟踪置信图和伪红外跟踪置信图分别设计对可见光跟踪置信度和伪红外跟踪置信度的融合比例系数，包括：根据所述可见光跟踪置信图的APEC值APECvis和所述伪红外跟踪置信图的APEC值APECir，分别设计可见光跟踪置信度的融合比例系数Jvis和伪红外跟踪置信度的融合比例系数Jir：
Jvis＝APECvis/(APECvis+APECir)，
Jir＝1-Jvis。
8.如权利要求1所述的基于双光孪生网络决策级目标跟踪方法，其特征在于，对于每一搜索的帧图像，其目标搜索区域为：以上一帧的目标跟踪结果为中心，选择预定尺寸的区域。
9.一种计算机可读存储介质，其特征在于，该计算机可读存储介质存储有计算机程序，运行该计算机程序可执行如权利要求1～8任一的基于双光孪生网络决策级目标跟踪方法。
10.一种基于双光孪生网络决策级目标跟踪系统，包括处理器，其特征在于，所述处理器连接有如权利要求9所述的计算机可读存储介质，所述处理器运行所述计算机可读存储介质中存储的计算机程序。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110589860.3A CN113327271B (zh) | 2021-05-28 | 2021-05-28 | 基于双光孪生网络决策级目标跟踪方法、系统及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110589860.3A CN113327271B (zh) | 2021-05-28 | 2021-05-28 | 基于双光孪生网络决策级目标跟踪方法、系统及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113327271A CN113327271A (zh) | 2021-08-31 |
| CN113327271B true CN113327271B (zh) | 2022-03-22 |
Family
ID=77421939
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110589860.3A Active CN113327271B (zh) | 2021-05-28 | 2021-05-28 | 基于双光孪生网络决策级目标跟踪方法、系统及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113327271B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115171199B (zh) * | 2022-09-05 | 2022-11-18 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置及计算机设备、存储介质 |
| CN115294176B (zh) * | 2022-09-27 | 2023-04-07 | 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) | 一种双光多模型长时间目标跟踪方法、系统及存储介质 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101697006B (zh) * | 2009-09-18 | 2011-11-16 | 北京航空航天大学 | 基于机载雷达和红外成像传感器数据融合的目标识别方法 |
| WO2014101804A1 (zh) * | 2012-12-27 | 2014-07-03 | Wang Hao | 热像选择装置和热像选择方法 |
| CN108846358B (zh) * | 2018-06-13 | 2021-10-26 | 浙江工业大学 | 一种基于孪生网络进行特征融合的目标跟踪方法 |
| CN109118467B (zh) * | 2018-08-31 | 2021-11-16 | 武汉大学 | 基于生成对抗网络的红外与可见光图像融合方法 |
| WO2020237565A1 (zh) * | 2019-05-30 | 2020-12-03 | 深圳市大疆创新科技有限公司 | 一种目标追踪方法、装置、可移动平台及存储介质 |
| CN110349185B (zh) * | 2019-07-12 | 2022-10-11 | 安徽大学 | 一种rgbt目标跟踪模型的训练方法及装置 |
| CN110472089B (zh) * | 2019-08-16 | 2022-03-11 | 重庆邮电大学 | 一种基于对抗生成网络的红外和可见光图像检索方法 |
| CN111091582A (zh) * | 2019-12-31 | 2020-05-01 | 北京理工大学重庆创新中心 | 一种基于深度神经网络的单视觉目标跟踪算法及系统 |
| CN111144364B (zh) * | 2019-12-31 | 2022-07-26 | 北京理工大学重庆创新中心 | 一种基于通道注意更新机制的孪生网络目标跟踪方法 |
-
2021
- 2021-05-28 CN CN202110589860.3A patent/CN113327271B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN113327271A (zh) | 2021-08-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110675418B (zh) | 一种基于ds证据理论的目标轨迹优化方法 | |
| CN113963240B (zh) | 多源遥感图像融合目标综合检测方法 | |
| CN110223298A (zh) | 基于点云局部结构的语义分割改进算法 | |
| CN113327271B (zh) | 基于双光孪生网络决策级目标跟踪方法、系统及存储介质 | |
| US20220091259A1 (en) | System using a priori terrain height data for interferometric synthetic aperture radar (ifsar) phase disambiguation and related methods | |
| CN113850189B (zh) | 一种应用于机动平台的嵌入式孪生网络实时跟踪方法 | |
| CN108428220A (zh) | 静止轨道卫星序列遥感影像海岛礁区域自动几何校正方法 | |
| CN113610905B (zh) | 基于子图像匹配的深度学习遥感图像配准方法及应用 | |
| CN104268880A (zh) | 基于特征和区域匹配相结合的深度信息获取方法 | |
| Wang et al. | MCF3D: Multi-stage complementary fusion for multi-sensor 3D object detection | |
| CN115331029A (zh) | 基于跨模态转换网络与最优传输理论的异源图像匹配方法 | |
| CN115170605A (zh) | 基于多模态交互和多阶段优化的实时rgbt目标跟踪方法 | |
| CN115393404A (zh) | 双光图像配准方法、装置及设备、存储介质 | |
| CN117274627A (zh) | 一种基于图像转换的多时相积雪遥感图像匹配方法及系统 | |
| CN114913337A (zh) | 一种基于三元级联感知的伪装目标框检测方法 | |
| CN112069997B (zh) | 一种基于DenseHR-Net的无人机自主着陆目标提取方法及装置 | |
| Zhang et al. | Feature-band-based unsupervised hyperspectral underwater target detection near the coastline | |
| CN109785302A (zh) | 一种空谱联合特征学习网络及多光谱变化检测方法 | |
| CN116704171A (zh) | 基于多尺度局部描述符聚合网络的跨视角跨模态地理定位方法 | |
| Li et al. | Enhancing feature fusion using attention for small object detection | |
| Feng et al. | Meta-learning based infrared ship object detection model for generalization to unknown domains | |
| CN109190506A (zh) | 一种基于核稀疏和空间约束的高光谱目标检测方法 | |
| Liu et al. | A novel deep transfer learning method for sar and optical fusion imagery semantic segmentation | |
| Wang et al. | A class-wise vulnerable part detection method for military targets | |
| Liu et al. | Synthetic aperture radar image target recognition based on improved fusion of R-FCN and SRC |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |