CN116434024A - 目标特征嵌入的红外与可见光图像融合方法 - Google Patents

目标特征嵌入的红外与可见光图像融合方法 Download PDF

Info

Publication number
CN116434024A
CN116434024A CN202310434441.1A CN202310434441A CN116434024A CN 116434024 A CN116434024 A CN 116434024A CN 202310434441 A CN202310434441 A CN 202310434441A CN 116434024 A CN116434024 A CN 116434024A
Authority
CN
China
Prior art keywords
model
meta
image fusion
feature
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310434441.1A
Other languages
English (en)
Other versions
CN116434024B (zh
Inventor
赵文达
解世赓
王海鹏
赵凡
何友
卢湖川
刘颢
夏学知
杨向广
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian University of Technology
Original Assignee
Dalian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian University of Technology filed Critical Dalian University of Technology
Priority to CN202310434441.1A priority Critical patent/CN116434024B/zh
Publication of CN116434024A publication Critical patent/CN116434024A/zh
Application granted granted Critical
Publication of CN116434024B publication Critical patent/CN116434024B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明属于图像信息处理技术领域，公开了一种目标特征嵌入的红外与可见光图像融合方法。本方法构建一个目标特征嵌入的红外与可见光图像融合方法，解决了目标检测任务与图像融合任务不匹配的问题，让目标检测任务有效的提升了图像融合的结果，并且目标检测元特征嵌入过程仅在训练过程中使用，训练完毕后在测试阶段并没有增加额外的计算量。

Description

目标特征嵌入的红外与可见光图像融合方法
技术领域
本发明属于图像信息处理技术领域，特别是红外与可见光图像融合方法，具体为一种目标特征嵌入的红外与可见光图像融合方法。
背景技术
目前，主要有两方面的图像处理方法与本发明相关，第一种是基于深度学习的目标检测算法，第二种是基于深度学习的图像融合算法。
目前，主要存在两种基于深度学习的目标检测网络：两阶段与一阶段目标检测算法。Girshick等人在《Rich feature hierarchies for accurate object detection andsemantic segmentation》提出的目标检测算法首先利用区域选择算法筛选可能存在目标的区域，然后将这些区域送入卷积神经网络预测。Ren等人在《Faster R-CNN:TowardsReal-Time Object Detection with Region Proposal Networks》在目标检测网络中加入了感兴趣区域提取网络，避免了在图像上进行区域选择，减少了计算量提升了检测速度。一阶段的目标检测网络直接利用卷积神经网络计算图像中目标的类别与位置信息，没有区域选择的过程。Liu等在《SSD:Single Shot MultiBox Detector》中提出了一种一阶段的目标检测网络，该方法为全卷积的网络架构，并使用多种级别的特征图进行检测，从而对不同大小目标的检测有一定的鲁棒性。Lin等人在《Focal Loss for Dense Object Detection》中为了应对一阶段目标检测网络中正负样本不平衡的问题，研究人员提出了一种新的损失函数，以提高网络的检测准确率。与两阶段目标检测网络不同，一阶段网络没有单独的前景和背景分离过程，因此速度更快。然而，这也导致一阶段网络在提高速度的同时难以避免准确度下降的问题。
现有的图像融合算法主要集中于图像融合网络与融合损失的研究。Li等人在《Infrared and Visible Image Fusion using a Deep Learning Framework》中提出了一个基于深度学习的图像融合框架，在此框架中，作者将可见光图像与红外图像解耦为两部分：基础分量与细节分量，然后对这两个解耦的分量分别进行处理来计算融合结果的基础与细节分量，最终将两个分量组合在一起用于生成融合结果。Ma等人在《Swinfusion:Cross-domain long-rangelearning for general image fusion via swintransformer》提出了一种基于卷积神经网络与SwinTransformer结合的图像融合架构，实现了图像局部信息与全局信息的提取，并构架了局部与全局信息融合的方法来生成融合结果。Xu等人在《U2fusion:A unified unsupervised image fusion network》中提出了一种统一的融合方法，该模型可以处理多种类型输入图像，如多模态图像，多聚焦图像等。此融合框架方法，可以利用自适应的方式评估图像中信息的有效程度，实现了在融合结果中保留输入源图像中重要的信息。另外，作者还在此方法中构建了一个全新的红外与可见光图像融合数据集RoadScene。Liu等人在《Target-aware dual adversarial learning and amulti-scenario multi-modalitybenchmark to fuse infrared and visible forobject detection》采用对抗攻击的方式约束图像融合网络生成更加清晰的目标，并利用目标检测网络作为融合网络的约束，来训练融合网络生成的融合结果可以实现更好的检测结果。
现有的图像大多数融合算法忽略了目标检测任务的帮助，或者仅仅将目标检测网络与其损失视为融合网络的一个约束。前者由于忽略了目标语义信息的帮助，因此无法进一步提升其融合性能；后者忽视了目标检测任务与图像融合任务不匹配的问题，因此对与融合效果的提升有限。
发明内容
为了利用目标检测任务提升图像融合性能，并解决目标检测任务与图像融合任务不匹配的问题，本专利提出了一种目标特征嵌入的红外与可见光图像融合方法。它可以根据图像融合网络的性能生成与图像融合模型兼容的目标检测元特征，并将其用于指导图像融合模型，从而提升图像融合模型的图像融合性能。
本发明的技术方案：
一种目标特征嵌入的红外与可见光图像融合方法，其框架主要由目标检测模型D、图像融合模型F、元特征嵌入模型MFE组成；其中目标检测模型D用于提供目标语义特征，图像融合模型F用于生成融合结果，元特征嵌入模型MFE用于生成指导图像融合模型的元特征；其中元特征是基于图像融合模型F性能在目标检测特征基础上生成的，因此与图像融合模型F匹配并能提升其性能。
红外与可见光图像融合模型的框架的训练过程分为两个部分，预训练阶段与元特征嵌入训练阶段；预训练阶段用于训练图像融合模型F与目标检测模型D，元特征嵌入训练用于训练元特征嵌入模型MFE与图像融合模型F；
在预训练阶段，首先训练图像融合模型F，其参数θF更新方式为：
Figure BDA0004191513790000031
其中，Ii与Iv分别为从M3FD数据集中划分出的训练集Str中采样的红外图像与可见光图像，其中M3FD来自《Target-aware dual adversarial learning and amulti-scenario multi-modalitybenchmark to fuse infrared and visible for objectdetection》，If为融合结果；βF为图像融合模型F的学习率，Lf为SSIM融合损失，
Figure BDA0004191513790000032
表示对Lf求关于θF的梯度；待图像融合模型F收敛后，用图像融合模型F生成的融合结果对目标检测模型D进行预训练，使其有合理的特征提取能力，在此本方法选取yolov5s(https://github.com/ultralytics/yolov5)作为目标检测模型，其参数θD更新方式为：
Figure BDA0004191513790000041
其中，If为融合结果；βD为目标检测模型D的学习率，LD为yolov5的目标检测损失；训练完目标检测模型D之后进入元特征嵌入训练阶段；
在元特征嵌入训练阶段，首先加载预训练阶段中图像融合模型F与目标检测模型D训练好的参数；元特征嵌入训练阶段分为两个过程：内循环更新阶段和外循环更新阶段，内循环更新用于训练图像融合模型F与元特征嵌入模型MFE，元特征嵌入模型MFE主要由元特征生成器MFG与特征转换器FT两个子模型构成，其中元特征生成器MFG用于生成元特征，特征转换器FT用于将元特征中信息转移到图像融合模型F中；外循环更新用于训练图像融合模型F。
在内循环更新阶段，将训练集Str分为元训练集Smtr与元测试集Smts，用于更新元特征生成器MFG与特征转换器FT；首先，在训练集Smtr上更新图像融合模型F的参数θF：
Figure BDA0004191513790000042
其中，Lg是引导损失，通过计算两个输入的L2距离实现，具体计算方式为Lg(Fmj,Ftj)＝(Fmj,Ftj)2，βF′代表模型参数更新时的学习率，θF′是更新后的图像融合模型F’的模型参数；元特征Fmj＝MFG(Fuj,Fej)，其中Fuj为图像融合模型F中第j个图像融合特征，Fej为目标检测模型D中第j个图像目标检测特征；转换后的特征Ftj＝FT(Fuj)；然后，利用更新后的图像融合模型F’去计算在元测试集Smts上的融合损失Lf；
通过此方式，由于在公式(1-3)的指导过程中元特征生成器MFG与特征转换器FT接收的是来自图像融合模型F的特征，因此该融合损失Lf可衡量元学习引导图像融合模型F的效果；因此，本方法利用该融合损失Lf训练元特征生成器MFG的参数θMFG与特征转换器FT的参数θFT：
Figure BDA0004191513790000051
Figure BDA0004191513790000052
其中，
Figure BDA0004191513790000053
与/>
Figure BDA0004191513790000054
分别为从元测试集中采样的红外图像与可见光图像，/>
Figure BDA0004191513790000055
对应的元融合结果图像，βMFG与βFT分别为元特征生成器MFG的参数θMFG与特征转换器FT的参数θFT对应的学习率；通过此方式，元特征生成器MFG可学习到如何根据图像融合模型F的语义提取能力生成元特征与特征转换器FT可学习到如何合理的将信息传递给图像融合模型F；
在外循环更新阶段，本方法采用训练集Str训练图像融合模型F，其他模型参数固定，由于在指导过程中元特征生成器MFG与特征转换器FT接收的是来自图像融合模型F的特征来学习如何指导图像融合模型F，因此在外循环中图像融合模型F从未执行(1-3)中更新过程的参数θF开始更新，图像融合模型F的参数θF更新方式为：
Figure BDA0004191513790000056
其中，Ii与Iv分别为从训练集Str中采样的红外图像与可见光图像，If为融合结果；βF为图像融合模型F的学习率；λg是用于平衡融合损失Lf与引导损失Lg的超参数；通过外循环更新，图像融合模型F在目标检测元特征的引导下，不断提升其语义提取能力；
最后，为了持续优化图像融合模型F与元特征嵌入模型MFE内循环更新与外循环更新交替进行每M个epoch交替进行。
本发明的有益效果：现有的图像大多数融合算法大多数忽略了目标语义信息的帮助或者忽视了目标检测任务与图像融合任务不匹配的问题，因此对与融合效果的提升有限。本方法构建一个目标特征嵌入的红外与可见光图像融合方法，解决了目标检测任务与图像融合任务不匹配的问题，让目标检测任务有效的提升了图像融合的结果，并且目标检测元特征嵌入过程仅在训练过程中使用，训练完毕后在测试阶段并没有增加额外的计算量。
附图说明
图1为元学习嵌入训练过程流程图。
图2为训练过程中目标特征嵌入的红外与可见光图像融合方法结构示意图。
具体实施方式
以下结合附图和技术方案，进一步说明本发明的具体实施方式。
图1为元学习嵌入训练过程流程图，在利用(1-1)、(1-2)对图像融合模型F与目标检测模型进行预训练以后。本方法进入元学习嵌入训练过程，如图1所示，本过程分为两个阶段，内循环更新与外循环更新。在首先进行的是内循环更新，从元学习训练集中采样一对源图像后，送入图像融合模型，并利用(1-3)式跟新其参数，并在元学习测试集上计算其融合损失，通过此方式，融合损失可以对体现元特征嵌入模型对于图像融合模型的指导效果，因此，本方法利用(1-4)、(1-5)更新元特征嵌入模型的参数，以此训练元特征嵌入模型学会如何指导图像融合模型。在外循环更新中，本方法利用元特征指导图像融合模型以提升其语义提取能力。另外为了有效的训练元特征嵌入模型与图像融合模型，内循环与外循环每M个epoch交替进行。
总的来说，本方法设计了一种基于目标检测元特征嵌入的红外与可见光图像融合方法，可以有效的用目标检测任务提升图像融合性能。

Claims (1)

1.一种目标特征嵌入的红外与可见光图像融合方法，其特征在于，目标特征嵌入的红外与可见光图像融合方法的框架主要由目标检测模型D、图像融合模型F、元特征嵌入模型MFE组成；其中目标检测模型D用于提供目标语义特征，图像融合模型F用于生成融合结果，元特征嵌入模型MFE用于生成指导图像融合模型的元特征；
红外与可见光图像融合模型的框架的训练过程分为两个部分，预训练阶段与元特征嵌入训练阶段；预训练阶段用于训练图像融合模型F与目标检测模型D，元特征嵌入训练用于训练元特征嵌入模型MFE与图像融合模型F；
在预训练阶段，首先训练图像融合模型F，其参数θF更新方式为：
Figure FDA0004191513770000011
其中，Ii与Iv分别为从M3FD数据集中划分出的训练集Str中采样的红外图像与可见光图像，If为融合结果；βF为图像融合模型F的学习率，Lf为SSIM融合损失，
Figure FDA0004191513770000012
表示对Lf求关于γF的梯度；待图像融合模型F收敛后，用图像融合模型F生成的融合结果对目标检测模型D进行预训练，使其有合理的特征提取能力，在此本方法选取yolov5s作为目标检测模型，其参数γD更新方式为：
Figure FDA0004191513770000013
其中，If为融合结果；βD为目标检测模型D的学习率，LD为yolov5的目标检测损失；训练完目标检测模型D之后进入元特征嵌入训练阶段；
在元特征嵌入训练阶段，首先加载预训练阶段中图像融合模型F与目标检测模型D训练好的参数；元特征嵌入训练阶段分为两个过程：内循环更新阶段和外循环更新阶段，内循环更新用于训练图像融合模型F与元特征嵌入模型MFE，元特征嵌入模型MFE主要由元特征生成器MFG与特征转换器FT两个子模型构成，其中元特征生成器MFG用于生成元特征，特征转换器FT用于将元特征中信息转移到图像融合模型F中；外循环更新用于训练图像融合模型F；
在内循环更新阶段，将训练集Str分为元训练集Smtr与元测试集Smts，用于更新元特征生成器MFG与特征转换器FT；首先，在训练集Smtr上更新图像融合模型F的参数θF：
Figure FDA0004191513770000021
其中，Lg是引导损失，通过计算两个输入的L2距离实现，具体计算方式为Lg(Fmj,Ftj)＝(Fmj,Ftj)2，βF′代表模型参数更新时的学习率，θF′是更新后的图像融合模型F’的模型参数；元特征Fmj＝MFG(Fuj,Fej)，其中Fuj为图像融合模型F中第j个图像融合特征，Fej为目标检测模型D中第j个图像目标检测特征；转换后的特征Ftj＝FT(Fuj)；然后，利用更新后的图像融合模型F’去计算在元测试集Smts上的融合损失Lf；
通过此方式，由于在公式(1-3)的指导过程中元特征生成器MFG与特征转换器FT接收的是来自图像融合模型F的特征，因此该融合损失Lf可衡量元学习引导图像融合模型F的效果；因此，本方法利用该融合损失Lf训练元特征生成器MFG的参数θMFG与特征转换器FT的参数θFT：
Figure FDA0004191513770000022
Figure FDA0004191513770000023
其中，
Figure FDA0004191513770000024
与/>
Figure FDA0004191513770000025
分别为从元测试集中采样的红外图像与可见光图像，/>
Figure FDA0004191513770000026
对应的元融合结果图像，βMFG与βFT分别为元特征生成器MFG的参数θMFG与特征转换器FT的参数θFT对应的学习率；通过此方式，元特征生成器MFG可学习到如何根据图像融合模型F的语义提取能力生成元特征与特征转换器FT可学习到如何合理的将信息传递给图像融合模型F；
在外循环更新阶段，本方法采用训练集Str训练图像融合模型F，其他模型参数固定，由于在指导过程中元特征生成器MFG与特征转换器FT接收的是来自图像融合模型F的特征来学习如何指导图像融合模型F，因此在外循环中图像融合模型F从未执行(1-3)中更新过程的参数θF开始更新，图像融合模型F的参数θF更新方式为：
Figure FDA0004191513770000031
其中，Ii与Iv分别为从训练集Str中采样的红外图像与可见光图像，If为融合结果；βF为图像融合模型F的学习率；λg是用于平衡融合损失Lf与引导损失Lg的超参数；通过外循环更新，图像融合模型F在目标检测元特征的引导下，不断提升其语义提取能力；
最后，为了持续优化图像融合模型F与元特征嵌入模型MFE内循环更新与外循环更新交替进行每M个epoch交替进行。
CN202310434441.1A 2023-04-21 2023-04-21 目标特征嵌入的红外与可见光图像融合方法 Active CN116434024B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310434441.1A CN116434024B (zh) 2023-04-21 2023-04-21 目标特征嵌入的红外与可见光图像融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310434441.1A CN116434024B (zh) 2023-04-21 2023-04-21 目标特征嵌入的红外与可见光图像融合方法

Publications (2)

Publication Number Publication Date
CN116434024A true CN116434024A (zh) 2023-07-14
CN116434024B CN116434024B (zh) 2023-09-12

Family

ID=87081310

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310434441.1A Active CN116434024B (zh) 2023-04-21 2023-04-21 目标特征嵌入的红外与可见光图像融合方法

Country Status (1)

Country Link
CN (1) CN116434024B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117952845A (zh) * 2024-01-17 2024-04-30 大连理工大学 一种鲁棒的红外和可见光图像融合优化方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103424191A (zh) * 2013-08-31 2013-12-04 西安电子科技大学 点源目标红外成像的探测距离估计方法
CN111611905A (zh) * 2020-05-18 2020-09-01 沈阳理工大学 一种可见光与红外融合的目标识别方法
US11222217B1 (en) * 2020-08-14 2022-01-11 Tsinghua University Detection method using fusion network based on attention mechanism, and terminal device
CN115223057A (zh) * 2022-08-02 2022-10-21 大连理工大学 多模态遥感图像联合学习的目标检测统一模型
US20220405952A1 (en) * 2021-06-11 2022-12-22 Qualcomm Incorporated Objection detection using images and message information
WO2023029111A1 (zh) * 2021-08-30 2023-03-09 浙江大学 基于双向无监督域适应融合的跨星遥感图像语义分割方法
CN115984543A (zh) * 2022-09-26 2023-04-18 广东泰坦智能动力有限公司 一种基于红外与可见光图像的目标检测算法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103424191A (zh) * 2013-08-31 2013-12-04 西安电子科技大学 点源目标红外成像的探测距离估计方法
CN111611905A (zh) * 2020-05-18 2020-09-01 沈阳理工大学 一种可见光与红外融合的目标识别方法
US11222217B1 (en) * 2020-08-14 2022-01-11 Tsinghua University Detection method using fusion network based on attention mechanism, and terminal device
US20220405952A1 (en) * 2021-06-11 2022-12-22 Qualcomm Incorporated Objection detection using images and message information
WO2023029111A1 (zh) * 2021-08-30 2023-03-09 浙江大学 基于双向无监督域适应融合的跨星遥感图像语义分割方法
CN115223057A (zh) * 2022-08-02 2022-10-21 大连理工大学 多模态遥感图像联合学习的目标检测统一模型
CN115984543A (zh) * 2022-09-26 2023-04-18 广东泰坦智能动力有限公司 一种基于红外与可见光图像的目标检测算法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
赵文达: "United defocus blur detectionand deblurring via adversarial promoting learning", ECCV, pages 1 - 3 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117952845A (zh) * 2024-01-17 2024-04-30 大连理工大学 一种鲁棒的红外和可见光图像融合优化方法

Also Published As

Publication number Publication date
CN116434024B (zh) 2023-09-12

Similar Documents

Publication Publication Date Title
CN116434024B (zh) 目标特征嵌入的红外与可见光图像融合方法
CN108228915A (zh) 一种基于深度学习的视频检索方法
CN109033129A (zh) 基于自适应权重的多源信息融合知识图谱表示学习方法
CN106407333A (zh) 基于人工智能的口语查询识别方法及装置
Wang et al. Cost-effective object detection: Active sample mining with switchable selection criteria
CN112380385B (zh) 一种基于多模态关系图的视频时刻定位方法及设备
CN113569882A (zh) 一种基于知识蒸馏的快速行人检测方法
CN115564801A (zh) 一种基于注意力的单目标跟踪方法
CN117011728A (zh) 基于改进YOLOv7的无人机航拍目标检测方法
CN114037666B (zh) 一种数据集扩充和阴影图像分类辅助的阴影检测方法
CN114444374A (zh) 一种基于相似性度量的多源到多目标域自适应的方法
CN116342648A (zh) 基于混合结构注意力引导的孪生网络目标跟踪方法
CN117952845B (zh) 一种鲁棒的红外和可见光图像融合优化方法
CN113450363B (zh) 一种基于标签校正的元学习细胞核分割系统及方法
CN112069997B (zh) 一种基于DenseHR-Net的无人机自主着陆目标提取方法及装置
CN113159186A (zh) 一种基于半监督学习的医学图像自动标注方法
CN116128043B (zh) 视频场景边界检测模型的训练方法和场景边界检测方法
Peng et al. Video captioning with global and local text attention
CN113869395B (zh) 基于特征融合及神经网络搜索的轻量型水下目标检测方法
CN116186315A (zh) 视觉问答方法、装置、电子设备及存储介质
WO2023092582A1 (en) A scene adaptive target detection method based on motion foreground
CN113642500B (zh) 一种基于多阶段域自适应的低照度目标检测方法
CN108446724B (zh) 一种融合特征分类方法
Chen et al. Unsupervised multi-source domain adaptation with graph convolution network and multi-alignment in mixed latent space
Tan et al. Towards a Generalist and Blind RGB-X Tracker

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant