CN114092774B - 基于信息流融合的rgb-t图像显著性检测系统及检测方法 - Google Patents

基于信息流融合的rgb-t图像显著性检测系统及检测方法 Download PDF

Info

Publication number
CN114092774B
CN114092774B CN202111385735.7A CN202111385735A CN114092774B CN 114092774 B CN114092774 B CN 114092774B CN 202111385735 A CN202111385735 A CN 202111385735A CN 114092774 B CN114092774 B CN 114092774B
Authority
CN
China
Prior art keywords
information
module
global
image
rgb
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111385735.7A
Other languages
English (en)
Other versions
CN114092774A (zh
Inventor
温馨
单菊然
何彧
牛连强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenyang University of Technology
Original Assignee
Shenyang University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenyang University of Technology filed Critical Shenyang University of Technology
Priority to CN202111385735.7A priority Critical patent/CN114092774B/zh
Publication of CN114092774A publication Critical patent/CN114092774A/zh
Application granted granted Critical
Publication of CN114092774B publication Critical patent/CN114092774B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及基于信息流融合的RGB‑T图像显著性检测系统及检测方法，检测系统包括：Transformer特征提取模块、RGBT信息的筛选模块、Information inter flow模块、Informatin inner flow模块、Informatin flow模块、计算预测值与损失模块；检测方法为通过Transformer特征提取模块对输入的RGB图像和T图像分别提取其多级特征；通过RGBT信息的筛选模块得到G0和GlobleH∈R512×11×11；通过Information flow模块得到全局特征通过Informatin inter flow模块、Informatin inner flow模块和Information flow模块得到Gi；通过计算预测值与损失模块将得到多级全局特征Gi进行计算预测值的解码，并对得到的多层全局特征进行辅助监督训练。本发明解决现有技术检测效果差的问题，本发明能够更好的实现两个模态的特征融合和跨模态融合，从而进一步提高图像的检测效果。

Description

基于信息流融合的RGB-T图像显著性检测系统及检测方法
技术领域
本发明涉及图像检测技术领域，具体设计一种基于信息流融合的RGB-T图像显著性检测系统及检测方法。
背景技术
随着信息技术的高速发展，图像数据已经成为了主要的信息来源之一。随着日益增长的数据处理需求必然要求提高信息处理的效率。一般在图像处理任务中所要处理的内容就是原始图像数据的一小部分，所以如何找到图像信息的显著区域就显得尤为重要。这样可以大大减少计算的复杂度，也减少了计算能力的浪费。
虽然基于RGB图像的显著性检测已经有了很大的进步，但是这种图像显著性检测技术会因为场景混乱、光线不足、光线过强、以及多显著物和显著物尺寸变化较大等场景，使RGB图像的数据信息和空间信息受到干扰甚至是信息缺失，此时单模态的RGB图像显著性检测方法的性能就会显著下降。
发明内容
发明目的：本发明提供了一种基于信息流融合的RGB-T图像显著性检测系统及检测方法，其目的是解决现有技术检测效果差的问题，本发明能够更好的实现两个模态的特征融合和跨模态融合，从而进一步提高图像的检测效果。
本发明所采取的技术方案如下：
基于信息流融合的RGB-T图像显著性检测系统，包括：Transformer特征提取模块、RGBT信息的筛选模块、Information inter flow模块、Informatin inner flow模块、Informatin flow模块、计算预测值与损失模块；
Transformer特征提取模块用于对输入的RGB图像和T图像分别提取各自的四级特征利用segtransformer的思想，依赖Transformer作为新的编码结构，对网络特征进行编码，得到了由浅到深的多组特征；
RGBT信息筛选模块用于从通道空间两个方向上对，上述Transformer特征提取模块提取到的高层特征进行冗余信息的筛选，使得有效的信息被进一步保留；
Information inter flow模块用于将上一层的全局特征，以及本层的RGB图像和T图像对应的特征的不同特征节点映射到统一特征空间内进行information flow；
Informatin inner flow模块用于对上述Transformer特征提取模块提取到的多级RGB图像特征和T图像特征自身，分别进行information inner flow；Informatin flow模块用于对上述information inter flow模块和information inner flow模块所得结果进行融合，得到跨模态的全局特征；同时利用Globle函数将得到跨模态全局特征进一步投影到下一层的特征空间，并降低通道数，使其与下一层的双模特征具有相同的通道数，以便于下一阶段的融合；
计算预测值与损失模块用于对上述Informatin flow模块得到的跨模态的全局特征进行预测值的解码，并利用cross entropy loss、IOU loss对全局特征进行辅助监督训练，并得到损失值。
进一步的，RGBT信息的筛选模块包括了Filter_C、Filter_S和ASPP，其中Filter_C的输入是Transformer特征提取模块提取到的最高层RGB与T图像的特征，将最高层特征经过Filter_C处理后，将得到的结果传输到Filter_S中进行处理，于是便得到了去除掉冗余信息之后的最高层的RGB与T图像特征，最后利用ASPP对得到的新的RGB与T图像特征进行跨模态融合，便得到了筛除完冗余信息的最高层全局特征G0。
一种基于信息流融合的RGB-T图像显著性检测系统的检测方法，
步骤1：通过Transformer特征提取模块对输入的RGB图像和T图像分别提取其多级特征；
步骤2：通过RGBT信息的筛选模块将两个模态的最高级特征进行冗余信息的筛除，并将最高层的双模态信息进行融合，从而得到筛除完冗余信息的最高层全局特征G0；
步骤3：通过RGBT信息的筛选模块将筛除完冗余信息的最高级特征进行跨模态信息融合，从而得到跨模态信息融合后的最高层全局特征GlobleH∈R512×11×11；
步骤4：通过Information flow模块对步骤3中的最高层全局特征GlobleH∈R512 ×11×11，利用Globle函数将其进一步投影到与下一层相同的特征空间，并且降低通道数，使其与下一层的特征空间的通道数量相等，得到全局特征
步骤5：对本层的双模特征和上一层的全局特征/>通过Informatininter flow模块、Informatin inner flow模块和Information flow模块进行informationinter flow和information inner flow以及information flow得到本层的全局特征Gi，然后利用Globle函数对得到的全局特征进行映射处理，使其通道数与下层特征一致，并使其作为下一阶段的输入，并继续与更下一层的双模特征进行融合，直到最后一层；
步骤6：通过计算预测值与损失模块将得到多级全局特征Gi进行计算预测值的解码，并对得到的多层全局特征进行辅助监督训练。
进一步的，所述步骤2的具体方法为：
步骤2.1：在通道方向上对特征进行双模态冗余信息的筛选；得到RGBT信息的筛选模块的第一步是的输出
步骤2.2：在空间方向上进行双模态冗余信息的筛选；便得到RGBT信息的筛选模块的第二步的输出
进一步的，
其中和/>分别代表，将最高层RGB图像特征和T图像特征，经过通道方向筛除冗余信息得到的结果，/>和/>分别代表RGB与T图像信息各个通道的权值，/>和/>表示在筛除冗余信息之前的RBG和T图像的特征信息，其与对应权重的运算关系是点积，/>和/>是RGG与T图像特征信息在空间方向上的权重，/>与/>是将/>和/>分别经过空间方向上筛除冗余信息得到的最终结果。
进一步的，所述步骤3的具体方法为：
利用了channel attention的融合结构，进一步将筛选后的特征进行融合；此外还利用了ASPP这一模块，得到RGBT信息的筛选模块的最终输出GlobleH∈R512×11×11，这里的GlobleH∈R512×11×11是一个尺寸为11*11且具有512个通道的全局特征。
进一步的，所述步骤5的具体方法为：首先对Informatin inter flow模块、Informatin inner flow模块的结果进行融合，得到这里将GlobleH当做G0完成与高层特征的information flow输出/>之后将每一层输出的/>经过Globle函数：得到的全局特征Gi 全局特征Gi会继续被当做下一阶段的输入，与/>继续融合，直至融合到最后一层。
进一步的，步骤6中采用了LossB对显著性图的边界进行监督，最终loss如下：
Loss＝Lossmain+μLosslux+λLossB，
式中，Lossmain＝CE(GT,convscore(ψ352(G)))+kIOU(GT,convscore(ψ352(G)))
这里μ,λ分别取值为1,0.5；
LossB表示boundary loss即边界的损失，CE,IOU分别表示cross entropy loss和IOU loss，GT表示图像的groundtruth，k表示两者之间的权重系数，这里将k设置为1。
与现有技术相比，本发明具有如下优势：
1、本发明采用了双模态图形即RGB图像和T图像进行显著性检测，充分利用了两种模态图像的优势，从而能够在大突出物(BSO)、小突出物(SSO)、恶劣天气(BW)、相似外观(SA)、中心偏置(CB)、跨图像边界(CIB)、多突出物(MSO)、低光照(LI)、焦距(of)、热交叉(TC)和图像杂波(IC)这些复杂情况下进行显著性检测，并取得良好的检测效果。
2、本发明采用了RGBT的高层特征筛选机制，能够对高层特征进行冗余信息的筛选使得有效的信息被进一步保留，以提升全局信息的表征能力以及网络的性能效果。
3、本发明采用了基于信息流的思想，将不同特征的特征节点映射到统一特征空间内进行information flow。摒弃了过去往往利用相加，cat以及nonlocal的形式进行跨模态跨尺寸的信息融合的方法，此融合方式是local to local，即对于特征之间对应位置的局部特征进行融合，这样的融合方式往往是次优。本发明所提出的这种融合方式，不仅极大的简化了网络结构也可以保证多尺度多模态信息之间的互补性被充分利用。
附图说明
图1为本发明基于信息流融合的RGB-T图像显著性检测系统的结构示意图；
图2为本发明的RGBT的高层特征筛选示意图；
图3为本发明对各个模态各个尺度特征之间的信息和各个模态各个尺度特征内部的信息进行信息流融合的示意图；
图4为在VT821测试集定量比较实验的准确率PR曲线图；
图5为在VT1000测试集定量比较实验的准确率PR曲线图；
图6为在VT5000测试集定量比较实验的准确率PR曲线图；
图7为在VT821测试集定量比较实验的F-measurePR曲线图；
图8为在VT1000测试集定量比较实验的F-measurePR曲线图；
图9为在VT5000测试集定量比较实验的F-measurePR曲线图；
图10为本发明视觉比较实验的对比图；
具体实施方式
为了便于理解本申请，下面将参照相关附图对本申请进行更加全面的描述。附图所展示的是本申请较为优质的实施方式，但是本申请的实现方式不仅仅局限于附图中所展示的实施方式。提供这些实施方式的目的是，帮助理解本申请的公开内容。
本发明提出了基于不同模态图像的显著性目标检测。本专利提出的图像显著性检测技系统，利用的就是RGB图像和热红外图像的双模态图像的显著性检测方法。热红外摄像机对突出物的成像始终是均匀的，即使是RGB图像背景杂乱、光线暗淡的复杂环境下，热红外图像中的目标也是突出的，所以可以很好的克服复杂环境下RGB图像的信息被干扰和信息缺失问题。此外热红外图像相对于RGB图像来说，分辨率偏低，图像中物体的轮廓信息不够清楚，而RBG图像就可以很好的弥补这一点。因此RBG图像与热红外图像具有优势互补的特点，基于RGB-T的双模态图像显著性检测方法就能够更为准确的检测显著性目标。
对于双模态图像的特征提取，本专利采用了Transformer架构。Transformer架构在2017年为NLP(自然语言处理)领域带来了极大的惊喜，并在诞生的短短四年时间里，Transformer就跻身于自然语言处理领域的主流模型。随着时间的推移，如今Transformer开始向其他领域进军。由于深度学习的快速发展，Transformer在计算机视觉和音频处理等领域被广泛应用，并取得了良好的效果。但是由于Transformer过于强的表征能力，导致RGB-T融合的网络中可能会造成信息的冗余，以至于不能达到很好的结果。因此在高级特征的融合过程中，需要对RGB特征以及热红外图像特征进行筛选，故提出了RGBT信息的筛选模块。
对于跨尺度跨模态信息融合问题，以往的处理方式是分步进行的，但是这种方式会复杂化网络结构，为此提出了信息流思想对模态间尺度间的信息进行统一融合。这种方式不仅极大的简化了网络结构也可以保证多尺度多模态信息之间的互补性被充分利用。
图1是本发明的基于信息流融合的RGB-T图像显著性检测系统的结构示意图，所述基于信息流融合的RGB-T图像显著性检测系统，包括Transformer特征提取模块、RGBT信息的筛选模块、Information inter flow模块、Informatin inner flow模块、Informatinflow模块、计算预测值与损失模块。
所述Transformer特征提取模块用于对输入的RGB图像和热红外图像分别提取各自的多级特征信息，并对网络特征进行编码。
具体实施时，在Transformer特征提取模块中使用了segtransformer的思想，依赖transformer作为新的编码结构，对输入的RGB图像和T图像(热红外图像)分别提取其各自的额多级特征，对网络特征进行编码。从而得到RGB图像和T图像的由低到高的4级分辨率不同的特征，将从RGB图像和T图像所提取的由低到高的4级特征分别记为：其中/>表示对于尺寸为88*88，通道数为64的RGB特征。
参考图1，RGBT信息的筛选模块用于处理由Transformer的特征提取器提取得到了由浅到深的多组特征，其越高层的特征有越强的表征能力，这也意味着，高层的特征具有较强的鲁棒性。那么在融合特征的过程中很容易会出现信息的冗余，这样会极大地影响网络的性能效果。所以所述RGBT信息的筛选模块用于从通道空间两个方向上对Transformer特征提取模块中的高层特征进行冗余信息的筛选，使得有效的信息被进一步保留，以提升全局信息的表征能力。其进一步包括了Filter_C(RGB图像与T图像高级特征的原型向量)、Filter_S(RGB图像与T图像高质量特征表示)、ASPP(模块多尺度特征融合)。
参考图2，是对上述RGBT信息的筛选模块的过程的进一步描述。RGBT信息的筛选模块包括了Filter_C、Filter_S和ASPP，其中Filter_C的输入是Transformer特征提取模块提取到的最高层RGB与T图像的特征，将最高层特征经过Filter_C处理后，将得到的结果传输到Filter_S中进行处理，于是便得到了去除掉冗余信息之后的最高层的RGB与T图像特征，最后利用ASPP对得到的新的RGB与T图像特征进行跨模态融合，便得到了筛除完冗余信息的最高层全局特征G0。具体为由图中所示，首先对RGB图像，T图像特征的原型进行提取得到Prototype_RGB和Prototype_T。随后对Prototype_RGB和Prototype_T分别用筛选函数f1,f2进行处理，再进行空间维度上的拼接操作。得到的结果再由Softmax函数处理得到权重，再将权重拆分为令其分别为/>的权重并对/>进行通道方向的加权运算，得到/>接下来利用ρ1,ρ2提取函数，从/>中提取通道数量为1的特征/>随后对其进行空间维度上的拼接，之后利用Softmax函数处理，再经过空间上的拆分，可以得到关于特征/>的空间attentionmap将其与特征相乘便得到了融合互补信息的/>最后将得的结果先在空间维度上进行拼接，然后利用了ASPP(模块多尺度特征融合模块)丰富了多尺度融合信息。
继续参考图1，所述information inter flow模块用于融合各个特征之间的信息，即在统一的特征空间内，充分融合上一层的全局特征Gi-1以及这一层RGB图像以及T图像对应的特征，这种融合的程度不仅局限于特征之间对应位置的局部特征，从而达到更好的融合效果。其进一步包括了(融合了各个模态之间的特征的特征空间)。
参考图1，所述information inner flow模块用于对每个特征自身进行information inner flow，这样可以更加有利于利用每个特征内部的局部以及全局信息。其进一步包括了融合了各个特征内部全局信息以及局部信息的特征空间由于仅仅利用卷积等方法只能融合特征内部的局部信息，所以利用information innerflow的方法进行内部信息的融合，这样可以更加有利于利用每个特征内部的局部以及全局信息。
参考图1，所述information flow模块用于对上述information inter flow模块和information inner flow模块所得结果进行融合。其进一步包括即相应层的全局特征。
参考图3，是对上述information inter flow模块、information inner flow模块以及information flow模块过程的进一步描述。由图3中所示，此过程的输入为上一层的全局特征Gi-1以及这一层RGB图像以及T图像对应的特征对于图中的Informationinter Flow模块和Information inner Flow模块是并行发生的，两者在执行计算的过承中没有参数和数据的共享，彼此是独立的。对于Information inter Flow模块，首先将三个特征进行空间上的拼接从而得到一个矩形特征/>(沿weight方向进行拼接)，随后对整体特征进行投影，投影时所用的映射函数即为图中的κ,N，将得到的结果利用τ函数对特征进行展平并将得到的结果进行矩阵乘法运算，于是便得到信息空间/>随后对得到的信息空间进行处理，即先对信息空间进行/>操作，之后再与/>做和，然后利用σ(RELU函数)进行处理，再进行/>操作便得到/>随后将得到的/>利用convreshape操作，将其映射回特征空间之中得到/>
对于Information innner Flow模块，其处理过程与上述Information interFlow模块很接近，但是对于三个特征进行空间上的拼接的方向是不一致的，此模块的拼接方向是沿着通道方向进行拼接。同样利用和/>映射投影，再利用τ函数进行展平操作，然后将得到的结果进行矩阵乘法运算，便得到了同一的特征空间/>随后是利用information flow的方法对各个尺度各个模态的内部特征更新，即先对信息空间进行操作，之后再与/>做和，然后利用σ(RELU函数)进行处理，再进行/>操作便得到/>随后将得到的/>利用conv操作，将其映射回特征空间之中得到/>
对于Information flow模块，其处理过程是将上述两个模块所得到的和利用Deconvi函数将二者进行融合，便得到了本层的跨模态的全局特征/>最后利用Globlei函数，对本层的跨模态全局特征/>进行处理得到Gi，得到的Gi会继续被当做下一阶段的输入，与/>继续融合，直至融合到最后一层。
继续参考图1，本发明实施例提供的计算预测值与损失模块利用得到的进行预测值的解码，对/>进行辅助监督训练。由于的尺寸较小，所以仅仅对/>进行监督训练。其进一步包括，MLP处理使每一个特征达到相同的通道数，Reshape操作。
基于上述基于信息流融合的RGB-T图像显著性检测系统，本发明实施例还提供了一种基于信息流融合的RGB-T图像显著性检测方法，所述基于信息流融合的RGB-T图像显著性检测方法包括：
步骤1：对输入的RGB图像和T图像分别提取其多级特征。
假定其网络的输入为{IRGB,IT}，其中IRGB为RGB图像，IT为热红外图像，那么，{FRGB,FT}＝S{IRGB,IT}，这里S代表segtransformer的编码器部分。这里输入图像的尺寸为352*352，通过segtransformer之后，得到Transformer特征提取模块的输出：对于IRGB和IT输出的特征分别为 其中/>表示对于尺寸为88*88，通道数为64的RGB特征。
步骤2：将两个模态的最高级特征进行冗余信息的筛除，并将最高层的双模态信息进行融合，从而得到最高层的全局特征。
步骤2.1：在通道方向上对特征进行双模态冗余信息的筛选。
首先对RGB图像和T图像高层特征的原型进行提取：
其中Adpmax表示1*1的adaptivemaxpooling(自适应池化层)，/>分别表示RGB图像与T图像最高级特征的原型向量。之后对512进行筛选，也就是对/>的权重在通道方向上进行计算：上式中将/>分别进行筛选函数f1,f2的处理，之后在空间维度上对特征进行拼接，得到权重向量通道数为512*2，随后在RGB-T特征维度上对权重向量进行softmax计算分别对/>通道方向的权重进行进一步的优化，得到的weightC∈R512×2。随后将得到的权重矩阵进行拆分并对/>进行优化，具体的：/>其中π为拆分函数分别将weightC在空间方向拆分，拆分为随后将/>分别当做/>的权重向量并对其进行通道方向的加权运算：/>其中·表示点积。于是得到了RGBT信息的筛选模块的第一步是的输出/>
步骤2.2：在空间方向上进行双模态冗余信息的筛选。
首先需要求出对每一个位置提取一个高质量的特征表示，以保证后续对空间特征的加权处理：/>这里的ρ1,ρ2表示提取函数，即对/>中的512个通道进行特征的提取，将512个通道的特征压缩为尺寸不变通道数量为1的特征。经过提取的特征/>(其中1为通道数量，11×11为特征尺寸)在每个位置上都具有对该位置特征足够的表征能力，之后对RGB-T特征这11×11个位置分别进行权重的计算：/>这一步是将π2，cat和softmax全部作用在了通道方向，以保证得到关于特征/>的空间attention map最后将得到的权重与特征相乘(feature map)，得到了融合了互补信息的/>并且加入了残差链接，具体地：于是便得到了RGBT信息的筛选模块的第二步的输出/>
步骤3：将筛除完冗余信息的最高级特征进行跨模态信息融合，从而得到最高层的全局特征。
将步骤2.1和步骤2.2的输出结进行融合。具体过程如下：利用了channelattention的融合结构，进一步将筛选后的特征进行融合。此外还利用了ASPP(模块多尺度特征融合)这一模块，具体地：于是得到RGBT信息的筛选模块的最终输出GlobleH∈R512×11×11，这里的GlobleH∈R512×11×11是一个尺寸为11*11且具有512个通道的全局特征。
步骤4：对步骤3中的结果即最高层全局特征GlobleH∈R512×11×11，利用Globle函数将其进一步投影到与下一层相同的特征空间，并且降低通道数，使其与下一层的特征空间的通道数量相等，得到
步骤5：对本层的双模特征和上一层的全局特征，进行information inter flow和information inner flow以及information flow得到本层的全局特征。然后利用Globle函数对得到的全局特征进行映射处理，使其通道数与下层特征一致，并使其作为下一阶段的输入，并继续与更下一层的双模特征进行融合，直到最后一层。首先对上述Informatininter flow模块、Informatin inner flow模块的结果进行融合，具体地：/> 其中i表示从解码出来的特征的层数，在设计的网络中共有四层特征，从深到浅分别进行渐进的跨尺度跨模态的融合工作。这里的Deconvi表示步长为2的2D反卷积(ConvTranspose2d)，作用是将高层特征的尺寸变大，通道数量减少，最后得到/>以进行后续的information flow。这里将GlobleH当做G0完成与高层特征的information flow输出/>之后将每一层输出的/> 经过Globle函数：/>其中Globle函数是将得到的Gi进一步投影到与相同的特征空间，并且降低通道数，使其与下一层的/>的通道数量相等，为了简化利用普通的2D卷积函数代替Globle函数以得到最终富含多尺度多模态信息的全局特征Gi。得到的Gi会继续被当做下一阶段的输入，与/>继续融合，直至融合到最后一层。通过information flow可以输出每一层中的/>可以得到其中/>表示输出特征的尺寸为11*11通道数量为512。
步骤6：将得到多级全局特征进行计算预测值的解码、并对得到的多层全局特征进行辅助监督训练。
由于最高层的全局特征尺寸较小，所以仅仅对前三层的全局特征进行监督训练。/>其中ψ352表示将特征尺寸通过双线性差值的方式扩展图像尺寸到352*352，并且通过2D卷积convscore输出辅助预测值{Y22,Y44,Y88}∈R1×352×352,这里利用了cross entropy loss(交叉熵损失函数)、IOU loss(回归损失函数)对其进行监督,即：
其中CE,IOU分别表示cross entropy loss和IOU loss，GT表示图像的groundtruth(标注的正确数据)，k表示两者之间的权重系数，这里将k设置为1。此外对进行了统一的解码，具体的：
其中将/>分别经过τ以及MLPJ的处理，这里的τ与之前相同为了将特征展平，之后对每一个展平后的特征向量进行MLPJ处理，使每一个特征达到相同的通道数Coutput。之后用ψreshape对每一个输出的特征进行reshape和线性插值处理，使得每一个尺度的特征都具有相同的尺寸和通道数量即/>这里的88*88即是输入特征的最大尺寸，设置Coutput＝256。最后将得到的特征在通道方向上拼接在一起，并通过MLP*进行通道的压缩。需要注意的是，为了保证MLP可以在二维特征上进行，这里的MLP*操作包括了τ，MLP和reshape，得到Gdecoder∈R256×88×88。通过将/>进行融合后解码，和之前一样对得到的Gdecoder进行监督：Lossmain＝CE(GT,convscore(ψ352(G)))+kIOU(GT,convscore(ψ352(G)))这里采用了LossB对显著性图的边界进行监督，为了便于优化，仅对最终融合了各个尺度之后的输出进行边界监督，最终loss如下：
Loss＝Lossmain+μLosslux+λLossB，这里μ,λ分别取值为1,0.5。
为了验证本发明系统及方法的显著性检测性能，将本发明提出的显著性检测方法比较了10种最先进的SOD方法与IFFNet，包括一种传统的RGB-T方法:MGFL，9种深度学习方法，其中4种RGB-D方法:DCF，DPANet，HAINet和JL-DCF，5种RGB-T方法:ADFNet，CGFNet，CSRNet，MIDD和ECFFNet。为了公平起见，所有方法都使用默认参数设置，同时使用相同的训练集和测试集。
本次实验采取的数据集是三个最常用的公共RGB-T SOD数据集，这三个数据集包括VT821、VT1000和VT5000。VT821包含821组标签图像，其中添加了一些噪声，增加了挑战性；VT1000包括1000组标记图像，该数据集的RGB和T图像对齐良好；VT5000包含5000组已标记的图像，这些图像分为2500组测试数据集和2500组训练数据集。这些数据集有更复杂的场景和更多种类的对象。这三种公开的RGB-T SOD数据集包含了许多挑战，包括大突出物(BSO)、小突出物(SSO)、恶劣天气(BW)、相似外观(SA)、中心偏置(CB)、跨图像边界(CIB)、多突出物(MSO)、低光照(LI)、焦距(of)、热交叉(TC)和图像杂波(IC)。
本发明提供的网络的实施细节如下：它基于pytorch，使用RTX3080ti GPU进行训练。采用随机梯度下降(SGD)优化器对网络进行75个周期的训练，初始学习率为0.005。动量衰减和重量衰减分别设置为0.9和0.0005，批次大小设置为2。为了提高学习结果的准确性，在第21个周期和第47个周期时，学习率分别降低0.1。使用VT5000选择的2500组训练图片进行训练，使用VT5000、VT1000和VT821中的其他图片作为测试集进行测试。在训练阶段，将输入图像的大小调整为256*256，然后使用水平翻转等操作进行数据扩充。
本次实验的性能评价指标如下：主要有五种指标：E-measure、S-measure、F-measure、MAE和PR曲线。MAE值越低，其他指标值越高，目标检测性能越显著。具体来说，E-measure是指增强对齐方法同时考虑了局部像素值和图像水平平均值；S-measure是指将区域感知到的结构相似度与对象感知到的结构相似度相结合进行空间结构相似度评价；F-measure是综合考虑精度和召回率的指标，MAE是逐像素测量的预测结果与真实值之间的平均绝对差值；PR曲线显示了不同阈值条件下SOD的精确度和召回结果。
首先进行定量比较实验：经过测试，与上述10种方法相比，本发明所提出的方法测试结果几乎是最好的。在噪声较大、难度较大的vt821测试集上，本发明的测试结果与次优解相比，S-measure、W_F和MAE结果提高了2.6％,2.0％和0.9％，其他指标也有所提高。在vt1000测试集上，本发明的S-measure和W_F比次优解高了1.5％、1.2％，其他指标也有所提高。在具有更复杂场景的vt5000测试集上，本发明结果比次优解的S-measure和W_F分别提高2.2％和2.5％同时，其他指标也有所改善。同时，如图4-9所示，PR曲线涵盖了本次实验所比较的所有方法，这表明了本发明所提出的方法的优越性。
随后进行了视觉比较实验：本发明的方法和其他方法的可视化结果如图10所示。可以看出，与其他方法相比，本发明的方法更具鲁棒性，当面对小对象、背景与显著对象颜色相似的对象、多个显著对象、内部空洞、具有复杂轮廓的对象和其他对象时，可视化结果更接近GT(标注的标准图)图。在第一行和第二行中，本发明的方法可以检测到小目标，特别是在第二行中，只有本发明的方法检测到笔，而其他方法则受到背景的干扰。在第三行和第四行中，可以减少背景的干扰。门框的颜色与椅子的颜色相似。本发明的方法几乎完全检测到椅子，而大多数其他方法接收门框的干扰。虽然CSRNet没有受到门框的干扰，但它错过了椅子的一条腿；在第五行和第六行，本发明的方法也可以很好地检测多个显著目标；在第七行和第八行，本发明的方法也可以非常清晰地检测出物体的内部轮廓，但是其他方法检测物体内部轮廓的效果并不好；在第九行和第十行中，面对复杂的轮廓，本发明的方法比其他方法具有更清晰的轮廓。

Claims (7)

1.基于信息流融合的RGB-T图像显著性检测系统，其特征在于：包括：Transformer特征提取模块、RGBT信息的筛选模块、Information inter flow模块、Informatin inner flow模块、Informatin flow模块、计算预测值与损失模块；
Transformer特征提取模块用于对输入的RGB图像和T图像分别提取各自的四级特征利用segtransformer的思想，依赖Transformer作为新的编码结构，对网络特征进行编码，得到了由浅到深的多组特征；
RGBT信息筛选模块用于从通道空间两个方向上对上述Transformer特征提取模块提取到的高层特征进行冗余信息的筛选，使得有效的信息被进一步保留；所述RGBT信息的筛选模块包括了Filter_C、Filter_S和ASPP，其中Filter_C的输入是Transformer特征提取模块提取到的最高层RGB与T图像的特征，将最高层特征经过Filter_C处理后，将得到的结果传输到Filter_S中进行处理，于是便得到了去除掉冗余信息之后的最高层的RGB与T图像特征，最后利用ASPP对得到的新的RGB与T图像特征进行跨模态融合，便得到了筛除完冗余信息的最高层全局特征G0；
Information inter flow模块用于将上一层的全局特征，以及本层的RGB图像和T图像对应的特征的不同特征节点映射到统一特征空间内进行information flow；Informatininner flow模块用于对上述Transformer特征提取模块提取到的多级RGB图像特征和T图像特征自身，分别进行information inner flow；Informatin flow模块用于对上述information inter flow模块和information inner flow模块所得结果进行融合，得到跨模态的全局特征；同时利用Globle函数将得到跨模态全局特征进一步投影到下一层的特征空间，并降低通道数，使其与下一层的双模特征具有相同的通道数，以便于下一阶段的融合；
计算预测值与损失模块用于对上述Informatin flow模块得到的跨模态的全局特征进行预测值的解码，并利用cross entropy loss、IOU loss对全局特征进行辅助监督训练，并得到损失值。
2.一种如权利要求1所述的基于信息流融合的RGB-T图像显著性检测系统的检测方法，其特征在于：
步骤1：通过Transformer特征提取模块对输入的RGB图像和T图像分别提取其多级特征；
步骤2：通过RGBT信息的筛选模块将两个模态的最高级特征进行冗余信息的筛除，并将最高层的双模态信息进行融合，从而得到筛除完冗余信息的最高层全局特征G0；
步骤3：通过RGBT信息的筛选模块将筛除完冗余信息的最高级特征进行跨模态信息融合，从而得到跨模态信息融合后的最高层全局特征GlobleH∈R512×11×11；
步骤4：通过Information flow模块对步骤3中的最高层全局特征GlobleH∈R512×11×11，利用Globle函数将其进一步投影到与下一层相同的特征空间，并且降低通道数，使其与下一层的特征空间的通道数量相等，得到全局特征
步骤5：对本层的双模特征和上一层的全局特征/>通过Informatin interflow模块、Informatin inner flow模块和Information flow模块进行information interflow和information inner flow以及information flow得到本层的全局特征Gi，然后利用Globle函数对得到的全局特征进行映射处理，使其通道数与下层特征一致，并使其作为下一阶段的输入，并继续与更下一层的双模特征进行融合，直到最后一层；
步骤6：通过计算预测值与损失模块将得到多级全局特征Gi进行计算预测值的解码，并对得到的多层全局特征进行辅助监督训练。
3.根据权利要求2所述的基于信息流融合的RGB-T图像显著性检测系统的检测方法，其特征在于：所述步骤2的具体方法为：
步骤2.1：在通道方向上对特征进行双模态冗余信息的筛选；得到RGBT信息的筛选模块的第一步是的输出
步骤2.2：在空间方向上进行双模态冗余信息的筛选；便得到RGBT信息的筛选模块的第二步的输出
4.根据权利要求3所述的基于信息流融合的RGB-T图像显著性检测系统的检测方法，其特征在于：
其中和/>分别代表，将最高层RGB图像特征和T图像特征，经过通道方向筛除冗余信息得到的结果，/>和/>分别代表RGB与T图像信息各个通道的权值，/>和表示在筛除冗余信息之前的RGB和T图像的特征信息，其与对应权重的运算关系是点积，/>和/>是RGB与T图像特征信息在空间方向上的权重，/>与/>是将/>和分别经过空间方向上筛除冗余信息得到的最终结果。
5.根据权利要求2所述的基于信息流融合的RGB-T图像显著性检测系统的检测方法，其特征在于：所述步骤3的具体方法为：
利用了channel attention的融合结构，进一步将筛选后的特征进行融合；此外还利用了ASPP这一模块，得到RGBT信息的筛选模块的最终输出GlobleH∈R512×11×11，这里的GlobleH∈R512×11×11是一个尺寸为11*11且具有512个通道的全局特征。
6.根据权利要求2所述的基于信息流融合的RGB-T图像显著性检测系统的检测方法，其特征在于：所述步骤5的具体方法为：首先对Informatin inter flow模块、Informatininner flow模块的结果进行融合，得到/>这里将GlobleH当做G0完成与高层特征的information flow输出/>之后将每一层输出的经过Globle函数：得到的全局特征Gi/>全局特征Gi会继续被当做下一阶段的输入，与/>继续融合，直至融合到最后一层。
7.根据权利要求2所述的基于信息流融合的RGB-T图像显著性检测系统的检测方法，其特征在于：步骤6中采用了LossB对显著性图的边界进行监督，最终loss如下：
Loss＝Lossmain+μLosslux+λLossB，
式中，Lossmain＝CE(GT,convscore(ψ352(G)))+kIOU(GT,convscore(ψ352(G)))
这里μ,λ分别取值为1，0.5；
LossB表示boundary loss即边界的损失，CE,IOU分别表示cross entropy loss和IOUloss，GT表示图像的groundtruth，k表示两者之间的权重系数，这里将k设置为1。
CN202111385735.7A 2021-11-22 2021-11-22 基于信息流融合的rgb-t图像显著性检测系统及检测方法 Active CN114092774B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111385735.7A CN114092774B (zh) 2021-11-22 2021-11-22 基于信息流融合的rgb-t图像显著性检测系统及检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111385735.7A CN114092774B (zh) 2021-11-22 2021-11-22 基于信息流融合的rgb-t图像显著性检测系统及检测方法

Publications (2)

Publication Number Publication Date
CN114092774A CN114092774A (zh) 2022-02-25
CN114092774B true CN114092774B (zh) 2023-08-15

Family

ID=80302647

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111385735.7A Active CN114092774B (zh) 2021-11-22 2021-11-22 基于信息流融合的rgb-t图像显著性检测系统及检测方法

Country Status (1)

Country Link
CN (1) CN114092774B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114782590B (zh) * 2022-03-17 2024-05-10 山东大学 一种多物体内容联合图像生成方法及系统
CN115409855B (zh) * 2022-09-20 2023-07-07 北京百度网讯科技有限公司 图像处理方法、装置、电子设备和存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104408712A (zh) * 2014-10-30 2015-03-11 西北工业大学 基于信息融合的隐马尔可夫显著区域检测方法
CN110210539A (zh) * 2019-05-22 2019-09-06 西安电子科技大学 多级深度特征融合的rgb-t图像显著性目标检测方法
CN110795973A (zh) * 2018-08-03 2020-02-14 北京大学 多模态融合的动作识别方法、装置及计算机可读存储介质
CN112700426A (zh) * 2021-01-07 2021-04-23 浙江科技学院 一种复杂环境下的显著性物体检测方法
CN113076947A (zh) * 2021-03-26 2021-07-06 东北大学 一种交叉引导融合的rgb-t图像显著性检测系统
CN113256603A (zh) * 2021-06-11 2021-08-13 浙江科技学院 一种双流网络二次融合的显著性物体检测方法
CN113298094A (zh) * 2021-06-10 2021-08-24 安徽大学 一种基于模态关联与双感知解码器的rgb-t的显著性目标检测方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104408712A (zh) * 2014-10-30 2015-03-11 西北工业大学 基于信息融合的隐马尔可夫显著区域检测方法
CN110795973A (zh) * 2018-08-03 2020-02-14 北京大学 多模态融合的动作识别方法、装置及计算机可读存储介质
CN110210539A (zh) * 2019-05-22 2019-09-06 西安电子科技大学 多级深度特征融合的rgb-t图像显著性目标检测方法
CN112700426A (zh) * 2021-01-07 2021-04-23 浙江科技学院 一种复杂环境下的显著性物体检测方法
CN113076947A (zh) * 2021-03-26 2021-07-06 东北大学 一种交叉引导融合的rgb-t图像显著性检测系统
CN113298094A (zh) * 2021-06-10 2021-08-24 安徽大学 一种基于模态关联与双感知解码器的rgb-t的显著性目标检测方法
CN113256603A (zh) * 2021-06-11 2021-08-13 浙江科技学院 一种双流网络二次融合的显著性物体检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
丁正彤 ; 徐磊 ; 张研 ; 李飘扬 ; 李阳阳 ; 罗斌 ; 涂铮铮 ; .RGB-T目标跟踪综述.南京信息工程大学学报(自然科学版).2019,(第06期), *

Also Published As

Publication number Publication date
CN114092774A (zh) 2022-02-25

Similar Documents

Publication Publication Date Title
CN110163246B (zh) 基于卷积神经网络的单目光场图像无监督深度估计方法
CN110648334A (zh) 一种基于注意力机制的多特征循环卷积显著性目标检测方法
CN111582316B (zh) 一种rgb-d显著性目标检测方法
CN110136062B (zh) 一种联合语义分割的超分辨率重建方法
Zhang et al. Deep hierarchical guidance and regularization learning for end-to-end depth estimation
CN114092774B (zh) 基于信息流融合的rgb-t图像显著性检测系统及检测方法
CN110866879B (zh) 一种基于多密度雨纹感知的图像去雨方法
CN112396607A (zh) 一种可变形卷积融合增强的街景图像语义分割方法
CN113052210A (zh) 一种基于卷积神经网络的快速低光照目标检测方法
CN113870124B (zh) 基于弱监督的双网络互激励学习阴影去除方法
CN114549574A (zh) 一种基于掩膜传播网络的交互式视频抠图系统
CN115713679A (zh) 基于多源信息融合、热红外和三维深度图的目标检测方法
CN114038006A (zh) 一种抠图网络训练方法及抠图方法
CN113076947A (zh) 一种交叉引导融合的rgb-t图像显著性检测系统
CN116205962B (zh) 基于完整上下文信息的单目深度估计方法及系统
CN114663371A (zh) 基于模态独有和共有特征提取的图像显著目标检测方法
CN114693929A (zh) 一种rgb-d双模态特征融合的语义分割方法
Zhou et al. Attention transfer network for nature image matting
CN114359626A (zh) 基于条件生成对抗网络的可见光-热红外显著目标检测方法
Qu et al. Low illumination enhancement for object detection in self-driving
CN113362307A (zh) 一种rgb-d图像显著性检测方法
CN117314808A (zh) 一种结合Transformer与CNN双编码器的红外与可见光图像融合方法
CN115661482B (zh) 一种基于联合注意力的rgb-t显著目标检测方法
Hesham et al. Image colorization using Scaled-YOLOv4 detector
CN113205005B (zh) 一种面向低光照低分辨率的人脸图像幻构方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Wen Xin

Inventor after: Shan Juran

Inventor after: He Yu

Inventor after: Niu Lianqiang

Inventor before: Wen Xin

Inventor before: He Yu

Inventor before: Shan Juran

Inventor before: Niu Lianqiang

CB03 Change of inventor or designer information
GR01 Patent grant
GR01 Patent grant