CN112465836A - 基于轮廓信息的热红外语义分割无监督领域自适应方法 - Google Patents

基于轮廓信息的热红外语义分割无监督领域自适应方法 Download PDF

Info

Publication number
CN112465836A
CN112465836A CN202011426430.1A CN202011426430A CN112465836A CN 112465836 A CN112465836 A CN 112465836A CN 202011426430 A CN202011426430 A CN 202011426430A CN 112465836 A CN112465836 A CN 112465836A
Authority
CN
China
Prior art keywords
semantic
semantic segmentation
thermal infrared
infrared image
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011426430.1A
Other languages
English (en)
Other versions
CN112465836B (zh
Inventor
白相志
刘子超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN202011426430.1A priority Critical patent/CN112465836B/zh
Publication of CN112465836A publication Critical patent/CN112465836A/zh
Application granted granted Critical
Publication of CN112465836B publication Critical patent/CN112465836B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/181—Segmentation; Edge detection involving edge growing; involving edge linking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开一种基于轮廓信息的热红外语义分割无监督领域自适应方法：一、利用可见光带标注语义分割数据集训练语义分割模型以获得像素级语义分割的能力；二、利用可见光领域训练的语义轮廓模型提取热红外图像语义轮廓，通过轮廓构建起可见光图像语义与热红外图像语义的桥梁；三、对各个类别进行显著性检测，融合各类别显著性检测结果，并利用形态学操作与全连接条件随机场得到语义分割伪标签；四、利用热红外图像语义分割伪标签数据集对第一部分的语义分割模型进行再训练。本发明利用易于获取易于标注可见光图像语义分割数据与无标注的热红外图像数据，获得对热红外图像进行语义分割的模型，能被广泛应用于智能驾驶、安保安防等领域中。

Description

基于轮廓信息的热红外语义分割无监督领域自适应方法
【技术领域】
本发明涉及一种基于轮廓信息的热红外语义分割无监督领域自适应方法，语义分割和无监督领域自适应技术在图像应用领域具有广泛应用，隶属于计算机视觉领域。
【背景技术】
语义分割是以图像特征信息为依据，将图像分为若干具有特性且互不重叠区域并赋予语义类别的图像处理技术。语义分割简化了图像，提炼了图像的信息，便于场景理解与高层视觉任务。语义分割是计算机视觉领域和图像识别的重要处理技术。因此，研究快速、鲁棒以及准确的语义分割方法具有重要意义。
与可见光图像不同，热红外图像针对波长在7.5微米至13微米的电磁波辐射成像。任何温度在绝对零度以上的物体都会发射辐射。依据普朗克定律以及维恩位移定律，地表上大部分物体的辐射峰值都在热红外波段中。因此，热红外成像不需要其他外部光源，所以热红外图像在全天时成像方面具有优势，这使得其在具有全天时需求的应用例如安保国防上被广泛使用。因为热红外图像传感器的限制，热红外图像分辨率有限，同时，大气传输过程中的辐射衰减也导致热红外图像对比度低，轮廓模糊，纹理大面积缺失。因此，热红外图像处理一直具有较高的难度。大部分对热红外图像的技术研究仍然停留在基于灰度的目标分割等较为底层的数字图像处理阶段。基于热红外图像的语义分割仍是一个鲜有探索与研究的领域。
深度学习是一种近年来飞速发展的机器学习思想，受启发于神经科学的观点，其运用多层次结构去学习多层次组合。通过组合大量简单结构，其成功构建起了能够学习较为复杂映射的学习器。这些多层次结构被称为深度神经网络。通过监督训练，深度神经网络能够提取数字图像中深层次特征，其表现往往超越人工设计的特征。深度神经网络的监督训练需要大量带标签的数据，而这增加了深度神经网络的应用与新领域拓展难度。对于图像语义分割，这个问题尤为严重，因为其数据的标注需要远大于其他任务的人力。对于热红外图像语义分割，建立足够用于深度神经网络监督训练的标注数据集具有额外的困难。原因之一是热红外图像的许多应用场景缺少数据，二是因为热红外图像是基于热红外辐射成像，与人眼习惯的可见光波段图像不同，对于语义理解及标注存在困难。
通过将可见光图像语义分割迁移至热红外图像语义分割的领域自适应是解决该数据短缺问题的方式之一。作为迁移学习子领域，领域自适应用相关领域的带标注数据去解决缺乏标注数据的目标领域任务。随着深度学习的出现，许多针对深度学习的领域自适应方法被提出。一个被广泛应用的深度领域自适应策略是缩小两个领域的差异(参见文献：龙等人.基于残差迁移网络的无监督领域自适应.神经信息处理系统的研究进展.737–752,1999.(M.Long,H.Zhu,J.Wang,and M.I.Jordan,“Unsupervised domain adaptation withresidual transfer networks,”in Advances in Neural Information ProcessingSystems,2016,pp.136–144.))。使用该策略的方法通过缩小某种衡量两个领域数据分布差距的度量，以缩小两个领域之间的差异，并获得在目标域上较好的效果。虽然被证实在图像分类上有效，但是因为该类方法需要将特征转换成向量，而转换成向量的特征失去了图像语义分割所需要的空间结构化的信息，所以该类方法难以被应用于图像语义分割领域。另一个广泛使用的策略是对抗判别学习策略(参见文献：陈等人.不再有区别：跨城市的道路场景分割自适应.电气和电子工程师协会国际计算机视觉大会.1992–2001,2017.(Y.Chen,W.Chen,Y.Chen,B.Tsai,Y.Frank Wang,and M.Sun,“No more discrimination:Crosscity adaptation of road scene segmenters,”in IEEE International Conference onComputer Vision,2017,pp.1992–2001.))。对抗学习策略让特征提取器与判别器进行对抗，以让特征提取器从两个领域的数据中提取领域不变的关键特征。除此以外，一些生成策略的方法被提出(参见文献：波斯马里斯等人.使用生成对抗网络的无监督像素级领域自适应.电气和电子工程师协会国际计算机视觉与模式识别会议.3722–3731,2017.(K.Bousmalis,N.Silberman,D.Dohan,D.Erhan,and D.Krishnan,“Unsupervised pixel-level domain adaptation with generative adversarial networks,”in IEEEConference on Computer Vision and Pattern Recognition,2017,pp.3722–3731.))。基于生成的方法例如生成对抗网络将图像进行风格转换，然后使用语义分割模型进行语义分割。基于自训练的方法是另一种被广泛使用的策略(参见文献：邹等人.置信度规范化的自学习.电气和电子工程师协会国际计算机视觉大会.5982–5991,2019.(Y.Zou,Z.Yu,X.Liu,B.Kumar,and J.Wang,“Confidence regularized self-training,”in IEEEInternational Conference on Computer Vision,2019,pp.5982–5991.))。该类方法交替进行语义分割结果预测与基于预测结果生成伪标签的过程。以上大部分方法都假设源域与目标域之间存在一个可以变换得到的领域不变的特征空间，但是这个假设并不是对所有的源域与目标域成立。基于教程学习的方法避免了这个假设，作为替代，该类方法使用附加的任务去引导目标域的目标任务。例如张等人利用预训练的图像分类模型去引导图像语义分割任务(参见文献：张等人.一种用于城市场景语义分割的教程领域自适应方法.电气和电子工程师协会模式分析与机器智能汇刊.2019.(Y.Zhang,P.David,H.Foroosh,andB.Gong,“A curriculum domain adaptation approach to the semantic segmentationof urban scenes,”IEEE Transactions on Pattern Analysis and MachineIntelligence,2019.))。
以上方法的主要应用场景是不同城市的城市场景语义分割迁移以及计算机合成图像与真实可见光图像的语义分割迁移。因为没有针对可见光图像与热红外图像之间的语义分割进行设计，方法效果仍然有局限性。针对上述问题，为了能在没有热红外图像语义分割标注的情况下，对热红外图像进行语义分割，本发明提出一种基于轮廓信息的热红外语义分割无监督领域自适应方法。
【发明内容】
1、目的：因为成像模态的不同，热红外图像与可见光波段图像存在巨大的差异。虽然应用于计算及合成图像语义分割迁移至真实可见光图像语义分割的方法能够一定程度地减小可见光图像语义分割与热红外图像语义分割的差异，但由于这些方法没有针对可见光图像与热红外图像的共性进行分析与应用，所以效果有限。
针对可见光图像及其语义分割和热红外图像及其语义分割特点，本发明提出基于轮廓信息的热红外语义分割无监督教程领域自适应方法，将可见光图像语义分割迁移至热红外图像语义分割。该方法基于教程学习的策略，通过轮廓构建可见光图形语义分割与热红外图像语义分割的迁移途径。具体来说，该方法首先利用可见光图像及其语义分割标签预训练一个语义分割模型；然后使用在可见光图像领域训练的语义轮廓提取模型提取热红外图像语义轮廓；然后利用配对热红外图像及其语义轮廓，通过逐类别显著性区域分割以及全连接条件随机场，获得热红外图像的语义分割伪标签；然后利用热红外图像及其语义分割伪标签，训练在可见光图像领域预训练的语义分割模型，得到用于热红外图像语义分割模型。
2、技术方案：为了实现将可见光图像语义分割迁移至热红外图像语义分割的目的，本发明具体技术方案如下。
第一步：语义分割模型预训练：
输入可见光图像语义分割数据集{(xi,yi)|i＝1,...,NS}(其中xi表示第i幅可见光图像，yi表示其对应的语义分割标签，NS表示可见光图像数量)，语义类别数C；以及一个语义分割模型h，给定训练的损失函数。将可见光图像xi送入语义分割模型作为输入，得到语义分割预测结果
Figure BDA0002825046000000031
计算语义分割标签yi与语义分割预测结果
Figure BDA0002825046000000032
的损失函数
Figure BDA0002825046000000033
以衡量预测结果与标签差异程度。利用梯度反向传播算法将损失函数对语义分割模型各层参数θ偏导求出。然后使用小批量随机梯度下降算法按学习率更新各个参数以求减小损失函数。
第二步：语义轮廓提取：输入可见光图像语义分割数据集{(xi,yi)|i＝1,...,NS}，输入语义轮廓提取模型h(θSC)。具体如下：
通过对可见光图像的语义分割标签进行处理，将语义分割标签yi转换为语义轮廓的标签si。处理完成得到可见光语义轮廓数据集{(xi,si)|i＝1,...,NS}。运用该可见光语义轮廓数据集训练语义轮廓提取模型以提取热红外图像的语义轮廓。与语义分割模型相似，所述的语义轮廓提取模型是近似拟合一个映射，将其记为h(θSC)。经过训练，语义轮廓提取模型能够提取热红外图像的语义轮廓，因此可以得到热红外图像与其对应的热红外图像语义轮廓数据集{(xj,sj)|j＝1,...,NT}，其中xj表示第j幅热红外图像，sj表示其对应的语义轮廓，NT表示热红外图像数量。
第三步：使用逐类别语义显著性区域分割，从语义轮廓生成语义分割伪标签
Figure BDA0002825046000000041
逐类别的语义显著性分割总览如图2所示。逐类别的语义显著性分割表示为
Figure BDA0002825046000000042
其中f为从{(xj,sj)|j＝1,...,NT}到
Figure BDA0002825046000000043
的映射。首先对热红外图像xj进行超像素分割，对于热红外图像中的每个超像素r，计算其各个类别的语义轮廓强度平均
Figure BDA0002825046000000044
对每个类别c，基于各个超像素与其强度值构建一个无向图Gc＝(Vc,Ec)，其中Vc是图的节点，Ec为图的边。语义类别c超像素r的显著性强度由计算该无向图上超像素r到该类别的背景节点集B的最短测地线距离得到，表示为
Figure BDA0002825046000000045
其中，背景节点集由具体的语义类别决定。对于属于前景的语义类别(例如行人，骑手)，背景节点集包含图像四个边界上的超像素集合。对于属于背景的语义类别(例如天空，道路)，其背景节点集包含离该超像素更远的图像水平边界上的超像素集合。显著性检测后，对各个类别的显著性热图进行组合，即取各类别中显著性强度更高类别的作为组合后结果的类别，对于每个语义类别的显著性强度都为0的超像素，将其作为不感兴趣的类别。然后对各类别显著性区域进行二值腐蚀，并利用全连接条件随机场将较为粗糙的热红外语义伪标签进行细化，得到数据集
Figure BDA0002825046000000051
(其中
Figure BDA0002825046000000052
表示热红外图像xj对应伪标签)。
第四步：运用第三步得到的热红外图像语义分割伪标签数据集
Figure BDA0002825046000000053
训练利用可见光图像语义分割数据预训练的语义分割模型h(θVS)，将其转化为h(θTIR)。将热红外图像xj作为模型输入，经过语义分割模型的前馈计算，得到输出的语义分割预测概率热图，对预测概率热图取最大化的操作，得到对应的语义分割预测结果
Figure BDA0002825046000000054
然后计算热红外图像对应的语义分割伪标签
Figure BDA0002825046000000055
与语义分割预测结果
Figure BDA0002825046000000056
的损失函数
Figure BDA0002825046000000057
以衡量预测结果与标签的差异程度。然后利用梯度反向传播算法计算语义分割模型的参数更新值，并利用随机梯度下降算法更新语义分割模型参数值θ。经过再训练，语义分割模型具有了对热红外图像进行语义分割的能力。
3、优点及功效：热红外图像因为语义分割标注困难，而在缺少语义分割标注情况下，监督训练方法无法直接作用于热红外图像语义分割。本发明提出的基于轮廓信息的热红外语义分割无监督领域自适应方法通过语义轮廓提取，逐类别显著性区域分割以及全连接条件随机场获取热红外图像语义分割伪标签，然后利用热红外图像及其伪标签训练在可见光图像领域预训练的语义分割模型。本发明利用轮廓在可见光图像与热红外图像中的共性构建可见光图像语义分割向热红外图像语义分割迁移途径，可以充分利用易于获取与语义标注的可见光图像，提升了热红外图像语义分割的可行性，为热红外图像应用于全天时智能驾驶以及机器人视觉理解等领域提供了助力，具有广阔的市场前景与应用价值。
【附图说明】
图1为本发明原理框图。
图2是本发明中逐语义类别显著性区域分割部分原理图。
图3a是热红外图像原图。
图3b是各类别的图例。
图3c是运用本发明前的模型语义分割结果图。
图3d是运用本发明后的得到的语义分割结果图。
图3e是该热红外图像对应的语义分割标签图。
【具体实施方式】
为了更好地理解本发明的技术方案，以下结合附图对本发明的实施方式作进一步描述。
本发明的原理框图如图1所示，本发明的具体实施步骤如下：
第一步：输入可见光图像语义分割数据集{(xi,yi)|i＝1,...,NS}，本方法使用的是Cityscapes可见光城市场景语义分割数据集(参见文献：科尔德等人.用于语义城市场景理解的城市场景数据集.电气和电子工程师协会国际计算机视觉与模式识别会议.3213–3223,2016.(M.Cordts,M.Omran,S.Ramos,T.Rehfeld,M.Enzweiler,R.Benenson,U.Franke,S.Roth,and B.Schiele,“The cityscapes dataset for semantic urbanscene understanding,”in IEEE Conference on Computer Vision and PatternRecognition,2016,pp.3213–3223.))；语义类别数C，本方法因为热红外语义分割测试集的类别数为8所以设置为8；以及一个语义分割模型h，本文使用UPerNet；给定训练的损失函数，本方法使用的是交叉熵损失函数，其表达式如下：
L(x,y)(y#,y)＝E(x,y)[ylog(softmax(y#))] (2)
其中softmax(y#)的表达式为：
Figure BDA0002825046000000061
利用可见光语义分割数据集监督训练语义分割模型h(θVS)。该语义分割模型的输入为可见光图像xi及其语义分割标签yi。具体来说，可见光图像送入语义分割模型作为输入，然后基于参数θ的语义分割模型输出一个对应的语义分割预测概率，将其预测概率最大化后得到对应的语义分割预测结果
Figure BDA0002825046000000062
然后计算热红外图像对应的语义分割伪标签
Figure BDA0002825046000000063
与语义分割预测结果
Figure BDA0002825046000000064
的损失函数
Figure BDA0002825046000000065
以衡量预测结果与标签的差异程度。为了减小差异程度，利用梯度反向传播算法将损失函数对语义分割模型各层参数θ偏导求出。然后使用小批量随机梯度下降算法按学习率更新各个参数以求减小损失函数。本方法使用的学习率为0.01，使用的批量大小为8。本方法使用的训练流程为最大迭代纪元为80，如果10个纪元没有在验证集上有效果提升，则提前终止训练，初始学习率为0.01。
第二步：输入可见光图像语义分割数据集{(xi,yi)|i＝1,...,NS}，输入语义轮廓提取模型h(θSC)，本方法使用的是CASENet(参见文献：于等人.基于深度注意类别的语义边缘检测.电气和电子工程师协会国际计算机视觉与模式识别大会.5964–5973,2017.(Z.Yu,C.Feng,M.Liu,and S.Ramalingam,“Casenet:Deep category-aware semantic edgedetection,”in IEEE Conference on Computer Vision and Pattern Recognition,2017,pp.5964–5973.))。通过对可见光图像的语义分割标签进行处理，将语义分割标签yi转换为语义轮廓的标签si。处理完成得到可见光语义轮廓数据集{(xi,si)|i＝1,...,NS}。利用语义轮廓提取模型提取热红外图像的语义轮廓，利用语义轮廓及其对应的热红外图像得到热红外图像语义轮廓数据集{(xj,sj)|j＝1,...,NT}。
第三步：输入热红外图像语义轮廓数据集{(xj,sj)|j＝1,...,NT}，使用超像素分割算法对热红外图像进行超像素分割，本方法使用的是SLIC(参见文献：阿骞塔等人.SLIC超像素与其他现金超像素方法的比较.电气和电子工程师协会模式分析与机器智能汇刊.2274–2282,2012.(R.Achanta,A.Shaji,K.Smith,A.Lucchi,P.Fua,and S.S¨usstrunk,“Slic superpixels compared to state-of-the-art superpixel methods,”IEEETransactions on Pattern Analysis and Machine Intelligence,vol.34,no.11,pp.2274–2282,2012.))。对于热红外图像中的每个超像素r，计算其各个类别的语义轮廓强度平均
Figure BDA0002825046000000071
(由该超像素所包含的像素空间上对应的各个语义类别的语义轮廓强度的平均值得到)。对每个类别c，基于各个超像素与其强度值构建一个无向图Gc＝(Vc,Ec)，Vc是图的节点，实际上为超像素，Ec为图的边。在构建好无向图Gc之后，对于语义类别c超像素r的显著性强度是由计算超像素r到该类别的背景节点集B的最短测地线距离得到的，表示为
Figure BDA0002825046000000072
其中，背景节点集由具体的语义类别决定。对于属于前景的语义类别(例如行人，骑手)，背景节点集包含图像四个边界上的超像素集合。对于属于背景的语义类别(例如天空，道路)，其背景节点集包含离该超像素更远的图像水平边界上的超像素集合。在显著性检测之后，对各个类别的显著性热图进行组合，即取各类别中显著性强度更高类别的作为组合后结果的类别，对于每个语义类别的显著性强度都为0的超像素，将其作为不感兴趣的类别。这样就得到了较为粗糙的热红外语义伪标签。然后对各类别显著性区域进行二值腐蚀，并利用全连接条件随机场将较为粗糙的热红外语义伪标签进行细化。得到热红外图像语义分割伪标签数据集
Figure BDA0002825046000000073
第四步：输入热红外图像语义分割伪标签数据集
Figure BDA0002825046000000074
与预训练的语义分割模型h(θVS)，给定训练流程与损失函数。将热红外图像xj输入所述的语义分割模型，经过逐层计算，得到输出结果
Figure BDA0002825046000000081
计算该结果与伪标签之间的损失函数
Figure BDA0002825046000000082
通过反向传播算法与小批量随机梯度下降算法更新模型的参数θ。本方法使用的训练流程为最大迭代纪元为80，如果10个纪元没有在验证集上有效果提升，则提前终止训练，初始学习率为0.01。本方法使用的批量大小为8。该步骤得到模型h(θTIR)。
将热红外图像输入训练完成的模型h(θTIR)，经过模型计算得到热红外图像语义分割预测结果。
为展示本发明的效果，图3a-e给出热红外图像、迁移前语义分割结果图像和迁移后语义分割结果图像。由结果看出，本发明成功迁移可见光图像语义分割至热红外图像语义分割并得到较精确的分割结果。其中，图3a是热红外图像原图，图3b是各类别的图例。图3c是运用本发明前的模型语义分割结果图。图3d是运用本发明后的得到的语义分割结果图。图3e是该热红外图像对应的语义分割标签图。从图3a看出，可见光图像与热红外图像存在较大特征差异，没有经过迁移的语义分割模型通常不能得到较好的结果。本发明提出的方法使用轮廓构建可见光图像语义分割迁移至热红外图像语义分割的教程，利用语义轮廓提取与显著性区域分割，能够较好地生成热红外图像的语义分割伪标签，达到了迁移可见光图像语义分割至热红外图像语义分割的目的，提升了热红外图像语义分割的可行性。

Claims (3)

1.一种基于轮廓信息的热红外语义分割无监督领域自适应方法，其特征在于：该方法首先利用可见光图像及其语义分割标签预训练一个语义分割模型；使用在可见光图像领域训练的语义轮廓提取模型提取热红外图像语义轮廓；然后利用配对热红外图像及其语义轮廓，通过逐类别显著性区域分割以及全连接条件随机场，获得热红外图像的语义分割伪标签；最后利用热红外图像及其语义分割伪标签，训练所述的在可见光图像领域预训练的语义分割模型，得到用于热红外图像语义分割模型。
2.根据权利要求1所述的基于轮廓信息的热红外语义分割无监督领域自适应方法，其特征在于：该方法的具体实现过程为：
第一步：语义分割模型预训练：
输入可见光图像语义分割数据集{(xi,yi)|i＝1,...,NS}，其中xi表示第i幅可见光图像，yi表示其对应的语义分割标签，NS表示可见光图像数量；语义类别数C；以及一个语义分割模型h，给定训练的损失函数；将可见光图像xi送入语义分割模型作为输入，得到语义分割预测结果
Figure FDA0002825045990000011
计算语义分割标签yi与语义分割预测结果
Figure FDA0002825045990000012
的损失函数
Figure FDA0002825045990000013
以衡量预测结果与标签差异程度；利用梯度反向传播算法将损失函数对语义分割模型各层参数θ偏导求出；然后使用小批量随机梯度下降算法按学习率更新各个参数以求减小损失函数；
第二步：语义轮廓提取：输入可见光图像语义分割数据集{(xi,yi)|i＝1,...,NS}，输入语义轮廓提取模型h(θSC)；具体如下：
通过对可见光图像的语义分割标签进行处理，将语义分割标签yi转换为语义轮廓的标签si；处理完成得到可见光语义轮廓数据集{(xi,si)|i＝1,...,NS}；运用该可见光语义轮廓数据集训练语义轮廓提取模型以提取热红外图像的语义轮廓；与语义分割模型相似，所述的语义轮廓提取模型是近似拟合一个映射，将其记为h(θSC)；经过训练，语义轮廓提取模型能够提取热红外图像的语义轮廓，因此可以得到热红外图像与其对应的热红外图像语义轮廓数据集{(xj,sj)|j＝1,...,NT}，其中xj表示第j幅热红外图像，sj表示其对应的语义轮廓，NT表示热红外图像数量；
第三步：使用逐类别语义显著性区域分割，从语义轮廓生成语义分割伪标签
Figure FDA0002825045990000021
逐类别的语义显著性分割表示为
Figure FDA0002825045990000022
其中f为从{(xj,sj)|j＝1,...,NT}到
Figure FDA0002825045990000023
的映射；首先对热红外图像xj进行超像素分割，对于热红外图像中的每个超像素r，计算其各个类别的语义轮廓强度平均
Figure FDA0002825045990000024
对每个类别c，基于各个超像素与其强度值构建一个无向图Gc＝(Vc,Ec)，其中Vc是图的节点，Ec为图的边；语义类别c超像素r的显著性强度由计算该无向图上超像素r到该类别的背景节点集B的最短测地线距离得到，表示为
Figure FDA0002825045990000025
显著性检测后，对各个类别的显著性热图进行组合，即取各类别中显著性强度更高类别的作为组合后结果的类别，对于每个语义类别的显著性强度都为0的超像素，将其作为不感兴趣的类别；然后对各类别显著性区域进行二值腐蚀，并利用全连接条件随机场将较为粗糙的热红外语义伪标签进行细化，得到数据集
Figure FDA0002825045990000026
其中
Figure FDA0002825045990000027
表示热红外图像xj对应伪标签；
第四步：运用第三步得到的热红外图像语义分割伪标签数据集
Figure FDA0002825045990000028
训练利用可见光图像语义分割数据预训练的语义分割模型h(θVS)，将其转化为h(θTIR)；将热红外图像xj作为模型输入，经过语义分割模型的前馈计算，得到输出的语义分割预测概率热图，对预测概率热图取最大化的操作，得到对应的语义分割预测结果
Figure FDA0002825045990000029
然后计算热红外图像对应的语义分割伪标签
Figure FDA00028250459900000210
与语义分割预测结果
Figure FDA00028250459900000211
的损失函数
Figure FDA00028250459900000212
以衡量预测结果与标签的差异程度；然后利用梯度反向传播算法计算语义分割模型的参数更新值，并利用随机梯度下降算法更新语义分割模型参数值θ；经过再训练，语义分割模型具有了对热红外图像进行语义分割的能力。
3.根据权利要求2所述的基于轮廓信息的热红外语义分割无监督领域自适应方法，其特征在于：第三步所述的背景节点集，对于属于前景的语义类别，背景节点集包含图像四个边界上的超像素集合；对于属于背景的语义类别，其背景节点集包含离该超像素更远的图像水平边界上的超像素集合。
CN202011426430.1A 2020-12-09 2020-12-09 基于轮廓信息的热红外语义分割无监督领域自适应方法 Active CN112465836B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011426430.1A CN112465836B (zh) 2020-12-09 2020-12-09 基于轮廓信息的热红外语义分割无监督领域自适应方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011426430.1A CN112465836B (zh) 2020-12-09 2020-12-09 基于轮廓信息的热红外语义分割无监督领域自适应方法

Publications (2)

Publication Number Publication Date
CN112465836A true CN112465836A (zh) 2021-03-09
CN112465836B CN112465836B (zh) 2022-06-10

Family

ID=74801654

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011426430.1A Active CN112465836B (zh) 2020-12-09 2020-12-09 基于轮廓信息的热红外语义分割无监督领域自适应方法

Country Status (1)

Country Link
CN (1) CN112465836B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113807420A (zh) * 2021-09-06 2021-12-17 湖南大学 一种考虑类别语义匹配的域自适应目标检测方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110222690A (zh) * 2019-04-29 2019-09-10 浙江大学 一种基于最大二乘损失的无监督域适应语义分割方法
CN110490884A (zh) * 2019-08-23 2019-11-22 北京工业大学 一种基于对抗的轻量级网络语义分割方法
CN111507343A (zh) * 2019-01-30 2020-08-07 广州市百果园信息技术有限公司 语义分割网络的训练及其图像处理方法、装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111507343A (zh) * 2019-01-30 2020-08-07 广州市百果园信息技术有限公司 语义分割网络的训练及其图像处理方法、装置
CN110222690A (zh) * 2019-04-29 2019-09-10 浙江大学 一种基于最大二乘损失的无监督域适应语义分割方法
CN110490884A (zh) * 2019-08-23 2019-11-22 北京工业大学 一种基于对抗的轻量级网络语义分割方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
PENG WANG 等: "Thermal Infrared Pedestrian Segmentation Based on Conditional GAN", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》, vol. 28, no. 12, 31 December 2019 (2019-12-31), XP011743589, DOI: 10.1109/TIP.2019.2924171 *
SHENG GUO 等: "Infrared simulation of large-scale urban scene through LOD", 《OPTICS EXPRESS》, vol. 26, no. 18, 3 September 2018 (2018-09-03) *
XIANGZHI BAI 等: "Symmetry Information Based Fuzzy Clustering for Infrared Pedestrian Segmentation", 《IEEE TRANSACTIONS ON FUZZY SYSTEMS》, vol. 26, no. 4, 31 August 2018 (2018-08-31) *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113807420A (zh) * 2021-09-06 2021-12-17 湖南大学 一种考虑类别语义匹配的域自适应目标检测方法及系统
CN113807420B (zh) * 2021-09-06 2024-03-19 湖南大学 一种考虑类别语义匹配的域自适应目标检测方法及系统

Also Published As

Publication number Publication date
CN112465836B (zh) 2022-06-10

Similar Documents

Publication Publication Date Title
Cui et al. Semantic segmentation of remote sensing images using transfer learning and deep convolutional neural network with dense connection
Lin et al. RSCM: Region selection and concurrency model for multi-class weather recognition
Krešo et al. Convolutional scale invariance for semantic segmentation
Chen et al. Object detection in remote sensing images based on deep transfer learning
CN113158943A (zh) 一种跨域红外目标检测方法
Song et al. Two-stage cross-modality transfer learning method for military-civilian SAR ship recognition
Zhang et al. A semi-supervised 3D object detection method for autonomous driving
US20200160501A1 (en) Coordinate estimation on n-spheres with spherical regression
Li et al. Automatic road extraction from remote sensing imagery using ensemble learning and postprocessing
Yang et al. Overfitting reduction of pose estimation for deep learning visual odometry
Xiong et al. THE benchmark: Transferable representation learning for monocular height estimation
CN115965968A (zh) 基于知识引导的小样本目标检测识别方法
CN113420827A (zh) 语义分割网络训练和图像语义分割方法、装置及设备
Yin et al. G2Grad-CAMRL: an object detection and interpretation model based on gradient-weighted class activation mapping and reinforcement learning in remote sensing images
CN110135435B (zh) 一种基于广度学习系统的显著性检测方法及装置
Li et al. Real-time tracking algorithm for aerial vehicles using improved convolutional neural network and transfer learning
CN112465836B (zh) 基于轮廓信息的热红外语义分割无监督领域自适应方法
Chen et al. An adaptive hybrid attention based convolutional neural net for intelligent transportation object recognition
Chu et al. Illumination-guided transformer-based network for multispectral pedestrian detection
Tian et al. Semantic segmentation of remote sensing image based on GAN and FCN network model
Ma et al. DMEF-net: Lightweight infrared dim small target detection network for limited samples
CN117115555A (zh) 一种基于噪声数据的半监督三维目标检测方法
Moghalles et al. Weakly supervised building semantic segmentation via superpixel‐CRF with initial deep seeds guiding
Wang et al. Self-supervised learning for high-resolution remote sensing images change detection with variational information bottleneck
Berroukham et al. Vision transformers: A review of architecture, applications, and future directions

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant