CN109919218A - 混合连接的多任务fcn模型系统 - Google Patents

混合连接的多任务fcn模型系统 Download PDF

Info

Publication number
CN109919218A
CN109919218A CN201910153976.5A CN201910153976A CN109919218A CN 109919218 A CN109919218 A CN 109919218A CN 201910153976 A CN201910153976 A CN 201910153976A CN 109919218 A CN109919218 A CN 109919218A
Authority
CN
China
Prior art keywords
task
sampling
network module
deconvolution
auxiliary partition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910153976.5A
Other languages
English (en)
Inventor
张增辉
余文豪
郁文贤
江舸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN201910153976.5A priority Critical patent/CN109919218A/zh
Publication of CN109919218A publication Critical patent/CN109919218A/zh
Pending legal-status Critical Current

Links

Abstract

本发明提供了一种混合连接的多任务FCN模型系统,本发明包含两个训练任务。主分割任务保持不变,目标仍然是对SAR图像中的建筑目标进行分割。辅助分割任务被定义为分割建筑目标中具有高散射强度的部分。本发明中的多任务FCN的主任务结合了辅助分割任务的部分中间输出,使得两个任务之间更紧密地联系,在训练过程中辅助分割任务对主分割任务的影响更加直接。

Description

混合连接的多任务FCN模型系统
技术领域
本发明涉及一种混合连接的多任务FCN模型系统。
背景技术
建筑区域面积是衡量地区发展的一个关键因素,特别是在中国当下正在进行的城镇化改造中,提取一个地区的建筑区域面积具有重要的现实意义。由于SAR成像不受光照和天气状况等因素影响,可以全天时全天候对大范围区域的建筑进行成像。而且得益于SAR的微波穿透能力,建筑物被云层、树木遮挡的情况也可以得到很大程度的避免。利用SAR图像提取建筑区域面积具有明显的优势。
传统的SAR图像分割方法主要是基于图像的低层特征和统计模型,分割结果较为粗糙,往往只能实现笼统的地物分类,对建筑物这种结构较为复杂、包含丰富细节目标的精细分割无能为力。
通过计算机性能和大数据标注的支持,深度神经网络以其强大的深层特征提取能力在光学图像分类、目标检测识别和语义分割上实现了非常好的效果。但由于SAR图像与光学图像的显著差异,直接应用FCN等模型对SAR图像进行分割效果较差,具体表现为漏检率高、建筑区域存在缺失等。
发明内容
本发明的目的在于提供一种混合连接的多任务FCN模型系统。
为解决上述问题,本发明提供一种混合连接的多任务FCN模型系统,包括:
主干网络模块,用于对原始输入图像进行特征提取,分别为主分割任务和辅助任务产生热图;
上采样及多层特征融合网络模块,用于分别将主分割任务和辅助分割任务产生的热图进行反卷积上采样及多层融合,以产生与所述原始输入图像大小一致的像素级分割图。
进一步的,在上述系统中,所述上采样及多层特征融合网络模块,用于将热图与主干网络中更浅层的特征图依次进行融合,最后进行一次反卷积8倍上采样得到与所述原始输入图像大小一致的像素级分割图。
进一步的,在上述系统中,所述上采样及多层特征融合网络模块,用于将主分割任务产生的热图和辅助任务产生的热图分别进行反卷积上采样至长宽均变为原来的2倍,再加上所述主网络模块中的pool4池化得到的特征图,尺寸相同的三者进行融合;将上一轮融合得到的输出继续进行同样的反卷积上采样和与主干网络模块中的特征以及辅助分割任务对应层特征的融合。
进一步的,在上述系统中,所述上采样及多层特征融合网络模块,用于在每轮训练中,首先将辅助分割任务训练至其损失函数收敛,这个过程中只有主干网络模块和辅助分割任务反卷积上采样的参数得到训练,主分割任务反卷积上采样的参数不受到影响;然后对主分割任务进行训练微调至其损失函数收敛,这个过程中由于主分割任务接收来自辅助分割任务的中间输出,所以不仅是主干网络模块中的辅助分割任务和主分割任务反卷积上采样的参数得到训练,辅助分割任务反卷积上采样的参数也受到影响。
与现有技术相比,本发明包含两个训练任务。主分割任务保持不变,目标仍然是对SAR图像中的建筑目标进行分割。辅助分割任务被定义为分割建筑目标中具有高散射强度的部分。本发明中的多任务FCN的主任务结合了辅助分割任务的部分中间输出,使得两个任务之间更紧密地联系,在训练过程中辅助分割任务对主分割任务的影响更加直接。
附图说明
图1示出本发明一实施例的多任务FCN结构示意图;
图2示出本发明一实施例的VGG16网络结构示意图;
图3示出本发明一实施例的反卷积上采样;
图4示出本发明一实施例的FCN-VGG16多层特征融合示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
如图1所示,本发明提供一种混合连接的多任务FCN模型系统,包括:
主干网络模块,用于对原始输入图像进行特征提取,分别为主分割任务和辅助任务产生热图(heat map);
上采样及多层特征融合网络模块,用于分别将主分割任务和辅助分割任务产生的热图进行反卷积上采样及多层融合,以产生与所述原始输入图像大小一致的像素级分割图。
在此,本发明针对SAR图像特点,对模型结构进行适当的修改和优化。
本发明包含两个训练任务。主分割任务保持不变,目标仍然是对SAR图像中的建筑目标进行分割。辅助分割任务被定义为分割建筑目标中具有高散射强度的部分。本发明中的多任务FCN的主任务结合了辅助分割任务的部分中间输出,使得两个任务之间更紧密地联系,在训练过程中辅助分割任务对主分割任务的影响更加直接。
本发明的混合连接的多任务FCN模型系统一实施例中,所述上采样及多层特征融合网络模块,用于将热图与主干网络中更浅层的特征图依次进行融合,最后进行一次反卷积8倍上采样得到与所述原始输入图像大小一致的像素级分割图。
在此,所述辅助任务的多层融合过程为:将所述热图与主干网络模块中更浅层的特征图依次进行融合,最后进行一次反卷积8倍上采样得到与所述原始输入图像大小一致的像素级分割图。
本发明的混合连接的多任务FCN模型系统一实施例中,所述上采样及多层特征融合网络模块,用于将主分割任务产生的热图和辅助任务产生的热图分别进行反卷积上采样至长宽均变为原来的2倍,再加上所述主网络模块中的pool4池化得到的特征图,尺寸相同的三者进行融合;将上一轮融合得到的输出继续进行同样的反卷积上采样和与主干网络模块中的特征以及辅助分割任务对应层特征的融合。
在此,所述主任务的多层融合过程为:将主分割任务产生的热图和辅助任务产生的热图分别进行反卷积上采样至长宽均变为原来的2倍,再加上所述主网络模块中的pool4池化得到的特征图,尺寸相同的三者进行融合;将上一轮融合得到的输出继续进行同样的反卷积上采样和与主干网络模块中的特征以及辅助分割任务对应层特征的融合。
本发明的混合连接的多任务FCN模型系统一实施例中,所述上采样及多层特征融合网络模块,用于在每轮训练中,首先将辅助分割任务训练至其损失函数收敛,这个过程中只有主干网络模块和辅助分割任务反卷积上采样的参数得到训练,主分割任务反卷积上采样的参数不受到影响;然后对主分割任务进行训练微调至其损失函数收敛,这个过程中由于主分割任务接收来自辅助分割任务的中间输出,所以不仅是主干网络模块中的辅助分割任务和主分割任务反卷积上采样的参数得到训练,辅助分割任务反卷积上采样的参数也受到影响。
在此,所述主分割任务和辅助分割任务,采取逐个任务进行训练并进行多轮次的训练。在每轮训练中,首先将辅助分割任务训练至其损失函数收敛,这个过程中只有主干网络模块和辅助分割任务反卷积上采样的参数得到训练,主分割任务反卷积上采样的参数不受到影响。然后对主分割任务进行训练微调至其损失函数收敛,这个过程中由于主分割任务接收来自辅助分割任务的中间输出,所以不仅是主干网络模块中的辅助分割任务和主分割任务反卷积上采样的参数得到训练,辅助分割任务反卷积上采样的参数也会受到影响。
本发明提出了一种基于混合连接多任务FCN的SAR图像建筑分割方法。具体地如图1所示。
本发明中的多任务FCN网络是在FCN-VGG16(将VGG16卷积神经网络改为全卷积得到的FCN)基础上改进而来,VGG16的结构如图2所示。本发明中的多任务FCN网络继承了FCN-VGG16原有的反卷积上采样和多层特征融合的特点,反卷积上采样如图3所示,多层特征融合如图4所示。
本发明中的多任务FCN网络一共包含两个训练任务。主分割任务保持不变,目标仍然是对SAR图像中的建筑目标进行分割。辅助分割任务被定义为分割建筑目标中具有高散射强度的部分。本发明中的多任务FCN的主任务结合了辅助分割任务的部分中间输出,使得两个任务之间更紧密地联系,在训练过程中辅助分割任务对主任务的影响更加直接。
主干网络与VGG16网络几乎保持一致。整个VGG16网络包括16层权重层。从前向后分别为:两个卷积层,最大值池化层pool1(特征图宽高均下采样至原图的2分之一),两个卷积层,最大值池化层pool2(特征图宽高均下采样至原图的4分之一),三个卷积层,最大值池化层pool3(特征图宽高均下采样至原图的8分之一),三个卷积层,最大值池化层pool4(特征图宽高均下采样至原图的16分之一),三个卷积层,最大值池化层pool5(特征图宽高均下采样至原图的32分之一)。之后接两个全连接层改造而来的卷积层。最后连接两条并联的卷积层,分别为两个分割任务产生heat map。
VGG16网络产生的两个heat map分别对应主任务和辅助任务。辅助任务中的多层特征融合过程为:heat map与主干网络中更浅层的特征图依次进行融合,最后进行一次反卷积8倍上采样得到与原图大小一致的像素级分割图。主任务的多层特征融合过程不仅包含主任务heat map与主干网络中特征图的融合,同样包含与辅助任务产生的heat map及其上采样输出的融合。具体过程为主任务得到的heat map和辅助任务得到的heat map分别进行反卷积上采样至长宽均变为原来的2倍,再加上主网络中pool4池化得到的特征图,尺寸相同的三者进行融合。上一轮融合得到的输出继续进行同样的反卷积上采样和与主干网络特征以及辅助任务对应层特征的融合。主任务和辅助任务的反卷积参数的训练独立进行,相互之间没有影响。最后同样进行一次反卷积8倍上采样得到像素级分割图。
为了避免要使两个任务在同时收敛的困难,本发明中所提出的多任务网络的训练策略为逐个任务进行训练并进行多轮次的训练。首先训练一个原始单任务的FCN网络至损失函数收敛,然后用该单任务FCN网络的参数初始化多任务FCN中的主任务部分。第一轮训练中,首先将辅助任务训练至其损失函数收敛,这个过程中只有主干网络和辅助任务反卷积上采样的参数得到训练,主任务反卷积上采样的参数不受到影响。然后对主任务进行训练微调至其损失函数收敛,这个过程中由于主任务接收来自辅助任务的中间输出,所以不仅是主干网络辅助任务和主任务反卷积上采样的参数得到训练,辅助任务反卷积上采样的参数也会受到影响。第二轮训练重复上一轮的操作。为了防止过拟合,实验中使用earlystopping来保存每轮训练中的最优模型。
单任务FCN网络中的VGG16部分的参数初始化来自在ImageNet上预训练的模型,这使得论文中SAR图像分割训练的收敛速度大大提高。深度学习优化器选择的是AdamOptimizer,学习率取1*10-4,并且考虑到显存的使用和训练速度,将batch的大小设置为5个样本进行分批次训练。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
显然,本领域的技术人员可以对发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包括这些改动和变型在内。

Claims (4)

1.一种混合连接的多任务FCN模型系统,其特征在于,包括:
主干网络模块,用于对原始输入图像进行特征提取,分别为主分割任务和辅助任务产生热图;
上采样及多层特征融合网络模块,用于分别将主分割任务和辅助分割任务产生的热图进行反卷积上采样及多层融合,以产生与所述原始输入图像大小一致的像素级分割图。
2.如权利要求1所述的混合连接的多任务FCN模型系统,其特征在于,所述上采样及多层特征融合网络模块,用于将热图与主干网络中更浅层的特征图依次进行融合,最后进行一次反卷积8倍上采样得到与所述原始输入图像大小一致的像素级分割图。
3.如权利要求1所述的混合连接的多任务FCN模型系统,其特征在于,所述上采样及多层特征融合网络模块,用于将主分割任务产生的热图和辅助任务产生的热图分别进行反卷积上采样至长宽均变为原来的2倍,再加上所述主网络模块中的pool4池化得到的特征图,尺寸相同的三者进行融合;将上一轮融合得到的输出继续进行同样的反卷积上采样和与主干网络模块中的特征以及辅助分割任务对应层特征的融合。
4.如权利要求1所述的混合连接的多任务FCN模型系统,其特征在于,所述上采样及多层特征融合网络模块,用于在每轮训练中,首先将辅助分割任务训练至其损失函数收敛,这个过程中只有主干网络模块和辅助分割任务反卷积上采样的参数得到训练,主分割任务反卷积上采样的参数不受到影响;然后对主分割任务进行训练微调至其损失函数收敛,这个过程中由于主分割任务接收来自辅助分割任务的中间输出,所以不仅是主干网络模块中的辅助分割任务和主分割任务反卷积上采样的参数得到训练,辅助分割任务反卷积上采样的参数也受到影响。
CN201910153976.5A 2019-02-28 2019-02-28 混合连接的多任务fcn模型系统 Pending CN109919218A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910153976.5A CN109919218A (zh) 2019-02-28 2019-02-28 混合连接的多任务fcn模型系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910153976.5A CN109919218A (zh) 2019-02-28 2019-02-28 混合连接的多任务fcn模型系统

Publications (1)

Publication Number Publication Date
CN109919218A true CN109919218A (zh) 2019-06-21

Family

ID=66962929

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910153976.5A Pending CN109919218A (zh) 2019-02-28 2019-02-28 混合连接的多任务fcn模型系统

Country Status (1)

Country Link
CN (1) CN109919218A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110610500A (zh) * 2019-09-06 2019-12-24 北京信息科技大学 基于动态语义特征的新闻视频自适应拆条方法
CN112101205A (zh) * 2020-09-15 2020-12-18 东软睿驰汽车技术(沈阳)有限公司 基于多任务网络的训练方法和装置
CN112700448A (zh) * 2021-03-24 2021-04-23 成都成电金盘健康数据技术有限公司 一种脊椎图像分割与识别方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104200521A (zh) * 2014-09-04 2014-12-10 中国科学院遥感与数字地球研究所 基于模型先验的高分辨率 sar 图像建筑物目标三维重建方法
WO2018035805A1 (en) * 2016-08-25 2018-03-01 Intel Corporation Coupled multi-task fully convolutional networks using multi-scale contextual information and hierarchical hyper-features for semantic image segmentation
CN107886117A (zh) * 2017-10-30 2018-04-06 国家新闻出版广电总局广播科学研究院 基于多特征提取和多任务融合的目标检测算法
US10140544B1 (en) * 2018-04-02 2018-11-27 12 Sigma Technologies Enhanced convolutional neural network for image segmentation
CN109214349A (zh) * 2018-09-20 2019-01-15 天津大学 一种基于语义分割增强的物体检测方法
CN109325385A (zh) * 2017-07-31 2019-02-12 株式会社理光 目标检测和区域分割方法、装置和计算机可读存储介质
CN109389051A (zh) * 2018-09-20 2019-02-26 华南农业大学 一种基于卷积神经网络的建筑物遥感图像识别方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104200521A (zh) * 2014-09-04 2014-12-10 中国科学院遥感与数字地球研究所 基于模型先验的高分辨率 sar 图像建筑物目标三维重建方法
WO2018035805A1 (en) * 2016-08-25 2018-03-01 Intel Corporation Coupled multi-task fully convolutional networks using multi-scale contextual information and hierarchical hyper-features for semantic image segmentation
CN109325385A (zh) * 2017-07-31 2019-02-12 株式会社理光 目标检测和区域分割方法、装置和计算机可读存储介质
CN107886117A (zh) * 2017-10-30 2018-04-06 国家新闻出版广电总局广播科学研究院 基于多特征提取和多任务融合的目标检测算法
US10140544B1 (en) * 2018-04-02 2018-11-27 12 Sigma Technologies Enhanced convolutional neural network for image segmentation
CN109214349A (zh) * 2018-09-20 2019-01-15 天津大学 一种基于语义分割增强的物体检测方法
CN109389051A (zh) * 2018-09-20 2019-02-26 华南农业大学 一种基于卷积神经网络的建筑物遥感图像识别方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
冯家文等: "基于多源融合FCN的图像分割", 《计算机应用研究》 *
吴宗胜等: "基于深度卷积神经网络的道路场景理解", 《计算机工程与应用》 *
孙莹莹: "基于多尺度FCN-CRF和强化学习的高分辨SAR图像语义分割", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 *
张永昌: "基于深度学习的高分辨SAR图像地物分类", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 *
王国军等: "几何模型约束的SAR图像建筑物提取", 《红外与毫米波学报》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110610500A (zh) * 2019-09-06 2019-12-24 北京信息科技大学 基于动态语义特征的新闻视频自适应拆条方法
CN112101205A (zh) * 2020-09-15 2020-12-18 东软睿驰汽车技术(沈阳)有限公司 基于多任务网络的训练方法和装置
CN112700448A (zh) * 2021-03-24 2021-04-23 成都成电金盘健康数据技术有限公司 一种脊椎图像分割与识别方法
CN112700448B (zh) * 2021-03-24 2021-06-08 成都成电金盘健康数据技术有限公司 一种脊椎图像分割与识别方法

Similar Documents

Publication Publication Date Title
CN111199531B (zh) 基于泊松图像融合及图像风格化的交互式数据扩展方法
CN111507993B (zh) 一种基于生成对抗网络的图像分割方法、装置及存储介质
CN109919218A (zh) 混合连接的多任务fcn模型系统
CN113033537B (zh) 用于训练模型的方法、装置、设备、介质和程序产品
CN106530320B (zh) 一种端到端的图像分割处理方法及系统
JP2022548712A (ja) フィーチャーピラミッドを融合した敵対的生成ネットワークによる画像ヘイズ除去方法
CN109544442A (zh) 基于双重对抗的生成式对抗网络的图像局部风格迁移方法
CN110020681A (zh) 基于空间注意力机制的点云特征提取方法
Wu et al. How many labeled license plates are needed?
CN106682702A (zh) 深度学习方法和系统
CN109523558A (zh) 一种人像分割方法及系统
CN109993806A (zh) 一种颜色识别方法、装置及电子设备
CN111461211B (zh) 一种用于轻量级目标检测的特征提取方法及相应检测方法
CN112016545A (zh) 一种包含文本的图像生成方法及装置
JP2023526899A (ja) 画像修復モデルを生成するための方法、デバイス、媒体及びプログラム製品
CN116580184A (zh) 一种基于YOLOv7的轻量化模型
CN115439637A (zh) 车载增强现实的渲染方法、系统、车辆及存储介质
Chowdhury et al. Automated augmentation with reinforcement learning and gans for robust identification of traffic signs using front camera images
CN113727187B (zh) 基于骨架迁移的动画视频处理方法、装置及相关设备
CN113362409B (zh) 图像上色及其模型训练方法、装置、电子设备、存储介质
CN109064435A (zh) 一种Gram-Schmdit融合快速处理算法
CN114913337A (zh) 一种基于三元级联感知的伪装目标框检测方法
Zhu et al. HDRD-Net: High-resolution detail-recovering image deraining network
CN112802026A (zh) 一种基于深度学习实时的交通场景语义分割方法
CN113139463A (zh) 用于训练模型的方法、装置、设备、介质和程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190621

WD01 Invention patent application deemed withdrawn after publication