CN110110576B - 一种基于孪生语义网络的交通场景热红外语义生成方法 - Google Patents

Abstract

本发明公开一种基于孪生语义网络的交通场景热红外语义生成方法，步骤如下：步骤一：基于改进U型网络的语义生成网络G1和G2；步骤二：由两个判别网络D1和D2分别生成风格迁移图像的判别特征并进行分类判别；步骤三：设计并引入孪生语义损失L_style。本发明基于循环生成对抗网络的理论框架，通过合理设计网络结构，引入包括残差模块和空洞卷积以实现更高质量的特征提取和语义生成，同时由代表热红外风格的局部特征以孪生语义损失L_style的形式将整体网络循环的不同阶段联系起来，以生成更加稳定的热红外语义交通图像。本发明可广泛应用于智能交通系统中基于多源图像联系的模拟和仿真系统，具有广阔的市场前景与应用价值。

Description

一种基于孪生语义网络的交通场景热红外语义生成方法

技术领域

本发明涉及一种基于孪生语义网络的交通场景热红外语义生成方法，尤其是一种孪生语义循环生成对抗网络(SS-CycleGAN)的交通场景热红外语义生成方法，属于数字图像处理、模式识别和红外工程技术领域。它主要涉及卷积神经网络(CNN)和生成对抗策略(GAN)，能广泛应用于智能交通系统中基于多源图像关联的模拟和仿真系统。

背景技术

热红外语义生成作为红外图像处理和模式识别的重要技术之一，能够切实提高红外-可见光多源图像系统的相互协调能力和信息分析效率，从而为智能交通系统的离线辅助、模拟训练、事故监控以及自动驾驶提供可靠稳定的输入，因此对当前高速发展的多源传感器信息处理和虚拟现实技术具有重要意义。传统的红外语义生成技术主要基于红外仿真算法，基本上均是由可见光图像序列重建的三维场景模型结合环境辐射传热模型实现。从上世纪九十年代至今随着红外硬件质量的不断提高，红外仿真技术得到了快速发展，在计算效率、生成真实性以及实时性等方面取得了很大的进步。1999年，由Alain Le Goff等人开发了多光谱战场仿真系统CHORALE[A.L.Goff,Realistic multispectral simulationincluding IR simulation,in International Society for Optics and Photonics,1999,pp.152-163.(戈尔夫:逼真多光谱仿真与红外仿真,光学和电子国际学会,1999,152-163.)]，并在此基础上不断更新和增加功能模块，实现了对地面、海面[T.Cathala,N.Douchin,J.Latger,et al.The coupling of MATISSE and the SE-WORKBENCH:a newsolution for simulating efficiently the atmospheric radiative transfer andthe sea surface radiation,in International Society for Optics and Photonics,2009,pp. 73000K-1-73000K-12.(卡瑟拉等,结合MATISSE和SE-WORKBENCH的一种新的有效模拟大气效应算法,光学和电子国际学会,2009,73000K-1-73000K-12.),T.Cathala,J.Latger and A. Le Goff,Marine simulation in SE-WORKBENCH,in OPTROconference,2012.(卡瑟拉等,基于 SE-WORKBENCH的航海仿真,OPTRO会议,2012.)]、空中目标[T.Cathala,N.Douchin,A.Joly, et al.The use of SE-WORKBENCH for aircraftinfrared signature,taken into account body,engine, and plume contributions,inInternational Society for Optics and Photonics,2010,pp. 76620U-1-76620U-8.(卡瑟拉等,考虑主体,引擎和羽流的基于SE-WORKBENCH的飞行器红外仿真,光学和电子国际学会,2010,76620U-1-76620U-8.),N.Douchin and J.Latger,Extension of the SE-Workbench for the computation of aircraft infrared signatures,inInternational Society for Optics and Photonics,2010,pp.78340I-1-78340I-13.(多琴等,基于SE-WORKBENCH的飞行器红外仿真扩展研究,光学和电子国际学会,2010,78340I-1-78340I-13.)]的红外特性仿真。该系统可以修改模型的物理光谱属性，提供了标准接口以读取常见的三维模型格式，并采用光线跟踪算法渲染生成设定波段的红外场景图像。1998年，英国开发了著名的场景合成软件 CAMEO-SIM[D.Oxford,M.Gilmore,I.Moorhead,et al.CAMEO-SIM:A physically accurate broadband EO scene generation systemfor the assessment of air vehicle camouflage schemes,in Ninth Annual GroundTarget Modelling and Validation Conference,1998,pp.204-213.(奥克福德等,用于评估飞行器伪装系统的准确宽频EO场景生成软件CAMEO-SIM,第九届地面目标建模验证会议,1998,204-213.)]，并持续更新了各大组件和功能[A.W.Haynes,M.A.Gilmore andC.A.Stroud,Accurate scene modeling using synthetic imagery,in TheInternational Society for Optical Engineering,2003,pp.85-96.(海尼斯等,基于合成图像的精确场景建模,光学和电子国际学会,2003,85-96),A.Kirk,M.Cowan andR.D.Allen,CAMEO-SIM:an ocean model extension to the physically accuratebroadband EO scene generation system for the assessment of target vehicleswithin their natural environments,in International Society for Optics andPhotonics, 2004,pp.288-299.(科克等,用于评估自然环境下的车辆目标的准确宽频EO场景生成软件 CAMEO-SIM扩展,光学和电子国际学会,2004,288-299.)]，可以仿真由紫外到红外各个波段的真实场景图像以及阴影、尾焰等特殊效果。美国空军研究实验室在2004年发布了高分辫率红外目标和背景仿真模型IRMA5.1版[J.Savage,C.Coker,B.Thai,etal.Irma 5.1multisensor signature prediction model,in International Societyfor Optics and Photonics,2005,pp. 6239C-1-6239C-12.(萨维吉等,多传感器显著性预测模型IRMA 5.1版,光学和电子国际学会, 2005,6239C-1-6239C-12.)]，为新武器的研制和发展提供覆盖红外、紫外和毫米波等波段的场景仿真。

总体来说，传统基于辐射计算的热红外仿真方法需要大量额外的信息输入，如热源、气温、湿度及风速，并结合复杂的传热计算得出场景中各个位置的辐射强度，进而生成仿真图像。为了尽可能地减少热红外语义生成对外部条件的依赖，本发明将热红外仿真过程作为可见光图像的一种风格迁移，即由彩色或灰度的交通场景可见光图像由循环对抗网络理解交通场景中的典型目标语义信息后，直接风格迁移到热红外灰度图像，从而在实现由图到图的转换的同时兼顾原始可见光图像的高分辨率高清晰度特点和热红外图像的目标显著性特点。

发明内容

针对上述问题，为了实现不依赖外部天气条件信息，直接由可见光图像生成热红外语义的同时保持原有的高清晰度，本发明提供一种基于孪生语义网络的交通场景热红外语义生成方法，为应用于智能交通系统中基于多源图像联系的模拟和仿真系统提供重要支持。

为了实现这个目的，本发明一种基于孪生语义网络的交通场景热红外语义生成方法，该方法具体步骤如下：

步骤一：基于改进U型网络的语义生成网络G1和G2

由图像语义生成网络G1和G2，分别实现可见光到热红外以及热红外到可见光的图像风格迁移模型。网络G1和G2均基于U型网络，并针对交通图像特点进行了局部改进以增强特征传递效率和循环生成对抗网络的训练效率，所述的局部改进具体如下:

首先，为了提高卷积模块的梯度传递效率，原卷积模块的输入与输出将直接叠加作为下一层的输入，即将卷积模块的两层卷积将以残差连接的形式组成残差模块作为基本的特征提取结构；其次，为了增大特征感受野和网络鲁棒性，在不同层次的残差模块中引入了包括多尺度卷积核及随机失效层(Dropout)等模块，如图2所示，改进后基于孪生语义的U型网络整体结构如图3所示；最后，在G1和G2在输出风格转换图像的同时，网络中第一层和第二层最大池化(maxpooling)特征谱也将作为风格特征输出引入到孪生语义损失中。

步骤二：由两个判别网络D1和D2分别生成风格迁移图像的判别特征并进行分类判别

设计热红外语义判别网络D1和可见光语义判别网络D2，引入空洞卷积改善判别CNN网络性能，分别对由热红外语义生成网络G1生成的热红外图像和可见光语义生成网络G2生成的可见光图像以GAN损失进行真假判别，提高语义判别网络D1和D2的辨别能力。

步骤三：设计并引入孪生语义损失L_style

本发明循环生成对抗网络中包括两条线路：其一，可见光图像由生成网络G1生成仿真热红外图像，再由生成网络G2重建可见光图像；其二，热红外图像由生成网络G2生成仿真可见光图像，再由生成网络G1重建热红外图像。原始的循环生成对抗网络在两条线路上基本相互独立，因而生成特征不够稳定，不能将红外语义与交通场景下的具体目标形成针对映射。

由于热红外语义生成网络G1和可见光语义生成网络G2分别被以不同的输入传输了两次，为了增强闭环中用于同一语义生成的网络相关性，使得生成风格与交通图像的典型目标布局紧密相连，本发明以将生成网络G1和G2的两阶段中间特征分以孪生语义损失L_style的形式引入，以降低两次传输的中间结果的差异性可以提高语义生成效率，从而获取更加鲁邦的迁移性能。如图1所示，具体实施过程如下：

整体网络中用到G1网络的中间过程包括：由可见光图像生成仿真热红外图像过程和由仿真可见光图像生成重建热红外图像过程，将两个过程中G1生成的第一层和第二层最大池化特征谱分别求取内积矩阵(Gram matrix)并以均方误差损失(MSE loss)的形式加入到孪生语义损失L_style中。例如由可见光图像生成热红外语义图像网络G1的孪生语义损失L_style__G1定义为：

其中G1(i|x)为可见光图像x生成仿真热红外图像在网络G1中的第i层最大池化特征，G1(i|y)为对应的由仿真可见光图像y生成重建热红外图像在网络G1中的第i层最大池化特征，Gram为求取特征谱的内积矩阵函数，定义为：Gram_ij(x)＝<Feature_i(x),Feature_j(x)>。

G2网络同理，涉及到G2网络的中间过程包括：由热红外图像生成仿真可见光图像过程和由仿真热红外图像生成重建可见光图像过程，将两个过程中G2生成的第一层和第二层最大池化特征谱分别求取内积矩阵并以均方误差损失的形式加入到孪生语义损失L_style中。L_style__G2定义为：

其中G2(i|x)为热红外图像x生成仿真可见光图像在网络G2中的第i层最大池化特征，G2(i|y) 为对应的由仿真热红外图像y生成重建可见光图像在网络G2中的第i层最大池化特征，Gram为求取特征谱的内积矩阵函数。

本发明一种基于孪生语义网络的交通场景热红外语义生成方法，整体采用ADAM优化，其中生成网络部分G1和G2学习率为10-³，判别网络学习率为10-⁸，通过梯度反向传播调整网络中的参数值降低相应的loss，最终生成具有较高清晰度的热红外语义交通图像。

本发明的优点及功效是：本发明基于循环生成对抗网络(CycleGAN)的理论框架，通过合理设计网络结构，引入包括残差模块和空洞卷积等多种改进以实现更高质量的特征提取和语义生成，同时由代表热红外风格的局部特征以孪生语义损失L_style的形式将整体网络循环的不同阶段联系起来，以生成更加稳定的热红外语义交通图像。本发明算法可以广泛应用于智能交通系统中基于多源图像联系的模拟和仿真系统，具有广阔的市场前景与应用价值。

附图说明

图1为本发明一种基于孪生语义网络的交通场景热红外语义生成方法的基本结构框架。

图2为用于改进U型网络卷积模块的残差模块基本结构。(a)为第一、二层采用了大尺度卷积核结构的残差模块；(b)为用于第三、四层的加入了随机失效(Dropout)的残差模块。

图3为基于孪生语义U型网络的热红外生成网络G1和可见光生成网络G2框架。

图4为热红外语义判别网络D1和可见光语义判别网络D2的基本结构。

图5为本发明生成热红外语义交通图像效果。图5(a)、5(d)、5(g)、5(j)、5(m)为交通场景的可见光图像，图5(b)、5(e)、5(h)、5(k)、5(n)为同一视角下的参考热红外图像，图5(c)、5(f)、 5(i)、5(l)、5(o)为由本发明生成的高清晰度热红外语义图像。

具体实施方式

为了更好地理解本发明的技术方案，以下结合附图对本发明的实施方式作进一步描述。

本发明一种基于孪生语义网络的交通场景热红外语义生成方法，其网络结构与算法框架如图1所示，各部分具体实施细节步骤如下：

第一步：基于改进U型网络的语义生成网络G1和G2

原始U型网络由四个参数大致相同的卷积模块与减半尺寸的最大池化(maxpooling)降采样层顺序串联起来构成降维特征提取结构。由图像语义生成网络G1和G2均基于U型网络，分别实现可见光到热红外以及热红外到可见光的图像风格迁移模型，并且针对交通图像特点进行了局部改进以增强特征传递效率和循环生成对抗网络的训练效率，所述的局部改进具体如下：

首先，为了提高卷积模块的梯度传递效率，原卷积模块的输入与输出将直接叠加作为下一层的输入，即将卷积模块的两层卷积将以残差连接的形式组成残差模块作为基本的特征提取结构；其次，为了增大特征感受野，在前两个残差模块中采用了较大尺度卷积层如图2(a) 所示，为了增强网络鲁棒性，在三、四个残差模块中加入了0.2的随机失效(Dropout)层，如图2(b)所示，所有生成网络均采用实例归一化(InstanceNorm)卷积特征，以加快训练收敛速度，改进后基于孪生语义的U型网络整体结构如图3所示；最后，在G1和G2在输出风格转换图像的同时，网络中第一层和第二层最大池化(maxpooling)特征谱也将作为风格特征输出引入到孪生语义损失中。

第二步：改进语义判别网络D1和D2

语义判别网络在原始CNN基础上增大了初始卷积核尺寸并引入了空洞卷积以增加感受野，从而使判别网络和生成网络更加匹配，提高梯度传输效率和网络收敛速度。事实上，判别网络包含三种参数的卷积核，第一层为5×5步长为2并配有间隔为2的空洞卷积以增大感受野，第二层和第三层为5×5步长为2的卷积，最后两层为5×5步长为1的卷积，输出结果用于计算GAN Loss。改进后的语义判别网络如图4所示。

第三步：设计并引入基于风格相关性的孪生语义损失L_style

本发明在热红外语义生成任务中包含两条线路：其一，可见光图像由生成网络G1生成仿真热红外图像，再由生成网络G2重建可见光图像；其二，热红外图像由生成网络G2生成仿真可见光图像，再由生成网络G1重建热红外图像。原始的循环生成对抗网络在两条线路上基本相互独立，因而生成特征不够稳定，不能将红外语义与交通场景下的具体目标形成针对映射。

由于热红外语义生成网络G1和可见光语义生成网络G2分别被以不同的输入传输了两次，为了增强闭环中用于同一语义生成的网络相关性，使得生成风格与交通图像的典型目标布局紧密相连，本发明以将生成网络G1和G2的两阶段中间特征分以孪生语义损失L_style的形式引入，以降低两次传输的中间结果的差异性可以提高语义生成效率，从而获取更加鲁邦的迁移性能。如图1所示，具体实施过程如下：

整体网络中用到G1网络的中间过程包括：由可见光图像生成仿真热红外图像过程和由仿真可见光图像生成重建热红外图像过程，将两个过程中G1生成的第一层和第二层最大池化特征谱分别求取内积矩阵(Gram matrix)并以均方误差损失(MSE loss)的形式加入到孪生语义损失L_style中。G2网络同理，涉及到G2网络的中间过程包括：由热红外图像生成仿真可见光图像过程和由仿真热红外图像生成重建可见光图像过程，将两个过程中G2生成的第一层和第二层最大池化特征谱分别求取内积矩阵并以均方误差损失的形式加入到孪生语义损失中。具体 L_style定义为：

其中，G1(i|x)为可见光图像生成仿真热红外图像在网络G1中的第i层最大池化特征， G1(i|y)为对应的由仿真可见光图像生成重建热红外图像在网络G1中的第i层最大池化特征， G2(i|x)为热红外图像生成仿真可见光图像在网络G2中的第i层最大池化特征，G2(i|y)为对应的由仿真热红外图像生成重建可见光图像在网络G2中的第i层最大池化特征，Gram为求取特征谱的内积矩阵(Gram matrix)函数，定义为：

Gram_ij(x)＝<Feature_i(x),Feature_j(x)> (3)

引入孪生语义损失后，循环生成对抗网络的最终损失包含三部分：由判别网络D1和D2 生成的生成对抗网络损失L_GAN，循环一致性损失L_cyc以及孪生语义损失L_style，分别定义如下：

L_SS-CycleGAN＝L_GAN+L_cyc+L_style (4)

L_style＝L_{style_G1}+L_{style_G2} (7)

生成对抗网络损失L_GAN用于判别生成图像与原始图像的真假，最终实现在判别网络的视角下达到生成图像真假难辨的程度；循环一致性损失L_cyc用于在经过仿真与重建两次网络输入后恢复原始输入图像；孪生语义损失L_style极大地促进了整体网络流程中四个生成模块之间的协同性，使得在生成热红外语义特征的同时保持原始可见光图像高清晰度和高对比度的优点。

本发明基于孪生语义网络的交通场景热红外语义生成方法，整体采用ADAM优化，其中生成网络部分G1和G2学习率为10^-3，判别网络学习率为10^-8，通过梯度反向传播调整网络中的参数值降低相应的loss，最终生成具有较高清晰度的热红外语义交通图像。

为了直观上展示本发明的效果，图5展示了多例经典交通场景下的可见光图像生成热红外语义图像效果，其中图5(a)、5(d)、5(g)、5(j)、5(m)为交通场景的可见光图像，图5(b)、5(e)、 5(h)、5(k)、5(n)为同一视角下的参考热红外图像，图5(c)、5(f)、5(i)、5(l)、5(o)为由本发明生成的高清晰度热红外语义图像，可以看到交通场景中的经典目标如车辆、数目、建筑和行人均生成了显著地热红外语义，且比相对模糊的参考图像具有更高的清晰度和对比度。由于本发明引入了孪生语义损失L_style，因而语义生成网络的生成风格特征更加稳定高效，且在生成热红外语义的同时保持了原有可见光图像高清晰度的优点。相比其他经典的基于深度卷积网路的风格迁移算法，如fast neural style和TextureNet，本发明在实验所生成的热红外语义图像具有更明显的热红外语义表现力和更精细的场景分辨力，因此可以广泛应用于智能交通系统中基于多源图像联系的模拟和仿真系统。

Claims (1)

1.一种基于孪生语义网络的交通场景热红外语义生成方法，其特征在于：该方法具体步骤如下：

步骤一：基于改进U型网络的语义生成网络G1和G2

由图像语义生成网络G1和G2，分别实现可见光到热红外以及热红外到可见光的图像风格迁移模型；网络G1和G2均基于U型网络，并针对交通图像特点进行了局部改进以增强特征传递效率和循环生成对抗网络的训练效率，所述的局部改进具体如下:

首先，为了提高卷积模块的梯度传递效率，原卷积模块的输入与输出将直接叠加作为下一层的输入，即将卷积模块的两层卷积将以残差连接的形式组成残差模块作为基本的特征提取结构；其次，为了增大特征感受野和网络鲁棒性，在不同层次的残差模块中引入了包括多尺度卷积核及随机失效层模块；最后，在G1和G2在输出风格转换图像的同时，网络中第一层和第二层最大池化特征谱也作为风格特征输出引入到孪生语义损失中；

步骤二：由两个判别网络D1和D2分别生成风格迁移图像的判别特征并进行分类判别

设计热红外语义判别网络D1和可见光语义判别网络D2，引入空洞卷积改善判别CNN网络性能，分别对由热红外语义生成网络G1生成的热红外图像和可见光语义生成网络G2生成的可见光图像以GAN损失进行真假判别，提高语义判别网络D1和D2的辨别能力；

步骤三：设计并引入孪生语义损失L_style

循环生成对抗网络中包括两条线路：其一，可见光图像由生成网络G1生成仿真热红外图像，再由生成网络G2重建可见光图像；其二，热红外图像由生成网络G2生成仿真可见光图像，再由生成网络G1重建热红外图像；

由于热红外语义生成网络G1和可见光语义生成网络G2分别被以不同的输入传输了两次，为了增强闭环中用于同一语义生成的网络相关性，使得生成风格与交通图像的典型目标布局紧密相连，以将生成网络G1和G2的两阶段中间特征分以孪生语义损失L_style的形式引入，以降低两次传输的中间结果的差异性提高语义生成效率，从而获取更加鲁邦的迁移性能，具体实施过程如下：

整体网络中用到G1网络的中间过程包括：由可见光图像生成仿真热红外图像过程和由仿真可见光图像生成重建热红外图像过程，将两个过程中G1生成的第一层和第二层最大池化特征谱分别求取内积矩阵并以均方误差损失的形式加入到孪生语义损失L_style中；由可见光图像生成热红外语义图像网络G1的孪生语义损失L_{style_G1}定义为：

其中G1(i|x)为可见光图像x生成仿真热红外图像在网络G1中的第i层最大池化特征，G1(i|y)为对应的由仿真可见光图像y生成重建热红外图像在网络G1中的第i层最大池化特征，Gram为求取特征谱的内积矩阵函数，定义为：Gram_ij(x)＝<Feature_i(x),Feature_j(x)>；

G2网络同理，涉及到G2网络的中间过程包括：由热红外图像生成仿真可见光图像过程和由仿真热红外图像生成重建可见光图像过程，将两个过程中G2生成的第一层和第二层最大池化特征谱分别求取内积矩阵并以均方误差损失的形式加入到孪生语义损失L_style中；L_{style_G2}定义为：

其中G2(i|x)为热红外图像x生成仿真可见光图像在网络G2中的第i层最大池化特征，G2(i|y)为对应的由仿真热红外图像y生成重建可见光图像在网络G2中的第i层最大池化特征，Gram为求取特征谱的内积矩阵函数。

Images