CN116033279A - 一种夜晚监控相机的近红外图像彩色化方法、系统及设备 - Google Patents

Abstract

本发明属于图像处理技术领域，公开了一种夜晚监控相机的近红外图像彩色化方法、系统及设备。将白天采集的可见光彩色图像和夜晚采集的近红外灰度图像分别划分为训练集和测试集。基于双向循环生成对抗网络，建立灰度到彩色图像的生成器，彩色到灰度图像的生成器，以及灰度图像鉴别器，彩色图像鉴别器；对网络进行训练，实现对夜晚采集近红外灰度图像的彩色化功能。本发明自动将夜晚近红外转换为彩色图像，无需人工操作，增强了监控相机的夜晚监控能力，提高了夜晚监控可视化效果。实现监控相机在夜晚场景下的近红外彩色化。该方法显著提高了观察者对目标物的高辨识度观察。

Description

一种夜晚监控相机的近红外图像彩色化方法、系统及设备

技术领域

本发明属于图像处理技术领域，尤其涉及一种夜晚监控相机的近红外图像彩色化方法、系统及设备。

背景技术

安防监控领域中最前端的是摄像部分，镜头是整个监控系统的关键部分。目前监控相机均是在重要的安保场所安装，白天场景下的监控视景图像是彩色的，观察者可以很清晰地观察白天的场景信息，但夜晚场景下的监控视景近红外图像是灰色的，灰度图像并不能突显目标信息，且晚上监控场景图像颜色过于单一往往会导致观察者产生过多的视觉疲劳感。因此，如何将监控场景下的夜晚近红外图像着色成具有自然感的彩色图像，符合大众的视觉感受是非常有意义的。

目前大多数彩色化方法均需要人工干预，着色效率慢且结果与大自然常见的颜色大相径庭。而实时处理的彩色化方法虽然处理速度很快，但是着色效果并不自然，反而使得观察者会产生巨大的视觉疲劳感。上述算法应用于夜晚监控场景近红外图像的着色任务时，虽然能为其赋予颜色信息，但往往由于网络特征提取不足、网络层上下采样的信息丢失操作导致彩色化结果出现颜色传递有误、边缘漫色等问题，无法实现对夜晚监控场景近红外图像的准确着色。

综上所述，如何将监控下夜晚场景近红外图像着色成具有真实自然感的彩色图像仍是一个巨大的挑战。

通过上述分析，现有技术存在的问题及缺陷为：

（1）目前彩色化算法针对近红外图像作为输入时，往往因近红外与彩色图像间模态差异较大导致网络对近红外图像特征提取不足导致结果出现颜色误传问题；且近红外图像经过网络层进行卷积时因上下采样的原因导致结果出现边缘漫色；上述两个问题导致无法实现对夜晚监控场景近红外图像的准确着色。

（2）现有技术需要人工寻找与近红外图像数据集内容和风格类似的彩色参考图像数据集，才能获取近红外图像与白天可见光图像之间的函数关系，使得对目标物的高辨识度较差，不利于理解监控内的场景信息。

（3）现有技术因模型设计较为复杂且效果参差不齐，未能在图像处理工程实践中广泛应用，不利于监控场景的实际应用。

发明内容

为克服相关技术中存在的问题，本发明公开实施例提供了一种夜晚监控相机的近红外图像彩色化方法、系统及设备。

所述技术方案如下：一种夜晚监控相机的近红外图像彩色化方法，该方法在监控场景下，监控相机基于双向循环生成对抗网络利用白天场景图像进行学习训练为夜晚近红外场景图像赋色；具体包括以下步骤：

步骤1、利用监控相机采集白天可见光彩色图像与夜晚近红外灰度图像，并分别建立白天可见光彩色图像的训练样本集和测试样本集，以及夜晚近红外灰度图像的训练样本集和测试样本集；

步骤2、构建双向循环生成对抗网络并进行训练；

步骤3、将夜晚近红外灰度图像的测试样本集和白天可见光彩色图像的测试样本集分别输入到训练好的双向循环生成对抗网络中，分别输出彩色结果图像和近红外结果图像；所述彩色结果图像为夜晚近红外灰度图像的测试样本集赋色后的图像；所述近红外结果图像为白天可见光图像的测试样本集赋色后的图像。

进一步的，夜晚监控相机的近红外图像彩色化方法包括以下步骤：

步骤1、数据集的建立：利用监控相机，在白天采集可见光彩色图像，在夜晚采集近红外灰度图像，分别建立白天可见光彩色图像的训练样本集和白天可见光彩色图像的测试样本集，夜晚近红外灰度图像的训练样本集和夜晚近红外灰度图像的测试样本集；

步骤2、构建双向循环生成对抗网络并进行训练，所述双向循环生成对抗网络包含两个生成器和两个鉴别器；

优选的，生成器由三个下采样模块、四个多尺度自适应特征融合模块、Octave卷积模块、六个残差模块、三个上采样模块组成，鉴别器由常规卷积模块、梯度归一化层模块组成；所述两个生成器为夜晚近红外灰度图像到白天可见光彩色图像的生成器和白天可见光彩色图像到夜晚近红外灰度图像的生成器；所述两个鉴别器为近红外灰度图像鉴别器和可见光彩色图像鉴别器；

步骤3、将待测试的测试样本集输入到训练好的双向循环生成对抗网络中，输出最终的彩色结果；同时，将待测试的测试样本集输入到训练好的双向循环生成对抗网络中，输出最终的近红外结果。

在步骤2中，构建双向循环生成对抗网络并进行训练具体包括以下步骤：

步骤2.1、将夜晚近红外灰度图像的训练样本集输入到生成器中，生成彩色近红外图像；同时将白天可见光彩色图像的训练样本集输入到生成器中，生成近红外可见光彩色图像；

步骤2.2、将白天可见光彩色图像的训练样本集与彩色近红外图像输入到鉴别器中，计算彩色近红外图像是真实白天可见光彩色图像的概率；同时将夜晚近红外灰度图像的训练样本集与近红外可见光彩色图像输入到鉴别器中，计算近红外可见光彩色图像是真实夜晚近红外灰度图像的概率；

步骤2.3、将彩色近红外图像输入到生成器中，生成重构近红外灰度图像；同时将近红外可见光彩色图像输入到生成器中，生成重构可见光彩色图像；

步骤2.4、将近红外可见光彩色图像与重构近红外灰度图像输入到鉴别器中，计算重构近红外灰度图像是真实夜晚近红外灰度图像的概率；同时将彩色近红外图像与重构可见光彩色图像输入到鉴别器中，计算重构可见光彩色图像是真实白天可见光彩色图像的概率；

步骤2.5、利用监控场景下采集的训练样本集对所构建的双向循环生成对抗网络按照步骤2.1-步骤2.4通过计算对抗损失、重构损失函数来进行无监督学习训练。

所述步骤2.1中，将夜晚近红外灰度图像的训练样本集输入到生成器中，生成彩色近红外图像；同时将白天可见光彩色图像的训练样本集输入到生成器中，生成近红外可见光彩色图像，包括如下步骤：

步骤2.1.1、将夜晚近红外灰度图像的训练样本集输入到生成器的下采样模块中，生成不同尺度的夜晚近红外图像低级特征图；

步骤2.1.2、将下采样模块的低级特征图输入至Octave卷积模块，分离出夜晚近红外灰度图像的训练样本集低级特征的高频特征图；

步骤2.1.3、将高频特征图送入残差模块中，生成残差高频特征图；

步骤2.1.4、将低级特征图输入至多尺度自适应特征融合模块，生成不同尺度的融合特征图；

步骤2.1.5、将残差高频特征图和融合特征图输入至上采样模块，最终生成彩色结果图像。

所述步骤2.2中，将白天可见光彩色图像的训练样本集与彩色近红外图像输入到鉴别器中，计算彩色近红外灰度图像是真实白天可见光彩色图像的概率；同时将近红外可见光彩色图像与夜晚近红外灰度图像的训练样本集输入到鉴别器中，计算近红外可见光彩色图像是真实夜晚近红外灰度图像的概率，包括如下步骤：

步骤2.2.1、将白天场景训练样本与彩色近红外图像输入到鉴别器中的常规卷积中，生成低级特征图；

步骤2.2.2、将各自的低级特征图输入到梯度归一化层模块中，生成梯度低级特征图；

步骤2.2.3、将梯度低级特征图输入到Sigmoid模块中，输出n×n的矩阵，取此矩阵的均值作为真可见光/假可见光图像的结果输出。

所述步骤2.3中，将彩色近红外灰度图像输入到生成器中，生成重构近红外灰度图像；同时将近红外可见光彩色图像输入到生成器中，生成重构可见光彩色图像，包括如下步骤：

步骤2.3.1、将彩色近红外图像输入到生成器的下采样模块中，生成不同尺度的彩色近红外图像低级特征图；

步骤2.3.2、将下采样块的低级特征图送入Octave卷积模块，分离出彩色近红外灰度图像低级特征的高频特征图，即轮廓信息；

步骤2.3.3、将高频特征图送入残差模块中，生成残差高频特征图，同时可以防止模型退化；

步骤2.3.4、将低级特征图输入到多尺度自适应融合模块，生成不同尺度的融合特征图；

步骤2.3.5、将残差高频特征图和融合特征图输入至上采样模块，最终生成重构近红外灰度结果图像。

所述步骤2.4中，将近红外可见光彩色图像与重构近红外灰度图像输入到鉴别器中，计算重构近红外灰度图像是真实夜晚近红外灰度图像的概率；同时将彩色近红外灰度图像与重构可见光彩色图像输入到鉴别器中，计算重构可见光彩色图像是真实白天可见光彩色图像的概率，包括如下步骤：

步骤2.4.1、将近红外可见光彩色图像与重构近红外灰度图像输入至鉴别器的常规卷积中，生成低级特征图；

步骤2.4.2、将各自的低级特征图输入到梯度归一化层模块中，生成梯度低级特征图；

步骤2.4.3、将梯度低级特征图输入到Sigmoid中，输出n×n的概率矩阵，取此矩阵的均值作为真近红外/假近红外图像的结果输出。

所述步骤2.5中，通过计算对抗损失、重构损失函数来进行无监督训练中，通过设计的损失函数实现，采用对抗损失、重建损失构建的总损失进行网络训练，记总损失为L，如下式所示：

；

式中，损失函数是基于夜晚监控近红外场景图像与生成的彩色近红外图像之间的对抗博弈；损失函数是基于白天监控可见光场景图像与生成的近红外图像之间的对抗博弈；重构损失是重构图像与原始图像的内容损失，代表超参数用于控制几个损失之间的权重。

在一个实施例中，采用对抗损失、重建损失构建的总损失进行网络训练具体包括：

将夜晚近红外灰度图像的训练样本集送入生成器中，生成彩色近红外图像,将彩色近红外图像送入鉴别器中，夜晚近红外灰度图像对抗损失如下：

；

式中，夜晚近红外灰度图像的训练样本集的对抗损失，表示彩色可见光图像的期望值，表示夜晚近红外灰度图像域，表示白天可见光图像域，为夜晚近红外图像的期望值，指夜晚近红外灰度图像的训练样本集输入至生成器的结果，该结果为；是输入至鉴别器的结果；

将白天可见光彩色图像的训练样本集送入生成器中，生成近红外可见光彩色图像,将送入鉴别器中，其白天可见光彩色图像对抗损失如下：

；

式中，为白天可见光彩色图像的训练样本集的对抗损失；为夜晚近红外图像的期望值；为彩色可见光图像的期望值；为白天可见光图像的训练样本集输入至生成器的结果，该结果为；是输入至鉴别器的结果；

将送入生成器中生成后，将送至生成器中生成重构图像，计算重构图像与逐像素的差异值，并减少两者图像间的损失；将送入生成器中生成后，将送至生成器中生成重构图像，计算重构图像与逐像素的差异值，并减少两者图像间的损失；重构损失如下：

；

式中，为夜晚近红外灰度图像的训练样本集输入至生成器生成，后将输入至生成器中，即，也就是；代表夜晚近红外灰度图像的训练样本集；c为白天可见光图像的训练样本集；

指白天可见光图像的训练样本集输入至生成器生成，即指代为式中；后将输入至生成器中，即，也就是；

总损失是由的对抗损失、的对抗损失及重构损失加权组成，如下：

。

式中，：总损失函数；为夜晚近红外灰度图像的训练样本集的对抗损失；为白天可见光彩色图像的训练样本集的对抗损失；

重构损失；将送入生成器中生成后，将送至生成器中生成重构图像，计算重构图像与逐像素的差异值，并减少两者图像间的损失；将送入生成器中生成后，将送至生成器中生成重构图像，计算重构图像与逐像素的差异值，并减少两者图像间的损失。

本发明的另一目的在于提供一种实施所述夜晚监控相机的近红外图像彩色化方法的夜晚监控相机的近红外图像彩色化系统，所述夜晚监控相机的近红外图像彩色化系统包括：

数据集建立模块，用于利用监控相机，在白天采集可见光彩色图像，在夜晚采集近红外灰度图像，分别建立夜晚近红外灰度图像的训练样本集和测试样本集，白天可见光彩色图像的训练样本集和测试样本集；

双向循环生成对抗网络构建及训练模块，用于构建双向循环生成对抗网络并进行训练，所述双向循环生成对抗网络包含两个生成器和两个鉴别器；其中，生成器由三个下采样模块、四个多尺度自适应特征融合模块、Octave卷积模块、六个残差模块、三个上采样模块组成，鉴别器由常规卷积模块、梯度归一化层模块组成；所述两个生成器为夜晚近红外灰度图像到白天可见光彩色图像的生成器和白天可见光彩色图像到夜晚近红外灰度图像的生成器；所述两个鉴别器为近红外灰度图像鉴别器和可见光彩色图像鉴别器；

双向循环生成对抗网络应用模块，用于将待测试的测试样本集输入到训练好的双向循环生成对抗网络中，输出最终的彩色结果；同时，将待测试的测试样本集输入到训练好的双向循环生成对抗网络中，输出最终的近红外结果。

本发明的另一目的在于提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行所述夜晚监控相机的近红外图像彩色化方法。

结合上述的所有技术方案，本发明所具备的优点及积极效果为：

第一、针对上述现有技术存在的技术问题以及解决该问题的难度，紧密结合本发明的所要保护的技术方案以及研发过程中结果和数据等，详细、深刻地分析本发明技术方案如何解决的技术问题，解决问题之后带来的一些具备创造性的技术效果，具体描述如下：

本发明创新点在于利用白天场景图像进行学习训练为夜晚近红外场景图像着色。采用的方法为：双向循环生成对抗网络（TGAN）。TGAN包括夜晚近红外灰度图像到白天可见光彩色图像的生成器（），白天可见光彩色图像到夜晚近红外灰度图像的生成器（），近红外灰度图像鉴别器（），可见光彩色图像鉴别器（）组成。

针对传统网络特征提取不足、网络层上下采样的信息丢失操作导致彩色化结果出现颜色传递有误、边缘漫色等问题，无法实现对夜晚监控场景近红外图像的准确着色。

生成器结合了多尺度融合和特征保持的思想，设计了一个多尺度自适应特征融合模块，该模块充分地提取了近红外图像的细节与语义信息，并通过级联上下采样分支及利用动态参数进行自适应融合上下采样层之间的特征，使夜晚监控场景下的特征理解地更加充分，解决了夜晚监控场景下颜色误传递问题；采用了Octave卷积，在下采样最后一层使用Octave卷积分离出夜晚监控场景图像的高频特征图，即轮廓信息，解决了夜晚监控场景下边缘漫色的问题。鉴别器使用梯度归一化模块改善网络训练不稳定问题。

结合无监督学习的训练方法，既不需要人工对数据集进行标注，也不需要人工寻找大量的彩色参考图像，就可找到近红外图像与白天可见光图像之间的函数映射关系，实现监控相机在夜晚场景下的近红外彩色化。该方法显著提高了观察者对目标物的高辨识度观察，有利于观察者理解监控内的场景信息。

第二、把技术方案看作一个整体或者从产品的角度，本发明所要保护的技术方案具备的技术效果和优点，具体描述如下：本发明设计一种夜晚监控相机的近红外图像彩色化方法。包括以下步骤：将白天采集的可见光彩色图像 和夜晚采集的近红外灰度图像 分别划分为训练集和测试集。基于双向循环生成对抗网络，建立灰度到彩色图像的生成器，彩色到灰度图像的生成器，以及灰度图像鉴别器，彩色图像鉴别器；对网络进行训练，实现对夜晚采集近红外灰度图像的彩色化功能。本发明自动将夜晚近红外转换为彩色图像，无需人工操作，增强了监控相机的夜晚监控能力，提高了夜晚监控可视化效果。

第三、作为本发明创造性辅助证据，还体现在以下几个重要方面：

（1）随着红外图像处理技术、在线监测技术、设计技术的日益成熟及相关组件制造成本的降低，红外成像被应用于各个民用领域。而且红外监控相机在日常生活中成为了人们不可必要的需求品。红外成像技术是科技创新规划和战略新兴产业的重点关注领域。本发明在红外监控相机中增加夜晚彩色模块，并具备基于双向循环生成对抗网络利用白天场景图像进行学习训练为夜晚近红外场景图像赋色的功能，且本发明的红外监控相机与目前市场上的红外监控相机价格相差不大，节约了成本，但本发明具有夜晚彩色功能的红外相机效益比普通红外相机更加具有市场优势。本发明转化后可集成至监控相机中，利用红外具有强有力的穿云透雾优势，监控相机夜晚会呈现出具有色彩信息且画质细腻清晰的监控图像。可将其投放于民办行业、军工企业、家庭场所等。在民办行业中，针对工厂中常规安全检查、盗窃事件发生具有较大的帮助；在军工企业，如夜晚道路出现车祸，警察可第一时间根据夜晚监控相机拍摄出的彩色场景发现大量有用的证据，进一步提高破案效率；在家庭生活方面，用户可通过监控观察夜晚室内孩子、宠物的动态及室外的夜间防范等。

（2）目前监控相机主要分为网络摄像机、夜视摄像机、数字摄像机三类。网络摄像机是传统摄像机与网络视频技术相结合的新一代产品，机内内置了数字化压缩控制器和基于web的操作系统，使得视频数据经压缩加密后，通过局域网或无线网传输给用户。数字摄像机是指能稳定高效地应用于载体现场的视频图像采集设备，可直接存储在硬盘上。夜视摄像机采用红外线传感技术，将夜晚看不清的东西清楚地呈现在眼前。国内和国外红外相机均是由摄像机、防护罩、红外灯、供电散热单元等等综合一体的监控设备。具有的功能一般是照射距离远，画质清晰，监控面积大等优点，均未出现带有彩色夜视功能的红外监控相机，本发明转化后会进一步填补国内外技术的空白，且技术简单，安全有效，价格合理。

（3）随着监控产业的不断壮大，对红外的需求也随之水涨船高。工厂厂家更应该追寻的是监控产品功能上做到更大的差异性，以满足客户自身实际需求。本发明利用红外监控相机功能是照射距离远，画质清晰，监控面积大的特点，本发明图像转化后不仅有红外监控相机的基础功能，还自带夜晚彩色化功能，为观察者提高了更好的视觉效应，更符合人类的视觉感观，提高人们日常生活中的效率。比如在公共场所夜晚发生车祸，弱光下的路灯不能为警察提供任何有效的证据，但是具有夜晚彩色化功能的红外监控会呈现出画质细腻清晰的图像，为用户提高图像监控提供了更大的帮助。

（4）本发明以监控夜晚场景图像作为研究对象，夜晚红外图像根据白天可光图像进行着色，克服了目前彩色化领域中图像处理繁琐的问题，获取的彩色结果仅仅与白天可见光图像类似，不会产生各种各样的颜色信息，更加符合监控场景下的图像内容。克服了监控场景夜晚彩色化的技术空白，同时也为该研究奠定了理论和技术基础。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理；

图1是本发明实施例提供的夜晚监控相机的近红外图像彩色化方法流程图；

图2是本发明实施例提供的夜晚监控相机的近红外图像彩色化方法原理图；

图3是本发明实施例提供的构建的双向循环生成对抗网络示意图；

图4是本发明实施例提供的双向循环生成对抗网络的生成网络结构示意图；

图5是本发明实施例提供的双向循环生成对抗网络的鉴别网络结构示意图；

图6是本发明实施例提供的残差块结构示意图；

图7是本发明实施例提供的Octave卷积步骤示意图；

图8是本发明实施例提供的多尺度自适应特征融合模块结构示意图；

图9是本发明实施例提供的测试流程图；

图10是本发明实施例提供的彩色化方法对比图；其中，（a）为夜晚监控近红外图像，（b）为白天监控彩色化图像，（c）-（g）依次是Deoldify、CycleGAN、DualGAN、In2I、本发明方法的彩色化结果图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。在下面的描述中阐述了很多具体细节以便于充分理解本发明。但是本发明能够以很多不同于在此描述的其他方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似改进，因此本发明不受下面公开的具体实施的限制。

一、解释说明实施例：

本发明实施例提供一种夜晚监控相机的近红外图像彩色化方法，以解决现有的彩色化方法在面对特征提取不足、信息丢失所导致的颜色传递有误、边缘漫色的问题，针对白天场景为夜晚场景赋予颜色信息的监控相机彩色化。该方法采用一种无监督学习的生成对抗式网络结构，针对白天场景作为参考图像，将白天所覆盖信息的场景进行训练，训练的场景包括白天监控在全水平角度、全俯仰角度、焦距点推、近拉场景，针对多帧全视野场景图进行训练，利用白天视野场景为夜晚场景赋予颜色信息。

在本发明实施例中，该方法在监控场景下，监控相机基于双向循环生成对抗网络利用白天场景图像进行学习训练为夜晚近红外场景图像赋色；具体包括以下步骤：

步骤1、利用监控相机采集白天可见光彩色图像与夜晚近红外灰度图像，并分别建立白天可见光彩色图像的训练样本集和测试样本集，以及夜晚近红外灰度图像的训练样本集和测试样本集；

步骤2、构建双向循环生成对抗网络并进行训练；

步骤3、将夜晚近红外灰度图像的测试样本集和白天可见光彩色图像的测试样本集分别输入到训练好的双向循环生成对抗网络中，分别输出彩色结果图像和近红外结果图像；所述彩色结果图像为夜晚近红外灰度图像的测试样本集赋色后的图像；所述近红外结果图像为白天可见光图像的测试样本集赋色后的图像。

实施例1，如图1所示，本发明一种夜晚监控相机的近红外图像彩色化方法，包括：

S101、数据集的建立；利用监控相机，在白天采集可见光彩色图像，在夜晚采集近红外灰度图像，分别建立夜晚近红外灰度图像的训练样本集和测试样本集，白天可见光彩色图像的训练样本集和测试样本集；

S102、构建双向循环生成对抗网络并进行训练；所述双向循环生成对抗网络包含两个生成器和两个鉴别器；其中，生成器由三个下采样模块、四个多尺度自适应特征融合模块、Octave卷积模块、六个残差模块、三个上采样模块组成，鉴别器由常规卷积模块、梯度归一化层模块组成；所述两个生成器为夜晚近红外灰度图像到白天可见光彩色图像的生成器和白天可见光彩色图像到夜晚近红外灰度图像的生成器；所述两个鉴别器为近红外灰度图像鉴别器和可见光彩色图像鉴别器；

S103、将待测试的测试样本集输入到训练好的双向循环生成对抗网络中，输出最终的彩色结果；同时，将待测试的测试样本集输入到训练好的双向循环生成对抗网络中，输出最终的近红外结果。

实施例2，本发明实施例还提供一种夜晚监控相机的近红外图像彩色化系统，包括：

数据集建立模块，用于利用监控相机，在白天采集可见光彩色图像，在夜晚采集近红外灰度图像，分别建立夜晚近红外灰度图像的训练样本集和测试样本集，白天可见光彩色图像的训练样本集和测试样本集；

双向循环生成对抗网络构建及训练模块，用于构建双向循环生成对抗网络并进行训练，所述双向循环生成对抗网络包含两个生成器和两个鉴别器；其中，生成器由三个下采样模块、四个多尺度自适应特征融合模块、Octave卷积模块、六个残差模块、三个上采样模块组成，鉴别器由常规卷积模块、梯度归一化层模块组成；所述两个生成器为夜晚近红外灰度图像到白天可见光彩色图像的生成器和白天可见光彩色图像到夜晚近红外灰度图像的生成器；所述两个鉴别器为近红外灰度图像鉴别器和可见光彩色图像鉴别器；

双向循环生成对抗网络应用模块，用于将待测试的测试样本集输入到训练好的双向循环生成对抗网络中，输出最终的彩色结果；同时，将待测试的测试样本集输入到训练好的双向循环生成对抗网络中，输出最终的近红外结果。

实施例3，本发明实施例提供一种夜晚监控相机的近红外图像彩色化方法，由双向循环生成对抗网络（TGAN）完成。该网络包括夜晚近红外灰度图像到白天可见光彩色图像的生成器（），白天可见光彩色图像到夜晚近红外灰度图像的生成器（），近红外灰度图像鉴别器（），可见光彩色图像鉴别器（）组成。

具体的，如图2所示，本发明实施例提供的夜晚监控相机的近红外图像彩色化方法原理包括以下步骤：

步骤1、数据集的建立：利用监控相机，在白天采集可见光彩色图像（），在夜晚采集近红外灰度图像（），分别建立夜晚近红外灰度图像的训练样本集（）和测试样本集（），白天可见光彩色图像的训练样本集（）和测试样本集（）。

可以理解，利用监控相机获取不同角度下白天可见光彩色图像和夜晚近红外灰度图像，不同角度包括全水平角度、全俯仰角度、焦距点推、近拉场景等，并将其按照5：1的比例划分成可见光训练样本（）和可见光测试样本（）、夜晚近红外灰度图像的训练样本集和近红外图像测试样本（）共四类数据集，其尺寸均为512×512。

步骤2、构建TGAN网络并进行训练，其结构如图3所示。TGAN网络包含两个生成器和两个鉴别器。其中，生成器是由三个下采样模块、四个多尺度自适应特征融合模块、Octave卷积模块、六个残差模块、三个上采样模块组成，其具体结构如图4所示。鉴别器是由常规卷积模块、梯度归一化层模块组成，其具体结构如图5所示。

TGAN网络训练具体包括以下过程：

步骤2.1、将夜晚近红外灰度图像的训练样本集输入到生成器中，生成彩色近红外图像；同时将白天可见光彩色图像的训练样本集输入到生成器中，生成近红外可见光彩色图像；

步骤2.2、将白天可见光彩色图像的训练样本集与彩色近红外图像输入到鉴别器中，计算彩色近红外图像是真实白天可见光彩色图像的概率；同时将夜晚近红外灰度图像的训练样本集与近红外可见光彩色图像输入到鉴别器中，计算近红外可见光彩色图像是真实夜晚近红外灰度图像的概率；

步骤2.3、将彩色近红外图像输入到生成器中，生成重构近红外灰度图像；同时将近红外可见光彩色图像输入到生成器中，生成重构可见光彩色图像；

步骤2.4、将近红外可见光彩色图像与重构近红外灰度图像输入到鉴别器中，计算重构近红外灰度图像是真实夜晚近红外灰度图像的概率；同时将彩色近红外图像与重构可见光彩色图像输入到鉴别器中，计算重构可见光彩色图像是真实白天可见光彩色图像的概率；

步骤2.5、利用监控场景下采集的训练样本集对所构建的双向循环生成对抗网络按照步骤2.1-步骤2.4通过计算对抗损失、重构损失函数来进行无监督学习训练；

步骤3、网络的应用：将待测试的输入到训练好的TGAN网络中，输出最终的彩色结果；同时，也可将待测试的输入到训练好的TGAN网络中，输出最终的近红外结果。

实施例4，基于实施例3记载的夜晚监控相机的近红外图像彩色化方法，进一步的，所述步骤2构建的双向循环生成对抗网络，该网络包含了两个生成器和两个鉴别器。生成器分别是、，鉴别器分别是、；

生成器、由下采样模块、多尺度自适应特征融合模块、Octave卷积模块、残差模块、上采样模块组成。

鉴别器、由常规卷积模块、梯度归一化层模块组成。

在本发明实施例中，所述步骤2.1中将输入到生成器中生成，同时将输入到生成器中生成，包括如下步骤（以举例，与步骤相同）：

步骤2.1.1、将输入到生成器的下采样模块中，生成不同尺度的夜晚近红外灰度图像低级特征图；

步骤2.1.2、将下采样块的低级特征图输入给Octave卷积模块，分离出低级特征图的高频特征图，即轮廓信息；

步骤2.1.3、将高频特征图输入到残差模块中，生成残差高频特征图；

步骤2.1.4、将低级特征图输入给多尺度自适应特征融合模块，生成不同尺度的融合特征图；

步骤2.1.5、将残差高频特征图和融合特征图输入给上采样模块，最终生成彩色结果图像。

示例性的，上述步骤2.1.1-步骤2.1.5可以理解为以下步骤：

（1）将夜晚近红外灰度图像的训练样本集输入到生成器的3个下采样模块中，生成3个不同尺度的夜晚近红外图像低级特征图；

例如：将获取的输入到TGAN的生成器中，输入样本尺寸为512×512。经过3个下采样模块，下采样模块包括卷积核为3×3，步长为2的普通卷积、批量归一化层模块及ReLU激活函数。经过第1个下采样模块后输出分辨率为256×256的特征图，经过第2个下采样模块后输出为128×128的特征图，经过第3个下采样模块后输出为64×64的特征图；

（2）首先，将第3个下采样模块的低级特征图送入Octave卷积模块，分离出夜晚监控场景下低级特征的高频特征图。接着，将带有轮廓信息的高频特征图输入至6个残差模块中，生成残差高频特征图，最后将残差高频特征图送入3个上采样模块，输出的结果作为步骤（3）的输入；

示例性的，残差模块的结构如图6所示，输入尺寸为64×64的带有轮廓信息的高频特征图，通过加深网络深度提高夜晚近红外灰度图像着色的准确率，而且残差模块内部使用了跳跃连接，可以缓解TGAN中因网络深度加深带来的梯度消失问题；

Octave卷积模块可以将图像特征按通道分为高频和低频，高频部分保留图像的细节信息，信息数据量较大，低频部分保存图像的总体信息，信息数据量较少。具体的Octave卷积操作如7所示。Octave卷积首先将夜晚监控近红外图像的64×64特征图按通道分为高频特征和低频特征，将低频特征的长和宽缩减为原来的一半，高频特征不变，变为高频部分和低频部分，用向量X表示，即；

首先，考虑低频部分，需要进行两个操作。一是从低频到高频，使用指定卷积核进行卷积，接着上采样生成与高频部分宽度和长度相同的向量，最终输出可用式子表示；二是从低频到低频，直接进行卷积操作可以用式表示；

其次，考虑高频部分，需要进行与低频部分类似的操作。一是从高频到高频，直接进行卷积操作可用式表示；二是从高频到低频需先进行卷积核为2×2，步长为2的普通卷积、平均池化、卷积操作后生成与低频部分通道数相同的特征图，可用式表示；

最后，由Octave卷积最后生成可由和表示。具体如下所示：

；

；

最终经过Octave卷积模块输出的夜晚监控场景图像的特征尺寸为64×64；

（3）将4个不同尺度的夜晚近红外图像低级特征图（包括原输入图像尺度特征图）分别送入至多尺度自适应特征融合模块，生成融合后的4个不同尺度的丰富特征图。接着，将4个不同尺度的丰富特征图与3个上采样模块进行级联，最终生成彩色近红外图像；

其中，多尺度自适应特征融合模块结构如图8所示。该模块共分为1个主分支和5个子分支。主分支是由卷积核为1×1，步长为1的普通卷积和批量归一化层组成。5个子分支中，由上至下顺序，第1个子分支是由1个卷积核为3×3，步长为2，空洞率为3的卷积组成。第2、3、4个分支是先进行特征resize缩放操作，接着经过2个卷积核为3×3，步长为1的卷积及批量归一化层模块组成，最后放大至原输入特征的尺寸大小，输出尺寸由上至下依次是64×64、128×128、256×256、512×512；

最终将经过多尺度自适应融合后的特征图64×64与经过残差模块后生成的残差高频特征图64×64进行通道堆叠融合；与此同时，经过多尺度自适应融合后的特征图128×128与上采样块第一层后特征128×128进行通道堆叠；

与此同时，经过多尺度自适应融合后的特征图256×256与上采样块第二层后特征256×256进行通道堆叠，与此同时，经过原始输入尺寸为512×512与上采样模块第三层后特征512×512进行通道堆叠，最终恢复成原始图像512×512大小；

多尺度自适应特征融合模块结合了多尺度融合和特征保持的自适应混合思想，该模块可充分提取夜晚监控场景近红外图像的细节与语义信息，并通过级联上下采样分支的方式，充分利用动态参数进行对上采样层和下采样层之间的自适应融合，使得模型对特征理解地更加充分，解决夜晚监控场景彩色化任务中存在的颜色误传递问题。

在本发明实施例中，所述步骤2.2中，将白天可见光彩色图像的训练样本集与彩色近红外图像输入到鉴别器中，计算彩色近红外灰度图像是真实白天可见光彩色图像的概率；同时将近红外可见光彩色图像与夜晚近红外灰度图像的训练样本集输入到鉴别器中，计算近红外可见光彩色图像是真实夜晚近红外灰度图像的概率。包括如下步骤（以鉴别举例，与步骤相同）：

步骤2.2.1、将与输入到鉴别器中进行常规卷积，生成低级特征图；

其中，输出尺寸为256×256；

步骤2.2.2、将各自的低级特征图输入到梯度归一化层模块中，生成梯度低级特征图；

其中，TGAN网络共包含4个梯度归一化层模块，输出尺寸依次为128×128、64×64、32×32、16×16；

步骤2.2.3、将梯度低级特征图输入到Sigmoid模块中输出n×n的概率矩阵，取此矩阵的均值作为真可见光/假可见光图像的结果输出。

例如：输出16×16的矩阵，取此矩阵的均值作为真可见光/假可见光图像的结果输出。

在本发明实施例中，所述步骤2.3将彩色近红外灰度图像输入到生成器中生成，同时将输入到生成器中通过编解码操作生成。包括如下步骤（以举例，与 步骤相同）：

步骤2.3.1、将输入到生成器的下采样模块中，生成不同尺度的彩色近红外图像低级特征图；

步骤2.3.2、将下采样块的低级特征图输入至Octave卷积模块，分离出低级特征图的高频特征图，即轮廓信息；

步骤2.3.3、将高频特征图输入到残差模块中，生成残差高频特征图；

步骤2.3.4、将低级特征图分别输入到多尺度自适应特征融合模块，生成不同尺度的融合特征图；

步骤2.3.5、将残差高频特征图和融合特征图输入给上采样模块，最终生成重构近红外灰度图像。

示例性的，上述步骤2.3.1-步骤2.3.5可以理解为：

（i）将获取的彩色近红外图像输入到TGAN的生成器中，输入样本的尺寸为512×512。经过3个下采样模块，下采样模块包括卷积核为3×3，步长为2的普通卷积、批归一化层及ReLU激活函数。训练样本经过第1个下采样块后输出分辨率为256×256的特征图，经过第2个下采样块后输出为128×128的特征图，经过第3个下采样块后输出为64×64的特征图；

（ii）首先，将第3个下采样模块的低级特征图输入至Octave卷积模块，分离出彩色近红外图像低级特征的高频特征图；接着，将带有轮廓信息的高频特征图输入至6个残差模块中，生成残差高频特征图，防止模型退化；最后将残差高频特征图送入3个上采样模块，输出的结果作为步骤2.3.3的输入；

（iii）将4个不同尺度的彩色近红外图像低级特征图（包括原输入图像尺度特征图）分别送入至多尺度自适应特征融合模块，生成融合后的4个不同尺度的丰富特征图。接着，将4个不同尺度的丰富特征图与3个上采样块进行级联，最终生成彩色近红外图像；

其中，多尺度自适应特征融合模块共分为1个主分支和5个子分支。主分支是由卷积核为1×1，步长为1的普通卷积模块和批量归一化层模块组成。5个子分支中，由上至下顺序，第1个子分支是由1个卷积核为3×3，步长为2，空洞率为3的卷积组成。第2、3、4个分支是先进行特征resize缩放操作，接着经过2个卷积核为3×3，步长为1的卷积及批量归一化层模块组成，最后扩放至原输入特征的尺寸大小，输出尺寸由上至下依次是64×64、128×128、256×256、512×512；

最终将经过多尺度自适应融合后的特征图64×64与生成的残差高频特征图64×64进行通道堆叠融合；与此同时，经过多尺度自适应融合后的特征图128×128与上采样块第一层后特征128×128进行通道堆叠；与此同时，经过多尺度自适应融合后的特征图256×256与上采样块第二层后特征256×256进行通道堆叠，与此同时，经过原始输入尺寸为512×512与上采样块第三层后特征512×512进行通道堆叠，最终恢复成原始图像512×512大小。

在本发明实施例中，所述步骤2.4将与输入到鉴别器中，计算是真实夜晚近红外灰度图像的概率；同时将彩色近红外灰度图像与输入到鉴别器中，计算为真实白天可见光彩色图像的概率。包括如下步骤（以鉴别举例，与步骤相同）：

步骤2.4.1、将与输入到鉴别器的常规卷积中，生成低级特征图；输出尺寸为256×256；

步骤2.4.2、将各自的低级特征图输入到梯度归一化层模块中，生成梯度低级特征图；

例如：将低级特征图输入到梯度归一化层模块中，防止TGAN网络不稳定，并生成梯度低级特征图，共4个梯度归一化层，输出尺寸依次为128×128、64×64、32×32、16×16；

步骤2.4.3、将梯度低级特征图输入到Sigmoid模块中，输出n×n的概率矩阵，取此矩阵的均值作为真近红外/假近红外图像的结果输出。

例如：将最后一层梯度低级特征图输入到Sigmoid中，输出16×16的矩阵，取此矩阵的均值作为真可见光/假近红外图像的结果输出。

在本发明实施例中，所述步骤2.5中的机制是无监督训练。该机制通过损失函数实现，总损失为L，其式如下式所示：

；

式中，损失函数是基于夜晚监控近红外场景图像与生成的彩色近红外图像之间的对抗博弈；损失函数是基于白天监控可见光场景图像与生成的近红外图像之间的对抗博弈；重构损失是重构图像与原始图像的内容损失，代表超参数用于控制几个损失之间的权重。

可以理解为：利用监控场景下采集的训练样本对步骤2搭建的双向循环生成对抗网络，按照步骤（2.1-2.4）进行网络的无监督训练；训练机制并非只有生成器和鉴别器间的博弈生成最终的结果，而是由夜晚近红外灰度图像和白天可见光彩色图像的对抗损失及重构损失三个部分共同约束整个网络。该机制通过设计的损失函数实现，采用对抗损失、重建损失构建的总损失进行网络训练。

具体内容如下所示：将夜晚近红外灰度图像送入生成器中，生成彩色近红外图像,将彩色近红外图像送入鉴别器中，夜晚近红外灰度图像对抗损失如下：

；

式中，夜晚近红外灰度图像的训练样本集的对抗损失，表示彩色可见光图像的期望值，表示夜晚近红外灰度图像域，表示白天可见光图像域，为夜晚近红外图像的期望值；指夜晚近红外灰度图像的训练样本集输入至生成器的结果，该结果为；是输入至鉴别器的结果；

将白天可见光彩色图像的训练样本集送入生成器中，生成近红外可见光彩色图像,将送入鉴别器中，其白天可见光彩色图像对抗损失如下：

；

式中，白天可见光彩色图像的训练样本集的对抗损失；为夜晚近红外图像的期望值；为彩色可见光图像的期望值；为白天可见光图像的训练样本集输入至生成器的结果，该结果为；是输入至鉴别器的结果；

将送入生成器中生成后，将送至生成器中生成重构图像，计算重构图像与逐像素的差异值，并减少两者图像间的损失；将送入生成器中生成后，将送至生成器中生成重构图像，计算重构图像与逐像素的差异值，并减少两者图像间的损失；重构损失如下：

；

式中，为夜晚近红外灰度图像的训练样本集输入至生成器生成，后将输入至生成器中，即，也就是；代表夜晚近红外灰度图像的训练样本集；c为白天可见光图像的训练样本集；

指白天可见光图像的训练样本集输入至生成器生成，即指代为式中；后将输入至生成器中，即，也就是；

总损失是由的对抗损失、的对抗损失及重构损失加权组成，如下：

。

式中，：总损失函数；为夜晚近红外灰度图像的训练样本集的对抗损失；为白天可见光彩色图像的训练样本集的对抗损失；

重构损失；将送入生成器中生成后，将送至生成器中生成重构图像，计算重构图像与逐像素的差异值，并减少两者图像间的损失；将送入生成器中生成后，将送至生成器中生成重构图像，计算重构图像与逐像素的差异值，并减少两者图像间的损失。

上述公式中，为方便理解，将替换成B，将替换成C，原意不变；

依据上述过程，构建好双向循环生成对抗网络后，不断输入训练样本按照步骤（2.1-2.4）对网络进行训练；在训练前需要设定好网络的输入尺寸、学习率等相关训练参数。

实施例5，基于实施例3记载的夜晚监控相机的近红外图像彩色化方法，进一步的，所述步骤3将待测试的夜晚监控测试样本输入到训练好的TGAN网络中，输出最终的彩色近红外图像；同时，也可将待测试的白天监控可见光测试样本输入到训练好的TGAN网络中，输出最终的近红外灰度图像。其具体流程示意图如图9所示。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

上述装置/单元之间的信息交互、执行过程等内容，由于与本发明方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程。

二、应用实施例：

应用例：本发明实施例还提供了一种计算机设备，该计算机设备包括：至少一个处理器、存储器以及存储在所述存储器中并可在所述至少一个处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任意各个方法实施例中的步骤。

本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时可实现上述各个方法实施例中的步骤。

本发明实施例还提供了一种信息数据处理终端，所述信息数据处理终端用于实现于电子装置上执行时，提供用户输入接口以实施如上述各方法实施例中的步骤，所述信息数据处理终端不限于手机、电脑、交换机。

本发明实施例还提供了一种服务器，所述服务器用于实现于电子装置上执行时，提供用户输入接口以实施如上述各方法实施例中的步骤。

本发明实施例提供了一种计算机程序产品，当计算机程序产品在电子设备上运行时，使得电子设备执行时可实现上述各个方法实施例中的步骤。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器（Read-Only Memory，ROM）、随机存取存储器（Random AccessMemory，RAM）、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

三、实施例相关效果的证据：

实验：采用由近红外监控相机自行构建的数据集及NIR_VIS数据集。自行构建的数据集共包含500张夜晚监控近红外图像及500张白天监控可见光图像，公开数据集NIR_VIS包括477张近红外图像及477张可见光图像；

本实验实施实例中，按照步骤1中所述将数据集裁剪为512×512统一大小。再按照5：1的比例划分为夜晚近红外灰度图像的训练样本集和测试样本集、白天可见光彩色图像训练样本和测试样本；

然后，构建好本发明方法的TGAN网络，在训练前需要设置好相关参数。网络的输入尺寸为512×512，输入批量大小为16，优化器采用Adam优化器，初始学习率值设置为0.002，训练200个周期，权值衰减系数为0.0004。（所有参数依据电脑型号显存自行设置）；

本发明实验方案实例中，选取的图像彩色化评估指标为：峰值信噪比(PeakSignal to Noise Ratio，PSNR)、结构相似性(Structural Similarity ImageSimilarity，SSIM)、感知相似度(Learned Perceptual Image Patch Similarity，LPIPS)。选取了4种彩色化方法：Deoldify、CycleGAN、DualGAN、In2I。利用结构相似性作为衡量两幅图像在结构上的相似程度，其值越大说明两者之间的结构未发生质变。峰值信噪比作为衡量图像的失真程度，数值越大说明生成图像的失真越小。感知相似度用来衡量两幅图像之间的纹理结构相似程度，数值越小说明近红外图像与彩色近红外图像纹理结构越相似，则说明彩色化效果越好。不同彩色化方法的实验结果如表1所示：

表1实验结果对比

方法	SSIM	PSNR(dB)	LPIPS
				Deoldify	0.702	18.256	0.450
CycleGAN	0.690	17.385	0.449
				DualGAN	0.772	18.039	0.390
In2I	0.729	18.294	0.338
				本发明	0.814	19.392	0.325

。

从表1中结果可知，本方法相较于其他对比彩色化方法的最佳指标，结构相似性提高了0.042，峰值信噪比提高了1.098及感知相似度降低了0.013，且各项指标均取得最佳值，从客观指标上可以明显看出本发明方法的彩色化效果最佳；

图10为测试样本输入后，得到的可视化彩色化结果。其中，图10中，（a）为夜晚监控近红外图像，（b）为白天监控彩色化图像，（c）-（g）依次是Deoldify、CycleGAN、DualGAN、In2I、本发明方法的彩色化结果图；

本方法相比Deoldify、DualGAN两个方法得到的彩色化结果，具有更合理的细节颜色信息，饱和度较好，有效改善了颜色误传递及边缘漫色问题。并且本方法在纹理细节的处理上更为准确，更接近真实可见光图像的结果。相比于In2I和CycleGAN算法，虽然三种方法在视觉感知上较为类似，但是从细节处可以看出，本方法在边缘细节处理较好，未出现边缘溢出现象。综上所述，本发明方法相较其他彩色化方法整体上更符合人的视觉感官，且均未出现颜色错误传递及边缘漫色现象。

实验进一步表明：本发明实施例结合了多尺度融合和特征保持的思想，提供了一个多尺度自适应特征融合模块，该模块充分的提取了近红外图像的细节与语义信息，并通过级联上下采样分支及利用动态参数进行自适应融合上下采样层之间的特征，使夜晚监控场景下的特征理解的更加充分，解决了夜晚监控场景下颜色误传递问题；采用了Octave卷积，在下采样最后一层使用Octave卷积分离出夜晚监控场景图像的高频特征图，即轮廓信息，解决了夜晚监控场景下边缘漫色的问题；鉴别器使用梯度归一化模块改善网络训练不稳定问题。从实验数据可以明显看出，本方法的结构相似性指标在数值上明显比Deoldify、CycleGAN、DualGAN、In2I分别提升了0.112、0.124、0.042、0.085；峰值信噪比指标在数值上明显比Deoldify、CycleGAN、DualGAN、In2I分别提升了1.136dB、2.007dB、1.353dB、1.098dB；感知相似度指标在数值上明显比Deoldify、CycleGAN、DualGAN、In2I降低了0.125、0.124、0.065、0.013。

本发明结合无监督学习的训练方法，既不需要人工对数据集进行标注，也不需要人工寻找大量的彩色参考图像，就可找到近红外图像与白天可见光图像之间的函数映射关系，实现监控相机在夜晚场景下的近红外彩色化。该方法显著提高了观察者对目标物的高辨识度观察，有利于观察者理解监控内的场景信息。

以上所述，仅为本发明较优的具体的实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种夜晚监控相机的近红外图像彩色化方法，其特征在于，在监控场景下监控相机基于双向循环生成对抗网络，利用白天场景图像进行学习训练为夜晚近红外场景图像赋色；具体包括以下步骤：

步骤1、利用监控相机采集白天可见光彩色图像与夜晚近红外灰度图像，并分别建立白天可见光彩色图像的训练样本集和测试样本集，以及夜晚近红外灰度图像的训练样本集和测试样本集；

步骤2、构建双向循环生成对抗网络并进行训练；

步骤3、将夜晚近红外灰度图像的测试样本集和白天可见光彩色图像的测试样本集分别输入到训练好的双向循环生成对抗网络中，分别输出彩色结果图像和近红外结果图像；所述彩色结果图像为夜晚近红外灰度图像的测试样本集赋色后的图像，所述近红外结果图像为白天可见光图像的测试样本集赋色后的图像。

2.根据权利要求1所述的夜晚监控相机的近红外图像彩色化方法，其特征在于，在步骤1中，监控相机采集白天可见光彩色图像和夜晚近红外灰度图像，分别建立白天可见光彩色图像的训练样本集和白天可见光彩色图像的测试样本集，夜晚近红外灰度图像的训练样本集和夜晚近红外灰度图像的测试样本集；

在步骤2中，双向循环生成对抗网络包含两个生成器和两个鉴别器；其中，生成器由三个下采样模块、四个多尺度自适应特征融合模块、Octave卷积模块、六个残差模块、三个上采样模块组成；鉴别器由卷积模块、梯度归一化层模块组成；两个所述生成器为夜晚近红外灰度图像到白天可见光彩色图像的生成器和白天可见光彩色图像到夜晚近红外灰度图像的生成器；两个所述鉴别器为近红外灰度图像鉴别器和可见光彩色图像鉴别器；

在步骤3中，将白天可见光彩色图像的测试样本集输入到训练好的双向循环生成对抗网络中，输出最终的近红外结果。

3.根据权利要求1所述的夜晚监控相机的近红外图像彩色化方法，其特征在于，在步骤2中，构建双向循环生成对抗网络并进行训练具体包括以下步骤：

步骤2.1、将夜晚近红外灰度图像的训练样本集输入到生成器中，生成彩色近红外图像；同时将白天可见光彩色图像的训练样本集输入到生成器中，生成近红外可见光彩色图像；

步骤2.2、将白天可见光彩色图像的训练样本集与彩色近红外图像输入到鉴别器中，计算彩色近红外图像是真实白天可见光彩色图像的概率；同时将夜晚近红外灰度图像的训练样本集与近红外可见光彩色图像输入到鉴别器中，计算近红外可见光彩色图像是真实夜晚近红外灰度图像的概率；

步骤2.3、将彩色近红外图像输入到生成器中，生成重构近红外灰度图像；同时将近红外可见光彩色图像输入到生成器中，生成重构可见光彩色图像；

步骤2.4、将近红外可见光彩色图像与重构近红外灰度图像输入到鉴别器中，计算重构近红外灰度图像是真实夜晚近红外灰度图像的概率；同时将彩色近红外图像与重构可见光彩色图像输入到鉴别器中，计算重构可见光彩色图像是真实白天可见光彩色图像的概率；

步骤2.5、利用监控场景下采集的训练样本集对所构建的双向循环生成对抗网络按照步骤2.1-步骤2.4通过计算对抗损失、重构损失函数来进行无监督学习训练。

4.根据权利要求3所述的夜晚监控相机的近红外图像彩色化方法，其特征在于，所述步骤2.1中，将夜晚近红外灰度图像的训练样本集输入到生成器中，生成彩色近红外图像；同时将白天可见光彩色图像的训练样本集输入到生成器中，生成近红外可见光彩色图像，包括如下步骤：

步骤2.1.1、将夜晚近红外灰度图像的训练样本集输入到生成器的下采样模块中，生成不同尺度的夜晚近红外图像低级特征图；

步骤2.1.2、将下采样模块的低级特征图输入至Octave卷积模块，分离出夜晚近红外灰度图像的训练样本集低级特征的高频特征图；

步骤2.1.3、将高频特征图送入残差模块中，生成残差高频特征图；

步骤2.1.4、将低级特征图输入至多尺度自适应特征融合模块，生成不同尺度的融合特征图；

步骤2.1.5、将残差高频特征图和融合特征图输入至上采样模块，最终生成彩色结果图像；

所述步骤2.2中，将白天可见光彩色图像的训练样本集与彩色近红外图像输入到鉴别器中，计算彩色近红外灰度图像是真实白天可见光彩色图像的概率；同时将近红外可见光彩色图像与夜晚近红外灰度图像的训练样本集输入到鉴别器中，计算近红外可见光彩色图像是真实夜晚近红外灰度图像的概率，包括如下步骤：

步骤2.2.1、将白天场景训练样本与彩色近红外图像输入到鉴别器中的常规卷积中，生成低级特征图；

步骤2.2.2、将各自的低级特征图输入到梯度归一化层模块中，生成梯度低级特征图；

步骤2.2.3、将梯度低级特征图输入到Sigmoid模块中，输出n×n的矩阵，取此矩阵的均值作为真可见光/假可见光图像的结果输出。

5.根据权利要求3所述的夜晚监控相机的近红外图像彩色化方法，其特征在于，在步骤2.3中，将彩色近红外灰度图像输入到生成器中，生成重构近红外灰度图像；同时将近红外可见光彩色图像输入到生成器中，生成重构可见光彩色图像，包括如下步骤：

步骤2.3.1、将彩色近红外图像输入到生成器的下采样模块中，生成不同尺度的彩色近红外图像低级特征图；

步骤2.3.2、将下采样块的低级特征图送入Octave卷积模块，分离出彩色近红外灰度图像低级特征的高频特征图，即轮廓信息；

步骤2.3.3、将高频特征图送入残差模块中，生成残差高频特征图，同时可以防止模型退化；

步骤2.3.4、将低级特征图输入到多尺度自适应融合模块，生成不同尺度的融合特征图；

步骤2.3.5、将残差高频特征图和融合特征图输入至上采样模块，最终生成重构近红外灰度结果图像。

6.根据权利要求3所述的夜晚监控相机的近红外图像彩色化方法，其特征在于，所述步骤2.4中，将近红外可见光彩色图像与重构近红外灰度图像输入到鉴别器中，计算重构近红外灰度图像是真实夜晚近红外灰度图像的概率；同时将彩色近红外灰度图像与重构可见光彩色图像输入到鉴别器中，计算重构可见光彩色图像是真实白天可见光彩色图像的概率，包括如下步骤：

步骤2.4.1、将近红外可见光彩色图像与重构近红外灰度图像输入至鉴别器的常规卷积中，生成低级特征图；

步骤2.4.2、将各自的低级特征图输入到梯度归一化层模块中，生成梯度低级特征图；

步骤2.4.3、将梯度低级特征图输入到Sigmoid中，输出n×n的概率矩阵，取此矩阵的均值作为真近红外/假近红外图像的结果输出。

7.根据权利要求3所述的夜晚监控相机的近红外图像彩色化方法，其特征在于，所述步骤2.5通过计算对抗损失、重构损失函数来进行无监督训练中，通过设计的损失函数实现，采用对抗损失、重建损失构建的总损失进行网络训练，记总损失为L，如下式所示：

；

式中，损失函数是基于夜晚监控近红外场景图像与生成的彩色近红外图像之间的对抗博弈；损失函数是基于白天监控可见光场景图像与生成的近红外图像之间的对抗博弈；重构损失是重构图像与原始图像的内容损失，代表超参数用于控制几个损失之间的权重。

8.根据权利要求7所述的夜晚监控相机的近红外图像彩色化方法，其特征在于，采用对抗损失、重建损失构建的总损失进行网络训练具体包括：

将夜晚近红外灰度图像的训练样本集送入生成器中，生成彩色近红外图像,将彩色近红外图像送入鉴别器中，夜晚近红外灰度图像对抗损失如下：

；

式中，为夜晚近红外灰度图像的训练样本集的对抗损失，表示色彩可见光图像的期望值，B表示夜晚近红外灰度图像域，C表示白天可见光图像域，为夜晚近红外图像的期望值，指夜晚近红外灰度图像的训练样本集输入至生成器的结果，该结果为；是；输入至鉴别器的结果；

将白天可见光彩色图像的训练样本集送入生成器中，生成近红外可见光彩色图像,将送入鉴别器中，其白天可见光彩色图像对抗损失如下：

；

式中，为白天可见光彩色图像的训练样本集的对抗损失；为夜晚近红外图像的期望值；为彩色可见光图像的期望值；为白天可见光图像的训练样本集输入至生成器的结果，该结果为；是输入至鉴别器的结果；

将送入生成器中生成后，将送至生成器中生成重构图像，计算重构图像与逐像素的差异值，并减少两者图像间的损失；将送入生成器中生成后，将送至生成器中生成重构图像，计算重构图像与逐像素的差异值，并减少两者图像间的损失；重构损失如下：

；

式中，为重构损失；为夜晚近红外灰度图像的训练样本集输入至生成器生成，后将输入至生成器中，即，也就是；代表夜晚近红外灰度图像的训练样本集；c为白天可见光图像的训练样本集；

指白天可见光图像的训练样本集输入至生成器生成，即指代为式中；后将输入至生成器中，即，也就是；

总损失是由的对抗损失、的对抗损失及重构损失加权组成，如下：

；

式中，：总损失函数；夜晚近红外灰度图像的训练样本集的对抗损失；白天可见光彩色图像的训练样本集的对抗损失；

重构损失；将送入生成器中生成后，将送至生成器中生成重构图像，计算重构图像与逐像素的差异值，并减少两者图像间的损失；将送入生成器中生成后，将送至生成器中生成重构图像，计算重构图像与逐像素的差异值，并减少两者图像间的损失。

9.一种实施权利要求1-8任意一项所述夜晚监控相机的近红外图像彩色化方法的夜晚监控相机的近红外图像彩色化系统，其特征在于，该系统包括：

数据集建立模块，用于利用监控相机，在白天采集可见光彩色图像，在夜晚采集近红外灰度图像，分别建立夜晚近红外灰度图像的训练样本集和测试样本集，白天可见光彩色图像的训练样本集和测试样本集；

双向循环生成对抗网络构建及训练模块，用于构建双向循环生成对抗网络并进行训练，所述双向循环生成对抗网络包含两个生成器和两个鉴别器；其中，生成器由三个下采样模块、四个多尺度自适应特征融合模块、Octave卷积模块、六个残差模块、三个上采样模块组成，鉴别器由常规卷积模块、梯度归一化层模块组成；所述两个生成器为夜晚近红外灰度图像到白天可见光彩色图像的生成器和白天可见光彩色图像到夜晚近红外灰度图像的生成器；所述两个鉴别器为近红外灰度图像鉴别器和可见光彩色图像鉴别器；

双向循环生成对抗网络应用模块，用于将待测试的测试样本集输入到训练好的双向循环生成对抗网络中，输出最终的彩色结果；同时，将待测试的测试样本集输入到训练好的双向循环生成对抗网络中，输出最终的近红外结果。

10.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行权利要求1-8任意一项所述夜晚监控相机的近红外图像彩色化方法。

Images