CN110111269B - 基于多尺度上下文聚合网络的低照度成像算法及装置 - Google Patents

Abstract

本发明公开了一种基于多尺度上下文聚合网络的低照度成像算法及装置，该算法包括：对原始图像进行打包变换像素通道的预处理；步骤102：利用步骤101中预处理的图像进行CAN网络的数据训练；步骤103：通过训练后的CAN网络对采集到的低照度图像进行处理，并对处理后的图像进行快速宽动态处理，并输出最终图像，其中所述快速宽动态处理步骤包括：将一帧视频图像分为高光部分和低光部分，对高光部分和低光部分分别进行调整。本发明提出的算法效率较高，能够提高信噪比，增强显示图像细节，很好地还原低照度成像图像的细节部分，提高低照度图像亮度，使视频图像能在低照度环境下快速清晰成像。

Description

基于多尺度上下文聚合网络的低照度成像算法及装置

技术领域

本发明涉及计算机视觉技术领域，具体为一种基于多尺度上下文聚合网络的低照度成像算法及装置。

背景技术

大多数室外视觉系统，如视频监控、目标识别和卫星遥感监测等，都需要获取清晰的图像特征。但是在低照度条件下(如夜间等环境)，由于场景的照度低(光信号微弱)，导致能见度低，所观察的景物信号非常微弱，图像成像质量低，目标模糊不清，尤其在图像经过存储、转换、传输等操作后，更进一步降低了低照度图像的质量，使成像系统无法正常工作。因此，研究如何对低照度图像进行有效处理，降低光信号弱的环境对成像系统的影响具有重要研究价值。

低照度下获取的图像灰度范围窄、灰度变化不明显，且相邻像素的空间关联性高，这些特点使得图像中的细节、背景和噪声等都包含在较窄的灰度范围之内。因此为了改善低照度下获取的图像的视觉效果，将其转换为一种更适于人眼观察和计算机处理的形式，便于提取有用信息，需要对被拍摄物在低照度下的成像进行处理。

近年来，基于深度学习的图像复原研究得到了广泛关注，但现存算法，主要针对可见光图像，且退化图像一般通过人为添加噪声进行模拟，并不能反映真实图像地退化特性，因此不能够直接应用于超低照度下微光图像复原。

发明内容

本发明的目的在于提供一种基于多尺度上下文聚合网络的低照度成像算法及装置，以解决现有技术中低照度下成像质量不高，细节显示不清楚的问题。

为实现上述目的，本发明提供的一种基于多尺度上下文聚合网络的低照度成像算法，包括：

步骤101：对原始图像进行打包变换像素通道的预处理；

步骤102：利用步骤101中预处理的图像进行CAN网络的数据训练；

步骤103：通过训练后的CAN网络对采集到的低照度图像进行处理，并对处理后的图像进行快速宽动态处理，并输出最终图像，其中所述快速宽动态处理步骤包括：将一帧视频图像分为高光部分和低光部分，对高光部分和低光部分分别进行调整，对低光部分进行调整采用的算法公式为：

其中，Y₂为低光补偿部分的值，k为预设的低光补偿参数，I为输入的视频图像的像素值，Y₁为预处理部分输入的视频图像的修正值；

对高光部分进行调整采用的算法公式为：

其中，α为高光部分调节参数，参数范围一般为0.7～1，Max a为视频图像的像素最大值；

经过校正后输出的宽动态视频图像为：

其中，Y为宽动态算法处理后最终系统输出的视频图像。

优选地，所述步骤101包括：

对于Bayer数组，将输入打包为四个通道并在每个通道上将空间分辨率降低一半；对于X-Trans数组，通过交换相邻通道元素的方法将36个通道的数组打包成9个通道；消除黑色像素并按照期望的倍数缩放数据，并将处理后数据作为前端数据输入，输出是一个带12通道的图像，其空间分辨率只有输入的一半。

优选地，CAN网络对原始数据训练的公式如下所示：

其中，

是s层L^s的第i个特征层，*rs代表空洞卷积操作，/>

代表3×3的卷积核，

是偏置项，ψ^s是自适应的归一化函数，φ是像素级的非线性单元LReLU：φx＝maxαx,x)，其中α取的是0.2。

优选地，在CAN网络训练过程中，采用均方误差作为损失函数进行训练。

优选地，所述步骤102中的数据训练包括：

在训练CAN网络中使用Adam优化器，从零开始训练，在训练期间，网络输入是原始的短曝光图像，在sRGB空间中的真实数据是相应的长曝光时间图像，为每台相机训练一个网络，并将原始图像和参考图像之间曝光时间的倍数差作为放大因子。

优选地，所述步骤102中的数据训练还包括：

在每次训练迭代中，随机裁剪一个512×512的补丁用于训练并利用翻转、旋转操作来随机增强数据，初始学习率设定为0.0001，在2000次迭代后学习率降为0.00001，训练一共进行4000次迭代。

为实现上述目的，本发明提供一种计算机装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如上述任一项所述的基于多尺度上下文聚合网络的低照度成像算法的步骤。

与现有技术相比，本发明的有益效果是：步骤简单，能直接处理原始传感器的数据，是一种端到端的深度学习算法。本发明算法效率较高，能够提高信噪比，增强显示图像细节，很好地还原低照度成像图像的细节部分，提高低照度图像亮度，使视频图像能在低照度环境下快速清晰成像。

附图说明

图1为一种基于多尺度上下文聚合网络的低照度成像算法的流程示意图；

图2为一种基于多尺度上下文聚合网络的低照度成像算法中的CAN网络结构示意图；

图3为一种基于多尺度上下文聚合网络的低照度成像算法中的低照度图像处理前后的对比图一；

图4为一种基于多尺度上下文聚合网络的低照度成像算法中的低照度图像处理前后的对比图二。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，本发明提供一种基于多尺度上下文聚合网络的低照度成像算法，具体包括以下步骤：

步骤101：原始图像预处理：打包变换像素通道，处理成更适合FCN训练输入的像素图像；

对于Bayer数组，Bayer格式是相机内部的原始图片，一般后缀名为.raw，一般bayer格式的图片绿色格式的像素是r和g像素的和，将输入打包为四个通道并在每个通道上将空间分辨率降低一半。具体通过现有公开的程序库处理，程序库为RAWPY，去读取转换图像数据。对于X-Trans数组，原始数据以6×6排列块组成，通过交换相邻通道元素的方法将36个通道的数组打包成9个通道。此外，消除黑色像素并按照期望的倍数缩放数据(例如，×100或×300)。将处理后数据作为前端数据，输出是一个带12通道的图像，其空间分辨率只有输入的一半。

经过处理之后图像的数据量变小，同时不影响图像细节，有利于后续卷积处理。

步骤S102：基于深度学习的CAN网络的图像处理：进行原始数据训练。

图2为CAN网络结构图表。圆圈表示非线性函数LReLU。除了第一层和最后一层是三个通道外，其余均是多个通道，倒数第二层使用1X1的卷积，无非线性转化，得到最后的一层。其核心部分具体公式如下所示：

其中，

是s层L^s的第i个特征层，*rs代表空洞卷积操作，/>

代表3×3的卷积核，

是偏置项，ψ^s是自适应的归一化函数，φ是像素级的非线性单元LReLU：φx＝maxαx,x)。其中α取的是0.2。

基于CAN结构训练的时候，需要输入图片对，进行有监督训练，用了很多Loss函数训练，最后发现在实际过程中均方误差才是最好的。损失函数公式如下：

在建立好CAN结构后，开始进行数据训练。本发明算法在训练CAN网络中使用Adam优化器，从零开始训练。在训练期间，网络输入是原始的短曝光图像，在sRGB空间中的真实数据是相应的长曝光时间图像。本算法为每台相机训练一个网络，并将原始图像和参考图像之间曝光时间的倍数差作为我们的放大因子(例如，×100，×250，或×300)。在每次训练迭代中，随机裁剪一个512×512的补丁用于训练并利用翻转、旋转等操作来随机增强数据。初始学习率设定为0.0001，在2000次迭代后学习率降为0.00001，训练一共进行4000次迭代。

基于相应数据库训练模型完成后，每次输入预处理处理后的低照度Bayer图像，则输出对应的sRGB空间结果图像。

步骤103：对上述处理后的图像进行快速宽动态处理，进一步提高低照度视频图像的还原度和图像质量，并输出最终图像。具体方法如下所示：

本部分发明用改进的局部算法来对待处理图像进行宽动态处理。将一帧视频图像分为两个情况：高光部分，低光部分。针对如此分类，本发明分别采用不同参数，对各个部分进行调整，一起达到视频图像宽动态的效果。低光部分采用的低光补偿算法公式如下：

其中，Y₂为低光补偿部分的值，k为低光补偿参数，通常根据系统需求自行设定，I为输入的视频图像的像素值，Y₁为预处理部分输入的视频图像的修正值。

高光部分的算法公式如下：

其中α为高光部分调节参数，来调节最大值，参数范围一般为0.7～1，Max a为视频图像的像素最大值。

最终，经过校正后输出的宽动态视频图像为：

Y＝Y₂+Y₃

也即，

Y为宽动态算法处理后最终系统输出的视频图像。

图3和图4为两组低照度图像处理前后的对比图，可以发现本发明算法在增强图像对比度的同时更多的保留了场景细节信息，且图像亮度有明显提升，是一种高效的基于深度学习的低照度成像算法。

本发明中提出的方法实际上可嵌入FPGA实现，开发具有实时低照度成像功能的相机或摄像机。

与现有技术相比，本发明的有益效果是：步骤简单，能直接处理原始传感器的数据，是一种端到端的深度学习算法。本发明算法效率较高，能够提高信噪比，增强显示图像细节，很好地还原低照度成像图像的细节部分，提高低照度图像亮度，使视频图像能在低照度环境下快速清晰成像。

本发明还提供一种计算机装置，在一实施例中，该计算机装置包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任一实施例中的基于多尺度上下文聚合网络的低照度成像算法的步骤。可以理解，该计算机装置可以为电视、IPAD、PC、手机等。

在本说明书的描述中，参考术语“一实施例”、“另一实施例”、“其他实施例”、或“第一实施例～第X实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料、方法步骤或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。

Claims (4)

1.一种基于多尺度上下文聚合网络的低照度成像算法，其特征在于：包括：

步骤101：对原始图像进行打包变换像素通道的预处理；包括：对于Bayer数组，将输入打包为四个通道并在每个通道上将空间分辨率降低一半；对于X-Trans数组，通过交换相邻通道元素的方法将36个通道的数组打包成9个通道；消除黑色像素并按照期望的倍数缩放数据，并将处理后数据作为前端数据输入，输出是一个带12通道的图像，其空间分辨率只有输入的一半；

步骤102：利用步骤101中预处理的图像进行CAN网络的数据训练，包括：在训练CAN网络中使用Adam优化器，从零开始训练，在训练期间，网络输入是原始的短曝光图像，在sRGB空间中的真实数据是相应的长曝光时间图像，为每台相机训练一个网络，并将原始图像和参考图像之间曝光时间的倍数差作为放大因子；基于相应数据库训练模型完成后，每次输入预处理处理后的低照度Bayer图像，则输出对应的sRGB空间结果图像；

步骤103：通过训练后的CAN网络对采集到的低照度图像进行处理，并对处理后的图像进行快速宽动态处理，并输出最终图像，其中所述快速宽动态处理步骤包括：将一帧视频图像分为高光部分和低光部分，对高光部分和低光部分分别进行调整，对低光部分进行调整采用的算法公式为：

，

其中，Y₂为低光补偿部分的值，k为预设的低光补偿参数，I为输入的视频图像的像素值，Y₁为预处理部分输入的视频图像的修正值；

对高光部分进行调整采用的算法公式为：

，

其中，Y₃为高光补偿部分的值，α为高光部分调节参数，参数范围为0.7～1，Max a为视频图像的像素最大值；

经过校正后输出的宽动态视频图像为：

其中，Y为宽动态算法处理后最终系统输出的视频图像；

其中，CAN网络训练的公式如下所示：

其中，

是s层L^s的第i个特征层，*r_s代表空洞卷积操作，/>

代表3×3的卷积核，/>

是偏置项，ψ^s是自适应的归一化函数，φ是像素级的非线性单元LReLU：φ(x)＝max(αx,x)，其中α取的是0.2。

2.如权利要求1所述的一种基于多尺度上下文聚合网络的低照度成像算法，其特征在于：采用均方误差作为损失函数进行训练。

3.如权利要求2所述的一种基于多尺度上下文聚合网络的低照度成像算法，其特征在于：所述步骤102中的数据训练还包括：

在每次训练迭代中，随机裁剪一个512×512的补丁用于训练并利用翻转、旋转操作来随机增强数据，初始学习率设定为0.0001，在2000次迭代后学习率降为0.00001，训练一共进行4000次迭代。

4.一种计算机装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至3中任一项所述的基于多尺度上下文聚合网络的低照度成像算法的步骤。

Images