CN117274107B - 低照度场景下端到端色彩及细节增强方法、装置及设备 - Google Patents

Abstract

本发明涉及图像处理技术领域，提出了一种低照度场景下端到端色彩及细节增强方法、装置及设备，其中，所述方法包括：获取低照度复杂动态图像，利用预先构建的多分支增强框架对低照度复杂动态图像进行色彩及细节信息增强处理，得到正常照度图像；对正常照度图像进行图像特征长距离信息提取及整合，得到复杂动态图像特征；对复杂动态图像特征进行图像还原，得到全彩夜视图像。本发明可以解决低照度场景下拍摄图像时存在成像对比度差、能见度低、色彩失真、曝光过度及高噪声等问题，进而提高在图像色彩及细节增强时的效果。

Description

低照度场景下端到端色彩及细节增强方法、装置及设备

技术领域

本发明涉及图像处理技术领域，尤其涉及一种低照度场景下端到端色彩及细节增强方法、装置及设备。

背景技术

在现代社会中，图像是信息传递的重要方式之一，然而，在光照不足或逆光等环境下所采集到的图像往往会出现对比度低、噪声高、图像细节模糊等问题，这些问题不仅会降低图像的视觉体验，也会在进行图像分类、目标检测和跟踪等计算机视觉任务时造成算法性能下降。传统的低照度图像增强方法包括以下两种问题：一是通过调整图像的直方图来提升图像的整体和局部亮度，容易造成局部亮度多度或不足的问题；二是在低照度场景下由于抵达成像设备的光子数量有限，捕获的图像往往会表现出高噪声、低可见度以及色彩偏差等问题。综上，现存技术中存在低照度场景下拍摄图像时存在成像对比度差、能见度低、色彩失真、曝光过度及高噪声等问题，进而导致在图像色彩及细节增强时效果较差的问题。

发明内容

本发明提供一种低照度场景下端到端色彩及细节增强方法、装置及设备，其主要目的在于解决在图像色彩及细节增强时效果较差的问题。

为实现上述目的，本发明提供了一种低照度场景下端到端色彩及细节增强方法，包括：获取低照度复杂动态图像，利用预先构建的多分支增强框架对低照度复杂动态图像进行色彩及细节信息增强处理，得到正常照度图像；对正常照度图像进行图像特征长距离信息提取及整合，得到复杂动态图像特征；对复杂动态图像特征进行图像还原，得到全彩夜视图像。

本发明还提供了一种低照度场景下端到端色彩及细节增强装置，该装置包括：色彩及细节增强模块，用于获取低照度复杂动态图像，利用预先构建的多分支增强框架对低照度复杂动态图像进行色彩及细节信息增强处理，得到正常照度图像；信息提取及整合模块，用于对正常照度图像进行图像特征长距离信息提取及整合，得到复杂动态图像特征；图像还原模块，用于对复杂动态图像特征进行图像还原，得到全彩夜视图像。

本发明还提供了一种电子设备，该电子设备包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的计算机程序，计算机程序被至少一个处理器执行，以使至少一个处理器能够执行上述的低照度场景下端到端色彩及细节增强方法。

本发明实施例通过多分支增强框架对低照度复杂动态图像进行色彩及细节信息增强处理，能够准确得到正常照度图像，从像素、空间、通道三个维度上整合建模低照度复杂动态图像特征信息，在高效增强图像像素级色彩的同时，有效恢复图像纹理细节，提高了图像可视化质量、图像能见度、图像清晰度及图像细节信息、边缘信息；通过对正常照度图像进行图像特征长距离信息提取及整合，能够精确得到复杂动态图像特征，有效去除因增强放大的图像噪声干扰，提高色彩及细节增强后的复杂动态图像特征清晰度；通过对复杂动态图像特征进行图像还原，能够有效还原全彩夜视图像，恢复图像色彩，提高了在图像色彩及细节增强时的效果。因此本发明提出的低照度场景下端到端色彩及细节增强方法、装置及设备，可以解决在图像色彩及细节增强时效果较差的问题。

附图说明

图1为本发明一实施例提供的低照度场景下端到端色彩及细节增强方法的流程示意图；

图2为本发明一实施例提供的残差式焦点稀疏卷积层的具体结构示意图；

图3为本发明一实施例提供的色彩感知信息增强模块的具体结构示意图；

图4为本发明一实施例提供的多尺度特征融合模块的具体结构示意图；

图5为本发明一实施例提供的级联特征细化模块的具体结构示意图；

图6为本发明一实施例提供的特征整合块的具体结构示意图；

图7为本发明一实施例提供的空间感知图像复原头的具体结构示意图；

图8为本发明一实施例提供的多分支增强框架的具体结构示意图；

图9为本发明一实施例提供的低照度场景下端到端色彩及细节增强装置的功能模块图；

图10为本发明一实施例提供的实现低照度场景下端到端色彩及细节增强方法的电子设备的结构示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

为解决现有技术中提供的低照度场景下端到端色彩及细节增强方法所存在的低照度场景下拍摄图像时存在成像对比度差、能见度低、色彩失真、曝光过度及高噪声等问题，进而导致在图像色彩及细节增强时效果较差的问题，本发明一实施例提供了一种低照度场景下端到端色彩及细节增强方法，该方法为一种新型低照度场景下基于轻量级深度学习网络的端到端色彩及细节增强方法。

参照图1所示，为本申请一实施例提供的低照度场景下端到端色彩及细节增强方法的流程示意图。在本实施例中，低照度场景下端到端色彩及细节增强方法包括：

S1、获取低照度复杂动态图像，利用预先构建的多分支增强框架对低照度复杂动态图像进行色彩及细节信息增强处理，得到正常照度图像。

在一个实施例中，低照度复杂动态图像指的是利用智能边缘视觉相机采集低照度场景下的复杂动态图像。

在一个实施例中，多分支增强框架指的是一种新型低照度复杂动态图像多分支递归式色彩及细节增强框架，具体地，综合考量低照度复杂动态环境下照明不足和人造光源的影响，采用多分支递归式网络从像素、空间、通道三个维度上整合建模低照度复杂动态图像特征信息，在高效增强图像像素级色彩的同时，有效恢复图像纹理细节，从而获得鲁棒全彩夜视图像。

具体地，多分支增强框架包括像素级色彩增强分支、空间级细节增强分支、通道级细节增强分支、焦点稀疏自注意力网络以及空间感知图像复原头，其中，像素级色彩增强分支由自适应像素级色彩增强网络构成；空间级细节增强分支由多尺度空间级细节增强网络构成；通道级细节增强分支由级联式通道级细节增强网络构成。

进一步地，自适应像素级色彩增强网络指的是一种新型自适应像素级色彩增强网络（Adaptive Pixel-Color Enhancement Network, APEN），可以有效利用低照度复杂动态图像像素级特征信息增强图像色彩，提高图像可视化质量，通过将图像对比度引入色彩增强过程，确定低照度复杂动态图像不同局部光照条件分布，从而根据明暗程度自适应实现不同程度色彩增强效果。

在一个实施例中，多尺度空间级细节增强网络指的是一种新型多尺度空间级细节增强网络（Multi-Scale Spatial-Detail Enhancement Network, MSEN），可以充分利用不同大小感受野获得的不同局部区域图像信息，提取多尺度低照度复杂动态图像鲁棒空间特征，显著关注到低照度复杂动态图像中不同尺寸物体及其分布，从而根据照明情况有效增强低照度复杂动态图像中所含物体细节及边缘信息。

在一个实施例中，级联式通道级细节增强网络指的是一种新型级联式通道级细节增强网络（Cascaded Channel-Detail Enhancement Network, CCEN），可以有效捕捉实际场景下低照度复杂动态图像通道特征，逐步恢复图像通道维度细节信息，通过级联方式进行多层级低照度复杂动态图像通道特征增强，在多层次图像特征上建模通道级细节信息，从而学习低照度图像到正常光照图像通道细节映射，以实现低照度复杂动态图像通道级细节增强效果。

在一个实施例中，基于经典的Retinex理论，即人眼观察到的RGB三通道彩色图像可以分解为照度分量和反射分量，具体地，低照度复杂动态图像可以分解为：

其中，表示低照度复杂动态图像，/>表示低照度复杂动态图像对应的照度分量，/>表示低照度复杂动态图像对应的反射分量；具体地，照度分量与环境光照及曝光条件等有关；反射分量反应物体的本身属性，且不受环境光照及曝光条件的影响；因此，多分支增强框架的任务为根据低照度复杂动态图像预测反射分量，即为增强后的图像结果（全彩夜视图像），进而可以进一步为后续低照度场景下高维计算机视觉任务提供鲁棒图像特征。

在一个实施例中，利用预先构建的多分支增强框架对低照度复杂动态图像进行色彩及细节信息增强处理，得到正常照度图像，包括：利用多分支增强框架中的像素级色彩增强分支对低照度复杂动态图像进行图像色彩增强处理，得到增强复杂动态图像；利用多分支增强框架中的空间级细节增强分支对增强复杂动态图像进行细节信息增强处理，得到细节复杂动态图像；利用多分支增强框架中的通道级细节增强分支对细节复杂动态图像进行多层级图像特征增强处理，得到正常照度图像。

在一个实施例中，利用多分支增强框架中的像素级色彩增强分支对低照度复杂动态图像进行图像色彩增强处理，得到增强复杂动态图像，包括：获取像素级色彩增强分支中的自适应像素级色彩增强网络，其中，自适应像素级色彩增强网络包括色彩感知信息增强模块、残差式焦点稀疏卷积层及卷积层；利用残差式焦点稀疏卷积层对低照度复杂动态图像进行特征提取，得到低照度复杂动态图像像素特征；利用色彩感知信息增强模块对低照度复杂动态图像像素特征进行色彩增强处理，得到复杂光照条件分布图像；根据预设的第一公式利用残差式焦点稀疏卷积层及卷积层对复杂光照条件分布图像进行图像信息整合，得到增强复杂动态图像。

在一个实施例中，残差式焦点稀疏卷积层表示一种新型残差式焦点稀疏卷积，残差式焦点稀疏卷积层包括焦点稀疏卷积、深度可分离卷积、1×1卷积以及恒等映射，保持了参数的统一性，并利用残差结构减少低维特征信息的损失，最后通过卷积操作整合特征信息，能够在降低模型参数量同时保持模型性能上有着巨大优势，其中，残差式焦点稀疏卷积层的具体结构示意图如图2所示。

在一个实施例中，自适应像素级色彩增强网络通过将图像对比度引入图像色彩增强过程，确定低照度复杂动态图像不同局部光照条件分布，从而根据照明强度大小自适应实现不同程度色彩增强效果，能够有效利用低照度复杂动态图像像素级特征信息增强图像色彩，提高图像可视化质量。

在一个实施例中，利用残差式焦点稀疏卷积层对低照度复杂动态图像进行特征提取，得到低照度复杂动态图像像素特征，包括：利用残差式焦点稀疏卷积层对低照度复杂动态图像进行焦点稀疏卷积处理，得到稀疏卷积动态图像特征；对稀疏卷积动态图像特征进行深度可分离卷积及卷积处理，得到低照度复杂动态图像像素特征。

具体地，残差式焦点稀疏卷积层表示为：

其中，表示低照度复杂动态图像像素特征，/>表示低照度复杂动态图像，/>表示稀疏卷积动态图像特征，/>表示焦点稀疏卷积，/>表示深度可分离卷积，表示1×1卷积。

在一个实施例中，色彩感知信息增强模块指的是一种新型色彩感知信息增强模块（Color-Aware Information Enhancement Module, CIEM），能够将低照度复杂动态图像对比度信息引入到色彩感知信息推理建模过程，可有效处理低照度复杂动态图像中因诸多点光源、块光源等局部对比度大带来的非平衡全彩增强问题，以提升低照度复杂动态图像像素级色彩增强鲁棒性，提高图像能见度，其中，色彩感知信息增强模块的具体结构示意图如图3所示。

在一个实施例中，利用色彩感知信息增强模块对低照度复杂动态图像像素特征进行色彩增强处理，得到复杂光照条件分布图像，包括：利用色彩感知信息增强模块对低照度复杂动态图像像素特征进行残差式焦点稀疏卷积处理，得到卷积复杂动态图像像素特征；对卷积复杂动态图像像素特征分别进行最大池化处理及平均池化处理，得到初始池化动态图像像素特征及池化动态图像像素特征；对卷积复杂动态图像像素特征进行对比度计算，得到复杂动态图像对比度信息；对卷积复杂动态图像像素特征、初始池化动态图像像素特征、池化动态图像像素特征及复杂动态图像对比度信息进行整合计算，得到初始复杂光照条件分布图像；对初始复杂光照条件分布图像及低照度复杂动态图像像素特征进行加和计算，得到复杂光照条件分布图像。

在一个实施例中，色彩感知信息增强模块表示为：

其中，表示复杂光照条件分布图像，/>表示低照度复杂动态图像像素特征，/>表示卷积复杂动态图像像素特征，/>表示初始池化动态图像像素特征，/>表示池化动态图像像素特征，/>表示复杂动态图像对比度信息，/>表示初始复杂光照条件分布图像，表示残差式焦点稀疏卷积，/>表示最大值池化，/>表示平均值池化，/>表示对比度计算，/>表示自适应权重，/>表示Tanh激活函数，表示Softmax激活函数，/>表示连接操作。

在一个实施例中，色彩感知信息增强模块能够解决实际场景中低照度复杂动态图像因局部点光源和块光源造成色彩对比度差异大带来的非平衡色彩增强问题，通过将低照度复杂动态图像对比度信息引入到色彩感知信息推理建模过程，能够有效获取图像局部照明强度大小，从而自适应采用色彩增强权重针对性增强低照度复杂动态图像像素级色彩，高效提升图像清晰度；此外，还采用Tanh激活函数有效捕捉图像中所含点光源及块光源与周围像素级色彩信息之间复杂非线性关系，采用Softmax激活函数确保色彩增强结果的归一化，从而显著提高模块处理包含复杂光照条件分布图像的性能及鲁棒性。

在一个实施例中，根据预设的第一公式利用残差式焦点稀疏卷积层及卷积层对复杂光照条件分布图像进行图像信息整合，得到增强复杂动态图像，包括：第一公式表示为：

其中，表示增强复杂动态图像，/>表示复杂光照条件分布图像，/>表示残差式焦点稀疏卷积，/>表示1×1卷积，/>表示色彩感知信息增强模块。

在一个实施例中，利用多分支增强框架中的空间级细节增强分支对增强复杂动态图像进行细节信息增强处理，得到细节复杂动态图像，包括：获取空间级细节增强分支中的多尺度空间级细节增强网络，其中，多尺度空间级细节增强网络包括多尺度特征融合模块、残差式焦点稀疏卷积层及卷积层；利用残差式焦点稀疏卷积层对增强复杂动态图像进行空间特征提取，得到空间复杂动态图像特征；利用多尺度特征融合模块对空间复杂动态图像特征进行多尺度特征融合，得到多尺度融合图像特征；根据预设的第二公式利用残差式焦点稀疏卷积层及卷积层对多尺度融合图像特征进行图像信息整合，得到细节复杂动态图像。

在一个实施例中，级联式通道级细节增强网络指的是一种新型多尺度特征融合模块（Multi-Scale Feature Fusion Module, MFFM），其可有效感知低照度复杂动态图像不同局部区域多尺度物体分布，对输入低照度复杂动态图像特征进行多感受野特征信息整合，从而高效恢复低照度复杂动态图像中所含物体细节和边缘信息，以提升低照度复杂动态图像清晰度，其中，多尺度特征融合模块的具体结构示意图如图4所示，包含多尺度特征融合模块MFFM、残差式焦点稀疏卷积RFSConv及1×1卷积。

在一个实施例中，利用多尺度特征融合模块对空间复杂动态图像特征进行多尺度特征融合，得到多尺度融合图像特征，包括：利用多尺度特征融合模块对空间复杂动态图像特征进行残差式焦点稀疏卷积处理，得到空间卷积动态图像特征；对空间卷积动态图像特征进行非对称卷积处理，得到第一对称卷积特征、第二对称卷积特征及第三对称卷积特征；对空间卷积动态图像特征进行全局平均池化处理，得到第一池化空间卷积动态图像特征；对空间卷积动态图像特征进行全局最大池化处理，得到第二池化空间卷积动态图像特征；对第一对称卷积特征、第二对称卷积特征、第三对称卷积特征、第一池化空间卷积动态图像特征及第二池化空间卷积动态图像特征进行多尺度特征融合处理，得到初始融合图像特征；对初始融合图像特征及空间复杂动态图像特征进行整合计算，得到多尺度融合图像特征。

在一个实施例中，多尺度特征融合模块表示为：

其中，表示多尺度融合图像特征，/>表示空间复杂动态图像特征，/>表示空间卷积动态图像特征，/>表示第一对称卷积特征，/>表示第二对称卷积特征，/>表示第三对称卷积特征，/>表示第一池化空间卷积动态图像特征，/>表示第二池化空间卷积动态图像特征，/>表示初始融合图像特征，/>表示残差式焦点稀疏卷积，表示非对称卷积，/>表示全局平均池化，/>表示全局最大池化，/>表示连接操作，/>表示1×1卷积。

在一个实施例中，多尺度特征融合模块对输入特征进行多感受野信息整合，利用残差式焦点稀疏卷积RFSConv代替传统卷积，降低参数量，在实现轻量化的同时由于重点关注图像中所含物体语义和边缘信息提高性能，利用全局平均池化和全局最大池化操作关注低照度复杂动态图像特征全局空间级细节信息，利用多感受野非对称卷积关注低照度复杂动态图像特征局部空间级细节信息，从而高效恢复低照度复杂动态图像中所含物体细节和边缘信息，以提升低照度复杂动态图像清晰度，能够有效感知低照度复杂动态图像不同局部区域多尺度物体分布，增强图像空间级细节信息。

在一个实施例中，根据预设的第二公式利用残差式焦点稀疏卷积层及卷积层对多尺度融合图像特征进行图像信息整合，得到细节复杂动态图像，包括：第二公式表示为：

其中，表示细节复杂动态图像，/>表示多尺度融合图像特征，/>表示残差式焦点稀疏卷积，/>表示1×1卷积，/>表示多尺度特征融合模块。

在一个实施例中，多尺度空间级细节增强网络针对低照度复杂动态图像不同尺寸物体进行有效细节信息增强，充分利用不同大小感受野获得的不同局部区域图像信息，提取多尺度低照度复杂动态图像鲁棒空间级特征，显著关注到低照度复杂动态图像中不同尺寸物体及其分布，从而根据照明情况有效增强低照度复杂动态图像中所含物体细节及边缘信息。

在一个实施例中，利用多分支增强框架中的通道级细节增强分支对细节复杂动态图像进行多层级图像特征增强处理，得到正常照度图像，包括：获取通道级细节增强分支中的级联式通道级细节增强网络，其中，级联式通道级细节增强网络包括级联特征细化模块、残差式焦点稀疏卷积层及卷积层；利用残差式焦点稀疏卷积层对细节复杂动态图像进行通道特征提取，得到通道复杂动态图像特征；利用级联特征细化模块对通道复杂动态图像特征进行级联通道特征细化处理，得到细化动态图像特征；根据预设的第三公式利用残差式焦点稀疏卷积层及卷积层对细化动态图像特征进行图像信息整合，得到正常照度图像。

在一个实施例中，级联特征细化模块指的是一种新型级联特征细化模块（Cascaded Feature Refinement Module, CFRM），通过级联多个卷积层实现逐级精炼低照度复杂动态图像通道特征，其中，浅层次卷积层用于增强低级通道特征细节信息，而深层次卷积层则能够更好捕捉高级通道特征细节信息；此外，自上而下和自下而上特征融合策略可进一步降低原始图像通道特征细节信息丢失，其中，级联特征细化模块的具体结构示意图如图5所示。

在一个实施例中，利用级联特征细化模块对通道复杂动态图像特征进行级联通道特征细化处理，得到细化动态图像特征，包括：利用级联特征细化模块对通道复杂动态图像特征进行三层残差式焦点稀疏卷积处理，得到第一通道卷积动态图像特征、第二通道卷积动态图像特征及第三通道卷积动态图像特征；对第二通道卷积动态图像特征及第三通道卷积动态图像特征进行初始正则化处理，得到第一正则动态图像特征；对第一正则动态图像特征及第一通道卷积动态图像特征进行正则化处理，得到第二正则动态图像特征；对第一正则动态图像特征进行残差式焦点稀疏卷积处理，得到第一正则卷积动态图像特征；对第一正则卷积动态图像特征及第二正则动态图像特征进行整合计算，得到第一整合图像特征；对第一正则卷积动态图像特征进行残差式焦点稀疏卷积处理，得到第二正则卷积动态图像特征；对第二正则卷积动态图像特征及第三通道卷积动态图像特征进行整合计算，得到第二整合图像特征；对第一整合图像特征、第二正则卷积动态图像特征及第二整合图像特征进行细节整合计算，得到细化动态图像特征。

在一个实施例中，级联特征细化模块表示为：

其中，表示细化动态图像特征，/>表示通道复杂动态图像特征，/>表示第一通道卷积动态图像特征，/>表示第二通道卷积动态图像特征，/>表示第三通道卷积动态图像特征，/>表示第一正则动态图像特征，/>表示第二正则动态图像特征，/>表示第一正则卷积动态图像特征，/>表示第一整合图像特征，/>表示第二正则卷积动态图像特征，/>表示第二整合图像特征，/>表示残差式焦点稀疏卷积，/>表示调整尺寸操作，/>表示正则化操作。

在一个实施例中，级联特征细化模块CFRM有效增强低照度复杂动态图像不同深度通道特征，采用新型残差式焦点稀疏卷积和级联结构捕捉不同层级图像通道特征细节，具体地，通过级联多个卷积层实现逐级精炼低照度复杂动态图像通道特征；高层次图像特征基于低层次图像特征进行进一步改进和细化，从而提高对通道级细节信息关注程度；浅层次卷积层用于增强低级通道特征细节信息，而深层次卷积层则能够更好捕捉高级通道特征细节信息；此外，自上而下和自下而上特征融合策略可进一步降低原始图像通道特征细节信息丢失。

在一个实施例中，根据预设的第三公式利用残差式焦点稀疏卷积层及卷积层对细化动态图像特征进行图像信息整合，得到正常照度图像，包括：第三公式表示为：

其中，表示正常照度图像，/>表示细化动态图像特征，/>表示残差式焦点稀疏卷积，/>表示1×1卷积，/>表示级联特征细化模块。

在一个实施例中，级联式通道级细节增强网络能够有效捕捉实际场景下低照度复杂动态图像通道特征，逐步恢复图像通道维度细节信息，通过级联方式进行多层级低照度复杂动态图像特征增强，从而能够关注到从低级到高级的多层次图像信息，在多个级别上建模通道级细节信息，从而学习低照度图像到正常光照图像通道细节映射，以实现低照度复杂动态图像通道级细节增强效果。

S2、对正常照度图像进行图像特征长距离信息提取及整合，得到复杂动态图像特征。

在一个实施例中，焦点稀疏自注意力网络指的是一种新型焦点稀疏自注意力网络（Focal Sparse Self-Attention Network, FSSN），可以有效强化对色彩及细节增强后复杂动态图像特征长程依赖关系提取与整合，重点关注图像中非高斯噪声分布较大区域，从而有效去除因增强放大的图像噪声干扰，提高色彩及细节增强后的复杂动态图像特征清晰度。

在一个实施例中，对正常照度图像进行图像特征长距离信息提取及整合，得到复杂动态图像特征，包括：获取多分支增强框架中的焦点稀疏自注意力网络，其中，焦点稀疏自注意力网络包括特征整合块、残差式焦点稀疏卷积层、卷积层及激活层；利用特征整合块及卷积层对正常照度图像进行长距离信息特征提取，得到第一照度图像特征、第二照度图像特征及第三照度图像特征；利用激活层对第一照度图像特征、第二照度图像特征及第三照度图像特征进行激活处理及整合计算，得到激活照度图像特征；对正常照度图像及激活照度图像特征进行正则化处理，得到正则照度图像；利用残差式焦点稀疏卷积层对正则照度图像进行整合计算，得到复杂动态图像特征。

在一个实施例中，焦点稀疏自注意力网络表示为：

其中，表示复杂动态图像特征，/>表示正常照度图像，/>表示第一照度图像特征，/>表示第二照度图像特征，/>表示第三照度图像特征，/>表示激活照度图像特征，表示正则照度图像，/>表示特征整合块，/>表示1×1卷积，/>表示Softmax激活函数，/>表示正则化操作，/>表示残差式焦点稀疏卷积。

在一个实施例中，焦点稀疏自注意力网络能够有效提取及整合色彩及细节增强后复杂动态图像特征局部信息长程依赖关系，并对色彩及细节增强后复杂动态图像特征进行全局信息建模，具体地，利用特征整合块（Feature Integration Block, FIB）代替传统多头注意力机制，在不损失计算精度的情况下减少计算量，提高处理效率，有利于本发明方法的边缘部署；利用自注意力机制充分进行色彩及细节增强后复杂动态图像特征长程依赖关系提取，重点关注图像中非高斯噪声分布较大区域，从而有效去除因增强放大的图像噪声干扰，提高色彩及细节增强后复杂动态图像特征清晰度，更加有利于后续图像复原网络的图像色彩恢复，其中，特征整合块的具体结构示意图如图6所示。

S3、对复杂动态图像特征进行图像还原，得到全彩夜视图像。

在一个实施例中，空间感知图像复原头指的是一种新型空间感知图像复原头（Spatial-Aware Image Restoration Head, SIRH），可以有效针对色彩及细节增强后的复杂动态图像特征进行图像还原，将色彩及细节增强后复杂动态图像特征从RGB色彩空间转换至HSI色彩空间，重点关注图像不同局部色彩差异，利用具有不同膨胀率的空洞卷积有效强化图像全局信息，从而高效还原全彩夜视图像，其中，空间感知图像复原头的具体结构示意图如图7所示。

在一个实施例中，对复杂动态图像特征进行图像还原，得到全彩夜视图像，包括：获取多分支增强框架中的空间感知图像复原头，其中，空间感知图像复原头包括色彩空间转换层、残差式焦点稀疏卷积层、空洞卷积层、卷积层及聚合层；利用色彩空间转换层对复杂动态图像特征进行色彩空间转换，得到色彩空间图像特征；利用残差式焦点稀疏卷积层对色彩空间图像特征进行残差式焦点稀疏卷积处理，得到色彩空间卷积图像特征；利用空洞卷积层、残差式焦点稀疏卷积层及卷积层分别对色彩空间卷积图像特征进行卷积处理，得到第一空间卷积图像特征、第二空间卷积图像特征及第三空间卷积图像特征；利用聚合层对第一空间卷积图像特征、第二空间卷积图像特征及第三空间卷积图像特征进行聚合处理，得到聚合空间图像特征；利用色彩空间转换层对色彩空间图像特征及聚合空间图像特征进行图像还原及色彩空间转换处理，得到全彩夜视图像。

在一个实施例中，空间感知图像复原头表示为：

其中，表示全彩夜视图像，/>表示复杂动态图像特征，/>表示色彩空间图像特征，/>表示色彩空间卷积图像特征，/>表示第一空间卷积图像特征，/>表示第二空间卷积图像特征，/>表示第三空间卷积图像特征，/>表示聚合空间图像特征，表示色彩空间转换，/>表示残差式焦点稀疏卷积，/>表示1×1卷积，表示空洞卷积，/>表示聚合操作。

在一个实施例中，空间感知图像复原头针对色彩及细节增强后的复杂动态图像特征进行图像还原，由图像色彩空间转换操作以及多膨胀率空洞卷积增强操作组成，具体地，通过将色彩及细节增强后的复杂动态图像特征从RGB色彩空间转换至HSI色彩空间，重点关注图像不同局部色彩差异，并利用多膨胀率空洞卷积有效强化图像全局信息，最终将正常照度的图像再从HSI色彩空间转换回RGB色彩空间，从而高效还原全彩夜视图像，增强图像纹理和边缘信息。

在一个实施例中，如图8所示，表示多分支增强框架的具体结构示意图，像素级色彩增强分支、空间级细节增强分支、通道级细节增强分支、焦点稀疏自注意力网络以及空间感知图像复原头，其中，像素级色彩增强分支由自适应像素级色彩增强网络构成；空间级细节增强分支由多尺度空间级细节增强网络构成；通道级细节增强分支由级联式通道级细节增强网络构成；多分支增强框架能够有效提升低照度复杂动态环境下的图像清晰度、恢复图像色彩，通过对局部位置图像特征信息进行重新建模增强色彩及细节增强效果的鲁棒性，解决成像对比度差、能见度低、色彩失真、曝光过度等问题，并在图像结构上形成更加高逼真清晰的图像细节与颜色保真，从而为后续低照度场景下高维视觉任务提供全彩夜视图像。

在一个实施例中，本发明可以部署在基于嵌入式GPU平台的工业级边缘视觉相机中，以实现边缘计算，具体地，通过智能边缘视觉相机采集低照度场景下复杂动态图像数据，并在该相机中独立实现边缘视觉智能，即基于上述新型基于轻量级深度学习网络的端到端色彩及细节增强方法在图像数据采集端得到高质量、强鲁棒、实时增强结果。本发明将得到的全彩夜视图像增强结果服务于快速人-机交互、通信数据优化、实时响应操作、智能分析应用、隐私保护与数据安全等方面，确保尽可能地减少与云平台通信次数和通信量，从而降低等待时间与计算成本。鉴于低照度场景下图像增强任务被部署到图像数据采集端，可有效降低主干网络拥塞，缓解带宽占用，达到较低时延，提升处理效率，加快响应请求，进一步提升低照度复杂动态环境下的全彩夜视图像增强质量，特别地，本发明方法边缘部署后速度可达到实时处理速度，其性能符合工业级应用要求。

本发明实施例通过多分支增强框架对低照度复杂动态图像进行色彩及细节信息增强处理，能够准确得到正常照度图像，从像素、空间、通道三个维度上整合建模低照度复杂动态图像特征信息，在高效增强图像像素级色彩的同时，有效恢复图像纹理细节，提高了图像可视化质量、图像能见度、图像清晰度及图像细节信息、边缘信息；通过对正常照度图像进行图像特征长距离信息提取及整合，能够精确得到复杂动态图像特征，有效去除因增强放大的图像噪声干扰，提高色彩及细节增强后的复杂动态图像特征清晰度；通过对复杂动态图像特征进行图像还原，能够有效还原全彩夜视图像，恢复图像色彩，提高了在图像色彩及细节增强时的效果。因此本发明提出的低照度场景下端到端色彩及细节增强方法，可以解决在图像色彩及细节增强时效果较差的问题。

如图9所示，是本发明一实施例提供的低照度场景下端到端色彩及细节增强装置的功能模块图。

本发明低照度场景下端到端色彩及细节增强装置900可以安装于电子设备中。根据实现的功能，低照度场景下端到端色彩及细节增强装置900可以包括色彩及细节增强模块901、信息提取及整合模块902及图像还原模块903。本发明模块也可以称之为单元，是指一种能够被电子设备处理器所执行，并且能够完成固定功能的一系列计算机程序段，其存储在电子设备的存储器中。

在本实施例中，关于各模块/单元的功能如下：色彩及细节增强模块901，用于获取低照度复杂动态图像，利用预先构建的多分支增强框架对低照度复杂动态图像进行色彩及细节信息增强处理，得到正常照度图像；信息提取及整合模块902，用于对正常照度图像进行图像特征长距离信息提取及整合，得到复杂动态图像特征；图像还原模块903，用于对复杂动态图像特征进行图像还原，得到全彩夜视图像。

详细地，在一个实施例中低照度场景下端到端色彩及细节增强装置900中的各模块在使用时采用与附图中的低照度场景下端到端色彩及细节增强方法一样的技术手段，并能够产生相同的技术效果，这里不再赘述。

如图10所示，是本发明一实施例提供的实现低照度场景下端到端色彩及细节增强方法的电子设备的结构示意图。

电子设备1000可以包括处理器1001、存储器1002、通信总线1003以及通信接口1004，还可以包括存储在存储器1002中并可在处理器1001上运行的计算机程序，如低照度场景下端到端色彩及细节增强程序。

其中，处理器1001在一些实施例中可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器（Central Processing Unit，CPU）、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。处理器1001是电子设备的控制核心（Control Unit），利用各种接口和线路连接整个电子设备的各个部件，通过运行或执行存储在存储器1002内的程序或者模块（例如执行低照度场景下端到端色彩及细节增强程序等），以及调用存储在存储器1002内的数据，以执行电子设备的各种功能和处理数据。

存储器1002至少包括一种类型的可读存储介质，可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器（例如：SD或DX存储器等）、磁性存储器、磁盘、光盘等。存储器1002在一些实施例中可以是电子设备的内部存储单元，例如该电子设备的移动硬盘。存储器1002在另一些实施例中也可以是电子设备的外部存储设备，例如电子设备上配备的插接式移动硬盘、智能存储卡（Smart Media Card，SMC）、安全数字（Secure Digital，SD）卡、闪存卡（Flash Card）等。进一步地，存储器1002还可以既包括电子设备的内部存储单元也包括外部存储设备。存储器1002不仅可以用于存储安装于电子设备的应用软件及各类数据，例如低照度场景下端到端色彩及细节增强程序的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。

通信总线1003可以是外设部件互连标准（Peripheral Component Interconnect，简称PCI）总线或扩展工业标准结构（Extended Industry Standard Architecture，简称EISA）总线等。该总线可以分为地址总线、数据总线、控制总线等。总线被设置为实现存储器1002以及至少一个处理器1001等之间的连接通信。

通信接口1004用于上述电子设备与其他设备之间的通信，包括网络接口和用户接口。可选地，网络接口可以包括有线接口和/或无线接口（如WI-FI接口、蓝牙接口等），通常用于在该电子设备与其他电子设备之间建立通信连接。用户接口可以是显示器（Display）、输入单元（比如键盘（Keyboard）），可选地，用户接口还可以是标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED（Organic Light-Emitting Diode，有机发光二极管）触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在电子设备中处理的信息以及用于显示可视化的用户界面。

图5仅示出了具有部件的电子设备，本领域技术人员可以理解的是，图5示出的结构并不构成对电子设备1000的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。

例如，尽管未示出，电子设备还可以包括给各个部件供电的电源（比如电池），优选地，电源可以通过电源管理装置与至少一个处理器1001逻辑相连，从而通过电源管理装置实现充电管理、放电管理、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。电子设备还可以包括多种传感器、蓝牙模块、Wi-Fi模块等，在此不再赘述。

应该了解，实施例仅为说明之用，在专利申请范围上并不受此结构的限制。

具体地，处理器1001对上述指令的具体实现方法可参考附图对应实施例中相关步骤的描述，在此不赘述。

进一步地，电子设备1000集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。计算机可读存储介质可以是易失性的，也可以是非易失性的。例如，计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（ROM，Read-Only Memory）。

本发明还提供一种计算机可读存储介质，可读存储介质存储有计算机程序，计算机程序在被处理器所执行时，可以实现上述任一实施例的基于红外散斑图像的人脸识别方法。需要说明的是，计算机可读存储介质可以是易失性的，也可以是非易失性的。例如，计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（ROM，Read-Only Memory）。

在本发明所提供的几个实施例中，应该理解到，所揭露的设备，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。

因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。

本申请实施例可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能（Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。

此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一、第二等词语用来表示名称，而并不表示任何特定的顺序。

最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。

Claims (19)

1.一种低照度场景下端到端色彩及细节增强方法，其特征在于，所述方法包括：

获取低照度复杂动态图像，利用预先构建的多分支增强框架对所述低照度复杂动态图像进行色彩及细节信息增强处理，得到正常照度图像；

对所述正常照度图像进行图像特征长距离信息提取及整合，得到复杂动态图像特征；

对所述复杂动态图像特征进行图像还原，得到全彩夜视图像；

所述对所述正常照度图像进行图像特征长距离信息提取及整合，得到复杂动态图像特征，包括：获取所述多分支增强框架中的焦点稀疏自注意力网络，其中，所述焦点稀疏自注意力网络包括特征整合块、残差式焦点稀疏卷积层、卷积层及激活层，所述残差式焦点稀疏卷积层包括焦点稀疏卷积、深度可分离卷积、1× 1卷积以及恒等映射；利用所述特征整合块及卷积层所述对所述正常照度图像进行长距离信息特征提取，得到第一照度图像特征、第二照度图像特征及第三照度图像特征；利用所述激活层对所述第一照度图像特征、所述第二照度图像特征及所述第三照度图像特征进行激活处理及整合计算，得到激活照度图像特征；对所述正常照度图像及所述激活照度图像特征进行正则化处理，得到正则照度图像；利用所述残差式焦点稀疏卷积层对所述正则照度图像进行整合计算，得到复杂动态图像特征。

2.如权利要求1所述的低照度场景下端到端色彩及细节增强方法，其特征在于，所述多分支增强框架包括像素级色彩增强分支、空间级细节增强分支、通道级细节增强分支、焦点稀疏自注意力网络以及空间感知图像复原头。

3.如权利要求1所述的低照度场景下端到端色彩及细节增强方法，其特征在于，所述利用预先构建的多分支增强框架对所述低照度复杂动态图像进行色彩及细节信息增强处理，得到正常照度图像，包括：

利用所述多分支增强框架中的像素级色彩增强分支对所述低照度复杂动态图像进行图像色彩增强处理，得到增强复杂动态图像；

利用所述多分支增强框架中的空间级细节增强分支对所述增强复杂动态图像进行细节信息增强处理，得到细节复杂动态图像；

利用所述多分支增强框架中的通道级细节增强分支对所述细节复杂动态图像进行多层级图像特征增强处理，得到正常照度图像。

4.如权利要求3所述的低照度场景下端到端色彩及细节增强方法，其特征在于，所述利用所述多分支增强框架中的像素级色彩增强分支对所述低照度复杂动态图像进行图像色彩增强处理，得到增强复杂动态图像，包括：

获取所述像素级色彩增强分支中的自适应像素级色彩增强网络，其中，所述自适应像素级色彩增强网络包括色彩感知信息增强模块、残差式焦点稀疏卷积层及卷积层；

利用所述残差式焦点稀疏卷积层对所述低照度复杂动态图像进行特征提取，得到低照度复杂动态图像像素特征；

利用所述色彩感知信息增强模块对所述低照度复杂动态图像像素特征进行色彩增强处理，得到复杂光照条件分布图像；

根据预设的第一公式利用所述残差式焦点稀疏卷积层及所述卷积层对所述复杂光照条件分布图像进行图像信息整合，得到增强复杂动态图像；

所述第一公式表示为：

其中，表示所述增强复杂动态图像，/>表示所述复杂光照条件分布图像，/>表示残差式焦点稀疏卷积，/>表示1×1卷积，/>表示色彩感知信息增强模块。

5.如权利要求4所述的低照度场景下端到端色彩及细节增强方法，其特征在于，所述利用所述残差式焦点稀疏卷积层对所述低照度复杂动态图像进行特征提取，得到低照度复杂动态图像像素特征，包括：

利用所述残差式焦点稀疏卷积层对所述低照度复杂动态图像进行焦点稀疏卷积处理，得到稀疏卷积动态图像特征；

对所述稀疏卷积动态图像特征进行深度可分离卷积及卷积处理，得到低照度复杂动态图像像素特征。

6.如权利要求5所述的低照度场景下端到端色彩及细节增强方法，其特征在于，基于所述残差式焦点稀疏卷积层的处理过程的公式化描述为：

其中，表示所述低照度复杂动态图像像素特征，/>表示所述低照度复杂动态图像，/>表示所述稀疏卷积动态图像特征，/>表示焦点稀疏卷积，/>表示深度可分离卷积，/>表示1×1卷积。

7.如权利要求4所述的低照度场景下端到端色彩及细节增强方法，其特征在于，所述利用所述色彩感知信息增强模块对所述低照度复杂动态图像像素特征进行色彩增强处理，得到复杂光照条件分布图像，包括：

利用所述色彩感知信息增强模块对所述低照度复杂动态图像像素特征进行残差式焦点稀疏卷积处理，得到卷积复杂动态图像像素特征；

对所述卷积复杂动态图像像素特征分别进行最大池化处理及平均池化处理，得到初始池化动态图像像素特征及池化动态图像像素特征；

对所述卷积复杂动态图像像素特征进行对比度计算，得到复杂动态图像对比度信息；

对所述卷积复杂动态图像像素特征、所述初始池化动态图像像素特征、所述池化动态图像像素特征及所述复杂动态图像对比度信息进行整合计算，得到初始复杂光照条件分布图像；

对所述初始复杂光照条件分布图像及所述低照度复杂动态图像像素特征进行加和计算，得到复杂光照条件分布图像。

8.如权利要求7所述的低照度场景下端到端色彩及细节增强方法，其特征在于，基于所述色彩感知信息增强模块的处理过程的公式化描述为：

其中，表示所述复杂光照条件分布图像，/>表示所述低照度复杂动态图像像素特征，/>表示所述卷积复杂动态图像像素特征，/>表示所述初始池化动态图像像素特征，/>表示所述池化动态图像像素特征，/>表示所述复杂动态图像对比度信息，/>表示所述初始复杂光照条件分布图像，/>表示残差式焦点稀疏卷积，/>表示最大值池化，/>表示平均值池化，/>表示对比度计算，/>表示自适应权重，表示Tanh激活函数，/> 表示Softmax激活函数，/>表示连接操作。

9.如权利要求3所述的低照度场景下端到端色彩及细节增强方法，其特征在于，所述利用所述多分支增强框架中的空间级细节增强分支对所述增强复杂动态图像进行细节信息增强处理，得到细节复杂动态图像，包括：

获取所述空间级细节增强分支中的多尺度空间级细节增强网络，其中，所述多尺度空间级细节增强网络包括多尺度特征融合模块、残差式焦点稀疏卷积层及卷积层；

利用所述残差式焦点稀疏卷积层对所述增强复杂动态图像进行空间特征提取，得到空间复杂动态图像特征；

利用所述多尺度特征融合模块对所述空间复杂动态图像特征进行多尺度特征融合，得到多尺度融合图像特征；

根据预设的第二公式利用所述残差式焦点稀疏卷积层及所述卷积层对所述多尺度融合图像特征进行图像信息整合，得到细节复杂动态图像；

所述第二公式表示为：

其中，表示所述细节复杂动态图像，/>表示所述多尺度融合图像特征，/>表示残差式焦点稀疏卷积，/>表示1×1卷积，/>表示所述多尺度特征融合模块。

10.如权利要求9所述的低照度场景下端到端色彩及细节增强方法，其特征在于，所述利用所述多尺度特征融合模块对所述空间复杂动态图像特征进行多尺度特征融合，得到多尺度融合图像特征，包括：

利用所述多尺度特征融合模块对所述空间复杂动态图像特征进行残差式焦点稀疏卷积处理，得到空间卷积动态图像特征；

对所述空间卷积动态图像特征进行非对称卷积处理，得到第一对称卷积特征、第二对称卷积特征及第三对称卷积特征；

对所述空间卷积动态图像特征进行全局平均池化处理，得到第一池化空间卷积动态图像特征；

对所述空间卷积动态图像特征进行全局最大池化处理，得到第二池化空间卷积动态图像特征；

对所述第一对称卷积特征、所述第二对称卷积特征、所述第三对称卷积特征、所述第一池化空间卷积动态图像特征及所述第二池化空间卷积动态图像特征进行多尺度特征融合处理，得到初始融合图像特征；

对所述初始融合图像特征及所述空间复杂动态图像特征进行整合计算，得到多尺度融合图像特征。

11.如权利要求10所述的低照度场景下端到端色彩及细节增强方法，其特征在于，基于所述多尺度特征融合模块的处理过程的公式化描述为：

其中，表示所述多尺度融合图像特征，/>表示所述空间复杂动态图像特征，/>表示所述空间卷积动态图像特征，/>表示所述第一对称卷积特征，/>表示所述第二对称卷积特征，/>表示所述第三对称卷积特征，/>表示所述第一池化空间卷积动态图像特征，/>表示所述第二池化空间卷积动态图像特征，/>表示所述初始融合图像特征，表示残差式焦点稀疏卷积，/>表示非对称卷积，/>表示全局平均池化，表示全局最大池化，/>表示连接操作，/>表示1×1卷积。

12.如权利要求3所述的低照度场景下端到端色彩及细节增强方法，其特征在于，所述利用所述多分支增强框架中的通道级细节增强分支对所述细节复杂动态图像进行多层级图像特征增强处理，得到正常照度图像，包括：

获取所述通道级细节增强分支中的级联式通道级细节增强网络，其中，所述级联式通道级细节增强网络包括级联特征细化模块、残差式焦点稀疏卷积层及卷积层；

利用所述残差式焦点稀疏卷积层对所述细节复杂动态图像进行通道特征提取，得到通道复杂动态图像特征；

利用所述级联特征细化模块对所述通道复杂动态图像特征进行级联通道特征细化处理，得到细化动态图像特征；

根据预设的第三公式利用所述残差式焦点稀疏卷积层及所述卷积层对所述细化动态图像特征进行图像信息整合，得到正常照度图像；

所述第三公式表示为：

其中，表示所述正常照度图像，/>表示所述细化动态图像特征，/>表示残差式焦点稀疏卷积，/>表示1×1卷积，/>表示级联特征细化模块。

13.如权利要求12所述的低照度场景下端到端色彩及细节增强方法，其特征在于，所述利用所述级联特征细化模块对所述通道复杂动态图像特征进行级联通道特征细化处理，得到细化动态图像特征，包括：

利用所述级联特征细化模块对所述通道复杂动态图像特征进行三层残差式焦点稀疏卷积处理，得到第一通道卷积动态图像特征、第二通道卷积动态图像特征及第三通道卷积动态图像特征；

对所述第二通道卷积动态图像特征及所述第三通道卷积动态图像特征进行初始正则化处理，得到第一正则动态图像特征；

对所述第一正则动态图像特征及所述第一通道卷积动态图像特征进行正则化处理，得到第二正则动态图像特征；

对所述第一正则动态图像特征进行残差式焦点稀疏卷积处理，得到第一正则卷积动态图像特征；

对所述第一正则卷积动态图像特征及所述第二正则动态图像特征进行整合计算，得到第一整合图像特征；

对所述第一正则卷积动态图像特征进行残差式焦点稀疏卷积处理，得到第二正则卷积动态图像特征；

对所述第二正则卷积动态图像特征及所述第三通道卷积动态图像特征进行整合计算，得到第二整合图像特征；

对所述第一整合图像特征、所述第二正则卷积动态图像特征及所述第二整合图像特征进行细节整合计算，得到细化动态图像特征。

14.如权利要求13所述的低照度场景下端到端色彩及细节增强方法，其特征在于，基于所述级联特征细化模块的处理过程的公式化描述为：

其中，表示所述细化动态图像特征，/>表示所述通道复杂动态图像特征，/>表示所述第一通道卷积动态图像特征，/>表示所述第二通道卷积动态图像特征，/>表示所述第三通道卷积动态图像特征，/>表示所述第一正则动态图像特征，/>表示所述第二正则动态图像特征，/>表示所述第一正则卷积动态图像特征，/>表示所述第一整合图像特征，/>表示所述第二正则卷积动态图像特征，/>表示所述第二整合图像特征，/>表示残差式焦点稀疏卷积，/>表示调整尺寸操作，/>表示正则化操作。

15.如权利要求1所述的低照度场景下端到端色彩及细节增强方法，其特征在于，基于所述焦点稀疏自注意力网络的处理过程的公式化描述为：

其中，表示所述复杂动态图像特征，/>表示所述正常照度图像，/>表示所述第一照度图像特征，/>表示所述第二照度图像特征，/>表示所述第三照度图像特征，/>表示所述激活照度图像特征，/>表示所述正则照度图像，/>表示特征整合块，/>表示1×1卷积，表示Softmax激活函数，/>表示正则化操作，/>表示残差式焦点稀疏卷积。

16.如权利要求1所述的低照度场景下端到端色彩及细节增强方法，其特征在于，所述对所述复杂动态图像特征进行图像还原，得到全彩夜视图像，包括：

获取所述多分支增强框架中的空间感知图像复原头，其中，所述空间感知图像复原头包括色彩空间转换层、残差式焦点稀疏卷积层、空洞卷积层、卷积层及聚合层；

利用所述色彩空间转换层对所述复杂动态图像特征进行色彩空间转换，得到色彩空间图像特征；

利用所述残差式焦点稀疏卷积层对所述色彩空间图像特征进行残差式焦点稀疏卷积处理，得到色彩空间卷积图像特征；

利用所述空洞卷积层、所述残差式焦点稀疏卷积层及所述卷积层分别对所述色彩空间卷积图像特征进行卷积处理，得到第一空间卷积图像特征、第二空间卷积图像特征及第三空间卷积图像特征；

利用所述聚合层对所述第一空间卷积图像特征、所述第二空间卷积图像特征及所述第三空间卷积图像特征进行聚合处理，得到聚合空间图像特征；

利用所述色彩空间转换层对所述色彩空间图像特征及所述聚合空间图像特征进行图像还原及色彩空间转换处理，得到全彩夜视图像。

17.如权利要求16所述的低照度场景下端到端色彩及细节增强方法，其特征在于，基于所述空间感知图像复原头的处理过程的公式化描述为：

其中，表示所述全彩夜视图像，/>表示所述复杂动态图像特征，/>表示所述色彩空间图像特征，/>表示所述色彩空间卷积图像特征，/>表示所述第一空间卷积图像特征，/>表示所述第二空间卷积图像特征，/>表示所述第三空间卷积图像特征，/>表示所述聚合空间图像特征，/>表示色彩空间转换，/>表示残差式焦点稀疏卷积，/>表示1×1卷积，/>表示空洞卷积，/>表示聚合操作。

18.一种低照度场景下端到端色彩及细节增强装置，其特征在于，所述装置包括：

色彩及细节增强模块，用于获取低照度复杂动态图像，利用预先构建的多分支增强框架对所述低照度复杂动态图像进行色彩及细节信息增强处理，得到正常照度图像；

信息提取及整合模块，用于获取所述多分支增强框架中的焦点稀疏自注意力网络，其中，所述焦点稀疏自注意力网络包括特征整合块、残差式焦点稀疏卷积层、卷积层及激活层，所述残差式焦点稀疏卷积层包括焦点稀疏卷积、深度可分离卷积、1× 1卷积以及恒等映射；利用所述特征整合块及卷积层所述对所述正常照度图像进行长距离信息特征提取，得到第一照度图像特征、第二照度图像特征及第三照度图像特征；利用所述激活层对所述第一照度图像特征、所述第二照度图像特征及所述第三照度图像特征进行激活处理及整合计算，得到激活照度图像特征；对所述正常照度图像及所述激活照度图像特征进行正则化处理，得到正则照度图像；利用所述残差式焦点稀疏卷积层对所述正则照度图像进行整合计算，得到复杂动态图像特征；

图像还原模块，用于对所述复杂动态图像特征进行图像还原，得到全彩夜视图像。

19.一种电子设备，其特征在于，所述电子设备包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至17中任意一项所述的低照度场景下端到端色彩及细节增强方法。