CN115984137B - 一种暗光图像恢复方法、系统、设备及存储介质 - Google Patents
一种暗光图像恢复方法、系统、设备及存储介质 Download PDFInfo
- Publication number
- CN115984137B CN115984137B CN202310006554.1A CN202310006554A CN115984137B CN 115984137 B CN115984137 B CN 115984137B CN 202310006554 A CN202310006554 A CN 202310006554A CN 115984137 B CN115984137 B CN 115984137B
- Authority
- CN
- China
- Prior art keywords
- color
- dictionary
- low
- rank
- image restoration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 238000011084 recovery Methods 0.000 title claims abstract description 26
- 230000006870 function Effects 0.000 claims description 25
- 239000011159 matrix material Substances 0.000 claims description 12
- 238000005457 optimization Methods 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 5
- 238000012935 Averaging Methods 0.000 claims description 2
- 238000012512 characterization method Methods 0.000 claims description 2
- 239000003086 colorant Substances 0.000 abstract description 12
- 238000012937 correction Methods 0.000 description 6
- 238000013461 design Methods 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000011158 quantitative evaluation Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001351 cycling effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 238000007634 remodeling Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Image Processing (AREA)
Abstract
本申请实施例涉及计算机视觉技术领域，特别涉及一种暗光图像恢复方法、系统、设备及存储介质，该方法包括：首先，基于卷积字典，对颜色信息进行低秩编码，得到颜色的低秩张量；基于颜色的低秩张量，对颜色字典进行优化；基于优化后的颜色字典，生成图像恢复字典；将图像恢复字典和表示系数进行卷积，获得最终图像。本申请实施例提供的暗光图像恢复方法，将颜色信息使用卷积字典进行低秩编码，该方法将色调和饱和度特征作为颜色先验将颜色信息与曝光信息分隔开，通过深度低秩张量表示模块来协助恢复噪声中的颜色信息，以恢复图像的精细细节的同时减轻颜色失真。
Description
技术领域
本申请实施例涉及计算机视觉技术领域，特别涉及一种暗光图像恢复方法、系统、设备及存储介质。
背景技术
低光图像恢复有利于许多下游任务，例如物体检测、跟踪和人脸识别。然而，这项任务非常具有挑战性，因低光图像的可见度很差，曝光不足的区域被噪声严重破坏。特别是在校正亮度时，噪声可能会被放大，从而导致结果出现颜色失真。因此，为了提高在低光环境下拍摄的图像的视觉质量，必须在校正照明的同时抑制噪声并最大限度地减少图像中的颜色失真。
现有的弱光图像恢复方法可以分为两类，第一类采用曝光校正来增强低光图像。虽然亮度校正有助于增强低光图像，但噪声也会随之放大。第二类旨在恢复噪声较大的图像。基于深度学习，提出一系列神经网络模型,通过在各种数据集上训练深度模型对图像特征进行编码、抑制噪声和校正曝光。然而，严重的噪声和低可见度极易强烈阻碍模型提取颜色特征，导致颜色失真。另外，现有的弱光图像恢复方法也存在很难在颜色恢复和细节恢复之间进行稳健的权衡的问题。
发明内容
本申请实施例提供一种暗光图像恢复方法、系统、设备及存储介质，以恢复图像的精细细节的同时减轻颜色失真。
为解决上述技术问题，第一方面，本申请实施例提供一种暗光图像恢复方法，包括以下步骤：首先，基于卷积字典，对颜色信息进行低秩编码，得到颜色的低秩张量；基于颜色的低秩张量，对颜色字典进行优化；基于优化后的颜色字典，生成图像恢复字典；将图像恢复字典和表示系数进行卷积，获得最终图像。
在一些示例性实施例中，基于卷积字典，对颜色信息进行低秩编码，得到颜色的低秩张量，包括：将输入图像从标准颜色空间转换为色彩空间；通过学习颜色字典，对颜色信息进行编码，作为颜色先验；对颜色信息进行低秩编码，将颜色信息表示为低秩张量，得到颜色的低秩张量。
在一些示例性实施例中，颜色的低秩张量如下所示：
其中，为Kruskal算子，/>为因子矩阵，/>为权重。
在一些示例性实施例中，颜色的低秩张量包括编码器和解码器中的特征；权重是将编码器和解码器生成的特征相结合，并使用平均池化操作和一个全连接操作获取。
在一些示例性实施例中，基于所述颜色的低秩张量，对颜色字典进行优化，包括：基于颜色的低秩张量，设定目标函数；基于目标函数，求解保真项和正则项；基于保真项和正则项，得到目标函数的解；基于目标函数的解，对颜色字典进行优化。
在一些示例性实施例中，目标函数如下式所示：
针对保真项，闭式解如下式所示：
针对正则项，使用卷积网络获取最终解，如下式所示：
其中，为六层卷积网络，/>为颜色字典。
在一些示例性实施例中，基于优化后的颜色字典，生成图像恢复字典，包括：对查询字典进行初始化处理；采用卷积提取原始图像的结构和亮度特征；将原始图像的结构和亮度特征与优化后的颜色字典相融合，生成图像恢复字典。
第二方面，本申请实施例还提供了一种暗光图像恢复系统，包括：依次连接的深度低阶张量表示模块、颜色字典优化模块、图像恢复字典生成模块以及卷积模块；深度低阶张量表示模块用于根据卷积字典，对颜色信息进行低秩编码，得到颜色的低秩张量；颜色字典优化模块用于根据所述颜色的低秩张量，对颜色字典进行优化；图像恢复字典生成模块用于根据优化后的颜色字典，生成图像恢复字典；卷积模块用于将所述图像恢复字典和表示系数进行卷积，获得最终图像。
另外，本申请还提供了一种电子设备，包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述暗光图像恢复方法。
另外，本申请还提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现上述暗光图像恢复方法。
本申请实施例提供的技术方案至少具有以下优点：
本申请实施例提供一种暗光图像恢复方法、系统、设备及存储介质，该方法包括以下步骤：首先，基于卷积字典，对颜色信息进行低秩编码，得到颜色的低秩张量；基于颜色的低秩张量，对颜色字典进行优化；基于优化后的颜色字典，生成图像恢复字典；将图像恢复字典和表示系数进行卷积，获得最终图像。
本申请提供的暗光图像恢复方法，是将颜色信息使用卷积字典进行低秩编码的方法，该方法将色调和饱和度特征作为颜色先验，通过颜色卷积字典和相应的参数在HSV空间中进行颜色编码。本申请通过深度低秩张量表示模块以集成低秩张量先验和深度先验，然后优化颜色字典；通过将颜色信息表示为低秩张量，有助于从噪声中恢复原始图像的颜色信息。另外，该方法无需设计特殊的颜色损失，即可减轻颜色失真。与此同时，本申请提出的方法使用更少的参数，在定量和视觉上实现了优于最先进方法的最佳性能。
附图说明
一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，除非有特别申明，附图中的图不构成比例限制。
图1为本申请一实施例提供的一种暗光图像恢复方法的流程示意图；
图2为本申请一实施例提供的使用卷积字典对颜色信息进行低秩编码的系统框架示意图；
图3为本申请一实施例提供的将颜色信息表示为低秩张量的形式流程图；
图4为本申请一实施例提供的一种暗光图像恢复系统的示意图；
图5为本申请一实施例提供的视觉评价的对照图；
图6为本申请一实施例提供的一种电子设备的结构示意图。
具体实施方式
由背景技术可知，目前现有的图像恢复方法存在着在严重的噪声和低可见度下阻碍模型提取颜色特征，导致颜色失真的技术问题。
现有的弱光图像恢复方法可以分为采用曝光校正来增强低光图像和恢复噪声较大的图像两大类。在早期阶段，曝光校正被广泛用于恢复曝光不足的低光图像，这类图像大多由于相机操作不准确或相机传感器动态范围有限而导致的。虽然亮度校正有助于增强低光图像，但噪声也会随之放大。对于旨在恢复噪声较大的图像，基于深度学习，一系列神经网络模型被提出来，通过在各种数据集上训练深度模型对图像特征进行编码、抑制噪声和校正曝光。
有一相关技术采用总变差最小化来近似噪声水平以恢复图像细节。然而，严重的噪声和低可见度可能强烈阻碍模型提取颜色特征，导致颜色失真。相关技术通过将彩色图像解耦为灰度图像，颜色直方图以增强颜色一致性。通用的图像恢复模型通过使用大量的参数来获得更多的特征以帮助编码。信噪比-变换网络(SNR-Transformer)将信噪比作为先验知识对变换网络(transformer)进行改进，以运用于带噪声的暗光图像增强。
现有的方法存在以下缺陷，首先，现有方法通常直接在sRGB颜色空间中提取特征，往往导致颜色失真。这是因为颜色特征难以从噪声中分离出来，同时，受到低能见度的影响，颜色特征难以进行准确的提取。其次，基于深度学习的方法虽能减少颜色失真，但仍然很难平衡细节恢复和色彩校正的损失。
为解决上述技术问题，本申请实施例提供一种暗光图像恢复方法，包括以下步骤：首先，基于卷积字典，对颜色信息进行低秩编码，得到颜色的低秩张量；基于颜色的低秩张量，对颜色字典进行优化；基于优化后的颜色字典，生成图像恢复字典；将图像恢复字典和表示系数进行卷积，获得最终图像。本申请实施例提供一种暗光图像恢复方法、系统、设备及存储介质，本申请提出将颜色信息使用卷积字典进行低秩编码的方法，该方法将色调和饱和度特征作为颜色先验将颜色信息与曝光信息分隔开，通过深度低秩张量表示模块来协助恢复噪声中的颜色信息，以恢复图像的精细细节的同时减轻颜色失真。
下面将结合附图对本申请的各实施例进行详细的阐述。然而，本领域的普通技术人员可以理解，在本申请各实施例中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施例的种种变化和修改，也可以实现本申请所要求保护的技术方案。
参看图1，本申请实施例提供了一种暗光图像恢复方法，包括以下步骤：
步骤S1、基于卷积字典，对颜色信息进行低秩编码，得到颜色的低秩张量。
步骤S2、基于颜色的低秩张量，对颜色字典进行优化。
步骤S3、基于优化后的颜色字典，生成图像恢复字典。
步骤S4、将图像恢复字典和表示系数进行卷积，获得最终图像。
本申请针对在低光图像中直接编码颜色特征很容易导致颜色失真以及很难在颜色恢复和细节恢复之间进行稳健的权衡的问题，提出一种将颜色信息使用卷积字典进行低秩编码的方法，该方法通过颜色字典对色调和饱和度特征在HSV颜色空间(也称HSV色彩空间)中进行编码，作为颜色先验。首先，本申请设计了深度低秩张量表示模块以集成低秩张量先验和深度先验，然后优化颜色字典，并且联合图像亮度和结构特征以学习一组新的图像恢复字典和表示系数。最后，对图像恢复字典和表示系数进行卷积以产生最终结果。相比于现有的方案,本申请提出的方法使用了更少的参数，在定量和视觉上实现了优于最先进方法的最佳性能。
需要说明的是，标准颜色(standard Red Green Blue，sRGB)空间是基于三基色而言，即红色、绿色、蓝色；而HSV(Hue,Saturation,Value)空间为色调(H)、饱和度(S)和明度(V)空间，即HSV色彩空间则是基于色调、饱和度和亮度而言的。本申请通过颜色卷积字典和表示系数(相应的参数)在HSV空间中的进行颜色编码。在HSV色彩空间中，颜色(色调和饱和度)和亮度是被分成独立的通道，因此有利于编码颜色特征和减少亮度带来的不良影响。本申请设计了深度低阶张量表示模块。该模块集成低秩张量先验和深度先验来对颜色信息进行表示。通过这种新方式，本申请生成色调和饱和度的低秩张量，以促进恢复噪声中的颜色信息。然后采用这些表示颜色的低秩张量进一步优化颜色字典。接下来，本申请在HSV色彩空间中学习原始图像的亮度和结构特征，然后再生成另一组字典和相应的系数，将其与学习的颜色信息融合，用于恢复最终的图像。
图2示出了使用卷积字典对颜色信息进行低秩编码的系统框架示意图。使用卷积字典对颜色信息进行低秩编码的系统框架如图2所示，它包含两个主要部分：(1)在HSV颜色空间中使用颜色卷积进行低秩编码来构建颜色先验。(2)在sRGB空间中的提取亮度和结构特征。具体来说，在第一部分中，本申请将输入图像从sRGB空间转换为HSV色彩空间。通过学习颜色字典来编码颜色先验。同时，本申请设计了深度低秩张量表示模块，将颜色信息表示为低秩张量的形式如图3所示。使用这些低秩表示的颜色特征表示，本申请可以优化颜色字典以恢复输入图像的色调和饱和度。在第二部分，本申请初始化一个查询字典，使用卷积来提取原始图像的结构和亮度特征。同时将其与颜色字典相融合，以生成图像恢复字典。最后，将颜色字典与相应的表示系数进行卷积操作，来获取最终的图像。
在一些实施例中，步骤S1中基于卷积字典，对颜色信息进行低秩编码，得到颜色的低秩张量，包括：将输入图像从标准颜色空间转换为色彩空间；通过学习颜色字典，对颜色信息进行编码，作为颜色先验；对颜色信息进行低秩编码，将颜色信息表示为低秩张量，得到颜色的低秩张量。
在一些实施例中，颜色的低秩张量如下所示：
其中，为Kruskal算子，/>为因子矩阵，/>为权重。
步骤S1主要是使用卷积字典对颜色信息进行低秩编码。
要优化颜色字典，本申请首先将颜色信息表示为低秩张量的形式其中/>为Kruskal算子，/>为因子矩阵，/>为权重。因此本申请设计了深度低秩张量表示模块如图3所示。深度低秩张量表示模块基于UNet，如图3所示，在图3(a)中，给定输入色调和饱和度通道，在编码器中，本申请首先使用四个卷积层提取特征，然后通过平均池对特征进行下采样。然后，本申请使用两个卷积层和一个平均池化层生成多尺度特征。在进行全局特征采样时，本申请采用了RSGUnet中的全局特征向量生成方法，生成输入图像的全局特征。对于解码器，本申请使用两个卷积层和转置卷积层进行上采样。生成与解码器中维度相同的特征。在每个卷积层中，本申请LeakyReLU作为激活函数。对于编码器和解码器，本申请设计了因子矩阵生成模块和权重生成模块为Kruskal算子提供系数。
在因子矩阵生成模块中，以编码器为例，给定一个特征F和预定义的秩R，本申请使用R组3×3的卷积和重塑操作，生成R*2个与F具有相同形状的特征图。然后，在每个维度上应用平均池化操作生成因子矩阵。最后，使用1×1卷积层来处理这些矩阵。在解码器中，因子矩阵的生成方法与编码器相类似。因此，针对编码器和解码器，本申请分别生成两组低秩张量，其中每组低秩张量的秩为R/2，随后，将解码器和编码器中的因子矩阵相结合，生成最终的低秩张量，该低秩张量的秩为R如图3(c)所示。
在一些实施例中，颜色的低秩张量包括编码器和解码器中的特征；权重是将编码器和解码器生成的特征相结合，并使用平均池化操作和一个全连接操作获取。由于最终的低秩张量是由编码器和解码器中的特征所组成的，因此，在权重生成模块中，本申请将编码器和解码器生成的特征相结合，使用平均池化操作和一个全连接操作生成权重
在一些实施例中，步骤S2中基于所述颜色的低秩张量，对颜色字典进行优化，包括：基于颜色的低秩张量，设定目标函数；基于目标函数，求解保真项和正则项；基于保真项和正则项，得到目标函数的解；基于目标函数的解，对颜色字典进行优化。
基于颜色的低秩张量表示，本申请可以优化颜色字典。基于颜色的低秩张量，设定目标函数。在一些实施例中，目标函数如下式所示：
本申请可以分别求解保真项和正则项，针对保真项，闭式解如下式所示：
该闭式解为使用卷积字典进行低秩编码提供了推理依据。首先，对于深度低秩张量表示模块来说，该闭式解为模型提供推理一句来近似颜色特征的低秩表示。其次，对于颜色字典而言，该推理依据有利生成字典，都不同的低秩张量进行组合，来恢复原始颜色信息。
针对正则项，使用卷积网络获取最终解，如下式所示：
其中，为六层卷积网络，/>为颜色字典。
本申请使用LeakyReLU作为激活函数。通过循环的使用保真项的闭式解和求解正则项的网络，本申请可以得到目标函数的解，以此来优化颜色字典
在一些实施例中，步骤S3中基于优化后的颜色字典，生成图像恢复字典，包括：对查询字典进行初始化处理；采用卷积提取原始图像的结构和亮度特征；将原始图像的结构和亮度特征与优化后的颜色字典相融合，生成图像恢复字典。
步骤S3主要是生成图像恢复字典的过程。颜色信息表示为低秩张量的形式颜色字典/>之后，本申请需要生成图像恢复字典/>以及相应的参数/>将图像恢复字典/>以及相应的参数/>进行卷积操作，来恢复最终的暗光图像。
如图2所示，首先，本申请初始化查询字典将其作为网络的参数，其次本申请使用两层卷积，来提取原始图像的亮度和结构信息/>最后本申请使用两个网络GD(·)和GX(·)来对颜信息和结构信息进行融合。该过程可以表示为：
其中GD(·)为一个六层卷积网络，本申请使用LeakyReLU作为激活函数。本申请采用UNet作为GX(·)的结构。
需要说明的是，本申请的目标函数使用L1和感知损失来进行端到端的网络训练。同时本申请设置L1和感知损失的平衡参数为0.12。
本申请提供的暗光图像恢复方法，实施细节如下所示：
本申请以端到端的方式进行训练。在里面优化颜色字典时，本申请设置参数本申请采用PyTorch框架，并使用ADAM优化器，进行优化。同时本申请设置动量参数为0.9。针对所有的数据集，学习率从1×10-4开始，并且在280个训练周期内没有进行衰减。本申请使用英伟达A100显卡进行实验部署和训练。
基于此，本申请提出了一种将颜色信息使用卷积字典进行低秩编码的方法，该方法通过将色调和饱和度特征作为颜色先验，通过颜色卷积字典和相应的参数在HSV空间中的进行颜色编码。此外，本申请设计了深度低秩张量表示模块以集成低秩张量先验和深度先验，然后优化颜色字典。
与现有技术相比，本申请提供的暗光图像恢复方法的优势在于：一方面，本申请将颜色信息表示为低秩张量，有助于从噪声中恢复原始图像的颜色信息。另一方面，本申请的方法无需设计特殊的颜色损失，即可减轻颜色失真。与此同时，本申请提出的方法使用更少的参数，在定量和视觉上实现了优于最先进方法的最佳性能。
本申请提供的暗光图像恢复方法，在sRGNSID数据集以及SDSD数据集中获得了优于最先进方法的最佳表现。下面分别从衡量指标、定量评价、视觉评价三方面进行详细说明。
衡量指标：在上述两个数据集上本申请采用了四种定量评估指标(PSNR，SSIM，L2Lab误差和LPIPS)来评估模型的性能表现。其中PNSR和SSIM属于像素级相似性度量指标，其数据越大表示复原效果越好；LPIPS是图像及感知度量指标，LPIPS更符合人眼评估结果，其数值越小表示效果越好。L2 Lab误差越小，表示颜色和亮度信息恢复的越好。
定量评价：本申请的方法与现有技术相比，本申请提出的方法取得了最好的复原效果，对比数据如下所示：
本申请：PSNR:23.136，SSIM:0.7358，L2 Lab误差:10.320，LPIPS:0.3130。
现有技术：PSNR:22.691，SSIM:0.7179，L2 Lab误差:10.581，LPIPS:0.3417。
视觉评价：本申请与现有技术的视觉对比如图4所示，本申请的方法展现出了优越的性能。图4从左到右分别为输入图像、SNR、UTVNet、Uformer、DCCNet、本申请的结果、对照图的结果。由此可见，本申请提供的暗光图像恢复的方法在减少颜色失真和细节的恢复上取得了卓越的性能。
参看图5，本申请实施例还提供了一种暗光图像恢复系统，包括：依次连接的深度低阶张量表示模块101、颜色字典优化模块102、图像恢复字典生成模块103以及卷积模块104；深度低阶张量表示模块101用于根据卷积字典，对颜色信息进行低秩编码，得到颜色的低秩张量；颜色字典优化模块102用于根据所述颜色的低秩张量，对颜色字典进行优化；图像恢复字典生成模块103用于根据优化后的颜色字典，生成图像恢复字典；卷积模块104用于将所述图像恢复字典和表示系数进行卷积，获得最终图像。
参考图6，本申请另一实施例提供了一种电子设备，包括：至少一个处理器110；以及，与至少一个处理器通信连接的存储器111；其中，存储器111存储有可被至少一个处理器110执行的指令，指令被至少一个处理器110执行，以使至少一个处理器110能够执行上述任一方法实施例。
其中，存储器111和处理器110采用总线方式连接，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器110和存储器111的各种电路连接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路连接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器110处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传送给处理器110。
处理器110负责管理总线和通常的处理，还可以提供各种功能，包括定时，外围接口，电压调节、电源管理以及其他控制功能。而存储器111可以被用于存储处理器110在执行操作时所使用的数据。
本申请另一实施例涉及一种计算机可读存储介质，存储有计算机程序。计算机程序被处理器执行时实现上述方法实施例。
即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例上述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
由以上技术方案，本申请实施例提供一种暗光图像恢复方法、系统、设备及存储介质，该方法包括以下步骤：首先，基于卷积字典，对颜色信息进行低秩编码，得到颜色的低秩张量；基于颜色的低秩张量，对颜色字典进行优化；基于优化后的颜色字典，生成图像恢复字典；将图像恢复字典和表示系数进行卷积，获得最终图像。
本申请提供的暗光图像恢复方法，通过将颜色信息使用卷积字典进行低秩编码，该方法通过将色调和饱和度特征作为颜色先验，通过颜色卷积字典和相应的参数在HSV空间中进行颜色编码。本申请通过深度低秩张量表示模块以集成低秩张量先验和深度先验，然后优化颜色字典。通过将颜色信息表示为低秩张量，有助于从噪声中恢复原始图像的颜色信息。另外，该方法无需设计特殊的颜色损失，即可减轻颜色失真。与此同时，本申请提出的方法使用更少的参数，在定量和视觉上实现了优于最先进方法的最佳性能。
本领域的普通技术人员可以理解，上述各实施方式是实现本申请的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本申请的精神和范围。任何本领域技术人员，在不脱离本申请的精神和范围内，均可作各自更动与修改，因此本申请的保护范围应当以权利要求限定的范围为准。
Claims (8)
1.一种暗光图像恢复方法，其特征在于，包括：
基于卷积字典，对颜色信息进行低秩编码，得到颜色的低秩张量；
基于所述颜色的低秩张量，对颜色字典进行优化；
基于优化后的颜色字典，生成图像恢复字典；
将所述图像恢复字典和表示系数进行卷积，获得最终图像；
所述基于卷积字典，对颜色信息进行低秩编码，得到颜色的低秩张量，包括：
将输入图像从标准颜色空间转换为色彩空间；
通过学习颜色字典，对颜色信息进行编码，作为颜色先验；
对颜色信息进行低秩编码，将颜色信息表示为低秩张量，得到颜色的低秩张量；所述颜色的低秩张量如下所示：
其中，为Kruskal算子，/>为因子矩阵，/>为权重。
2.根据权利要求1所述的暗光图像恢复方法，其特征在于，所述颜色的低秩张量包括编码器和解码器中的特征；
所述权重是将编码器和解码器生成的特征相结合，并使用平均池化操作和一个全连接操作获取。
3.根据权利要求1所述的暗光图像恢复方法，其特征在于，所述基于所述颜色的低秩张量，对颜色字典进行优化，包括：
基于所述颜色的低秩张量，设定目标函数；
基于所述目标函数，求解保真项和正则项；
基于所述保真项和所述正则项，得到所述目标函数的解；
基于所述目标函数的解，对颜色字典进行优化。
4.根据权利要求3所述的暗光图像恢复方法，其特征在于，所述目标函数如下式所示：
针对所述保真项，闭式解如下式所示：
针对所述正则项，使用卷积网络获取最终解，如下式所示：
其中，为六层卷积网络，/>为颜色字典；/>表示卷积；/>为输入图像；/>为平衡参数；/>为先验函数；/>为字典矩阵；vec-1{·}表示逆向量函数；/>为颜色表征矩阵的转置；/>为颜色表征矩阵；/>为权重参数；I为单位举证；/>为向量化的输入图像；/>为向量化颜色字典。
5.根据权利要求1所述的暗光图像恢复方法，其特征在于，所述基于优化后的颜色字典，生成图像恢复字典，包括：
对查询字典进行初始化处理；
采用卷积提取原始图像的结构和亮度特征；
将原始图像的结构和亮度特征与优化后的颜色字典相融合，生成图像恢复字典。
6.一种暗光图像恢复系统，其特征在于，包括：依次连接的深度低阶张量表示模块、颜色字典优化模块、图像恢复字典生成模块以及卷积模块；
所述深度低阶张量表示模块用于根据卷积字典，对颜色信息进行低秩编码，得到颜色的低秩张量；
所述颜色字典优化模块用于根据所述颜色的低秩张量，对颜色字典进行优化；
所述图像恢复字典生成模块用于根据优化后的颜色字典，生成图像恢复字典；
所述卷积模块用于将所述图像恢复字典和表示系数进行卷积，获得最终图像；
基于卷积字典，对颜色信息进行低秩编码，得到颜色的低秩张量，包括：
将输入图像从标准颜色空间转换为色彩空间；
通过学习颜色字典，对颜色信息进行编码，作为颜色先验；
对颜色信息进行低秩编码，将颜色信息表示为低秩张量，得到颜色的低秩张量；所述颜色的低秩张量如下所示：
其中，为Kruskal算子，/>为因子矩阵，/>为权重。
7.一种电子设备，其特征在于，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至5中任一所述的暗光图像恢复方法。
8.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5中任一所述的暗光图像恢复方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310006554.1A CN115984137B (zh) | 2023-01-04 | 2023-01-04 | 一种暗光图像恢复方法、系统、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310006554.1A CN115984137B (zh) | 2023-01-04 | 2023-01-04 | 一种暗光图像恢复方法、系统、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115984137A CN115984137A (zh) | 2023-04-18 |
| CN115984137B true CN115984137B (zh) | 2024-05-14 |
Family
ID=85972092
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310006554.1A Active CN115984137B (zh) | 2023-01-04 | 2023-01-04 | 一种暗光图像恢复方法、系统、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115984137B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU2005201933A1 (en) * | 2005-05-06 | 2006-11-23 | Canon Kabushiki Kaisha | Method of rendering self-overlapping colour blend patches |
| CN105574534A (zh) * | 2015-12-17 | 2016-05-11 | 西安电子科技大学 | 基于稀疏子空间聚类和低秩表示的显著性目标检测方法 |
| CN107067380A (zh) * | 2017-03-28 | 2017-08-18 | 天津大学 | 基于低秩张量和层次化字典学习的高分辨率图像重构方法 |
| CN112561842A (zh) * | 2020-12-07 | 2021-03-26 | 昆明理工大学 | 基于字典学习的多源受损图像融合与恢复联合实现方法 |
| CN115239573A (zh) * | 2022-04-28 | 2022-10-25 | 重庆大学 | 一种基于系数张量核范数最小化的彩色图像复原方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020181098A1 (en) * | 2019-03-05 | 2020-09-10 | Memorial Sloan Kettering Cancer Center | Systems and methods for image classification using visual dictionaries |
-
2023
- 2023-01-04 CN CN202310006554.1A patent/CN115984137B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU2005201933A1 (en) * | 2005-05-06 | 2006-11-23 | Canon Kabushiki Kaisha | Method of rendering self-overlapping colour blend patches |
| CN105574534A (zh) * | 2015-12-17 | 2016-05-11 | 西安电子科技大学 | 基于稀疏子空间聚类和低秩表示的显著性目标检测方法 |
| CN107067380A (zh) * | 2017-03-28 | 2017-08-18 | 天津大学 | 基于低秩张量和层次化字典学习的高分辨率图像重构方法 |
| CN112561842A (zh) * | 2020-12-07 | 2021-03-26 | 昆明理工大学 | 基于字典学习的多源受损图像融合与恢复联合实现方法 |
| CN115239573A (zh) * | 2022-04-28 | 2022-10-25 | 重庆大学 | 一种基于系数张量核范数最小化的彩色图像复原方法 |
Non-Patent Citations (2)
| Title |
|---|
| Bridging Music and Image via Cross-Modal Ranking Analysis;Xixuan Wu et al.;《IEEE Transactions on Multimedia》;20160707;第1305 - 1318页 * |
| 基于深度学习的近视性屈光度自动预测方法研究;石征锦等;《光电技术应用》;20201031;第48-53页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115984137A (zh) | 2023-04-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wang et al. | An experimental-based review of image enhancement and image restoration methods for underwater imaging | |
| CN111968044B (zh) | 基于Retinex和深度学习的低照度图像增强方法 | |
| CN108932697B (zh) | 一种失真图像的去失真方法、装置及电子设备 | |
| Hu et al. | Underwater image restoration based on convolutional neural network | |
| CN107798661B (zh) | 一种自适应的图像增强方法 | |
| CN117011194B (zh) | 一种基于多尺度双通道注意力网络的低光图像增强方法 | |
| CN106447632B (zh) | 一种基于稀疏表示的raw图像去噪方法 | |
| CN111783494A (zh) | 结合二值分割的卷积自编码器的受损二维码恢复方法 | |
| CN116152120A (zh) | 一种融合高低频特征信息的低光图像增强方法及装置 | |
| CN111738948A (zh) | 一种基于双U-net的水下图像增强方法 | |
| Zhang et al. | Hierarchical attention aggregation with multi-resolution feature learning for GAN-based underwater image enhancement | |
| CN114565539B (zh) | 一种基于线上知识蒸馏的图像去雾方法 | |
| CN115861094A (zh) | 一种融合注意力机制的轻量级gan水下图像增强模型 | |
| CN112308785A (zh) | 图像去噪方法、存储介质及终端设备 | |
| CN115311149A (zh) | 图像去噪方法、模型、计算机可读存储介质及终端设备 | |
| CN113344804A (zh) | 一种弱光图像增强模型的训练方法和弱光图像增强方法 | |
| CN115984137B (zh) | 一种暗光图像恢复方法、系统、设备及存储介质 | |
| CN117078574A (zh) | 一种图像去雨方法及装置 | |
| CN116843559A (zh) | 一种基于图像处理与深度学习的水下图像增强方法 | |
| CN114897718B (zh) | 一种能同时平衡上下文信息和空间细节的低光图像增强方法 | |
| CN115829868A (zh) | 基于光照与噪声残差图的水下暗光图像增强方法 | |
| CN111292251A (zh) | 图像偏色校正方法、装置以及计算机存储介质 | |
| Li et al. | Multi-scale fusion framework via retinex and transmittance optimization for underwater image enhancement | |
| CN114926359A (zh) | 联合双颜色空间恢复和多级解码结构的水下图像增强方法 | |
| CN111354048B (zh) | 一种面向相机获取图片的质量评价方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |