CN116309116A - 一种基于raw图像的低弱光图像增强方法与装置 - Google Patents

一种基于raw图像的低弱光图像增强方法与装置 Download PDF

Info

Publication number
CN116309116A
CN116309116A CN202310065505.5A CN202310065505A CN116309116A CN 116309116 A CN116309116 A CN 116309116A CN 202310065505 A CN202310065505 A CN 202310065505A CN 116309116 A CN116309116 A CN 116309116A
Authority
CN
China
Prior art keywords
image
low
light
raw
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310065505.5A
Other languages
English (en)
Inventor
付莹
洪阳
张军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN202310065505.5A priority Critical patent/CN116309116A/zh
Publication of CN116309116A publication Critical patent/CN116309116A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种基于RAW图像的低弱光图像增强方法与装置，属于图像处理技术领域。本方法提出了用于低弱光图像增强的多尺度并行深度神经网络，通过卷积模块化设计实现不同深度网络分支的级联，以充分提取互补特征，合理分配计算资源。同时，深入分析基于RAW格式低弱光图像的数据优势，充分利用高分辨率RAW图像特别是绿色通道的空间信息和通道特性，从而达成更好的细节特征提取和隐藏信息挖掘，实现了基于RAW图像的高效低弱光图像增强，做到图像增强质量与模型处理效率之间的平衡兼顾。本发明有效提升了低弱光图像增强网络对不同信息含量的低弱光图像的鲁棒性恢复能力，提升了真实图像低弱光增强的质量，保证了真实低弱光增强图像的真实性。

Description

一种基于RAW图像的低弱光图像增强方法与装置
技术领域
本发明涉及一种基于RAW图像的低弱光图像增强方法与装置，属于图像处理技术领域。
背景技术
低弱光环境，即光线强度较低的环境，例如在夜间城市灯光、月光、星光条件下的环境等。在低弱光条件下采集的图像即为低弱光图像。此时，光线不足，图像传感器收集的光子较少，图像信号较弱，导致低弱光图像具有较强的噪声和较低的信噪比，场景信息丢失严重难以恢复。RAW图像(RAW Image Format)，是图像感应器将捕捉到的光源信号转化为数字信号的原始数据，是未经处理、未经压缩的格式。RAW图像相对于常用的JPEG格式的sRGB图像，保留了更多信息，具有更好的动态范围。针对低弱光图像的增强技术，能够解决低弱光区域亮度不足、对比度低和颜色失真等一系列图像质量退化问题，使图像得以显示更多的视觉信息，是一个对图像处理和下游视觉相关任务及产业都具有重大影响的技术。
当前，主流的图像处理方法，主要是针对8位量化JPEG等格式的sRGB(standardRed Green Blue，标准红绿蓝色彩空间)可视化图像进行设计与处理，这种图像都是经过图像采集设备内置ISP算法(Image Signal Processor，图像信号处理)从RAW域图像处理所得的，该过程会使低弱光图像仅有的语义信息进一步丢失，有时甚至会导致场景信息的永久丢失。如若将RAW格式图像直接作为图像处理算法的输入，一方面，从相机传感器获取的RAW图像比sRGB图像包含更多的信息和更高的比特值，直接从通常为14位的RAW图像中提取信息可以有效避免sRGB图像在量化时导致的信息丢失问题；另一方面，RAW图像几乎保持着图像曝光和场景亮度之间的线性相关性，即图像像素值直接与真实世界的信号强度相关，进一步避免低弱光场景有限信息的丢失。
现有的低弱光图像增强技术，主要利用深度学习架构实现将低弱光图像转化增强为正常光照图像这一过程，并能有效去除噪声，提高图像信噪比，其实际算法效果远超基于人工先验模型的传统方法。但是，此类方法由于参数空间巨大，不可避免会导致内存占用大、计算成本高，因此，其难以在计算和存储资源有限的嵌入式平台上运行，而且推理时间长，无法实现高效的低弱光图像增强，不适合于实际场景进行部署应用。
对于数据驱动的低弱光图像增强方法，在实际应用过程中，一方面在效率方面，要具有较小的内存占用、较少的模型参数、较低的计算成本，满足实时性和轻量化需求，另一方面，在性能方面也要兼顾亮度恢复、颜色偏差、噪声抑制等图像增强效果层面的挑战。由于性能和效率在实际算法设计过程中往往是相互矛盾的，现有方法通常会选择为了更好的增强性能而牺牲模型的速度和计算效率，甚至放弃对于4K分辨率图像等复杂高计算量场景的处理，这也导致相关方法的实用性大大降低。
综上所述，为了实现在移动设备上高分辨率真实低弱光图像增强结果的快速获取，并且克服现有技术较难兼顾图像增强质量与模型计算效率的问题，迫切需要一种高效且恢复效果好的低弱光图像增强方法，能够利用轻量化深度学习框架，解决4K低弱光图像的噪声、颜色偏差和细节恢复的问题。
发明内容
本发明的目的是针对现有技术存在的缺陷，特别是针对现有技术存在的难以兼顾算法性能和模型效率，无法有效部署应用于计算和存储资源有限的嵌入式移动平台，以及常用作为输入的sRGB格式图像经压缩处理后信息丢失等技术问题和不足，创造性地提出一种基于RAW图像的低弱光图像增强方法与装置。
本发明的创新点包括：
首次提出了一种用于低弱光图像增强的高效、高性能的多尺度并行深度神经网络，并进一步通过卷积模块化设计实现了不同深度网络分支的级联，以充分提取互补特征，合理分配计算资源。同时，通过深入分析基于RAW格式低弱光图像的数据优势，充分利用高分辨率RAW图像的空间信息和通道特性，特别是RAW图像中绿色通道的光照敏感属性和通道相关性，达成更好的细节特征提取和隐藏信息挖掘，实现了基于RAW图像的高效低弱光图像增强，做到图像增强质量与模型处理效率之间的平衡兼顾。
本发明采用以下技术方案实现。
一种基于RAW图像的低弱光图像增强方法，包括以下步骤：
步骤1：分析低弱光RAW图像的数据特性，设计绿色通道引导卷积分支。
由于人眼对于绿色更加敏感，可见光相机传感器基于此进行颜色感知设计。以拜耳模式存储的RAW图像，绿色像素的数量是红色像素或蓝色像素的两倍。
因此，根据低弱光RAW图像中绿色通道亮度与感知强度更高，且信息量更大的数据特性，设计绿色通道引导卷积分支，以从绿色通道中深入挖掘有用信息，指导主干网络的特征提取。
步骤2：基于RAW图像通道特性和残差密集结构，设计通道注意力引导残差密集模块。
具体地，结合注意力机制，优化现有残差密集结构，实现模块化设计，从而在较低的计算成本与存储空间限制下，实现良好的隐藏信息挖掘和细节特征提取。
步骤3：使用绿色通道引导卷积分支和通道注意力引导残差密集模块，构建多尺度并行特征提取主干网络。
传统的深度网络模型大多采用顺序串行结构，而小规模的顺序数据处理模式会导致显著的推理延迟和计算开销。因此，优选地，从RAW图像利用的角度，通过设计多尺度并行特征提取架构，结合通道注意力引导残差密集模块，将输入的拜耳模式RAW图像降采样到不同尺度，同时进行特征提取与学习。此框架能够有效并联绿色通道引导卷积分支，并共享绿色通道中更丰富的隐藏信息与细节特征，有效实现网络加速和特征增强。
步骤4：建立真实图像过曝光增强的训练目标函数，对卷积神经网络的参数进行训练，得到低弱光RAW图像和参考图像之间的映射关系。
步骤5：输入需要测试的低弱光RAW图像和步骤4得到的低弱光RAW图像与参考图像间的映射关系。通过构建低弱光RAW图像与正常光参考图像间的映射关系，将低弱光RAW图像映射成正常光照所需格式的图像。由此实现可部署于计算和存储资源有限的嵌入式移动平台，用于实际场景的高效率、高质量的低弱光图像增强。
另一方面，为实现本发明所述目的，本发明提出了一种基于RAW图像的低弱光图像增强装置，包括绿色通道引导子模块、通道注意力引导残差密集子模块和多尺度并行主干网络子模块。
其中，绿色通道引导子模块，用于设计绿色通道引导卷积分支，使其能够基于低弱光RAW格式真实低弱光图像的数据特性，利用亮度与感知强度更高的绿色通道的信息优势，共享留存信息，引导主干网络恢复低弱光区域中隐藏或丢失的细节特征和颜色偏差等。
通道注意力引导残差密集子模块，用于设计基于RAW图像通道特性和残差密集结构，结合注意力机制，针对不同尺度的特征图进行深入特征挖掘，以实现在有限的计算成本下充分提取隐藏的细节信息。
多尺度并行主干网络子模块，用于实现网络的跨尺度协同特征提取，实现聚合图像上下文信息。多分支结构和渐进融合方式能够有效缓解模型的学习难度，充分利用不同尺度的特征之间的互补性和潜在指导性。该子模块使用真实成对RAW格式低弱光增强数据进行训练，训练得到网络用于终端设备的低弱光真实图像增强。
上述模块之间的连接关系如下：
绿色通道引导子模块的输出端，以及通道注意力引导残差密集子模块的输出端，均与多尺度并行主干网络子模块的输入端相连。
有益效果
本发明，对比现有技术，具有以下优点：
1.本发明提出了一种针对低弱光RAW图像的高效多尺度并行网络体系结构，可通过多分支结构和渐进融合方式实现对于模型效率和性能的兼顾，能够直接应用部署于计算和存储资源有限的嵌入式移动平台。
2.本发明根据RAW域低弱光图像绿色通道的的光照敏感性和通道相关性，设计了绿色通道引导卷积计算分支，结合有益效果1构建多尺度并行网络，能够额外提取并共享绿色通道中的更为丰富的纹理信息和细节特征，有助于引导低弱光图像恢复缺失的像素，有效提升低弱光图像增强网络对不同信息含量的低弱光图像的鲁棒性恢复能力。
3.本发明，利用卷积神经网络学习低弱光RAW图像和正常光照参考图像之间的映射关系，结合有益效果1和2能够提升卷积神经网络的泛化性和鲁棒性，且能够提升真实图像低弱光增强的质量，保证真实低弱光增强图像的真实性。
附图说明
图1是本发明方法的流程图；
图2是本发明中基于RAW图像的高效低弱光图像增强网络示意图；
图3是本发明实施例所提供的装置结构示意图。
具体实施方式
为了更好地说明本发明的目的和优点，下面结合附图对发明内容做进一步说明。
如图1所示，一种基于RAW图像的低弱光图像增强方法，包括以下步骤：
步骤1：分析低弱光RAW图像的数据特性，设计绿色通道引导卷积分支。
由于人眼对于不同颜色的视觉敏感度不同，可见光相机传感器亦基于此进行颜色感知设计，在以拜耳模式存储的RAW图像中，绿色像素的数量是红色像素或蓝色像素的两倍。因此，根据绿色通道在低弱光条件下亮度和感知强度更高的特性，低弱光图像中的绿色通道通常比红色或蓝色通道的信息量更大。为利用RAW图像这一特性，设计绿色通道引导卷积分支来提取光照敏感特征，以期引导骨干网恢复低弱光区域中丢失的像素信息。
具体地，如图2所示，首先，在拜耳模式的RAW图像的每2×2块中，提取属于相应位置的两个绿色通道的像素，获得绿色通道，将其一同送至绿色通道引导卷积分支。
进一步地，通道引导卷积分支通过空间自适应归一化(Spatially-AdaptiveNormalization，SAN)的方式实现。具体地，对于照明信息和通道隐藏特征的提取，使用3×3卷积对输入的两个绿色通道进行处理，然后通过两个单独的3×3卷积，生成元素级参数γ和β。最后，通过相乘和加和操作，添加到批归一化后的激活元素中。
至此，完成绿色通道引导卷积分支的构建，从而在有限的计算成本下实现对于绿色通道隐藏特征的挖掘提取。
步骤2：基于RAW图像通道特性和残差密集结构，设计通道注意力引导残差密集模块。
具体地，如图2所示，通道注意力引导残差密集模块始于一个3×3的卷积运算。为了平衡该模块的性能和计算成本，将其深度灵活设置为n，即：表示每个通道注意力引导残差密集模块能够根据实际计算需求设置为具有n层ReLU激活函数和3×3卷积组合件的模块。
此外，在卷积和特征融合操作后，模块中添加一个高效的通道注意力子模块，能够令其在几乎忽略不计的额外计算成本下，进一步提升特征提取能力。
至此，完成通道引导卷积分支的设计，后续网络框架利用该低成本的即插即用模块，高效地提升网络特征提取能力。
步骤3：使用绿色通道引导卷积分支和通道注意力引导残差密集模块，构建多尺度并行特征提取主干网络。
优选地，从RAW图像利用的角度，通过设计多尺度并行特征提取架构，结合步骤2构建的通道注意力引导残差密集模块，将输入的拜耳模式RAW图像降采样到不同尺度同时进行特征提取与学习。此框架能够有效并联使用步骤1构建的绿色通道引导卷积分支，共享绿色通道中更丰富的隐藏信息与细节特征，有效实现网络加速和特征增强。
具体地，如图2所示，整体网络首先将输入的拜耳模式RAW图像分解转换为四通道图像，然后对其进行降采样(如4倍、8倍、16倍)，用于三个不同分支的多尺度特征学习，并提取相应的特征映射。由于提取低分辨率图像特征的分支所需的计算成本比提取高分辨率图像特征的分支低，因此，在低级分支中加载更多的计算量，以期挖掘更多细节特征。
最后，为了利用不同尺度下特征的内在相关性，对不同尺度下获取的特征映射上采样后进行拼接融合，实现跨不同图像尺度的协同特征提取和上下文特征信息聚合。
至此，完成了利用RAW数据的多尺度并行特征提取主干网络的构建，多分支结构和渐进融合方案有效缓解了模型的学习难度，兼顾了模型的计算效率和增强性能，充分利用不同尺度特征之间的互补性和潜在指导性，有效恢复低弱光图像或区域的细节特征和颜色偏差。
步骤4：建立真实图像过曝光增强的训练目标函数，对卷积神经网络的参数θ进行训练，得到低弱光RAW图像和参考sRGB图像之间的映射关系F。
具体地，过曝光校正卷积神经网络的总训练目标函数
Figure BDA0004061962860000061
为：
Figure BDA0004061962860000062
其中，θ表示网络参数；Iout表示输入网络增强后的低弱光图像，Igt表示参考sRGB图像；0.5是损失函数权重；
Figure BDA0004061962860000071
表示平均绝对误差损失；/>
Figure BDA0004061962860000072
表示小波结构相似性损失；/>
Figure BDA0004061962860000073
表示小波均方误差损失。
式1中的
Figure BDA0004061962860000074
进一步表示为：
Figure BDA0004061962860000075
为定义式1中的
Figure BDA0004061962860000076
首先对图像Iout和Igt进行二维离散小波变换DWT(Discrete Wavelet Transform)。
以Iout为例，表示为：
Figure BDA0004061962860000077
其中，
Figure BDA0004061962860000078
为下采样图像，/>
Figure BDA0004061962860000079
为水平边缘检测图像，/>
Figure BDA00040619628600000710
为垂直边缘检测图像，
Figure BDA00040619628600000711
为角落检测图像。
进一步地，为采用迭代DWT算法，结合式2，并令
Figure BDA00040619628600000712
将其表示为：
Figure BDA00040619628600000713
其中，i为整数，取值范围为0至2。
同理，Igt的迭代DWT操作按照式3和式4的方式定义执行。
综上，式1中的
Figure BDA00040619628600000714
表示为：
Figure BDA00040619628600000715
其中，r表示多频SSIM(结构相似性指数，structural similarity index，简称SSIM，用于度量两幅图像间的结构相似性)损耗之比，优选地，r＝0.4；SSIM(·)为原始SSIM损耗；w表示不同滤波器的输出，且w∈{LL,HL,LH,HH}，将各w取值分别代入式5。对于
Figure BDA00040619628600000716
为下采样图像，/>
Figure BDA00040619628600000717
为水平边缘检测图像，/>
Figure BDA00040619628600000718
为垂直边缘检测图像，/>
Figure BDA00040619628600000719
为角落检测图像。
网络使用二维Haar小波实现三次小波变换。式1中的
Figure BDA00040619628600000720
表示为：
Figure BDA0004061962860000081
其中，WTt(·)表示分别从Iout和Igt图像中所计算的小波系数的t阶尺度。
通过优化训练的目标函数式1，得到优化后的网络参数θ。
至此，完成了高效低弱光图像增强网络的训练，得到低弱光RAW图像和参考sRGB图像之间的映射关系F。
步骤5：输入需要测试的低弱光RAW图像，并输入步骤4得到的低弱光RAW图像与参考sRGB图像间的映射关系F。通过低弱光RAW图像与参考sRGB图像间的映射关系F，将低弱光RAW图像映射成高质量的正常光照sRGB图像，从而实现高效率和高质量低弱光图像增强，提高在计算和存储资源有限的嵌入式移动平台上的算法实用性。
具体地，低弱光RAW图像为
Figure BDA0004061962860000082
Y、/>
Figure BDA0004061962860000083
分别为低弱光RAW图像和正常光照sRGB图像。
优选地，使用GPU完成步骤4网络的训练过程和步骤5低弱光图像增强过程，并利用cuDNN库加快卷积神经网络的运行速度。
另一方面，为实现本发明所述目的，本发明进一步提出了基于RAW图像的低弱光图像增强装置，如图3所示，包括绿色通道引导子模块10、通道注意力引导残差密集子模块20、多尺度并行主干网络子模块30。
其中，绿色通道引导子模块10，用于设计绿色通道引导卷积分支，使其能够基于低弱光RAW格式真实低弱光图像的数据特性，利用亮度与感知强度更高的绿色通道的信息优势，共享留存信息，引导主干网络恢复低弱光区域中隐藏或丢失的细节特征和颜色偏差等。
通道注意力引导残差密集子模块20，用于设计基于RAW图像通道特性和残差密集结构，结合注意力机制，针对不同尺度的特征图进行深入特征挖掘，以实现在有限的计算成本下充分提取隐藏的细节信息。
多尺度并行主干网络子模块30，用于实现网络的跨尺度协同特征提取，从而实现聚合图像上下文信息。并且多分支结构和渐进融合方式可以有效缓解模型的学习难度，充分利用不同尺度的特征之间的互补性和潜在指导性。该子模块使用真实成对RAW格式低弱光增强数据进行训练，训练得到网络可用于移动端设备的低弱光真实图像增强。
上述模块之间的连接关系如下：
绿色通道引导子模块10的输出端，与多尺度并行主干网络子模块30的输入端相连。
通道注意力引导残差密集子模块20的输出端，也与多尺度并行主干网络子模块30的输入端相连。
以上所述的具体描述，对发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于RAW图像的低弱光图像增强方法，其特征在于，包括以下步骤：
步骤1：分析低弱光RAW图像的数据特性，设计绿色通道引导卷积分支；
步骤2：基于RAW图像通道特性和残差密集结构，设计通道注意力引导残差密集模块；
结合注意力机制，优化现有残差密集结构，实现模块化设计；
步骤3：使用绿色通道引导卷积分支和通道注意力引导残差密集模块，构建多尺度并行特征提取主干网络；
从RAW图像利用的角度，通过设计多尺度并行特征提取架构，结合通道注意力引导残差密集模块，将输入的拜耳模式RAW图像降采样到不同尺度，同时进行特征提取与学习；
步骤4：建立真实图像过曝光增强的训练目标函数，对卷积神经网络的参数进行训练，得到低弱光RAW图像和参考图像之间的映射关系；
步骤5：输入需要测试的低弱光RAW图像和步骤4得到的低弱光RAW图像与参考图像间的映射关系；
通过构建低弱光RAW图像与正常光参考图像间的映射关系，将低弱光RAW图像映射成正常光照所需格式的图像。
2.如权利要求1所述的一种基于RAW图像的低弱光图像增强方法，其特征在于，步骤1中，在拜耳模式的RAW图像的每2×2块中，提取属于相应位置的两个绿色通道的像素，获得绿色通道，将其一同送至绿色通道引导卷积分支；
通道引导卷积分支通过空间自适应归一化方式实现，对于照明信息和通道隐藏特征的提取，使用3×3卷积对输入的两个绿色通道进行处理，然后通过两个单独的3×3卷积，生成元素级参数γ和β；
最后，通过相乘和加和操作，添加到批归一化后的激活元素中。
3.如权利要求1所述的一种基于RAW图像的低弱光图像增强方法，其特征在于，步骤3中，整体网络首先将输入的拜耳模式RAW图像分解转换为四通道图像，然后对其进行降采样，用于三个不同分支的多尺度特征学习，并提取相应的特征映射；
最后，对不同尺度下获取的特征映射上采样后进行拼接融合，实现跨不同图像尺度的协同特征提取和上下文特征信息聚合。
4.如权利要求1所述的一种基于RAW图像的低弱光图像增强方法，其特征在于，步骤4中，过曝光校正卷积神经网络的总训练目标函数
Figure FDA0004061962850000021
为：
Figure FDA0004061962850000022
其中，θ表示卷积神经网络参数；Iout表示输入网络增强后的低弱光图像，Igt表示参考sRGB图像；0.5是损失函数权重；
Figure FDA0004061962850000023
表示平均绝对误差损失；
Figure FDA0004061962850000024
表示小波结构相似性损失；/>
Figure FDA0004061962850000025
表示小波均方误差损失；
式1中的
Figure FDA0004061962850000026
进一步表示为：
Figure FDA0004061962850000027
为定义式1中的
Figure FDA0004061962850000028
首先对图像Iout和Igt进行二维离散小波变换DWT；
对于Iout，表示为：
Figure FDA0004061962850000029
其中，
Figure FDA00040619628500000210
为下采样图像，/>
Figure FDA00040619628500000211
为水平边缘检测图像，/>
Figure FDA00040619628500000212
为垂直边缘检测图像，/>
Figure FDA00040619628500000213
为角落检测图像；
为采用迭代DWT算法，结合式2，并令
Figure FDA00040619628500000214
将其表示为：
Figure FDA00040619628500000215
其中，i为整数，取值范围为0至2；
Igt的迭代DWT操作按照式3和式4的方式定义执行；
则式1中的
Figure FDA00040619628500000216
表示为：
Figure FDA00040619628500000217
其中，r表示多频SSIM损耗之比；SSIM(·)为原始SSIM损耗；w表示不同滤波器的输出，且w∈{LL,HL,LH,HH}，将各w取值分别代入式5；对于
Figure FDA00040619628500000218
为下采样图像，/>
Figure FDA00040619628500000219
为水平边缘检测图像，/>
Figure FDA00040619628500000220
为垂直边缘检测图像，/>
Figure FDA00040619628500000221
为角落检测图像；
网络使用二维Haar小波实现三次小波变换；式1中的
Figure FDA00040619628500000222
表示为：
Figure FDA0004061962850000031
其中，WTt(·)表示分别从Iout和Igt图像中所计算的小波系数的t阶尺度；
通过优化训练的目标函数式1，得到优化后的网络参数θ；
至此，得到低弱光RAW图像和参考sRGB图像之间的映射关系F。
5.如权利要求4所述的一种基于RAW图像的低弱光图像增强方法，其特征在于，式5中，r＝0.4。
6.如权利要求1所述的一种基于RAW图像的低弱光图像增强方法，其特征在于，步骤5中，低弱光RAW图像为
Figure FDA0004061962850000032
Y、/>
Figure FDA0004061962850000033
分别为低弱光RAW图像和正常光照sRGB图像；F表示低弱光RAW图像与参考sRGB图像间的映射关系。
7.如权利要求1所述的一种基于RAW图像的低弱光图像增强方法，其特征在于，使用GPU完成步骤4网络的训练过程和步骤5低弱光图像增强过程，并利用cuDNN库加快卷积神经网络的运行速度。
8.一种基于RAW图像的低弱光图像增强装置，其特征在于，包括绿色通道引导子模块、通道注意力引导残差密集子模块和多尺度并行主干网络子模块；
其中，绿色通道引导子模块，用于设计绿色通道引导卷积分支，使其基于低弱光RAW格式真实低弱光图像的数据特性，利用亮度与感知强度更高的绿色通道的信息优势，共享留存信息，引导主干网络恢复低弱光区域中隐藏/丢失的细节特征和颜色偏差；
通道注意力引导残差密集子模块，用于设计基于RAW图像通道特性和残差密集结构，结合注意力机制，针对不同尺度的特征图进行深入特征挖掘，实现在有限的计算成本下充分提取隐藏的细节信息；
多尺度并行主干网络子模块，用于实现网络的跨尺度协同特征提取，实现聚合图像上下文信息；该子模块使用真实成对RAW格式低弱光增强数据进行训练，训练得到网络用于终端设备的低弱光真实图像增强；
上述模块之间的连接关系如下：
绿色通道引导子模块的输出端，以及通道注意力引导残差密集子模块的输出端，均与多尺度并行主干网络子模块的输入端相连。
CN202310065505.5A 2023-02-06 2023-02-06 一种基于raw图像的低弱光图像增强方法与装置 Pending CN116309116A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310065505.5A CN116309116A (zh) 2023-02-06 2023-02-06 一种基于raw图像的低弱光图像增强方法与装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310065505.5A CN116309116A (zh) 2023-02-06 2023-02-06 一种基于raw图像的低弱光图像增强方法与装置

Publications (1)

Publication Number Publication Date
CN116309116A true CN116309116A (zh) 2023-06-23

Family

ID=86836811

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310065505.5A Pending CN116309116A (zh) 2023-02-06 2023-02-06 一种基于raw图像的低弱光图像增强方法与装置

Country Status (1)

Country Link
CN (1) CN116309116A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117793538A (zh) * 2024-02-23 2024-03-29 北京理工大学 一种图像自动曝光矫正与增强方法及装置
CN117994161A (zh) * 2024-04-03 2024-05-07 西安交通大学 一种raw格式弱光图像增强方法及装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117793538A (zh) * 2024-02-23 2024-03-29 北京理工大学 一种图像自动曝光矫正与增强方法及装置
CN117994161A (zh) * 2024-04-03 2024-05-07 西安交通大学 一种raw格式弱光图像增强方法及装置
CN117994161B (zh) * 2024-04-03 2024-06-21 西安交通大学 一种raw格式弱光图像增强方法及装置

Similar Documents

Publication Publication Date Title
CN109636754B (zh) 基于生成对抗网络的极低照度图像增强方法
CN111127336B (zh) 一种基于自适应选择模块的图像信号处理方法
EP4198875A1 (en) Image fusion method, and training method and apparatus for image fusion model
CN107123089B (zh) 基于深度卷积网络的遥感图像超分辨重建方法及系统
CN111402146B (zh) 图像处理方法以及图像处理装置
CN111986084B (zh) 一种基于多任务融合的多相机低光照图像质量增强方法
US9025871B2 (en) Image processing apparatus and method of providing high sensitive color images
CN116309116A (zh) 一种基于raw图像的低弱光图像增强方法与装置
CN111194458A (zh) 用于处理图像的图像信号处理器
CN115442515A (zh) 图像处理方法和设备
CN113454680A (zh) 图像处理器
CN109785252B (zh) 基于多尺度残差密集网络夜间图像增强方法
CN112465727A (zh) 基于HSV色彩空间和Retinex理论的无正常光照参考的低照度图像增强方法
CN106454014B (zh) 一种提高逆光场景车辆抓拍图像质量的方法及装置
WO2024027287A1 (zh) 图像处理系统及方法、计算机可读介质和电子设备
CN114596233A (zh) 基于注意引导和多尺度特征融合的低照度图像增强方法
CN113409355A (zh) 一种基于fpga的运动目标识别系统及方法
CN115311149A (zh) 图像去噪方法、模型、计算机可读存储介质及终端设备
US11997246B2 (en) Trained artificial intelligence model for raw to RGB image transformation
CN111401453A (zh) 一种马赛克图像分类识别方法及系统
CN115830567A (zh) 一种弱光条件下道路目标融合感知方法及系统
CN112017128B (zh) 一种图像自适应去雾方法
CN115619666A (zh) 图像处理方法、图像处理装置、存储介质与电子设备
CN115471417A (zh) 图像降噪处理方法、装置、设备、存储介质和程序产品
WO2022040471A1 (en) Systems and methods for performing image enhancement using neural networks implemented by channel-constrained hardware accelerators

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination