CN116612041A - 基于超像素分析的低照度图像增强方法及系统 - Google Patents

基于超像素分析的低照度图像增强方法及系统 Download PDF

Info

Publication number
CN116612041A
CN116612041A CN202310639384.0A CN202310639384A CN116612041A CN 116612041 A CN116612041 A CN 116612041A CN 202310639384 A CN202310639384 A CN 202310639384A CN 116612041 A CN116612041 A CN 116612041A
Authority
CN
China
Prior art keywords
image
enhancement
low
pixel
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310639384.0A
Other languages
English (en)
Inventor
刘云霞
戴瑜杉
孙茹
王予新
杨阳
许子健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN202310639384.0A priority Critical patent/CN116612041A/zh
Publication of CN116612041A publication Critical patent/CN116612041A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了基于超像素分析的低照度图像增强方法及系统，将已有数据集中的图像按平均灰度值等级分类，并构建多个训练集；利用零参考图像增强技术构建低照度图像增强的网络模型，根据多个训练集训练出多个网络模型；采用对应的网络模型对图像首次增强；对增强后图像进行分割和像素级标记，并对分割后图像中的所有超像素区域分别进行低照度图像增强，计算增强后再次分割的结果与增强前分割结果的IoU值，实现迭代处理；对迭代增强后图像的RGB值进行阈值限定，超过阈值则进行直方图均衡化，并重新进行分割和增强的迭代处理，直至符合阈值限定。本发明针对同一张图像的不同亮度区域分别进行图像增强，有效解决图像存在整体色彩偏差的问题。

Description

基于超像素分析的低照度图像增强方法及系统
技术领域
本发明涉及人工智能技术领域，特别是涉及基于超像素分析的低照度图像增强方法及系统。
背景技术
本部分的陈述仅仅是提到了与本发明相关的背景技术，并不必然构成现有技术。
在图像处理和计算机视觉领域，图像增强和分割是两个重要的任务。图像增强的目标是提高图像的质量和细节，使其更易于观察和分析。而图像分割的目标是将图像分成若干个不同的区域，以实现目标检测、物体识别、场景理解等应用。
传统的图像增强和分割方法通常需要使用多种技术和算法，而这些方法往往不是高效或准确的。随着深度学习技术的发展，越来越多的研究人员开始将深度学习应用于图像增强和分割任务中。其中，零参考图像增强技术因其能够从图像本身中自适应学习和提取信息而受到广泛关注。
然而，现有的零参考图像增强方法仍然存在一些问题，例如过度增强、失真和模糊等问题。此外，目前很多低照度图像增强的应用案例中，由于低照度场景下会存在少量的单色光源，从而导致图像在增强后会产生整体色彩存在偏差。
发明内容
为了解决现有技术的不足，本发明提供了基于超像素分析的低照度图像增强方法及系统；本发明提出了一种将图像分割技术与低照度图像增强技术相结合的方法，以进一步提高图像增强的质量和准确性。在低照度图像中，本发明可以将低照度图像进行分割，得到若干超像素，对图像中不同亮度的超像素分别进行图像增强并形成迭代系统，最后有效解决增强后图像存在整体色彩偏差的问题。
第一方面，本发明提供了基于超像素分析的低照度图像增强方法；
基于超像素分析的低照度图像增强方法，包括：
S101：获取待处理的低照度图像，根据待处理低照度图像的平均灰度值选择对应等级的预训练网络模型，根据所选择的预训练网络模型对待处理图像进行第一次增强处理；
S102：对第一次增强处理后的图像，进行第一次图像分割，分割出若干个独立的物体，每个独立的物体对应一个超像素；根据每个超像素的平均灰度值，采用相应等级的预训练网络模型，对相应的超像素进行第二次增强处理；将第二次增强处理后的所有图像进行合并，得到第二次增强后的低照度图像；
S103：对第二次增强后的低照度图像，进行第二次图像分割；计算第二次图像分割结果与第一次图像分割结果的重叠度，如果重叠度小于第一设定阈值，则返回S101，如果重叠度大于第一设定阈值则进入S104；
S104：计算第二次增强后的低照度图像整体的RGB值，分别将RGB值与第二设定阈值进行比较，如果超过第二设定阈值，则对第二次增强后的低照度图像进行直方图均衡化处理，并将处理后的图像送回S101；如果小于第二设定阈值，则结束，将第二次增强后的低照度图像作为增强结果输出。
第二方面，本发明提供了基于超像素分析的低照度图像增强系统；
基于超像素分析的低照度图像增强系统，包括：
获取模块，其被配置为：获取待处理的低照度图像，根据待处理低照度图像的平均灰度值选择对应等级的预训练网络模型，根据所选择的预训练网络模型对待处理图像进行第一次增强处理；
第一处理模块，其被配置为：对第一次增强处理后的图像，进行第一次图像分割，分割出若干个独立的物体，每个独立的物体对应一个超像素；根据每个超像素的平均灰度值，采用相应等级的预训练网络模型，对相应的超像素进行第二次增强处理；将第二次增强处理后的所有图像进行合并，得到第二次增强后的低照度图像；
第二处理模块，其被配置为：对第二次增强后的低照度图像，进行第二次图像分割；计算第二次图像分割结果与第一次图像分割结果的重叠度，如果重叠度小于第一设定阈值，则返回获取模块，如果重叠度大于第一设定阈值则进入第三处理模块；
第三处理模块，其被配置为：计算第二次增强后的低照度图像整体的RGB值，分别将RGB值与第二设定阈值进行比较，如果超过第二设定阈值，则对第二次增强后的低照度图像进行直方图均衡化处理，并将处理后的图像送回获取模块；如果小于第二设定阈值，则结束，将第二次增强后的低照度图像作为增强结果输出。
第三方面，本发明还提供了一种电子设备，包括：
存储器，用于非暂时性存储计算机可读指令；以及
处理器，用于运行所述计算机可读指令，
其中，所述计算机可读指令被所述处理器运行时，执行上述第一方面所述的方法。
第四方面，本发明还提供了一种存储介质，非暂时性地存储计算机可读指令，其中，当非暂时性计算机可读指令由计算机执行时，执行第一方面所述方法的指令。
第五方面，本发明还提供了一种计算机程序产品，包括计算机程序，所述计算机程序当在一个或多个处理器上运行的时候用于实现上述第一方面所述的方法。
与现有技术相比，本发明的有益效果是：
本发明提出了一种基于图像分割出的超像素进行分析，该分割技术可以自动将图像分割成若干个超像素，并对每个区域进行单独的零参考图像增强。这种方法不仅可以提高图像增强的质量和细节，还可以更好地保留图像的结构和特征。
通过对超像素分析后进行低照度图像增强，本发明提供了一种新的、高效的图像增强方法，该方法可以在各种应用场景中提高图像增强和分割的质量和效率，并且可以解决增强后图像中出现局部曝光或者局部增强不佳的问题，与此同时，本发明也对增强后图像存在整体色差的问题进行了优化与解决。该技术可以应用于医学图像、遥感图像、视频图像等各种类型的图像处理和分析领域。
本发明可以合理区分低照度图像中的不同亮度的物体，采用多个模型分别进行增强处理，从而可以避免低照度图像中亮度过高的区域或物体经过增强后过曝和避免低照度图像中亮度较低的区域或物体经过增强后效果不佳的问题。
本发明采用图像分割技术分割出图像中的每一个完整物体，每一个物体对应一个超像素，从而实现在对同一张低照度图像进行增强的同时，确保图像中任意物体增强后色彩的合理性，避免出现同一物体的不同区域增强差别过大。
本发明通过自行搭建的训练集制作模块，针对性的对已有训练集进行分类，从而可以实现后续训练出多个低照度图像增强模型用以应对图像中不同亮度的物体。
本发明所提出的基于超像素分析进行图像增强的模型可以根据不同的场景和需求进行调整和优化，具有一定的普适性和适应性，可以满足不同领域和应用的需求，使得应用更加广泛和灵活。
本发明采用了两个迭代系统嵌套的方式，在进行低照度图像增强的同时，通过不断的迭代处理，直至达到最佳效果。
本发明通过IoU指标判断分割后图像和分割、增强后再分割结果的重叠程度，从而避免在低照度情况下无法有效分割出不同超像素的问题，提高了最终增强图像中不同物体之间的区分度。
本发明通过对处理后的图像进行RGB阈值限定，避免了处理后的图像整体存在的色彩偏差，从而实现最终增强后图像的色彩合理性。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1为本发明实施例的整体流程示意图；
图2为本发明实施例的训练集构建和网络模型训练示意图；
图3为本发明实施例的图像增强网络模型系统示意图；
图4为本发明实施例的图像增强网络模型中神经网络的示意图。
具体实施方式
应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
术语解释：
1.超像素：指将图像中相邻像素组合成更大、更有意义的紧密区域的图像分割技术。通过将像素聚集成超像素，可以减少图像中的细节信息，提取出更具语义和结构意义的图像区域。
2.灰度值：灰度值是指图像中每个像素的亮度强度，用来描述像素的明暗程度。在数字图像中，灰度值通常使用0到255之间的整数来表示，也可以使用0到1之间的浮点数来表示。灰度值越大表示图像中的物体越亮，越接近白色；灰度值越小表示图像中的物体越暗，越接近黑色。
3.tanh:双曲正切函数是双曲函数的一种。双曲正切函数在数学语言上一般写作tanh。它解决了Sigmoid函数的不以0为中心输出问题。
4.ReLU：全称为：Rectified Linear Unit，是一种人工神经网络中常用的激活函数，通常意义下，其指代数学中的斜坡函数，即
f(x)＝max(0,x)。
5.U-Net：U-Net是一种经典的深度学习模型，用于图像分割任务，特别是语义分割。它由Olaf Ronneberger、Philipp Fischer和Thomas Brox在2015年提出。U-Net的网络结构呈现对称的编码器-解码器架构，如字母"U"的形状，因此得名为U-Net。
6.IoU：Intersection over Union是一种常用的评估指标，用于衡量两个区域(如目标检测或图像分割中的预测区域和真实区域)之间的重叠程度。IoU计算公式如下：
IoU＝(交集面积)/(并集面积)
其中，交集面积指的是两个区域相交的部分的面积，而并集面积指的是两个区域的并集的面积。IoU的取值范围在0到1之间，值越接近1表示两个区域重叠程度越高，值越接近0表示两个区域重叠程度越低或没有重叠。
实施例一
本实施例提供了基于超像素分析的低照度图像增强方法；
如图1所示，基于超像素分析的低照度图像增强方法，包括：
S101：获取待处理的低照度图像，根据待处理低照度图像的平均灰度值选择对应等级的预训练网络模型，根据所选择的预训练网络模型对待处理图像进行第一次增强处理；
S102：对第一次增强处理后的图像，进行第一次图像分割，分割出若干个独立的物体，每个独立的物体对应一个超像素；根据每个超像素的平均灰度值，采用相应等级的预训练网络模型，对相应的超像素进行第二次增强处理；将第二次增强处理后的所有图像进行合并，得到第二次增强后的低照度图像；
S103：对第二次增强后的低照度图像，进行第二次图像分割；计算第二次图像分割结果与第一次图像分割结果的重叠度，如果重叠度小于第一设定阈值，则返回S101，如果重叠度大于第一设定阈值则进入S104；
S104：计算第二次增强后的低照度图像整体的RGB值，分别将RGB值与第二设定阈值进行比较，如果超过第二设定阈值，则对第二次增强后的低照度图像进行直方图均衡化处理，并将处理后的图像送回S101；如果小于第二设定阈值，则结束，将第二次增强后的低照度图像作为增强结果输出。
本实施例用于对低照度图像中不同亮度的超像素分别进行增强处理，并防止最终图像出现整体色差。
进一步地，所述待处理的低照度图像，其中，低照度，是指图像整体平均灰度值低于85。
进一步地，所述待处理低照度图像的平均灰度值，其中平均灰度值的计算过程包括：
先计算待处理低照度图像的每个像素点的RGB值；
将每个像素点的RGB值转换为每个像素点的灰度值；
计算所有像素点灰度值总和；
根据所有像素点灰度值总和和所有像素点的个数，计算出平均灰度值。
应理解地，图像平均灰度值的计算——根据已有的多个低照度图像数据集，包括LOL数据集、SICE数据集等等。由于这些数据集中图像的分辨率不同，因此可以读取RGB图像并获取整体图像的像素值，将图像解码为数组，数组的每个元素表示一个像素，可以访问这个数组中该像素的对应位置，也就是行和列，从而获取这个位置上每个通道的RGB值(红、绿、蓝通道)。在得的每个像素点的RGB值后，根据下列公式将每个像素的RGB值转换为灰度值：
Gray＝0.299*R+0.587*G+0.114*B
计算出每个像素的灰度值后，计算灰度值总和，并使用灰度值总和除以获取到的像素个数得到平均灰度值。对数据集中的每一张图像都进行此操作，从而得到每一张图像的平均灰度值。
进一步地，如图4所示，所述预训练网络模型，其网络结构包括：
依次连接的第一卷积层、第一激活函数层、第二卷积层、第二激活函数层、第三卷积层、第三激活函数层、第四卷积层、第四激活函数层、第五卷积层、第五激活函数层、第六卷积层、第六激活函数层、第七卷积层、第七激活函数层、第八卷积层、第八激活函数层、第九卷积层和第九激活函数层；
所述第一激活函数层输出的特征图与第八激活函数层输出的特征图进行串联拼接融合后，输入到第九卷积层；
所述第二激活函数层输出的特征图与第七激活函数层输出的特征图进行串联拼接融合后，输入到第八卷积层；
所述第三激活函数层输出的特征图与第六激活函数层输出的特征图进行串联拼接融合后，输入到第七卷积层；
所述第四激活函数层输出的特征图与第五激活函数层输出的特征图进行串联拼接融合后，输入到第六卷积层。
进一步地，如图3所示，所述预训练网络模型，具体训练过程包括：
构建第一训练集，所述第一训练集，包括若干个子训练集，每个子训练集是将数据集中所有的图像根据亮度进行分类，分成若干个等级，每个等级的图像构成一个子训练集；
将一个等级的子训练集，输入到对应的网络模型中，对网络模型进行训练，当网络模型的总损失函数值不再下降时，得到当前等级的预训练网络模型；
不同等级的子训练集，训练出不同等级的预训练网络模型。
示例性地，将已有训练集中的所有图像根据亮度进行分类，分成7个等级a-g，每个等级的图像构成一个新的训练集，最终形成7个训练集a-g；
针对7个训练集，分别采用低照度图像增强技术进行网络模型的构建和训练，得到7个不同的预训练网络模型a-g。
所述已有训练集，采用LOL数据集、SICE数据集来实现。
示例性地，所述构建训练集，具体包括：由于本发明所处理的图像大多数为低亮度图像，因此为了后续训练出的多个模型可以保证低亮度时仍有区别，因此将每一张图像按照以下标准分为7类，这7类的平均灰度值分别为0-7、8-15、16-31、32-63、64-127、128-256，将这7个等级分别定义为等级a、b、c、d、e、f、g，最终将数据集分类为7个不同亮度的训练集——依次定义为训练集a-g。
进一步地，所述将数据集中所有的图像根据亮度进行分类，分成若干个等级，每个等级的图像构成一个子训练集，的具体过程包括：
将图像中每个像素的RGB值转换为灰度值：
Gray＝0.299*R+0.587*G+0.114*B
计算出每个像素的灰度值后，计算图像整体的平均灰度值并依次计算已有数据集中所有图像的平均灰度值；
根据平均灰度值构建多个等级，每个等级的图像构成一个新的子训练集，最终形成多个子训练集。
进一步地，所述根据所选择的预训练网络模型对待处理图像进行第一次增强处理，具体包括：
将待处理图像输入到所选择的预训练网络模型中，生成增强后的图像。
进一步地，所述将待处理图像输入到所选择的预训练网络模型中，生成增强后的图像，公式表达为：
其中，Ek(X)为增强后图像，Ak(X)为当前像素的可学习参数，Ek-1(X)为输入图像，也就是嵌套结构中的上一级的输出增强图像。
示例性地，所述预训练网络模型，利用零参考图像增强技术，实现用神经网络来拟合一条亮度映射曲线，再根据亮度映射曲线和原图像生成增强后的图像。首先输入待处理图像，由于亮度映射曲线的参数是根据每个像素的亮度确定的，因此输入的原始图像中不同亮度的像素分别输入到对应的亮度映射曲线中，由该曲线映射出提亮后的像素RGB值，图像中的所有像素全部经过此操作从而得到增强后的整体图像。整个计算过程采用梯度下降法优化神经网络，在提亮图像的同时，通过使用一些设定好的误差函数约束优化过程，使算法既能保证生成出来的图片亮度合理，又能保证图片较为真实、贴近原图像。
在本发明中，设计亮度映射曲线时，要确保曲线是按照以下两个标准进行设计：
1.为了避免图像增强之后亮度不升反降，要保证映射曲线是单调递增曲线。
2.由于亮度值落在区间[0,1]，为保证亮度值的值域不变，曲线在0处值要为0，在1处值要为1。
使用了如下的公式描述曲线：
其中，X是像素坐标，α是可学习参数，E(X)是输入I(X)的增强图像。为了使曲线进行高阶拟合，可以将曲线进行嵌套处理：
因此，此公式的一般形式：
在本实施例中，可以令n为2，k为6，即设定曲线为3阶曲线，嵌套6次。与此同时，为了避免每个像素都用同样的映射曲线。
最终的映射曲线函数为：
拟合增强曲线的神经网络一共有9层，见图2，由于是对RGB分别进行操作，所以可以得到三个通道的输出。每一层都是3x3等长的卷积层。为保持相邻像素间的联系，卷积层后不使用批归一化。第8层的激活函数为ReLU，由于输出落在[-1,1]，输出层的激活函数是tanh函数。4、5层的输出会拼接到一起再送入第6层，3、6层输出拼接送入第7层，2、7层输出拼接送入第8层，1、8层输出拼接送入第9层输出层。
进一步地，所述网络模型的总损失函数，具体为：
总误差函数为四个误差函数的加权和：
Ltotal＝W1Lspa+W2Lexp+W3Lcol+W4Ltva
根据实际测试，四个加权值分别根据模型具体训练结果进行修改设置，将权重设置为：W1＝1,W2＝5,W3＝5,W5＝200。
空间一致误差Lspa：用于确保图像增强后内容不发生改变。准确的说是防止某像素的值和其相邻像素的值的差发生过大的改变。
其中，K是像素数，i是对像素的遍历,Ω(i)是第i个像素的n邻域，n的值取决于输入图像的分辨率。Y、I分别是增强图像和输入图像。
曝光控制误差Lexp：避免部分区域过度曝光，部分区域增强不够，减少极端亮度，让每个像素的亮度更靠近某个中间值。这个约束可以用如下的误差函数表达：
其中，常数A描述了亮度的中间值，Y是一个n邻域中亮度的平均值，n的值取决于输入图像的分辨率，M是这种邻域的总个数。
颜色恒定误差Lcol：图像的RGB中任意一个的数值不应显著超出其他通道。因此，有如下误差：
其中，(p,q)遍历了三个颜色通道中所有两两组合，Jp表示颜色通道p的灰度平均值。
光照平滑误差LtvA：为了保持相邻像素的单调关系，让相邻像素之间的亮度改变不显著，就要让相邻像素间的参数α∈A更相近一点。
其中，N是迭代次数，分别是水平和垂直的梯度算子。对于图像，水平梯度和垂直梯度就是和左方、上方相邻像素之间的数值差。
应理解地，为了能不使用参考数据，设计了四个误差函数，以从不同的角度约束增强后的图像。根据创建的训练集a-g，分别对该网络模型进行7次训练，利用损失函数分别拟合出一条亮度映射曲线，最终训练出7个模型参数，得到网络模型a-g。为了避免低照度图像的整体亮度较低、不同区域之间亮度差值过小，从而导致无法对图像进行有效的分割，因此在对低照度图像分割增强之前，先读取图像的像素值与RGB值，计算该图像的平均灰度值，判断该平均灰度值的等级a-g，选择同等级的网络模型进行图像增强处理。
进一步地，所述S102：对第一次增强处理后的图像，进行第一次图像分割，分割出若干个独立的物体，每个独立的物体对应一个超像素，包括：
采用训练后的图像分割模型U-Net，对第一次增强处理后的图像，进行第一次图像分割，分割出若干个独立的物体，每个独立的物体对应一个超像素。
应理解地，所述若干个独立的物体，是指图像被分割后的若干个区域。
进一步地，所述训练后的图像分割模型U-Net，训练过程包括：
构建第二训练集，所述第二训练集包括已知图像分割结果的原始图像；
将第二训练集输入到图像分割模型U-Net中，对模型进行训练，得到训练后的图像分割模型U-Net。
进一步地，所述采用训练后的图像分割模型U-Net，对第一次增强处理后的图像，进行第一次图像分割，具体包括：
当图像输入后，先通过编码器，编码器由两个3x3的卷积层(ReLU)和一个2x2的最大池化层组成一个下采样的模块。
然后将经过编码器的图像输入解码器，解码器由一个上采样的卷积层(去卷积层)和特征拼接层以及两个3x3的卷积层(ReLU)组成。经过解码器后，最终输出分割后的图像。
图像中分割出来的每一个独立的物体，对应一个超像素，对分割后图像的所有超像素进行像素级地标记，得到此次的分割结果。
逐个读取分割出来的超像素，并获取每个超像素的像素值，然后分别将超像素解码为数组，获取每个像素的RGB值(红、绿、蓝通道)。在得的每个像素点的RGB值后，根据下列公式将每个像素的RGB值转换为灰度值：
G＝0.299*R+0.587*G+0.114*B
计算出每个像素的灰度值后，计算灰度值总和，并使用灰度值总和除以超像素的像素个数得到每个超像素的平均灰度值。
将初步增强后的低照度图像输入到图像分割模型中，包括并不限于U-Net，通过模型后会将图像中的每一个独立的物体分割出来，对应得到一个超像素区域，获取图像中每一个超像素的信息，计算每一个超像素的平均灰度值。
示例性地，所述S102：根据每个超像素的平均灰度值，采用相应等级的预训练网络模型，对相应的超像素进行第二次增强处理；将第二次增强处理后的图像进行合并，得到第二次增强后的低照度图像，包括：
根据计算得到的物体图像的平均灰度值，按照7个灰度等级，即0-7、8-15、16-31、32-63、64-127、128-256，判断出当前物体图像的平均灰度值属于哪一类，按照类别，采用训练好的网络模型a-g中对应的网络模型，对当前的超像素进行增强。
当分割后的图像中所有的超像素全部经过增强后，把增强后的超像素进行合并，从而得到第二次增强后的低照度图像。
应理解地，所述S103：对第二次增强后的低照度图像，进行第二次图像分割，包括：为了防止出现分割不完全导致增强效果不佳的情况，需要将增强后的图像再进行一次分割。第二次图像分割也采用图像分割模型U-Net。
进一步地，所述S103：计算第二次图像分割结果与第一次图像分割结果的重叠度，如果重叠度小于第一设定阈值，则返回S101，如果重叠度大于第一设定阈值则进入S104，包括：
计算两次分割结果的重叠度，设定IoU的阈值，IoU的阈值设置为0.98，如果IoU值小于阈值，则返回S101，直至IoU指标符合阈值限定。
利用IoU指标，计算增强前后两次对图像进行分割得到的结果之间的重叠度，从而避免在低照度情况下对图像进行分割效果不佳的问题。
进一步地，所述S104：计算第二次增强后的低照度图像整体的RGB值，分别将RGB值与第二设定阈值进行比较，如果超过第二设定阈值，则对第二次增强后的低照度图像进行直方图均衡化处理，并将处理后的图像送回S101；如果小于第二设定阈值，则结束，将第二次增强后的低照度图像作为增强结果输出，具体包括：
将图像中每一个像素点的R、G、B值分别相加得到总和，并将总和除以图像的像素个数，得到图像的平均R、G、B值，分别设定R、G、B阈值(0-255)，将平均R、G、B值与设定的阈值进行比较；
如果小于阈值，则无需调整；
如果大于阈值，则采用直方图均衡化的方法对图像进行处理，并且为了防止直方图均衡化会对图像的整体亮度进行改变，因此将图像重新送回到S101进行迭代处理，直至最终图像的平均R、G、B值小于等于设定的阈值。
本发明提供了一种基于超像素分析的低照度图像增强方法，首先将已有数据集中的图像按平均灰度值等级分类，并构建多个训练集；利用零参考图像增强技术构建低照度图像增强的网络模型，根据多个训练集训练出多个网络模型；采用对应的网络模型对图像首次增强；对增强后图像进行分割和像素级标记，并对分割后图像中的所有超像素区域分别进行低照度图像增强，计算增强后再次分割的结果与增强前分割结果的IoU值，实现迭代处理；对迭代增强后图像的RGB值进行阈值限定，超过阈值则进行直方图均衡化，并重新进行分割和增强的迭代处理，直至符合阈值限定。本发明可以针对同一张图像的不同亮度区域分别进行图像增强，并根据增强后的图像有效解决图像存在整体色彩偏差的问题。
实施例二
本实施例提供了基于超像素分析的低照度图像增强系统；
基于超像素分析的低照度图像增强系统，包括：
获取模块，其被配置为：获取待处理的低照度图像，根据待处理低照度图像的平均灰度值选择对应等级的预训练网络模型，根据所选择的预训练网络模型对待处理图像进行第一次增强处理；
第一处理模块，其被配置为：对第一次增强处理后的图像，进行第一次图像分割，分割出若干个独立的物体，每个独立的物体对应一个超像素；根据每个超像素的平均灰度值，采用相应等级的预训练网络模型，对相应的超像素进行第二次增强处理；将第二次增强处理后的所有图像进行合并，得到第二次增强后的低照度图像；
第二处理模块，其被配置为：对第二次增强后的低照度图像，进行第二次图像分割；计算第二次图像分割结果与第一次图像分割结果的重叠度，如果重叠度小于第一设定阈值，则返回获取模块，如果重叠度大于第一设定阈值则进入第三处理模块；
第三处理模块，其被配置为：计算第二次增强后的低照度图像整体的RGB值，分别将RGB值与第二设定阈值进行比较，如果超过第二设定阈值，则对第二次增强后的低照度图像进行直方图均衡化处理，并将处理后的图像送回获取模块；如果小于第二设定阈值，则结束，将第二次增强后的低照度图像作为增强结果输出。
此处需要说明的是，上述获取模块、第一处理模块、第二处理模块和第三处理模块对应于实施例一中的步骤S101至S104，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例一所公开的内容。需要说明的是，上述模块作为系统的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。
上述实施例中对各个实施例的描述各有侧重，某个实施例中没有详述的部分可以参见其他实施例的相关描述。
所提出的系统，可以通过其他的方式实现。例如以上所描述的系统实施例仅仅是示意性的，例如上述模块的划分，仅仅为一种逻辑功能划分，实际实现时，可以有另外的划分方式，例如多个模块可以结合或者可以集成到另外一个系统，或一些特征可以忽略，或不执行。
实施例三
本实施例还提供了一种电子设备，包括：一个或多个处理器、一个或多个存储器、以及一个或多个计算机程序；其中，处理器与存储器连接，上述一个或多个计算机程序被存储在存储器中，当电子设备运行时，该处理器执行该存储器存储的一个或多个计算机程序，以使电子设备执行上述实施例一所述的方法。
应理解，本实施例中，处理器可以是中央处理单元CPU，处理器还可以是其他通用处理器、数字信号处理器DSP、专用集成电路ASIC，现成可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据、存储器的一部分还可以包括非易失性随机存储器。例如，存储器还可以存储设备类型的信息。
在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。
实施例一中的方法可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器、闪存、只读存储器、可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。
本领域普通技术人员可以意识到，结合本实施例描述的各示例的单元及算法步骤，能够以电子硬件或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
实施例四
本实施例还提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成实施例一所述的方法。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.基于超像素分析的低照度图像增强方法，其特征是，包括：
S101：获取待处理的低照度图像，根据待处理低照度图像的平均灰度值选择对应等级的预训练网络模型，根据所选择的预训练网络模型对待处理图像进行第一次增强处理；
S102：对第一次增强处理后的图像，进行第一次图像分割，分割出若干个独立的物体，每个独立的物体对应一个超像素；根据每个超像素的平均灰度值，采用相应等级的预训练网络模型，对相应的超像素进行第二次增强处理；将第二次增强处理后的所有图像进行合并，得到第二次增强后的低照度图像；
S103：对第二次增强后的低照度图像，进行第二次图像分割；计算第二次图像分割结果与第一次图像分割结果的重叠度，如果重叠度小于第一设定阈值，则返回S101，如果重叠度大于第一设定阈值则进入S104；
S104：计算第二次增强后的低照度图像整体的RGB值，分别将RGB值与第二设定阈值进行比较，如果超过第二设定阈值，则对第二次增强后的低照度图像进行直方图均衡化处理，并将处理后的图像送回S101；如果小于第二设定阈值，则结束，将第二次增强后的低照度图像作为增强结果输出。
2.如权利要求1所述的基于超像素分析的低照度图像增强方法，其特征是，所述待处理低照度图像的平均灰度值，其中平均灰度值的计算过程包括：
先计算待处理低照度图像的每个像素点的RGB值；
将每个像素点的RGB值转换为每个像素点的灰度值；
计算所有像素点灰度值总和；
根据所有像素点灰度值总和和所有像素点的个数，计算出平均灰度值。
3.如权利要求1所述的基于超像素分析的低照度图像增强方法，其特征是，所述预训练网络模型，其网络结构包括：
依次连接的第一卷积层、第一激活函数层、第二卷积层、第二激活函数层、第三卷积层、第三激活函数层、第四卷积层、第四激活函数层、第五卷积层、第五激活函数层、第六卷积层、第六激活函数层、第七卷积层、第七激活函数层、第八卷积层、第八激活函数层、第九卷积层和第九激活函数层；
所述第一激活函数层输出的特征图与第八激活函数层输出的特征图进行串联拼接融合后，输入到第九卷积层；
所述第二激活函数层输出的特征图与第七激活函数层输出的特征图进行串联拼接融合后，输入到第八卷积层；
所述第三激活函数层输出的特征图与第六激活函数层输出的特征图进行串联拼接融合后，输入到第七卷积层；
所述第四激活函数层输出的特征图与第五激活函数层输出的特征图进行串联拼接融合后，输入到第六卷积层。
4.如权利要求1所述的基于超像素分析的低照度图像增强方法，其特征是，所述预训练网络模型，具体训练过程包括：
构建第一训练集，所述第一训练集，包括若干个子训练集，每个子训练集是将数据集中所有的图像根据亮度进行分类，分成若干个等级，每个等级的图像构成一个子训练集；
将一个等级的子训练集，输入到对应的网络模型中，对网络模型进行训练，当网络模型的总损失函数值不再下降时，得到当前等级的预训练网络模型；
不同等级的子训练集，训练出不同等级的预训练网络模型。
5.如权利要求1所述的基于超像素分析的低照度图像增强方法，其特征是，所述根据所选择的预训练网络模型对待处理图像进行第一次增强处理，具体包括：
将待处理图像输入到所选择的预训练网络模型中，生成增强后的图像；
所述将待处理图像输入到所选择的预训练网络模型中，生成增强后的图像，公式表达为：
其中，Ek(X)为增强后图像，Ak(X)为当前像素的可学习参数，Ek-1(X)为输入图像，也就是嵌套结构中的上一级的输出增强图像。
6.如权利要求4所述的基于超像素分析的低照度图像增强方法，其特征是，所述网络模型的总损失函数，具体为：
总误差函数为四个误差函数的加权和：
Ltotal＝W1Lspa+W2Lexp+W3Lcol+W4Ltva
根据实际测试，四个加权值分别根据模型具体训练结果进行修改设置，将权重设置为：W1＝1,W2＝5,W3＝5,W4＝200；
空间一致误差Lspa：
其中，K是像素数，i是对像素的遍历,Ω(i)是第i个像素的n邻域，n的值取决于输入图像的分辨率；Y、I分别是增强图像和输入图像；
曝光控制误差Lexp：
其中，常数A描述了亮度的中间值，Y是一个n邻域中亮度的平均值，n的值取决于输入图像的分辨率，M是这种邻域的总个数；
颜色恒定误差Lcol：
其中，(p,q)遍历了三个颜色通道中所有两两组合，Jp表示颜色通道p的灰度平均值；
光照平滑误差LtvA：
其中，N是迭代次数，分别是水平和垂直的梯度算子；对于图像，水平梯度和垂直梯度就是和左方、上方相邻像素之间的数值差。
7.如权利要求1所述的基于超像素分析的低照度图像增强方法，其特征是，
对第一次增强处理后的图像，进行第一次图像分割，分割出若干个独立的物体，每个独立的物体对应一个超像素，包括：
采用训练后的图像分割模型U-Net，对第一次增强处理后的图像，进行第一次图像分割，分割出若干个独立的物体，每个独立的物体对应一个超像素。
8.基于超像素分析的低照度图像增强系统，其特征是，包括：
获取模块，其被配置为：获取待处理的低照度图像，根据待处理低照度图像的平均灰度值选择对应等级的预训练网络模型，根据所选择的预训练网络模型对待处理图像进行第一次增强处理；
第一处理模块，其被配置为：对第一次增强处理后的图像，进行第一次图像分割，分割出若干个独立的物体，每个独立的物体对应一个超像素；根据每个超像素的平均灰度值，采用相应等级的预训练网络模型，对相应的超像素进行第二次增强处理；将第二次增强处理后的所有图像进行合并，得到第二次增强后的低照度图像；
第二处理模块，其被配置为：对第二次增强后的低照度图像，进行第二次图像分割；计算第二次图像分割结果与第一次图像分割结果的重叠度，如果重叠度小于第一设定阈值，则返回获取模块，如果重叠度大于第一设定阈值则进入第三处理模块；
第三处理模块，其被配置为：计算第二次增强后的低照度图像整体的RGB值，分别将RGB值与第二设定阈值进行比较，如果超过第二设定阈值，则对第二次增强后的低照度图像进行直方图均衡化处理，并将处理后的图像送回获取模块；如果小于第二设定阈值，则结束，将第二次增强后的低照度图像作为增强结果输出。
9.一种电子设备，其特征是，包括：
存储器，用于非暂时性存储计算机可读指令；以及
处理器，用于运行所述计算机可读指令，
其中，所述计算机可读指令被所述处理器运行时，执行上述权利要求1-7任一项所述的方法。
10.一种存储介质，其特征是，非暂时性地存储计算机可读指令，其中，当非暂时性计算机可读指令由计算机执行时，执行权利要求1-7任一项所述方法的指令。
CN202310639384.0A 2023-05-31 2023-05-31 基于超像素分析的低照度图像增强方法及系统 Pending CN116612041A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310639384.0A CN116612041A (zh) 2023-05-31 2023-05-31 基于超像素分析的低照度图像增强方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310639384.0A CN116612041A (zh) 2023-05-31 2023-05-31 基于超像素分析的低照度图像增强方法及系统

Publications (1)

Publication Number Publication Date
CN116612041A true CN116612041A (zh) 2023-08-18

Family

ID=87683357

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310639384.0A Pending CN116612041A (zh) 2023-05-31 2023-05-31 基于超像素分析的低照度图像增强方法及系统

Country Status (1)

Country Link
CN (1) CN116612041A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117456311A (zh) * 2023-12-22 2024-01-26 东北大学 矿物伴生体识别方法与系统、存储介质和设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117456311A (zh) * 2023-12-22 2024-01-26 东北大学 矿物伴生体识别方法与系统、存储介质和设备

Similar Documents

Publication Publication Date Title
CN113298837B (zh) 一种图像边缘提取方法、装置、存储介质及设备
US11961203B2 (en) Image processing device and operation method therefor
CN111428556B (zh) 一种基于胶囊神经网络的交通标志识别方法
CN109753878B (zh) 一种恶劣天气下的成像识别方法及系统
CN109255758A (zh) 基于全1*1卷积神经网络的图像增强方法
CN113781510B (zh) 边缘检测方法、装置及电子设备
CN112883887B (zh) 一种基于高空间分辨率光学遥感图像的建筑物实例自动提取方法
CN116612041A (zh) 基于超像素分析的低照度图像增强方法及系统
CN112215859B (zh) 一种基于深度学习和邻接约束的纹理边界检测方法
CN111079807A (zh) 一种地物分类方法及装置
CN113096023A (zh) 神经网络的训练方法、图像处理方法及装置、存储介质
CN114494081B (zh) 一种无人机遥感测绘图像增强方法
CN112861987A (zh) 暗光环境下的目标检测方法
CN115909378A (zh) 单据文本检测模型的训练方法及单据文本检测方法
CN114187515A (zh) 图像分割方法和图像分割装置
CN112801195A (zh) 一种基于深度学习的雾天能见度预测方法，存储装置及服务器
CN116843561A (zh) 一种图像增强方法及设备
CN111062384A (zh) 一种基于深度学习的车窗精确定位方法
CN110852314B (zh) 一种基于相机投影模型的物品检测网络方法
CN117291812A (zh) 一种基于Zero-DCE网络结构改善为有监督用于图像增强的方法
CN114565764A (zh) 基于舰船实例分割的港口全景感知系统
CN115731115A (zh) 一种数据处理方法以及装置
US11790564B2 (en) Encoders for improved image dithering
CN114066916A (zh) 基于深度学习的粘连米粒的检测分割方法
CN114862752A (zh) 分类图的置信度辅助上采样

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination