CN115456915B - 基于3DLut的图像去雾处理方法、系统及可存储介质 - Google Patents

基于3DLut的图像去雾处理方法、系统及可存储介质 Download PDF

Info

Publication number
CN115456915B
CN115456915B CN202211401726.7A CN202211401726A CN115456915B CN 115456915 B CN115456915 B CN 115456915B CN 202211401726 A CN202211401726 A CN 202211401726A CN 115456915 B CN115456915 B CN 115456915B
Authority
CN
China
Prior art keywords
model
image
defogging
lookup table
weight
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211401726.7A
Other languages
English (en)
Other versions
CN115456915A (zh
Inventor
林景洲
张齐宁
郭奇锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Shenzhi Future Intelligence Co ltd
Original Assignee
Shenzhen Shenzhi Future Intelligence Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Shenzhi Future Intelligence Co ltd filed Critical Shenzhen Shenzhi Future Intelligence Co ltd
Priority to CN202211401726.7A priority Critical patent/CN115456915B/zh
Publication of CN115456915A publication Critical patent/CN115456915A/zh
Application granted granted Critical
Publication of CN115456915B publication Critical patent/CN115456915B/zh
Priority to PCT/CN2023/137040 priority patent/WO2024099466A1/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

本发明公开了一种基于3DLut的图像去雾处理方法、系统及可存储介质，涉及图像处理技术领域，包括：准备若干张原始图片，利用大气散射模型对原始图片进行生成雾处理，得到加雾图像；构建去雾模型，将加雾图像输入去雾模型中进行模型训练，得到训练好的去雾模型；通过训练好的去雾模型对待去雾图像进行去雾处理，将待去雾图像进行分块切割后，作为训练好的去雾模型的输入，并将训练好的去雾模型的所有输出结果进行融合，获得去雾后的图像。本发明将LUT用于图像去雾任务得到高效算法，节省计算时间，通过全图训练分块推断的方式达到更好的去雾效果。

Description

基于3DLut的图像去雾处理方法、系统及可存储介质
技术领域
本发明涉及图像处理技术领域，更具体的说是涉及一种基于3DLut的图像去雾处理方法、系统及可存储介质。
背景技术
在雾天环境下，摄像机拍摄的图像对比度和分辨率明显下降，对图像进行去雾处理可以改善雾后图像部分失真严重的问题，得到对比度良好的还原图像。目前，传统的图像去雾方法主要有两类：一种是基于大气光照模型，采用暗通道增强的方法估计雾强度来提升对比度，但是这种方法对于天空等场景往往表现不佳且有明显的不自然边界；另一种是使用卷积神经网络模型达到图像增强和去雾的效果，这种方法往往对算力要求比较高，计算速度也不够快。
LUT（lookup table，查找表），原理是对图像的每个像素的色彩信息经过LUT的重新定位之后，就能得到一个新的色彩值，常用于图像的色彩增强和调整图像的颜色风格等。因此，如何将查找表应用于图像去雾任务，克服传统图像去雾方法存在的不足，取得更明显的去雾效果是本领域技术人员亟需解决的技术问题。
发明内容
有鉴于此，本发明提供了一种基于3DLut的图像去雾处理方法、系统及可存储介质，将LUT用于图像去雾任务得到高效算法，节省计算时间，且具有明显的去雾效果。
为了实现上述目的，本发明提供如下技术方案：
一种基于3DLut的图像去雾处理方法，包括以下步骤：
准备若干张原始图片，利用大气散射模型对原始图片进行生成雾处理，得到加雾图像（采用固定深度的方法进行均匀加雾）；
构建去雾模型，将加雾图像输入去雾模型中进行模型训练，得到训练好的去雾模型；
通过训练好的去雾模型对待去雾图像进行去雾处理，将待去雾图像进行分块切割后，作为训练好的去雾模型的输入，并将训练好的去雾模型的所有输出结果进行融合，获得去雾后的图像。
可选的，得到加雾图像，具体包括以下步骤：
在大气中的雾均匀分布且场景深度已知时，透射率为：
；
式中：为图像深度，为大气的媒介衰减系数， x为输入图像的RGB像素值；
根据大气散射模型得到加雾图像，具体表示为：
；
式中：表示实际观测到的图像，即加雾图像；表示去雾后的图像，即待恢复的无雾图像； A表示场景的大气光。
可选的，去雾模型包括生成权重模型和生成查找表模型；
生成权重模型为以三通道图为输入、以一组权重值为输出的卷积神经网络；
生成查找表模型将一组初始化的查找表作为基础查找表，并根据生成权重模型的输出进行加权相加，得到加权查找表。
可选的，生成权重模型包括下采样结构、卷积层、随机失活层和全连接层，且各结构依次相连；
下采样结构包括两层采样尺度为2的下采样层，卷积层包括5个卷积层模块；全连接层的输出为最后的预测值，即查找表的混合权重。
可选的，将加雾图像输入去雾模型中进行模型训练，具体包括以下步骤：
将加雾图像分别输入生成权重模型及生成查找表模型中，对于每一张加雾图像来说，生成权重模型输出 n个权重，则生成查找表模型相应地初始化 n个33×33×33的查找表：， n取决于内存大小；
将所有点值设为可训练参数，最终的加权表示为：
；
则，整个去雾模型的输出为加雾图像经过进行查找表映射的输出，通过端对端的模型训练最终得到生成权重模型和n个固定的33×33×33的3D-LUT。
可选的，还包括对于训练好的去雾模型的查表方法，将加雾图像的值归一化到（0,1），其中，查找表的维度和加雾图像的通道一一对应，查找表在每一维上的元素数为查找表的精度，具体为：
对于RGB图的 M维查找表，其包含个元素：，每个元素代表一个输入RGB值和其对应的输出；
输入值的值域被 M等分，等分间隔记为 s，则输入在查找表中的位置为：
；
在查找表中取的最近邻8个在查找表中包含的点并用三次插值得到该点的输出值为：
；
式中：表示的向下取整的值；，，；表示LUT中的第个元素，表示查找表中的第个元素，表示查找表中的第个元素，表示查找表中的第个元素，表示查找表中的第个元素，表示查找表中的第个元素，表示查找表中的第个元素，表示查找表中的第个元素；表示输入对应的输出， M为查找表的维度。
可选的，通过训练好的去雾模型对待去雾图像进行去雾处理，具体包括以下步骤：
将待去雾图像均匀分为 m×m的块后输入生成权重模型中，得到 m×m组权重，记：；
获得 n个 m×m像素的权重图， m为图像长或高的像素值，将权重图进行高斯模糊，再采用二次插值的方法改变到与输入图同样的大小，得到 n个权重图；
在生成查找表模型中，分别用 n组训练好的基础查找表对输入图进行颜色映射，得到 n个输出，最后得到的加权输出为：
。
本发明还公开了一种基于3DLut的图像去雾处理系统，包括：准备模块、加雾模块、构建模块、训练模块、分块推断模块；
准备模块，用于准备若干张原始图片；
加雾模块，通过大气散射模型对原始图片进行生成雾处理，得到加雾图像；
构建模块，用于构建去雾模型；
训练模块，用于将加雾图像输入去雾模型中进行模型训练，得到训练好的去雾模型；
分块推断模块，通过训练好的去雾模型对待去雾图像进行去雾处理，将待去雾图像进行分块切割后，作为训练好的去雾模型的输入，并将训练好的去雾模型的所有输出结果进行融合，获得去雾后的图像。
可选的，去雾模型包括生成权重模型和生成查找表模型；
生成权重模型为以三通道图为输入、以一组权重值为输出的卷积神经网络；生成权重模型包括下采样结构、卷积层、随机失活层和全连接层，且各结构依次相连；下采样结构包括两层采样尺度为2的下采样层，卷积层包括5个卷积层模块；全连接层的输出为查找表的混合权重；
生成查找表模型将一组初始化的查找表作为基础查找表，并根据生成权重模型的输出进行加权相加，得到加权查找表。
本发明还公开了一种计算机可存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以上所述基于3DLut的图像去雾处理方法的步骤。
经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种基于3DLut的图像去雾处理方法、系统及可存储介质，将LUT方法用于图像去雾任务得到高效算法，节省计算时间；通过全图训练、分块推断的方式达到更好的去雾效果；去雾模型的大小仅为2.4M，处理1080p图片的时间仅为6ms，在保持亮度的情况下有明显的去雾效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为基于3DLut的图像去雾处理方法的过程示意图；
图2为生成权重模型的结构示意图；
图3为分块推断的示意图；
图4为基于3DLut的图像去雾处理系统的结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例公开了一种基于3DLut的图像去雾处理方法，参照如图1所示的本实施例的去雾过程示意图，包括以下步骤：
准备若干张原始图片，利用大气散射模型对原始图片进行生成雾处理，得到加雾图像；
构建去雾模型，将加雾图像输入去雾模型中进行模型训练，得到训练好的去雾模型；
通过训练好的去雾模型对待去雾图像进行去雾处理，将待去雾图像进行分块切割后，作为训练好的去雾模型的输入，并将训练好的去雾模型的所有输出结果进行融合，获得去雾后的图像。
进一步的，本实施例将LUT方法应用于图像去雾任务得到高效算法，还通过全图训练、分块推断的方式达到更好的去雾效果。接下来，通过下面的内容对图像去雾处理的过程进行更详细地了解。
首先，是数据生成的过程，即在一批清晰无雾的原始图片上用大气散射模型进行生成雾的处理，对于该方法中的深度则采用固定深度的方法进行均匀加雾，生成雾图片为输入信号，对应的清晰无雾的图片为监督信号。
具体的算法是：在大气中的雾均匀分布且场景深度已知时，透射率为：
；
式中：为图像深度，在本实施例中将这个值设为固定深度；为大气的媒介衰减系数，实际可以测量，在此算法中随机取自（0.04, 0.2）；最后将计算得到的截断到（0，1）区间； x为输入图像的RGB像素值，可以理解为一张图像输入；
根据大气散射模型得到加雾图像，具体表示为：
；
式中：表示实际观测到的图像，即加雾图像；表示去雾后的图像，即待恢复的无雾图像； A表示场景的大气光，实际可以测量，在此算法中随机取自（0.8, 1.0）。
进一步地，是模型去雾的过程，其中，去雾模型包括生成权重模型和生成查找表模型；
（1）生成权重模型为以三通道图为输入、以一组权重值为输出的卷积神经网络。具体地，为了增加推断速度和训练速度，如图2所示，该网络首先包含一个下采样结构，为两层采样尺度为2的下采样层组成；然后，该网络包含五个卷积层模块，最后使用一个随机失活层和全连接层得到最后的预测值，即查找表的混合权重。
（2）生成查找表模型将一组初始化的查找表作为基础查找表，并根据生成权重模型的输出进行加权相加，得到加权查找表。
进一步地，将加雾图像输入去雾模型中进行模型训练，具体包括以下步骤：
将加雾图像分别输入生成权重模型及生成查找表模型中，对于每一张加雾图像来说，生成权重模型输出2个权重，则生成查找表模型相应地初始化2个33×33×33的查找表：；
将其中的所有点值设为可训练参数，最终的加权表示为：
；
则，整个去雾模型的输出为加雾图像经过进行查找表映射的输出，这样就可以进行端对端的模型训练最终得到生成权重模型和2个固定的33×33×33的3D-LUT。
进一步地，对于这个混合得到的查找表，查表方法是：先将加雾图像的值归一化到（0, 1），而查找表的维度和加雾图像的通道一一对应，查找表在每一维上的元素数为查找表的精度，例如：
对于RGB图的 M维查找表，其包含个元素：，每个元素代表一个输入RGB值和其对应的输出；
查找表的维度是对于输入的某一通道来说，输入值的值域被 M等分，等分间隔记为 s，则输入在LUT中的位置为：
；
在LUT中取的最近邻8个在LUT表中包含的点并用三次插值得到该点的输出值为：
式中：表示的向下取整的值；，，；表示LUT中的第个元素，表示查找表中的第个元素，表示查找表中的第个元素，表示查找表中的第个元素，表示查找表中的第个元素，表示查找表中的第个元素，表示查找表中的第个元素，表示查找表中的第个元素；表示输入对应的输出， M为查找表的维度（根据设备的内存大小进行选择）。
进一步地，是分块推断的过程，如图3所示，分块推断的去雾方法是指在输入图片上进行分块切割，分别作为训练好的去雾模型的输入，最后对训练好的去雾模型的所有输出进行融合。
具体地，典型的方法是：将待去雾图像均匀分为9×9的块后分别输入生成权重模型中，得到9×9组权重，记：
，；
将它们组成2个9×9像素的权重图。为了融合的边界过渡自然，将这2张权重图进行高斯模糊，再采用二次插值的方法resize到与输入图同样的大小，得到2个权重图；
同时，在生成查找表模型中，分别用2组训练完成的基础查找表对输入图进行颜色映射，得到2个输出，最后得到的加权输出为：
。
本实施例还公开了一种计算机可存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以上所述基于3DLut的图像去雾处理方法的步骤。
在本实施例中公开的只是本方法的其中一种具体情况，除此之外，查找表可以扩展到多维查找表，对应输入的维度即可，例如，对于RGBA通道数为4的图像，对应的查找表为四维查找表；生成查找表模型中初始化的基础查找表不局限于2个，同时生成权重模型的输出与之对应，实际上，查找表数越多，对于输入图像的适应性越强，但查找表数量与维度相等时达到去雾效果及算法效率的最优解；分块推断中的插值、分块的大小可以改变、可以使用不同尺度、也可以重叠计算，计算后得到的权重最终resize到输入大小的map的方式也可以是最近邻插值或者其他插值方法；为了不产生分块边界，也可以使用除高斯模糊外其他的模糊方法和其他的融合方法，包括不限于均值模糊、高斯金字塔融合等。
与图1所述的方法相对应，本发明实施例还提供了一种基于3DLut的图像去雾处理系统，用于对图1中方法的具体实现，本发明实施例提供的一种基于3DLut的图像去雾处理系统可以应用计算机终端或各种移动设备中，其结构示意图如图4所示，具体包括：准备模块、加雾模块、构建模块、训练模块、分块推断模块；
准备模块，用于准备若干张原始图片；
加雾模块，通过大气散射模型对原始图片进行生成雾处理，得到加雾图像；
构建模块，用于构建去雾模型；
训练模块，用于将加雾图像输入去雾模型中进行模型训练，得到训练好的去雾模型；
分块推断模块，通过训练好的去雾模型对待去雾图像进行去雾处理，将待去雾图像进行分块切割后，作为训练好的去雾模型的输入，并将训练好的去雾模型的所有输出结果进行融合，获得去雾后的图像。
进一步地，去雾模型包括生成权重模型和生成查找表模型；
生成权重模型为以三通道图为输入、以一组权重值为输出的卷积神经网络；生成权重模型包括下采样结构、卷积层、随机失活层和全连接层，且各结构依次相连；下采样结构包括两层采样尺度为2的下采样层，卷积层包括5个卷积层模块；全连接层的输出为查找表的混合权重；
生成查找表模型将一组初始化的查找表作为基础查找表，并根据生成权重模型的输出进行加权相加，得到加权查找表。
传统的图像去雾方法对于天空等场景往往表现不佳且有明显的不自然边界，对算力要求比较高，计算速度也不够快。为克服传统图像去雾方法的不足，本发明将LUT方法用于图像去雾任务得到高效算法，节省计算时间；通过全图训练、分块推断的方式达到更好的去雾效果；去雾模型的大小仅为2.4M，处理1080p图片的时间仅为6ms，在保持亮度的情况下有明显的去雾效果。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (6)

1.一种基于3DLut的图像去雾处理方法，其特征在于，包括以下步骤：
准备若干张原始图片，利用大气散射模型对原始图片进行生成雾处理，得到加雾图像；
构建去雾模型，将加雾图像输入去雾模型中进行模型训练，得到训练好的去雾模型；
通过训练好的去雾模型对待去雾图像进行去雾处理，将待去雾图像进行分块切割后，作为训练好的去雾模型的输入，并将训练好的去雾模型的所有输出结果进行融合，获得去雾后的图像；
其中，去雾模型包括生成权重模型和生成查找表模型；
生成权重模型为以三通道图为输入、以一组权重值为输出的卷积神经网络；生成权重模型包括下采样结构、卷积层、随机失活层和全连接层，且各结构依次相连；下采样结构包括两层采样尺度为2的下采样层，卷积层包括5个卷积层模块；全连接层的输出为查找表的混合权重；
生成查找表模型将一组初始化的查找表作为基础查找表，并根据生成权重模型的输出进行加权相加，得到加权查找表；
将加雾图像输入去雾模型中进行模型训练，具体包括以下步骤：
将加雾图像分别输入生成权重模型及生成查找表模型中，对于每一张加雾图像来说，生成权重模型输出n个权重w1,w2,…,wn，则生成查找表模型相应地初始化n个33×33×33的查找表：LUT1,LUT2,…,LUTn，n取决于内存大小；
将所有点值设为可训练参数，最终的加权表示为：
LUTfinal＝w1×LUT1+w2×LUT2+…+wn×LUTn；
则，整个去雾模型的输出为加雾图像经过LUTfinal进行查找表映射的输出，通过端对端的模型训练最终得到生成权重模型和n个固定的33×33×33的3D-LUT。
2.根据权利要求1所述的一种基于3DLut的图像去雾处理方法，其特征在于，得到加雾图像，具体包括以下步骤：
在大气中的雾均匀分布且场景深度已知时，透射率为：
t(x)＝e-βd(x)；
式中：d(x)为图像深度，β为大气的媒介衰减系数，x为输入图像的RGB像素值；
根据大气散射模型得到加雾图像，具体表示为：
I(x)＝J(x)t(x)+A[1-t(x)]；
式中：I(x)表示实际观测到的图像，即加雾图像；J(x)表示去雾后的图像，即待恢复的无雾图像；A表示场景的大气光。
3.根据权利要求1所述的一种基于3DLut的图像去雾处理方法，其特征在于，还包括对于训练好的去雾模型的查表方法，将加雾图像的值归一化到(0,1)，其中，查找表的维度和加雾图像的通道一一对应，查找表在每一维上的元素数为查找表的精度，具体为：
对于RGB图的M维查找表，其包含M3个元素：{Vi,j,k}i,j,k＝0,...,M-1，每个元素Vi,j,k代表一个输入RGB值
Figure FDA0004138521340000021
和其对应的输出
Figure FDA0004138521340000022
输入值的值域被M等分，等分间隔记为s，则输入
Figure FDA0004138521340000023
在查找表中的位置{x,y,z}为：
Figure FDA0004138521340000024
在查找表中取{x,y,z}的最近邻8个在查找表中包含的点并用三次插值得到该点的输出值为：
Figure FDA0004138521340000031
式中：{i,j,k}表示{x,y,z}的向下取整的值；dx＝x-i，dy＝y-j，dz＝z-k；Vi,j,k表示查找表中的第{i,j,k}个元素，Vi+1,j,k表示查找表中的第{i+1,j,k}个元素，Vi,j+1,k表示查找表中的第{i,j+1,k}个元素，Vi,j,k+1表示查找表中的第{i,j,k+1}个元素，Vi+1,j+1,k表示查找表中的第{i+1,j+1,k}个元素，Vi,j+1,k+1表示查找表中的第{i,j+1,k+1}个元素，Vi+1,j,k+1表示查找表中的第{i+1,j,k+1}个元素，Vi+1,j+1,k+1表示查找表中的第{i+1,j+1,k+1}个元素；
Figure FDA0004138521340000035
表示输入
Figure FDA0004138521340000032
对应的输出，M表示查找表的维度。
4.根据权利要求1所述的一种基于3DLut的图像去雾处理方法，其特征在于，通过训练好的去雾模型对待去雾图像进行去雾处理，具体包括以下步骤：
将待去雾图像均匀分为m×m的块后输入生成权重模型中，得到m×m组权重
Figure FDA0004138521340000033
记：
Figure FDA0004138521340000034
获得n个m×m像素的权重图，m为图像长或高的像素值，将权重图进行高斯模糊，再采用二次插值的方法改变到与输入图同样的大小，得到n个权重图W1',W2',...,Wn'；
在生成查找表模型中，分别用n组训练好的基础查找表对输入图进行颜色映射，得到n个输出O1,O2,...,On，最后得到的加权输出为：
Output＝W1'×O1+W2'×O2+…+Wn'×On。
5.一种实现如权利要求1-4任一项所述的基于3DLut的图像去雾处理方法的系统，其特征在于，包括：准备模块、加雾模块、构建模块、训练模块、分块推断模块；
准备模块，用于准备若干张原始图片；
加雾模块，通过大气散射模型对原始图片进行生成雾处理，得到加雾图像；
构建模块，用于构建去雾模型；
训练模块，用于将加雾图像输入去雾模型中进行模型训练，得到训练好的去雾模型；
分块推断模块，通过训练好的去雾模型对待去雾图像进行去雾处理，将待去雾图像进行分块切割后，作为训练好的去雾模型的输入，并将训练好的去雾模型的所有输出结果进行融合，获得去雾后的图像；
其中，去雾模型包括生成权重模型和生成查找表模型；
生成权重模型为以三通道图为输入、以一组权重值为输出的卷积神经网络；生成权重模型包括下采样结构、卷积层、随机失活层和全连接层，且各结构依次相连；下采样结构包括两层采样尺度为2的下采样层，卷积层包括5个卷积层模块；全连接层的输出为查找表的混合权重；
生成查找表模型将一组初始化的查找表作为基础查找表，并根据生成权重模型的输出进行加权相加，得到加权查找表。
6.一种计算机可存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-4任一项所述基于3DLut的图像去雾处理方法的步骤。
CN202211401726.7A 2022-11-10 2022-11-10 基于3DLut的图像去雾处理方法、系统及可存储介质 Active CN115456915B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202211401726.7A CN115456915B (zh) 2022-11-10 2022-11-10 基于3DLut的图像去雾处理方法、系统及可存储介质
PCT/CN2023/137040 WO2024099466A1 (zh) 2022-11-10 2023-12-07 基于3DLut的图像去雾处理方法、系统及可存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211401726.7A CN115456915B (zh) 2022-11-10 2022-11-10 基于3DLut的图像去雾处理方法、系统及可存储介质

Publications (2)

Publication Number Publication Date
CN115456915A CN115456915A (zh) 2022-12-09
CN115456915B true CN115456915B (zh) 2023-05-09

Family

ID=84295592

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211401726.7A Active CN115456915B (zh) 2022-11-10 2022-11-10 基于3DLut的图像去雾处理方法、系统及可存储介质

Country Status (2)

Country Link
CN (1) CN115456915B (zh)
WO (1) WO2024099466A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115456915B (zh) * 2022-11-10 2023-05-09 深圳深知未来智能有限公司 基于3DLut的图像去雾处理方法、系统及可存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103188433A (zh) * 2011-12-30 2013-07-03 株式会社日立制作所 图像除雾装置和图像除雾方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103164845B (zh) * 2011-12-16 2016-08-03 中国科学院沈阳自动化研究所 一种实时图像去雾装置及方法
CN104299197B (zh) * 2014-10-11 2017-04-19 南京理工大学 一种利用2d cca的单幅图像去雾方法
CN104394302A (zh) * 2014-11-28 2015-03-04 深圳职业技术学院 一种基于fpga的实时视频去雾系统
TWI674804B (zh) * 2018-03-15 2019-10-11 國立交通大學 視訊除霧處理裝置及方法
CN108765309B (zh) * 2018-04-26 2022-05-17 西安汇智信息科技有限公司 基于暗通道的线状自适应改进全局大气光的图像去雾方法
CN109903232A (zh) * 2018-12-20 2019-06-18 江南大学 一种基于卷积神经网络的图像去雾方法
US11017511B2 (en) * 2019-02-13 2021-05-25 Intel Corporation Method and system of haze reduction for image processing
CN110189262B (zh) * 2019-04-29 2023-03-24 复旦大学 基于神经网络以及直方图匹配的图像去雾方法
US11528435B2 (en) * 2020-12-25 2022-12-13 Industrial Technology Research Institute Image dehazing method and image dehazing apparatus using the same
CN114119420B (zh) * 2021-12-01 2022-12-13 昆明理工大学 一种基于雾迁移和特征聚合的真实场景下有雾图像去雾方法
CN114723610A (zh) * 2022-06-10 2022-07-08 武汉海微科技有限公司 图像智能处理方法、装置、设备及存储介质
CN115456915B (zh) * 2022-11-10 2023-05-09 深圳深知未来智能有限公司 基于3DLut的图像去雾处理方法、系统及可存储介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103188433A (zh) * 2011-12-30 2013-07-03 株式会社日立制作所 图像除雾装置和图像除雾方法

Also Published As

Publication number Publication date
WO2024099466A1 (zh) 2024-05-16
CN115456915A (zh) 2022-12-09

Similar Documents

Publication Publication Date Title
CN109934776B (zh) 模型生成方法、视频增强方法、装置及计算机可读存储介质
US8737736B2 (en) Tone mapping of very large aerial image mosaic
CN112288658A (zh) 一种基于多残差联合学习的水下图像增强方法
CN109829868B (zh) 一种轻量级深度学习模型图像去雾方法、电子设备及介质
CN110544213A (zh) 一种基于全局和局部特征融合的图像去雾方法
CN107958465A (zh) 一种基于深度卷积神经网络的单幅图像去雾方法
CN115456915B (zh) 基于3DLut的图像去雾处理方法、系统及可存储介质
CN111986084A (zh) 一种基于多任务融合的多相机低光照图像质量增强方法
CN113129391B (zh) 基于多曝光图像特征分布权重的多曝光融合方法
CN110335221B (zh) 一种基于无监督学习的多曝光图像融合方法
US11849264B2 (en) Apparatus and method for white balance editing
JP2007202218A (ja) 原デジタル画像を強調する方法および装置
CN111724317A (zh) Raw域视频去噪监督数据集构造方法
CN110910336B (zh) 一种基于全卷积神经网络的立体高动态范围成像方法
CN114998141B (zh) 基于多分支网络的空间环境高动态范围成像方法
CN111626968A (zh) 一种基于全局信息和局部信息的像素增强设计方法
GB2552238A (en) Blending images
JPH05241550A (ja) 色画像変換方法
CN109671044B (zh) 一种基于可变图像分解的多曝光图像融合方法
CN112348754B (zh) 一种低照度彩色图像增强方法及装置
CN111861899A (zh) 一种基于光照不均匀的图像增强方法及系统
CN111968039A (zh) 基于硅传感器相机的昼夜通用图像处理方法、装置及设备
JP2001052156A (ja) 彫版風ハーフトーン画像生成方法
CN113409196B (zh) 一种用于实时视频拼接的高速全局色差矫正方法
Kartalov et al. A real time algorithm for exposure fusion of digital images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant