CN111476213A - 一种基于道路影像的遮挡物覆盖区域填充方法和装置 - Google Patents

一种基于道路影像的遮挡物覆盖区域填充方法和装置 Download PDF

Info

Publication number
CN111476213A
CN111476213A CN202010427461.2A CN202010427461A CN111476213A CN 111476213 A CN111476213 A CN 111476213A CN 202010427461 A CN202010427461 A CN 202010427461A CN 111476213 A CN111476213 A CN 111476213A
Authority
CN
China
Prior art keywords
image
edge
road
completion
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010427461.2A
Other languages
English (en)
Inventor
徐亮
刘湘泉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhai Dashi Intelligence Technology Co ltd
Original Assignee
Wuhai Dashi Intelligence Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhai Dashi Intelligence Technology Co ltd filed Critical Wuhai Dashi Intelligence Technology Co ltd
Priority to CN202010427461.2A priority Critical patent/CN111476213A/zh
Publication of CN111476213A publication Critical patent/CN111476213A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/29—Graphical models, e.g. Bayesian networks
    • G06F18/295—Markov models or related models, e.g. semi-Markov models; Markov random fields; Networks embedding Markov models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

本发明实施例提供一种基于道路影像的遮挡物覆盖区域填充方法和装置，与现有的图像修复补全网络方法直接对三通道彩色图像的缺失区域进行推断补全，其修复结果图像模糊、修复痕迹明显相比，本发明将图像修复工作分解为两个过程：首先修复原始道路影像中缺失部分的边缘得到边缘图像；在得到了边缘图像之后，将修复后获得的边缘图像作为先验约束进行图像修复补全网络，从而实现道路影像的修复工作。修复后得到的道路场景影像中，规则纹理部分得到了很好地重建，符合人们的视觉习惯，可以获得很好的视觉效果。

Description

一种基于道路影像的遮挡物覆盖区域填充方法和装置
技术领域
本发明实施例涉及图像分类识别技术以及深度学习技术领域，尤其涉及一种基于道路影像的遮挡物覆盖区域填充方法和装置。
背景技术
智慧城市上升到国家战略高度以来，智慧城市建设进程不断推进。在此背景下，无人驾驶研究如火如荼，智能交通技术迅猛发展。而正射影像数据正是实现这些技术来为现代化城市提供智慧服务的数据基础。虽然传统地图已具备了信息载负、信息传输、认知和模拟等基础功能。但相比之下，正射影像数据则具有更加明显的优势：除了具备高几何精度，它还具备丰富的场景，能够带来更高的视觉真实感，而且还可以提供丰富的语义信息，具有可量测、可挖掘的功能。这些优势可以辅助用户更好地认知场景，帮助管理者和政策制定者更好地进行管理、执行或政策制定。而道路要素，不论是对于智慧城市建设，还是在正射影像数据范畴内，都是一个至关重要的组成部分。
然而，在多种因素的作用下，实际生产出的道路影像中不可避免地会出现一些不符合应用需求的情况，比如：街道过往、停泊车辆使影像脏乱；建模过程中道路上出现小部分缺失；道路上存在污渍或其他不需要的东西(需要剔除)；行进车辆建模后产生拖影或纹理拉花等。这就会导致生成的道路中有些部位的纹理质量低下甚至存在缺失，或导致场景脏乱不美观，这些都直接影响到生成的道路效果，间接影响其在下游技术中的应用。
而且，正射影像数据不同于传统的数字影像，其是由多张影像，根据摄影测量的相关理论方法制作而成的，影像上每个像素的色彩均来自不同的原始影像，影像属性具特殊性。同时，航拍获得的下视影像内容聚焦在地表或建筑物的上表面，而当前研究提出的方法大多针对自然场景或人脸影像，专注于地面以上、观察者视线以内的影像，对于地表道路场景的影像修复方法较少。目前很多人提出的方法对于类似场景下的影像数据并不适用，修复后的影像存在色彩不均一、边缘不清晰(过度平滑)等问题，造成生成的结果影像失真。此外，就目前来看，在进行影像修复的实际应用时，几乎所有的图像修复算法均没有实现对图像缺失破损区域的自动修复，需要用户把需要被修复的图像区域预先设定好。对于影像中特定的、重复出现的遮挡物的去除没有实现自动化，人工去除这些遮挡就大大增加了时间和成本。
一般来讲，目前基于深度学习的图像修复方法基本遵循同一个思路，即：通过将大量的原始影像数据作为训练样本输入到一个预先建立的端到端(End-to-End)的深度学习网络模型中进行训练，并使得该网络通过这样大量的学习得到完整图像的深层特征；然后将存在缺失区域的缺损影像输入到该训练后的网络中，并期望该网络能够依据之前学习好了的完整影像特征预测出缺失区域的内容，以对缺失区域进行符合既有特征分布的修复，并将修复得到的结果进行输出。在整个流程中，由神经网络提取的图像深层特征完全取代了人工设计提取的特征，不需要再人为地规定任何特征。
然而，现有的大多数基于深度学习技术的图像修复补全网络工作中，采用直接对三通道彩色图像的缺失区域进行推断补全的手段来进行。采用这种思路来进行图像修复工作时所得到的结果存在两个比较严重的问题：(1)过度平滑导致的图像模糊问题，这大多是因为采用范数距离来计算重构损失；(2)很难避免较为明显的修补痕迹，这往往是由于在对抗损失的计算中使用特征损失。即便是将范数距离和特征距离两者结合使用，结果也只是对上述两个问题的平衡，并未实质性地解决这些问题。
发明内容
本发明实施例提供一种基于道路影像的遮挡物覆盖区域填充方法和装置，用以解决现有的图像修复补全网络方法直接对三通道彩色图像的缺失区域进行推断补全，训练中过度平滑导致修复结果图像模糊，并且修复痕迹明显的缺陷。
第一方面，本发明实施例提供一种基于道路影像的遮挡物覆盖区域填充方法，包括：
S1，对原始道路影像中的遮挡物覆盖区域进行掩膜；
S2，将掩膜后的道路影像输入预先训练得到的边缘推断网络模型中，输出边缘图像；
S3，将所述边缘图像和掩膜后的道路影像输入预先训练得到的图像修复补全网络模型中，输出修复后的道路场景图像。
进一步，所述边缘推断网络模型由边缘推断生成器和边缘推断判别器构成；
所述边缘推断生成器为具有编码器-解码器结构的深度卷积神经网络；所述边缘推断判别器采用马尔科夫判别器结构。
进一步，所述图像修复补全网络模型由图像补全生成器和图像补全判别器构成；
其中，所述图像补全生成器为具有编码器-解码器结构的深度卷积神经网络；所述图像补全判别器采用马尔科夫判别器结构。
进一步，训练得到边缘推断网络模型的过程具体包括：
构建包含边缘推断生成器和边缘推断判别器的边缘推断网络，并设计边缘推断网络的第一损失函数；
构建第一训练集，所述第一训练集包括样本图像数据集和掩膜数据集，根据样本图像和掩膜数据获得缺损边缘图像、掩膜灰度图像和完整边缘图像；
将掩膜数据、缺损边缘图像和掩膜灰度图像输入边缘推断生成器，输出推断边缘图像；
将所述推断边缘图像和完整边缘图像输入边缘推断判别器，根据边缘推断判别器的输出结果得到第一损失函数的数值；
根据第一损失函数的数值调整边缘推断网络结构中的参数，直到边缘推断网络收敛，训练完成，得到边缘推断网络模型。
进一步，训练得到图像修复补全网络模型的过程具体包括：
构建包含图像补全生成器和图像补全判别器的图像修复补全网络，并设计图像修复补全网络的第二损失函数；
构建第二训练集，所述第二训练集包括所述样本图像数据集、掩膜数据集和推断边缘图像，采用掩膜数据对样本图像进行掩膜，获得掩膜图像；
将所述掩膜图像和推断边缘图像输入所述第所述图像补全生成器，输出修复结果图像；
将所述修复结果图像和样本图像输入图像补全判别器，根据图像补全判别器的输出结果得到第二损失函数的数值；
根据第二损失函数的数值调整图像修复补全网络结构中的参数，直到图像修复补全网络收敛，训练完成，得到图像修复补全网络模型。
进一步，所述图像修复补全网络的第二损失函数
Figure BDA0002499231900000041
为：
Figure BDA0002499231900000042
式中，Limage,adv表示对抗损失函数；L1表示L1损失函数；Lcontent表示内容重建损失函数；Lstyle表示风格损失函数；
Figure BDA0002499231900000043
λimage,adv、λcontent和λstyle均为正则化参数，在图像修复补全网络训练过程中根据训练目的和先验知识进行设置。
第二方面，本发明实施例提供一种基于道路影像的遮挡物覆盖区域填充装置，包括：
掩膜模块，用于对原始道路影像中的遮挡物覆盖区域进行掩膜；
边缘推断模块，用于将掩膜后的道路影像输入预先训练得到的边缘推断网络模型中，输出边缘图像；
图像修复补全模块，用于将所述边缘图像和掩膜后的道路影像输入预先训练得到的图像修复补全网络模型中，输出修复后的道路场景图像。
第三方面，本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本发明第一方面实施例所述基于道路影像的遮挡物覆盖区域填充方法的步骤。
第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如本发明第一方面实施例所述基于道路影像的遮挡物覆盖区域填充方法的步骤。
本发明实施例利用预先训练得到的边缘推断网络模型获得原始道路影像的边缘图像。在获得边缘信息的基础上，结合边缘信息的约束进行图像修复补全网络工作。解决了无人机拍摄的道路影像受到影像中的遮挡物影响，导致道路影像纹理质量不清晰、场景脏乱的缺陷。
与现有的图像修复补全网络方法直接对三通道彩色图像的缺失区域进行推断补全，其修复结果图像模糊，并且修复痕迹明显相比。本发明将图像修复工作分解为两个过程：首先修复原始道路影像中缺失部分的边缘得到边缘图像；在得到了边缘图像之后，将修复后获得的边缘图像作为先验约束进行图像修复补全网络，从而实现道路影像的修复工作。修复后得到的道路场景影像中，规则纹理部分得到了很好地重建，符合人们的视觉习惯，可以获得很好的视觉效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为根据本发明实施例的基于道路影像的遮挡物覆盖区域填充方法流程示意图；
图2(a)为本发明实施例提供的边缘推断网络模型的结构示意图；
图2(b)为边缘推断生成器的网络结构示意图；
图2(c)为边缘推断判别器的网络结构示意图；
图3(a)为本发明实施例提供的图像修复补全网络模型的结构示意图；
图3(b)为图像补全生成器的网络结构示意图；
图3(c)为图像补全判别器的网络结构示意图；
图4为本发明实施例提供的样本图像、掩膜灰度图像、完整边缘图像和推断边缘图像的示意图；
图5为本发明实施例提供的图像修复补全网络训练过程中采用的图像示意图；
图6为本发明实施例提供的基于道路影像的遮挡物覆盖区域填充装置的结构框图；
图7为根据本发明实施例的一种电子设备结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
图1为根据本发明实施例的基于道路影像的遮挡物覆盖区域填充方法流程示意图，参照图1，该方法包括：
S1，对原始道路影像中的遮挡物覆盖区域进行掩膜，获得掩膜数据；
本实施例中，原始道路影像包括下视影像和正射影像，其中，下视影像由无人机搭载双鱼相机获得，双鱼相机搭配多个镜头，可以同时获取下视影像和倾斜影像。下视影像直接由双鱼相机的下视镜头拍摄获得，正射影像可以由倾斜影像根据摄影测量原理生成。本实施例中提供的原始道路影像中存在遮挡物覆盖区域。本实施例中的遮挡物可以包括原始道路影像中的车辆，树木等等。
作为一种可选的实施方式，以遮挡物是车辆为例，对原始道路影像中的车辆覆盖区域进行掩膜，具体过程包括：首先通过现有的车辆检测网络在原始道路影像中用包围盒框选出车辆覆盖区域，包围盒本质上是由车辆检测网络返回的一组坐标值。然后，利用这些坐标值，将包围盒范围内的像素灰度值设为1，包围盒范围外的像素灰度值设为0，生成车辆覆盖区域的掩膜数据。
现有的图像修复算法在进行影像修复的实际应用时，均没有实现对图像缺失破损区域的自动修复，需要用户把需要被修复的图像区域预先设定好。对于影像中特定的、重复出现的遮挡物的识别和去除没有实现自动化，人工设置需要修复的遮挡物覆盖区域就大大增加了时间和成本。而本发明实施例提供的方法，采用车辆检测网络用于自动的对原始道路影像中的车辆覆盖区域进行识别，实现自动识别需要修复的车辆覆盖区域。与现有技术相比减小了人工成本。可以理解的是，在一些特殊情况下，本发明还可以采用交互式掩膜方式对原始道路影像中的车辆覆盖区域进行掩膜。例如，当原始道路影像中的车辆上方存在其他遮挡物(例如树叶)时，采用交互式掩膜方法，对原始道路影像中的车辆及树叶的覆盖区域进行掩膜。再有，当原始道路影像中包含车辆的光照阴影，本发明采用交互式掩膜方法，对车辆及其光照阴影进行掩膜。此处，交互式掩膜方法是指人工绘制掩膜。
S2，将掩膜后的道路影像输入预先训练得到的边缘推断网络模型中，输出边缘图像。
图2(a)为本发明实施例提供的边缘推断网络模型的结构示意图；图2(b)为边缘推断生成器的网络结构示意图；图2(c)为边缘推断判别器的网络结构示意图。参照图2(a)，边缘推断网络模型由边缘推断生成器和边缘推断判别器构成；本实施例中，边缘推断生成器为具有编码器-解码器结构的深度卷积神经网络；边缘推断判别器采用马尔科夫判别器结构。
在执行步骤S2之前，本实施例预先训练得到边缘推断网络模型。在边缘推断网络模型训练完成后，将原始道路影像输入预先训练得到的边缘推断网络模型中，输出原始道路影像的边缘图像。
S3，将所述边缘图像和掩膜后的道路影像输入预先训练得到的图像修复补全网络模型中，输出修复后的道路场景图像。
图3(a)为本发明实施例提供的图像修复补全网络模型的结构示意图；图3(b)为图像补全生成器的网络结构示意图；图3(c)为图像补全判别器的网络结构示意图。参照图3(a)，图像修复补全网络模型由图像补全生成器和图像补全判别器构成。其中，所述图像补全生成器为具有编码器-解码器结构的深度卷积神经网络，图像补全判别器采用马尔科夫判别器结构。
在执行步骤S3之前，本实施例预先训练得到边缘推断网络模型。在边缘推断网络模型训练完成后，将边缘推断网络模型输出的边缘图像以及步骤S1得到的掩膜数据输入预先训练得到的图像修复补全网络模型中，输出修复后的道路场景图像。
本发明实施例利用预先训练得到的边缘推断网络模型获得原始道路影像的边缘图像。在获得边缘信息的基础上，结合边缘信息的约束进行图像修复补全网络工作。解决了无人机拍摄的道路影像受到影像中的遮挡物(例如车辆、树叶)影响，导致道路影像纹理质量不清晰、场景脏乱的缺陷。
与现有的图像修复补全网络方法直接对三通道彩色图像的缺失区域进行推断补全，其修复结果图像模糊，并且修复痕迹明显相比。本发明将图像修复工作分解为两个过程：首先修复原始道路影像中缺失部分的边缘得到边缘图像；在得到了边缘图像之后，将修复后获得的边缘图像作为先验约束进行图像修复补全网络，从而实现道路影像的修复工作。修复后得到的道路场景影像中，规则纹理部分得到了很好地重建，符合人们的视觉习惯，可以获得很好的视觉效果。
在上述实施例的基础上，训练得到边缘推断网络模型的过程具体包括：
1)构建包含边缘推断生成器和边缘推断判别器的边缘推断网络，并设计边缘推断网络的第一损失函数；
2)构建第一训练集，所述第一训练集包括样本图像数据集和掩膜数据集，根据样本图像和掩膜数据获得缺损边缘图像、掩膜灰度图像和完整边缘图像。可以理解的是，样本图像数据集中包括多张样本图像，掩膜数据集中包括多个掩膜数据。每一样本图像对应一个掩膜数据。
示例性的，根据所述样本图像和掩膜数据获取缺损边缘图像、掩膜灰度图像和完整边缘图像，具体包括：首先对样本图像进行灰度转换得到灰度图像，采用Canny算子或其他边缘提取算子对灰度图像进行边缘提取，得到完整边缘图像。本发明对边缘提取的方法不作具体限定。通过求灰度图像与掩膜数据的哈达玛(Hadamard)积的方式，获得掩膜灰度图像。
3)将掩膜数据、缺损边缘图像和掩膜灰度图像输入边缘推断生成器，输出推断边缘图像；
4)将所述推断边缘图像和完整边缘图像输入边缘推断判别器，根据边缘推断判别器的输出结果得到第一损失函数的数值；
5)根据第一损失函数的数值调整边缘推断网络结构中的参数，直到边缘推断网络收敛，训练完成，得到边缘推断网络模型。
图4为边缘推断网络训练使用的样本图像、掩膜灰度图像、完整边缘图像和推断边缘图像的示意图。参照图4，样本图像为内容完整的图像，样本图像中不存在缺失区域。
图2(b)为边缘推断生成器的网络结构示意图；参照图2(b)，边缘推断生成器包括14部分神经网络结构。
示例性的，本实施例中，边缘推断生成器的第一部分神经网络结构的前端是一个3×3的空间镜像边缘扩充(Spatial Reflection Padding)，随后是一个由64个尺寸为7×7的卷积核组成的卷积层，在进行卷积操作时每个卷积核的移动步长为1，卷积层后面依次是一个频谱归一化层、一个实例归一化层和一个ReLU非线性激活函数层。
边缘推断生成器的第2部分和第3部分神经网络结构包括两个卷积核尺寸大小为4×4的下采样卷积层。在进行卷积操作时每个卷积核的步长为2，通过这种调整卷积核移动步长的方式来实现对输入到当前层的特征图的降采样操作。其中，第二层中共有128个卷积核，而第三层则由256个卷积核构成。类似地，这两个下采样卷积层后面都依次紧跟着一个频谱归一化层、一个实例归一化层和一个ReLU激活函数层。
边缘推断生成器的第4到11部分神经网络结构包括8个残差块(ResidualBlocks)，每个残差块均有256个通道。
边缘推断生成器的第12层和第13部分神经网络结构包括由128个卷积核和64个卷积核组成的上采样卷积层。其中，每个卷积核的尺寸均为4×4，边界扩充为1。为了进行上采样，采用了移动步长为2的转置卷积。类似地，每层结构的尾部依次是一个频谱归一化层、一个实例归一化层和一个ReLU非线性激活函数层。
为了获得缺失部分的单通道边缘图像，边缘推断生成器的最后一部分采用了一个通道数为1的卷积核为7×7大小的单通道网络，并且采用Sigmoid激活函数对该层的输入特征进行处理。
可以看到，本实施例中，边缘推断生成器的第2～3部分神经网络结构使用两个移动步长为2的卷积操作来对边缘推断生成器第一部分输出的特征图进行下采样，然后经过几个残差块进一步提取特征，最后采用两个步长为2的转置卷积将特征图重新反解为原来的图像尺寸大小。虽然输入输出大小相同，但是经过这种先下采样再上采样的过程，依然具备明显的优势：(1)简化计算：对输入特征进行降采样之后，可以大大降低计算机算力的开销，同等算力下可以处理层数更深的网络；(2)增大有效感受野范围：本实施例让输出特征图中的每个像素可以相应地在输入的特征图中有一个更大的感受野，能够提高图像结构的连贯性。
图2(c)为边缘推断判别器的网络结构示意图。优选的，边缘推断判别器采用马尔科夫判别器。目前，有很多判别器是基于CNN结构的，其中大多数判别器网络将最后一层设置为一个全连接层将判别结果输出，该结果体现为一个“True”或“False”的矢量，用来表征对整张生成图像判别的“真”或“假”。
示例性的，边缘推断判别器共有5部分神经网络结构，边缘推断判别器的每部分神经网络结构均由卷积层、频谱归一化层和LeakyReLU激活函数层构成。每层网络中的卷积核尺寸均为4×4。
边缘推断判别器的第一个卷积层由64个通道组成，卷积核的移动步长为2，该层的感受野大小为70；在卷积神经网络(Convolutional Neural Networks，CNN)中，决定某一层输出结果中一个元素所对应的输入层的区域大小被称作感受野(receptive field)，指的是卷积神经网络中一个神经元可以感知到的区域。
边缘推断判别器的第二个卷积层由128个通道组成，卷积核的移动步长为2，该层的感受野大小为34；
边缘推断判别器的第三个卷积层由256个通道组成，卷积核的移动步长为2，该层的感受野大小为16；
边缘推断判别器的第四个卷积层由512个通道组成，卷积核的移动步长为1，该层的感受野大小为7；
边缘推断判别器的第五个卷积层只包含1个通道，卷积核的移动步长为1，该层的感受野大小为4，并生成预测分数，来对最初70×70大小是图像块的“真/假”进行判别。
对于上述每部分神经网络结构中的LeakyReLU激活函数层，斜率(Slope)均设置为0.2。
本实施例中，边缘推断生成器生成推断边缘图像，边缘推断判别器通过第一损失函数来判断边缘推断生成器输出的推断边缘图像是否真实，如果不够真实则调整边缘推断网络结构中的参数，然后再生成再判断。在不断进行迭代训练，不断对抗生成的“博弈”中对边缘推断网络进行调整优化，直到边缘推断网络收敛，得到边缘推断网络模型边缘推断网络模型。
本实施例为了对原始道路影像的图像修复补全工作进行约束，首先采用深度学习技术对掩膜图像的边缘图进行修复。完整准确的边缘信息是本申请中后续图像修复工作的前提与基础，对于基于生成对抗网络和深度卷积神经网络的边缘推断网络模型，选用合适的网络结构与训练损失，进行样本图像数据集下的训练，获得了较为合理的推断边缘图像。
在上述各实施例的基础上，所述训练得到图像修复补全网络模型的过程，具体包括：
1)构建包含图像补全生成器和图像补全判别器的图像修复补全网络，并设计图像修复补全网络的第二损失函数；
2)构建第二训练集，所述第二训练集包括所述样本图像数据集、掩膜数据集和推断边缘图像，采用掩膜数据对样本图像进行掩膜，获得掩膜图像；
本实施例中，第二训练集所采用的样本图像数据集和掩膜数据集与第一训练集采用的数据集相同。第二训练集与第一训练集的区别在于，第二训练集中还加入了边缘推断生成器输出的推断边缘图像。
3)将所述掩膜图像和推断边缘图像输入所述第所述图像补全生成器，输出修复结果图像；图5为本发明实施例提供的图像修复补全网络训练过程中采用的图像示意图。
4)将所述修复结果图像和样本图像输入图像补全判别器，根据图像补全判别器的输出结果得到第二损失函数的数值；
5)根据第二损失函数的数值调整图像修复补全网络结构中的参数，直到图像修复补全网络收敛，训练完成，得到图像修复补全网络模型。
示例性的，图像修复补全网络的训练作为边缘推断网络训练的后序任务，与上述实施例中的边缘推断网络在同一台PC训练机上进行训练。
图3(b)为图像补全生成器的网络结构示意图，参照图3(b)，本实施例中，除了输入端和输出端之外，图像补全生成器内部共有14部分神经网络结构，但每部分神经网络结构存在差异。在图像修复补全网络的训练过程中，图像补全生成器的输入端可以接收四个通道256×256的大小的数据，分别是单通道的完整边缘图像和三通道的掩膜图像。经过图像补全生成器之后最终输出的是同样尺寸大小并且修复了掩膜区域道路纹理的修复结果图像。
本实施例中，为了防止修复结果图像的尺寸发生变化，图像补全生成器的神经网络结构的第1部分神经网络结构的最前端是一个网络首层是一个3×3的空间镜像边缘扩充。随后是由64个尺寸为7×7的卷积核组成的卷积层，在进行卷积操作时每个卷积核的移动步长为1。卷积层之后是一个实例归一化层和一个ReLU非线性激活函数层。
图像补全生成器的第2部分神经网络结构包括128个通道构成的下采样卷积层、一个实例归一化层和一个ReLU激活函数层。第3部分神经网络结构包括由256个通道构成的下采样卷积层、实例归一化层和ReLU激活函数层。两个下采样层中的卷积核尺寸大小均为4×4，每个卷积核移动步长均为2，来实现对输入到当前层的特征图进行向下采样。
由于残差块在图像生成网络中独特的优势，图像补全生成器的第4到11部分神经网络结构均被设置为残差块网络，每个残差块网络皆由256个通道构成。
图像补全生成器后的第12部分神经网络结构包括128个通道的上采样层、一个实例归一化层和一个ReLU非线性激活函数层。第13部分神经网络结构包括64个通道的上采样层、一个实例归一化层和一个ReLU非线性激活函数层。两个上采样层的卷积核均为4×4大小的转置卷积核，卷积核的移动步长为2。
图像补全生成器网络结构的第14部分神经网络结构采用了一个通道数为3的卷积核为7×7大小的单通道网络，并且采用Scaled Tanh激活函数对该层的输入特征进行处理来保证输出图像的像素亮度范围在0—255之间，从而保证获得一张符合输出要求的修复结果图像。
图3(c)为图像补全判别器的网络结构示意图，图像补全判别器同样采用了上述实施例中的马尔可夫判别器。本实施例中，图像补全判别器采用标准的马尔科夫判别器结构，包括五部分神经网络结构。其中：每部分神经网络结构均由卷积层和一个LeakyReLU激活函数层构成。
图像补全判别器的第一个卷积层共有64个通道，卷积核的移动步长为2，感受野的总大小为70；第一个卷积层后面是一个LeakyReLU激活函数层。
图像补全判别器的第二个卷积层共有128个通道，卷积核大小为4×4，步长为2，感受野大小为34；第二个卷积层后面是一个LeakyReLU激活函数层。
图像补全判别器的第三个卷积层共有256个通道，卷积核大小为4×4，步长为2，感受野大小为16；第三个卷积层后面是一个LeakyReLU激活函数层。
图像补全判别器的第四个卷积层共有512个通道，卷积核大小为4×4，步长为1，感受野大小为7；第四个卷积层后面是一个LeakyReLU激活函数层。
图像补全判别器的第五个卷积层有1个通道，卷积核大小为4×4，步长为1，感受野大小为4；第五个卷积层后面是一个LeakyReLU激活函数层，生成预测分数，来对最初70×70大小是图像块的“真/假”进行判别。对于上述每部分神经网络结构中的LeakyReLU激活函数层中的斜率，根据经验值均设置为0.2。
本实施例中，对图像修复补全网络的第二损失函数的设计思路具体如下：
当前，已经提出了一些用于图像生成GAN的损失函数，并在实际应用中的不同场合下分别取得了很好地效果。但是，对于图像生成任务，如果单独采取其中的某个训练损失函数，却很难得到一个比较好的效果。因此，本实施例为了提高最终道路影像修复结果的质量，除了图像修复补全网络的对抗损失外，本文中还采取了其他几个损失函数来对整个网络的训练过程进行指导。
在图像补全判别器中，将图像补全生成器生成的修复结果图像
Figure BDA0002499231900000151
和第二训练集中的样本图像I传递至图像补全判别器的输入端，结合图像补全判别器中所定义的对抗损失Limage,adv对修复结果图像的“真/假”进行判别。该对抗损失Limage,adv可以表示为：
Figure BDA0002499231900000161
Imixedge表示完整边缘图像。
为了进一步对修复结果图像的真实性进行判别，本实施例引入L1损失函数，用来计算修复结果图像
Figure BDA0002499231900000162
的平均误差幅度，基于此来增强图像补全判别器的判别稳定性。L1损失亦被称为最小绝对值偏差(LAD)或最小绝对值误差(LAE)，利用L1损失函数来将样本图像I中的每个像素值和修复结果图像
Figure BDA0002499231900000163
中的每个像素值的绝对差值的总和最小化，基于此得到理论上最为相近的一组图像。公式如下：
Figure BDA0002499231900000164
式中，I(c,i,j)和
Figure BDA0002499231900000165
分别表示样本图像I和修复结果图像
Figure BDA0002499231900000166
中第c个通道中第i行第j列的像元亮度值。同时，为了确保缩放比例合适，L1损失需要根据掩膜区域的大小进行正则化。
L1损失有着较强的鲁棒性，在输入不同类型的数据时，均可以获得比较稳定的提取，有效地避免了梯度爆炸的问题，从而获得比较稳定的解。但是，在某些时候存在多解的情况。因此，单单引入L1仍然是不够的。
进一步地，本实施例还应用基于高层次特征的感知损失Lperc来对图像修复补全网络进行训练，感知损失是一个感观相似度的惩罚项，对激活图和预训练网络中特定的激活图进行对应比较，即可对相似程度低的结果进行“惩罚”。实际上，感知损失是一个由内容重建损失(Content Loss)和风格损失(Style Loss)共同构成的损失网络，其需要借助一个预先训练好的图像分类网络(一般采用预训练的VGG网络)来进行定义，并且在训练过程中，该损失网络的参数保持不变。本实施例中，感知损失Lperc包括内容重建损失函数Lcontent和风格损失函数Lstyle。内容重建损失函数和风格损失函数的公式在此不再赘述。
在上述个实施例的基础上，图像修复补全网络的第二损失函数
Figure BDA0002499231900000171
为：
Figure BDA0002499231900000172
式中，Limage,adv表示对抗损失函数；L1表示L1损失函数；Lcontent表示内容重建损失函数；Lstyle表示风格损失函数；
Figure BDA0002499231900000173
λimage,adv、λcontent和λstyle均为正则化参数，在图像修复补全网络训练过程中根据训练目的和先验知识进行设置。
本发明实施例在获得了完整边缘图像的基础上，把掩膜图像中缺失部分的修复问题转化为一个基于边缘信息的图像翻译问题，将完整边缘图像作为先验约束进行掩膜图像的补全修复工作。本实施例可以将边缘推断网络生成的推断边缘图像作为第二训练集的训练样本，应用到图像修复补全网络的训练中，使图像修复补全网络学习到边缘信息，实现基于边缘约束的道路影像修复。与现有技术相比，本发明提供的方法在对道路规则纹理部分得到了很好地重建，符合人类的视觉习惯，可以获得很好的视觉效果。
图6为本发明实施例提供的基于道路影像的遮挡物覆盖区域填充装置的结构框图，参照图6，本发明实施例提供一种基于道路影像的遮挡物覆盖区域填充装置，包括：
掩膜模块601，用于对原始道路影像中的遮挡物覆盖区域进行掩膜；
边缘推断模块602，用于将掩膜后的道路影像输入预先训练得到的边缘推断网络模型中，输出边缘图像；
图像修复补全模块603，用于将所述边缘图像和掩膜后的道路影像输入预先训练得到的图像修复补全网络模型中，输出修复后的道路场景图像。
具体地，本发明实施例提供的基于道路影像的遮挡物覆盖区域填充装置，具体用于执行上述方法实施例中的基于道路影像的遮挡物覆盖区域填充方法的步骤，由于上述实施例中已对基于道路影像的遮挡物覆盖区域填充方法进行详细介绍，此处不对基于道路影像的遮挡物覆盖区域填充装置的功能模块进行赘述。
综上所述，本发明实施例利用预先训练得到的边缘推断网络模型获得原始道路影像的边缘图像。在获得边缘信息的基础上，结合边缘信息的约束进行图像修复补全网络工作。解决了无人机拍摄的道路影像受到影像中的遮挡物影响，导致道路影像纹理质量不清晰、场景脏乱的缺陷。
与现有的图像修复补全网络方法直接对三通道彩色图像的缺失区域进行推断补全，其修复结果图像模糊，并且修复痕迹明显相比。本发明将图像修复工作分解为两个过程：首先修复原始道路影像中缺失部分的边缘得到边缘图像；在得到了边缘图像之后，将修复后获得的边缘图像作为先验约束进行图像修复补全网络，从而实现道路影像的修复工作。修复后得到的道路场景影像中，规则纹理部分得到了很好地重建，符合人们的视觉习惯，可以获得很好的视觉效果。
本发明实施例提供了一种电子设备，如图7所示，该电子设备可以包括：处理器(processor)701、通信接口(Communications Interface)702、存储器(memory)703和通信总线704，其中，处理器701，通信接口702，存储器703通过通信总线704完成相互间的通信。处理器701可以调用存储器703中的逻辑指令，以执行上述各实施例提供的基于道路影像的遮挡物覆盖区域填充方法，例如包括：S1，对原始道路影像中的遮挡物覆盖区域进行掩膜；S2，将掩膜后的道路影像输入预先训练得到的边缘推断网络模型中，输出边缘图像；S3，将所述边缘图像和掩膜后的道路影像输入预先训练得到的图像修复补全网络模型中，输出修复后的道路场景图像。
本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的基于道路影像的遮挡物覆盖区域填充方法，例如包括：S1，对原始道路影像中的遮挡物覆盖区域进行掩膜；S2，将掩膜后的道路影像输入预先训练得到的边缘推断网络模型中，输出边缘图像；S3，将所述边缘图像和掩膜后的道路影像输入预先训练得到的图像修复补全网络模型中，输出修复后的道路场景图像。
需要说明的是，在本申请中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种基于道路影像的遮挡物覆盖区域填充方法，其特征在于，包括：
S1，对原始道路影像中的遮挡物覆盖区域进行掩膜；
S2，将掩膜后的道路影像输入预先训练得到的边缘推断网络模型中，输出边缘图像；
S3，将所述边缘图像和掩膜后的道路影像输入预先训练得到的图像修复补全网络模型中，输出修复后的道路场景图像。
2.根据权利要求1所述的基于道路影像的遮挡物覆盖区域填充方法，其特征在于，所述边缘推断网络模型由边缘推断生成器和边缘推断判别器构成。
3.根据权利要求1所述的基于道路影像的遮挡物覆盖区域填充方法，其特征在于，所述图像修复补全网络模型由图像补全生成器和图像补全判别器构成。
4.根据权利要求1所述的基于道路影像的遮挡物覆盖区域填充方法，其特征在于，训练得到边缘推断网络模型的过程具体包括：
构建包含边缘推断生成器和边缘推断判别器的边缘推断网络，并设计边缘推断网络的第一损失函数；
构建第一训练集，所述第一训练集包括样本图像数据集和掩膜数据集，根据样本图像和掩膜数据获得缺损边缘图像、掩膜灰度图像和完整边缘图像；
将掩膜数据、缺损边缘图像和掩膜灰度图像输入边缘推断生成器，输出推断边缘图像；
将所述推断边缘图像和完整边缘图像输入边缘推断判别器，根据边缘推断判别器的输出结果得到第一损失函数的数值；
根据第一损失函数的数值调整边缘推断网络结构中的参数，直到边缘推断网络收敛，训练完成，得到边缘推断网络模型。
5.根据权利要求4所述的基于道路影像的遮挡物覆盖区域填充方法，其特征在于，训练得到图像修复补全网络模型的过程具体包括：
构建包含图像补全生成器和图像补全判别器的图像修复补全网络，并设计图像修复补全网络的第二损失函数；
构建第二训练集，所述第二训练集包括所述样本图像数据集、掩膜数据集和推断边缘图像，采用掩膜数据对样本图像进行掩膜，获得掩膜图像；
将所述掩膜图像和推断边缘图像输入所述第所述图像补全生成器，输出修复结果图像；
将所述修复结果图像和样本图像输入图像补全判别器，根据图像补全判别器的输出结果得到第二损失函数的数值；
根据第二损失函数的数值调整图像修复补全网络结构中的参数，直到图像修复补全网络收敛，训练完成，得到图像修复补全网络模型。
6.根据权利要求5所述的基于道路影像的遮挡物覆盖区域填充方法，其特征在于，所述图像修复补全网络的第二损失函数LGimage为：
Figure FDA0002499231890000021
式中，Limage,adv表示对抗损失函数；L1表示L1损失函数；Lcontent表示内容重建损失函数；Lstyle表示风格损失函数；
Figure FDA0002499231890000022
λimage,adv、λcontent和λstyle均为正则化参数，在图像修复补全网络训练过程中根据训练目的和先验知识进行设置。
7.一种基于道路影像的遮挡物覆盖区域填充装置，其特征在于，包括：
掩膜模块，用于对原始道路影像中的遮挡物覆盖区域进行掩膜；
边缘推断模块，用于将掩膜后的道路影像输入预先训练得到的边缘推断网络模型中，输出边缘图像；
图像修复补全模块，用于将所述边缘图像和掩膜后的道路影像输入预先训练得到的图像修复补全网络模型中，输出修复后的道路场景图像。
8.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述基于道路影像的遮挡物覆盖区域填充方法方法的步骤。
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至6任一项所述基于道路影像的遮挡物覆盖区域填充方法的步骤。
CN202010427461.2A 2020-05-19 2020-05-19 一种基于道路影像的遮挡物覆盖区域填充方法和装置 Pending CN111476213A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010427461.2A CN111476213A (zh) 2020-05-19 2020-05-19 一种基于道路影像的遮挡物覆盖区域填充方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010427461.2A CN111476213A (zh) 2020-05-19 2020-05-19 一种基于道路影像的遮挡物覆盖区域填充方法和装置

Publications (1)

Publication Number Publication Date
CN111476213A true CN111476213A (zh) 2020-07-31

Family

ID=71762675

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010427461.2A Pending CN111476213A (zh) 2020-05-19 2020-05-19 一种基于道路影像的遮挡物覆盖区域填充方法和装置

Country Status (1)

Country Link
CN (1) CN111476213A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111815741A (zh) * 2020-08-27 2020-10-23 杭州今奥信息科技股份有限公司 一种基于影像纹理识别的道路绘制方法及其系统
CN112381725A (zh) * 2020-10-16 2021-02-19 广东工业大学 基于深度卷积对抗生成网络的图像修复方法及装置
CN112967218A (zh) * 2021-03-15 2021-06-15 复旦大学 一种基于线框和边缘结构的多尺度图像修复系统
CN113487512A (zh) * 2021-07-20 2021-10-08 陕西师范大学 一种基于边缘信息指导的数字图像修复方法及装置
CN113538275A (zh) * 2021-07-14 2021-10-22 华中科技大学 一种基于CycleGAN的果实遮挡恢复方法及系统
CN115131234A (zh) * 2022-06-15 2022-09-30 西北大学 一种基于两阶段神经网络的数字壁画修复方法
CN116878468A (zh) * 2023-09-06 2023-10-13 山东省国土测绘院 一种用于测绘的信息采集系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110414615A (zh) * 2019-08-02 2019-11-05 中国科学院合肥物质科学研究院 基于阶段性深度修复图像及改进Double-DQN技术的玉米草地贪夜蛾检测方法
CN110675339A (zh) * 2019-09-16 2020-01-10 山东师范大学 基于边缘修复和内容修复的图像修复方法及系统
CN110689495A (zh) * 2019-09-25 2020-01-14 安徽信息工程学院 一种深度学习的图像修复方法
CN111062877A (zh) * 2019-08-23 2020-04-24 平安科技（深圳）有限公司 边缘学习的图像填充方法、装置、终端及可读存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110414615A (zh) * 2019-08-02 2019-11-05 中国科学院合肥物质科学研究院 基于阶段性深度修复图像及改进Double-DQN技术的玉米草地贪夜蛾检测方法
CN111062877A (zh) * 2019-08-23 2020-04-24 平安科技（深圳）有限公司 边缘学习的图像填充方法、装置、终端及可读存储介质
CN110675339A (zh) * 2019-09-16 2020-01-10 山东师范大学 基于边缘修复和内容修复的图像修复方法及系统
CN110689495A (zh) * 2019-09-25 2020-01-14 安徽信息工程学院 一种深度学习的图像修复方法

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111815741A (zh) * 2020-08-27 2020-10-23 杭州今奥信息科技股份有限公司 一种基于影像纹理识别的道路绘制方法及其系统
CN112381725A (zh) * 2020-10-16 2021-02-19 广东工业大学 基于深度卷积对抗生成网络的图像修复方法及装置
CN112381725B (zh) * 2020-10-16 2024-02-02 广东工业大学 基于深度卷积对抗生成网络的图像修复方法及装置
CN112967218A (zh) * 2021-03-15 2021-06-15 复旦大学 一种基于线框和边缘结构的多尺度图像修复系统
CN112967218B (zh) * 2021-03-15 2022-03-18 复旦大学 一种基于线框和边缘结构的多尺度图像修复系统
CN113538275A (zh) * 2021-07-14 2021-10-22 华中科技大学 一种基于CycleGAN的果实遮挡恢复方法及系统
CN113487512A (zh) * 2021-07-20 2021-10-08 陕西师范大学 一种基于边缘信息指导的数字图像修复方法及装置
CN115131234A (zh) * 2022-06-15 2022-09-30 西北大学 一种基于两阶段神经网络的数字壁画修复方法
CN115131234B (zh) * 2022-06-15 2023-09-19 西北大学 一种基于两阶段神经网络的数字壁画修复方法
CN116878468A (zh) * 2023-09-06 2023-10-13 山东省国土测绘院 一种用于测绘的信息采集系统
CN116878468B (zh) * 2023-09-06 2023-12-19 山东省国土测绘院 一种用于测绘的信息采集系统

Similar Documents

Publication Publication Date Title
CN111476213A (zh) 一种基于道路影像的遮挡物覆盖区域填充方法和装置
Yang et al. Single image haze removal via region detection network
CN103247036B (zh) 多曝光图像融合方法和装置
CN110675339A (zh) 基于边缘修复和内容修复的图像修复方法及系统
CN112597941A (zh) 一种人脸识别方法、装置及电子设备
CN111179196B (zh) 一种基于分而治之的多分辨率深度网络图像去高光方法
Kim Low-light image enhancement: A comparative review and prospects
CN111192226A (zh) 一种图像融合去噪方法及装置、系统
Zhou et al. FSAD-Net: Feedback spatial attention dehazing network
Fan et al. Multiscale cross-connected dehazing network with scene depth fusion
Chen et al. End-to-end single image enhancement based on a dual network cascade model
Xiao et al. Image hazing algorithm based on generative adversarial networks
Dwivedi et al. Single image dehazing using extended local dark channel prior
CN116681636B (zh) 基于卷积神经网络的轻量化红外与可见光图像融合方法
Zhang et al. Deep joint neural model for single image haze removal and color correction
Yuan et al. Single-image rain removal using deep residual network
CN116883303A (zh) 基于特征差分补偿与融合的红外与可见光图像融合方法
Huang et al. Image dehazing based on robust sparse representation
CN116977200A (zh) 视频去噪模型的处理方法、装置、计算机设备和存储介质
CN115937048A (zh) 基于无监督视层嵌入与视觉转换模型的光照可控去雾方法
Zhang et al. A compensation textures dehazing method for water alike area
CN114708173A (zh) 图像融合方法、计算机程序产品、存储介质及电子设备
Yu et al. LBP‐based progressive feature aggregation network for low‐light image enhancement
CN113870162A (zh) 一种融合光照和反射的低光图像增强方法
Wang et al. Near-infrared fusion for deep lightness enhancement

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination