CN113159019A - 一种基于光流变换的暗光视频增强方法 - Google Patents

一种基于光流变换的暗光视频增强方法 Download PDF

Info

Publication number
CN113159019A
CN113159019A CN202110252373.8A CN202110252373A CN113159019A CN 113159019 A CN113159019 A CN 113159019A CN 202110252373 A CN202110252373 A CN 202110252373A CN 113159019 A CN113159019 A CN 113159019A
Authority
CN
China
Prior art keywords
image
optical flow
model
network
dim
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110252373.8A
Other languages
English (en)
Other versions
CN113159019B (zh
Inventor
付莹
张帆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN202110252373.8A priority Critical patent/CN113159019B/zh
Publication of CN113159019A publication Critical patent/CN113159019A/zh
Application granted granted Critical
Publication of CN113159019B publication Critical patent/CN113159019B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种基于光流变换的暗光视频增强方法，属于计算机视觉技术领域。本发明通过对已有暗光图像数据集进行处理，得到额外光流估计结果，在不使用视频数据集情况下，解决现有暗光图像增强模型在处理暗光视频时的闪烁问题。使用非监督式光流估计网络，通过单张图像得到合理的光流结果，并与图像数据集相结合，将时域信息整合到网络训练中，提高了图像网络模型时域稳定性。采用已有暗光图像增强网络模型作为主干网络，通过施加一致性约束方式，在利用图像数据集训练的过程中，提高网络的时域稳定性。通过训练图像增强网络模型的方式处理暗光视频，能够充分利用图像网络相较于视频网络的优势，对于实际应用中的性能与速度需求都能够满足。

Description

一种基于光流变换的暗光视频增强方法
技术领域
本发明涉及一种暗光视频增强方法，具体涉及一种基于光流变换的暗光视频增强方法，属于计算机视觉技术领域。
背景技术
在暗光环境下，由于光照条件的限制，入射光子数量过少，采集的图片和视频数据信噪比很低，图像质量差，影响正常的使用，会极大地影响现有计算机视觉算法如目标检测的效果。通过增大光圈、增加曝光时间或者使用闪光灯等物理方法增加采集的光子数，虽然能一定程度上提高获取图像质量，但依然会受到偏色、运动模糊等问题的影响，无法有效解决暗光环境下的成像问题。
暗光增强技术，是指利用后处理算法，将暗光图像转变成正常光照图像，并去除噪声，提高图像信噪比的计算成像技术，目前已经取得优秀的效果，并且被广泛部署在图像采集设备中。
传统暗光增强技术利用统计学原理以及人工先验模型，对暗光图像进行处理，改变其对比度，增加亮度和信噪比，被广泛用于图像采集设备的底层处理流程中。随着深度学习方法的快速发展，利用神经网络解决暗光增强问题逐渐成为主流，并且效果远远超过基于人工先验模型的传统方法，目前已被大量手机厂商用于其智能终端设备。
目前，暗光增强领域主要关注暗光图片的恢复，暗光视频增强任务还没有得到充分的研究。虽然暗光图片增强的深度模型效果显著，但是由于没有学习到时域信息，这类图像增强网络在直接处理视频时会出现严重的闪烁问题。而由于物理条件的限制，采集成对的暗光视频和对应正常光照视频难度很大且成本过高，目前已经有研究提出新型采集设备或利用对抗生成方法来获取视频数据集，但仍无法满足视频网络的训练需求。
光流，是指描述视频序列中某两帧图像之间对应像素直接运动趋势的一种表征形式，被广泛用于描述视频序列中物体及相机镜头的运动信息，能够提供视频数据中存在的时序信息。利用光流能够对图像进行变换操作，获得按照该光流结果运动后的相邻帧结果，可用于生成运动视频。
为了获得稳定的暗光视频增强结果，并且克服上述数据集采集困难的问题，迫切需要有一种暗光视频增强方法，能够利用已有图像数据集，并且解决图像模型闪烁的问题。
发明内容
本发明的目的是针对现有视频训练数据不足的现状，为了解决现有图像模型进行暗光视频增强时存在闪烁的技术问题，创造性地提出一种基于光流变换的暗光视频增强方法。本方法能够在不需要视频数据集的前提下，提高已有暗光图像增强模型处理暗光视频的稳定性，并解决闪烁问题。
本发明是通过下述技术方案实现的。
一种基于光流变换的暗光视频增强方法，包括数据准备、训练和使用三个阶段，具体包括以下步骤：
步骤1：数据准备。使用光流估计方法，对已有暗光图像数据集中的真实正常光照图像进行处理，生成对应的光流估计结果。
具体地，步骤1包括以下步骤：
步骤1.1：使用实例分割网络模型，对暗光数据集中的真实正常光照图像进行处理，得到对应的实例分割结果，作为下一步的掩膜使用。
具体方法如下：
对准备使用的暗光图像数据集中的真实正常光照图像，使用实例分割方法进行处理，识别出图像中存在的前景物体，并获取其对应的像素区域掩膜，保存为与原图像大小一致的布尔矩阵数组，并以相同的命名方式保存，以备光流估计时使用。表示为：
M＝InsSeg(y) (1)
其中，InsSeg表示使用的实例分割方法，y为真实正常光照图像，M为实例分割得到的掩膜结果。
步骤1.2：使用光流估计方法，对暗光数据集中的真实正常光照图像进行处理，得到对应的光流估计结果，作为训练阶段光流变换的数据使用。
具体方法如下：
结合步骤1.1中获取到的前景物体掩膜结果，使用光流估计方法，对真实正常光照图像进行处理。在前景物体对应的像素区域上，随机采样一组速度矢量(不少于2个速度矢量)，得到对应的光流估计结果，并保存备用。表示为：
f＝CMP(y,V|M) (2)
其中，f为光流估计结果，CMP为使用的光流估计方法，y表示真实正常光照图像，V代表随机采样的速度矢量数组，M为步骤1.1保存的前景物体掩膜结果，V|M表示在掩膜所描述的特定物体区域上采样的速度矢量数组。
步骤2：训练阶段。
利用步骤1获取的光流估计结果，结合已有暗光图像数据集，对已有暗光图像增强模型进行训练，利用光流变换得到成对的存在运动的暗光图像，以孪生网络的方式进行模型训练，并对真实正常光照图像以及模型输出进行相同的变换，并施加额外的一致性约束，完成模型训练。
具体地，步骤2包括以下步骤：
步骤2.1：对暗光图像数据集以及光流估计结果进行预处理，进行数据增广，提高网络训练数据的丰富程度。
具体如下：
对暗光图像数据集中的输入图像进行预处理，包括旋转、翻转、随机裁剪，增加训练数据的丰富程度；对步骤1.2获取到的光流估计结果进行处理，包括欧旋转、翻转、随机裁剪以及数值放缩。从而得到不同的合理光流结果，丰富光流变换时所呈现的运动信息。
步骤2.2：以孪生网络的方式对已有暗光图像增强网络进行训练，通过光流变换获得成对的输入图像，暗光增强模型对输入的暗光图像进行处理，生成成对的图像增强结果，将其与成对的真实正常光照图像进行对比，计算暗光增强任务的损失函数以及一致性约束的损失函数，并据此更新模型中的参数。
具体方法如下：
从训练数据集中，随机选取暗光图像输入暗光增强模型。设输入图像为x1，网络模型g对输入的暗光图像x1进行处理，输出对应的图像增强结果g(x1)，将其与真实正常光照图像y1进行对比，计算增强任务损失函数
Figure BDA0002966579330000031
Figure BDA0002966579330000032
然后，利用对应的光流对已送入网络模型的输入、对应的模型输出以及真实正常光照图像均进行光流变换，表示为：
x2＝W(x1,f) (4)
其中，W表示光流变换操作，x1为首先输入模型的暗光图像，f为光流估计结果，x2则为变换后的输入。对于模型输出g(x1)和真实正常光照图像y1同理。
之后，将变换后的输入图像送入网络模型，得到第二次模型输。将该输出与变换后的模型输出、变换后的真实光照图像进行对比，分别计算一致性约束的损失函数
Figure BDA0002966579330000041
和计算增强任务的损失函数
Figure BDA0002966579330000042
Figure BDA0002966579330000043
Figure BDA0002966579330000044
其中，g(x2)表示模型的第二次输出，y2表示经过光流变换后的真实光照图像。
则训练网络所使用的完整损失函数
Figure BDA0002966579330000045
为：
Figure BDA0002966579330000047
其中，
Figure BDA0002966579330000046
λ为调节一致性约束强度的超参数，根据任务情况进行调节。
步骤2.3：重复步骤2.2，直到满足设定的终止条件后，将网络的结构与模型参数进行保存。
具体方法如下：
在训练过程中，不断重复向模型输入暗光图像，并根据损失函数动态调整模型中的参数，直到满足预设条件(如：训练轮次达到一定量或某个评估指标优于某个预设值)，训练过程停止，并将模型参数进行储存。
步骤3：使用阶段。
利用步骤2中训练得到的暗光增强模型，对需要处理的暗光视频进行增强，逐帧将视频序列中的图像输入模型，得到增强后的结果。
具体地，步骤3包括以下步骤：
步骤3.1：使用训练好的暗光图像增强网络模型，对暗光视频进行处理，得到不闪烁的增强结果。
具体方法如下：
步骤2训练结束之后，选取最优网络模型，加载网络参数，将需要处理的暗光视频序列逐帧输入模型。
按照图像增强的方式，模型将逐帧获得增强结果，并且不存在闪烁问题。
有益效果
本发明与现有技术相比，具有以下优点：
1.本发明通过对已有暗光图像数据集进行处理，得到额外的光流估计结果，在不使用视频数据集的情况下，解决现有暗光图像增强模型在处理暗光视频时的闪烁问题，避免了对于视频数据集的依赖，并且充分利用了已有图像数据集，有助于进一步提高视频处理效果。
2.本发明创造性地使用非监督式光流估计网络，通过单张图像得到合理的光流结果，并且与图像数据集相结合，将时域信息整合到网络训练中，与传统光流估计需要成对图像、利用光流增加时域信息需要显式整合到网络训练中的情况不同，实现了只利用无序列图像数据集对网络隐式施加时域约束的目标，提高了图像网络模型的时域稳定性。
3.本发明采用已有暗光图像增强网络模型作为主干网络，通过施加一致性约束的方式，在利用图像数据集训练的过程中，提高网络的时域稳定性。该主干网络不局限于特定网络模型，可根据需求自由替换，如为提高视频增强效果采用更复杂网络，为提高实时处理速度采用轻型网络等，具有充分的灵活性优势。
4.本发明通过训练图像增强网络模型的方式来处理暗光视频，能够充分利用图像网络相较于视频网络的优势，集已有图像网络的性能高以及图像网络处理速度快的优势，对于实际应用中的性能与速度需求都能够满足。
附图说明
图1是本发明方法的流程图；
图2是本发明方法所述核心算法模型进数据准备、训练和使用的示意图。
具体实施方式
为了更好的说明本发明的目的和优点，下面结合附图和实施例对本发明内容做进一步说明。
实施例
本实施例公开的一种基于光流变换的暗光视频增强方法，利用实例分割方法，对正常光照数据集进行分割，获取前景物体的区域掩膜；结合获取的掩膜，利用光流估计方法，对已有暗光图像数据集进行处理，得到对应的光流估计结果，作为模型训练阶段的变换操作所需的数据；利用暗光图像数据对已有暗光图像增强模型进行训练；在训练过程中，采用孪生网络的训练方式，利用之前得到的光流估计结果，对输入网络的数据进行光流变换，得到成对的暗光图像，先后送入网络模型中得到相应的增强结果；再利用光流对模型输出和真实的正常光照图像进行光流变换，对网络的训练施加一致性约束；训练完成后，利用得到的网络模型直接对暗光视频进行增强，得到无闪烁的正常光照视频结果。本实施例的流程图如图1所示。
针对暗光视频增强任务，基于深度学习的方法包括采用两种策略：一种是直接利用已有图像网络处理暗光视频，虽然其不需要额外训练，单张图像处理结果理想，但是增强后的视频序列存在明显的时域不一致性，导致闪烁问题；而另一种策略是采集或者合成视频数据集，进行视频网络模型的训练，这种策略高度依赖视频数据集，而目前采集成对暗光视频和正常光照视频十分困难，成本巨大，且以目前已有的采集设备或者合成方法获取的视频数据集均无法满足视频网络的训练需求，另外视频网络由于其结构特点运行速度远低于图像网络，对于实时应用场景也欠缺效率。本实施例公开的一种基于光流变换的暗光视频增强方法提出了一种利用图像数据集和图像网络模型的核心算法，通过从图像数据集生成的光流，对暗光图像进行变换，并在网络模型训练过程中施加一致性约束，隐式地将时域信息整合到网络模型中，增强图像网络模型的时域稳定性，摆脱了对于视频数据集的需求，并且能够获得原有暗光图像增强方法的性能与运行速度。基于光流变换的暗光视频增强方法在数据准备阶段的流程示意图如图2(a)所示，在网络模型训练阶段和使用阶段的流程示意图如图2(b)所示。
本实施例的详细内容如下。
一种基于光流变换的暗光视频增强方法，包括数据准备、训练和使用三个阶段，具体包括如下步骤：
步骤1：数据准备阶段。
使用光流估计方法，对已有暗光图像数据集中的真实正常光照图像进行处理，生成对应的光流估计结果。
步骤1.1：使用实例分割网络模型，对暗光数据集中的真实正常光照图像进行处理，得到对应的实例分割结果，作为下一步的掩膜使用。
对准备使用的暗光图像数据集中的真实正常光照图像，使用实例分割方法进行处理，识别出图像中存在的前景物体，并获取其对应的像素区域掩膜，保存为与原图像大小一致的布尔矩阵数组，并以相同的命名方式保存，以备光流估计时使用。该步骤可表示为：
M＝InsSeg(y) (1)
其中，InsSeg表示使用的实例分割方法，y表示真实正常光照图像，M则是实例分割得到的掩膜结果。
实例分割方法优选开源模型库Detectron2中基于COCO实例分割数据集训练的R50-FPN模型，可针对暗光数据集图像内容的不同选取其他模型。
步骤1.2：使用光流估计方法，对暗光数据集中的真实正常光照图像进行处理，得到对应的光流估计结果，作为训练阶段光流变换的数据使用。
结合步骤1.1中获取到的前景物体掩膜结果，使用光流估计方法对真实正常光照图像进行处理，在前景物体对应的像素区域上，随机采样一组10个速度矢量，得到对应的光流估计结果，并保存备用。该步骤描述为：
f＝CMP(y,V|M) (2)
其中，CMP为使用的光流估计方法，y表示真实正常光照图像，V代表随机采样的速度矢量数组，M为上一步骤保存的前景物体掩膜结果，V|M表示在掩膜所描述的特定物体区域上采样的速度矢量数组，而f则为光流估计结果。
其中，光流估计方法，优选基于无监督机制的条件运动传播模型(ConditionalMotion Propagation,详见Zhan X,Pan X,Liu Z,et al.Self-supervised learning viaconditional motion propagation[C]//Proceedings of the IEEE/CVF Conference onComputer Vision and Pattern Recognition.2019:1881-1889.)
步骤2：训练阶段。
利用步骤1中获取的光流估计结果，结合已有暗光图像数据集对已有暗光图像增强模型进行训练，利用光流变换得到成对的存在运动的暗光图像，以孪生网络的方式进行模型训练，并对真实正常光照图像以及模型输出进行相同的变换，并施加额外的一致性约束，完成模型训练。
步骤2.1：对暗光图像数据集以及光流估计结果进行预处理，进行数据增广，提高网络训练数据的丰富程度。
对暗光图像数据集中的输入图像进行处理，如旋转、翻转、随机裁剪等，增加训练数据的丰富程度；对步骤1.2获取到的光流估计结果进行处理，如旋转、翻转、随机裁剪以及数值放缩等，得到不同的合理光流结果，丰富光流变换时所呈现的运动信息。
步骤2.2：以孪生网络的方式对已有暗光图像增强网络进行训练，通过光流变换获得成对的输入图像，暗光增强模型对输入的暗光图像进行处理，生成成对的图像增强结果，将其与成对的真实正常光照图像进行对比，计算暗光增强任务的损失函数以及一致性约束的损失函数，并据此更新模型中的参数。
从训练数据集中随机选取暗光图像输入暗光增强模型。假定输入图像为x1，网络模型g对输入的暗光图像x1进行处理，输出对应的图像增强结果g(x1)，将其与真实正常光照图像y1进行对比，计算增强任务损失函数：
Figure BDA0002966579330000081
利用对应的光流对已送入网络模型的输入、对应的模型输出以及真实正常光照图像均进行光流变换，该操作可表示为：
x2＝W(x1,f) (4)
其中，W表示光流变换操作，x1为首先输入模型的暗光图像，f为光流估计结果，x2则为变换后的输入。对于模型输出g(x1)和真实正常光照图像y1同理。
然后将变换后的输入图像送入网络模型，得到第二次模型输出，将该输出与变换后的模型输出、变换后的真实光照图像进行对比，分别计算一致性约束的损失函数
Figure BDA0002966579330000082
和计算增强任务的损失函数
Figure BDA0002966579330000083
Figure BDA0002966579330000084
Figure BDA0002966579330000085
其中，g(x2)表示模型的第二次输出，y2表示经过光流变换后的真实光照图像。
综上，训练网络所使用的完整损失函数为：
Figure BDA0002966579330000086
其中，
Figure BDA0002966579330000087
λ为调节一致性约束强度的超参数，可根据任务情况进行调节。
暗光图像增强网络优选U-Net(详见Chen C,Chen Q,Xu J,et al.Learning tosee in the dark[C]//Proceedings of the IEEE Conference on Computer Vision andPattern Recognition.2018:3291-3300.)
步骤2.3：重复步骤2.2，直到满足设定的终止条件后，将网络的结构与模型参数进行保存。
训练过程中，不断重复向模型输入暗光图像，并根据损失函数动态调整模型中的参数，直到满足预设条件(如：训练轮次达到一定量或某个评估指标优于某个预设值)，训练过程停止，并将模型参数进行储存。
步骤3：使用阶段。
利用步骤2中训练得到的暗光增强模型，对需要处理的暗光视频进行增强，逐帧将视频序列中的图像输入模型，得到增强后的结果。
步骤3.1：使用训练好的暗光图像增强网络模型，对暗光视频进行处理，得到不闪烁的增强结果。
步骤2训练结束之后，选取最优网络模型，加载网络参数，将需要处理的暗光视频序列逐帧输入模型，按照图像增强的方式，模型将逐帧获得增强结果，并且不存在闪烁问题。
以上所述的具体描述，对发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于光流变换的暗光视频增强方法，包括以下步骤：
步骤1：数据准备；
使用光流估计方法，对已有暗光图像数据集中的真实正常光照图像进行处理，生成对应的光流估计结果，包括以下步骤：
步骤1.1：使用实例分割网络模型，对暗光数据集中的真实正常光照图像进行处理，得到对应的实例分割结果，作为下一步的掩膜使用；
步骤1.2：使用光流估计方法，对暗光数据集中的真实正常光照图像进行处理，得到对应的光流估计结果，作为训练阶段光流变换的数据使用；
步骤2：训练阶段；
利用步骤1获取的光流估计结果，结合已有暗光图像数据集，对已有暗光图像增强模型进行训练，利用光流变换得到成对的存在运动的暗光图像，以孪生网络的方式进行模型训练，并对真实正常光照图像以及模型输出进行相同的变换，并施加额外的一致性约束，完成模型训练；
步骤3：使用阶段；
利用步骤2中训练得到的暗光增强模型，对需要处理的暗光视频进行增强，逐帧将视频序列中的图像输入模型，得到增强后的结果。
2.如权利要求1所述的一种基于光流变换的暗光视频增强方法，其特征在于，步骤1.1的实现方法为：
对准备使用的暗光图像数据集中的真实正常光照图像，使用实例分割方法进行处理，识别出图像中存在的前景物体，并获取其对应的像素区域掩膜，保存为与原图像大小一致的布尔矩阵数组，并以相同的命名方式保存，以备光流估计时使用，表示为：
M＝InsSeg(y) (1)
其中，InsSeg表示使用的实例分割方法，y为真实正常光照图像，M为实例分割得到的掩膜结果；
步骤1.2的实现方法为：
结合步骤1.1中获取到的前景物体掩膜结果，使用光流估计方法，对真实正常光照图像进行处理；在前景物体对应的像素区域上，随机采样不少于2个的一组速度矢量，得到对应的光流估计结果并保存备用，表示为：
f＝CMP(y,V|M) (2)
其中，f为光流估计结果，CMP为使用的光流估计方法，y表示真实正常光照图像，V代表随机采样的速度矢量数组，M为步骤1.1保存的前景物体掩膜结果，V|M表示在掩膜所描述的特定物体区域上采样的速度矢量数组。
3.如权利要求1所述的一种基于光流变换的暗光视频增强方法，其特征在于，步骤2包括以下步骤：
步骤2.1：对暗光图像数据集以及光流估计结果进行预处理，进行数据增广，提高网络训练数据的丰富程度；
步骤2.2：以孪生网络的方式对已有暗光图像增强网络进行训练，通过光流变换获得成对的输入图像，暗光增强模型对输入的暗光图像进行处理，生成成对的图像增强结果，将其与成对的真实正常光照图像进行对比，计算暗光增强任务的损失函数以及一致性约束的损失函数，并据此更新模型中的参数；
步骤2.3：重复步骤2.2，直到满足设定的终止条件后，将网络的结构与模型参数进行保存。
4.如权利要求3所述的一种基于光流变换的暗光视频增强方法，其特征在于，步骤2.1中，对暗光图像数据集中的输入图像进行预处理，包括旋转、翻转、随机裁剪，增加训练数据的丰富程度，对步骤1.2获取到的光流估计结果进行处理，包括欧旋转、翻转、随机裁剪以及数值放缩。
5.如权利要求3所述的一种基于光流变换的暗光视频增强方法，其特征在于，步骤2.2的实现方法如下：
从训练数据集中，随机选取暗光图像输入暗光增强模型；设输入图像为x1，网络模型g对输入的暗光图像x1进行处理，输出对应的图像增强结果g(x1)，将其与真实正常光照图像y1进行对比，计算增强任务损失函数
Figure FDA0002966579320000021
Figure FDA0002966579320000022
然后，利用对应的光流对已送入网络模型的输入、对应的模型输出以及真实正常光照图像均进行光流变换，表示为：
x2＝W(x1,f) (4)
其中，W表示光流变换操作，x1为首先输入模型的暗光图像，f为光流估计结果，x2则为变换后的输入；对于模型输出g(x1)和真实正常光照图像y1同理；
之后，将变换后的输入图像送入网络模型，得到第二次模型输；将该输出与变换后的模型输出、变换后的真实光照图像进行对比，分别计算一致性约束的损失函数
Figure FDA0002966579320000031
和计算增强任务的损失函数
Figure FDA0002966579320000032
Figure FDA0002966579320000033
Figure FDA0002966579320000034
其中，g(x2)表示模型的第二次输出，y2表示经过光流变换后的真实光照图像；
则训练网络所使用的完整损失函数
Figure FDA0002966579320000035
为：
Figure FDA0002966579320000036
其中，
Figure FDA0002966579320000037
λ为调节一致性约束强度的超参数，根据任务情况进行调节。
6.如权利要求3所述的一种基于光流变换的暗光视频增强方法，其特征在于，步骤2.3的实现方法如下：
在训练过程中，不断重复向模型输入暗光图像，并根据损失函数动态调整模型中的参数，直到满足预设条件，训练过程停止，并将模型参数进行储存。
7.如权利要求1所述的一种基于光流变换的暗光视频增强方法，其特征在于，步骤3中，在步骤2训练结束之后，选取最优网络模型，加载网络参数，将需要处理的暗光视频序列逐帧输入模型。
8.如权利要求1所述的一种基于光流变换的暗光视频增强方法，其特征在于，步骤1.2采用的光流估计方法，使用基于无监督机制的条件运动传播模型。
CN202110252373.8A 2021-03-08 2021-03-08 一种基于光流变换的暗光视频增强方法 Active CN113159019B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110252373.8A CN113159019B (zh) 2021-03-08 2021-03-08 一种基于光流变换的暗光视频增强方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110252373.8A CN113159019B (zh) 2021-03-08 2021-03-08 一种基于光流变换的暗光视频增强方法

Publications (2)

Publication Number Publication Date
CN113159019A true CN113159019A (zh) 2021-07-23
CN113159019B CN113159019B (zh) 2022-11-08

Family

ID=76884556

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110252373.8A Active CN113159019B (zh) 2021-03-08 2021-03-08 一种基于光流变换的暗光视频增强方法

Country Status (1)

Country Link
CN (1) CN113159019B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113705665A (zh) * 2021-08-26 2021-11-26 荣耀终端有限公司 图像变换网络模型的训练方法和电子设备
CN113744169A (zh) * 2021-09-07 2021-12-03 讯飞智元信息科技有限公司 图像增强方法、装置、电子设备和存储介质
CN114022732A (zh) * 2021-11-03 2022-02-08 北京理工大学 一种基于raw图像的极暗光物体检测方法
CN114399431A (zh) * 2021-12-06 2022-04-26 北京理工大学 一种基于注意力机制的暗光图像增强方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2843621A1 (en) * 2013-08-26 2015-03-04 Max-Planck-Gesellschaft zur Förderung der Wissenschaften e.V. Human pose calculation from optical flow data
CN111539879A (zh) * 2020-04-15 2020-08-14 清华大学深圳国际研究生院 基于深度学习的视频盲去噪方法及装置
CN111986084A (zh) * 2020-08-03 2020-11-24 南京大学 一种基于多任务融合的多相机低光照图像质量增强方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2843621A1 (en) * 2013-08-26 2015-03-04 Max-Planck-Gesellschaft zur Förderung der Wissenschaften e.V. Human pose calculation from optical flow data
CN111539879A (zh) * 2020-04-15 2020-08-14 清华大学深圳国际研究生院 基于深度学习的视频盲去噪方法及装置
CN111986084A (zh) * 2020-08-03 2020-11-24 南京大学 一种基于多任务融合的多相机低光照图像质量增强方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张聪炫等: "深度学习光流计算技术研究进展", 《电子学报》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113705665A (zh) * 2021-08-26 2021-11-26 荣耀终端有限公司 图像变换网络模型的训练方法和电子设备
CN113744169A (zh) * 2021-09-07 2021-12-03 讯飞智元信息科技有限公司 图像增强方法、装置、电子设备和存储介质
CN114022732A (zh) * 2021-11-03 2022-02-08 北京理工大学 一种基于raw图像的极暗光物体检测方法
CN114022732B (zh) * 2021-11-03 2024-05-31 北京理工大学 一种基于raw图像的极暗光物体检测方法
CN114399431A (zh) * 2021-12-06 2022-04-26 北京理工大学 一种基于注意力机制的暗光图像增强方法
CN114399431B (zh) * 2021-12-06 2024-06-04 北京理工大学 一种基于注意力机制的暗光图像增强方法

Also Published As

Publication number Publication date
CN113159019B (zh) 2022-11-08

Similar Documents

Publication Publication Date Title
Wang et al. Esrgan: Enhanced super-resolution generative adversarial networks
CN113159019B (zh) 一种基于光流变换的暗光视频增强方法
CN109671023B (zh) 一种人脸图像超分辨率二次重建方法
Yang et al. Sparse gradient regularized deep retinex network for robust low-light image enhancement
CN110675328B (zh) 基于条件生成对抗网络的低照度图像增强方法及装置
CN111915526A (zh) 一种基于亮度注意力机制低照度图像增强算法的摄影方法
CN113658057B (zh) 一种Swin Transformer微光图像增强方法
CN112837245B (zh) 一种基于多模态融合的动态场景去模糊方法
Pan et al. MIEGAN: Mobile image enhancement via a multi-module cascade neural network
CN111901532B (zh) 基于循环神经网络迭代策略的视频稳定方法
Peng et al. LVE-S2D: Low-light video enhancement from static to dynamic
CN110225260B (zh) 一种基于生成对抗网络的立体高动态范围成像方法
CN112348747A (zh) 图像增强方法、装置及存储介质
Chen et al. THFuse: An infrared and visible image fusion network using transformer and hybrid feature extractor
CN114862698A (zh) 一种基于通道引导的真实过曝光图像校正方法与装置
CN114596233A (zh) 基于注意引导和多尺度特征融合的低照度图像增强方法
Xu et al. Gan based multi-exposure inverse tone mapping
Chen et al. Single-image hdr reconstruction with task-specific network based on channel adaptive RDN
Shen et al. Spatial temporal video enhancement using alternating exposures
CN117670719A (zh) 一种去模糊多曝光图像融合方法、系统及介质
CN117611467A (zh) 一种能同时平衡不同区域细节和亮度的低光图像增强方法
CN117011181A (zh) 一种分类引导的无人机成像浓雾去除方法
Wang et al. Exposure fusion using a relative generative adversarial network
CN116579940A (zh) 一种基于卷积神经网络的实时低照度图像增强方法
Lee et al. Efficient Low Light Video Enhancement Based on Improved Retinex Algorithms

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant