CN116957986B - 一种低照度视频增强方法、装置、设备及存储介质 - Google Patents
一种低照度视频增强方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN116957986B CN116957986B CN202311052271.7A CN202311052271A CN116957986B CN 116957986 B CN116957986 B CN 116957986B CN 202311052271 A CN202311052271 A CN 202311052271A CN 116957986 B CN116957986 B CN 116957986B
- Authority
- CN
- China
- Prior art keywords
- image
- frame image
- enhancement
- current frame
- brightness
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000005286 illumination Methods 0.000 title claims abstract description 35
- 230000003287 optical effect Effects 0.000 claims abstract description 47
- 230000008859 change Effects 0.000 claims abstract description 28
- 238000012545 processing Methods 0.000 claims description 39
- 230000002708 enhancing effect Effects 0.000 claims description 16
- 230000000007 visual effect Effects 0.000 claims description 10
- 238000010586 diagram Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 5
- 230000002146 bilateral effect Effects 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 238000004891 communication Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000006872 improvement Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 230000035772 mutation Effects 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20028—Bilateral filtering
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Picture Signal Circuits (AREA)
Abstract
本发明公开了一种低照度视频增强方法、装置、设备及存储介质，采用光流的方法来检测背景的变化，通过累积多帧的光流，除去运动幅度稍大的前景即可得到背景区域，根据背景区域即可判断相邻帧之间背景是否发生突变，所以不需要背景区域的估计达到较高的精确度，即可以实现相邻帧之间的相关性的判断，避免帧增强后产生亮度闪烁。同时，还可以通过参数反馈调整的方法来计算L I PS参数，进而降低相邻两帧的亮度差异，消除增强后视频的抖动现象。
Description
技术领域
本发明涉及视频处理技术领域，特别是涉及一种可以在增强视频之后不破坏相邻帧之间的内容相关性和亮度连续性的低照度视频增强方法、装置、设备及存储介质。
背景技术
受天气，时间，地点的影响，采集到的视频通常亮度偏暗，比如在阴天或夜间等光线不足的环境下，或是在光线较暗的室内获取的视频，亮度暗，质量低，细节不清晰，需要进行增强处理。
但不同于图像的是，低照度视频是由一系列帧图像序列组成的，其数量更多，增强要求也更多。虽然视频序列的相邻两帧之间的时空相关性和连续性可以为增强视频时提供较多的参考信息，但这也要求在增强视频之后不能破坏相邻帧之间的内容相关性和亮度连续性，从而增强视频的难度也加大了。
目前大多数的增强算法主要是针对低照度图像的，对于视频而言，相关的增强算法相对较少，主要是因为现有的使用视频数据的计算机视觉应用几乎也是逐帧处理或是选取某些帧处理的。但也存在一些基于整个视频质量提升的应用需求，比如超高清视频，不仅要提升视频的画质，还要保证原有视频的完整性和连续性。
现有技术中针对低照度视频增强的算法主要有以下几类：gamma校正，基于去雾模型的方法，相似块累积的方法等，但这些方法对于全局低对比度的视频帧质量提升较好，对于存在饱和区域的高对比度的视频帧，在对黑暗区域进行亮度增强时，也会导致高亮区域产生过曝的现象。且这些算法虽能极大程度地拉伸帧图像的对比度，但却忽略了视频序列的亮度连续性，增强后的视频容易产生断断续续的亮度抖动问题。
因此，如何提供一种低照度视频增强方法，可以降低相邻两帧的亮度差异，消除增强后视频的抖动现象，是迫切需要本领域技术人员解决的技术问题。
发明内容
鉴于上述问题，本发明提供用于克服上述问题或者至少部分地解决上述问题的一种低照度视频增强方法、装置、设备及存储介质。
本发明提供了如下方案：
一种低照度视频增强方法，包括：
获取待增强的原始视频序列中的每一帧图像；
确定所述每一帧图像中的当前帧图像不是场景的第一帧图像；
计算所述当前帧图像的光流信息以及所述每一帧图像中所述当前帧图像之前的所有图像的光流信息；
存储所述当前帧图像之前的所有图像的光流信息并累加计算获得估计背景区域；
利用所述估计背景区域以及所述当前帧图像的光流信息统计所述当前帧图像在所述背景区域的运动像素比例；所述运动像素比例用于确定所述当前帧图像相对前一目标帧图像的背景以及亮度是否发生变化；
确定所述当前帧图像相对所述前一目标帧图像的背景以及亮度没有发生变化后，获取所述前一目标帧图像利用改进的帧增强模型进行帧增强时的目标参数；所述改进的帧增强模型包括基于中心环绕的Retinex模块以及对数图像处理减法模块，所述基于中心环绕的Retinex模块用于基于权重因子调整光照度以便估计图像的反射图像，所述对数图像处理减法模块用于增强所述反射图像的对比度，所述目标参数为对数图像处理减法模块运行所使用的参数；
利用所述目标参数以及所述改进的帧增强模型对所述当前帧图像进行帧增强。
优选地：所述前一目标帧图像为场景的第一帧图像。
优选地：确定所述当前帧图像相对所述前一目标帧图像的背景以及亮度没有发生变化后，更新所述目标参数以及所述前一目标帧图像的帧号。
优选地：所述运动像素比例结合最小可觉察误差视觉阈值和光流幅度来判断所述当前帧图像相对所述前一目标帧图像的亮度和背景是否发生变化。
优选地：所述改进的帧增强模型用于执行以下操作：
将图像从RGB空间转到HSV空间获得V通道图像；
接着采用基于中心环绕的Retinex模块以及目标权重因子压缩所述V通道图像的亮照度获得反射图像；
使用对数图像处理减法模块以及所述目标参数拉伸所述反射图像的对比度，得到亮度增强后的增强V通道图像；
将所述增强V通道图像从HSV空间转回RGB空间获得增强图像。
优选地：所述目标权重因子通过以下方法获得：
对所述V通道图像进行基于联合双边滤波照度估计获得照度图像；
利用所述照度图像计算获得所述目标权重因子。
优选地：所述目标参数通过以下方法获得：
对所述V通道图像进行基于HVS的视觉区域划分处理获得划分结果图；
利用所述划分结果图计算获得所述目标参数。
一种低照度视频增强装置，所述装置包括：
图像获取单元，用于获取待增强的原始视频序列中的每一帧图像；
第一帧图像判断单元，用于确定所述每一帧图像中的当前帧图像不是场景的第一帧图像；
光流信息计算单元，用于计算所述当前帧图像的光流信息以及所述每一帧图像中所述当前帧图像之前的所有图像的光流信息；
估计背景区域获取单元，用于存储所述当前帧图像之前的所有图像的光流信息并累加计算获得估计背景区域；
背景以及亮度变化确定单元，用于利用所述估计背景区域以及所述当前帧图像的光流信息统计所述当前帧图像在所述背景区域的运动像素比例；所述运动像素比例用于确定所述当前帧图像相对前一目标帧图像的背景以及亮度是否发生变化；
目标参数获取单元，用于确定所述当前帧图像相对所述前一目标帧图像的背景以及亮度没有发生变化后，获取所述前一目标帧图像利用改进的帧增强模型进行帧增强时的目标参数；所述改进的帧增强模型包括基于中心环绕的Retinex模块以及对数图像处理减法模块，所述基于中心环绕的Retinex模块用于基于权重因子调整光照度以便估计图像的反射图像，所述对数图像处理减法模块用于增强所述反射图像的对比度，所述目标参数为对数图像处理减法模块运行所使用的参数；
当前帧图像帧增强单元，用于利用所述目标参数以及所述改进的帧增强模型对所述当前帧图像进行帧增强。
一种低照度视频增强设备，所述设备包括处理器以及存储器：
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令执行上述的低照度视频增强方法。
一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行上述的低照度视频增强方法。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本申请实施例提供的一种低照度视频增强方法、装置、设备及存储介质，采用光流的方法来检测背景的变化，通过累积多帧的光流，除去运动幅度稍大的前景即可得到背景区域，根据背景区域即可判断相邻帧之间背景是否发生突变，所以不需要背景区域的估计达到较高的精确度，即可以实现相邻帧之间的相关性的判断，避免帧增强后产生亮度闪烁。同时，还可以通过参数反馈调整的方法来计算LIPS参数，进而降低相邻两帧的亮度差异，消除增强后视频的抖动现象。
当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种低照度视频增强方法的流程图；
图2是本发明实施例提供的图像增强框架结构图；
图3是本发明实施例提供的视频增强算法框架示意图；
图4是本发明实施例提供的一种低照度视频增强装置的示意图；
图5是本发明实施例提供的一种低照度视频增强设备的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。
参见图1，为本发明实施例提供的一种低照度视频增强方法，如图1所示，该方法可以包括：
S101：获取待增强的原始视频序列中的每一帧图像；
S102：确定所述每一帧图像中的当前帧图像不是场景的第一帧图像；
S103：计算所述当前帧图像的光流信息以及所述每一帧图像中所述当前帧图像之前的所有图像的光流信息；
S104：存储所述当前帧图像之前的所有图像的光流信息并累加计算获得估计背景区域；
S105：利用所述估计背景区域以及所述当前帧图像的光流信息统计所述当前帧图像在所述背景区域的运动像素比例；所述运动像素比例用于确定所述当前帧图像相对前一目标帧图像的背景以及亮度是否发生变化；具体实现时，本申请实施例可以提供所述运动像素比例结合最小可觉察误差视觉阈值和光流幅度来判断所述当前帧图像相对所述前一目标帧图像的亮度和背景是否发生变化。
S106：确定所述当前帧图像相对所述前一目标帧图像的背景以及亮度没有发生变化后，获取所述前一目标帧图像利用改进的帧增强模型进行帧增强时的目标参数；所述改进的帧增强模型包括基于中心环绕的Retinex模块以及对数图像处理减法模块，所述基于中心环绕的Retinex模块用于基于权重因子调整光照度以便估计图像的反射图像，所述对数图像处理减法模块用于增强所述反射图像的对比度，所述目标参数为对数图像处理减法模块运行所使用的参数；
本申请实施例提供的所述改进的帧增强模型用于执行以下操作：
将图像从RGB空间转到HSV空间获得V通道图像；
接着采用基于中心环绕的Retinex模块以及目标权重因子压缩所述V通道图像的亮照度获得反射图像；
使用对数图像处理减法模块以及所述目标参数拉伸所述反射图像的对比度，得到亮度增强后的增强V通道图像；
将所述增强V通道图像从HSV空间转回RGB空间获得增强图像。
进一步的，所述目标权重因子通过以下方法获得：
对所述V通道图像进行基于联合双边滤波照度估计获得照度图像；
利用所述照度图像计算获得所述目标权重因子。
所述目标参数通过以下方法获得：
对所述V通道图像进行基于HVS的视觉区域划分处理获得划分结果图；
利用所述划分结果图计算获得所述目标参数。
S107：利用所述目标参数以及所述改进的帧增强模型对所述当前帧图像进行帧增强。
本申请实施例提供的低照度视频增强方法，对于待增强的原始视频序列每个输入的帧图像，使用改进的帧增强模型调整光照来估计每一帧的反射图像，从而压缩明亮的光照，得到光照近似均匀的反射图像，然后采用对数图像处理减法(LIPS)模型来增强它的对比度。为了保持相邻帧之间的亮度连续性，分别使用最小可觉察误差(JND,JustNoticeable Distortion)视觉阈值和光流幅度来判断相邻帧的亮度和背景是否发生变化。通过统计背景区域中运动像素的比例来判断背景变化。如果没有变化，则再判断场景亮度是否发生突变，若没有发生亮度突变，则参考前一帧的LIPS参数来增强当前帧。
需要说明的是，在实际应用中，该前一目标帧图像可以是当前帧图像的相邻前一帧图像，也可以是背景以及亮度没有发生变化的之前任意一帧的图像。例如，在一种实现方式下，本申请实施例可以提供所述前一目标帧图像为场景的第一帧图像。如果当前帧图像相对于第一帧图像的背景以及亮度没有变化，那么可以持续使用第一帧图像的帧增强时的目标参数对当前帧图像进行帧增强。
进一步的，确定所述当前帧图像相对所述前一目标帧图像的背景以及亮度没有发生变化后，更新所述目标参数以及所述前一目标帧图像的帧号。如若背景或平均亮度其中有一个发生显著变化，LIPS参数和新场景前一目标帧图像都要更新，以便用于后续帧以及当前帧的帧增强计算使用。
下面对本申请实施例提供的低照度视频增强方法进行详细说明。
低照度的视频形成的待增强的原始视频序列噪点很大，同时由于很多杂散光的存在，往往因为照度不均匀而呈现出部分区域亮，部分区域暗。需要对去除的照度进行调整，使得增强图像照度近似均匀，从而得到视觉效果更自然的增强图像。针对照度复杂的图像，本申请实施例提出了改进的基于Retinex的自适应照度分量去除和对数图像处理减法拉伸反射分量对比度的图像增强算法，采用该图像增强算法可以分别对待增强的原始视频序列中的每一帧图像进行帧增强处理。
本申请实施例的图像增强框架结构可总结为图2所示，首先将图像从RGB空间转到HSV空间，对亮度通道V进行处理，不改变色调H和饱和度S；接着采用改进的多尺度Retinex算法压缩亮照度，获得照度近似均匀的反射图像；然后使用对数图像处理减法(LIPS)来拉伸反射图像的对比度，得到亮度增强后的V通道图像；最后将HSV空间再转回RGB空间获得增强图像。
而相比于静态图像，而在弱光环境下拍摄的视频往往视觉效果更差。为了获得更好的视觉体验，本申请实施例提出了一种改进的基于中心环绕Retinex的无闪烁的视频增强算法，该算法包含两个部分：帧内亮度增强和帧间亮度连续性保持。一方面，利用上述的图像增强算法来增强视频序列的每一帧的亮度；另一方面，要防止增强后的视频产生不必要的伪像，如亮度闪烁。因此，需要通过参数反馈调整的方法来消除视频相邻帧之间的亮度抖动。
受天气、时间、地点的影响，通常采集到的视频通常亮度偏暗，比如在阴天或夜间等光线不足的环境下，或是在光线较暗的室内获取的视频，亮度暗，质量低，细节不清晰。但不同于图像的是，低照度视频是由一系列帧图像序列组成的，其数量更大，增强要求也更多。虽然视频序列的相邻两帧之间的时空相关性和连续性在增强视频时提供了较多的参考信息，但这也需要在增强视频之后不能破坏相邻帧之间的内容相关性和亮度连续性，从而增强视频的难度因此也加大了。
低照度视频除了会随着镜头的变化而出现场景的变化，还会随着时间的变化而出现亮度的变化。比如来自同一部电影视频序列，可以发现不同时间段拍摄的视频画面亮度差异比较大，某些行的视频序列整体亮度偏低，各帧的细节都不清晰，但某些行的序列亮度动态范围较宽，即一帧视频图像中同时包含高亮区域和黑暗区域。这就要求视频增强算法既能增强具有低动态范围的视频帧，又能处理高动态范围的视频帧，同时要避免暗区域噪声放大，亮区域过度增强。
除了分析视频的亮度特征，还要研究视频帧之间的相关性。对于场景不变的序列，增强后需保证相邻帧之间亮度一致；对于渐变场景的序列，增强后相邻帧的亮度不可能完全相同，但也不能产生肉眼可见的亮度抖动；对于发生场景突变的帧，其相邻两帧场景本身就完全不同，自然不存在亮度闪烁，所以增强后也不需要考虑相邻两帧的亮度一致性。
因此，在增强视频亮度之前，需要对视频序列进行检测分析，再根据不同场景变化程度的帧采用合适的方法进行增强。此外，视频增强除了要寻找缓解增强序列亮度闪烁程度，还要尽可能提高视频的处理速度，以达到实时应用的效果。
目前大多数的增强算法主要是针对低照度图像的，对于视频而言，相关的增强算法相对较少，主要是因为现有的使用视频数据的计算机视觉应用几乎也是逐帧处理或是选取某些帧处理的。但也存在一些基于整个视频质量提升的应用需求，比如超高清视频，不仅要提升视频的画质，还有保证原有视频的完整性和连续性。
基于中环绕Retinex的无闪烁的低照度视频增强算法包含了帧内亮度增强和帧间亮度连续性保持两个部分，帧内亮度增强是基于中心环绕Retinex的反射图像估计和对数图像处理减法(LIPS)后处理的方法来实现亮度提升。而帧间亮度连续性保持则是通过参数反馈调整的方法来计算LIPS参数，进而降低相邻两帧的亮度差异，消除增强后视频的抖动现象。
针对视频帧的亮度增强和序列亮度连续性的保持，本申请实施例提出基于中心环绕Retinex的无闪烁的视频增强算法，若是直接采用上面针对图像的处理方法增强视频序列的每一帧，虽然可以提升视频序列的亮度，但未考虑相邻帧之间的相关性，势必会产生亮度闪烁。因此，提出了一种基于Retinex和光流的参数调整的视频增强算法。
对于场景相似性的判断，其主要是判断相邻帧的背景是否发生较大的变化，于是，考虑采用光流的方法来检测背景的变化。光流法可以检测相邻两帧之间的运动，而背景区域运动幅度较小，甚至是没有运动的，因此可以通过累积多帧的光流，除去运动幅度稍大的前景即可得到背景区域。只需根据背景判断场景是否发生突变，所以不需要背景区域的估计达到较高的精确度。
本申请实施例提供的方法对于每个输入的帧图像，如图3所示，使用改进的中心环绕Retinex框架和权重因子调整光照来估计每一帧的反射图像，从而压缩明亮的光照，得到光照近似均匀的反射图像，然后采用对数图像处理减法(LIPS)模型来增强它的对比度。为了保持相邻帧之间的亮度连续性，分别使用最小可觉察误差(JND,Just NoticeableDistortion)视觉阈值和光流幅度来判断相邻帧的亮度和背景是否发生变化。
在实际使用过程中，可以首先对当前帧图像是否为当前场景的第一帧图像先进行判断，如果当前输入的帧是当前场景的第一个帧图像，则通过自适应计算LIPS参数来增强其反射亮度。否则，通过统计背景区域中运动像素的比例来判断背景变化。
如果没有变化，则再判断场景亮度是否发生突变，若没有发生亮度突变，则参考前一目标帧图像的LIPS参数来增强当前帧。
如若背景或平均亮度其中有一个发生显著变化，LIPS参数和新场景前一目标帧图像的帧号都要更新。以便后续帧图像利用更新后的前一目标帧图像对应的LIPS参数进行帧增强。
总之，本申请提供的低照度视频增强方法，采用光流的方法来检测背景的变化，通过累积多帧的光流，除去运动幅度稍大的前景即可得到背景区域，根据背景区域即可判断相邻帧之间背景是否发生突变，所以不需要背景区域的估计达到较高的精确度，即可以实现相邻帧之间的相关性的判断，避免帧增强后产生亮度闪烁。同时，还可以通过参数反馈调整的方法来计算LIPS参数，进而降低相邻两帧的亮度差异，消除增强后视频的抖动现象。
参见图4，本申请实施例还可以提供一种低照度视频增强装置，如图4所示，该装置可以包括：
图像获取单元401，用于获取待增强的原始视频序列中的每一帧图像；
第一帧图像判断单元402，用于确定所述每一帧图像中的当前帧图像不是场景的第一帧图像；
光流信息计算单元403，用于计算所述当前帧图像的光流信息以及所述每一帧图像中所述当前帧图像之前的所有图像的光流信息；
估计背景区域获取单元404，用于存储所述当前帧图像之前的所有图像的光流信息并累加计算获得估计背景区域；
背景以及亮度变化确定单元405，用于利用所述估计背景区域以及所述当前帧图像的光流信息统计所述当前帧图像在所述背景区域的运动像素比例；所述运动像素比例用于确定所述当前帧图像相对前一目标帧图像的背景以及亮度是否发生变化；
目标参数获取单元406，用于确定所述当前帧图像相对所述前一目标帧图像的背景以及亮度没有发生变化后，获取所述前一目标帧图像利用改进的帧增强模型进行帧增强时的目标参数；所述改进的帧增强模型包括基于中心环绕的Retinex模块以及对数图像处理减法模块，所述基于中心环绕的Retinex模块用于基于权重因子调整光照度以便估计图像的反射图像，所述对数图像处理减法模块用于增强所述反射图像的对比度，所述目标参数为对数图像处理减法模块运行所使用的参数；
当前帧图像帧增强单元407，用于利用所述目标参数以及所述改进的帧增强模型对所述当前帧图像进行帧增强。
本申请实施例还可以提供一种低照度视频增强设备，所述设备包括处理器以及存储器：
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令执行上述的低照度视频增强方法的步骤。
如图5所示，本申请实施例提供的一种低照度视频增强设备，可以包括：处理器10、存储器11、通信接口12和通信总线13。处理器10、存储器11、通信接口12均通过通信总线13完成相互间的通信。
在本申请实施例中，处理器10可以为中央处理器(Central Processing Unit，CPU)、特定应用集成电路、数字信号处理器、现场可编程门阵列或者其他可编程逻辑器件等。
处理器10可以调用存储器11中存储的程序，具体的，处理器10可以执行低照度视频增强方法的实施例中的操作。
存储器11中用于存放一个或者一个以上程序，程序可以包括程序代码，程序代码包括计算机操作指令，在本申请实施例中，存储器11中至少存储有用于实现以下功能的程序：
获取待增强的原始视频序列中的每一帧图像；
确定所述每一帧图像中的当前帧图像不是场景的第一帧图像；
计算所述当前帧图像的光流信息以及所述每一帧图像中所述当前帧图像之前的所有图像的光流信息；
存储所述当前帧图像之前的所有图像的光流信息并累加计算获得估计背景区域；
利用所述估计背景区域以及所述当前帧图像的光流信息统计所述当前帧图像在所述背景区域的运动像素比例；所述运动像素比例用于确定所述当前帧图像相对前一目标帧图像的背景以及亮度是否发生变化；
确定所述当前帧图像相对所述前一目标帧图像的背景以及亮度没有发生变化后，获取所述前一目标帧图像利用改进的帧增强模型进行帧增强时的目标参数；所述改进的帧增强模型包括基于中心环绕的Retinex模块以及对数图像处理减法模块，所述基于中心环绕的Retinex模块用于基于权重因子调整光照度以便估计图像的反射图像，所述对数图像处理减法模块用于增强所述反射图像的对比度，所述目标参数为对数图像处理减法模块运行所使用的参数；
利用所述目标参数以及所述改进的帧增强模型对所述当前帧图像进行帧增强。
在一种可能的实现方式中，存储器11可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统，以及至少一个功能(比如文件创建功能、数据读写功能)所需的应用程序等；存储数据区可存储使用过程中所创建的数据，如初始化数据等。
此外，存储器11可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件或其他易失性固态存储器件。
通信接口12可以为通信模块的接口，用于与其他设备或者系统连接。
当然，需要说明的是，图5所示的结构并不构成对本申请实施例中低照度视频增强设备的限定，在实际应用中低照度视频增强设备可以包括比图5所示的更多或更少的部件，或者组合某些部件。
本申请实施例还可以提供一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行上述的低照度视频增强方法的步骤。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本申请可借助软件加上必需的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例或者实施例的某些部分所述的方法。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。
Claims (10)
1.一种低照度视频增强方法，其特征在于，包括：
获取待增强的原始视频序列中的每一帧图像；
确定所述每一帧图像中的当前帧图像不是场景的第一帧图像；
计算所述当前帧图像的光流信息以及所述每一帧图像中所述当前帧图像之前的所有图像的光流信息；
存储所述当前帧图像之前的所有图像的光流信息并累加计算获得估计背景区域；
利用所述估计背景区域以及所述当前帧图像的光流信息统计所述当前帧图像在所述背景区域的运动像素比例；所述运动像素比例用于确定所述当前帧图像相对前一目标帧图像的背景以及亮度是否发生变化；
确定所述当前帧图像相对所述前一目标帧图像的背景以及亮度没有发生变化后，获取所述前一目标帧图像利用改进的帧增强模型进行帧增强时的目标参数；所述改进的帧增强模型包括基于中心环绕的Retinex模块以及对数图像处理减法模块，所述基于中心环绕的Retinex模块用于基于权重因子调整光照度以便估计图像的反射图像，所述对数图像处理减法模块用于增强所述反射图像的对比度，所述目标参数为所述对数图像处理减法模块运行所使用的参数；
利用所述目标参数以及所述改进的帧增强模型对所述当前帧图像进行帧增强。
2.根据权利要求1所述的低照度视频增强方法，其特征在于，所述前一目标帧图像为场景的第一帧图像。
3.根据权利要求1所述的低照度视频增强方法，其特征在于，确定所述当前帧图像相对所述前一目标帧图像的背景以及亮度没有发生变化后，更新所述目标参数以及所述前一目标帧图像的帧号。
4.根据权利要求1所述的低照度视频增强方法，其特征在于，所述运动像素比例结合最小可觉察误差视觉阈值和光流幅度来判断所述当前帧图像相对所述前一目标帧图像的亮度和背景是否发生变化。
5.根据权利要求1所述的低照度视频增强方法，其特征在于，所述改进的帧增强模型用于执行以下操作：
将图像从RGB空间转到HSV空间获得V通道图像；
接着采用基于中心环绕的Retinex模块以及目标权重因子压缩所述V通道图像的亮照度获得反射图像；
使用所述对数图像处理减法模块以及所述目标参数拉伸所述反射图像的对比度，得到亮度增强后的增强V通道图像；
将所述增强V通道图像从HSV空间转回RGB空间获得增强图像。
6.根据权利要求5所述的低照度视频增强方法，其特征在于，所述目标权重因子通过以下方法获得：
对所述V通道图像进行基于联合双边滤波照度估计获得照度图像；
利用所述照度图像计算获得所述目标权重因子。
7.根据权利要求5所述的低照度视频增强方法，其特征在于，所述目标参数通过以下方法获得：
对所述V通道图像进行基于HVS的视觉区域划分处理获得划分结果图；
利用所述划分结果图计算获得所述目标参数。
8.一种低照度视频增强装置，其特征在于，所述装置包括：
图像获取单元，用于获取待增强的原始视频序列中的每一帧图像；
第一帧图像判断单元，用于确定所述每一帧图像中的当前帧图像不是场景的第一帧图像；
光流信息计算单元，用于计算所述当前帧图像的光流信息以及所述每一帧图像中所述当前帧图像之前的所有图像的光流信息；
估计背景区域获取单元，用于存储所述当前帧图像之前的所有图像的光流信息并累加计算获得估计背景区域；
背景以及亮度变化确定单元，用于利用所述估计背景区域以及所述当前帧图像的光流信息统计所述当前帧图像在所述背景区域的运动像素比例；所述运动像素比例用于确定所述当前帧图像相对前一目标帧图像的背景以及亮度是否发生变化；
目标参数获取单元，用于确定所述当前帧图像相对所述前一目标帧图像的背景以及亮度没有发生变化后，获取所述前一目标帧图像利用改进的帧增强模型进行帧增强时的目标参数；所述改进的帧增强模型包括基于中心环绕的Retinex模块以及对数图像处理减法模块，所述基于中心环绕的Retinex模块用于基于权重因子调整光照度以便估计图像的反射图像，所述对数图像处理减法模块用于增强所述反射图像的对比度，所述目标参数为所述对数图像处理减法模块运行所使用的参数；
当前帧图像帧增强单元，用于利用所述目标参数以及所述改进的帧增强模型对所述当前帧图像进行帧增强。
9.一种低照度视频增强设备，其特征在于，所述设备包括处理器以及存储器：
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令执行权利要求1-7任一项所述的低照度视频增强方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行权利要求1-7任一项所述的低照度视频增强方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311052271.7A CN116957986B (zh) | 2023-08-21 | 2023-08-21 | 一种低照度视频增强方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311052271.7A CN116957986B (zh) | 2023-08-21 | 2023-08-21 | 一种低照度视频增强方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116957986A CN116957986A (zh) | 2023-10-27 |
| CN116957986B true CN116957986B (zh) | 2024-02-02 |
Family
ID=88449288
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311052271.7A Active CN116957986B (zh) | 2023-08-21 | 2023-08-21 | 一种低照度视频增强方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116957986B (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112598612A (zh) * | 2020-12-23 | 2021-04-02 | 南京邮电大学 | 一种基于照度分解的无闪烁暗光视频增强方法及装置 |
| CN113286194A (zh) * | 2020-02-20 | 2021-08-20 | 北京三星通信技术研究有限公司 | 视频处理方法、装置、电子设备及可读存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220207659A1 (en) * | 2020-12-31 | 2022-06-30 | Stryker Corporation | Systems and methods for low-light image enhancement |
-
2023
- 2023-08-21 CN CN202311052271.7A patent/CN116957986B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113286194A (zh) * | 2020-02-20 | 2021-08-20 | 北京三星通信技术研究有限公司 | 视频处理方法、装置、电子设备及可读存储介质 |
| CN112598612A (zh) * | 2020-12-23 | 2021-04-02 | 南京邮电大学 | 一种基于照度分解的无闪烁暗光视频增强方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 一种新的快速Retinex视频增强方法研究;张璇;汪荣贵;张新彤;方帅;;计算机工程与应用(第11期) * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116957986A (zh) | 2023-10-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Rao et al. | A Survey of Video Enhancement Techniques. | |
| Lin et al. | Multi-scale retinex improvement for nighttime image enhancement | |
| CN110599433B (zh) | 一种基于动态场景的双曝光图像融合方法 | |
| KR20070075872A (ko) | 이득 조절 가능한 절단 빈도함수 평활화를 이용한 영상처리 방법 및 시스템 | |
| JP6505237B2 (ja) | 画像処理装置 | |
| CN106981054B (zh) | 一种图像处理方法及电子设备 | |
| KR20070040026A (ko) | 통계적 정보를 이용하여 노이즈를 제거하는 영상 처리 방법및 시스템 | |
| CN111064904A (zh) | 一种暗光图像增强方法 | |
| CN107292830B (zh) | 低照度图像增强及评价方法 | |
| JP2000050109A (ja) | ノイズを除去するための非線形イメ―ジフィルタ | |
| US10013772B2 (en) | Method of controlling a quality measure and system thereof | |
| KR102182697B1 (ko) | 영상 처리 장치 및 방법 | |
| CN112598612B (zh) | 一种基于照度分解的无闪烁暗光视频增强方法及装置 | |
| CN110445951B (zh) | 视频的滤波方法和装置、存储介质、电子装置 | |
| Mangiat et al. | Spatially adaptive filtering for registration artifact removal in HDR video | |
| CN111311524A (zh) | 一种基于msr的高动态范围视频生成方法 | |
| CN111953893B (zh) | 一种高动态范围图像生成方法、终端设备及存储介质 | |
| CN112819699A (zh) | 视频处理方法、装置及电子设备 | |
| US20210125318A1 (en) | Image processing method and apparatus | |
| CN116957986B (zh) | 一种低照度视频增强方法、装置、设备及存储介质 | |
| Froehlich et al. | Content aware quantization: Requantization of high dynamic range baseband signals based on visual masking by noise and texture | |
| US9870598B2 (en) | Low complexity adaptive filtering for mobile captures | |
| WO2018157835A1 (zh) | 基于运动注意力模型的360度全景视频编码方法 | |
| Gullu et al. | Blotch detection and removal for archive film restoration | |
| KR20150040559A (ko) | 관심영역 기반의 화질개선 장치와 그를 위한 컴퓨터로 읽을 수 있는 기록 매체 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |