CN104809700A - 一种基于亮通道的低照度视频实时增强方法 - Google Patents

Abstract

一种基于亮通道的低照度视频实时增强方法，该方法根据计算得到的亮通道值来决定每个像素点的增强系数，并根据图像的均值调节图像/视频的整体增强程度。计算低照度视频帧的均值meanD；设置时间阈值T；计算低照度视频帧的亮通道值J_bright(x)；计算照度因子γ(x)；计算增强后的视频帧B^C(x)；过蓝修正增强效果好。增强后视频的色彩真实，有效避免传统方法中的“过增强”现象，避开了窗口滤波运算过程，从根本上避免现有发明普遍存在的块状效应问题；计算速度快。有效解决了现有发明运算速度不足的问题，实时处理25帧/秒的高清视频，满足实时处理要求；技术方案实现简单。本发明的技术方案无需任何复杂的外围设备辅助，在个人计算机上即可实现，成本低。

Description

一种基于亮通道的低照度视频实时增强方法

技术领域

本发明属于数字图像/视频信号处理领域，涉及一种基于亮通道的低照度视频实时增强方法。

背景技术

在低照度条件下拍摄到的图像/视频存在色彩昏暗、颜色对比度不足等问题，导致采集到的图像/视频出现明显的降质现象，严重时将使得视频监控系统无法正常工作。因此，研究一种实时的低照度视频增强方法，提高低质视频的人眼主观感知效果就显得尤为重要。

低照度图像/视频增强方法的研究受到了人们的广泛关注。传统的低照度图像/视频增强方法主要采用灰度曲线映射、直方图均衡等方法对图像/视频进行处理。这类方法虽然能有效提高图像/视频的对比度，但也经常会使图像/视频出现“过增强”现象，进而导致颜色失真。因此，传统方法的增强效果往往并不理想。近些年来，通过专家学者们的不懈努力，一系列具有创新性的低照度图像/视频增强方法相继被提出。

申请号为CN201410266769.8的专利公开了一种基于自适应多尺度滤波的低照度图像/视频增强方法。该方法基于大气散射模型，通过多尺度滤波和直方图累加方式来估算大气散射模型中的大气光强和透射率参数，从而进行图像/视频增强处理。然而，多尺度滤波过程需要很高的计算复杂度，因此虽然该方法能获得较好的增强效果，但无法满足实时处理要求。

申请号为CN201110197749.6的专利公开了一种低照度视频图像增强方法及系统。该方法对输入图像/视频进行亮度分层，将图像划分成低对比度区域、德弗里斯区域、韦伯区域和饱和区域4个不同亮度等级的部分，并通过学习的方法确定前3个区域的Retinex参数，利用梯度域增强来处理饱和区域，来获得增强后的结果。该方法运行速度相对较快，在4个CPU情况下可以实时处理标清视频帧(720×576)，但仍然无法对高清视频(1280×720)进行实时处理。

综上所述，现有的技术虽然基本上能够实现低照度增强的效果，但无法满足实时处理的要求。随着电子采集设备的不断更新换代，监控系统采集的图像/视频也从原先的标清格式(720×576)逐步向高清格式(1280×720)发展，这将导致视频数据量的显著增加。如此庞大的数据量对增强方法的实时性提出了严峻挑战，而现有方法无法满足高清视频的实时处理要求。因此，研究一种可以实时处理高清视频的低照度增强方法就具有十分重要的意义。

发明内容

针对上述技术存在的问题，本发明提出了一种基于亮通道的低照度视频实时增强方法。该方法根据计算得到的亮通道值来决定每个像素点的增强系数，并根据图像的均值调节图像/视频的整体增强程度。由于该方法不涉及窗口滤波等运算过程，因此可以有效避免增强结果中出现块状效应。该方法实现简单，无需任何复杂仪器设备辅助，在PC上即可实现对帧率为25帧/秒高清视频(1280×720)的实时处理。

为实现上述目的，本发明采用以下技术方案：

1.计算低照度视频帧的均值meanD

低照度视频帧的均值可以反映视频帧的整体亮度。计算公式如下：

$\mathrm{meanD}=\frac{1}{3}(\mathrm{meanR}+\mathrm{meanG}+\mathrm{meanB})---\left(1\right)$

其中，meanD代表低照度视频帧的均值，meanR、meanG、meanB分别代表低照度视频帧的R、G、B三个颜色通道的均值。meanD用来反映整体亮度。

2.设置周期T

meanD反映视频帧的整体亮度。但这种反映并非十分精确，meanD只是整体亮度的一个估值。对于连续拍摄的视频来讲，视频的相邻帧之间存在较强的相关性。meanD的值在短时间内不会发生显著变化，因此没有必要每一帧都进行估计。本方法采用周期处理的方法，即输入视频帧的均值首先在第一帧时计算一次，之后每隔时间T再重新计算一次。这样避免逐帧计算均值的过程，从而降低计算复杂度。

T的取值通常介于30秒至1分钟之间。

3.计算低照度视频帧的亮通道值J_bright(x)

亮通道值定义为在RGB颜色空间中，RGB三个通道中的最大像素值。其计算公式如下：

$J_{\mathrm{bright}}\left(x\right)=\underset{C\∈\{R,G,B\}}{\max }\left[D^C\left(x\right)\right]---\left(2\right)$

其中，J_bright(x)代表图像中位置x处的亮通道值，D^C(x)代表输入的低照度视频帧在x处的像素值，C代表颜色通道，代表取RGB三个颜色通道中的最大像素值。在光照充足的情况下，除黑色物体外，亮通道值J_bright(x)往往较高，以此来表现出图像鲜艳的颜色。而亮通道值容易受光照强度影响，光照强度越小，则亮通道值越低；反之，光照强度越大，则亮通道值越高。亮通道值来表征某一位置x光照强度的大小，其用来反映局部亮度。

4.计算照度因子γ(x)

照度因子由亮通道值J_bright(x)和低照度视频帧的均值meanD共同确定，亮通道值反映了像素点的局部亮度，低照度视频帧的均值则反映了整个视频帧的全局亮度。照度因子的计算公式如下：

γ(x)＝min[255,J_bright(x)+kgmeanD]   (3)

式(3)中，γ(x)代表照度因子，k是一个衰减系数，k通常取0.8较为合适。min[·,·]代表取两个数中的较小数，即使得γ(x)的最大值不超过255。

5.计算增强后的视频帧B^C(x)

求得照度因子γ(x)后，增强后的视频帧由以下公式计算得出：

$B^C\left(x\right)=\frac{255}{\mathrm{\γ}\left(x\right)}\·D^C\left(x\right)---\left(4\right)$

式(4)中，B^C(x)代表增强后的视频帧在x处的像素值，D^C(x)代表输入的低照度视频帧在x处的像素值。每个像素的增强程度由γ(x)决定。γ(x)的值越小，则代表当前位置x处的亮度越低，对应的增强系数就越大；反之，增强系数就越小。

6.过蓝修正

低照度的图像/视频往往会出现颜色偏蓝的现象。为了使增强后的视频帧的颜色看起来更加自然，本方法为增强后视频帧的蓝色通道(B通道)乘上一个衰减系数，来对过蓝的颜色就行修正，具体公式如下：

B₂ ^B(x)＝β·B^B(x)   (5)

其中，B₂ ^B(x)代表修正后的蓝色通道像素值，B^B(x)代表修正之前的蓝色通道像素值，β代表B通道衰减系数，β通常取0.8较为合适。至此，就得到了最终的增强视频帧。

与现有技术相比，本发明具有以下明显的优势和有益的效果：

1.增强效果好。增强后视频的色彩真实，可以有效避免传统方法中的“过增强”现象，技术方案中避开了窗口滤波运算过程，可以从根本上避免现有发明普遍存在的块状效应问题；

2.计算速度快。有效解决了现有发明运算速度不足的问题，可以实时处理25帧/秒的高清视频(1280×720)，可以满足实时处理要求；

3.技术方案实现简单。本发明的技术方案无需任何复杂的外围设备辅助，在个人计算机上即可实现，成本低。

附图说明

图1为本发明所涉及的基于亮通道的低照度视频实时增强方法的流程图；

图2展示了采用本发明提出的技术方案进行增强后的效果，(a)为增强之前的视频帧，(b)为增强之后的视频帧；

图3是图2中的(a)和(b)的局部放大对比图，(a)为增强之前视频帧的局部，(b)为增强之后视频帧的局部。

具体实施方式

以下结合附图和具体实施方式对本发明做进一步说明。

本发明提出的基于亮通道的低照度视频实时增强方法的流程图如图1所示，具体包括以下步骤：

步骤1：处理低照度视频的第一帧。

步骤1.1：设定处理周期T，通常取为30秒或1分钟。

步骤1.2：计算低照度视频帧的均值：

$\mathrm{meanD}=\frac{1}{3}(\mathrm{meanR}+\mathrm{meanG}+\mathrm{meanB})$

其中，meanD代表低照度视频帧的均值，meanR、meanG、meanB分别代表低照度视频帧的R、G、B三个颜色通道的均值。

步骤1.3：计算低照度视频帧的亮通道值：

$J_{\mathrm{bright}}\left(x\right)=\underset{C\∈\{R,G,B\}}{\max }\left[D^C\left(x\right)\right]$

其中，J_bright(x)代表图像中位置x处的亮通道值，D^C(x)代表输入的低照度视频帧在x处的像素值，C代表颜色通道，代表取RGB三个颜色通道中的最大像素值。

步骤1.4：计算视频帧的照度因子：

γ(x)＝min[255,J_bright(x)+kgmeanD]

其中，γ(x)代表照度因子，k是一个衰减系数，k通常取0.8较为合适。min[·,·]代表取两个数中的较小数，即使得γ(x)的最大值不超过255。

步骤1.5：计算增强后的视频帧：

$B^C\left(x\right)=\frac{255}{\mathrm{\γ}\left(x\right)}\·D^C\left(x\right)$

其中，B^C(x)代表增强后的视频帧在x处的像素值，D^C(x)代表输入的低照度视频帧在x处的像素值。

步骤1.6：过蓝修正：

B₂ ^B(x)＝β·B^B(x)

其中，B₂ ^B(x)代表修正后的蓝色通道像素值，B^B(x)代表修正之前的蓝色通道像素值，β代表B通道衰减系数，β通常取0.8较为合适。利用此公式对蓝色通道(G通道)的值进行修正，从而缓解低照度图像偏蓝的现象，得到最终的增强视频帧。

步骤2：处理低照度视频的下一帧。

步骤2.1：检测处理是否达到了T，若已达到，则执行步骤1.2，否则不进行任何处理。

步骤2.2：执行步骤1.3至1.6，得到增强后的视频帧。

步骤3：重复执行步骤2，直至处理完所有的低照度视频帧。

图2展示了采用本发明提出的技术方案进行增强后的效果，(a)为增强之前的视频帧，(b)为增强之后的视频帧。由图2可知，采用本发明提出的技术方案进行增强后，视频帧的颜色对比度和保真度都得到了显著提高。

图3是图2中的(a)和(b)的局部放大对比图，(a)为增强之前视频帧的局部，(b)为增强之后视频帧的局部。由图3可知，采用本发明提出的技术方案进行增强后，视频帧中人物的样貌、衣服颜色都变得更加清晰可辨。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭示的技术范围内可以轻易想到的替换或变化都应涵盖在本发明的保护范围之内。

Claims (2)

1.一种基于亮通道的低照度视频实时增强方法，其特征在于：

本方法采用以下技术方案，

1)计算低照度视频帧的均值meanD

低照度视频帧的均值反映视频帧的整体亮度；计算公式如下：

$\mathrm{meanD}=\frac{1}{3}(\mathrm{meanR}+\mathrm{meanG}+\mathrm{meanB})---\left(1\right)$

其中，meanD代表低照度视频帧的均值，meanR、meanG、meanB分别代表低照度视频帧的R、G、B三个颜色通道的均值；meanD用来反映整体亮度；

2)设置周期T

meanD反映视频帧的整体亮度；但这种反映并非十分精确，meanD只是整体亮度的一个估值；对于连续拍摄的视频来讲，视频的相邻帧之间存在较强的相关性；meanD的值在短时间内不会发生显著变化，因此没有必要每一帧都进行估计；本方法采用周期处理的方法，即输入视频帧的均值首先在第一帧时计算一次，之后每隔时间T再重新计算一次；这样避免逐帧计算均值的过程，从而降低计算复杂度；

T的取值通常介于30秒至1分钟之间；

3)计算低照度视频帧的亮通道值J_bright(x)

亮通道值定义为在RGB颜色空间中，RGB三个通道中的最大像素值；其计算公式如下：

$J_{\mathrm{bright}}\left(x\right)=\underset{C\∈\{R,G,B\}}{\max }\left[D^C\left(x\right)\right]---\left(2\right)$

其中，J_bright(x)代表图像中位置x处的亮通道值，D^C(x)代表输入的低照度视频帧在x处的像素值，C代表颜色通道，代表取RGB三个颜色通道中的最大像素值；在光照充足的情况下，除黑色物体外，亮通道值J_bright(x)往往较高，以此来表现出图像鲜艳的颜色；而亮通道值容易受光照强度影响，光照强度越小，则亮通道值越低；反之，光照强度越大，则亮通道值越高；亮通道值来表征某一位置x光照强度的大小，其用来反映局部亮度；

4)计算照度因子γ(x)

照度因子由亮通道值J_bright(x)和低照度视频帧的均值meanD共同确定，亮通道值反映了像素点的局部亮度，低照度视频帧的均值则反映了整个视频帧的全局亮度；照度因子的计算公式如下：

γ(x)＝min[255,J_bright(x)+kgmeanD]   (3)

式(3)中，γ(x)代表照度因子，k是一个衰减系数，k通常取0.8较为合适；min[·,·]代表取两个数中的较小数，即使得γ(x)的最大值不超过255；

5)计算增强后的视频帧B^C(x)

求得照度因子γ(x)后，增强后的视频帧由以下公式计算得出：

$B^C\left(x\right)=\frac{255}{\mathrm{\γ}\left(x\right)}\·D^C\left(x\right)---\left(4\right)$

式(4)中，B^C(x)代表增强后的视频帧在x处的像素值，D^C(x)代表输入的低照度视频帧在x处的像素值；每个像素的增强程度由γ(x)决定；γ(x)的值越小，则代表当前位置x处的亮度越低，对应的增强系数就越大；反之，增强系数就越小；

6)过蓝修正

低照度的图像/视频往往会出现颜色偏蓝的现象；为了使增强后的视频帧的颜色看起来更加自然，本方法为增强后视频帧的蓝色通道(B通道)乘上一个衰减系数，来对过蓝的颜色就行修正，具体公式如下：

B₂ ^B(x)＝β·B^B(x)   (5)

其中，B₂ ^B(x)代表修正后的蓝色通道像素值，B^B(x)代表修正之前的蓝色通道像素值，β代表B通道衰减系数，β通常取0.8较为合适；至此，就得到了最终的增强视频帧。

2.根据权利要求1所述的一种基于亮通道的低照度视频实时增强方法，其特征在于：本方法的具体包括以下步骤：

步骤1：处理低照度视频的第一帧；

步骤1.1：设定处理周期T，通常取为30秒或1分钟；

步骤1.2：计算低照度视频帧的均值：

$\mathrm{meanD}=\frac{1}{3}(\mathrm{meanR}+\mathrm{meanG}+\mathrm{meanB})$

其中，meanD代表低照度视频帧的均值，meanR、meanG、meanB分别代表低照度视频帧的R、G、B三个颜色通道的均值；

步骤1.3：计算低照度视频帧的亮通道值：

$J_{\mathrm{bright}}\left(x\right)=\underset{C\∈\{R,G,B\}}{\max }\left[D^C\left(x\right)\right]$

其中，J_bright(x)代表图像中位置x处的亮通道值，D^C(x)代表输入的低照度视频帧在x处的像素值，C代表颜色通道，代表取RGB三个颜色通道中的最大像素值；

步骤1.4：计算视频帧的照度因子：

γ(x)＝min[255,J_bright(x)+kgmeanD]

其中，γ(x)代表照度因子，k是一个衰减系数，k通常取0.8较为合适；min[·,·]代表取两个数中的较小数，即使得γ(x)的最大值不超过255；

步骤1.5：计算增强后的视频帧：

$B^C\left(x\right)=\frac{255}{\mathrm{\γ}\left(x\right)}\·D^C\left(x\right)$

其中，B^C(x)代表增强后的视频帧在x处的像素值，D^C(x)代表输入的低照度视频帧在x处的像素值；

步骤1.6：过蓝修正：

B₂ ^B(x)＝β·B^B(x)

其中，B₂ ^B(x)代表修正后的蓝色通道像素值，B^B(x)代表修正之前的蓝色通道像素值，β代表B通道衰减系数，β通常取0.8较为合适；利用此公式对蓝色通道(G通道)的值进行修正，从而缓解低照度图像偏蓝的现象，得到最终的增强视频帧；

步骤2：处理低照度视频的下一帧；

步骤2.1：检测处理是否达到了T，若已达到，则执行步骤1.2，否则不进行任何处理；

步骤2.2：执行步骤1.3至1.6，得到增强后的视频帧；

步骤3：重复执行步骤2，直至处理完所有的低照度视频帧。