CN103020924B - 基于相似场景的低照度监控图像增强方法 - Google Patents

Abstract

本发明公开了一种基于相似场景的低照度监控图像增强方法，该方法包括步骤：获取与低照度监控图像场景相似的高照度图像构建相似场景图像库，且图像库中的图像与低照度监控图像大小相同；对低照度监控图像进行预处理以提高图像质量；在相似场景图像库中搜索与待增强的低照度监控图像最相似的图像作为参考图像，所述的与待增强的低照度监控图像最相似的图像为：相似场景图像库中与待增强的低照度监控图像的像素差值和最小的图像；采用直方图匹配的方法，让待增强的低照度监控图像的直方图与参考图像的直方图匹配以增强低照度监控图像。采用本发明方法对低照度监控图像进行增强，可提高监控图像的清晰度。

Description

基于相似场景的低照度监控图像增强方法

技术领域

本发明提供了一种低照度监控图像增强方法，属于图像增强技术领域。具体而言，基于本发明方法可以提高低照度监控图像的清晰度和对比度，从而更易于辨识监控图像中的信息。

背景技术

现代社会是一个人口密集，行为高度复杂的社会，视频监控作为人类视觉的延伸，在人类社会的方方面面起到了十分重要的作用。

在视频监控的实际应用中，视频监控场景的光照条件很难一直保持良好，可能需要在雨天、雾天、夜间等情况下对感兴趣场景完成监控任务。在这种低照度环境下，视频监控图像的清晰度下降，难以分辨目标或从中获得所需要的信息。因此，如何在低照度环境下提高监控图像的清晰度成为亟待解决的问题。

目前提高低照度监控图像清晰度的常用方法有两类：一类方法是先将低照度图像从RGB色彩模式转化到HSI色彩模式，然后在保持H（色调）不变的情况下，增强I（亮度），例如对亮度分量做直方图均衡。该类方法的模式转化过程的计算复杂且耗时，并且处理后的图像往往存在色彩失真。另一类方法是分别对RGB分量通过某种算法进行相同的变换，该方法能有效避免图像的色彩失真，但是存在算法复杂，计算量大，图像增强效果的清晰度不好的问题。

发明内容

针对现有技术存在的问题，本发明以相似场景的图像作为参考图像，提出了一种基于相似场景的对低照度监控图像增强方法，该方法避免了传统低照度图像增强方法仅对图像本身进行处理而导致的图像失真问题，并且处理过程具有普适性，降低了计算复杂度，还能有效提高低照度监控图像的清晰度。

本发明方法的理论基础和思路如下：

对于彩色图像，以红、绿、蓝为三基色的RGB色彩模式是最常用的一种颜色表示模式。在RGB色彩模式中，像素的RGB分量各有一个0～255范围内的强度值，整幅图像中像素强度值的分布情况可用R、G、B三个分量的直方图来表示。通常情况下，通过直方图匹配的方法，可以使低照度图像的直方图近似于良好光照下相似场景图像的直方图，从而使两幅图像具有类似的色调和亮度，达到低照度图像增强的效果。

基于上述想法，本发明设计了一种基于相似场景的低照度监控图像增强方法，具体来说，即以良好光照下的相似场景的图像作为参考图像，以参考图像RGB三个分量的直方图为标准，让低照度图像RGB分量的三个直方图分别匹配参考图像的直方图。进一步来说，可以获取良好光照下，与低照度监控图像场景相似的多幅图像，并建立图像库，从中选择最合适的图像作为参考图像，在一次图像增强结束后，以得到的结果图像为标准再次在图像库中搜索参考图像，再次增强，通过迭代的方法不断提高低照度监控图像的清晰度，最终得到增强后的低照度监控图像。

本发明的技术方案如下：

一种基于相似场景的低照度监控图像增强方法，用于提高视频监控中低照度图像的清晰度，包括步骤：

步骤1、获取与低照度监控图像场景相似的高照度图像构建相似场景图像库，且图像库中的图像与低照度监控图像大小相同；

步骤2、对低照度监控图像进行预处理以提高图像质量；

步骤3、在相似场景图像库中搜索与待增强的低照度监控图像最相似的图像作为参考图像，所述的与待增强的低照度监控图像最相似的图像为：相似场景图像库中与待增强的低照度监控图像的像素差值和SAD最小的图像；

步骤4、采用直方图匹配的方法，让待增强的低照度监控图像RGB分量的直方图分别与参考图像RGB分量的直方图匹配以增强低照度监控图像。

步骤1中获取与低照度监控图像场景相似的高照度图像，应在良好光照条件下，一次拍摄至少10幅与低照度监控图像场景相似的图像，以保证所拍摄的各图像光照条件基本相同。

步骤2中对低照度监控图像进行的预处理包括消除噪声、增强图像对比度。

步骤3中是以像素差值和SAD作为图像的相似度量，所述的像素差值和SAD具体为：

$\mathrm{SAD}=\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}\left(\right|r-r_0|+|g-g_0|+|b-b_0\left|\right)$

式中：

SAD为两幅图像的像素差值和；

r、g、b分别是低照度监控图像像素的R、G、B值；

r₀、g₀、b₀分别是相似场景图像库中图像像素的R、G、B值；

i、j分别表示像素的横、纵坐标；

m是图像每一行中的像素数；

n是图像每一列中的像素数。

步骤3的一种具体实施如下：

3.1获取待增强的低照度监控图像各像素的R、G、B值；

3.2针对相似场景图像库中各图像，分别获取图像各像素的R、G、B值；

3.3分别计算相似场景图像库中各图像与待增强的低照度监控图像的像素差值和SAD；

3.4选取与待增强的低照度监控图像的像素差值和SAD最小的图像作为参考图像，若与待增强的低照度监控图像的像素差值和最小的图像不止一副，则任选其中一副作为参考图像。

步骤4中是以参考图像RGB分量的直方图为标准，让低照度监控图像RGB分量的直方图分别对应匹配参考图像RGB分量的直方图。

本发明优选采用迭代增强的技术方案以获取最佳增强效果的图像，具体为：重复执行步骤3和步骤4，直至满足下述任一条件时停止迭代：

①本次搜索到的参考图像与上次搜索到的参考图像相同；

②本次增强后的低照度监控图像与上次增强后的低照度监控图像相似，所述的图像相似指两幅图像的像素差值和SAD小于预设阈值；

③迭代次数，即增强低照度监控图像的次数大于设定值。

上述步骤3和步骤4的一种具体优选方案进一步包括以下子步骤：

步骤（1）在相似场景图像库中搜索与待增强的低照度监控图像最相似的图像作为参考图像，所述的与待增强的低照度监控图像最相似的图像为与待增强的低照度监控图像的像素差值和SAD最小的图像，若为首次搜索，则执行步骤（3）；否则，执行步骤（2）；

步骤（2）判断本次搜索的参考图像是否同于上次搜索的参考图像，若相同，则结束，上次增强后的低照度监控图像为最终增强图像；否则，以上次增强后的低照度监控图像为待增强的低照度监控图像，以本次搜索的参考图像为参考图像，执行步骤（3）；

步骤（3）采用直方图匹配的方法，让待增强的低照度监控图像RGB分量的直方图与参考图像RGB分量的直方图匹配，得到增强后的低照度监控图像，若为首次增强，则以本次增强后的低照度监控图像为待增强的低照度监控图像，执行步骤（1）；否则，执行步骤（4）；

步骤（4）获取本次增强后的低照度监控图像与上次增强后的低照度监控图像的像素差值和SAD，若像素差值和SAD小于设定阈值或增强次数大于预设次数，则结束，本次增强后的低照度监控图像为最终增强图像；否则，以本次增强后的低照度监控图像为待增强的低照度监控图像，执行步骤（1）。

与现有技术相比，本发明具有以下优点和积极效果：

1、当监控图像较暗、不易分辨目标或从中获取需要的信息时，可采用本发明方法对低照度监控图像进行增强，从而提高监控图像的清晰度。

2、本发明中所涉及的良好光照条件下的相似场景图像易于获取，可以不断扩充相似场景图像库，以提升低照度监控图像增强的效果。

3、本发明方法具有普适性，对于一般的低照度监控图像，例如雨天、雾天、夜间条件下的监控图像均可取得较好的效果，可以有效提高低照度监控图像的清晰度。

4、本发明方法计算复杂度低，以相似场景的图像作为参考图像进行图像增强，避免了传统增强方法仅对图像本身进行处理而导致的图像失真问题，更加有效的提高了低照度监控图像的清晰度。

附图说明

图1本发明的一种具体实施方案的流程图；

图2为具体实施方式中的原始低照度监控图像；

图3为预处理后的低照度监控图像；

图4为与图2中低照度监控图像场景相似的三幅图像；

图5为采用采用本发明方法所获取的最终增强图像。

具体实施方式

以下将结合附图本发明的基于相似场景的低照度监控图像增强方法做进一步的详细描述。

参见图1，本发明包含以下具体步骤：

S1构建相似场景图像库

在光照良好的条件下，一次拍摄多幅与低光照监控图像场景相似的图像构建相似场景图像库，以保证所拍摄的各图像光照条件相同或相似。所构建的相似场景图像库中的图像与低光照监控图像大小相同。

S2低照度监控图像预处理

对低照度监控图像进行预处理以提高图像质量，以此来提高在相似场景图像库中搜索相似场景图像的准确性，预处理包括消除噪声、增强图像对比度。

图2为采用监控装置获取的原始低照度监控图像，图3为对图2中原始低照度监控图像进行预处理后的得到的低照度监控图像，图4（a）~4（c）为光照条件良好的、与图2中低照度监控图像场景相似的图像，即相似场景图像库中的图像。

S3在相似场景图像库中搜索与待增强的低照度监控图像最相似的图像作为参考图像该步骤的具体实施如下：

S31读取相似场景图像库中的一副图像，执行步骤S32；

S32获取低照度监控图像各像素的RGB值，再获取读取的图像库中的图像各像素的RGB值，利用公式 $\mathrm{SAD}=\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}\left(\right|r-r_0|+|g-g_0|+|b-b_0\left|\right)$ 计算低照度监控图像与图像库中图像的像素差值和SAD，并保存计算结果后，执行步骤S33，公式中，r、g、b分别是低照度监控图像像素的R、G、B值；r₀、g₀、b₀分别是图像库中图像像素的R、G、B值；i、j分别表示像素的横、纵坐标；m是图像每一行中的像素数；n是图像每一列中的像素数。

S33判断相似场景图像库中的图像是否都被读取过并计算像素差值和SAD，如尚未读取完毕，则从图像库中尚未读取的图像中读取图像，并重复步骤S32；若图像库中的图像已读取完毕，则执行步骤S34。

S34~S35根据步骤S32中保存的像素差值和计算结果，搜索图像库中与低照度监控图像像素差值和最小的图像，该图像即为参考图像，记录该参考图像的序号。

S4以参考图像RGB三个分量的直方图为标准，让待增强的低照度监控图像RGB三个分量的直方图分别匹配参考图像RGB三个分量的的直方图，以增强低照度监控图像，然后执行步骤S6。

S51~S52通过判断本次搜索到的参考图像与上一次搜索到的参考图像是否相同来判断低照度监控图像增强是否达到最佳效果。

S51判断步骤S3的搜索参考图像是否是首次搜索，如果是，则以本次搜索到的参考图像为标准，原始低照度监控图像为待增强的低照度监控图像，执行步骤S4；否则，执行步骤S52；

S52根据参考图像在图像库中的序号，判断本次搜索到的参考图像与上次搜索到的参考图像是否相同。如相同，则以本次搜索到的参考图像为标准进行增强效果将不会明显，可视为已达到最佳效果，则结束，上次增强后的图像为最终增强图像；否则，以本次搜索到的参考图像为标准，上次增强后的图像为待增强的低照度监控图像，执行步骤S4。

S6通过判断增强次数是否大于设定值来判断低照度监控图像的增强是否达到最佳效果，若增强次数大于设定值，为了避免程序执行时间过长造成资源占有，则认为低照度监控图像已经获得了较好的增强效果，则结束迭代增强，本次增强后的图像为最终增强图像；否则，执行步骤S71。

S71～S73通过判断本次增强后的图像与上次增强后的图像是否相似判断低照度监控图像是否达到最佳效果。

步骤S71判断是否是第一次图像增强，若是，执行步骤S8；否则，执行步骤S72；

步骤S72利用公式 $\mathrm{SAD}=\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}\left(\right|r-r_0|+|g-g_0|+|b-b_0\left|\right)$ 计算本次增强后的图像与上次增强后图像的像素差值和SAD，其中，r、g、b分别是本次增强后图像像素的R、G、B值；r₀、g₀、b₀分别是上次增强后图像像素的R、G、B值；i、j分别表示像素的横、纵坐标；m是图像每一行中的像素数；n是图像每一列中的像素数。

步骤S73判断步骤S72所得像素差值和是否小于阈值，若小于阈值，说明本次增强后的图像与上次增强后的图像相似，可视为图像已达到最佳效果，本次增强后的图像即为最终增强图像；否则，执行步骤S8。

S8存储所得低照度监控图像的增强结果，以所得增强结果为待增强的低照度监控图像，执行步骤S31。

图5为采用本发明方法对图2所示低照度监控图像进行增强后的图像，增强效果明显。

本发明基于相似场景的低照度监控图像增强方法的处理过程具有普适性，计算复杂度低，以相似场景的图像作为参考图像进行图像增强，避免了传统增强方法仅对图像本身进行处理而导致的图像失真问题，有效的提高了低照度监控图像的清晰度。

Claims (4)

1.基于相似场景的低照度监控图像增强方法，用于提高视频监控中低照度图像的清晰度，其特征在于，包括以下步骤：

步骤1、在良好光照条件下、一次拍摄至少10幅与低照度监控图像场景相似的高照度图像构建相似场景图像库，且图像库中的图像与低照度监控图像大小相同；

步骤2、对低照度监控图像进行预处理以提高图像质量；

步骤3、在相似场景图像库中搜索与待增强的低照度监控图像最相似的图像作为参考图像，所述的与待增强的低照度监控图像最相似的图像为与待增强的低照度监控图像的像素差值和SAD最小的图像；所述的像素差值和其中，r、g、b分别是待增强的低照度监控图像像素的R、G、B值；r₀、g₀、b₀分别是相似场景图像库中图像像素的R、G、B值；i、j分别表示像素的横、纵坐标；m是图像每一行中的像素数；n是图像每一列中的像素数；

步骤4、采用直方图匹配的方法，让待增强的低照度监控图像RGB分量的直方图分别与参考图像RGB分量的直方图匹配以增强低照度监控图像；

重复执行步骤3和步骤4直至满足下述任一条件时停止：

①本次搜索到的参考图像与上次搜索到的参考图像相同；

②本次增强后的低照度监控图像与上次增强后的低照度监控图像相似，所述的图像相似指两幅图像的像素差值和小于指定阈值；

③低照度监控图像的增强次数大于设定值；

步骤3和步骤4的重复执行具体如下：

步骤(1)在相似场景图像库中搜索与待增强的低照度监控图像最相似的图像作为参考图像，所述的与待增强的低照度监控图像最相似的图像为与待增强的低照度监控图像的像素差值和SAD最小的图像，若为首次搜索，则执行步骤(3)；否则，执行步骤(2)；

步骤(2)判断本次搜索的参考图像是否同于上次搜索的参考图像，若相同，则结束，上次增强后的低照度监控图像为最终增强图像；否则，以上次增强后的低照度监控图像为待增强的低照度监控图像，以本次搜索的参考图像为参考图像，执行步骤(3)；

步骤(3)采用直方图匹配的方法，让待增强的低照度监控图像RGB分量的直方图与参考图像RGB分量的直方图匹配，得到增强后的低照度监控图像，若为首次增强，则以本次增强后的低照度监控图像为待增强的低照度监控图像，执行步骤(1)；否则，执行步骤(4)；

步骤(4)获取本次增强后的低照度监控图像与上次增强后的低照度监控图像的像素差值和SAD，若像素差值和SAD小于指定阈值或增强次数大于设定值，则结束，本次增强后的低照度监控图像为最终增强图像；否则，以本次增强后的低照度监控图像为待增强的低照度监控图像，执行步骤(1)。

2.根据权利要求1所述的基于相似场景的低照度监控图像增强方法，其特征在于：

步骤2中对低照度监控图像进行的预处理包括消除噪声、增强图像对比度。

3.根据权利要求1所述的基于相似场景的低照度监控图像增强方法，其特征在于：

步骤3进一步包括以下子步骤：

3.1获取待增强的低照度监控图像各像素的R、G、B值；

3.2针对相似场景图像库中各图像，分别获取其各像素的R、G、B值；

3.3分别计算相似场景图像库中各图像与待增强的低照度监控图像的像素差值和SAD；

3.4选取与待增强的低照度监控图像的像素差值和最小的图像作为参考图像，若与待增强的低照度监控图像的像素差值和最小的图像不止一副，则任选其中一副作为参考图像。

4.根据权利要求1所述的基于相似场景的低照度监控图像增强方法，其特征在于：

步骤4中是以参考图像RGB分量的直方图为标准，让低照度监控图像RGB分量的直方图分别匹配参考图像RGB分量的直方图。