CN101340512A - 一种视频图像处理方法 - Google Patents

Abstract

本发明公开了一种视频图像处理方法，以改善低照度和/或高照度视频图像的视觉效果。该方法预先设置多组用于改善图像亮度的亮度调整参数，如果当前帧为图像第一帧，则选择一组所述亮度调整参数对所述当前帧进行亮度调整预处理，否则以前一帧所使用的亮度调整参数对所述当前帧进行亮度调整预处理；检测预处理后所述当前帧的平均亮度，判断所述平均亮度是否在预设的正常亮度范围内，如果是则所述当前帧的亮度调整完毕，读取图像下一帧进行上述预处理，否则重新选择一组亮度调整参数对所述当前帧进行亮度调整处理，所述当前帧的亮度调整完毕，读取图像下一帧进行上述预处理，直到所有图像帧处理完毕。本发明适用于对视频图像的视觉效果调整。

Description

一种视频图像处理方法

技术领域

本发明涉及图像信息处理，具体地说，是涉及一种视频图像处理方法。

背景技术

随着第三代移动通信(3G)的推广，手机的视频应用越来越广泛，所以手机视频的画面效果也越来越受到关注。在视频画面中，有时会出现整幅图像的亮度偏暗，或者部分图像的亮度过暗导致图像的细节不易被人眼看到，这里称之为低照度图像。在这种情况下，通常会使用图像增强方法来改善视频的视觉效果。传统的亮度调整方法有直方图均衡化，该方法存在效果不够稳定，有画面间不连续的抖动及色斑的问题。另一方面，视频画面中有时也会因为光照过强等原因而产生亮度太高无法很好看清图像效果的高照度图像，这种高照度图像同样由于影响视觉效果而需要进行图像增强处理。

综上所述，低照度和/或高照度图像的效果改善成为当前3G图像信息处理领域亟待解决的技术问题之一。

发明内容

本发明所要解决的技术问题是在于需要提供一种视频图像处理方法，以改善低照度和/或高照度视频图像的视觉效果。

为了解决上述技术问题，本发明提供了一种视频图像处理方法，包括：

预先设置多组用于改善图像亮度的亮度调整参数；

读取图像帧，如果所述当前帧为图像第一帧，则选择一组所述亮度调整参数对所述当前帧进行亮度调整预处理，否则以前一帧所使用的亮度调整参数对所述当前帧进行亮度调整预处理；检测预处理后所述当前帧的平均亮度，判断所述平均亮度是否在预设的正常亮度范围内，如果是则所述当前帧的亮度调整完毕，读取图像下一帧进行上述预处理，否则重新选择一组亮度调整参数对所述当前帧进行亮度调整处理，所述当前帧的亮度调整完毕，读取图像下一帧进行上述预处理，直到所有图像帧处理完毕。

如上所述的方法中，所述多组亮度调整参数可以是指一映射曲线簇，其中每条映射曲线为一组亮度调整参数，每条映射曲线可以对应不同的亮度调整级别，利用所述映射曲线簇中的映射曲线对所述当前帧进行所述亮度调整预处理和所述亮度调整处理。

进一步地，所述映射曲线簇中可以包含有将低照度图像调整到正常亮度范围内的映射曲线、不进行亮度调整的映射曲线以及将高照度图像调整到正常亮度范围内的映射曲线，每条映射曲线均由若干条线段首尾连接而成。

更进一步地，如果所述当前帧为图像第一帧，则可以选择不进行亮度调整的映射曲线对所述当前帧进行亮度调整预处理。

如上所述的方法中，检测所述预处理后当前帧的平均亮度时，可以将所述当前帧局部的平均亮度作为所述预处理后当前帧的亮度。

进一步地，检测所述预处理后当前帧的平均亮度时，可以将所述当前帧或者所述当前帧的局部划分为若干个区域，计算每个区域的平均亮度，按照部分区域重点加权的方式对各区域的平均亮度进行加权平均，将计算结果作为所述预处理后当前帧的平均亮度。

如上所述的方法中，所述当前帧的亮度调整完毕之后读取图像下一帧进行预处理前，可以进一步对所述当前帧进行色彩饱和度调整。

进一步地，对所述当前帧进行色彩饱和度调整时，可以将所述当前帧的色彩分量到色度中心点的向量长度按照所述当前帧亮度的调整幅度进行比例调整。

更进一步地，对所述当前帧进行色彩饱和度的调整，可以按照下式进行：

Vout＝128+(Vin-128)*(Lout)*min(Lout，100.0)/(Lin*110)

Uout＝128+(Uin-128)*(Lout)*min(Lout，100.0)/(Lin*110)

其中：

所述Lin为所述亮度调整前的亮度值，所述Lout为所述亮度调整后的亮度值；所述Vin及Uin分别为所述当前帧中象素点色彩饱和度调整前的色度值的V分量及U分量；所述Vout及Uout分别为所述当前帧中象素点色彩饱和度调整后色度值的V分量及U分量；所述min(Lout，100.0)为Lout和100.0两者的取小运算。

如上所述的方法中，重新选择一组亮度调整参数对所述当前帧进行亮度调整处理时，可以根据所述当前帧平均亮度与正常亮度范围的差距选择亮度调整参数。

与现有技术相比，本发明能够有效地分辨出一幅图像中亮度偏暗和/或偏强并需要增强的部分，将低照度和/或高照度场景下图像的暗部和/或亮部细节进行增强处理，以调整至适合人眼视觉效果的对比度范围内。本发明方法中的增强处理还具有较强的稳定性，能够有效防止图像调整过于频繁而引起的视觉效果影响。

附图说明

图1是本发明提到的一种分段线性的映射曲线簇。

图2是本发明方法实施例的步骤流程图。

具体实施方式

以下将结合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达成技术效果的实现过程能充分理解并据以实施。

本发明对低照度图像和/或高照度图像进行视觉效果改善，而对正常照度的图像不进行处理，因此首先需要进行图像亮度的检测。图像亮度检测的目的是为了区别开不需要进行图像增强处理的正常光照的图像和需要进行图像增强的低照度和/或高照度图像，以使图像增强的方法对于正常光照的图像不会产生影响。

通常的亮度检测方法有对原图像作亮度均值计算等方法，本发明采用的检测方式为，对图像按照区域作加权的均值计算方式，视频图像当前帧的图像增强处理，根据图像前一帧的亮度调整参数进行。具体地，图像当前帧进行图像增强处理时，首先即根据图像前一帧的亮度调整参数进行亮度调整预处理，然后对预处理后的图像帧进行检测，以判断预处理后的效果是否符合预定需求，如果满足则进行下一帧的预处理，否则调整亮度调整参数进行亮度调整处理。这种以前一帧的亮度调整参数为基础进行当前帧的处理方式，不会频繁地调整图像增强所使用的亮度调整参数，使得画面的视觉效果具有较强的平稳性，避免了出现图像画面视觉效果不稳定的情况。

根据图像前一帧的亮度调整参数进行当前帧的预处理后，检测预处理后的图像亮度，可以采用中央重点的加权方式，只检测图像中央部分画面的像素并为当前帧的中央部分设置较大的权值，忽略图像画面中边缘对于检测效果影响不大的部分画面。将图像中待检测部分划分成几个区域，比如以矩阵的形式进行划分，先算出每个矩阵中图像的平均亮度，再将每个矩阵的平均亮度乘以相应的加权系数，然后再进行平均，以此作为整个预处理图像的平均亮度。当然，将待检测部分不划分区域并将待检测部分的平均亮度作为整个当前帧的平均亮度，也是一种可供选择的实施方式。

得到预处理图像的平均亮度之后，根据平均亮度值来判断图像当前帧是否需要进行图像增强处理。当当前帧的平均亮度低于预设的低照度亮度门限值时，认为亮度过低，需要改善亮度；当当前帧的亮度高于预设的正常照度亮度门限值时，认为亮度过高，也需要改善亮度。对于图像当前帧的平均亮度在低照度亮度门限值与正常照度亮度门限值之间时，可以不对该当前帧进行增强处理。

在对确定的需要进行图像增强处理的视频图像进行增强处理之前，可以预先设置一改善图像亮度的映射曲线簇，该映射曲线簇中的每条映射曲线对应不同的调整级别。根据该映射曲线簇，可以根据需要将输入图像的亮度映射到期望的范围内，比如根据映射曲线簇中的某条映射曲线，增强低照度图像的亮度至正常亮度范围内，又比如根据映射曲线簇中的另一条映射曲线，降低高照度图像的亮度至正常亮度范围内。

图1示出了一种分段线性的映射曲线簇，用于将低照度图像调整到正常照度，该映射曲线簇含有12条曲线，其中每条曲线采用6条线段首尾连接组成。图1所示的映射曲线簇，横坐标为输入图像的亮度，纵坐标为输出图像的亮度，每条曲线对应一个亮度的映射级别。这12条曲线，从上到下依次称之为S17、S16、...、S11、S0、S21、S22、...、S24，其中从S17到S0分别对应的是从非常暗到正常照度的情况，从S24到S0代表从比较亮到正常照度的情况。其中映射曲线S0是一条直线，对应的是正常照度即不需要进行亮度调整的情况，以此向上则是逐渐变暗，需要提高图像亮度，以此类推，增加亮度时最上面的映射曲线S17的映射能力最强，降低亮度时最下方的映射曲线S24的映射能力最强。实际应用中可以自行调整曲线的个数以及每条映射曲线的映射能力。除了使用图1所示的映射曲线簇作为亮度调整参数外，还可以选择其他能够实现亮度调整的各种参数来实现。

对于输入图像当前帧的某一点P，假设其调整前的亮度值为Lin，且在映射曲线簇中确定了对应于该当前帧的映射曲线Si，则根据该映射曲线Si以及输入亮度值Lin，即可得出当前帧的输出亮度值Lout。对照图1，输入亮度值Lin为映射曲线Si的横坐标值，输出亮度值Lout为映射曲线Si的纵坐标值。

一般地，图像的亮度改变以后，还需要对图像的色度进行相应的增强处理，否则由于单独的亮度改变会造成图像的画面发白而影响到图像的视觉效果。根据图像亮度的调整幅度，进行图像色彩饱和度的调整，即将图像色彩分量到图像色度中心点的向量长度按照图像亮度的调整幅度比例调整，而角度视具体情况可以做适当修改。一种典型的方式是，将图像色彩饱和度的调整与图像亮度的调整同幅度。

继续以上述图像当前帧的点P为例，假设该点的色度调整前的输入色度值V分量为Vin、U分量为Uin，则可以根据以下的式(1)和式(2)进行色度调整：

Vout＝128+(Vin-128)*(Lout)*min(Lout，100.0)/(Lin*110)    式(1)

Uout＝128+(Uin-128)*(Lout)*min(Lout，100.0)/(Lin*110)    式(2)

其中，Vout为点P色度调整后输出色度值的V分量，Uout色度为点P色度调整后输出色度值的U分量；min(Lout，100.0)为Lout和100.0两者的取小运算。另外，其中128表示的是色度中心点，即灰白色，100和110是根据具体情况设置的值。

图2示出了本发明方法的一个实施例，该实施例主要包括如下步骤：

步骤210，读取图像当前帧，并根据图像前一帧的亮度调整参数，对所读取的当前帧进行亮度调整预处理，即根据前一帧图像亮度调整时所使用的映射曲线S，对当前帧进行亮度调整预处理；

对于最开始进行亮度调整时的第一帧，可以任意选择一条映射曲线进行预处理，典型地可以选择如图1所示的映射曲线S0来进行视频图像第一帧的预处理；

步骤220，对预处理后的当前帧图像采用中央重点的加权方式，确定当前帧中央6/9的画面，也即将图像当前帧中央6/9的画面确定为图像当前帧的待检测部分，忽略图像当前帧中边缘部分；

步骤230，将图像当前帧的待检测部分划分为面积大小相等的18个矩阵，然后计算出每个矩阵的平均亮度Li；

步骤240，将每个矩阵的平均亮度Li进行加权，也即将每个矩阵的平均亮度Li乘上个矩阵相应的加权系数Ci，得出图像当前帧中央6/9画面的平均亮度L，以此平均亮度L来作为整个图像当前帧的平均亮度；

步骤250，判断图像当前帧的预处理后的平均亮度是否已经在预先设置的正常亮度范围内，如果还不在该正常亮度范围内则转步骤260，否则转步骤280执行；

步骤260，根据平均亮度L与正常照度亮度范围的关系，为经过预处理后的当前帧继续选择新的映射曲线S’；

如果该平均亮度L小于正常亮度范围下限值Lmin且偏离较远，则说明图像当前帧为低照度图像且亮度很低，需要选择亮度增将能力较强的映射曲线，以图1所示的映射曲线簇为例，应该选择较靠近上方的映射曲线；

如果该平均亮度L大于正常亮度范围上限值Lmax且偏离较远，则说明图像当前帧为高照度图像且亮度很高，需要选择亮度降低能力较强的映射曲线；

为了提高调整效率，可以进一步地假设T1为表示图像非常暗的门限值，T2为图像较暗的门限值T3为图像较亮的门限值，T4为图像非常亮的门限值，则可以根据平均亮度L与该些门限值的关系，以及映射曲线S来确定当前帧应该选用的映射曲线S’：

当L≤T1时，则认为画面非常暗，在映射曲线S基础上将亮度映射曲线向下调整两级，得到映射曲线S’；

当T1≤L＜T2时，认为图像比较暗，在映射曲线S基础上将亮度映射曲线向下调一级，得到映射曲线S’；

当T3≤L＜T4时，认为图像比较亮，在映射曲线S基础上将亮度映射曲线向上调整一级，得到映射曲线S’；

当T4≤L时，认为画面非常亮，在映射曲线S基础上将亮度曲线向上调整两级，得到映射曲线S’；

步骤270，根据所选择的映射曲线S’，继续调整图像当前帧的亮度，然后执行步骤280；

步骤280，根据输入图像当前帧调整后的亮度，对图像当前帧的色度进行增强处理，以改善由于单独进行亮度调整后引起的视觉效果下降问题；

步骤290，读取图像下一帧，并将所述下一帧当作新的当前帧，返回步骤220继续执行，直到整个视频图像都处理完毕。

本发明将低照度和/或高照度场景下图像的暗部和/或亮部细节进行增强处理，以调整至适合人眼视觉效果的对比度范围内，同时对于图像的正常亮度部分尽可能地保持视觉效果上不变。相比传统的图像增强方法，本发明方法能够有效地分辨出一幅图像中亮度偏暗和/或偏强并需要增强的部分，以及一个视频序列中需要增强的图像和正常照度下不需要增强的图像，而且本发明方法的图像增强具有较强的稳定性，能够有效防止图像调整过于频繁而引起的视觉效果影响。

虽然本发明所揭露的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (10)

1、一种视频图像处理方法，其特征在于，包括：

预先设置多组用于改善图像亮度的亮度调整参数；

读取图像帧，如果所述当前帧为图像第一帧，则选择一组所述亮度调整参数对所述当前帧进行亮度调整预处理，否则以前一帧所使用的亮度调整参数对所述当前帧进行亮度调整预处理；检测预处理后所述当前帧的平均亮度，判断所述平均亮度是否在预设的正常亮度范围内，如果是则所述当前帧的亮度调整完毕，读取图像下一帧进行上述预处理，否则重新选择一组亮度调整参数对所述当前帧进行亮度调整处理，所述当前帧的亮度调整完毕，读取图像下一帧进行上述预处理，直到所有图像帧处理完毕。

2、如权利要求1所述的方法，其特征在于：

所述多组亮度调整参数是指一映射曲线簇，其中每条映射曲线为一组亮度调整参数，每条映射曲线对应不同的亮度调整级别，利用所述映射曲线簇中的映射曲线对所述当前帧进行所述亮度调整预处理和所述亮度调整处理。

3、如权利要求2所述的方法，其特征在于：

所述映射曲线簇中包含有将低照度图像调整到正常亮度范围内的映射曲线、不进行亮度调整的映射曲线以及将高照度图像调整到正常亮度范围内的映射曲线，每条映射曲线均由若干条线段首尾连接而成。

4、如权利要求3所述的方法，其特征在于：

如果所述当前帧为图像第一帧，则选择不进行亮度调整的映射曲线对所述当前帧进行亮度调整预处理。

5、如权利要求1所述的方法，其特征在于：

检测所述预处理后当前帧的平均亮度时，将所述当前帧局部的平均亮度作为所述预处理后当前帧的亮度。

6、如权利要求1或5所述的方法，其特征在于：

检测所述预处理后当前帧的平均亮度时，将所述当前帧或者所述当前帧的局部划分为若干个区域，计算每个区域的平均亮度，按照部分区域重点加权的方式对各区域的平均亮度进行加权平均，将计算结果作为所述预处理后当前帧的平均亮度。

7、如权利要求1所述的方法，其特征在于：

所述当前帧的亮度调整完毕之后读取图像下一帧进行预处理前，进一步对所述当前帧进行色彩饱和度调整。

8、如权利要求7所述的方法，其特征在于：

对所述当前帧进行色彩饱和度调整时，将所述当前帧的色彩分量到色度中心点的向量长度按照所述当前帧亮度的调整幅度进行比例调整。

9、如权利要求8所述的方法，其特征在于：

对所述当前帧进行色彩饱和度的调整，按照下式进行：

Vout＝128+(Vin-128)*(Lout)*min(Lout，100.0)/(Lin*110)

Uout＝128+(Uin-128)*(Lout)*min(Lout，100.0)/(Lin*110)

其中：

所述Lin为所述亮度调整前的亮度值，所述Lout为所述亮度调整后的亮度值；所述Vin及Uin分别为所述当前帧中象素点色彩饱和度调整前的色度值的V分量及U分量；所述Vout及Uout分别为所述当前帧中象素点色彩饱和度调整后色度值的V分量及U分量；所述min(Lout，100.0)为Lout和100.0两者的取小运算。

10、如权利要求1所述的方法，其特征在于：

重新选择一组亮度调整参数对所述当前帧进行亮度调整处理时，根据所述当前帧平均亮度与正常亮度范围的差距选择亮度调整参数。

Images