CN100446036C - 一种基于累计直方图的非线性亮度校正方法 - Google Patents

Abstract

本发明公开了一种基于累计直方图的非线性亮度校正方法。它包括如下步骤：1)统计左右视频序列当前时刻图像的直方图曲线；2)根据直方图曲线，得到左右视频序列当前时刻图像的累计直方图曲线；3)根据左右视频序列当前时刻图像的累计直方图曲线得到非线性校正函数；4)根据上述步骤3)所得到的非线性校正函数，对图像进行校正，使得左图和右图的相似性增强。本发明采用累计直方图曲线规定算法得到亮度校正模型。累计直方图曲线处理是图像处理中简单实用的方法。累计直方图曲线提供了图像亮度的分布情况，给出了图像的一种整体描述。可以通过改变累计直方图曲线的形状来校正图像间亮度差异。

Description

一种基于累计直方图的非线性亮度校正方法

技术领域

本发明涉及数字图像处理技术，特别地，涉及一种基于累计直方图的非线性亮度校正方法。

背景技术

随着数字视频技术的快速发展和广泛应用，人们对视频质量和形式的要求越来越高，传统的二维平面视频已满足不了人们对场景的真实和自然再现的需求，因此能够提供立体感和交互操作功能的立体/多视点视频技术越来越受到业界的重视。立体/多视点视频与单目视频相比，增加了景物深度信息表征，在立体电视、自由视点电视、具有临场感的可视会议、虚拟现实等领域具有广泛应用前景[1][2]。多视点视频压缩和虚拟视点视频图像合成是多视点视频系统中的关键技术，已成为近年来的研究热点。

多视点视频由一组处于不同位置的相机同步摄取而得，由于相机性能参数的差异，不同视频中的图像之间会存在亮度和色度(亮色度)偏差，这种偏差将影响后续的压缩和显示效果。为提高多视点视频各种后续处理过程的性能，需要采用合适的算法来校正不同视点之间的亮色度差异。

图像亮度校正是一种重要的图像处理技术，在人脸识别、医学、军事图像增强等多个领域已有了广泛的应用。常用的图像亮度校正方法有两种：亮度变换和亮度直方图处理。亮度变换的原理是使用一定的光照成像模型，建立原始图像和目标图像之间的逐点变换关系，根据模型简化程度的不同，可以有线性变换和非线性变换。Cheung，Siu[3]等将图像亮度分解为场景反射图像和光照强度图像的乘积，认为不同时间下场景反射图像不变，从而在压缩之前使用一个乘性因子补偿序列里图像之间的亮度差异，提高了光照强度随时间变化情况下的视频压缩效率。还有比较常用的变换关系有gamma变换[4]和乘加结合的变换[5]等。直方图处理是图像处理中非常简单却很实用的方法。直方图提供了图像的亮度和颜色分布情况，也即给出了图像的整体描述[6][7]。因此，可以通过改变直方图的形状来校正图像间亮度和颜色的差异。

参考文献

[1]Aljoscha S，Chen M C，3DAV Exploration of Video-Based RenderingTechnology in MPEG[J]，IEEE Transaction on Circuit and Systems for VideoTechnology，2004，14(3)：348-356.

[2]Francesco I，Emanuele T，Oliver S，Three-Dimensional Image Processing inthe Future of Immersive Media[J]，IEEE Transaction on Circuit and Systems forVideo Technology，2004，14(3)：288-303.

[3]Cheung H.K，Siu W.C，Feng D.G，Novel Illumination CompensationScheme for Sprite Coding[C]，International Conference on Signal Processing，2004，vol.2：1223-1226.

[4]Sakaue S，Tamura A，Nakayama M，Adaptive Gamma Processing of the VideoCameras for the Expansion of the Dynamic Range[J]，IEEE Transaction on.Consumer Electronics，1995，41(7)：555-562.

[5]Chang Y.C，Reid J.F，RGB Calibration for Color Image Analysis in MachineVision[J]，IEEE Transaction on Image Processing，1996，5(10)：1414-1422.

[6]Stark J.A，Adaptive Image Contrast Enhancement Using Generalizations ofHistogram Equalization[J]，IEEE Transaction on Image Processing，2000，9(5)：889-896.

[7]Thurman G，Optimized Algorithm for Adaptive Histogram Equalization[C]，Proceeding of the SPIE Conference on Image Processing，1998，1052-1055.

发明内容

本发明的目的是提供一种基于累计直方图的非线性亮度校正方法。以降低亮度差异对多视角视频编码性能的影响，提高多视角视频编码效率。

它包括如下步骤：

1)统计左右视频序列当前时刻图像的直方图曲线；

2)根据直方图曲线，得到左右视频序列当前时刻图像的累计直方图曲线；

3)根据左右视频序列当前时刻图像的累计直方图曲线得到非线性校正函数；

4)根据步骤3)所得到的非线性校正函数，对图像进行校正，使得左图像和右图像的相似性增强；

所述的统计左右视频序列当前时刻图像的直方图曲线的方法步骤如下：

a)按照下式计算左图像的亮度直方图曲线，记为H_l(i)

$H_l\left(i\right)=\underset{0<y<\mathrm{Hight}}{\underset{0<x<\mathrm{Width}}{\mathrm{\&Sigma;}}}\mathrm{\&delta;}\left(P_l(x,y)\right)==i),0\&le;i\&le;255$

其中，P_l(x，y)表示左图像中位置(x，y)处的像素的亮度值，

Width，Hight分别为图像的宽度和高度；

b)按照下式计算右图像的亮度直方图曲线，记为H_r(i)

$H_r\left(i\right)=\underset{0<y<\mathrm{Hight}}{\underset{0<x<\mathrm{Width}}{\mathrm{\&Sigma;}}}\mathrm{\&delta;}\left(P_r(x,y)\right)==i),0\&le;i\&le;255$

其中，P_r(x，y)表示右图像中位置(x，y)处的像素的亮度值，亮度值i的范围为0-255，H_r(i)为亮度值i的直方图高度；

所述的根据直方图曲线，得到左右视频序列当前时刻图像的累计直方图曲线的方法步骤如下：

c)根据步骤a)中所得左图像的亮度直方图曲线H_l(i)按照下式计算左图像的亮度累积直方图曲线，记为C_l(p)

$C_l\left(p\right)={\mathrm{\&Sigma;}}_{i=0}^p{H}_l\left(i\right),0\&le;p\&le;255,$ 其中，H_l(i)表示左图像的亮度直方图曲线；

d)根据步骤b)中所得右图像的亮度直方图曲线H_r(i)，按照下式计算右图像的亮度累积直方图曲线，记为C_r(p)

$C_r\left(p\right)={\mathrm{\&Sigma;}}_{i=0}^p{H}_r\left(i\right),0\&le;p\&le;255$

其中，H_r(i)表示右图像的亮度直方图曲线；

所述的根据左右视频序列当前时刻图像的累计直方图曲线得到非线性校正函数是：根据步骤c)和步骤d)所得左右两图像的亮度累积直方图曲线C_l(p)和C_r(p)，对于左图像的亮度累积直方图曲线上每一点p，按照如下步骤求取左图像到右图像的映射函数Map(p)：

e)在右图像的亮度累积直方图曲线中寻找高度和C_l(0)相差最小的一点，作为映射点，记映射点的对应像素值为q，映射点的对应高度为C_r(q)，设置映射函数Map(p)在P＝0点的函数值为q，即Map(0)＝q；

f)对于像素值在1-255区间内的像素值p，按照以下步骤，得到映射函数在像素值p的函数值：

(1)在右图像的亮度累积直方图曲线中确定三个可选像素值：Map(p-1)，Map(p)，Map(p+1)；

(2)在右图像的累计直方图曲线中，找到三个可选像素值分别对应的三个累计直方图曲线高度：C_r(Map(p-1))，C_r(Map(p))，C_r(Map(p+1))；

(3)在三个累计直方图曲线高度：C_r(Map(p-1))，C_r(Map(p))，C_r(Map(p+1))中选择和左图像当前像素值p的累计直方图高度C_l(p)相差最小的一个点所对应的像素值q，作为映射函数Map(p)在p点的函数值；即：Map(p)＝arg min|C_r(q)-C_l(p)|

其中，q ∈{Map(p-1)，Map(p)，Map(p+1)}。

所述的根据步骤3)所得到的非线性校正函数，对图像进行校正，使得左图像和右图像的相似性增强是：根据步骤e)、步骤f)所得左图像到右图像的映射函-数Map(p)，对于左图像的所有像素根据下式得到校正后的像素值：

CorrectedPixel_l(x，y)＝Map(Pixel_l(x，y))

其中Map(Pixel_l(x，y))为映射函数，Pixel_l(x，y)为校正前左图像中位置(x，y)处像素点的像素值，CorrectedPixel_l(x，y)为校正后左图像中位置(x，y)处像素点的像素值。

本发明采用累计直方图曲线规定算法得到亮度校正模型。累计直方图曲线处理是图像处理中简单实用的方法。累计直方图曲线提供了图像亮度的分布情况，给出了图像的一种整体描述。可以通过改变累计直方图曲线的形状来校正图像间亮度差异。

直方图规定化方法得到的映射函数中会出现一对多的映射关系，表现为直方图的收缩或者拉伸。由于局部区域的颜色差异，遮挡区域的存在以及直方图统计区域的不完全对应，造成映射函数在某些颜色值处出现一对三或以上的匹配关系，从而影响整体的校正性能。假设多视点视频中，相邻视点的图像颜色具有一定的相似性，因此可以限制直方图在任意亮度值的最大缩放程度为2，这对应于映射函数中不能出现一对二以上的映射关系。因此，本发明增加了最多一对二的限制条件，从而避免了直方图在局部范围内的过分收缩或拉伸。

附图说明

图1是基于累计直方图的非线性亮度校正示意图；

图2校正前左图图像；

图3校正前右图图像；

图4校正前左图像的累计直方图曲线和右图像的累计直方图曲线；

图5校正后左图图像。

具体实施方式

为方便描述，现将左视角视频的当前图像称为左图像，将右视角视频的当前图像称为右图像。图2是校正前的左图图像。图3是校正前的右图图像。适用于多视角视频编解码的非线性亮度校正步骤如下：

步骤1，按照下式计算左图像的亮度直方图曲线，记为H_l(i)

$H_l\left(i\right)=\underset{0<y<\mathrm{Hight}}{\underset{0<x<\mathrm{Width}}{\mathrm{\&Sigma;}}}\mathrm{\&delta;}\left(P_l(x,y)\right)==i),0<i<255$

其中，P_l(x，y)表示左图像中位置(x，y)处的像素的亮度值。

Width，Hight分别为图像的宽度和高度。

步骤2，按照下式计算右图像的亮度直方图曲线，记为H_r(i)

$H_r\left(i\right)=\underset{0<y<\mathrm{Hight}}{\underset{0<x<\mathrm{Width}}{\mathrm{\&Sigma;}}}\mathrm{\&delta;}\left(P_r(x,y)\right)==i),0<i<255$

其中，P_r(x，y)表示右图像中位置(x，y)处的像素的亮度值。亮度值I的范围为0-225，H_r(i)为亮度值I的直方图高度。

步骤3，根据步骤1所得左图像的亮度直方图曲线H_l(i)，按照下式计算左图像的亮度累积直方图曲线，记为C_l(p)

$C_l\left(p\right)={\mathrm{\&Sigma;}}_{i=0}^p{H}_l\left(i\right),0<p<255$

其中，H_l(i)表示左图像的亮度直方图曲线。

步骤4，根据步骤2所得右图像的亮度直方图曲线H_r(i)，按照下式计算右图像的亮度累积直方图曲线，记为C_r(p)

$C_r\left(p\right)={\mathrm{\&Sigma;}}_{i=0}^p{H}_r\left(i\right),0<p<255$

其中，H_r(i)表示右图像的亮度直方图曲线。

图4是校正前左图像的累计直方图曲线和右图像的累计直方图曲线，其中虚线是左图像的累计直方图曲线，实线是右图像的累计直方图曲线。

步骤5，根据步骤3、4所得左右两图像的亮度累积直方图曲线C_l(p)和C_r(p)，对于左图像的亮度累积直方图曲线上每一点p(0＜p＜255)，按照如下步骤求取左图像到右图像的映射函数Map(p)。

步骤5.1，在右图像的亮度累积直方图曲线中寻找高度和C_l(0)相差最小的一点，作为映射点，记映射点的对应像素值为q，映射点的对应高度为C_r(q)。设置映射函数Map(p)在P＝0点的函数值为q，即Map(0)＝q。

步骤5.2，对于像素值在1-255区间内的像素值p，按照以下步骤，得到映射函数在像素值p(1＜p＜255)的函数值。

步骤5.2.1，在右图像的亮度累积直方图曲线中确定三个可选像素值：Map(p-1)，Map(p)，Map(p+1)。

步骤5.2.2，在右图像的累计直方图曲线中，找到三个可选像素值分别对应的三个累计直方图曲线高度：C_r(Map(p-1))，C_r(Map(p))，C_r(Map(p+1))。

步骤5.2.3，在三个累计直方图曲线高度：C_r(Map(p-1))，C_r(Map(p))，C_r(Map(p+1))中选择和左图像当前像素值p的累计直方图高度C_l(p)相差最小的一个点所对应的像素值q，作为映射函数Map(p)在p点的函数值。

即：Map(p)＝arg min|C_r(q)-C_l(p)|

其中，q∈{Map(p-1)，Map(p)，Map(p+1)}

步骤6，根据步骤5所得左图像到右图像的映射函数Map(p)，对于左图像进行亮度校正，以提高左右两图像的相似性，有利于后续编码。对于左图像的所有像素根据下式得到校正后的像素值：

CorrectedPixel_l(x，y)＝Map(Pixel_l(x，y))

其中Map(Pixel_l(x，y))映射函数，Pixel_l(x，y)为校正前左图像中位置(x，y)处像素点的像素值，CorrectedPixel_l(x，y)为校正后左图像中位置(x，y)处像素点的像素值。

图5是校正后的左图图像。比较图2和图5可知，校正后左右两图像的亮度比较正前更相似。

Claims (2)

1.一种基于累计直方图的非线性亮度校正方法，其特征在于：它包括如下步骤：

1)统计左右视频序列当前时刻图像的直方图曲线；

2)根据直方图曲线，得到左右视频序列当前时刻图像的累计直方图曲线；

3)根据左右视频序列当前时刻图像的累计直方图曲线得到非线性校正函数；

4)根据步骤3)所得到的非线性校正函数，对图像进行校正，使得左图像和右图像的相似性增强；

所述的统计左右视频序列当前时刻图像的直方图曲线的方法步骤如下：

a)按照下式计算左图像的亮度直方图曲线，记为H_l(i)

$H_l\left(i\right)=\underset{0<y<\mathrm{Hight}}{\underset{0<x<\mathrm{Width}}{\mathrm{\&Sigma;}}}\mathrm{\&delta;}\left(P_i(x,y)\right)==i),0\&le;i\&le;255$

其中，P_l(x，y)表示左图像中位置(x，y)处的像素的亮度值，Width，Hight分别为图像的宽度和高度；

b)按照下式计算右图像的亮度直方图曲线，记为H_r(i)

$H_r\left(i\right)=\underset{0<y<\mathrm{Hight}}{\underset{0<x<\mathrm{Width}}{\mathrm{\&Sigma;}}}\mathrm{\&delta;}\left(P_r(x,y)\right)==i),0\&le;i\&le;255$

其中，P_r(x，y)表示右图像中位置(x，y)处的像素的亮度值，亮度值i的范围为0-255，H_r(i)为亮度值i的直方图高度；

所述的根据直方图曲线，得到左右视频序列当前时刻图像的累计直方图曲线的方法步骤如下：

c)根据步骤a)中所得左图像的亮度直方图曲线H_l(i)按照下式计算左图像的亮度累积直方图曲线，记为C_l(p)

$C_l\left(p\right)={\mathrm{\&Sigma;}}_{i=0}^p{H}_l\left(i\right),0\&le;p\&le;255$

其中，H_l(i)表示左图像的亮度直方图曲线；

d)根据步骤b)中所得右图像的亮度直方图曲线H_r(i)，按照下式计算右图像的亮度累积直方图曲线，记为C_r(p)

$C_r\left(p\right)={\mathrm{\&Sigma;}}_{i=0}^p{H}_r\left(i\right),0\&le;p\&le;255$

其中，H_r(i)表示右图像的亮度直方图曲线；

所述的根据左右视频序列当前时刻图像的累计直方图曲线得到非线性校正函数是：根据步骤c)和步骤d)所得左右两图像的亮度累积直方图曲线C_l(p)和C_r(p)，对于左图像的亮度累积直方图曲线上每一点p，按照如下步骤求取左图像到右图像的映射函数Map(p)：

e)在右图像的亮度累积直方图曲线中寻找高度和C_l(0)相差最小的一点，作为映射点，记映射点的对应像素值为q，映射点的对应高度为C_r(q)，设置映射函数Map(p)在P＝0点的函数值为q，即Map(0)＝q；

f)对于像素值在1-255区间内的像素值p，按照以下步骤，得到映射函数在像素值p的函数值：

(1)在右图像的亮度累积直方图曲线中确定三个可选像素值：Map(p-1)，Map(p)，Map(p+1)；

(2)在右图像的累计直方图曲线中，找到三个可选像素值分别对应的三个累计直方图曲线高度：C_r(Map(p-1))，C_r(Map(p))，C_r(Map(p+1))；

(3)在三个累计直方图曲线高度：C_r(Map(p-1))，C_r(Map(p))，C_r(Map(p+1))中选择和左图像当前像素值p的累计直方图高度C_l(p)相差最小的一个点所对应的像素值q，作为映射函数Map(p)在p点的函数值；

即：Map(p)＝argmin|C_r(q)-C_l(p)|

其中，q∈{Map(p-1)，Map(p)，Map(p+1)}。

2.根据权利要求1所述的一种基于累计直方图的非线性亮度校正方法，其特征在于，所述的根据步骤3)所得到的非线性校正函数，对图像进行校正，使得左图像和右图像的相似性增强是：根据步骤e)、步骤f)所得左图像到右图像的映射函数Map(p)，对于左图像的所有像素根据下式得到校正后的像素值：

CorrectedPixel_l(x，y)＝Map(Pixel_l(x，y))

其中Map(Pixel_l(x，y))为映射函数，Pixel_l(x，y)为校正前左图像中位置(x，y)处像素点的像素值，CorrectedPixel_l(x，y)为校正后左图像中位置(x，y)处像素点的像素值。

Images