CN101655976B - 基于控制点修正的多视角图像亮度校正方法 - Google Patents

Abstract

本发明公开了一种基于控制点修正的多视角图像亮度校正方法，该方法首先对输入的二幅多视角图像统计亮度直方图，然后提取二幅多视角图像的SIFT特征点并进行匹配，得到初始匹配点对，利用SIFT特征的匹配结果，生成控制点，并以控制点为约束，对亮度直方图进行动态规划匹配，最后根据匹配结果，生成亮度校正函数，对多视角图像间的亮度不一致性进行校正。本发明通过图像特征点匹配来获得两幅图像间正确的亮度对应关系，并将其作为控制点对后续的直方图匹配进行约束，可使亮度校正的结果更为合理和准确。

Description

基于控制点修正的多视角图像亮度校正方法

技术领域

本发明涉及一种对多视角图像间的亮度不一致性进行校正的方法，具体来说，涉及一种以控制点为约束，对直方图匹配结果进行修正，从而提高亮度校正准确性的一种方法。

背景技术

多视角图像在计算机视觉及视频编码中具有广泛应用，如可以利用多视角图像进行三维结构的恢复，以及进行立体视频编码等。在这些应用中，都需要对多视角图像进行相关匹配以恢复三维，而匹配的前提是存在一个基本假设：场景中的三维点成像在多视角图像中，各个像点的亮度值是相同的。立体视觉中的块匹配即是以这一假设作为基础进行基于像素亮度值的相似性/非相似性度量。

多视角图像的获取一般可由同一时刻的多个相机或者由单个相机在不同时刻拍摄而得，由于视角的不同或者相机参数的差异都会最终导致所获取的多视角图像中同名点像素亮度值不一致，必须在进一步处理前进行校正。

为了消除多视角图像的亮度差异，人们提出了各种了亮度校正算法。常用的图像亮度校正方法有亮度变换和亮度直方图处理二种，其中亮度变换的原理是使用简化的光照成像模型来建立原始图像和目标图像之间的逐点变换关系，如常用的线性模型：

                I_L＝βI_R+α

上式中，I_L和I_R分别是左右图像对应点的亮度值，α为一个总体加法因子，β为总体乘法因子。

然而研究表明，简单的线性模型过于理想化，并不足以表征其间的亮度差异。影响图像对之间亮度差异的因素往往是多种非线性因子的综合，可表示为一个任意的非线性单调递增函数。如果能够建立从图像A亮度值到图像B亮度值的映射，则亮度差异就能通过两幅图像之间的直方图匹配予以消除。由于这种基于直方图的处理方法不需要建立简化的相机成像模型，因此能够校正任意类型的亮度差异。

目前，在基于直方图的亮度修正方法的研究中，大多都采用直方图匹配来求取映射函数。这种方法的有效使用必须满足一个假设：不同视角的图像中，场景内容是相同的，直方图形状不同只是由于亮度的压缩和扩张效应引起。由于多视角图像总是存在视角的差异，当这种差异不明显时，这一假设可以基本满足，但如果视角差异比较大，则多视角图像中的内容也会存在较大的差别，那么在具有不同场景内容的图像直方图之间进行匹配就变得毫无根据了。

发明内容

本发明的目的是针对现有的基于直方图匹配的亮度校正方法的不足，提供一种基于控制点修正的多视角图像亮度校正方法。考虑到多视角图像间普遍存在的场景内容差异，从图像的SIFT特征点匹配来准确获取二幅多视角图像间的亮度对应关系，作为控制点对直方图动态规划匹配进行修正，从而使亮度校正的结果更为合理和准确。

本发明的目的是通过以下技术方案来实现的：

一种基于控制点修正的多视角图像亮度校方法，该方法包括以下步骤：

(1)对输入的二幅多视角图像统计亮度直方图；

(2)提取二幅多视角图像的SIFT特征点并进行匹配，得到初始匹配点对；

(3)利用SIFT特征的匹配结果，生成控制点；

(4)以步骤(3)得到的控制点为约束，对由步骤(1)得到的亮度直方图进行动态规划匹配；

(5)根据步骤(4)的匹配结果，生成亮度校正函数，对多视角图像间的亮度不一致性进行校正。

进一步地，所述步骤(1)中，通过下面二式分别对待校正图像A和参考图像B分别统计亮度直方图，记为h_i ^A和h_j ^B：

$h_i^A=\underset{0<y<\mathrm{height}}{\underset{0<x<\mathrm{width}}{\mathrm{\&Sigma;}}}\mathrm{\&delta;}(I_A(x,y)==i)$ 0≤i≤255

$h_j^A=\underset{0<y<\mathrm{height}}{\underset{0<x<\mathrm{width}}{\mathrm{\&Sigma;}}}\mathrm{\&delta;}(I_B(x,y)==j)$ 0≤j≤255

其中，I_A(x，y)和I_B(x，y)分别为待校正图像A和参考图像B在位置(x，y)处的像素的亮度值；width和height分别是图像的宽度和高度。

进一步地，所述步骤(3)具体包括以下步骤：

(a)利用基本矩阵约束对由步骤(2)得到的初始匹配点对进行筛选，去除其中的错误点对。

(b)利用经过基本矩阵约束后得到的正确匹配点对生成两幅图像间的亮度值初始对应关系。

(c)对得到的两幅图像间的初始亮度值对应关系进行函数单调递增性检测，去除不符合单调递增性的亮度对应关系，生成控制点。

本发明的有益效果是：本发明通过图像特征点匹配来获得两幅图像间正确的亮度对应关系，并将其作为控制点对后续的直方图匹配进行约束，可使亮度校正的结果更为合理和准确。

附图说明

图1为本发明方法的流程图；

图2为本发明对初始亮度对应关系进行单调递增性检测所要消除的二种类型的毛刺示意图；

图3为本发明在直方图动态规划匹配中应用控制点修正的示意图。

具体实施方式

下面结合附图和具体实施方式对本发明作进一步详细描述，本发明的目的和效果将变得更加明显。

图1给出了依照本发明进行亮度校正的方法流程图。

本发明对多视角图像的亮度校正是两两进行的，输入二幅待校正的多视角图像A和B，则是以图像B作为参考图像，对图像A进行亮度校正，使同一场景点在校正后的图像A与图像B中的像点具有相同或近似的亮度。

如图1所示，在步骤101中，用下面二式分别对图像A和B分别统计亮度直方图，记为h_i ^A和h_j ^B。

$h_i^A=\underset{0<y<\mathrm{height}}{\underset{0<x<\mathrm{width}}{\mathrm{\&Sigma;}}}\mathrm{\&delta;}(I_A(x,y)==i)$ 0≤i≤255            (1)

$h_j^A=\underset{0<y<\mathrm{height}}{\underset{0<x<\mathrm{width}}{\mathrm{\&Sigma;}}}\mathrm{\&delta;}(I_B(x,y)==j)$ 0≤j≤255            (2)

上二式中，I_A(x，y)和I_B(x，y)分别为图像A和图像B在位置(x，y)处的像素的亮度值。width和height分别是图像的宽度和高度。

如图1所示，在步骤102中，对图像A和图像B分别提取SIFT特征点并进行特征点匹配，得到特征点的初始匹配点对。

关于SIFT特征点的提取和匹配算法可参考文献1：David G.Lowe.DistinctiveImage Features from Scale-Invariant Keypoints.International Journal of ComputerVision，2004，vol.60，No.2.page：91～110.

如图1所示，在步骤103中，利用SIFT特征的匹配结果，生成控制点，具体包含三个步骤：

步骤103.1利用基本矩阵约束对由步骤102得到的初始匹配点对进行筛选，去除其中的错误点对。

对应于同一场景点在不同的多视角图像中的像点应符合下面关系：

              x′^TFx＝0                           (3)

(3)式中，x和x′为同一场景点在二幅多视角图像中的像点的坐标向量，F为基本矩阵。基本矩阵包含了不同视角图像之间的重要几何关系，描述了对应点之间应满足的极线约束条件，也包含了多视角图像拍摄时的相机运动参数。基本矩阵估计是三维重建、运动估计、相机标定、匹配和跟踪的基础。在本发明所采用的方法中，以SIFT特征点匹配得到的初始匹配点对作为输入，结合RANSAC算法进行基本矩阵的求取。但求解基本矩阵不是目的，上述过程只是为了得到在计算过程中由RANSAC算法所筛选出的内点，这些内点即是经过基本矩阵约束去除了错误匹配后留下来的正确匹配点对。

关于基本矩阵及RANSAC方法计算可参考文献2：Richard Hartley.MultipleView Geometry in Computer Vision(Second Edition).Cambridge University Press，April 19，2004.

步骤103.2利用经过基本矩阵约束后得到的正确匹配点对生成两幅图像间的亮度值初始对应关系。

假设二幅多视角图像为图A和图B，对于图A中的SIFT特征点p₁，其相应位置的亮度值为b₁，p₁在图B中的匹配特征点为q₁，相应的亮度值为c₁，则在图A和图B之间亮度值b₁和c₁就建立起了对应关系，构成了一对亮度对应点(b₁，c₁)，依次类推得到由其余各匹配特征点对得到的亮度对应关系。

步骤103.3对得到的两幅图像间的初始亮度值对应关系进行函数单调递增性检测，去除不符合单调递增性的亮度对应关系，生成控制点。

单调递增性描述了二幅图像的对应亮度值之间应符合的一个基本性质，它可描述为：对于图A的亮度等级b_i和b_j，若满足b_i≤b_j，其在图B中对应的亮度等级为c_i和c_j，则也必须满足c_i≤c_j。

在本发明中，将不符合单调递增性的错误对应关系归结为二种类型的毛刺，如图2所示，去除这二种毛刺的具体步骤如下：

步骤103.3-1假设二幅多视角图像为图A和图B，在由步骤103.2得到的各亮度对应点对中，以图A的亮度值为准对各亮度对应点对进行排序，得到一从左到右依次递增的序列：{Kb₁，Kb₂，…，Kb_n}，其对应于图B中亮度值的序列为{Kc₁，Kc₂，…，Kc_n}；

步骤103.3-2从左到右依次扫描序列{Kc₁，Kc₂，…，Kc_n}，根据单调递增性原则，其结点的值应满足Kc₁≤Kc₂≤…≤Kc_n。

假设(Kb_i，Kc_i)与(Kb_j，Kc_j)是二对亮度对应点，若当Kb_i≤Kb_j时，出现了Kc_i＞Kc_j，则说明出现了图2所示的下降型毛刺，应将亮度对应点(Kb_j，Kc_j)去除。此外，如果递增的步长较大，即在序列{…，Kc_m，Kc_m+1，…，Kc_n-1，Kc_n，…}中，当d＝Kc_m+1-Kc_m＞th₁(th₁为某一预设阈值)时，还须判断这种递增趋势能否继续保持一定的长度。如不能，即在上述序列中有Kc_m＜Kc_m+1＜…＜Kc_n-1，但Kc_n＜Kc_m+1，且length(Kc_n-1，Kc_m+1)＜th₂(length(Kc_n-1，Kc_m+1)表示结点Kc_n-1和Kc_m+1之间的长度，th₂为另一预设阈值)，则说明出现了图2所示的上升型毛刺，也应删除这些亮度对应点。

步骤103.3-3将通过单调递增性检测的亮度对应点对作为控制点。

如图1所示，在步骤104中，对由步骤101得到二幅多视角图像的亮度直方图，在由步骤103生成的控制点的约束下，进行直方图动态规划匹配。

考虑了图像对之间亮度直方图可能存在的拉伸/压缩效应，定义了三种匹配代价函数：

a)一对一匹配：

$d_{\mathrm{1,1}}(m,n)=|h_m^A-h_n^B|---\left(4\right)$

b)多对一匹配：

$d_{k,1}(m,n)=|\underset{i=0}{\overset{k-1}{\mathrm{\&Sigma;}}}{h}_{m-i}^A-h_n^B|---\left(5\right)$

c)一对多匹配：

$d_{1,l}(m,n)=|h_m^A-\underset{j=0}{\overset{l-1}{\mathrm{\&Sigma;}}}{h}_{n-j}^B|---\left(6\right)$

在上述(4)～(6)中，d_xx(m，n)表示图A的亮度等级m与图B的亮度等级n的匹配代价，h_m ^A表示对于图A亮度等级为m的直方图高度，相应地，h_n ^B表示对于图B亮度等级为n的直方图高度，k和l分别表示被压缩/拉伸的幅度。

在直方图匹配中应用全局优化策略，使整体匹配代价最小，设置总体的代价函数为：

D(0，0)＝0                                     (7)

$D(m,n)=\min \left\{\begin{array}{cc}D(m-1,n-1)+d_{\mathrm{1,1}}(m,n)& \\ D(m-k,n-1)+d_{k,1}(m,n)& (2\&le;k\&le;M)\\ D(m-1,n-l)+d_{1,l}(m,n)& (2\&le;l\&le;N)\end{array}\right.---\left(8\right)$

(7)式表示对于初始整体匹配代价设置为0，且设置为图A的亮度等级0和图B的亮度等级0的匹配代价。(8)式表示图A的亮度等级m与图B的亮度等级n的整体匹配代价要综合考虑之前的匹配代价和用式(4)、(5)、(6)表示当前匹配代价后取最小值，其中M、N分别是最大可以被拉伸/压缩的幅度，对于具体图像对来说是一个有限值。定义了代价函数以后，采用了动态规划的方法来使整体的代价最小。

直方图提供了图像的亮度值分布情况，如果二幅多视角图像场景内容一致，其亮度的变化可归结为对亮度的非线性压缩/扩张效应，则直方图匹配给出了一种直接的求取亮度映射的方法。但在实际情况中，由于多视角图像间场景的内容是往往是不一致的，因此直方图的变化不仅仅是由于亮度的非线性压缩/扩张，还和场景内容相关，直接用直方图匹配缺少合理性。本发明针对这一情况，采用了控制点来对直方图动态规划匹配的结果进行限制，使匹配路径强制经过那些控制点，从而使匹配的结果更为合理和准确。图3给出了在直方图动态规划匹配中应用控制点修正的示意图。

如图1所示，在步骤105中，根据步骤104直方图动态规划匹配结果所得到的两幅图像间的亮度映射关系，进行亮度的重影射函数，达到亮度校正的目的。

经过直方图匹配，在二幅图像的亮度等级间建立了对应：

$I_B^n=\mathrm{Map}\left(I_A^m\right)$ 0≤m≤255，0≤m≤255               (9)

(9)式中，I_A ^m为图A中亮度等级为m，I_B ⁿ表示图B中亮度等级为n，因此通过上式图A中的亮度等级m将映射为图B中的亮度等级n。

根据该映射函数，对于图A的所有像素，根据下式得到校正后的亮度值：

$I_A^{\mathrm{NEW}}(x,y)=\mathrm{Map}\left(I_A(x,y)\right)---\left(10\right)$

(10)式中，I_A(x，y)为校正前图A中位置(x，y)处的亮度值，I_A ^NEW(x，y)为校正后该位置的亮度值。

上述实施例用来解释说明本发明，而不是对本发明进行限制，在本发明的精神和权利要求的保护范围内，对本发明作出的任何修改和改变，都落入本发明的保护范围。

Claims (1)

1.一种基于控制点修正的多视角图像亮度校正方法，其特征在于，该方法包括以下步骤：

(1)对输入的二幅多视角图像统计亮度直方图；

(2)提取二幅多视角图像的SIFT特征点并进行匹配，得到初始匹配点对；

(3)利用SIFT特征的匹配结果，生成控制点；

(4)以步骤(3)得到的控制点为约束，对由步骤(1)得到的亮度直方图进行动态规划匹配；

(5)根据步骤(4)的匹配结果，生成亮度校正函数，对多视角图像间的亮度不一致性进行校正；

其中，所述步骤(3)具体包括以下子步骤：

(a)利用基本矩阵约束对由步骤(2)得到的初始匹配点对进行筛选，去除其中的错误点对；

(b)利用经过基本矩阵约束后得到的正确匹配点对生成两幅图像间的亮度值初始对应关系；

(c)对得到的两幅图像间的初始亮度值对应关系进行函数单调递增性检测，去除不符合单调递增性的亮度对应关系，生成控制点。

Images