CN102306383B - 适用于宽基线图像密集匹配的描述符的构建方法 - Google Patents

Abstract

本发明公开了一种适用于宽基线图像密集匹配的描述符的构建方法。用本发明的方法构建的描述符包括基于Haar小波响应构建的子描述符和基于颜色比率不变模型构建的子描述符。用本发明的方法构建的描述符不仅提高了现有DAISY描述符的描述和匹配速度，而且能够结合图像的灰度信息和颜色信息，提高了现有描述符的独特性和鲁棒性。本发明构建出一种颜色比率不变模型，该模型可用于构建颜色不变子描述符。该模型对视点变化、光照方向变化、光照强度变化和光照颜色变化均能保持不变。

Description

适用于宽基线图像密集匹配的描述符的构建方法

技术领域

本发明涉及数字图像处理和计算机视觉技术领域，特别涉及一种适用于宽基线图像密集匹配的描述符的构建方法。

背景技术

密集匹配是计算机视觉领域的重要研究内容之一，被广泛应用于三维重建、模式识别、图像检索等领域。目前，窄基线图像的密集匹配已经取得令人满意的结果。但是，宽基线图像间往往存在旋转角度、尺度缩放、视点变换以及光照变化等差异，再加上噪声、遮挡等外在因素的影响，因而不同视点的图像差异很大，这给精确匹配带来很大困难。基于不变描述符的匹配方法是宽基线图像的密集匹配方法之一，该方法首先对邻域窗口内的局部特征进行描述，构建出一个具有较强区分能力的高维描述符，即描述阶段；然后通过高维向量间的距离来衡量点的相似程度，即匹配阶段。该方法构建的描述符对图像间存在的各种变化能保持不变，对图像中物体运动、遮挡、噪声等因素也可以实现较鲁棒的匹配。

主要从两个方面来衡量不变描述符的优劣：一是描述符在各种变化情况下的区分能力；二是描述符在描述和匹配两个阶段的效率。

近年来，宽基线图像特征点(稀疏点)的提取和描述技术已经取得很大进展，国内外学者相继提出了很多优秀的描述符。

2004年Lowe等人提出了一种基于尺度空间的图像局部特征描述符——SIFT(Scale Invariant Feature Transform)描述符。SIFT描述符通过直方图对特征点周围邻域内像素点梯度的模值和方向进行统计，构建128维特征向量。SIFT描述符对图像间的尺度变化、旋转变换、光照变化和仿射变换(AffineTransformation)均能保持不变，并具有很强的可区分性和抗噪声能力，对宽基线图像能够实现较好的描述和匹配效果。

考虑到SIFT描述符维数较高，Ke等人提出了改进的PCA-SIFT描述符，通过使用主成分分析(Principal component analysis，PCA)将高维向量降维，在保证较强区分性的前提下，大大提高了匹配速度。

2005年Mikolajczyk等人提出一种扩展的SIFT描述符，即GLOH(GradientLocation and Orientation Histogram)描述符。

SIFT、PCA-SIFT和GLOH三种描述符的本质类似，均采用梯度直方图进行统计，只是GLOH描述符在结构上采用极坐标生成梯度直方图中的每个柱。上述三种描述符的计算复杂度都很高，计算耗时都很长。

2006年Herbert Bay等人提出了一种快速描述符，即SURF(Speeded UpRobust Features)描述符，该描述符利用积分图像计算梯度直方图，不仅在重复性(repeatability)、独特性(distinctiveness)和鲁棒性(robustness)三个方面均接近或超过以往的同类描述符，而且计算速度具有明显优势。但是由于SURF描述符主要考虑的是如何提高计算速度，因此在构建描述符时，每个像素的梯度方向对于方向直方图每个柱的贡献一样大，违背了越靠近关键点，像素梯度方向信息贡献越大的原则，从而降低了SIFT描述符的优越性。

尽管上述SIFT、PCA-SIFT、GLOH和SURF四种描述符在稀疏特征点的匹配上取得很大进展，但是由于高维向量的描述和匹配过程需要耗费大量时间，因此上述四种描述符不适用于宽基线图像间的密集匹配。

2010年Tola等人提出一种有效的、适用于宽基线图像的密集匹配描述符，即DAISY描述符[E.Tola，V.Lepetit，and P.Fua，DAISY：An Efficient DenseDescriptor Applied to Wide-Baseline Stereo，IEEE Trans.on PAMI，vol.32，no.5，pp.815-830，2010.]。DAISY描述符基于SIFT描述符和GLOH描述符，有效地改进了描述过程，并保持了SIFT在计算梯度直方图时的优越性，即越靠近关键点，像素梯度方向信息贡献越大。但是DAISY描述符生成的特征向量有200维，因此，高维向量间的匹配仍需要较大的计算量。

上述SIFT、PCA-SIFT、GLOH、SURF和DAISY五种描述符均基于灰度图像进行描述，即首先将彩色图像变为灰度图像，然后再进行描述。然而，颜色信息在匹配中也可以提供较强的区分能力。

Abdel-Hakin等人提出一种基于SIFT描述符的颜色不变局部描述符，即CSIFT(Color SIFT)描述符[Alaa E.Abdel-Hakim，and Aly A.Farag，CSIFT：ASIFT descriptor with color invariant characteristics.In CVPR，vol.2，pp.1978-1983，2006.]，该描述符提取彩色图像的稀疏特征点并对其进行描述，由最近邻法得到初始匹配点对后再删除误匹配。当光照方向和亮度发生变化时，CSIFT描述符比SIFT描述符更鲁棒，但是当光源的颜色发生变化时，CSIFT描述符不能保持不变。此外，由于CSIFT描述符基于SIFT描述符，如果将CSIFT描述符用在密集匹配中计算耗时同样会很长。

目前，非常需要一种有效的、适用于宽基线图像密集匹配的描述符。

发明内容

本发明的目的是提供一种有效的、适用于宽基线图像密集匹配的描述符F的构建方法，该方法吸取DAISY描述符和SURF描述符在描述阶段具有较高效率的优点，并结合图像的灰度信息和颜色信息，从而提高所构建描述符的独特性和鲁棒性。

用本发明的方法构建的描述符F包括基于Haar小波响应构建的子描述符H和基于颜色比率不变模型构建的子描述符C。

本发明提供的适用于宽基线图像密集匹配的描述符的构建方法包括以下步骤：

输入一幅图像，以所述图像中的任一像素点为中心点m_o划分出25个矩形子区域，该25个矩形子区域构成该像素点的描述区域；

利用图像的灰度信息，基于Haar小波响应构建子描述符H；

利用图像的颜色信息，基于颜色比率不变模型构建子描述符C；

基于图像的灰度信息和颜色信息构建描述符F。

具体地，划分出25个矩形子区域的步骤进一步包括：

以所述图像中的任一像素点为中心点(m_o)，以2w₀为边长确定1个矩形子区域(s_o)；

分别以与所述中心点(m_o)距离为t₁，且与所述图像的x轴正向夹角为0°、45°、90°、135°、180°、225°、270°、315°的8个像素点(m₁₁、m₁₂、m₁₃、m₁₄、m₁₅、m₁₆、m₁₇、m₁₈)为中心，以2w₁为边长确定8个矩形子区域(s₁₁、s₁₂、s₁₃、s₁₄、s₁₅、s₁₆、s₁₇、s₁₈)，其中t₁＞w₁＝w₀；

所述矩形子区域(s_o)和(s₁₁、s₁₂、s₁₃、s₁₄、s₁₅、s₁₆、s₁₇、s₁₈)称为第1层子区域；

分别以与所述中心点(m_o)距离为t₂，且与所述图像x轴正向夹角分别为0°、45°、90°、135°、180°、225°、270°、315°的8个像素点(m₂₁、m₂₂、m₂₃、m₂₄、m₂₅、m₂₆、m₂₇、m₂₈)为中心，以2w₂为边长确定8个矩形子区域(s₂₁、s₂₂、s₂₃、s₂₄、s₂₅、s₂₆、s₂₇、s₂₈)，其中t₂＞t₁，w₂＞w₁；

所述矩形子区域(s₂₁、s₂₂、s₂₃、s₂₄、s₂₅、s₂₆、s₂₇、s₂₈)称为第2层子区域；

分别以与所述中心点(m_o)距离为t₃，且与所述图像x轴正向夹角为0°、45°、90°、135°、180°、225°、270°、315°的8个像素点(m₃₁、m₃₂、m₃₃、m₃₄、m₃₅、m₃₆、m₃₇、m₃₈)为中心，以2w₃为边长确定8个矩形子区域(s₃₁、s₃₂、s₃₃、s₃₄、s₃₅、s₃₆、s₃₇、s₃₈)，其中t₃＞t₂，w₃＞w₂；

所述矩形子区域(s₃₁、s₃₂、s₃₃、s₃₄、s₃₅、s₃₆、s₃₇、s₃₈)称为第3层子区域。

上述w₀，w₁，w₂，w₃，t₁，t₂，t₃的取值大小根据所述图像的分辨率及其他因素确定。以分辨率为1024×768的图像为例，w₀，w₁，w₂，w₃，t₁，t₂，t₃的取值分别优选为：w₀＝2.5，w₁＝w₀，w₂＝3w₀，w₃＝6w₀，4≤t₁≤6，t₂＝2t₁，t₃＝3t₁。

具体地，所述子描述符H的构建包括以下步骤：

计算所述图像的Haar小波响应图；

利用不同标准差的高斯核对所述Haar小波响应图卷积，得到多个卷积后的Haar小波响应图；

基于所述多个卷积后的Haar小波响应图构建子描述符H。

具体地，所述计算图像的Haar小波响应图为：

基于所述图像的积分图像，分别计算每个像素点m(x，y)在x和y两个方向上的Haar小波响应值，所有像素点的Haar小波响应值及其绝对值构成所述图像的Haar小波响应图。

具体地，所述基于多个卷积后的Haar小波响应图构建子描述符H为：

对所述描述区域中的每个矩形子区域统计卷积后的Haar小波响应值并作出直方图；

将每个矩形子区域对应的直方图单独归一化；

用在所述描述区域的25个矩形子区域中得到的归一化的响应直方图构建4*(3*8+1)＝100维的子描述符H。

具体地，所述子描述符C的构建包括以下步骤：

构建颜色比率不变模型；

根据所述颜色比率不变模型计算颜色比率图；

利用不同标准差的高斯核对每一个所述颜色比率图卷积，得到多个卷积后的颜色比率图；

基于所述多个卷积后的颜色比率图构建子描述符C。

具体地，所述构建颜色比率不变模型的步骤进一步包括：

对所述图像中的任一像素点m_o，假设m_i是以像素点m_o为中心的邻域内的像素点，则：

$f_1=\frac{(R_{m_o}-{\mathrm{\μ}}_{R_{m_o}})(G_{m_i}-{\mathrm{\μ}}_{G_{m_i}})}{(R_{m_i}-{\mathrm{\μ}}_{R_{m_i}})(G_{m_o}-{\mathrm{\μ}}_{G_{m_o}})};$

$f_2=\frac{(G_{m_o}-{\mathrm{\μ}}_{G_{m_o}})(B_{m_i}-{\mathrm{\μ}}_{B_{m_i}})}{(G_{m_i}-{\mathrm{\μ}}_{G_{m_i}})(B_{m_o}-{\mathrm{\μ}}_{B_{m_o}})};$

$f_3=\frac{(B_{m_o}-{\mathrm{\μ}}_{B_{m_o}})(R_{m_i}-{\mathrm{\μ}}_{R_{m_i}})}{(B_{m_i}-{\mathrm{\μ}}_{B_{m_i}})(R_{m_o}-{\mathrm{\μ}}_{R_{m_o}})};$

式中，f₁，f₂，f₃分别表示像素点m_i处采用所述颜色比率不变模型将R，G，B值变换到另一颜色空间的对应值，分别表示在以m_o为中心的邻域中R，G，B三个通道上的颜色平均值，

分别表示在以m_i为中心的邻域中R，G，B三个通道上的颜色平均值。当光照变化引起图像颜色变化时，颜色比率不变模型保持不变。

具体地，所述根据颜色比率不变模型计算颜色比率图的步骤进一步包括：

对所述图像中的任一像素点m_o，m_i是以像素点m_o为中心的邻域内的像素点，计算f₁，f₂，f₃的值，其绝对值|f₁|，|f₂|，|f₃|作为像素点m_i处的颜色比率值，所述图像中所有像素点的颜色比率值构成所述图像的颜色比率图。

具体地，所述基于多个卷积后的颜色比率图构建子描述符C的步骤进一步包括：

对所述描述区域中的每个矩形子区域统计颜色比率值并作出直方图；

将每个矩形子区域对应的直方图单独归一化；

根据在所述描述区域的25个矩形子区域中得到的归一化的颜色比率直方图，构建3*(3*8+1)＝75维的子描述符C。

具体地，所述描述符F的构建为：

以ω和(1-ω)分别作为子描述符H和子描述符C的权值因子，即分别为灰度信息和颜色信息分配不同的权重，所述描述符F的定义为：

$F=\left[\begin{array}{c}\mathrm{\ωH}\\ (1-\mathrm{\ω})C\end{array}\right]$

式中0≤ω≤1。

本发明具有如下有益效果：

用本发明的方法构建的描述符不仅提高了现有DAISY描述符的描述和匹配速度，而且能够结合图像的灰度信息和颜色信息，提高了现有描述符的独特性和鲁棒性。本发明构建出一种颜色比率不变模型，该模型可用于构建颜色不变子描述符。该模型对视点变化、光照方向变化、光照强度变化和光照颜色变化均能保持不变。

附图说明

图1为构建适用于宽基线图像密集匹配的描述符的流程图；

图2为将图像中任一像素点的描述区域划分为25个矩形子区域的示意图；

图3(a)和图3(b)分别为x和y两个方向上Haar小波滤波器的示意图，图3(c)为积分图像的示意图；

图4为利用不同标准差的高斯核对Haar小波响应图卷积的示意图；

图5为颜色比率不变模型的示意图，图5(a)和图5(b)分别为光照突变发生前后的两幅图像，图中的矩形框表示两幅图像中的对应窗口；图5(c)为图5(a)和图5(b)两幅图像中对应窗口内的R，G，B取值；图5(d)为图5(a)和图5(b)两幅图像中对应窗口内的f₁，f₂，f₃的值。

具体实施方式

下面结合附图及实施例对本发明的发明内容作进一步的描述。

图1示出了本发明构建适用于宽基线图像密集匹配的描述符的流程图。首先，输入一幅图像，以所述图像中的任一像素点为中心点(m_o)划分出25个矩形子区域，该25个矩形子区域构成该像素点的描述区域。

如图2所示，划分出25个矩形子区域的步骤进一步包括：

以所述图像中的任一像素点为中心点(m_o)，以2w₀为边长确定1个矩形子区域(s_o)；

分别以与所述中心点(m_o)距离为t₁，且与所述图像的x轴正向夹角为0°、45°、90°、135°、180°、225°、270°、315°的8个像素点(m₁₁、m₁₂、m₁₃、m₁₄、m₁₅、m₁₆、m₁₇、m₁₈)为中心，以2w₁为边长确定8个矩形子区域(s₁₁、s₁₂、s₁₃、s₁₄、s₁₅、s₁₆、s₁₇、s₁₈)，其中t₁＞w₁＝w₀；

所述矩形子区域(s_o)和(s₁₁、s₁₂、s₁₃、s₁₄、s₁₅、s₁₆、s₁₇、s₁₈)称为第1层子区域；

分别以与所述中心点(m_o)距离为t₂，且与所述图像x轴正向夹角分别为0°、45°、90°、135°、180°、225°、270°、315°的8个像素点(m₂₁、m₂₂、m₂₃、m₂₄、m₂₅、m₂₆、m₂₇、m₂₈)为中心，以2w₂为边长确定8个矩形子区域(s₂₁、s₂₂、s₂₃、s₂₄、s₂₅、s₂₆、s₂₇、s₂₈)，其中t₂＞t₁，w₂＞w₁；

所述矩形子区域(s₂₁、s₂₂、s₂₃、s₂₄、s₂₅、s₂₆、s₂₇、s₂₈)称为第2层子区域；

分别以与所述中心点(m_o)距离为t₃，且与所述图像x轴正向夹角为0°、45°、90°、135°、180°、225°、270°、315°的8个像素点(m₃₁、m₃₂、m₃₃、m₃₄、m₃₅、m₃₆、m₃₇、m₃₈)为中心，以2w₃为边长确定8个矩形子区域(s₃₁、s₃₂、s₃₃、s₃₄、s₃₅、s₃₆、s₃₇、s₃₈)，其中t₃＞t₂，w₃＞w₂；

所述矩形子区域(s₃₁、s₃₂、s₃₃、s₃₄、s₃₅、s₃₆、s₃₇、s₃₈)称为第3层子区域。

上述w₀，w₁，w₂，w₃，t₁，t₂，t₃的取值大小根据所述图像的分辨率及其他因素确定。以分辨率为1024×768的图像为例，w₀，w₁，w₂，w₃，t₁，t₂，t₃的取值例如分别为：w₀＝2.5，w₁＝w₀，w₂＝3w₀，w₃＝6w₀，4≤t₁≤6，t₂＝2t₁，t₃＝3t₁。

接下来，利用图像的灰度信息，基于Haar小波响应构建子描述符H。

基于Haar小波响应构建子描述符H是对图像中某个像素点邻域内的灰度信息进行描述，以一阶Haar小波在x和y两个方向的响应值构建子描述符H。Haar小波是一个t×t的矩形卷积滤波器，图3(a)和图3(b)分别为x和y两个方向上Haar小波滤波器的示意图，其中黑色表示-1，白色表示+1。在像素点m(x，y)处，x和y两个方向上的Haar小波响应值分别记作d_x和d_y。

为了保证在局部区域有较好的描述速度，所述子描述符H借鉴了DAISY描述符的描述结构和描述方法。不同的是，所述子描述符H将描述区域划分为矩形子区域(如图2所示)，DAISY描述符将描述区域划分为圆形子区域。虽然上述改进很简单，但是对于构建基于Haar小波响应的子描述符H却是非常有效的，能够大大减少计算量。因为，结合积分图像，可以大幅提高在每个矩形子区域内统计Haar小波响应值的效率。

下面给出积分图像的定义：

如图3(c)所示，假设积分图像中某一像素点m(x，y)的值为I_∑(m)，它表示以图像的原点与像素点m(x，y)的连线为对角线的矩形区域内所有像素点的灰度值之和，即：

$I_{\mathrm{\Σ}}\left(m\right)=\underset{i=0}{\overset{i\≤x}{\mathrm{\Σ}}}\underset{j=0}{\overset{j\≤y}{\mathrm{\Σ}}}I(i,j).$

如图3(c)所示，根据积分图像的定义，积分图像中任意矩形区域ABCD内的灰度值之和均可以通过三次加减运算I_∑＝I_∑(A)-I_∑(B)-I_∑(C)+I_∑(D)得到。

所述子描述符H的构建具体包括以下步骤：

计算所述图像的Haar小波响应图；

利用不同标准差的高斯核对所述Haar小波响应图卷积，得到多个卷积后的Haar小波响应图；

基于所述多个卷积后的Haar小波响应图构建子描述符H。

基于所述图像的积分图像，分别计算每个像素点m(x，y)在x和y两个方向上的Haar小波响应值d_x和d_y，进而得到其绝对值|d_x|和|d_y|。则所述图像的4个Haar小波响应图为：

G_r1＝{d_x}；

G_r2＝{|d_x|}；

Gr₃＝{d_y}；

Gr₄＝{|d_y|}。

式中，{d_x}和{d_y}分别表示图像上所有像素点的Haar小波响应值d_x和d_y的集合；{|d_x|}和{|d_y|}分别表示图像上所有像素点的Haar小波响应值的绝对值|d_x|和|d_y|的集合。

利用不同标准差的高斯核对Haar响应图G_r卷积，则卷积后的Haar响应图为：

$D_r^{\mathrm{\Σ}}=G_{\mathrm{\Σ}}*G_r.$

式中，∑为标准差，G_∑是标准差为∑的高斯核。

假设最小的标准差记作∑₁，其对应的高斯核记作G_∑1，利用高斯核G_∑1对Haar响应图G_r卷积，则卷积后的Haar响应图为：

$G_r^{{\mathrm{\Σ}}_1}=G_{{\mathrm{\Σ}}_1}*G_r.$

由卷积后的Haar响应图

可以计算标准差为较大标准差∑₂的高斯核

对Haar响应图G_r的卷积，卷积后的Haar响应图为：

$G_r^{{\mathrm{\Σ}}_2}=G_{{\mathrm{\Σ}}_2}*G_r=G_{\mathrm{\Σ}}*G_{{\mathrm{\Σ}}_1}*G_r=G_{\mathrm{\Σ}}*G_r^{{\mathrm{\Σ}}_1}.$

式中， $G_{{\mathrm{\Σ}}_2}=G_{\mathrm{\Σ}}*G_{{\mathrm{\Σ}}_1},$ ∑₂＞∑₁，且 $\mathrm{\Σ}=\sqrt{{\mathrm{\Σ}}_2^2-{\mathrm{\Σ}}_1^2}.$

对所述图像上的同一像素点，通过上述逐级卷积的方式，可以计算不同标准差的高斯核对所述Haar小波响应图的卷积，图4示出了利用不同标准差的高斯核对所述Haar小波响应图卷积的计算过程。上述逐级卷积的方式对于卷积后的Haar小波响应图的获取是非常有效的。

基于所述多个卷积后的Haar小波响应图构建子描述符H的步骤进一步包括：

对所述描述区域中的每个矩形子区域统计卷积后的Haar小波响应值并作出直方图；

将每个矩形子区域对应的直方图单独归一化；

用在所述描述区域的25个矩形子区域中得到的归一化的响应直方图构建4*(3*8+1)＝100维的子描述符H。

在以像素点m_o为中心的矩形子区域s_o内，统计得出，与标准差为∑₁的高斯核卷积后的4个Haar小波响应值为 $G_{r1}^{{\mathrm{\Σ}}_1}\left(m_o\right),G_{r2}^{{\mathrm{\Σ}}_1}\left(m_o\right),G_{r3}^{{\mathrm{\Σ}}_1}\left(m_o\right),G_{r4}^{{\mathrm{\Σ}}_1}\left(m_o\right).$ 根据上述4个Haar小波响应值作出矩形子区域s_o的直方图，该直方图用以下向量元素表示：

$h_{{\mathrm{\Σ}}_1}^T\left(m_o\right)=[G_{r1}^{{\mathrm{\Σ}}_1}\left(m_o\right),G_{r2}^{{\mathrm{\Σ}}_1}\left(m_o\right),G_{r3}^{{\mathrm{\Σ}}_1}\left(m_o\right),G_{r4}^{{\mathrm{\Σ}}_1}\left(m_o\right)].$

将上述直方图单独归一化，则矩形子区域s_o的归一化的直方图用向量元素

表示。

采用上述方法，同理可得其它矩形子区域的归一化的直方图。

在所述图像上的像素点m_o处，基于Haar小波响应的子描述符H可以定义为：

$H\left(m_o\right)=[{\tilde{h}}_{{\mathrm{\Σ}}_1}^T\left(m_o\right),$

${\tilde{h}}_{{\mathrm{\Σ}}_1}^T\left(m_{11}\right),{\tilde{h}}_{{\mathrm{\Σ}}_1}^T\left(m_{12}\right),...,{\tilde{h}}_{{\mathrm{\Σ}}_1}^T\left(m_{18}\right),$

${\tilde{h}}_{{\mathrm{\Σ}}_2}^T\left(m_{21}\right),{\tilde{h}}_{{\mathrm{\Σ}}_2}^T\left(m_{22}\right),...,{\tilde{h}}_{{\mathrm{\Σ}}_2}^T\left(m_{28}\right),.$

${\tilde{h}}_{{\mathrm{\Σ}}_3}^T\left(m_{31}\right),{\tilde{h}}_{{\mathrm{\Σ}}_3}^T\left(m_{32}\right),...,{\tilde{h}}_{{\mathrm{\Σ}}_3}^T\left(m_{38}\right){]}^T$

采用上述方法，同理可构建所述图像上其他像素点的子描述符H。用上述方法构建的子描述符H的长度为4*(3*8+1)＝100维。

然后，利用图像的颜色信息，基于颜色比率不变模型构建子描述符C。

颜色信息在许多匹配任务中具有非常重要的作用。但是，由于视点变化、光照方向变化、光照强度变化和光照颜色变化等因素的影响，场景中同一点在不同视点的图像上的颜色表现出不一致性。因此，直接将图像颜色用于匹配是非常不可靠的。

基于颜色比率不变模型构建所述子描述符C的步骤进一步包括：

构建颜色比率不变模型；

根据所述颜色比率不变模型计算颜色比率图；

利用不同标准差的高斯核对每一个所述颜色比率图卷积，得到多个卷积后的颜色比率图；

基于所述多个卷积后的颜色比率图构建子描述符C。

为了使颜色信息可用于密集匹配，提高描述符的区分性能，我们构建了一种颜色比率不变模型。

构建颜色比率不变模型的步骤进一步包括：

对所述图像中的任一像素点m_o，假设m_i是以像素点m_o为中心的邻域内的像素点，则：

$f_1=\frac{(R_{m_o}-{\mathrm{\μ}}_{R_{m_o}})(G_{m_i}-{\mathrm{\μ}}_{G_{m_i}})}{(R_{m_i}-{\mathrm{\μ}}_{R_{m_i}})(G_{m_o}-{\mathrm{\μ}}_{G_{m_o}})};$

$f_2=\frac{(G_{m_o}-{\mathrm{\μ}}_{G_{m_o}})(B_{m_i}-{\mathrm{\μ}}_{B_{m_i}})}{(G_{m_i}-{\mathrm{\μ}}_{G_{m_i}})(B_{m_o}-{\mathrm{\μ}}_{B_{m_o}})};$

$f_3=\frac{(B_{m_o}-{\mathrm{\μ}}_{B_{m_o}})(R_{m_i}-{\mathrm{\μ}}_{R_{m_i}})}{(B_{m_i}-{\mathrm{\μ}}_{B_{m_i}})(R_{m_o}-{\mathrm{\μ}}_{R_{m_o}})};$

式中，f₁，f₂，f₃分别表示像素点m_i处采用所述颜色比率不变模型将R，G，B值变换到另一颜色空间的对应值，分别表示在以m_o为中心的邻域中R，G，B三个通道上的颜色平均值，分别表示在以m_i为中心的邻域中R，G，B三个通道上的颜色平均值。

2004年Mindru等人将光照变化引起的颜色变化用对角-平移模型来表示[F.Mindru，T.Tuytelaars，L.Van Gool，and T.Moons，Moment invariants forrecognition under changing viewpoint and illumination，CVIU，vol.94，no.1-3，pp.3-27，2004.]：

$\left(\begin{array}{c}{R}^c\\ G^c\\ B^c\end{array}\right)=\left(\begin{array}{ccc}a& 0& 0\\ 0& b& 0\\ 0& 0& c\end{array}\right)\left(\begin{array}{c}{R}^u\\ G^u\\ B^u\end{array}\right)+\left(\begin{array}{c}{o}_1\\ o_2\\ o_3\end{array}\right).$

假设在相邻位置光照颜色保持局部不变，则根据对角-平移模型可以推导出，当光照变化引起图像颜色变化时，颜色比率不变模型保持不变。

颜色比率不变模型对视点变化、光照方向变化、光照强度变化和光照颜色变化均能保持不变。图5的示例可以很好的说明这一点。图5(a)和图5(b)分别为光照突变发生前后的两幅图像，图中的矩形框表示两幅图像中的对应窗口；图5(c)表示图5(a)和图5(b)两幅图像中对应窗口内的R，G，B取值，可以看出，由于光照突变，上述两对应窗口内的R，G，B值有较大差异；图5(d)是图5(a)和图5(b)两幅图像中对应窗口内模型f₁，f₂，f₃的值，可以看出，尽管上述两对应窗口内的R，G，B取值差异很大，但是上述两相关窗口内所有像素对应的f₁，f₂，f₃的值是基本一致的。

根据所述颜色比率不变模型计算颜色比率图的步骤进一步包括：

对所述图像中的任一像素点m_o，m_i是以像素点m_o为中心的邻域内的像素点，计算f₁，f₂，f₃的值，其绝对值|f₁|，|f₂|，|f₃|作为像素点m_i处的颜色比率值。计算所述图像中所有像素点的颜色比率值，则所述图像的3个颜色比率图为：

G_f1＝{|f₁|}；

G_f2＝{|f₂|}；

G_f3＝{|f₃|}。

式中，{|f₁|}，{|f₂|}，{|f₃|}分别表示图像上所有像素点的颜色比率值|f₁|，|f₂|，|f₃|的集合。

采用与上述计算Haar响应图卷积相同的方法计算所述图像的颜色比率图的卷积，则所述图像的卷积后的颜色比率图为

和

基于所述多个卷积后的颜色比率图构建子描述符C的步骤进一步包括：

对所述描述区域中的每个矩形子区域统计颜色比率值并作出直方图；

将每个矩形子区域对应的直方图单独归一化；

用在所述描述区域的25个矩形子区域中得到的归一化的颜色比率直方图构建3*(3*8+1)＝75维的子描述符C。

在以像素点m_o为中心的矩形子区域s_o内，统计得出，3个卷积后的颜色比率值为

根据上述3个卷积后的颜色比率值作出矩形子区域s_o的直方图，该直方图用以下向量元素表示：

$c_{{\mathrm{\Σ}}_1}^T\left(m_o\right)=[G_{f1}^{{\mathrm{\Σ}}_1}\left(m_o\right),G_{f2}^{{\mathrm{\Σ}}_1}\left(m_o\right),G_{f3}^{{\mathrm{\Σ}}_1}\left(m_o\right)]$

将上述直方图单独归一化，则矩形子区域s_o的归一化的直方图用向量元素

表示。

采用上述方法，同理可得其它矩形子区域的归一化的直方图。

在所述图像上的像素点m_o处，基于颜色比率不变模型的子描述符C可以定义为：

$C\left(m_o\right)=[{\tilde{c}}_{{\mathrm{\Σ}}_1}^T\left(m_o\right),$

${\tilde{c}}_{{\mathrm{\Σ}}_1}^T\left(m_{11}\right),{\tilde{c}}_{{\mathrm{\Σ}}_1}^T\left(m_{12}\right),...,{\tilde{c}}_{{\mathrm{\Σ}}_1}^T\left(m_{18}\right),$

${\tilde{c}}_{{\mathrm{\Σ}}_2}^T\left(m_{21}\right),{\tilde{c}}_{{\mathrm{\Σ}}_2}^T\left(m_{22}\right),...,{\tilde{c}}_{{\mathrm{\Σ}}_2}^T\left(m_{28}\right),.$

${\tilde{c}}_{{\mathrm{\Σ}}_3}^T\left(m_{31}\right),{\tilde{c}}_{{\mathrm{\Σ}}_3}^T\left(m_{32}\right),...,{\tilde{c}}_{{\mathrm{\Σ}}_3}^T\left(m_{38}\right){]}^T$

采用上述方法，同理可构建所述图像上其他像素点的子描述符C。用上述方法构建的子描述符C的长度为3*(3*8+1)＝75维。

最后，基于图像的灰度信息和颜色信息构建描述符F。

描述符F的定义如下：

$F=\left[\begin{array}{c}\mathrm{\ωH}\\ (1-\mathrm{\ω})C\end{array}\right]$

式中0≤ω≤1。H和C分别表示100维基于Haar小波响应构建的子描述符和75维基于颜色比率不变模型构建的子描述符。因此，基于灰度信息和颜色信息构建的描述符F共175维，系数ω和1-ω分别为子描述符H和子描述符C的权值因子。

下面简要介绍一下所述描述符F在图像匹配中的应用。

首先输入两幅图像。对两幅图像中的每个像素点描述之后，采用下面的代价函数寻找最佳匹配点：

D＝ωD_H+(1-ω)D_C。

式中D_H表示所述子描述符H的欧氏距离，D_C表示所述子描述符C的x²距离。D_H和D_C的具体计算公式如下：

$D_H=|H_i-H_j|=\sqrt{\underset{k=1}{\overset{100}{\mathrm{\Σ}}}{(H_{i,k}-H_{j,k})}^2},$

$D_C={\mathrm{\χ}}^2=\frac{1}{2}\underset{k=1}{\overset{75}{\mathrm{\Σ}}}\frac{{(C_{i,k}-C_{j,k})}^2}{C_{i,k}+C_{j,k}}.$

为了减少由于一个像素点可能存在多个相似匹配点而造成的误匹配情况，采用最近邻和次近邻点距离之比来减少误匹配。如果最近的距离和次近的距离的比值小于某个阈值，则认为该点对为匹配点对，否则丢弃。降低阈值时，获得的匹配点对数目会减少，但更加稳定。为了提高密集匹配速度，采用BBF(BestBin First)算法来寻找最近邻和次近邻。

所述描述符F通过将灰度信息和颜色信息结合，不仅提高了现有描述符的区分能力，而且描述符F的维数比DAISY描述符的维数降低，因此提高了匹配速度。

应当理解，以上借助优选实施例对本发明的技术方案进行的详细说明是示意性的而非限制性的。本领域的普通技术人员在阅读本发明说明书的基础上可以对各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (1)

1.适用于宽基线图像密集匹配的描述符的构建方法，其特征在于，该方法包括以下步骤： 

输入一幅图像，以所述图像中的任一像素点为中心点m_o划分出25个矩形子区域，该25个矩形子区域构成该像素点的描述区域； 

利用图像的灰度信息，基于Haar小波响应构建子描述符H； 

利用图像的颜色信息，基于颜色比率不变模型构建子描述符C； 

基于图像的灰度信息和颜色信息构建该像素点的描述符F； 

所述划分出25个矩形子区域的步骤进一步包括： 

以所述图像中的任一像素点为中心点m_o，以2w₀为边长确定1个矩形子区域s_o； 

分别以与所述中心点m_o距离为t₁，且与所述图像的x轴正向夹角为0°、45°、90°、135°、180°、225°、270°、315°的8个像素点m₁₁、m₁₂、m₁₃、m₁₄、m₁₅、m₁₆、m₁₇、m₁₈为中心，以2w₁为边长确定8个矩形子区域s₁₁、s₁₂、s₁₃、s₁₄、s₁₅、s₁₆、s₁₇、s₁₈，其中t₁＞w₁＝w₀； 

分别以与所述中心点m_o距离为t₂，且与所述图像x轴正向夹角分别为0°、45°、90°、135°、180°、225°、270°、315°的8个像素点m₂₁、m₂₂、m₂₃、m₂₄、m₂₅、m₂₆、m₂₇、m₂₈为中心，以2w₂为边长确定8个矩形子区域s₂₁、s₂₂、s₂₃、s₂₄、s₂₅、s₂₆、s₂₇、s₂₈，其中t₂＞t₁，w₂＞w₁； 

分别以与所述中心点m_o距离为t₃，且与所述图像x轴正向夹角为0°、45°、90°、135°、180°、225°、270°、315°的8个像素点m₃₁、m₃₂、m₃₃、m₃₄、m₃₅、m₃₆、m₃₇、m₃₈为中心，以2w₃为边长确定8个矩形子区域s₃₁、s₃₂、s₃₃、s₃₄、s₃₅、s₃₆、s₃₇、s₃₈，其中t₃＞t₂，w₃＞w₂； 

所述基于Haar小波响应构建子描述符H的步骤进一步包括： 

计算所述图像的Haar小波响应图； 

利用不同标准差的高斯核对所述Haar小波响应图卷积，得到多个卷积后的Haar小波响应图； 

基于所述多个卷积后的Haar小波响应图构建子描述符H； 

所述计算图像的Haar小波响应图的步骤进一步包括： 

基于所述图像的积分图像，分别计算每个像素点m(x,y)在x和y两个方向上的Haar小波响应值，所有像素点的Haar小波响应值及其绝对值构成所述图像的Haar小波响应图； 

所述基于多个卷积后的Haar小波响应图构建子描述符H的步骤进一步包括： 

对所述描述区域中的每个矩形子区域统计卷积后的Haar小波响应值并作出直方图； 

将每个矩形子区域对应的直方图单独归一化； 

用在所述描述区域的25个矩形子区域中得到的归一化的响应直方图构建100维的子描述符H； 

所述基于颜色比率不变模型构建子描述符C的步骤进一步包括： 

构建颜色比率不变模型； 

根据所述颜色比率不变模型计算颜色比率图； 

利用不同标准差的高斯核对每一个所述颜色比率图卷积，得到多个卷积后的颜色比率图； 

基于所述多个卷积后的颜色比率图构建子描述符C； 

所述构建颜色比率不变模型的步骤进一步包括： 

对所述图像中的任一像素点m_o，m_i是以像素点m_o为中心的邻域内的像素点，则： 

式中，f₁,f₂,f₃分别表示像素点m_i处采用所述颜色比率不变模型将R,G，B值变换到另一颜色空间的对应值，

分别表示在以m_o为中心的邻域中R,G，B三个通道上的颜色平均值，

分别表示在以m_i为中心的邻域中R,G，B三个通道上的颜色平均值； 

所述根据颜色比率不变模型计算颜色比率图的步骤进一步包括： 

对所述图像中的任一像素点m_o，m_i是以像素点m_o为中心的邻域内的像素点，计算f₁,f₂,f₃的值，其绝对值|f₁|,|f₂|,|f₃|作为像素点m_i处的颜色比率值，所述图像中所有像素点的颜色比率值构成所述图像的颜色比率图； 

所述基于多个卷积后的颜色比率图构建子描述符C具体为： 

对所述描述区域中的每个矩形子区域统计颜色比率值并作出直方图； 

将每个矩形子区域对应的直方图单独归一化； 

用在所述描述区域的25个矩形子区域中得到的归一化的颜色比率直方图构建75维的子描述符C； 

构建所述描述符F具体为： 

以ω和(1-ω)分别作为子描述符H和子描述符C的权值因子，即分别为灰度信息和颜色信息分配不同的权重，所述描述符F的定义为： 

式中0≤ω≤1。 

Images