CN1687968A - 多分辨率的四元小波相位匹配方法 - Google Patents

Abstract

一种多分辨率四元小波相位匹配方法，将四元小波理论首次应用在未校正自然图像的相位匹配中，直接利用频率域的四元小波相位信息实现对未校正自然图像对的可靠匹配，直接对未校正自然图像进行二维视差估计，相对于未校正图像的立体匹配方法，在计算视差图时，不需估计基础矩阵以及进行外极线重整，给出了除四元Gabor小波之外的四元小波滤波器的构造方法，能自适应地处理四元相位奇点引起的误匹配问题。整个匹配方法的实现结构简单，并具有良好的拓展性，与全局最优技术和遮挡检测技术相结合则能实现更为精确的全局匹配以及遮挡检测。

Description

多分辨率的四元小波相位匹配方法

技术领域

本发明涉及的是一种用于人工智能领域的方法，特别是一种可应用于双目和多目立体匹配、单目序列图像中运动目标跟踪、运动目标分割等应用场合的多分辨率的四元小波相位匹配方法。

技术背景

目前，未校正图像的立体匹配是计算机视觉的一个热点问题，根据所选匹配基元的不同，现有的解决手段分为三类：二维区域匹配、二维特征匹配和二维相位匹配。二维区域匹配在未校正图像的立体匹配算法中占主流形势，但这些算法执行的并非是完全二维空间意义上的视差搜索任务，它们通常需要两个步骤完成整个匹配过程：首先，根据经典的匹配算法获取稀疏的二维匹配结果，并利用鲁棒算子在初始的二维匹配结果中剔除局外点，继而根据高置信度对应点之间的位置关系计算基础矩阵而恢复外极线几何信息；其次，在恢复的外极线上执行一维匹配过程。其中，局外点的剔除和基础矩阵的计算过程十分复杂且难以控制，甚至会导致外极线几何信息不能正确恢复。二维特征匹配通过将图像对之间的匹配问题转化为两幅图形之间的映射问题或子图同构问题，其中图像被描绘成一幅图形，特征基元作为图形的节点，特征基元之间的几何关系则被定义为各节点之间的链节。算法需要首先提取显著的特征基元，比如边缘线段或轮廓，然后在双目图像或多目图像中对其进行匹配。由于图像像素集合中只有某个子集被用于匹配，因此得到的视差场是稀疏的，而且如果提取的特征基元不够可靠，将导致算法的失败。相位匹配算法是一类结合了区域匹配和特征匹配各自优点的立体匹配算法，它对于光照畸变和几何畸变比区域匹配稳定，同时又无须特征提取就能获得亚像素精度的致密视差场。现有的相位匹配算法绝大多数是一维的表达形式，它将图像分解为实部和虚部两个部分，利用单个相位获取一维视差，图像的匹配结果通常由相位差-频率模型计算获得。高维滤波器的构造涉及复杂的高维信号处理知识和技术，同时搜索空间向二维的拓展导致计算量庞大且复杂以及匹配的歧义性显著增加。因此，现有的相位匹配往往限于一维搜索空间，即立体像对必须经过外极线重整。

经对现有技术文献的检索发现，目前仅有Thomas Bülow等的研究工作中涉及到二维相位匹配算法，他们在四元数代数的理论基础上，利用四元Gabor滤波器获得四元解析信号，然后通过提取可分离的四元相位和采用拓展的相位差-频率模型而获得二维视差图。但正如他本人所述，其算法模型旨在证明理论的可行性，并不完整和实用，如：仅实现了四元Gabor滤波器提取2D相位的过程，而滤波器的丰富选择有助于寻找到最佳描述图像的多分辨率方式；只对单尺度的四元解析信号计算视差，算法的准确度低，视差场的密度也很低；相位奇点问题未得到较好的处理，奇点附近的视差无法确定以及奇点附近误匹配的扩散现象无法得到自适应地控制。因此，现有的二维相位匹配算法的实用性较低，无法实现对自然像对的可靠匹配。

发明内容

本发明的目的在于克服现有技术中的不足，提供一种多分辨率的四元小波相位匹配方法。使其整个匹配方法的实现结构简单，并具有良好的拓展性，与全局最优技术和遮挡检测技术相结合则能实现更为精确的全局匹配以及遮挡检测。

本发明是通过以下技术方案实现的，本发明将四元小波理论首次应用在未校正自然图像的相位匹配中，直接利用频率域的四元小波相位信息实现对未校正自然图像对的可靠匹配，不需估计基础矩阵，也无须建立检测和剔除相位奇点的约束条件，可以直接对未校正自然图像进行二维视差估计。相对于经典的未校正图像的立体匹配方法，该方法在计算视差图时，不需估计基础矩阵以及进行外极线重整，相比于现有的相位匹配算法，给出了除四元Gabor小波之外的四元小波滤波器的构造方法，能自适应地处理四元相位奇点引起的误匹配问题，首次在相位匹配中实现了对未校正自然图像对的二维视差估计。

在不计算基础矩阵和进行外极线校正的情形下，在频率域中直接执行二维匹配任务，多分辨率的二维匹配过程满足视差搜索的半波长限制，显著降低了视差解空间的大小或匹配的歧义性，而且该二维域的相位匹配过程能自适应地抑制相位奇点的不利影响，实现对未校正自然像对的视差估计。

所述的直接利用频率域的四元小波相位信息实现对未校正自然图像对的可靠匹配，包括以下实现步骤：

1)构造二维解析信号以提取二维局部相位结构。首先构造出单维的线性相位的实小波滤波器，然后采用希尔伯特变换在二维空间进行线性相位的四元小波滤波器的构造。

2)将构造所得的四元小波滤波器对未校正图像对作多分辨率的带通滤波并提取局部四元相位信息，通过建立代价函数寻找最大相似的四元相位结构，从而解决二维匹配问题。

3)相位奇点是相位匹配的固有问题，是导致相位误匹配的主要原因。现有的四元相位匹配，仅仅通过检测和剔除相位奇点而降低误匹配，但得到的视差场是稀疏的，而且在多分辨率的匹配过程中会造成误匹配的扩散。该方法建立的代价函数利用带通滤波的输出能量自适应地抑制由相位奇点引起的误匹配。

本发明多分辨率四元小波相位匹配方案包括四元线性小波相位提取步骤以及相位之间的匹配步骤。四元线性小波相位提取步骤包含两个实现单元：构造线性相位的离散四元小波滤波器；对立体像对进行带通滤波而提取可分离的局部四元线性小波相位信息。相位之间的匹配步骤包括根据四元线性相位信息建立有效的代价函数以及采用最优搜索技术寻找最小代价路径。其中，在代价值的计算中利用滤波输出的能量信息自适应地抑制相位奇点对匹配的不利影响。

本发明多分辨率四元小波相位匹配方法在进行未校正立体像对的匹配过程中，以一种更符合人眼生理机理的方式解决对应点的匹配问题，它直接在二维频率域空间中搜索视差，而不计算基础矩阵和求解外极线方程，该方法可以结合并行处理技术提高运算速度；建立的代价方程在确定代价值时自动引入相位稳定的约束条件，能自适应地抑制相位奇点的不利影响；采用的金字塔式的多分辨率匹配结构，大大降低了视差搜索空间的范围。本发明的匹配运算易于实现，并具有良好的拓展性，与目前的全局优化技术相结合，可实现二维全局匹配和二维遮挡检测，进一步提高该方法的实用性。此外，除立体匹配之外，二维域的图像匹配技术可应用于单目序列图像中运动目标跟踪、运动目标分割，甚至于序列图像压缩中的运动矢量估计，使得视频中的运动矢量估计问题与立体视觉中的二维视差估计问题的解决方式可以统一起来，因此该方法的应用范围较广。

附图说明

图1本发明提取四元线性相位的小波滤波器的构造示意图

图2是四元线性小波相位的多分辨率提取过程示意图

图3是多分辨率四元小波相位匹配框架示意图

具体实施方式

以下结合附图对本发明的匹配方案作进一步描述。

如图1所示，本发明中涉及的滤波器构造过程。给出由线性相位的双正交小波基构造出线性相位的四元小波滤波器的过程。对于具有线性相位特征的双正交小波基ψ₁(x)，ψ₂(y)以及它们所对应的尺度函数φ₁(x)，φ₂(y)，就可以通过下述方法构造出一组线性相位的四元小波滤波器Ψ_p ^q(x，y)，p∈{1，2，3}，包括一个二维尺度函数Φ(x，y)，从而可以得到对图像频率域的一种完整分割。其中，除自变量的变化方向分别为x和y之外，ψ₁与ψ₂所确定的自变量与因变量之间的映射关系可以是同一的。

Φ(x，y)＝φ₁(x)φ₂(y)

${\mathrm{\Ψ}}_1^q(x,y)={\mathrm{\φ}}_1\left(x\right){\mathrm{\ψ}}_2\left(y\right)+i{\mathrm{\φ}}_1^{H{i}_x}\left(x\right){\mathrm{\ψ}}_2\left(y\right)+j{\mathrm{\φ}}_1\left(x\right){\mathrm{\ψ}}_2^{H{i}_y}\left(y\right)+k{\mathrm{\φ}}_1^{H{i}_x}\left(x\right){\mathrm{\ψ}}_2^{H{i}_y}\left(y\right)$

${\mathrm{\Ψ}}_2^q(x,y)={\mathrm{\ψ}}_1\left(x\right){\mathrm{\φ}}_2\left(y\right)+i{\mathrm{\ψ}}_1^{H{i}_x}\left(x\right){\mathrm{\φ}}_2\left(y\right)+j{\mathrm{\ψ}}_1\left(x\right){\mathrm{\φ}}_2^{H{i}_y}\left(y\right)+k{\mathrm{\ψ}}_1^{H{i}_x}\left(x\right){\mathrm{\φ}}_2^{H{i}_y}\left(y\right)$

${\mathrm{\Ψ}}_3^q(x,y)={\mathrm{\ψ}}_1\left(x\right){\mathrm{\ψ}}_2\left(y\right)+i{\mathrm{\ψ}}_1^{H{i}_x}\left(x\right){\mathrm{\ψ}}_2\left(y\right)+j{\mathrm{\ψ}}_1\left(x\right){\mathrm{\ψ}}_2^{H{i}_y}\left(y\right)+k{\mathrm{\ψ}}_1^{H{i}_x}\left(x\right){\mathrm{\ψ}}_2^{H{i}_y}\left(y\right)$

上标Hi_x和Hi_y分别表示对当前函数作x和y方向上的一维希尔伯特变换。i，j，k为四元数代数中的复数单位，满足

i²＝j²＝k²＝-1以及ij＝k

如图2所示，本发明四元线性小波相位的多分辨率提取过程。左右图像f_l和f_r经由尺度函数Φ(x，y)滤波并亚采样后得到一组金字塔式的图像结构A_m，c，用数学表达式可以这么描述，

${\mathrm{\Φ}}_{m,s,t}(x,y)=\frac{1}{2^m}\mathrm{\Φ}(\frac{x-s}{2^m},\frac{y-t}{2^m})$

$A_m{f}_c=\underset{s=1}{\overset{\frac{M_x}{2^m}}{\mathrm{\Σ}}}\underset{t=1}{\overset{\frac{M_y}{2^m}}{\mathrm{\Σ}}}{a}_{m,s,t}{\mathrm{\Φ}}_{m,s,t}(x,y),m=\{\mathrm{1,2},K,n\},c\∈\{l,r\}$

  a_m，s，t＝<f_c(x，y)，Φ_m，s，t(x，y)>其中，对于给定的二维图像信号f(x，y)，图像大小为M_x×M_y，符号

则表示内积运算。系数(a_m，s，t)组成离散矩阵A_m，c，形成多尺度的金字塔式图像匹配结构。在各个尺度m上，我们依靠一组四元小波滤波器Ψ_p ^q(x，y)，p∈{1，2，3)，得到具有线性相位的二维解析信号D_m，c，p：

${\mathrm{\&Psi;}}_{m,s,t,p}^q(x,y)=\frac{1}{2^m}{\mathrm{\&Psi;}}_p^q(\frac{x-s}{2^m},\frac{y-t}{2^m})$

$D_{m,p}f=\underset{s=1}{\overset{\frac{M_x}{2^m}}{\mathrm{\&Sigma;}}}\underset{t=1}{\overset{\frac{M_y}{2^m}}{\mathrm{\&Sigma;}}}{d}_{m,s,t,p}{\mathrm{\&Psi;}}_{m,s,t,p}^q(x,y),p\&Element;\left\{\mathrm{1,2,3}\right\}$

$d_{m,s,t,p}=<f(x,y),{\mathrm{\&Psi;}}_{m,s,t,p}^q(x,y)>$

系数d(_{m，s，t，p})组成离散矩阵D_m，s，p，形成各尺度m下处于不同窄带的图像信息分量。至此为止，二维图像信号f(x，y)在频率域被尺度函数Φ(x，y)以及四元小波函数Ψ_p ^q(x，y)，p∈{1，2，3)完整分割，即图像的多分辨率分解过程为

f_c(x，y)＝A₁f_c+D_1，1f_c+D_1，2f_c+D_1，3f_c

＝A₂f_c+D_2，1f_c+D_2，2f_c+D_2，3f_c+D_1，1f_c+D_1，2f_c+D_1，3f_c

$=...=A_n{f}_c+\underset{m=1}{\overset{n}{\mathrm{\&Sigma;}}}[D_{m,1}{f}_c+D_{m,2}{f}_c+D_{m,3}{f}_c]$

假定m尺度下图像c，c＝{l，r}中像素(s，t)处的一组小波系数为d_{m，s，t，p}，p∈{1，2，3}，并且用四元数的形式可表达为

$d_{m,s,t,p}=a+\mathrm{ib}+\mathrm{jc}+\mathrm{kd}=\left|d_{m,s,t,p}\right|\exp \left({\mathrm{ang}}_{{\mathrm{\&phi;}}_c,p}^q\right)\exp \left({\mathrm{ang}}_{{\mathrm{\&psi;}}_c,p}^q\right)\exp \left({\mathrm{ang}}_{{\mathrm{\&theta;}}_c,p}^q\right)$

其中，a，b，c，d∈R，p∈{1，2，3}， $s=\{\mathrm{1,2},K,\frac{m_x}{2^m}\},$ $t=\{\mathrm{1,2},K,\frac{m_y}{2^m}\},$ 符号|·|表示取四元数的模。那么，四元线性小波相位ang_φc，p ^q，ang_ψc,p ^q和ang_θc，p ^q以及幅度ρ_c，p ^q的提取过程用数学表达式描述为

${\mathrm{ang}}_{{\mathrm{\&psi;}}_c,p}^q=-\frac{\arcsin \left(2(\mathrm{bc}-\mathrm{ad})\right)}{2}$

${\mathrm{\&rho;}}_{c,p}^q=\sqrt{{(a^2-b^2+c^2-d^2)}^2+4{(\mathrm{cd}+\mathrm{ab})}^2}$

1)当 $\cos (2.{\mathrm{ang}}_{{\mathrm{\&psi;}}_c,p}^q)\&NotEqual;0$ 时， ${\mathrm{ang}}_{{\mathrm{\&theta;}}_c,p}^q=\frac{1}{2}a\tan 2(2(\mathrm{bd}+\mathrm{ac}),a^2+b^2-c^2-d^2),$

${\mathrm{ang}}_{{\mathrm{\&phi;}}_c,p}^q=\frac{1}{2}a\tan 2(2(\mathrm{cd}+\mathrm{ab}),a^2-b^2+c^2-d^2)$

2)当 $\cos (2.{\mathrm{ang}}_{{\mathrm{\&psi;}}_c,p}^q)=0,$ 即 ${\mathrm{ang}}_{{\mathrm{\&psi;}}_c,p}^q=\&PlusMinus;\frac{\mathrm{\&pi;}}{4}$ 时，ang_φc，p ^q±ang_θc，p ^q有确定主值，但ang_φc,p ^q，ang_θc，p ^q，没有唯一解：

a、如果 ${\mathrm{ang}}_{{\mathrm{\&psi;}}_c,p}^q=\&PlusMinus;\frac{\mathrm{\&pi;}}{4},$ ${\mathrm{ang}}_{{\mathrm{\&theta;}}_c,p}^q=0$ 时，

${\mathrm{ang}}_{{\mathrm{\&phi;}}_c,p}^q=\frac{1}{2}a\tan 2(-2(\mathrm{cd}-\mathrm{ab}),a^2-b^2-c^2+d^2)$

b、如果 ${\mathrm{ang}}_{{\mathrm{\&psi;}}_c,p}^q=\&PlusMinus;\frac{\mathrm{\&pi;}}{4},$ ${\mathrm{ang}}_{{\mathrm{\&phi;}}_c,p}^q=0$ 时，

${\mathrm{ang}}_{{\mathrm{\&theta;}}_c,p}^q=\frac{1}{2}a\tan 2(-2(\mathrm{bd}-\mathrm{ac}),a^2-b^2-c^2+d^2)$

注意，如果 $d_{m,s,t,p}=-\left|d_{m,s,t,p}\right|\exp \left({\mathrm{ang}}_{{\mathrm{\&phi;}}_c,p}^q\right)\exp \left({\mathrm{ang}}_{{\mathrm{\&psi;}}_c,p}^q\right)\exp \left({\mathrm{ang}}_{{\mathrm{\&theta;}}_c,p}^q\right),$ 必须修正上述计算获得的小波相位ang_φc，p ^q，即

其中，符号←为赋值符号，使其满足

$d_{m,s,t,p}=\left|d_{m,s,t,p}\right|\exp \left({\mathrm{ang}}_{{\mathrm{\&phi;}}_c,p}^q\right)\exp \left({\mathrm{ang}}_{{\mathrm{\&psi;}}_c,p}^q\right)\exp \left({\mathrm{ang}}_{{\mathrm{\&theta;}}_c,p}^q\right),$ 而且三个四元小波相位ang_φc，p ^q，ang_ψc，p ^q和ang_θc，p ^q主值范围分别是[-π，π)、 和

如图3所示，本发明四元线性小波相位提取后，二维域相位匹配的实现过程。除相位奇点之外，对应点处应满足四元相位相等，因此我们以相位差异建立代价函数，通过寻找最小代价路径或图像对之间最大相似的局部四元相位结构而确定视差。同时，为保证相位的稳定性，在建立代价方程时，引入相位稳定性约束条件，对输出幅度高的候选对应点处的相位差异值予以高的置信度。

对于尺度m下参考图中的离散像素(k，l)，假定其与候选对应点之间的二维视差 $D=\left(\begin{array}{c}{d}_s\\ d_t\end{array}\right),$ 建立代价方程如下：

$\cos t(s,t,d_{s,}{d}_t)=\underset{\mathrm{\&Delta;s},\mathrm{\&Delta;t}=-M}{\overset{M}{\mathrm{\&Sigma;}}}\underset{p=1}{\overset{3}{\mathrm{\&Sigma;}}}[{\widetilde{\mathrm{\&rho;}}}_{l,p}^q(s+\mathrm{\&Delta;s},t+\mathrm{\&Delta;t}){\widetilde{\mathrm{\&rho;}}}_{r,p}^q(s+\mathrm{\&Delta;s}+d_{s,}t+\mathrm{\&Delta;t}+d_t)\&times;f_p(s+\mathrm{\&Delta;s},t+\mathrm{\&Delta;t},d_s,d_t)]$

其中幅度须进行归一化，即

${\widetilde{\mathrm{\&rho;}}}_{l,p}^q(s+\mathrm{\&Delta;s},t+\mathrm{\&Delta;t}){\widetilde{\mathrm{\&rho;}}}_{r,p}^q(s+\mathrm{\&Delta;s}+d_{s,}t+\mathrm{\&Delta;t}+d_t)$

$=\frac{{\mathrm{\&rho;}}_{l,p}^q(s+\mathrm{\&Delta;s},t+\mathrm{\&Delta;t}){\mathrm{\&rho;}}_{r,p}^q(s+\mathrm{\&Delta;s}+d_s,t+\mathrm{\&Delta;t}+d_t)}{\underset{\mathrm{\&Delta;s},\mathrm{\&Delta;t}=-M}{\overset{M}{\mathrm{\&Sigma;}}}\underset{p=1}{\overset{3}{\mathrm{\&Sigma;}}}{\mathrm{\&rho;}}_{l,p}^q(s+\mathrm{\&Delta;s},t+\mathrm{\&Delta;t}){\mathrm{\&rho;}}_{r,p}^q(s+\mathrm{\&Delta;s}+d_s,t+\mathrm{\&Delta;t}+d_t)}$

$f_p(s+\mathrm{\&Delta;s},t+\mathrm{\&Delta;t},d_s,d_t)=\left|\right[{\mathrm{ang}}_{{\mathrm{\&phi;}}_l,p}^q(s+\mathrm{\&Delta;s},t+\mathrm{\&Delta;t})-{\mathrm{ang}}_{{\mathrm{\&phi;}}_r,p}^q(s+\mathrm{\&Delta;s}+d_s,t+\mathrm{\&Delta;t}+d_t){]}_{2\mathrm{\&pi;}}|$

$+\left|\right[{\mathrm{ang}}_{{\mathrm{\&theta;}}_l,p}^q(s+\mathrm{\&Delta;s},t+\mathrm{\&Delta;t})-{\mathrm{ang}}_{{\mathrm{\&theta;}}_{l,}p}^q(s+\mathrm{\&Delta;s}+d_s,t+\mathrm{\&Delta;t}+d_t){]}_{\mathrm{\&pi;}}|$

$+\left|\right[{\mathrm{ang}}_{{\mathrm{\&psi;}}_l,p}^q(s+\mathrm{\&Delta;s},t+\mathrm{\&Delta;t})-{\mathrm{ang}}_{{\mathrm{\&psi;}}_{l,}p}^q(s+\mathrm{\&Delta;s}+d_s,t+\mathrm{\&Delta;t}+d_t){]}_{\mathrm{\&pi;}/2}|$

上式中，[·]_2π∈[-π，π)， $[\&CenterDot;{]}_{\mathrm{\&pi;}}\&Element;[-\frac{\mathrm{\&pi;}}{2},\frac{\mathrm{\&pi;}}{2})$ 以及 $[\&CenterDot;{]}_{\frac{\mathrm{\&pi;}}{2}}\&Element;[-\frac{\mathrm{\&pi;}}{4},\frac{\mathrm{\&pi;}}{4}].$

一旦建立了代价方程，即可在当前的有效视差范围内结合最优搜索技术确定出最小代价路径，由而获得二维视差图。图3给出的匹配框架中采用了粗-精的匹配策略，通过多分辨率采样扩大算法的收敛范围并加快收敛速度，其中粗通道的匹配结果经内插后作为下一细通道的视差初值图，如：尺度m下获得的视差图经内插后将作为m-1尺度下的视差初始图，视差的有效搜索范围是[d₀-Δd，d₀+Δd]。其中，d₀是视差初值，而Δd则满足带通滤波器ψ_p ^q(x，y)，p∈{1，2，3}的通带中心频率的半波长限制。

Claims (2)

1、一种多分辨率四元小波相位匹配方法，其特征在于，将四元小波理论首次应用在未校正自然图像的相位匹配中，直接利用频率域的四元小波相位信息实现对未校正自然图像对的可靠匹配，直接对未校正自然图像进行二维视差估计，相对于未校正图像的立体匹配方法，在计算视差图时，不需估计基础矩阵以及进行外极线重整，给出了除四元Gabor小波之外的四元小波滤波器的构造方法，能自适应地处理四元相位奇点引起的误匹配问题。

2、如权利要求1所述的多分辨率四元小波相位匹配方法，其特征是，所述的直接利用频率域的四元小波相位信息实现对未校正自然图像对的可靠匹配，具体步骤以下：

1)构造二维解析信号以提取二维局部相位结构，首先构造出单维的线性相位的实小波滤波器，然后采用希尔伯特变换在二维空间进行线性相位的四元小波滤波器的构造；

2)将构造所得的四元小波滤波器对未校正图像对作多分辨率的带通滤波并提取局部四元相位信息，通过建立代价函数寻找最大相似的四元相位结构，从而解决二维匹配问题；

3)建立代价函数利用带通滤波的输出能量自适应地抑制由相位奇点引起的误匹配。

Images