CN101159063A - 超复数互相关与目标中心距离加权相结合的跟踪算法 - Google Patents

Abstract

本发明属于彩色目标跟踪技术领域，具体为一种“超复数互相关”与“目标中心距离加权”相结合的目标跟踪算法。很多目标跟踪算法都是提取彩色目标的灰度信息作为跟踪特征，丢失了目标的色彩信息；而目前几乎所有的彩色目标跟踪方法都是对灰度图像处理方法的简单扩展，不能代表彩色图像的色彩关联。即使两个彩色物体颜色相差很大，但是它们的灰度值却有可能是很接近的，采用传统的实数匹配方法就有可能发生误匹配。本发明使用超复数互相关的方法，把彩色图像作为一个矢量整体进行处理，提供了目标的完整色彩特征，对目标的匹配提供了更多有用信息；而且我们把超复数互相关与“目标中心距离加权”相结合来提高目标跟踪的抗干扰能力，更好地实现了对彩色目标的准确跟踪。

Description

超复数互相关与目标中心距离加权相结合的跟踪算法

技术领域

本发明属于彩色目标跟踪技术领域，具体涉及一种“超复数互相关”与“目标中心距离加权”相结合的目标跟踪算法。

背景技术

超复数互相关技术比传统互相关更能体现图像的色彩关联，它表达了两帧图像色彩之间的映射和旋转，找到超复数互相关的模值最大值，可以进行图像配准，同时得到色彩的旋转轴和旋转角度信息^[1]，减少光照变化等的影响，还可以反向旋转，进行图像色彩校正。如今，超复数互相关技术已经应用到彩色图像的图像配准^[1]、光谱分析^[3]、图像数据压缩和边缘检测^[4]等多个领域。

在彩色目标跟踪领域，很多跟踪算法都是提取彩色目标的灰度信息作为跟踪特征，丢失了目标的色彩信息；而目前几乎所有的彩色目标跟踪方法都是对灰度图像处理方法的简单扩展，大多数都是对RGB、YIQ或HIS空间各分量的简单合成，例如，取各分量的平均值或把各分量分别处理的结果进行相加，这样的处理方法不能代表彩色图像的色彩关联。本发明采用超复数互相关的方法，把彩色图像作为一个矢量整体进行处理，提供了目标的完整色彩特征，对目标的匹配提供了更多有用信息。跟踪过程中若发生部分遮挡，总是目标的边缘被阻挡，为了增强对部分遮挡的抗干扰能力，越远离目标中心就应该赋予越小的权值，所以我们把超复数互相关与“目标中心距离加权”^[2]相结合来提高目标跟踪的抗干扰能力，更好地实现了对彩色目标的准确跟踪。

发明内容

本发明的目的在于提供一种体现彩色目标的完整色彩特征并具有抗干扰能力的彩色目标的实时跟踪算法。本发明提出的是一种超复数互相关^[1]与“目标中心距离加权”^[2]相结合的目标跟踪算法。

超复数把彩色图像作为一个矢量整体进行描述，因而能更好地描述图像的色彩关联。设(m，n)为彩色图像中像素的坐标，则彩色图像RGB(R、G、B分别表示红、绿、蓝分量)模型可以表示为如下的无实部的纯超复数：f(m，n)＝R(m，n)i+G(m，n)j+B(m，n)k。

其中，i、j、k为超复数的虚数单位。

在目标跟踪过程中，我们用以目标中心位置(x_c，y_c)为中心的椭圆表示目标^[5]。跟踪过程中若发生部分遮挡，总是目标的边缘被阻挡，为了增强对部分遮挡的抗干扰能力，越远离目标中心就应该赋予越小的权值，所以对每一点χ_i进行中心距离加权^[2]： $w_d\left({\mathrm{\χ}}_i\right)=1-d_i^2,$ 为了保证特征具有各向同性，所以把椭圆内各像素的距离归一化到单位圆内，则有：

$d_i=\sqrt{{((x_i-x_c)/L_x)}^2+{((y_i-y_c)/L_y)}^2}---\left(1\right)$

设图像目标模板为f(χ)，χ＝(x，y)表示目标像素的坐标，第k帧图像待匹配图像为g(χ+ξ)，ξ＝(m，n)表示匹配点在图像中的相对移动。超复数把彩色图像作为一个矢量整体进行处理，提供了目标的完整色彩特征，对目标的匹配提供了更多有用信息，本发明的算法中，f(χ)和g(χ)都是彩色图像的RGB超复数形式：f(x，y)＝R(x，y)i+G(x，y)j+B(x，y)k。

超复数互相关技术比传统互相关更能体现图像的色彩关联，它表达了两帧图像色彩之间的映射和旋转，所以我们采用“超复数互相关”作为目标跟踪的匹配准则。两幅彩色图像的超复数互相关的形式为：

$\mathrm{cr}(m,n)=f*g=\underset{x=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{y=0}{\overset{N-1}{\mathrm{\Σ}}}f(x,y)\stackrel{\‾}{g(x-m,y-n)}---\left(2\right)$

f、g分为两幅彩色图像的纯超复数模型，

为复数g的共轭复数，下同。

超复数乘法不满足交换律，因此彩色图像超复数互相关不满足相关定律，不能由两幅图像各自的傅氏变换相乘的逆变换得到。可以通过“分解垂直平行向量法”^[1，6]或参考文献[7]中的快速算法，利用传统的快速傅氏变换FFT工具来进行超复数互相关的快速计算。

其中，超复数的二维傅氏变换和逆变换由下式给出^[8]：

$F^R(v,u)=\frac{1}{\sqrt{\mathrm{MN}}}\underset{m=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{n=0}{\overset{N-1}{\mathrm{\Σ}}}f(m,n)e^{-\mathrm{\μ}2\mathrm{\π}(\frac{\mathrm{mv}}{M}+\frac{\mathrm{nu}}{N})}---\left(3\right)$

$f(m,n)=F^{-R}=\frac{1}{\sqrt{\mathrm{MN}}}\underset{v=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{u=0}{\overset{N-1}{\mathrm{\Σ}}}F(v,u)e^{\mathrm{\μ}2\mathrm{\π}(\frac{\mathrm{mv}}{M}+\frac{\mathrm{nu}}{N})}---\left(4\right)$

这里，M、N为图像尺寸，即M为像素行坐标m的总数，N为像素列坐标n的总数。μ为单位虚向量，在彩色图像处理中可以取强度图像矢量 $\mathrm{\μ}=(i+j+k)/\sqrt{3}\·$ 在超复数图像空间，任何色彩向量与μ轴的平行分量代表该向量的亮度，与该轴的垂直分量代表该向量的色度。

因为互相关的配准曲面过于平滑，没有明显的峰值，所以在图像匹配中使用“超复数相位互相关”^[1]，即在频域中把互相关的结果除以模值，表示为：

$C_{\mathrm{\φ}}(f,g)=F^{-R}\left\{\frac{\mathrm{CR}(v,u)}{\left|\mathrm{CR}(v,u)\right|}\right\}---\left(5\right)$

其中，超复数的模值为：先取其实部和各虚部的平方和，再开方。

找到C_φ(f，g)的模值最大值，即为图像匹配点。由于可以使用快速傅氏运算，大大提高了运算速度，所以在目标跟踪中可以在一定的搜索区域内采用“遍历搜索”进行目标模板匹配，同时满足实时性要求。

第k帧图像中，图像匹配的搜索区域以第k-1帧的目标位置为中心。做“互相关”运算，要求两幅图像必须尺寸一样，我们通过把模板椭圆之外的像素补零，把目标模板从椭圆尺寸扩充到搜索区域尺寸。所以目标图像的权值为：

对于待匹配图像，g(χ)在搜索范围内的每一个像素都要参与图像匹配，所以对所有像素α_g(χ)＝1；如图2所示。

值得注意的是，由于第k帧图像待匹配图像为g(x+m，y+n)，所以匹配的是cr(-m，-n)，在运算中以图3所示矩阵的右下角为起点。

由分析可见，本发明提出的超复数互相关与目标中心距离加权相结合的跟踪算法，是把目标跟踪的彩色RGB(红、绿、蓝)模型表示为超复数形式，采用超复数互相关技术作为彩色目标跟踪的匹配准则，体现了图像的色彩关联，使用超复数的图像处理方法，把彩色图像作为一个矢量整体进行处理，提供了目标的完整色彩特征，对目标的匹配提供了更多有用信息，提高了目标匹配的准确度。同时把超复数互相关技术与“目标中心距离加权”相结合，越远离目标中心就赋予越小的权值，从而提高目标跟踪的抗干扰能力，增强了对彩色目标的跟踪鲁棒性。

本发明进行彩色目标跟踪算法的步骤归纳如下为：

1 建立目标模板：在第1帧图像时，以目标中心位置(x_c，y_c)为中心的椭圆表示目标，确定一定范围的搜索区域，周围像素补零，如图4(b)所示。χ＝(x，y)表示目标像素的坐标，对目标图像中的每一个像素进行“中心距离加权”，权值如(6)式所示。加权后的目标像素的超复数色彩特征模型为：

2目标跟踪过程：

1)读入第k帧图像。

2)确定以第k-1帧的目标中心χ_c，k-1为中心的一定范围的搜索区域，搜索区域内的像素为g(χ)，也把它的RGB模型表示为超复数形式。

3)计算目标模型f_T和搜索区域g的超复数相位互相关C_φ(f，g)。设待匹配图像为g(χ+ξ)，其中ξ＝(m，n)表示匹配点在搜索区域图像中的相对移动，两幅图像在ξ位置的超复数互相关cr(ξ)为： $\mathrm{cr}\left(\mathrm{\ξ}\right)f_T*g=\underset{x=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{y=0}{\overset{N-1}{\mathrm{\Σ}}}{f}_T(x,y)\stackrel{\‾}{g(x-m,y-n)}\·$ cr(ξ)的超复数傅氏变换为(其中，μ取强度图像矢量， $\mathrm{\μ}=(i+j+k)/\sqrt{3}):$ $\mathrm{CR}(v,u)=F^R\left(\mathrm{cr}\left(\mathrm{\ξ}\right)\right)=\frac{1}{\sqrt{\mathrm{MN}}}\underset{m=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{n=0}{\overset{N-1}{\mathrm{\Σ}}}\mathrm{cr}(m,n)e^{-\mathrm{\μ}2\mathrm{\π}(\frac{\mathrm{mv}}{M}+\frac{\mathrm{nu}}{N})}\·$ |CR(v，u)|是CR(v，u)的模值，其值为先取CR(v，u)的实部和CR(v，u)各虚部的平方和，再开方。则f_T和g的超复数相位互相关为： $C_{\mathrm{\φ}}(f,g)=F^{-R}\left\{\frac{\mathrm{CR}(v,u)}{\left|\mathrm{CR}(v,u)\right|}\right\}$ (F^-R为如(4)式所示的超复数傅氏逆变换)。

4)以图3所示矩阵的右下角为起点，寻找使f和g超复数相位互相关C_φ(f，g)为最大值的ξ位置，即为第k帧图像和目标初始模板的配准点，也就是第k帧的目标中心位置。

附图说明

图1为目标模板权值的图示。

图2为待匹配图像权值的图示。

图3为互相关函数的示意图。

图4为目标跟踪实验。

其中(a)跟踪目标；

(b)填充补0后的跟踪目标模板；

(c)待匹配的第k帧图像(方框内为搜索区域)。

图5为跟踪实验的算法比较。

其中(a)传统的相位互相关方法的匹配曲面；

(b)中心距离加权的“超复数相位互相关”方法的匹配曲面。

具体实施方式

本小节通过一个车辆跟踪的实验例子来阐述本发明的具体实施方式。本跟踪实例的跟踪目标为蓝色小车，如图4(a)所示，而在第k帧图像中又有一辆与蓝色小车形状相同的红色小车，如图4(c)所示。本发明的具体实施方式如下：

1.建立目标模板：在第1帧图像时，以蓝色小车的中心位置(x_c，y_c)为中心的椭圆表示目标，确定一定范围的搜索区域，周围像素补零，如图4(b)所示。对蓝色小车目标图像进行“中心距离加权”，加权后的目标像素的超复数色彩特征模型f_T如(7)式所示。

2.目标跟踪过程：

1)读入第k帧图像。

2)确定以第k-1帧的目标中心χ_c，k-1为中心的搜索区域，如图4(c)的白色方框所示，搜索区域内的像素为g(χ)，表示为超复数形式。

3)计算目标彩色特征模型f_T和搜索区域g的超复数相位互相关C_φ(f，g)。设待匹配图像为g(χ+ξ)，其中ξ＝(m，n)表示匹配点在搜索区域图像中的相对移动，cr(ξ)表示f_T和g的超复数互相关，CR(v，u)为cr(ξ)的超复数傅氏变换，|CR(v，u)|是CR(v，u)的模值，则f_T和g的超复数相位互相关为： $C_{\mathrm{\φ}}(f,g)=F^{-R}\left\{\frac{\mathrm{CR}(v,u)}{\left|\mathrm{CR}(v,u)\right|}\right\}\·$ 图5(b)表示的是

f_T和g的归一化的超复数相位互相关曲面。

4)以图3所示矩阵的右下角为起点，寻找使f和g超复数相位互相关C_φ(f，g)为最大值的ξ位置，即为第k帧跟踪图像和蓝色小车目标初始模板的配准点，图5(b)中的数值为1的位置也就是第k帧的目标中心位置。

我们通过与传统的实数互相关匹配的目标跟踪进行比较，来阐述本发明的技术效果。如果采用传统的实数互相关匹配进行目标跟踪，那么要把图像的RGB色彩度转化为灰度：f(x，y)＝(R(x，y)+G(x，y)+B(x，y))/3。在第k帧得到的归一化的相位互相关的曲面如图5(a)所示，相位互相关的最大值为红色小车所在位置，发生了误匹配。

而我们采用本发明提出的中心距离加权的超复数互相关匹配进行目标跟踪，彩色图像表示为超复数形式，则归一化的超复数相位互相关的曲面如图5(b)所示，最大值为蓝色小车所在位置，跟踪目标正确。同时可以看出，图5(b)的曲面比图5(a)平坦得多，这是因为应用了“中心距离加权”，增强了抗干扰能力的缘故。

分析该跟踪实验的色彩数据表明，红色小车的红色(R)分量值很大，但绿色(G)和蓝色(B)分量的值较小，使得进行RGB分量平均后，灰度值和蓝色小车的目标模板就差不多了，而第k帧图像中的蓝色小车的每一个分量值都比目标模板小一些，所以采用传统的实数互相关匹配，会导致目标的误匹配。而本发明采用超复数互相关匹配，就可以避免这种情况。

综上所述，对于彩色目标来说，即使两个物体颜色相差很大，但是它们的灰度值却有可能是很接近的，这时采用传统的实数匹配方法进行目标跟踪，由于丧失了色彩信息，就有可能发生误匹配。而本发明采用超复数互相关匹配的方法，同时与“目标中心距离加权”相结合，提高了目标跟踪的抗干扰能力，优于传统的实数匹配的目标跟踪方法，实现了对彩色目标的准确跟踪。

参考文献

[1]C E Moxey，S J Sangwine，T A Ell.Hypercomplex correlation techniques fbr vector images[J].IEEETrans on Signal Processing，2003，51(7)：1941-1953.

[2]江淑红，汪沁，张建秋，胡波，“基于目标中心距离加权和图像特征识别的跟踪算法”，电子学报，2006，34(7)：1175-1180.

[3]Ja-Han Chang，Soo-Chang Pei，Jian-Jiun Ding.2D quaternion Fourier spectral analysis and its applications[C].Proceedings of IEEE International Symposium on Circuits and Systems(ISCAS′04)，23-26 May2004，3：III-241-4.

[4]S J Sangwine.Color image edge detector based on QCV[J].IEE Electron.Letter，1998，34(10)：969-971.

[5]D Comaniciu，P Meer.Kernel-based object tracking[J].IEEE Trans.on Pattern Analysis and MachineIntelligence，2003，25(5)：564-577.

[6]T A Ell，and S J Sangwine.Hypercomplex Wiener-Khintchine theorem with application to color imagecorrelation[C].IEEE International Conference on Image Processing(ICIP2000)，Sept 10-13 2000，2：792-795.

[7]专利：彩色图像的超复数傅氏变换和超复数互相关的快速算法  发明人：江淑红，郝明非，张建秋，胡波

S J Sangwine，and T.A.Ell，The discrete Fourier transform of a colour image[A].J M Blackledge，M JTurner.Image processing II mathematical methods，algorithms and applications[C]，Chichester，U.K.：EllisHorwood，2000：430-441

Claims (2)

1.一种超复数互相关与目标中心距离加权相结合跟踪算法，其特征在于具体步骤如下：

1.建立目标模板：

1)在第1帧图像时，以目标中心位置(x_c，y_c)为中心的椭圆表示目标，确定一定范围的搜索区域，周围像素补零。

2)设χ＝(x，y)表示目标像素的坐标，计算出目标椭圆内每一个像素到目标中心的归一化距离： $d_i=\sqrt{{((x_i-x_c)/L_x)}^2+{((y_i-y_c)/L_y)}^2}\·$

3)对目标图像中的每一个像素进行“中心距离加权”，权值如下式所示：

4)加权后的目标像素的超复数色彩特征模型为：

这里，i、j、k为虚数单位；R(χ)、G(χ)、B(χ)分别表示彩色图像的红、绿、蓝分量；

2.目标跟踪过程：

1)读入第k帧图像。

2)确定以第k-1帧的目标中心χ_c，k-1为中心的一定范围的搜索区域，搜索区域内的像素为g(χ)，也把它的RGB(红、绿、蓝)模型表示为超复数形式。

3)计算目标模型f_T和搜索区域g的超复数相位互相关C_φ(f，g)。设待匹配图像为g(χ+ξ)，其中ξ＝(m，n)表示匹配点在搜索区域图像中的相对移动，两幅图像在ξ位置的超复数互相关cr(ξ)为： $\mathrm{cr}\left(\mathrm{\ξ}\right)=f_T*g=\underset{x=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{y=0}{\overset{N-1}{\mathrm{\Σ}}}{f}_T(x,y)\stackrel{\‾}{g(x-m,y-n)}\·$ (记号

表示复数P的共轭复数)。设μ为强度图像矢量，即 $\mathrm{\μ}=(i+j+k)/\sqrt{3},$ 则cr(ξ)的超复数傅氏变换为： $\mathrm{CR}(v,u)=F^R\left(\mathrm{cr}\left(\mathrm{\ξ}\right)\right)=\frac{1}{\sqrt{\mathrm{MN}}}\underset{m=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{n=0}{\overset{N-1}{\mathrm{\Σ}}}\mathrm{cr}(m,n)e^{-\mathrm{\μ}2\mathrm{\π}(\frac{\mathrm{mv}}{M}+\frac{\mathrm{nu}}{N})}\·$ |CR(v，u)|是CR(v，u)的模值，

其值为先取CR(v，u)的实部和CR(v，u)各虚部的平方和，再开方。则f_T和g的超复数相位互相关为： $C_{\mathrm{\φ}}(f,g)=F^{-R}\left\{\frac{\mathrm{CR}(v,u)}{\left|\mathrm{CR}(v,u)\right|}\right\}$ (F^-R为超复数傅氏逆变换)。

4)寻找使f和g超复数相位互相关C_φ(f，g)为最大值的ξ位置，即为第k帧图像和目标初始模板的配准点，也就是第k帧的目标中心位置。

Images