CN102184411A - 基于彩色信息的尺度不变特征点描述和匹配方法 - Google Patents

Abstract

本发明公开了基于彩色信息的尺度不变特征点描述和匹配方法，首先分别对数字彩色图像中的R、G、B彩色分量进行高斯卷积；依据特征点的坐标、方向和尺度等信息，确定该特征点描述子的位置和结构；计算描述子同心圆结构中各子区域内的R、G、B彩色分量的均值，将每个均值作为特征向量的一维元素构建特征向量；按照所属子区域与特征点之间的距离，对各维特征向量元素乘以高斯权重；分别对属于同一彩色分量的特征向量元素进行归一化处理；依次计算所有特征点的特征向量，构建图像的特征向量空间；最后在两幅图像的特征向量空间中，计算两两特征向量之间的距离，匹配对应的特征点。

Description

基于彩色信息的尺度不变特征点描述和匹配方法

技术领域

本发明属于通用图像数据处理技术，特别是一种基于彩色信息的尺度不变特征点描述和匹配方法。

背景技术

图像特征点是一种能够对多种图像变化都具有一定鲁棒性的图像局部特征。在提取特征点之后，需要使用描述子，利用特征点周围的局部图像信息，通过计算获取各特征点的特征向量，并形成图像的特征向量空间。在两幅图像中匹配相同的特征点就是在这两幅图像的特征向量空间中匹配对应的特征向量。

尺度不变特征点不仅能够适应平移、旋转和噪声等图像变化，而且对图像尺度变化(图像缩放)也具有较强的鲁棒性。因而，对应于尺度不变特征点的描述方法以及特征描述向量也需要具有尺度不变性。

Mikolajczyk提出了Harris-Laplace尺度不变特征点，并利用微分不变(differentialinvariants)描述子来计算特征点的特征向量。微分不变描述子使用被命名为local jet的一系列微分计算来对特征点附近的局部区域图像进行描述，并采用马氏距离(Mahalanobis distance)来判别特征向量之间的相似性。该描述子虽然具有一定的尺度不变性，但是微分计算本身对图像噪声比较敏感(K.Mikolajczyk.Detection of localfeatures invariant to affine transformations：[PhD Thesis].Montbonnot，France：INRIA，2002)。

Lowe基于动物视觉神经细胞对外部图像信息的应答特性提出SIFT(Scale-InvariantFeature Transform)尺度不变特征点和SIFT描述子，将以特征点为中心的局部区域图像划分成16个正方形区域，计算各区域内的八方向梯度方向直方图来组成特征点的128维特征向量，并利用欧式距离进行相似性判别。SIFT描述子的鲁棒性较强，但是由于特征向量的维数较高，向量匹配的计算量也较大(D.G.Lowe.Distinctive imagefeatures from scale-invariant keypoints.International Journal of Computer Vision，2004，60(2)：91～110)。

上述尺度不变特征点描述和匹配方法都是基于图像的灰度信息，并没有利用图像的彩色信息。Swain和Ballard提出彩色直方图对彩色图像进行匹配。彩色直方图中的每一维表示所使用的彩色模型的一个分量，并且依据分量的取值范围进行离散化。直方图中每个单元的数值通过统计落入相应单元中的像素的个数而获得(M.J.Swain，D.H Ballard.Color indexing.International Journal of Computer Vision，1991，7(1)：11～32)。RGB彩色直方图不具有对光照改变的适应能力。为了增强对光照变化的鲁棒性，Adjeroh和Lee选用了具有彩色不变性的彩色比率模型分量来组成彩色比率直方图(D.A.Adjeroh，M.C.Lee.On ratio-based color indexing.IEEE Transactions on ImageProcessing，2001，10(1)：36～48)。彩色直方图虽然利用了图像的彩色信息，但是对噪声和缩放等图像变化的鲁棒性较差，不适用于图像尺度不变特征点的描述和匹配。

也有学者将图像的RGB或HSV彩色分量当成灰度图像信息来处理，并利用SIFT等原本基于灰度信息的描述子计算各彩色分量图中的彩色分量梯度直方图，最终生成3×128＝384维特征向量。这种匹配方法实质上是SIFT描述子的一种扩展，但是特征向量维数却大大增加，匹配的实时性受到较大影响。

总结国内外公开的图像特征点描述和匹配相关文献及研究成果，存在以下不足：(1)基于微分计算的特征点描述子虽然特征向量维数较低并且匹配计算量小，但是对图像噪声较为敏感；(2)SIFT描述子等基于特定区域图像信息分布的描述方法具有较强的鲁棒性，但是由于描述子结构复杂，并且特征向量的维数较高，匹配的计算量往往很大；(3)基于彩色直方图的描述子对图像变化的鲁棒性较差；(4)将图像的彩色分量当成灰度图像来处理，使用SIFT等基于图像灰度信息的描述子，所生成的特征向量的维数会成倍增加，匹配的计算量更大。

发明内容

发明目的：本发明所要解决的技术问题是针对现有技术的不足，提供一种以图像RGB彩色信息为基础的，具有尺度不变特性的图像特征点描述子，实现不同图像的尺度不变特征点之间的有效匹配。

为了解决上述技术问题，本发明公开了一种基于彩色信息的尺度不变特征点描述和匹配方法，包括如下步骤：

步骤1，提取输入数字彩色图像的R、G、B彩色分量；根据图像的噪声设置高斯卷积的标准差，分别对所提取的R、G、B彩色分量图像使用一维高斯模板在垂直和水平方向上先后进行两次一维高斯卷积，作为后续彩色分量均值计算的依据；

步骤2，依据各特征点的坐标确定对应同心圆描述子的中心位置，依据特征点的方向确定描述子的基准方向，依据特征点尺度确定描述子的区域大小；对落入同一描述子子区域中的所有像素点计算R、G、B彩色分量的均值，所有16个子区域的彩色分量均值共构建48维特征向量元素。其中，特征点尺度值等于图像尺度空间中提取该特征点所在图像层所对应的尺度大小；

步骤3，依据描述子子区域与特征点之间的距离确定各子区域的高斯权重；按照所属子区域，将各特征向量元素乘以相应的权重值，以区分离特征点距离远近不同的子区域所占的比重；

步骤4，将特征向量的48维元素按照所属彩色分量的不同分为三组，对应于R、G、B彩色分量，其中，每组元素包括16个，对应于描述子的16个子区域；分别对属于同一彩色分量的16个向量元素进行归一化处理，形成最终的特征描述向量；

步骤5，对图像所有尺度不变特征点进行特征向量计算后，将所有的特征向量组合成该图像的特征向量空间；在两幅图像的特征向量空间中进行特征点匹配，计算一幅图像中的某个特征点的特征向量与另一幅图像的所有特征向量之间的欧式距离，当最近距离与次近距离的比值小于阈值时，距离最近的一对特征点为匹配特征点。

本发明步骤2中，所述特征点描述子为一种同心圆结构，取外圆半径为特征点尺度大小的k倍，k为自然数，内圆的半径为外圆半径的二分之一，等于特征点尺度大小的k/2倍；内圆每隔90度划分4个子区域，圆环每隔30度划分12个子区域，16个子区域面积相同，编号从内向外逆时针排列，并设置描述子基准方向为其0°方向；在特征向量计算中，以特征点所在的图像坐标为描述子中心位置，旋转描述子的基准方向与特征点方向一致。

本发明步骤2中，基于同心圆描述子的特征向量计算步骤如下：

步骤201：依据特征点在图像中的坐标(i，j)、方向β和尺度s，设置同心圆描述子中心在图像坐标(i，j)上，旋转描述子的基准方向指向β角度，并取描述子半径r＝ks；

步骤202：以图像坐标(i，j)为中心，以2r为边长，选取同心圆描述子的外接正方形A，并确定正方形区域A中的所有像素点，用Im(x，y)表示图像中坐标为(x，y)的像素点，对于区域A中的每个像素点，有i-2r≤x≤i+2r且j-2r≤y≤j+2r；

步骤203：选取区域A内的一个像素点，计算该像素点与特征点之间的距离l，计算该像素点和特征点连线与描述子方向之间的夹角θ，并转换到0°～360°范围内；

步骤204：对距离l进行判别，如果l＞r，像素点未落入描述子的区域内，进行步骤203；如果0.5r＜l＜r，进行步骤205；如果l＜0.5r，进行步骤206；

步骤205：用n表示像素点所落入描述子子区域的标号，对θ进行判别，判据如下：

如果0°≤θ＜30°，则n＝5，判定该像素点落入子区域5；

如果30°≤θ＜60°，则n＝6，判定该像素点落入子区域6；

如果60°≤θ＜90°，则n＝7，判定该像素点落入子区域7；

如果90°≤θ＜120°，则n＝8，判定该像素点落入子区域8；

如果120°≤θ＜150°，则n＝9，判定该像素点落入子区域9；

如果150°≤θ＜180°，则n＝10，判定该像素点落入子区域10；

如果180°≤θ＜210°，则n＝11，判定该像素点落入子区域11；

如果210°≤θ＜240°，则n＝12，判定该像素点落入子区域12；

如果240°≤θ＜270°，则n＝13，判定该像素点落入子区域13；

如果270°≤θ＜300°，则n＝14，判定该像素点落入子区域14；

如果300°≤θ＜330°，则n＝15，判定该像素点落入子区域15；

如果330°≤θ＜360°，则n＝16，判定该像素点落入子区域16；

进行步骤207；

步骤206：对θ进行判别，判据如下：

如果0°≤θ＜90°，则n＝1，判定该像素点落入子区域1；

如果90°≤θ＜180°，则n＝2，判定该像素点落入子区域2；

如果180°≤θ＜270°，则n＝3，判定该像素点落入子区域3；

如果270°≤θ＜360°，则n＝4，判定该像素点落入子区域4；

进行步骤207；

步骤207：依据下式将该像素点的R、G、B彩色分量值分别累加到与子区域n对应的特征向量的元素中：

colorFeature[3n-3]＝colorFeature[3n-3]+RIm(x，y)，

colorFeature[3n-2]＝colorFeature[3n-2]+GIm(x，y)，

colorFeature[3n-1]＝colorFeature[3n-1]+BIm(x，y)；

其中，RIm(x，y)、GIm(x，y)和BIm(x，y)分别表示像素点Im(x，y)的R、G、B彩色分量值；colorFeature[]表示特征点的特征向量，并且colorFeature[]的维数为48维；

步骤208：判定该像素点落入子区域n，根据式pointN[n-1]＝pointN[n-1]+1，统计各子区域中的像素点个数，其中，16维向量pointN[]用来存储16个子区域分别包含像素点的个数，且pointN[n-1]对应于子区域n；

步骤209：判断区域A中所有像素点是否全部计算完毕，如果没有计算完，进行步骤203，否则进行步骤210；

步骤210：依据式colorFeature[m]＝colorFeature[m]/pointN[[m/3]](m＝0，1，2，...，47)，计算各描述子子区域中R、G、B彩色分量的均值，作为对应的特征向量元素。其中，[m/3]为取整数运算。

本发明步骤202中，描述子外接正方形区域A超出图像边界范围时，确定像素点的处理方式如下：

用变量imH和imW分别表示图像的高度和宽度，

如果x＜0且y＜0，取Im(x，y)＝Im(-x，-y)；

如果x＞imH-1且y＜0，取Im(x，y)＝Im(2(imH-1)-x，-y)；

如果x＜0且y＞imW-1，取Im(x，y)＝Im(-x，2(imW-1)-y)；

如果x＞imH-1且y＞imW-1，取Im(x，y)＝Im(2(imH-1)-x，2(imW-1)-y)。

本发明步骤3中，按照所属子区域与特征点之间的距离，将各特征向量元素乘以相应的高斯权重值，取高斯标准差σ等于r，子区域5～16与子区域1～4的高斯权重比值为0.7788；设置与子区域1～4对应的特征向量元素值不变，而与子区域5～16对应的特征向量元素乘以权重值0.7788：

$\mathrm{colorFeature}\left[m\right]=\left\{\begin{array}{cc}\mathrm{colorFeature}\left[m\right]& m=\mathrm{0,1,2},...,11\\ 0.7788\×\mathrm{colorFeature}\left[m\right]& m=\mathrm{12,13},...,47\end{array}\right..$

本发明步骤4中，分别对属于同一彩色分量的16个向量元素进行归一化处理，形成最终的特征描述向量：

$\mathrm{colorFeature}[3n-3]=\mathrm{colorFeature}[3n-3]/\underset{k=1}{\overset{16}{\mathrm{\Σ}}}\mathrm{colorFeature}[3k-3],n=\mathrm{1,2},...,16$

$\mathrm{colorFeature}[3n-2]=\mathrm{colorFeature}[3n-2]/\underset{k=1}{\overset{16}{\mathrm{\Σ}}}\mathrm{colorFeature}[3k-2],n=\mathrm{1,2},...,16.$

$\mathrm{colorFeature}[3n-1]=\mathrm{colorFeature}[3n-1]/\underset{k=1}{\overset{16}{\mathrm{\Σ}}}\mathrm{colorFeature}[3k-1],n=\mathrm{1,2},...,16$

有益效果：本发明优点包括：(1)彩色分量的高斯卷积，描述子的同心圆结构以及特征向量元素的归一化处理实现描述子对噪声、光照、平移、旋转、缩放等多种图像变化的鲁棒性；(2)在保证对多种图像变化都具有较强适应能力的同时，特征向量的维数与SIFT等基于特定区域灰度信息分布的描述子相比明显减少，使得特征向量描述和匹配计算具有较好的实时性；(3)由于充分利用图像的彩色信息，比利用图像灰度信息的描述子能够更好地识别彩色物体。

附图说明

下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明上述和/或其他方面的优点将会变得更加清楚。

图1是本发明特征点描述子计算流程图。

图2是本发明特征点描述子同心圆结构示意图。

图3是本发明同心圆描述子构建示意图。

图4是本发明特征向量计算流程图。

图5是本发明实施例示意图。

具体实施方式

如图1所示，本发明实现了一种基于彩色信息的尺度不变特征点描述和匹配方法，具体步骤如下：

步骤1：对输入的数字彩色图像提取R、G、B彩色分量，并分别对R、G、B彩色分量图像中的各个像素进行高斯卷积运算以减少图像噪声的影响，卷积后的彩色分量图像RIm、GIm和BIm作为后续特征向量计算的依据。为了减少卷积计算量，依据二维高斯分布函数的可分离性，根据式：

g(x，y；σ)*Im(x，y)＝g(y；σ)*(g(x；σ)*Im(x，y))，

将图像的二维高斯卷积转化为垂直方向和水平方向上的两次一维高斯卷积来计算。高斯卷积标准差σ的设置需要依据图像的噪声情况，图像噪声越严重，标准差σ的取值越大以加大平滑力度。一般情况下，可以取σ等于1，则对应的一维高斯卷积模板为[0.0044，0.0540，0.2420，0.3992，0.2420，0.0540，0.0044]。

步骤2：对于图像中的任意一个尺度不变特征点，依据该特征点的坐标、方向和尺度等参数确定同心圆描述子的中心位置、基准方向和区域大小，以增强对平移、旋转和缩放等图像变化的鲁棒性。针对同心圆描述子的16个子区域，对落入各子区域内的所有像素点分别计算R、G、B彩色分量的均值，构建48维特征向量元素。

目前，尺度不变特征点主要包括Harris-Laplace特征点和SIFT特征点。坐标、方向和尺度是尺度不变特征点的三个重要参数。坐标值表示特征点在图像中的具体位置；方向值依据以特征点为中心的局部图像区域内的梯度方向直方图来确定；特征点尺度值等于图像尺度空间中提取该特征点所在图像层所对应的尺度大小。尺度不变特征点的提取方法和参数计算可参考相关文献(K.Mikolajczyk.Detection of local featuresinvariant to affine transformations：[PhD Thesis].Montbonnot，France：INRIA，2002和D.G.Lowe.Distinctive image features from scale-invariant keypoints.International Journal ofComputer Vision，2004，60(2)：91～110)。

结合图2，描述子为一种同心圆结构，外圆的半径为内圆半径的两倍。内圆每隔90度按0°～90°，90°～180°，180°～270°，270°～360°划分为4个子区域，分别表示区域1～区域4；圆环每隔30度按0°～30°，30°～60°，60°～90°，90°～120°，120°～150°，150°～180°，180°～210°，210°～240°，240°～270°，270°～300°，300°～330°，330°～360°划分为12个子区域。描述子一共包括面积相同的16个子区域，子区域编号从内向外逆时针排列，分别表示区域5～区域16。描述子的基准方向为其0°方向。

在特征向量计算中，设置描述子中心位置在特征点所在的图像坐标上，以实现平移不变性；旋转描述子的基准方向与特征点方向一致，以实现旋转不变性；取同心圆描述子外圆的半径r为特征点尺度大小的k倍，内圆的半径为特征点尺度大小的k/2倍，以实现尺度不变性。一般情况下，k取值为6。

结合图3和图4，依据描述子结构，以图像像素为单位，计算特征点的特征描述向量的流程如下：

步骤201：依据特征点在图像中的坐标(i，j)、方向β和尺度s，设置同心圆描述子中心在图像坐标(i，j)上，旋转描述子的基准方向指向β角度，并取描述子半径r＝ks＝6s。其中，坐标(i，j)表示位于图像的第i行、第j列的像素点上，(0，0)为图像的左上角像素点。

步骤202：以图像坐标(i，j)为中心，以2r为边长，选取同心圆描述子的外接正方形A，并确定正方形区域A中的所有像素点。如果用Im(x，y)表示图像中坐标为(x，y)的像素点，则对于区域A中的每个像素点，有i-2r≤x≤i+2r且j-2r≤y≤j+2r。假设变量imH和imW分别表示图像的高度和宽度，区域A超出图像边界范围情况的处理方式如下：

如果x＜0且y＜0，取Im(x，y)＝Im(-x，-y)；

如果x＞imH-1且y＜0，取Im(x，y)＝Im(2(imH-1)-x，-y)；

如果x＜0且y＞imW-1，取Im(x，y)＝Im(-x，2(imW-1)-y)；

如果x＞imH-1且y＞imW-1，取Im(x，y)＝Im(2(imH-1)-x，2(imW-1)-y)。

步骤203：选取区域A内的一个像素点，依据式

计算该像素点与特征点之间的距离。依据式θ＝arctan((y-j)，(x-i))-β，计算该像素点和特征点连线与描述子方向之间的夹角，并转换到0°～360°范围内。

步骤204：对l进行判别，如果l＞r，像素点未落入描述子的区域内，转步骤203，依次选取区域A中新的像素点；如果0.5r＜l＜r，转步骤205，进行夹角θ判别；如果l＜0.5r，转步骤206，进行夹角θ判别。

步骤205：用n表示像素点所落入描述子子区域的标号，对θ进行判别，判据如下：

如果0°≤θ＜30°，则n＝5，判定该像素点落入子区域5；

如果30°≤θ＜60°，则n＝6，判定该像素点落入子区域6；

如果60°≤θ＜90°，则n＝7，判定该像素点落入子区域7；

如果90°≤θ＜120°，则n＝8，判定该像素点落入子区域8；

如果120°≤θ＜150°，则n＝9，判定该像素点落入子区域9；

如果150°≤θ＜180°，则n＝10，判定该像素点落入子区域10；

如果180°≤θ＜210°，则n＝11，判定该像素点落入子区域11；

如果210°≤θ＜240°，则n＝12，判定该像素点落入子区域12；

如果240°≤θ＜270°，则n＝13，判定该像素点落入子区域13；

如果270°≤θ＜300°，则n＝14，判定该像素点落入子区域14；

如果300°≤θ＜330°，则n＝15，判定该像素点落入子区域15；

如果330°≤θ＜360°，则n＝16，判定该像素点落入子区域16；

进行步骤207；

步骤206：对θ进行判别，判据如下：

如果0°≤θ＜90°，则n＝1，判定该像素点落入子区域1；

如果90°≤θ＜180°，则n＝2，判定该像素点落入子区域2；

如果180°≤θ＜270°，则n＝3，判定该像素点落入子区域3；

如果270°≤θ＜360°，则n＝4，判定该像素点落入子区域4；

进行步骤207；

步骤207：将该像素点的R、G、B彩色分量值分别累加到与子区域n对应的特征向量的元素中：

colorFeature[3n-3]＝colorFeature[3n-3]+RIm(x，y)

colorFeature[3n-2]＝colorFeature[3n-2]+GIm(x，y)

colorFeature[3n-1]＝colorFeature[3n-1]+BIm(x，y)

其中，RIm(x，y)、GIm(x，y)和BIm(x，y)分别表示像素点Im(x，y)的R、G、B彩色分量值；colorFeature[]表示特征点的特征向量，并且colorFeature[]的维数为48维。

步骤208：该像素点落入子区域n，根据式pointN[n-1]＝pointN[n-1]+1，统计各子区域中的像素点个数。其中，16维向量pointN[]用来存储16个子区域分别包含像素点的个数，且pointN[n-1]对应于子区域n。

步骤209：判断区域A中所有像素点是否全部计算完毕。如果没有计算完，进行步骤203，依次选取区域A中新的像素点；如果计算完，进行步骤210。

步骤210：依据式colorFeature[m]＝colorFeature[m]/pointN[[m/3]](m＝0，1，2，...，47)，计算描述子各子区域中R、G、B彩色分量的均值，作为对应的特征向量元素。其中，[m/3]为取整数运算。

步骤3：依据描述子各子区域与特征点之间的距离确定对应特征向量元素的高斯权重，并将各向量元素乘以相应权重值。高斯权重计算过程中，取标准差σ等于r，子区域1～4与特征点的距离为r/4，子区域5～16与特征点的距离为3r/4，则子区域5～16与子区域1～4的高斯权重比值为0.7788。可以设置子区域1～4的权重值为1，对应特征向量元素值不变。而与子区域5～16对应的特征向量元素乘以权重值0.7788：

$\mathrm{colorFeature}\left[m\right]=\left\{\begin{array}{cc}\mathrm{colorFeature}\left[m\right]& m=\mathrm{0,1,2},...,11\\ 0.7788\×\mathrm{colorFeature}\left[m\right]& m=\mathrm{12,13},...,47\end{array}\right.$

步骤4：将特征向量colorFeature[]的48维元素按照所属彩色分量的不同分为三组，colorFeature[3n-3]对应于R彩色分量，colorFeature[3n-2]对应于G彩色分量，colorFeature[3n-1]对应于B彩色分量。其中，n＝1，2，...，16，对应于描述子16个子区域的编号。分别对属于同一彩色分量的16个向量元素进行归一化处理，以增强对光照变化的鲁棒性：

$\mathrm{colorFeature}[3n-3]=\mathrm{colorFeature}[3n-3]/\underset{k=1}{\overset{16}{\mathrm{\Σ}}}\mathrm{colorFeature}[3k-3],n=\mathrm{1,2},...,16$

$\mathrm{colorFeature}[3n-2]=\mathrm{colorFeature}[3n-2]/\underset{k=1}{\overset{16}{\mathrm{\Σ}}}\mathrm{colorFeature}[3k-2],n=\mathrm{1,2},...,16,$

$\mathrm{colorFeature}[3n-1]=\mathrm{colorFeature}[3n-1]/\underset{k=1}{\overset{16}{\mathrm{\Σ}}}\mathrm{colorFeature}[3k-1],n=\mathrm{1,2},...,16$

形成最终的特征描述向量。

步骤5：按照上述步骤2、3、4，计算所有尺度不变特征点的特征向量，将所有特征向量组合成该图像的特征向量空间。在两幅图像的特征向量空间中进行特征点匹配，计算一幅图像中的某个特征点的特征向量与另一幅图像的所有特征向量之间的欧式距离：

$L=\sqrt{\underset{m=0}{\overset{47}{\mathrm{\Σ}}}{\left(\mathrm{colorFeature}1\right[m]-\mathrm{colorFeature}2[m\left]\right)}^2}$

距离最近并且最近距离与次近距离的比值小于阈值的一对特征点为匹配特征点。一般情况下，阈值可以设置为0.85，表示最近距离小于次近距离的85％时，距离最近的一对特征点为匹配特征点。

下面结合实施例对本发明作进一步详细的说明：

图5a和图5b是两幅彩色图像(根据专利法要求改为黑白图像)。

P₁点为图5a彩色图像中的一个尺度不变特征点，图5c、图5e和图5g分别为利用一维模板[0.0044，0.0540，0.2420，0.3992，0.2420，0.0540，0.0044]，对图5a图像的R、G、B彩色分量进行高斯卷积后的彩色分量图。

P₁点的图像坐标为(60，190)，方向为19.94°，尺度大小为2.3784。则P₁点描述子的中心设置在(60，190)，方向旋转指向19.94°，同心圆半径为14.27(P₁点尺度大小的6倍)。可以计算获得P₁点的48维特征向量为：

$\left[\begin{array}{cccccccccccccccc}0.077& 0.086& 0.064& 0.045& 0.061& 0.079& 0.078& 0.074& 0.073& 0.075& 0.075& 0.070& 0.041& 0.035& 0.034& 0.034\\ 0.074& 0.084& 0.064& 0.047& 0.059& 0.080& 0.079& 0.074& 0.072& 0.074& 0.074& 0.070& 0.042& 0.037& 0.036& 0.035\\ 0.073& 0.082& 0.065& 0.049& 0.059& 0.081& 0.080& 0.074& 0.070& 0.070& 0.071& 0.068& 0.043& 0.039& 0.039& 0.037\end{array}\right].$

P₂点和P₃点为图5b彩色图像中的两个尺度不变特征点，图5d、图5f和图5h分别为对图5b图像的彩色分量进行高斯卷积后的R、G、B彩色分量图。

P₂点的图像坐标为(64，258)，方向为3.85°，尺度大小为4.7568。则P₂点描述子的中心设置在(64，258)，方向旋转指向3.85°，同心圆半径为28.54。可以计算获得P₂点的48维特征向量为：

$\left[\begin{array}{cccccccccccccccc}0.076& 0.085& 0.062& 0.050& 0.064& 0.075& 0.075& 0.073& 0.072& 0.073& 0.073& 0.065& 0.041& 0.040& 0.039& 0.037\\ 0.074& 0.083& 0.063& 0.051& 0.063& 0.075& 0.075& 0.072& 0.072& 0.072& 0.073& 0.065& 0.042& 0.041& 0.041& 0.038\\ 0.072& 0.081& 0.064& 0.054& 0.062& 0.076& 0.076& 0.071& 0.070& 0.070& 0.071& 0.064& 0.044& 0.043& 0.043& 0.040\end{array}\right].$

P₃点的图像坐标为(72，248)，方向为5.36°，尺度大小为13.4543。可以计算获得P₃点的48维特征向量为：

$\left[\begin{array}{cccccccccccccccc}0.077& 0.087& 0.067& 0.049& 0.065& 0.075& 0.073& 0.070& 0.066& 0.074& 0.076& 0.071& 0.050& 0.036& 0.032& 0.033\\ 0.078& 0.087& 0.068& 0.052& 0.065& 0.075& 0.074& 0.069& 0.064& 0.073& 0.075& 0.070& 0.048& 0.035& 0.033& 0.036\\ 0.080& 0.086& 0.069& 0.055& 0.067& 0.077& 0.075& 0.067& 0.059& 0.070& 0.072& 0.068& 0.046& 0.034& 0.035& 0.040\end{array}\right].$

在图5b的特征向量空间中，与P₁点特征向量的欧式距离最近的尺度不变特征点为P₂，距离次近的特征点为P₃，并且P₁与P₂的距离d₁＝0.0215，P₁与P₃的距离d₂＝0.0314。由于d₁/d₂＝68.47％＜85％，所以P₁和P₂是一对匹配的特征点。

从图5中可以看出，与图5a相比较，图5b发生了平移、旋转、缩放、光照等图像变化。此外，两幅图像拍摄的时间和角度也不一样，包含的图像噪声也不同。运用本发明提供的尺度不变特征点描述和匹配方法成功地匹配了P₁和P₂这一对对应特征点。运用SIFT描述子或者扩展的彩色SIFT描述子也能匹配这对特征点，但是特征向量的维数将会达到128维，甚至384维。本发明提供方法所计算的特征向量只有48维，不管是构建特征向量的计算量，还是匹配特征向量的计算量都得到显著降低。

本发明的方法可以对图像尺度不变特征点进行特征描述和匹配，所计算的特征向量对包括噪声、光照、平移、旋转、缩放等在内的众多图像变化都具有较强的鲁棒性，并且能够更好地识别彩色图像信息。较少维数的特征向量也使得图像之间的特征点描述和匹配计算具有较好的实时性。因此，本发明的方法在对实时性要求较高的图像匹配领域，在彩色图像匹配领域中具有更高的应用价值。

本发明提供了一种基于彩色信息的尺度不变特征点描述和匹配方法的思路及方法，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。

Claims (6)

1.一种基于彩色信息的尺度不变特征点描述和匹配方法，其特征在于，包括以下步骤：

步骤1，提取输入数字彩色图像的R、G、B彩色分量；根据图像的噪声设置高斯卷积的标准差，分别对所提取的R、G、B彩色分量图像使用一维高斯模板在垂直和水平方向上先后进行两次一维高斯卷积，作为后续彩色分量均值计算的依据；

步骤2，依据各特征点的坐标确定对应同心圆描述子的中心位置，依据特征点的方向确定描述子的基准方向，依据特征点尺度确定描述子的区域大小；对落入同一描述子子区域中的所有像素点计算R、G、B彩色分量的均值，所有16个子区域的彩色分量均值共构建48维特征向量元素，其中，特征点尺度值等于图像尺度空间中提取该特征点所在图像层所对应的尺度大小；

步骤3，依据描述子子区域与特征点之间的距离确定各子区域的高斯权重；按照所属子区域，将各特征向量元素乘以相应的权重值，以区分离特征点距离远近不同的子区域所占的比重；

步骤4，将特征向量的48维元素按照所属彩色分量的不同分为三组，对应于R、G、B彩色分量，其中，每组元素包括16个，对应于描述子的16个子区域；分别对属于同一彩色分量的16个向量元素进行归一化处理，形成最终的特征描述向量；

步骤5，对图像所有尺度不变特征点进行特征向量计算后，将所有的特征向量组合成该图像的特征向量空间；在两幅图像的特征向量空间中进行特征点匹配，计算一幅图像中的某个特征点的特征向量与另一幅图像的所有特征向量之间的欧式距离，当最近距离与次近距离的比值小于阈值时，距离最近的一对特征点为匹配特征点。

2.根据权利要求1所述的基于彩色信息的尺度不变特征点描述和匹配方法，其特征在于，步骤2中，所述特征点描述子为一种同心圆结构，取外圆半径为特征点尺度大小的k倍，k为自然数，内圆的半径为外圆半径的二分之一，等于特征点尺度大小的k/2倍；内圆每隔90度划分4个子区域，圆环每隔30度划分12个子区域，16个子区域面积相同，编号从内向外逆时针排列，并设置描述子基准方向为其0°方向；在特征向量计算中，以特征点所在的图像坐标为描述子中心位置，旋转描述子的基准方向与特征点方向一致。

3.根据权利要求1所述的基于彩色信息的尺度不变特征点描述和匹配方法，其特征在于，步骤2中，基于同心圆描述子的特征向量计算步骤如下：

步骤201：依据特征点在图像中的坐标(i，j)、方向β和尺度s，设置同心圆描述子中心在图像坐标(i，j)上，旋转描述子的基准方向指向β角度，并取描述子半径r＝ks；

步骤202：以图像坐标(i，j)为中心，以2r为边长，选取同心圆描述子的外接正方形A，并确定正方形区域A中的所有像素点，用Im(x，y)表示图像中坐标为(x，y)的像素点，对于区域A中的每个像素点，有i-2r≤x≤i+2r且j-2r≤y≤j+2r；

步骤203：选取区域A内的一个像素点，计算该像素点与特征点之间的距离l，计算该像素点和特征点连线与描述子方向之间的夹角θ，并转换到0°～360°范围内；

步骤204：对距离l进行判别，如果l＞r，像素点未落入描述子的区域内，进行步骤203；如果0.5r＜l＜r，进行步骤205；如果l＜0.5r，进行步骤206；

步骤205：用n表示像素点所落入描述子子区域的标号，对θ进行判别，判据如下：

如果0°≤θ＜30°，则n＝5，判定该像素点落入子区域5；

如果30°≤θ＜60°，则n＝6，判定该像素点落入子区域6；

如果60°≤θ＜90°，则n＝7，判定该像素点落入子区域7；

如果90°≤θ＜120°，则n＝8，判定该像素点落入子区域8；

如果120°≤θ＜150°，则n＝9，判定该像素点落入子区域9；

如果150°≤θ＜180°，则n＝10，判定该像素点落入子区域10；

如果180°≤θ＜210°，则n＝11，判定该像素点落入子区域11；

如果210°≤θ＜240°，则n＝12，判定该像素点落入子区域12；

如果240°≤θ＜270°，则n＝13，判定该像素点落入子区域13；

如果270°≤θ＜300°，则n＝14，判定该像素点落入子区域14；

如果300°≤θ＜330°，则n＝15，判定该像素点落入子区域15；

如果330°≤θ＜360°，则n＝16，判定该像素点落入子区域16；

进行步骤207；

步骤206：对θ进行判别，判据如下：

如果0°≤θ＜90°，则n＝1，判定该像素点落入子区域1；

如果90°≤θ＜180°，则n＝2，判定该像素点落入子区域2；

如果180°≤θ＜270°，则n＝3，判定该像素点落入子区域3；

如果270°≤θ＜360°，则n＝4，判定该像素点落入子区域4；

进行步骤207；

步骤207：依据下式将该像素点的R、G、B彩色分量值分别累加到与子区域n对应的特征向量的元素中：

colorFeature[3n-3]＝colorFeature[3n-3]+RIm(x，y)，

colorFeature[3n-2]＝colorFeature[3n-2]+GIm(x，y)，

colorFeature[3n-1]＝colorFeature[3n-1]+BIm(x，y)；

其中，RIm(x，y)、GIm(x，y)和BIm(x，y)分别表示像素点Im(x，y)的R、G、B彩色分量值；colorFeature[]表示特征点的特征向量，并且colorFeature[]的维数为48维；

步骤208：判定该像素点落入子区域n，根据式pointN[n-1]＝pointN[n-1]+1，统计各子区域中的像素点个数，其中，16维向量pointN[]用来存储16个子区域分别包含像素点的个数，且pointN[n-1]对应于子区域n；

步骤209：判断区域A中所有像素点是否全部计算完毕，如果没有计算完，进行步骤203，否则进行步骤210；

步骤210：依据式colorFeature[m]＝colorFeature[m]/pointN[[m/3]](m＝0，1，2，...，47)，计算各描述子子区域中R、G、B彩色分量的均值，作为对应的特征向量元素，其中，[m/3]为取整数运算。

4.根据权利要求3所述的基于彩色信息的尺度不变特征点描述和匹配方法，其特征在于，步骤202中，描述子外接正方形区域A超出图像边界范围时，确定像素点的处理方式如下：

用变量imH和imW分别表示图像的高度和宽度，

如果x＜0且y＜0，取Im(x，y)＝Im(-x，-y)；

如果x＞imH-1且y＜0，取Im(x，y)＝Im(2(imH-1)-x，-y)；

如果x＜0且y＞imW-1，取Im(x，y)＝Im(-x，2(imW-1)-y)；

如果x＞imH-1且y＞imW-1，取Im(x，y)＝Im(2(imH-1)-x，2(imW-1)-y)。

5.根据权利要求1所述的基于彩色信息的尺度不变特征点描述和匹配方法，其特征在于，步骤3中，按照所属子区域与特征点之间的距离，将各特征向量元素乘以相应的高斯权重值，取高斯标准差σ等于r，子区域5～16与子区域1～4的高斯权重比值为0.7788；设置与子区域1～4对应的特征向量元素值不变，而与子区域5～16对应的特征向量元素乘以权重值0.7788：

$\mathrm{colorFeature}\left[m\right]=\left\{\begin{array}{cc}\mathrm{colorFeature}\left[m\right]& m=\mathrm{0,1,2},...,11\\ 0.7788\×\mathrm{colorFeature}\left[m\right]& m=\mathrm{12,13},...,47\end{array}\right..$

6.根据权利要求1所述的基于彩色信息的尺度不变特征点描述和匹配方法，其特征在于，步骤4中，分别对属于同一彩色分量的16个向量元素进行归一化处理，形成最终的特征描述向量：

$\mathrm{colorFeature}[3n-3]=\mathrm{colorFeature}[3n-3]/\underset{k=1}{\overset{16}{\mathrm{\Σ}}}\mathrm{colorFeature}[3k-3],n=\mathrm{1,2},...,16$

$\mathrm{colorFeature}[3n-2]=\mathrm{colorFeature}[3n-2]/\underset{k=1}{\overset{16}{\mathrm{\Σ}}}\mathrm{colorFeature}[3k-2],n=\mathrm{1,2},...,16.$

$\mathrm{colorFeature}[3n-1]=\mathrm{colorFeature}[3n-1]/\underset{k=1}{\overset{16}{\mathrm{\Σ}}}\mathrm{colorFeature}[3k-1],n=\mathrm{1,2},...,16$

Images