CN103606170B - 基于彩色尺度不变的街景影像特征检测与匹配方法 - Google Patents

Abstract

本发明提供了一种基于彩色尺度不变的街景影像自动检测与匹配方法，本发明直接以彩色不变量作为输入影像，依托于尺度空间理论，采用改进的Harris检测算子，对输入影像的彩色各通道进行综合处理，提取特征点；并加入特征点的彩色特征进行构建描述向量，获得稳定的特征描述子；采用相关系数作为相似度测量函数，进行特征向量计算，并在搜索策略中加入主方向约束，完成影像匹配。本发明具有特征定位准确、精度高、时效性强、数据处理速度快等优点，适用于街景影像的实时检测与匹配。

Description

基于彩色尺度不变的街景影像特征检测与匹配方法

技术领域

本发明属于遥感与摄影测量影像处理应用领域，特别涉及一种基于彩色尺度不变的街景影像特征检测与匹配方法。

背景技术

随着计算机技术与立体视觉技术的迅速发展，数字图像处理技术也在不断完善，特别是近年来数字城市与智慧城市概念的提出，使得基础信息资源与对应的影像处理技术广泛应用于社会各个领域。数字城市建设是当前GIS技术、遥感图像处理与摄影测量技术的重要应用领域，尤其城市主要物体的各类三维模型的建立，更是依托于图像处理与摄影测量技术。而构建3D城市模型的首要任务便是实现具有一定重叠度的影像匹配，如何快速、高效地实现街景影像匹配，一直是困扰人们的一个问题，也是国内外研究的重点与热点之一。

目前，最具代表性的影像尺度不变特征提取与匹配方法有Harris-Laplacian算法和SIFT算法（尺度不变特征转换方法）。这些方法大多将彩色图像转化为灰度图像后进行特征提取和匹配，丢失色彩信息，从而容易产生错误匹配。近年来，已有一些学者尝试加入色彩信息来实现彩色图像间的配准，主要方法有基于颜色不变矩的特征匹配算法、赋色尺度不变特征变换(ColorScaleInvariantFeatureTransform,colorSIFT)法、基于彩色的SIFT特征点提取与匹配算法、基于Hue彩色空间的SIFT等。街景影像由于光照变化的复杂性，使得现有的彩色模型以及特征检测方法难以完全适用于彩色街景影像的处理。

街景影像的特征检测主要分为两大类^[1～12]：第一类为基于灰度信息的特征检测，第二类为基于彩色信息的特征检测。目前，多数特征检测都是将彩色影像转化为灰度影像后进行特征检测，即，利用影像像素灰度值、像素梯度与梯度方向进行影像特征判断，例如：Moravec算子、Forstner算子、Harris算子以及SIFT算子。第二类为基于彩色信息的特征检测，关键是综合利用三通道(R、G、B)信息，通过彩色空间变换，并结合灰度检测算子，提取具有尺度不变性的特征点。近年来，已有很多学者尝试加入色彩信息来实现彩色图像特征提取，并产生了许多具有应用价值的特征检测算法^[12～16]。

特征检测后，需对提取的特征点进行向量描述，特征点的向量描述也分为两类：基于灰度信息影像的特征向量描述与基于彩色信息的特征向量描述。其中，基于灰度信息提取的特征点所含信息较少，不利于表达特征点的独特性，也不利于从影像中辨识特征点。

影响图像匹配结果的两个最主要因素为相似性度量函数与搜索策略^[4,17～24]。相似性度量函数主要决定匹配点对的正确性，一般包含自相关函数、相关系数、欧式距离、Hausdorff距离等。搜索策略主要是选择适当的方法寻找立体像对中的特征点，最简单的方法是针对基准影像上的各特征点遍历参考影像中的所有特征点，利用相似性度量函数得到最佳匹配点对，为了节约搜索时间，最常用的策略便是加入约束条件，减少搜索时间。

目前，现有的街景影像匹配技术大多针对建筑物、道路中的单一对象进行，并且通常将彩色影像转换成灰度影像后进行特征提取和匹配，丢失了色彩信息，匹配精度不高。根据街景影像数据处理实时、快速的特点，街景影像特征检测与特征匹配方法需满足实时性高、密集度强以及匹配速度快等条件，现有的街景影像匹配技术均难以满足街景影像实时处理要求。

相关文献：

[1]H.P.Moravec.TowardsAutomaticVisualObstacleAvoidance.Proc.5^thInternationalJointConferenceonArtificialIntelligence,PP.584，1977.

[2]HarrisCandStephensM.J.Acombinedcornerandedgedetector[A].InProceedingsofthe4thAlveyVisionConference[C],Manchester,1988:147-152.

[3]M.TrajkovicandM.Hedley.FastComerDetection.ImageandVisionComputing,V01.16(2),PP.75-87.1998.

[4]XueWAN,ZuxunZHANG,YouchuanWAN.Animprovedalgorithmusedinautomaticmatchingforlow-altituteaerialimage[C]//XXIIISPRSCongress.Melbourne,2012:183-188.

[5]VandeSandeKEA,SnoekCGM.Evaluationofcolordescriptorsforobjectandscenerecognition[C]//ProceedingsoftheComputerVisionandPatternRecognitionConference.NewYork:InstituteofElectricalandElectronicsEngineersComputerSociety,2008:542-560.

[6]MikolajczykK,SchmidC.Indexingbasedonscaleinvariantinterestpoints[C]//Proceedingsofthe8thInternationalConferenceonComputerVision,Vancouver,2001:525-531.

[7]LoweDG.Distinctiveimagefeaturesfromscaleinvariantkeypoints[J].InternationalJournalofComputerVision,2004,60(2):91-110.

[8]李磊.基于特征点的图像匹配关键技术研究[D].山东：山东科技大学信号与信号处理，2009.

[9]罗菁，林树忠，倪建云，詹湘琳.基于Hessian矩阵的指纹细节点提取方法[J].光电工程，2008,35(11):134-138.

[10]李芳芳,贾永红,肖本林,等.利用线特征和SIFT点特征进行多源遥感影像配准[J].武汉大学学报:信息科学版,2010,35(2):233-236.

[11]唐永鹤,陶华敏,卢焕章,等.一种基于Harris算子的快速图像匹配算法[J].武汉大学学报:信息科学版,2012,37(4):406-409.

[12]熊琰,龚华军,沈晔青.一种快速有效的彩色图像边缘检测方法[J].计算机技术与发展,2007,17(4):128-130.

[13]GaoJ,HuangXH,PengG,etal.Color-basedscaleinvariantfeaturedetectionappliedinrobotvision[C]//Proceedingsofthe5thInternationalSymposiumonMultispectralImageProcessingandPatternRecognition,Wuhan:[s.n],2007:67904E.

[14]FinlaysonGD,HordleySD,XuR.Convexprogrammingcolourconstancywithadiagonal-offsetmodel[C]//Proc.OfIEEEinternationalConferenceonImageProcessing,2005:948-951.

[15]GonzalezCR,WoodsER.Digitalimageprocessing[M].Beijing:PublishingHouseofElectronicsIndustry,2008:237-238.

[16]高健,黄心汉,彭刚,等.一种简化的SIFT图像特征点提取算法[J].计算机应用研究,2008,25(7):2113-2217.

[17]DavidG.Lowe.DistinctiveImageFeaturesfromScale-InvariantKeypoints[J].InternatioanlJournalofComputerVision，60(2)：91-110,2004.

[18]BelongieS,MalikJ,andPuzichaJ.Shapematchingandobjectrecognitionusingshapecontexts.IEEETransactionsonPatternAnalysisandMachineIntelligence,24(4):509-522,2002.

[19]BaumbergA.Reliablefeaturematchingacrosswidelyseparatedviews.InProceedingsoftheConfenrenceonComputerVisionandPatternRecognition,pages774-781,HiltonHeadIsland,SouthCarolina,USA,2000.

[20]柯涛,张永军.SIFT特征算子在低空遥感影像全自动匹配中的应用[J].测绘科学,2009,34(4):23-26.

[21]王军,张明柱.图像匹配算法的研究进展[J].大气与环境光学学报,2007,2(1):11-15.

[22]高富强,张帆.一种快速彩色图像匹配算法[J].计算机应用,2005,25(11):2604～2611.

[23]赵垒,侯振杰.一种改进的SIFT图像配准方法[J].计算机工程,2010,36(12):226-228.

[24]李玲玲,李翠华,曾晓明,等.基于Harris-Affine和SIFT特征匹配的图像自动配准[J].华中科技大学学报:自然科学版,2008,36(8)：13-16.

发明内容

针对现有技术存在的问题，本发明提出了能够适应街景影像快速处理与匹配要求的、基于彩色尺度不变的街景影像特征检测与匹配方法。

本发明的技术方案如下：

一、基于彩色尺度不变的街景影像特征检测方法，包括以下步骤：

步骤1，预处理待匹配街景影像；

步骤2，对预处理后的待匹配街景影像进行彩色空间转换，以获得各彩色通道的彩色不变量；

步骤3，构建待匹配街景影像的尺度空间；

步骤4，基于待匹配街景影像灰度信息构建彩色信息的自相关矩阵M，基于自相关矩阵M提取待匹配街景影像的特征点并对特征点进行分类；

步骤5，基于特征点主方向对特征点进行向量描述获得各特征点的特征向量。

步骤2中，采用对角-偏移模型对预处理后的待匹配街景影像进行彩色空间转换，且在彩色空间转换中仅计算各彩色通道内的彩色不变量的分布均值及标准差。

步骤3所述的尺度空间基于局部金字塔结构构建。

步骤4所述的彩色信息的自相关矩阵 $M=\left[\begin{array}{cc}(R_x^2+G_x^2+B_x^2)/3& (R_x{R}_y+G_x{G}_y+B_x{B}_y)/3\\ (R_x{R}_y+G_x{G}_y+B_x{B}_y)/3& (R_y^2+G_y^2+B_y^2)/3\end{array}\right],$ 其中，分别为各彩色通道x方向的二阶偏导求解；分别为各彩色通道y方向的二阶偏导求解；R_xR_y、G_xG_y、B_xB_y分别各彩色通道x、y方向的一阶偏导之积。

步骤5所述的基于特征点主方向对特征点进行向量描述，具体为：

5.1将待匹配街景影像所在坐标轴旋转到特征点主方向；

5.2将特征点的邻域按照a*a结构划分子区域，并计算各子区域内各像素点的彩色不变量三通道分量的平均值，彩色不变量三通道分量的平均值构成一组3维特征向量，即形成一个种子点；

5.3通过计算各种子点所在子区域与特征点的距离并乘以高斯函数值，便可获得特征点的3a²维特征向量。

二、基于彩色尺度不变的街景影像匹配方法，基于上述步骤5获得的特征点的特征向量对待匹配街景影像进行匹配。

上述基于特征点的特征向量对待匹配街景影像进行匹配，以待匹配特征点特征向量的相关系数为相似性度量函数进行匹配。

上述基于特征点的特征向量对待匹配街景影像进行匹配，在搜索策略中加入特征点主方向约束条件。

上述基于特征点的特征向量对待匹配街景影像进行匹配，具体为：

搜索特征点，判断待匹配街景影像中两特征点的主方向绝对差值T(fabs(O1-Or))是否小于预设的第一阈值T0，若小于第一阈值T0，则判断特征点特征向量的相关系数ρ与预设的第二阈值T1的大小，若相关系数ρ大于第二阈值T1，则两特征点匹配。

三、基于彩色尺度不变特征的街景影像特征检测与匹配系统，包括：

预处理模块，用来预处理待匹配街景影像；预处理模块可对街景影像分批处理以增强原始影像反差，不仅能有效地选择重叠度合适的相邻影像，还可提高特征点提取的数量和精度；

彩色空间转换模块，用来对预处理后的待匹配街景影像进行彩色空间转换，以获得各彩色通道的彩色不变量；获得的各彩色通道的彩色不变量能够直接参与特征检测，从而提高特征检测精度；

尺度空间构建模块，用来构建待匹配街景影像的尺度空间；

特征点提取模块，用来基于待匹配街景影像灰度信息构建彩色信息的自相关矩阵M，基于自相关矩阵M提取待匹配街景影像的特征点并对特征点进行分类；

特征描述模块，用来基于特征点主方向对特征点进行向量描述获得各特征点的特征向量；

匹配模块，用来基于特征点的特征向量对待匹配街景影像进行匹配。

传统匹配算法大多将彩色图像转化为灰度图像，仅仅利用灰度图像的几何信息，难以识别形状相似颜色不同的物体，容易产生错误匹配。针对街景这类色彩变化较为复杂的影像，由于街景影像具有采集速度快、数据处理工作量大的特点，实现具有几何与色彩不变性的特征实时检测与匹配至关重要。本发明就是针对现有技术存在的上述问题，提供了一种适应街景影像快速处理与匹配要求的、基于彩色尺度不变的街景影像自动检测与匹配方法，同步获取重叠区域内的同名点对，为影像间的配准、融合以及拼接提供初值。

与现有技术相比，本发明具有以下特点和有益效果：

1、特征定位准确，精度高。

（1）为了更好的兼顾影像的几何信息与颜色信息，本发明直接以彩色不变量作为输入影像，依然依托于尺度空间理论，采用Harris检测算子，对输入影像的彩色各通道进行综合处理，提取分布均匀的角点与边缘点，并确定各特征点主方向；并加入特征点的彩色特征描述向量，获得稳定的特征描述子。

（2）特征检测后，各特征点被赋予四种信息：位置信息、尺度信息、主方向信息和特征向量，较之灰度图像中特征点的单一几何信息，本发明的特征检测为影像后续处理提供了良好条件。特征匹配时，本发明采用具有较高鲁棒性的相关系数作为相似度测量函数，大幅提高匹配精度。

2、时效性强，数据处理速度快。

因为街景影像实时获取，势必要求数据处理与之匹敌。因此本发明在影像检测过程中构建局部金字塔结构尺度空间，不仅保证彩色特征点的稳定性，并且减少了计算和存储空间；在特征匹配过程中加入了主方向约束的搜索策略，减少搜索空间，提高匹配速度。

3、自动化程度高，全过程自动检测。

为了适应街景影像实时处理要求，本发明采用自适应参数的影像预处理算法、影像检测与匹配算法，无需人工干预便能实现实时匹配。

附图说明

图1为常规的街景影像特征检测与匹配流程图；

图2为本发明方法流程图。

具体实施方式

下面将结合附图进一步说明本发明技术方案，具体步骤如下：

步骤1：待匹配街景影像的预处理。

采用Wallis滤波器对待匹配街景影像进行滤波，以增强原始街景影像的反差，尤其可增强街景影像中不同尺度下的影像纹理模式，提高特征点提取的数量和精度。

步骤2：基于预处理后的街景影像的彩色信息进行彩色空间转换。

街景影像经彩色空间转换后可获得各彩色通道的彩色不变量，进而使特征描述子具有颜色非线性变换不变性与颜色不均匀平移变换不变性。

为了能适用于彩色特征的提取与匹配，本具体实施中采用具有光照色彩变化不变性的对角-偏移模型（见式（1））对街景影像进行彩色空间转换。

$\left(\begin{array}{c}{R}^c\\ G^c\\ B^c\end{array}\right)=\left(\begin{array}{ccc}a& & \\ & b& \\ & & c\end{array}\right)\left(\begin{array}{c}{R}^u\\ G^u\\ B^u\end{array}\right)+\left(\begin{array}{c}{o}_1\\ o_2\\ o_3\end{array}\right)---\left(1\right)$

式（1）中，(R^cG^cB^c)^T为转换前的彩色空间；(R^uG^uB^u)^T转换后的彩色空间； $\left(\begin{array}{ccc}a& & \\ & b& \\ & & c\end{array}\right)$ 是变换对角阵，a=R/σ_R，b=G/σ_G，c=B/σ_B，R、G、B分别为原始彩色空间的三通道值，σ_R、σ_G、σ_B分别为RGB彩色空间内R、G、B通道值的分布标准差；(o₁o₂o₃)^T为各彩色通道彩色值的偏移向量，o₁=μ_R、o₂=μ_G、o₃=μ_B，μ_R、μ_G、μ_B分别为RGB彩色空间内R、G、B通道值的分布均值。

为了减少计算量，本具体实施在进行彩色空间转换中，仅计算各彩色通道内的彩色不变量的分布均值及标准差。

步骤3：构建尺度空间。

尺度空间的构建需进行多次高斯卷积，为增强特征点提取的实时性，本具体实施中采用基于局部金字塔结构的Laplacian检测器完成尺度空间的构建，大大减少了计算与储存空间。

步骤4：特征点提取。

4.1基于待匹配街景影像灰度信息构建彩色信息的自相关矩阵M。

综合考虑影像的灰度图像I与彩色图像RGB间的变换关系I=(R+G+B)/3，基于灰度图像I的Harris算子构建自相关矩阵，即街景影像彩色图像的自相关矩阵M，见公式（2）。

$M=\left[\begin{array}{cc}(R_x^2+G_x^2+B_x^2)/3& (R_x{R}_y+G_x{G}_y+B_x{B}_y)/3\\ (R_x{R}_y+G_x{G}_y+B_x{B}_y)/3& (R_y^2+G_y^2+B_y^2)/3\end{array}\right]---\left(2\right)$

式（2）中，分别为各彩色通道x方向的二阶偏导求解； 分别为各彩色通道y方向的二阶偏导求解；R_xR_y、G_xG_y、B_xB_y分别各彩色通道x、y方向的一阶偏导之积。

4.2基于彩色信息的自相关矩阵M提取待匹配街景影像的特征点。

本发明主要针对彩色不变量进行特征提取，采用改进的Harris算子联合提取角点与边缘点，并加入彩色描述向量，以获取大量具有几何与色彩不变量的特征点，提高匹配密集度与正确度。

为了能够适应街景影像中建筑物、道路以及街道旁树木的匹配需求，本具体实施中采用一种基于非局部极值抑制的Harris算子，用于联合提取街景影像中的角点和边缘点。

假设彩色信息自相关矩阵M的特征矢量为λ_i，定义特征点判断公式：

R=detM-k(traceM)²＞threshold（3）

式（3）中，detM=Πλ_i,traceM=Σλ_i,λ_i为彩色信息自相关矩阵M的特征矢量，i为特征矢量的编号，detM表示彩色信息自相关矩阵M各特征矢量之积，traceM表示彩色信息自相关矩阵M各特征矢量之和；k为经验值，本具体实施中，k=0.04；阈值threshold根据经验设定，本具体实施中，threshold=0.03。

根据特征点判断公式提取特征点，具体为：采用特征点判断公式分别计算待匹配街景影像中各像素点的R响应值，判断各像素点R响应值和预设阈值的大小，若R>0且大于预设阈值，则将对应像素点标记为角点；若R<0，构建海森矩阵（Hessian矩阵），以海森矩阵代替彩色信息自相关矩阵M，并按照Canny扇区划分原理进行边缘点提取。

步骤5，特征点的向量描述。

本发明选择对光照、旋转、偏移具有稳定性的sift描述子构建特征点的特征向量，未改变原有sift描述子结构，仅采用彩色信息代替原有的梯度大小与方向值。

5.1获取特征点主方向。

基于sift描述子分配特征点主方向，具体通过特征点的梯度大小和梯度方向获得特征点主方向。特征点的梯度大小m(x,y)和梯度方向θ(x,y)通过公式（4）和（5）获得：

$m(x,y)=\sqrt{{(L(x+1,y)-L(x-1,y))}^2+{(L(x,y+1)-L(x,y-1))}^2}---\left(4\right)$

$\mathrm{\&theta;}(x,y)={\tan }^{-1}\frac{L(x,y+1)-L(x,y-1)}{L(x+1,y)-L(x-1,y)}---\left(5\right)$

公式（4）～（5）中，m(x,y)和θ(x,y)分别代表特征点（x，y）的梯度大小和梯度方向；L（）表示特征点坐标。

在以特征点为中心的邻域内采样，采用直方图统计邻域内各像素的梯度方向，为了突出靠近特征点的像素在子区域中所占比重，在计算特征点梯度方向时候会将邻域内各像素分别乘以相应的高斯函数值进行加权。最后，根据sift描述子选取特征点主方向的原则，将直方图峰值作为该特征点主方向，将相当于主峰值80%能量的峰值为辅方向，以增强特征点匹配的稳健性。

5.2基于特征点主方向对特征点进行向量描述。

由于街景影像色彩比较丰富，因此对提取的具有几何不变性的特征点进行颜色信息描述。针对待匹配街景影像中的各特征点，均采用如下方式进行向量描述：

（a）将待匹配街景影像所在的坐标轴的y轴旋转到特征点主方向，以确保旋转不变性。

（b）将特征点的邻域按照a*a结构划分子区域，并计算各子区域内各像素点的彩色不变量三通道分量的平均值，彩色不变量三通道分量的平均值构成一组3维特征向量，即形成一个种子点。

（c）在a*a结构中，特征点由a²个种子点组成，通过计算各种子点所在子区域与特征点的距离并乘以高斯函数值，便可生成特征点的3a²维特征向量，即获得了特征点的包括三通道彩色信息的特征向量描述。

本具体实施中，a=4，获得的特征点的特征向量为48维。

步骤6、基于特征点的特征向量对待匹配街景影像进行匹配。

影响影像匹配的两个最主要因素包括相似性度量函数与搜索策略，本具体实施方式中采用相关系数代替SIFT算法中的欧氏距离作为相似性度量函数，并在搜索策略中加入主方向约束条件，以提高匹配正确率，缩短匹配时间。

提取的特征点包括大量边缘点，由于边缘点灰度分布近似，采用欧氏距离匹配时易出现错误匹配，而相关系数是基于灰度匹配中最常用的相似度测度，准确性高且对影像辐射畸变具有良好的鲁棒性。

本步骤具体为：

搜索特征点，首先，判断待匹配街景影像中两特征点的主方向绝对差值T(fabs(O1-Or))是否小于预设的第一阈值T0，若小于第一阈值T0，则按公式（6）计算该特征点48维特征向量的相关系数ρ，若相关系数ρ大于预设的第二阈值T1，则两特征点匹配。

相关系数ρ的计算公式如下：

$\mathrm{\&rho;}=\frac{\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{n}{\mathrm{\&Sigma;}}}\left(I_{i,j}{I}_{i,j}^{\&prime;}\right)-\frac{1}{n\&times;n}\left(\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{n}{\mathrm{\&Sigma;}}}{I}_{i,j}^{\&prime;}\right)\left(\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{n}{\mathrm{\&Sigma;}}}{I}_{i,j}^{\&prime;}\right)}{\sqrt{[\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{n}{\mathrm{\&Sigma;}}}{I}_{i,j}^2-\frac{1}{n\&times;n}{\left(\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{n}{\mathrm{\&Sigma;}}}{I}_{i,j}\right)}^2][\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{n}{\mathrm{\&Sigma;}}}{I_{i,j}^{\&prime;}}^2-\frac{1}{n\&times;n}{\left(\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{n}{\mathrm{\&Sigma;}}}{I}_{i,j}^{\&prime;}\right)}^2]}}---\left(6\right)$

式（6）中，I_i,j为基准影像中特征点的直方图分量，即基准影像中特征点（i，j）的特征向量；I′_i,j为参考影像中特征点的直方图分量，即参考影像中特征点（i，j）的特征向量；i、j表示特征点的位置；n表示特征点的特征向量维数，本具体实施中，n=48；

通过实验，综合考虑匹配正确率与两阈值设置的关系，本具体实施中分别设定第一阈值T0=0.1、第二阈值T1=0.88。

对比试验：

针对不同的街景影像组，分别分析对比尺度不变特征转换方法（简称SIFT算法）、改进尺度不变特征转换方法（简称改进SIFT）以及本发明方法（简称改进CSIFT）的匹配效果和性能，与SIFT方法相比，改进SIFT方法与改进CSIFT方法在街景影像匹配方面具有一定优越性，上述三种方法的匹配结果见表1。

表1对比试验的匹配结果

由表（1）可知，基于彩色信息的SIFT方法针对不同类型的街景影像能够较好的实现光照变化(Pic(a))、模糊变化(Pic(b))以及视角变化(Pic(c))下的正确匹配，且得到分布均匀的密集特征点对，为影像配准、融合等后续处理提供条件。在假定特征提取、特征描述均相同的情况下，采用相关系数和加入主方向约束的改进SIFT算法虽然在匹配时间及正确率方面略逊于改进CSIFT算法，但是较之SIFT更适合于街景影像匹配处理。

Claims (9)

1.基于彩色尺度不变的街景影像特征检测方法，其特征在于，包括步骤：

步骤1，预处理待匹配街景影像；

步骤2，对预处理后的待匹配街景影像进行彩色空间转换，以获得各彩色通道的彩色不变量；

步骤3，构建待匹配街景影像的尺度空间；

步骤4，基于待匹配街景影像灰度信息构建彩色信息的自相关矩阵M，基于自相关矩阵M提取待匹配街景影像的特征点并对特征点进行分类；

步骤5，基于特征点主方向对特征点进行向量描述获得各特征点的特征向量；所述的基于特征点主方向对特征点进行向量描述，具体为：

5.1将待匹配街景影像所在坐标轴旋转到特征点主方向；

5.2将特征点的邻域按照a*a结构划分子区域，并计算各子区域内各像素点的彩色不变量三通道分量的均值，彩色不变量三通道分量的平均值构成一组3维特征向量，即形成一个种子点；

5.3通过计算各种子点所在子区域与特征点的距离并乘以高斯函数值，便可获得特征点的3a²维特征向量。

2.如权利要求1所述的基于彩色尺度不变的街景影像特征检测方法，其特征在于：

步骤2中，采用对角-偏移模型对预处理后的待匹配街景影像进行彩色空间转换，且在彩色空间转换中仅计算各彩色通道内的彩色不变量的分布均值及标准差。

3.如权利要求1所述的基于彩色尺度不变的街景影像特征检测方法，其特征在于：

步骤3所述的尺度空间基于局部金字塔结构构建。

4.如权利要求1所述的基于彩色尺度不变的街景影像特征检测方法，其特征在于：

步骤4所述的彩色信息的自相关矩阵 $M=\left[\begin{array}{cc}\left(R_x^2+G_x^2+B_x^2\right)/3& \left(R_x{R}_y+G_x{G}_y+B_x{B}_y\right)/3\\ \left(R_x{R}_y+G_x{G}_y+B_x{B}_y\right)/3& \left(R_y^2+G_y^2+B_y^2\right)/3\end{array}\right],$ 其中，分别为各彩色通道x方向的二阶偏导求解；分别为各彩色通道y方向的二阶偏导求解；R_xR_y、G_xG_y、B_xB_y分别各彩色通道x、y方向的一阶偏导之积。

5.基于彩色尺度不变的街景影像匹配方法，其特征在于，包括步骤：

基于权利要求1获得的特征点的特征向量对待匹配街景影像进行匹配。

6.如权利要求5所述的基于彩色尺度不变的街景影像匹配方法，其特征在于：

所述的基于特征点的特征向量对待匹配街景影像进行匹配，以待匹配特征点特征向量的相关系数为相似性度量函数进行匹配。

7.如权利要求5所述的基于彩色尺度不变的街景影像匹配方法，其特征在于：

所述的基于特征点的特征向量对待匹配街景影像进行匹配，在搜索策略中加入特征点主方向约束条件。

8.如权利要求5所述的基于彩色尺度不变的街景影像匹配方法，其特征在于：

所述的基于特征点的特征向量对待匹配街景影像进行匹配具体为：

搜索特征点，判断待匹配街景影像中两特征点的主方向绝对差值T(fabs(O1-Or))是否小于预设的第一阈值T0，若小于第一阈值T0，则判断特征点特征向量的相关系数ρ与预设的第二阈值T1的大小，若相关系数ρ大于第二阈值T1，则两特征点匹配。

9.基于彩色尺度不变的街景影像特征检测及匹配系统，其特征在于，包括：

预处理模块，用来预处理待匹配街景影像；

彩色空间转换模块，用来对预处理后的待匹配街景影像进行彩色空间转换，以获得各彩色通道的彩色不变量；

尺度空间构建模块，用来构建待匹配街景影像的尺度空间；

特征点提取模块，用来基于待匹配街景影像灰度信息构建彩色信息的自相关矩阵M，基于自相关矩阵M提取待匹配街景影像的特征点并对特征点进行分类；

特征描述模块，用来基于特征点主方向对特征点进行向量描述获得各特征点的特征向量；

匹配模块，用来基于特征点的特征向量对待匹配街景影像进行匹配；

所述的特征描述模块进一步包括：

第一子模块，用来将待匹配街景影像所在坐标轴旋转到特征点主方向；

第二子模块，用来将特征点的邻域按照a*a结构划分子区域，并计算各子区域内各像素点的彩色不变量三通道分量的均值，彩色不变量三通道分量的平均值构成一组3维特征向量，即形成一个种子点；

第三子模块，用来通过计算各种子点所在子区域与特征点的距离并乘以高斯函数值，便可获得特征点的3a²维特征向量。