CN103295014A - 基于像素位置排列直方图的图像局部特征描述方法 - Google Patents

Abstract

本发明提供了一种基于像素位置排列直方图的图像局部特征描述方法，步骤为：(1)将检测到的图像局部兴趣区域归一化成半径固定的圆形局部图像(下文将归一化的圆形局部图像简称为局部图像)；(2)基于均值排序的汇聚策略将(1)得到的局部图像划分成k个部分；(3)计算(2)处理后的局部图像内像素坐标点排列和标准差；(4)由(3)得到的局部图像内每个像素坐标点的标准差σ和排列来统计局部特征区域的像素排列直方图；(5)构建多特征区域像素排列直方图。本方法形成的描述符对光照变换和几何变换具有良好的鲁棒性。

Description

基于像素位置排列直方图的图像局部特征描述方法

技术领域

本发明涉及计算机视觉领域的图像局部特征描述方法，具体地，涉及一种局部图像特征描述符的构建方法，即基于像素位置排列直方图的图像局部特征描述方法。

背景技术

由于图像局部特征具有区分性好、重现性高、鲁棒性强、对几何变化和光照变化保持稳健等特点，它们在图像及视频检索、图像配准、目标跟踪、目标识别、目标分类、纹理分类、机器人定位、宽基线匹配等领域得到了广泛的应用。

图像局部特征的研究包括三方面内容：特征提取、特征描述和特征匹配。图像局部特征提取的研究已经比较成熟。现在关注点最多的是图像局部特征描述，每年在视觉领域的顶级会议ICCV（IEEE International Conference on Computer Vision）、CVPR（IEEEConference on Computer Vision and Pattern Recognition）、ECCV（European Conferenceon Computer Vision）上都有高质量的特征描述论文发表。

在诸多的局部图像特征描述符中，SIFT（Scale Invariant Feature Transform）是其中应用最广的一种局部图像特征描述符。也可以说SIFT是局部图像特征描述研究领域一项里程碑式的工作。由于SIFT对尺度、旋转以及一定视角和光照变化等图像变换都具有不变性，并且具有很强的可区分性，自它被提出以来，很快就在物体识别、宽基线图像匹配、三维重建、图像检索等领域中得到了广泛的应用。局部图像特征描述符在计算机视觉领域内也引起了更加广泛的关注。

局部图像特征描述符大概分为以下几类：

1、基于滤波器技术具有代表性的局部图像特征描述符有：

Steerable filters，Gabor filters，and complex filters等；

2、基于分布的具有代表性的局部图像特征描述符有：

SIFT，SURF，the shape context，DAISY，PCA-SIFT，spin image，RIFT and GLOH等；

3、基于梯度具有代表性的局部图像特征描述符有：local gray value invariants等；

4、其他：Moment-based descriptors，Phase-based local features，Color-baseddescriptors。

局部图像特征描述符的核心是研究描述符的不变性和区分性，然而，特征描述符的可区分性强弱往往和其不变性是矛盾的。但是一个优秀的特征描述符不仅应该具有很强不变性，还应该具有很强的可区分性。像众所周知的SIFT描述符，是通过确定梯度直方图主方向，然后将局部坐标系与其对齐获得描述符旋转不变性。由于主方向估计存在一定的误差，从而降低SIFT描述符不变性，使得在大视角变换或者大旋转角度变换的情况下，SIFT描述符找到的同名点对数比例低。有些描述符不需要估算主方向就能获得旋转不变性，例如RIFT描述符，但是其区分性不高。本发明所提出的局部特征描述方法很好的解决了特征描述符的可区分性和不变性之间的矛盾，在变换图像相对于基准图像存在大的几何变换情况下获得很好的匹配性能。

发明内容

针对现有描述符的一些不足，本发明提出一种基于像素位置排列直方图的图像局部特征描述方法。通过该方法的局部特征描述符具有区分性好，性能鲁棒的特性，其区别能力在正常的应用环境中高于SIFT等描述符。

图像局部特征区域的检测和描述是相互独立的两部分，可以选择不同的局部特征检测子检测到的特征来评估所提描述符的性能。但无论采用哪种局部特征检测子，最终所得的描述符性能的评估结果都是一致的，即描述子性能测试曲线的排序是一样的。本发明采用了Hessian-affine检测子，该检测子也是在评估描述子性能时选用最多的检测子之一。假设图像的局部特征已经通过Hessian-affine检测子提取，直接在提取的局部特征上构建局部特征描述符。

为实现上述目的，本发明所述基于像素位置排列直方图的图像局部特征描述方法包括如下步骤：

(1)将检测到的图像局部兴趣区域归一化成局部图像；

将检测到的局部特征（由椭圆形区域表示）映射为半径大小固定的圆形区域局部图像。

(2)基于均值排序的汇聚策略将局部图像划分成k个部分，3≤k≤8，可以根据试验效果确定的取值；

具体可以按照如下顺序完成：首先采用均值滤波器对局部图像进行平滑；然后将局部图像像素的所有灰度值按照非减方式由小到大进行排序；最后将排序好的灰度序列等分成k份，由其对应的像素坐标形成不同的子集。这样就将局部图像划分成了k个子部分。

(3)计算局部图像内像素坐标点排列和标准差；

①邻域坐标点选择。

以局部图像内像素坐标点为中心，在半径大小固定的圆上等角度间隔的选取n(n≥4)个像素点作为该坐标点的邻域坐标集合，不同起始点所选择的像素坐标点的位置和灰度值也会有一定的差异。可以以圆与笛卡尔坐标系x轴的交点为起始点在圆上等角度间隔选取n个像素点；也可以以圆与坐标系y轴的交点作为起始点在圆上等角度间隔选取n个像素点；当然也可以以像素坐标点为坐标系原点构建局部坐标系，通过圆和坐标系轴的交点作为起时点在圆上等角度间隔选取n个像素点。可以看出，具体的选取方法很多。在本发明中，优选是以局部图像的圆心和局部图像内像素坐标点连线的正方向与圆相交的点为起始点在圆上等角度间隔选取n个像素点。

②邻域坐标点位置排列。

所述邻域坐标点位置排列是指像素坐标点的邻域坐标集合的排列。依据像素的不同属性，如灰度值、梯度值，对像素坐标点的邻域坐标集合进行排序都能获取与其对应的位置排列。在本发明中，是以灰度值升序对局部图像内像素坐标点的邻域坐标集合进行排序来获取与其对应的位置排列。

③位置排列量化。

所述位置排列量化是指将像素点位置排列的全排列划分成d个bins的方法。这样做的目的是为了降低描述符的维度。

(4)由局部图像内每个像素坐标点的标准差σ和排列来统计局部特征区域的像素排列直方图；

将像素点邻域灰度值序列的标准差作为该像素点在生成排列直方图的权重进行加权分配。然后根据像素点排列的映射值与划分的每个柱（bins）的距离进行反比例分配，距离近的分配的多，距离远的分配的少，超过一定距离的分配0。这样每个像素点根据其排列转换成一个d维的特征向量。通过累加每个子部分内所有像素点的特征向量形成该部分的像素位置排列统计直方图，最后将k部分的统计直方图级联起来就生成了局部图像特征的描述向量。

进一步的，为了消除线性光照的影响，对步骤(4)得到的描述向量归一化处理。

(5)构建多特征区域像素排列直方图。

为了增强描述符本身的区分性，本发明在检测到的原始图像局部特征区域的基础上，按比例扩大特征区域，使局部图像的半径等量增加，再对其按照上所提描述方法对其进行描述，从而将多特征区域引入了局部图像特征描述符。

与现有技术相比，本发明具有如下的有益效果：

(1)本发明将局部图像经均值滤波后再进行排序划分局部图像。

(2)本发明以局部图像内的像素坐标点为圆心画圆，并且以局部图像中心坐标和像素坐标点连线的正方向与圆相交的点作为起始点等角度间隔选取邻点。

(3)本发明将局部图像像素坐标点的邻点排序结果作为该点的描述特征。

(4)本发明将局部图像像素坐标点的邻点序列对应的灰度强度标准差作为该点生成像素排列直方图的权重。

(5)本发明所得到的描述符能够在大的几何变换图像对之间寻找更多的同名点，从而使计算的几何变换参数更加精确，扩大了图像配准和图像融合等应用在大的几何变换情况下的应用范围。

附图说明

现在利用参照附图的方式对本发明的非限制性实施例进行详细说明，本发明的优势和特点将会变得更容易理解，其中：

图1是本发明方法一实施例的基本流程图。

图2为兴趣椭圆形区域归一化为圆形图像的实例。

图3是本发明计算局部图像均值的3×3滤波器掩模。

图4是本发明根据像素灰度强度汇聚策略划分局部图像结果实例。

图5是本发明选择局部图像像素坐标点邻点的示意图。

图6是本发明局部图像像素坐标点邻点全排列量化示意图。

图7是本发明一个局部兴趣区域的多特征区域及各自的归一化局部图像示意图。

图8a是存在视角变化的测试图像和利用本发明的描述符PPH(PixelPermutation Histogram)与其他经典描述符的性能评估曲线。

图8b是存在旋转和尺度变化的测试图像和利用本发明的描述符PPH与其他经典描述符的性能评估曲线。

图9是存在光照变换的测试图像和利用本发明的描述符PPH与其他经典描述符的性能评估曲线。

具体实施方式

下面结合具体实施例对本发明进行详细说明，图1给出了本发明技术方案的基本流程图。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

本实施例提供了一种基于像素位置排列统计直方图的图像局部特征描述方法，具体步骤过程如下：

(1)利用Hessian-affine检测子提取输入灰度图像的兴趣区域，并用椭圆参数表示各个兴趣区域。

(2)根据坐标变换公式

和双线性插值技术将椭圆形兴趣区域归一化成局部图像，其中X'是局部图像内的像素坐标，r代表局部图像的半径，在本实施例中半径r设置为20.5像素，X是椭圆形兴趣区域内像素点坐标。由于从局部图像内的像素坐标映射到椭圆形区域对应的坐标一般不是整数，即不在像素点上，所以需要采用插值技术计算X坐标点的灰度强度，本实施例采用的是双线性插值技术。图2给出了一个椭圆形兴趣区域归一化的实例。

(3)通过均值滤波器对上述局部图像进行滤波。本实施例所采用的3×3均值滤波器掩模如图3所示。

(4)将滤波后局部图像的所有像素灰度强度按照非减方式由小到大进行排序，并将排序的灰度序列等分成k份，由其对应的像素坐标形成子集。这样就将局部图像划分成了k部分，在本实施例中k设置为4。一个局部图像根据像素灰度强度按照非减方式由小到大排序划分结果如图4所示。具体描述如下：

用R={X₁,X₂,…,X_n}表示局部图像所包含像素坐标的集合，I(X_i)代表像素灰度强度，按照灰度强度非减方式由小到大进行排序，假设排序的结果如下：

{X_f(1),X_f(2),…,X_f(n):I(X_f(1))≤I(X_f(2))≤…≤I(X_f(n))}

上式中下标f(1),f(2),…,f(n)是像素坐标集合中1,2,…,n根据灰度值非减的排列结果。

然后将排序后的像素坐标等分成k个子集。其数学表达式如下：

$t_i=I\left(X_{f\left(s_i\right)}\right):t_0\≤t_1\≤\·\·\·\≤t_k$

其中

则第i个子集R_i的数学表达式为：

R_i={X_j∈R:t_i-1≤I(X_j)≤t_i},i=1,2,…,k。

(5)以局部图像内的像素坐标点为圆心画半径为r的圆，将局部图像中心坐标和像素坐标点连线的正方向与圆相交的点作为起始点等角度间隔选取n个像素点。在本实施例中半径r设置为3像素，n取值为5。详细描述如下：

设P是局部图像的中心坐标，X_i是局部图像内任意一点。以X_i为圆心画半径为3像素的圆。连接

，以

与圆的交点为起始点在圆上等角度间隔选取5个像素点作为X_i的邻点，分别表示为

如图5所示。

(6)对像素坐标点X_i的邻点坐标集合

对应的灰度强度

按照非减方式进行排序，其排序结果就代表像素坐标点X_i的排列。

为易于理解，举例如下：取局部图像内任一点，其坐标用X_i表示，选取的邻点坐标集合表示为

按照灰度值非减方式进行排序，假设排序后的结果是 $\{X_i^1,X_i^5,X_i^4,X_i^2,X_i^3:I\left(X_i^1\right)\≤I\left(X_i^5\right)\≤I\left(X_i^4\right)\≤I\left(X_i^2\right)\≤I\left(X_i^3\right)\},$ 那么像素点X_i的排列就是15423。

为了便于表述，先将5个点位置的全排列映射为1到120的整数，具体的映射关系见表1。在下文中也以映射值来讨论。

(7)从映射值1开始等间隔取15个bins将所有的位置排列进行量化。位置排列量化示意图如6所示。

表1  5点位置的全排列及其映射值

排列	映射值	排列	映射值	排列	映射值	排列	映射值	排列	映射值
										12345	1	21345	25	31245	49	41235	72	51234	97
12354	2	21354	26	31254	50	41253	74	51243	98
										12435	3	21435	27	31425	51	41325	75	51324	99
12453	4	21453	28	31452	52	41352	76	51342	100
										12534	5	21534	29	31524	53	41523	77	51423	101
12543	6	21543	30	31542	54	41532	78	51432	102
										13245	7	23145	31	32145	55	42315	79	52341	103

13254	8	23154	32	32154	56	42351	80	52314	104
										13425	9	23415	33	32415	57	42135	81	52431	105
13452	10	23451	34	32451	58	42153	82	52413	106
										13524	11	23514	35	32514	59	42531	83	52134	107
13542	12	23541	36	32541	60	42513	84	52143	108
										14235	13	24135	37	34215	61	43215	85	53241	109
14253	14	24153	38	34251	62	43251	86	53214	110
										14325	15	24315	39	34125	63	43125	87	53421	111
14352	16	24351	40	34152	64	43152	88	53412	112
										14523	17	24513	41	34521	65	43521	89	53124	113
14532	18	24531	42	34512	66	43512	90	53142	114
										15234	19	25134	43	35214	67	45231	91	54231	115
15243	20	25143	44	35241	68	45213	92	54213	116
										15324	21	25314	45	35124	69	45321	93	54321	117
15342	22	25341	46	35142	70	45312	94	54312	118
										15423	23	25413	47	35421	71	45123	95	54123	119
15432	24	25431	48	35412	72	45132	96	54132	120

(8)计算像素坐标点X_i邻点坐标集合

对应的灰度强度

的标准差σ，并将标准差σ作为像素坐标点X_i生成像素排列直方图时的贡献权重。

(9)根据局部图像内每个像素坐标点X_i的标准差σ和排列计算像素坐标点X_i的特征向量。根据像素坐标点X_i的排列与划分的每个bins的距离进行反比例分配，即距离近的分配的多，距离远的分配的少，超过8时，则该像素坐标点X_i对像素排列直方图中该bins的贡献为0。图6给出了一个局部图像子区域内所有像素划分的实例图。具体数学描述如下：

如果将[1,120]均匀划分为d个bins的话，即dir_i=(120/d)×(i-1),i=1,2,…,d，并用α(p(X_i),dir_j)表示局部图像内像素坐标点X_i与第j个bins之间的距离，其中p(X_i)表示像素坐标点X_i的排列，在本实施例中d设置为15。那么局部图像内每个像素坐标点X_i的排列就可以表示成一个d维的特征向量F_G(X_i)=(f₁ ^G,f₂ ^G,…,f_d ^G),其中f_i ^G由下式计算：

${f_j}^G=\left\{\begin{array}{cc}\mathrm{\&sigma;}\left(X_i\right)\frac{(120/d-\mathrm{\&alpha;}(p\left(X_i\right),{\mathrm{dir}}_j))}{120/d},& \mathrm{if\&alpha;}(p\left(X_i\right),{\mathrm{dir}}_j)<120/d\\ 0,& \mathrm{otherwise}\end{array}\right.$

10)将4）步划分的每个子区域内所有像素坐标点的特征向量进行累加就形成该子区域的统计排列统计图。最后将各个子区域15bins的排列统计图级联起来，就形成了15×4维的特征向量描述符D(R)。

D(R)=(F(S1),F(S2),F(S3),F(S4))

其中F(Si)表示子区域内所有像素坐标点的特征向量进行形累加形成的排列统计图。

$F\left(\mathrm{Si}\right)=\underset{X\&Element;R_i}{\mathrm{\&Sigma;}}{F}_G\left(X\right)$

(11)对描述向量归一化处理。

(12)在检测到的特征椭圆形兴趣区域的基础上，按比例扩大局部区域范围，使局部图像的半径具有相等增量。假定检测到的椭圆区域的参数矩阵为A∈R^2×2，可以据此定义其他特征区域的参数矩阵A_i如下：

$A_i=\frac{1}{{r_i}^2}A,i=\mathrm{1,2},...,N$

r_i=1+0.5×(i-1)

在本实施例中N取值为4。图7给出了一个局部兴趣区域的多特征区域及各自的归一化像局部图像示意图。

本发明在matlab2010开发环境下实现了整个方法。在运用时计算机的配置为ATI Mobility Radeon HD545v显卡，2GB RAM，Intel Core i32.40GHz，Windows7操作系统。

以一对视角变换的图像和一对旋转+尺度变换的图像作为应用实例来验证本发明所提出新方法的区分性和几何不变性；以一对光照变换的图像作为应用实例来验证本发明所提出新方法的区分性和光照不变性。

这里基于PR曲线将PPH与MROGH、GLOH、SIFT、PCA-SIFT及spin image（在测试曲线中用SPIN表示）进行比较来验证本发明方法形成的描述符PPH的性能。图8给出了两组试验图片和对应的试验结果。左侧一组是在不同视角下拍摄图片，右侧那组测试图片存在明显的尺度和旋转几何变换，图9给出了一组存在光照变化的试验图片和相应的试验结果。试验结果是从精确度和召回率两者之间的关系给出的对比曲线。1-匹配的精确度（1-precision）和召回率（recall）可以通过下面公式计算：

从试验结果可以看出，本发明方法构建的描述符PPH的精确度和召回率在三种情况下都高于参与比较的其他描述符，因而PPH具有更好性能。

由以上实施例可以看出，由于基于像素强度均值排序计算的位置排列对图像的光照变换和几何变化都具有很好的不变性，所以使用本发明方法得到的局部图像描述符在实施例上获得了很高的精确度和召回率。本发明首次将基于像素强度均值排序的邻点位置排列作为像素点的描述特征，并将邻点像素强度均值得标准差作为构建位置排列直方图时该像素的权重，构造出区分性号和不变性强的局部图像描述符。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (6)

1.一种基于像素位置排列直方图的图像局部特征描述方法，其特征在于，包括如下步骤：

(1)将检测到的图像局部兴趣区域归一化成局部图像；

(2)基于均值排序的汇聚策略将(1)得到的局部图像划分成k个部分，3≤k≤8；

(3)计算(2)处理后的局部图像内像素坐标点排列和标准差；

(4)由(3)得到的局部图像内每个像素坐标点的标准差σ和排列来统计局部特征区域的像素排列直方图；

(5)构建多特征区域像素排列直方图。

2.根据权利要求1所述的图像局部特征描述方法，其特征在于，所述步骤(1)中图像局部特征区域归一化，具体为将局部特征检测子检测到的图像局部特征区域映射到固定半径的圆形区域，半径取值为20.5。

3.根据权利要求1所述的图像局部特征描述方法，其特征在于，所述步骤(2)包括以下步骤：

步骤21，对局部图像进行均值滤波；

步骤22，对滤波后的局部图像的所有像素灰度强度按照非减方式由小到大进行排序，并将排好的灰度序列等分成k份，由其对应的像素坐标形成子集，k取值为4。

4.根据权利要求1所述的图像局部特征描述方法，其特征在于，所述步骤(3)包括以下步骤：

步骤31，以局部图像内的像素坐标点X_i为圆心画半径r固定的圆，r取值为3，以局部图像中心和坐标点连线的正方向与圆相交的点为起始点在圆上等角度间隔选取n个像素点构成像素坐标点X_i的邻点坐标集合，n取值为5，n取值5时邻点坐标集合是 $\{X_i^1,X_i^2,X_i^3,X_i^4,X_i^5\};$

步骤32，将局部图像内的像素坐标点X_i的邻点坐标集合

对应的灰度强度

按照非减方式由小到大进行排序获取邻点坐标集合的位置排列，此排列代表像素坐标点X_i的排列。

5.根据权利要求1所述的图像局部特征描述方法，其特征在于，所述步骤(4)包括以下步骤：

步骤41，对局部图像内坐标点的全排列进行量化，具体为从全排列的映射值1开始，等间隔的取15个bins；

步骤42，计算局部图像内的像素坐标点X_i的邻点坐标集合

对应的灰度强度的标准差σ，此标准差代表像素坐标点X_i的标准差；

步骤43，由局部图像内每个像素坐标点的标准差σ和排列计算像素坐标点X_i的特征向量：具体为根据像素坐标点的排列与量化的每个bins的距离将像素坐标点的标准差进行反比例分配；

将像素点全排列[1,120]均匀划分为d个bins，其中d取值为15，即dir_i=(120/d)×(i-1),i=1,2,…,d，用符号α(p(X_i),dir_j)表示局部图像内像素坐标点X_i与第j个bins之间的距离，其中p(X_i)表示像素坐标点X_i的排列，那么局部图像内每个像素坐标点的排列就表示成一个d维的特征向量F_G(X_i)=(f₁ ^G,f₂ ^G,…,f_d ^G),其中f_i ^G由下式计算：

${f_j}^G=\left\{\begin{array}{cc}\mathrm{\&sigma;}\left(X_i\right)\frac{(120/d-\mathrm{\&alpha;}(p\left(X_i\right),{\mathrm{dir}}_j))}{120/d},& \mathrm{if\&alpha;}(p\left(X_i\right),{\mathrm{dir}}_j)<120/d\\ 0,& \mathrm{otherwise}\end{array}\right.$

步骤44，将步骤(2)划分的每个子区域内所有像素坐标点的量化特征向量分别进行累加，形成每个子区域的排列直方图，最后将各个子区域的排列直方图级联起来，就形成了15×4维的特征向量描述符D(R)，即

D(R)=(F(S1),F(S2),F(S3),F(S4))

其中F(Si)表示子区域内所有像素坐标点的特征向量进行形累加形成的排列统计图：

$F\left(\mathrm{Si}\right)=\underset{X\&Element;R_i}{\mathrm{\&Sigma;}}{F}_G\left(X\right);$

其中R_i是权利要求1所述步骤2所形成的第i个子集，1≤i≤k；

步骤45，将计算特征向量描述符D(R)进行归一化处理。

6.根据权利要求1所述的图像局部特征描述方法，其特征在于，所述步骤(5)包括以下步骤：

步骤51，将检测到的图像局部特征区域即所述步骤1归一化之前的图像局部特征区域，按比例扩大，使局部图像的半径等量增加，具体方法如下：假定检测到的图像局部特征区域的参数矩阵为A∈R^2×2，按下式定义其他特征区域的参数矩阵A_i：

$A_i=\frac{1}{{r_i}^2}A,i=\mathrm{1,2,3,4}$

r_i=1+0.5×(i-1)；

步骤52，将扩大后的图像局部特征区域根据步骤(1)-步骤(4)计算扩大后的局部图像特征向量描述符；

步骤53，将计算的多个局部图像特征向量描述符级联起来就形成局部图像特征描述符{D₁,D₂,D₃,D₄}。

Images