CN103077396B - 一种彩色图像的向量空间特征点提取方法及装置 - Google Patents

Abstract

本发明提供了一种彩色图像的向量空间特征点提取方法及装置，通过读取需要处理的输入彩色数字图像，并对数字图像进行色彩空间转换，然后构建向量空间，接着在构建好的向量空间上对输入图像像素点进行邻域统计特性分析以及通过统计特性分析结果计算每个像素点的响应值，最后提取响应值的极值像素点作为输出特征点，本方案可有效提高特征点提取的稳定性与均匀性，输出高质量的特征点。

Description

一种彩色图像的向量空间特征点提取方法及装置

技术领域

本发明涉及计算机视觉和图像理解技术领域，特别是涉及一种彩色图像的向量空间特征点提取方法及装置。

背景技术

随着计算机视觉技术的飞速发展与广泛应用，彩色图像处理包括彩色图像的处理、转换和描述日益成为研究的热点和难点。图像中特征点的提取被认为是计算机视觉和模式识别领域最基础也是最困难的问题；很多相关应用都把特征点提取作为一个基本步骤，包括全景图拼接，多视图重建，从视频中提取对象(VideoGoogle)等等。Lowe提出的SIFT算法(ScaleInvariantFeatureTransform，尺度不变特征变换)[LoweDG.Distinctiveimagefeaturesfromscale-invariantkeypoints.InternationalJournalofComputerVision，2004，60(2)：91-110.]是应用最广泛也是输出质量最好的算法[MikolajczykK，TuytelaarsT，SchmidC.etal.Acomparisonofaffineregiondetectors.InternationalJournalofComputerVision，2005，65(1/2)：43-72.]；SIFT算法是一种相似不变算法，在图像经过尺度缩放和角度旋转后仍然能够提取稳定的特征。SIFT算法是一个基于灰度图像的算法，而现在采集的图像和视频绝大多数都是彩色的；彩色图像包含更多图像形成的信息，因此对于特征点具有更强的辨别能力。如何运用色彩信息来提升特征提取的算法质量成为了近年来研究比较活跃的一个问题。一些运用色彩信息针对SIFT进行改良的算法陆续被提出，这些算法的贡献在于提出了色彩不变量(ColorInvariant)的概念，通过改进SIFT特征描述子来提升算法在模式识别应用中的性能。

为了克服上述现有技术的不足，本发明提供了一种彩色图像的向量空间特征点提取方法及装置，尝试基于向量空间提出一种邻域统计模型，通过邻域统计模型可以快速的在多尺度下计算特征点的响应值，输出高质量的特征点，是目前计算机视觉和图像理解技术领域亟待解决的问题之一。

发明内容

有鉴于此，本发明实施例提出了一种彩色图像的向量空间特征点提取方法及装置，通过读取需要处理的输入彩色数字图像，并对数字图像进行色彩空间转换，然后构建向量空间，接着在构建好的向量空间上对输入图像像素点进行邻域统计特性分析以及通过统计特性分析结果计算每个像素点的响应值，最后提取响应值的极值像素点作为输出特征点，本方案可有效提高特征点提取的稳定性与均匀性，输出高质量的特征点。

为解决上述技术问题，本发明实施例的目的是通过以下技术方案实现的：

一种彩色图像的向量空间特征点提取方法，包括：

步骤一、读取需要处理的输入彩色数字图像；

步骤二、对数字图像进行色彩空间转换；

步骤三、构建向量空间；

步骤四、在构建好的向量空间上对输入图像像素点进行邻域统计特性分析；

步骤五、通过统计特性分析结果计算每个像素点的响应值；

步骤六、提取响应值的极值像素点作为输出特征点。

优选的，上述步骤一中，是从计算机磁盘或者通过网络读取需要处理的输入彩色数字图像到计算机内存。

优选的，上述步骤二中，是将数字图像从输入的色彩空间转换到CIELAB色彩空间，可支持多种输入色彩空间，包括但不限于RGB，sRGB，YUV，并且会将数字图像从输入的色彩空间转换到CIELAB色彩空间。

优选的，上述步骤三中，是在CIELAB色彩空间上构建向量空间，并会将整个色彩空间进行划分，构建高维的向量空间。

优选的，上述步骤四中，对输入图像像素点进行邻域统计特性分析是基于向量空间计算，是在图像像素点的指定邻域内计算。

优选的，上述步骤五中，通过统计特性分析结果计算每个像素点的响应值时，可支持多尺度计算。

优选的，上述步骤六中，是根据计算响应值提取空间域的极值点；根据计算响应值提取尺度域的极值点。

一种彩色图像的向量空间特征点提取装置，包括读取单元、转换单元、构建单元、统计单元、计算单元以及提取单元，通过读取需要处理的输入彩色数字图像，并对数字图像进行色彩空间转换，然后构建向量空间，接着在构建好的向量空间上对输入图像像素点进行邻域统计特性分析以及通过统计特性分析结果计算每个像素点的响应值，最后提取响应值的极值像素点作为输出特征点。

优选的，上述读取单元用于读取需要处理的输入彩色数字图像。

优选的，上述转换单元用于对数字图像进行色彩空间转换。

优选的，上述构建单元用于构建向量空间。

优选的，上述统计单元用于在构建好的向量空间上对输入图像像素点进行邻域统计特性分析。

优选的，上述计算单元用于通过统计特性分析结果计算每个像素点的响应值。

优选的，上述提取单元用于提取响应值的极值像素点作为输出特征点。

综上所述，本发明提供了一种彩色图像的向量空间特征点提取方法及装置，通过读取需要处理的输入彩色数字图像，并对数字图像进行色彩空间转换，然后构建向量空间，接着在构建好的向量空间上对输入图像像素点进行邻域统计特性分析以及通过统计特性分析结果计算每个像素点的响应值，最后提取响应值的极值像素点作为输出特征点，本方案可有效提高特征点提取的稳定性与均匀性，输出高质量的特征点。

附图说明

图1为本发明实施例一种彩色图像的向量空间特征点提取方法示意图；

图2为本发明实施例一种彩色图像的向量空间特征点提取装置示意图。

具体实施方式

本发明实施例提供的一种彩色图像的向量空间特征点提取方法及装置，通过读取需要处理的输入彩色数字图像，并对数字图像进行色彩空间转换，然后构建向量空间，接着在构建好的向量空间上对输入图像像素点进行邻域统计特性分析以及通过统计特性分析结果计算每个像素点的响应值，最后提取响应值的极值像素点作为输出特征点，本方案可有效提高特征点提取的稳定性与均匀性，输出高质量的特征点。

为使本发明的目的、技术方案及优点更加清楚明白，下面参照附图并举实施例，对本发明进一步详细说明。

本发明实施例提供了一种彩色图像的向量空间特征点提取方法，如图1所示，具体步骤包括：

步骤一、读取需要处理的输入彩色数字图像；

具体而言，在本发明实施例中，是从计算机磁盘或者通过网络读取需要处理的输入彩色数字图像到计算机内存，即本方案支持从计算机磁盘读取需要处理的输入彩色数字图像，也支持从计算机网络读取需要处理的输入彩色数字图像；并且将读取需要处理的输入彩色数字图像到计算机内存。

步骤二、对数字图像进行色彩空间转换；

具体而言，在本发明实施例中，将对数字图像进行色彩空间转换，将数字图像从输入的色彩空间转换到CIELAB色彩空间。进一步的，在本方案中，支持多种输入色彩空间，包括但不限于RGB，sRGB，YUV，并且会将数字图像从输入的色彩空间转换到CIELAB色彩空间。

一般数码照相机拍摄的彩色数字图像为RGB色彩空间，需要转换到CIELAB色彩空间来进行后续处理；CIELAB色彩模型来源与人眼感知原理，其中L分量表示亮度，a和b分量表示颜色对立维度。相较与其他一些色彩空间，CIELAB色彩空间对亮度的分离程度更高。RGB色彩空间到CIELAB色彩空间的变换如下：

l＝0.2126*r+0.7152*g+0.0722*b

a＝1.4749*(0.2213*r-0.3390*g+0.1177*b)+128

b＝0.6245*(0.1949*r+0.6057*g-0.8006*b)+128

步骤三、构建向量空间；

具体而言，在本发明实施例中，是在CIELAB色彩空间上构建向量空间。可以看到色彩空间中各个维度是相关的，不具备简单可加性。这里考虑将整个色彩空间进行划分，构建高维的向量空间。统计邻域直方图首先需要将像素的值域R划分成若干个桶，再统计邻域内落入各个桶的像素点数目：

H(x，y)＝{h(x，y，v)|v∈R}

其中，

$P(x,y,v)=\left\{\begin{array}{cc}1& V(x,y)\∈v\\ 0& V(x,y)\∉v\end{array}\right.$

步骤四、在构建好的向量空间上对输入图像像素点进行邻域统计特性分析；

具体而言，在本发明实施例中，对输入图像像素点进行邻域统计特性分析是基于向量空间计算，是在图像像素点的指定邻域内计算。在本方案中，邻域直方图描述了邻域内像素点在对应空间中的分布状况。在相应尺度的邻域内进行直方图统计时，与SIFT算法一样使用高斯函数加权，有：

$h(x,y,v)=\underset{(x_i,y_i)\∈N}{\mathrm{\Σ}}G(x_i,y_i)P(x_i,y_i,v)$

另外，由于像素邻域内的采样点有限，为有效抑制噪声的影响，可以考虑在直方图上叠加一个高斯滤波，则像素的邻域统计直方图有如下形式：

H＝G_H*G_N*P

其中，G_N与G_H分别代表空域与统计直方图上的高斯滤波卷积函数。邻域统计直方图H可以用向量B表示，作为对像素邻域在向量空间的一种高维描述。

具体实现中，可将CIELAB每个分量量化为4个等级，则色彩空间被划分为4×4×4＝64个区域。每个区域可以对应于邻域统计直方图H的一个桶，等价于对应像素邻域描述向量的一个维度。这里向量V的每个分量对应一个较小的色彩区域，区域内的色彩是相似的；由此去掉了向量各维间的相关性，使得向量的对应分量具备可加性，从而能应用线性滤波器进行处理。

SIFT特征提取的原理是首先使用高斯函数对灰度图像进行尺度分析，得到对应尺度的滤波图像：

L＝G*I

随后再叠加拉普拉斯算子，得到对应的LoG图像：

${\▿}_{2}L={\▿}_{2}G*I$

SIFT特征提取的原理实际上是使用像素点的邻域灰度值的均值作为一个像素点的描述，再通过计算这一像素与周围像素点描述的差值来作为特征点提取的标准。

步骤五、通过统计特性分析结果计算每个像素点的响应值；

具体而言，在本发明实施例中，通过统计特性分析结果计算每个像素点的响应值时，支持多尺度计算。在本方案中，高斯函数G就是计算像素点邻域灰度加权平均值作为像素点描述的过程：

M(x，y)＝∑G(x，y)I(x，y)

随后考虑使用如下的拉普拉斯算子计算一个像素点与周围8个像素点的描述之差：

$\left[\begin{array}{ccc}-1& -1& -1\\ -1& 8& -1\\ -1& -1& -1\end{array}\right]$

可得到如下的特征点响应函数：

$T(x,y)=\underset{(x_i,y_i)\∈N}{\mathrm{\Σ}}(M(x,y)-M(x_i,y_i))$

步骤六、提取响应值的极值像素点作为输出特征点。

具体而言，在本发明实施例中，是根据计算响应值提取空间域的极值点；根据计算响应值提取尺度域的极值点。在本方案中，考虑对像素点的描述扩展到向量空间，使用一个高维的向量来代替加权均值来描述图像中的像素点，则响应函数改写为如下形式：

$T(x,y)={\left|\right|\underset{(x_i,y_i)\∈N}{\mathrm{\Σ}}(V(x,y)-V(x_i,y_i))\left|\right|}_2$

将向量差值的2范数，作为特征点的评判标准。最终提取响应函数在图像空间域和尺度域的联合极值点作为系统的输出特征点。

因此，通过本发明实施例可有效解决彩色数字图像的特征点提取问题。相对于传统现有方法只针对图像灰度信息进行处理，本发明可以处理输入图像的色彩信息，提高了特征点提取的稳定性与均匀性。本发明提出了彩色图像的向量模型；向量模型是一种图像的高维度的表述形式，通过计算向量模型可以去除图像的亮度影响以及色彩相关性，提高算法的鲁棒性；同时向量模型具有高可伸缩性和高可计算性的优点，可以根据实际应用场合的内存大小等参数灵活选择向量空间维度。并且，本发明实施例是基于向量空间提出邻域统计模型，通过邻域统计模型可以快速的在多尺度下计算特征点的响应值，输出高质量的特征点。

另外，本发明实施例还提供了一种彩色图像的向量空间特征点提取装置。如图2所示，为本发明实施例提供的一种彩色图像的向量空间特征点提取装置示意图。

一种彩色图像的向量空间特征点提取装置，包括读取单元11、转换单元22、构建单元33、统计单元44、计算单元55以及提取单元66。

读取单元11，用于读取需要处理的输入彩色数字图像；

具体而言，在本发明实施例中，是从计算机磁盘或者通过网络读取需要处理的输入彩色数字图像到计算机内存，即本方案支持从计算机磁盘读取需要处理的输入彩色数字图像，也支持从计算机网络读取需要处理的输入彩色数字图像；并且将读取需要处理的输入彩色数字图像到计算机内存。

转换单元22，用于对数字图像进行色彩空间转换；

具体而言，在本发明实施例中，将对数字图像进行色彩空间转换，将数字图像从输入的色彩空间转换到CIELAB色彩空间。进一步的，在本方案中，支持多种输入色彩空间，包括但不限于RGB，sRGB，YUV，并且会将数字图像从输入的色彩空间转换到CIELAB色彩空间。

一般数码照相机拍摄的彩色数字图像为RGB色彩空间，需要转换到CIELAB色彩空间来进行后续处理；CIELAB色彩模型来源与人眼感知原理，其中L分量表示亮度，a和b分量表示颜色对立维度。相较与其他一些色彩空间，CIELAB色彩空间对亮度的分离程度更高。RGB色彩空间到CIELAB色彩空间的变换如下：

l＝0.2126*r+0.7152*g+0.0722*b

a＝1.4749*(0.2213*r-0.3390*g+0.1177*b)+128

b＝0.6245*(0.1949*r+0.6057*g-0.8006*b)+128

构建单元33，用于构建向量空间；

具体而言，在本发明实施例中，是在CIELAB色彩空间上构建向量空间。

可以看到色彩空间中各个维度是相关的，不具备简单可加性。这里考虑将整个色彩空间进行划分，构建高维的向量空间。统计邻域直方图首先需要将像素的值域R划分成若干个桶，再统计邻域内落入各个桶的像素点数目：

H(x，y)＝{h(x，y，v)|v∈R}

其中，

$P(x,y,v)=\left\{\begin{array}{cc}1& V(x,y)\∈v\\ 0& V(x,y)\∉v\end{array}\right.$

统计单元44，用于在构建好的向量空间上对输入图像像素点进行邻域统计特性分析；

具体而言，在本发明实施例中，对输入图像像素点进行邻域统计特性分析是基于向量空间计算，是在图像像素点的指定邻域内计算。在本方案中，邻域直方图描述了邻域内像素点在对应空间中的分布状况。在相应尺度的邻域内进行直方图统计时，与SIFT算法一样使用高斯函数加权，有：

$h(x,y,v)=\underset{(x_i,y_i)\∈N}{\mathrm{\Σ}}G(x_i,y_i)P(x_i,y_i,v)$

另外，由于像素邻域内的采样点有限，为有效抑制噪声的影响，可以考虑在直方图上叠加一个高斯滤波，则像素的邻域统计直方图有如下形式：

H＝G_H*G_N*P

其中，G_N与G_H分别代表空域与统计直方图上的高斯滤波卷积函数。邻域统计直方图H可以用向量B表示，作为对像素邻域在向量空间的一种高维描述。

具体实现中，可将CIELAB每个分量量化为4个等级，则色彩空间被划分为4×4×4＝64个区域。每个区域可以对应于邻域统计直方图H的一个桶，等价于对应像素邻域描述向量的一个维度。这里向量V的每个分量对应一个较小的色彩区域，区域内的色彩是相似的；由此去掉了向量各维间的相关性，使得向量的对应分量具备可加性，从而能应用线性滤波器进行处理。

SIFT特征提取的原理是首先使用高斯函数对灰度图像进行尺度分析，得到对应尺度的滤波图像：

L＝G*I

随后再叠加拉普拉斯算子，得到对应的LoG图像：

${\▿}_{2}L={\▿}_{2}G*I$

SIFT特征提取的原理实际上是使用像素点的邻域灰度值的均值作为一个像素点的描述，再通过计算这一像素与周围像素点描述的差值来作为特征点提取的标准。

计算单元55，用于通过统计特性分析结果计算每个像素点的响应值；

具体而言，在本发明实施例中，通过统计特性分析结果计算每个像素点的响应值时，支持多尺度计算。在本方案中，高斯函数G就是计算像素点邻域灰度加权平均值作为像素点描述的过程：

M(x，y)＝∑G(x，y)I(x，y)

随后考虑使用如下的拉普拉斯算子计算一个像素点与周围8个像素点的描述之差：

$\left[\begin{array}{ccc}-1& -1& -1\\ -1& 8& -1\\ -1& -1& -1\end{array}\right]$

可得到如下的特征点响应函数：

$T(x,y)=\underset{(x_i,y_i)\∈N}{\mathrm{\Σ}}(M(x,y)-M(x_i,y_i))$

提取单元66，用于提取响应值的极值像素点作为输出特征点。

具体而言，在本发明实施例中，是根据计算响应值提取空间域的极值点；根据计算响应值提取尺度域的极值点。在本方案中，考虑对像素点的描述扩展到向量空间，使用一个高维的向量来代替加权均值来描述图像中的像素点，则响应函数改写为如下形式：

$T(x,y)={\left|\right|\underset{(x_i,y_i)\∈N}{\mathrm{\Σ}}(V(x,y)-V(x_i,y_i))\left|\right|}_2$

将向量差值的2范数，作为特征点的评判标准。最终提取响应函数在图像空间域和尺度域的联合极值点作为系统的输出特征点。

本领域普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

综上所述，本文提供了一种彩色图像的向量空间特征点提取方法及装置，通过读取需要处理的输入彩色数字图像，并对数字图像进行色彩空间转换，然后构建向量空间，接着在构建好的向量空间上对输入图像像素点进行邻域统计特性分析以及通过统计特性分析结果计算每个像素点的响应值，最后提取响应值的极值像素点作为输出特征点，本方案可有效提高特征点提取的稳定性与均匀性，输出高质量的特征点。

以上对本发明所提供的一种彩色图像的向量空间特征点提取方法及装置进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方案；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种彩色图像的向量空间特征点提取方法，其特征在于，所述方法包括：

步骤一、读取需要处理的输入彩色数字图像；

步骤二、对数字图像进行色彩空间转换；

步骤三、在CIELAB色彩空间上构建向量空间；

步骤四、在构建好的向量空间上对输入图像像素点进行邻域统计特性分析；

步骤五、通过统计特性分析结果根据特征点响应函数计算每个像素点的响应值；

步骤六、根据计算响应值提取空间域的极值点，根据计算响应值提取尺度域的极值点，然后提取响应函数在图像空间域和尺度域的联合极值点作为输出特征点；

所述特征点响应函数为

$T(x,y)=\underset{(x_i,y_i)\∈N}{\Σ}\left(M\right(x,y)-M(x_i,y_i\left)\right),$

其中，T(x,y)为响应值，(x_i,y_i)为所述输入图像像素点，M(x,y)为像素点(x,y)的邻域灰度加权平均值，M(x_i,y_i)为像素点(x_i,y_i)的邻域灰度加权平均值，N为向量空间。

2.根据权利要求1所述的方法，其特征在于，所述步骤一中，是从计算机磁盘或者通过网络读取需要处理的输入彩色数字图像到计算机内存。

3.根据权利要求1所述的方法，其特征在于，所述步骤二中，是将数字图像从输入的色彩空间转换到CIELAB色彩空间，可支持多种输入色彩空间，包括但不限于RGB,sRGB,YUV，并且会将数字图像从输入的色彩空间转换到CIELAB色彩空间。

4.根据权利要求1所述的方法，其特征在于，所述步骤三中，是在CIELAB色彩空间上构建向量空间，并会将整个色彩空间进行划分，构建高维的向量空间。

5.根据权利要求1所述的方法，其特征在于，所述步骤四中，对输入图像像素点进行邻域统计特性分析是基于向量空间计算，是在图像像素点的指定邻域内计算。

6.根据权利要求1所述的方法，其特征在于，所述步骤五中，通过统计特性分析结果计算每个像素点的响应值时，可支持多尺度计算。

7.根据权利要求1所述的方法，其特征在于，所述步骤六中，是根据计算响应值提取空间域的极值点；根据计算响应值提取尺度域的极值点。

8.一种彩色图像的向量空间特征点提取装置，其特征在于，所述装置包括读取单元、转换单元、构建单元、统计单元、计算单元以及提取单元，通过读取需要处理的输入彩色数字图像，并对数字图像进行色彩空间转换，然后在CIELAB色彩空间上构建向量空间，将整个色彩空间进行划分，构建高维的向量空间，接着在构建好的向量空间上对输入图像像素点进行邻域统计特性分析，再根据计算响应值提取空间域的极值点，根据计算响应值提取尺度域的极值点，最后提取响应函数在图像空间域和尺度域的联合极值点作为输出特征点。