CN103714576A - 基于局部加权非相似性度量的三维关键点检测方法 - Google Patents
基于局部加权非相似性度量的三维关键点检测方法 Download PDFInfo
- Publication number
- CN103714576A CN103714576A CN201410008590.2A CN201410008590A CN103714576A CN 103714576 A CN103714576 A CN 103714576A CN 201410008590 A CN201410008590 A CN 201410008590A CN 103714576 A CN103714576 A CN 103714576A
- Authority
- CN
- China
- Prior art keywords
- point
- dimensional
- yardstick
- local
- under
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明一种基于局部加权非相似性度量的三维关键点检测方法,属于计算机视觉领域。其特征在于,提出了一种多尺度三维关键点检测方法。它首先确定每个三维模型点的多尺度局部邻域点;然后在每个尺度下分别计算每个三维模型点对应的形状索引值和局部加权非相似性度量值,进而确定每个三维模型点的检测尺度;最后在每个三维模型点的检测尺度下完成三维关键点检测。本发明所述的局部加权非相似性度量对于三维模型的旋转和平移变换具有不变性,且比已有的基于形状索引值标准差的非相似性度量具有更好的描述能力和抗噪声能力。应用本发明所述的方法,可获得分布比较均匀的三维关键点,有效减少后续三维模型识别或者注册的计算量。
Description
技术领域
本发明涉及计算机视觉技术领域,尤其涉及一种三维模型关键点检测方法。
背景技术
随着三维模型采集技术的飞速发展, 三维模型在身份识别、视频监控、虚拟现实、电子商务、古建筑保护,医疗诊断和智能机器人等领域中获得了广泛地应用。三维模型被公认为是继音频、图像和视频之后的第四代多媒体数据类型,因此对于三维模型的处理和分析的研究受到越来越多研究者的重视。与其他的多媒体数据类型相比,三维模型的数据量一般都比较大,因此直接对每个点或者网格进行分析和描述的计算量会比较大,这已经成为阻碍三维模型相关技术不断发展和应用的瓶颈之一。
针对这一问题,通常采用的解决方法是在三维模型表面进行稀疏采样,以减少计算的复杂度。这种方法虽然有效地减少了计算量,但是可能对后续的特征提取和识别步骤造成信息损失。为了能有效地表示三维模型,研究者提出从三维模型中检测出一些具有典型性特征的点、线或面来进行表达的方法。这种思想与人类感知目标物体的机制是相一致的,即人对目标的识别过程,总是优选考虑最显著、能最大限度与其他非目标区分的特征,然后依次使用次显著特征,是一种动态的、序贯性的认知过程。因此,在保证有效鉴别信息完整性的前提下,利用从三维模型中检测出的关键点进行特征提取和识别,会大大提高算法的运算效率。但是如果检测方法选择不合适,会降低后续特征描述子的辨别能力,导致其不能唯一刻画该物体。目前有关三维模型特征点检测的研究成果还不是很多,在理论上还不成熟,尚处于起步阶段。因此,对三维模型特征点检测算法进行研究具有重要的理论意义和实际应用价值。
Castellani等提出了一种基于显著度的关键点检测方法(U. Castellani, M. Cristani, S. Fantoni, V. Murino. Sparse Points Matching by Combining 3D Mesh Saliency with Statistical Descriptors. Eurographics, Vol. 27, No.2, pp. 643-652, 2008.)。该方法首先对三维网格进行一系列的高斯滤波,然后根据三维点的显著度来检测关键点。如果一个三维点的显著度是局部最大值且大于最大显著度的30%,那么该点被标记为关键点。这里显著度是根据三维点在垂直局部表面方向上的位置变化量来进行定义的。Galfand等提出了一种用来进行三维形状自动对齐的关键点选择算法(N. Gelfand, N. Mitra, L. Guibas, H. Pottmann, Robust Global Registration, Eurographics Symposium on Geometry Processing, 2005.)。首先,计算每个点的积分量描述子,然后根据描述子的可区分性来选择关键点。Ho和Gibbins提出了一种基于局部曲率的关键点检测算法(Huy Tho Ho and Danny Gibbins, Multi-scale Feature Extraction for 3D Models using Local Surface Curvature, Digital Image Computing: Techniques and Applications, pp. 16-23, 2008.)。该方法将具有局部最大曲率的点定义为三维点。这种方法在局部曲率分布比较均匀的区域也有可能检测出关键点,这显然是不合理的。为了解决这一问题,Ho和Gibbins还提出了一种基于局部形状变化的特征点检测方法(Huy Tho ho and Danny Gibbins, Multi-scale Feature Extraction for 3D Surface Registration using Local Shape Variation, International Conference on Image and Vision Computing, pp. 1-6, 2008.)。该方法将三维点对应形状索引值的方差定义为非相似性度量,将具有局部最大相似性度量的三维点标记为关键点。与Galfand、Ho和Gibbins等人提出的三维关键点检测方法相比,这种方法能够更有效、更合理地表达三维模型。鉴于此,本发明提出了一种基于局部加权非相似性度量的三维关键点检测方法,在计算相似性度量的过程中根据三维点与其邻域点的距离对形状索引值的变化量进行高斯加权。与基于局部形状索引值方差的非相似性度量方法相比,本发明提出的非相似性度量方法可以更好地描述局部形状的变化信息。此外,为了进一步提高关键点检测算法的性能,本发明还提出了多尺度关键点检测的方案。
发明内容
本发明的目的在于提供一种基于局部加权非相似性度量的三维关键点检测方法。与基于形状索引值标准差的非相似度量相比,本发明提出的局部加权非相似性度量可以描述更细微的形状变化信息,可用来检测出具有更高重复性的三维关键点。
本发明的技术方案为:
本发明提出的基于局部加权非相似性度量的三维关键点检测方法主要包括确定三维点多尺度邻域点、计算多尺度形状索引值、计算多尺度局部加权非相似性度量、确定三维点的检测尺度、三维关键点检测5个步骤,其算法流程图如附图1所示。
1. 确定三维点多尺度邻域点
三维点的局部邻域点通常使用距离来进行定义,与该三维点距离小于预定义的阈值的三维点被定义为该三维点的邻域点。对于这种基于距离的方法,计算量往往比较大。在本发明中,我们使用“环”的概念来定义三维点的局部邻域。三维点的“1-环”邻域点由与该三维点的“1-环”点来组成的,它们是位于该三维点外侧第一层且在几何位置关系上直接相邻的点。如附图2所示,绿点为红色点的“1-环”邻域点。三维点的“2-环”邻域点由该三维点的“1-环”点和“2-环”点来组成的。其中“2-环”点表示位于该三维点外侧第二层且与“1-环”点在几何位置关系上直接相邻的点。如附图3所示,绿点为红点的“1-环”点,蓝点为红点的“2-环”点,绿点与蓝点共同组成了红点的“2-环”邻域点。以此类推,我们可以得到任意环的邻域点。与基于距离的局部邻域点确定方法相比,基于环的计算方法简单而有效。在本发明中,我们将三维点的尺度定义为其局部邻域环数的大小,在7个尺度下来进行后续的计算,即需要依次确定三维模型每个三维点的“1-环”邻域点到“7-环”邻域点。也就是说,我们需要使用“环”的概念确定每个三维模型点的多尺度局部邻域点 (),其中表示三维点在尺度下的邻域点个数,尺度值分别取为1、2、3、4、5、6、7。
2. 计算多尺度形状索引值
形状索引值是利用曲率对曲面上三维点的局部形状进行定量描述的一种方法,它对三维表面形状的细微变化较为敏感。因此,在本发明中我们采用形状索引值来描述三维局部表面,并利用其构造非相似性度量。在本发明中,我们使用基于局部二次曲面拟合和Hessian矩阵的方法获得三维点的最大主曲率和最小主曲率,进而计算形状索引值。由于三维点的最大主曲率和最小主曲率可通过对不同尺度大小的局部邻域点进行二次曲面拟合来获得,因此形状索引值可以在多个尺度下进行计算。对于每一个三维点,在本发明中我们需要在“1-环”邻域点到“7-环”邻域点这7个尺度下分别计算该点所对应的最大主曲率、最小主曲率及形状索引值,即尺度大小分别取1、2、3、4、5、6、7。
2)对旋转后的局部邻域点利用公式(1)进行二次曲面拟合:
3)利用二次曲面的系数利用公式(2)构造Hessian矩阵:
(2)
由最大主曲率和最小主曲率具有旋转和平移不变性可推出,形状索引值也具有旋转和平移不变性。根据形状索引值的定义可知,形状索引值的取值范围为[0,1]。从公式(5)我们可以推出形状索引值在不同的三维形状之间存在连续的变化,不同的形状索引值可以对应不同的局部三维形状。因此,形状索引值可以用来描述三维模型的局部形状变化。附图4给出了三维模型“Chef”和三维模型“Chicken”的形状索引值示意图。图中,形状索引值示意图的颜色值与对应位置的三维模型点的形状索引值大小成正比,从蓝色到红色分别对应于形状索引值由小到大的变化。形状索引值示意图中较接近蓝色的点表示三维点的形状索引值较小,表现为凹面(山谷形曲面)等;较接近红色的点表示三维点的形状索引值较大,表现为凸面(脊形曲面和圆屋形曲面)。由附图4我们可以看出,如果形状索引值高的三维点被指定为关键点,在形状索引值较低的区域将缺乏关键点,且形状索引值高的区域将布满关键点。此时,关键点在三维模型上的分布并不均匀,用这些关键点无法有效地描述三维模型的整体形状信息,不利于后续的三维模型识别或注册。因此,在本发明中,我们使用形状索引值的变化来描述局部形状的显著性程度。如果一个三维点局部邻域点对应的形状索引值存在较大的变化,那么可考虑将该点选择为关键点。
3. 计算多尺度局部加权非相似性度量
在本发明中,我们提出了一种局部加权非相似性度量方法来描述三维局部形状的变化程度。在每个尺度下,分别计算每个三维模型点对应的局部加权非相似性度量值。当尺度值取时,三维点对应的局部加权非相似性度量值的计算公式为:
(6)
其中,为三维点在尺度下的邻域点,表示三维点在尺度下的邻域点个数,和表示三维点和在尺度下的形状索引值,表示高斯加权函数, 表示三维点和其邻域点之间的欧几里德距离。每个三维模型点最终可获得7个相应的局部加权非相似性度量值。
从公式(6)中我们可以看出,邻域点对非相似性度量的影响是由形状索引值相对变化的加权值确定的。三维点与其邻域点的距离越近,它们之间形状索引值的相对变化对局部加权非相似性度量的影响就越大;三维点与其邻域点的距离越远,它们之间形状索引值的相对变化对局部加权非相似性度量的影响就越小。与已有的基于局部形状索引值标准差的非相似性度量方法相比,本发明提出的局部加权非相似性度量方法同时考虑了形状索引值的相对变化量和它们对非相似度量的影响,能够更加鲁棒和准确地描述局部三维形状。在本发明中,我们需要在7个尺度下分别计算局部加权非相似性度量,它们的不同之处在于用来计算局部加权非相似性度量的邻域点不同。
4. 确定三维点的检测尺度
三维点的检测尺度是根据其在多尺度下的局部加权非相似性度量的大小来决定的。在本发明中,我们比较三维点在7个尺度下对应的局部加权非相似性度量值的大小,并将具有最大局部加权非相似性度量值的尺度定义为该三维点的检测尺度。确定三维点检测尺度的公式为:
其中,表示三维模型点的检测尺度,表示三维模型点在尺度下的局部加权非相似性度量值。如附图5所示,三维点在7个尺度下对应的局部加权非相似性度量值的大小均不同,尺度值大小为4时对应的局部加权非相似性度量值最大,此时该三维点的检测尺度为4。换句话说,当三维点取“4-环”邻域点来计算形状索引值及局部加权非相似性度量值时,其对应的局部加权非相似性度量值最大。
5. 三维关键点检测
在本发明中,后续的关键点检测步骤均在每个三维点对应的检测尺度下进行。对于三维模型的每一个三维点,我们在其检测尺度下取局部邻域点,并比较该三维点和其邻域点在检测尺度下的局部加权非相似性度量值的大小。如果此时该三维点具有局部最大非相似性度量值,则该三维点将被标记为三维关键点,否则该三维点不是三维关键点。
以上我们介绍了一种基于局部加权非相似度量的三维关键点检测的具体方法,总体上本发明的创新及其优点主要有:
(1)提出了一种基于局部加权非相似度量方法,使得每个邻域点对非相似度量的贡献均不同,
比已有的基于形状索引值标准差的非相似度量方法具有更强的三维形状描述能力。
(2)提出了一种三维点检测尺度的确定方法。通过比较三维模型点在不同尺度下的局部加权非相似度量值,取具有最大局部加权非相似度量值的尺度为该三维模型点的检测尺度。
(3)给出了一种多尺度三维关键点检测方法。首先在多尺度下确定三维模型点的局部邻域点,进而计算它们对应的形状索引值和局部加权非相似度量值,然后确定三维模型点的检测尺度,最后在每个三维模型点的检测尺度下完成三维关键点检测。
附图说明
图1:三维关键点检测算法流程图。
图2:“1-环”邻域点示意图。
图3:“2-环”邻域点示意图。
图4:2个三维模型形状索引值示意图(a)Chef (b)Chicken。
图5:不同尺度下三维点局部加权非相似性度量值的示意图。
图6:4个三维模型及其关键点示意图(a)Chef(b)Chicken(c)Parasaurolophus(d)T-rex。
图7:不同噪声水平下4个三维模型关键点检测的重复率示意图(a)Chef(b)Chicken(c)Parasaurolophus(d)T-rex。
具体实施方式
下面结合附图和具体实施实例对本发明方法作进一步的详细说明。
2)对旋转后的局部邻域点利用公式(1)进行二次曲面拟合:
3)利用二次曲面的系数利用公式(2)构造Hessian矩阵:
其中,为三维点在尺度下的邻域点,表示三维点在尺度下的邻域点个数,和表示三维点和在尺度下的形状索引值,表示高斯加权函数, 表示三维点和其邻域点之间的欧几里德距离。每个三维模型点最终可获得7个相应的局部加权非相似性度量值。
4.将三维点在多尺度下的局部加权非相似性度量值代入公式(7),并将具有最大局部加权非相似性度量值的尺度确定为该三维模型点的检测尺度:
(7)
5. 对于每个三维模型,在使用以上4个步骤确定了每个三维模型点的多尺度局部加权非相似性度量值和检测尺度后,对于每一个三维模型点执行以下操作:首先在其检测尺度下取局部邻域点;然后比较该三维模型点和其邻域点在检测尺度下对应的局部加权非相似性度量值的大小。如果此时该三维点具有局部最大非相似性度量值,则该三维点被标记为三维关键点,否则该三维点不是三维关键点。
附图6给出了对4个三维模型进行关键点检测的结果示意图,其中绿点表示使用本发明所提出的方法提取的三维关键点。从附图6我们可以看出,这些三维关键点的分布是相对均匀的,并且具有较高的局部形状变化率的三维点通常会被选择为关键点。表1给出了三维模型点的数量及三维关键点的数量。从表1可以看出,与三维模型点的数量相比,三维关键点的数量大大减少。
为了进一步验证本发明所提出的方法的鲁棒性,我们将它与使用形状索引值标准差作为非相似度量的三维关键点检测方法进行了比较。对三维模型点加入均值为0、标准差为的高斯噪声,从0依次增加0.01到0.12。附图7 是在不同的噪声水平下4个三维模型关键点检测的重复率示意图。“Measure1”表示使用的基于形状索引值标准差的非相似性度量进行三维关键点检测的方法,“Measure 2”表示使用本发明所提出的局部加权非相似性度量进行三维关键点检测的方法。从附图7可以看出,当噪声的方差低于0.04, “Measure1”与“Measure2”的重复率大致相同。但是,随着噪声方差的增大,“Measure2”的重复率缓慢降低,而“Measure1”的重复率降低的速度相对较快。也就是说,当噪声水平较高时,“Measure 2”的鲁棒性要比“Measure 1”的鲁棒性高。因此,与基于形状索引值标准差的非相似度量相比,本发明提出的局部加权非相似性度量可以描述更细微的形状变化信息,且具有更高的鲁棒性,可用来检测出具有更高重复性的三维关键点。
表1 三维模型点的数量及三维关键点的数量
三维模型l | 三维模型点的数量 | 三维关键点的数量 |
Chef | 176920 | 1959 |
Chicken | 135142 | 1684 |
Parasaurolophus | 184933 | 3173 |
T-rex | 176508 | 2233 |
Claims (2)
1.一种基于局部加权非相似性度量的三维关键点检测方法,其特征在于,步骤如下:
步骤2:在每个尺度下,计算每个三维模型点对应的形状索引值,每个三维模型点最终可获得7个对应的形状索引值;
其中,为三维点在尺度下的邻域点,表示三维点在尺度下的邻域点个数,和表示三维点和在尺度下的形状索引值,表示高斯加权函数, 表示三维点和其邻域点之间的欧几里德距离,每个三维模型点最终可获得7个相应的局部加权非相似性度量值;
步骤4:对于每一个三维模型点,首先将根据步骤3得到的多尺度下的局部加权非相似性度量值代入公式(7):
步骤5:对于每一个三维模型点,首先在其检测尺度下取局部邻域点;然后比较该三维模型点和其邻域点在检测尺度下对应的局部加权非相似性度量值的大小,
如果此时该三维点具有局部最大非相似性度量值,则该三维点被标记为三维关键点,否则该三维点不是三维关键点。
2.根据权利要求1所述的基于局部加权非相似性度量的三维关键点检测方法,其特征在于:所述步骤2,在每个尺度下,计算每个三维模型点对应的形状索引值,每个三维模型点最终可获得7个对应的形状索引值;
2.2)对旋转后的局部邻域点利用公式(1)进行二次曲面拟合:
2.3)利用二次曲面的系数利用公式(2)构造Hessian矩阵:
(3)
(4)
2.5)利用公式(5)计算三维点在尺度下对应的形状索引值:
。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410008590.2A CN103714576A (zh) | 2014-01-08 | 2014-01-08 | 基于局部加权非相似性度量的三维关键点检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410008590.2A CN103714576A (zh) | 2014-01-08 | 2014-01-08 | 基于局部加权非相似性度量的三维关键点检测方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN103714576A true CN103714576A (zh) | 2014-04-09 |
Family
ID=50407517
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410008590.2A Pending CN103714576A (zh) | 2014-01-08 | 2014-01-08 | 基于局部加权非相似性度量的三维关键点检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103714576A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105740859A (zh) * | 2016-01-27 | 2016-07-06 | 电子科技大学 | 一种基于几何测度和稀疏优化的三维兴趣点检测方法 |
CN105844639A (zh) * | 2016-03-24 | 2016-08-10 | 四川大学 | 一种基于几何约束的深度图融合与点云过滤方法 |
-
2014
- 2014-01-08 CN CN201410008590.2A patent/CN103714576A/zh active Pending
Non-Patent Citations (4)
Title |
---|
AYET SHAIEK, FABIEN MOUTARDE: "《3D Keypoints Detection for Objects Recognition》", 《16TH INTERNATIONAL CONFERENCE ON IMAGE PROCESSING, COMPUTER VISION, AND PATTERN RECOGNITION (IPCV"2012)》 * |
HUI CHEN等: "《Human Ear Recognition in 3D》", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 * |
HUI ZENG等: "《Local Weighted Dissimilarity Measure Based Multiscale 3D Keypoint Detection》", 《INTERNATIONAL CONFERENCE ON IMAGE AND GRAPHICS》 * |
N BAYRAMOGLU等: "《Shape Index SIFT: Range Image Recognition Using Local Features》", 《PATTERN RECOGNITION》 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105740859A (zh) * | 2016-01-27 | 2016-07-06 | 电子科技大学 | 一种基于几何测度和稀疏优化的三维兴趣点检测方法 |
CN105740859B (zh) * | 2016-01-27 | 2019-03-05 | 电子科技大学 | 一种基于几何测度和稀疏优化的三维兴趣点检测方法 |
CN105844639A (zh) * | 2016-03-24 | 2016-08-10 | 四川大学 | 一种基于几何约束的深度图融合与点云过滤方法 |
CN105844639B (zh) * | 2016-03-24 | 2019-04-12 | 四川大学 | 一种基于几何约束的深度图融合与点云过滤方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106780557B (zh) | 一种基于光流法和关键点特征的运动目标跟踪方法 | |
CN102324042B (zh) | 视觉识别系统及视觉识别方法 | |
CN104517095B (zh) | 一种基于深度图像的人头分割方法 | |
CN104063711B (zh) | 一种基于K‑means方法的走廊消失点快速检测算法 | |
CN107203742B (zh) | 一种基于显著特征点提取的手势识别方法及装置 | |
CN103345628A (zh) | 基于分层描述的目标识别和形状检索方法 | |
CN106340010B (zh) | 一种基于二阶轮廓差分的角点检测方法 | |
CN102789578A (zh) | 基于多源目标特征支持的红外遥感图像变化检测方法 | |
CN104616002A (zh) | 用于年龄段判断的面部识别设备 | |
CN103593849A (zh) | 一种用于影像序列椭圆形人工目标点快速识别与跟踪方法 | |
CN102750691B (zh) | 基于角点对cs距离匹配的图像配准方法 | |
CN104680151B (zh) | 一种顾及雪覆盖影响的高分辨全色遥感影像变化检测方法 | |
She et al. | A real-time hand gesture recognition approach based on motion features of feature points | |
CN105809678B (zh) | 一种短基线条件下两视图间线段特征全局匹配方法 | |
CN106682674A (zh) | 一种基于智能巡检机器人的指针式仪表自动读数方法 | |
Mu et al. | Salient object detection in low contrast images via global convolution and boundary refinement | |
CN104732222B (zh) | 一种基于深度摄像头的多特征人体识别方法 | |
CN110866931A (zh) | 图像分割模型训练方法及基于分类的强化图像分割方法 | |
Xiao et al. | Monocular ORB SLAM based on initialization by marker pose estimation | |
CN103714576A (zh) | 基于局部加权非相似性度量的三维关键点检测方法 | |
CN109840529A (zh) | 一种基于局部敏感置信度评估的图像匹配方法 | |
CN102968618A (zh) | 一种融合BoF模型和谱聚类算法的静态手势识别方法 | |
CN104504692A (zh) | 基于区域对比度的图像中显著对象的提取方法 | |
CN104166977A (zh) | 一种图像匹配相似性测度方法及其图像匹配方法 | |
KR101528757B1 (ko) | 이분된 로컬 영역을 가지는 윤곽선 분할 기반 특징을 이용한 물체 인식 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20140409 |
|
WD01 | Invention patent application deemed withdrawn after publication |