CN105740859B - 一种基于几何测度和稀疏优化的三维兴趣点检测方法 - Google Patents

Abstract

本发明属于计算机视觉技术领域，具体涉及一种基于几何测度和稀疏优化的三维兴趣点检测方法。该方法包括构建三维网格模型的尺度空间、计算三维网格模型的显著性响应图、根据显著性响应图选取三维兴趣点候选集和稀疏优化兴趣点候选集四步。通过引入两种三维网格模型表面的局部几何性质来定义一种新的三维兴趣点响应函数；对三维网格模型中的任意一点，使用在尺度空间中不同尺度下的显著性响应值之间的乘积作为该点的最终显著性响应值；使用稀疏优化模型来精炼三维兴趣点候选集，以得到更加精确和稳定的三维兴趣点。最终实现高效的、鲁棒的和稳定的检测效果。

Description

一种基于几何测度和稀疏优化的三维兴趣点检测方法

技术领域

本发明属于计算机视觉技术领域，具体涉及一种基于几何测度和稀疏优化的三维兴趣点检测方法。

背景技术

随着科技的进步与发展，三维数据日益增多。三维兴趣点作为三维模型中最为重要的特征之一，广泛地应用于三维立体视觉中的各个领域之中，如三维注册，三维形状检索，三维网格模型分割和简化等。

在过去几十年中，研究者们提出了许多方法来从三维网格模型的表面提取三维兴趣点，其中大部分都是基于几何特征的。

Godila和Wagan将三维网格模型转换成体素表示方式，并在SIFT算法的启发下提出了一种检测三维局部特征的新方法(A.Godil and A.I.Wagan,“Salient local 3dfeatures for 3D shape retrieval,”Proceedings of SPIE,vol.7864,pp.78640S–78640S–8,2011.)。Sipiran和Bustos对Harris角点检测算子做了改进和推广，使其能够针对三维模型检测出三维兴趣点(I.Sipiran and B.Bustos,“Harris 3d:a robustextension of the harris operator for interest point detection on 3d meshes,”The Visual Computer,vol.27,no.11,pp.963–976,2011.)。Lee引入了mesh saliency作为三维网格模型区域重要性的度量方式(C.H.Lee,A.Varshney,and D.W.Jacobs,“Meshsaliency,”ACM Transactions on Graphics,vol.24,no.3,pp.659–666,2005.)。Holte使用了Difference-of-Normals算子来检测三维兴趣点(M.B.Holte,“3d interest pointdetection using local surface characteristics with application in actionrecognition,”in IEEE International Conference on Image Processing,Paris,France,Oct 2014.)。除了基于几何特征的三维兴趣点检测方法，也有一些研究者提出了基于机器学习和拉普拉斯光谱的方法来检测三维兴趣点。

发明内容

针对上述存在问题或不足，为能够高效的、鲁棒的和稳定的检测出三维网格模型中的兴趣点，本发明提供了一种基于几何测度和稀疏优化的三维兴趣点检测方法。

该基于几何测度和稀疏优化的三维兴趣点检测方法主要包括：构建三维网格模型的尺度空间、计算三维网格模型的显著性响应图、根据显著性响应图选取三维兴趣点候选集和稀疏优化兴趣点候选集共四个步骤。

具体如下：

步骤1、构建三维网格模型的尺度空间：

利用三维高斯滤波器来构建三维模型的尺度空间

M_σ(x,y,z)＝M(x,y,z)*G(x,y,z,σ) (1)

其中M(x,y,z)为初始三维网格模型，M_σ(x,y,z)为该模型在其尺度空间中的表示，σ是高斯滤波器的标准差，*为卷积运算符。

步骤2、计算三维网格模型的显著性响应图：

对三维网格模型中的任意一点v，点v的1-环邻域点由能与点v构成三角形的点组成，它们位于该点外侧的第一层且在几何位置关系上是直接相邻的点，记为V₁。点v的2-环邻域点由V₁中所有点的1-环邻域点且不包括V₁和v的点构成，记为V₂。以上述相同的方式，得到3-环邻域点V₃和4-环邻域点V₄。

引入两个几何特性来计算三维网格模型的显著性响应图。

所述两个几何特性为：第一，相邻环状点到被测点切平面的距离；第二，被测点的法向量和其1-环邻域点的法向量之间的最小夹角，所述环为三维网格模型中点的邻域。

所述相邻环状点到被测点切平面的距离：

三维网格模型中的任意一点v所对应的切平面表示为：

n^T[x-x_v,y-y_v,z-z_v]^T＝0 (3)

其中n表示点v的法向量，(x_v,y_v,z_v)表示点v的坐标。令表示第k-环邻域点V_k到点v的切平面的调和平均距离，表示相邻环状点到被测点切平面的距离这个几何特性，则

其中(x_kj,y_kj,z_kj)为k-环邻域点V_k中的第j个点的坐标，d_kj为该点到点v切平面的距离，W_k为k-环邻域点V_k的个数。

所述被测点的法向量和其1-环邻域点的法向量之间的最小夹角：

同时引入另外一种几何特性来进一步区分三维网格模型中的兴趣点和边缘，即被测点的法向量和其1-环邻域点的法向量之间的最小夹角，可表示为：

其中n_f表示1-环邻域点中任意一个点的法向量。

基于以上两种几何特性，定义检测三维兴趣点的显著性响应函数来评估每个点的显著性响应程度，三维网格模型表面每个点的显著性响应值共同构成了该模型的显著性响应图。采用在不同尺度下的显著性响应值的乘积作为一个点的最终显著性响应值ρ，提高真正三维兴趣点的显著性响应值并且抑制伪三维兴趣点的显著性响应值。对三维网格模型中的任意一点而言，其最终的显著性响应值ρ(j)定义为:

其中ρi(j),i＝0,1,2,...,6,j＝1,2,...,N为三维网格模型M_σ(x,y,z),σ＝{0,ε,2ε,ε3,4ε,5ε,6ε}中任一点的显著性响应值，σ＝0表示为初始三维网格模型。N表示三维网格模型M_σ(x,y,z)中点的个数。和θ_i(j)分别通过公式(4)和(7)进行计算，表示j＝1,2,...N的集合，θ_i表示θ_i(j),j＝1,2,...N的集合。

步骤3、根据显著性响应图选取三维兴趣点候选集

通过步骤2的方法获得三维网格模型的最终显著性响应图后，选择显著性响应图中的具有局部最大值的点作为三维兴趣点候选集。对于三维网格模型中的每一个点而言，比较该点和其周围k-环邻域点V_k,k＝1,2,3,4的显著性响应值并且选择最大的一个点作为候选兴趣点。

步骤4、稀疏优化三维兴趣点候选集：

采用基于l₀范数的稀疏优化方法来精炼兴趣点候选集，剔除兴趣点候选集中有较小显著性响应值的点。首先对兴趣点候选集做以下映射：

其中S表示候选集中兴趣点的个数。令ρ表示ρ(j),j＝1,2,...,S的集合，首先对ρ归一化，然后通过如下目标函数对其进行稀疏优化：

subject tox＝[x₁,x₂,x₃,...,x_S] (11)

x_j∈{0,1},j＝1,2,...,S

ρ_opt＝ρ·x是ρ和x的Hadamard积，x是与ρ具有相同维度的向量且其中元素的值为离散值，取0或者1。x_j＝0表示兴趣点候选集中的第j个候选点具有较低的ρ值，反之亦然。最后选取ρ_opt中值大于0所对应的点作为最终的三维兴趣点。

本发明中，对三维网格模型中任意一点v，若该点属于网格模型中的平坦区域部分，则会很小，反之，若该点属于非平坦区域，则会相对偏大。此外，使用调和平均距离在一定程度上也能区分三维兴趣点和边缘。对于在边缘上的点而言，其邻域点中至少存在一个点到其切平面距离很短，而根据调和平均距离的计算公式(5)所示，一个很小的d_kj会导致变得很小，进而导致变得很小。因此相对于算术平均距离和平方平均距离，使用调和平均距离更适合衡量三维网格模型的局部重要性。对于一个三维模型，若被测点属于平坦区域或边缘，则在其1-环邻域点中至少存在一个点的法向量与被测点的法向量之间的夹角很小，导致θ的值很小。若被测点属于三维兴趣点，则θ的值就会相对偏大。目标函数11的第一项是为了限制三维兴趣点的个数，β是惩罚因子。目标函数的第二项使ρ_opt＝ρ·x尽可能地接近ρ。

本发明通过：1、引入相邻环状点到被测点切平面的距离，以及被测点的法向量和其1-环邻域点的法向量之间的最小夹角，这两种三维网格模型表面的局部几何性质来定义一种新的三维兴趣点响应函数；2、对三维网格模型中的任意一点，使用在尺度空间中不同尺度下的显著性响应值之间的乘积作为该点的最终显著性响应值，来增强真正三维兴趣点的显著性响应值并且抑制伪三维兴趣点的显著性响应值；3、使用一种基于l₀范数的稀疏优化模型来精炼三维兴趣点候选集，以得到更加精确和稳定的三维兴趣点。实现了高效的、鲁棒的和稳定的检测出三维网格模型中的兴趣点。

综上所述，相对现有技术，本发明能够高效的、鲁棒的和稳定的检测出三维网格模型中的兴趣点。

附图说明

图1为本发明中三维兴趣点检测方法的流程图；

图2为飞机三维网格模型中任意一点的环状邻域点示意图；

图3为飞机三维网格模型在尺度0-6的显著性响应图；

图4为飞机三维网格模型最终的显著性响应图；

图5为飞机三维网格模型的三维兴趣点候选集2和最终的三维兴趣点集1示意图；

图6为本方法与其余6种三维兴趣点检测方法的性能对比图；图(a)为数据库A中关于IOU评价指标的性能曲线图；图(b)为数据库B中关于IOU评价指标的性能曲线图。

附图标记：

待测点v；1-环邻域点V₁；2-环邻域点V₂；3-环邻域点V₃；4-环邻域点V₄；1为飞机三维网格模型中的最终兴趣点；2为飞机三维网格模型中的候选兴趣点。

具体实施方式

下面结合附图和具体实例对本发明方法作进一步的详细说明，实例的目标是通过三维网格模型兴趣点检测结果验证本发明所述方法的有效性。

在实施过程中，我们以飞机三维网格模型为例，进行以下操作：使用三维高斯滤波器对飞机三维网格模型构建尺度空间:

M_σ(x,y,z)＝M(x,y,z)*G(x,y,z,σ)

本发明中使用了7种尺度σ∈{0,ε,2ε,3ε,4ε,5ε,6ε},其中的σ为飞机三维网格模型所在的空间中对应其外围刚好能包围该模型的立方体的主对角线长度的0.3％。其中σ＝0为初始飞机三维网格模型M(x,y,z)。对飞机三维网格模型构建尺度空间之后，能够得到该模型在尺度空间中7种不同尺度下的表示。对于每个尺度下的飞机三维网格模型中的任意一点，首先确定其环状邻域V_k,k＝1,2,3,4。图2展示了飞机三维网格模型中的一个点v及其环状领域点V_k,k＝1,2,3,4。然后分别使用如下四个公式计算其对应的两个几何性质的值和θ：

接着计算该点的显著性响应值：

在具体实现过程中，α的取值为0.5。由飞机三维网格模型中所有点的显著性响应值共同构成该模型的显著性响应图。图3表示的是飞机三维网格模型在七种尺度下显著性响应图，图4表示将飞机三维网格模型在七种尺度下的显著性响应图相乘以后的最终显著性响应图。

根据飞机三维网格模型的显著性响应图选择具有局部极大值的点作为三维兴趣点候选集。对于飞机三维网格模型中的每一个点而言，我们比较该点和其周围k-环(k＝1,2,3,4)邻域点V_k,k＝1,2,3,4的显著性响应值并且选择最大的一个点作为候选兴趣点。图5展示了飞机三维网格模型的候选兴趣点。使用步骤4中的基于l₀范数的稀疏优化模型精炼三维兴趣点候选集，得到最终稳定的三维兴趣点。我们首先对候选兴趣点的显著性响应值做如下映射：

然后对ρ＝[ρ₁,ρ₂,...,ρ_S]做归一化，通过如下模型进行优化：

subject to x＝[x₁,x₂,x₃,...,x_S]

x_j∈{0,1},j＝1,2,...,S

在本发明中，β为一个接近于0的小数，我们设置为10^-5。我们利用贪婪算法来求解该优化模型。首先对ρ由小到大进行排序，x的初值为全1矩阵，然后依次让x的前i,i＝1,2,...S个元素为零。选择使目标函数最小的i作为分界点，ρ₁到ρ_i-1为要剔除的候选兴趣点，ρ_i到ρ_S为最终的三维兴趣点。图5展示了使用本发明的方法检测飞机三维网格模型所得到的三维兴趣点候选集2和最终三维兴趣点集1。

图6展示了本发明的方法同其余6种兴趣点检测方法的性能对比图，评价指标为IOU准则(L.Teran and P.Mordohai,“3d interest point detection via discriminativlearning,”in European Conference on Computer Vision.Zurich,Switzerland,Sept2014.)，图6(a)展示了7种算法在数据库A中的性能曲线图，图6(b)中展示了7种算法在数据库B中的性能曲线图。

Claims (1)

1.一种基于几何测度和稀疏优化的三维兴趣点检测方法，包括以下步骤：

步骤1、构建三维网格模型的尺度空间：

利用三维高斯滤波器来构建三维模型的尺度空间

M_σ(x,y,z)＝M(x,y,z)*G(x,y,z,σ) (1)

其中M(x,y,z)为初始三维网格模型，M_σ(x,y,z)为该模型在其尺度空间中的表示，σ是高斯滤波器的标准差，*为卷积运算符；

步骤2、计算三维网格模型的显著性响应图：

对三维网格模型中的任意一点v，点v的1-环邻域点由能与点v构成三角形的点组成，它们位于该点外侧的第一层且在几何位置关系上是直接相邻的点，记为V₁；点v的2-环邻域点由V₁中所有点的1-环邻域点且不包括V₁和v的点构成，记为V₂；以上述相同的方式，得到3-环邻域点V₃和4-环邻域点V₄；

引入两个几何特性来计算三维网格模型的显著性响应图；

所述两个几何特性为：第一，相邻环状点到被测点切平面的距离；第二，被测点的法向量和其1-环邻域点的法向量之间的最小夹角，所述环为三维网格模型中点的邻域；

所述相邻环状点到被测点切平面的距离：

三维网格模型中的任意一点v所对应的切平面表示为：

n^T[x-x_v,y-y_v,z-z_v]^T＝0 (3)

其中n表示点v的法向量，(x_v,y_v,z_v)表示点v的坐标；令表示第k-环邻域点V_k到点v的切平面的调和平均距离，表示相邻环状点到被测点切平面的距离这个几何特性，则

其中(x_kj,y_kj,z_kj)为k-环邻域点V_k中的第j个点的坐标，d_kj为该点到点v切平面的距离，W_k为k-环邻域点V_k的个数；

所述被测点的法向量和其1-环邻域点的法向量之间的最小夹角：

同时引入另外一种几何特性来进一步区分三维网格模型中的兴趣点和边缘，即被测点的法向量和其1-环邻域点的法向量之间的最小夹角，可表示为：

其中n_f表示1-环邻域点中任意一个点的法向量；

基于以上两种几何特性，定义检测三维兴趣点的显著性响应函数来评估每个点的显著性响应程度，三维网格模型表面每个点的显著性响应值共同构成了该模型的显著性响应图；采用在不同尺度下的显著性响应值的乘积作为一个点的最终显著性响应值ρ，提高真正三维兴趣点的显著性响应值并且抑制伪三维兴趣点的显著性响应值；对三维网格模型中的任意一点而言，其最终的显著性响应值ρ(j)定义为:

其中ρ_i(j),i＝0,1,2,...,6,j＝1,2,...,N为三维网格模型M_σ(x,y,z),σ＝{0,ε,2ε,3ε,4ε,5ε,6ε}中任一点的显著性响应值，σ＝0表示为初始三维网格模型；N表示三维网格模型M_σ(x,y,z)中点的个数，和θ_i(j)分别通过公式(4)和(7)进行计算，表示的集合，θ_i表示θ_i(j),j＝1,2,...N的集合；

步骤3、根据显著性响应图选取三维兴趣点候选集：

通过步骤2的方法获得三维网格模型的最终显著性响应图后，选择显著性响应图中的具有局部最大值的点作为三维兴趣点候选集；对于三维网格模型中的每一个点而言，比较该点和其周围k-环邻域点V_k,k＝1,2,3,4的显著性响应值并且选择最大的一个点作为候选兴趣点；

步骤4、稀疏优化三维兴趣点候选集：

采用基于l₀范数的稀疏优化方法来精炼兴趣点候选集，剔除兴趣点候选集中显著性响应值小于设定阈值的点；

首先对兴趣点候选集做以下映射：

其中S表示候选集中兴趣点的个数；令ρ表示ρ(j),j＝1,2,...,S的集合，首先对ρ归一化，然后通过如下目标函数对其进行稀疏优化：

ρ_opt＝ρ·x是ρ和x的Hadamard积，x是与ρ具有相同维度的向量且其中元素的值为离散值，取0或者1；x_j＝0表示兴趣点候选集中的第j个候选点的ρ值小于设定阈值的点，反之亦然；最后选取ρ_opt中值大于0所对应的点作为最终的三维兴趣点。