CN110264562B - 颅骨模型特征点自动标定方法 - Google Patents

Abstract

本发明公开的颅骨模型特征点自动标定方法，涉及图像处理技术领域，利用尺度不变特征变换SIFT算法对二维深度图像进行计算，得到参考颅骨模型的初始特征点集，利用尺度不变特征变换SIFT算法对二维深度图像进行计算，得到参考颅骨模型的初始特征点集，利用E2LSH算法，对候选特征点集进行过滤，生成目标特征点集并将目标特征点集映射至待复原颅骨模型上，实现颅骨模型特征点的自动标定，提高了特征点自动标定的效率及准确度。

Description

颅骨模型特征点自动标定方法

技术领域

本发明涉及图像处理技术领域，具体涉及一种颅骨模型特征点自动标定方法。

背景技术

颅骨模型特征点标定是颅骨复原、计算机虚拟现实、模式识别等许多科学研究领域中的难点问题，也是颅骨复原等人脸形态计算机辅助处理中的重要基础，由于人的颅骨和面部结构非常复杂，因此，特征点代表性的强弱直接关系到计算机对人脸模型的理解、识别以及颅骨复原等一些后续处理结果的好坏，这就要求这些特征点既能够反映人脸肌肉的组织结构特点，又能够唯一地标识特定个体。颅骨模型特征点标定方法根据数据源的不同分为两类，一类是基于模型图片的特征点标定，另一类是基于模型点云的特征点标定。其中，基于模型图片特征点标定的技术已经相当成熟，主要方法包括：基于脸部几何模型的方法、基于遗传算法和特征脸技术的标定方法、基于贝叶斯形状模型的方法、基于图像处理方法和脸部特征点几何关系相结合的方法、基于改进的活动形状模型、基于边缘检测和映射的方法、基于主动外观模型的方法等。

而基于模型点云的特征点标定是在基于模型图片特征点标定技术已经非常成熟的背景下才开始发展的，目前国内外已经有众多的专家学者研究该领域，其中比较有代表性的方法包括：将层次过滤模式和局部特征相结合的方法精确地定位出鼻尖点，在此基础之上，通过一种叫做包含夹角的曲线进一步估计出鼻梁。该方法最主要的特点是可以实现特征点自动检测，很好地定位鼻尖点，同时具有平移和旋转不变性以及适合于不同分辨率的场合，但是该方法的缺陷是只能对特征比较明显的鼻尖点给出精确定位；相对角直方图法首先要求计算待标定特征点模型上每一个点的相对角直方图，然后将其与标准模型上特征点的相对角直方图进行比较和匹配，这样就可以获得该模型上对应的特征点，利用该方法标定的特征点是一个近似的位置，并不精确；此外，还有利用模型的局部几何信息，根据形状索引和曲度等几何信息统计并筛选出可能成为特征的点作为候选集，然后在统计模型的基础上，通过对误差进行分析并从中自适应地计算局部形状图的半径，这样就可以自动地标定鼻尖和眼角处的特征点，该方法受外界因素影响比较小，标定结果优于其他基于人脸特征点几何拓扑关系的方法，但是半径大小的选择对定位结果有很大的影响，该值确定起来比较困难，而且模型旋转过大时对眼角特征点定位会出现不合理的情况。

发明内容

为解决现有技术的不足，本发明实施例提供了一种颅骨模型特征点自动标定方法。

为了实现上述目标，本发明采用如下的技术方案：

本发明实施例提供了一种基于生成式对抗网络的颅骨特征点自动标定方法，该方法包括：

利用球面坐标变换方法，得到参考颅骨模型的二维深度图像；

利用尺度不变特征变换(Scale-invariant feature transform，SIFT)算法对所述二维深度图像进行计算，得到所述参考颅骨模型的初始特征点集，其中，所述初始特征点集包括鼻尖点、嘴角点及眼角点；

利用训练过的生成式对抗网络GAN对所述初始特征点集进行计算，生成待复原颅骨模型的候选特征点集；

利用弱监督精确欧几里得局部敏感散列(Exact Euclidean Locality SensitiveHashing,E2LSH)算法，对所述候选特征点集进行过滤，生成目标特征点集并将所述目标特征点集映射至所述待复原颅骨模型上，实现颅骨模型特征点的自动标定。

进一步地，所述GAN的训练过程包括：

利用公式

优化所述GAN的生成模型和判别模型，包括：

从p_g(w)中随机选取m个待复原颅骨模型的特征点{w⁽¹⁾,...,w^(m)}；

从p_data(x)中随机选取的m个特征点{x⁽¹⁾,...,x^(m)}；

通过上升随机梯度算法更新判别模型

通过下降随机梯度算法更新生成模型

其中，D(x)为GAN的判别模型，G(w)为GAN的生成模型，p_g(w)为先验噪声分布，w为随机选取的特征点，p_data(x)为参考颅骨模型的特征点分布，x为参考颅骨模型的特征点集。

进一步地，利用弱监督精确欧几里得局部敏感散列E2LSH算法，对所述候选特征点集进行过滤包括：

利用GAN的生成模型对待复原颅骨模型进行计算，生成待复原颅骨模型的候选特征点集z，利用弱监督E2LSH算法对候选特征点集z降维，得向量g_i(z)，其中，候选特征点集z包括其在所述二维深度图像中的位置坐标u_i、特征的尺度s_i、主方向θ_i及128维SIFT描述向量r_i，其中，i＝1,…,L，M为设定的颅骨特征点的类别总数，L为在有监督策略下生成的k个哈希函数中选取的独立函数的个数；

分别计算向量g_i(z)中各个候选特征点的主哈希值h₁(g_i(z))及次哈希值h₂(g_i(z))，将主哈希值及次哈希值均相同的候选特征点存入同一个哈希桶中，生成哈希表

其中，/>

为T_i中的第k个哈希桶，N_i代表T_i中哈希桶的总数目；

计算T_i中各个候选特征点与设定的初始特征点相关性的大小，去除相关性小于设定阈值的特候选征点，使每个哈希表保持M个候选特征点，即

得到目标特征点集。

本发明实施例提供的颅骨模型特征点自动标定方法具有以下有益效果：

(1)与传统的特征点标定方法相比，利用球面坐标变换生成参考颅骨模型的二维深度图像，并利用SIFT算法获取该二维深度图像的凸凹情况，采用训练过的GAN，根据参考颅骨模型的特征点及SIFT算法自动生成待复原颅骨模型的特征点，提高了特征点自动标定的效率；

(2利用E2LSH算法对生生成的候选特征点进行过滤，有效降低了传统哈希算法的随机性，从而使得到的特征点的代表性更强，标定准确度更高。

附图说明

图1为本发明实施例提供的颅骨模型特征点自动标定方法的流程示意图；

图2为三维空间中建立的直角坐标系的示意图；

图3a为参考颅骨模型及其定义的特征点的主视图；

图3b为参考颅骨模型及其定义的特征点的侧视图；

图4a为采用无监督的E2LSH算法与K-Means聚类算法对颅骨模型特征点过滤效果对比图；

图4b为采用弱监督的E2LSH算法与K-Means算法对颅骨模型特征点过滤效果对比图；

图5为本发明实施例提供的颅骨模型特征点自动标定方法中对过滤后的二维深度图像的特征点进行标定得到的效果示意图；

图6a为采用本发明实施例提供的颅骨模型特征点自动标定方法多个候选颅骨模型进行特征点标定并复原后的效果的主视图；

图6b为采用采用本发明实施例提供的颅骨模型特征点自动标定方法多个候选颅骨模型进行特征点标定并复原后的效果的侧视图。

具体实施方式

以下结合附图和具体实施例对本发明作具体的介绍。

如图1所示，本发明实施例提供的颅骨模型特征点自动标定方法包括以下步骤：

S101，利用球面坐标变换方法，得到参考颅骨模型的二维深度图像。

作为一个具体的实施例，该步骤的具体过程如下：

如图2所示，首先，在三维空间中建立直角坐标系，假设空间一点在极坐标内表示为p(r,θ,φ)，其中，r表示该点与坐标原点之间的距离，θ表示该点和坐标原点连接的线段与Z轴正方向之间的夹角，φ表示该点在纵轴及横轴形成的平面上的投影点和原点连接的线段与横轴正方向所成的角度。如果该点在直角坐标系内表示为P'(xs,ys,zs)，那么P'的分量就可以利用P的分量可式(1)表示：

其中，θ∈[0,π]，φ∈[0,2π]。

式(1)建立了极坐标到直角坐标的变换，空间中用极坐标表示的任意一点都可以通过该式变换到直角坐标系下表示，从而实现颅骨深度图像的生成并建立三维点云与二维图像之问的关系。颅骨三维模型的球面深度图像就是利用其包围球的极坐标对颅骨按照一定的次序进行全方位均匀采样而生成的二维图像，利用极坐标获得其在图像中的位置，通过深度来反应图像中该点的灰度值。

其中，参考颅骨模型是由人工标注好特征点的经过训练的颅骨集合。

S102，利用尺度不变特征变换SIFT算法对二维深度图像进行计算，得到参考颅骨模型的初始特征点集，其中，初始特征点集包括鼻尖点、嘴角点及眼角点。

作为一个具体的实施例，如图3所示，由于人的颅骨和面部结构非常复杂，因此，特征点代表性的强弱直接关系到颅面复原效果的好坏，这就要求这些特征点既能够反映人脸肌肉的组织结构特点，又能够唯一地标识特定个体。本发明实施例参考人类学和法医学专家知识并结合颅面复原的经验，定义13个颅骨特征点与颅面特征点一一对应。其中，左耳骨及右耳骨共6个特征点、2个嘴角点、1个鼻尖点、2个外眼角点以及2个内眼角点。

S103，利用训练过的生成式对抗网络GAN对初始特征点集进行计算，生成待复原颅骨模型的候选特征点集。

其中，待复原颅骨模型为需要标注特征点的颅骨集合。

S104，利用E2LSH算法，对候选特征点集进行过滤，生成目标特征点集并将目标特征点集映射至待复原颅骨模型上，实现颅骨模型特征点的自动标定。

其中，无监督的E2LSH算法用于聚类时，结果随机性较强，并不能保证其效果优于K-Means聚类。而由图5则不难看出，弱监督的E2LSH算法的过滤结果较为稳定，说明本发明中对哈希函数选取进行弱监督的方法能有效降低E2LSH算法的随机性，增强对数据点过滤结果的鲁棒性。同时由图5可以看出，K-Means在数据点密集的区域聚类中心很多而在稀疏区域的聚类中心很少，而弱监督的E2LSH聚类得到的各个中心分布更为均匀，显然聚类效果更好，有助于增点各特征点的代表性。

作为一个具体的实施例采用本发明实施例提供的颅骨模型特征点自动标定方法多个候选颅骨模型进行特征点标定并复原后的效果如图6a-6b所示。从实验结果可以看出，采用发明实施例提供的颅骨模型特征点自动标定方法得到的特征点在映射到人脸三维模型之后基本都在预先定义的特征点附近，能够有效地反映颅骨特征点的位置，从而说明本发明实施例提供的颅骨模型特征点自动标定方法在颅骨模型特征点自动标定和颅面复原中具有较强的实用性。

其中，E2LSH中的哈希函数都是基于p-稳态分布的，这里我们选取的是基于2-稳态分布的哈希函数，其定义如下：

其中，

为向下取整操作，α是一个随机抽样得到的d维向量，β为在区间/>

中均匀分布的随机变量，易知哈希函数/>

可以把一个d维向量v映射到整数集上。然而，一个哈希函数往往分辨力不强，因此，E2LSH常选取k个哈希函数联合起来使用。定义函数族/>

其中，g(v)＝(h₁(v),…,h_k(v))，对任一数据点/>

经过

降维映射就能得到一个k维向量a＝(a₁,a₂,…a_k)，再利用主哈希函数h₁和次哈希函数h₂对向量a进行哈希,建立哈希表并存储数据点，主次哈希函数h₁，h₂定义如下：

其中，r_i′和r_i″是随机整数，s是哈希表的大小,其取值为数据点的总个数，m为一个大的素数，通常取值为2³²-5。E2LSH可以将主哈希值h₁和次哈希值h₂都相同的数据点哈希到同一个桶中，如此就实现了数据点的空间划分。

进一步地，所述GAN的训练过程包括：

利用公式

优化所述GAN的生成模型和判别模型，包括：

从p_g(w)中随机选取m个待复原颅骨模型的特征点{w⁽¹⁾,...,w^(m)}；

从p_data(x)中随机选取的m个特征点{x⁽¹⁾,...,x^(m)}；

通过上升随机梯度算法更新判别模型

通过下降随机梯度算法更新生成模型

其中，D(x)为GAN的判别模型，G(w)为GAN的生成模型，p_g(w)为先验噪声分布，w为随机选取的特征点，p_data(x)为参考颅骨模型的特征点分布，x为参考颅骨模型的特征点集，当判别模型判断生成模型的值为0.5时，式

达到最优解，便确定生成模型生成的数据与真实数据一致。

可选地，利用E2LSH算法，对所述候选特征点集进行过滤包括：

利用GAN的生成模型对待复原颅骨模型进行计算，生成待复原颅骨模型的候选特征点集z，利用E2LSH算法对候选特征点集z降维，得向量g_i(z)，其中，候选特征点集z包括其在所述二维深度图像中的位置坐标u_i、特征的尺度s_i、主方向θ_i及128维SIFT描述向量r_i，其中，i＝1,…,L，M为设定的颅骨特征点的类别总数，L为从弱监督策略下生成的k个哈希函数中选取的独立函数的个数；

分别计算向量g_i(z)中各个候选特征点的主哈希值h₁(g_i(z))及次哈希值h₂(g_i(z))，将主哈希值及次哈希值均相同的候选特征点存入同一个哈希桶中，生成哈希表

其中，/>

为T_i中的第k个哈希桶，N_i代表T_i中哈希桶的总数目，通过计算所有哈希桶的中心，过滤之后的颅骨特征点算子；

计算T_i中各个候选特征点与设定的初始特征点相关性的大小，去除相关性小于设定阈值的特候选征点，使每个哈希表保持M个候选特征点，即

得到目标特征点集。

作为一个具体的实施例，从弱监督策略下生成的k个哈希函数中选取的独立函数的具体过程如下：

假设函数g_i中已经选取了j个哈希函数h₁,h₂,...h_j，1≤j＜k，则对第j+1哈希函数进行弱监督策略如下：

首先，计算各个候选特征点的主哈希值及次哈希值，并将主、次哈希值都相同的候选特征点存入同一个哈希桶中，得到包含N_j个哈希桶的哈希表，得到初始过滤的特征点集合

根据式(2)计算集合中各个特征点的香农熵

其中，香农熵代表了初始j个哈希函数聚类结果的信息量大小，它在一定意义上是一种相对熵增益，相对于绝对熵而言具有更好的稳定性与适应性。其中，n为算子w_i所在哈希桶中的算子总数，n_l是属于特征点l的算子数目，然后，选取一个h函数作为候选第j+1个哈希函数

并根据式(3)计算其对w_i所在哈希桶的分裂熵如下：

其中，该分裂熵代表了新选取的h函数对哈希桶也即是平均算子分裂结果的信息量大小，值越大说明分裂结果的不确定性越大。假设

将w_i所在的哈希桶分裂为w_ij个，n_j为w_ij个哈希桶中的特征点数。通过公式/>

计算上述分裂结果的互信息，其中，互信息是指上述分裂结果的绝对熵增益，其值越大说明选取的h函数与前j个哈希函数之间的区分性更强。如此，就能得到候选哈希函数/>

与前j个哈希函数h₁,h₂,...h_j的差别得分；

在得到若干个候选哈希函数

之后，根据公式/>

选出与j个哈希函数区分性最大的第j+1个哈希函数，其中，/>

重复上述过程，就能在弱监督策略下选出k个代表性和区分性强的哈希函数，并以此减弱E2LSH聚类结果的随机性，增强各特征点的代表性。

本发明实施例提供的颅骨模型特征点自动标定方法，利用尺度不变特征变换SIFT算法对二维深度图像进行计算，得到参考颅骨模型的初始特征点集，利用尺度不变特征变换SIFT算法对二维深度图像进行计算，得到参考颅骨模型的初始特征点集，利用E2LSH算法，对候选特征点集进行过滤，生成目标特征点集并将目标特征点集映射至待复原颅骨模型上，实现颅骨模型特征点的自动标定，提高了特征点自动标定的效率及准确度。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

可以理解的是，上述方法及装置中的相关特征可以相互参考。另外，上述实施例中的“第一”、“第二”等是用于区分各实施例，而并不代表各实施例的优劣。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

此外，存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (2)

1.一种颅骨模型特征点自动标定方法，其特征在于，包括：

利用球面坐标变换方法，得到参考颅骨模型的二维深度图像；

利用尺度不变特征变换SIFT算法对所述二维深度图像进行计算，得到所述参考颅骨模型的初始特征点集，其中，所述初始特征点集包括鼻尖点、嘴角点及眼角点；

利用训练过的生成式对抗网络GAN对所述初始特征点集进行计算，得到待复原颅骨模型的候选特征点集；

所述GAN的训练过程包括：

利用公式

优化所述GAN的生成模型和判别模型，包括：

从p_g(w)中随机选取m个待复原颅骨模型的特征点{w⁽¹⁾,...,w^(m)}；

从p_data(x)中随机选取的m个特征点{x⁽¹⁾,...,x^(m)}；

通过上升随机梯度算法更新判别模型

通过下降随机梯度算法更新生成模型

其中，D(x)为GAN的判别模型，G(w)为GAN的生成模型，p_g(w)为先验噪声分布，w为随机选取的特征点，p_data(x)为参考颅骨模型的特征点分布，x为参考颅骨模型的特征点集；

利用弱监督精确欧几里得局部敏感散列E2LSH算法，对所述候选特征点集进行过滤，生成目标特征点集并将所述目标特征点集映射至所述待复原颅骨模型上，实现颅骨模型特征点的自动标定。

2.根据权利要求1所述的颅骨模型特征点自动标定方法，其特征在于，利用弱监督精确欧几里得局部敏感散列E2LSH算法，对所述候选特征点集进行过滤包括：

利用GAN的生成模型对待复原颅骨模型进行计算，生成待复原颅骨模型的候选特征点集z，利用E2LSH算法对候选特征点集z降维，得向量g_i(z)，其中，候选特征点集z包括各个候选特征点在所述二维深度图像中的位置坐标u_i、特征的尺度s_i、主方向θ_i及128维SIFT描述向量r_i，其中，i＝1,···,L，M为设定的颅骨特征点类别总数，L为在有监督策略下生成的k个哈希函数中选取的独立函数的个数；

分别计算向量g_i(z)中各个候选特征点的主哈希值h₁(g_i(z))及次哈希值h₂(g_i(z))，将主哈希值及次哈希值均相同的候选特征点存入同一个桶中，生成哈希表

完成聚类，其中，/>

为T_i中的第k个桶，N_i代表T_i中桶的总数目；

计算T_i中各个候选特征点与设定的初始特征点相关性的大小，去除相关性小于设定阈值的特候选征点，使每个哈希表保持M个候选特征点，即

得到目标特征点集。

Images