CN114004940B - 面部缺损参照数据的非刚性生成方法、装置及设备 - Google Patents

Abstract

本发明涉及面部数据识别领域，其实施方式提供了一种面部缺损参照数据的非刚性生成方法、装置及设备。方法包括：获取正常状态的面部形态数据，所述面部形态数据包括标志点信息；根据所述正常状态的面部形态数据构建面部统计形状模型；采用不同参数组的非刚性配准算法，得到与参数组对应的面部统计形状模型与面部缺损数据之间的参考模型；计算所述面部缺损数据和参考模型之间的误差数据；根据所述误差数据在所述参考模型中确定出一个参考模型作为所述面部缺损数据的参照数据。本发明提供的实施方式减少了数据录入的压力，避免了由于特征点过少的问题，减少了手工选点的误差。

Description

面部缺损参照数据的非刚性生成方法、装置及设备

技术领域

本发明涉及面部数据识别领域，特别涉及一种面部缺损参照数据的非刚性生成方法、一种面部缺损参照数据的非刚性生成装置、一种终端设备以及对应的存储介质。

背景技术

随着医疗技术和信息技术的发展，在手术前对患者的手术进行计算机仿真和设计逐渐成为一种有效的仿真方法，利用数字化外科技术对颌面部的进行修复仿真，其核心是在于对参考模型数据的获取，对于跨中线的双侧颅颌面部骨骼缺损，无法利用镜像原有数据来生成参考的头骨骼模型，目前的解决方案为利用骨骼中颅颌面的特征点匹配方法在正常人数据库中选取与病人形态最接近的正常人骨骼进行参考重建；或者利用相关刚性配准算法将病人的缺损头骨模型和正常人的完整头骨进行配准，寻找到而这之前误差最小的模型，并把该模型作为参考模型。

特征点匹配方法有三大关键点：第一，对于数据集的工作量巨大，对于每个正常的模型都需要手工选取70个解剖标志点进行手工的录入，这个工作量巨大且无法减少，想到耗费精力和时间；其次，手工录入解剖标志点存在着选点误差，由于人工对选点的误差可能达到5mm以上，即使降低该点处的权重，也不能排除对整体匹配效果的影响；最后，对于面部骨折或者缺失有大量的标志点无法进行标注，这会严重影响匹配的准确度。刚性配准方法有两大关键点：第一，因为病人模型存在缺陷和正常人间不能完全一致，所以在配准过程中一定存在着大量的误差，这会严重影响匹配的结果；第二，配准过程会于数据集中所有数据进行配准，因此所花费的时间成本巨大。

现有技术中所公开的专利申请《重建颅骨的方法》（公开号：CN110214341A）公开了一种包括非刚性方法进行骨架重建的方法，但是其重建过程中的计算细节与本申请存在差异。

头影测量值：（NCV，Normal Cephalometric Values）。

发明内容

有鉴于此，本发明旨在提出一种面部缺损参照数据的非刚性生成方法、装置及设备，以至少部分地解决上述问题。本方法实施方式利用了三维模型文件内的所有点坐标信息和面片信息，利用统计形状模型将数据集内的模型得到统计学信息，之后利用非刚性配准、基于深度学习的标志点提取算法获取以及所设计的参考模型判断标准从而生成出术前的参考模型，该方法大大减少了数据录入的压力，避免了由于特征点过少的问题，减少了手工选点的误差，以解决上述背景技术中提出的问题。

在本发明的第一方面，提供了一种面部缺损参照数据的非刚性生成方法，所述方法包括：获取正常状态的面部形态数据，所述面部形态数据包括标志点信息；根据所述正常状态的面部形态数据构建面部统计形状模型；采用不同参数组的非刚性配准算法，得到与所述参数组对应的所述面部统计形状模型与面部缺损数据之间的参考模型；计算所述面部缺损数据和参考模型之间的误差数据；根据所述误差数据在所述参考模型中确定出一个参考模型作为所述面部缺损数据的参照数据。

优选的，获取正常状态的面部形态数据，包括：选择预设数量的正常的面部CT数据作为三维形态数据库，并保存经过标注的标志点的三维坐标；所述三维形态数据库中的正常的面部CT数据经过分割和标注之后，得到所述正常状态的面部形态数据；所述正常状态的面部形态数据包括所述标志点的坐标信息。

优选的，根据所述正常状态的面部形态数据构建面部统计形状模型，包括：通过旋转矩阵和平移矩阵将所述正常状态的面部形态数据统一至同一坐标系下；根据主成分分析方法以及模型偏移量最小的约束条件，得到所述面部统计形状模型。

优选的，采用不同参数组的非刚性配准算法，得到与所述参数组对应的所述面部统计形状模型与面部缺损数据之间的参考模型，包括：设定所述非刚性配准算法的迭代次数和参数组的初始值，所述参数组在每次迭代之后被更新；根据所述非刚性配准算法和参数组，得到所述参数组所对应的所述面部统计形状模型与面部缺损数据之间的参考模型；所述参数组与所述参考模型一一对应。

优选的，计算所述面部缺损数据和参考模型之间的误差数据，包括：通过标志点检测网络分别获取所述面部缺损数据和参考模型的标志点信息；通过计算所述标志点信息之间的坐标距离得到所述误差数据。

优选的，所述标志点检测网络包括目标点检测网络和坐标回归网络；所述目标点检测网络和所述坐标回归网络均为卷积神经网络，其训练样本为所述三维形态数据库中的正常的面部CT数据；所述目标点检测网络包括多个三维卷积层，用于下采样得到每层的特征；所述坐标回归网络用于输出所述检测到的标志点的坐标；所述标志点的坐标包含于所述标志点信息中。

优选的，根据所述误差数据在所述参考模型中确定出一个参考模型作为所述面部缺损数据的参照数据，包括：从所述参考模型中确定误差数据小于设定的误差数据阈值的参考模型；根据所述误差数据小于设定的误差数据阈值的参考模型与所述三维形态数据库的头影测量值，从所述误差数据小于设定的误差数据阈值的参考模型中确定出一个参考模型，作为所述面部缺损数据的参照数据。

优选的，所述方法还包括：按面部的解剖区域分别构建分区域的缺损模型；将所述分区域的缺损模型组合成为模拟缺损模型；将所述模拟缺损模型与所述面部缺损数据的参照数据进行偏差分析。

在本发明的第二方面，还提供了一种面部缺损参照数据的非刚性生成装置，所述装置包括：数据获取模块，用于获取正常状态的面部形态数据，所述面部形态数据包括标志点信息；统计模型构建模块，用于根据所述正常状态的面部形态数据构建面部统计形状模型；非刚性配准模块，用于采用不同参数组的非刚性配准算法，得到与所述参数组对应的所述面部统计形状模型与面部缺损数据之间的参考模型；误差计算模块，用于计算所述面部缺损数据和参考模型之间的误差数据；以及参照确定模块，用于根据所述误差数据在所述参考模型中确定出一个参考模型作为所述面部缺损数据的参照数据。

在本发明第三方面，还提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现前述的面部缺损参照数据的非刚性生成方法的步骤。

在本发明第四方面，还提供了一种计算机可读存储介质，所述存储介质中存储有指令，当其在计算机上运行时，使得计算机执行前述的面部缺损参照数据的非刚性生成方法。

通过本发明提供的上述技术方案，具有以下有益效果：为了避免患者颅骨特征点不足时对匹配结果产生的影响，避免手工选点对特征点坐标产生的影响，减少配准所花费的时间，通过数据集中收集到的图像进行统计学模型的生成，之后和病人模型利用非刚性配准计算可能是一种可行的方法，利用数据集中的所有头骨的三维坐标信息和面片信息去生成统计形状模型，利用深度学习技术对数据中每个头骨的标志点信息进行训练得到标志点检测网络，利用对标志点的分析得到标准头骨的头影测量值，然后利用统计形状模型和病人模型进行非刚性的迭代配准生成迭代模型，然后将生成的模型与原始的头骨模型进行评估，分别评估均方根误差、标志点距离以及满足标准头骨的头影测量值的数量，无需医生对数据进行漫长的标注过程，减少数据录入的压力，避免了可能存在的误差。

本发明的其它特征和优点将在随后的具体实施方式部分予以详细说明。

附图说明

构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施方式及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是本发明一种实施方式提供的面部缺损参照数据的非刚性生成方法的流程示意图；

图2是本发明一种实施方式提供的采用非刚性配准算法得到参考模型的原理示意图；

图3是本发明一种实施方式提供的标志点检测网络的结构示意图；

图4是本发明一种实施方式提供的根据模拟缺损模型进行偏差分析的步骤示意图；

图5是本发明一种实施方式提供的面部缺损参照数据的非刚性生成装置的结构示意图；

图6是本发明一种实施方式提供的终端设备的示意图。

具体实施方式

需要说明的是，在不冲突的情况下，本发明中的实施方式及实施方式中的特征可以相互组合。

以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。

图1是本发明一种实施方式提供的面部缺损参照数据的非刚性生成方法的流程示意图，如图1所示。本实施方式提供了一种面部缺损参照数据的非刚性生成方法，所述方法包括：

S01、获取正常状态的面部形态数据，所述面部形态数据包括标志点信息；此处的正常状态的面部形态数据包括正常人健康并完整的面部形态数据，该面部形态数据可能是由CT数据或者CBCT数据经过预设处理后的符合格式要求的数据。其中的标志点信息可以采用人工标识的方式形成。

S02、根据所述正常状态的面部形态数据构建面部统计形状模型；

根据上一步骤中的面部形态数据利用统计学模型生成的相关算法进行统计分析，并生成面部统计形状模型；同时，该正常状态的面部形态数据也被作为训练样本，以数据集中的标志点坐标对深度学习中的三维卷积神经网络进行训练，从而使三维卷积神经网络计算出标志点信息的坐标值，为后续的计算提供数据基础。

S03、采用不同参数组的非刚性配准算法，得到与所述参数组对应的所述面部统计形状模型与面部缺损数据之间的参考模型；将患者的缺损的三维形态数据，即面部缺损数据与上一步骤生成的面部统计形状模型进行非刚性配准，通过设置每步非刚性配准的迭代后的参数，将面部统计形状模型与面部缺损数据逐步非刚性配准。将面部统计形状模型和面部缺损数据之间进行非刚性配准，使生成的模型与面部缺损数据之间的误差会更小。

S04、计算所述面部缺损数据和参考模型之间的误差数据；

利用前述的面部形态数据中的标志点信息进行分析，得到头骨的标准头影测量值，结合头影测量值与均方根误差设立一套头骨的判断标准，以该判断标准确定最佳的参照数据。

S05、根据所述误差数据在所述参考模型中确定出一个参考模型作为所述面部缺损数据的参照数据。

利用该判断标准对生成的头骨模型进行判断是否能作为面部缺损数据的参照数据，即作为患者的参考头骨模型，由此获得最佳的参照数据。

通过以上实施方式，能够快速获取到与面部缺损数据误差较小的参照数据，从而无需医生对数据进行漫长的标注过程，减少数据录入的压力，避免了可能存在的误差。

在本发明提供的一种可选实施方式中，获取正常状态的面部形态数据，包括：选择预设数量的正常的面部CT数据作为三维形态数据库，并保存经过标注的标志点的三维坐标；所述三维形态数据库中的正常的面部CT数据经过分割和标注之后，得到所述正常状态的面部形态数据；所述正常状态的面部形态数据包括所述标志点的坐标信息。具体的，从所有影像科CT数据中，选择共110例满足研究数据库纳入标准并存在完整颅颌面三维形态数据的正常人颅颌面CT数据作为正常国人颅颌面三维形态数据库，并保存经过医生标注过的颅颌面解剖标志点的三维坐标，因非刚性配准算法需要STL格式（三维形态数据）文件，利用Mimics软件将原始的CT图像经过人工分割，最终生成三维形态数据；因标志点检测算法需要提取正常头骨的标志点坐标信息，利用Meshlab软件导入正常人颅颌面的三维形态，经过人工标注，得到头骨骼标志点的坐标信息。

在本发明提供的一些可选实施方式中，根据所述正常状态的面部形态数据构建面部统计形状模型，包括：通过旋转矩阵和平移矩阵将所述正常状态的面部形态数据统一至同一坐标系下；根据主成分分析方法以及模型偏移量最小的约束条件，得到所述面部统计形状模型。从数据集中选择出几百例数据，将其三维形态数据作为输入，利用数据的重采样，将数据采样到同样的大小，并使用最近点迭代（ICP）算法将数据库中的所有数据进行对其操作，对于三维形态数据文件，S=(V,F)，其中S代表数据三维形态模型的STL文件，V代表了数据的三维坐标信息，F代表了数据的面片信息。因为配准只需要根据数据集点的三维坐标信息，因此假设

。对于不同组数据，并定义旋转矩阵为R和平移矩阵为T，使用

表示三维数据经过旋转变化将数据

和

配准在一起，当

达到最小时，数据

和

最匹配，其中的公式（1）如下。

(1)

通过对两组数据间的误差大小，在保证误差最小的情况下，将数据集内所有数据统一到一个坐标系下。在新的数据集中的坐标信息定义为M，假设数据集为

，并且

包含了该部分数据的所有坐标信息，假定所需要生成的统计学模型为

，那么每个模型都可以表示为公式（2），其结果如下，其中

，

(2)

其中每个模型偏移量为

，经过主成分分析（PCA）以及最接近的模型后，可以得到统计形状模型。为了计算统计学模型，那么就需要对每个偏移量进行分析首先定义其协方差矩阵为公式（3）为：

(3)

在使用其特征向量

可以将原始结果表示为公式（4）：

(4)

其中

为第k个特征值，可以看出用2m个维度可以转化为一个t维的向量，那么总方差就有公式（5）：

(5)

通过取均值的特征项来那个的线性组合，可以达到模型中的任一点，定义

：

(6)

使用前t个向量可以表示模型为公式（7）：

(7)

其中

包括了前t个向量

为其权重，由于该公式允许在合适的范围内改变模型，但是应该对生成的模型有一定的限制，公式（8）如下：

(8)

对于常规的模型而言，要找到一个最适合的参考模型，因此将其设为

，其公式（9）如下所示：

(9)

至此，面部统计形状模型建立完成。

在本发明提供的一些可选实施方式中，采用不同参数组的非刚性配准算法，得到与所述参数组对应的所述面部统计形状模型与面部缺损数据之间的参考模型，包括：设定所述非刚性配准算法的迭代次数和参数组的初始值，所述参数组在每次迭代之后被更新；根据所述非刚性配准算法和参数组，得到所述参数组所对应的所述面部统计形状模型与面部缺损数据之间的参考模型；所述参数组与所述参考模型一一对应。将统计学模型和病人模型之间进行非刚性配准，使生成的模型与病人模型之间的误差会更少。本实施方式中的统计学模型为

，假设病人的数据模型为

，需要将统计学模型中的V进行旋转变化，将旋转变化后的矩阵表示为V(X)，

。其中X _i 为4×4的旋转矩阵，假设两个模型之间的距离误差如公式（10）所示。

(10)

为了体现出变化的特征，Frobenius范数被用于评估变化矩阵之前的关联，其公式（11）如下所示。

(11)

误差的总体大小如公式（12）所示。

(12)

其中α为参数矩阵，通过设置不同的参数可以对调整非刚性变换程度的大小，通过对误差的不断减小，逐步生成统计学模型和病人之间非刚性配准的模型，假定迭代次数为50，得到50组待筛选的参考模型。

图2是本发明一种实施方式提供的采用非刚性配准算法得到参考模型的原理示意图。如图2所示，其内容包括，首先初始化初始的矩阵

，之后通过选择每个点所需要变形的比例参数

,直到

时迭代停止，首先针对每个点的误差计算

，利用

作为初始的参数对应最佳的变形

，之后继续变换，得到50组模型。

在本发明提供的一些可选实施方式中，计算所述面部缺损数据和参考模型之间的误差数据，包括：通过标志点检测网络分别获取所述面部缺损数据和参考模型的标志点信息；通过计算所述标志点信息之间的坐标距离得到所述误差数据。将前述步骤中所得到的50组待筛选的头骨模型分别和病人的缺损模型进行配准，然后计算二者的均方根误差(RMSE)，其误差公式（13）如下所示。

(13)

在本发明提供的一些可选实施方式中，所述标志点检测网络包括目标点检测网络和坐标回归网络；所述目标点检测网络和所述坐标回归网络均为卷积神经网络；所述目标点检测网络包括多个三维卷积层，用于下采样得到每层的特征；所述坐标回归网络用于输出所述检测到的标志点的坐标；所述标志点的坐标包含于所述标志点信息中。在本实施方式中建立了基于深度学习的目标点检测网络，通过将数据集中的三维形态数据进行体素化处理，将原有的图像处理为256×256×256的体素图像，并且将原始标记得到的解剖标志点信息同时进行体素化，然后将坐标点信息和体素图像带入深度学习网络中进行训练，从而生成一个标记点检测。

图3是本发明一种实施方式提供的标志点检测网络的结构示意图，如图3所示。首先标志点检测网络由两部分组成，首先在标志点检测网络中，有7个三维卷积层，每层卷积的步数是2，用于下采样得到每层的特征。另一部分是由坐标回归网络组成，通过增加上层的特征图和标志点检测网络所生成的相应特征图，提升了坐标回归的效率。

由于卷积神经网络缺乏方向信息，因此需要在网络中显式地添加方向信息。首先，创建三个相应比例的立方体，它们沿x、y和z轴以相等的间隔从-1增加到1。其次，在每一层中将这些坐标立方体与来自坐标检测网络的特征地图相乘。将三个坐标轴上的结果输入坐标回归网络，独立训练和学习坐标信息。其中多尺度函数的损失函数为Loss，其公式如公式（14）所示。

(14)

在本发明提供的一些可选实施方式中，根据所述误差数据在所述参考模型中确定出一个参考模型作为所述面部缺损数据的参照数据，包括：从所述参考模型中确定误差数据小于设定的误差数据阈值的参考模型；根据所述误差数据小于设定的误差数据阈值的参考模型与所述三维形态数据库的头影测量值，从所述误差数据小于设定的误差数据阈值的参考模型中确定出一个参考模型，作为所述面部缺损数据的参照数据。利用数据库中的正常人三维形态模型中解剖特征点的三维坐标信息，将不同解剖标志点进行组合，统计能具有统计特征的头影测量值。头影测量值是由不同标志点间的线性组合所生成的距离、比例和角度等，通过对数据集内的标志点分析，可以得到正常人的头影测量值。从中选取25个头影测量值作为头骨的判别标准，利用标志点检测算法可以对前一步骤中生成的迭代模型进行标志点检测，之后求取所需要的头影测量值大小，并与数据库所生成的正常头影测量值进行对比，得到满足正常头影测量值的数量，统计出相关的结果。参考模型的标准根据前述的公式（13）计算得到的，在均方根误差小于2mm以内时，计算头影测量值满足最多数量的正常头影测量值，该模型将被选择成为生成的参考模型，即为公式（15）。

(15)

其中num为最佳生成的参考模型的迭代次数，f（i，j）为第i个迭代模型的第j个头影测量值是否满足要求。其值具体由公式（16）所定义。

(16)

其中

为第i个迭代模型的第j个头影测量值，

为第j个头影测量值的平均值，

为第j个头影测量值的标准差。

根据公式（15）和（16）所形成的模型判别标准，可以判断最适合的参考模型。

在本发明提供的一些可选实施方式中，所述方法还包括：按面部的解剖区域分别构建分区域的缺损模型；将所述分区域的缺损模型组合成为模拟缺损模型；将所述模拟缺损模型与所述面部缺损数据的参照数据进行偏差分析。此处的模拟实验包括以下步骤：将模拟缺损模型完整颅骨与非刚性配准所生成的参考颅骨同时导入Geomagic Control2014，进行最佳拟合对齐，在测试颅骨上选定模拟缺损区域，NOE缺损为双侧眶上切迹至眶下孔间的表面区域、双侧颧骨颧弓缺损为上至双侧颧额缝，下内至双侧颧上颌缝，后至双侧颧弓根区域、上颌前部正中牙列缺损为双侧上颌尖牙及对应牙槽突区域、下颌颏部缺损为双侧颏孔连线以下区域，随后进行选定区域的3D偏差分析。

图4是本发明一种实施方式提供的根据模拟缺损模型进行偏差分析的步骤示意图，如图4所示。该步骤包括：

1、纳入标准，设置标准为：a）年龄18~60岁中国人；b）无骨组织、软组织明显器质性病变；c）无严重发育畸形；d）无颌面部硬组织手术史；e）安氏一类咬合；f）牙齿排列基本正常；g）无缺失牙及冠修复体；排除标准：h）有骨组织、软组织器质性病变或可见硬组织手术史；i）存在明显颌面部发育畸形；j）错颌畸形。

2、缺损模型构建，该步骤包括：

2-1鼻眶筛区（NOE）缺损模型的构建

在ProPlan中，以双侧眶上切迹，双侧眶下孔四个点为顶点，绘制曲线截面，过蝶鞍中心点绘制冠状面截面，以此两个截面分割颅骨，得到NOE区与NOE缺损模型；

2-2双侧颧骨颧弓区缺损模型的构建

在ProPlan中，自双侧颧上颌缝绘制截骨平面，自双侧颧弓根绘制截骨平面，自双侧颧额缝绘制L形截骨平面，以此三个截面分割颅骨，得到双侧颧骨颧弓区与双侧颧骨颧弓区缺损模型。

2-3上颌前部正中牙列缺损模型的构建

在ProPlan中，自双侧上颌尖牙及对应牙槽突区域制作成截骨面，得到上颌前部正中牙列缺损模型。

2-4下颌颏部缺损模型的构建

在ProPlan中，自双侧颏孔连线以下区域制作成截骨面，得到下颌颏部缺损。

3、模型生成

通过非刚性配准方式的生成，分别将上述缺损模型带入步骤2-4中进行模型的生成，生成最相似的颅骨模型。

4、结果评价方法

将模拟缺损模型完整颅骨与非刚性配准所生成的参考颅骨同时导入GeomagicControl 2014，进行最佳拟合对齐，在测试颅骨上选定模拟缺损区域，NOE缺损为双侧眶上切迹至眶下孔间的表面区域、双侧颧骨颧弓缺损为上至双侧颧额缝，下内至双侧颧上颌缝，后至双侧颧弓根区域、上颌前部正中牙列缺损为双侧上颌尖牙及对应牙槽突区域、下颌颏部缺损为双侧颏孔连线以下区域，随后进行选定区域的3D偏差分析。

图5是本发明一种实施方式提供的面部缺损参照数据的非刚性生成装置的结构示意图，如图5所示。本实施方式还提供了一种面部缺损参照数据的非刚性生成装置，所述装置包括：

数据获取模块，用于获取正常状态的面部形态数据，所述面部形态数据包括标志点信息；统计模型构建模块，用于根据所述正常状态的面部形态数据构建面部统计形状模型；非刚性配准模块，用于采用不同参数组的非刚性配准算法，得到与所述参数组对应的所述面部统计形状模型与面部缺损数据之间的参考模型；误差计算模块，用于计算所述面部缺损数据和参考模型之间的误差数据；以及参照确定模块，用于根据所述误差数据在所述参考模型中确定出一个参考模型作为所述面部缺损数据的参照数据。

关于面部缺损参照数据的非刚性生成装置的具体限定可以参见上文中对于将面部缺损参照数据的非刚性生成方法的限定，在此不再赘述。上述装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在本发明的一种实施方式中，还提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现前述的面部缺损参照数据的非刚性生成方法的步骤。

图6是本发明一种实施方式提供的终端设备的示意图，如图6所示。所述终端设备10可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。终端设备10可包括，但不仅限于，处理器100、存储器101。本领域技术人员可以理解，图6仅仅是终端设备10的示例，并不构成对终端设备10的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述终端设备还可以包括输入输出设备、网络接入设备、总线等。

所述处理器100可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器 (Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列 (Field-Programmable Gate Array，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述存储器101可以是终端设备10的内部存储单元，例如终端设备10的硬盘或内存。所述存储器101也可以是终端设备10的外部存储设备，例如所述终端设备10上配备的插接式硬盘，智能存储卡（Smart Media Card, SMC），安全数字（Secure Digital, SD）卡，闪存卡（Flash Card）等。进一步地，所述存储器101还可以既包括终端设备10的内部存储单元也包括外部存储设备。所述存储器101用于存储所述计算机程序以及终端设备10所需的其他程序和数据。所述存储器101还可以用于暂时地存储已经输出或者将要输出的数据。

本发明提供的实施方式利用了三维模型文件内的所有点坐标信息和面片信息，利用统计形状模型将数据集内的模型得到统计学信息，之后利用非刚性配准、基于深度学习的标志点提取算法获取以及所设计的参考模型判断标准从而生成出数钱的参考模型，该方法大大减少了数据录入的压力，避免了由于特征点过少的问题，减少了手工选点的误差。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器（CPU）、输入/输出接口、网络接口和内存。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器（RAM）和/或非易失性内存等形式，如只读存储器（ROM）或闪存（flash RAM）。存储器是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存（PRAM）、静态随机存取存储器（SRAM）、动态随机存取存储器（DRAM）、其他类型的随机存取存储器（RAM）、只读存储器（ROM）、电可擦除可编程只读存储器（EEPROM）、快闪记忆体或其他内存技术、只读光盘只读存储器（CD-ROM）、数字多功能光盘（DVD）或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体（transitory media），如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (9)

1.一种面部缺损参照数据的非刚性生成方法，其特征在于，所述方法包括：

获取正常状态的面部形态数据，所述面部形态数据包括标志点信息；

根据所述正常状态的面部形态数据构建面部统计形状模型；

采用不同参数组的非刚性配准算法，得到与参数组对应的面部统计形状模型与面部缺损数据之间的参考模型；

计算所述面部缺损数据与参考模型之间的误差数据；

根据所述误差数据在所述参考模型中确定出一个参考模型作为所述面部缺损数据的参照数据；

所述方法还包括：

按面部的解剖区域分别构建分区域的缺损模型；

将所述分区域的缺损模型组合成为模拟缺损模型；

将所述模拟缺损模型与所述面部缺损数据的参照数据进行偏差分析。

2.根据权利要求1所述的方法，其特征在于，获取正常状态的面部形态数据，包括：

选择预设数量的正常的面部CT数据作为三维形态数据库，并保存经过标注的标志点的三维坐标；

所述三维形态数据库中的正常的面部CT数据经过分割和标注之后，得到所述正常状态的面部形态数据；所述正常状态的面部形态数据包括所述标志点的坐标信息。

3.根据权利要求2所述的方法，其特征在于，根据所述正常状态的面部形态数据构建面部统计形状模型，包括：

通过旋转矩阵和平移矩阵将所述正常状态的面部形态数据统一至同一坐标系下；

根据主成分分析方法以及模型偏移量最小的约束条件，得到所述面部统计形状模型。

4.根据权利要求3所述的方法，其特征在于，

采用不同参数组的非刚性配准算法，得到与参数组对应的面部统计形状模型与面部缺损数据之间的参考模型，包括：

设定非刚性配准算法中的参数组的初始值和迭代次数，所述参数组在每次迭代之后被更新；

根据所述非刚性配准算法和参数组，得到所述参数组所对应的面部统计形状模型与面部缺损数据之间的参考模型；每个参数组对应一个参考模型。

5.根据权利要求4所述的方法，其特征在于，计算所述面部缺损数据与参考模型之间的误差数据，包括：

通过标志点检测网络分别获取所述面部缺损数据和参考模型的标志点信息；

通过计算所述标志点信息之间的坐标距离得到所述误差数据。

6.根据权利要求5所述的方法，其特征在于，所述标志点检测网络包括目标点检测网络和坐标回归网络；所述目标点检测网络和所述坐标回归网络均为卷积神经网络，其训练样本为所述三维形态数据库中的正常的面部CT数据；

所述目标点检测网络包括多个三维卷积层，用于下采样得到每层的特征；

所述坐标回归网络用于输出检测到的标志点的坐标；所述标志点的坐标包含于所述标志点信息中。

7.根据权利要求5所述的方法，其特征在于，根据所述误差数据在所述参考模型中确定出一个参考模型作为所述面部缺损数据的参照数据，包括：

从所述参考模型中确定误差数据小于设定的误差数据阈值的参考模型；

根据所述误差数据小于设定的误差数据阈值的参考模型与所述三维形态数据库的头影测量值，从所述误差数据小于设定的误差数据阈值的参考模型中确定出一个参考模型，作为所述面部缺损数据的参照数据。

8.一种面部缺损参照数据的非刚性生成装置，其特征在于，所述装置包括：

数据获取模块，用于获取正常状态的面部形态数据，所述面部形态数据包括标志点信息；

统计模型构建模块，用于根据所述正常状态的面部形态数据构建面部统计形状模型；

非刚性配准模块，用于采用不同参数组的非刚性配准算法，得到与参数组对应的面部统计形状模型与面部缺损数据之间的参考模型；

误差计算模块，用于计算所述面部缺损数据与参考模型之间的误差数据；

参照确定模块，用于根据所述误差数据在所述参考模型中确定出一个参考模型作为所述面部缺损数据的参照数据；以及

偏差分析模块，用于按面部的解剖区域分别构建分区域的缺损模型；将所述分区域的缺损模型组合成为模拟缺损模型；将所述模拟缺损模型与所述面部缺损数据的参照数据进行偏差分析。

9.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的面部缺损参照数据的非刚性生成方法的步骤。

Images