CN113393568B - 颈缘线形变预测模型的训练方法、装置、设备及介质 - Google Patents

颈缘线形变预测模型的训练方法、装置、设备及介质 Download PDF

Info

Publication number
CN113393568B
CN113393568B CN202110635265.9A CN202110635265A CN113393568B CN 113393568 B CN113393568 B CN 113393568B CN 202110635265 A CN202110635265 A CN 202110635265A CN 113393568 B CN113393568 B CN 113393568B
Authority
CN
China
Prior art keywords
deformation
edge line
point cloud
data
neck edge
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110635265.9A
Other languages
English (en)
Other versions
CN113393568A (zh
Inventor
田彦
彭宸婕
王嘉磊
江腾飞
赵晓波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shining 3D Technology Co Ltd
Original Assignee
Shining 3D Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shining 3D Technology Co Ltd filed Critical Shining 3D Technology Co Ltd
Priority to CN202110635265.9A priority Critical patent/CN113393568B/zh
Publication of CN113393568A publication Critical patent/CN113393568A/zh
Application granted granted Critical
Publication of CN113393568B publication Critical patent/CN113393568B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30036—Dental; Teeth

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Mathematical Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Mathematics (AREA)
  • Software Systems (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)
  • Evolutionary Computation (AREA)
  • Computer Graphics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Artificial Intelligence (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)

Abstract

本申请涉及一种颈缘线形变预测模型的训练方法、装置、设备及介质，应用于三维形变技术领域，所述方法包括：获取多个源颈缘线点云数据和源颈缘线点云数据对应的形变颈缘线点云真实数据；针对单个源颈缘线点云数据，分别通过初始颈缘线形变预测模型中的图残差卷积层和自注意力层，对该源颈缘线点云数据中每个点对应的局部邻域信息和全局信息进行处理，得到形变颈缘线点云预测数据；根据形变颈缘线点云真实数据和形变颈缘线点云预测数据，确定目标损失值；基于目标损失值对图残差卷积层和自注意力层中的参数值进行更新，得到目标颈缘线形变预测模型。本申请可以提高颈缘线形变预测的准确性。

Description

颈缘线形变预测模型的训练方法、装置、设备及介质
技术领域
本申请涉及三维形变技术领域，尤其涉及一种颈缘线形变预测模型的训练方法、装置、设备及介质。
背景技术
目前，数据采集技术和三维重建技术的快速发展使得物理模型的高精度数字化成为可能。在齿科数字化领域，通过扫描和3D重建可以得到三维牙颌数字化模型，从而实现齿科产品的后续加工和定制化生产。在实际生产过程中，最终使用的牙齿模型并非是扫描重建得到的，而是根据特定需求人工加工得到的，这个过程需要耗费大量的人工和时间，且人的主观性因素可能会在处理过程中带来一些不确定误差。
相关技术中，基于数据驱动的模型形变方法虽然可以从给定的源模型和目标模型数据对中学习表示形变过程的非线性映射关系，从而有效缓解上述问题。但是，上述方法的准确性较低。
发明内容
为了解决上述技术问题或者至少部分地解决上述技术问题，本申请提供了一种颈缘线形变预测模型的训练方法、装置、设备及介质。
根据本申请的第一方面，提供了一种颈缘线形变预测模型的训练方法，包括：
获取多个源颈缘线点云数据和所述源颈缘线点云数据对应的形变颈缘线点云真实数据；
针对单个所述源颈缘线点云数据，分别通过初始颈缘线形变预测模型中的图残差卷积层和自注意力层，对该源颈缘线点云数据中每个点对应的局部邻域信息和全局信息进行处理，得到形变颈缘线点云预测数据；
根据所述形变颈缘线点云真实数据和所述形变颈缘线点云预测数据，确定目标损失值；
基于所述目标损失值对所述图残差卷积层和自注意力层中的参数值进行更新，得到目标颈缘线形变预测模型。
在一种可选的实施方式中，所述形变颈缘线点云真实数据包括：每个点的真实形变位置坐标和真实形变法向量；所述形变颈缘线点云预测数据包括：每个点的预测形变位置坐标和第一预测形变法向量；
在得到所述形变颈缘线点云预测数据之后，所述方法还包括：
基于所述预测形变位置坐标，确定几何预测形变法向量；
基于所述第一预测形变法向量和所述几何预测形变法向量，确定目标预测形变法向量；
所述根据所述形变颈缘线点云真实数据和所述形变颈缘线点云预测数据，确定目标损失值，包括：
基于所述真实形变位置坐标和所述预测形变位置坐标，确定位置损失值，以及基于所述真实形变法向量和所述目标预测形变法向量，确定法向量损失值；
基于所述位置损失值和所述法向量损失值，确定目标损失值。
在一种可选的实施方式中，所述基于所述第一预测形变法向量和所述几何预测形变法向量，确定目标预测形变法向量，包括：
将所述第一预测形变法向量和所述几何预测形变法向量进行融合，得到第二预测形变法向量；
通过所述初始颈缘线形变预测模型中的所述图残差卷积层和所述自注意力层对所述第二预测形变法向量进行处理，得到目标预测形变法向量。
在一种可选的实施方式中，所述形变颈缘线点云真实数据包括：真实形变曲率；所述形变颈缘线点云预测数据包括：预测形变曲率；
所述根据所述形变颈缘线点云真实数据和所述形变颈缘线点云预测数据，确定目标损失值，还包括：
根据所述真实形变曲率和所述预测形变曲率，确定曲率损失值；
在确定所述目标损失值之后，基于所述曲率损失值，对所述目标损失值进行更新。
在一种可选的实施方式中，所述基于所述预测形变位置坐标，确定几何预测形变法向量，包括：
根据单个所述预测形变位置坐标，确定该预测形变位置坐标的邻接预测形变位置坐标；
若该预测形变位置坐标和所述邻接预测形变位置坐标的数量共有m个，则确定位置坐标矩阵
Figure BDA0003105439260000031
根据以下公式：
Figure BDA0003105439260000032
确定几何预测形变法向量n，其中，1是一个值全为1的向量，||||2表示2范数。
在一种可选的实施方式中，如果所述图残差卷积层和所述自注意力层的数量均为多个；所述初始颈缘线形变预测模型还包括激活层/归一化层；所述激活层/所述归一化层位于每个所述图残差卷积层之后，以及每个所述自注意力层之后；
分别通过初始颈缘线形变预测模型中的图残差卷积层和自注意力层，对该源颈缘线点云数据中每个点对应的局部邻域信息和全局信息进行处理，得到形变颈缘线点云预测数据，包括：
将该源颈缘线点云数据中每个点对应的局部邻域信息作为第一个所述图残差卷积层的输入，以及将该源颈缘线点云数据中每个点对应的全局信息作为第一个所述自注意力层的输入；
通过每个所述图残差卷积层和每个所述自注意力层对输入该层的数据进行处理，得到对应的第一特征和第二特征；
通过所述激活层/所述归一化层对所述第一特征和所述第二特征的融合特征进行激活处理/归一化处理，得到第三特征；
将所述第三特征输入下一个所述图残差卷积层和下一个所述自注意力层；
将最后一个所述激活层/所述归一化层的输出进行全连接处理，得到形变颈缘线点云预测数据。
在一种可选的实施方式中，所述获取多个源颈缘线点云数据，包括：
获取多个源完整牙齿网格数据，对所述源完整牙齿网格数据进行切割，得到多个单牙源网格数据；
对多个所述单牙源网格数据分别进行归一化处理，得到多个归一化单牙源网格数据；
获取针对所述归一化单牙源网格数据的标定源颈缘线点云数据，对所述归一化单牙源网格数据和所述标定源颈缘线点云数据进行采样处理，得到多个源颈缘线点云数据；
所述获取所述源颈缘线点云数据对应的形变颈缘线点云真实数据，包括：
获取所述源完整牙齿网格数据对应的形变完整牙齿网格数据；
对所述形变完整牙齿网格数据进行切割，得到多个单牙形变网格数据；
对多个所述单牙形变网格数据分别进行归一化处理，得到多个归一化单牙形变网格数据；
获取针对所述归一化单牙形变网格数据的标定形变颈缘线点云数据，对所述归一化单牙形变网格数据和所述标定形变颈缘线点云数据进行采样处理，得到多个形变颈缘线点云真实数据。
根据本申请的第二方面，提供了一种颈缘线形变预测模型的训练装置，包括：
颈缘线点云数据获取模块，用于获取多个源颈缘线点云数据和所述源颈缘线点云数据对应的形变颈缘线点云真实数据；
形变颈缘线点云数据预测模块，用于针对单个所述源颈缘线点云数据，分别通过初始颈缘线形变预测模型中的图残差卷积层和自注意力层，对该源颈缘线点云数据中每个点对应的局部邻域信息和全局信息进行处理，得到形变颈缘线点云预测数据；
目标损失值确定模块，用于根据所述形变颈缘线点云真实数据和所述形变颈缘线点云预测数据，确定目标损失值；
颈缘线形变预测模型更新模块，用于基于所述目标损失值对所述图残差卷积层和自注意力层中的参数值进行更新，得到目标颈缘线形变预测模型。
在一种可选的实施方式中，所述形变颈缘线点云真实数据包括：每个点的真实形变位置坐标和真实形变法向量；所述形变颈缘线点云预测数据包括：每个点的预测形变位置坐标和第一预测形变法向量；
所述颈缘线形变预测模型的训练装置，还包括：
几何形变法向量预测模块，用于基于所述预测形变位置坐标，确定几何预测形变法向量；
目标预测形变法向量确定模块，用于基于所述第一预测形变法向量和所述几何预测形变法向量，确定目标预测形变法向量；
所述目标损失值确定模块，包括：
位置损失值确定单元，用于基于所述真实形变位置坐标和所述预测形变位置坐标，确定位置损失值；以及
法向量损失值确定单元，用于基于所述真实形变法向量和所述目标预测形变法向量，确定法向量损失值；
目标损失值确定单元，用于基于所述位置损失值和所述法向量损失值，确定目标损失值。
在一种可选的实施方式中，所述目标预测形变法向量确定模块具体用于将所述第一预测形变法向量和所述几何预测形变法向量进行融合，得到第二预测形变法向量；通过所述初始颈缘线形变预测模型中的所述图残差卷积层和所述自注意力层对所述第二预测形变法向量进行处理，得到目标预测形变法向量。
在一种可选的实施方式中，所述形变颈缘线点云真实数据包括：真实形变曲率；所述形变颈缘线点云预测数据包括：预测形变曲率；
所述目标损失值确定模块，还包括：
曲率损失值确定单元，用于根据所述真实形变曲率和所述预测形变曲率，确定曲率损失值；
目标损失值更新单元，用于在确定所述目标损失值之后，基于所述曲率损失值，对所述目标损失值进行更新。
在一种可选的实施方式中，所述几何形变法向量预测模块，具体用于根据单个所述预测形变位置坐标，确定该预测形变位置坐标的邻接预测形变位置坐标；若该预测形变位置坐标和所述邻接预测形变位置坐标的数量共有m个，则确定位置坐标矩阵
Figure BDA0003105439260000061
根据以下公式：
Figure BDA0003105439260000062
确定几何预测形变法向量n，其中，1是一个值全为1的向量，||||2表示2范数。
在一种可选的实施方式中，如果所述图残差卷积层和所述自注意力层的数量均为多个；所述初始颈缘线形变预测模型还包括激活层/归一化层；所述激活层/所述归一化层位于每个所述图残差卷积层之后，以及每个所述自注意力层之后；
所述形变颈缘线点云数据预测模块，具体用于将该源颈缘线点云数据中每个点对应的局部邻域信息作为第一个所述图残差卷积层的输入，以及将该源颈缘线点云数据中每个点对应的全局信息作为第一个所述自注意力层的输入；通过每个所述图残差卷积层和每个所述自注意力层对输入该层的数据进行处理，得到对应的第一特征和第二特征；通过所述激活层/所述归一化层对所述第一特征和所述第二特征的融合特征进行激活处理/归一化处理，得到第三特征；将所述第三特征输入下一个所述图残差卷积层和下一个所述自注意力层；将最后一个所述激活层/所述归一化层的输出进行全连接处理，得到形变颈缘线点云预测数据。
在一种可选的实施方式中，所述颈缘线点云数据获取模块，具体用于获取多个源完整牙齿网格数据，对所述源完整牙齿网格数据进行切割，得到多个单牙源网格数据；对多个所述单牙源网格数据分别进行归一化处理，得到多个归一化单牙源网格数据；获取针对所述归一化单牙源网格数据的标定源颈缘线点云数据，对所述归一化单牙源网格数据和所述标定源颈缘线点云数据进行采样处理，得到多个源颈缘线点云数据；以及
获取所述源完整牙齿网格数据对应的形变完整牙齿网格数据；对所述形变完整牙齿网格数据进行切割，得到多个单牙形变网格数据；对多个所述单牙形变网格数据分别进行归一化处理，得到多个归一化单牙形变网格数据；获取针对所述归一化单牙形变网格数据的标定形变颈缘线点云数据，对所述归一化单牙形变网格数据和所述标定形变颈缘线点云数据进行采样处理，得到多个形变颈缘线点云真实数据。
根据本申请的第三方面，提供了一种电子设备，包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行第一方面所述的方法。
根据本申请的第四方面，提供了一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面所述的方法。
本申请实施例提供的技术方案与现有技术相比具有如下优点：
在获取源颈缘线点云数据以及源颈缘线点云数据对应的形变颈缘线点云真实数据后，可以基于初始颈缘线形变预测模型对源颈缘线点云数据进行处理，得到对应的形变颈缘线点云预测数据。由于初始颈缘线形变预测模型中的图残差卷积层可以对源颈缘线点云数据中每个点对应的局部邻域信息进行处理，而初始颈缘线形变预测模型中的自注意力层可以对每个点对应的全局信息进行处理，即同时挖掘了邻域点的信息，以及距离较远的关联点的信息，因此，增加了环境特征的辨识能力，避免远距离关联点信息的缺失，从而可以提高颈缘线形变预测模型训练的准确性。进而，在通过训练完成的目标颈缘线形变预测模型对颈缘线点云数据进行形变预测时，提高颈缘线点云数据形变预测的准确性，从而可以有效用于齿科数字化领域，例如可以进行单牙3D重建等。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为单牙模型的一种示意图；
图2为相关技术中颈缘线点云数据形变预测的一种示意图；
图3为本申请实施例中颈缘线形变预测模型的训练方法的一种流程图；
图4为本申请实施例中颈缘线形变预测模型的训练方法的又一种流程图；
图5是本申请实施例中数据处理的一种示意图；
图6为本申请实施例中初始颈缘线形变预测模型的一种网络结构示意图；
图7为本申请实施例中通过初始颈缘线形变预测模型对源颈缘线点云数据进行预测的一种示意图；
图8为本申请实施例中确定目标预测形变法向量的一种方法流程图；
图9为本申请实施例中颈缘线形变预测模型的训练装置的一种结构示意图；
图10为本申请实施例中电子设备的一种结构示意图。
具体实施方式
为了能够更清楚地理解本申请的上述目的、特征和优点，下面将对本申请的方案进行进一步描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本申请，但本申请还可以采用其他不同于在此描述的方式来实施；显然，说明书中的实施例只是本申请的一部分实施例，而不是全部的实施例。
目前，基于数据驱动的模型形变方法可以从给定的源模型(即形变前的模型)和目标模型(即形变后的模型)数据对中学习表示形变过程的非线性映射关系，这些方法可以包括：
1)基于曲面进行预测的方法。该方法使用深度学习网络对网格或体素(体积元素的简称)等数据进行形变预测，虽然效果直观，但是计算复杂度高，容易过拟合，且对输入数据有所限制。
2)基于曲线进行预测的方法。该方法采用邻域图卷积对曲线进行形变预测，虽然复杂度低、建模简洁，但容易忽视相关特征点信息，比如牙齿上的对称点、解剖特征点等提供关键信息的牙齿特征点。参见图1，图1中的点1和点2即为两个关键特征点。
此外，法向量对物体重建结果有重要影响，如图2所示，可以通过颈缘线点云数据的位置坐标和法向量，单独预测形变后的位置坐标，或者单独预测形变后的法向量，然而，该方法准确性较低。
为了解决上述问题，本申请实施例提供了一种颈缘线形变预测模型的训练方法、装置、设备及介质，可以提高颈缘线点云数据预测的准确性。
以下首先对本申请实施例的颈缘线形变预测模型的训练方法进行详细介绍。
本申请实施例中颈缘线形变预测模型的训练方法的执行主体可以为智能手机、平板电脑、笔记本电脑、超级移动个人计算机、上网本、个人数字助理、智能手表、智能手环等电子设备，本申请实施例对电子设备的类型不作限定。
参见图3，图3为本申请实施例中颈缘线形变预测模型的训练方法的一种流程图，可以包括以下步骤：
步骤S310，获取多个源颈缘线点云数据和源颈缘线点云数据对应的形变颈缘线点云真实数据。
本申请实施例中，源颈缘线点云数据是形变之前的颈缘线点云数据，形变颈缘线点云真实数据是形变之后的颈缘线点云数据，且源颈缘线点云数据和形变颈缘线点云真实数据是一一对应的。将源颈缘线点云数据作为输入，形变颈缘线点云真实数据作为标签，用于训练下述的初始颈缘线形变预测模型。
由于点云是通过测量仪器得到的产品外观表面的点数据集合，因此，每个源颈缘线点云数据和每个形变颈缘线点云真实数据均为多个点的数据的集合。参见图2，可以看出，源颈缘线点云数据和目标颈缘线点云数据中均包含多个点的数据。需要说明的是，每个点的数据可以包括：该点的位置坐标和法向量，还可以包括曲率等，以提高颈缘线形变预测的准确性。其中，位置坐标和法向量均可以为三维数据，曲率可以为六维数据。也就是说，每个点的数据可以为12维的数据。
本申请所使用的原始数据可以是去隐私化处理之后的口腔医院数据，包括形变前的口腔医院数据和形变后的口腔医院数据。首先可以使用三维扫描仪对口腔医院数据进行扫描，以获得整副牙齿的上颚或者下颚的网格数据，之后使用Geomagic软件对网格数据进行单牙切割，最终得到单牙网格数据，其中，单牙网格数据可以是STL(STereoLithography,立体光刻)形式的数据。最后，再对单牙网格数据进行颈缘线点云数据标定、采样和数据增强等，得到颈缘线点云数据。可以理解的是，针对形变前的口腔医院数据，按照上述方法可以得到源颈缘线点云数据；针对形变后的口腔医院数据，按照上述方法可以得到形变颈缘线点云真实数据。
其中，Geomagic软件是一款结合了实时三维扫描、三维点云和三角网格编辑功能以及全面CAD(Computer Aided Design，计算机辅助设计)造型设计、装配建模、二维出图等功能的三维设计软件。虽然传统的CAD软件也有建模功能，但是缺少工具将三维扫描数据处理成有用的三维模型。而Geomagic Spark则加入了三维扫描数据功能，将先进扫描技术以及直接建模技术融为一体。
步骤S320，针对单个源颈缘线点云数据，分别通过初始颈缘线形变预测模型中的图残差卷积层和自注意力层，对该源颈缘线点云数据中每个点对应的局部邻域信息和全局信息进行处理，得到形变颈缘线点云预测数据。
本申请实施例中，初始颈缘线形变预测模型指的是未经过训练的颈缘线形变预测模型，下述的目标颈缘线形变预测模型指的是训练完成的颈缘线形变预测模型，两者的网络结构相同，由于在训练过程中，参数值发生改变，因此两者的参数值不同。初始颈缘线形变预测模型中包括图残差卷积层和自注意力层，其中，图残差卷积层可以对源颈缘线点云数据中每个点对应的局部邻域信息(例如，该点以及与该点相邻的多个点的信息)进行处理，自注意力层可以对该源颈缘线点云数据中每个点对应的全局信息(例如，可以是源颈缘线点云数据中所有点的信息)进行处理。这样，在处理过程中通过结合局部邻域信息和全局信息，可以避免忽视与该点相关的点(例如与该点距离较远的点)的信息，从而可以提高预测得到的形变颈缘线点云预测数据的准确性。
步骤S330，根据形变颈缘线点云真实数据和形变颈缘线点云预测数据，确定目标损失值。
如前所述，形变颈缘线点云真实数据是训练初始颈缘线形变预测模型时所使用的标签数据，而形变颈缘线点云预测数据是通过初始颈缘线形变预测模型预测得到的数据，训练的目的是使预测得到的形变颈缘线点云预测数据与形变颈缘线点云真实数据尽可能地接近。因此，可以根据形变颈缘线点云真实数据和形变颈缘线点云预测数据确定目标损失值，通过目标损失值来表示形变颈缘线点云预测数据与形变颈缘线点云真实数据的接近程度。
例如，在形变颈缘线点云预测数据与形变颈缘线点云真实数据均包含位置坐标和法向量的情况下，可以分别计算位置损失值和法向量损失值，根据位置损失值和法向量损失值，计算最终的目标损失值。
步骤S340，基于目标损失值对图残差卷积层和自注意力层中的参数值进行更新，得到目标颈缘线形变预测模型。
在训练的过程中，可以通过梯度下降法，根据反向传播原理，不断计算目标损失值，并根据目标损失值更新图残差卷积层和自注意力层中的参数值，即初始颈缘线形变预测模型中的参数值是不断更新的。目标损失值越小，表示形变颈缘线点云预测数据与形变颈缘线点云真实数据越接近。例如，在目标损失值收敛至预设阈值的情况下，确定训练完成，最终得到目标颈缘线形变预测模型。
本申请实施例的颈缘线形变预测模型的训练方法，在获取源颈缘线点云数据以及源颈缘线点云数据对应的形变颈缘线点云真实数据后，可以基于初始颈缘线形变预测模型对源颈缘线点云数据进行处理，得到对应的形变颈缘线点云预测数据。由于初始颈缘线形变预测模型中的图残差卷积层可以对源颈缘线点云数据中每个点对应的局部邻域信息进行处理，而初始颈缘线形变预测模型中的自注意力层可以对每个点对应的全局信息进行处理，即同时挖掘了邻域点的信息，以及距离较远的关联点的信息，因此，增加了环境特征的辨识能力，避免远距离关联点信息的缺失，从而可以提高颈缘线形变预测模型训练的准确性。进而，在通过训练完成的目标颈缘线形变预测模型对颈缘线点云数据进行形变预测时，提高颈缘线点云数据形变预测的准确性，从而可以有效用于齿科数字化领域，例如可以进行单牙3D重建等。
参见图4，图4为本申请实施例中颈缘线形变预测模型的训练方法的又一种流程图，可以包括以下步骤：
步骤S410，获取多个源颈缘线点云数据和源颈缘线点云数据对应的形变颈缘线点云真实数据。
本申请实施例中，本申请所使用的原始数据可以是去隐私化处理之后的口腔医院数据，包括形变前的口腔医院数据和形变后的口腔医院数据。对口腔医院数据的处理过程可参见图5，获取多个源完整牙齿网格数据(即形变前的口腔医院数据)，对源完整牙齿网格数据进行切割，可以得到多个单牙源网格数据。为了保留点的位置与法向量的一致性，可以对多个单牙源网格数据分别进行归一化处理，得到多个归一化单牙源网格数据。
之后，使用颈缘线标定工具对归一化单牙源网格数据按照一定步骤人工进行颈缘线标定。在标定过程中，可以将单牙模型内侧的中心点作为标定的起始点，使每个单牙模型的颈缘线点云数据起始点位置都大致相同，以此保证源颈缘线点云数据的规范性，从而减少数据噪声，接着沿牙龈线逆时针标定一圈得到每个单牙模型的标定颈缘线点云数据。
由于得到的每个标定颈缘线点云数据中点的数量并不一致，为了固定颈缘线点云数据中点的数量，在获取针对归一化单牙源网格数据的标定源颈缘线点云数据后，可以对归一化单牙源网格数据和标定源颈缘线点云数据进行采样处理，得到点数量一致的多个源颈缘线点云数据。
具体的，为了使颈缘线点云数据更具合理性和一致性，可以对颈缘线进行等距离采样，并进行等角度(例如，可以是30度、45度等)采样，最后在等角度采样得到的每两个相邻点之间再等距离采样多个(例如可以是10个)点。在等角度为30度，等距离采样10个点的情况下，最终处理得到的每个颈缘线点云数据均可以包含120个点的坐标和法向量。当然，还可以采用旋转和镜像的方法来对颈缘线数据进行数据增强，以丰富数据集。
同样地，可以获取源完整牙齿网格数据对应的形变完整牙齿网格数据(即形变后的口腔医院数据)；对形变完整牙齿网格数据进行切割，得到多个单牙形变网格数据；对多个单牙形变网格数据分别进行归一化处理，得到多个归一化单牙形变网格数据；获取针对归一化单牙形变网格数据的标定形变颈缘线点云数据，对归一化单牙形变网格数据和标定形变颈缘线点云数据进行采样处理，得到多个形变颈缘线点云真实数据。
步骤S420，针对单个源颈缘线点云数据，分别通过初始颈缘线形变预测模型中的图残差卷积层和自注意力层，对该源颈缘线点云数据中每个点对应的局部邻域信息和全局信息进行处理，得到形变颈缘线点云预测数据。
本申请实施例中，初始颈缘线形变预测模型中的图残差卷积层和自注意力层的数量可以是一个或多个。为了提高模型的准确性，图残差卷积层和自注意力层的数量通常为多个。图残差卷积层和自注意力层的数量可以相同，也可以不同。在图残差卷积层和自注意力层的数量相同的情况下，在每个图残差卷积层和自注意力层对输入该层的数据处理后，可以将图残差卷积层和自注意力层输出的特征进行融合之后，再分别输入下一个图残差卷积层和自注意力层。
需要说明的是，由于神经网络在反向传播的过程中，每一层的梯度的计算都要乘以上层传过来的梯度，如果每一层的梯度值都比较小，那么在反向传播的过程中越传播梯度越小，就会导致梯度消失，如果每一层的梯度值都比较大，那么在反向传播的过程中越传播梯度越大，就会导致梯度爆炸。因此，本申请还可以在图残差卷积层和自注意力层之后加入归一化层，可以防止梯度消失或者梯度爆炸。也可以在图残差卷积层和自注意力层之后加入激活层，这样，通过加入非线性因素，将特征映射到高维的非线性区间进行解释，可以解决线性模型所不能解决的问题。
参见图6，图6为本申请实施例中初始颈缘线形变预测模型的一种网络结构示意图，可以看出，图残差卷积层和自注意力层的数量均为三个，当然也可以是两个、四个或更多个等。初始颈缘线形变预测模型还包括激活层和归一化层；激活层和归一化层位于每个图残差卷积层之后，以及每个自注意力层之后。
该初始颈缘线形变预测模型的数据处理流程具体可以为：将该源颈缘线点云数据中每个点对应的局部邻域信息作为第一个图残差卷积层的输入，以及将该源颈缘线点云数据中每个点对应的全局信息作为第一个自注意力层的输入；通过每个图残差卷积层和每个自注意力层对输入该层的数据进行处理，得到对应的第一特征和第二特征；通过激活层/归一化层对第一特征和第二特征的融合特征进行激活处理/归一化处理，得到第三特征；将第三特征输入下一个图残差卷积层和下一个自注意力层；下一个图残差卷积层和下一个自注意力层可以按照同样的方式进行处理，将最后一个激活层/归一化层的输出进行全连接处理，得到形变颈缘线点云预测数据。
例如，针对第一个图残差卷积层和第一个自注意力层，在对源颈缘线点云数据进行处理之后，分别可以得到对应的第一特征和第二特征。将第一特征和第二特征进行融合之后输入激活层，通过激活函数进行处理之后，输出对应的第三特征。将第三特征输入第二个图残差卷积层和第二个自注意力层。同样地，第二个图残差卷积层和第二个自注意力层在对第三特征处理之后，得到对应的第一特征和第二特征，将第一特征和第二特征进行融合之后输入归一化层，通过归一化函数进行处理之后，输出对应的第三特征。可以理解的是，各个图残差卷积层对应的第一特征不同，各自注意力层对应的第二特征也不同，各个第三特征也不同。
每个图残差卷积层的处理过程如下：
图残差卷积由k近邻决定权重。对于三维点云中的n个节点，记节点为xi(i＝1,2,…,n)，图G＝(V,E)由K近邻(K-Nearest Neighbor,KNN)得到，V是图G点的集合，E是图G边的集合，根据节点之间的空间距离，将空间中距离节点xi最近的K个节点(包括节点xi)组成局部邻域Ni(i＝1,2,…,k)，若节点集中的点xi和xj组成的边(xi,xj)满足{(xi,xj)|xj∈Ni}，则(xi,xj)∈E；K近邻邻接权重矩阵W通常反比于节点xi和节点xj的欧几里得距离，设Wi,j∈W为连接节点xi和节点xj的边的权重,计算公式为：
Figure BDA0003105439260000151
其中，loci和locj分别是点xi和xj的三维坐标，ω是非零常数。
图残差卷积层的输出是每个顶点的所有邻域边的边缘特征的聚合。其中，边缘特征可以定义为hΘ(xi,xj)，Θ是训练参数，hΘ:RF*RF→RF′是参数化的非线性函数，由F维映射为F'维，F'为特征聚合之后的维度。图残差卷积层中第i个顶点的输出可以表示为：
x′i＝∑jhΘ(xi,xj)，
考虑点云的局部特征，即关注点和邻近点之间的联系，定义
hΘ(xi,xj)＝hΘ(xj-xi)，
假设关注点为节点x1，节点x1的邻接节点为：x1、x2、…、xk，节点x1的特征向量定义为：
Figure BDA0003105439260000161
其中,k为相邻接节点的数量，W为分配给节点的权重矩阵，g()为聚合函数。在图卷积中，聚合函数通常可以选用max函数、mean函数或sum函数。在此，可以选用sum函数作为聚合函数。其中，邻域节点的数量k可以取3。
每个自注意力层的处理过程如下：
为了避免非局部信息的损失，本申请通过引入注意力关系系数来计算每对点之间的注意力特征，假设每个节点包含F维特征，网络第i层的输入为Xi＝{xi1,xi2,…,xiN},xij∈RF，N表示节点数，即输入为N×F特征矩阵，对每个节点计算该节点与所有节点的注意力关系系数，以第i层的节点Q为例，节点Q与其他节点的注意力关系系数表示为：
Figure BDA0003105439260000162
为了使得互相关系数更容易计算和比较，可以通过softmax函数对节点Q得到的注意力关系系数进行归一化，以此作为其它节点对于节点Q的权重系数：
Figure BDA0003105439260000163
对计算得到的权重系数加权求和，得到节点Q的环境特征向量：
Figure BDA0003105439260000164
图全连接层的处理过程如下：
图卷积的拉普拉斯矩阵可以表示为L，
Figure BDA0003105439260000165
In表示单位矩阵，D表示度矩阵，W表示上文中的加权邻接矩阵。定义图残差卷积层的卷积核为Fη(L)，这样，对于输入的图信号X，谱图卷积可定义为：
y＝Fη(L)X，
其中，L可通过正交分解为L＝UΛUT，U＝[μ1,μ2,…,μn]，μi(i＝1,2,…,n)为L的标准正交特征向量,Λ＝diag(λ1,λ2,...,λn)，λi(i＝1,2,…,n)为L的特征值，由此可以得到
Figure BDA0003105439260000177
其中，
Figure BDA0003105439260000176
η表示卷积核的参数。
为了降低计算复杂度，可以利用切比雪夫多项式，得到图卷积核的近似表示，接着对卷积核Fη(Λ)进行多项式近似，则
Figure BDA0003105439260000171
其中，
Figure BDA0003105439260000172
是K阶切比雪夫多项式，
Figure BDA0003105439260000173
λmax表示拉普拉斯矩阵的最大特征值，η表示切比雪夫多项式的系数，即卷积核的参数。
若图残差卷积层得到来自上一层输出的三维点云的特征信息为Y，对信号Y的卷积运算可表示为：
Figure BDA0003105439260000174
其中，
Figure BDA0003105439260000175
Yi∈Y是输入的特征信息，其维度为n×Fin，η是该层的可训练参数，大小为Fin×Fout，输出n×Fout维的特征信息，σ表示非线性激活函数。
步骤S430，基于预测形变位置坐标，确定几何预测形变法向量。
本申请实施例中，形变颈缘线点云真实数据包括：每个点的真实形变位置坐标和真实形变法向量；形变颈缘线点云预测数据包括：每个点的预测形变位置坐标和第一预测形变法向量。由于每个点的位置坐标和法向量之间通常存在内在的几何关系，因此，还可以根据预测形变位置坐标，确定几何预测形变法向量。将几何预测形变法向量与第一预测形变法向量进行融合，以提高法向量形变预测的精度。
在一种可选的实施方式中，可以根据单个预测形变位置坐标，确定该预测形变位置坐标的邻接预测形变位置坐标。
假设每个节点i有m个邻接节点(包括节点i本身)，将每个节点的邻接节点的集合，包含节点i本身，定义为Ni＝{(xm,ym,zm)}，其中，节点m为节点i的邻接节点。相应地，该预测形变位置坐标和邻接预测形变位置坐标的数量共有m个，邻域内的节点构成了一个切平面，则确定位置坐标矩阵
Figure BDA0003105439260000181
根据局部平面与法向相垂直的空间几何关系，表面法向量n＝[n1,n2,n3]应满足线性条件：
An＝b,满足
Figure BDA0003105439260000182
b属于是个常数向量，m是邻域Ni的大小。用最小二乘法来计算，得到最小解：
Figure BDA0003105439260000183
因此，可以根据公式：
Figure BDA0003105439260000184
确定几何预测形变法向量n，其中，1是一个值全为1的向量，||||2表示2范数。
步骤S440，基于第一预测形变法向量和几何预测形变法向量，确定目标预测形变法向量。
本申请实施例中，可以直接将第一预测形变法向量和几何预测形变法向量进行融合，得到目标预测形变法向量，以提高法向量形变预测的准确性。还可以将融合结果再次输入初始颈缘线形变预测模型来预测法向量，以进一步提高法向量形变预测的准确性。如图7所示，在通过初始颈缘线形变预测模型预测得到第一预测形变法向量和预测形变位置坐标后，可以基于预测形变位置坐标得到几何预测形变法向量，将第一预测形变法向量和几何预测形变法向量进行融合之后，再次输入初始颈缘线形变预测模型来进一步预测法向量。这样，形变颈缘线点云预测数据具体为：每个点的预测形变位置坐标和目标预测形变法向量。
参见图8，图8为本申请实施例中确定目标预测形变法向量的一种方法流程图，可以包括以下步骤：
步骤S810，将第一预测形变法向量和几何预测形变法向量进行融合，得到第二预测形变法向量。
步骤S820，通过初始颈缘线形变预测模型中的图残差卷积层和自注意力层对第二预测形变法向量进行处理，得到目标预测形变法向量。
需要说明的是，由于初始颈缘线形变预测模型中的图残差卷积层和自注意力层对源颈缘线点云数据的处理方式与对第二预测形变法向量的处理方式相同，具体参见步骤S420中的处理过程即可，在此不再赘述。
步骤S450，基于真实形变位置坐标和预测形变位置坐标，确定位置损失值，以及基于真实形变法向量和目标预测形变法向量，确定法向量损失值。
可选的，如果真实形变位置坐标为pgt，预测形变位置坐标为pi，则位置损失值Lpoint可以表示为：
Figure BDA0003105439260000191
类似地，如果真实形变法向量为ngt，目标预测形变法向量为ni，则法向量损失值Lnorm可以表示为：
Figure BDA0003105439260000192
步骤S460，基于位置损失值和法向量损失值，确定目标损失值。
本申请实施例中，目标损失值可以是位置损失值和法向量损失值之和，也可以是位置损失值和法向量损失值的加权之和。假设目标损失值为位置损失值和法向量损失值的加权之和，则目标损失值L可以表示为：
L＝w1×Lpoint+w2×Lnorm；
其中，w1为位置损失值Lpoint的权重，w2是法向量损失值的权重，可以根据实际情况进行设置。
如前所述，颈缘线点云数据中包括位置坐标和法向量，在此基础上还可以包括曲率。那么，形变颈缘线点云真实数据也包括：真实形变曲率；形变颈缘线点云预测数据包括：预测形变曲率。这样，还可以结合曲率信息，确定目标损失值。具体的，可以根据真实形变曲率和预测形变曲率，确定曲率损失值。由于前述已经根据位置损失值和法向量损失值，得到了目标损失值，因此，在该目标损失值的基础上，还可以基于曲率损失值，对目标损失值进行更新。例如，可以将目标损失值与曲率损失值之和作为最终的目标损失值，或者，也可以将目标损失值与曲率损失值的加权之和作为最终的目标损失值等。
步骤S470，基于目标损失值对图残差卷积层和自注意力层中的参数值进行更新，得到目标颈缘线形变预测模型。
本步骤与图3实施例中步骤S340相同，具体参见图3实施例中的描述即可，在此不再赘述。
本申请实施例的颈缘线形变预测模型的训练方法，初始颈缘线形变预测模型中的图残差卷积层可以对源颈缘线点云数据中每个点对应的局部邻域信息进行处理，而初始颈缘线形变预测模型中的自注意力层可以对每个点对应的全局信息进行处理，即同时挖掘了邻域点的信息，以及距离较远的关联点的信息，因此，增加了环境特征的辨识能力，避免远距离关联点信息的缺失，从而可以提高颈缘线形变预测模型训练的准确性。并且，充分考虑到位置坐标和法向量的一致性，根据位置坐标和法向量之间存在的几何关系进行几何预测，即可以根据预测形变位置坐标，确定几何预测形变法向量，将通过初始颈缘线形变预测模型预测得到的第一预测形变法向量和几何预测形变法向量进行融合之后，再次输入初始颈缘线形变预测模型，从而提高法向量预测的准确性。
相应于上述方法实施例，本申请实施例还提供了一种颈缘线形变预测模型的训练装置，参见图，该颈缘线形变预测模型的训练装置900包括：
颈缘线点云数据获取模块910，用于获取多个源颈缘线点云数据和源颈缘线点云数据对应的形变颈缘线点云真实数据；
形变颈缘线点云数据预测模块920，用于针对单个源颈缘线点云数据，分别通过初始颈缘线形变预测模型中的图残差卷积层和自注意力层，对该源颈缘线点云数据中每个点对应的局部邻域信息和全局信息进行处理，得到形变颈缘线点云预测数据；
目标损失值确定模块930，用于根据形变颈缘线点云真实数据和形变颈缘线点云预测数据，确定目标损失值；
颈缘线形变预测模型更新模块940，用于基于目标损失值对图残差卷积层和自注意力层中的参数值进行更新，得到目标颈缘线形变预测模型。
在一种可选的实施方式中，形变颈缘线点云真实数据包括：每个点的真实形变位置坐标和真实形变法向量；形变颈缘线点云预测数据包括：每个点的预测形变位置坐标和第一预测形变法向量；
颈缘线形变预测模型的训练装置900，还包括：
几何形变法向量预测模块，用于基于预测形变位置坐标，确定几何预测形变法向量；
目标预测形变法向量确定模块，用于基于第一预测形变法向量和几何预测形变法向量，确定目标预测形变法向量；
目标损失值确定模块930，包括：
位置损失值确定单元，用于基于真实形变位置坐标和预测形变位置坐标，确定位置损失值；以及
法向量损失值确定单元，用于基于真实形变法向量和目标预测形变法向量，确定法向量损失值；
目标损失值确定单元，用于基于位置损失值和法向量损失值，确定目标损失值。
在一种可选的实施方式中，目标预测形变法向量确定模块具体用于将第一预测形变法向量和几何预测形变法向量进行融合，得到第二预测形变法向量；通过初始颈缘线形变预测模型中的图残差卷积层和自注意力层对第二预测形变法向量进行处理，得到目标预测形变法向量。
在一种可选的实施方式中，形变颈缘线点云真实数据包括：真实形变曲率；形变颈缘线点云预测数据包括：预测形变曲率；
目标损失值确定模块930，还包括：
曲率损失值确定单元，用于根据真实形变曲率和预测形变曲率，确定曲率损失值；
目标损失值更新单元，用于在确定目标损失值之后，基于曲率损失值，对目标损失值进行更新。
在一种可选的实施方式中，几何形变法向量预测模块，具体用于根据单个预测形变位置坐标，确定该预测形变位置坐标的邻接预测形变位置坐标；若该预测形变位置坐标和邻接预测形变位置坐标的数量共有m个，则确定位置坐标矩阵
Figure BDA0003105439260000221
根据以下公式：
Figure BDA0003105439260000222
确定几何预测形变法向量n，其中，1是一个值全为1的向量，||||2表示2范数。
在一种可选的实施方式中，如果图残差卷积层和自注意力层的数量均为多个；初始颈缘线形变预测模型还包括激活层/归一化层；激活层/归一化层位于每个图残差卷积层之后，以及每个自注意力层之后；
形变颈缘线点云数据预测模块920，具体用于将该源颈缘线点云数据中每个点对应的局部邻域信息作为第一个图残差卷积层的输入，以及将该源颈缘线点云数据中每个点对应的全局信息作为第一个自注意力层的输入；通过每个图残差卷积层和每个自注意力层对输入该层的数据进行处理，得到对应的第一特征和第二特征；通过激活层/归一化层对第一特征和第二特征的融合特征进行激活处理/归一化处理，得到第三特征；将第三特征输入下一个图残差卷积层和下一个自注意力层；将最后一个激活层/归一化层的输出进行全连接处理，得到形变颈缘线点云预测数据。
在一种可选的实施方式中，颈缘线点云数据获取模块910，具体用于获取多个源完整牙齿网格数据，对源完整牙齿网格数据进行切割，得到多个单牙源网格数据；对多个单牙源网格数据分别进行归一化处理，得到多个归一化单牙源网格数据；获取针对归一化单牙源网格数据的标定源颈缘线点云数据，对归一化单牙源网格数据和标定源颈缘线点云数据进行采样处理，得到多个源颈缘线点云数据；以及
获取源完整牙齿网格数据对应的形变完整牙齿网格数据；对形变完整牙齿网格数据进行切割，得到多个单牙形变网格数据；对多个单牙形变网格数据分别进行归一化处理，得到多个归一化单牙形变网格数据；获取针对归一化单牙形变网格数据的标定形变颈缘线点云数据，对归一化单牙形变网格数据和标定形变颈缘线点云数据进行采样处理，得到多个形变颈缘线点云真实数据。
上述装置中各模块或单元的具体细节已经在对应的方法中进行了详细的描述，因此此处不再赘述。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
在本申请的示例性实施例中，还提供一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为执行本示例实施方式中上述任意一项所述的方法。
图10为本申请实施例中电子设备的一种结构示意图。需要说明的是，图10示出的电子设备1000仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图10所示，电子设备1000包括中央处理单元(CPU)1001，其可以根据存储在只读存储器(ROM)1002中的程序或者从存储部分1008加载到随机访问存储器(RAM)1003中的程序而执行各种适当的动作和处理。在RAM 1003中，还存储有系统操作所需的各种程序和数据。中央处理单元1001、ROM 1002以及RAM 1003通过总线1004彼此相连。输入/输出(I/O)接口1005也连接至总线1004。
以下部件连接至I/O接口1005：包括键盘、鼠标等的输入部分1006；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分1007；包括硬盘等的存储部分1008；以及包括诸如局域网(LAN)卡、调制解调器等的网络接口卡的通信部分1009。通信部分1009经由诸如因特网的网络执行通信处理。驱动器1010也根据需要连接至I/O接口1005。可拆卸介质1011，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1010上，以便于从其上读出的计算机程序根据需要被安装入存储部分1008。
特别地，根据本申请的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分1009从网络上被下载和安装，和/或从可拆卸介质1011被安装。在该计算机程序被中央处理单元1001执行时，执行本申请的装置中限定的各种功能。在一些实施例中，电子设备1000还可以包括人工智能处理器，该人工智能处理器用于处理有关机器学习的计算操作。
在本申请的示例性实施例中，还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一项所述的方法。
需要说明的是，本申请所示的计算机可读存储介质例如可以是—但不限于—电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。计算机可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、射频等等，或者上述的任意合适的组合。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本申请的具体实施方式，使本领域技术人员能够理解或实现本申请。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所述的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (9)

1.一种颈缘线形变预测模型的训练方法，其特征在于，所述方法包括：
获取多个源颈缘线点云数据和所述源颈缘线点云数据对应的形变颈缘线点云真实数据；
针对单个所述源颈缘线点云数据，分别通过初始颈缘线形变预测模型中的图残差卷积层和自注意力层，对该源颈缘线点云数据中每个点对应的局部邻域信息和全局信息进行处理，得到形变颈缘线点云预测数据；
根据所述形变颈缘线点云真实数据和所述形变颈缘线点云预测数据，确定目标损失值；
基于所述目标损失值对所述图残差卷积层和自注意力层中的参数值进行更新，得到目标颈缘线形变预测模型；
如果所述图残差卷积层和所述自注意力层的数量均为多个；所述初始颈缘线形变预测模型还包括激活层/归一化层；所述激活层/所述归一化层位于每个所述图残差卷积层之后，以及每个所述自注意力层之后；
分别通过初始颈缘线形变预测模型中的图残差卷积层和自注意力层，对该源颈缘线点云数据中每个点对应的局部邻域信息和全局信息进行处理，得到形变颈缘线点云预测数据，包括：
将该源颈缘线点云数据中每个点对应的局部邻域信息作为第一个所述图残差卷积层的输入，以及将该源颈缘线点云数据中每个点对应的全局信息作为第一个所述自注意力层的输入；
通过每个所述图残差卷积层和每个所述自注意力层对输入该层的数据进行处理，得到对应的第一特征和第二特征；
通过所述激活层/所述归一化层对所述第一特征和所述第二特征的融合特征进行激活处理/归一化处理，得到第三特征；
将所述第三特征输入下一个所述图残差卷积层和下一个所述自注意力层；
将最后一个所述激活层/所述归一化层的输出进行全连接处理，得到形变颈缘线点云预测数据。
2.根据权利要求1所述的方法，其特征在于，所述形变颈缘线点云真实数据包括：每个点的真实形变位置坐标和真实形变法向量；所述形变颈缘线点云预测数据包括：每个点的预测形变位置坐标和第一预测形变法向量；
在得到所述形变颈缘线点云预测数据之后，所述方法还包括：
基于所述预测形变位置坐标，确定几何预测形变法向量；
基于所述第一预测形变法向量和所述几何预测形变法向量，确定目标预测形变法向量；
所述根据所述形变颈缘线点云真实数据和所述形变颈缘线点云预测数据，确定目标损失值，包括：
基于所述真实形变位置坐标和所述预测形变位置坐标，确定位置损失值，以及基于所述真实形变法向量和所述目标预测形变法向量，确定法向量损失值；
基于所述位置损失值和所述法向量损失值，确定目标损失值。
3.根据权利要求2所述的方法，其特征在于，所述基于所述第一预测形变法向量和所述几何预测形变法向量，确定目标预测形变法向量，包括：
将所述第一预测形变法向量和所述几何预测形变法向量进行融合，得到第二预测形变法向量；
通过所述初始颈缘线形变预测模型中的所述图残差卷积层和所述自注意力层对所述第二预测形变法向量进行处理，得到目标预测形变法向量。
4.根据权利要求2所述的方法，其特征在于，所述形变颈缘线点云真实数据包括：真实形变曲率；所述形变颈缘线点云预测数据包括：预测形变曲率；
所述根据所述形变颈缘线点云真实数据和所述形变颈缘线点云预测数据，确定目标损失值，还包括：
根据所述真实形变曲率和所述预测形变曲率，确定曲率损失值；
在确定所述目标损失值之后，基于所述曲率损失值，对所述目标损失值进行更新。
5.根据权利要求2所述的方法，其特征在于，所述基于所述预测形变位置坐标，确定几何预测形变法向量，包括：
根据单个所述预测形变位置坐标，确定该预测形变位置坐标的邻接预测形变位置坐标；
若该预测形变位置坐标和所述邻接预测形变位置坐标的数量共有m个，则确定位置坐标矩阵
Figure FDA0003605462810000031
根据以下公式：
Figure FDA0003605462810000032
确定几何预测形变法向量n，其中，1是一个值全为1的向量，|| ||2表示2范数。
6.根据权利要求1所述的方法，其特征在于，所述获取多个源颈缘线点云数据，包括：
获取多个源完整牙齿网格数据，对所述源完整牙齿网格数据进行切割，得到多个单牙源网格数据；
对多个所述单牙源网格数据分别进行归一化处理，得到多个归一化单牙源网格数据；
获取针对所述归一化单牙源网格数据的标定源颈缘线点云数据，对所述归一化单牙源网格数据和所述标定源颈缘线点云数据进行采样处理，得到多个源颈缘线点云数据；
所述获取多个源颈缘线点云数据对应的形变颈缘线点云真实数据，包括：
获取所述源完整牙齿网格数据对应的形变完整牙齿网格数据；
对所述形变完整牙齿网格数据进行切割，得到多个单牙形变网格数据；
对多个所述单牙形变网格数据分别进行归一化处理，得到多个归一化单牙形变网格数据；
获取针对所述归一化单牙形变网格数据的标定形变颈缘线点云数据，对所述归一化单牙形变网格数据和所述标定形变颈缘线点云数据进行采样处理，得到多个形变颈缘线点云真实数据。
7.一种颈缘线形变预测模型的训练装置，其特征在于，所述装置包括：
颈缘线点云数据获取模块，用于获取多个源颈缘线点云数据和所述源颈缘线点云数据对应的形变颈缘线点云真实数据；
形变颈缘线点云数据预测模块，用于针对单个所述源颈缘线点云数据，分别通过初始颈缘线形变预测模型中的图残差卷积层和自注意力层，对该源颈缘线点云数据中每个点对应的局部邻域信息和全局信息进行处理，得到形变颈缘线点云预测数据；
目标损失值确定模块，用于根据所述形变颈缘线点云真实数据和所述形变颈缘线点云预测数据，确定目标损失值；
颈缘线形变预测模型更新模块，用于基于所述目标损失值对所述图残差卷积层和自注意力层中的参数值进行更新，得到目标颈缘线形变预测模型；
如果所述图残差卷积层和所述自注意力层的数量均为多个；所述初始颈缘线形变预测模型还包括激活层/归一化层；所述激活层/所述归一化层位于每个所述图残差卷积层之后，以及每个所述自注意力层之后；
所述形变颈缘线点云数据预测模块，具体用于将该源颈缘线点云数据中每个点对应的局部邻域信息作为第一个所述图残差卷积层的输入，以及将该源颈缘线点云数据中每个点对应的全局信息作为第一个所述自注意力层的输入；通过每个所述图残差卷积层和每个所述自注意力层对输入该层的数据进行处理，得到对应的第一特征和第二特征；通过所述激活层/所述归一化层对所述第一特征和所述第二特征的融合特征进行激活处理/归一化处理，得到第三特征；将所述第三特征输入下一个所述图残差卷积层和下一个所述自注意力层；将最后一个所述激活层/所述归一化层的输出进行全连接处理，得到形变颈缘线点云预测数据。
8.一种电子设备，其特征在于，包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1-6任一项所述的方法。
9.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-6任一项所述的方法。
CN202110635265.9A 2021-06-08 2021-06-08 颈缘线形变预测模型的训练方法、装置、设备及介质 Active CN113393568B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110635265.9A CN113393568B (zh) 2021-06-08 2021-06-08 颈缘线形变预测模型的训练方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110635265.9A CN113393568B (zh) 2021-06-08 2021-06-08 颈缘线形变预测模型的训练方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN113393568A CN113393568A (zh) 2021-09-14
CN113393568B true CN113393568B (zh) 2022-07-29

Family

ID=77618662

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110635265.9A Active CN113393568B (zh) 2021-06-08 2021-06-08 颈缘线形变预测模型的训练方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN113393568B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112541918A (zh) * 2020-12-23 2021-03-23 山东师范大学 基于自注意力机制神经网络的三维医学图像分割方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10751149B1 (en) * 2020-02-18 2020-08-25 Oxilio Ltd Method of determining deformation of gingiva
CN111415419B (zh) * 2020-03-19 2021-10-29 西安知北信息技术有限公司 基于多源图像的牙体修复模型制作方法和系统
CN111862171B (zh) * 2020-08-04 2021-04-13 万申(北京)科技有限公司 基于多视图融合的cbct与激光扫描点云数据牙齿配准方法
CN112884885A (zh) * 2021-03-17 2021-06-01 先临三维科技股份有限公司 一种训练牙模形变模型的方法及装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112541918A (zh) * 2020-12-23 2021-03-23 山东师范大学 基于自注意力机制神经网络的三维医学图像分割方法

Also Published As

Publication number Publication date
CN113393568A (zh) 2021-09-14

Similar Documents

Publication Publication Date Title
US10204299B2 (en) Unsupervised matching in fine-grained datasets for single-view object reconstruction
Wen et al. Airborne LiDAR point cloud classification with global-local graph attention convolution neural network
Chan et al. Volumetric parametrization from a level set boundary representation with PHT-splines
JP2019008571A (ja) 物体認識装置、物体認識方法、プログラム、及び学習済みモデル
CN112336342A (zh) 手部关键点检测方法、装置及终端设备
Ozbay et al. A hybrid method for skeleton extraction on Kinect sensor data: Combination of L1-Median and Laplacian shrinking algorithms
Prasad et al. NURBS-diff: A differentiable programming module for NURBS
CA2643865A1 (en) Method and system for locating landmarks on 3d models
CN112750155B (zh) 基于卷积神经网络的全景深度估计方法
US20220229943A1 (en) Joint retrieval and mesh deformation
CN116503508B (zh) 一种个性化模型构建方法、系统、计算机及可读存储介质
CN113888697A (zh) 一种双手交互状态下的三维重建方法
CN113393568B (zh) 颈缘线形变预测模型的训练方法、装置、设备及介质
CN116342836B (zh) 一种基于深度隐式细节表征的人体建模方法
Maimaitimin et al. Stacked convolutional auto-encoders for surface recognition based on 3d point cloud data
Lian et al. SORCNet: robust non-rigid shape correspondence with enhanced descriptors by Shared Optimized Res-CapsuleNet
CN109934926B (zh) 模型数据处理方法、装置、可读存储介质和设备
CN116703992A (zh) 一种三维点云数据精确配准方法、装置、设备及存储介质
Yang et al. Direct boolean intersection between acquired and designed geometry
CN112837420A (zh) 基于多尺度和折叠结构的兵马俑点云的形状补全方法及系统
Clémot et al. Neural skeleton: Implicit neural representation away from the surface
Wang et al. Improved artificial bee colony algorithm and its application in classification
CN113593025B (zh) 地质体模型更新方法、装置、设备及存储介质
CN116363329B (zh) 基于CGAN与LeNet-5的三维图像生成方法及系统
US20230252763A1 (en) Model generation method, model generation device, and inference device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant