CN115311407B - 一种特征点标记方法、装置、设备及存储介质 - Google Patents

Abstract

本申请公开了一种特征点标记方法、装置、设备及存储介质。该特征点标记方法通过对获取的第一图像进行三维表面重建，得到待检测对象；根据待检测对象获得第一点云数据，进而根据第一点云数据确定并标记待检测对象的特征点，如此，实现了对特征点的自动标记，无须再通过人工标记，如此，降低了人为因素的影响，提高了特征点标记结果的准确性。

Description

一种特征点标记方法、装置、设备及存储介质

技术领域

本申请属于图像处理技术领域，具体涉及一种特征点标记方法、装置、设备及存储介质。

背景技术

随着医疗水平的提高，关节置换技术也逐渐走向成熟，该技术在一定程度上可以恢复患者的关节功能，提高患者的生活质量。

成功的关节置换技术依赖于完备、详尽的术前或术中规划方案，其中，骨骼特征点的选择是制定术前或术中规划方案的关键步骤，但当前主要是通过人工标记，不仅费时费力，而且容易受主观因素影响。

发明内容

本申请实施例的目的是提供一种特征点标记方法、装置、设备及存储介质，以解决传统方式通过人工标记骨骼特征点，费时费力，且容易受主观因素影响的问题。

第一方面，本申请实施例提供了一种特征点标记方法，包括：

获取第一图像；

对第一图像进行三维表面重建，得到待检测对象；

根据待检测对象获得第一点云数据，第一点云数据用于表征待检测对象的全局特征；

根据第一点云数据，确定待检测对象的特征点；

在待检测对象上标记特征点。

第二方面，本申请实施例提供了一种特征点标记装置，包括：

获取模块，用于获取第一图像；

重建模块，用于对第一图像进行三维表面重建，得到待检测对象；

确定模块，用于根据待检测对象获得第一点云数据，第一点云数据用于表征待检测对象的全局特征；

确定模块，还用于根据第一点云数据，确定待检测对象的特征点；

标记模块，用于在待检测对象上标记特征点。

第三方面，本申请实施例提供了一种电子设备，包括：

处理器；

存储器，用于存储计算机程序指令；

当计算机程序指令被处理器执行时，实现如第一方面所述的方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序指令，当计算机程序指令被处理器执行时，实现如第一方面所述的方法。

第五方面，本申请实施例提供了一种计算机程序产品，计算机程序产品中的指令由电子设备的处理器执行时，使得电子设备执行如第一方面所述的方法。

在本申请实施例中，通过对获取的第一图像进行三维表面重建，得到待检测对象；根据待检测对象获得第一点云数据，进而根据第一点云数据确定并标记待检测对象的特征点，如此，实现了对特征点的自动标记，无须再通过人工标记，如此，降低了人为因素的影响，提高了特征点标记结果的准确性。

附图说明

图1为本申请实施例提供的一种特征点标记方法的流程图；

图2为本申请实施例提供的一种股骨的分割结果的示意图；

图3为本申请实施例提供的一种胫骨的分割结果的示意图；

图4为本申请实施例提供的一种特征点检测模型的结构图；

图5为本申请实施例提供的一种股骨部分特征点的预测结果的示意图；

图6为本申请实施例提供的一种胫骨部分特征点的预测结果的示意图；

图7为本申请实施例提供的一种基于训练好的特征点检测模型得到的股骨部分特征点和标准特征点的对比示意图；

图8为本申请实施例提供的一种基于训练好的特征点检测模型得到的胫骨部分特征点和标准特征点的对比示意图；

图9为本申请实施例提供的一种特征点标记装置的结构示意图；

图10为本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。

如上所述，骨骼特征点的选择是制定术前规划方案的关键步骤，直接影响关节置换的结果。目前，主要是通过人工标记，不仅费时费力，效率低，而且容易受标记视角、经验水平等因素的影响，导致标记结果的误差大，标记点位置的一致性差。

为此，本申请实施例提供了一种特征点标记方法，可以自动标记待检测对象的特征点，降低了人为因素，提高了特征点标记结果的准确性。

下面结合具体的实施例对本申请实施例提供的特征点标记方法进行说明，图1为本申请实施例提供的一种特征点标记方法的流程图。该方法可以在三维表面重建的基础上对特征点进行标记。该方法可以应用于电子设备，电子设备可以包括但不限于手机、平板电脑、笔记本电脑、掌上电脑等。

如图1所示，该特征点标记方法可以包括如下步骤：

S110、获取第一图像。

S120、对第一图像进行三维表面重建，得到待检测对象。

S130、根据待检测对象获得第一点云数据。

其中，第一点云数据用于表征待检测对象的全局特征。

S140、根据第一点云数据，确定待检测对象的特征点。

S150、在待检测对象上标记特征点。

在本申请实施例中，通过对获取的第一图像进行三维表面重建，得到待检测对象；根据待检测对象获得第一点云数据，进而根据第一点云数据确定并标记待检测对象的特征点，如此，实现了对特征点的自动标记，无须再通过人工标记，如此，降低了人为因素的影响，提高了特征点标记结果的准确性。

下面对上述步骤进行详细说明，具体如下所示：

在S110中，第一图像可以是用户某部位的电子计算机断层扫描(ComputedTomography，CT)图像，例如可以是用户膝关节的CT图像。

示例性地，可以从电子设备硬盘的指定位置获取第一图像，或者从临床获取第一图像。

在一些实施例中，为了提高特征点标记结果的准确性，在获取第一图像之后，可以对第一图像进行预处理操作，预处理操作可以包括但不限于裁剪和规范化处理。其中，裁剪是去除无效数据，以避免无效数据参与后续的特征点标记过程，增加计算量；规范化处理可以包括但不限于重采样和归一化处理。

在S120中，三维表面重建是一种基于二维图像构建其三维表面的技术，本申请实施例对第一图像进行三维表面重建，可以得到第一图像的三维表面数据，也即待检测对象。相较于传统的基于二维图像进行特征点标记，本申请实施例在三维表面重建的基础上进行特征点标记，可以随时调整待检测对象的角度，保证其在最佳视角下进行标记，如此可以提高标记结果的准确性。

本申请实施例对待检测对象的类型不进行限定，例如可以包括用户的股骨和/或胫骨等。

在一些实施例中，上述S120可以包括如下步骤：

对第一图像进行语义分割，得到第一数据；

对第一数据进行三维表面重建，得到待检测对象，待检测对象包含三维表面数据。

本申请实施例不限定语义分割的具体方式，例如可以采用经典的Unet模型，具体地，可以将S110获取的第一图像输入预先训练好的Unet模型，由预先训练好的Unet模型对第一图像进行分割，得到分割结果，为后续确定待检测对象提供依据。

以第一图像包括股骨和胫骨为例，通过语义分割，可以得到图2和图3所示的分割结果(也即第一数据)，其中，图2为股骨的分割结果，图3为胫骨的分割结果。

对图2所示的股骨进行三维表面重建，即可得到股骨的三维表面数据，对图3所示的胫骨进行三维表面重建，即可得到胫骨的三维表面数据，股骨和胫骨的三维表面数据统称为待检测对象。

示例性地，可以采用移动立方体(Marching Cubes)算法对第一数据进行三维表面重建。该算法是一种体素级重建方法，是将等值面的抽取分布于每一个体素(voxel)中进行，对于每个被处理的体素，以三角面片来逼近其内部的等值面。通过对每一个体素的处理，最终得到整个数据体的等值面，也即第一数据的三维表面数据(待检测对象)。当然也可以采用其他方法对第一数据进行三维表面重建，本申请实施例不进行具体限定。

在S130中，第一点云数据即为可以表征待检测对象全局特征的数据，即本申请实施例在进行特征点标记时，充分利用了待检测对象的全局特征，如此可以更加准确地确定特征点的位置。

示例性地，可以对待检测对象的三维表面数据进行采样，并将采样结果作为第一点云数据。

考虑到进行表面重建后得到的三维表面数据的数据量较大，在一些实施例中，可以通过如下方式对待检测对象的三维表面数据进行采样：

对待检测对象的三维表面数据进行离散采样。

通过离散采样，得到第一点云数据，在后续确定待检测对象的特征点时，可以降低数据的计算量，提高计算效率。

为了提高特征点的识别效果，在一些实施例中，可以对待检测对象的三维表面数据进行均匀采样，也即相邻采样点之间的间隔相同。

采样过程中，为了避免采样间隔过大导致特征点的标记结果不准确，需要合理设置均匀采样的点数。

例如对于图2和图3所示的股骨和胫骨，当均匀采样的采样点超过10000个点的时候，平均每个采样点的面积不超过5.5mm²，换算成对应的圆的直径是2.7mm，此间隔小于手术允许的误差范围5mm，也即采样点数为10000可以满足要求。为了兼顾后续的计算，提高特征点识别结果的准确性，本申请实施例以采样点数为20000为例，也即对图2和图3所示的股骨和胫骨分别均匀采样20000个点，作为第一点云数据。

在S140中，特征点即为后续用于手术规划的点，例如对于股骨，一般需要确定14个特征点，对于胫骨，一般需要确定6个特征点。股骨和胫骨的特征点可以用于骨骼坐标系的建立、假体坐标系的建立等，为关节置换提供依据。

利用第一点云数据，确定待检测对象的特征点，可以保证确定出的特征点全部位于骨骼的表面，如此提高了特征点识别结果的准确性。

示例性地，可以基于深度学习的方法对第一点云数据进行特征点识别。

基于此，在一些实施例中，上述S140可以包括如下步骤：

根据第一点云数据，结合预先训练的特征点检测模型，确定第二点云数据，第二点云数据与特征点相关联；

根据第二点云数据，确定待检测对象的特征点。

第二点云数据即为第一点云数据中与特征点相关联的点云数据，示例性地，可以将第一点云数据输入预先训练的特征点检测模型，得到与特征点相关联的第二点云数据，为后续特征点的识别提供基础。

本申请实施例对特征点检测模型的结构不进行限定，例如可以采用PointNet++模型确定第二点云数据。

如图4所示，该模型可以包括一个输入层、三个Abstraction Layer(抽象层)、三个Propagation Layer(传播层)、一个Fully Connection Layer(全连接层)和一个输出层。

其中，输入层用于输入第一点云数据，这里以20000个第一点云数据为例。Abstraction Layer1(抽象层1)用于从20000个点(I0_xyz，包含第一点云数据的坐标信息)中，采用最远距离采样法，重采样得到N1＝512个点l1_xyz，然后以N1个点中的每一个点为中心点，分别提取距离该点r＝0.1，0.2，0.4的球心内的k＝32，64，128个点，得到特征点集grouped_xyz0，grouped_xyz1,group_xyz2。然后对l0_points(第一点云数据，包含特征信息)进行类似的操作，得到提取后的特征点集grouped_points0，grouped_points1，grouped_points1。之后对特征点集grouped_points0，grouped_points1，grouped_points1分别进行一系列的卷积、批归一化、激活操作和最大池化操作，最后将这些不同尺度下的特征点集进行拼接，得到最终输出的特征点集l1_points:(B,320,512)和坐标点集l1_xyz:(B,3,512)。

Abstraction Layer2(抽象层2)的作用和Abstraction Layer1(抽象层1)的作用类似，Abstraction Layer2(抽象层2)是从坐标点集l1_xyz中，采用最远距离采样法，重采样得到N2＝128个点l2_xyz，然后以N2个点中的每一个点为中心点，提取距离该点r＝0.4，0.8半径内的k＝64，128个点，得到特征点集grouped_xyz0，grouped_xyz1。然后对特征点集l1_points进行类似的操作，得到提取后的特征点集grouped_points0，group_points1。然后对特征点集grouped_points0，group_points1进行一系列的卷积、批归一化、激活操作和最大池化操作，最后将这些不同尺度下的特征点集进行拼接，得到最终输出的特征点集l2_points:(B,512,128)和坐标点集l2_xyz:(B,3,128)。

AbstractionLayer3(抽象层3)用于提取中心点l3_xyz(由于原始点集l0_xyz经过归一化处理后，中心点为(0,0,0))，将输入的坐标点集l2_xyz和特征点集l2_points经过reshape操作后，拼接到一起，得到特征点集new_points3，然后对该特征点集new_points3进行一系列的卷积、批归一化、激活操作和最大池化操作，得到最终输出的特征点集l3_points:(B,1024,1)和坐标点集l3_xyz:(B,3,1)。

PropagationLayer3(传播层3)用于对输入的特征点集l3_points进行上采样操作，得到特征点集interpolated_points3，然后将特征点集interpolated_points3和l2_points进行拼接，得到特征点集new_points3。最后对该特征点集new_points3进行一系列的卷积、批归一化、激活操作和最大池化操作，得到特征点集l2_points:(B,256,128)。

PropagationLayer2(传播层2)的作用与PropagationLayer3(传播层3)类似，是对输入的特征点集l2_points:(B,256,128)进行上采样，最终得到特征集l1_points:(B,128,512)。

PropagationLayer1(传播层1)是对输入的特征点集l1_points:(B,128,512)进行上采样，最终得到特征集l0_points:(B,128,20000)。

Fully Connection Layer(全连接层)用于将前面得到的特征点集l0_points映射到样本标记空间。输出层用于输出预测结果，也即与特征点相关联第二点云数据。

示例性地，参考图5和图6，图5为本申请实施例提供的一种股骨部分特征点的预测结果的示意图，图6为本申请实施例提供的一种胫骨部分特征点的预测结果的示意图。分别将股骨和胫骨对应的第一点云数据输入预先训练的特征点检测模型，即可得到与特征点相关的第二点云数据，也即特征点的预测结果。

当然也可以采用其他方式对第一点云数据进行检测，得到第二点云数据，本申请实施例不进行限定。

下面以上述特征点检测模型包括PointNet++模型为例，对特征点检测模型的训练过程进行描述。具体地，在S110之前，该特征点标记方法还可以包括如下步骤：

获取样本检测对象以及与样本检测对象对应的标准特征点；

根据每个样本对象获得样本点云数据；

在样本点云数据中，将落入以标准特征点为中心，半径为r范围的样本点云数据标记为标准预测结果；

将样本点云数据输入初始特征点检测模型，得到训练的预测点云数据；

根据预测点云数据和标准预测结果的差值，对初始特征点检测模型进行训练，直至训练后的特征点检测模型的参数满足预设要求，得到预先训练的特征点检测模型。

标准特征点可以是预先确定的可以用于指导手术的特征点。

根据每个样本对象获得样本点云数据的过程可以参见S130，为简洁描述，此处不再赘述。

考虑到样本检测对象除了包括股骨或胫骨的三维表面数据，还会包括背景数据，为了有效区分特征点与背景，本申请实施例将落入以标准特征点为中心，半径为r范围的样本点云数据标记为标准特征点的标准预测结果，示例性地，可以为其添加对应的标签，例如可以用0表示，对于没有落入该范围的点，可以将其标记为背景点，并为其添加标签，例如可以用1表示。r的大小可以根据特征点允许的误差范围来设定。

这里的预测点云数据，也即基于初始特征点检测模型确定的特征点的实际预测结果。

具体地，可以根据预测点云数据和标准预测结果，确定损失函数的损失值，然后确定损失函数对初始特征点检测模型中各参数的梯度，并利用随机梯度下降法(也可以采用其他方法)对这些参数进行更新，当损失值趋于稳定时，停止对初始特征点检测模型的训练，并记录和保存训练结束时特征点检测模型的参数，以及将训练结束时对应的特征点检测模型作为训练好的模型。

这里的损失函数可以采用但不限于交叉熵损失函数，考虑到样本检测对象存在类间不均衡(背景点云占总点云的99％以上)的情况，在损失函数计算过程中，可以给不同的类别赋予不同的权重系数，例如可以给背景类别赋予的权重系数为0.001，其他类别赋予的权重系数为1.0，以此降低背景部分对训练结果的影响。

在一些实施例中，还可以利用测试检测对象测试上述模型的训练效果，测试检测对象的数量可以根据实际需要设定，本申请实施例对上述模型的测试过程不再进行详述。

后续在应用特征点检测模型进行特征点预测时，可以直接加载上述训练好的参数文件，得到特征点的预测结果。例如在本申请实施例中，可以直接将第一点云数据输入加载好的特征点检测模型，得到第二点云数据，也即预测结果。

根据第二点云数据(特征点的预测结果)，即可确定待检测对象的特征点。实际应用时，可能会将多个相邻的第二点云数据预测为同一个特征点，也即第二点云数据可能会包含多个子点云数据，基于此，在一些实施例中，在第二点云数据包含多个子点云数据的情况下，可以通过如下方式确定待检测对象的特征点：

针对每一个第二点云数据，对第三点云数据取平均值，得到均值点数据；

将第二点云数据中与均值点数据的距离满足预设条件的点云数据确定为待检测对象的特征点。

其中，第三点云数据即为第二点云数据包含的多个子点云数据，在第二点云数据包含多个子点云数据的情况下，可以对多个子点云数据(第三点云数据)取平均值，得到均值点数据，然后将第二点云数据中与均值点数据的距离满足预设条件的点云数据确定为待检测对象的特征点。预设条件可以根据需求设定，例如在这里可以设置为距离最近，也即可以将第二点云数据中与均值点数据的距离最近的点云数据确定为待检测对象的特征点。

待检测对象的特征点确定之后即可对其进行保存，方便后续使用。

示例性地，参考图7和图8，图7为基于训练好的特征点检测模型得到的股骨部分特征点和标准特征点的对比示意图，图8为基于训练好的特征点检测模型得到的胫骨部分特征点和标准特征点的对比示意图，其中，黑色圆圈为基于模型得到的结果，白色圆圈为标准结果。从图中可以看出，基于上述模型得到的结果较好的分布在标准结果的周围，两个圆圈重叠的面积越大，说明基于上述模型得到的结果越准确。

在S140中，特征点确定之后，即可在待检测对象上标记该特征点，为后续骨骼坐标系的建立、假体坐标系的建立等提供基础。在标记特征点时，可以半径为r的球进行标记。

本申请实施例通过对二维图像进行三维表面重建，得到三维表面数据，并基于三维表面数据进行特征点检测，无需再通过人工标记，如此节省了人力，提高了效率，而且确保了检测结果均位于骨骼表面，提高了检测结果的准确性。

基于相同的发明构思，本申请实施例还提供了一种特征点标记装置，下面结合图9对本申请实施例提供的特征点标记装置进行详细说明。

图9为本申请实施例提供的一种特征点标记装置的结构图。

如图9所示，该特征点标记装置可以包括：

获取模块91，用于获取第一图像；

重建模块92，用于对第一图像进行三维表面重建，得到待检测对象；

确定模块93，用于根据待检测对象获得第一点云数据，第一点云数据用于表征待检测对象的全局特征；

确定模块93，还用于根据第一点云数据，确定待检测对象的特征点；

标记模块94，用于在待检测对象上标记特征点。

在本申请实施例中，通过对获取的第一图像进行三维表面重建，得到待检测对象；根据待检测对象获得第一点云数据，进而根据第一点云数据确定并标记待检测对象的特征点，如此，实现了对特征点的自动标记，无须再通过人工标记，如此，降低了人为因素的影响，提高了特征点标记结果的准确性。

在一些实施例中，确定模块93，包括：

采样单元，用于对待检测对象的三维表面数据进行采样；

确定单元，用于将采样结果作为第一点云数据。

在一些实施例中，采样单元，具体用于：

对待检测对象的三维表面数据进行离散采样。

在一些实施例中，采样单元，具体用于：

对待检测对象的三维表面数据进行均匀采样。

在一些实施例中，确定模块93，具体用于：

根据第一点云数据，结合预先训练的特征点检测模型，确定第二点云数据，第二点云数据与特征点相关联；

根据第二点云数据，确定待检测对象的特征点。

在一些实施例中，第二点云数据包括与特征点相关联的第三点云数据，确定模块93，具体用于：

针对每一个第二点云数据，对第三点云数据取平均值，得到均值点数据；

将第二点云数据中与均值点数据的距离满足预设条件的点云数据确定为待检测对象的特征点。

在一些实施例中，该特征点标记装置还可以包括：

训练模块，用于在获取模块91获取第一图像之前，获取样本检测对象以及与样本检测对象对应的标准特征点；

根据每个样本对象获得样本点云数据；

在样本点云数据中，将落入以标准特征点为中心，半径为r范围的样本点云数据标记为标准预测结果；

将样本点云数据输入初始特征点检测模型，得到训练的预测点云数据；

根据预测点云数据和所述标准预测结果，对初始特征点检测模型进行训练，直至训练后的特征点检测模型的参数满足预设要求，得到预先训练的特征点检测模型。

在一些实施例中，重建模块92，具体用于：

对第一图像进行语义分割，得到第一数据；

对第一数据进行三维表面重建，得到待检测对象，待检测对象包含三维表面数据。

图9所示装置中的各个模块具有实现图1中各个步骤的功能并能达到相应的技术效果，为简洁描述，此处不再赘述。

基于相同的发明构思，本申请实施例还提供了一种电子设备，该电子设备例如可以是手机、平板电脑、笔记本电脑、掌上电脑等。下面结合图10对本申请实施例提供的电子设备进行详细说明。

如图10所示，该电子设备可以包括处理器101以及用于存储计算机程序指令的存储器102。

处理器101可以包括中央处理器(Central Processing Unit，CPU)，或者特定集成电路(Application Specific Integrated Circuit，ASIC)，或者可以被配置成实施本申请实施例的一个或多个集成电路。

存储器102可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器102可包括硬盘驱动器(Hard Disk Drive，HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(Universal Serial Bus，USB)驱动器或者两个或更多个以上这些的组合。在一个实例中，存储器102可以包括可移除或不可移除(或固定)的介质，或者存储器102是非易失性固态存储器。在一个实例中，存储器102可以是只读存储器(Read Only Memory，ROM)。在一个实例中，该ROM可以是掩模编程的ROM、可编程ROM(PROM)、可擦除PROM(EPROM)、电可擦除PROM(EEPROM)、电可改写ROM(EAROM)或闪存或者两个或更多个以上这些的组合。

处理器101通过读取并执行存储器102中存储的计算机程序指令，以实现图1所示实施例中的方法，并达到图1所示实施例执行其方法达到的相应技术效果，为简洁描述，在此不再赘述。

在一个示例中，该电子设备还可包括通信接口103和总线104。其中，如图10所示，处理器101、存储器102、通信接口103通过总线104连接并完成相互间的通信。

通信接口103，主要用于实现本申请实施例中各模块、装置和/或设备之间的通信。

总线104包括硬件、软件或两者，将电子设备的各部件彼此耦接在一起。举例来说而非限制，总线104可包括加速图形端(Accelerated Graphics Port，AGP)或其他图形总线、增强工业标准架构(Extended Industry Standard Architecture，EISA)总线、前端总线(Front Side Bus，FSB)、超传输(Hyper Transport，HT)互连、工业标准架构(IndustryStandard Architecture，ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、外围组件互连(PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线104可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线，但本申请考虑任何合适的总线或互连。

该电子设备在获取第一图像后可以执行本申请实施例中的特征点标记方法，从而实现结合图1描述的特征点标记方法以及图9描述的特征点标记装置。

另外，结合上述实施例中的特征点标记方法，本申请实施例可提供一种计算机存储介质来实现。该计算机存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种特征点标记方法。

需要明确的是，本申请并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体步骤作为示例。但是，本申请的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本申请的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。

以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(Application SpecificIntegrated Circuit，ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本申请的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RadioFrequency，RF)链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。

还需要说明的是，本申请中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或系统。但是，本申请不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。

上面参考根据本申请实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本申请实施例的各方面。应当理解，流程图和/或框图中的每个方框以及流程图和/或框图中各方框的组合可以由计算机程序指令实现。这些计算机程序指令可被提供给通用计算机、专用计算机、或其它可编程数据处理装置的处理器，以产生一种机器，使得经由计算机或其它可编程数据处理装置的处理器执行的这些指令使能对流程图和/或框图的一个或多个方框中指定的功能/动作的实现。这种处理器可以是但不限于是通用处理器、专用处理器、特殊应用处理器或者现场可编程逻辑电路。还可理解，框图和/或流程图中的每个方框以及框图和/或流程图中的方框的组合，也可以由执行指定的功能或动作的专用硬件来实现，或可由专用硬件和计算机指令的组合来实现。

以上所述，仅为本申请的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。

Claims (9)

1.一种特征点标记方法，其特征在于，包括：

获取第一图像；

对所述第一图像进行三维表面重建，得到待检测对象；

根据所述待检测对象获得第一点云数据，所述第一点云数据用于表征所述待检测对象的全局特征；

根据所述第一点云数据，确定所述待检测对象的特征点；

在所述待检测对象上标记所述特征点；

所述根据所述第一点云数据，确定所述待检测对象的特征点，包括：

根据所述第一点云数据，结合预先训练的特征点检测模型，确定第二点云数据，所述第二点云数据与所述特征点相关联；

根据所述第二点云数据，确定所述待检测对象的特征点；所述第二点云数据包括与所述特征点相关联的第三点云数据；

所述根据所述第二点云数据，确定所述待检测对象的特征点，包括：

针对每一个第二点云数据，对所述第三点云数据取平均值，得到均值点数据；

将所述第二点云数据中与所述均值点数据的距离满足预设条件的点云数据确定为所述待检测对象的特征点。

2.根据权利要求1所述的方法，其特征在于，所述根据所述待检测对象获得第一点云数据，包括：

对所述待检测对象的三维表面数据进行采样，并将采样结果作为所述第一点云数据。

3.根据权利要求2所述的方法，其特征在于，所述对所述待检测对象的三维表面数据进行采样，包括：

对所述待检测对象的三维表面数据进行离散采样。

4.根据权利要求2所述的方法，其特征在于，所述对所述待检测对象的三维表面数据进行采样，包括：

对所述待检测对象的三维表面数据进行均匀采样。

5.根据权利要求1所述的方法，其特征在于，所述获取第一图像之前，所述方法还包括：

获取样本检测对象以及与所述样本检测对象对应的标准特征点；

根据每个所述样本检测对象获得样本点云数据；

在所述样本点云数据中，将落入以所述标准特征点为中心，半径为r范围的样本点云数据标记为标准预测结果；

将所述样本点云数据输入初始特征点检测模型，得到训练的预测点云数据；

根据所述预测点云数据和所述标准预测结果，对所述初始特征点检测模型进行训练，直至训练后的特征点检测模型的参数满足预设要求，得到预先训练的特征点检测模型。

6.根据权利要求1所述的方法，其特征在于，所述对所述第一图像进行三维表面重建，得到待检测对象，包括：

对所述第一图像进行语义分割，得到第一数据；

对所述第一数据进行三维表面重建，得到待检测对象，所述待检测对象包含三维表面数据。

7.一种特征点标记装置，其特征在于，包括：

获取模块，用于获取第一图像；

重建模块，用于对所述第一图像进行三维表面重建，得到待检测对象；

确定模块，用于根据所述待检测对象获得第一点云数据，所述第一点云数据用于表征所述待检测对象的全局特征；

所述确定模块，还用于根据所述第一点云数据，确定所述待检测对象的特征点；

标记模块，用于在所述待检测对象上标记所述特征点；

所述确定模块，具体用于：

根据所述第一点云数据，结合预先训练的特征点检测模型，确定第二点云数据，所述第二点云数据与所述特征点相关联；

根据所述第二点云数据，确定所述待检测对象的特征点；所述第二点云数据包括与所述特征点相关联的第三点云数据；

所述确定模块，具体用于：

针对每一个第二点云数据，对所述第三点云数据取平均值，得到均值点数据；

将所述第二点云数据中与所述均值点数据的距离满足预设条件的点云数据确定为所述待检测对象的特征点。

8.一种电子设备，其特征在于，包括：

处理器；

存储器，用于存储计算机程序指令；

当所述计算机程序指令被所述处理器执行时，实现如权利要求1-6中任一项所述的方法。

9.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，当所述计算机程序指令被处理器执行时，实现如权利要求1-6中任一项所述的方法。