CN117670959A - 骨骼配准装置及电子设备 - Google Patents

Abstract

本发明实施例提出一种骨骼配准装置及电子设备，属于数据处理领域，装置用于：将依据三维影像数据构建的骨骼表面模型与实景视频图像中的实体骨骼进行粗配准，得到叠加对齐图像；根据用户在实体骨骼上选择的配准点，将骨骼表面模型与实体骨骼进行点云配准，并对点云配准结果进行评分；在评分值未达到预设的通过阈值时，计算出配准扣分区域，剔除位于配准扣分区域的配准点，返回点云配准的步骤，直至评分值达到预设的通过阈值。如此，在点云配准结果不理想的情况下，重新选取配准扣分区域的配准点持续进行点云配准，有针对性地对点云配准结果进行修正，直至配准结果达到通过阈值，极大地提高了骨骼配准的准确度。

Description

骨骼配准装置及电子设备

技术领域

本发明涉及数据处理领域，具体而言，涉及一种骨骼配准装置及电子设备。

背景技术

骨科手术机器人是一种提高手术精度的医疗设备系统，由机械臂、术前规划模块、术中导航模块和可视化模块等组成。在使用时，骨科手术机器人通过配准技术将电脑中的虚拟骨骼三维模型与真实骨骼对应。

目前，通常采用第一阶段粗配准或初始配准，第二阶段精细配准的方式进行骨骼配准：在第一阶段的配准中，使用者依据经验在实体上进行配准点采集，并将采集的配准点与实体的虚拟模型上的点按顺序和位置一一对应；在精细配准时，一般通过旋转实体相关部件等方式寻找关键中心点，以该关键中心点矫正配准点误差。然而，这种配准方式容易出现错误或误差，导致配准的准确率不高。

发明内容

有鉴于此，本发明的目的在于提供一种骨骼配准装置及电子设备，能够提高配准的准确度，同时无需反复进行初始配准，极大地缩短了配准耗时，并提升配准效率。

为了实现上述目的，本发明实施例采用的技术方案如下：

第一方面，本发明实施例提供一种骨骼配准装置，包括粗配准模块、精配准模块、评价模块和修正模块；

所述粗配准模块，用于依据实体骨骼的三维影像数据构建骨骼表面模型，并实时获取所述实体骨骼所在区域的实景视频图像，将所述骨骼表面模型与所述实景视频图像中的实体骨骼进行粗配准，得到叠加对齐图像；

所述精配准模块，用于根据用户在所述实体骨骼上选择的配准点，将所述骨骼表面模型与所述实体骨骼进行点云配准，并结合所述配准点和所述骨骼表面模型，对点云配准结果进行评分；

所述评价模块，用于判断评分值是否达到预设的通过阈值，若是，则完成配准，依据配准结果得到最终配准矩阵；

所述修正模块，用于若否，则计算出配准扣分区域，剔除位于所述配准扣分区域的配准点，并在所述叠加对齐图像上对所述配准扣分区域进行提示显示，以指示用户在所述实体骨骼的所述配准扣分区域上重新选取配准点，并返回所述精配准模块执行所述根据用户在所述实体骨骼上选择的配准点，将所述骨骼表面模型与所述实体骨骼进行点云配准的步骤，直至评分值达到预设的通过阈值。

在一种可能的实施方式中，所述配准点的数量取值为：。

在一种可能的实施方式中，所述配准点的数量取值为：。

在一种可能的实施方式中，所述点云配准结果包括骨骼配准矩阵；

所述精配准模块，用于结合所述配准点和所述骨骼表面模型，对点云配准结果进行评分的步骤，包括：

针对每个所述配准点，依据所述骨骼配准矩阵将所述配准点映射回所述叠加对齐图像的图像坐标系，得到所述配准点的映射坐标值；

根据所述映射坐标值，计算每个所述配准点与所述骨骼表面模型表面间的距离；

基于所有所述配准点对应的距离，对点云配准结果进行评分，得到评分值。

在一种可能的实施方式中，所述实体骨骼上安装有第一追踪设备；

所述精配准模块，用于依据所述骨骼配准矩阵将所述配准点映射回所述叠加对齐图像的图像坐标系，得到所述配准点的映射坐标值的步骤，包括：

获取所述第一追踪设备的第一位姿矩阵和所述配准点的第二位姿矩阵，结合所述骨骼配准矩阵、所述第一位姿矩阵和所述第二位姿矩阵，利用配准点映射公式，计算出所述配准点的映射坐标值；

所述配准点映射公式包括：

其中，表征映射坐标值，/>表征第n次点云配准的骨骼配准矩阵的逆矩阵，/>表征第一位姿矩阵的逆矩阵，/>表征第二位姿矩阵。

在一种可能的实施方式中，所述精配准模块，用于基于所有所述配准点对应的距离，对点云配准结果进行评分，得到评分值的步骤，包括：

将每个所述配准点对应的所述距离与预设的距离阈值进行比较，统计所述距离大于所述距离阈值的配准点的总数，并根据所述总数进行扣分计算，得到评分值。

在一种可能的实施方式中，所述粗配准模块，用于将所述骨骼表面模型与所述实景视频图像中的实体骨骼进行粗配准，得到叠加对齐图像的步骤，包括：

采用增强现实技术，将所述骨骼表面模型叠加至所述实景视频图像中，并使所述骨骼表面模型与所述实景视频图像中的实体骨骼对齐重合，得到叠加对齐图像。

在一种可能的实施方式中，在所述依据实体骨骼的三维影像数据构建骨骼表面模型的步骤之后，在所述将所述骨骼表面模型与所述实景视频图像中的实体骨骼进行粗配准，得到叠加对齐图像的步骤之前，所述粗配准模块，还用于：

在所述骨骼表面模型上标注多个特征点；

在所述将所述骨骼表面模型与所述实景视频图像中的实体骨骼进行粗配准，得到叠加对齐图像的步骤之后，在所述根据用户在所述实体骨骼上选择的配准点，将所述骨骼表面模型与所述实体骨骼进行点云配准的步骤之前，所述粗配准模块，还用于：

将对齐重合后的所述骨骼表面模型的特征点作为推荐位置，在所述叠加对齐图像中显示，以指示用户在所述实体骨骼上依据所述推荐位置选取配准点。

在一种可能的实施方式中，所述实体骨骼上安装有第一追踪设备；

所述配准模块，用于根据用户在所述实体骨骼上选择的配准点，将所述骨骼表面模型与所述实体骨骼进行点云配准的步骤，包括：

在得到所述叠加对齐图像后，获取所述第一追踪设备与所述骨骼表面模型间的相对位姿矩阵；

获取用户在所述实体骨骼上选择的配准点，采用ICP算法，根据所述配准点对所述骨骼表面模型与所述实体骨骼进行配准，得到精配准矩阵；

根据所述相对位姿矩阵和所述精配准矩阵，计算出骨骼配准矩阵。

在一种可能的实施方式中，所述评价模块，用于依据配准结果得到最终配准矩阵的步骤，包括：

计算所有所述骨骼配准矩阵间的乘积，得到最终配准矩阵。

在一种可能的实施方式中，所述粗配准模块，用于使所述骨骼表面模型与所述实景视频图像中的实体骨骼对齐重合的步骤，包括：

将所述骨骼表面模型的模型位姿矩阵与预设探针的探针位姿矩阵绑定；其中，所述探针上安装有第二追踪装置；

依据所述特征点，在所述骨骼表面模型上绘制参考位，以指示用户依据所述参考位，通过移动所述探针使所述骨骼表面模型与所述实景视频图像中的实体骨骼对齐重合；其中，所述参考位包括特征点和特征轴线的延长线。

第二方面，本发明实施例提供一种电子设备，包括如第一方面中任一种可能的实施方式所述的骨骼配准装置。

第三方面，本发明实施例提供一种骨骼配准方法，所述方法包括：

依据实体骨骼的三维影像数据构建骨骼表面模型，并实时获取所述实体骨骼所在区域的实景视频图像，将所述骨骼表面模型与所述实景视频图像中的实体骨骼进行粗配准，得到叠加对齐图像；

根据用户在所述实体骨骼上选择的配准点，将所述骨骼表面模型与所述实体骨骼进行点云配准，并结合所述配准点和所述骨骼表面模型，对点云配准结果进行评分；

判断评分值是否达到预设的通过阈值，若是，则完成配准，依据配准结果得到最终配准矩阵；

若否，则计算出配准扣分区域，剔除位于所述配准扣分区域的配准点，并在所述叠加对齐图像上对所述配准扣分区域进行提示显示，以指示用户在所述实体骨骼的所述配准扣分区域上重新选取配准点，并返回执行所述根据用户在所述实体骨骼上选择的配准点，将所述骨骼表面模型与所述实体骨骼进行点云配准的步骤，直至评分值达到预设的通过阈值。

本发明实施例提供的骨骼配准装置及电子设备，装置用于：实时获取实体骨骼所在区域的实景视频图像，将依据实体骨骼的三维影像数据构建的骨骼表面模型与实景视频图像中的实体骨骼进行粗配准，得到叠加对齐图像；根据用户在实体骨骼上选择的配准点，将骨骼表面模型与实体骨骼进行点云配准，并对点云配准结果进行评分；在评分值未达到预设的通过阈值时，计算出配准扣分区域，剔除位于配准扣分区域的配准点，并在叠加对齐图像上对配准扣分区域进行提示显示，以指示用户在实体骨骼的配准扣分区域上重新选取配准点，并返回执行根据用户在实体骨骼上选择的配准点，将骨骼表面模型与实体骨骼进行点云配准的步骤，直至评分值达到预设的通过阈值；若评分值达到预设的通过阈值，则完成配准，依据配准结果得到最终配准矩阵。如此，在点云配准结果不理想的情况下，重新选取配准扣分区域的配准点持续进行点云配准，有针对性地对点云配准结果进行修正，直至配准结果达到通过阈值，极大地提高了骨骼配准的准确度。

另外，仅需进行一次粗配准，在评分值未达到通过阈值时，无需重新进行粗配准，减少了粗配准次数，简化了配准流程和配准复杂度，从而能够缩短配准耗时，提升配准效率。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本发明实施例提供的骨骼配准系统的结构示意图。

图2示出了本发明实施例提供的骨骼配准装置的结构示意图。

图3示出了本发明实施例提供的骨骼配准装置的方法流程示意图之一。

图4示出了图3中步骤S11的部分子步骤的流程示意图。

图5示出了本发明实施例提供的骨骼配准装置的方法流程示意图之二。

图6示出了图3和图5中步骤S13的部分子步骤的流程示意图之一。

图7示出了图3和图5中步骤S13的部分子步骤的流程示意图之二。

图8示出了本发明实施例提供的电子设备的结构示意图。

附图标记说明：1000-骨骼配准系统；10-骨科手术机器人；101-控制处理器；20-图像采集设备；30-影像学拍摄设备；40-第一追踪设备；50-第二追踪设备；60-探针；70-骨骼配准装置；701-粗配准模块；702-精配准模块；703-评价模块；704-修正模块；80-电子设备。

具体实施方式

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本发明实施例提供的骨骼配准装置70，可以应用于如图1所示的骨骼配准系统1000中，骨骼配准系统1000可以包括骨科手术机器人10、图像采集设备20、影像学拍摄设备30、第一追踪设备40和第二追踪设备50，骨科手术机器人10可以包括控制处理器101和显示设备。

骨科手术机器人10可以通过有线或无线的方式分别与图像采集设备20、影像学拍摄设备30、第一追踪设备40和第二追踪设备50通信连接，第一追踪设备40安装于实体骨骼上，第二追踪设备50安装于探针60上，图像采集设备20朝向待配准的实体骨骼。骨科手术机器人10上还可以部署有光学定位系统。

图像采集设备20，用于实时采集实体骨骼所在区域的实景视频图像，并传输至骨科手术机器人10。其中，实体骨骼可以是骨盆，股骨，胫骨，脊柱和肩胛骨等人体骨骼，或动物骨骼中的任一个。

影像学拍摄设备30，用于对实体骨骼进行拍摄，得到实体骨骼的三维影像数据，并将三维影像数据传输至骨科手术机器人10。

第一追踪设备40，用于追踪并获取实体骨骼的第一位置信息，其中，第一位置信息包括第一位姿矩阵。

第二追踪设备50，用于追踪并获取探针60的第二位置信息，其中，第二位置信息可以包括探针60位姿矩阵。

控制处理器101，用于基于实景视频图像、三维影像数据、第一位置信息和第二位置信息，实现本发明实施例提供的骨骼配准装置70及其方法。

图像采集设备20可以是但不限于是：摄像机、手机、平板、移动终端和摄像头等。影像学拍摄设备30可以是但不限于是：CT设备和MRI设备。第一追踪设备40和第二追踪设备50可以是但不限于是：RF追踪器和光学跟踪器等，例如，可以是光学定位系统的参考阵列。光学定位系统可以是但不限于是：红外双目定位系统、雷达定位系统和多连杆臂定位系统。

在一种可能的实施方式中，还提供了一种骨骼配准装置70，参照图2，可以包括粗配准模块701、精配准模块702、评价模块703和修正模块704。

粗配准模块701，用于依据实体骨骼的三维影像数据构建骨骼表面模型，并实时获取实体骨骼所在区域的实景视频图像，将骨骼表面模型与实景视频图像中的实体骨骼进行粗配准，得到叠加对齐图像。

精配准模块702，用于根据用户在实体骨骼上选择的配准点，将骨骼表面模型与实体骨骼进行点云配准，并结合配准点和所述骨骼表面模型，对点云配准结果进行评分。

评价模块703，用于判断评分值是否达到预设的通过阈值，若是，则完成配准，依据配准结果得到最终配准矩阵。

修正模块704，用于若评分值未达到预设的通过阈值，则计算出配准扣分区域，剔除位于配准扣分区域的配准点，并在叠加对齐图像上对配准扣分区域进行提示显示，以指示用户在实体骨骼的配准扣分区域上重新选取配准点，并返回精配准模块702执行根据用户在实体骨骼上选择的配准点，将骨骼表面模型与实体骨骼进行点云配准的步骤，直至评分值达到预设的通过阈值。

上述骨骼配准装置70中，通过粗配准模块701、精配准模块702、评价模块703和修正模块704的协同作用，在点云配准结果不理想的情况下，重新选取配准扣分区域的配准点持续进行点云配准，有针对性地对点云配准结果进行修正，直至配准结果达到通过阈值，极大地提高了骨骼配准的准确度。以及，仅需进行一次粗配准，在评分值未达到通过阈值时，无需重新进行粗配准，减少了粗配准次数，简化了配准流程和配准复杂度，从而能够缩短配准耗时，提升配准效率。

本发明实施例提供的骨骼配准装置70可以为图1中的控制处理器101，也可以是控制处理器101的一个功能模块，骨骼配准装置70或骨骼配准装置70所在的控制处理器101，执行下属实施例中的各个步骤，实现对应技术效果。

在一种可能的实施方式中，参照图3，骨骼配准装置可以执行以下步骤。

S11，依据实体骨骼的三维影像数据构建骨骼表面模型，并实时获取实体骨骼所在区域的实景视频图像，将骨骼表面模型与实景视频图像中的实体骨骼进行粗配准，得到叠加对齐图像。

S13，根据用户在实体骨骼上选择的配准点，将骨骼表面模型与实体骨骼进行点云配准，并结合配准点和骨骼表面模型，对点云配准结果进行评分。

S15，判断评分值是否达到预设的通过阈值。若否，则执行步骤S17，若是，则执行步骤S19。

S17，计算出配准扣分区域，剔除位于配准扣分区域的配准点，并在叠加对齐图像上对配准扣分区域进行提示显示，以指示用户在实体骨骼的配准扣分区域上重新选取配准点。在步骤S17之后，返回执行步骤S13。

S19，完成配准，依据配准结果得到最终配准矩阵。

可以理解为，用户可以使用影像学拍摄设备30对对象主体的实体部位（即包含实体骨骼的实体部位）进行拍摄（可以是三维扫描），得到能分辨配准所需的骨性结构的三维影像数据，影像学拍摄设备30将三维影像数据传输至骨骼手术机器人的控制处理器101。同时，技术人员可以使用图像采集设备20对包含对象主体的实体骨骼的区域进行实时图像采集，得到实景视频图像（即视频流），图像采集设备20将实景视频图像发送至骨骼手术机器人的控制处理器101。

骨科手术机器人10的控制处理器101接收到三维影像数据后，基于三维影像数据，重建骨骼表面模型。进而，控制处理器101将骨骼表面模型和接收到的视镜视频图像中的实体骨骼进行粗配准，得到叠加对齐图像。此时，叠加对齐图像中的实体骨骼和骨骼表面模型对齐重合。

用户可以使用实体探针60在实体骨骼上选择配准点，第二追踪设备50识别并获取用户选择的配准点的位置信息，将配置点信息（包括配准点的位置信息和配置点）传输至骨科手术机器人10的控制处理器101。控制处理器101根据用户选择的配准点，将骨骼表面模型与实体骨骼进行点云配准，进而结合配准点和骨骼表面模型对点云配准结果进行评分，得到评分值。

当判定评分值达到预设的通过阈值时，控制处理器101完成配准，依据配准结果得到最终配准矩阵。反之，若判定评分值未达到预设的通过阈值，则计算出配准扣分区域，剔除位于配准扣分区域的配准点，并在叠加对齐图像上对配准扣分区域进行提示显示，以指示用户在实体骨骼的配准扣分区域上重新选取配准点。用户在配准扣分区域选择新配准点之后，控制处理器101根据新配准点和配准扣分区域以外的配准点，继续进行点云配准，重复精配准和评分的流程，直至评分值达到通过阈值。

需要说明的是，通过阈值可以与配准点的数量正相关，即配准点数量越多，通过阈值越高。

传统的骨骼配准方法包括：（一）初始配准（即粗配准）时，用户通过解剖学知识在实体骨骼上推测采集初始配准点，骨科手术机器人进行初始配准，将虚拟模型上的点与初始配准点的顺序和位置一一对应；（二）在精细配准时，一般通过旋转实体相关部件等方式寻找关键中心点，以该关键中心点矫正配准点误差，例如，在进行大腿骨配准时，可以通过旋转大腿找到股骨头中心或髋臼中心。但是，选取初始配准点时，容易产生错误配准或超出容许误差，故而需要反复进行初始配准，导致耗时长。此外，旋转骨头寻找关键中心点时，由于周围肌肉组织的牵拉作用，对中心点产生影响，导致实际的关键中心点（例如股骨头球心或髋臼中心）与实际的不符，使得配准准确率较低，配准耗时长。

而在本发明实施例提供的骨骼配准装置中，通过上述步骤S11至S19，在点云配准结果不理想的情况下，重新选取配准扣分区域的配准点持续进行点云配准，有针对性地对点云配准结果进行修正，直至配准结果达到通过阈值，极大地提高了骨骼配准的准确度。

此外，仅需进行一次粗配准，在评分值未达到通过阈值时，无需重新进行粗配准，减少了粗配准次数，简化了配准流程和配准复杂度，从而能够缩短配准耗时，提升配准效率。

可选的，为了进一步缩减配准耗时，提高配准效率，可以在步骤S11的粗配准中引入增强现实技术。具体的，可以采用增强现实技术，将骨骼表面模型叠加至实景视频图像中，并使骨骼表面模型与实景视频图像中的实体骨骼对齐重合，得到叠加对齐图像。

如此，通过移动骨骼表面模型使骨骼表面模型与实体骨骼对齐重合，即可完成粗配准，无需再采集配准点来与骨骼表面模型上的点一一对应来进行粗配准，极大地简化了粗配准的操作复杂度和计算量，从而能够进一步缩短配准耗时，提高配准效率。

移动骨骼表面模型，使骨骼表面模型与实景视频图像中的实体骨骼对齐重合，来完成的粗配准的方式可以灵活设置，例如，可以是通过鼠标或触摸屏幕移动的方式移动骨骼表面模型，也可以是通过输入位移方向和位移距离的方式来移动骨骼表面模型，在本实施方式中，不作具体限定。

为了提升粗配准的精度，并简化粗配准的操作，可以引入用于移动骨骼表面模型的探针60和参考位，探针60上可以安装有与骨科手术机器人10通信连接的第二追踪装置（可以是光学定位系统的参考阵列）。可选的，参照图4，粗配准模块701执行步骤S11进行粗配准的过程可以包括以下实施方式。

S111，在骨骼表面模型上标注多个特征点。

S112，将骨骼表面模型的模型位姿矩阵与预设探针的探针位姿矩阵绑定。

S113，依据特征点，在骨骼表面模型上绘制参考位，以指示用户依据参考位，通过移动探针使骨骼表面模型与实景视频图像中的实体骨骼对齐重合。

骨科手术机器人10上部署的光学定位系统捕获到探针60在空间坐标系上的探针60位姿矩阵后，控制处理器101将探针60位姿矩阵和骨骼表面模型的位姿矩阵/>绑定，得到绑定位姿矩阵/>。两者绑定之后，在光学定位系统的坐标系下，骨骼表面模型会跟随探针60的移动而移动。

在本实施方式中，特征点可以包括骨骼的关键部位区域和关键部位点，参考位可以包括特征点和关键部位区域的特征轴线的延长线，特征点的选取可以灵活设置，本实施方式中，不作具体限定。

可以理解为，在构建出骨骼表面模型后，用户可以根据任意规则，将骨骼表面模型划分为多个区域，并在每个区域内标注一定数量的关键部位点，同时可以标注出至少一条特征轴线（可以是骨骼表面模型的中心线，也可以是区域的中心线等）。

在完成位姿绑定和特征点标注后，控制处理器101可以采用增强现实技术，将标注有特征点的骨骼表面模型叠加至实景视频图像中，用户可以在显示屏、投影屏、增强显示头盔的屏幕等三维立体显示设备看到实景视频图像中的实体部位（包含实体骨骼）和叠加显示的骨骼表面模型。同时，控制处理器101依据特征点，在骨骼表面模型上绘制参考位。

在此基础上，用户将参考位作为辅助，通过直觉式地移动探针60位置来控制骨骼表面模型的位姿，以将骨骼表面模型移动至与实体部位对齐重合。确认对齐重合后，用户可以通过点击确认按钮或发出确认语音等方式，向控制处理器101发出确认对齐重合的信号，控制处理器101接收到该信号后，计算出当前的骨骼表面模型在光学定位系统的坐标系下的粗配准位姿矩阵：。其中，/>表征对齐重合时的绑定位姿矩阵。

通过上述S111至S113，粗配准模块701基于参考位进行辅助，结合增强显示技术和探针绑定移动的方式，能够快速将骨骼表面模型与视频图像中的实体骨骼进行粗配准，且能够保证粗配准的准确度，进一步缩短粗配准的耗时。

可选的，为了缩短精配准（即点云配准）的耗时，在一种可能的实施方式中引入配准点位置推荐的构思。可选的，参照图5，在步骤S11之后，在步骤S13之前，骨骼配准装置70的粗配准模块701还可以执行步骤S12。

S12，将对齐重合后的骨骼表面模型的特征点作为推荐位置，在叠加对齐图像中显示，以指示用户在实体骨骼上依据推荐位置选取配准点。

可以将特殊颜色（例如红色、蓝色）、特殊推荐点等方式将特征点作为推荐位置进行显示，此时，由于骨骼表面模型与实景视频图像中的实体骨骼已对齐重合，故而显示推荐位置之后，用户可以使用与骨骼表面模型解绑的探针60，从确定推荐位置对应的实体部位位置中选择配准点。

如此，选取配准点时无需依赖用户的经验，能够缩短配准点选取的耗时，提升配准点选取的准确度，减小误差，有助于提高精配准的准确度。

需要说明的是，特征点是将骨骼表面模型划分为多个区域后，在每个区域均有标注。对应的，骨骼表面模型的各个区域均有推荐位置。在选择配准点时，骨骼表面模型的各个区域对应的实体骨骼的每个区域至少选择一个配准点。

如此，使实体骨骼的各个区域均有配准点，从而能够提升配准范围的覆盖性，进而有助于提升配准准确度。

在本实施方式中，配准点的数量取值可以为：。

传统的精配准中，选取的配准点数量通常为。本实施方式中，将配准点数量控制在40以下，再结合点云配准后评分，依据评分值反复进行点云配准，直至评分值满足通过阈值的方式，既能保证配准准确度，也能减少配准计算量，在以尽可能缩短精配准的耗时，可以减少配准点的数量。

可选的，配准点的数量取值可以为：。如此，能够大幅减少配准计算量，缩短精配准的耗时，同时也能够保证配准准确度。

可选的，对于精配准模块702执行的步骤S13，参照图6，进行点云配准的过程可以包括以下实施方式。

S131，在得到叠加对齐图像后，获取第一追踪设备与骨骼表面模型间的相对位姿矩阵。

S132，获取用户在实体骨骼上选择的配准点，采用ICP算法，根据配准点对骨骼表面模型与实体骨骼进行配准，得到精配准矩阵。

S133，根据相对位姿矩阵和精配准矩阵，计算出骨骼配准矩阵。

在步骤S131中，第一追踪设备40可以用RF表示，第一追踪设备40与骨骼表面模型间的相对位姿矩阵可以表示为：。其中，/>表征相对位姿矩阵，/>表征第一追踪设备40在光学定位系统的位姿矩阵的逆矩阵，/>表征骨骼表面模型在光学定位系统的坐标系下的粗配准位姿矩阵。

对于步骤S132，ICP算法仅仅是点云配准的一种举例，可以由NICP算法、IMLS-ICP算法等点云配准算法替代。另外，ICP算法为本领域较为成熟的算法，故在此不再赘述。

此外，精配准矩阵可以表示为，表示第n次点云配准后得到的精准配矩阵。

对于步骤S133，将相对位姿矩阵与精配准矩阵相乘，即可得到骨骼配准矩阵。骨骼配准矩阵可以表示为：，其中，/>表征第n次点云配准的骨骼配准矩阵。

通过上述步骤S131至S133，精配准模块702能够快递准确地进行点云配准，得到点云配准后的骨骼配准矩阵。

对于步骤S13中，对点云配准结果进行评分的过程可以灵活设置，例如，可以按预设规则进行评分，也可以使用机器学习模型对配准结果进行评分，本实施方式中，不作限定。

应当理解的是，每次点云配准结束后，会依据点云配准结果，对叠加对齐图像中的骨骼表面模型的位置进行更新显示，使用户可以直观的看到骨骼表面模型与实体骨骼间的贴合情况。

在一种可能的实施方式中，参照图7，精配准模块702对点云配准结果进行评分的规程可以实施为以下步骤。

S134，针对每个配准点，依据骨骼配准矩阵将配准点映射回叠加对齐图像的图像坐标系，得到配准点的映射坐标值。

S135，根据映射坐标值，计算每个配准点与骨骼表面模型表面间的距离。

S136，基于所有配准点对应的距离，对点云配准结果进行评分，得到评分值。

对于步骤S134，可以获取第一追踪设备40的第一位姿矩阵和配准点的第二位姿矩阵，结合骨骼配准矩阵、第一位姿矩阵和第二位姿矩阵，利用配准点映射公式，计算出配准点的映射坐标值。

配准点映射公式包括：

其中，表征映射坐标值，/>表征第n次点云配准的骨骼配准矩阵的逆矩阵，/>表征第一位姿矩阵的逆矩阵，/>表征第二位姿矩阵。

对于步骤S135，在骨骼表面模型的每个区域，可以在该区域的表面选择至少一个坐标点作为表面坐标。对于每个配准点，可以计算该配准点的映射坐标值与该配准点所属区域的表面坐标间的距离。其中，可以采用欧式距离、马氏距离等距离计算方式，本实施方式中，不作限定。

对于步骤S136，根据距离，对点云配准结果进行评分的方式可以灵活设置，例如，可以按距离的值对每个配准点进行赋分，将所有配准点的赋分分值作为总分，也可以计算与预设距离间的差值，依据差值进行赋分，在本实施方式中，不作限定。

在一种可能的实施方式中，可以将每个配准点对应的距离与预设的距离阈值进行比较，统计距离大于距离阈值的配准点的总数，并根据总数进行扣分计算，得到评分值。

通过上述步骤S134至S136，精配准模块702能够快速地获取评分值，且评分值与基于配准结果进行映射回图像坐标系的配准点与骨骼表面模型间的距离相关，使得评分值能够反应（即表征）骨骼表面模型与实体设备间的贴合程度，使得到的评分值更具参考性。

在评分值未达到通过阈值时，可以统计出导致扣分的所有配准点（可以成为扣分点），并将扣分点所在的区域配准扣分区域。确定配准扣分区域后，剔除配准扣分区域的配准点，在该配准扣分区域重新选取配准点。

继而，控制处理器101依据配准扣分区域的新配准点与未扣分的配准点，继续进行下一次的点云配准，如此连续进行精配准，直至评分值达到通过阈值。

需要说明的是，配准扣分区域重新选择的配准点的数量大于上一次选取的配准点的数量，即配准扣分区域的配准点数量逐次增加。例如，若上一轮在配准扣分区域选取2个配准点，则当前轮可以在该配准扣分区域选择3个配准点，且该3个配准点的位置与剔除的配准点的位置可以不同。

如此，使配准扣分区域的配准点密度增加，以提升该配准扣分区域的配准精度，进而有助于提高该区域的配准准确度。

在评价模块703执行的步骤S19中，在点云配准仅有一次时，将该次的骨骼配准矩阵作为最终配准矩阵。在进行了两次及以上的点云配准时，计算所有骨骼配准矩阵间的乘积，得到最终配准矩阵。

最终配准矩阵可以表示为：。

最终配准矩阵即实体骨骼上安装的第一追踪设置到骨骼表面模型的相对转换关系，只要光学定位系统能追踪到骨骼上安装的第一追踪装置，则使用最终配准矩阵进行位姿转换，即可追踪到实体骨骼的实时空间位姿，。/>

可选的，粗配准模块701、精配准模块702、评价模块703和修正模块704可以分开设置，也可以集成在一个单元中，即处理单元，本发明对于粗配准模块701、精配准模块702、评价模块703和修正模块704的具体实现方式，不做具体限定。

可选的，骨骼配准装置70还可以包括存储单元，该存储单元存储有程序或指令。当粗配准模块701、精配准模块702、评价模块703和修正模块704执行该程序或指令时，使得骨骼配准装置70可以执行本发明骨骼配准装置70中任一种可能的实现方式。

骨骼配准装置70可以是骨科手术机器人10的中控系统、骨科手术机器人10、骨骼配准设备的中控系统、骨骼配准设备和服务器，还可以是与骨科手术机器人10通信连接的计算机设备，例如手机、平板电脑、笔记本电脑以及服务器等等，本发明对此不做限定。

基于与上述骨骼配准装置70相同的发明构思，在本实施例中还提供一种骨骼配准方法，参照图3，可以包括以下步骤。骨骼配准方法的执行主体可以为图1中的控制处理器101。

S11，依据实体骨骼的三维影像数据构建骨骼表面模型，并实时获取实体骨骼所在区域的实景视频图像，将骨骼表面模型与实景视频图像中的实体骨骼进行粗配准，得到叠加对齐图像。

S13，根据用户在实体骨骼上选择的配准点，将骨骼表面模型与实体骨骼进行点云配准，并结合配准点和骨骼表面模型，对点云配准结果进行评分。

S15，判断评分值是否达到预设的通过阈值。若否，则执行步骤S17，若是，则执行步骤S19。

S17，计算出配准扣分区域，剔除位于配准扣分区域的配准点，并在叠加对齐图像上对配准扣分区域进行提示显示，以指示用户在实体骨骼的配准扣分区域上重新选取配准点。在步骤S17之后，返回执行步骤S13。

S19，完成配准，依据配准结果得到最终配准矩阵。

本发明实施例提供的骨骼配准方法，在点云配准结果不理想的情况下，重新选取配准扣分区域的配准点持续进行点云配准，有针对性地对点云配准结果进行修正，直至配准结果达到通过阈值，极大地提高了骨骼配准的准确度。此外，仅需进行一次粗配准，在评分值未达到通过阈值时，无需重新进行粗配准，减少了粗配准次数，简化了配准流程和配准复杂度，从而能够缩短配准耗时，提升配准效率。

需要说明的是，本发明实施例提供的骨骼配准方法，其基本原理、产生的技术效果以及进一步实施方式和上述骨骼配准装置70实施例相同，为简要描述，本实施例部分未提及之处，在此不再赘述，可参考上述骨骼配准装置70实施例中的相应内容。

下面提供一种电子设备80，可以是骨科手术机器人10的中控系统、骨科手术机器人10、骨骼配准设备的中控系统、骨骼配准设备和服务器，还可以是与骨科手术机器人10通信连接的计算机设备，例如手机、平板电脑、笔记本电脑以及服务器等等。该电子设备80如图8所示，可以实现上述骨骼配准装置70的方法，即骨骼配准方法；具体的，该电子设备80包括通过系统总线连接的处理器、存储器和通信模块。处理器可以是CPU。存储器用于存储一个或多个程序，当一个或多个程序被处理器执行时，执行上述实施方式提供的骨骼配准装置70的方法，即骨骼配准方法。所述存储器、处理器以及通信模块各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。

其中，存储器用于存储程序或者数据。所述存储器可以是，但不限于，随机存取存储器（Random Access Memory，RAM），只读存储器（Read Only Memory，ROM），可编程只读存储器（Programmable Read-Only Memory，PROM），可擦除只读存储器（ErasableProgrammable Read-Only Memory，EPROM），电可擦除只读存储器（Electric ErasableProgrammable Read-Only Memory，EEPROM）等。

处理器用于读/写存储器中存储的数据或程序，例如上述的LVDS、TDC及处理单元的功能实现的程序和数据，并执行本发明任意实施例提供的骨骼配准装置70的方法。

通信模块用于通过网络建立电子设备80与其他通信终端之间的通信连接，并用于通过网络收发数据。

应当理解的是，图8所示的结构仅为电子设备80的结构示意图，所述电子设备80还可包括比图8中所示更多或者更少的组件，或者具有与图8所示不同的配置。

本发明实施例还提供一种电子设备80，包括骨骼配准装置70，骨骼配准装置包括处理器和存储器，该存储器用于存储一个或多个程序；当该一个或多个程序被该处理器执行时，实现本发明装置实施例中的任一种可能的实现方式所述的骨骼配准装置的步骤。

本发明实施例还提供一种电子设备80，包括处理器和存储器，该存储器用于存储一个或多个程序；当该一个或多个程序被该处理器执行时，实现本发明方法实施例中的任一种可能的实现方式所述的骨骼配准方法。

本发明实施例提供一种计算机可读存储介质，该计算机可读存储介质包括：计算机程序(也可以称为代码，或指令)，当该计算机程序被运行时，使得计算机执行本发明方法实施例中的任一种可能的实现方式所述的骨骼配准方法。该存储介质可以包括内存、闪存、寄存器或者其结合等。

综上所述，本发明实施例提供的骨骼配准装置及电子设备，具有以下有益效果：

（1）所需配准点少。通过增强现实显示技术的叠加对齐的粗配准替代了传统上利用的粗配准点进行粗配准的步骤，减少了粗配准点，且比粗配准的位置更准确，减少了精配准所需的配准点数量，进而能够缩短配准耗时。

（2）配准结果更加精准。传统上的粗配准加精配准的方式，对用户经验依赖性比较高，如果用户采集的粗配准点与三维骨骼模型上的标记点存在偏差，会带来较高的配准误差。而本发明实施例提供的骨骼配准装置70中，用户可以通过增强显示技术直接观察到骨骼表面模型位置与目标位置的偏差，放置的骨骼表面模型的初始位置比粗配准更加精准。

（3）减少配准失败概率。传统的粗配准加精配准技术十分依赖粗配准的精度，且实际粗配准点的选取需要与三维模型上标记的粗配准点一一对应，若粗配准偏差较大，易造成配准失败。本发明中无需进行采点式的粗配准，精配准使采集的配准点只需覆盖一定特征区域，无需与骨骼表面模型上的标注一一对应，且在结果不理想时支持连续式精配准，在误差较大区域增加配准点进行修正，防止了配准失败的产生。

（4）减少重复配准以及配准耗时。利用增强显示技术，在每个阶段用户都可以直观的观察到骨骼表面模型与实体骨骼的贴合程度，提早判断配准是否正确，若不正确，则剔除不准确的配准点并在该区域采集新配准点，重新进行精配准即可，无需重新进行整个配准流程。

（5）解决受限于暴露区域小的问题。本系统通过增强显示技术，在真实的实体部位上叠加显示骨骼三维模型，让用户直观感知到骨骼的朝向方位，结合骨骼表面模型上叠加显示的参考位，将骨骼表面模型对准实体部位的朝向方位，在正确对位的基础上，在较小的暴露区域中进行表面精配准即可。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (12)

1.一种骨骼配准装置，其特征在于，包括粗配准模块、精配准模块、评价模块和修正模块；

所述粗配准模块，用于依据实体骨骼的三维影像数据构建骨骼表面模型，并实时获取所述实体骨骼所在区域的实景视频图像，将所述骨骼表面模型与所述实景视频图像中的实体骨骼进行粗配准，得到叠加对齐图像；

所述精配准模块，用于根据用户在所述实体骨骼上选择的配准点，将所述骨骼表面模型与所述实体骨骼进行点云配准，并结合所述配准点和所述骨骼表面模型，对点云配准结果进行评分；

所述评价模块，用于判断评分值是否达到预设的通过阈值，若是，则完成配准，依据配准结果得到最终配准矩阵；

所述修正模块，用于若否，则计算出配准扣分区域，剔除位于所述配准扣分区域的配准点，并在所述叠加对齐图像上对所述配准扣分区域进行提示显示，以指示用户在所述实体骨骼的所述配准扣分区域上重新选取配准点，并返回所述精配准模块执行所述根据用户在所述实体骨骼上选择的配准点，将所述骨骼表面模型与所述实体骨骼进行点云配准的步骤，直至评分值达到预设的通过阈值。

2.根据权利要求1所述的骨骼配准装置，其特征在于，所述配准点的数量取值为：。

3.根据权利要求2所述的骨骼配准装置，其特征在于，所述配准点的数量取值为：。

4.根据权利要求1所述的骨骼配准装置，其特征在于，所述点云配准结果包括骨骼配准矩阵；

所述精配准模块，用于结合所述配准点和所述骨骼表面模型，对点云配准结果进行评分的步骤，包括：

针对每个所述配准点，依据所述骨骼配准矩阵将所述配准点映射回所述叠加对齐图像的图像坐标系，得到所述配准点的映射坐标值；

根据所述映射坐标值，计算每个所述配准点与所述骨骼表面模型表面间的距离；

基于所有所述配准点对应的距离，对点云配准结果进行评分，得到评分值。

5.根据权利要求4所述的骨骼配准装置，其特征在于，所述实体骨骼上安装有第一追踪设备；

所述精配准模块，用于依据所述骨骼配准矩阵将所述配准点映射回所述叠加对齐图像的图像坐标系，得到所述配准点的映射坐标值的步骤，包括：

获取所述第一追踪设备的第一位姿矩阵和所述配准点的第二位姿矩阵，结合所述骨骼配准矩阵、所述第一位姿矩阵和所述第二位姿矩阵，利用配准点映射公式，计算出所述配准点的映射坐标值；

所述配准点映射公式包括：

其中，表征映射坐标值，/>表征第n次点云配准的骨骼配准矩阵的逆矩阵，表征第一位姿矩阵的逆矩阵，/>表征第二位姿矩阵。

6.根据权利要求4所述的骨骼配准装置，其特征在于，所述精配准模块，用于基于所有所述配准点对应的距离，对点云配准结果进行评分，得到评分值的步骤，包括：

将每个所述配准点对应的所述距离与预设的距离阈值进行比较，统计所述距离大于所述距离阈值的配准点的总数，并根据所述总数进行扣分计算，得到评分值。

7.根据权利要求1至6中任一项所述的骨骼配准装置，其特征在于，所述粗配准模块，用于将所述骨骼表面模型与所述实景视频图像中的实体骨骼进行粗配准，得到叠加对齐图像的步骤，包括：

采用增强现实技术，将所述骨骼表面模型叠加至所述实景视频图像中，并使所述骨骼表面模型与所述实景视频图像中的实体骨骼对齐重合，得到叠加对齐图像。

8.根据权利要求7所述的骨骼配准装置，其特征在于，在所述依据实体骨骼的三维影像数据构建骨骼表面模型的步骤之后，在所述将所述骨骼表面模型与所述实景视频图像中的实体骨骼进行粗配准，得到叠加对齐图像的步骤之前，所述粗配准模块，还用于：

在所述骨骼表面模型上标注多个特征点；

在所述将所述骨骼表面模型与所述实景视频图像中的实体骨骼进行粗配准，得到叠加对齐图像的步骤之后，在所述根据用户在所述实体骨骼上选择的配准点，将所述骨骼表面模型与所述实体骨骼进行点云配准的步骤之前，所述粗配准模块，还用于：

将对齐重合后的所述骨骼表面模型的特征点作为推荐位置，在所述叠加对齐图像中显示，以指示用户在所述实体骨骼上依据所述推荐位置选取配准点。

9.根据权利要求8所述的骨骼配准装置，其特征在于，所述实体骨骼上安装有第一追踪设备；

所述精配准模块，用于根据用户在所述实体骨骼上选择的配准点，将所述骨骼表面模型与所述实体骨骼进行点云配准的步骤，包括：

在得到所述叠加对齐图像后，获取所述第一追踪设备与所述骨骼表面模型间的相对位姿矩阵；

获取用户在所述实体骨骼上选择的配准点，采用ICP算法，根据所述配准点对所述骨骼表面模型与所述实体骨骼进行配准，得到精配准矩阵；

根据所述相对位姿矩阵和所述精配准矩阵，计算出骨骼配准矩阵。

10.根据权利要求9所述的骨骼配准装置，其特征在于，所述评价模块，用于依据配准结果得到最终配准矩阵的步骤，包括：

计算所有所述骨骼配准矩阵间的乘积，得到最终配准矩阵。

11.根据权利要求9所述的骨骼配准装置，其特征在于，所述粗配准模块，用于使所述骨骼表面模型与所述实景视频图像中的实体骨骼对齐重合的步骤，包括：

将所述骨骼表面模型的模型位姿矩阵与预设探针的探针位姿矩阵绑定；其中，所述探针上安装有第二追踪装置；

依据所述特征点，在所述骨骼表面模型上绘制参考位，以指示用户依据所述参考位，通过移动所述探针使所述骨骼表面模型与所述实景视频图像中的实体骨骼对齐重合；其中，所述参考位包括特征点和特征轴线的延长线。

12.一种电子设备，其特征在于，包括如权利要求1至11中任一项所述的骨骼配准装置。