CN115429430A - 配准方法、信息显示方法、手术导航系统、装置及设备 - Google Patents

Abstract

本申请涉及一种配准方法、信息显示方法、手术导航系统、装置及设备。该方法包括：获取目标部位的三维模型，并基于三维模型的空间信息和目标部位的空间信息进行配准处理确定目标配准矩阵。采用上述方法在配准的过程能够减少人工参与处理量，从而能够提高配准的效率，并且人工参与配准的处理量减少了，还可以降低人工参与误差，进一步提高配准的精准度；另外，基于获取到的精准的目标配准矩阵，可以直接将目标部位的三维模型可以直接映射至真实目标部位，以为下一步精准手术操作做准备。再者，该方法在减少人工参与处理量的基础上，还可以节省人力资源，降低人力成本。

Description

配准方法、信息显示方法、手术导航系统、装置及设备

技术领域

本申请涉及医疗技术领域，特别是涉及一种配准方法、信息显示方法、手术导航系统、装置及设备。

背景技术

高血压性脑出血是我国神经科最常见的疾病之一，是脑血管病中病死率和致残率最高的一种疾患。脑出血属于急症，病人不适合多次转运，如不及时手术干预，患者预后较差，基于此，在基层医院完成精准、微创外科手术治疗对临床来说迫切期待。

其中，在患者从入院到手术过程中，需要对患者的目标部位进行多次电子计算机断层扫描或磁共振成像扫描，并且在手术过程中需要将影像空间坐标系下的特征点与患者真实空间坐标系下的对应特征点进行配准。然而，相关技术采用的配准方法效率较低。

发明内容

基于此，有必要针对上述技术问题，提供一种配准方法、信息显示方法、手术导航系统、装置及设备。

第一方面，本申请实施例提供了一种配准方法，应用于混合现实设备，该方法包括：

获取目标部位的三维模型，三维模型是基于目标部位的医学影像数据重建得到的；

基于三维模型的空间信息和目标部位的空间信息进行配准处理，确定目标配准矩阵，目标配准矩阵表示三维模型与目标部位之间的空间转换关系。

在其中一个实施例中，基于三维模型的空间信息和目标部位的空间信息进行配准处理，确定目标配准矩阵，包括：

获取三维模型的第一特征点在影像空间坐标系下的坐标数据，以及获取目标部位的第二特征点在真实空间坐标系下的坐标数据；其中，影像空间坐标系是基于三维模型建立的，真实空间坐标系是基于目标部位的参考标记物建立的；

基于第一特征点的坐标数据和第二特征点的坐标数据进行配准处理，确定目标配准矩阵。

在其中一个实施例中，基于第一特征点的坐标数据和第二特征点的坐标数据进行配准处理，确定目标配准矩阵，包括：

对第一特征点的坐标数据和第二特征点的坐标数据进行配准处理，得到配准信息；

根据配准信息确定目标配准矩阵。

在其中一个实施例中，配准信息包括配准结果和初步配准矩阵；根据配准信息确定目标配准矩阵，包括：

若配准结果为配准失败，则输出配准失败提醒信息；

基于初步配准矩阵对三维模型进行位姿变换，得到变换后的三维模型，并获取变换后的三维模型的第三特征点在影像空间坐标系下的坐标数据，以及基于配准失败提醒信息，获取目标部位的第四特征点在真实空间坐标系下的坐标数据；

基于第三特征点的坐标数据和第四特征点的坐标数据进行配准处理，确定目标配准矩阵。

在其中一个实施例中，获取目标部位的第二特征点在真实空间坐标系下的坐标数据，包括：

获取对目标部位和参考标记物进行拍摄得到的目标图像；

对目标图像进行特征识别，得到第二特征点在相机坐标系下的坐标数据，以及参考标记物在相机坐标系下的坐标数据；其中，相机坐标系是基于混合现实设备的相机模块建立的；

根据参考标记物在相机坐标系下的坐标数据，获取相机坐标系与真实空间坐标系之间的空间转换关系；

基于第二特征点在相机坐标系下的坐标数据，以及相机坐标系与真实空间坐标系之间的空间转换关系，获取第二特征点在真实空间坐标系下的坐标数据。

在其中一个实施例中，获取目标部位的第二特征点在真实空间坐标系下的坐标数据，包括：

获取当配准辅助工具对目标部位进行采点操作时，对配准辅助工具和参考标记物进行追踪，得到的第二特征点在相机坐标系下的坐标数据，以及参考标记物在相机坐标系下的坐标数据；其中，相机坐标系是基于混合现实设备的相机模块建立的；

根据参考标记物在相机坐标系下的坐标数据，获取相机坐标系与真实空间坐标系之间的空间转换关系；

基于第二特征点在相机坐标系下的坐标数据，以及相机坐标系与真实空间坐标系之间的空间转换关系，获取第二特征点在真实空间坐标系下的坐标数据。

第二方面，本申请实施例提供了一种信息显示方法，应用于混合现实设备，该信息显示方法包括：

获取手术引导信息，手术引导信息包括目标部位的三维模型和三维模型的路径规划信息，三维模型是基于目标部位的医学影像数据重建得到的；

获取目标配准矩阵，并基于目标配准矩阵将手术引导信息显示于目标部位，目标配准矩阵表示三维模型与目标部位之间的空间转换关系。

在其中一个实施例中，将手术引导信息显示于目标部位之前，信息显示方法还包括：

获取三维模型的至少一个候选穿刺路径信息；

将至少一个候选穿刺路径信息显示于三维模型中；

响应于对所显示的任一个候选穿刺路径信息的调整指令，对候选穿刺路径信息进行调整。

在其中一个实施例中，将手术引导信息显示于目标部位之前，信息显示方法还包括：

获取三维模型的至少一个候选穿刺路径信息；

将至少一个候选穿刺路径信息显示于三维模型中；

响应于对所显示的任一个候选穿刺路径信息的选择指令，确定候选穿刺路径信息为路径规划信息。

第三方面，本申请实施例提供了一种手术导航系统，该系统包括：混合现实设备，混合现实设备包括第一处理器和显示模块；

第一处理器，用于执行上述第一方面的任一实施例中的方法的步骤以及执行上述第二方面的任一实施例中的方法中的处理步骤；

显示模块，用于执行上述第二方面的任一实施例中的方法的显示步骤。

在其中一个实施例中，混合现实设备还包括相机模块，相机模块用于对目标部位和目标部位的参考标记物进行拍摄；和/或，

系统还包括配准辅助工具，

相机模块用于对配准辅助工具和参考标记物进行追踪。

在其中一个实施例中，该系统还包括：路径导向设备，路径导向设备包括第二处理器和导向模块；

相机模块，还用于对导向模块和参考标记物进行追踪，得到第一追踪信息并发送给第一处理器；

第一处理器，还用于向第二处理器发送第一追踪信息、目标配准矩阵和路径规划信息；

第二处理器，用于基于第一追踪信息、目标配准矩阵和路径规划信息，控制导向模块运动至目标位姿。

在其中一个实施例中，该系统还包括：手术器械；

相机模块，还用于对手术器械和参考标记物进行追踪，得到第二追踪信息并发送给第一处理器；

第一处理器，还用于基于第二追踪信息，控制显示模块将手术器械对应的器械模型显示于目标部位。

第四方面，本申请实施例提供了一种配准装置，应用于混合现实设备，该配准装置包括：

三维模型获取模块，用于获取目标部位的三维模型，三维模型是基于目标部位的医学影像数据重建得到的；

配准模块，用于根据三维模型的空间信息和目标部位的空间信息进行配准处理，确定目标配准矩阵，目标配准矩阵表示三维模型与目标部位之间的空间转换关系。

第五方面，本申请实施例提供了一种信息显示装置，应用于混合现实设备，该信息显示装置包括：

信息获取模块，用于获取手术引导信息，手术引导信息包括目标部位的三维模型和三维模型的路径规划信息，三维模型是基于目标部位的医学影像数据重建得到的；

显示获取，用于获取目标配准矩阵，并基于目标配准矩阵将手术引导信息显示于目标部位，目标配准矩阵表示三维模型与目标部位之间的空间转换关系。

第六方面，本申请实施例提供了一种计算机设备，包括处理器和存储器，存储器存储有计算机程序，处理器执行计算机程序时实现上述第一方面任一实施例中的方法的步骤。

第七方面，本申请还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述第一方面的任一实施例中的方法的步骤。

第八方面，本申请还提供了一种计算机程序产品，计算机程序产品包括计算机程序，该计算机程序被处理器执行时实现上述第一方面的任一实施例中的方法的步骤。

本申请实施例中的配准方法、信息显示方法、手术导航系统、装置及设备，该方法包括获取目标部位的三维模型，并基于三维模型的空间信息和目标部位的空间信息进行配准处理确定目标配准矩阵。采用上述方法在配准的过程能够减少人工参与处理量，从而能够提高配准的效率，并且人工参与配准的处理量减少了，还可以降低人工参与误差，进一步提高配准的精准度；另外，基于获取到的精准的目标配准矩阵，可以直接将目标部位的三维模型可以直接映射至真实目标部位，以为下一步操作做准备。再者，该方法在减少人工参与处理量的基础上，还可以节省人力资源，降低人力成本；同时，该方法在减少人工参与处理量的基础上，还可以降低医生学习曲线，并且该方法对目标部位不做任何限制，配准方法的适用范围较广。

附图说明

图1为一个实施例中配准方法的流程示意图；

图2为另一个实施例中配准方法的流程示意图；

图3为另一个实施例中配准方法的流程示意图；

图4为另一个实施例中配准方法的流程示意图；

图5为另一个实施例中配准方法的流程示意图；

图6为另一个实施例中配准方法的流程示意图；

图7为一个实施例中信息显示方法的流程示意图；

图8为另一个实施例中信息显示方法的流程示意图；

图9为另一个实施例中信息显示方法的流程示意图；

图10为一个实施例中手术导航系统的应用场景图；

图11为另一个实施例中手术导航系统的应用场景图；

图12为一个实施例中配准装置的结构框图；

图13为一个实施例中信息显示装置的结构框图；

图14为一个实施例中处理器的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请实施例提供一种配准方法，可以提高配准方法的效率。其中，上述配准方法可以应用于混合现实设备中的处理器。其中，混合现实设备可以为头戴式增强现实(Augmented Reality，AR)设备，如AR眼镜等等；处理器可以为用独立的服务器或者是多个服务器组成的服务器集群来实现，本实施例对混合现实设备和处理器的具体形式不做限定。下面实施例以执行主体为混合现实设备中的处理器来介绍配准方法的具体过程。

如图1所示，为本申请实施例提供的配准方法的流程示意图，该配准方法可以包括以下步骤：

S100、获取目标部位的三维模型，三维模型是基于目标部位的医学影像数据重建得到的。

在实际应用中，上述目标部位可以为患者身体的任一部位，在本申请实施例中，是以目标部位是头部为例对配准方法进行说明。在执行配准方法前，可以通过医学影像设备对患者的目标部位进行计算机断层扫描(Computed Tomography，CT)、计算机断层扫描血管造影(Computed Tomography Angiography,CTA)和核磁等影像扫描，获取医学影像数据，并将医学影像数据存储至云端、本地或存储器等位置。其中，医学影像数据是CT、CTA和核磁等影像数据融合而成的数据，其中，CT影像数据针对骨性结构的特征比较明显，CTA针对血管显影的特征比较明显，核磁影像数据针对软组织的特征比较明显，因此，医学影像数据可以是对CT、CTA和核磁等影像数据融合而成的数据，以提高构建的目标部位的三维模型的准确度。

其中，术前影像规划系统可以获取医学影像设备扫描得到的目标部位的医学影像数据，并对目标部位的医学影像数据进行重建处理，得到目标部位的三维模型，然后将获取到的目标部位的三维模型发送给混合现实设备中的处理器。可选地，术前影像规划系统可以为本地端服务器、云端服务器等等；其中本地端服务器为传统方式部署特定硬件和软件，仅支持一个目标部位的处理；云端服务器可以理解为集中部署服务器，医生通过网页链接和账号访问的过程进入术前影像规划系统，支持同时多个目标部位的处理或者多个患者一个或多个目标部位的处理以及信息共享。

另外，混合现实设备中的处理器还可以直接获取医学影像设备扫描得到的目标部位的医学影像数据，并对目标部位的医学影像数据进行重建处理，得到目标部位的三维模型。

可选地，在对目标部位的医学影像数据进行重建处理之前，还可以先对医学影像数据先进行预处理。该预处理可以为去噪处理、异常点剔除处理、重复数据滤除处理等等。

S200、基于三维模型的空间信息和目标部位的空间信息进行配准处理，确定目标配准矩阵，目标配准矩阵表示三维模型与目标部位之间的空间转换关系。

上述三维模型的空间信息可以为三维模型中不同点的位置信息，也可以为三维模型中不同点的位置关系；上述目标部位的空间信息可以为目标部位中不同点的真实位置信息，还可以为目标部位中不同点的位置关系。

在本申请实施例中，可以采用配准算法对三维模型的空间信息和目标部位的空间信息进行配准处理，确定三维模型与目标部位之间的空间转换关系，即目标配准矩阵。可选地，配准算法可以为线性配准算法、二次多项式配准算法、矩形配准算法或偏移配准算法等等。

本申请实施例中的配准方法可以获取目标部位的三维模型，并基于三维模型的空间信息和目标部位的空间信息进行配准处理确定目标配准矩阵；该方法在配准的过程能够减少人工参与处理量，从而能够提高配准的效率，并且人工参与配准的处理量减少了，还可以降低人工参与误差，进一步提高配准的精准度；另外，基于获取到的精准的目标配准矩阵，可以直接将目标部位的三维模型可以直接映射至真实目标部位，以为下一步操作做准备。再者，该方法在减少人工参与处理量的基础上，还可以节省人力资源，降低人力成本；同时，该方法在减少人工参与处理量的基础上，还可以降低医生学习曲线，并且该方法对目标部位不做任何限制，配准方法的适用范围较广。

在一些场景中，可以在手术过程中将目标部位的三维模型和目标部位进行配准以得到三维模型和目标部位之间的空间转换关系，以直接使用三维模型和目标部位之间的空间转换关系来确定穿刺路径，从而可以减少手术过程中的数据处理环节，下面对上述基于三维模型的空间信息和目标部位的空间信息进行配准处理，确定目标配准矩阵的过程进行说明。在一实施例中，如图2所示，上述S200中的步骤可以包括：

S210、获取三维模型的第一特征点在影像空间坐标系下的坐标数据，以及获取目标部位的第二特征点在真实空间坐标系下的坐标数据。其中，影像空间坐标系是基于三维模型建立的，真实空间坐标系是基于目标部位的参考标记物建立的。

可选地，上述第一特征点可以为目标部位的三维模型中的任意多个点，还可以为三维模型特定的多个点；上述影像空间坐标系可以是以三维模型的中心点或边界点为原点建立的空间坐标系，还可以是以三维模型的任一点为原点建立的空间坐标系。在实际应用中，可以基于三维模型的第一特征点和影像空间坐标系，获取三维模型的第一特征点与影像空间坐标系的原点之间的位置关系，从而根据该位置关系确定第一特征点在影像空间坐标系下的坐标数据，即第一特征点在影像空间坐标系下的位置。

上述第二特征点可以为目标部位的任意多个点，还可以为目标部位特定的多个点；上述真实空间坐标系可以是以目标部位的参考标记物的中心点或边界点为原点建立的空间坐标系，还可以是以目标部位的参考标记物的任一点为原点建立的空间坐标系。可选地，参考标记物可以设置在目标部位表面，还可以设置于目标部位旁边，与目标部位具有一定距离，对此位置本申请实施例不做限定，但在本申请实施例中，参考标记物设置在与目标部位具有固定位姿关系的任一位置。在实际应用中，可以基于目标部位的第二特征点和真实空间坐标系，获取目标部位的第二特征点与真实空间坐标系的原点之间的位置关系，从而根据该位置关系确定第二特征点在真实空间坐标系下的坐标数据，即第二特征点在真实空间坐标系下的位置。

在本申请实施例中，若目标部位为患者的头部，则上述第一特征点和第二特征点均可以为患者面部的多个特征点，如额头、鼻梁、颧骨等。

S220、基于第一特征点的坐标数据和第二特征点的坐标数据进行配准处理，确定目标配准矩阵。

混合现实设备中的处理器可以接收医生输入的配准指令，并响应配准指令，基于获取到的三维模型的第一特征点在影像空间坐标系下的坐标数据，以及获取到的目标部位的第二特征点在真实空间坐标系下的坐标数据，采用配准算法对第一特征点的坐标数据和第二特征点的坐标数据进行配准处理，得到目标配准矩阵。

另外，响应配准指令后，还可以预先构建一个算法模型，将获取到的三维模型的第一特征点在影像空间坐标系下的坐标数据和目标部位的第二特征点在真实空间坐标系下的坐标数据均输入至该算法模型中，从而输出目标配准矩阵。

在本申请实施例中，第一特征点的总数量可以大于等于第二特征点的总数量，通常来讲，第一特征点可以为三维模型上面部区域的所有生理特征点；第二特征点可以为目标部位的真实面部区域的所有生理特征点或部分生理特征点。；上述配准指令的输入方式可以是语音、手势、按键、动作等方式。

本申请实施例中的配准方法可以获取三维模型的第一特征点在影像空间坐标系下的坐标数据，以及获取目标部位的第二特征点在真实空间坐标系下的坐标数据，并基于第一特征点的坐标数据和第二特征点的坐标数据进行配准处理，确定目标配准矩阵；该方法不需要人工参与，可以快速实现第一特征点与第二特征点的配准，能够提高配准的速度和配准的效率；另外，由于人工参与配准的处理量较少，可以提高配准结果的准确性。

下面对上述基于第一特征点的坐标数据和第二特征点的坐标数据进行配准处理，确定目标配准矩阵的过程进行说明。在一实施例中，如图3所示，上述S220中的步骤可以通过以下过程实现：

S221、对第一特征点的坐标数据和的第二特征点的坐标数据进行配准处理，得到配准信息。

在本申请实施例中，可以采用特征点匹配算法，对第一特征点的坐标数据和的第二特征点的坐标数据进行配准处理得到配准信息。这里需要说明的是，上述特征点匹配算法可以为基于图像灰度值特征点的快速匹配搜索算法、尺度不变特征转换算法、加速稳健特征匹配算法等等。

S222、根据配准信息确定目标配准矩阵。

可选地，上述配准信息可以为第一特征点和第二特征点之间的位置关系。基于获取到的配准信息，可以对配准信息进行处理得到目标配准矩阵，还可以将配准信息直接确定为目标配准矩阵。

为了提高配准的成功率，在配准失败后，还需要执行再次配准以得到目标配准矩阵，下面对上述根据配准信息确定目标配准矩阵的过程进行说明。在一实施例中，配准信息包括配准结果和初步配准矩阵；如图4所示，上述S222中的步骤可以包括：

S2221、若配准结果为配准失败，则输出配准失败提醒信息。

在本申请实施例中，上述配准信息包括配准结果和初步配准矩阵。若配准结果为配准失败，则输出配准失败提醒信息。其中，当前次配准也可以称为第一次配准处理。在实际应用中，一次配准处理可能无法配准成功，此时，还可以执行二次配准处理，直到配准成功，因此，输出配准失败提醒信息可以提示医生当前次配准失败，需要再次拍摄配准或采点配准。可选地，配准失败提醒信息的输出方式可以为语音、视频、图标、文字等等方式。其中，在二次配准时，也可以提取三维模型上面部区域的所有生理特征点，以及目标部位的真实面部区域的所有生理特征点或部分生理特征点，然后基于提取到的三维模型上面部区域的特征点和目标部位的真实面部区域的特征点进行配准处理。

另外，若配准结果为配准成功时，可以将初步配准矩阵作为目标配准矩阵。

S2222、基于初步配准矩阵对三维模型进行位姿变换，得到变换后的三维模型，并获取变换后的三维模型的第三特征点在影像空间坐标系下的坐标数据，以及基于配准失败提醒信息，获取目标部位的第四特征点在真实空间坐标系下的坐标数据。

在当前次配准结束后可以获取到初步配准矩阵，然后基于初步配准矩阵对三维模型进行位姿变换得到变换后的三维模型。其中，位姿变换的过程可以为将初步配准矩阵与三维模型中各点的坐标数据进行相乘得到三维模型中各点变换后的坐标数据，基于三维模型中各点变换后的坐标数据生成变换后的三维模型。

进一步，基于获取到的变换后的三维模型，可以提取变换后的三维模型上面部区域的所有生理特征点，即变换后的三维模型的第三特征点，并获取变换后的三维模型的第三特征点与影像空间坐标系的原点之间的位置关系，从而根据该位置关系确定第三特征点在影像空间坐标系下的坐标数据，同时，提取目标部位的真实面部区域的所有生理特征点或部分生理特征点，即目标部位的第四特征点，并获取目标部位的第四特征点与真实空间坐标系的原点之间的位置关系，从而根据该位置关系确定第四特征点在真实空间坐标系下的坐标数据。

示例性地，若配准结果为配准失败，则输出配准失败提醒信息以提醒医生配准失败原因(如患者人脸遮挡、患者人脸拍摄不全等)，并提示医生检查遮挡物重新拍摄或更换相机模块角度(如混合现实设备的显示模块可输出正确拍摄角度范围指引信息等)，进一步基于配准失败提醒信息重新拍摄后进行二次配准处理。或者，若配准结果为配准失败，则输出配准失败提醒信息以提醒配准失败的可能原因(如采点操作选取的有效特征点的数量不够、采点操作中参考标记物存在遮挡、采点区域丢失、相机模块的视野变化等等)，并提示医生在对应采点区域重新采点(如混合现实设备的显示模块可输出采集有效特征点的目标采点区域)、重新检查参考标记物是否遮挡或医生需要调整相机模块的视野(如混合现实设备的显示模块可输出相机模块的调节范围的指引信息)等，进一步基于配准失败提醒信息重新采点后进行二次配准处理。

S2223、基于第三特征点的坐标数据和第四特征点的坐标数据进行配准处理，确定目标配准矩阵。

混合现实设备中的处理器可以再次接收医生输入的配准指令，并响应该配准指令，基于获取到的变换后的三维模型的第三特征点在影像空间坐标系下的坐标数据，以及获取到的目标部位的第四特征点在真实空间坐标系下的坐标数据，采用配准算法对第三特征点的坐标数据和第四特征点的坐标数据进行配准处理(即第二次配准)，得到目标配准矩阵。在本申请实施例中，第二次配准的方式与第一次配准的方式相同，只是第一次配准与第二次配准的特征点不同而已。

另外，响应配准指令后，还可以预先构建一个算法模型，将获取到的变换后的三维模型的第三特征点在影像空间坐标系下的坐标数据和目标部位的第四特征点在真实空间坐标系下的坐标数据均输入至该算法模型中，从而输出目标配准矩阵。

在本申请实施例中，第三特征点的总数量可以大于第四特征点的总数量。上述配准指令的输入方式可以是语音、手势、按键、动作等方式。

本申请实施例中的配准方法，可以对第一特征点的坐标数据和的第二特征点的坐标数据进行配准处理得到配准信息，并根据配准信息确定目标配准矩阵；该方法可以根据配准信息确定是否要执行二次配准，在一次配准失败时，基于一次配准得到的初步配准矩阵执行二次配准，从而不仅能够提高配准的成功率，还能够提高二次配准的效率。

下面将对上述获取目标部位的第二特征点在真实空间坐标系下的坐标数据的过程进行说明。在一实施例中，如图5所示，上述S210中获取目标部位的第二特征点在真实空间坐标系下的坐标数据的步骤可以包括：

S211、获取对目标部位和参考标记物进行拍摄得到的目标图像。

医生可以向混合现实设备的相机模块输入拍摄指令，混合现实设备的相机模块响应该拍摄指令，并对目标部位和目标部位的参考标记物进行拍摄得到目标图像，进一步，处理器可以获取相机模块发送的目标图像。可选地，拍摄指令的输入方式可以是语音、手势、按键、动作等方式，且拍摄指令中携带有目标部位的相关标识或者相关信息。

S212、对目标图像进行特征识别，得到第二特征点在相机坐标系下的坐标数据，以及参考标记物在相机坐标系下的坐标数据。其中，相机坐标系是基于混合现实设备的相机模块建立的。

其中，可以采用特征检测算法，对目标图像进行特征识别，得到第二特征点在相机坐标系下的坐标数据和参考标记物在相机坐标系下的坐标数据。可选地，上述特征检测算法可以为颜色特征检测算法、纹理特征检测算法、形状特征检测算法、空间关系特征检测算法等等。

S213、根据目标部位的参考标记物在相机坐标系下的坐标数据，获取相机坐标系与真实空间坐标系之间的空间转换关系。

在本申请实施例中，真实空间坐标系是基于参考标记物建立的，即将参考标记物所处位置作为真实空间坐标系的原点建立的空间坐标系。需要说明的是，参考标记物与目标部位具有相对固定的位姿关系，优选地，参考标记物与目标部位固定连接，二者可直接连接，也可间接连接，只要保证二者具有相对固定的位姿关系。

S214、基于第二特征点在相机坐标系下的坐标数据，以及相机坐标系与真实空间坐标系之间的空间转换关系，获取第二特征点在真实空间坐标系下的坐标数据。

其中，可以将第二特征点在相机坐标系下的坐标数据和相机坐标系与真实空间坐标系之间的空间转换关系进行相乘，得到第二特征点在真实空间坐标系下的坐标数据。

本申请实施例中的配准方法可以获取对目标部位和参考标记物进行拍摄得到的目标图像，对目标图像进行特征识别，得到第二特征点在相机坐标系下的坐标数据以及参考标记物在相机坐标系下的坐标数据，根据目标部位的参考标记物在相机坐标系下的坐标数据获取相机坐标系与真实空间坐标系之间的空间转换关系，基于第二特征点在相机坐标系下的坐标数据以及相机坐标系与真实空间坐标系之间的空间转换关系，获取第二特征点在真实空间坐标系下的坐标数据；该方法通过特征点提取和坐标系转换可以精准的获取目标部位的第二特征点在真实空间坐标系下的坐标数据，从而能够为配准处理做准备，以提高配准处理结果的准确性。

基于上述实施例，还可以通过另一种方式获取目标部位的第二特征点在真实空间坐标系下的坐标数据，下面将对上述获取目标部位的第二特征点在真实空间坐标系下的坐标数据的另一种过程进行说明。在一实施例中，如图6所示，上述S210中获取目标部位的第二特征点在真实空间坐标系下的坐标数据的步骤可以包括：

S215、获取在配准辅助工具对目标部位进行采点操作时，对配准辅助工具和参考标记物进行追踪，得到的第二特征点在相机坐标系下的坐标数据，以及参考标记物在相机坐标系下的坐标数据。其中，相机坐标系是基于混合现实设备的相机模块建立的。

在本申请实施例中，辅助配准工具为用于辅助混合现实设备进行配准的工具，配准辅助工具对目标部位进行采点操作指的是，通过配准辅助工具接触目标部位的真实面部区域的操作。混合现实设备的相机模块可以同时对安装标记物的配准辅助工具和目标部位的参考标记物进行追踪，得到目标部位的真实面部区域的第二特征点在相机坐标系下的坐标数据和目标部位的参考标记物在相机坐标系下的坐标数据，并将获取到的目标部位的真实面部区域的第二特征点在相机坐标系下的坐标数据和目标部位的参考标记物在相机坐标系下的坐标数据，发送给混合现实设备中的处理器。

可选地，得到目标部位的真实面部区域的第二特征点在相机坐标系下的坐标数据的方式可以描述为，通过相机模块获取配准辅助工具的标记物的坐标数据，然后根据配准辅助工具的标记物的坐标数据和配准辅助工具的标定信息，获取配准辅助工具接触目标部位的真实面部区域的特征点的坐标数据，即第二特征点在相机坐标系下的坐标数据。可选地，配准辅助工具的标定信息可以理解为配准辅助工具上设置的标记物与配准辅助工具用来接触目标部位的真实面部区域的位姿关系，在实际应用中，配准辅助工具的标定信息是已知的。

其中，配准辅助工具上可以设置按钮，在采点时可以按压按钮使得配准辅助工具实现采点操作。或者，配准辅助工具还可以接收医生输入的语音指令，响应该语音指令实现采点操作。这里需要说明的是，按压配准辅助工具上的按钮或向配准辅助工具输入语音指令的目的是为了触发相机模块，以记录当前时刻配准辅助工具的标记物的坐标数据，以根据配准辅助工具的标记物的坐标数据和配准辅助工具的标定信息，获取配准辅助工具接触目标部位的真实面部区域的特征点的坐标数据，即第二特征点在相机坐标系下的坐标数据。

S216、根据参考标记物在相机坐标系下的坐标数据，获取相机坐标系与真实空间坐标系之间的空间转换关系。其中，真实空间坐标系是基于参考标记物建立的。

在本申请实施例中，真实空间坐标系是基于参考标记物建立的，即将参考标记物所处位置作为真实空间坐标系的原点建立的空间坐标系。需要说明的是，参考标记物与目标部位具有相对固定的位姿关系，优选地，参考标记物与目标部位固定连接，二者可直接连接，也可间接连接，只要保证二者具有相对固定的位姿关系即可。

可选地，混合现实设备中的相机模块可以为红外相机，因此，相机模块可以追踪参考标记物，得到参考标记物在相机坐标系下的坐标数据。

S217、基于第二特征点在相机坐标系下的坐标数据，以及相机坐标系与真实空间坐标系之间的空间转换关系，获取第二特征点在真实空间坐标系下的坐标数据。

其中，可以将第二特征点在相机坐标系下的坐标数据和相机坐标系与真实空间坐标系之间的空间转换关系进行相乘，得到第二特征点在真实空间坐标系下的坐标数据。

本申请实施例中的配准方法可以采用相机追踪的方式确定目标部位的第二特征点在相机坐标系下的坐标数据以及目标部位的参考标记物在相机坐标系下的坐标数据，基于目标部位的参考标记物在相机坐标系下的坐标数据，获取相机坐标系与真实空间坐标系之间的空间转换关系，进一步根据第二特征点在相机坐标系下的坐标数据以及该空间转换关系，获取第二特征点在真实空间坐标系下的坐标数据；该方法通过标记物追踪和坐标系转换可以精准的获取目标部位的第二特征点在真实空间坐标系下的坐标数据，从而能够为配准处理做准备，以提高配准处理结果的准确性。

在一些场景中，为了方便医生观察，需要将目标部位、目标部位的三维模型和三维模型的路径规划信息进行叠加显示，即将目标部位的三维模型和三维模型的路径规划信息叠加显示于目标部位。基于此，本申请实施例提出了一种信息显示方法，应用于混合现实设备，如图7所示，该信息显示方法可以包括：

S300、获取手术引导信息。手术引导信息包括目标部位的三维模型和三维模型的路径规划信息，三维模型是基于目标部位的医学影像数据重建得到的。

其中，术前影像规划系统可以获取医学影像设备扫描得到的目标部位的医学影像数据，并对目标部位的医学影像数据进行重建处理，得到目标部位的三维模型，同时，可以基于目标部位的三维模型进行穿刺路径规划，得到路径规划信息，然后将目标部位的三维模型和路径规划信息均发送给混合现实设备中的处理器。

或者，混合现实设备中的处理器还可以直接获取医学影像设备扫描得到的目标部位的医学影像数据，并对目标部位的医学影像数据进行重建处理，得到目标部位的三维模型，同时，可以基于目标部位的三维模型进行穿刺路径规划，得到路径规划信息。在本申请实施例中，将目标部位的三维模型和三维模型的路径规划信息确定为手术引导信息。

S400、获取目标配准矩阵，并基于目标配准矩阵将手术引导信息显示于目标部位，目标配准矩阵表示三维模型与目标部位之间的空间转换关系。

基于混合现实设备中的处理器获取到目标配准矩阵，处理器可以基于目标配准矩阵对目标部位的三维模型和路径规划信息进行转换处理，得到转换后的三维模型和转换后的路径规划信息，进一步，将转换后的三维模型和转换后的路径规划信息均发送给混合现实设备中的显示模块进行显示，即完成将手术引导信息显示于目标部位。

可选地，基于获取到的目标配准矩阵对手术引导信息进行转换处理的方式可以是将目标配准矩阵与手术引导信息的坐标数据进行相乘处理。

这里需要说明的是，在显示模块将转换后的三维模型进行显示后，还可以根据实际需求，对所显示的三维模型进行模型材质调整、隐藏或分割、方位调整等等处理。

本申请实施例中的信息显示方法可以获取手术引导信息以及目标配准矩阵，并基于目标配准矩阵将手术引导信息显示于目标部位；该方法能够将三维模型和路径规划信息与真实部位进行显示，可以直观让医生观看到三维模型和路径规划信息与真实部位进行叠加显示的结果，提高了医生的操作便利性，为后续操作打下了良好的基础。

在一实施例中，在执行上述S400中将手术引导信息显示于目标部位的步骤之前，如图8所示，上述信息显示方法还可以包括以下步骤：

S410、获取三维模型的至少一个候选穿刺路径信息。

具体地，混合现实设备中的处理器或术前影像规划系统可以基于目标部位的三维模型进行病灶检测，确定目标部位的穿刺靶点，并对目标部位的三维模型进行组织分割、图像重建、血管避障和功能区分割等处理，获取包含穿刺起点和穿刺靶点的至少一个候选穿刺路径信息。

在实际应用中，术前影像规划系统可以在三维模型中确定穿刺靶点，然后将穿刺靶点的位置发送给混合现实设备的处理器，该情况下，术前影像规划系统可以输出该穿刺靶点所在的多平面重建(即MPR)视图以及得到该穿刺靶点在对应多平面重建视图上的坐标数据，这里需要说明的是，医生可以通过指令输入方式调整多平面重建视图上穿刺靶点的位置。可选地，上述多平面重建视图可以包括三维模型所在的影像空间坐标系中的xy平面重建视图、yz平面重建视图和xz平面重建视图。

或者，混合现实设备中的处理器可以在三维模型中确定初始穿刺靶点，并调整初始穿刺靶点的位置，得到最终的穿刺靶点的位置。

在确定好穿刺靶点后，可以基于路径识别算法和血管调节算法通过穿刺靶点确定对应的穿刺起点。或者，目标部位的穿刺起点还可以为医生根据临床经验确定的。例如，目标部位为患者头部时，穿刺起点可以为穿刺入颅点。

S420、将至少一个候选穿刺路径信息显示于三维模型中。

其中，候选穿刺路径信息是基于三维模型所规划得到的，混合现实设备中的处理器可将三维模型和候选穿刺路径信息发送给混合现实设备中的显示模块，以使得显示模块显示三维模型，并将候选穿刺路径信息显示于三维模型中。

在本申请实施例中，穿刺路径信息可以理解为穿刺点的坐标数据，对应地，候选穿刺路径信息可以为候选穿刺路径上各穿刺点的坐标数据。

S430、响应于对所显示的任一个候选穿刺路径信息的调整指令，对候选穿刺路径信息进行调整。

可选地，混合现实设备中的处理器可以接收医生输入的任一个候选穿刺路径信息的调整指令，并响应接收到的调整指令，对调整指令对应的候选穿刺路径信息进行调整，以调整候选穿刺路径信息，然后处理器将调整后的候选穿刺路径信息发送给显示模块，以使得显示模块将调整后的穿刺路径信息显示于三维模型中。

可选地，调整指令的输入方式也可以是语音、手势、按键、动作等方式；且调整指令中携带有不同候选穿刺路径信息的标识，以区别不同的候选穿刺路径信息，也就是不同的候选穿刺路径信息对应的调整指令不同。

在实际应用中，在调整后的候选穿刺路径信息显示于三维模型后，并从三维模型中删除调整前的对应候选穿刺路径信息。在本申请实施例中，即使对一些候选穿刺路径信息调整后，也无法满足实际穿刺条件，此时，可以将这些候选穿刺路径信息删除，并将满足实际穿刺条件的调整后的候选穿刺路径信息和未调整的候选穿刺路径信息与三维模型进行叠加显示即可。

本申请实施例中的信息显示方法可以将目标部位的三维模型进行显示，并针对所显示的三维模型直观地进行穿刺路径规划，提高了医生的操作便利性，为后续操作打下了良好的基础。

同时，在另一实施例中，在执行上述S400中将手术引导信息显示于目标部位的步骤之前，如图9所示，上述信息显示方法还可以包括以下步骤：

S440、获取三维模型的至少一个候选穿刺路径信息。

S450、将至少一个候选穿刺路径信息显示于三维模型中。

关于步骤S440和S450的具体说明可参见上述步骤S420和S430的具体说明，此处不再赘述。

S460、响应于对所显示的任一个候选穿刺路径信息的选择指令，确定候选穿刺路径信息为路径规划信息。

在实际应用中，显示模块可以接收医生根据临床经验输入的选择指令，并响应该选择指令，从显示的至少一个候选穿刺路径信息中直接选取满足穿刺条件的候选穿刺路径信息，确定为路径规划信息。可选地，选择指令中可以携带不同候选穿刺路径信息的标识，以区别不同的候选穿刺路径信息。

或者，上述显示模块可以接收医生输入的选择指令，并响应该选择指令，通过血管智能避障算法验证所有候选穿刺路径信息中满足穿刺条件的候选穿刺路径信息，并将筛选出的候选穿刺路径信息确定为路径规划信息。可选地，满足穿刺条件可以理解为所有候选穿刺路径信息中避开目标部位中血管等重要结构的穿刺路径信息。

本申请实施例中的信息显示方法可以将目标部位的三维模型进行显示，并针对所显示的三维模型直观地进行穿刺路径规划，提高了医生的操作便利性，为后续操作打下了良好的基础。

本申请实施例还提出了一种手术导航系统，该系统包括：混合现实设备，混合现实设备包括第一处理器和显示模块；

第一处理器，用于执行上述配准方法中任一实施例的过程和执行上述信息显示方法中任一实施例中的处理过程。需要说明的是，这里的第一处理器也即上述实施例中提到的混合现实设备中的处理器，此处及以下实施例中为了将其与路径导向设备中的处理器进行区分，将混合现实设备中的处理器定义为第一处理器，将路径导向设备中的处理器定义为第二处理器。

显示模块，用于执行上述信息显示方法中任一实施例中的显示过程。

其中，如图10所示为手术导航系统的一种应用场景图，图10中示出了手术导航系统中的混合现实设备，且是以混合现实设备为AR眼镜为例进行示意的。可选地，混合现实设备中的显示模块可以理解为用户界面(User Interface，UI)，用于采用视觉交叉算法实现显示。

在实际处理过程中，上述第一处理器可以获取目标部位的三维模型，并基于三维模型的空间信息和目标部位的空间信息进行配准处理，确定目标配准矩阵。其中，三维模型是基于目标部位的医学影像数据重建得到的，目标配准矩阵表示三维模型与目标部位之间的空间转换关系。

同时，上述第一处理器还可以获取手术引导信息以及目标配准矩阵，并基于目标配准矩阵对手术引导信息进行转换处理，得到转换后的三维模型和转换后的路径规划信息，进一步，将转换后的三维模型和转换后的路径规划信息均发送给混合现实设备中的显示模块进行显示，即完成将手术引导信息显示于目标部位。在本申请实施例中，手术引导信息包括目标部位的三维模型和三维模型的路径规划信息。

可选地，在将手术引导信息显示于目标部位之前，第一处理器还可以获取三维模型的至少一个候选穿刺路径信息，将至少一个候选穿刺路径信息显示于三维模型中，并响应于对所显示的任一个候选穿刺路径信息的调整指令，对候选穿刺路径信息进行调整。另外，在将手术引导信息显示于目标部位之前，第一处理器还可以获取三维模型的至少一个候选穿刺路径信息，将至少一个候选穿刺路径信息显示于三维模型中，并响应于对所显示的任一个候选穿刺路径信息的选择指令，确定候选穿刺路径信息为路径规划信息。

本实施例提供的手术导航系统，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。

在一个实施例中，上述手术导航系统中的混合现实设备还包括相机模块，相机模块用于对目标部位和目标部位的参考标记物进行拍摄；和/或，

手术导航系统还包括配准辅助工具，

相机模块用于对配准辅助工具和参考标记物进行追踪。

在实际应用中，相机模块可以对目标部位和目标部位的参考标记物进行拍摄得到目标图像，以使混合现实设备中的第一处理器对目标图像进行特征识别，得到目标部位的真实面部区域的特征点在相机坐标系下的坐标数据，以及参考标记物在相机坐标系下的坐标数据。

另外，手术导航系统还包括配准辅助工具，用于实现目标部位的采点操作，并通过相机模块对配准辅助工具和目标部位的参考标记物进行追踪，得到目标部位的真实面部区域的特征点在相机坐标系下的坐标数据，以及参考标记物在相机坐标系下的坐标数据。

在本实施例中，也就是可以采用一种或两种方式能够获取到目标部位的真实面部区域的特征点在相机坐标系下的坐标数据。这里需要说明的是，若混合现实设备中包括相机模块但手术导航系统中未包括配准辅助工具，则可以通过拍摄的方式获取目标部位的真实面部区域的特征点在相机坐标系下的坐标数据；若手术导航系统中包括配准辅助工具且混合现实设备中也包括相机模块，则可以通过追踪的方式或拍摄的方式获取目标部位的真实面部区域的特征点在相机坐标系下的坐标数据，还可以通过两种方式分别获取到目标部位的真实面部区域的特征点在相机坐标系下的坐标数据，然后将两种方式对应的坐标数据求平均得到目标部位的真实面部区域的特征点在相机坐标系下的最终坐标数据。

本实施例提供的手术导航系统，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。

在另一个实施例中，上述手术导航系统还包括：路径导向设备，路径导向设备包括第二处理器和导向模块；

相机模块，还用于对导向模块和参考标记物进行追踪，得到第一追踪信息并发送给第一处理器；

第一处理器，还用于向第二处理器发送第一追踪信息、目标配准矩阵和路径规划信息；

第二处理器，用于基于第一追踪信息、目标配准矩阵和路径规划信息，控制导向模块运动至目标位姿。

在本申请实施例中，混合现实设备中的相机模块可以对导向模块和目标部位的参考标记物进行追踪得到第一追踪信息，并将第一追踪信息发送给第一处理器。其中，第一追踪信息可以包括导向模块在相机坐标系下的坐标数据和参考标记物在相机坐标系下的坐标数据。

进一步，第一处理器将获取到的第一追踪信息、目标配准矩阵和路径规划信息发送给第二处理器，并且第二处理器基于第一追踪信息、目标配准矩阵和路径规划信息，控制导向模块运动至目标位姿。

另外，如图11所示为手术导航系统的另一种应用场景图，该手术导航系统还包括控制系统，图11中示出了手术导航系统中的混合现实设备、控制系统和路径导向设备，且是以混合现实设备为AR眼镜为例进行示意的。其中，混合现实设备、控制系统和路径导向设备之间均可以通信连接，该连接方式可以为蓝牙、移动网络、wifi等方式。上述控制系统可以为各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，还可以用独立的服务器或者是多个服务器组成的服务器集群来实现，但不限于这些，本实施例对控制系统的具体形式不做限定。

其中，上述控制系统，用于接收混合现实设备的第一处理器发送的第一追踪信息、目标配准矩阵和路径规划信息，并将第一追踪信息、目标配准矩阵和路径规划信息发送给路径导向设备的第二处理器。在本申请实施例中，上述路径导向设备还包括目标部位固定系统等等。在手术过程中，目标部位固定系统，用于在医生的控制下对目标部位的自适应固定，以防止在手术过程中目标部位出现晃动现象；第二处理器，用于基于混合现实设备的第一处理器发送的第一追踪信息、目标配准矩阵和路径规划信息，控制导向模块运动至目标位姿。

在实际应用中，混合现实设备中的相机模块可以同时对导向模块和目标部位的参考标记物进行追踪，得到导向模块在相机坐标系下的坐标数据和参考标记物在相机坐标系下的坐标数据，也即第一追踪信息，并将第一追踪信息发送给第一处理器，然后第一处理器将第一追踪信息、目标配准矩阵和路径规划信息发送给第二处理器。

进一步，第二处理器可以根据第一处理器发送的第一追踪信息、目标配准矩阵和路径规划信息，控制导向模块运动至目标位姿。其中，由于第一追踪信息是导向模块在相机坐标系下的坐标数据和参考标记物在相机坐标系下的坐标数据，因此对第一追踪信息进行处理可以获取导向模块在真实空间坐标系下的坐标数据；另外，由于目标配准矩阵表示三维模型与目标部位之间的空间转换关系，也即能够表示影像空间坐标系和真实空间坐标系之间的空间转换关系，且路径规划信息是影像空间坐标系下的坐标数据，因此对目标配准矩阵和路径规划信息进行处理，能够将影像空间坐标系下的路径规划信息转换到真实空间坐标系下；进一步，第二处理器可以根据获取到的导向模块在真实空间坐标系下的坐标数据，以及真实空间坐标系下的路径规划信息，以控制导向模块运动至目标位姿，并在该目标位姿下控制穿刺针实行穿刺操作。其中，在配准足够精准以及追踪精度足够高的情况下，此时可以控制穿刺针按照三维模型中所规划的路径在真实目标部位进行穿刺操作。

本申请实施例可以通过混合显示设备对路径导向设备中的导向模块和目标部位的参考标记物进行追踪，以使得导向模块能够基于追踪结果运动至合适的目标位姿，使得穿刺操作不仅精确度高，而且穿刺操作的速度较快。

在一些场景中，需要用到手术器械执行手术操作。因此，在一实施例中，上述手术导航系统还包括：手术器械；

相机模块，还用于对手术器械和参考标记物进行追踪，得到第二追踪信息并发送给第一处理器；

第一处理器，还用于基于第二追踪信息，控制显示模块将手术器械对应的器械模型显示于目标部位。

其中，手术导航系统还可以包括手术器械。在实际应用中，在将目标部位的三维模型和三维模型的路径规划信息叠加显示于目标部位之后，还可以对手术器械和目标部位的参考标记物进行追踪，以将手术器械对应的器械模型与目标部位叠加显示，也即将目标部位的三维模型、三维模型的路径规划信息和器械模型均叠加显示于目标部位，使得医生能够直观地确定手术器械与目标部位的相对位姿关系。

在本申请实施例中，混合现实设备的相机模块可以同时对手术器械和目标部位的参考标记物进行追踪，得到手术器械在相机坐标系下的坐标数据和参考标记物在相机坐标系下的坐标数据，即第二追踪信息，并将第二追踪信息发送给第一处理器。

在实际处理中，第一处理器可以获取到相机模块发送的第二追踪信息，然后基于第二追踪信息，控制显示模块将手术器械对应的器械模型显示于目标部位。可选地，第一处理器可以基于手术器械在相机坐标系下的坐标数据和参考标记物在相机坐标系下的坐标数据，获取手术器械在真实空间坐标系下的坐标数据，进而使得显示模块将手术器械对应的器械模型叠加显示于目标部位，进一步地，由于目标部位已叠加显示有目标部位的三维模型，因此器械模型与三维模型的相对位姿关系能够反映手术器械与目标部位的相对位姿关系。

这里需要说明的是，这里手术器械的器械模型为三维模型，混合现实设备还可包括存储器，存储器可预先存储有多个手术器械所分别对应的器械模型，通过混合现实设备的相机模块可识别出当前所追踪的手术器械，进而混合现实设备的第一处理器可从预先存储的多个器械模型中识别出当前所追踪的手术器械对应的器械模型。

另外，在执行上述步骤之后，第一处理器还可以基于目标部位处所显示的器械模型与目标部位处所显示的路径规划信息之间的位置关系，输出操作提醒信息。需要说明的是，本实施例中的目标部位处所显示的器械模型与目标部位处所显示的路径规划信息均叠加显示于已叠加显示有三维模型的目标部位，也即本实施例中的目标部位上同时显示有三维模型、路径规划信息和器械模型，器械模型与三维模型之间的相对位姿关系能够真实反映手术器械与目标部位之间的相对位姿关系，器械模型与路径规划信息之间的相对位姿关系能够真实反映手术器械的实际执行路径与所规划的路径之间的相对位姿关系。

由于目标部位处所显示的器械模型与目标部位处所显示的路径规划信息之间的相对位姿关系，能够真实反映手术器械的实际执行路径与所规划的路径之间的相对位姿关系，因此可基于目标部位处所显示的器械模型与目标部位处所显示的路径规划信息之间的相对位姿关系，输出操作提醒信息，以使得医生根据操作提醒信息对手术器械的位姿进行调整。可选地，操作提醒信息可以为手术器械从当前位置移动至正确操作位置的移动方向和位移，如东南1cm、东北1.2cm、西北0.9cm、西南1.1cm等等。操作提醒信息可以通过显示模块进行显示，也可通过语音等方式进行输出提醒。

本申请实施例可以通过混合显示设备对手术器械和目标部位的参考标记物进行追踪，以将不同时刻的器械模型、三维模型、路径规划信息均叠加显示于目标部位，使得医生能够直观地观察到不同时刻手术器械的操作位置。

为了便于本领域技术人员的理解，以执行主体为混合现实设备为例介绍本申请提供的配准方法。在一个实施例中，本申请还提供一种配准方法，该方法包括以下过程：

(1)获取目标部位的三维模型，三维模型是基于目标部位的医学影像数据重建得到的。

(2)获取三维模型的第一特征点在影像空间坐标系下的坐标数据；影像空间坐标系是基于三维模型建立的。

(3)获取目标部位的第二特征点在真实空间坐标系下的坐标数据；其中，真实空间坐标系是基于目标部位的参考标记物建立的。

其中，上述获取目标部位的第二特征点在真实空间坐标系下的坐标数据的过程可以通过以下两种方式实现：

第一种方式，包括：

(31)获取对目标部位和参考标记物进行拍摄得到的目标图像；

(32)对目标图像进行特征识别，得到第二特征点在相机坐标系下的坐标数据，以及参考标记物在相机坐标系下的坐标数据；其中，相机坐标系是基于混合现实设备的相机模块建立的；

(33)根据目标部位的参考标记物在相机坐标系下的坐标数据，获取相机坐标系与真实空间坐标系之间的空间转换关系；其中，真实空间坐标系是基于参考标记物建立的；

(34)基于第二特征点在相机坐标系下的坐标数据以及相机坐标系与真实空间坐标系之间的空间转换关系，获取第二特征点在真实空间坐标系下的坐标数据。

第二种方式，包括：

(35)获取在配准辅助工具对目标部位进行采点操作时，对配准辅助工具和参考标记物进行追踪，得到的第二特征点在相机坐标系下的坐标数据，以及参考标记物在相机坐标系下的坐标数据；其中，相机坐标系是基于混合现实设备的相机模块建立的；

(36)根据参考标记物在相机坐标系下的坐标数据，获取相机坐标系与真实空间坐标系之间的空间转换关系；

(37)基于第二特征点在相机坐标系下的坐标数据，以及相机坐标系与真实空间坐标系之间的空间转换关系，获取第二特征点在真实空间坐标系下的坐标数据。

(4)对第一特征点的坐标数据和的第二特征点的坐标数据进行配准处理，得到配准信息；配准信息包括配准结果和初步配准矩阵。

(5)若配准结果为配准失败，则输出配准失败提醒信息。

(6)基于初步配准矩阵对三维模型进行位姿变换，得到变换后的三维模型，并获取变换后的三维模型的第三特征点在影像空间坐标系下的坐标数据，以及，基于配准失败提醒信息，获取目标部位的第四特征点在真实空间坐标系下的坐标数据。

(7)基于第三特征点的坐标数据和第四特征点的坐标数据进行配准处理，确定目标配准矩阵。

以上(1)至(7)的执行过程具体可以参见上述实施例的描述，其实现原理和技术效果类似，在此不再赘述。

为了便于本领域技术人员的理解，以执行主体为混合现实设备为例介绍本申请提供的信息显示方法。在一个实施例中，本申请还提供一种信息显示方法，该方法包括以下过程：

(1)获取三维模型的至少一个候选穿刺路径信息；将至少一个候选穿刺路径信息显示于三维模型中；响应于对所显示的任一个候选穿刺路径信息的选择指令，确定候选穿刺路径信息为路径规划信息。可选地，确定路径规划信息之前还可以响应于对所显示的任一个候选穿刺路径信息的调整指令，对候选穿刺路径信息进行调整。

(2)获取手术引导信息；手术引导信息包括目标部位的三维模型和基于三维模型的路径规划信息，三维模型是基于目标部位的医学影像数据重建得到的。

(3)获取目标配准矩阵，并基于目标配准矩阵将手术引导信息显示于目标部位，目标配准矩阵表示三维模型与目标部位之间的空间转换关系。

以上(1)至(3)的执行过程具体可以参见上述实施例的描述，其实现原理和技术效果类似，在此不再赘述。

应该理解的是，虽然图1-9的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1-9中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图12所示，提供了一种配准装置，包括：三维模型获取模块11和配准模块12，其中：

三维模型获取模块11，用于获取目标部位的三维模型，三维模型是基于目标部位的医学影像数据重建得到的；

配准模块12，用于根据三维模型的空间信息和目标部位的空间信息进行配准处理，确定目标配准矩阵，目标配准矩阵表示三维模型与目标部位之间的空间转换关系。

本实施例提供的配准装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。

在其中一个实施例中，配准模块12包括：坐标数据获取单元和配准单元，其中：

坐标数据获取单元，用于获取三维模型的第一特征点在影像空间坐标系下的坐标数据，以及获取目标部位的第二特征点在真实空间坐标系下的坐标数据；其中，影像空间坐标系是基于三维模型建立的，真实空间坐标系是基于目标部位的参考标记物建立的；

配准单元，用于根据第一特征点的坐标数据和第二特征点的坐标数据进行配准处理，确定目标配准矩阵。

本实施例提供的配准装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。

在其中一个实施例中，配准单元包括：配准子单元和配准矩阵获取子单元，其中：

配准子单元，用于对第一特征点的坐标数据和第二特征点的坐标数据进行配准处理，得到配准信息；

配准矩阵获取子单元，用于根据配准信息确定目标配准矩阵。

本实施例提供的配准装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。

在其中一个实施例中，配准信息包括配准结果和初步配准矩阵；配准矩阵获取子单元具体用于：

若配准结果为配准失败，则输出配准失败提醒信息；

基于初步配准矩阵对三维模型进行位姿变换，得到变换后的三维模型，并获取变换后的三维模型的第三特征点在影像空间坐标系下的坐标数据，以及基于配准失败提醒信息，获取目标部位的第四特征点在真实空间坐标系下的坐标数据；

基于第三特征点的坐标数据和第四特征点的坐标数据进行配准处理，确定目标配准矩阵。

本实施例提供的配准装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。

在其中一个实施例中，坐标数据获取单元具体用于：

获取对目标部位和参考标记物进行拍摄得到的目标图像；

对目标图像进行特征识别，得到第二特征点在相机坐标系下的坐标数据，以及参考标记物在相机坐标系下的坐标数据；其中，相机坐标系是基于混合现实设备的相机模块建立的；

根据参考标记物在相机坐标系下的坐标数据，获取相机坐标系与真实空间坐标系之间的空间转换关系；

基于第二特征点在相机坐标系下的坐标数据，以及相机坐标系与真实空间坐标系之间的空间转换关系，获取第二特征点在真实空间坐标系下的坐标数据。

本实施例提供的配准装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。

在其中一个实施例中，坐标数据获取单元具体用于：

获取在配准辅助工具对目标部位进行采点操作时，对配准辅助工具和参考标记物进行追踪，得到的第二特征点在相机坐标系下的坐标数据，以及参考标记物在相机坐标系下的坐标数据；其中，相机坐标系是基于混合现实设备的相机模块建立的；

根据参考标记物在相机坐标系下的坐标数据，获取相机坐标系与真实空间坐标系之间的空间转换关系；

基于第二特征点在相机坐标系下的坐标数据，以及相机坐标系与真实空间坐标系之间的空间转换关系，获取第二特征点在真实空间坐标系下的坐标数据。

本实施例提供的配准装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。

在一个实施例中，如图13所示，提供了一种信息显示装置，包括：信息获取模块21和显示获取22，其中：

信息获取模块21，用于获取手术引导信息；手术引导信息包括目标部位的三维模型和三维模型的路径规划信息，三维模型是基于目标部位的医学影像数据重建得到的；

显示获取22，用于获取目标配准矩阵，并基于目标配准矩阵将手术引导信息显示于目标部位，目标配准矩阵表示三维模型与目标部位之间的空间转换关系。

本实施例提供的信息显示装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。

在其中一个实施例中，信息显示装置还包括：调整模块，该调整模块具体用于：

获取三维模型的至少一个候选穿刺路径信息；

将至少一个候选穿刺路径信息显示于三维模型中；

响应于对所显示的任一个候选穿刺路径信息的调整指令，对候选穿刺路径信息进行调整。

本实施例提供的信息显示装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。

在其中一个实施例中，信息显示装置还包括：选择模块，该选择模块具体用于：

获取三维模型的至少一个候选穿刺路径信息；

将至少一个候选穿刺路径信息显示于三维模型中；

响应于对所显示的任一个候选穿刺路径信息的选择指令，确定候选穿刺路径信息为路径规划信息。

本实施例提供的信息显示装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。

在其中一个实施例中，信息显示装置还包括：追踪信息获取模块和信息显示模块，其中：

追踪信息获取模块，用于对手术器械和目标部位的参考标记物进行追踪，得到追踪信息；

信息显示模块，用于根据追踪信息与目标配准矩阵，显示手术器械对应的器械模型，以使得所显示的器械模型与三维模型的相对位姿关系能够反映手术器械与目标部位的相对位姿关系。

本实施例提供的信息显示装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。

在其中一个实施例中，信息显示装置还包括：提醒信息输出模块，其中：

提醒信息输出模块，用于根据器械模型与路径规划信息的位置关系，输出操作提醒信息。

本实施例提供的信息显示装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。

关于配准装置和信息显示装置的具体限定可以参见上文中对于配准方法和信息显示方法的限定，在此不再赘述。上述配准装置和信息显示装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于处理器中的处理器中，也可以以软件形式存储于处理器中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种处理器，该处理器可以是服务器，其内部结构图可以如图14所示。该处理器包括通过系统总线连接的存储器和网络接口。其中，该处理器的处理器用于提供计算和控制能力。该处理器的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该处理器的数据库用于存储目标部位的医学影像数据。该处理器的网络接口用于与外部的终点通过网络连接通信。该计算机程序被处理器执行时以实现一种配准方法和一种信息显示方法。

本领域技术人员可以理解，图14中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的处理器的限定，具体的处理器可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种处理器，包括存储器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述任一方法实施例中的步骤。

在一个实施例中，提供了一种可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述任一方法实施例中的步骤。

在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述任一方法实施例中的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (17)

1.一种配准方法，其特征在于，应用于混合现实设备，所述配准方法包括：

获取目标部位的三维模型，所述三维模型是基于所述目标部位的医学影像数据重建得到的；

基于所述三维模型的空间信息和所述目标部位的空间信息进行配准处理，确定目标配准矩阵，所述目标配准矩阵表示所述三维模型与所述目标部位之间的空间转换关系。

2.根据权利要求1所述的配准方法，其特征在于，所述基于所述三维模型的空间信息和所述目标部位的空间信息进行配准处理，确定目标配准矩阵，包括：

获取所述三维模型的第一特征点在影像空间坐标系下的坐标数据，以及获取所述目标部位的第二特征点在真实空间坐标系下的坐标数据；其中，所述影像空间坐标系是基于所述三维模型建立的，所述真实空间坐标系是基于所述目标部位的参考标记物建立的；

基于所述第一特征点的坐标数据和所述第二特征点的坐标数据进行配准处理，确定所述目标配准矩阵。

3.根据权利要求2所述的配准方法，其特征在于，所述基于所述第一特征点的坐标数据和所述第二特征点的坐标数据进行配准处理，确定所述目标配准矩阵，包括：

对所述第一特征点的坐标数据和所述第二特征点的坐标数据进行配准处理，得到配准信息；

根据所述配准信息确定所述目标配准矩阵。

4.根据权利要求3所述的配准方法，其特征在于，所述配准信息包括配准结果和初步配准矩阵；所述根据所述配准信息确定所述目标配准矩阵，包括：

若所述配准结果为配准失败，则输出配准失败提醒信息；

基于所述初步配准矩阵对所述三维模型进行位姿变换，得到变换后的三维模型，并获取所述变换后的三维模型的第三特征点在所述影像空间坐标系下的坐标数据，以及基于所述配准失败提醒信息，获取所述目标部位的第四特征点在所述真实空间坐标系下的坐标数据；

基于所述第三特征点的坐标数据和所述第四特征点的坐标数据进行配准处理，确定所述目标配准矩阵。

5.根据权利要求2-4中任一项所述的配准方法，其特征在于，所述获取所述目标部位的第二特征点在真实空间坐标系下的坐标数据，包括：

获取对所述目标部位和所述参考标记物进行拍摄得到的目标图像；

对所述目标图像进行特征识别，得到所述第二特征点在相机坐标系下的坐标数据，以及所述参考标记物在所述相机坐标系下的坐标数据；其中，所述相机坐标系是基于所述混合现实设备的相机模块建立的；

根据所述参考标记物在所述相机坐标系下的坐标数据，获取所述相机坐标系与所述真实空间坐标系之间的空间转换关系；

基于所述第二特征点在所述相机坐标系下的坐标数据，以及所述相机坐标系与所述真实空间坐标系之间的空间转换关系，获取所述第二特征点在所述真实空间坐标系下的坐标数据。

6.根据权利要求2-4中任一项所述的配准方法，其特征在于，所述获取所述目标部位的第二特征点在真实空间坐标系下的坐标数据，包括：

获取在配准辅助工具对所述目标部位进行采点操作时，对所述配准辅助工具和所述参考标记物进行追踪，得到的所述第二特征点在相机坐标系下的坐标数据，以及所述参考标记物在所述相机坐标系下的坐标数据；其中，所述相机坐标系是基于所述混合现实设备的相机模块建立的；

根据所述参考标记物在所述相机坐标系下的坐标数据，获取所述相机坐标系与所述真实空间坐标系之间的空间转换关系；

基于所述第二特征点在所述相机坐标系下的坐标数据，以及所述相机坐标系与所述真实空间坐标系之间的空间转换关系，获取所述第二特征点在所述真实空间坐标系下的坐标数据。

7.一种信息显示方法，其特征在于，应用于混合现实设备，所述信息显示方法包括：

获取手术引导信息，所述手术引导信息包括目标部位的三维模型和所述三维模型的路径规划信息，所述三维模型是基于所述目标部位的医学影像数据重建得到的；

获取目标配准矩阵，并基于所述目标配准矩阵将所述手术引导信息显示于所述目标部位，所述目标配准矩阵表示所述三维模型与所述目标部位之间的空间转换关系。

8.根据权利要求7所述的信息显示方法，其特征在于，所述将所述手术引导信息显示于所述目标部位之前，所述信息显示方法还包括：

获取所述三维模型的至少一个候选穿刺路径信息；

将所述至少一个候选穿刺路径信息显示于所述三维模型中；

响应于对所显示的任一个所述候选穿刺路径信息的调整指令，对所述候选穿刺路径信息进行调整。

9.根据权利要求7所述的信息显示方法，其特征在于，所述将所述手术引导信息显示于所述目标部位之前，所述信息显示方法还包括：

获取所述三维模型的至少一个候选穿刺路径信息；

将所述至少一个候选穿刺路径信息显示于所述三维模型中；

响应于对所显示的任一个所述候选穿刺路径信息的选择指令，确定所述候选穿刺路径信息为所述路径规划信息。

10.一种手术导航系统，其特征在于，所述系统包括：混合现实设备，所述混合现实设备包括第一处理器和显示模块；

所述第一处理器，用于执行上述权利要求1-6中任一项所述的方法以及执行上述权利要求7-9中任一项所述的方法中的处理步骤；

所述显示模块，用于执行上述权利要求7-9中任一项所述的方法中的显示步骤。

11.根据权利要求10所述的系统，其特征在于，所述混合现实设备还包括相机模块，所述相机模块用于对所述目标部位和所述目标部位的参考标记物进行拍摄；和/或，

所述系统还包括配准辅助工具，

所述相机模块用于对所述配准辅助工具和所述参考标记物进行追踪。

12.根据权利要求11所述的系统，其特征在于，所述系统还包括：路径导向设备，所述路径导向设备包括第二处理器和导向模块；

所述相机模块，还用于对所述导向模块和所述参考标记物进行追踪，得到第一追踪信息并发送给所述第一处理器；

所述第一处理器，还用于向所述第二处理器发送所述第一追踪信息、所述目标配准矩阵和所述路径规划信息；

所述第二处理器，用于基于所述第一追踪信息、所述目标配准矩阵和所述路径规划信息，控制所述导向模块运动至目标位姿。

13.根据权利要求11所述的系统，其特征在于，所述系统还包括：手术器械；

所述相机模块，还用于对所述手术器械和所述参考标记物进行追踪，得到第二追踪信息并发送给所述第一处理器；

所述第一处理器，还用于基于所述第二追踪信息，控制所述显示模块将所述手术器械对应的器械模型显示于所述目标部位。

14.一种配准装置，其特征在于，应用于混合现实设备，所述配准装置包括：

三维模型获取模块，用于获取目标部位的三维模型，所述三维模型是基于所述目标部位的医学影像数据重建得到的；

配准模块，用于根据所述三维模型的空间信息和所述目标部位的空间信息进行配准处理，确定目标配准矩阵，所述目标配准矩阵表示所述三维模型与所述目标部位之间的空间转换关系。

15.一种信息显示装置，其特征在于，应用于混合现实设备，所述信息显示装置包括：

信息获取模块，用于获取手术引导信息，所述手术引导信息包括目标部位的三维模型和所述三维模型的路径规划信息，所述三维模型是基于所述目标部位的医学影像数据重建得到的；

显示获取，用于获取目标配准矩阵，并基于所述目标配准矩阵将所述手术引导信息显示于所述目标部位，所述目标配准矩阵表示所述三维模型与所述目标部位之间的空间转换关系。

16.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1-9任一项所述的方法的步骤。

17.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-9任一项所述的方法的步骤。

Images