CN114638933A - 基于三维重建的处理方法、装置、电子设备和存储介质 - Google Patents

Abstract

本申请实施例提供了一种基于三维重建的处理方法、装置、电子设备和存储介质。该基于三维重建的处理方法，包括：获取医学图像的至少一个目标区域，医学图像为三维图像；对每个目标区域进行三维重建，得到三维模型；三维模型包括每个目标区域对应的三维子模型；将三维模型向VR设备发送，使得VR设备基于三维模型进行显示。本申请实施例可以通过VR设备身临其境地观察患者体内的目标区域的具体情况，便于直观地观察患者具体病情，可以保证手术的成功率，提高手术安全性，减小患者因消融不彻底而导致的二次手术所带来的痛苦和额外的开销。

Description

基于三维重建的处理方法、装置、电子设备和存储介质

技术领域

本申请涉及图像处理技术领域，具体而言，本申请涉及一种基于三维重建的处理方法、装置、电子设备和存储介质。

背景技术

目前，临床上基于CT(电子计算机断层扫描)引导的肿瘤热消融治疗，在治疗前，医生一般是基于对二维CT影像的理解，凭经验拟定肿瘤消融计划。在治疗中，医生在CT影像的引导下，凭借手眼协调能力及个人经验将热消融针穿刺到肿瘤内部。

但是，由于医生通常是基于对二维CT影像的理解进行肿瘤消融，无法让医生直观地观察患者具体病情，从而无法保证手术的成功率，手术安全性较低。

发明内容

本申请针对现有方式的缺点，提出一种基于三维重建的处理方法、装置、电子设备和存储介质，用以解决现有技术存在的无法保证手术的成功率或手术安全性较低技术问题。

第一方面，本申请实施例提供一种基于三维重建的处理方法，包括：

获取医学图像的至少一个目标区域；医学图像为三维图像；

对每个目标区域进行三维重建，得到三维模型；三维模型包括每个目标区域对应的三维子模型；

将三维模型向VR设备发送，使得VR设备基于三维模型进行显示。

在一个可能的实现方式中，获取医学图像的至少一个目标区域，包括：

响应于针对医学图像的目标区域的选择操作，确定至少一个目标区域。

在一个可能的实现方式中，对每个目标区域进行三维重建，得到三维模型，包括：

确定与每个目标区域对应的设计阈值范围；

基于与每个目标区域对应的设计阈值范围，将每个目标区域进行三维重建，得到每个目标区域对应的三维子模型；三维模型包括每个三维子模型。

在一个可能的实现方式中，基于与每个目标区域对应的设计阈值范围，将每个目标区域进行三维重建，得到每个目标区域对应的三维子模型，包括：

根据医学图像的图像属性，将每个目标区域划分为至少两层待处理图像；每层待处理图像包括第一切面和第二切面；

确定每层待处理图像的第一切面和第二切面之间的多个立方体，基于与目标区域对应的设计阈值范围，确定每个立方体的等值面；

在每个目标区域中，将每个等值面合并后显示，得到目标区域对应的三维子模型。

在一个可能的实现方式中，确定每层待处理图像的第一切面和第二切面之间的多个立方体，基于与目标区域对应的设计阈值范围，确定每个立方体的等值面，包括：

按照设计路径，依次确定每层待处理图像的第一切面和第二切面之间的每个立方体的等值面；

以及，确定每层待处理图像的第一切面和第二切面之间的每个立方体的等值面，包括：

将待处理图像的第一切面的四个设计点与第二切面的四个设计点对应连接，形成一个立方体；

基于与目标区域对应的设计阈值范围，按照等值面提取算法，确定立方体的等值面。

在一个可能的实现方式中，响应于针对医学图像的目标区域选择操作，确定至少一个目标区域，包括：

响应于针对医学图像的目标区域的选择操作，确定至少一个目标轮廓；

对至少一个目标轮廓进行插值处理，得到至少一个目标区域。

在一个可能的实现方式中，对每个目标区域进行三维重建，得到三维模型之后，且将三维模型向VR设备发送之前，还包括：

基于三维模型确定每个针模型的至少一个候选进针路径；

针对每个候选进针路径，确定每个针模型的三维向量信息。

在一个可能的实现方式中，基于三维模型确定每个针模型的至少一个候选进针路径，包括：

调整每个针模型的方向和/或位置；

若两个针模型相接触或针模型与设计的三维子模型相接触，则显示针模型为设计的第一颜色。

在一个可能的实现方式中，针对每个候选进针路径，确定每个针模型的三维向量信息之后，还包括：

针对每个候选进针路径，根据每个针模型的参数信息，在每个针模型的针尖处形成对应的第一区域范围；

针对每个候选进针路径，将每个针模型的第一区域范围叠加形成第二区域范围，以确定第二区域范围是否覆盖设计的目标区域范围。

在一个可能的实现方式中，将三维模型向VR设备发送，使得VR设备基于三维模型进行显示，包括：

将三维模型、每个针模型及每个针模型的三维向量信息，向VR设备发送，使得VR设备基于三维模型进行显示，并基于每个针模型的三维向量信息对每个针模型进行显示。

第二方面，本申请实施例提供一种基于三维重建的处理装置，包括：

获取模块，用于获取医学图像的至少一个目标区域；医学图像为三维图像；

三维重建模块，用于对每个目标区域进行三维重建，得到三维模型；三维模型包括每个目标区域对应的三维子模型；

发送模块，用于将三维模型向VR设备发送，使得VR设备基于三维模型进行显示。

第三方面，本申请实施例提供一种电子设备，包括：

处理器；

存储器，与处理器通信连接；

至少一个程序，被存储在存储器中并被配置为由处理器执行，至少一个程序被配置用于：实现如第一方面的基于三维重建的处理方法。

第四方面，本申请实施例提供一种基于三维重建的显示系统，包括：VR设备和如第三方面的电子设备；

VR设备，与电子设备通信连接，用于对三维模型进行显示。

第五方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被电子设备执行时实现如第一方面的基于三维重建的处理方法。

本申请实施例提供的技术方案带来的有益技术效果包括：

本申请实施例是获取医学图像的至少一个目标区域，然后对每个目标区域进行三维重建，得到三维模型，由于目标区域是与消融手术相关的区域，建立的三维模型是包括每个目标区域对应的三维子模型，使得三维模型可以反映出需要消融的区域和周边区域的具体情况。而且，本申请实施例是将三维模型向VR(Virtual Reality，虚拟现实)设备发送，使得VR设备基于三维模型进行显示，将三维重建的结果生成VR三维场景，医生佩戴VR设备可以身临其境地观察患者体内的目标区域的具体情况，便于直观地观察患者具体病情，使得医生规划进针路径以及消融范围，这样医生手术时就已经做好充分的准备，进而可以保证手术的成功率，提高手术安全性，减小患者因消融不彻底而导致的二次手术所带来的痛苦和额外的开销。

本申请附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本申请实施例提供的一种基于三维重建的显示系统的框架示意图；

图2为本申请实施例提供的一种基于三维重建的处理方法的流程图；

图3为本申请实施例提供的一种对每个目标区域进行三维重建，得到三维模型的具体步骤的流程图。

图4为本申请实施例提供的另一种基于三维重建的处理方法的流程图；

图5为本申请实施例提供的一种基于三维重建的处理装置的结构示意图；

图6为本申请实施例提供的一种的电子设备的框架示意图。

具体实施方式

下面详细描述本申请，本申请的实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的部件或具有相同或类似功能的部件。此外，如果已知技术的详细描述对于示出的本申请的特征是不必要的，则将其省略。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能解释为对本申请的限制。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本申请所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。

本申请提供的基于三维重建的处理方法、装置、电子设备和存储介质，旨在解决现有技术的如上技术问题。

下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。

本申请实施例提供一种基于三维重建的显示系统，参见图1所示，该基于三维重建的显示系统100包括：VR设备110和电子设备120。

VR设备110与电子设备120通信连接，VR设备110用于对三维模型进行显示。

可选地，电子设备120用于执行本申请实施例的基于三维重建的处理方法，电子设备120的具体的结构和功能在下文中进一步详细说明。

可选地，电子设备120是可以进行图像处理的终端设备，例如台式计算机、笔记本电脑或智能手机等。

可选地，VR设备110与电子设备120可以通过有线或无线的方式通信连接，例如：VR设备110与电子设备120通过蓝牙连接。

可选地，VR设备110为VR眼镜，三维模型为VR模型，VR设备110可以对电子设备120发送的信息进行显示。VR设备110用于基于三维模型进行显示，并基于每个针模型的三维向量信息对每个针模型进行显示。

可选地，VR设备110用于基于三维模型进行显示，并基于每个针模型的三维向量信息对每个针模型进行显示，基于每个针模型的第一区域范围信息，在每个针模型的针尖处形成对应的第一区域范围，使得每个针模型的第一区域范围叠加形成第二区域范围。

本申请实施例提供一种基于三维重建的处理方法，参见图2所示，该基于三维重建的处理方法包括：步骤S201至步骤S203。

S201、获取医学图像的至少一个目标区域；医学图像为三维图像。

可选地，医学图像是由导入患者dicom(Digital Imaging and Communicationsin Medicine，医学数字成像和通信)图像转换得到。多张二维的dicom图像可以形成三维的医学图像。

可选地，dicom图像通过使用U盘从CT机/核磁共振机/医院影像工作站直接拷贝，然后从转件中选择相应目录将图像拷贝至软件目录下，并通过DCMTK读取dicom图像信息中的患者信息生成病案。

在一些实施例中，获取医学图像的至少一个目标区域，包括：

响应于针对医学图像的目标区域的选择操作，确定至少一个目标区域。

可选地，目标区域的获取是通过选择得到，用户可以根据消融手术的需要，选择与消融手术相关的区域，例如：病灶区域、周边的骨骼、血管或相关器官，病灶区域、周边的骨骼、血管或相关器官分别作为一个目标区域。

在一些实施例中，响应于针对医学图像的目标区域选择操作，确定至少一个目标区域，包括：

响应于针对医学图像的目标区域的选择操作，确定至少一个目标轮廓。

对至少一个目标轮廓进行插值处理，得到至少一个目标区域。

可选地，目标轮廓可以是用户手动勾画的轮廓，也可以是用户选择的兴趣点或线覆盖的区域，自动生成一个对应的目标轮廓。

可选地，目标轮廓可以是形成大致形状的离散的点。

可选地，对每个目标轮廓进行插值处理，得到对应的目标区域。插值处理是在离散数据的基础上补插连续函数，使得这条连续曲线通过全部给定的离散数据点。

可选地，确定每个目标区域的方法，可以依托于MITK框架完成，包括如下步骤：

(1)通过MITK框架的画笔工具完成兴趣点勾画。

(2)使用MITK框架的曲面插值控制器对上一步勾画的内容进行插值。

(3)对插值后的结果进行显示。

可选地，MITK(Medical Imaging Interaction Toolkit)是一个开源软件平台，可用来做交互式的医学图像处理，软件。该软件结合了ITK(nsight Toolkit)和VTK(Visualization Toolkit)的特性。ITK提供了强大的图像处理(分割、配准等)功能，而VTK主要实现对数据的可视化。VTK虽然提供可视化，但是对用户交互的支持比较弱。因此，MITK在ITK和VTK的基础上开发了更多用户交互的特性。

S202、对每个目标区域进行三维重建，得到三维模型；三维模型包括每个目标区域对应的三维子模型。

可选地，图像三维重建一般分为面绘制和体绘制，本申请实施例可以基于面绘制，绘制物体的表面信息，而忽略物体的内部信息。

可选地，面绘制算法有很多种，本申请实施例可以采用MarchingCubes算法，Marching Cubes算法的本质是从一个三维的数据场种抽取出一个等值面，所以也被称为等值面提取算法。

在一些实施例中，对每个目标区域进行三维重建，得到三维模型，包括：

确定与每个目标区域对应的设计阈值范围。

基于与每个目标区域对应的设计阈值范围，将每个目标区域进行三维重建，得到每个目标区域对应的三维子模型；三维模型包括每个三维子模型。

可选地，通过用户手动勾画轮廓并进行插值实现，可以得到一个目标区域，基于目标区域可以得到一个设计阈值范围，相当于用户手动勾画轮廓提供一个设计阈值范围，根据设计阈值范围就可以提取出等值面的三角网格表达。

可选地，在实际应用中，设计阈值范围也可以只选用一个设计阈值。

可选地，确定与每个目标区域对应的设计阈值范围，包括：确定目标区域的灰度值范围，将目标区域的灰度值范围作为设计阈值范围。例如：骨骼、心脏、肝脏、脾脏、血管等的灰度值都不相同，在设计阈值范围内的区域表示同一个器官。

在一些实施例中，基于与每个目标区域对应的设计阈值范围，将每个目标区域进行三维重建，得到每个目标区域对应的三维子模型，包括：

根据医学图像的图像属性，将每个目标区域划分为至少两层待处理图像；每层待处理图像包括第一切面和第二切面。

确定每层待处理图像的第一切面和第二切面之间的多个立方体，基于与目标区域对应的设计阈值范围，确定每个立方体的等值面。

在每个目标区域中，将每个等值面合并后显示，得到目标区域对应的三维子模型。

可选地，医学图像的图像属性包括分辨率，分辨率越大划分的待处理图像层数越多，分辨率越小划分的待处理图像层数越小。

可选地，相邻的两层待处理图像共用一个切面。

在一些实施例中，确定每层待处理图像的第一切面和第二切面之间的多个立方体，基于与目标区域对应的设计阈值范围，确定每个立方体的等值面，包括：

按照设计路径，依次确定每层待处理图像的第一切面和第二切面之间的每个立方体的等值面。

可选地，按照医学图像的左右和前后的顺序，以从左至右、从前到后的顺序依次处理各层待处理图像的中的立方体(抽取每个立方体的等值面，即等值面三角形)，然后以从下到上的顺序处理到n-1层，则分割算法结束。

可选地，确定每层待处理图像的第一切面和第二切面之间的每个立方体的等值面，包括：

将待处理图像的第一切面的四个设计点与第二切面的四个设计点对应连接，形成一个立方体。

基于与目标区域对应的设计阈值范围，按照等值面提取算法，确定立方体的等值面。

可选地，立方体也可以称为单元Cell、体素Voxel。

可选地，按照等值面提取算法可以是确定一条连线上的两个端点的灰度值是否在设计阈值范围内，若两个端点的灰度值中至少有一个在设计阈值范围内，则确定两个端点连线的中点为一个选择点，若两个端点的灰度值中均不在设计阈值范围内，则不选择两个端点连线上的任何点。按照上述方法，将立方体中的选择点连线，可以得到每个立方体的等值面三角形。

S203、将三维模型向VR设备110发送，使得VR设备110基于三维模型进行显示。

本申请实施例图2所示的基于三维重建的处理方法，是先获取医学图像的至少一个目标区域，然后对每个目标区域进行三维重建，得到三维模型，由于目标区域是与消融手术相关的区域，建立的三维模型是包括每个目标区域对应的三维子模型，使得三维模型可以反映出需要消融的病灶区域和周边区域的具体情况。而且，本申请实施例是将三维模型向VR设备110发送，使得VR设备110基于三维模型进行显示，将三维重建的结果生成VR三维场景，医生佩戴VR设备110可以身临其境地观察患者体内的目标区域的具体情况，便于直观地观察患者具体病情，使得医生规划进针路径以及消融范围，在医生手术时已经做好充分的准备，保证手术的成功率，提高手术安全性，减小患者因消融不彻底而导致的二次手术所带来的痛苦和额外的开销。

在一些实施例中，参见图3所示，上述步骤S202中，对每个目标区域进行三维重建，得到三维模型的具体步骤，包括：步骤S301-步骤S304。

S301、确定与每个目标区域对应的设计阈值范围，之后执行步骤S304。

可选地，通过用户手动勾画轮廓并进行插值实现，可以得到一个目标区域，基于目标区域可以得到一个设计阈值范围，相当于用户手动勾画轮廓提供一个设计阈值范围，根据设计阈值范围就可以提取出等值面的三角网格表达。

可选地，确定与每个目标区域对应的设计阈值范围，包括：确定目标区域的灰度值范围，将目标区域的灰度值范围作为设计阈值范围。例如：骨骼、心脏、肝脏、脾脏、血管等的灰度值都不相同，在设计阈值范围内的区域表示同一个器官。

S302、根据医学图像的图像属性，将每个目标区域划分为至少两层待处理图像；每层待处理图像包括第一切面和第二切面。

可选地，可选地，医学图像的图像属性包括分辨率，分辨率越大划分的待处理图像层数越多，分辨率越小划分的待处理图像层数越小。

可选地，相邻的两层待处理图像共用一个切面。

S303、确定每层待处理图像的第一切面和第二切面之间的多个立方体，基于与目标区域对应的设计阈值范围，确定每个立方体的等值面。

可选地，步骤S303中，确定每层待处理图像的第一切面和第二切面之间的多个立方体，基于与目标区域对应的设计阈值范围，确定每个立方体的等值面，包括：

按照设计路径，依次确定每层待处理图像的第一切面和第二切面之间的每个立方体的等值面。

可选地，按照医学图像的左右和前后的顺序，以从左至右、从前到后的顺序处理一层待处理图像的中的立方体(抽取每个立方体的等值面，即等值面三角形)，然后以从下到上的顺序处理到n-1层，则分割算法结束。

可选地，确定每层待处理图像的第一切面和第二切面之间的每个立方体的等值面，包括：

将待处理图像的第一切面的四个设计点与第二切面的四个设计点对应连接，形成一个立方体。

基于与目标区域对应的设计阈值范围，按照等值面提取算法，确定立方体的等值面。

可选地，按照等值面提取算法可以是确定一条连线上的两个端点的灰度值是否在设计阈值范围内，若两个端点的灰度值中至少有一个在设计阈值范围内，则确定两个端点连线的中点为一个选择点，若两个端点的灰度值中均不在设计阈值范围内，则不选择两个端点连线上的任何点。按照上述方法，将立方体中的选择点连线，可以得到每个立方体的等值面三角形。

S304、在每个目标区域中，将每个等值面合并后显示，得到目标区域对应的三维子模型；三维模型包括每个三维子模型。

本申请实施例可以重建三维模型，使得医生可以VR设备110观察病灶所处位置与形状，病灶周围存在的重要器官以及血管的相对空间位置，可以从不同角度观察患者具体病情，便于在手术之前进行进针路径的规划。

在一些实施例中，步骤S202中，对每个目标区域进行三维重建，得到三维模型之后，且步骤S203中，将三维模型向VR设备110发送之前，还包括：

基于三维模型确定每个针模型的至少一个候选进针路径。

针对每个候选进针路径，确定每个针模型的三维向量信息。

可选地，三维向量信息包括针模型的方向信息和/或位置信息。确定的候选进针路径可以是多个，基于三维模型从不同的方向进针和不同的位置，供后续医生比较和选择，制定相应的手术方案。

可选地，三维向量信息用于VR设备110显示针模型缓慢前进的整个过程。

可选地，候选进针路径的规划是通过在图像中放置3D线段来实现，选中目标区域，例如：目标器官和病灶(例如：肝脏，肝门部肿瘤)。

在一些实施例中，基于三维模型确定每个针模型的至少一个候选进针路径，包括：

调整每个针模型的方向和/或位置。

若两个针模型相接触或针模型与设计的三维子模型相接触，则显示针模型为设计的第一颜色。

可选地，每个针模型相当于一个线段，调整每个针模型的方向和/或位置可以通过鼠标点击并拖动线段两端点在冠状面、矢状面、横断面调整其方向和位置。

可选地，在调整的过程中每次当鼠标调整针模型的方向和/或位置时，通过两个三维模型进行布尔运算判断：两个针模型是否接触或针模型与设计的三维子模型是否接触，例如：针是否与骨骼或禁止针道通过的器官，针与针之间是否发生碰撞，若发生碰撞将其颜色修改为红色，若没有发生碰撞显示绿色。

在一些实施例中，针对每个候选进针路径，确定每个针模型的三维向量信息之后，还包括：

针对每个候选进针路径，根据每个针模型的参数信息，在每个针模型的针尖处形成对应的第一区域范围。

针对每个候选进针路径，将每个针模型的第一区域范围叠加形成第二区域范围，以确定第二区域范围是否覆盖设计的目标区域范围。

可选地，参数信息包括针模型的长度，每个针模型的第一区域范围为每个针模型的消融范围，第二区域范围为所有针模型的消融范围。

可选地，形成第二区域范围用于对应生成消融范围，确定第二区域范围是否覆盖设计的目标区域范围用于消融范围的评估。根据每个针模型配置长度等相关参数在针尖处生成椭球消融范围，然后和目标区域范围求交集，评估具体治疗效果。当第二区域范围完全覆盖设计的目标区域范围，就是完全消融的效果；当第二区域范围未完全覆盖设计的目标区域范围，不能达到完全消融的效果，可以看到未消融范围，从而可以实现消融范围的评估。

在一些实施例中，将三维模型向VR设备110发送，使得VR设备110基于三维模型进行显示，包括：

将三维模型、每个针模型及每个针模型的三维向量信息，向VR设备110发送，使得VR设备110基于三维模型进行显示，并基于每个针模型的三维向量信息对每个针模型进行显示。

可选地，将三维模型向VR设备110发送，使得VR设备110基于三维模型进行显示，包括：

将三维模型、每个针模型、每个针模型的三维向量信息及第一区域范围信息，向VR设备110发送，使得VR设备110基于三维模型进行显示，并基于每个针模型的三维向量信息对每个针模型进行显示，基于每个针模型的第一区域范围信息，在每个针模型的针尖处形成对应的第一区域范围，使得每个针模型的第一区域范围叠加形成第二区域范围。

本申请实施例的基于三维重建的处理方法，可以基于候选进针路径生成布针规划，进行模拟进针，使得医生可实时观察针缓慢前进的整个过程，对手术的成功率和有效性提供有效的数据支撑。同时，在模拟进针结束后可选择是否显示消融区域范围，若选择显示消融区域范围则在针模型的针尖生成椭球形热场，可进一步评估当前治疗对肿瘤的消融是否彻底。

在一些实施例中，本申请实施例提供一种基于三维重建的处理方法，参见图4所示，该基于三维重建的处理方法包括：步骤S401至步骤S405。

S401、获取医学图像的至少一个目标区域；医学图像为三维图像。

可选地，本申请实施例的步骤S401与步骤S201的方法相同，在此不再赘述。

S402、对每个目标区域进行三维重建，得到三维模型；三维模型包括每个目标区域对应的三维子模型。

可选地，本申请实施例的步骤S402与步骤S202的方法相同，在此不再赘述。

S403、基于三维模型确定每个针模型的至少一个候选进针路径。

在一些实施例中，基于三维模型确定每个针模型的至少一个候选进针路径，包括：

调整每个针模型的方向和/或位置。

若两个针模型相接触或针模型与设计的三维子模型相接触，则显示针模型为设计的第一颜色。

可选地，每个针模型相当于一个线段，调整每个针模型的方向和/或位置可以通过鼠标点击并拖动线段两端点在冠状面、矢状面、横断面调整其方向和位置。

可选地，在调整的过程中每次当鼠标抬起时通过两个三维模型进行布尔运算判断：两个针模型是否接触或针模型与设计的三维子模型是否接触，例如：针是否与骨骼或禁止针道通过的器官，针与针之间是否发生碰撞，若发生碰撞将其颜色修改为红色，若没有发生碰撞显示绿色。

S404、针对每个候选进针路径，确定每个针模型的三维向量信息。

在一些实施例中，步骤S404中，针对每个候选进针路径，确定每个针模型的三维向量信息之后，还包括：

针对每个候选进针路径，根据每个针模型的参数信息，在每个针模型的针尖处形成对应的第一区域范围。

针对每个候选进针路径，将每个针模型的第一区域范围叠加形成第二区域范围，以确定第二区域范围是否覆盖设计的目标区域范围。

可选地，参数信息包括针模型的长度，每个针模型的第一区域范围为每个针模型的消融范围，第二区域范围为所有针模型的消融范围。

S405、将三维模型、每个针模型及每个针模型的三维向量信息，向VR设备110发送，使得VR设备110基于三维模型进行显示，并基于每个针模型的三维向量信息对每个针模型进行显示。

可选地，步骤S405中，将三维模型向VR设备110发送，使得VR设备110基于三维模型进行显示，包括：

将三维模型、每个针模型、每个针模型的三维向量信息及第一区域范围信息，向VR设备110发送，使得VR设备110基于三维模型进行显示，并基于每个针模型的三维向量信息对每个针模型进行显示，基于每个针模型的第一区域范围信息，每个针模型的针尖处形成对应的第一区域范围，将每个针模型的第一区域范围叠加形成第二区域范围。

本申请实施例是将三维重建的结果作为VR模型传输至VR设备110中，便于医生更直观的观察患者病情，并根据此VR设备110呈现的结果指定对应的手术计划。本申请实施例可以通过VR设备110模拟进针过程，显示消融范围，从而评估手术效果和最佳入针方式，制定对应的手术计划，保证手术的成功率，提高手术安全性。

基于同一发明构思，本申请实施例提供一种基于三维重建的处理装置，参见图5所示，该基于三维重建的处理装置500包括：获取模块510、三维重建模块520和发送模块530。

获取模块510用于获取医学图像的至少一个目标区域；医学图像为三维图像；

三维重建模块520用于对每个目标区域进行三维重建，得到三维模型；三维模型包括每个目标区域对应的三维子模型；

发送模块530用于将三维模型向VR设备110发送，使得VR设备110基于三维模型进行显示。

可选地，获取模块510用于响应于针对医学图像的目标区域的选择操作，确定至少一个目标区域。

可选地，获取模块510用于响应于针对医学图像的目标区域的选择操作，确定至少一个目标轮廓；对至少一个目标轮廓进行插值处理，得到至少一个目标区域。

可选地，三维重建模块520用于确定与每个目标区域对应的设计阈值范围；基于与每个目标区域对应的设计阈值范围，将每个目标区域进行三维重建，得到每个目标区域对应的三维子模型；三维模型包括每个三维子模型。

可选地，三维重建模块520用于根据医学图像的图像属性，将每个目标区域划分为至少两层待处理图像；每层待处理图像包括第一切面和第二切面；确定每层待处理图像的第一切面和第二切面之间的多个立方体，基于与目标区域对应的设计阈值范围，确定每个立方体的等值面；在每个目标区域中，将每个等值面合并后显示，得到目标区域对应的三维子模型。

可选地，三维重建模块520用于按照设计路径，依次确定每层待处理图像的第一切面和第二切面之间的每个立方体的等值面。

可选地，三维重建模块520用于将待处理图像的第一切面的四个设计点与第二切面的四个设计点对应连接，形成一个立方体；基于与目标区域对应的设计阈值范围，按照等值面提取算法，确定立方体的等值面。

可选地，三维重建模块520还用于基于三维模型确定每个针模型的至少一个候选进针路径；针对每个候选进针路径，确定每个针模型的三维向量信息。

可选地，三维重建模块520还用于调整每个针模型的方向和/或位置；若两个针模型相接触或针模型与设计的三维子模型相接触，则显示针模型为设计的第一颜色。

可选地，三维重建模块520还用于针对每个候选进针路径，根据每个针模型的参数信息，在每个针模型的针尖处形成对应的第一区域范围；针对每个候选进针路径，将每个针模型的第一区域范围叠加形成第二区域范围，以确定第二区域范围是否覆盖设计的目标区域范围。

可选地，发送模块530还用于将三维模型、每个针模型及每个针模型的三维向量信息，向VR设备110发送，使得VR设备110基于三维模型进行显示，并基于每个针模型的三维向量信息对每个针模型进行显示。

可选地，发送模块530还用于将三维模型、每个针模型、每个针模型的三维向量信息及第一区域范围信息，向VR设备110发送，使得VR设备110基于三维模型进行显示，并基于每个针模型的三维向量信息对每个针模型进行显示，基于每个针模型的第一区域范围信息，每个针模型的针尖处形成对应的第一区域范围，将每个针模型的第一区域范围叠加形成第二区域范围。

可选地，基于三维重建的处理装置500的各模块的用于对应实现本申请实施例的基于三维重建的处理方法的各步骤，其余内容不再赘述。

基于同一发明构思，本申请实施例提供一种电子设备120，包括：

处理器；

存储器，与处理器通信连接；

至少一个程序，被存储在存储器中并被配置为由处理器执行，至少一个程序被配置用于：实现如本申请任一实施例的基于三维重建的处理方法。

本申请在一个可选实施例中提供了一种电子设备，如图6所示，图6所示的电子设备120包括：处理器121和存储器123。其中，处理器121和存储器123相通信连接，如通过总线122相连。

处理器121可以是CPU(Central Processing Unit，中央处理器)，通用处理器，DSP(Digital Signal Processor，数据信号处理器)，ASIC(Application SpecificIntegrated Circuit，专用集成电路)，FPGA(Field－Programmable Gate Array，现场可编程门阵列)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器121也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。

总线122可包括一通路，在上述组件之间传送信息。总线122可以是PCI(Peripheral Component Interconnect，外设部件互连标准)总线或EISA(ExtendedIndustry Standard Architecture，扩展工业标准结构)总线等。总线122可以分为地址总线、数据总线、控制总线等。为便于表示，图6中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

存储器123可以是ROM(Read-Only Memory，只读存储器)或可存储静态信息和指令的其他类型的静态存储设备，RAM(random access memory，随机存取存储器)或者可存储信息和指令的其他类型的动态存储设备，也可以是EEPROM(Electrically ErasableProgrammable Read Only Memory，电可擦可编程只读存储器)、CD-ROM(Compact DiscRead-Only Memory，只读光盘)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。

可选地，电子设备120还可以包括收发器124。收发器124可用于信号的接收和发送。收发器124可以允许电子设备120与其他设备进行无线或有线通信以交换数据。需要说明的是，实际应用中收发器124不限于一个。

可选地，电子设备120还可以包括输入单元125。输入单元125可用于接收输入的数字、字符、图像和/或声音信息，或者产生与电子设备120的用户设置以及功能控制有关的键信号输入。输入单元125可以包括但不限于触摸屏、物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆、拍摄装置、拾音器等中的一种或多种。

可选地，电子设备120还可以包括输出单元126。输出单元126可用于输出或展示经过处理器121处理的信息。输出单元126可以包括但不限于显示装置、扬声器、振动装置等中的一种或多种。

虽然图6示出了具有各种装置的电子设备120，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。

可选的，存储器123用于存储执行本申请方案的应用程序代码，并由处理器121来控制执行。处理器121用于执行存储器123中存储的应用程序代码，以实现本申请实施例提供的任一种基于三维重建的处理方法。

基于同一发明构思，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被电子设备120执行时实现如本申请任一实施例的基于三维重建的处理方法。

需要说明的是，本申请的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

应用本申请实施例，至少能够实现如下有益效果：

(1)本申请实施例是先获取医学图像的至少一个目标区域，然后对每个目标区域进行三维重建，得到三维模型，由于目标区域是与消融手术相关的区域，建立的三维模型是包括每个目标区域对应的三维子模型，使得三维模型可以反映出需要消融的病灶区域和周边区域的具体情况。而且，本申请实施例是将三维模型向VR设备110发送，使得VR设备110基于三维模型进行显示，将三维重建的结果生成VR三维场景，医生佩戴VR设备110可以身临其境地观察患者体内的目标区域的具体情况，便于直观地观察患者具体病情，使得医生规划进针路径以及消融范围，在医生手术时已经做好充分的准备，保证手术的成功率，提高手术安全性，减小患者因消融不彻底而导致的二次手术所带来的痛苦和额外的开销。

(2)本申请实施例可以根据每个针模型配置长度等相关参数在针尖处生成椭球消融范围，然后和目标区域范围求交集，评估具体治疗效果。当第二区域范围完全覆盖设计的目标区域范围，就是完全消融的效果；当第二区域范围未完全覆盖设计的目标区域范围，不能达到完全消融的效果，可以看到未消融范围，从而可以实现消融范围的评估。

(3)本申请实施例可以基于候选进针路径生成布针规划，进行模拟进针，使得医生可实时观察针缓慢前进的整个过程，对手术的成功率和有效性提供有效的数据支撑。同时，在模拟进针结束后可选择是否显示消融区域范围，若选择显示消融区域范围则在针模型的针尖生成椭球形热场，可进一步评估当前治疗对肿瘤的消融是否彻底。

(4)本申请实施例将三维重建的结果作为VR模型传输至VR设备110中，便于医生更直观的观察患者病情，并根据此VR设备110呈现的结果指定对应的手术计划。本申请实施例可以通过VR设备110模拟进针过程，显示消融范围，从而评估手术效果和最佳入针方式，制定对应的手术计划，保证手术的成功率，提高手术安全性。

本技术领域技术人员可以理解，本申请中已经讨论过的各种操作、方法、流程中的步骤、措施、方案可以被交替、更改、组合或删除。进一步地，具有本申请中已经讨论过的各种操作、方法、流程中的其他步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。进一步地，现有技术中的具有与本申请中公开的各种操作、方法、流程中的步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。

在本申请的描述中，需要理解的是，术语“中心”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。

术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中，除非另有说明，“多个”的含义是两个或两个以上。

在本说明书的描述中，具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

以上所述仅是本申请的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (14)

1.一种基于三维重建的处理方法，其特征在于，包括：

获取医学图像的至少一个目标区域；所述医学图像为三维图像；

对每个所述目标区域进行三维重建，得到三维模型；所述三维模型包括每个所述目标区域对应的三维子模型；

将所述三维模型向VR设备发送，使得所述VR设备基于所述三维模型进行显示。

2.根据权利要求1所述的基于三维重建的处理方法，其特征在于，所述获取医学图像的至少一个目标区域，包括：

响应于针对所述医学图像的目标区域的选择操作，确定至少一个所述目标区域。

3.根据权利要求1所述的基于三维重建的处理方法，其特征在于，所述对每个所述目标区域进行三维重建，得到三维模型，包括：

确定与每个所述目标区域对应的设计阈值范围；

基于与每个所述目标区域对应的设计阈值范围，将每个所述目标区域进行三维重建，得到每个所述目标区域对应的三维子模型；所述三维模型包括每个所述三维子模型。

4.根据权利要求3所述的基于三维重建的处理方法，其特征在于，所述基于与每个所述目标区域对应的设计阈值范围，将每个所述目标区域进行三维重建，得到每个所述目标区域对应的三维子模型，包括：

根据所述医学图像的图像属性，将每个所述目标区域划分为至少两层待处理图像；每层所述待处理图像包括第一切面和第二切面；

确定每层所述待处理图像的第一切面和第二切面之间的多个立方体，基于与所述目标区域对应的设计阈值范围，确定每个所述立方体的等值面；

在每个所述目标区域中，将每个所述等值面合并后显示，得到所述目标区域对应的三维子模型。

5.根据权利要求4所述的基于三维重建的处理方法，其特征在于，确定每层所述待处理图像的第一切面和第二切面之间的多个立方体，基于与所述目标区域对应的设计阈值范围，确定每个所述立方体的等值面，包括：

按照设计路径，依次确定每层所述待处理图像的第一切面和第二切面之间的每个所述立方体的等值面；

以及，确定每层所述待处理图像的第一切面和第二切面之间的每个所述立方体的等值面，包括：

将所述待处理图像的第一切面的四个设计点与第二切面的四个设计点对应连接，形成一个立方体；

基于与所述目标区域对应的设计阈值范围，按照等值面提取算法，确定所述立方体的等值面。

6.根据权利要求2所述的基于三维重建的处理方法，其特征在于，响应于针对所述医学图像的目标区域选择操作，确定至少一个所述目标区域，包括：

响应于针对所述医学图像的目标区域的选择操作，确定至少一个目标轮廓；

对至少一个所述目标轮廓进行插值处理，得到至少一个所述目标区域。

7.根据权利要求1所述的基于三维重建的处理方法，其特征在于，所述对每个所述目标区域进行三维重建，得到三维模型之后，且将所述三维模型向VR设备发送之前，还包括：

基于所述三维模型确定每个针模型的至少一个候选进针路径；

针对每个所述候选进针路径，确定每个针模型的三维向量信息。

8.根据权利要求7所述的基于三维重建的处理方法，其特征在于，所述基于所述三维模型确定每个针模型的至少一个候选进针路径，包括：

调整每个针模型的方向和/或位置；

若两个所述针模型相接触或所述针模型与设计的所述三维子模型相接触，则显示所述针模型为设计的第一颜色。

9.根据权利要求7所述的基于三维重建的处理方法，其特征在于，针对每个所述候选进针路径，确定每个针模型的三维向量信息之后，还包括：

针对每个所述候选进针路径，根据每个所述针模型的参数信息，在每个所述针模型的针尖处形成对应的第一区域范围；

针对每个所述候选进针路径，将每个所述针模型的第一区域范围叠加形成第二区域范围，以确定所述第二区域范围是否覆盖设计的目标区域范围。

10.根据权利要求7所述的基于三维重建的处理方法，其特征在于，所述将所述三维模型向VR设备发送，使得所述VR设备基于所述三维模型进行显示，包括：

将所述三维模型、每个所述针模型及每个所述针模型的三维向量信息，向VR设备发送，使得所述VR设备基于所述三维模型进行显示，并基于每个所述针模型的三维向量信息对每个所述针模型进行显示。

11.一种基于三维重建的处理装置，其特征在于，包括：

获取模块，用于获取医学图像的至少一个目标区域；所述医学图像为三维图像；

三维重建模块，用于对每个所述目标区域进行三维重建，得到三维模型；所述三维模型包括每个所述目标区域对应的三维子模型；

发送模块，用于将所述三维模型向VR设备发送，使得所述VR设备基于所述三维模型进行显示。

12.一种电子设备，其特征在于，包括：

处理器；

存储器，与所述处理器通信连接；

至少一个程序，被存储在所述存储器中并被配置为由所述处理器执行，所述至少一个程序被配置用于：实现如权利要求1-10中任一项所述的基于三维重建的处理方法。

13.一种基于三维重建的显示系统，其特征在于，包括：VR设备和如权利要求12所述的电子设备；

所述VR设备，与所述电子设备通信连接，用于对所述三维模型进行显示。

14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被电子设备执行时实现如权利要求1-10中任一项所述的基于三维重建的处理方法。

Images