CN114708404A - 基于机器学习的端到端手术穿刺路径自动规划方法及系统 - Google Patents

Abstract

本发明公开了一种基于机器学习的端到端手术穿刺路径自动规划方法及系统，其步骤包括：步骤1，采集现有病例的样本图像数据并进行预处理，得到矢状面热图和冠状面热图；步骤2，设计端到端的深度神经网络模型，并对其进行训练，从而得到穿刺路径自动规划模型；步骤3，利用穿刺路径自动规划模型对患者的样本图像数据进行预测得到影像坐标系下的靶点和进针穿刺点坐标；步骤4，计算磁共振影像坐标系到物理世界坐标系的配准矩阵；步骤5，将影像坐标系下的靶点和进针穿刺点坐标配准到物理世界坐标系，从而完成手术穿刺路径规划。本发明能够快速确定手术穿刺路径及入针点位置，并智能规划穿刺路径，从而能提高规划效率以及定位精度。

Description

基于机器学习的端到端手术穿刺路径自动规划方法及系统

技术领域

本发明属于人工智能与医疗自动化技术领域，涉及基于机器学习的手术穿刺路径自动规划方法及手术穿刺路径自动规划系统，并能用于医疗手术穿刺机器人或无创式手术3D自动定位导航平台。

背景技术

在外科穿刺手术(穿刺活检、定向血肿抽吸、定向植入等)中，医生进行穿刺路径规划时需要在手术导航软件上反复查看计算机断层扫描(CT)图像或核磁共振成像(MRI)图像，通过在患者头部或腹胸腔部等的横断面、矢状面、冠状面视图中不断调整穿刺针轨迹来完成手术规划。在这个过程中，医生需要花费大量时间来确保靶点准确和调整合适的穿刺路径以避开重要组织，这不仅要求医生临床经验丰富，熟练手术导航软件，而且增加了手术时间和医生工作量，长时间的人工操作还容易造成医生的视觉与体力疲劳，不利于手术的顺利进行，同时造成了潜在的医疗安全隐患。

随着机器学习在各个领域的应用发展，将机器学习运用于医疗领域具有很大的发展潜力，过往有研究通过机器学习的方法对组织图像进行分割、识别，判断病变部位和种类来辅助医生完成医疗诊断等，但借助机器学习的方法获取脑部或腹胸腔部图像以及靶区组织(病灶、血肿、特定组织等)的相应特征，从而由深度学习网络直接给出靶点和入颅点坐标确定穿刺路径、用于穿刺手术的研究未有报道。

《中国微侵袭神经外科杂志》2017年2月20日第22卷第2期p.49-50报道了一种“功能神经外科精准时代的助推器——ROSA手术机器人”，采用一种无标记点的激光自动注册和配准方式来实现术中激光定向与定位功能，同时带有强大的影像处理功能，可将病人多种影像资料(如CTA、MRA等)进行高质量融合，形成三维图像，进而根据靶点核团或血肿形态、颅内血管走行等设计个性化手术路径；医生提前设定好手术靶点和手术路径后，机械臂可自行定位和穿刺。该机器人系统可适用于神经内镜手术并可术中实时导航，极大地增加神经外科手术精准度和安全性，且操作简易，应用范围广，减少围手术期并发症。但该机器人系统庞大复杂，造价昂贵，一套机器人系统需要耗资上千万，并且应用范围不够广泛，由于需要脑深部电刺激(DBS)植入，故只能用于神经外科领域，无法推广至胸、腹部外科手术等其他应用场合。

CN107669342A(申请号：CN201711068286.7)公开了“一种具有精确定位效果的手术机器人”，主要用于心脏外科和前列腺切除术，通过红外感应器和深度感应器的配合使用，可以检测到人体的红外线从而通过控制器控制驱动器的运转，通过控制器控制驱动器能够带动手术刀进行手术工作，具有精确定位效果，能大大提高对患者的手术效果。然而机器人缺乏一套完善可靠的术前手术计划系统，智能化程度不够高。

CN104083217A(申请号：CN201410314667.9)公开了“一种手术定位装置和方法以及机器人手术系统”，该手术定位装置包括定位标尺、上位机和至少六自由度的串联机械臂，上位机与串联机械臂连接，定位标尺包括透X光的两相对面，两相对面通过透X光的连接面固定连接，两相对面上均设置有一组标记，每组标记包括至少四个不在一条直线上的标记点，标记点为不透X光的部件；任一相对面或连接面固定连接标尺柄，标尺柄通过接口与串联机械臂末端连接；上位机通过控制串联机械臂的运动来调整定位标尺的位置以进行透射角度的变换，并根据采集的图像中的标记点进行空间定位计算，得到规划路径。该装置能够实现任意角度的透视定位，并能消除计算手术路径时引起的系统误差，增大工作空间，提高手术定位精度。但该装置的手术路径规划及定位系统比较复杂繁琐，且缺乏一定的力和位置检测反馈系统，无法获得针对患者要害区域和关键器官部位的准确分割识别结果以及安全进针约束区域，规划效率不够高。

CN106236258A(申请号：CN201610681311.8)公开了一种“腹腔微创手术穿刺路径的规划方法及装置”，通过超声单元实时捕获腹腔中病灶脏器生成超声图像；根据实时捕获的所述超声图像确定腹腔中病灶脏器的动态变化；以及根据所述病灶脏器的动态变化，对预先规划的穿刺路径进行微调，以使微调后的穿刺路径仅针对所述病灶脏器而避开除所述病灶脏器外的敏感器官。该规划方法实现了对穿刺路径的微调，使得微调后的穿刺路径准确地对准病灶脏器上的靶点，从而降低了手术方案的制定难度。但该规划方法仍属于传统领域的影像特征识别方法，不具备人工智能因素，识别精确度与操作智能化程度有限。

发明内容

本发明是为了解决上述现有技术存在的不足之处，提出一种基于机器学习的端到端手术穿刺路径自动规划方法及系统，以期能快速确定靶点及入针点位置，从而智能确定穿刺路径，从而能提高规划效率以及定位精度。

本发明为达到上述发明目的，采用如下技术方案：

本发明一种基于机器学习的端到端手术穿刺路径自动规划方法的特点在于，包括：

步骤(1)，获取多个现有病例中与待手术患者病灶所在相同区域的样本图像数据集，并对所述样本图像数据集进行偏置场校正和灰度均衡化的预处理，得到预处理后的样本图像数据集；

对预处理后的样本图像数据集中每幅图像在磁共振图像坐标系的靶点位置和靶点位置进行标注，得到每幅图像的靶点位置的三维坐标和进针点位置的三维坐标；

步骤(2)，根据每幅图像的靶点位置的三维坐标和进针点位置的三维坐标，分别生成每幅图像的靶点矢状面热图和靶点冠状面热图以及进针点矢状面热图和进针点冠状面热图；

构建端到端的深度回归神经网络，并以靶点、进针点的矢状面热图和冠状面热图作为网络回归金标准、以所述预处理后的样本图像数据集作为训练数据输入所述深度回归神经网络中进行深度学习，从而得到穿刺路径自动规划模型；

步骤(3)，获取佩戴立体定向框架时的待手术患者病灶所在区域的样本图像数据并进行预处理，得到预处理后的样本图像数据并输入穿刺路径自动规划模型中，从而对待手术患者的样本图像数据进行预测，得到待手术患者的样本图像数据的靶点矢状面热图和冠状面热图以及进针点矢状面热图和冠状面热图，再计算待手术患者的靶点矢状面热图和靶点矢状面热图的靶点外积三维矩阵，从而取靶点外积三维矩阵中的最大值所在位置即为磁共振图像坐标系下的靶点坐标，同理，计算待手术患者的进针点矢状面热图和进针点矢状面热图的进针点外积三维矩阵，从而取进针点外积三维矩阵中的最大值所在位置即为磁共振图像坐标系下的进针点坐标；

步骤(4)，检测所述待手术患者的样本图像数据中的立体定向框架在磁共振图像坐标系中的位置坐标，并根据立体定向框架在物理世界坐标系中的坐标关系，计算磁共振坐标系到物理世界坐标系的配准矩阵；

步骤(5)，根据所述磁共振图像坐标系下的靶点坐标和进针点坐标以及所述配准矩阵，将所述待手术患者在磁共振图像坐标系下的靶点和进针点的坐标配准到以立体定向框架所确定的物理世界坐标系中，从而完成手术穿刺路径规划。

本发明所述的基于机器学习的端到端手术穿刺路径自动规划方法的特点也在于：步骤(2)中的矢状面和冠状面热图是以磁共振图像坐标系下靶点位置的三维坐标(p_x,p_y,p_z)和进针点位置的三维坐标(p′_x,p′_y,p′_z)分别投影到矢状面和冠状面，以靶点投影后的二维坐标为中心，利用式(1)和式(2)分别生成靶点冠状面高斯热图Y_xz和靶点矢状面高斯热图Y_yz，同理得到以进针点投影后的二维坐标为中心，生成的进针点冠状面高斯热图Y′_xz和进针点矢状面高斯热图Y′_yz：

式(1)和式(2)中，x，y，z表示磁共振图像坐标系下中任意一点的三维坐标值，σ_p表示高斯分布的标准差。

进一步地，所述步骤(2)中的端到端的深度回归神经网络包括：高维特征提取模块、高维特征到冠状面特征和矢状面特征转换模块、矢状面和冠状面热图回归模块：

所述高维特征提取模块是由M个卷积单元HConvBlock组成，每个卷积单元HConvBlock包括一个三维卷积层Conv3D，一个归一化层InstanceNorm3d，一个激活层ReLu；所述高维特征提取模块用于将所述训练数据映射到高维特征空间，从而得到高维特征；

所述高维特征到冠状面特征和矢状面特征转换模块是由两个可学习的三维卷积模块组成；

其中，第一个可学习的三维卷积模块用于去除所述高维特征中的冠状轴维度后，得到包含靶点和进针点信息的矢状面特征；

第二个可学习的三维卷积模块用于去掉所述高维特征中的矢状轴维度后，得到包含靶点和进针点信息的冠状面特征；

所述矢状面和冠状面热图回归模块是由一个包含两个输入分支、一个特征融合模块、两个输出分支的二维卷积回归网络组成；

所述二维卷积回归网络的两个输入分支分别接收矢状面特征和和冠状面特征，并经过特征融合模块的处理后，由一个输出分支输出靶点冠状面高斯热图Y_xz和进针点冠状面高斯热图Y′_xz，并由另一个分支输出靶点矢状面高斯热图Y_yz和进针点矢状面高斯热图Y′_yz。

进一步地，所述第一个可学习的三维卷积模块包括：特征维度交换层、N个卷积单元SagTConvBlock；其中任意一个卷积单元SagTConvBlock包括一个卷积核尺寸为k＝1×1×1的三维卷积层Conv3D，一个归一化层InstanceNorm3d，一个激活层ReLu；

所述第一个可学习的三维卷积模块是以高维特征F∈R^{B×C×D×H×W}作为输入，并经过所述特征维度交换层的处理，将高维特征冠状轴维度W交换至通道维度C后得到交换后的高维特征F′∈R^{B×W×C×D×H}；再依次经过N个卷积单元SagTConvBlock的处理，将高维特征冠状轴维度W不断减小至1为止，然后去除维度W＝1后，得到包含靶点和进针点信息的矢状面特征F”∈R^B×C×D×H；B表示批处理中病例的数量，C表示特征通道数，D，H，W分别表示磁共振数据的深度，高度，宽度；

所述第二个可学习的三维卷积模块包括：特征维度交换层、N个卷积单元CorTConvBlock其中任意一个卷积单元CorTConvBlock包括一个卷积核尺寸为k＝1×1×1的三维卷积层Conv3D，一个归一化层InstanceNorm3d，一个激活层ReLu；

所述第二个可学习的三维卷积模块以高维特征F∈R^{B×C×D×H×W}作为输入，并经过所述特征维度交换层的处理，将高维特征矢状轴维度H交换至通道维度C后得到交换后的高维特征F′∈R^{B×H×C×D×W}，再依次经过N个卷积单元CorTConvBlock的处理，将高维特征矢状轴维度H不断减小至1为止，然后去除维度H＝1后，得到包含靶点和进针点信息的冠状面特征F”∈R^B×C×D×W。

进一步地，所述矢状面和冠状面热图回归模块中的每个输入分支是由K个卷积单元InConvBlock和K个池化层MaxPool2d交替连接而成，每个卷积单元InConvBlock包括：一个卷积核尺寸为k＝3×3的二维卷积层Conv2D，一个归一化层InstanceNorm2d，一个激活层ReLu；

其中，卷积单元InConvBlock用于提取矢状面特征和和冠状面特征更高层次的语义信息，并经过后续连接的池化层来降低特征的空间尺寸；

所述特征融合模块包括特征级联层Concat，R个卷积单元FuseConvBlock组成；其中每个卷积单元FuseConvBlock包括一个卷积核尺寸为k＝3×3的二维卷积层Conv2D，一个归一化层InstanceNorm2d，一个激活层ReLu；

矢状面特征和和冠状面特征经过各自的输入分支后，在特征级联层Concat进行拼接处理后，再依次经过R个卷积单元FuseConvBlock的特征提取，得到矢状面和和冠状面的融合特征；

所述二维卷积回归网络的每个输出分支是由K个上采样层ConvTranspose2d和K个卷积单元RegConvBlock交替连接而成；其中，每个卷积单元RegConvBlock包括一个卷积核尺寸为k＝3×3的二维卷积层Conv2D，一个归一化层InstanceNorm2d，一个激活层ReLu；

所述矢状面和和冠状面的融合特征分别输入两个输出分支中，并经过上采样层的放大处理后与所述输入分支中相同尺寸的特征级联后，输入相应连接的卷积单元RegConvBlock中提取高层语义特征，最终由一个输出分支输出靶点冠状面高斯热图Y_xz和进针点冠状面高斯热图Y′_xz，并由另一个分支输出靶点矢状面高斯热图Y_yz和进针点矢状面高斯热图Y′_yz。

进一步地，数据预处理模块，用于获取多个现有病例中的与待手术患者病灶所在相同区域的样本图像数据集，对所述样本图像数据集进行偏置场校正和灰度均衡化的预处理，得到预处理后的样本图像数据集；对预处理后的样本图像数据集中每幅图像在磁共振图像坐标系的靶点位置和靶点位置进行标注，得到每幅图像的靶点位置的三维坐标和进针点位置的三维坐标，并根据每幅图像的靶点位置的三维坐标和进针点位置的三维坐标，分别生成每幅图像的靶点矢状面热图和靶点冠状面热图以及进针点矢状面热图和进针点冠状面热图；

端到端深度回归神经网络模型构造模块，并以靶点、进针点的矢状面热图和冠状面热图作为网络回归金标准、以所述预处理后的样本图像数据集作为训练数据输入所述深度回归神经网络中进行深度学习，从而得到穿刺路径自动规划模型；

靶点、进针点坐标预测模块，用于获取佩戴立体定向框架时的待手术患者病灶所在区域的样本图像数据并进行预处理，得到预处理后的样本图像数据并输入穿刺路径自动规划模型中，从而对待手术患者的样本图像数据进行预测，得到待手术患者的样本图像数据的靶点矢状面热图和冠状面热图以及进针点矢状面热图和冠状面热图，再计算靶点矢状面热图和靶点矢状面热图的靶点外积三维矩阵，从而取靶点外积三维矩阵中的最大值所在位置即为磁共振图像坐标系下的靶点坐标，同理，计算进针点矢状面热图和进针点矢状面热图的进针点外积三维矩阵，从而取进针点外积三维矩阵中的最大值所在位置即为磁共振图像坐标系下的进针点坐标；

影像坐标系到立体定向框架世界坐标系配准模块，用于检测所述待手术患者的样本图像数据中的立体定向框架在磁共振图像坐标系中的位置坐标，并根据立体定向框架以物理世界坐标系中的坐标关系，计算磁共振坐标系到物理世界坐标系的配准矩阵；

手术穿刺路径规划模块，是根据所述磁共振图像坐标系下的靶点坐标和进针点坐标以及所述配准矩阵，将所述待手术患者在磁共振图像坐标系下的靶点和进针点的坐标配准到以立体定向框架所确定的物理世界坐标系中，从而完成手术穿刺路径规划。

进一步地，端到端深度回归神经网络模型构造模块中的穿刺路径自动规划模型包括：高维特征提取模块、高维特征到冠状面特征和矢状面特征转换模块、矢状面和冠状面热图回归模块；

所述高维特征提取模块是由M个卷积单元HConvBlock组成，每个卷积单元HConvBlock包括一个三维卷积层Conv3D，一个归一化层InstanceNorm3d，一个激活层ReLu，所述高维特征提取模块用于将训练数据映射到高维特征空间，从而得到高维特征；

所述高维特征到冠状面特征和矢状面特征转换模块是由两个可学习的三维卷积模块组成；

其中，第一个可学习的三维卷积模块用于去除所述高维特征中的冠状轴维度后，得到包含靶点和进针点信息的矢状面特征；

第二个可学习的三维卷积模块用于去掉所述高维特征中的矢状轴维度后，得到包含靶点和进针点信息的冠状面特征；

所述矢状面和冠状面热图回归模块是由一个带有两个输入分支、特征融合模块、两个输出分支的二维卷积回归网络组成；

所述二维卷积回归网络的两个输入分支分别接收矢状面特征和和冠状面特征，并经过二维卷积回归网络的处理后，由一个输出分支输出靶点冠状面高斯热图Y_xz和进针点冠状面高斯热图Y′_xz，并由另一个分支输出靶点矢状面高斯热图Y_yz和进针点矢状面高斯热图Y′_yz。

与现有技术相比，本发明的有益效果在于：

1、本发明在机器学习方法中引入了人工智能技术，智能化程度高。由于采用端到端回归模型，以患者的计算机断层扫描数据和核磁共振成像三维数据作为模型输入，模型输出可直接得到靶点坐标和进针点坐标，完成术前手术计划。跟当前穿刺手术须由经验丰富的医生耗费大量时间制定术前手术计划相比，智能化程度极大提升。同时，由于深度学习算法省去了不少繁琐的精密医疗器械等硬件环节，大大节约了术前穿刺路径规划时间成本，提高了综合性价比。

2、本发明为穿刺手术目标点提供了较高的识别精度，有效避免了穿刺针对患者要害区域和关键器官部位带来的损伤，可靠性高。由于采用大量样本数据，高度模拟医生手术规划过程，网络获得了对穿刺路径范围内重要的组织和器官较高的识别能力，使得穿刺过程能够准确预知穿刺路径范围内重要的组织和器官边缘位置，有效避开了穿刺针对患者要害区域和关键器官部位的损伤。

3、本发明自动化程度高，克服了当前医生人工参与手术操作全程的固有缺陷，手术路径规划效率高。基于机器学习的端到端回归模型，以患者的计算机断层扫描数据和核磁共振成像三维数据作为模型输入，模型输出即可直接得到靶点坐标和进针点坐标，而不需要像传统方法中先分割靶点组织和候选进针区域，不需要再根据分割结果计算靶点坐标和进针点坐标，不需要将手术穿刺路径规划问题转化为三维空间内的轨迹规划问题，即可得到最佳穿刺点及穿刺路径，极大降低了术前手术规划时间，将耗费数小时的手术计划缩短至以分钟为单位，减少了医生工作量，降低了手术难度，并去除了对医生操作经验的依赖，以及需要反复观察图像调整穿刺路径造成的医生高工作负荷问题，提高了手术路径规划效率。

附图说明

图1为本发明基于机器学习的端到端手术穿刺路径自动规划方法的总体流程的示意图；

图2为利用本发明的手术穿刺路径自动规划方法进行穿刺路径规划时，采用立体辅助定位仪进行穿刺目标点定位调整的典型操作界面的示意图；

图3为患者头部固定的立体定向框架示意图；

图4为立体定向框架在磁共振图像上的显影为白色亮点的示意图；

图5为本发明端到端深度回归网络中高维特征提取模块的示意图；

图6为本发明端到端深度回归网络中高维特征到矢状面特征和冠状面特征转换模块的示意图；

图7为本发明端到端深度回归网络中特征融合回归网络结构模块的示意图；

图8为本发明端到端回归端到端手术穿刺路径规划模型整体结构的示意图；

图9为本发明靶点位置的示意图；

图10a为应用本发明基于机器学习的端到端手术穿刺路径自动规划方法获得的最佳穿刺点的示意图；

图10b为应用本发明基于机器学习的端到端手术穿刺路径自动规划方法获得的最佳穿刺路径的示意图。

图中标号：1立体辅助定位仪。

具体实施方式

本实施例中，一种智能化程度高、规划效率高、定位精度高、安全性好、性价比高的基于机器学习的手术穿刺路径自动规划方法，用于医疗手术穿刺机器人或无创式手术3D自动定位导航平台或可供脑立体定位仪或医疗机械臂实现手术导航，具体的说，如图1所示，是按如下步骤进行：

步骤(1)，获取多个现有病例中的与待手术患者病灶所在区域相同的区域的样本图像数据集，对该样本图像数据进行预处理，在经预处理后的该样本图像数据所表示的图像中标注靶点位置三维坐标和进针点位置三维坐标。

样本图像数据例如可以为计算机断层扫描(CT)数据和核磁共振成像(MRI)数据中的至少一者。在预处理中，对样本图像数据进行例如偏置场校正(bias fieldcorrection)、灰度均衡化等预处理。

灰度均衡化是指通过拉伸像素强度分布范围来增强图像对比度的处理。灰度均衡化的方法例如为直方图均衡化，通过统计图像的灰度直方图，调整图像灰度级动态范围，用于提高计算机断层扫描(CT)数据和核磁共振成像(MRI)数据的对比度。

步骤(2)，根据每幅图像的靶点位置的三维坐标和进针点位置的三维坐标，分别生成每幅图像的靶点矢状面热图和靶点冠状面热图以及进针点矢状面热图和进针点冠状面热图；

设计端到端的深度回归神经网络结构，并以靶点、进针点的矢状面热图和冠状面热图作为网络回归金标准、以预处理后的样本图像数据集作为训练数据输入深度回归神经网络中进行深度学习，从而得到穿刺路径自动规划模型。

具体实施中，步骤(2)中的矢状面和冠状面热图是指以磁共振图像坐标系下靶点位置的三维坐标(p_x,p_y,p_z)和进针点位置的三维坐标(p′_x,p′_y,p′_z)分别投影到矢状面和冠状面，以靶点投影后的二维坐标为中心，利用式(1)和式(2)分别生成靶点冠状面高斯热图Y_xz和靶点矢状面高斯热图Y_yz，同理得到以进针点投影后的二维坐标为中心，生成的进针点冠状面高斯热图Y′_xz和进针点矢状面高斯热图Y′_yz：

式(1)和式(2)中，x，y，z表示磁共振图像坐标系下中任意一点的三维坐标值，σ_p表示高斯分布的标准差。

本实施例中，端到端深度回归神经网络结构，如图8所示，由三部分组成，分别是高维特征提取模块、高维特征到冠状面特征和矢状面特征转换模块、矢状面和冠状面热图回归模块：

高维特征提取模块是指，以三维磁共振MRI数据作为输入，高维特征提取模块是由M个卷积单元HConvBlock组成，每个卷积单元HConvBlock包括一个三维卷积层Conv3D，一个归一化层InstanceNorm3d，一个激活层ReLu，如图5所示，高维特征提取模块用于将训练数据映射到高维特征空间，从而得到高维特征；

高维特征到冠状面特征和矢状面特征转换模块，如图6所示，由两个可学习的三维卷积模块组成；

其中，第一个可学习的三维卷积模块用于去除高维特征中的冠状轴维度后，得到包含靶点和进针点信息的矢状面特征，包括：特征维度交换层、N个卷积单元SagTConvBlock；其中任意一个卷积单元SagTConvBlock包括一个卷积核尺寸为k＝1×1×1的三维卷积层Conv3D，一个归一化层InstanceNorm3d，一个激活层ReLu；

第一个可学习的三维卷积模块是以高维特征F∈R^{B×c×D×H×W}作为输入，并经过特征维度交换层的处理，将高维特征冠状轴维度W交换至通道维度C后得到交换后的高维特征F′∈R^{B×W×C×D×H}；再依次经过N个卷积单元SagTConvBlock的处理，将高维特征冠状轴维度W不断减小至1为止，然后去除维度W＝1后，到包含靶点和进针点信息的矢状面特征F”∈R^B×C×D×H；B表示批处理中病例的数量，C表示特征通道数，D，H，W表示磁共振数据的深度，高度，宽度，每经过一个卷积单元SagTConvBlock，M减小为原来的一半，直至W＝1；

第二个可学习的三维卷积模块包括：特征维度交换层、N个卷积单元CorTConvBlock其中任意一个卷积单元CorTConvBlock包括一个卷积核尺寸为k＝1×1×1的三维卷积层Conv3D，一个归一化层InstanceNorm3d，一个激活层ReLu；

第二个可学习的三维卷积模块以高维特征F∈R^{B×C×D×H×W}作为输入，并经过特征维度交换层的处理，将高维特征矢状轴维度H交换至通道维度C后得到交换后的高维特征F′∈R^{B×H×C×D×W}，再依次经过N个卷积单元CorTConvBlock的处理，将高维特征矢状轴维度H不断减小至1为止，然后去除维度H＝1后，得到包含靶点和进针点信息的冠状面特征F”∈R^B×C×D×W，每经过一个卷积单元CorTConvBlock，H减小为原来的一半，直至H＝1；

矢状面和冠状面热图回归模块，如图7所示，是由一个带有两个输入分支、一个特征融合模块、两个输出分支的二维卷积回归网络组成；两个分支分别对应于矢状面和冠状面，将上述矢状面特征和冠状面特征作为输入，网络回归的目标为靶点和进针点的冠状面高斯热图Y_xz、Y′_xz，靶点和进针点的矢状面高斯热图Y_yz、Y′_yz，

矢状面和冠状面热图回归模块中的每个输入分支是由K个卷积单元InConvBlock和K个池化层MaxPool2d交替连接而成，每个卷积单元InConvBlock包括：一个卷积核尺寸为k＝3×3的二维卷积层Conv2D，一个归一化层InstanceNorm2d，一个激活层ReLu；

其中，卷积单元InConvBlock用于提取矢状面特征和和冠状面特征更高层次的语义信息，并经过后续连接的池化层来降低特征的空间尺寸；

特征融合模块包括特征级联层Concat，R个卷积单元FuseConvBlock组成；其中每个卷积单元FuseConvBlock包括一个卷积核尺寸为k＝3×3的二维卷积层Conv2D，一个归一化层InstanceNorm2d，一个激活层ReLu；

矢状面特征和和冠状面特征经过各自的输入分支后，在特征级联层Concat进行拼接处理后，再依次经过R个卷积单元FuseConvBlock的特征提取，得到矢状面和和冠状面的融合特征；

二维卷积回归网络的每个输出分支是由K个上采样层ConvTranspose2d和K个卷积单元RegConvBlock交替连接而成；其中，每个卷积单元RegConvBlock包括一个卷积核尺寸为k＝3×3的二维卷积层Conv2D，一个归一化层InstanceNorm2d，一个激活层ReLu；

矢状面和和冠状面的融合特征分别输入两个输出分支中，并经过上采样层的放大处理后与输入分支中相同尺寸的特征级联后，输入相应连接的卷积单元RegConvBlock中提取高层语义特征，最终由一个输出分支输出靶点冠状面高斯热图Y_xz和进针点冠状面高斯热图Y′_xz，并由另一个分支输出靶点矢状面高斯热图Y_yz和进针点矢状面高斯热图Y′_yz；

步骤(3)，获取待手术患者的病灶所在区域的样本图像数据，对该样本图像数据进行预处理，将经预处理后的该样本图像数据作为输入数据放入步骤(2)中训练完成的端到端深度回归神经网络模型，利用深度回归神经网络模型对患者的样本图像数据进行预测得到靶点、进针点矢状面和冠状面热图，相应矢状面和冠状面热图外积得到最大值所在位置即为影像坐标系下的靶点和进针穿刺点坐标。

步骤(3)中影像坐标系下的靶点和进针穿刺点坐标计算方法为：端到端深度回归神经网络预测的靶点和进针点的冠状面高斯热图可表示为

靶点和进针点的矢状面高斯热图可表示为

靶点对应的三维热图

其中

表示外积，所预测的影像坐标系下的靶点坐标

即为Y_靶点最大值所在位置，进针点对应的三维热图

进针点三维坐标(p′_x,p′_y,p′_z)即为Y_进针点最大值所在的位置，靶点为图9所示白色位置，进针点如图10a所示，由靶点和进针点确定的穿刺路径在磁共振坐标系下如图10b所示。

样本图像数据例如可以为待手术患者的计算机断层扫描(CT)数据和核磁共振成像(MRI)数据。

预处理的内容例如可以与对现有病例进行的预处理相同。

步骤(4)，检测磁共振(MRI)影像数据中立体定向框架位置坐标，根据立体定向框架在物理世界坐标系中的坐标关系，计算磁共振(MRI)坐标系到物理世界坐标系的配准矩阵，立体定向框架如图3所示。

步骤(4)中检测磁共振(MRI)影像数据中立体定向框架位置坐标计算方法为：

立体定向框架在磁共振(MRI)影像数据每一个切片中显影为白色的亮点，如图4所示，对亮点的检测分为如下步骤：

对一个MRI切片，设定一个低阈值,设定一个高阈值,再设定一个阈值步进,然后从低阈值到高阈值按照阈值步进取一系列的阈值,用每一个阈值对图像进行二值化，得到一系列图像；

对每张二值图片，查找这些图像的轮廓,并计算每一个轮廓的中心；

根据上述得到每一个图片的轮廓的中心点，全部放在一起，定义一个最小距离,在这个距离区域内的特征中心点被归为一个组,对应一个特征,得到特征点集合；

从上述得到的特征点集合，估计最后的特征和相应半径，对特征点进行相应的过滤,包括颜色过滤和面积过滤，得到最终的立体定向框架在磁共振(MRI)影像数据中位置坐标{(X₁,Y₁,Z₁),…,(X_n,Y_n,Z_n}；

由于立体定向框架在物理世界坐标系中的绝对坐标是已知的，设{(X₁,Y₁,Z₁),…,(X_n,Y_n,Z_n)}在物理世界中对应的绝对坐标为

由式(3)即可计算得到磁共振(MRI)坐标系到物理世界坐标系的配准矩阵(R,T)，其中R为旋转矩阵，T为平移矩阵。

步骤(5)，基于步骤(3)中得到的影像坐标系下的靶点和进针穿刺点坐标和步骤(4)中获取的磁共振(MRI)坐标系到物理世界坐标系的配准矩阵，对待手术患者的影像坐标系下的靶点和进针穿刺点坐标配准到立体定向框架物理世界坐标系下，完成手术穿刺路径规划，如图2所示。

在本发明中，基于机器学习的端到端回归模型，以患者的计算机断层扫描数据和核磁共振成像三维数据作为模型输入，模型输出即可直接得到靶点坐标和进针点坐标，而不需要像传统方法中先分割靶点组织和候选进针区域，不需要再根据分割结果计算靶点坐标和进针点坐标，不需要将手术穿刺路径规划问题转化为三维空间内的轨迹规划问题，即可得到最佳穿刺点及穿刺路径。

本发明还提供与上述基于机器学习的手术穿刺路径自动规划方法对应的基于机器学习的手术穿刺路径自动规划系统，该手术穿刺路径自动规划系统包括分别与上述的手术穿刺路径自动规划方法的步骤(1)～(5)对应的模块。具体的说，该基于机器学习的端到端手术穿刺路径自动规划系统，包括：

数据预处理模块，用于获取多个现有病例中的与待手术患者病灶所在相同区域的样本图像数据集，对样本图像数据集进行偏置场校正和灰度均衡化的预处理，得到预处理后的样本图像数据集；对预处理后的样本图像数据集中每幅图像在磁共振图像坐标系的靶点位置和靶点位置进行标注，得到每幅图像的靶点位置的三维坐标和进针点位置的三维坐标，并根据每幅图像的靶点位置的三维坐标和进针点位置的三维坐标，分别生成每幅图像的靶点矢状面热图和靶点冠状面热图以及进针点矢状面热图和进针点冠状面热图；

端到端深度回归神经网络模型构造模块，并以靶点、进针点的矢状面热图和冠状面热图作为网络回归金标准、以预处理后的样本图像数据集作为训练数据输入深度回归神经网络中进行深度学习，从而得到穿刺路径自动规划模型；

靶点、进针点坐标预测模块，用于获取佩戴立体定向框架时的待手术患者病灶所在区域的样本图像数据并进行预处理，得到预处理后的样本图像数据并输入穿刺路径自动规划模型中，从而对待手术患者的样本图像数据进行预测，得到待手术患者的样本图像数据的靶点矢状面热图和冠状面热图以及进针点矢状面热图和冠状面热图，再计算靶点矢状面热图和靶点矢状面热图的靶点外积三维矩阵，从而取靶点外积三维矩阵中的最大值所在位置即为磁共振图像坐标系下的靶点坐标，同理，计算进针点矢状面热图和进针点矢状面热图的进针点外积三维矩阵，从而取进针点外积三维矩阵中的最大值所在位置即为磁共振图像坐标系下的进针点坐标；

影像坐标系到立体定向框架世界坐标系配准模块，用于检测待手术患者的样本图像数据中的立体定向框架在磁共振图像坐标系中的位置坐标，并根据立体定向框架以物理世界坐标系中的坐标关系，计算磁共振坐标系到物理世界坐标系的配准矩阵；

手术穿刺路径规划模块，是根据磁共振图像坐标系下的靶点坐标和进针点坐标以及配准矩阵，将待手术患者在磁共振图像坐标系下的靶点和进针点的坐标配准到以立体定向框架所确定的物理世界坐标系中，从而完成手术穿刺路径规划。

端到端深度回归神经网络模型构造模块中的穿刺路径自动规划模型包括：高维特征提取模块、高维特征到冠状面特征和矢状面特征转换模块、矢状面和冠状面热图回归模块；

高维特征提取模块是由M个卷积单元组成，每个卷积单元包括一个三维卷积层Conv3D，一个归一化层InstanceNorm3d，一个激活层ReLu，高维特征提取模块用于将训练数据映射到高维特征空间，从而得到高维特征；

高维特征到冠状面特征和矢状面特征转换模块是由两个可学习的三维卷积模块组成；

其中，第一个可学习的三维卷积模块用于去除高维特征中的冠状轴维度后，得到包含靶点和进针点信息的矢状面特征；

第二个可学习的三维卷积模块用于去掉高维特征中的矢状轴维度后，得到包含靶点和进针点信息的冠状面特征；

矢状面和冠状面热图回归模块是由一个带有两个输入分支、特征融合模块、两个输出分支的二维卷积回归网络组成；

二维卷积回归网络的两个输入分支分别接收矢状面特征和和冠状面特征，并经过二维卷积回归网络的处理后，由一个输出分支输出靶点冠状面高斯热图Y_xz和进针点冠状面高斯热图Y′_xz，并由另一个分支输出靶点矢状面高斯热图Y_yz和进针点矢状面高斯热图Y′_yz。

Claims (7)

1.一种基于机器学习的端到端手术穿刺路径自动规划方法，其特征在于，包括：

步骤(1)，获取多个现有病例中与待手术患者病灶所在相同区域的样本图像数据集，并对所述样本图像数据集进行偏置场校正和灰度均衡化的预处理，得到预处理后的样本图像数据集；

对预处理后的样本图像数据集中每幅图像在磁共振图像坐标系的靶点位置和靶点位置进行标注，得到每幅图像的靶点位置的三维坐标和进针点位置的三维坐标；

步骤(2)，根据每幅图像的靶点位置的三维坐标和进针点位置的三维坐标，分别生成每幅图像的靶点矢状面热图和靶点冠状面热图以及进针点矢状面热图和进针点冠状面热图；

构建端到端的深度回归神经网络，并以靶点、进针点的矢状面热图和冠状面热图作为网络回归金标准、以所述预处理后的样本图像数据集作为训练数据输入所述深度回归神经网络中进行深度学习，从而得到穿刺路径自动规划模型；

步骤(3)，获取佩戴立体定向框架时的待手术患者病灶所在区域的样本图像数据并进行预处理，得到预处理后的样本图像数据并输入穿刺路径自动规划模型中，从而对待手术患者的样本图像数据进行预测，得到待手术患者的样本图像数据的靶点矢状面热图和冠状面热图以及进针点矢状面热图和冠状面热图，再计算待手术患者的靶点矢状面热图和靶点矢状面热图的靶点外积三维矩阵，从而取靶点外积三维矩阵中的最大值所在位置即为磁共振图像坐标系下的靶点坐标，同理，计算待手术患者的进针点矢状面热图和进针点矢状面热图的进针点外积三维矩阵，从而取进针点外积三维矩阵中的最大值所在位置即为磁共振图像坐标系下的进针点坐标；

步骤(4)，检测所述待手术患者的样本图像数据中的立体定向框架在磁共振图像坐标系中的位置坐标，并根据立体定向框架在物理世界坐标系中的坐标关系，计算磁共振坐标系到物理世界坐标系的配准矩阵；

步骤(5)，根据所述磁共振图像坐标系下的靶点坐标和进针点坐标以及所述配准矩阵，将所述待手术患者在磁共振图像坐标系下的靶点和进针点的坐标配准到以立体定向框架所确定的物理世界坐标系中，从而完成手术穿刺路径规划。

2.根据权利要求1所述的基于机器学习的端到端手术穿刺路径自动规划方法，其特征在于：步骤(2)中的矢状面和冠状面热图是以磁共振图像坐标系下靶点位置的三维坐标(p_x,p_y,p_z)和进针点位置的三维坐标(p′_x,p′_y,p′_z)分别投影到矢状面和冠状面，以靶点投影后的二维坐标为中心，利用式(1)和式(2)分别生成靶点冠状面高斯热图Y_xz和靶点矢状面高斯热图Y_yz，同理得到以进针点投影后的二维坐标为中心，生成的进针点冠状面高斯热图Y′_xz和进针点矢状面高斯热图Y′_yz：

式(1)和式(2)中，x，y，z表示磁共振图像坐标系下中任意一点的三维坐标值，σ_p表示高斯分布的标准差。

3.根据权利要求1所述的基于机器学习的端到端手术穿刺路径自动规划方法，其特征在于：

所述步骤(2)中的端到端的深度回归神经网络包括：高维特征提取模块、高维特征到冠状面特征和矢状面特征转换模块、矢状面和冠状面热图回归模块：

所述高维特征提取模块是由M个卷积单元HConvBlock组成，每个卷积单元HConvBlock包括一个三维卷积层Conv3D，一个归一化层InstanceNorm3d，一个激活层ReLu；所述高维特征提取模块用于将所述训练数据映射到高维特征空间，从而得到高维特征；

所述高维特征到冠状面特征和矢状面特征转换模块是由两个可学习的三维卷积模块组成；

其中，第一个可学习的三维卷积模块用于去除所述高维特征中的冠状轴维度后，得到包含靶点和进针点信息的矢状面特征；

第二个可学习的三维卷积模块用于去掉所述高维特征中的矢状轴维度后，得到包含靶点和进针点信息的冠状面特征；

所述矢状面和冠状面热图回归模块是由一个包含两个输入分支、一个特征融合模块、两个输出分支的二维卷积回归网络组成；

所述二维卷积回归网络的两个输入分支分别接收矢状面特征和和冠状面特征，并经过特征融合模块的处理后，由一个输出分支输出靶点冠状面高斯热图Y_xz和进针点冠状面高斯热图Y′_xz，并由另一个分支输出靶点矢状面高斯热图Y_yz和进针点矢状面高斯热图Y′_yz。

4.根据权利要求3所述的基于机器学习的端到端手术穿刺路径自动规划方法，其特征在于：

所述第一个可学习的三维卷积模块包括：特征维度交换层、N个卷积单元SagTConvBlock；其中任意一个卷积单元SagTConvBlock包括一个卷积核尺寸为k＝1×1×1的三维卷积层Conv3D，一个归一化层InstanceNorm3d，一个激活层ReLu；

所述第一个可学习的三维卷积模块是以高维特征F∈R^{B×C×D×H×W}作为输入，并经过所述特征维度交换层的处理，将高维特征冠状轴维度W交换至通道维度C后得到交换后的高维特征F′∈R^{B×W×C×D×H}；再依次经过N个卷积单元SagTConvBlock的处理，将高维特征冠状轴维度W不断减小至1为止，然后去除维度W＝1后，得到包含靶点和进针点信息的矢状面特征F”∈R^{B ×c×D×H}；B表示批处理中病例的数量，C表示特征通道数，D，H，W分别表示磁共振数据的深度，高度，宽度；

所述第二个可学习的三维卷积模块包括：特征维度交换层、N个卷积单元CorTConvBlock其中任意一个卷积单元CorTConvBlock包括一个卷积核尺寸为k＝1×1×1的三维卷积层Conv3D，一个归一化层InstanceNorm3d，一个激活层ReLu；

所述第二个可学习的三维卷积模块以高维特征F∈R^{B×C×D×H×W}作为输入，并经过所述特征维度交换层的处理，将高维特征矢状轴维度H交换至通道维度C后得到交换后的高维特征F′∈R^{B×H×C×D×W}，再依次经过N个卷积单元CorTConvBlock的处理，将高维特征矢状轴维度H不断减小至1为止，然后去除维度H＝1后，得到包含靶点和进针点信息的冠状面特征F”∈R^{B ×C×D×W}。

5.根据权利要求3所述的基于机器学习的端到端手术穿刺路径自动规划方法，其特征在于：

所述矢状面和冠状面热图回归模块中的每个输入分支是由K个卷积单元InConvBlock和K个池化层MaxPool2d交替连接而成，每个卷积单元InConvBlock包括：一个卷积核尺寸为k＝3×3的二维卷积层Conv2D，一个归一化层InstanceNorm2d，一个激活层ReLu；

其中，卷积单元InConvBlock用于提取矢状面特征和和冠状面特征更高层次的语义信息，并经过后续连接的池化层来降低特征的空间尺寸；

所述特征融合模块包括特征级联层Concat，R个卷积单元FuseConvBlock组成；其中每个卷积单元FuseConvBlock包括一个卷积核尺寸为k＝3×3的二维卷积层Conv2D，一个归一化层InstanceNorm2d，一个激活层ReLu；

矢状面特征和和冠状面特征经过各自的输入分支后，在特征级联层Concat进行拼接处理后，再依次经过R个卷积单元FuseConvBlock的特征提取，得到矢状面和和冠状面的融合特征；

所述二维卷积回归网络的每个输出分支是由K个上采样层ConvTranspose2d和K个卷积单元RegConvBlock交替连接而成；其中，每个卷积单元RegConvBlock包括一个卷积核尺寸为k＝3×3的二维卷积层Conv2D，一个归一化层InstanceNorm2d，一个激活层ReLu；

所述矢状面和和冠状面的融合特征分别输入两个输出分支中，并经过上采样层的放大处理后与所述输入分支中相同尺寸的特征级联后，输入相应连接的卷积单元RegConvBlock中提取高层语义特征，最终由一个输出分支输出靶点冠状面高斯热图Y_xz和进针点冠状面高斯热图Y′_xz，并由另一个分支输出靶点矢状面高斯热图Y_yz和进针点矢状面高斯热图Y′_yz。

6.一种基于机器学习的端到端手术穿刺路径自动规划系统，其特征在于，包括：

数据预处理模块，用于获取多个现有病例中的与待手术患者病灶所在相同区域的样本图像数据集，对所述样本图像数据集进行偏置场校正和灰度均衡化的预处理，得到预处理后的样本图像数据集；对预处理后的样本图像数据集中每幅图像在磁共振图像坐标系的靶点位置和靶点位置进行标注，得到每幅图像的靶点位置的三维坐标和进针点位置的三维坐标，并根据每幅图像的靶点位置的三维坐标和进针点位置的三维坐标，分别生成每幅图像的靶点矢状面热图和靶点冠状面热图以及进针点矢状面热图和进针点冠状面热图；

端到端深度回归神经网络模型构造模块，并以靶点、进针点的矢状面热图和冠状面热图作为网络回归金标准、以所述预处理后的样本图像数据集作为训练数据输入所述深度回归神经网络中进行深度学习，从而得到穿刺路径自动规划模型；

靶点、进针点坐标预测模块，用于获取佩戴立体定向框架时的待手术患者病灶所在区域的样本图像数据并进行预处理，得到预处理后的样本图像数据并输入穿刺路径自动规划模型中，从而对待手术患者的样本图像数据进行预测，得到待手术患者的样本图像数据的靶点矢状面热图和冠状面热图以及进针点矢状面热图和冠状面热图，再计算靶点矢状面热图和靶点矢状面热图的靶点外积三维矩阵，从而取靶点外积三维矩阵中的最大值所在位置即为磁共振图像坐标系下的靶点坐标，同理，计算进针点矢状面热图和进针点矢状面热图的进针点外积三维矩阵，从而取进针点外积三维矩阵中的最大值所在位置即为磁共振图像坐标系下的进针点坐标；

影像坐标系到立体定向框架世界坐标系配准模块，用于检测所述待手术患者的样本图像数据中的立体定向框架在磁共振图像坐标系中的位置坐标，并根据立体定向框架以物理世界坐标系中的坐标关系，计算磁共振坐标系到物理世界坐标系的配准矩阵；

手术穿刺路径规划模块，是根据所述磁共振图像坐标系下的靶点坐标和进针点坐标以及所述配准矩阵，将所述待手术患者在磁共振图像坐标系下的靶点和进针点的坐标配准到以立体定向框架所确定的物理世界坐标系中，从而完成手术穿刺路径规划。

7.根据权利要求6所述的基于机器学习的端到端手术穿刺路径自动规划系统，其特征在于：

端到端深度回归神经网络模型构造模块中的穿刺路径自动规划模型包括：高维特征提取模块、高维特征到冠状面特征和矢状面特征转换模块、矢状面和冠状面热图回归模块；

所述高维特征提取模块是由M个卷积单元HConvBlock组成，每个卷积单元HConvBlock包括一个三维卷积层Conv3D，一个归一化层InstanceNorm3d，一个激活层ReLu，所述高维特征提取模块用于将训练数据映射到高维特征空间，从而得到高维特征；

所述高维特征到冠状面特征和矢状面特征转换模块是由两个可学习的三维卷积模块组成；

其中，第一个可学习的三维卷积模块用于去除所述高维特征中的冠状轴维度后，得到包含靶点和进针点信息的矢状面特征；

第二个可学习的三维卷积模块用于去掉所述高维特征中的矢状轴维度后，得到包含靶点和进针点信息的冠状面特征；

所述矢状面和冠状面热图回归模块是由一个带有两个输入分支、特征融合模块、两个输出分支的二维卷积回归网络组成；

所述二维卷积回归网络的两个输入分支分别接收矢状面特征和和冠状面特征，并经过二维卷积回归网络的处理后，由一个输出分支输出靶点冠状面高斯热图Y_xz和进针点冠状面高斯热图Y′_xz，并由另一个分支输出靶点矢状面高斯热图Y_yz和进针点矢状面高斯热图Y′_yz。

Images