CN113133802B - 一种基于机器学习的骨手术线自动定点方法 - Google Patents

Abstract

本发明涉及骨手术线定点技术领域，公开了一种基于机器学习的骨手术线自动定点方法，用以在骨手术前自动的为医生设计更加准确、合理的骨手术线。本发明首先以准备的骨手术线设计方案为样本，通过机器学习算法对样本进行学习，使得机器学习模型通过样本的学习掌握骨手术线设计规律；然后将当前手术患者的CT数据输入到机器学习模型，机器学习模型根据已掌握的骨手术线设计规律，自动输出骨手术线的位置信息。本发明适用于骨切开术和截骨术。

Description

一种基于机器学习的骨手术线自动定点方法

技术领域

本发明涉及骨手术线定点技术领域，特别涉及一种基于机器学习的骨手术线自动定点方法。

背景技术

骨切开术是指运用骨科专用手术工具对骨组织进行切开的术式，其辅以骨块的移动、拼接和固定等完成整个手术操作；截骨术是运用骨科专用手术工具对病变骨组织或按治疗需要对正常骨组织进行分离截断并移除的术式。两种术式常用于各类骨科手术，包括四肢骨、脊柱和颌骨等部位的手术，如：外伤、肿瘤、整形等。

骨骼深植于人体内部，隐蔽性较强，尤其是脊柱等骨结构，无法解剖实现肉眼观察，手术时容易伤及术区其他结构或其他组织和器官；而颌骨特殊的位置和与颅部相接的关系，决定了此区域的手术十分特殊，特别是对于颌骨整形外科来说，骨骼移动的毫厘就决定了手术后外貌的千里，除此之外，在该区域手术，极易损伤到周围重要的解剖结构；无论是四肢骨、脊柱或是颌骨，都对个体的体态、外貌有着至关重要的影响，严重者甚至会对患者心理造成不可磨灭的创伤。因此，正确的术前设计和对预设手术方案的精确实施是保证治疗成功的重要条件。

传统骨科手术治疗中，对于四肢骨和脊柱手术来说，第一，手术往往依靠经验和手感定位，定位的准确性不佳，存在清理不充分的问题，同时有可能因清理范围过大而给患者造成不必要的创伤，病灶方向、大小、深度都难以确定；第二，手术视野狭窄，无法精确定位截骨和切骨位置、截骨量无法精确测量及矫形空间角度不可控，同时术中多次X线暴露确定手术角度都是难以克服的问题；而对颌骨手术来说，手术难度就更大，除了上述难点以外，因手术可能会改变患者外貌，颌骨手术往往还要考虑手术切口位置、长短、术后瘢痕等，且面部解剖复杂，重要的解剖结构繁多，手术医生稍有不慎就可能引起大出血，神经损伤等严重并发症。

现如今临床工作中虽已经存在许多数字化软件可以对骨切开线、截骨线进行术前设计，但还需要设计者手动定点，费时费力，也难以确定与特殊解剖结构的关系，并且，在颌骨手术中这种术前设计更强调设计颌骨的移动距离，对截骨线的位置设计重视程度较低；在手术时，主刀医生对截骨线的确定也主要依赖于自己的主观经验，较少参考术前的截骨线设计，这些都为手术的实施和手术结果带来的极大的不确定性，甚至极有可能导致意外骨折，术中大出血，神经损伤，骨块移动、固定困难，牙齿失活的严重并发症出现。

发明内容

本发明要解决的技术问题是：提供一出基于机器学习的骨手术线自动定点方法，用以在骨手术前自动的为医生设计更加准确、合理的骨手术线。

为实现上述目的，本发明采用的技术方案是：一种基于机器学习的骨手术线自动定点方法，包括以下步骤：

A.以准备的骨手术线设计方案为样本，通过机器学习算法对样本进行学习，使得机器学习模型通过样本的学习掌握骨手术线设计规律；

B.将当前手术患者的CT数据输入到机器学习模型，机器学习模型根据已掌握的骨手术线设计规律，自动输出骨手术线的位置信息。

进一步的，步骤B在自动输出骨手术线的位置信息之后，输出骨手术线的位置信息将由医生进行可行性确认，确认可行之后，本次的骨手术线设计方案将作为新的样本重新导入机器学习模型进行学习，若不可行，则重新由医生进行修改，修改后重新作为学习样本导入机器学习模型，从而进一步优化机器学习功能。

具体的，所述骨手术线可以是截骨线或者骨切开线。

进一步的，步骤A具体可包括：

将准备的手术患者的术前CT数据导入，并根据CT数据所反应出来的密度差异，从CT数据中分别识别出手术区域内的骨骼组织以及指定解剖解构，并标出骨骼组织和指定解剖解构位置信息；

医生参考已标注出的骨骼组织和指定解剖解构的位置信息，设计出合适的骨手术线；

将骨骼组织的位置信息、指定解剖解构的位置信息以及医生设计的骨手术线作为样本，并输入到机器学习模型进行学习，使得机器学习模型通过样本的学习掌握骨手术线设计规律。

进一步的，对于颌骨整形手术，上述指定解剖解构包括神经、血管和牙根。

进一步的，为了便于骨骼组织和指定解剖解构的位置提取和标注，提取骨骼组织和指定解剖解构之前，需对CT数据对于的三维模型进行体位调正，具体的调整方式如下：

标注出耳点与眶下点以确定眶耳平面，调整眶耳平面使之平行于地面，标注出面中线使面中线平分三维头颅模型，以前鼻嵴点作为原点，三维头颅冠状面法线向颜面部的方向调整为X轴，三维头颅横断面法线向头顶方向调整为Y轴，三维头颅矢状面法线向患者右侧方向调整为Z轴，建立三维坐标系。

进一步的，所述机器学习模型可以为基于半监督学习的生成对抗性神经网络模型。

本发明的有益效果如下：

1、现有技术需要人工手动对骨手术线路径定点，对操作者的要求较高，初学者和低年资医生掌握起来有一定困难；操作费时费力。而本发明的自动化骨手术定点方案只需要导入待设计的CT数据，软件就可以根据算法自动确定截骨线，避免了在其中投入过多的人力成本和时间成本，且即使是不熟悉的人来操作也是可以很容易实现的。

2、以颌骨整形手术为例，现有技术在进行截骨线、骨切开线设计时未考虑到需要避开重要的解剖结构(如：神经血管和牙根)，随意性较大，在术中容易因为设计不佳或主刀医生经验判断错误导致神经血管被意外切断或损伤，牙根暴露损伤引起术中大出血，术后永久下唇麻木，牙失活，意外骨折等。而本发明通过严格的智能学习及精确定位，量化了截骨线、骨切开线的设计，避免了设计的主观性，在保证手术顺利实施的同时也避开了重要的解剖结构，避免了多种并发症的发生，简化了手术过程，对患者的预后也有着积极作用。

附图说明

图1为实施例提供的截骨线定点流程图。

具体实施方式

为能够在骨手术前自动的为医生设计更加准确、合理的骨手术线，本发明公开了一种基于机器学习的骨手术线自动定点方法，其包含了以下步骤：

S1，学习样本数据预处理：将学习样本的患者CT导入，调正CT模型体位，识别出手术区域内的骨骼组织以及指定的重要解剖解构，医生再对样本进行骨手术线设计。

本步骤具体包括：

S1-1，将准备的骨手术患者的术前CT数据导入，按照医学专业要求以调正CT模型体位；

S1-2，由于骨骼组织与神经、血管等重要解剖解构的密度存在差异，因此可以根据CT值所反应出来的密度差异识别出体位调正后的骨骼组织以及神经、血管等重要解剖解构，同时确定神经、血管等重要解剖结构与骨骼组织的位置；

S1-3，通过高年资医生对每一例患者的骨骼组织和重要解剖解构的位置信息及具体手术方式进行分析，在保证骨骼组织周围重要解剖结构完好的情况下，人工设计出合适的骨手术线。

S2，通过基于半监督学习的机器学习算法对大量的学习样本进行学习：得到经过S1处理的学习样本中神经、血管等重要解剖结构位置、手术线(例如截骨线)位置、手术线长度以及重要解剖结构与骨手术线之间的三维关系，利用机器学习算法进行学习，使得在经过大量样本学习后的算法能够实现根据具体的手术方式，在避免重要解剖结构损伤的前提下，自动设计出合适的骨手术线。

本步骤具体包括：

S2-1,S2中的半监督学习的机器学习模型可以为基于半监督学习的生成对抗性神经网络模型(Semi-Supervised Learning with GenerativeAdversarialNetwork，SGAN)，其特征在于：该模型是对于生成对抗性神经网络的扩展，具有一个生成器G(Generator)和一个辨别器D(Discriminator),生成器用于捕捉数据分布，辨别器用于估计一个样本来自于真实数据而非生成样本的概率，通过将GAN鉴别器从二元分类器转换为多分类器，GAN可以用于半监督学习，从有标签和无标签数据中学习。在传统的二分类模式基础上，SGAN变成了多分类，类型数量为K+1。分别指代K个标签和一个辨别是否为生成器G生成的伪数据类别。在实际过程中，判别器和分类器是一体的，记作D/C。共同与生成器G形成一个博弈关系。鉴别器D/C的损失函数：

其中，x是输入的图像；y对应着图像的标签；p_data表示真实数据样本分布；p_model表示模型预测的类别概率；K是实际数据类别的数量。

生成器G的损失函数：

其中，f(x)表示辨别器中间层上的激活函数，p_real和p_fake对应于真实和伪造图像的分布。

以截骨线设计规律学习为例，SGAN模型对于截骨线的设计规律学习的具有以下效果：

1、数据依赖性降低。引入半监督学习，使得鉴别器从一小组标记的数据中学习，并在学习中使用未标记的数据。未标记的数据比标记数据更丰富，更易于收集。因此，可以减少对标记数据的需求。

2、特征学习增强。引入半监督学习，鉴别器能够直接从未标记数据中学习原始CT图像的特征，增强对CT图像特征的学习，使得鉴别性增强，从而提高了生成器生成截骨线的准确度。

3、对抗学习增强学习效果。利用生成对抗性神经网络的对抗学习特性，生成器网络学习截骨特征点以及截骨线特征，生成截骨线；鉴别器输入标记的数据和未标记的数据，学习CT图特征以及截骨线特征，以鉴别生成器生成的图像的真伪。当鉴别器鉴别出生成器网络生成的截骨线为假时，生成器网络便会依据损失函数进行自动更新，生成新的截骨线，又交给鉴别器鉴别真伪，如此反复训练，直到鉴别器无法鉴别CT图中生成的截骨线是来自生成器生成的还是医师标记的，称为达到了纳什平衡。当达到纳什平衡后，便可以利用生成器网络生成截骨线。

S3，对当前实际准备进行骨手术(例如颌骨整形手术)的患者进行自动骨手术线确定，本步骤具体包括：

S3-1，将当前患者CT数据导入，按照学习样本调整体位的方法摆正体位；

S3-2，识别并标注出手术区域的骨骼组织以及骨骼组织周围的血管组织、神经组织等重要解剖结构；

S3-3，将经过S3-1、S3-2得到的患者CT数据及骨骼、神经、血管的位置数据输入到经步骤S2学习后的机器学习模型中，从而自动输出骨手术线位置信息。

S4，输出结果反馈，优化机器学习结果：每一例骨手术线设计得到输出结果后都有相应的临床医生对其科学性、可行性、合理性进行判断，临床医生可根据专业知识和患者的具体情况对骨手术线设计进行修改，修改后的骨手术线设计重新作为新的输入数据输入步骤S2进行机器学习，进一步优化机器学习功能。

下面通过具体的实施例对本发明做进一步说明。

由于颌骨整形手术的特殊性：上连颅脑、下接呼吸道；解剖结构复杂；切口设计隐蔽，术野狭窄；手术涉及患者外貌变化，对心理健康有极大影响；精确度要求高，所以接下来将以颌骨整形外科手术中的一种手术为例介绍本专利。

目前颌骨整形外科常用的术式有下颌支矢状骨劈开术(sagittal split ramusosteotomy,SSRO)、LeFort I型骨劈开术、颏成型术(genioplasty)、上颌前部根尖下骨切开术、下颌前部根尖下骨切开术等。实施例是一种自动化颌骨整形手术截骨线定点系统，下面将结合图1以及具体例子——下颌支矢状骨劈开术(SSRO)截骨线定点流程对本发明实施例中的技术方案进行描述。

S1，学习样本数据预处理：将学习样本的患者CT导入，调正头位，从CT数据中分别识别出手术区域内的骨骼组织以及指定的重要解剖解构，临床高年资医生对样本进行骨切开线设计。

本步骤具体包括：

S1-1，将颌骨整形手术患者的术前CT数据导入，令眶耳平面平行于地面，面中线分割三维CT头颅模型以调正头位。例如，将尚未进行颌骨整形手术患者的术前CT即Dicom数据导入，操作者手动标注出耳点与眶下点以确定眶耳平面，调整眶耳平面使之平行于地面，标注出面中线使面中线平分三维头颅模型，以前鼻嵴点作为原点，三维头颅冠状面法线向颜面部的方向调整为X轴，三维头颅横断面法线向头顶方向调整为Y轴，三维头颅矢状面法线向患者右侧方向调整为Z轴建立三维坐标系。

S1-2，由于骨骼组织与神经、血管等重要解剖结构的密度存在差异，因此可以根据CT值所反应出来的密度差异识别出头位调正后的骨骼组织以及神经、血管、牙根等重要解剖结构，同时确定神经、血管、牙根等重要解剖结构的位置。例如，分别设定神经组织密度阈值上限ρ1，神经组织密度阈值下限ρ2，血管组织密度阈值上限ρ3，血管组织密度阈值下限ρ4，牙根组织密度阈值上限ρ5，牙根组织密度阈值下限ρ6，骨组织密度阈值下限ρ8；将密度阈值在ρ1到ρ2之间的组织定义标注为神经组织，将密度阈值在ρ3到ρ4之间的组织定义标注为血管组织，将密度阈值在ρ5到ρ6之间的组织定义标注为牙根组织，将密度阈值高于ρ7的组织定义标注为骨组织；分别在步骤S1-1的三维坐标系上标注出骨骼、血管、神经、牙根的位置信息。

S1-3，高年资医生对每一例患者的骨骼组织和重要解剖解构的位置信息及具体手术方式进行分析，在保证重要解剖结构完好的情况下，人工设计出合适的骨切开线。例如，高年资医生在参考已标注出的血管神经牙根的位置信息，根据具体术式和患者情况手动标注出截骨线。

SSRO截骨线主要分为水平截骨线，垂直截骨线以及斜行截骨线，三线相连即可确定唯一的截骨平面。

水平截骨线位于下颌骨内侧下颌小舌上方2-3mm，切口前端起始于下颌升支前缘，平行于下颌牙合平面向后止于下颌升支后缘。由前缘止点、后缘止点两点相连直接确定。

垂直截骨线位于下颌第六磨牙远中根与下颌第七磨牙近中根之间，切口下端起于下颌下缘，平行于下颌升支向上止于外斜线附近，上止点距下颌骨牙槽嵴顶约1.5-2mm。由下颌下缘止点与上止点两点相连直接确定。

斜行截骨线位于下颌升支前缘，起于水平截骨线前缘止点向前下走行止于垂直截骨线上止点。斜行截骨线连接了水平截骨线与垂直截骨线，但若直接连接水平截骨线前缘止点与垂直截骨线上止点确定斜行截骨线，则可能会产生多种并发症，故确定该截骨线时的要求较为严格：(1从冠状面观察，截骨线应设置在下齿槽神经血管束外侧约0.15-0.2mm(可从CT透视图中确定位置距离关系)；(2按照斜行截骨线劈开后，斜行截骨线两侧一侧为骨皮质一侧为骨松质，不可设置的过于靠颊侧导致意外骨折；(3斜行截骨线接近下颌体部时稍偏向颊侧，即远离下颌第六第七磨牙约0.2-0.3mm，再与垂直截骨线上止点相连，防止劈开时牙根下颌第六第七磨牙牙根暴露，损伤牙根。为了能够更加精确的确定斜行截骨线，此截骨线由七点相连而成，两端点分别为水平截骨线前缘止点与垂直截骨线上止点，其余五点中，各有两点分别位于下颌升支前缘和下颌体上缘，剩余一点位于下颌升支前缘和下颌体上缘交界处。

S2，通过基于半监督学习的机器学习模型对大量的学习样本进行学习：得到经过S1处理的学习样本中各重要解剖结构位置、截骨线位置、长度以及解剖结构与截骨线之间的三维关系，利用机器学习算法进行学习，使得在经过大量样本学习后的算法能够实现根据具体的手术方式，在避免重要解剖结构损伤的前提下，自动设计出合适的颌骨整形手术骨切开线。

本步骤具体包括：

S2-1,S2中的半监督学习的机器学习模型可以为基于半监督学习的生成对抗性神经网络模型(Semi-Supervised Learning with GenerativeAdversarialNetwork，SGAN)，其特征在于：该模型是对于生成对抗性神经网络的扩展，具有一个生成器G(Generator)和一个辨别器D(Discriminator),生成器用于捕捉数据分布，辨别器用于估计一个样本来自于真实数据而非生成样本的概率，通过将GAN鉴别器从二元分类器转换为多分类器，GAN可以用于半监督学习，从有标签和无标签数据中学习。在传统的二分类模式基础上，SGAN变成了多分类，类型数量为K+1。分别指代K个标签和一个辨别是否为生成器G生成的伪数据类别。在实际过程中，判别器和分类器是一体的，记作D/C。共同与生成器G形成一个博弈关系。鉴别器D/C的损失函数：

其中，x是输入的图像；y对应着图像的标签；p_data表示真实数据样本分布；p_model表示模型预测的类别概率；K是实际数据类别的数量。

生成器G的损失函数：

其中，f(x)表示辨别器中间层上的激活函数，p_real和p_fake对应于真实和伪造图像的分布。

S2-2,S2中的基于半监督学习的机器学习模型为基于半监督学习的生成对抗性神经网络模型，其特征在于：

鉴别器D/C的模型参数：

四个卷积层，每一个卷积层后均有批量归一化和Relu激活函数。第四个卷积层经过Relu激活函数后接一个全连接层，全连接层后有sigmoid函数。

生成器G的模型参数：

一个全连接层,全连接层后接四个卷积层，每一个卷积层后均有批量归一化和Relu激活函数。

S2-3,将50份由三位高年资颌骨整形外科医师共同标定的截骨线的螺旋CT数据和100份未标注的螺旋CT数据输入鉴别器D/C，用以学习真实标注图像的特征。将随机噪声和未标注的螺旋CT数据输入生成器G，将生成的伪图像输入鉴别器以学习伪图像的特征，并辨别其真伪。每更新一次鉴别器D/C后，更新两次生成器G，直至达到纳什平衡，即鉴别器D/C无法分辨图像真伪。

S2-4,系统采用半监督学习的机器学习模型，使得学习模型能够在学习大量样本的情况下学习掌握截骨线设计与患者神经血管牙根个体特异性之间的规律，从而达到输入患者CT数据就可以得到截骨线设计的目的。

S3，对实际准备进行颌骨整形手术的患者进行自动截骨线确定：

S3-1，将患者CT数据导入，按照学习样本调整头位的方法摆正头位；

S3-2，提取并标注出手术区域的骨骼组织以及血管组织、神经组织及牙根等重要解剖结构的位置；

S3-3，将经过S3-1、S3-2得到的患者CT数据及神经、血管、牙根的位置数据输入到经步骤S2学习后的机器学习模型中，输出截骨线位置。

S4，输出结果反馈，优化机器学习结果：每一例截骨线设计得到输出结果后都有相应的临床医生对其科学性、可行性、合理性进行判断，临床医生可根据专业知识和患者的具体情况对截骨线设计进行修改并作为最终骨切开线设计结果；修改后的截骨线设计重新作为新的输入数据输入步骤S2进行机器学习，进一步优化机器学习功能。例如:通过步骤S3得到且经过临床医生调整后的截骨线设计作为学习样本重新导入步骤S2进行机器学习，丰富学习库。

以上实施例仅仅是本发明的一种优选实施例，并不用于限制本发明，对于本领域的技术人员来说，对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于机器学习的骨手术线自动定点方法，其特征在于，包括以下步骤：

A.以准备的骨手术线设计方案为样本，通过机器学习算法对样本进行学习，使得机器学习模型通过样本的学习掌握骨手术线设计规律，具体包括：将准备的手术患者的术前CT数据导入，并根据CT数据所反应出来的密度差异，从CT数据中分别识别出手术区域内的骨骼组织以及指定解剖解构，并标出骨骼组织和指定解剖解构位置信息；

医生参考已标注出的骨骼组织和指定解剖解构的位置信息，设计出合适的骨手术线；

将骨骼组织的位置信息、指定解剖解构的位置信息以及医生设计的骨手术线作为样本，并输入到机器学习模型进行学习，使得机器学习模型通过样本的学习掌握骨手术线设计规律，所述机器学习模型为基于半监督学习的生成对抗性神经网络模型；

B.将当前手术患者的CT数据输入到机器学习模型，机器学习模型根据已掌握的骨手术线设计规律，自动输出骨手术线的位置信息，自动输出骨手术线的位置信息之后，输出骨手术线的位置信息将由医生进行可行性确认，确认可行之后，本次的骨手术线设计方案将作为新的样本重新导入机器学习模型进行学习；若不可行，则由医生进行修改，修改后重新作为学习样本导入机器学习模型。

2.如权利要求1所述的一种基于机器学习的骨手术线自动定点方法，其特征在于，所述骨手术线指截骨线或者骨切开线。

3.如权利要求1所述的一种基于机器学习的骨手术线自动定点方法，其特征在于，当运用于颌骨整形手术时，所述指定解剖解构包括神经、血管和牙根。

4.如权利要求3所述的一种基于机器学习的骨手术线自动定点方法，其特征在于，提取骨骼组织和指定解剖解构之前，需对CT数据对于的三维模型进行体位调正，具体的调正方式如下：

标注出耳点与眶下点以确定眶耳平面，调整眶耳平面使之平行于地面，标注出面中线使面中线平分三维头颅模型，以前鼻嵴点作为原点，三维头颅冠状面法线向颜面部的方向调整为X轴，三维头颅横断面法线向头顶方向调整为Y轴，三维头颅矢状面法线向患者右侧方向调整为Z轴，从而建立三维坐标系。

Images