CN117934689B - 一种骨折ct影像的多组织分割与三维渲染方法 - Google Patents
一种骨折ct影像的多组织分割与三维渲染方法 Download PDFInfo
- Publication number
- CN117934689B CN117934689B CN202410338713.2A CN202410338713A CN117934689B CN 117934689 B CN117934689 B CN 117934689B CN 202410338713 A CN202410338713 A CN 202410338713A CN 117934689 B CN117934689 B CN 117934689B
- Authority
- CN
- China
- Prior art keywords
- image
- segmentation
- tissue
- fracture
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 88
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000009877 rendering Methods 0.000 title claims abstract description 32
- 230000005366 Ising model Effects 0.000 claims abstract description 50
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 49
- 230000003993 interaction Effects 0.000 claims abstract description 8
- 230000000007 visual effect Effects 0.000 claims abstract description 7
- 238000013135 deep learning Methods 0.000 claims abstract description 6
- 238000002372 labelling Methods 0.000 claims description 22
- 238000012549 training Methods 0.000 claims description 17
- 230000006870 function Effects 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 14
- 238000005457 optimization Methods 0.000 claims description 13
- 230000008878 coupling Effects 0.000 claims description 12
- 238000010168 coupling process Methods 0.000 claims description 12
- 238000005859 coupling reaction Methods 0.000 claims description 12
- 210000003484 anatomy Anatomy 0.000 claims description 11
- 230000008859 change Effects 0.000 claims description 9
- 238000012804 iterative process Methods 0.000 claims description 7
- 238000013136 deep learning model Methods 0.000 claims description 6
- 230000000694 effects Effects 0.000 claims description 5
- 238000009499 grossing Methods 0.000 claims description 4
- 238000005286 illumination Methods 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000012937 correction Methods 0.000 claims description 3
- 238000013450 outlier detection Methods 0.000 claims description 3
- 238000012952 Resampling Methods 0.000 claims description 2
- 230000036962 time dependent Effects 0.000 claims description 2
- 238000013507 mapping Methods 0.000 claims 2
- 238000003709 image segmentation Methods 0.000 abstract description 6
- 210000001519 tissue Anatomy 0.000 description 47
- 238000004364 calculation method Methods 0.000 description 7
- 238000010191 image analysis Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000001356 surgical procedure Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 238000003708 edge detection Methods 0.000 description 4
- 210000000689 upper leg Anatomy 0.000 description 4
- 238000012795 verification Methods 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 210000000056 organ Anatomy 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 210000004872 soft tissue Anatomy 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 210000004204 blood vessel Anatomy 0.000 description 2
- 210000000988 bone and bone Anatomy 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013524 data verification Methods 0.000 description 2
- 238000002059 diagnostic imaging Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000008520 organization Effects 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 241001270131 Agaricus moelleri Species 0.000 description 1
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 102100029469 WD repeat and HMG-box DNA-binding protein 1 Human genes 0.000 description 1
- 101710097421 WD repeat and HMG-box DNA-binding protein 1 Proteins 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000002591 computed tomography Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000003631 expected effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000011068 loading method Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- XOFYZVNMUHMLCC-ZPOLXVRWSA-N prednisone Chemical compound O=C1C=C[C@]2(C)[C@H]3C(=O)C[C@](C)([C@@](CC4)(O)C(=O)CO)[C@@H]4[C@@H]3CCC2=C1 XOFYZVNMUHMLCC-ZPOLXVRWSA-N 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Landscapes
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明属于CT图像分割技术领域，公开了一种骨折CT影像的多组织分割与三维渲染方法，包括：基于深度学习算法对骨折CT影像进行初步的组织分割，获取初步分割结果；基于Ising模型，对所述初步分割结果进行优化，获取最终的分割结果；基于所述最终的分割结果进行三维渲染，生成可视化图像。本发明能够实现骨折CT图像的多组织的精准分割和三维渲染，通过引入Ising模型，旨在更好地捕捉图像中不同组织的边界和相互作用，以确保每个组织类型都能够被精确分割。
Description
技术领域
本发明属于CT图像分割技术领域，尤其涉及一种骨折CT影像的多组织分割与三维渲染方法。
背景技术
近年来，医学影像分析领域取得了显著的进展，多组织分割是医学影像分析的关键问题之一。在传统方法中，基于图像强度、边缘检测、区域生长等方法常被用于组织分割。然而，在存在复杂组织相互影响的情况下，这些方法往往面临挑战。为了解决这些问题，深度学习技术应运而生。国际上，U-Net、SegNet等卷积神经网络（CNN）架构在医学影像分割中取得了令人瞩目的成果。在国内，也涌现出一批基于深度学习的医学影像分割方法，为多组织分割任务提供了新的解决思路。
Ising模型作为一个数学工具，近年来在医学影像分析领域也引起了研究者的兴趣。在传统的物理领域，Ising模型被用于描述自旋的行为，而在医学影像中，其被应用于图像分割、边缘检测等任务。Ising模型通过考虑像素之间的相互作用，采用数学物理的方式定义“作用力”，能够捕捉图像中的空间关系，从而在复杂图像中实现精准的分割。
尽管AI图像算法和Ising模型在医学影像分析中分别展现出巨大潜力，但将它们融合起来以应对复杂问题的研究还相对较少。这种混合方法的概念近年来在多个领域中崭露头角，包括医学影像分析。通过将AI图像算法用于初步分割，然后将Ising模型用于优化，利用两者的优势，实现更准确的多组织分割和3D渲染。
在骨折CT图像分析领域，准确的多组织分割和3D渲染尤为关键。当前，基于深度学习的方法在骨折CT图像分割和三维重建方面已经取得了一些进展，但仍存在一些挑战，例如对复杂骨折情况的处理和边界的准确提取。Ising模型的引入可能为解决这些问题提供一种新的思路。
将骨折CT图像分割成不同的组织区域对于理解损伤程度和制定最佳干预措施至关重要。此外，将这些分割区域转化为三维图像可增强对骨折空间背景的理解。然而，骨折图像中复杂的组织边界和不同的灰度强度给传统的分割方法带来了巨大的障碍。因此，迫切需要一种全面的方法，能够有效地克服这些复杂性，并产生准确的多组织分割，同时实现三维渲染图像。
发明内容
本发明的目的在于提出一种骨折CT影像的多组织分割与三维渲染方法，以实现骨折CT图像的多组织的精准分割和三维渲染。
为实现上述目的，本发明提供了一种骨折CT影像的多组织分割与三维渲染方法，包括：
基于深度学习算法对骨折CT影像进行初步的组织分割，获取初步分割结果；
利用Ising模型，对所述初步分割结果进行优化，获取最终的分割结果；
基于所述最终的分割结果进行三维渲染，生成可视化图像。
可选地，基于深度学习算法对所述骨折CT影像进行初步的组织分割包括：
构建既有骨折CT影像数据集；
基于所述既有骨折CT影像数据集对初始的深度学习模型进行训练，获取组织分割模型；
利用所述组织分割模型，对所述骨折CT影像进行初步的组织分割。
可选地，构建既有骨折CT影像数据集包括：
收集初始既有骨折CT影像数据；
对所述初始既有骨折CT影像数据，使用异常值探测算法去除噪声；
将去除噪声后的影像数据转换为统一的格式；
对转换格式后的影像数据进行插值与重采样，并调整图像数据尺寸至统一的空间尺寸。
可选地，构建所述既有骨折CT影像数据集后还包括：对所述数据集中的CT影像数据进行人工标注：
对所述CT影像数据进行组织区域的人工识别；
使用医学影像标注工具对每个组织区域进行边界标记，完成所述CT影像数据的初步标注；
在完成初步标注后，对所述CT影像数据的标注进行审核和修改，并对每一次标注添加注释。
可选地，基于所述既有骨折CT影像数据集对初始的深度学习模型进行训练包括：
按照准确率、召回率及F1值和工作曲线确定深度学习模型的最优参数。
可选地，基于Ising模型，对所述初步分割结果进行优化包括：
基于Ising模型，通过所述初步分割结果中像素之间的相互作用，捕捉图像数据中的空间关系，实现图像数据中组织边界的细化分割。
可选地，实现图像数据中组织边界的细化分割包括：
基于图像数据的特征初始化Ising模型参数；其中，所述Ising模型参数包括：体素能量、耦合强度和温度参数，所述Ising模型参数用于表征不同组织在CT图像中的灰度强度差异；
将相邻像素之间的预设强度变化定义为高能量状态，用所述高能量状态表征不同解剖结构之间的组织边界；
通过迭代优化算法，调整像素间的耦合强度和体素能量，优化对组织边界捕捉，完成图像数据中组织边界的细化分割；其中迭代的过程遵循Metropolis-Hastings算法，利用所述温度参数和体素能量的随时间的变化量来指导搜索方向。
可选地，初始化所述Ising模型参数还包括：
将图像数据的灰度强度的能量映射在Ising模型中，将每个像素点的灰度强度映射为全局对象的能量，使得能量函数能够代表像素的实际物理特性，进而基于相邻像素间的能量差异来反映出组织边界的存在。
可选地，通过迭代优化算法，调整像素间的耦合强度和体素的影响强度，以优化对组织边界的捕捉包括：
在迭代过程中，根据能量变化情况调整参数，其中参数包括：体素间的耦合强度；
设置收敛条件，所述收敛条件为：迭代次数的上限或能量变化的阈值；
迭代完成后，评估分割效果，调整参数并重新运行迭代过程，直至达到预期的分割精度。
可选地，基于所述最终的分割结果进行三维渲染，生成可视化图像包括：
将所述最终的分割结果层叠起来，构建对应的三维模型；
对三维模型进行平滑和去噪处理；
对处理后的三维模型根据不同组织类型设置渲染参数和校正因子，所述渲染参数包括：颜色、透明度和纹理；
对渲染后的三维模型进行光照和阴影处理，生成可视化图像。
本发明具有以下有益效果：
提高分割准确性：通过结合人工智能图像算法和Ising模型，能够更准确地识别和分割骨折CT图像中的多种组织。AI算法在全局识别上的高效性，与Ising模型在捕捉细节和边界上的精准性相结合，提高了分割的准确率。
三维重建的增强：能够将二维CT图像转换为高质量的三维图像，提供对骨折及其周围组织的更深入的空间理解。
处理复杂情况的能力：对于复杂和不规则的骨折，传统方法可能难以有效处理。本发明通过先进的算法，可以更好地处理这些复杂情况，提供更准确的分析。
计算效率的提升：尽管Ising模型在处理细节上非常有效，但可能计算量大。结合AI算法可以减少必要的迭代次数，从而在保持精准度的同时提高计算效率。
灵活性和适应性：该方案可以根据不同的应用需求进行调整，如针对不同类型的骨折或组织进行优化，从而具有更广泛的应用潜力。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本发明实施例的一种骨折CT影像的多组织分割与三维渲染方法流程示意图；
图2为本发明实施例的实施过程示意图；其中，图（a）为初始C臂图像示意图，图（b）为应用AI算法对股骨识别标注的C臂图像示意图，图（c）为结合AI的Ising模型对股骨边界进行识别的示意图，图（d）为基于标注股骨区域进行模拟置钉的示意图，图（e）为最终置入螺丝后C臂验证示意图。
具体实施方式
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
本实施例的技术方案设计为：
Ising模型在图像中的不同组织区域的识别与分割算法，其中对能量函数的准确定义实现最优拟合真实数据。在灰度检测中，设计Ising模型的能量函数来惩罚相邻像素之间的突然强度变化，这些像素通常对应于不同解剖结构之间的边界。能量函数可以定义为:
其中，E(S)是给定的图像矩阵中每个体素的系统能量，表示像素的灰阶强度；i,j为体素坐标索引；表示第i个体素在整个场中收到的影响强度；S为正向或负向调解因子，用 +1 和 -1 来代表两个不同的区域；/>表示第i体素与第j体素之间的相互作用强度权重，这个值决定了相邻像素之间的相互作用强度；/>表示第i个体素的状态，即该像素的灰度强度标识，/>表示第j个体素的状态，即该像素的灰度强度标识。
迭代优化算法：
其中，T表示系统温度参数；概率函数P满足Metropolis-Hastings algorithm准则；ΔEi表示在Si处的能量变化，表示前一次迭代的体素的状态结果，
其中，表示第i个体素相邻的体素集合 。
收敛性，持续继续优化参数直到满足收敛准则，确定准确稳健且能接受的计算耗时下的迭代的最大次数和能量的微小变化梯度阈值参数。
边界检测，收自旋配置表示像素强度分组，解剖结构之间的边界对应于具有显著强度转变的区域，其表现为自旋值的变化。
融合图像神经网络算法实现CT三维重建影像中的多组织器官的边缘检测和增强。
开发易用的软件应用，为外科医师提供重要区域的增强显示及多组织器官的边缘增强与区域智能标注，方便外科医师进行术前手术规划和风险规避。并将该软件与骨科手术机器人系统进行嵌入，实现在实际导航机器人的虚拟系统中调用该分割后的增强影像。
如图1所示，本实施例提出的一种骨折CT影像的多组织分割与三维渲染方法的具体步骤包括：
第一步收集数据数据
1. CT影像数据收集：
自动从医院的Pacs系统中拉取准备手术的患者CT影像数据。
将收集的影像数据传输至计算服务器，以便进行后续处理。
2. 图像预处理：
对收集的二维CT影像序列（尺寸通常为 512*512xn）进行滤噪处理，使用异常值探测算法去除噪声。
使用归一化方法将图像数据转换为统一的格式，以便于算法处理。
对图像进行插值与重采样，调整图像尺寸至统一的空间尺寸（j*k*m），以统一处理的标准。
第二步模型构建
1. 图像选择与准备
选择合适的CT影像：从PACS系统中筛选出代表性的骨折CT图像，确保这些图像涵盖各种类型的骨折和组织结构。
图像预处理：对所选图像进行必要的预处理，包括去噪、对比度调整和归一化，以提高后续标注的准确性。
2. 人工标注过程
组织区域识别：由经验丰富的放射科医师和医学影像专家共同审视CT图像，识别出骨折、软组织、血管等不同的解剖结构。
精准标记：使用专业的医学影像标注工具3D Slicer，对识别出的每个组织区域进行精确的边界标记。这包括骨折线、周围软组织、关节液等。
多轮审核：完成初步标注后，进行多轮审核和修改，以确保每个组织区域的标注都尽可能精确无误。
注释与记录：对每一次标注添加详细注释，包括组织类型、位置、特征等信息，这些信息对于后续的AI训练至关重要。
3. 标注数据的处理与存储
数据格式转换：将标注结果转换为适合AI训练的格式，JSON、XML文件，其中包含每个标记区域的坐标、形状、类型等详细信息。
数据验证：通过专业的数据验证流程，确保标注数据的完整性和准确性。
安全存储：将处理后的标注数据安全存储于服务器或云平台，以备AI算法训练使用。
4. 与AI训练的接口
数据接口定义：定义清晰的数据接口，确保AI训练算法能够无误地读取标注数据。
数据集划分：将标注好的数据集分为训练集、验证集和测试集，以便于进行机器学习模型的训练和评估。
高精度标注：采用经验丰富的医学专家进行精确的手动标注，确保数据质量，这是训练高性能AI模型的关键。
多维度信息整合：除了标注解剖结构的边界，还包括丰富的注释信息，如组织类型、特征等，这为AI算法提供了更深层次的学习素材。
专业工具的应用：使用医学影像标注工具，提高标注的效率和精度。
多轮审核机制：通过多轮审核和修改标注数据，确保最终数据的高质量，这在传统的AI数据处理中并不常见。
图像标注：对每张CT图像进行人工标注，包含CT影像中的各个组织区域一并标准并形成标注结果文件。
模型训练：采用AI图形算法对标注后的样本数据进行学习，最终按照准确率、召回率及F1值和工作曲线（ROC）确定最优参数。
进行算法分割，采用YOLOv5模型框架载入通过自建训练模型进行AI标记，得到预处理后的数据。
第三步基于Ising模型进行不同组织区域的识别与分割算法，精确边界识别及组织标记。
Ising模型理论算法构建
Ising模型在图像中的不同组织区域的识别与分割算法，其中对能量函数的准确定义实现最优拟合真实数据。在灰度检测中，设计Ising模型的能量函数来惩罚相邻像素之间的突然强度变化，这些像素通常对应于不同解剖结构之间的边界。能量函数可以定义为:
其中，E(S)是给定的图像矩阵中每个体素的系统能量，表示像素的灰阶强度；i,j为体素坐标索引；J为对应的第i和j体素之间的耦合强度；hi表示第i个体素在整个场中收到的影响强度；S为正向或负向调解因子。
迭代优化算法：
其中，T表示系统温度参数；概率函数P满足Metropolis-Hastings algorithm准则；ΔEi表示在Si处的能量变化，
收敛性，持续继续优化参数直到满足收敛准则，确定准确稳健且能接受的计算耗时下的迭代的最大次数和能量的微小变化梯度阈值参数。
实施过程
1. Ising模型的定制化应用于医学影像
模型初始化；首先，初始化Ising模型参数，包括体素能量、耦合强度和温度参数。这些参数的初始设定应基于医学影像的特征，代表不同组织在CT图像中的灰度差异。
灰度强度的能量映射在Ising模型中，将每个像素点的灰度强度映射为系统能量E(S)，使得能量函数能够代表像素的实际物理特性。这样，相邻像素间的能量差异将反映出组织边界的存在。
边界精度稍差的结果图像整体作为输入给Ising模型进行处理。
2. 边界识别与分割策略
边界能量定义；定义相邻像素之间的突然强度变化为高能量状态，表示不同解剖结构之间的边界。
优化过程；通过迭代优化算法，逐渐调整像素间的耦合强度J和体素的影响强度h，以更好地捕捉组织边界。迭代的过程遵循Metropolis-Hastings算法，利用温度参数 T和能量变化ΔE来指导搜索方向。
3. 算法的迭代与收敛
参数调整；在迭代过程中，根据能量变化情况调整参数，如调节体素间的耦合强度，以优化组织边界的识别。
收敛条件；设置明确的收敛条件，例如迭代次数的上限或能量变化的阈值。这些条件用来确保算法能够在合理的时间内达到稳定的分割结果。
结果评估；迭代完成后，评估分割效果。如果必要，可以调整参数并重新运行迭代过程，直至达到预期的分割精度。
4. 结果的后处理与应用
后处理；对Ising模型的输出结果进行后处理，如平滑处理和噪声去除，以提高分割结果的质量。
整合AI结果；将Ising模型得到的分割结果与AI算法的输出进行整合，利用AI算法在全局分割上的优势，结合Ising模型在局部边界识别上的精准性，以获得更为准确和全面的组织分割结果。
算法框架
算法过程描述
初始化:以表示像素强度的自旋Si的初始配置开始。
迭代优化:使用优化技术，Metropolis-Hastings算法基于能量函数迭代更新自旋分布。相邻像素具有相似的强度，促进了强度变化的检测。
收敛:继续优化过程，直到系统达到稳定配置或满足收敛准则。
检测灰度边界: CT扫描图像中不同解剖结构之间的边界对应有显著强度变化的区域。
在Ising模型中，由于能量函数对这种变化的惩罚，像素强度发生突变的区域会有更高的能量值。通过观察整个图像的能量分布，可以将高能量值的区域识别为不同灰度之间的潜在边界。
与图像处理技术的集成:
结合基于Ising模型的能量函数与图像处理技术，如边缘检测，区域增长和形态学操作。
设计一个优化能量函数的框架，以找到代表器官边界的最优像素标签。
培训与验证:
实现提出的方法，并在预处理的数据集上训练，并使用数据集的子集进行验证和超参数调优。
评估分割结果的准确性、敏感性、特异性和Dice系数。
第四步提供分割图像为手术机器人术中定位导航。
三维渲染过程
1. 三维模型构建
将分割后的二维CT图像层叠起来，创建对应的三维模型。将像素转换到体素过程，确保每个体素正确地代表其对应的组织类型。
2. 图像数字处理
对三维模型进行必要的数字图像处理，平滑、去噪，以提高模型的视觉质量和解剖结构的准确性。
3. 渲染参数设置
根据不同组织类型设置渲染参数和校正因子，颜色、透明度、纹理等，以使得骨骼、软组织、血管等在视觉上能够清晰区分。
4. 光照和阴影处理
应用高级的光照和阴影效果，以增强三维模型的深度感和立体感，使模型更接近真实情况。
5. 动态视角调整
允许用户（如外科医生）动态调整视角，旋转和缩放模型，以便从不同角度查看和分析模型。
术中定位导航
1. 导航系统集成
将渲染好的三维模型集成到手术机器人的导航系统中。这需要确保模型与患者实际解剖结构的精确对齐。
2. 实时定位与反馈
在手术过程中，使用三维模型为手术机器人提供实时的定位和导航。这可能涉及到跟踪手术工具的位置，并将其与三维模型中的相应位置进行匹配。
3. 术中调整
根据手术进程和患者的具体情况，调整三维模型以反映任何必要的变化或新发现的信息。
后期应用
1. 手术规划辅助
在术前规划阶段，使用三维模型来帮助外科医生制定手术策略，如切口位置、最佳路径等。
2. 教育和培训
利用这些详细的三维模型进行医学教育和外科手术培训，提供学习者以高度真实的手术模拟体验。
3. 患者沟通
使用三维模型向患者解释手术过程和预期效果，有助于提高患者对手术的理解和信心。
图2为本实施例的实例过程，图2的（a）为手术中进行的术中C臂照片原始图像；该图像进入到分割系统中实现对股骨区域进行AI识别并标记，如图2的（b）所示；进一步将AI识别标记的区域进行边缘细节的识别，采用了Ising模型，如图2的（c）所示；识别完成后提供给医师，方便医师进行手术置钉规划，并在系统中模拟置入螺钉，如图2的（d）所示；手术完成后，再次进行术中C臂照片，查看螺钉放置位置是否达到预期，手术结束，如图2的（e）所示。
本实施例的技术方案具有以下直接技术效果和优势：
1. 提高分割准确性：通过结合人工智能图像算法和Ising模型，本实施例能够更准确地识别和分割骨折CT图像中的多种组织。AI算法在全局识别上的高效性，与Ising模型在捕捉细节和边界上的精准性相结合，提高了分割的准确率。
2. 三维重建的增强：本实施例能够将二维CT图像转换为高质量的三维图像，提供对骨折及其周围组织的更深入的空间理解。这不仅有助于诊断，还能改善手术规划和执行。
3. 处理复杂情况的能力：对于复杂和不规则的骨折，传统方法可能难以有效处理。本技术方案通过先进的算法，可以更好地处理这些复杂情况，提供更准确的分析。
4. 计算效率的提升：尽管Ising模型在处理细节上非常有效，但可能计算量大。结合AI算法可以减少必要的迭代次数，从而在保持精准度的同时提高计算效率。
5. 灵活性和适应性：本实施例可以根据不同的应用需求进行调整，如针对不同类型的骨折或组织进行优化，从而具有更广泛的应用潜力。
6. 用户友好的软件工具：为外科医生提供的软件应用将具备直观的界面和强大的功能，使得手术规划和执行更加便捷和准确。
7. 自动化和智能化：通过引入人工智能，本实施例可以实现更高级别的自动化和智能化，在医学影像分析中减少人为误差和提高效率。
本实施例的主要目标是开发一种整合人工智能图像算法和Ising模型的混合方法，以实现骨折CT图像的多组织的精准分割和三维渲染。这将包括开发AI算法来进行全局识别，然后利用Ising模型来进一步对局部细节优化分割。通过引入Ising模型，旨在更好地捕捉图像中不同组织的边界和相互作用，以确保每个组织类型都能够被精确分割。旨在创建高质量的三维渲染图像，以帮助医生更好地理解骨折及周围组织的三维空间结构。这将包括对分割结果的三维建模和渲染，以提供真实准确的图像，包括骨折的位置、形状和周围组织的关系。
以上所述，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。
Claims (6)
1.一种骨折CT影像的多组织分割与三维渲染方法，其特征在于，包括：
基于深度学习算法对骨折CT影像进行初步的组织分割，获取初步分割结果；
利用Ising模型，对所述初步分割结果进行优化，获取最终的分割结果；
基于Ising模型，对所述初步分割结果进行优化包括：
基于Ising模型，通过所述初步分割结果中像素之间的相互作用，捕捉图像数据中的空间关系，实现图像数据中组织边界的细化分割；
实现图像数据中组织边界的细化分割包括：
基于图像数据的特征初始化Ising模型参数；其中，所述Ising模型参数包括：体素能量、耦合强度和温度参数，所述Ising模型参数用于表征不同组织在CT图像中的灰度强度差异；
将相邻像素之间的预设强度变化定义为高能量状态，用所述高能量状态表征不同解剖结构之间的组织边界；
通过迭代优化算法，调整像素间的耦合强度和体素能量，优化对组织边界捕捉，完成图像数据中组织边界的细化分割；其中迭代的过程遵循Metropolis-Hastings算法，利用所述温度参数和体素能量的随时间的变化量来指导搜索方向；
初始化所述Ising模型参数还包括：
将图像数据的灰度强度的能量映射在Ising模型中，将每个像素点的灰度强度映射为全局对象的能量，使得能量函数能够代表像素的实际物理特性，进而基于相邻像素间的能量差异来反映出组织边界的存在；
通过迭代优化算法，调整像素间的耦合强度和体素能量，优化对组织边界捕捉包括：
在迭代过程中，根据能量变化情况调整参数，其中参数包括：体素间的耦合强度；
设置收敛条件，所述收敛条件为：迭代次数的上限或能量变化的阈值；
迭代完成后，评估分割效果，调整参数并重新运行迭代过程，直至达到预期的分割精度；
基于所述最终的分割结果进行三维渲染，生成可视化图像。
2.根据权利要求1所述的骨折CT影像的多组织分割与三维渲染方法，其特征在于，基于深度学习算法对所述骨折CT影像进行初步的组织分割包括：
构建既有骨折CT影像数据集；
基于所述既有骨折CT影像数据集对初始的深度学习模型进行训练，获取组织分割模型；
利用所述组织分割模型，对所述骨折CT影像进行初步的组织分割。
3.根据权利要求2所述的骨折CT影像的多组织分割与三维渲染方法，其特征在于，构建既有骨折CT影像数据集包括：
收集初始既有骨折CT影像数据；
对所述初始既有骨折CT影像数据，使用异常值探测算法去除噪声；
将去除噪声后的影像数据转换为统一的格式；
对转换格式后的影像数据进行插值与重采样，并调整图像数据尺寸至统一的空间尺寸。
4.根据权利要求2所述的骨折CT影像的多组织分割与三维渲染方法，其特征在于，构建所述既有骨折CT影像数据集后还包括：对所述数据集中的CT影像数据进行人工标注：
对所述CT影像数据进行组织区域的人工识别；
使用医学影像标注工具对每个组织区域进行边界标记，完成所述CT影像数据的初步标注；
在完成初步标注后，对所述CT影像数据的标注进行审核和修改，并对每一次标注添加注释。
5.根据权利要求2所述的骨折CT影像的多组织分割与三维渲染方法，其特征在于，基于所述既有骨折CT影像数据集对初始的深度学习模型进行训练包括：
按照准确率、召回率及F1值和工作曲线确定深度学习模型的最优参数。
6.根据权利要求1所述的骨折CT影像的多组织分割与三维渲染方法，其特征在于，基于所述最终的分割结果进行三维渲染，生成可视化图像包括：
将所述最终的分割结果层叠起来，构建对应的三维模型；
对三维模型进行平滑和去噪处理；
对处理后的三维模型根据不同组织类型设置渲染参数和校正因子，所述渲染参数包括：颜色、透明度和纹理；
对渲染后的三维模型进行光照和阴影处理，生成可视化图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410338713.2A CN117934689B (zh) | 2024-03-25 | 2024-03-25 | 一种骨折ct影像的多组织分割与三维渲染方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410338713.2A CN117934689B (zh) | 2024-03-25 | 2024-03-25 | 一种骨折ct影像的多组织分割与三维渲染方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117934689A CN117934689A (zh) | 2024-04-26 |
| CN117934689B true CN117934689B (zh) | 2024-06-11 |
Family
ID=90768645
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410338713.2A Active CN117934689B (zh) | 2024-03-25 | 2024-03-25 | 一种骨折ct影像的多组织分割与三维渲染方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117934689B (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101169868A (zh) * | 2006-10-25 | 2008-04-30 | 爱克发医疗保健公司 | 用于分割数字医学图像的方法 |
| CN101814183A (zh) * | 2010-01-08 | 2010-08-25 | 清华大学 | 用于图像分割的方法及系统 |
| CN102270343A (zh) * | 2011-07-27 | 2011-12-07 | 宁波大学 | 一种基于Ising图模型的图像分割方法 |
| CN103150718A (zh) * | 2011-12-06 | 2013-06-12 | 中国科学院电子学研究所 | 基于变化矢量分析与分类后比较的遥感图像变化检测方法 |
| CN108198187A (zh) * | 2017-12-27 | 2018-06-22 | 中原工学院 | 基于图模型结构学习的图像分割方法 |
| CN109801295A (zh) * | 2018-12-26 | 2019-05-24 | 西安电子科技大学 | 基于二次限制区域生长法的图像分割方法 |
| JP6570698B1 (ja) * | 2018-05-18 | 2019-09-04 | 株式会社リクルートコミュニケーションズ | 設定装置、設定方法及び設定プログラム |
| CN113256654A (zh) * | 2021-05-26 | 2021-08-13 | 西安交通大学 | 一种基于病变扩散算法的白质高信号提取方法及系统 |
| JP2022014282A (ja) * | 2020-07-06 | 2022-01-19 | 富士通株式会社 | 情報処理装置、情報処理方法及び情報処理プログラム |
| CN116457780A (zh) * | 2020-11-25 | 2023-07-18 | 索尼集团公司 | 信息处理装置、信息处理方法和信息处理系统 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2358098A (en) * | 2000-01-06 | 2001-07-11 | Sharp Kk | Method of segmenting a pixelled image |
| US8422769B2 (en) * | 2010-03-05 | 2013-04-16 | Microsoft Corporation | Image segmentation using reduced foreground training data |
-
2024
- 2024-03-25 CN CN202410338713.2A patent/CN117934689B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101169868A (zh) * | 2006-10-25 | 2008-04-30 | 爱克发医疗保健公司 | 用于分割数字医学图像的方法 |
| CN101814183A (zh) * | 2010-01-08 | 2010-08-25 | 清华大学 | 用于图像分割的方法及系统 |
| CN102270343A (zh) * | 2011-07-27 | 2011-12-07 | 宁波大学 | 一种基于Ising图模型的图像分割方法 |
| CN103150718A (zh) * | 2011-12-06 | 2013-06-12 | 中国科学院电子学研究所 | 基于变化矢量分析与分类后比较的遥感图像变化检测方法 |
| CN108198187A (zh) * | 2017-12-27 | 2018-06-22 | 中原工学院 | 基于图模型结构学习的图像分割方法 |
| JP6570698B1 (ja) * | 2018-05-18 | 2019-09-04 | 株式会社リクルートコミュニケーションズ | 設定装置、設定方法及び設定プログラム |
| CN109801295A (zh) * | 2018-12-26 | 2019-05-24 | 西安电子科技大学 | 基于二次限制区域生长法的图像分割方法 |
| JP2022014282A (ja) * | 2020-07-06 | 2022-01-19 | 富士通株式会社 | 情報処理装置、情報処理方法及び情報処理プログラム |
| CN116457780A (zh) * | 2020-11-25 | 2023-07-18 | 索尼集团公司 | 信息处理装置、信息处理方法和信息处理系统 |
| CN113256654A (zh) * | 2021-05-26 | 2021-08-13 | 西安交通大学 | 一种基于病变扩散算法的白质高信号提取方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 《基于图模型的多项式时间算法研究及应用》;秦配伟;《中国优秀硕士学位论文全文数据库 (信息科技辑)》;20130331;第I138-1331页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117934689A (zh) | 2024-04-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Chen et al. | Automatic segmentation of individual tooth in dental CBCT images from tooth surface map by a multi-task FCN | |
| CN114119549B (zh) | 一种多模态医学图像三维点云配准优化方法 | |
| CN110738681A (zh) | 一种基于深度学习网络的椎弓根钉手术路径自动规划方法 | |
| CN111047594A (zh) | 肿瘤mri弱监督学习分析建模方法及其模型 | |
| CN107456278A (zh) | 一种内窥镜手术导航方法和系统 | |
| WO2022213654A1 (zh) | 一种超声图像的分割方法、装置、终端设备和存储介质 | |
| CN107680110B (zh) | 基于统计形状模型的内耳三维水平集分割方法 | |
| US11798161B2 (en) | Method and apparatus for determining mid-sagittal plane in magnetic resonance images | |
| CN111768382A (zh) | 一种基于肺结节生长形态的交互式分割方法 | |
| EP4033451A1 (en) | Interactive image editing using signed distance fields | |
| CN113160120A (zh) | 基于多模态融合与深度学习的肝脏血管分割方法及系统 | |
| Trimpl et al. | Beyond automatic medical image segmentation—the spectrum between fully manual and fully automatic delineation | |
| CN114792326A (zh) | 一种基于结构光的手术导航点云分割与配准方法 | |
| CN115830016A (zh) | 医学图像配准模型训练方法及设备 | |
| CN110570430A (zh) | 基于体配准的眼眶骨组织分割方法 | |
| CN104915989A (zh) | 基于ct影像的血管三维分割方法 | |
| CN117237322A (zh) | 一种基于医学图像的器官分割建模方法及终端 | |
| CN117934689B (zh) | 一种骨折ct影像的多组织分割与三维渲染方法 | |
| CN116883281A (zh) | 一种用于图像引导放疗的影像呈像画质增强系统和方法 | |
| Cameron et al. | Patient-Specific Anatomic Models-Geometric Surface Generation from Three-Dimensional Medical Images Using a Specified Polygonal Budget | |
| CN111612762B (zh) | Mri脑肿瘤图像生成方法及系统 | |
| CN114359309A (zh) | 基于标定点检测和形状灰度模型匹配的医学图像分割方法 | |
| CN115409837B (zh) | 一种基于多模态ct图像的子宫内膜癌ctv自动勾画方法 | |
| Andersson et al. | Digital 3D Facial Reconstruction Based on Computed Tomography | |
| Bühler et al. | Interactive 3D techniques for computer aided diagnosis and surgery simulation tools |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |