CN111402216A - 基于深度学习的三维碎骨分割方法和装置 - Google Patents

基于深度学习的三维碎骨分割方法和装置 Download PDF

Info

Publication number
CN111402216A
CN111402216A CN202010160086.XA CN202010160086A CN111402216A CN 111402216 A CN111402216 A CN 111402216A CN 202010160086 A CN202010160086 A CN 202010160086A CN 111402216 A CN111402216 A CN 111402216A
Authority
CN
China
Prior art keywords
bone
broken bone
dimensional
broken
probability
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010160086.XA
Other languages
English (en)
Other versions
CN111402216B (zh
Inventor
蒋俊锋
孙晓莉
黄瑞
陈正鸣
何坤金
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changzhou Campus of Hohai University
Original Assignee
Changzhou Campus of Hohai University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changzhou Campus of Hohai University filed Critical Changzhou Campus of Hohai University
Priority to CN202010160086.XA priority Critical patent/CN111402216B/zh
Publication of CN111402216A publication Critical patent/CN111402216A/zh
Application granted granted Critical
Publication of CN111402216B publication Critical patent/CN111402216B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了基于深度学习的三维碎骨分割方法和装置，方法包括：基于获取的三维碎骨网格模型提取顶点坐标与顶点法向量，生成碎骨点云模型；将生成的碎骨点云模型输入至预先训练完成的PointNet++深度神经网络，将得到的顶点碎骨标签概率映射到对应的三维碎骨网格模型，进一步地利用图割法对三维碎骨网格模型进行分割优化获得最终碎骨分割结果。本发明采用几何深度学习中的PointNet++深度神经网络预测碎骨皮质骨与松质骨的分类标记，PointNet++通过分层方式处理度量空间中采样的点集，能提取局部特征捕获到的精细几何结构，较好实现碎骨皮质骨与松质骨分割；再根据三角面片间的平滑程度利用图割法改善分割结果，提高了碎骨分割效率与自动化程度。

Description

基于深度学习的三维碎骨分割方法和装置
技术领域
本发明属于数字医疗领域，具体涉及基于深度学习的三维碎骨分割方法和装置。
背景技术
随着数字医学的快速发展，数字化技术在外科手术中的应用越来越重要。碎骨皮质骨提取与碎骨分割作为计算机科学与生物医学交叉领域，是数字医学中一个特殊的应用，在计算机辅助三维术前规划中有重要作用。数字化三维术前规划能帮助医生有效克服视觉局限性，提高数据测量精确度，使诊断更加准确和高效。其中，表面皮质骨提取和碎骨分割在术前规划中有迫切需求，它能帮助医生正确提取医学语义参数，精确规划手术范围，确定骨块截取位置和移动变量，制定碎骨复位方案等。
在骨折复位治疗中，医生为制定合适的手术方案、流程，提高碎骨复位精确度，减少诊断辐射次数与手术复位时长，需要在术前规划中对碎骨进行皮质骨与松质骨分离，并进行碎骨精确分割和准确判断。骨是一种具有独特结构的高密度结缔组织，在结构上主要分为皮质骨、松质骨，皮质骨的骨密度较高，主要构成骨的外部形状结构，松质骨质地较软，填充于骨端间任何间隙。在术前规划中，医生只需要考虑碎骨的位置、形状以及相关的医学语义参数，无需研究内部松质骨结构。
近几年，随着数字医学的快速发展，数字化手术设计越来越受到外科手术医生的关注与应用，与术前规划相关的医用软件也随之诞生。现有条件下，碎骨表面皮质骨提取与分割一般是由医生根据现有的医学知识和临床经验，借助三维数字化软件手工实现，例如Mimics、3-matic等，这种方式自动化程度低、耗时耗力，无法满足三维术前规划的实际需求。因此，需要研究一种满足医学要求的自动化程度高的三维碎骨分割方法。
发明内容
本发明的目的是针对现有技术存在的问题，提供一种自动化程度高的三维碎骨分割方法和装置。
为实现上述技术目的，本发明采用以下技术方案。
提供一种基于深度学习的三维碎骨分割方法，包括以下步骤：
基于获取的三维碎骨网格模型提取顶点坐标与顶点法向量，生成碎骨点云模型；
将生成的碎骨点云模型输入至预先训练完成的PointNet++深度神经网络，预测得到碎骨点云模型的顶点碎骨标签概率，所述碎骨标签概率包括皮质骨的标签概率和松质骨的标签概率；将得到的顶点皮质骨的标签概率和松质骨的标签概率映射到对应的三维碎骨网格模型，获得三维碎骨分割结果。
本发明中三维碎骨网格模型的几何结构由点与边构成，PointNet++神经网络针对的三维模型为点云模型，点云模型的几何信息即是网格模型顶点的信息，提取网格模型顶点的目的是将网格模型转换成点云模型，从而训练与测试PointNet++深度神经网络。将要测试的碎骨点云模型输入到已经训练好的神经网络里，输出测试结果，获得每个点的标签概率。
可选地，所述PointNet++深度神经网络分为特征提取，特征传递，全链接三部分；
特征提取部分由采样层、组合层和特征提取层构成，每一层级提取碎骨点云模型的多个邻域范围的点集，使用PointNet作为特征提取结构，提取局部相关性特征；
特征传递采用基于距离的插值和跨越跳级链路的分层传播策略，将上采样后的特征与同分辨率的低层特征连接；
全链接采用卷积实现最终碎骨皮质骨与松质骨分类。
进一步地，特征提取部分具体包括：
采样层：对碎骨点云模型中的点云数据采样，采样算法选择最远点采样算法，选择一个点，找到在当前尺度标准下的最远点，迭代选取距离已有点集的最远点，从点集的n个点中选出m个中心点；
组合层：确定每个中心点的邻域，在尺度空间下，给定半径k，将距离在k以内的其他点加入中心点邻域；
特征提取层：用PointNet对组合层给出的每个中心点邻域进行特征提取，获取局部特征。
可选地，将得到的顶点碎骨标签概率映射到对应的三维碎骨网格模型包括以下步骤：
提取碎骨点云模型的顶点坐标以及对应的碎骨标签概率映射；可选地，碎骨标签概率包括皮质骨的标签概率和松质骨的标签概率；
利用点云模型的顶点坐标使碎骨点云模型与三维碎骨网格模型对应，将顶点对应的皮质骨的标签概率和松质骨的标签概率新增到三维碎骨网格模型的顶点上。
上述技术方案将得到的顶点皮质骨标签概率和松质骨标签概率映射到对应的三维碎骨网格模型，即能获得初步的三维碎骨分割结果。为了优化上述技术方案的分割边界，进一步用图割算法优化边界处的分割。为了优化碎骨分割结果，对三维碎骨网格模型中顶点的皮质骨的标签概率或松质骨的标签概率在设定范围内的区域利用图割法对三维碎骨网格模型优化获得优化后的碎骨分割结果。
可选地，所述图割法表示如下：
Figure BDA0002405425130000041
式中,T是三维碎骨网格模型上的一组三角形集合，t表示一个带有标签指示器为pt的三角形，Nt表示t的相邻三角形集合，lt表示三角形的标签，λ是影响平衡项的非负常数，
ξU(pt,lt)＝-log(pt(lt))
其中，pt(lt)表示pt的第lt个分量；
ξS(pt,pv,lt,lv)表示影响相邻三角形标签之间的平滑度，表达式如下：
Figure BDA0002405425130000042
式中，
Figure BDA0002405425130000043
和θtv分别表示三角形t和三角形v之间的距离和二面角。lv表示pv的分量，pv表示三角形v的标签指示器。
第二方面，本发明提供了基于深度学习的三维碎骨分割装置，其特征在于，包括点云模型生成模块、标签概率输出模块以及碎骨分割模块；其中
点云模型生成模块，用于基于获取的三维碎骨网格模型提取顶点坐标与顶点法向量，生成碎骨点云模型；
PointNet++深度神经网络模块，用于将生成的碎骨点云模型输入至预先训练完成的PointNet++深度神经网络，预测得到碎骨点云模型的顶点碎骨标签概率，所述碎骨标签概率包括皮质骨的标签概率和松质骨的标签概率；
碎骨分割模块，用于将得到的顶点皮质骨的标签概率和松质骨的标签概率映射到对应的三维碎骨网格模型，获得碎骨分割结果。
进一步地，所述装置还包括优化模块，所述优化模块用于对三维碎骨网格模型中顶点的皮质骨的标签概率或松质骨的标签概率在设定范围内的区域利用图割法对三维碎骨网格模型优化获得优化后的碎骨分割结果。
根据本申请的又一个方面，提供了一种计算机可读存储介质，优选为非易失性可读存储介质，其内存储有计算机程序，所述计算机程序在由处理器执行时实现如上所述的方法。
根据本申请的又一个方面，提供了一种计算机程序产品，包括计算机可读代码，当所述计算机可读代码由计算机设备执行时，导致所述计算机设备执行上述的方法。
本发明所取得的有益技术效果：
本发明采用几何深度学习中的PointNet++深度神经网络预测碎骨皮质骨与松质骨的分类标记，PointNet++通过分层方式处理度量空间中采样的点集，能提取局部特征捕获到的精细几何结构，较好实现碎骨皮质骨与松质骨分割；
本发明再根据三角面片间的平滑程度利用图割法改善分割结果，满足了医生骨折术前规划中的实际需求，提高了碎骨分割效率与自动化程度。
本发明提高了医生骨折术前规划中皮质骨提取与分割的效率与自动化程度，减少术前规划时间，节约人力；松质骨的去除可以降低医生对骨折病情诊断的难度，更加符合临床医学的要求，能满足医生进行术前规划时的需求；本发明给手术治疗提供有效的参考、模拟，帮助医生制定合适的碎骨复位方案。
附图说明
图1为本发明基于深度学习的三维碎骨分割方法的总体流程图；
图2为本发明基于深度学习的三维碎骨分割方法的训练数据处理流程图；
图3为本发明基于深度学习的三维碎骨分割方法数据处理展示图，其中，a为CT医学图像，b为建模后三维网格模型，c为碎骨标记皮质骨模型，d为碎骨标记松质骨模型；
图4为本发明基于深度学习的三维碎骨分割方法中的PointNet++分割结果图。
具体实施方式
下面将结合本发明中的附图，对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动条件下所获得的所有其它实施例，都属于本发明保护的范围。
实施例一
结合图1所示本实施例提供基于深度学习的三维碎骨分割方法的方法总体流程图，包括：
步骤1：搭建PointNet++深度神经网络，该深度神经网络包括：
S1.1特征提取部分由采样层、组合层和特征提取层构成，每一层级提取多个邻域范围的点集，使用PointNet作为特征提取结构，提取局部相关性特征，随着层级增加，感受野增大，特征点数目减少，每个特征点包含的信息越来越多。
PointNet++原理如下：通过底层空间的距离度量将点集划分为重叠的局部区域，从小区域中提取捕捉到的精细几何结构的局部特征；将这些局部特征进一步分组为更大的单元并进行处理，产生更高级别的特征，重复此过程，直到获得整个点集的特征。PointNet++通过分层网络结构提取深层特征，主要由以下几个关键部分构成：
S1.1.1采样层(Sampling layer)：对碎骨点云模型的点云数据采样，采样算法选择最远点采样算法(Farthest Point Sampling,FPS)，即选择一个点，找到在当前尺度标准下的最远点，迭代选取距离已有点集的最远点，从点集的n个点中选出m个中心点，与随机选点相比，能更好覆盖整个采样空间。
S1.1.2组合层(Grouping layer)：确定每个中心点的邻域，在尺度空间下，给定半径k，将距离在k以内的其他点加入中心点邻域，这种方式固定了邻域尺度，能更好提取局部空间特征。组合层作用是找到采样层后每个中心点的邻域，用于后续提取局部特征。
S1.1.3特征提取层(PointNet layer)：用PointNet对组合层给出的每个中心点邻域进行特征提取，获取局部特征。
S1.2特征传递采用基于距离的插值和跨越跳级链路的分层传播策略，将上采样后的特征与同分辨率的低层特征连接，实现高级全局特征与低层细节信息相结合。
S1.3全链接采用卷积实现最终碎骨皮质骨与松质骨分类。
本发明采用几何深度学习中的PointNet++深度神经网络预测碎骨皮质骨与松质骨的分类标记，PointNet++通过分层方式处理度量空间中采样的点集，能提取局部特征捕获到的精细几何结构，较好实现碎骨皮质骨与松质骨分割。
步骤2：具体实施例中对搭建的PointNet++深度神经网络进行训练包括产生训练数据，训练PointNet++深度神经网络的数据集是已经标记的碎骨点云模型，具体实施方式中是m个7*n的文本文件，7个数据分别是顶点的x,y,z坐标及其对应的顶点法向量，以及碎骨皮质骨或松质骨的标签，n表示一个模型中顶点的个数，m表示训练数据的个数。
具体包括以下步骤：
结合图2所示的训练数据处理流程图，在Mimics软件中将CT医学扫描图像(如图3中a所示)构建成三维碎骨网格模型(如图3中b所示)，在3-matic软件中标记碎骨网格模型的皮质骨(如图3中c所示)与松质骨(如图3中d所示)。
S2.1获取不同患者的下肢碎骨的电子扫描图像；
S2.2利用Mimics软件将电子扫描图像构建成三维碎骨网格模型；
S2.3在Mimics中对碎骨进行分割，实现完整碎骨与其他正常骨之间分离以及碎骨骨块与骨块之间的分离；
S2.4将在Mimics中分割好的碎骨导入3-matic软件中，手动标记碎骨皮质骨与松质骨，实现碎骨皮质骨与松质骨分离；
S2.5将3-matic中的没有进行标记的碎骨完整网格模型以及碎骨对应分离之后的皮质骨网格模型和松质骨网格模型导出。
步骤3：根据步骤2得到的已被标记的碎骨网格模型生成带标签的点云模型。
S3.1读取碎骨完整网格模型及其对应的皮质骨网格模型与松质骨网格模型，这里皮质骨网格模型与松质骨网格模型用于生成带标签的完整碎骨网格模型，所述标签用于标识皮质骨与松质骨；
S3.2将皮质骨模型与松质骨模型分别映射到对应的碎骨完整网格模型上，即在完整三维碎骨模型数据上增加一项标签，皮质骨标记为1，松质骨标记为2；
S3.3提取完整碎骨网格模型的顶点坐标与顶点法向量以及对应的顶点标签，构成点云数据。
步骤4：根据步骤3中得到的训练数据训练PointNet++网络，根据预测结果适当调整网络参数使其接近最佳预测结果。
步骤5：根据步骤4中训练好的神经网络，输入测试数据，即不带标签的碎骨点云模型，预测得到碎骨点云模型的顶点皮质骨与松质骨的标签概率。
步骤6：根据步骤5中得到的顶点碎骨标签概率，将其映射到对应的网格模型上。所述碎骨标签概率包括皮质骨的标签概率和松质骨的标签概率；皮质骨的标签概率和松质骨的标签概率之和为1。
测试后得到碎骨点云模型中顶点对应的标签概率，将点云模型中的标签映射到网格模型上。具体实现为提取点云模型的顶点坐标以及标签，将顶点坐标与网格模型顶点坐标查找对比，实现点云模型顶点与网格模型一一对应，将测试出来的标签概率(即皮质骨的标签概率和松质骨的标签概率)新增到网格模型顶点上。
在以上实施例的基础上，具体实施例为了优化碎骨分割边界，进一步用图割算法优化边界处的分割，还包括以下步骤：
步骤7：根据步骤6中得到的带标签概率的碎骨网格模型，将顶点皮质骨概率在一定范围内的区域根据相邻三角面片之间的平滑程度做图割法进一步优化碎骨分割结果。可选地，本实施例中对皮质骨的标签概率小于0.3的区域做图割法。
通过PointNet++可以得到网格上每个三角形的标签指示器，可以粗略地描述三角形属于皮质骨与松质骨的概率，但相邻三角形之间的标签可能不一致，导致最终分割结果不理想，为解决这个问题，提出使用多标签图割方法，通过标签一致性约束来优化标签。
设T是网格模型上的一组三角形集合，t表示一个带有标签指示器为pt的三角形，Nt表示它的相邻三角形集合，lt表示三角形的标签，{lt|t∈T}，则三角形标签可以通过下式优化：
Figure BDA0002405425130000101
式中,λ是影响平衡项的非负常数，第一个术语定义为：
ξU(pt,lt)＝-log(pt(lt))
其中，pt(lt)表示pt的第lt个分量，这一项意味着将一个标签分配给三角形t，如果该三角形t对应pt一个较小值将会导致较大的惩罚。第二个术语表示影响相邻三角形标签之间的平滑度：
Figure BDA0002405425130000102
式中，
Figure BDA0002405425130000103
和θtv分别表示三角形t和三角形v之间的距离和二面角，这一项意味对于两个相邻的三角形之间可能具有一致的标签。
本发明再根据三角面片间的平滑程度利用图割法改善分割结果，满足了医生骨折术前规划中的实际需求，提高了碎骨分割效率与自动化程度。
图4给出本实施例的PointNet++分割的初始效果图，可以看出本发明所述的运用PointNet++预测碎骨皮质骨与松质骨分割效果较好，结合图割法能够很好的实现碎骨分割，满足医生进行术前规划的实际需求。
本实施例首先搭建PointNet++深度神经网络；根据神经网络完成训练数据准备工作，将CT图像生成的碎骨三维网格模型进行皮质骨与松质骨标记并将其转为点云模型；训练神经网络，根据预测结果适当调整网络参数；根据训练好的神经网络预测得到点云模型每个顶点属于皮质骨与松质骨的概率；在其对应的网格模型上，对顶点皮质骨概率在一定范围内的区域做图割法进一步优化分割结果。本发明采用几何深度学习中的PointNet++深度神经网络预测碎骨皮质骨与松质骨的分类标记，PointNet++通过分层方式处理度量空间中采样的点集，能提取局部特征捕获到的精细几何结构，较好实现碎骨皮质骨与松质骨分割；再根据三角面片间的平滑程度利用图割法改善分割结果，满足了医生骨折术前规划中的实际需求，提高了碎骨分割效率与自动化程度。
实施例二
基于以上实施例的基础上，一种基于深度学习的三维碎骨分割方法，包括：基于获取的三维碎骨网格模型提取顶点坐标、顶点法向量，生成碎骨点云模型；将生成的点云模型输入至预先训练完成的PointNet++深度神经网络，预测得到碎骨点云模型的顶点碎骨标签概率，所述碎骨标签概率包括皮质骨的标签概率和松质骨的标签概率；将得到的顶点皮质骨的标签概率和松质骨的标签概率映射到对应的三维碎骨网格模型，利用图割法进一步优化碎骨分割结果。
具体实施例包括将待进行三维碎骨分割的CT医学扫描图像构建成三维碎骨网格模型，具体实施例中所述CT医学扫描图像采用不同患者的下肢碎骨的电子扫描图像。在Mimics软件中将CT医学扫描图像构建成三维碎骨网格模型，在Mimics中对碎骨进行分割，实现完整碎骨与其他正常骨之间分离以及碎骨骨块与骨块之间的分离；将在Mimics中分割好的碎骨导入3-matic软件中，手动标记碎骨皮质骨与松质骨，实现碎骨皮质骨与松质骨分离；将3-matic中的没有进行标记的碎骨网格模型以及碎骨对应分离之后的皮质骨网格模型和松质骨网格模型导出。
训练PointNet++深度神经网络包括将对获取的三维碎骨网格模型标记皮质骨和松质骨；
提取已经标记的三维碎骨网格模型的顶点坐标与顶点法向量以及对应的顶点标签，生成带标签的点云模型，将生成的点云模型输入至预先构建的PointNet++深度神经网络。
通过标记大量真实碎骨皮质骨与松质骨数据作为训练数据，训练已搭建好的神经网络，利用度量空间距离，通过增加上下文尺度来学习局部特征，进而完成网络训练。
将已经标记的三维碎骨网格模型生成带标签的点云模型的方法包括：
S3.1读取碎骨完整网格模型，及其对应的皮质骨网格模型与松质骨网格模型；
S3.2将皮质骨模型与松质骨模型分别映射到对应的碎骨完整网格模型上，即在完整碎骨模型数据上增加一项标签，皮质骨标记为1，松质骨标记为2；
S3.3提取完整碎骨网格模型的顶点坐标与顶点法向量以及对应的顶点标签，构成点云数据。
本发明方法通过搭建PointNet++深度神经网络，通过已训练好的神经网络得到三维碎骨网格模型转化的点云模型每个点的分类概率；将测试后带标签的碎骨点云模型转为带标签的三维碎骨网格模型进行处理，对网格模型上顶点的分类概率在一定范围内的区域做图割法进一步提高分割精确度；所述分割方法提高了骨折术前规划中三维碎骨皮质骨提取与分割的效率与自动化程度，满足医生的实际需求。
采用以上实施例的方法获得预先训练完成的PointNet++深度神经网络，在此不赘述。
实施例三、基于深度学习的三维碎骨分割装置，包括碎骨点云模型生成模块、标签概率输出模块以及碎骨分割模块；其中
点云模型生成模块，用于基于获取的三维碎骨网格模型提取顶点坐标与顶点法向量，生成碎骨点云模型；
PointNet++深度神经网络模块，用于将生成的碎骨点云模型输入至预先训练完成的PointNet++深度神经网络，预测得到碎骨点云模型的顶点碎骨标签概率，所述碎骨标签概率包括皮质骨的标签概率和松质骨的标签概率；
碎骨分割模块，用于将得到的顶点皮质骨的标签概率和松质骨的标签概率映射到对应的三维碎骨网格模型获得碎骨分割结果。
在以上实施例基础上，具体实施例还包括优化模块，所述优化模块用于对三维碎骨网格模型中顶点的皮质骨的标签概率或松质骨的标签概率在设定范围内的区域利用图割法对三维碎骨网格模型优化获得优化后的碎骨分割结果。
本实施例中各模块的实现方法如以上实施例提供方法，本领域技术人员能够基于以上实施例内容实现本实施例，不再赘述。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。

Claims (8)

1.基于深度学习的三维碎骨分割方法，其特征在于，包括以下步骤：
基于获取的三维碎骨网格模型提取顶点坐标和顶点法向量，生成碎骨点云模型；
将生成的碎骨点云模型输入至预先训练完成的PointNet++深度神经网络，预测得到碎骨点云模型的顶点碎骨标签概率，所述碎骨标签概率包括皮质骨的标签概率和松质骨的标签概率；
将得到的顶点的皮质骨的标签概率和松质骨的标签概率映射到对应的三维碎骨网格模型，获得三维碎骨分割结果。
2.根据权利要求1所述的基于深度学习的三维碎骨分割方法，其特征在于，所述PointNet++深度神经网络分为特征提取、特征传递和全链接三部分；
特征提取部分由采样层、组合层和特征提取层构成，每一层级提取碎骨点云模型的多个邻域范围的点集，使用PointNet作为特征提取结构，提取局部相关性特征；
特征传递采用基于距离的插值和跨越跳级链路的分层传播策略，将上采样后的特征与同分辨率的低层特征连接；
全链接采用卷积实现最终碎骨皮质骨与松质骨分类。
3.根据权利要求2基于深度学习的三维碎骨分割方法，其特征在于，特征提取部分具体包括：
采样层：对碎骨点云模型中的点云数据采样，采样算法选择最远点采样算法，选择一个点，找到在当前尺度标准下的最远点，迭代选取距离已有点集的最远点，从点集的n个点中选出m个中心点；
组合层：确定每个中心点的邻域，在尺度空间下，给定半径k，将距离在k以内的其他点加入中心点邻域；
特征提取层：用PointNet对组合层给出的每个中心点邻域进行特征提取，获取局部特征。
4.根据权利要求1所述的基于深度学习的三维碎骨分割方法，其特征在于，
所述将得到的顶点的皮质骨的标签概率和松质骨的标签概率映射到对应的三维碎骨网格模型，包括以下步骤：
提取碎骨点云模型的顶点坐标以及对应的皮质骨概率与松质骨概率；
利用碎骨点云模型的顶点坐标使碎骨点云模型与三维碎骨网格模型对应，将顶点对应的皮质骨概率与松质骨概率新增到三维碎骨网格模型的顶点上。
5.根据权利要求1所述的基于深度学习的三维碎骨分割方法，其特征在于，在所述将得到的顶点的皮质骨的标签概率和松质骨的标签概率映射到对应的三维碎骨网格模型步骤之后，还包括：
对三维碎骨网格模型中顶点的皮质骨的标签概率或松质骨的标签概率在设定范围内的区域利用图割法对三维碎骨网格模型优化获得优化后的碎骨分割结果。
6.根据权利要求5所述的基于深度学习的三维碎骨分割方法，其特征在于，所述图割法表示如下：
Figure FDA0002405425120000021
式中,T是三维碎骨网格模型上的一组三角形集合，t表示一个带有标签指示器为pt的三角形，Nt表示t的相邻三角形集合，lt表示三角形的标签，λ是影响平衡项的非负常数，
ξU(pt，lt)＝-log(pt(lt))
其中，pt(lt)表示pt的第lt个分量；
ξS(pt,pv,lt,lv)表示影响相邻三角形标签之间的平滑度，表达式如下：
Figure FDA0002405425120000031
式中，
Figure FDA0002405425120000032
和θtv分别表示三角形t和三角形v之间的距离和二面角，lv表示pv的分量，pv表示三角形v的标签指示器。
7.基于深度学习的三维碎骨分割装置，其特征在于，包括点云模型生成模块、标签概率输出模块以及碎骨分割模块；其中
点云模型生成模块，用于基于获取的三维碎骨网格模型提取顶点坐标、顶点法向量，生成碎骨点云模型；
PointNet++深度神经网络模块，用于将生成的碎骨点云模型输入至预先训练完成的PointNet++深度神经网络，预测得到碎骨点云模型的顶点碎骨标签概率，所述碎骨标签概率包括皮质骨的标签概率和松质骨的标签概率；
碎骨分割模块，用于将得到的顶点皮质骨的标签概率和松质骨的标签概率映射到对应的三维碎骨网格模型获得碎骨分割结果。
8.根据权利要求7所述的基于深度学习的三维碎骨分割装置，其特征在于，所述装置还包括优化模块，所述优化模块用于对三维碎骨网格模型中顶点的皮质骨的标签概率或松质骨的标签概率在设定范围内的区域利用图割法对三维碎骨网格模型优化获得碎骨分割结果。
CN202010160086.XA 2020-03-10 2020-03-10 基于深度学习的三维碎骨分割方法和装置 Active CN111402216B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010160086.XA CN111402216B (zh) 2020-03-10 2020-03-10 基于深度学习的三维碎骨分割方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010160086.XA CN111402216B (zh) 2020-03-10 2020-03-10 基于深度学习的三维碎骨分割方法和装置

Publications (2)

Publication Number Publication Date
CN111402216A true CN111402216A (zh) 2020-07-10
CN111402216B CN111402216B (zh) 2022-09-23

Family

ID=71430627

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010160086.XA Active CN111402216B (zh) 2020-03-10 2020-03-10 基于深度学习的三维碎骨分割方法和装置

Country Status (1)

Country Link
CN (1) CN111402216B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112200780A (zh) * 2020-09-29 2021-01-08 上海联影医疗科技股份有限公司 骨组织定位方法、装置、计算机设备和存储介质
CN112241955A (zh) * 2020-10-27 2021-01-19 平安科技（深圳）有限公司 三维图像的碎骨分割方法、装置、计算机设备及存储介质
CN113888566A (zh) * 2021-09-29 2022-01-04 推想医疗科技股份有限公司 目标轮廓曲线确定方法、装置、电子设备以及存储介质
CN115880319A (zh) * 2023-02-16 2023-03-31 博志生物科技(深圳)有限公司 一种椎体终板及邻近松质骨自动分割方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105869149A (zh) * 2016-03-24 2016-08-17 大连理工大学 基于主向量分析的断骨截面分割及断骨模型配准方法
CN108765417A (zh) * 2018-06-15 2018-11-06 西安邮电大学 一种基于深度学习和数字重建放射影像的股骨x线片生成系统及方法
US20190105009A1 (en) * 2017-10-10 2019-04-11 Holo Surgical Inc. Automated segmentation of three dimensional bony structure images

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105869149A (zh) * 2016-03-24 2016-08-17 大连理工大学 基于主向量分析的断骨截面分割及断骨模型配准方法
US20190105009A1 (en) * 2017-10-10 2019-04-11 Holo Surgical Inc. Automated segmentation of three dimensional bony structure images
CN108765417A (zh) * 2018-06-15 2018-11-06 西安邮电大学 一种基于深度学习和数字重建放射影像的股骨x线片生成系统及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
孙晓莉等: "基于区域生长的三维碎骨分割方法", 《计算机应用》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112200780A (zh) * 2020-09-29 2021-01-08 上海联影医疗科技股份有限公司 骨组织定位方法、装置、计算机设备和存储介质
CN112200780B (zh) * 2020-09-29 2023-09-29 上海联影医疗科技股份有限公司 骨组织定位方法、装置、计算机设备和存储介质
CN112241955A (zh) * 2020-10-27 2021-01-19 平安科技（深圳）有限公司 三维图像的碎骨分割方法、装置、计算机设备及存储介质
WO2021179702A1 (zh) * 2020-10-27 2021-09-16 平安科技（深圳）有限公司 三维图像的碎骨分割方法、装置、计算机设备及存储介质
CN112241955B (zh) * 2020-10-27 2023-08-25 平安科技（深圳）有限公司 三维图像的碎骨分割方法、装置、计算机设备及存储介质
CN113888566A (zh) * 2021-09-29 2022-01-04 推想医疗科技股份有限公司 目标轮廓曲线确定方法、装置、电子设备以及存储介质
CN115880319A (zh) * 2023-02-16 2023-03-31 博志生物科技(深圳)有限公司 一种椎体终板及邻近松质骨自动分割方法及装置

Also Published As

Publication number Publication date
CN111402216B (zh) 2022-09-23

Similar Documents

Publication Publication Date Title
CN111402216B (zh) 基于深度学习的三维碎骨分割方法和装置
CN113454637A (zh) 使用深度学习对非欧式3d数据集的自动语义分割
JP2020530177A (ja) ディープニューラルネットワークを使用したコンピュータ支援診断
CN110543912B (zh) 自动获取胎儿关键切面超声视频中心动周期视频的方法
Cai et al. Lesion-harvester: Iteratively mining unlabeled lesions and hard-negative examples at scale
CN115187540A (zh) 一种人体三维椎体松质骨图像的自动分割方法及系统
CN108597017A (zh) 一种基于测量参数的骨骼变形模板构建方法
WO2021027152A1 (zh) 基于条件生成对抗网络合成图像的方法及相关设备
CN114638852A (zh) 基于cbct图像颌骨、软组织识别与重建的方法、装置及介质
CN106780728A (zh) 一种基于医学影像的单个器官拆分方法及系统
CN115719334A (zh) 基于人工智能的医学影像评价方法、装置、设备及介质
Abdi et al. Variational shape completion for virtual planning of jaw reconstructive surgery
CN110047145B (zh) 基于深度学习和有限元建模的组织变形模拟系统及方法
CN114693981A (zh) 一种膝关节特征点自动识别方法
CN114757908A (zh) 基于ct影像的图像处理方法、装置、设备及存储介质
CN117095241B (zh) 一种耐药性肺结核类别的筛查方法、系统、设备及介质
CN113920128A (zh) 膝关节股骨胫骨分割方法和装置
AU2019204365C1 (en) Method and System for Image Segmentation and Identification
CN117174238A (zh) 基于人工智能的病理学报告自动生成方法
CN115762721A (zh) 一种基于计算机视觉技术的医疗影像质控方法和系统
CN115761226A (zh) 一种口腔影像分割识别方法、装置、电子设备和存储介质
Dhar et al. Automatic tracing of mandibular canal pathways using deep learning
Xiong et al. TFormer: 3D tooth segmentation in mesh scans with geometry guided transformer
CN116092643A (zh) 一种基于医疗影像的交互式半自动标注方法
Yifeng et al. Semantic segmentation with densenets for breast tumor detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant