CN114998301A - 一种椎体亚区域分割方法、装置及存储介质 - Google Patents
一种椎体亚区域分割方法、装置及存储介质 Download PDFInfo
- Publication number
- CN114998301A CN114998301A CN202210744141.9A CN202210744141A CN114998301A CN 114998301 A CN114998301 A CN 114998301A CN 202210744141 A CN202210744141 A CN 202210744141A CN 114998301 A CN114998301 A CN 114998301A
- Authority
- CN
- China
- Prior art keywords
- vertebral body
- mask
- sub
- segmentation
- endplate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 73
- 238000000034 method Methods 0.000 title claims abstract description 69
- 238000003860 storage Methods 0.000 title claims abstract description 13
- 210000000988 bone and bone Anatomy 0.000 claims abstract description 76
- 230000001054 cortical effect Effects 0.000 claims abstract description 29
- 238000003062 neural network model Methods 0.000 claims abstract description 29
- 230000000877 morphologic effect Effects 0.000 claims abstract description 18
- 238000012545 processing Methods 0.000 claims abstract description 12
- 238000007781 pre-processing Methods 0.000 claims abstract description 9
- 238000012360 testing method Methods 0.000 claims abstract description 9
- 238000012805 post-processing Methods 0.000 claims abstract description 7
- 230000006870 function Effects 0.000 claims description 28
- 238000012549 training Methods 0.000 claims description 25
- 230000004927 fusion Effects 0.000 claims description 22
- 238000012952 Resampling Methods 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 12
- 238000010586 diagram Methods 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 10
- 208000008558 Osteophyte Diseases 0.000 claims description 9
- 238000010606 normalization Methods 0.000 claims description 9
- 238000011478 gradient descent method Methods 0.000 claims description 6
- 238000004891 communication Methods 0.000 claims description 5
- 238000012886 linear function Methods 0.000 claims description 5
- 208000028906 Abnormal bone structure Diseases 0.000 claims description 4
- 238000013527 convolutional neural network Methods 0.000 claims description 4
- 238000002372 labelling Methods 0.000 claims description 4
- 238000013528 artificial neural network Methods 0.000 claims description 2
- 230000003628 erosive effect Effects 0.000 claims description 2
- 238000013507 mapping Methods 0.000 claims description 2
- 238000004458 analytical method Methods 0.000 description 6
- 230000037182 bone density Effects 0.000 description 5
- 238000013434 data augmentation Methods 0.000 description 5
- 239000007943 implant Substances 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 3
- 229910052500 inorganic mineral Inorganic materials 0.000 description 3
- 239000011707 mineral Substances 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000005856 abnormality Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 230000007797 corrosion Effects 0.000 description 2
- 238000005260 corrosion Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 210000003205 muscle Anatomy 0.000 description 2
- 239000006002 Pepper Substances 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000005489 elastic deformation Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 201000010934 exostosis Diseases 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000010419 fine particle Substances 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011158 quantitative evaluation Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000010008 shearing Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20036—Morphological image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30008—Bone
- G06T2207/30012—Spine; Backbone
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明属于医学图像处理技术领域,公开了一种椎体亚区域分割方法、装置及存储介质,其中,分割方法包括:对获取得到的脊柱椎体影像数据进行预处理;将预处理后的影像数据输入预训练的神经网络模型,得到脊柱椎体对应的亚区域分割掩膜回归结果;通过形态学操作和连通性测试将掩膜回归结果进行后处理,得到厚度均匀且可自定义厚度的椎体上下骨性终板,以及皮质骨侧板、松质骨区域的三维分割掩膜,完成椎体亚区域分割。本发明解决了现有技术中椎体亚区域分割方法无法实现与椎体骨性终板复杂的解剖形态相匹配的终板及终板下骨个性化亚区域分割;对椎体侧板和椎体松质骨区域的分割性能较差,且泛化能力不高的问题。
Description
技术领域
本发明涉及医学图像处理领域,尤其涉及一种椎体亚区域分割方法、装置及存储介质。
背景技术
脊柱椎体亚区域主要包括骨性终板、皮质骨侧壁和松质,它们都对人体起着重要的支撑作用。其中,骨性终板及其邻近终板下骨区域的骨质量还是影响脊柱椎间融合术疗效的关键因素之一。终板骨质量越差,椎间融合术中出现终板损伤,术后出现终板塌陷和融合器下沉移位的风险越高。从骨密度、力学、形态结构等方面对椎体骨性终板、皮质骨侧板和松质骨区域(下文部分内容简称椎体亚区域)进行分析有助于建立骨质量的量化评价指标,辅助临床诊断和手术计划。基于三维医学影像(例如计算机断层成像,CT),可对椎体亚区域进行精准的三维分割和三维重建。现有技术方案一般基于形态学算法和相似度指标等底层图像处理方法对椎体图像进行分割,可自动生成椎体亚区域的分割掩膜。
现有方法分割的骨性终板主要存在以下问题。第一,终板分割区域无法与复杂的终板解剖外形很好地匹配;第二,实际上在同一终板范围内不同厚度和不同形状的亚区域(下文简称终板亚区域)骨密度也各不相同,脊柱手术植入椎间的内植物往往只和某个终板亚区域接触,而不会和整个终板都接触。现有方法无法实现对自定义终板亚区域的分割;第三,现有方法无法对骨赘等非骨性终板区域进行分离排除。
另一方面,现有方法对椎体侧板和椎体松质骨区域的分割性能较差。对椎体图像质量有较强依赖性,即泛化能力较差,难以在不同的成像设备(如CT设备的品牌、型号)、不同的扫描参数(电压、辐射剂量、扫描层厚、重建核函数)、不同脊柱形态(结构异常,如畸形、骨折等;椎体角度异常,如侧弯、前后凸等)等场景中均保持较高的分割准确度。
上述问题均制约了现有方法在临床上的广泛应用。
发明内容
鉴于上述的分析,本发明旨在提供一种椎体亚区域分割方法、装置及存储介质,通过预训练的椎体亚区域分割神经网络模型,得到椎体亚区域的三维分割掩膜。本发明解决了现有技术中椎体亚区域分割方法未涉及的问题,包括:无法实现与椎体骨性终板复杂的解剖形态相匹配的自定义终板及终板下骨亚区域分割;对椎体侧板和椎体松质骨区域的分割性能较差,且泛化能力不高。本发明可以在脊柱局部骨密度计算领域进行拓展应用。
本发明的目的主要是通过以下技术方案实现的:
一方面,提供一种椎体亚区域分割方法,包括以下步骤:
对获取得到的脊柱椎体影像数据进行预处理;
将预处理后的影像数据输入预训练的神经网络模型,得到脊柱椎体对应的亚区域分割掩膜回归结果;其中,神经网络模型用于输出椎体上下骨性终板掩膜回归结果、皮质骨侧板掩膜回归结果、松质骨区域掩膜回归结果以及基于融合得到的椎体掩膜回归结果;
通过形态学操作和连通性测试将椎体掩膜回归结果进行后处理,得到椎体上下骨性终板、皮质骨侧板、松质骨区域的三维分割掩膜,完成椎体亚区域分割;
椎体亚区域包括椎体上下骨性终板、皮质骨侧板和松质骨区域。
进一步的,预训练的神经网络模型为分叉式多任务卷积神经网络结构,包括一个编码器、三个解码器和一个MAX融合单元:其中,
编码器用于接收预处理后的影像数据得到特征图;
三个解码器分别与编码器相连,分别用于基于特征图输出上下骨性终板掩膜回归结果、皮质骨侧板掩膜回归结果和椎体松质骨掩膜回归结果;
MAX融合单元分别与三个编码器连接,用于输出椎体掩膜回归结果。
进一步的,神经网络的预训练过程包括:
为预处理后的影像数据分别构建上下骨性终板掩膜标签、皮质骨侧板掩膜标签、椎体松质骨掩膜标签以及融合得到椎体掩膜标签;
通过模拟不同场景下获取的影像特征对构建标签后的影像数据进行增广得到训练样本,以扩充训练数据集;
计算神经网络模型的四个输出结果与对应标签的损失函数,为四个输出的损失函数分配权重得到神经网络模型总的损失函数;基于神经网络模型总的损失函数采用梯度下降法进行模型参数的迭代训练。
进一步的,使用二值掩膜法对训练样本图像中的体素进行标注,为训练样本图像构建得到上下骨性终板掩膜标签、皮质骨侧板掩膜标签、椎体松质骨掩膜标签;
通过融合上下骨性终板掩膜标签、皮质骨侧板掩膜标签、椎体松质骨掩膜标签,构建得到椎体掩膜标签。
其中,构建终板掩膜标签,包括自定义终板区域的厚度和形状以得到终板掩膜标签。
进一步的,采用梯度下降法进行模型参数迭代,包括:
采用交叉熵和Dice函数的加权作为每个输出结果的损失函数,其中,交叉熵函数为:
Dice函数为:
其中,a为神经网络模型中一个输出结果,b为标注结果,i为体素位置索引,|n|为总体素数。
进一步的,MAX融合单元用于输出椎体掩膜回归结果,包括:基于预处理后的脊柱椎体影像的每个体素位置索引,取三个解码器对应索引的最大值,对每个体素的三个解码器对应索引的最大值进行MAX融合,输出椎体掩膜回归结果。
进一步的,对脊柱椎体影像数据进行预处理包括重采样处理和像素值归一化处理;其中,
重采样处理包括:将获取得到的脊柱椎体影像的空间分辨率除以预设的空间分辨率,得到影像数据在三个维度的重采样比率;根据重采样比率,采用线性插值方法得到重采样后的具有固定空间分辨率的影像数据。
像素值归一化处理包括:将原始像素值范围[M,N]通过线性函数映射到预设的值域[P,Q];其中M为CT影像最小像素值,N为CT影像最大像素值,P为预设值域的下界,Q为预设值域的上界。
进一步的,通过形态学操作和连通性测试将掩膜回归结果进行后处理,包括:使用卷积核为3*3*3的三维形态学开运算,通过滑动窗口法对每个体素周围的邻域进行形态学腐蚀和膨胀,去除掩膜中的细颗粒噪声,以去除包括椎体骨赘在内的非正常骨质结构区域。
使用skimage工具包对上下骨性终板掩膜进行连通性计算,保留结果中最大的两块连通区域,分别对应上、下两块骨性终板;皮质骨侧板掩膜与椎体松质骨掩膜只保留最大的一块连通区。
另一方面,本发明还提供一种椎体亚区域分割装置,包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现前述的椎体亚区域分割方法。
第三方面,还提供一种计算机可读存储介质,存储介质上存储有计算机程序,所述计算机程序可被处理器执行,实现前述的椎体亚区域分割方法。
本发明还可以往局部骨密度计算领域进行扩展,计算分割区域内的平均CT值,在CT值基础上,通过肌肉脂肪的自动化定位分析,进行骨矿物含量的定量化计算和分析。
本技术方案的有益效果:
1.针对现有方法不能实现与复杂终板解剖结构匹配的个性化终板亚区域分割,对椎体侧壁和松质骨区域分割性能较差的问题,本发明将椎体划分为上下骨性终板,皮质骨侧板和椎体松质骨三个区域。可实现个性化终板厚度分割、与“植入物-终板”接触面匹配的终板亚区域分割,去除骨赘等非正常骨质结构。更加准确的对椎体进行分割,进一步扩大了椎体分割方法的应用范围。
2.针对现有技术泛化能力较差的问题,本发明提出一种基于预训练的神经网络模型的机器学习技术方法,并且通过数据增广法,模拟不同场景下获取的椎体影像特征,增加预测模型对影像对比度、影像噪声、椎体位姿、影像层厚的适应度,从而获得更强的泛化能力。相比于现有技术,本方法可自主学习影像特征,无需使用特定的特征提取方法。
3.针对现有技术不具备可拓展性的问题,本发明采用数据驱动的建模方式,可通过增加训练数据的方法提升预测模型性能,可将专家意见通过数据标注的方式添加到模型训练过程中,不断优化。
本发明的其他特征和优点将在随后的说明书中阐述,并且,部分的从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
附图仅用于示出具体实施例的目的,而并不认为是对本发明的限制,在整个附图中,相同的参考符号表示相同的部件。
图1:本发明实施例的椎体亚区域分割方法的示意流程图;
图2:本发明实施例的椎体亚区域分割神经网络模型的结构示意图;
图3:本发明实施例的一种训练椎体亚区域分割神经网络模型的结构示意图;
图4:本发明实施例的脊椎影像原始图与对应的数据增广结果的对比图;
图5:本发明实施例的椎体亚区域分割方法的结构示意图;
图6:本发明实施例的椎体骨赘去除方法,通过腐蚀算法去除外圈从而去除外围骨赘示意图;
具体实施方式
下面结合附图来具体描述本发明的优选实施例,其中,附图构成本申请一部分,并与本发明的实施例一起用于阐释本发明的原理,并非用于限定本发明的范围。
本发明通过对脊柱椎体影像数据进行预处理、构建掩膜标签、神经网络模型预测和后处理操作,得到椎体亚区域分割掩膜;本发明的椎体亚区域包括:椎体骨性终板、皮质骨侧板和椎体松质骨区域。示例性的,脊柱椎体影像数据为CT影像数据。
本发明的一个实施例,提供一种椎体亚区域分割方法,如图1所示,包括以下步骤:
步骤1:对获取得到的脊柱椎体影像数据进行预处理;
具体的,预处理包括重采样和像素值归一化处理。将脊柱椎体影像的空间分辨率除以预设的空间分辨率,得到所述影像数据在三个维度的重采样比率;根据所述重采样比率,采用线性插值方法得到重采样后的具有固定空间分辨率的影像数据;并将原始像素值范围通过线性函数映射到预设的值域。
具体的,在得到脊柱椎体影像数据后,通过对其进行预处理操作,能够消除原始影像数据的不同空间分辨率和极端像素值对后续步骤的负面影响。
首先,对原始影像数据进行重采样:重采样需要得到输入的脊柱椎体CT影像的空间分辨率,即每个体素对应的物理空间尺寸。基于DICOM协议的影像数据会将其作为元数据(metadata)的一部分保存该信息,作为一个具体的实施例,可以通过基于DICOM协议的影像数据获得CT影像的空间分辨率。重采样的目标空间分辨率为某一固定的空间尺寸,例如150*90*90毫米。以此为目的,首先预设一个空间分辨率,例如1*1*1毫米,将输入的CT影像的空间分辨率除以预设好的空间分辨率,得到原始影像数据所在三个维度的重采样比率;作为一个具体的实施例,可以采用线性插值方法(trilinear interpolation),经过重采样,得到具有固定空间尺寸的CT影像数据。
对输入的CT影像数据进行重采样后,需要对影像的像素值做归一化处理,将原始像素值范围[M,N]通过线性函数映射到某一预设的值域[P,Q],例如[-1,1],其中M为CT影像最小像素值,N为CT影像最大像素值,P为预设值域的下界,Q为预设值域的上界,使用(M,P)和(N,Q)这两点拟合线性函数。
需要说明的是,经过重采样后,将影像数据以统一的空间分辨率表示,从而消除不同空间分辨率(例如数据层厚和重建方法的不同)带来的结构化差异,使得亚区域分割模型将特征表征的学习方向集中于影像的语义本身。像素值归一化的目的是进一步消除极端像素值对后续步骤的负面影响;例如,某些金属植入物在CT影像中具有异常高的像素值,需要通过像素值归一化进行抑制。采用线性插值方法(trilinear interpolation)进行归一化处理,能够在保留影像特征的基础上具有较快的处理速度。
步骤2:将所述预处理后的影像数据输入预训练的神经网络模型,得到脊柱椎体对应的亚区域分割掩膜回归结果;其中,神经网络模型用于输出椎体上下骨性终板掩膜回归结果、皮质骨侧板掩膜回归结果、松质骨区域掩膜回归结果以及基于融合得到的椎体掩膜回归结果;四个所述掩膜回归结果即为神经网络模型的预测输出;对四个所述预测输出经过回归迭代计算,得到最终的椎体上下骨性终板掩膜回归结果、皮质骨侧板掩膜回归结果、松质骨区域掩膜回归结果以及基于融合得到的椎体掩膜回归结果。
具体地,本申请采用了分叉式多任务卷积神经网络结构,如图2所示。多任务学习的策略有助于提升卷积神经网络的泛化能力,抑制过拟合现象。分叉式结构由一个编码器、三个解码器和一个MAX融合单元组成;其中,编码器用于接收所述预处理后的影像数据得到特征图;其中三个解码器和一个MAX融合单元的输出即为模型的四种输出;三个解码器分别与编码器相连,用于基于特征图输出上下骨性终板掩膜回归结果、皮质骨侧板掩膜回归结果和椎体松质骨掩膜回归结果;MAX融合单元分别与三个编码器连接,用于输出椎体掩膜回归结果。
作为一个具体的实施例,本申请借鉴UNet结构,使用跳跃连接的方式将编码器的特征图传递给三个解码器,从而保证局部特征图能够有效地传递到解码器,弥补下采样造成的信息丢失。为了进一步抑制模型过拟合现象,本申请采用MAX融合单元将三个解码器的输出进行体素级融合;即对每个体素位置索引取三个解码器对应索引的最大值,相当于完成了基于通道最大值的椎体亚区域分类投票。三个通道的MAX融合输出能够还原出完整的椎体掩膜,过滤无效特征区域。
为了训练本申请所述的椎体亚区域分割神经网络模型,需要为训练用的图像数据构建三种训练标签:上下骨性终板掩膜标签、皮质骨侧板掩膜标签、椎体松质骨掩膜标签。椎体掩膜标签可通过在空间中融合前述的三种标签获得。
通过上述方法,终板分割区域与不同脊柱节段的终板解剖外形基本一致,可以根据神经网络模型进行图像分割;且终板分割区域可实现厚度均匀的效果,通过形态学计算,按照预先自定义的厚度进行分割,可覆盖骨性终板以及自定义厚度范围的终板下骨;终板分割区域可通过三维形态学腐蚀算法,消除骨赘等非感兴趣干扰区域;上下骨性终板掩膜标签可以拓展为自定义终板亚区域形状,通过预先设计的融合器等椎体间植入物的几何模型,得到该几何模型下与“植入物-终板”接触面的形状大小匹配的上下骨性终板亚区域的掩膜标签。
具体的,创建掩膜标签的方式可以通过专家手动标注,可使用二值掩膜表示感兴趣区域,其中标注1代表感兴趣区域内的体素,标注0代表非感兴趣区域体素。训练用的图像数据为三维医学影像,包括计算机断层成像,CT、MRI等影像设备采集到三维数据。
图3是本申请训练椎体亚区域分割神经网络模型的结构示意图;
首先对图像数据进行数据增广。具体的,如图4所示,三维数据增广方法包括:像素值随机指数变换和对数变换、随机三维度放射变换(包括平移、拉伸、收缩、旋转、剪切等)、随机椒盐噪声扰动、随机弹性形变等;通过数据增广极大的丰富了训练数据集,增加了模型的泛化能力。
通过数据增广扩充训练数据集,模拟不同场景下获取的CT影像特征,增加模型对影像对比度、影像噪声、椎体位姿、影像层厚的适应度,从而获得更强的泛化能力,能够应用于更广泛的临床场景。
其次,利用扩充后的训练数据集,对模型参数进行迭代训练。具体的,模型参数迭代整体采用梯度下降法,通过计算模型的四个输出与对应标签的损失函数,并为四种输出的损失函数分配权重,例如按照1:1:1:1的比例加权,得到模型总的损失函数;对模型总的损失函数采用梯度下降法,以一定的学习率对模型参数进行更新迭代优化。本申请采用交叉熵和Dice函数按1:1加权作为每个输出的损失函数;其中,
交叉熵函数为:
Dice函数为:
其中,a为神经网络模型中一个输出结果,b为标注结果,i为像素位置索引,|n|为总像素数。
需要说明的是,本发明通过训练样本集扩充和根据专家标注的掩膜标签数据进行参数迭代训练,极大的增强了椎体分割方法的泛化能力,解决了现有技术对椎体图像质量有较强的依赖性,泛化能力较差,难以适应不同的CT设备、不同的扫描参数和不同脊柱形态等问题;且本发明增加了专家意见,更好的改善了分割性能,提高了可拓展性。
本领域的技术人员可以理解,本申请选择的损失函数及其权重分配比例仅仅是与本申请方案相关的实例,并不构成应用本申请方案的限定,实际使用的损失函数种类和每个损失函数对应的权重可以改变。
步骤3:通过形态学操作和连通性测试将所述掩膜回归结果进行后处理,得到椎体上下骨性终板、皮质骨侧板、松质骨区域的三维分割掩膜,完成椎体亚区域分割。
由椎体亚区域分割神经网络模型输出得到的上下骨性终板掩膜回归结果、皮质骨侧板掩膜回归结果、椎体松质骨掩膜回归结果需要进行后处理。具体的,首先使用三维形态学开运算对每个掩膜回归结果进行处理,去除掩膜中的细颗粒噪声;开运算的卷积核为3*3*3,三维形态学开运算的本质是使用滑动窗口法对每个体素周围的邻域进行形态学腐蚀和膨胀,以去除包括椎体骨赘在内的非正常骨质结构区域,去除骨赘的示意图如图6所示。然后,使用连通性测试对三种掩膜回归结果进行处理,具体的,可以使用skimage工具包对上下骨性终板掩膜进行连通性计算,并保留结果中最大的两块连通区域,分别对应上、下两块骨性终板;皮质骨侧板掩膜仅保留最大的一块连通区域;椎体松质骨掩膜仅保留最大的一块连通区。经过形态学操作和连通性测试,即可得到最终的椎体亚区域分割掩膜区。
本发明的另一个实施例,提供了一种椎体亚区域分割装置,包括:存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,且处理器执行计算机程序时实现本发明上述任一实施例所述的椎体亚区域分割方法。
本发明的第三个实施例,提供了一种计算机可读存储介质,存储介质上存储有计算机程序,计算机程序可被处理器执行,实现本发明上述任一实施例所述的椎体亚区域分割方法。
综上所述,本发明提供的一种椎体亚区域分割方法:如图5所示,将预处理后的影像数据输入到预先训练的椎体亚区域分割神经网络模型,得到四个预测输出,包括亚区域分割掩膜回归结果和椎体分割掩膜回归结果;通过形态学操作和连通性测试对掩膜回归结果进行后处理,得到椎体上下骨性终板、皮质骨侧板、松质骨区域等椎体亚区域的三维分割掩膜,完成椎体亚区域分割。本发明使用人工智能技术促进了智慧医疗在临床中的应用;解决了传统方法泛化能力差、可拓展性差、应用范围局限的缺点。且该分割方法可以向局部骨密度计算领域进行扩展,计算分割区域内的平均CT值,在CT值基础上,通过肌肉脂肪的自动化定位分析,进行骨矿物含量的定量化计算和分析,从而实现骨密度计算测量。
本领域技术人员可以理解,实现上述实施例中方法的全部或部分流程,可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于计算机可读存储介质中。其中,所述计算机可读存储介质为磁盘、光盘、只读存储记忆体或随机存储记忆体等。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。
Claims (10)
1.一种椎体亚区域分割方法,其特征在于,包括以下步骤:
对获取得到的脊柱椎体影像数据进行预处理;
将所述预处理后的影像数据输入预训练的神经网络模型,得到所述脊柱椎体对应的亚区域分割掩膜回归结果;其中,所述神经网络模型用于输出椎体上下骨性终板掩膜回归结果、皮质骨侧板掩膜回归结果、松质骨区域掩膜回归结果以及基于融合得到的椎体掩膜回归结果;
通过形态学操作和连通性测试将所述椎体掩膜回归结果进行后处理,得到椎体上下骨性终板、皮质骨侧板、松质骨区域的三维分割掩膜,完成椎体亚区域分割;
所述椎体亚区域包括椎体上下骨性终板、皮质骨侧板和松质骨区域。
2.根据权利要求1所述的椎体亚区域分割方法,其特征在于,所述预训练的神经网络模型为分叉式多任务卷积神经网络结构,包括一个编码器、三个解码器和一个MAX融合单元:其中,
所述编码器用于接收所述预处理后的影像数据得到特征图;
三个所述解码器分别与所述编码器相连,分别用于基于所述特征图输出上下骨性终板掩膜回归结果、皮质骨侧板掩膜回归结果和椎体松质骨掩膜回归结果;
所述MAX融合单元分别与三个所述编码器连接,用于输出椎体掩膜回归结果。
3.根据权利要求2所述的椎体亚区域分割方法,其特征在于,所述神经网络的预训练过程包括:
为预处理后的影像数据分别构建上下骨性终板掩膜标签、皮质骨侧板掩膜标签、椎体松质骨掩膜标签以及融合得到椎体掩膜标签;
通过模拟不同场景下获取的影像特征对构建标签后的影像数据进行增广得到训练样本,以扩充训练数据集;
计算所述神经网络模型的四个输出结果与对应标签的损失函数,为四个输出的损失函数分配权重得到所述神经网络模型总的损失函数;基于所述神经网络模型总的损失函数采用梯度下降法进行模型参数的迭代训练。
4.根据权利要求3所述的椎体亚区域分割方法,其特征在于,使用二值掩膜法对训练样本图像中的体素进行标注,为所述训练样本图像构建得到所述上下骨性终板掩膜标签、皮质骨侧板掩膜标签、椎体松质骨掩膜标签;
通过融合所述上下骨性终板掩膜标签、皮质骨侧板掩膜标签、椎体松质骨掩膜标签,构建得到所述椎体掩膜标签。
其中,构建所述终板掩膜标签,包括自定义终板区域的厚度和形状以得到终板掩膜标签。
6.根据权利要求2-4任一项所述的椎体亚区域分割方法,其特征在于,所述MAX融合单元用于输出椎体掩膜回归结果,包括:基于所述预处理后的脊柱椎体影像的每个体素位置索引,取三个解码器对应索引的最大值,对每个体素的所述三个解码器对应索引的最大值进行MAX融合,输出椎体掩膜回归结果。
7.根据权利要求1所述的椎体亚区域分割方法,其特征在于,所述对脊柱椎体影像数据进行预处理包括重采样处理和像素值归一化处理;其中,
所述重采样处理包括:将获取得到的脊柱椎体影像的空间分辨率除以预设的空间分辨率,得到所述影像数据在三个维度的重采样比率;根据所述重采样比率,采用线性插值方法得到重采样后的具有固定空间分辨率的影像数据。
所述像素值归一化处理包括:将原始像素值范围[M,N]通过线性函数映射到预设的值域[P,Q];其中M为CT影像最小像素值,N为CT影像最大像素值,P为预设值域的下界,Q为预设值域的上界。
8.根据权利要求1所述的椎体亚区域分割方法,其特征在于,所述通过形态学操作和连通性测试将所述掩膜回归结果进行后处理,包括:使用卷积核为3*3*3的三维形态学开运算,通过滑动窗口法对每个体素周围的邻域进行形态学腐蚀和膨胀,去除掩膜中的细颗粒噪声,以去除包括椎体骨赘在内的非正常骨质结构区域。
使用skimage工具包对上下骨性终板掩膜进行连通性计算,保留结果中最大的两块连通区域,分别对应上、下两块骨性终板;皮质骨侧板掩膜与椎体松质骨掩膜只保留最大的一块连通区。
9.一种椎体亚区域分割装置,其特征在于,包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如权利要求1至8中任一项所述的椎体亚区域分割方法。
10.一种计算机可读存储介质,其特征在于,所述存储介质上存储有计算机程序,所述计算机程序可被处理器执行,实现权利要求1-8中任一项所述的椎体亚区域分割方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210744141.9A CN114998301B (zh) | 2022-06-28 | 2022-06-28 | 一种椎体亚区域分割方法、装置及存储介质 |
PCT/CN2022/143887 WO2024001140A1 (zh) | 2022-06-28 | 2022-12-30 | 一种椎体亚区域分割方法、装置及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210744141.9A CN114998301B (zh) | 2022-06-28 | 2022-06-28 | 一种椎体亚区域分割方法、装置及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114998301A true CN114998301A (zh) | 2022-09-02 |
CN114998301B CN114998301B (zh) | 2022-11-29 |
Family
ID=83037349
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210744141.9A Active CN114998301B (zh) | 2022-06-28 | 2022-06-28 | 一种椎体亚区域分割方法、装置及存储介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN114998301B (zh) |
WO (1) | WO2024001140A1 (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115797698A (zh) * | 2022-12-13 | 2023-03-14 | 北京大学第三医院(北京大学第三临床医学院) | 一种骨骼矢状位平衡参数检测系统 |
CN115880319A (zh) * | 2023-02-16 | 2023-03-31 | 博志生物科技(深圳)有限公司 | 一种椎体终板及邻近松质骨自动分割方法及装置 |
CN117058172A (zh) * | 2023-08-24 | 2023-11-14 | 吉林大学 | Ct图像多区域的分割方法、装置、电子设备及存储介质 |
WO2024001140A1 (zh) * | 2022-06-28 | 2024-01-04 | 北京大学第三医院(北京大学第三临床医学院) | 一种椎体亚区域分割方法、装置及存储介质 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118691620A (zh) * | 2024-08-28 | 2024-09-24 | 浙江卡易智慧医疗科技有限公司 | 一种基于多任务协同的胸部ct肋骨骨折检测方法 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014158628A (ja) * | 2013-02-20 | 2014-09-04 | Univ Of Tokushima | 画像処理装置、画像処理方法、制御プログラム、および記録媒体 |
US20170178349A1 (en) * | 2015-12-18 | 2017-06-22 | The Johns Hopkins University | Method for deformable 3d-2d registration using multiple locally rigid registrations |
CN108510507A (zh) * | 2018-03-27 | 2018-09-07 | 哈尔滨理工大学 | 一种融合加权随机森林的3d椎骨ct图像主动轮廓分割方法 |
CN108711187A (zh) * | 2018-08-03 | 2018-10-26 | 华侨大学 | 配准融合ct和mri信号建立人体腰椎三维仿真模型的方法 |
CN112074841A (zh) * | 2018-03-30 | 2020-12-11 | 珀金埃尔默健康科学有限公司 | 3d图像中自动检测和分割椎体的系统和方法 |
EP3751516A1 (en) * | 2019-06-11 | 2020-12-16 | Holo Surgical Inc. | Autonomous multidimensional segmentation of anatomical structures on three-dimensional medical imaging |
CN113327235A (zh) * | 2021-06-04 | 2021-08-31 | 杭州健培科技有限公司 | 基于ct影像肌少症评估的图像处理方法和装置 |
CN113515875A (zh) * | 2021-07-20 | 2021-10-19 | 北京工业大学 | 基于多模态图像的骨生物力学建模方法、系统及装置 |
CN113689454A (zh) * | 2020-05-18 | 2021-11-23 | 傅豪 | 基于卷积神经网络的3d ct椎体分割算法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109800631B (zh) * | 2018-12-07 | 2023-10-24 | 天津大学 | 基于掩膜区域卷积神经网络的荧光编码微球图像检测方法 |
CN111462086B (zh) * | 2020-03-31 | 2024-04-26 | 推想医疗科技股份有限公司 | 图像分割方法及装置、神经网络模型的训练方法及装置 |
CN111932533B (zh) * | 2020-09-22 | 2021-04-27 | 平安科技(深圳)有限公司 | Ct图像椎骨定位方法、装置、设备及介质 |
CN114240848A (zh) * | 2021-11-24 | 2022-03-25 | 慧影医疗科技(北京)股份有限公司 | 一种骨密度测量方法、系统、存储介质及电子设备 |
CN114998301B (zh) * | 2022-06-28 | 2022-11-29 | 北京大学第三医院(北京大学第三临床医学院) | 一种椎体亚区域分割方法、装置及存储介质 |
-
2022
- 2022-06-28 CN CN202210744141.9A patent/CN114998301B/zh active Active
- 2022-12-30 WO PCT/CN2022/143887 patent/WO2024001140A1/zh unknown
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014158628A (ja) * | 2013-02-20 | 2014-09-04 | Univ Of Tokushima | 画像処理装置、画像処理方法、制御プログラム、および記録媒体 |
US20170178349A1 (en) * | 2015-12-18 | 2017-06-22 | The Johns Hopkins University | Method for deformable 3d-2d registration using multiple locally rigid registrations |
CN108510507A (zh) * | 2018-03-27 | 2018-09-07 | 哈尔滨理工大学 | 一种融合加权随机森林的3d椎骨ct图像主动轮廓分割方法 |
CN112074841A (zh) * | 2018-03-30 | 2020-12-11 | 珀金埃尔默健康科学有限公司 | 3d图像中自动检测和分割椎体的系统和方法 |
CN108711187A (zh) * | 2018-08-03 | 2018-10-26 | 华侨大学 | 配准融合ct和mri信号建立人体腰椎三维仿真模型的方法 |
EP3751516A1 (en) * | 2019-06-11 | 2020-12-16 | Holo Surgical Inc. | Autonomous multidimensional segmentation of anatomical structures on three-dimensional medical imaging |
CN113689454A (zh) * | 2020-05-18 | 2021-11-23 | 傅豪 | 基于卷积神经网络的3d ct椎体分割算法 |
CN113327235A (zh) * | 2021-06-04 | 2021-08-31 | 杭州健培科技有限公司 | 基于ct影像肌少症评估的图像处理方法和装置 |
CN113515875A (zh) * | 2021-07-20 | 2021-10-19 | 北京工业大学 | 基于多模态图像的骨生物力学建模方法、系统及装置 |
Non-Patent Citations (4)
Title |
---|
YI GAO 等: "A 3D interactive multi-object segmentation tool using local robust statistics driven active contours", 《MEDICAL IMAGE ANALYSIS》 * |
包洁 等: "椎体CT值评估腰椎退变患者骨密度的研究进展", 《中国脊柱脊髓杂志》 * |
温鑫鑫 等: "人体颈椎松质骨显微结构和力学性能的区域性差异研究", 《现代生物医学进展》 * |
蔡明 等: "骨水泥不同分布对骨质疏松性椎体压缩性骨折的生物力学影响:三维有限元分析", 《中国医学物理学杂志》 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024001140A1 (zh) * | 2022-06-28 | 2024-01-04 | 北京大学第三医院(北京大学第三临床医学院) | 一种椎体亚区域分割方法、装置及存储介质 |
CN115797698A (zh) * | 2022-12-13 | 2023-03-14 | 北京大学第三医院(北京大学第三临床医学院) | 一种骨骼矢状位平衡参数检测系统 |
CN115797698B (zh) * | 2022-12-13 | 2023-07-14 | 北京大学第三医院(北京大学第三临床医学院) | 一种骨骼矢状位平衡参数检测系统 |
CN115880319A (zh) * | 2023-02-16 | 2023-03-31 | 博志生物科技(深圳)有限公司 | 一种椎体终板及邻近松质骨自动分割方法及装置 |
CN117058172A (zh) * | 2023-08-24 | 2023-11-14 | 吉林大学 | Ct图像多区域的分割方法、装置、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN114998301B (zh) | 2022-11-29 |
WO2024001140A1 (zh) | 2024-01-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114998301B (zh) | 一种椎体亚区域分割方法、装置及存储介质 | |
CN105574859B (zh) | 一种基于ct图像的肝脏肿瘤分割方法及装置 | |
CN111047572B (zh) | 一种基于Mask RCNN的医学图像中脊柱自动定位方法 | |
CN113689402B (zh) | 基于深度学习的股骨髓腔形态识别方法、装置及存储介质 | |
CN108399616B (zh) | 基于深度残差网络的骨科病病变分类分级方法 | |
CN112037200A (zh) | 一种医学影像中解剖特征自动识别与模型重建方法 | |
CN108230301A (zh) | 一种基于主动轮廓模型的脊柱ct图像自动定位分割方法 | |
Jodeiri et al. | Fully automatic estimation of pelvic sagittal inclination from anterior-posterior radiography image using deep learning framework | |
Kodym et al. | Skull shape reconstruction using cascaded convolutional networks | |
Wang et al. | Pelvis segmentation using multi-pass U-Net and iterative shape estimation | |
CN112348059A (zh) | 基于深度学习的多种染色病理图像分类方法及系统 | |
US12046018B2 (en) | Method for identifying bone images | |
CN113838048B (zh) | 一种十字交叉韧带术前止点中心定位及韧带长度计算方法 | |
CN111724389A (zh) | 髋关节ct图像分割方法、装置、存储介质和计算机设备 | |
CN114662362A (zh) | 基于深度学习的腰椎节段内固定方式仿真方法及系统 | |
CN113920128A (zh) | 膝关节股骨胫骨分割方法和装置 | |
Korez et al. | Segmentation of pathological spines in CT images using a two-way CNN and a collision-based model | |
CN115252233B (zh) | 基于深度学习的全髋关节置换术中髋臼杯的自动化规划方法 | |
CN114663363B (zh) | 一种基于深度学习的髋关节医学图像处理方法和装置 | |
AU2019204365B1 (en) | Method and System for Image Segmentation and Identification | |
CN114359308A (zh) | 一种基于边缘响应与非线性损失的主动脉夹层分割方法 | |
CN114549396A (zh) | 一种基于图神经网络的脊椎交互式与自动分割细化方法 | |
Qian et al. | Attention-based Shape-Deformation Networks for Artifact-Free Geometry Reconstruction of Lumbar Spine from MR Images | |
CN113936100B (zh) | 一种人体膝关节十字交叉韧带止点提取与重建方法 | |
Aal et al. | Survey: Automatic recognition of musculoskeletal disorders from radiographs |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |