CN115187540B - 一种人体三维椎体松质骨图像的自动分割方法及系统 - Google Patents

一种人体三维椎体松质骨图像的自动分割方法及系统 Download PDF

Info

Publication number
CN115187540B
CN115187540B CN202210795789.9A CN202210795789A CN115187540B CN 115187540 B CN115187540 B CN 115187540B CN 202210795789 A CN202210795789 A CN 202210795789A CN 115187540 B CN115187540 B CN 115187540B
Authority
CN
China
Prior art keywords
image
segmentation
information
model
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210795789.9A
Other languages
English (en)
Other versions
CN115187540A (zh
Inventor
靖稳峰
黄亦琳
阎文铭
郭建新
王琪
习文浩
牛心怡
李新雨
暮光睿
陈基武
卢宣谕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Jiaotong University
First Affiliated Hospital of Medical College of Xian Jiaotong University
Original Assignee
Xian Jiaotong University
First Affiliated Hospital of Medical College of Xian Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Jiaotong University, First Affiliated Hospital of Medical College of Xian Jiaotong University filed Critical Xian Jiaotong University
Priority to CN202210795789.9A priority Critical patent/CN115187540B/zh
Publication of CN115187540A publication Critical patent/CN115187540A/zh
Application granted granted Critical
Publication of CN115187540B publication Critical patent/CN115187540B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明公开一种人体三维椎体松质骨图像的自动分割方法及系统，方法包括以下步骤：将CT图像转换成最大密度投影图，利用投影成像原理，将三维图像朝着任意方向进行投影，并取每条投影线经过的所有CT值中最大值，作为投影图像中对应的像素值，得到数据集；基于目标识别模型获取三块椎体在原始CT图像中Z轴方向的坐标信息；根据三块椎体的坐标信息在CT图像上进行裁剪；基于3D AnatomyNet模型，先对裁剪后的图像只采用一个下采样层进行下采样，将压缩‑激励残差块代替之前的卷积操作，并将其作为AnatomyNet的构建块，提取有效特征；该方法克服因不同CT设备的影像质量、分割人员主观性和疲劳的限制所导致的分割结果不一致或分割精度不够高等问题。

Description

一种人体三维椎体松质骨图像的自动分割方法及系统
技术领域
本发明属于医学影像智能化处理领域，具体涉及一种人体三维椎体松质骨图像的自动分割方法及系统。
背景技术
骨质疏松症是一种以骨量减少、骨密度降低，导致骨脆性增加、易发生骨折为特点的全身性疾病。而骨质疏松性骨折是在骨质疏松的基础上发生的骨折，并且是临床常见的一种骨折疾病，在日常生活稍不注意发生轻微创伤即易导致患者发生脆性骨折，大多数情况属于完全性骨折，手术治疗难度大，患者术后骨折愈合过程会相对缓慢。
骨质疏松的早期筛查是预防此类患者发生骨质疏松性骨折至关重要的一步，然而目前骨质疏松存在普遍性，且缺乏便携式的筛查仪器。国际上常使用的筛选方法虽然简单易行且适合大范围筛选，但是精确度不高，筛选效果不理想。现阶段，网络技术的快速发展以及人工智能逐渐渗透医疗领域，利用人工智能高精准、低成本、快速、客观的计算能力，辅助诊断疾病、发现影像学异常、量化测量和鉴别诊断都成为现实，作为人工智能中应用最广泛的神经网络技术，也被用在了骨质疏松的预测中，其不仅可以诊断骨质疏松的存在，还可以分类识别骨质疏松、骨量减少和骨质正常的人群。
第12胸骨、第1腰骨和第2腰骨是骨质疏松性骨折常发生区域，因此对椎体骨质疏松性骨折的研究主要关注这三块椎体。目前椎体骨质疏松性骨折的预测模型所需的三块松质骨(第12胸骨、第1腰骨和第2腰骨)的分割图像是通过人工勾画而得，因此会出现分割图像不够的情况，而且还会花费大量的时间成本和人力资源。现有人体三维椎体松质骨图像的自动分割方法的缺点如下：
1)目前医院所获取的分割图像是通过专业影像科人员对CT图像进行人工分割，准确勾画出需要量化的三块椎体松质骨(第12胸骨、第1腰骨和第2腰骨)。由于一个影像科人员分割一个CT图像需要1-2小时或更长时间，所以需要大量的人力资源和时间，从而降低分割的效率。
2)由于受每位专业分割人员主观性和疲劳的限制，导致勾画出的图像无法达到一致，分割图像精准度不高，从而影响后续骨质疏松筛选和预防的工作。
3)由于不同CT设备的影像质量和不同人之间的特征差异问题，提高了对三块椎体松质骨(第12胸骨、第1腰骨和第2腰骨)精准分割的难度。
4)目前对骨质疏松筛查的研究主要通过对椎体中央的矢状位图像进行分割，然后对分割后的数据进行骨密度预测，虽然预测的结果较好(骨密度测量的区域的是椎体中央松质骨的体积)，但是对于椎体骨质疏松性骨折的预测就不太适合，因为骨折发生的区域的不一定在椎体的中央，而且利用二维的分割图去预测三维椎体松质骨的骨密度，只考虑到局部信息，所以该模型只能完成骨密度预测的任务，而骨折预测的任务无法实现。
发明内容
为了解决现有技术中存在的问题，本发明提供一种人体三维椎体松质骨图像的自动分割方法，将提出基于深度学习方法对感兴趣区域的椎体松质骨进行定位和分割，突破人工分割和现有方法基于2D分割网络获得的结果做进一步研究的限制，形成快速自动分割人体三维椎体松质骨的方法，只需将扫描后的CT图像传入该模式，即可获得感兴趣区域的定位信息和分割数据。可以解决不同CT设备获取的影像质量和人工勾画所出现的分割图像不一致、精度不够高等诸多难题。
为了实现上述目的，本发明采用的技术方案是：一种人体三维椎体松质骨图像的自动分割方法，包括以下步骤：
将CT图像转换成最大密度投影图，利用投影成像原理，将三维图像朝着任意方向进行投影，并取每条投影线经过的所有CT值中最大值，作为投影图像中对应的像素值，得到数据集；
基于目标识别模型获取三块椎体在原始CT图像中Z轴方向的坐标信息，目标识别模型基于Faster R-CNN，所述识别模型由Fast R-CNN和RPN构成，RPN提供候选区域信息，Fast R-CNN用于提取输入图像特征、接收RPN输入的区域位置信息、统一特征大小、输出目标的类别和检测框的位置信息；
根据三块椎体的坐标信息在CT图像上进行裁剪；
基于3D AnatomyNet模型，先对裁剪后的图像只采用一个下采样层进行下采样，将压缩-激励残差块代替之前的卷积操作，并将其作为AnatomyNet的构建块，提取反映人体三维椎体松质骨的有效特征。
将CT图像转换成最大密度投影图具体包括如下步骤：
S11，选择垂直于冠状面方向的射线所形成的最大密度投影图，并将图像保存，其中图像的横坐标对应的是原始CT图像中X轴的坐标，纵坐标对应Z轴坐标；
S12，利用标注工具对生成的最大密度投影图中三块椎体进行整体标记，所生成的数据集内容包括源图像信息和人工标记信息；
源图像信息包括图像名和存储地址，人工标记信息包括标记框的坐标和类别；
S13，将所述数据集格式进行转化，划分训练集、验证集和测试集，图像和标注文件的位置存放。
获取三块椎体在原始CT图像中Z轴方向的坐标范围具体包括如下步骤：
S21，利用Faster R-CNN对所述数据集进行训练，并根据验证集的评估指标召回率和平均精准度选择最优模型；
S22，将测试集输入已经训练好的目标识别模型中，输出评估指标召回率和平均精准度，以检验模型的泛化能力；
S23，分别将训练集、验证集和测试集输入已经训练好的目标识别模型中，保存目标图像中三块椎体检测框的纵坐标信息，并将纵坐标信息与标注的位置进行对比，得到二者之间的差距。
分割数据预处理过程具体包括如下步骤：
S31，裁剪CT图像中三块椎体所在位置，其中X轴、Y轴和Z轴的范围分别为[180,330]、[200,420]和[ZL-5,ZU+5]，ZL和ZU根是根据识别模块提供的三块椎体Z轴方向的坐标；
S32，对所有裁剪后的CT图像均采用窗位和窗宽分别为0和400的处理；
S33，利用最小-最大归一化方法将CT图像中的所有CT值缩放到[0，1]；
S34，将输入分割模型的大小设置为150×220×120，如果裁剪后的CT图像大小小于该设置大小，通过上下补0的方式达到输入条件。
提取有效特征具体包括如下步骤：
S41，按6:2:2的比例将数据划分为训练集、验证集和测试集；
S42，基于AnatomyNet模型对训练集和验证集进行训练，并根据验证集上评估指标平均Dice系数最高的模型作为最终模型；
S43，将测试集输入训练好的分割模型中，并获取平均Dice系数，检验模型的泛化能力；
S44，分别将训练集、验证集和测试集输入训练好的模型，输出每个数据的Dice系数和分割结果。
所述S21中采用的目标识别模型Faster R-CNN的步骤具体为：
S211，将MIP图像作为卷积神经网络的输入，通过基础网络ResNet50提取输入图像特征，得到特征图；
S212，通过RPN生成9种锚框，其中锚框由3种面积分别是128×128、256×256以及512×512和3种长宽比分别为1:1、2:1和1:2所组成的9种锚框，对9种锚框进行裁剪后通过softmax函数判断属于前景或者背景，再利用边框回归修正锚框，获得较精确的建议框；
S213，ROI池化利用RPN生成的建议框和S51获得的特征图，得到固定大小的建议框特征图；
S214，分类层将建议框特征图进行分类，利用全连接层与softmax函数进行具体类别的分类；同时，利用SmoothL1损失函数完成边框回归操作获得物体的精确位置，计算损失函数，同时更新整个网络的参数，得到训练模型，训练损失包括分类损失和回归损失，计算式如下：
其中，Lcls为分类损失，pi为由softmax函数计算得到的锚框所属类别概率，的取值为1或0，当锚框与真实目标框的IoU值大于0.7时，/>取值为1，当锚框与真实目标框的IoU值小于0.3时，/>取值为0，Lreg为回归损失，/>为锚框与真实目标框对应的平移缩放参数，包括坐标和大小放缩，ti为网络在训练过程中预测的放缩值，Lreg为/>SL1表示SmoothL1损失函数：
所述S42中采用的分割模型具体为：
分割模型AnatomyNet中设置4个编码器，第一个编码器由3×3×3卷积构成下采样层，得到底层特征，其余编码器由两个3×3×3卷积层构成的残差块和SE残差块构成；除第一个编码器外，其余编码器间通过SE残差块进行特征提取，得到高层特征；
设置有4个解码器解码器，第一个到第三个解码器由两个3×3×3卷积层构成的残差块和SE残差块构成，编码器通过跳跃连接从对应位置的编码器中连接特征，并利用SE残差块对高层特征进行重构，第三个解码器和第四个解码器间采用2×2×2转置卷积对重构的特征进行上采样操作，得到转置卷积特征图，第四个编码器通过跳跃连接将转置卷积特征图和输入图像进行连接，然后通过2个连续3×3×3卷积层和softmax激活函数输出分割结果；
SE残差块进行Squeeze操作和Excitation操作，Squeeze操作通过全局平均池化获取特征的全局信息，而Excitation操作对全局信息进行压缩和还原，然后通过Sigmoid函数获取特征权重，最后再与残差特征图进行相乘，从而得到提取通道间的全局关联信息的特征，及反映人体三维椎体松质骨的有效特征。
本发明还提供一种人体三维椎体松质骨的自动分割系统，包括定位数据预处理模块、定位模块、分割数据预处理模块以及分割模块；
定位数据预处理模块用于将CT图像转换成最大密度投影图，利用投影成像原理，将三维图像朝着任意方向进行投影，并取每条投影线经过的所有CT值中最大值，作为投影图像中对应的像素值；
定位模块基于目标识别模型获取三块椎体在原始CT图像中Z轴方向的坐标信息，目标识别模型基于Faster R-CNN，所述识别模型由Fast R-CNN和RPN构成，RPN提供候选区域信息，Fast R-CNN用于提取输入图像特征、接收RPN输入的区域位置信息、统一特征大小、输出目标的类别以及检测框的位置信息；
分割数据预处理模块用于根据三块椎体的坐标信息在CT图像上进行裁剪；
分割模块用于利用3D AnatomyNet模型，先对裁剪后的图像只采用一个下采样层进行下采样，将压缩-激励残差块代替之前的卷积操作，并将其作为AnatomyNet的构建块，提取反映人体三维椎体松质骨的有效特征。
另外，本发明还提供一种计算机设备，包括处理器以及存储器，存储器用于存储计算机可执行程序，处理器从存储器中读取所述计算机可执行程序并执行，处理器执行计算可执行程序时能实现本文所述人体三维椎体松质骨图像的自动分割方法。
同时可以提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时，能实现本文所述的人体三维椎体松质骨图像的自动分割方法。
与现有技术相比，本发明至少具有以下有益效果：本发明与现有对骨质疏松筛查所使用的分割方法不同，现有方法是对CT图像的二维矢状位图像进行分割，而本发明是从三维的角度，直接利用3D分割网络对CT图像进行分割，这样可以关注到更多的全局信息，为后续骨质疏松性骨折的研究打下更坚实的基础；本发明方法是全自动的分割方法，而且从实验结果来看，分割评估指标Dice系数大于0.9的数据量占比最低可以达到95％，并且平均一秒钟可以分割3个CT图像，与人工分割相比，即减少人力资源的使用，又提高分割的速度；本发明还能克服因不同CT设备的影像质量、专业人员主观性和疲劳的限制所导致的分割图像不一致或标记精度不够高等问题；本发明基于深度学习中常用的目标识别模型和分割模型，可以为三块椎体松质骨的分割结果提供理论支撑，更容易泛化和推广；
将CT图像转换成最大密度投影图，得到的最大密度投影图呈现的是类似骨架的效果，可以更好的定位到三块椎体松质骨(第12胸骨、第1腰骨和第2腰骨)所在的位置；
根据三块椎体的坐标信息，在CT图像上进行裁剪能加快分割模型的训练速度，减少GPU内存的占用，并提高分割效率；此外，设置CT图像的窗宽和窗位能减少CT值(与图像的像素值定义类似)与之相近的其他组织或器官对三块椎体分割结果的影响；
采用3D AnatomyNet模型，先对裁剪后的图像只采用一个下采样层，能占用更少的GPU内存，提高分割小型区域的能力；其次，将压缩-激励残差块代替之前的卷积操作，并将其作为AnatomyNet的构建块，相当于在特征通道间引入注意力机制，能够自适应地对通道特征之间的相互依赖关系进行建模并对其进行校准，更能提取有效特征，增加网络的表征能力。
附图说明
图1为人体三维椎体松质骨图像的自动分割方法的流程图；
图2为三块椎体松质骨(第12胸骨、第1腰骨和第2腰骨)的分割结果，其中(a)是医院提供的人工分割图，(b)是自动分割的效果图；
图3为CT图像三个方位(横断面、矢状面和冠状面)所呈现的图像；
图4为医院提供的三块椎体松质骨(第12胸骨、第1腰骨和第2腰骨)的人工分割图；
图5为垂直于冠状面方向的射线所形成的最大密度投影图；
图6为定位模块所使用的Faster R-CNN模型的结构图；
图7为分割模块所使用的AnatomyNet模型的结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要理解的是，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
参考图1，本发明提供的人体三维椎体松质骨图像的自动分割方法，包括以下步骤：
1)定位数据预处理模块用于将CT图像转换成最大密度投影图，最大密度投影图是利用投影成像原理，将三维数据朝着任意方向进行投影，并取每条投影线经过的所有CT值中最大值，作为投影图像中对应的像素值，由于骨骼的CT值比其他组织或器官大，所以得到的最大密度投影图呈现的是类似骨架的效果，可以更好的定位到三块椎体松质骨(第12胸骨、第1腰骨和第2腰骨)所在的位置，参考图2、图3、图4和图5，具体包括如下步骤：
S11，选择垂直于冠状面方向的射线所形成的最大密度投影图，并将图像保存为JPG格式，其中横坐标对应的是原始CT图像中X轴的坐标，纵坐标对应Z轴坐标。
S12、利用标注工具LabelMe对生成的最大密度投影图中三块椎体进行整体标记，并将生成JSON格式文件转化为XML格式文件，其中内容包括源图像信息和人工标记信息，所述源图像信息包括图像名和存储地址，人工标记信息包括标记框类别和坐标；例如，通过abelMe的软件在图像上画出一个长方形使得目标可以完全框住，标记框的坐标就是其的左上角的横、纵坐标和右下角的横、纵坐标；标签1就是将框住的目标设定其类别名称“1”。
S13、将数据集转化为VOC格式，其中主要包括训练集、验证集和测试集的划分，源图像和标注文件的位置存放。
2)定位模块用于获取三块椎体(第12胸骨、第1腰骨和第2腰骨)在原始CT图像中Z轴方向的坐标范围。选用的目标识别模型是Faster R-CNN，由Fast R-CNN和RPN构成，RPN用于提供候选区域信息，而Fast R-CNN用于提取输入图像特征、接收RPN输入的区域位置信息，并统一特征大小、输出目标的类别和检测框的位置信息，目标类别用于确定所述框住的目标是否为预想的目标。
具体方案包括如下步骤：
S21，利用Faster R-CNN对VOC数据集进行训练，并根据验证集的评估指标召回率和平均精准度选择最优模型；
S22，将测试集输入已经训练好的目标识别模型中，输出评估指标召回率和平均精准度，以检验模型的泛化能力；
S23，分别将训练集、验证集和测试集输入已经训练好的目标识别模型中，保存目标图像中三块椎体检测框的纵坐标信息，并与标注的位置进行对比，得到二者之间的差距。
参考图6，所述S21中采用的目标识别模型Faster R-CNN的步骤具体为：
S211，将MIP图像作为卷积神经网络的输入，通过基础网络ResNet50提取输入图像特征，得到特征图；
S212，通过RPN生成9种锚框，其中锚框由3种面积分别是128×128，256×256，512×512，和3种长宽比分别为1:1，2:1，1:2所组成的9种锚框，对其进行裁剪后通过softmax函数判断属于前景或者背景，再利用边框回归修正锚框，获得较精确的建议框；
S213，ROI池化利用RPN生成的建议框和S51获得的特征图，得到固定大小的建议框特征图；
S214，分类层将建议框特征图进行分类，利用全连接层与softmax函数进行具体类别的分类；同时，利用SmoothL1损失函数完成边框回归操作获得物体的精确位置，计算损失函数，同时更新整个网络的参数，得到训练模型，训练损失包括分类损失和回归损失，计算式如下：
其中，Lcls为分类损失，pi为由softmax函数计算得到的锚框所属类别概率，的取值为1或0。当锚框与真实目标框的IoU值大于0.7时，/>取值为1，当锚框与真实目标框的IoU值小于0.3时，/>取值为0。Lreg为回归损失，/>为锚框与真实目标框对应的平移缩放参数，包括坐标和大小放缩，ti为网络在训练过程中预测的放缩值，Lreg定义为/>SL1表示SmoothL1损失函数：
3)分割数据预处理模块根据识别模块获取的三块椎体的坐标信息在CT图像上进行裁剪，加快分割模型的训练速度，减少GPU内存的占用，并提高分割效率；此外，设置CT图像的窗宽和窗位能减少CT值(与图像的像素值类似)与之相近的其他组织或器官对三块椎体分割结果的影响。具体方案包括如下步骤：
S31，裁剪CT图像中三块椎体所在位置，其中X轴、Y轴和Z轴的坐标范围分别为[180,330]、[200,420]和[ZL-5,ZU+5]，ZL和ZU根是根据识别模块提供的三块椎体Z轴方向的坐标范围；
S32，对所有裁剪后的图像均采用窗位为0和窗宽为400的处理，得到CT值在-200到200之间的CT图像；
S33，利用最小-最大归一化方法将S32得到CT图像中的所有CT值缩放到[0，1]；
S34，将输入分割模型的图像大小设置为150×220×120，如果裁剪后的图像大小小于该设置大小，那么通过上下补0的方式达到输入条件。
4)分割模块采用3D AnatomyNet模型，从结构图可以看出是U-Net的变体。在编码器部分只使用一个下采样层，其目的是为了占用更少的GPU内存，提高了分割小型区域的能力；其次，将压缩-激励残差块代替之前的卷积操作，并将其作为AnatomyNet的构建块，相当于在特征通道间引入注意力机制，这样能够自适应地对通道特征之间的相互依赖关系进行建模并对其进行校准，更能提取有效特征，增加网络的表征能力。
具体方案包括如下步骤：
S41，按6:2:2的比例将数据划分为训练集、验证集和测试集。
S42，利用AnatomyNet模型对训练集和验证集进行训练，并根据验证集上评估指标平均Dice系数最高的模型作为最终模型。
S43，将测试集数据输入训练好的分割模型中，并查看平均Dice系数，检验模型的泛化能力。
S44，分别将训练集、验证集和测试集输入训练好的模型，输出每个数据的Dice系数和分割结果，检查是否出现多骨或分错椎体的情况。
参考图7，所述S42中采用的分割模型AnatomyNet的步骤具体为：
S421，编码器总共有4个，第一个编码器由3×3×3卷积构成下采样层，得到底层特征，其余编码器由两个3×3×3卷积层构成的残差块和SE残差块构成。除第一个编码器外，其余编码器间通过SE残差块进行特征提取，得到高层特征；
S422，解码器总共有4个，第一个到第三个解码器由两个3×3×3卷积层构成的残差块和SE残差块构成，编码器通过跳跃连接从对应位置的编码器中连接特征，并利用SE残差块对高层特征进行重构(除第4个编码器)，第三个解码器和第四个解码器间采用2×2×2转置卷积对重构的特征进行上采样操作，得到转置卷积特征图。第四个编码器通过跳跃连接将转置卷积特征图和输入图像进行连接，然后通过2个连续3×3×3卷积层和softmax激活函数输出分割结果；
S423，SE残差块主要有2个操作，一个是Squeeze操作，另一个是Excitation操作，Squeeze操作通过全局平均池化获取特征的全局信息，而Excitation操作对全局信息进行压缩和还原，然后通过Sigmoid函数获取特征权重，最后再与残差特征图进行相乘，从而得到提取通道间的全局关联信息的特征，即反映人体三维椎体松质骨的有效特征。
本发明经过实验、模拟和使用，可以证明其可行性。测试集的分割评估指标平均Dice系数等于0.95，其中dice系数大于0.9的数据量占测试集的96.6％；验证集的分割评估指标平均Dice系数等于0.95，其中dice系数大于0.9的数据量占验证集的95％；训练集的分割评估指标平均Dice系数等于0.952，其中dice系数大于0.9的数据量占训练集的96.9％。
另一方面，本发明还提供一种人体三维椎体松质骨的自动分割系统，包括定位数据预处理模块、定位模块、分割数据预处理模块以及分割模块；
定位数据预处理模块用于将CT图像转换成最大密度投影图，利用投影成像原理，将三维数据朝着任意方向进行投影，并取每条投影线经过的所有CT值中最大值，作为投影图像中对应的像素值；
定位模块基于目标识别模型获取三块椎体在原始CT图像中Z轴方向的坐标信息，目标识别模型基于Faster R-CNN，所述识别模型由Fast R-CNN和RPN构成，RPN提供候选区域信息，Fast R-CNN用于提取输入图像特征、接收RPN输入的区域位置信息、统一特征大小、输出目标的类别和检测框的位置信息；
分割数据预处理模块用于根据三块椎体的坐标信息在CT图像上进行裁剪；
分割模块用于利用3D AnatomyNet模型，先对裁剪后的图像只采用一个下采样层进行下采样，将压缩-激励残差块代替之前的卷积操作，并将其作为AnatomyNet的构建块，提取反映人体三维椎体松质骨的有效特征。
综上所述，本发明提出一种基于深度学习方法对感兴趣区域的椎体松质骨进行定位和分割，突破人工分割和现有方法基于2D分割网络获得的结果做进一步研究的限制，形成快速自动分割人体三维椎体松质骨的方法，仅需上传病人的CT图像即可获取感兴趣区域的椎体松质骨的分割结果。该分割方法主要分为定位和分割模块，定位模块使用常见的目标识别模型对感兴趣区域的椎体松质骨进行初步定位，并获取位置信息；而分割模块对根据定位信息裁剪后的图像进行分割。该分割方法主要分为定位和分割模块，定位模块使用常见的目标识别模型对感兴趣区域的椎体松质骨进行初步定位，并获取位置信息；而分割模块对根据定位信息裁剪后的图像进行分割。技师只需将扫描后的CT图像传入该模式，即可获得感兴趣区域的定位信息和分割数据。该模式可以解决不同CT设备获取的影像质量和人工勾画所出现的分割数据不一致、精度不够高等诸多难题，为后续骨质疏松性骨折的预测研究奠定基础。
另外，本发明还可以提供一种计算机设备，包括处理器以及存储器，存储器用于存储计算机可执行程序，处理器从存储器中读取部分或全部所述计算机可执行程序并执行，处理器执行部分或全部计算可执行程序时能实现本发明所述人体三维椎体松质骨图像的自动分割方法。
另一方面，本发明提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时，能实现本发明所述的人体三维椎体松质骨图像的自动分割方法。
所述计算机设备可以采用笔记本电脑、桌面型计算机或工作站。
处理器可以是中央处理器(CPU)、图形处理器(GPU)/数字信号处理器(DSP)、专用集成电路(ASIC)或现成可编程门阵列(FPGA)。
对于本发明所述存储器，可以是笔记本电脑、桌面型计算机或工作站的内部存储单元，如内存、硬盘；也可以采用外部存储单元，如移动硬盘、闪存卡。
计算机可读存储介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机可读存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、固态硬盘(SSD，Solid State Drives)或光盘等。其中，随机存取记忆体可以包括电阻式随机存取记忆体(ReRAM,Resistance Random Access Memory)和动态随机存取存储器(DRAM，Dynamic Random Access Memory)。
以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。

Claims (10)

1.一种人体三维椎体松质骨图像的自动分割方法，其特征在于，包括以下步骤：
将CT图像转换成最大密度投影图，利用投影成像原理，将三维图像朝着任意方向进行投影，并取每条投影线经过的所有CT值中最大值，作为投影图像中对应的像素值，得到数据集；
基于目标识别模型获取三块椎体在原始CT图像中Z轴方向的坐标信息，目标识别模型基于Faster R-CNN，所述目标识别模型由Fast R-CNN和RPN构成，RPN提供候选区域信息，Fast R-CNN用于提取输入图像特征、接收RPN输入的区域位置信息、统一特征大小、输出目标的类别和检测框的位置信息；
根据三块椎体的坐标信息在CT图像上进行裁剪；
基于3D AnatomyNet模型，先对裁剪后的图像只采用一个下采样层进行下采样，将压缩-激励残差块代替之前的卷积操作，并将其作为AnatomyNet的构建块，提取反映人体三维椎体松质骨的有效特征；即得到三块椎体松质骨的定位信息和分割数据。
2.根据权利要求1所述的人体三维椎体松质骨图像的自动分割方法，其特征在于，将CT图像转换成最大密度投影图具体包括如下步骤：
S11，选择垂直于冠状面方向的射线所形成的最大密度投影图，并将图像保存，其中图像的横坐标对应的是原始CT图像中X轴的坐标，纵坐标对应Z轴坐标；
S12，利用标注工具对生成的最大密度投影图中三块椎体进行整体标记，所生成的数据集内容包括源图像信息和人工标记信息；
源图像信息包括图像名和存储地址，人工标记信息包括标记框的坐标和类别；
S13，将所述数据集格式进行转化，划分训练集、验证集和测试集，图像和标注文件的位置存放。
3.根据权利要求2所述的人体三维椎体松质骨图像的自动分割方法，其特征在于，获取三块椎体在原始CT图像中Z轴方向的坐标范围具体包括如下步骤：
S21，利用Faster R-CNN对所述数据集进行训练，并根据验证集的评估指标召回率和平均精准度选择最优模型；
S22，将测试集输入已经训练好的目标识别模型中，输出评估指标召回率和平均精准度，以检验模型的泛化能力；
S23，分别将训练集、验证集和测试集输入已经训练好的目标识别模型中，保存目标图像中三块椎体检测框的纵坐标信息，并将纵坐标信息与标注的位置进行对比，得到二者之间的差距。
4.根据权利要求3所述的人体三维椎体松质骨图像的自动分割方法，其特征在于，所述S21中采用的目标识别模型Faster R-CNN的步骤具体为：
S211，将MIP图像作为卷积神经网络的输入，通过基础网络ResNet50提取输入图像特征，得到特征图；
S212，通过RPN生成9种锚框，其中锚框由3种面积分别是128×128、256×256以及512×512和3种长宽比分别为1:1、2:1和1:2所组成的9种锚框，对9种锚框进行裁剪后通过softmax函数判断属于前景或者背景，再利用边框回归修正锚框，获得较精确的建议框；
S213，ROI池化利用RPN生成的建议框和S51获得的特征图，得到固定大小的建议框特征图；
S214，分类层将建议框特征图进行分类，利用全连接层与softmax函数进行具体类别的分类；同时，利用SmoothL1损失函数完成边框回归操作获得物体的精确位置，计算损失函数，同时更新整个网络的参数，得到训练模型，训练损失包括分类损失和回归损失，计算式如下：
其中，Lcls为分类损失，pi为由softmax函数计算得到的锚框所属类别概率，的取值为1或0，当锚框与真实目标框的IoU值大于0.7时，/>取值为1，当锚框与真实目标框的IoU值小于0.3时，/>取值为0，Lreg为回归损失，/>为锚框与真实目标框对应的平移缩放参数，包括坐标和大小放缩，ti为网络在训练过程中预测的放缩值，Lreg为/>SL1表示SmoothL1损失函数：
5.根据权利要求1所述的人体三维椎体松质骨图像的自动分割方法，其特征在于，根据三块椎体的坐标信息在CT图像上进行裁剪具体包括如下步骤：
S31，裁剪CT图像中三块椎体所在位置，其中X轴、Y轴和Z轴的范围分别为[180,330]、[200,420]和[ZL-5,ZU+5]，ZL和ZU根是根据识别模块提供的三块椎体Z轴方向的坐标；
S32，对所有裁剪后的CT图像均采用窗位为0和窗宽为400的处理，得到CT值在-200到200之间的CT图像；
S33，利用最小-最大归一化方法将CT图像中的所有CT值缩放到[0，1]；
S34，将输入分割模型的大小设置为150×220×120，如果裁剪后的CT图像大小小于该设置大小，通过上下补0的方式达到输入条件。
6.根据权利要求1所述的人体三维椎体松质骨图像的自动分割方法，其特征在于，提取有效特征具体包括如下步骤：
S41，按6:2:2的比例将数据划分为训练集、验证集和测试集；
S42，基于AnatomyNet模型对训练集和验证集进行训练，并根据验证集上评估指标平均Dice系数最高的模型作为初步训练的分割模型；
S43，将测试集输入初步训练的分割模型中，并获取平均Dice系数，检验模型的泛化能力；
S44，分别将训练集、验证集和测试集输入训练好的分割模型，输出每个数据的Dice系数和分割结果。
7.根据权利要求6所述的人体三维椎体松质骨图像的自动分割方法，其特征在于，所述S42中采用的分割模型具体为：
分割模型AnatomyNet中设置4个编码器，第一个编码器由3×3×3卷积构成下采样层，得到底层特征，其余编码器由两个3×3×3卷积层构成的残差块和SE残差块构成；除第一个编码器外，其余编码器间通过SE残差块进行特征提取，得到高层特征；
设置有4个解码器解码器，第一个到第三个解码器由两个3×3×3卷积层构成的残差块和SE残差块构成，编码器通过跳跃连接从对应位置的编码器中连接特征，并利用SE残差块对高层特征进行重构，第三个解码器和第四个解码器间采用2×2×2转置卷积对重构的特征进行上采样操作，得到转置卷积特征图，第四个编码器通过跳跃连接将转置卷积特征图和输入图像进行连接，然后通过2个连续3×3×3卷积层和softmax激活函数输出分割结果；
SE残差块进行Squeeze操作和Excitation操作，Squeeze操作通过全局平均池化获取特征的全局信息，而Excitation操作对全局信息进行压缩和还原，然后通过Sigmoid函数获取特征权重，最后再与残差特征图进行相乘，从而得到提取通道间的全局关联信息的特征，及反映人体三维椎体松质骨的有效特征。
8.一种人体三维椎体松质骨的自动分割系统，其特征在于，包括定位数据预处理模块、定位模块、分割数据预处理模块以及分割模块；
定位数据预处理模块用于将CT图像转换成最大密度投影图，利用投影成像原理，将三维图像朝着任意方向进行投影，并取每条投影线经过的所有CT值中最大值，作为投影图像中对应的像素值；
定位模块基于目标识别模型获取三块椎体在原始CT图像中Z轴方向的坐标信息，目标识别模型基于Faster R-CNN，所述目标识别模型由Fast R-CNN和RPN构成，RPN提供候选区域信息，Fast R-CNN用于提取输入图像特征、接收RPN输入的区域位置信息、统一特征大小、输出目标的类别以及检测框的位置信息；
分割数据预处理模块用于根据三块椎体的坐标信息在CT图像上进行裁剪；
分割模块用于利用3D AnatomyNet模型，先对裁剪后的图像只采用一个下采样层进行下采样，将压缩-激励残差块代替之前的卷积操作，并将其作为AnatomyNet的构建块，提取反映人体三维椎体松质骨的有效特征，即得到三块椎体松质骨的定位信息和分割数据。
9.一种计算机设备，其特征在于，包括处理器以及存储器，存储器用于存储计算机可执行程序，处理器从存储器中读取所述计算机可执行程序并执行，处理器执行计算可执行程序时能实现权利要求1至7中任一项所述人体三维椎体松质骨图像的自动分割方法。
10.一种计算机可读存储介质，其特征在于，计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时，能实现如权利要求1至7中任一项所述的人体三维椎体松质骨图像的自动分割方法。
CN202210795789.9A 2022-07-07 2022-07-07 一种人体三维椎体松质骨图像的自动分割方法及系统 Active CN115187540B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210795789.9A CN115187540B (zh) 2022-07-07 2022-07-07 一种人体三维椎体松质骨图像的自动分割方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210795789.9A CN115187540B (zh) 2022-07-07 2022-07-07 一种人体三维椎体松质骨图像的自动分割方法及系统

Publications (2)

Publication Number Publication Date
CN115187540A CN115187540A (zh) 2022-10-14
CN115187540B true CN115187540B (zh) 2023-08-18

Family

ID=83518218

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210795789.9A Active CN115187540B (zh) 2022-07-07 2022-07-07 一种人体三维椎体松质骨图像的自动分割方法及系统

Country Status (1)

Country Link
CN (1) CN115187540B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115690498B (zh) * 2022-10-31 2023-06-13 北京医准智能科技有限公司 椎体骨密度确认方法、装置、电子设备及存储介质
CN116127314B (zh) * 2023-01-19 2024-03-19 成都理工大学 基于自适应多尺度深度学习网络预测地下密度的方法
CN115880319B (zh) * 2023-02-16 2023-07-21 博志生物科技(深圳)有限公司 一种椎体终板及邻近松质骨自动分割方法及装置
CN116630427B (zh) * 2023-07-24 2023-10-31 杭州键嘉医疗科技股份有限公司 一种ct图像中髋骨和股骨自动定位的方法及装置
CN116758087B (zh) * 2023-08-22 2023-10-31 邦世科技(南京)有限公司 一种腰椎ct骨窗侧隐窝间隙检测方法及装置
CN117237426B (zh) * 2023-09-18 2024-03-22 北京大学第三医院（北京大学第三临床医学院） 一种基于腰椎双斜位x光片的椎骨配准方法
CN116996675B (zh) * 2023-09-27 2023-12-19 河北天英软件科技有限公司 一种即时通信系统及信息处理方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113592794A (zh) * 2021-07-16 2021-11-02 华中科技大学 基于混合注意力机制的2d卷积神经网络的脊椎图分割方法
WO2022020394A1 (en) * 2020-07-20 2022-01-27 The Regents Of The University Of California Deep learning cardiac segmentation and motion visualization
CN114494192A (zh) * 2022-01-26 2022-05-13 西南交通大学 一种基于深度学习的胸腰椎骨折识别分割与检测定位方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022020394A1 (en) * 2020-07-20 2022-01-27 The Regents Of The University Of California Deep learning cardiac segmentation and motion visualization
CN113592794A (zh) * 2021-07-16 2021-11-02 华中科技大学 基于混合注意力机制的2d卷积神经网络的脊椎图分割方法
CN114494192A (zh) * 2022-01-26 2022-05-13 西南交通大学 一种基于深度学习的胸腰椎骨折识别分割与检测定位方法

Also Published As

Publication number Publication date
CN115187540A (zh) 2022-10-14

Similar Documents

Publication Publication Date Title
CN115187540B (zh) 一种人体三维椎体松质骨图像的自动分割方法及系统
US11887311B2 (en) Method and apparatus for segmenting a medical image, and storage medium
CN111047572B (zh) 一种基于Mask RCNN的医学图像中脊柱自动定位方法
CN108492271B (zh) 一种融合多尺度信息的自动图像增强系统及方法
CN109389584A (zh) 基于cnn的多尺度鼻咽肿瘤分割方法
CN109363699B (zh) 一种乳腺影像病灶识别的方法及装置
CN111291825B (zh) 病灶分类模型训练方法、装置、计算机设备和存储介质
CN112381164B (zh) 一种基于多分支注意力机制的超声图像分类方法和装置
CN110974306B (zh) 一种超声内镜下识别和定位胰腺神经内分泌肿瘤的系统
CN109363697B (zh) 一种乳腺影像病灶识别的方法及装置
CN113223005B (zh) 一种甲状腺结节自动分割及分级的智能系统
CN111696126B (zh) 一种基于多视角的多任务肝脏肿瘤图像分割方法
CN112102282A (zh) 一种基于Mask RCNN的医学图像中不同节数腰椎的自动识别方法
CN115471470A (zh) 一种食管癌ct图像分割方法
CN112381846A (zh) 一种基于非对称网络的超声甲状腺结节分割方法
CN114937502A (zh) 基于深度学习的骨质疏松性椎体压缩性骨折评估方法及系统
CN116258933A (zh) 基于全局信息感知的医学图像分割装置
CN111383222A (zh) 一种基于深度学习的椎间盘mri图像智能诊断系统
CN110895815A (zh) 一种基于深度学习的胸部x线气胸分割方法
CN114399510A (zh) 结合图像和临床元数据的皮肤病灶分割和分类方法及系统
CN116051470A (zh) 一种基于数据增强的肝脏ct术后肿瘤分割方法及装置
CN114742802A (zh) 基于3Dtransformer混合卷积神经网络的胰腺CT图像分割方法
CN114140381A (zh) 一种基于MDP-net的玻璃体混浊分级筛查方法及装置
CN113378888A (zh) 一种基于深度学习的dbt微钙化簇良恶性分类方法和装置
Cui et al. Cobb Angle Measurement Method of Scoliosis Based on U-net Network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant