CN113487587A - CT图像分割与骨密度t值预测方法、系统、计算机设备 - Google Patents

CT图像分割与骨密度t值预测方法、系统、计算机设备 Download PDF

Info

Publication number
CN113487587A
CN113487587A CN202110827126.6A CN202110827126A CN113487587A CN 113487587 A CN113487587 A CN 113487587A CN 202110827126 A CN202110827126 A CN 202110827126A CN 113487587 A CN113487587 A CN 113487587A
Authority
CN
China
Prior art keywords
image
bone density
value
segmentation
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110827126.6A
Other languages
English (en)
Other versions
CN113487587B (zh
Inventor
朱力军
许绍航
韩晗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN202110827126.6A priority Critical patent/CN113487587B/zh
Publication of CN113487587A publication Critical patent/CN113487587A/zh
Application granted granted Critical
Publication of CN113487587B publication Critical patent/CN113487587B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)

Abstract

本发明属于医学图像处理技术领域，公开了一种CT图像分割与骨密度t值预测方法、系统、计算机设备，CT图像分割与骨密度t值预测方法包括：对CT图像进行预处理；将ResNet的恒等快捷连接思想与U‑net的编码器部分结合，提取图像特征；使用转置卷积的方法与U‑net的解码器部分相结合，进行特征解码；模型分割完成后，统计结果区域的平均灰度值；基于该平均灰度值，使用线性回归的方法预测骨密度t值。本发明通过对CT图像中脊柱部分进行自动化分割，进而利用该区域灰度值预估患者的骨密度t值，这能够有效降低检查成本，提高医师诊断效率，规范化诊断结果。

Description

CT图像分割与骨密度t值预测方法、系统、计算机设备
技术领域
本发明属于医学图像处理技术领域，尤其涉及一种CT图像分割与骨密度t 值预测方法、系统、计算机设备。
背景技术
目前，医学图像分割是指将图像进行逐像素分类，标记出病变区域，便于 医生后续的诊断与处理。这项工作主要由富有经验的医生人工进行，而自动化 医学图像分割则旨在通过深度学习技术，使用计算机对医学图像进行自动分割。 自动化分割的核心技术在于高效的提取图像的语义信息，同时准确的捕捉待分 割区域的位置信息，评价分割结果的主要指标是交并比(Intersection of Union， IOU)。常规的基于深度学习的自动化图像分割主要包括4个阶段：图像预处理， 特征编码(或特征提取)，特征解码和分类(或分割)。
图像预处理阶段对图像进行修正，增强等操作；特征编码阶段是从预处理 后的图像中提取语义信息，将其映射到一个固定大小的特征图中；特征解码阶 段是从特征图还原图像的位置信息，并将该信息映射成原图大小的特征图；分 类阶段是指对解码后的特征图进行逐像素的识别分类，最终得到分割结果图。 对于基于深度学习的自动化图像分割来说，特征编码和特征解码阶段主要由深 度网络进行，这是系统的关键所在。一方面，如何在减少特征提取复杂性的同 时，尽量保证网络提取到高效的语义信息，另一方面，如何让网络从图像的语 义信息中还原出准确的位置信息，同时，又怎样将两种信息高效融合，共同作 用于最后的分割，这是一项非常具有挑战性的任务，现有技术中尚未有相关报 道。因此，选择合适的特征提取和解码网络，对实现准确的分割以及后续的骨 密度t值预测都极为重要。
通过上述分析，现有技术存在的问题及缺陷为：
(1)现有技术中关于如何在减少特征提取复杂性的同时，尽量保证网络提 取到高效的语义信息的相关方案尚未见报道。
(2)现有技术中关于如何让网络从图像的语义信息中还原出准确的位置信 息，同时又怎样将两种信息高效融合，共同作用于最后的分割的相关方案尚未 见报道。
解决以上问题及缺陷的难度为：
(1)如何尽可能使用较小层数的网络模型提取到更有效的语义信息以实现 分割是相关技术的难点之一。
(2)如何从低分辨率的语义信息特征图中还原准确的位置信息，并将两种 信息高效结合也是本技术的难点之一。
解决以上问题及缺陷的意义为：
快速准确的实现分割，提升医师对CT影像的判读效率，减少模型训练和部 署成本。
发明内容
针对现有技术存在的问题，本发明提供了一种CT图像分割与骨密度t值预 测方法、系统、计算机设备。
本发明是这样实现的，一种CT图像分割与骨密度t值预测方法，所述CT 图像分割与骨密度t值预测方法包括以下步骤：
步骤一，图像预处理：对CT图像进行灰度映射以及数据增强处理；
步骤二，特征编码：将ResNet的恒等快捷连接思想与U-net的编码器部分 结合，利用网络模型提取图像特征；
步骤三，特征解码：使用转置卷积的方法与U-net的解码器部分相结合，将 经过编码的低分辨率特征图还原成高分辨率的分割结果图；
步骤四，骨密度t值预测：模型分割完成后，统计结果区域的平均灰度值； 基于该平均灰度值，使用线性回归的方法预测骨密度t值。
进一步，步骤一中，所述图像预处理，包括：
针对不同切面的CT图像，设计不同的预处理与增强算法；
对于横断位CT图像，采用上采样或下采样的方法将所述横断位CT图像转 化为统一大小；采用转置、随机90度旋转以及水平镜像的方法将所述横断位CT 图像进行90、180、270度的固定角度随机旋转，通过该增强方法扩充数据集；
对于矢状位CT图像，采用随机裁剪与边缘镜像的方法将所述矢状位CT图 像转换为统一大小，采用水平或者垂直镜像的方法进行样本扩充。
进一步，步骤二中，所述特征编码，包括：
特征编码用于提取图像特征，也即语义信息；
将ResNet的恒等快捷连接结构应用于特征编码部分，使特征编码部分每一 层的输入和输出直接相连，网络提取图像语义信息。
进一步，步骤三中，所述特征解码，包括：
使用转置卷积方法替代插值与卷积相结合的方法；
转置卷积与基于插值的方法不同，具有可以学习的参数；所述卷积操作建 立输入矩阵和输出矩阵中多对一的位置关系，而转置卷积则建立输入矩阵和输 出矩阵中一对多的位置关系，即为卷积的逆向操作；其中，所述逆向操作并不 是从输出矩阵和卷积核矩阵完美还原原始的输入矩阵，而是计算得到一个具有 位置上对应关系的矩阵。
进一步，使用Focal loss和Dice loss混合损失函数，通过带有的数据集对步 骤三的分割结果图进行模型训练；所述模型训练，包括：
特征编码和特征解码共同组成网络模型，使用带有Ground Truth的原始数 据对网络进行训练；采用Focal loss与Dice loss相结合的混合损失函数；其中， Focal loss、Dice loss以及混合损失函数的公式如下(3)：
Figure BDA0003174005130000031
Figure BDA0003174005130000041
Figure BDA0003174005130000042
其中，Focal loss中的p为模型预测的分类概率，y为数据的真是标签，α＞0 为调节因子，用于缓解正负样本不平衡的问题；γ＞0也为调节因子，用于调节 难易样本不平衡的问题；Dice loss中的X代表模型预测的结果图，Y代表图像的 Ground Truth。
进一步，步骤五中，所述骨密度t值预测，包括：
对模型分割出的结果图，统计对应区域的平均灰度值；使用线性回归的方 式根据区域的平均灰度值预测患者的骨密度t值。
本发明的另一目的在于提供一种应用所述CT图像分割与骨密度t值预测方 法的CT图像分割与骨密度t值预测系统，所述CT图像分割与骨密度t值预测 系统包括：
图像预处理模块，用于对CT图像进行灰度映射以及数据增强处理；
特征编码模块，用于将ResNet的恒等快捷连接思想与U-net的编码器部分 结合，利用网络模型提取图像特征；
特征解码模块，用于使用转置卷积的方法与U-net的解码器部分相结合，将 经过编码的低分辨率特征图还原成高分辨率的分割结果图；
模型训练模块，用于使用Focal loss和Dice loss混合损失函数，通过带有Ground Truth的数据集对特征编码和解码部分进行训练；
骨密度t值预测模块，用于在模型分割完成后，统计结果区域的平均灰度值； 基于该平均灰度值，使用线性回归的方法预测骨密度t值。
本发明的另一目的在于提供一种计算机设备，所述计算机设备包括存储器 和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行 时，使得所述处理器执行如下步骤：
首先，对CT图像进行灰度映射以及数据增强处理；将ResNet的恒等快捷 连接思想与U-net的编码器部分结合，利用网络模型提取图像特征；使用转置卷 积的方法与U-net的解码器部分相结合，将经过编码的低分辨率特征图还原成高 分辨率的分割结果图；使用Focal loss和Dice loss混合损失函数，通过带有Ground Truth的数据集对特征编码和解码部分进行训练；模型分割完成后，统计结果区 域的平均灰度值；基于该平均灰度值，使用线性回归的方法预测骨密度t值。
本发明的另一目的在于提供一种计算机可读存储介质，存储有计算机程序， 所述计算机程序被处理器执行时，使得所述处理器执行如下步骤：
首先，对CT图像进行灰度映射以及数据增强处理；将ResNet的恒等快捷 连接思想与U-net的编码器部分结合，利用网络模型提取图像特征；使用转置卷 积的方法与U-net的解码器部分相结合，将经过编码的低分辨率特征图还原成高 分辨率的分割结果图；使用Focal loss和Dice loss混合损失函数，通过带有Ground Truth的数据集对特征编码和解码部分进行训练；模型分割完成后，统计结果区 域的平均灰度值；基于该平均灰度值，使用线性回归的方法预测骨密度t值。
本发明的另一目的在于提供一种信息数据处理终端，所述信息数据处理终 端用于实现所述CT图像分割与骨密度t值预测系统。
结合上述的所有技术方案，本发明所具备的优点及积极效果为：受限于骨 密度筛查的成本，骨质疏松诊断率较低，而计算机断层扫描技术(Computer Tomography，CT)正被广泛使用。本发明提供的CT图像分割与骨密度t值预 测方法，通过对CT图像中脊柱部分进行自动化分割，进而利用该区域灰度值预 估患者的骨密度t值，这能够降低检查成本，提高医师诊断效率，规范化诊断结 果，避免因医师主观经验差别所造成的损失。本发明提供的自动化CT图像分割 与骨密度t值预测系统能够获得可观的社会效益和经济效益。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所 需要使用的附图做简单的介绍，显而易见地，下面所描述的附图仅仅是本发明 的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下 还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的CT图像分割与骨密度t值预测方法流程图。
图2是本发明实施例提供的CT图像分割与骨密度t值预测方法原理图。
图3是本发明实施例提供的CT图像分割与骨密度t值预测系统结构框图；
图中：1、图像预处理模块；2、特征编码模块；3、特征解码模块；4、模 型训练模块；5、骨密度t值预测模块。
图4是本发明实施例提供的U-net结构示意图；
图中：左侧为特征编码，右侧为特征解码；灰色箱代表特征图，白色箱代 表复制特征图。
图5是本发明实施例提供的ResNet的恒等快捷连接结构示意图；
图中：右侧的X identity即为恒等快捷连接。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例， 对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以 解释本发明，并不用于限定本发明。
针对现有技术存在的问题，本发明提供了一种CT图像分割与骨密度t值预 测方法及系统，下面结合附图对本发明作详细的描述。
如图1所示，本发明实施例提供的CT图像分割与骨密度t值预测方法包括 以下步骤：
S101，图像预处理：对CT图像进行灰度映射以及数据增强处理；
S102，特征编码：将ResNet的恒等快捷连接思想与U-net的编码器部分结 合，利用网络模型提取图像特征；
S103，特征解码：使用转置卷积的方法与U-net的解码器部分相结合，将经 过编码的低分辨率特征图还原成高分辨率的分割结果图；
S104，骨密度t值预测：模型分割完成后，统计结果区域的平均灰度值；基 于该平均灰度值，使用线性回归的方法预测骨密度t值。
步骤S103中，使用Focal loss和Dice loss混合损失函数，通过带有Ground Truth的数据集对特征编码和解码部分进行训练。
本发明实施例提供的CT图像分割与骨密度t值预测方法原理图如图2所示。
如图3所示，本发明实施例提供的CT图像分割与骨密度t值预测系统包括：
图像预处理模块1，用于对CT图像进行灰度映射以及数据增强处理；
特征编码模块2，用于将ResNet的恒等快捷连接思想与U-net的编码器部 分结合，利用网络模型提取图像特征；
特征解码模块3，用于使用转置卷积的方法与U-net的解码器部分相结合， 将经过编码的低分辨率特征图还原成高分辨率的分割结果图；
模型训练模块4，用于使用Focal loss和Dice loss混合损失函数，通过带有Ground Truth的数据集对特征编码和解码部分进行训练；
骨密度t值预测模块5，用于在模型分割完成后，统计结果区域的平均灰度值； 基于该平均灰度值，使用线性回归的方法预测骨密度t值。
下面结合术语解释对本发明的技术方案作进一步描述。
语义信息：包括图像的颜色，纹理，形状等，也包括图像内部事物的属性 和特征以及图像所表达的含义。
位置信息：图像内部事物处在图像哪个位置。
下面结合具体实施例对本发明的技术方案作进一步描述。
1、发明概述
受限于骨密度筛查的成本，骨质疏松诊断率较低，而计算机断层扫描技术(Computer Tomography，CT)正被广泛使用。本发明通过对CT图像中脊柱部分 进行自动化分割，进而利用该区域灰度值预估患者的骨密度t值，这能够降低检 查成本，提高医师诊断效率，规范化诊断结果，避免因医师主观经验差别所造 成的损失。本发明的自动化CT图像分割与骨密度t值预测系统能够获得可观的社 会效益和经济效益。
图2为结构示意图。该系统主要包括图像预处理，特征编码，特征解码， 模型训练，骨密度t值预测五部分。
因为图像灰阶，分辨率和扫描方向的不同，所以需要对图像进行灰度映射 等预处理操作。同时，为了提高模型的泛化性，还需要对图像进行数据增强处 理，这些可以统称为图像预处理环节。
特征编码旨在提取图像特征，也即语义信息。本系统将ResNet的恒等快捷 连接思想与U-net的编码器部分结合，使得网络模型能够更有效的提取图像特 征。
特征解码旨在将经过编码的低分辨率特征图还原成高分辨率的分割结果 图，在这个过程中，模型更关注待分割区域的位置信息。本系统使用转置卷积 的方法与U-net的解码器部分相结合，使网络模型更有效的捕捉位置信息。
模型训练是指通过带有Ground Truth的数据集对特征编码和解码部分进行 训练，以使其更好的完成分割。本系统在训练过程中使用了Focal loss和Dice loss 混合损失函数，使网络模型更加关注难分样本，同时尽可能提升分割指标IoU。
模型分割完成后，统计结果区域的灰度值，这里主要为平均灰度值，之后 基于该平均灰度值，使用线性回归的方法预测骨密度t值。
2、发明内容
2.1图像预处理
针对不同切面的CT图像，设计不同的预处理与增强算法。对于横断位CT 图像，主要采用上采样(或下采样)将其转化为统一大小，之后采用转置，随 机90度旋转，水平镜像等方法将其进行90，180，270度的固定角度随机旋转， 通过这种增强方法扩充数据集，增强自动化分割模型泛化性。
对于矢状位CT图像，主要采用随机裁剪与边缘镜像的方法将其转换为统一 大小，之后采用水平或者垂直镜像对其进行样本扩充。
2.2特征编码
特征编码旨在提取图像特征，也即语义信息。传统的U-net编码器(见图4) 采用多次卷积提取特征表达，同时采用多次池化将特征图下采样，以减少特征 维度，减少模型参数，但是其特征提取能力较弱。为了解决这个问题，本系统 将ResNet的恒等快捷连接结构(见图5)应用于特征编码部分，使特征编码部 分每一层的输入和输出直接相连，这有效缓解了网络训练的难度，也提高了网 络提取图像语义信息的能力。
2.3特征解码
有效提取出图像的特征图后，需要对特征图进行解码，使其恢复到原图大 小以实现分割。传统的U-net解码器使用最近邻插值(或二次线性插值)与卷积 相结合的方法实现从低分辨率到高分辨率图像的重建。在本系统里，使用了转 置卷积方法替代插值与卷积相结合的方法。转置卷积与基于插值的方法不同， 具有可以学习的参数。卷积操作建立了输入矩阵和输出矩阵中多对一的位置关 系，而转置卷积则建立了输入矩阵和输出矩阵中一对多的位置关系，可以理解 为卷积的逆向操作。这里的逆向操作并不是从输出矩阵和卷积核矩阵完美还原 原始的输入矩阵，而仅仅是计算出了一个具有位置上对应关系的矩阵。
2.4模型训练
特征编码和特征解码共同组成了网络模型。为了让模型能够更好的完成分 割任务，还需要使用带有Ground Truth的原始数据对网络进行训练。在训练过 程中，损失函数的选择是优化模型表现的重要一环。为了让网络模型更多的关 注难分割样本，同时尽可能的提升分割的IoU指标，本系统采用了Focal loss与 Dice loss相结合的混合损失函数。Focal loss见公式(1)，Dice loss见公式(2)，混 合损失函数见公式(3)：
Figure BDA0003174005130000091
Figure BDA0003174005130000101
Figure BDA0003174005130000102
Focal loss中的p为模型预测的分类概率，y为数据的真是标签，α＞0为调 节因子，主要缓解正负样本不平衡的问题，γ＞0也为调节因子，主要调节难易 样本不平衡的问题。Dice loss中的X代表模型预测的结果图，Y代表图像的 Ground Truth。
2.5骨密度t值预测
对模型分割出的结果图，统计对应区域的平均灰度值，之后使用线性回归 的方式根据区域的平均灰度值预测患者的骨密度t值。
下面结合具体实验数据对本发明技术方案作进一步描述。
将横断位CT数据集按照5折交叉验证的方式划分为训练集和验证集，使用 本发明所阐述的方法搭建模型，在训练集上进行训练，验证集上进行推断，最 终的实验结果如表1所示：
表1 5折模型在横断位CT验证集上的评价指标
Figure BDA0003174005130000103
由表1可见，本发明所阐述的方法在该数据集上表现比较稳定，5折的平均 IoU可以达到0.8598，分割效果较好。
基于模型在验证集上推断的结果，按照本文所阐述的骨密度t值预测方法进 行预测，最终的实验结果如表2所示：
表2每个病人待分割区域灰度值统计与骨密度t值预测
Figure BDA0003174005130000104
Figure BDA0003174005130000111
在医学上，骨密度t值在-1到1之间都属于正常范围，t值从-1到-2.5之间 则意味着骨量的减少，若t值小于-2.5，则会被诊断为骨质疏松。
从表2可以看出在总共26位病人中，有14位的骨密度预测值小于-1，不在 正常范围内，有患骨质疏松的风险，需要多加防范。同时注意到，部分病人(4410， 4427，4429，4437)在不同时间段(最短间隔一天，最长间隔一个月)拍了多 份CT，这些患者的多次骨密度CT预测值没有太大差别，这表明本发明所阐述 的分割算法与数据分析方法具有一定的稳定性。
在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上； 术语“上”、“下”、“左”、“右”、“内”、“外”、“前端”、“后端”、 “头部”、“尾部”等指示的方位或位置关系为基于附图所示的方位或位置关 系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元 件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明 的限制。此外，术语“第一”、“第二”、“第三”等仅用于描述目的，而不 能理解为指示或暗示相对重要性。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组 合来实现。当使用全部或部分地以计算机程序产品的形式实现，所述计算机程 序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指 令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可 以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算 机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向 另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、 计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL)或 无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据 中心进行传输)。所述计算机可读取存储介质可以是计算机能够存取的任何可用 介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。 所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、 或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于 此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明 的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的 保护范围之内。

Claims (10)

1.一种CT图像分割与骨密度t值预测方法，其特征在于，所述CT图像分割与骨密度t值预测方法包括：
对CT图像进行灰度映射以及数据增强处理；
通过恒等快捷连接思想与编码器结合，利用网络模型提取CT图像处理后的图像特征；获得编码的CT图像中低分辨率特征图；
通过使用转置卷积的方法与解码器相结合，将经过编码的CT图像中低分辨率特征图还原解码成高分辨率的分割结果图；
模型分割完成后，统计结果区域的平均灰度值；基于所述平均灰度值，使用线性回归的方法预测骨密度t值。
2.如权利要求1所述CT图像分割与骨密度t值预测方法，其特征在于，所述图像预处理，包括：
对不同切面的CT图像，设计不同的预处理与增强算法；
对于横断位CT图像，采用上采样或下采样的方法将所述横断位CT图像转化为统一大小；采用转置、随机90度旋转以及水平镜像的方法将所述横断位CT图像进行90、180、270度的固定角度随机旋转，通过增强方法扩充数据集；
对于矢状位CT图像，采用随机裁剪与边缘镜像的方法将所述，CT图像转换为统一大小，采用水平或者垂直镜像的方法进行样本扩充。
3.如权利要求1所述CT图像分割与骨密度t值预测方法，其特征在于，所述利用网络模型提取CT图像处理后的图像特征，包括：
所述图像特征为语义信息；
将ResNet的恒等快捷连接结构应用于特征编码部分，使特征编码部分每一层的输入和输出直接相连，网络提取图像语义信息。
4.如权利要求1所述CT图像分割与骨密度t值预测方法，其特征在于，所述将经过编码的CT图像中低分辨率特征图还原解码成高分辨率的分割结果图，包括：
使用转置卷积方法替代插值与卷积相结合的方法，建立输入矩阵和输出矩阵中一对多的位置关系，包括卷积的逆向操作；其中，所述逆向操作并不从输出矩阵和卷积核矩阵完美还原原始的输入矩阵，计算得到一个具有位置上对应关系的矩阵。
5.如权利要求1所述CT图像分割与骨密度t值预测方法，其特征在于，使用Focalloss和Diceloss混合损失函数，通过带有的数据集对编码的低分辨率特征图和解码的高分辨率的分割结果图进行模型训练；
所述模型训练，包括：
特征编码和特征解码共同组成网络模型，使用带有Ground Truth的原始数据对网络进行训练；采用Focalloss与Diceloss相结合的混合损失函数；其中，Focalloss、Diceloss以及混合损失函数的公式如下(3)：
Figure FDA0003174005120000021
Figure FDA0003174005120000022
Figure FDA0003174005120000023
其中，Focalloss中的p为模型预测的分类概率，y为数据的真是标签，α＞0为调节因子，用于缓解正负样本不平衡的问题；γ＞0也为调节因子，用于调节难易样本不平衡的问题；Diceloss中的X代表模型预测的结果图，Y代表图像的Ground Truth。
6.如权利要求1所述CT图像分割与骨密度t值预测方法，其特征在于，所述基于所述平均灰度值，使用线性回归的方法预测骨密度t值，包括：
对模型分割出的结果图，统计对应区域的平均灰度值；使用线性回归的方式根据区域的平均灰度值预测患者的骨密度t值。
7.一种应用如权利要求1～6任意一项所述CT图像分割与骨密度t值预测方法的CT图像分割与骨密度t值预测系统，所述CT图像分割与骨密度t值预测系统包括：
图像预处理模块，用于对CT图像进行灰度映射以及数据增强处理；
特征编码模块，用于将ResNet的恒等快捷连接思想与U-net的编码器部分结合，利用网络模型提取图像特征；
特征解码模块，用于使用转置卷积的方法与U-net的解码器部分相结合，将经过编码的低分辨率特征图还原成高分辨率的分割结果图；
模型训练模块，用于使用Focal loss和Dice loss混合损失函数，通过带有GroundTruth的数据集对特征编码和解码部分进行训练；
骨密度t值预测模块，用于在模型分割完成后，统计结果区域的平均灰度值；基于该平均灰度值，使用线性回归的方法预测骨密度t值。
8.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：
首先，对CT图像进行灰度映射以及数据增强处理；将ResNet的恒等快捷连接思想与U-net的编码器部分结合，利用网络模型提取图像特征；使用转置卷积的方法与U-net的解码器部分相结合，将经过编码的低分辨率特征图还原成高分辨率的分割结果图；使用Focalloss和Dice loss混合损失函数，通过带有Ground Truth的数据集对特征编码和解码部分进行训练；模型分割完成后，统计结果区域的平均灰度值；基于该平均灰度值，使用线性回归的方法预测骨密度t值。
9.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如下步骤：
首先，对CT图像进行灰度映射以及数据增强处理；将ResNet的恒等快捷连接思想与U-net的编码器部分结合，利用网络模型提取图像特征；使用转置卷积的方法与U-net的解码器部分相结合，将经过编码的低分辨率特征图还原成高分辨率的分割结果图；使用Focalloss和Dice loss混合损失函数，通过带有Ground Truth的数据集对特征编码和解码部分进行训练；模型分割完成后，统计结果区域的平均灰度值；基于该平均灰度值，使用线性回归的方法预测骨密度t值。
10.一种信息数据处理终端，其特征在于，所述信息数据处理终端用于实现如权利要求7所述CT图像分割与骨密度t值预测系统。
CN202110827126.6A 2021-07-21 2021-07-21 CT图像分割与骨密度t值预测方法、系统、计算机设备 Active CN113487587B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110827126.6A CN113487587B (zh) 2021-07-21 2021-07-21 CT图像分割与骨密度t值预测方法、系统、计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110827126.6A CN113487587B (zh) 2021-07-21 2021-07-21 CT图像分割与骨密度t值预测方法、系统、计算机设备

Publications (2)

Publication Number Publication Date
CN113487587A true CN113487587A (zh) 2021-10-08
CN113487587B CN113487587B (zh) 2024-01-23

Family

ID=77942842

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110827126.6A Active CN113487587B (zh) 2021-07-21 2021-07-21 CT图像分割与骨密度t值预测方法、系统、计算机设备

Country Status (1)

Country Link
CN (1) CN113487587B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113869443A (zh) * 2021-10-09 2021-12-31 新大陆数字技术股份有限公司 基于深度学习的颌骨密度分类方法、系统及介质
CN114972968A (zh) * 2022-05-19 2022-08-30 长春市大众物流装配有限责任公司 基于多重神经网络的托盘识别和位姿估计方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110363765A (zh) * 2019-07-24 2019-10-22 苏州科技城医院 基于ct影像的骨质疏松参数自动测量方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110363765A (zh) * 2019-07-24 2019-10-22 苏州科技城医院 基于ct影像的骨质疏松参数自动测量方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ARXIV PREPRINT ARXIV:2101.11742: "Automated femur segmentation from computed tomography images using a deep neural network", 《ARXIV PREPRINT ARXIV:2101.11742》 *
BBUF: "当UNet遇见ResNet会发生什么？", 《HTTPS://ZHUANLAN.ZHIHU.COM/P/128138930》 *
LICHEN ZHOU,ET.AL,: "D-LinkNet: LinkNet with Pretrained Encoder and Dilated Convolution for HighResolution Satellite Imagery Road Extraction", 《IEEE》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113869443A (zh) * 2021-10-09 2021-12-31 新大陆数字技术股份有限公司 基于深度学习的颌骨密度分类方法、系统及介质
CN114972968A (zh) * 2022-05-19 2022-08-30 长春市大众物流装配有限责任公司 基于多重神经网络的托盘识别和位姿估计方法

Also Published As

Publication number Publication date
CN113487587B (zh) 2024-01-23

Similar Documents

Publication Publication Date Title
CN112116605B (zh) 一种基于集成深度卷积神经网络的胰腺ct图像分割方法
CN112862830B (zh) 一种多模态图像分割方法、系统、终端及可读存储介质
CN113936011B (zh) 基于注意力机制的ct影像肺叶图像分割系统
CN111260055A (zh) 基于三维图像识别的模型训练方法、存储介质和设备
CN113487587B (zh) CT图像分割与骨密度t值预测方法、系统、计算机设备
CN111369574B (zh) 一种胸腔器官的分割方法及装置
CN112131421A (zh) 医学图像分类方法、装置、设备及存储介质
JP6945253B2 (ja) 分類装置、分類方法、プログラム、ならびに、情報記録媒体
CN112150470B (zh) 图像分割方法、装置、介质及电子设备
CN114742802B (zh) 基于3Dtransformer混合卷积神经网络的胰腺CT图像分割方法
CN115375711A (zh) 基于多尺度融合的全局上下文关注网络的图像分割方法
CN116433654A (zh) 一种改进的U-Net网络实现脊柱整体分割方法
CN115439470A (zh) 息肉图像分割方法、计算机可读存储介质及计算机设备
CN116883341A (zh) 一种基于深度学习的肝脏肿瘤ct图像自动分割方法
CN117649385A (zh) 一种基于全局和局部注意力机制的肺部ct图像分割方法
Ferreira et al. GAN-based generation of realistic 3D volumetric data: A systematic review and taxonomy
Joseph et al. Optimised CNN based brain tumour detection and 3D reconstruction
CN117422871A (zh) 一种基于V-Net的轻量级脑肿瘤分割方法及系统
CN117291869A (zh) 一种胰腺导管腺癌隐匿性腹膜转移的预测方法及相关装置
CN114399501B (zh) 基于深度学习卷积神经网络的自动分割前列腺全腺体方法
CN113327221B (zh) 融合roi区域的图像合成方法、装置、电子设备及介质
KR102532006B1 (ko) Self-Spatial Adaptive Normalization 기법을 적용한 영상 영역 분할 방법 및 시스템
CN114049315A (zh) 关节识别方法、电子设备、存储介质及计算机程序产品
CN112633285A (zh) 领域适应方法、装置、电子设备及存储介质
CN114299053B (zh) 一种并行多分辨率编解码网络模型及医学图像分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant