CN117830795A - 一种用于脊椎图像分割的立体式深度学习模型 - Google Patents
一种用于脊椎图像分割的立体式深度学习模型 Download PDFInfo
- Publication number
- CN117830795A CN117830795A CN202311652452.3A CN202311652452A CN117830795A CN 117830795 A CN117830795 A CN 117830795A CN 202311652452 A CN202311652452 A CN 202311652452A CN 117830795 A CN117830795 A CN 117830795A
- Authority
- CN
- China
- Prior art keywords
- model
- data
- training
- deep learning
- follows
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013136 deep learning model Methods 0.000 title claims abstract description 23
- 238000003709 image segmentation Methods 0.000 title claims abstract description 20
- 238000012549 training Methods 0.000 claims abstract description 44
- 238000000034 method Methods 0.000 claims abstract description 16
- 238000012545 processing Methods 0.000 claims abstract description 12
- 230000006870 function Effects 0.000 claims description 24
- 238000002372 labelling Methods 0.000 claims description 24
- 238000011176 pooling Methods 0.000 claims description 15
- 230000004913 activation Effects 0.000 claims description 11
- 230000011218 segmentation Effects 0.000 claims description 9
- 238000013528 artificial neural network Methods 0.000 claims description 7
- 238000013527 convolutional neural network Methods 0.000 claims description 7
- 238000005520 cutting process Methods 0.000 claims description 7
- 238000012360 testing method Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000004140 cleaning Methods 0.000 claims description 5
- 230000000644 propagated effect Effects 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims description 4
- 238000012937 correction Methods 0.000 claims description 3
- 230000002452 interceptive effect Effects 0.000 claims description 3
- 230000008520 organization Effects 0.000 claims description 3
- 238000005192 partition Methods 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 3
- 238000012800 visualization Methods 0.000 claims description 3
- 238000013135 deep learning Methods 0.000 claims description 2
- 238000007781 pre-processing Methods 0.000 claims description 2
- 230000008602 contraction Effects 0.000 claims 2
- 230000008569 process Effects 0.000 abstract description 11
- 238000004458 analytical method Methods 0.000 abstract description 4
- 238000006243 chemical reaction Methods 0.000 abstract description 3
- 238000013461 design Methods 0.000 abstract description 3
- 238000010191 image analysis Methods 0.000 abstract description 2
- 238000001994 activation Methods 0.000 description 7
- 238000005457 optimization Methods 0.000 description 6
- 238000002591 computed tomography Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000003062 neural network model Methods 0.000 description 5
- 239000002131 composite material Substances 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 210000001503 joint Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 210000002307 prostate Anatomy 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001225 therapeutic effect Effects 0.000 description 1
- 238000005406 washing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
- G06V10/811—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data the classifiers operating on different input data, e.g. multi-modal recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/94—Hardware or software architectures specially adapted for image or video understanding
- G06V10/945—User interactive design; Environments; Toolboxes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/96—Management of image or video recognition tasks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
- G06V20/653—Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Biodiversity & Conservation Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及医学图像分析技术领域，且公开了一种用于脊椎图像分割的立体式深度学习模型，包括模型结构与模型训练，模型结构用于接收多模态信息和多维度信息，模型训练用于训练模型，提高模型的精度。该用于脊椎图像分割的立体式深度学习模型，可以同时接收多模态、多维度的信息作为输入，这意味着无论是从不同的医疗设备上获得的数据，还是不同参数和规格的数据，该模型都可以无缝对接，进行快速的分析和处理，这一设计大大减少了因设备不兼容或数据格式不统一而导致的处理难题，从而使临床工作更为便捷，此外，由于模型可以直接处理2D和3D的数据，因此避免了在两者之间进行转换的麻烦，提高了工作效率。
Description
技术领域
本发明涉及医学图像分析技术领域，具体为一种用于脊椎图像分割的立体式深度学习模型。
背景技术
随着医学技术的不断进步，CT(计算机断层扫描)图像已经成为现代临床医学中不可或缺的诊断和治疗工具。它为医生提供了清晰、高分辨率的内部结构图像，从而为疾病的诊断和治疗提供了有力的支持。传统的图像分割手段，如阈值分割、区域生长和边缘检测等，虽然在某些简单应用中表现良好，但在复杂的结构如脊椎的分割中，它们往往受限于噪声、低对比度和模糊边界，导致分割效果不佳。不仅如此，传统技术对于每个个体的生理结构差异和不同设备、参数产生的CT图像差异并不具备足够的鲁棒性。
近年来，深度学习技术的兴起为医学图像分割带来了新的希望。流行的深度学习模型，例如，U-Net在ISBI 2012的电子显微镜分割挑战中展现了其卓越的性能，而V-Net则专为处理3D体积数据，如描绘前列腺的MRI体积而设计。深度学习模型已经在多个医学图像处理任务中取得了卓越的成果，它们能够自动学习图像的特征并进行高精度的分割。但至今却尚未存在专门用于对脊椎进行分割的神经网络模型，为此，我们提出一种用于脊椎图像分割的立体式深度学习模型，用以解决上述技术问题。
发明内容
(一)解决的技术问题
针对现有技术的不足，本发明提供了一种用于脊椎图像分割的立体式深度学习模型，具备无缝对接不同参数和规格的数据进行快速的分析和处理和提高工作效率等优点，解决了现有技术兼容性和适应性不高，工作效率较低的问题。
(二)技术方案
为实现上述具备无缝对接不同参数和规格的数据进行快速的分析和处理和提高工作效率目的，本发明提供如下技术方案：一种用于脊椎图像分割的立体式深度学习模型，包括模型结构与模型训练，所述模型结构用于接收多模态信息和多维度信息，所述模型结构包括2D模型和3D模型，所述2D模型用于接收多模态的图像的2D信息，所述3D模型用于接收由多模态的图像生成的3D信息，所述模型训练用于训练模型，提高模型的精度。
优选的，所述2D模型包括收缩路径和扩展路径，所述收缩路径使用卷积神经网络架构，包括卷积块、ReLU激活单元和最大池化层，所述卷积块由两个连续的3×3卷积组成，所述ReLU激活单元用于引入非线性因素，对卷积神经网络模型进行非线性建模，所述最大池化层用于选取2D模型区域中具有最大值的元素来输出池化层的结果。
优选的，所述扩展路径包括以下步骤：
A1、每个阶段使用2×2的上卷积对特征图进行上采样；
A2、将收缩路径中的相应层的特征图裁剪并与上采样后的特征图进行拼接；
A3、进行两次连续的3×3卷积和ReLU激活；
A4、额外应用一个1×1的卷积，以减少特征图到所需的通道数，并产生分割图像；
A5、对边缘的像素特征进行裁剪；
A6、2D模型沿着网络传播上下文信息，并且使用来自更大重叠区域的上下文来分割区域中的对象。
优选的，所述3D模型将原本网络中的2D卷积，2D最大池化和2D上卷积相应地替换为3D卷积、3D最大池化和3D上卷积，得到三维分割图像。
优选的，所述3D模型将原本网络中的2D卷积，2D最大池化和2D上卷积相应地替换为3D卷积、3D最大池化和3D上卷积，得到三维分割图像。
优选的，所述分割图像的准确性采用交叉熵损失函数和Dice损失函数结合，其表达式如下：
Lcombined＝αLCE+(1―α)LDice
其中，α是一个权衡两种损失的参数。
优选的，所述模型训练按以下步骤进行：
步骤一、对2D模型进行预训练；
步骤二、利用已预训练好的2D模型，对2D图像数据和3D模型进行人工辅助标注；
步骤三、对模型进行优化。
优选的，所述步骤一种训练步骤如下：
B1、准备和预处理数据，包括收集数据、清洗数据、进行特征选择和特征工程，以及将数据分为训练集、验证集和测试集；
B2、神经网络的结构定义了其层的组织和连接方式，包括选择网络的类型、确定层数、每层的节点数和激活函数；
B3、模型的权重和偏置随机初始化；
B4、数据前向传播，输入数据被送入网络，并通过每一层的计算得到输出，每一层的输出向下一层输入，直到最终输出层；
B5、用损失函数计算模型的预测输出与实际输出之间的差异；
B6、数据反向传播，利用链式法则来计算损失函数的梯度，并传播回网络的每一层；
B7、使用梯度下降来更新网络的权重和偏置，来减少损失函数的值；
B8、重复B4-B7步骤，完成整个训练集的处理；
B9、训练完成后，最终模型在测试集上进行评估；
B10、调整参数，优化模型性能。
优选的，所述步骤二中标注步骤如下：
C1、对步骤一中的数据进行重命名、文件格式转换、调整大小、剪裁和数据清洗；
C2、使用已预训练好的2D模型对2D图像数据进行预测，并生成对应的标注结果；
C3、使用交互式标注工具和3D可视化工具进行人工校正预测结果；
C4、通过聚类算法将相似的标注结果聚集在一起，去除冗余标注，保留最佳的标注结；
C5、将修正后的标注结果保存到相应的标注文件中。
优选的，所述步骤三中优化步骤如下：
D1、计算梯度的指数移动平均值，称为一阶矩估计，其表达式如下；
mt＝β1·mt―1+(1―β1)·gt
D2、计算梯度平方的指数移动平均值，称为二阶矩估计，其表达式如下：
D3、对一阶矩估计和二阶矩估计进行偏差校正，其表达式如下：
D4、使用修正后的一阶矩估计和二阶矩估计来更新参数，其表达式如下：
其中，θt是时间步t处的梯度；β1和β2是衰减率参数，设为0.9和0.999；η是学习率；是一个非常小的数，防止分母为零，设为10―8；θt是模型参数在时间步t的值。
与现有技术相比，本发明提供了一种用于脊椎图像分割的立体式深度学习模型，具备以下有益效果：
本发明开发了一种立体式的深度学习模型，这种模型独特之处在于其可以同时接收多模态、多维度的信息作为输入，这意味着无论是从不同的医疗设备上获得的数据，还是不同参数和规格的数据，该模型都可以无缝对接，进行快速的分析和处理，这一设计大大减少了因设备不兼容或数据格式不统一而导致的处理难题，从而使临床工作更为便捷，此外，由于模型可以直接处理2D和3D的数据，因此避免了在两者之间进行转换的麻烦，提高了工作效率。
附图说明
图1为本发明2D结构模型示意图；
图2为本发明2D模型中扩展路径步骤示意图；
图3为本发明模型训练步骤示意图；
图4为本发明2D模型预训练步骤示意图；
图5为本发明辅助标注步骤示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1-5，在本发明中，我们创造性地建立了一种立体式的深度学习模型，这意味着这个模型能够不仅能够接受多模态的信息，比如CT的2D信息，更可以接收多维度信息，比如由一系列CT图像所生成的无智能分割信息的3D图像。我们的深度学习模型由两个结构相同的模型并联组成，在训练时也进行并行训练。两者的区别在于第一个模型接收多模态的图像的2D信息，第二个模型接收由该多模态的图像生成的3D信息。
2D模型的结构如图1所示，2D模型又可以分为两个部分：第一部分是收缩路径，使用典型的CNN(卷积神经网络)架构，收缩路径中的每个块都由两个连续的3×3卷积组成，接着是ReLU激活单元和最大池化层，这种配置依据任务数量而进行多次重复。
2D模型的第二部分称为扩展路径。在这部分中，每个阶段都使用2×2的上卷积对特征图进行上采样。然后将收缩路径中的相应层的特征图裁剪并与上采样后的特征图进行拼接。接下来是两次连续的3×3卷积和ReLU激活。在最后的阶段，额外应用了一个1×1的卷积，以减少特征图到所需的通道数，并产生分割图像。由于边缘的像素特征拥有最少的上下文信息，所以需要丢弃，因此需要进行裁剪。模型沿着网络传播上下文信息，并且使用来自更大重叠区域的上下文来分割区域中的对象。
3D模型是2D模型框架的增强，能够实现3D体积分割，核心结构仍然包含一个收缩路径和一个扩展路径，然而，所有的2D操作都被替换为相应的3D操作，即，将原本网络中的2D卷积，2D最大池化和2D上卷积相应地替换为3D卷积、3D最大池化和3D上卷积，从而得到一个三维的分割图像，这个网络能够使用较少的标注示例进行图像分割，这是因为3D图像有很多重复的结构和形状，从而即使在标签稀少的数据下也能实现更快的训练过程。
本发明中，损失函数通常被用于衡量预测的分割图像和实际标签之间的差异，我们采用两种常用的损失函数来衡量分割的准确性：
一、交叉熵损失，表达式如下：
其中，p是网络预测的概率，表示像素属于某个类别的概率；y是真实标签，为二值图像；其中的像素值为0或1；N是图像中像素的总数；yi和pi分别是第i个像素的真实标签和预测概率。
二、Dice损失，表达式如下：
Dice损失基于Dice系数，这是衡量两个样本近似度的指标，Dice损失被定义如下：
其中，ε是一个小常数，用于避免分母为零；其余符号与交叉熵损失中的相同。
在本发明中，为了兼顾像素级别的分类功能和分割区域的准确性，我们将交叉熵损失和Dice损失结合起来：
Lcombined＝αLCE+(1―α)LDice
其中α是一个权衡两种损失的参数，可以根据任务需求进行调整。
针对神经网络模型的训练，本发明采用了一种并行训练的策略，同时对两个模型进行训练，这不仅有效地同步提高了两个模型的精度，而且大大加速了整个优化过程，考虑到3D数据的标注工作量较大，相较于3D模型，2D模型的预训练变得尤为重要，首先，需要对2D模型进行预训练，确保其在基本的任务上达到一定的精度，其步骤随后，我们利用已预训练好的2D模型，对2D图像数据和3D模型进行人工辅助标注，确保数据的质量和准确性，最后对神经网络模型进行不断地优化。
其中，神经网络模型的训练是一个优化过程，其目标是调整模型的参数(权重和偏置)，以便模型能够从输入数据中学习到预测输出的规律，以下是详细步骤：
1.数据准备
在训练开始之前，需要准备和预处理数据，这通常包括收集数据、清洗数据、进行特征选择和特征工程、以及将数据分为训练集、验证集和测试集。
2.定义模型结构
神经网络的结构定义了其层的组织和连接方式，这包括选择网络的类型(如全连接网络、卷积神经网络、循环神经网络等)、确定层数、每层的节点数和激活函数。
3.初始化参数
在训练开始之前，模型的权重和偏置通常会被随机初始化，这些参数将在训练过程中被更新。
4.前向传播
在前向传播过程中，输入数据被送入网络，并通过每一层的计算得到输出，每一层的输出都是下一层的输入，直到最终输出层。
5.计算损失
损失函数计算模型的预测输出与实际输出之间的差异，常见的损失函数包括均方误差(MSE)用于回归任务，交叉熵损失用于分类任务。
6.反向传播
在反向传播过程中，损失函数的梯度(即损失相对于每个参数的导数)被计算出来，并传播回网络的每一层，这个过程利用链式法则来有效地计算梯度。
而链式法则是微积分中一个重要的工具，用于计算复合函数的导数，该法则用于指导如何计算一个由多个函数组成的复合函数的导数，在反向传播算法中，用于计算神经网络中各层参数的梯度，通过链式法则，可以将网络中的各层之间的导数传递起来，从而实现参数的更新和优化。
7.参数更新
使用梯度下降来更新网络的权重和偏置，更新的目的是减少损失函数的值，学习率是一个关键的超参数，它决定了在每次更新中参数改变的幅度。
8.迭代过程
前向传播、损失计算、反向传播和参数更新这一系列步骤会在整个训练集上重复进行，每次处理一批数据(称为一个批次)，完成整个训练集一次的处理称为一个epoch，表示一次训练集中所有数据的正向传播和反向传播的迭代次数，通常，训练会进行多个epoch，直到模型的性能不再显著提升或达到某个预定的停止条件。
9.验证和测试
在训练过程中，模型会在独立的验证集上定期进行评估，以监控其泛化能力并防止过拟合，训练完成后，最终模型会在测试集上进行评估，以估计其在未见数据上的性能。
10.超参数调整
在训练过程中，可能需要调整超参数(如学习率、批次大小和epoch数量)以优化模型性能。
整个训练过程是一个不断迭代、调整和优化的过程，目的是找到最佳的模型参数，使得模型能够准确地从输入数据中预测出期望的输出。
在对2D图像数据和3D模型进行人工辅助标注时，其步骤为：首先对训练过程中的数据进行重命名、文件格式转换、调整大小、剪裁和数据清洗；然后使用已预训练好的2D模型对2D图像数据进行预测，并生成对应的标注结果；接着使用交互式标注工具和3D可视化工具进行人工校正预测结果；通过聚类算法将相似的标注结果聚集在一起，去除冗余标注，保留最佳的标注结果；最后将修正后的标注结果保存到相应的标注文件中。
在针对神经网络模型的优化，具体优化步骤如下:
1、计算梯度的指数移动平均值，称为一阶矩估计，其表达式如下:
mt＝β1·mt―1+(1―β1)·gt
2、计算梯度平方的指数移动平均值，称为二阶矩估计，其表达式如下：
3、对一阶矩估计和二阶矩估计进行偏差校正，其表达式如下：
4、使用修正后的一阶矩估计和二阶矩估计来更新参数，其表达式如下：
其中，θt是时间步t处的梯度；β1和β2是衰减率参数，设为0.9和0.999；η是学习率；是一个非常小的数，防止分母为零，设为10―8；θt是模型参数在时间步t的值。
本发明开发了一种立体式的深度学习模型，这种模型独特之处在于其可以同时接收多模态、多维度的信息作为输入，这意味着无论是从不同的医疗设备上获得的数据，还是不同参数和规格的数据，该模型都可以无缝对接，进行快速的分析和处理，这一设计大大减少了因设备不兼容或数据格式不统一而导致的处理难题，从而使临床工作更为便捷，此外，由于模型可以直接处理2D和3D的数据，因此避免了在两者之间进行转换的麻烦，提高了工作效率。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (10)
1.一种用于脊椎图像分割的立体式深度学习模型，其特征在于：包括模型结构与模型训练，所述模型结构用于接收多模态信息和多维度信息，所述模型结构包括2D模型和3D模型，所述2D模型用于接收多模态的图像的2D信息，所述3D模型用于接收由多模态的图像生成的3D信息，所述模型训练用于训练模型，提高模型的精度。
2.根据权利要求1所述的一种用于脊椎图像分割的立体式深度学习模型，其特征在于：所述2D模型包括收缩路径和扩展路径，所述收缩路径使用卷积神经网络架构，包括卷积块、ReLU激活单元和最大池化层，所述卷积块由两个连续的3×3卷积组成，所述ReLU激活单元用于引入非线性因素，对卷积神经网络模型进行非线性建模，所述最大池化层用于选取2D模型区域中具有最大值的元素来输出池化层的结果。
3.根据权利要求2所述的一种用于脊椎图像分割的立体式深度学习模型，其特征在于：所述扩展路径包括以下步骤：
A1、每个阶段使用2×2的上卷积对特征图进行上采样；
A2、将收缩路径中的相应层的特征图裁剪并与上采样后的特征图进行拼接；
A3、进行两次连续的3×3卷积和ReLU激活；
A4、额外应用一个1×1的卷积，以减少特征图到所需的通道数，并产生分割图像；
A5、对边缘的像素特征进行裁剪；
A6、2D模型沿着网络传播上下文信息，并且使用来自更大重叠区域的上下文来分割区域中的对象。
4.根据权利要求3所述的一种用于脊椎图像分割的立体式深度学习模型，其特征在于：所述3D模型将原本网络中的2D卷积，2D最大池化和2D上卷积相应地替换为3D卷积、3D最大池化和3D上卷积，得到三维分割图像。
5.根据权利要求4所述的一种用于脊椎图像分割的立体式深度学习模型，其特征在于：所述分割图像和实际标签之间的差异采用两种损失函数来衡量预测，分别为交叉熵损失和Dice损失，所述交叉熵损失表达式如下：
其中，p是网络预测的概率，表示像素属于某个类别的概率；y是真实标签，为二值图像；其中的像素值为0或1；N是图像中像素的总数；yi和pi分别是第i个像素的真实标签和预测概率；
所述Dice损失的表达式如下：
其中，ε是一个小常数，用于避免分母为零；其余符号与交叉熵损失中的相同。
6.根据权利要求5所述的一种用于脊椎图像分割的立体式深度学习模型，其特征在于：所述分割图像的准确性采用交叉熵损失函数和Dice损失函数结合，其表达式如下：
Lcombined＝αLCE+(1―α)LDice
其中，α是一个权衡两种损失的参数。
7.根据权利要求6所述的一种用于脊椎图像分割的立体式深度学习模型，其特征在于，所述模型训练按以下步骤进行：
步骤一、对2D模型进行预训练；
步骤二、利用已预训练好的2D模型，对2D图像数据和3D模型进行人工辅助标注，标注完成后再对3D模型进行训练；
步骤三、对模型进行优化。
8.根据权利要求7所述的一种用于脊椎图像分割的立体式深度学习模型，其特征在于，所述步骤一种训练步骤如下：
B1、准备和预处理数据，包括收集数据、清洗数据、进行特征选择和特征工程，以及将数据分为训练集、验证集和测试集；
B2、神经网络的结构定义了其层的组织和连接方式，包括选择网络的类型、确定层数、每层的节点数和激活函数；
B3、模型的权重和偏置随机初始化；
B4、数据前向传播，输入数据被送入网络，并通过每一层的计算得到输出，每一层的输出向下一层输入，直到最终输出层；
B5、用损失函数计算模型的预测输出与实际输出之间的差异；
B6、数据反向传播，利用链式法则来计算损失函数的梯度，并传播回网络的每一层；
B7、使用梯度下降来更新网络的权重和偏置，来减少损失函数的值；
B8、重复B4-B7步骤，完成整个训练集的处理；
B9、训练完成后，最终模型在测试集上进行评估；
B10、调整参数，优化模型性能。
9.根据权利要求8所述的一种用于脊椎图像分割的立体式深度学习模型，其特征在于，所述步骤二中标注步骤如下：
C1、对步骤一中的数据进行重命名、文件格式转换、调整大小、剪裁和数据清洗；
C2、使用已预训练好的2D模型对2D图像数据进行预测，并生成对应的标注结果；
C3、使用交互式标注工具和3D可视化工具进行人工校正预测结果；
C4、通过聚类算法将相似的标注结果聚集在一起，去除冗余标注，保留最佳的标注结果；
C5、将修正后的标注结果保存到相应的标注文件中。
10.根据权利要求9所述的一种用于脊椎图像分割的立体式深度学习模型，其特征在于，所述步骤三中优化步骤如下：
D1、计算梯度的指数移动平均值，称为一阶矩估计，其表达式如下：
mt＝β1·mt―1+(1―β1)·gt
D2、计算梯度平方的指数移动平均值，称为二阶矩估计，其表达式如下：
D3、对一阶矩估计和二阶矩估计进行偏差校正，其表达式如下：
D4、使用修正后的一阶矩估计和二阶矩估计来更新参数，其表达式如下：
其中，θt是时间步t处的梯度；β1和β2是衰减率参数，设为0.9和0.999；η是学习率；是一个非常小的数，防止分母为零，设为10―8；θt是模型参数在时间步t的值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311652452.3A CN117830795A (zh) | 2023-12-04 | 2023-12-04 | 一种用于脊椎图像分割的立体式深度学习模型 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311652452.3A CN117830795A (zh) | 2023-12-04 | 2023-12-04 | 一种用于脊椎图像分割的立体式深度学习模型 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117830795A true CN117830795A (zh) | 2024-04-05 |
Family
ID=90504807
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311652452.3A Pending CN117830795A (zh) | 2023-12-04 | 2023-12-04 | 一种用于脊椎图像分割的立体式深度学习模型 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117830795A (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110992338A (zh) * | 2019-11-28 | 2020-04-10 | 华中科技大学 | 一种原发灶转移辅助诊断系统 |
| CN111127484A (zh) * | 2019-12-25 | 2020-05-08 | 北京小白世纪网络科技有限公司 | 基于深度学习神经网络的肝脏ct图像分割方法及装置 |
| CN113240654A (zh) * | 2021-05-20 | 2021-08-10 | 吉林大学 | 一种多维度特征融合的颅内动脉瘤检测方法 |
| CN113506308A (zh) * | 2021-07-06 | 2021-10-15 | 同济大学 | 一种医学图像中基于深度学习的椎骨定位与脊柱分割方法 |
-
2023
- 2023-12-04 CN CN202311652452.3A patent/CN117830795A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110992338A (zh) * | 2019-11-28 | 2020-04-10 | 华中科技大学 | 一种原发灶转移辅助诊断系统 |
| CN111127484A (zh) * | 2019-12-25 | 2020-05-08 | 北京小白世纪网络科技有限公司 | 基于深度学习神经网络的肝脏ct图像分割方法及装置 |
| CN113240654A (zh) * | 2021-05-20 | 2021-08-10 | 吉林大学 | 一种多维度特征融合的颅内动脉瘤检测方法 |
| CN113506308A (zh) * | 2021-07-06 | 2021-10-15 | 同济大学 | 一种医学图像中基于深度学习的椎骨定位与脊柱分割方法 |
Non-Patent Citations (2)
| Title |
|---|
| 硅丞相AXI: "UNet算法结构详解v2", pages 1 - 4, Retrieved from the Internet <URL:《知乎，https://zhuanlan.zhihu.com/p/485727835》> * |
| 郭业才: "深度学习与信号处理：原理与实践", 30 June 2022, 《机械工业出版社》, pages: 28 - 29 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111798462B (zh) | 一种基于ct图像的鼻咽癌放疗靶区自动勾画方法 | |
| CN107610194B (zh) | 基于多尺度融合cnn的磁共振图像超分辨率重建方法 | |
| CN113012172B (zh) | 一种基于AS-UNet的医学图像分割方法及系统 | |
| WO2023221954A1 (zh) | 基于强化学习和注意力的胰腺肿瘤图像分割方法及系统 | |
| CN111275714B (zh) | 一种基于注意力机制的3d卷积神经网络的前列腺mr图像分割方法 | |
| CN109767459B (zh) | 新型眼底图配准方法 | |
| CN110288611A (zh) | 基于注意力机制和全卷积神经网络的冠状血管分割方法 | |
| Agarwal et al. | Review on Deep Learning based Medical Image Processing | |
| CN113763442A (zh) | 一种可变形医学图像配准方法及系统 | |
| CN112734755A (zh) | 基于3d全卷积神经网络与多任务学习的肺叶分割方法 | |
| CN112862830A (zh) | 一种多模态图像分割方法、系统、终端及可读存储介质 | |
| CN111091575B (zh) | 一种基于强化学习方法的医学图像分割方法 | |
| CN112465754B (zh) | 基于分层感知融合的3d医疗图像分割方法、装置及存储介质 | |
| CN113781461B (zh) | 一种病人智能监控排序方法 | |
| CN112634265B (zh) | 基于dnn的胰腺全自动分割模型的构建、分割方法及系统 | |
| CN115512110A (zh) | 一种涉及跨模态注意力机制的医学图像肿瘤分割方法 | |
| CN116228792A (zh) | 一种医学图像分割方法、系统及电子装置 | |
| CN113744215B (zh) | 三维断层扫描图像中树状管腔结构中心线的提取方法和装置 | |
| CN110992309B (zh) | 基于深层信息传递网络的眼底图像分割方法 | |
| CN112750137A (zh) | 基于深度学习的肝脏肿瘤分割方法及系统 | |
| CN116797609A (zh) | 全局-局部特征关联融合的肺部ct图像分割方法 | |
| CN109919216B (zh) | 一种用于计算机辅助诊断前列腺癌的对抗学习方法 | |
| CN113256657B (zh) | 一种高效医学图像分割方法及系统、终端、介质 | |
| CN118279361A (zh) | 基于无监督深度学习和模态转换的多模态医学图像配准方法 | |
| CN113362332A (zh) | Oct影像下冠状动脉管腔轮廓的深度网络分割方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |