CN116597950A - 一种医学图像分层方法 - Google Patents
一种医学图像分层方法 Download PDFInfo
- Publication number
- CN116597950A CN116597950A CN202310695554.7A CN202310695554A CN116597950A CN 116597950 A CN116597950 A CN 116597950A CN 202310695554 A CN202310695554 A CN 202310695554A CN 116597950 A CN116597950 A CN 116597950A
- Authority
- CN
- China
- Prior art keywords
- medical image
- neural network
- model
- deep neural
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 28
- 238000003062 neural network model Methods 0.000 claims abstract description 42
- 238000012549 training Methods 0.000 claims abstract description 37
- 230000011218 segmentation Effects 0.000 claims abstract description 20
- 238000010606 normalization Methods 0.000 claims abstract description 5
- 238000012360 testing method Methods 0.000 claims description 18
- 238000011156 evaluation Methods 0.000 claims description 17
- 238000012795 verification Methods 0.000 claims description 14
- 238000013528 artificial neural network Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000005457 optimization Methods 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 4
- 238000013527 convolutional neural network Methods 0.000 claims description 2
- 230000006870 function Effects 0.000 claims description 2
- 238000000638 solvent extraction Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 abstract description 4
- 238000003709 image segmentation Methods 0.000 abstract description 3
- 238000003759 clinical diagnosis Methods 0.000 abstract 1
- 238000012014 optical coherence tomography Methods 0.000 description 7
- 210000001525 retina Anatomy 0.000 description 7
- 238000010586 diagram Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 201000010099 disease Diseases 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000013517 stratification Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Public Health (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Pathology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Data Mining & Analysis (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种医学图像分层方法，属于医学图像处理技术领域，主要基于具有层结构的医学图像，通过建立深度神经网络模型，完成对层结构医学图像的分层，具体包括以下步骤：1)：将获取的医学图像进行灰度归一化以及裁剪处理；2)：将处理好的数据集进行划分；3)：利用划分好的数据集训练深度神经网络模型；4)：对最优的层结构模型的性能进行评估。本发明通过学习特征信息并且优化后的医学图像层分割模型可以对获取到的医学图像进行精确分层，辅助医生进行临床诊断，具有重要的医疗意义。
Description
技术领域
本发明属于医学图像处理技术领域，尤其涉及一种医学图像分层方法。
背景技术
疾病诊断中，具有层结构信息的医学图像为医生提供了重要的诊断依据。不同的疾病会使得医学图像中的层结构发生不同程度的形变，医生可以通过层结构形变的情况及时对患者做出诊断，早介入，早治疗。
近年来，光学相干断层成像(Optical Coherence tomography，OCT)技术逐渐成为了获取层结构医学图像的主流方式，它是一种非侵入性的成像方式。通过低相干光来解析生物组织的内部结构，可以获取具有足够穿透深度的生物组织的高分辨率横断面扫描图像。然而，在诊断时，靠医生对医学图像进行手动标注费时费力，并且该过程取决于标注人员主观的认知，因此医学图像的自动层分割的问题逐渐引起关注。
随着深度学习技术在医学图像分割中发挥着越来越重要的作用，出现了很多基于深度学习的医学图像分层方法。这些方法可以在一定程度上得到医学图像的分层结果，但是这些深度学习方法普遍存在感受野受限的问题，致使分层结果受到限制。
发明内容
本发明的目的在于提供一种医学图像分层方法，其特征在于，包括如下步骤：
S1：获取具有层结构的医学图像，并对医学图像进行预处理，得到数据样本；
S2：对数据样本进行划分；
S3：利用划分后的数据集对深度神经网络模型进行训练，训练后得到层分割模型；
S4：对层分割模型进行性能评估。
进一步地，S1中，预处理具体为：对具有层结构的医学图像进行灰度归一化和裁剪操作。
进一步地，S2中，数据集的划分具体为：将数据样本按照3：1：1的比例随机划分为训练集、验证集和测试集。
进一步地，S3中，通过使用训练集中的数据对深度神经网络训练模型进行训练。
进一步地，使用训练集中的数据对深度神经网络训练模型进行训练具体包括如下步骤：
S31：确定深度神经网络模型的模型架构；
S32：将训练集中数据导入深度神经网络模型，选择参数优化算法和损失函数多次对深度神经网络模型进行优化；
S33：使用验证集对进行多次优化后的深度神经网络模型的超参数进行调整，最终得到最优的层分割模型和最优的权重。
进一步地，S31中，深度神经网络模型的架构具体为：包括编码器和解码器，深度神经网络模型于编码器中结合卷积神经网络和自注意力机制，深度神经网络模型于解码器中将空间注意力机制添加在上采样和跳过连接中，从而学习图像更多的局部特征和全局特征。
进一步地，具有层结构的医学图像通过深度神经网络模型直接得到的各个层和积液的分割结果。
进一步地，S33中，基于验证集的评价指标实现对深度神经网络的超参数调整。
进一步地，S4中，对层分割模型的评估具体为：将测试集中的数据输入最终得到的最优的层结构模型中进行测试，得到分层结果，基于得到的分层结果和测试集数据的实际标签进行损失计算，进而完成对层分割模型的性能评估。
进一步地，层分割模型的性能评估结果通过评价指标展示。
与现有技术相比，本发明的有益效果主要体现在：
1、本发明将图像传入深度神经网络模型中，在模型中同时利用了图像的局部感受野和全局感受野，再结合跳过连接具有注意力机制的U型网络获取的局部特征，两者相结合完成图像分割，更加充分地利用了图像数据。
2、本发明根据视网膜数据的特性，将二维特征图转换为一维特征图输入Transformer中，不仅增多了进入Transformer模块的样本数，还使得整个网络计算速度提高。
3、本发明中提出的方法可以显著地提高模型的性能。可以很好地完成医学图像分层任务，辅助专业医生完成对视网膜疾病的诊断。
附图说明
图1为本发明实施例的流程图。
图2为本发明实施例的整体架构图。
图3为本发明实施例的医学图像分层方法的模型训练算法流程图。
图4为本发明实施例的医学图像分层测试结果的模型图。
具体实施方式
下面将结合示意图对本发明一种医学图像分层方法进行更详细的描述，其中表示了本发明的优选实施例，应该理解本领域技术人员可以修改在此描述的本发明，而仍然实现本发明的有利效果，因此，下列描述应当被理解为对于本领域技术人员的广泛知道，而并不作为对本发明的限制。
实施例
如图1所示，本发明基于视网膜OCT图像数据集，首先对收集到的视网膜B扫描图像进行数据预处理，然后将处理之后的数据集划分为训练集、验证集和测试集，再利用训练集训练提出的深度神经网络模型，利用验证集对深度神经网络模型进行调参，最终用测试集对调参后得到的层结构模型进行性能评估。
如图2所示，本实施例在上述实施例的基础上，对视网膜OCT图像分层方法作进一步叙述。本发明主要包括数据集处理、深度神经网络模型的模型设计、深度神经网络模型的模型训练以及最优的层结构模型验证这四个模块。
数据集处理这一模块包括对获取的视网膜OCT图像进行图像灰度归一化以及裁剪处理，便于图像输入网络模型，然后再将数据集划分为训练集、验证集和测试集，用于深度神经网络模型的训练和层结构模型的验证。其中，对获取的视网膜OCT图像进行图像灰度归一化以及裁剪处理后得到数据样本，数据样本按照3：1：1的比例随机划分为训练集、验证集和测试集。
深度神经网络模型的模型设计这一模块，包括深度神经网络模型的编码器以及解码器设计，深度神经网络模型在编码器模块将卷积和自注意力机制结合，在解码器模块中将空间注意力机制添加在上采样和跳过连接中，学习到了图像更多的局部特征和全局特征，通过深度神经网络模型可直接得到具有层结构医学图像的各个层以及积液的分割结果。
深度神经网络模型的模型训练模块为：将训练集中数据输入深度神经网络模型中，对深度神经网络模型进行训练，最后得到最优层结构模型和最优的权重。
最优的层结构模型验证模块主要是利用测试集的数据对最优的层结构模型的性能进行测试，做出性能评估，保证最优的层结构模型的可靠性。
如图3所示，本实施例对深度神经网络模型的训练模块做进一步叙述。深度神经网络模型的模型训练首先选取训练数据，对提出的深度神经网络模型进行参数初始化，将训练集中数据导入深度神经网络模型进行训练，训练过程中添加参数优化算法以及损失计算不断优化深度神经网络模型，训练几轮之后使用验证集数据对深度神经网络模型进行验证，可以确保深度神经网络模型没有过拟合并且对深度神经网络模型的超参数做出调整，最终得到最优的层结构模型和最优的权重。
如图4所示，本实施例对深度神经网络模型的模型验证模块做进一步叙述。将测试数据输入得到的最优层结构模型中进行测试，得到层分割结果，将得到的层分割结果和测试数据的实际标签进行损失计算对模型的性能做出最终评估，最终评估通过评价指标展示。
评价指标采用Dice分数，Dice分数用来评估两个样本之间的相似度，取值范围为[0，1]，其公式表示如下：
其中X表示真实标签的概率图，Y表示模型预测得到的概率图，|X∩Y|则表示两个图中重合的部分，由两个图中的像素进行点乘并相加得到，|X|和|Y|分别为两个图中的像素相加的结果。在实例中Dice分数越接近1说明模型的效果越好。
上述仅为本发明的优选实施例而已，并不对本发明起到任何限制作用。任何所属技术领域的技术人员，在不脱离本发明的技术方案的范围内，对本发明揭露的技术方案和技术内容做任何形式的等同替换或修改等变动，均属未脱离本发明的技术方案的内容，仍属于本发明的保护范围之内。
Claims (10)
1.一种医学图像分层方法，其特征在于，包括如下步骤：
S1：获取具有层结构的医学图像，并对医学图像进行预处理，得到数据样本；
S2：对数据样本进行划分；
S3：利用划分后的数据集对深度神经网络模型进行训练，训练后得到层分割模型；
S4：对层分割模型进行性能评估。
2.根据权利要求1所述的医学图像分层方法，其特征在于，所述S1中，所述预处理具体为：对具有层结构的医学图像进行灰度归一化和裁剪操作。
3.根据权利要求2所述的医学图像分层方法，其特征在于，所述S2中，数据集的划分具体为：所述数据样本按照3：1：1的比例随机划分为训练集、验证集和测试集。
4.根据权利要求3所述的医学图像分层方法，其特征在于，所述S3中，通过使用训练集中的数据对深度神经网络训练模型进行训练。
5.根据权利要求4所述的医学图像分层方法，其特征在于，使用训练集中的数据对深度神经网络训练模型进行训练具体包括如下步骤：
S31：确定深度神经网络模型的模型架构；
S32：将训练集中数据导入深度神经网络模型，选择参数优化算法和损失函数多次对深度神经网络模型进行优化；
S33：使用验证集对进行多次优化后的深度神经网络模型的超参数进行调整，最终得到最优的层分割模型和最优的权重。
6.根据权利要求5所述的医学图像分层方法，其特征在于，所述S31中，所述深度神经网络模型的架构具体为：包括编码器和解码器，所述深度神经网络模型于编码器中结合卷积神经网络和自注意力机制，所述深度神经网络模型于解码器中将空间注意力机制添加在上采样和跳过连接中，从而学习图像更多的局部特征和全局特征。
7.根据权利要求6所述的医学图像分层方法，其特征在于，具有层结构的医学图像通过所述深度神经网络模型直接得到的各个层和积液的分割结果。
8.根据权利要求6所述的医学图像分层方法，其特征在于，所述S33中，基于验证集的评价指标实现对深度神经网络的超参数调整。
9.根据权利要求6所述的医学图像分层方法，其特征在于，所述S4中，对层分割模型的评估具体为：将测试集中的数据输入最终得到的最优的层分割模型中进行测试，得到分层结果，基于得到的分层结果和测试集数据的实际标签进行损失计算，进而完成对层分割模型的性能评估。
10.根据权利要求9所述的医学图像分层方法，其特征在于，所述最优的层分割模型的性能评估结果通过评价指标展示。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310695554.7A CN116597950A (zh) | 2023-06-13 | 2023-06-13 | 一种医学图像分层方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310695554.7A CN116597950A (zh) | 2023-06-13 | 2023-06-13 | 一种医学图像分层方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116597950A true CN116597950A (zh) | 2023-08-15 |
Family
ID=87604463
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310695554.7A Pending CN116597950A (zh) | 2023-06-13 | 2023-06-13 | 一种医学图像分层方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116597950A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116844717A (zh) * | 2023-09-01 | 2023-10-03 | 中国人民解放军总医院第一医学中心 | 一种基于分层多标签模型的医疗建议推荐方法、系统、设备 |
-
2023
- 2023-06-13 CN CN202310695554.7A patent/CN116597950A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116844717A (zh) * | 2023-09-01 | 2023-10-03 | 中国人民解放军总医院第一医学中心 | 一种基于分层多标签模型的医疗建议推荐方法、系统、设备 |
| CN116844717B (zh) * | 2023-09-01 | 2023-12-22 | 中国人民解放军总医院第一医学中心 | 一种基于分层多标签模型的医疗建议推荐方法、系统、设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113040715B (zh) | 一种基于卷积神经网络的人脑功能网络分类方法 | |
| CN109670510B (zh) | 一种基于深度学习的胃镜活检病理数据筛查系统 | |
| KR102125127B1 (ko) | 딥러닝 기반 뇌 질환 진단 방법 | |
| Ahmed et al. | Single volume image generator and deep learning-based ASD classification | |
| CN112529894B (zh) | 一种基于深度学习网络的甲状腺结节的诊断方法 | |
| CN111243042A (zh) | 基于深度学习的超声甲状腺结节良恶性特征可视化的方法 | |
| CN111445481A (zh) | 一种基于尺度融合的腹部ct多器官的分割方法 | |
| CN109255354B (zh) | 面向医用ct的计算机图像处理方法和装置 | |
| CN113298830B (zh) | 一种基于自监督的急性颅内ich区域图像分割方法 | |
| CN112784856A (zh) | 胸部x射线图像的通道注意力特征提取方法和识别方法 | |
| CN113689954A (zh) | 高血压风险预测方法、装置、设备及介质 | |
| CN102117329B (zh) | 基于小波变换的胶囊内窥镜图像检索方法 | |
| CN114038564B (zh) | 一种糖尿病无创风险预测方法 | |
| CN112508884A (zh) | 一种癌变区域综合检测装置及方法 | |
| CN116597950A (zh) | 一种医学图像分层方法 | |
| CN116051545B (zh) | 一种双模态影像的脑龄预测方法 | |
| CN114241187A (zh) | 基于超声双模态影像的肌肉疾病诊断系统、设备及介质 | |
| CN112767374A (zh) | 基于mri的阿尔茨海默症病灶区域语义分割算法 | |
| CN114972266A (zh) | 基于自注意机制和稳定学习的淋巴瘤超声图像语义分割方法 | |
| CN114332910A (zh) | 一种面向远红外图像的相似特征计算的人体部位分割方法 | |
| Abed et al. | Improving Lumbar Disc Bulging Detection in MRI Spinal Imaging: A Deep Learning Approach | |
| CN116452592B (zh) | 脑血管病ai认知功能评测模型的构建方法、装置及系统 | |
| CN116309754A (zh) | 一种基于局部-全局信息协作的大脑医学图像配准方法及系统 | |
| CN111640126B (zh) | 基于医学影像的人工智能诊断辅助方法 | |
| CN115049682A (zh) | 一种基于多尺度密集网络的视网膜血管分割方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |