CN111667486A - 一种基于深度学习的多模态融合胰腺分割方法和系统 - Google Patents
一种基于深度学习的多模态融合胰腺分割方法和系统 Download PDFInfo
- Publication number
- CN111667486A CN111667486A CN202010355337.XA CN202010355337A CN111667486A CN 111667486 A CN111667486 A CN 111667486A CN 202010355337 A CN202010355337 A CN 202010355337A CN 111667486 A CN111667486 A CN 111667486A
- Authority
- CN
- China
- Prior art keywords
- image
- pancreas
- modality
- dimensional
- determined
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 210000000496 pancreas Anatomy 0.000 title claims abstract description 123
- 230000011218 segmentation Effects 0.000 title claims abstract description 82
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000013135 deep learning Methods 0.000 title claims abstract description 35
- 230000004927 fusion Effects 0.000 title claims abstract description 25
- 238000003709 image segmentation Methods 0.000 claims abstract description 75
- 230000009466 transformation Effects 0.000 claims abstract description 49
- 238000012549 training Methods 0.000 claims description 53
- 238000012545 processing Methods 0.000 claims description 5
- 210000001015 abdomen Anatomy 0.000 claims description 4
- 230000015572 biosynthetic process Effects 0.000 claims description 4
- 238000012937 correction Methods 0.000 abstract description 7
- 238000006243 chemical reaction Methods 0.000 description 11
- 238000005457 optimization Methods 0.000 description 8
- 238000003384 imaging method Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 210000003462 vein Anatomy 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 238000003745 diagnosis Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 210000000056 organ Anatomy 0.000 description 3
- 206010061902 Pancreatic neoplasm Diseases 0.000 description 2
- 210000001367 artery Anatomy 0.000 description 2
- 230000036770 blood supply Effects 0.000 description 2
- 210000004204 blood vessel Anatomy 0.000 description 2
- 238000004195 computer-aided diagnosis Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000003111 delayed effect Effects 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 238000003325 tomography Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000014616 translation Effects 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 206010052747 Adenocarcinoma pancreas Diseases 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 230000003187 abdominal effect Effects 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 230000002308 calcification Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 210000001035 gastrointestinal tract Anatomy 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 230000003211 malignant effect Effects 0.000 description 1
- 208000015486 malignant pancreatic neoplasm Diseases 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 201000002094 pancreatic adenocarcinoma Diseases 0.000 description 1
- 201000002528 pancreatic cancer Diseases 0.000 description 1
- 208000008443 pancreatic carcinoma Diseases 0.000 description 1
- 230000007170 pathology Effects 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10076—4D tomography; Time-sequential 3D tomography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种基于深度学习的多模态融合胰腺分割方法和系统，解决现有技术分割准确性较低的技术问题。方法包括：利用确定模态图像分割网络形成胰腺影像的确定模态三维图像；利用空间变换网络形成所述胰腺影像的变换场数据，通过所述变换场数据将所述确定模态三维图像转换为其他模态参考三维图像；利用所述确定模态图像分割网络形成所述胰腺影像的其他模态相似三维图像；通过融合所述参考三维图像和所述相似三维图像形成其他模态三维图像。实现了利用模态优化的图像分割网络和变换场数据获得其他多个模态的准确分割三维图像的快捷途经，形成的两种相关三维图像进行特征拟合和修正保证了本技术方案快速分割多模态影像结果的准确性。有效提高了多模态胰腺影像的分割效率。
Description
技术领域
本发明涉及图像识别技术领域，具体涉及一种基于深度学习的多模态融合胰腺分割方法和系统。
背景技术
胰腺导管腺癌占恶性胰腺癌的90％，是目前已知的死亡率最高的癌症之一，五年生存率低于5％，究其原因是因为引起胰腺癌的主要因素例如囊性病变等无法及时检出。现有技术中，应用计算机辅助诊断(CAD)系统对胰腺各种病灶进行量化分析之前需要对医学影像中的胰腺进行精准的分割，利用深度卷积神经网络算法形成的图像分割网络如FCN(Fully Convolutional Network)、SegNet(Sementic Segmentation)、空洞卷积等，已经成为解决医学图像分割问题的主要技术手段。考虑到胰腺形变较大，以及胰腺与周围结构如肠道，血管等分界不清的负面组织特征，针对胰腺图像主流的分割算法主要分为两类，一类是利用2D信息，通过将少量相邻切片影像堆叠在一起输入训练分割网络模型，另一类是利用3D信息，通过将互有重叠的影像图块(patch)输入训练分割网络模型。但是两类分割网络都存在分割缺陷，前者不能有效的合并脏器三维的上下文信息，后者忽略了脏器的全局信息。
而且，鉴于腹部CT在拍摄时一般会形成四个模态，对应期像对于疾病诊断的意义不尽相同，例如平扫期像可以看钙化，动脉期像看动脉血供，静脉期像看静脉期血供，延迟期像看病变延迟强化，而分别训练每个模态的分割网络模型不仅需要医生作大量标注还需要针对不同的数据进行模型调优，时间成本巨大。
发明内容
鉴于上述问题，本发明实施例提供一种基于深度学习的多模态融合胰腺分割方法和系统，解决现有技术分割准确性较低的技术问题。
本发明实施例的基于深度学习的多模态融合胰腺分割方法，包括：
利用确定模态图像分割网络形成胰腺影像的确定模态三维图像；
利用空间变换网络形成所述胰腺影像的变换场数据，通过所述变换场数据将所述确定模态三维图像转换为其他模态参考三维图像；
利用所述确定模态图像分割网络形成所述胰腺影像的其他模态相似三维图像；
通过融合所述参考三维图像和所述相似三维图像形成其他模态三维图像。
本发明一实施例中，所述利用确定模态图像分割网络形成胰腺影像的确定模态三维图像包括：
采用所述胰腺影像的确定模态医学图像形成关联的图块训练样本集和全局训练样本集训练初始图像分割网络形成所述确定模态图像分割网络。
本发明一实施例中，所述图块训练样本集和全局训练样本集的形成包括：
在确定模态单一轴面切片图像集合中选取基础图像，将所述基础图像平均划分为若干连续的胰腺图块，根据所述胰腺图块的划分位置在所述确定模态单一轴面切片图像集合中确定局部对应图块组，根据所述局部对应图块组形成图块训练样本集；
在所述确定模态单一轴面切片图像集合中将切片图像调整至所述胰腺图块尺度形成全局对应图块组，根据所述全局对应图块组形成全局训练样本集。
本发明一实施例中，所述切片图像集合形成包括：
根据腹部CT影像形成三维影像数据；
通过对所述三维影像数据调整影像参数形成胰腺三维影像数据；
利用所述胰腺三维影像数据进行切分形成各模态各轴面切片图像集合。
本发明一实施例中，所述确定模态图像分割网络的形成包括：
利用确定模态的确定轴面的所述图块训练样本集和所述全局训练样本集训练初始图像分割网络形成所述确定轴面的所述确定模态图像分割网络。
本发明一实施例中，所述利用确定模态图像分割网络形成胰腺影像的确定模态三维图像包括：
通过所述确定模态图像分割网络分割确定模态轴面图像形成所述确定模态分割图像，根据所述确定模态分割图像形成所述确定模态三维图像。
本发明一实施例中，所述利用空间变换网络形成所述胰腺影像的变换场数据，通过所述变换场数据将所述确定模态三维图像转换为其他模态参考三维图像包括：
利用所述空间变换网络形成确定模态医学影像与对应的其他模态医学影像间的所述变换场数据，通过所述变换场数据将确定模态三维图像转换为所述其他模态参考三维图像。
本发明一实施例中，所述利用所述确定模态图像分割网络形成所述胰腺影像的其他模态相似三维图像包括：
通过所述确定模态图像分割网络分割其他模态轴面图像形成其他模态分割图像，根据所述其他模态分割图像形成所述其他模态相似三维图像。
本发明实施例的基于深度学习的多模态融合胰腺分割系统，包括：
存储器，用于存储上述的基于深度学习的多模态融合胰腺分割方法处理过程对应的程序代码；
处理器，用于执行所述程序代码。
本发明实施例的基于深度学习的多模态融合胰腺分割系统，包括：
多模态融合胰腺分割装置，用于利用确定模态图像分割网络形成胰腺影像的确定模态三维图像；
利用空间变换网络形成所述胰腺影像的变换场数据，通过所述变换场数据将所述确定模态三维图像转换为其他模态参考三维图像；
利用所述确定模态图像分割网络形成胰腺影像的其他模态相似三维图像；
通过融合所述参考三维图像和所述相似三维图像形成其他模态三维图像。本发明实施例的基于深度学习的多模态融合胰腺分割方法和系统实现了利用模态优化的图像分割网络和变换场数据获得其他多个模态的准确分割三维图像的快捷途经，形成的两种相关三维图像进行特征拟合和修正保证了本技术方案快速分割多模态影像结果的准确性。大大降低各模态影像独立进行胰腺分割的人工标记成本、网络训练成本和分割时间成本的同时有效提高了多模态胰腺影像的分割效率。
附图说明
图1所示为本发明一实施例基于深度学习的多模态融合胰腺分割方法的流程示意图。
图2所示为本发明一实施例基于深度学习的多模态融合胰腺分割方法中确定模态三维图像形成过程示意图。
图3所示为本发明一实施例基于深度学习的多模态融合胰腺分割方法中其他模态三维图像形成过程示意图。
图4所示为本发明一实施例基于深度学习的多模态融合胰腺分割系统的架构示意图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚、明白，以下结合附图及具体实施方式对本发明作进一步说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明一实施例的基于深度学习的多模态融合胰腺分割方法如图1所示。在图1中，本实施例包括：
利用确定模态图像分割网络形成胰腺影像的确定模态三维图像；
利用空间变换网络形成胰腺影像的变换场数据，通过所述变换场数据将确定模态三维图像转换为其他模态参考三维图像；
利用确定模态图像分割网络形成胰腺影像的其他模态相似三维图像；
通过融合参考三维图像和相似三维图像形成其他模态三维图像。
本领域技术人员可以理解，采用图像分割网络可以完成医学影像中确定图案特征的分类，根据图案特征形成医学影像中图案的划分。采用空间变换网络可以获得同一平面图案或立体图案进行空间扭曲、变换和对齐(包括平移、缩放、旋转以及其它几何变换等)的变换参数或者是量化同一图案的不同变形状态间的变换参数。胰腺的不同模态期像影像在图像纹理表达上存在差异，但在图像纹理纹路上存在高度相关的细节特征，利用空间变换网络可以确定不同模态期像间的变换场数据(即变换参数)。
本发明实施例的基于深度学习的多模态融合胰腺分割方法利用针对一种模态优化的图像分割网络形成胰腺的准确分割图案，进而形成三维准确成像并作为其他模态下胰腺的三维分割基准。利用空间变换网络获得各模态期像间的量化变换参数，将胰腺的三维分割基准转换为不同模态期像的三维参考成像的同时，利用优化的图像分割网络将其他模态的胰腺影像有效分割为相似图案进而形成三维相似成像。使得三维参考成像与三维相似成像间可以形成图形数据的差分修正或线性趋势修正进而形成准确的其他模态三维成像。实现了利用模态优化的图像分割网络和变换场数据获得其他多个模态的准确分割三维图像的快捷途经，形成的两种相关三维图像进行特征拟合和修正保证了本技术方案快速分割多模态影像结果的准确性。大大降低各模态影像独立进行胰腺分割的人工标记成本、网络训练成本和分割时间成本的同时有效提高了多模态胰腺影像的分割效率。
如图1所示，在上述实施例基础上，本实施例包括：
步骤100：采用胰腺影像的确定模态医学图像形成关联的图块训练样本集和全局训练样本集训练初始图像分割网络形成确定模态图像分割网络。
本领域技术人员可以理解，医学CT(即断层扫描)针对特定扫描部位可以形成具有特定增强表达模态的时序性期像，可以形成反映器官或组织在确定时间血管、血流的突出模态特征。例如胰腺CT通常形成静脉期、动脉期、平扫期和延迟期四类模态期像。时序性期像成像间隔较短，断层厚度一致的胰腺影像的模态期像具有相似性。
CT医学影像的局部图像的特征描述和局部图像所处完整图像的特征描述之间存在特征差异，特征差异的差异性形成潜在的描述特征。通过局部图像形成图块训练样本，通过完整图像形成全局训练样本，通过训练样本可以形成图像分割网络对特征差异的参数优化。
本发明实施例的基于深度学习的多模态融合胰腺分割方法利用确定模态医学影像中的胰腺局部图案承载的胰腺细节特征和胰腺整体图案承载的胰腺全局轮廓特征对初始图像分割网络进行训练，使得初始图像分割网络针对胰腺的局部细节和整体轮廓进行参数优化，形成的确定模态图像分割网络可以兼顾待分割胰腺影像中局部细节和整体轮廓，既满足胰腺整体形态的确定又可以将胰腺局部细节从影像背景中准确区别。
如图1所示，在本发明一实施例中，采用如下方法形成切片图像：
步骤110：根据腹部CT影像形成三维影像数据。
本领域技术人员可以理解，CT影像通常为Dicom数据，包含必要的相对位置信息和影像像素信息，通过适当转换例如转换为Nifti格式，可以形成具有统一坐标空间的基于像素描述属性的三维影像数据。
步骤120：通过对三维影像数据调整影像参数形成胰腺三维影像数据。
调整影像参数包括但不限于确定模态影像的窗宽调整、窗位调整和视窗调整，经调整后使确定模态影像的像素属性形成最有利于对胰腺对象进行直观观察的胰腺三维影像数据。
步骤130：利用胰腺三维影像数据进行切分形成各模态各轴面切片图像集合。
胰腺三维影像数据中影像像素和数据标签具有统一坐标空间，根据轴面定义可以形成统一坐标空间内不同方向的切片图像序列，进而形成确定模态的确定轴面方向的切片图像集合。每一模态胰腺三维影像数据可以形成若干个轴面切片图像集合。
如图1所示，在本发明一实施例中，采用如下方法形成图块训练样本集和全局训练样本集：
步骤140：在确定模态单一轴面切片图像集合中选取基础图像，将基础图像平均划分为若干连续的胰腺图块，根据胰腺图块的划分位置在确定模态单一轴面切片图像集合中确定局部对应图块组，根据局部对应图块组形成图块训练样本集。
确定模态单一轴面切片图像集合中的切片图像间呈平行间隔，基础图像中的胰腺图块包括胰腺的至少一个局部，胰腺图块可以是胰腺局部的连续序列或间隔序列，胰腺图块具有确定的长度宽度形成固定的长宽比，胰腺图块在确定模态单一轴面切片图像集合中每一切片图像上形成投影，投影范围即胰腺图块的划分位置。每一个投影范围内的胰腺图块形成局部对应图块组。所有局部对应图块组形成图块训练样本集。
步骤150：在确定模态单一轴面切片图像集合中将切片图像调整至胰腺图块尺度形成全局对应图块组，根据全局对应图块组形成全局训练样本集。
可以采用在切片图像轮廓添加空白像素使得切片图像形成与胰腺图块相同的长宽比，然后将切片图像缩小至胰腺图块的长度宽度，使得切片图像与胰腺图块同尺度。
如图1所示，在本发明一实施例中，采用如下方法形成确定模态图像分割网络：
步骤160：利用确定模态的确定轴面的图块训练样本集和全局训练样本集训练初始图像分割网络形成确定轴面的确定模态图像分割网络。
采用一个初始图像分割网络(本实施例采用SegNet)针对确定模态的确定轴面的图块训练样本集和全局训练样本集进行训练，形成确定轴面的确定模态图像分割网络。初始图像分割网络可以包括两个局部分割分支网络分别对应图块训练样本集和全局训练样本集，最终形成的确定模态图像分割网络包括完整的优化参数。
在本发明一实施例中，采用以下方法对确定模态图像分割网络进行优化：
步骤170：通过focal loss函数改善确定模态图像分割网络在局部细节特征的分类失衡。
本领域技术人员可以理解，在确定模态轴面图像中胰腺特征与背景特征交界处背景特征样本量远大于胰腺特征样本量，利用focal loss函数可以有效改变样本量积累形成的权重，平衡样本量差异形成的分割失衡。
步骤180：通过dice loss函数改善确定模态图像分割网络在两种尺度图案的相似度区分。
本领域技术人员可以理解，在确定模态轴面图像中大尺度和小尺度的胰腺相似图案受尺度下背景像素的影响程度不同，利用dice loss函数可以有效改善背景像素与胰腺轮廓间的变化梯度，避免分割轮廓受变化梯度影像快速跳跃。
步骤190：根据确定轴面间的关联坐标空间形成图像像素的多方向投影关联数据，根据多方向投影关联数据确定利用轴面分割图像的建模参数。
本领域技术人员可以理解，各轴面根据三维影像数据存在关联坐标空间，利用关联坐标空间可以根据确定模态轴面图像序列的多方向投影形成轴面图像的多方向投影关联数据，可以用于三维建模时像素坐标的基础。
如图1所示，在上述实施例基础上，本实施例包括：
步骤200：通过确定模态图像分割网络分割确定模态轴面图像形成确定模态分割图像，根据确定模态分割图像形成确定模态三维图像。
本领域技术人员可以理解，一种轴面定义包括水平面、冠状面和矢状面。确定模态的确定轴面的切片图像形成在确定投影方向上胰腺的确定分割图像，确定分割图像可以将胰腺图案从切片图像中有效分离，根据轴面定义可以利用CT影像像素的坐标空间定义和多方向投影关联数据形成的建模参数拟合胰腺确定模态下的三维图像，确定模态三维图像包括确定模态下胰腺的三维轮廓、轮廓表面纹理和人工标记的特征标签。特征标签可以是绝对位置特征、相对位置特征、轮廓特征、纹理特征、病理标识特征等。
本发明实施例的基于深度学习的多模态融合胰腺分割方法利用针对训练的确定模态图像分割网络分割确定轴面的切片图像获得的胰腺确定模态下的三维图像可以将胰腺三维形态从切片图像集合中准确提取，可以实现三维观察软件对胰腺直观诊断。
分割确定模态轴面图像形成确定模态三维图像的具体过程如图2所示。在图2中，首先形成静脉模态的期像三维数据，进而形成静脉模态的水平面、冠状面和矢状面切片图像集合；进而利用图像集合形成对应的小尺寸图像集合；进而将对应的切片图像集合和小尺寸图像集合送入对应的轴面图案分割网络形成胰腺对应轴面的分隔图案集合；进而利用三维建模参数形成胰腺的确定模态三维图像。
如图1所示，在上述实施例基础上，本实施例包括：
步骤300：利用空间变换网络形成确定模态医学影像与对应的其他模态医学影像间的变换场数据，通过变换场数据将确定模态三维图像转换为其他模态参考三维图像。
本领域技术人员可以理解，空间变换网络(即Spatial Transform Networks，STN)，不需要关键点的标定，能够自适应地将数据进行空间扭曲、变换和对齐(包括平移、缩放、旋转以及其它几何变换等)。利用各模态的对应训练影像作为初始空间变换网络的训练样本，可以获得确定模态医学影像与对应的其他模态医学影像间配准的变换场数据(Flow)，变换场数据可以表现为空间仿射变换矩阵或透射变换矩阵。配准可以表现在相同人工标注的特征标签在各模态医学影像间的量化扭曲，也可以是形状或纹理的量化扭曲。
利用变换场数据可以形成以确定模态医学影像为基准向其他模态医学影像作准确变形，包括例如形成静脉期影像→平扫期影像、静脉期影像→动脉期影像、静脉期影像→延迟期影像变形的对应变换场数据。进而利用变换场数据形成其他模态参考三维图像。
本发明实施例的基于深度学习的多模态融合胰腺分割方法利用空间变换网络获得各模态期像间描述形变差异的变换场数据作为量化参数，使得源自相同坐标空间的各模态三维图像的形变差异可以准确量化，进而通过量化参数实现各模态三维图像的转换。
如图1所示，在上述实施例基础上，本实施例包括：
步骤400：通过确定模态图像分割网络分割其他模态轴面图像形成其他模态分割图像，根据其他模态分割图像形成其他模态相似三维图像。
本领域技术人员可以理解，其他模态的轴面图像与确定模态的轴面图像在断层扫描中处于统一扫描坐标空间，确定模态图像分割网络可以用于分割其他模态轴面图像。确定模态图像分割网络分割其他模态轴面图像时，由于对其他模态轴面图像的特定细微图像特征缺乏训练存在分割效果下降的缺陷，但不影响对其他模态轴面图像中整体分割图像的形成，基于各模态通用图像特征相关性保证整体分割图像效果不下降。
在本发明一实施例中，根据胰腺三维影像数据各模态各轴面定义，确定模态图像分割网络为静脉期模态，其他模态包括动脉期模态、平扫期模态和延迟期模态。各轴面包括水平面、冠状面和矢状面。
本发明实施例的基于深度学习的多模态融合胰腺分割方法，利用确定模态图像分割网络分割其他模态轴面图像，进而利用CT影像像素的坐标空间定义和多方向投影关联数据形成的建模参数拟合胰腺其他模态下的三维图像，在可容忍的分割误差前提下，及大地改进其他模态图像分割效率的同时，降低了人力、时间和算力的成本。
在本发明一实施例中，本领域技术人员可以理解，融合其他模态相似三维图像和对应的其他模态参考三维图像基于源数据的强相关性，利用对应像素或相近像素的准确特征加权进行三维图像中对应像素或相近像素的融合，可以形成三维图像细节的增强和修正，利用其他模态相似三维图像的小粒度准确性和其他模态参考三维图像的大粒度准确性可以形成对其他模态三维图像最优调节处理。
本发明实施例的基于深度学习的多模态融合胰腺分割方法利用两种基于同源数据不同途经形成的中间三维图像间的差异获得相同或相近像素位置的差分修正权重数据，实现中间三维图像的相互修正，进而形成满足误差容忍度的其他模态三维图像，可以实现三维观察软件对胰腺直观诊断。
其他模态相似三维图像和对应的其他模态参考三维图像形成其他模态三维图像的具体过程如图3所示。在图3中，通过静脉模态期像的切片图像和其他模态期像的切片图像训练初始STN(空间变换网络)网络获得两种模态期像间确定的变换场数据(Flow)；进而利用变换场数据将确定模态三维图像转换为另一种模态参考三维图像；同时，利用确定模态图像分割网络分割另一种模态的轴面图像形成其他模态相似三维图像；进而融合其他模态相似三维图像和对应的其他模态参考三维图像形成其他模态三维图像。
本发明实施例的基于深度学习的多模态融合胰腺分割系统，包括：
存储器，用于存储上述基于深度学习的多模态融合胰腺分割方法处理过程对应的程序代码；
处理器，用于执行上述基于深度学习的多模态融合胰腺分割方法处理过程对应的程序代码。
处理器可以采用DSP(Digital Signal Processor)数字信号处理器、FPGA(Field-Programmable Gate Array)现场可编程门阵列、MCU(Microcontroller Unit)系统板、SoC(system on a chip)系统板或包括I/O的PLC(Programmable Logic Controller)最小系统。
本发明一实施例的基于深度学习的多模态融合胰腺分割系统如图4所示。在图4中，本实施例包括：
多模态融合胰腺分割装置，用于利用确定模态图像分割网络形成胰腺影像的确定模态三维图像；
利用空间变换网络形成胰腺影像的变换场数据，通过所述变换场数据将确定模态三维图像转换为其他模态参考三维图像；
利用确定模态图像分割网络形成胰腺影像的其他模态相似三维图像；
通过融合参考三维图像和相似三维图像形成其他模态三维图像。
如图4所示，在本发明一实施例中，多模态融合胰腺分割装置包括：
分割网络形成模块10，用于采用胰腺的确定模态医学图像形成关联的图块训练样本集和全局训练样本集训练初始图像分割网络形成确定模态图像分割网络。
如图4所示，在本发明一实施例中，多模态融合胰腺分割装置包括：
精确模态分割模块20，用于通过确定模态图像分割网络分割确定模态轴面图像形成确定模态分割图像，根据确定模态分割图像形成确定模态三维图像。
如图4所示，在本发明一实施例中，多模态融合胰腺分割装置包括：
图像转换模块30，用于利用空间变换网络形成确定模态医学影像与对应的其他模态医学影像间的变换场数据，通过变换场数据将确定模态三维图像转换为其他模态参考三维图像。
如图4所示，在本发明一实施例中，多模态融合胰腺分割装置包括：
胰腺相似分割模块40，用于通过确定模态图像分割网络分割其他模态轴面图像形成其他模态分割图像，根据其他模态分割图像形成其他模态相似三维图像。
如图4所示，在本发明一实施例中，分割网络形成模块10包括：
格式转换单元11，用于根据腹部CT影像形成三维影像数据；
参数调整单元12，用于通过对三维影像数据调整影像参数形成胰腺三维影像数据；
图像切片单元13，用于利用胰腺三维影像数据进行切分形成各模态各轴面切片图像集合。
如图4所示，在本发明一实施例中，分割网络形成模块10包括：
局部图块形成单元14，用于在确定模态单一轴面切片图像集合中选取基础图像，将基础图像平均划分为若干连续的胰腺图块，根据胰腺图块的划分位置在确定模态单一轴面切片图像集合中确定局部对应图块组，根据局部对应图块组形成图块训练样本集；
全局图块形成单元15，用于在确定模态单一轴面切片图像集合中将切片图像调整至胰腺图块尺度形成全局对应图块组，根据全局对应图块组形成全局训练样本集。
如图4所示，在本发明一实施例中，分割网络形成模块10包括：
网络训练单元16，用于利用确定模态的确定轴面的图块训练样本集和全局训练样本集训练初始图像分割网络形成确定轴面的确定模态图像分割网络。
如图4所示，在本发明一实施例中，分割网络形成模块10包括：
第一优化单元17，用于通过focal loss函数改善确定模态图像分割网络在局部细节特征的分类失衡；
第二优化单元18，用于通过dice loss函数改善确定模态图像分割网络在两种尺度图案的相似度区分；
建模优化单元19，用于根据确定轴面间的关联坐标空间形成图像像素的多方向投影关联数据，根据多方向投影关联数据确定利用轴面分割图像的建模参数。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。
Claims (10)
1.一种基于深度学习的多模态融合胰腺分割方法，其特征在于，包括：
利用确定模态图像分割网络形成胰腺影像的确定模态三维图像；
利用空间变换网络形成所述胰腺影像的变换场数据，通过所述变换场数据将所述确定模态三维图像转换为其他模态参考三维图像；
利用所述确定模态图像分割网络形成所述胰腺影像的其他模态相似三维图像；
通过融合所述参考三维图像和所述相似三维图像形成其他模态三维图像。
2.如权利要求1所述的基于深度学习的多模态融合胰腺分割方法，其特征在于，所述利用确定模态图像分割网络形成胰腺影像的确定模态三维图像包括：
采用所述胰腺影像的确定模态医学图像形成关联的图块训练样本集和全局训练样本集训练初始图像分割网络形成所述确定模态图像分割网络。
3.如权利要求2所述的基于深度学习的多模态融合胰腺分割方法，其特征在于，所述图块训练样本集和全局训练样本集的形成包括：
在确定模态单一轴面切片图像集合中选取基础图像，将所述基础图像平均划分为若干连续的胰腺图块，根据所述胰腺图块的划分位置在所述确定模态单一轴面切片图像集合中确定局部对应图块组，根据所述局部对应图块组形成图块训练样本集；
在所述确定模态单一轴面切片图像集合中将切片图像调整至所述胰腺图块尺度形成全局对应图块组，根据所述全局对应图块组形成全局训练样本集。
4.如权利要求3所述的基于深度学习的多模态融合胰腺分割方法，其特征在于，所述切片图像集合形成包括：
根据腹部CT影像形成三维影像数据；
通过对所述三维影像数据调整影像参数形成胰腺三维影像数据；
利用所述胰腺三维影像数据进行切分形成各模态各轴面切片图像集合。
5.如权利要求3所述的基于深度学习的多模态融合胰腺分割方法，其特征在于，所述确定模态图像分割网络的形成包括：
利用确定模态的确定轴面的所述图块训练样本集和所述全局训练样本集训练初始图像分割网络形成所述确定轴面的所述确定模态图像分割网络。
6.如权利要求1所述的基于深度学习的多模态融合胰腺分割方法，其特征在于，所述利用确定模态图像分割网络形成胰腺影像的确定模态三维图像包括：
通过所述确定模态图像分割网络分割确定模态轴面图像形成所述确定模态分割图像，根据所述确定模态分割图像形成所述确定模态三维图像。
7.如权利要求1所述的基于深度学习的多模态融合胰腺分割方法，其特征在于，所述利用空间变换网络形成所述胰腺影像的变换场数据，通过所述变换场数据将所述确定模态三维图像转换为其他模态参考三维图像包括：利用所述空间变换网络形成确定模态医学影像与对应的其他模态医学影像间的所述变换场数据，通过所述变换场数据将确定模态三维图像转换为所述其他模态参考三维图像。
8.如权利要求1所述的基于深度学习的多模态融合胰腺分割方法，其特征在于，所述利用所述确定模态图像分割网络形成所述胰腺影像的其他模态相似三维图像包括：
通过所述确定模态图像分割网络分割其他模态轴面图像形成其他模态分割图像，根据所述其他模态分割图像形成所述其他模态相似三维图像。
9.一种基于深度学习的多模态融合胰腺分割系统，其特征在于，包括：
存储器，用于存储如权利要求1至8任一所述的基于深度学习的多模态融合胰腺分割方法处理过程对应的程序代码；
处理器，用于执行所述程序代码。
10.一种基于深度学习的多模态融合胰腺分割系统，其特征在于，包括：
多模态融合胰腺分割装置，用于利用确定模态图像分割网络形成胰腺影像的确定模态三维图像；
利用空间变换网络形成所述胰腺影像的变换场数据，通过所述变换场数据将所述确定模态三维图像转换为其他模态参考三维图像；
利用所述确定模态图像分割网络形成所述胰腺影像的其他模态相似三维图像；
通过融合所述参考三维图像和所述相似三维图像形成其他模态三维图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010355337.XA CN111667486B (zh) | 2020-04-29 | 2020-04-29 | 一种基于深度学习的多模态融合胰腺分割方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010355337.XA CN111667486B (zh) | 2020-04-29 | 2020-04-29 | 一种基于深度学习的多模态融合胰腺分割方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111667486A true CN111667486A (zh) | 2020-09-15 |
| CN111667486B CN111667486B (zh) | 2023-11-17 |
Family
ID=72383027
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010355337.XA Active CN111667486B (zh) | 2020-04-29 | 2020-04-29 | 一种基于深度学习的多模态融合胰腺分割方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111667486B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112862830A (zh) * | 2021-01-28 | 2021-05-28 | 陕西师范大学 | 一种多模态图像分割方法、系统、终端及可读存储介质 |
| CN113299385A (zh) * | 2021-04-30 | 2021-08-24 | 北京深睿博联科技有限责任公司 | 一种基于深度学习的胰腺囊性病变临床决策方法和系统 |
Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160217567A1 (en) * | 2013-07-26 | 2016-07-28 | Brainlab Ag | Multi-modal segmentatin of image data |
| CN106137249A (zh) * | 2015-05-15 | 2016-11-23 | 美国西门子医疗解决公司 | 在窄视场情况下进行配准用于多模态医学成像融合 |
| US20160343127A1 (en) * | 2014-01-17 | 2016-11-24 | The Johns Hopkins University | Automated anatomical labeling by multi-contrast diffeomorphic probability fusion |
| CN106504245A (zh) * | 2016-10-28 | 2017-03-15 | 东北大学 | 一种多模态脑影像损伤性病变组织图像分割方法 |
| CN106910179A (zh) * | 2017-01-22 | 2017-06-30 | 南京觅踪电子科技有限公司 | 基于小波变换的多模态医学图像融合方法 |
| CN106909778A (zh) * | 2017-02-09 | 2017-06-30 | 北京市计算中心 | 一种基于深度学习的多模态医学影像识别方法及装置 |
| CN108537773A (zh) * | 2018-02-11 | 2018-09-14 | 中国科学院苏州生物医学工程技术研究所 | 针对胰腺癌与胰腺炎性疾病进行智能辅助鉴别的方法 |
| CN108960299A (zh) * | 2018-06-15 | 2018-12-07 | 东华大学 | 一种多类运动想象脑电信号的识别方法 |
| CN109378068A (zh) * | 2018-08-21 | 2019-02-22 | 深圳大学 | 一种鼻咽癌疗效的自动评测方法及系统 |
| CN109427058A (zh) * | 2017-08-17 | 2019-03-05 | 西门子保健有限责任公司 | 医学图像中的自动变化检测 |
| US20190114773A1 (en) * | 2017-10-13 | 2019-04-18 | Beijing Curacloud Technology Co., Ltd. | Systems and methods for cross-modality image segmentation |
| US20190139236A1 (en) * | 2016-12-28 | 2019-05-09 | Shanghai United Imaging Healthcare Co., Ltd. | Method and system for processing multi-modality image |
| CN109949318A (zh) * | 2019-03-07 | 2019-06-28 | 西安电子科技大学 | 基于多模态影像的全卷积神经网络癫痫病灶分割方法 |
| US20200000362A1 (en) * | 2018-06-29 | 2020-01-02 | Mayo Foundation For Medical Education And Research | Systems, methods, and media for automatically diagnosing intraductal papillary mucinous neosplasms using multi-modal magnetic resonance imaging data |
| CN110660063A (zh) * | 2019-09-19 | 2020-01-07 | 山东省肿瘤防治研究院（山东省肿瘤医院） | 多图像融合的肿瘤三维位置精准定位系统 |
| CN110796105A (zh) * | 2019-11-04 | 2020-02-14 | 中国矿业大学 | 一种基于多模态数据融合的遥感图像语义分割方法 |
| CN110992382A (zh) * | 2019-12-30 | 2020-04-10 | 四川大学 | 用于辅助青光眼筛查的眼底图像视杯视盘分割方法及系统 |
-
2020
- 2020-04-29 CN CN202010355337.XA patent/CN111667486B/zh active Active
Patent Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160217567A1 (en) * | 2013-07-26 | 2016-07-28 | Brainlab Ag | Multi-modal segmentatin of image data |
| US20160343127A1 (en) * | 2014-01-17 | 2016-11-24 | The Johns Hopkins University | Automated anatomical labeling by multi-contrast diffeomorphic probability fusion |
| CN106137249A (zh) * | 2015-05-15 | 2016-11-23 | 美国西门子医疗解决公司 | 在窄视场情况下进行配准用于多模态医学成像融合 |
| CN106504245A (zh) * | 2016-10-28 | 2017-03-15 | 东北大学 | 一种多模态脑影像损伤性病变组织图像分割方法 |
| US20190139236A1 (en) * | 2016-12-28 | 2019-05-09 | Shanghai United Imaging Healthcare Co., Ltd. | Method and system for processing multi-modality image |
| CN106910179A (zh) * | 2017-01-22 | 2017-06-30 | 南京觅踪电子科技有限公司 | 基于小波变换的多模态医学图像融合方法 |
| CN106909778A (zh) * | 2017-02-09 | 2017-06-30 | 北京市计算中心 | 一种基于深度学习的多模态医学影像识别方法及装置 |
| CN109427058A (zh) * | 2017-08-17 | 2019-03-05 | 西门子保健有限责任公司 | 医学图像中的自动变化检测 |
| US20190114773A1 (en) * | 2017-10-13 | 2019-04-18 | Beijing Curacloud Technology Co., Ltd. | Systems and methods for cross-modality image segmentation |
| CN108537773A (zh) * | 2018-02-11 | 2018-09-14 | 中国科学院苏州生物医学工程技术研究所 | 针对胰腺癌与胰腺炎性疾病进行智能辅助鉴别的方法 |
| CN108960299A (zh) * | 2018-06-15 | 2018-12-07 | 东华大学 | 一种多类运动想象脑电信号的识别方法 |
| US20200000362A1 (en) * | 2018-06-29 | 2020-01-02 | Mayo Foundation For Medical Education And Research | Systems, methods, and media for automatically diagnosing intraductal papillary mucinous neosplasms using multi-modal magnetic resonance imaging data |
| CN109378068A (zh) * | 2018-08-21 | 2019-02-22 | 深圳大学 | 一种鼻咽癌疗效的自动评测方法及系统 |
| CN109949318A (zh) * | 2019-03-07 | 2019-06-28 | 西安电子科技大学 | 基于多模态影像的全卷积神经网络癫痫病灶分割方法 |
| CN110660063A (zh) * | 2019-09-19 | 2020-01-07 | 山东省肿瘤防治研究院（山东省肿瘤医院） | 多图像融合的肿瘤三维位置精准定位系统 |
| CN110796105A (zh) * | 2019-11-04 | 2020-02-14 | 中国矿业大学 | 一种基于多模态数据融合的遥感图像语义分割方法 |
| CN110992382A (zh) * | 2019-12-30 | 2020-04-10 | 四川大学 | 用于辅助青光眼筛查的眼底图像视杯视盘分割方法及系统 |
Non-Patent Citations (3)
| Title |
|---|
| CHEN H, ET AL: "Multi-modal fusion network with multi-scale multi-path and cross-modal interactions for RGB-D salient object detection", pages 376 - 385 * |
| ZHOU T, ET AL: "A review: Deep learning for medical image segmentation using multi-modality fusion", pages 1 - 11 * |
| 李杰飞等: "多模态影像融合技术在脑肿瘤手术中的应用", pages 645 - 650 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112862830A (zh) * | 2021-01-28 | 2021-05-28 | 陕西师范大学 | 一种多模态图像分割方法、系统、终端及可读存储介质 |
| CN112862830B (zh) * | 2021-01-28 | 2023-12-22 | 陕西师范大学 | 一种多模态图像分割方法、系统、终端及可读存储介质 |
| CN113299385A (zh) * | 2021-04-30 | 2021-08-24 | 北京深睿博联科技有限责任公司 | 一种基于深度学习的胰腺囊性病变临床决策方法和系统 |
| CN113299385B (zh) * | 2021-04-30 | 2024-03-08 | 北京深睿博联科技有限责任公司 | 一种基于深度学习的胰腺囊性病变临床决策方法和系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111667486B (zh) | 2023-11-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111091589B (zh) | 基于多尺度监督学习的超声和核磁图像配准方法及装置 | |
| CN109063710B (zh) | 基于多尺度特征金字塔的3d cnn鼻咽癌分割方法 | |
| CN110599528A (zh) | 一种基于神经网络的无监督三维医学图像配准方法及系统 | |
| WO2023071531A1 (zh) | 一种基于深度形状学习的肝脏ct自动分割方法 | |
| CN110363802B (zh) | 基于自动分割和骨盆对齐的前列腺图像配准系统及方法 | |
| CN112258530A (zh) | 基于神经网络的计算机辅助肺结节自动分割方法 | |
| CN111524170B (zh) | 一种基于无监督深度学习的肺部ct图像配准方法 | |
| CN104021547A (zh) | 肺部 ct 的三维配准方法 | |
| Bongratz et al. | Vox2cortex: Fast explicit reconstruction of cortical surfaces from 3d mri scans with geometric deep neural networks | |
| CN112215844A (zh) | 基于ACU-Net的MRI多模态图像分割方法和系统 | |
| CN114494296A (zh) | 一种基于Unet和Transformer相融合的脑部胶质瘤分割方法与系统 | |
| CN112991365B (zh) | 一种冠状动脉分割方法、系统及存储介质 | |
| CN111667486A (zh) | 一种基于深度学习的多模态融合胰腺分割方法和系统 | |
| CN115830016B (zh) | 医学图像配准模型训练方法及设备 | |
| CN116645380A (zh) | 基于两阶段渐进式信息融合的食管癌ct图像肿瘤区自动分割方法 | |
| Chu et al. | Endoscopic image feature matching via motion consensus and global bilateral regression | |
| CN110992310A (zh) | 一种确定纵隔淋巴结所在分区的方法及装置 | |
| CN114494289A (zh) | 一种基于局部线性嵌入的插值神经网络的胰腺肿瘤图像分割处理方法 | |
| CN117671138A (zh) | 一种基于SAM大模型与NeRF的数字孪生建模方法及系统 | |
| CN112562070A (zh) | 基于模板匹配的颅缝早闭手术切割坐标生成系统 | |
| CN109741439B (zh) | 一种二维mri胎儿图像的三维重建方法 | |
| CN111275722A (zh) | 肺段、肝段分割方法及系统 | |
| CN116228690A (zh) | 基于pet-ct的胰腺癌与自身性免疫性胰腺炎自动辅助诊断方法 | |
| CN115690327A (zh) | 一种空频解耦的弱监督三维人脸重建方法 | |
| Dzyubachyk et al. | Comparative exploration of whole-body MR through locally rigid transforms |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |