CN112258508A - 四维流动数据的图像处理分析分割方法、系统及存储介质 - Google Patents
四维流动数据的图像处理分析分割方法、系统及存储介质 Download PDFInfo
- Publication number
- CN112258508A CN112258508A CN202011504186.6A CN202011504186A CN112258508A CN 112258508 A CN112258508 A CN 112258508A CN 202011504186 A CN202011504186 A CN 202011504186A CN 112258508 A CN112258508 A CN 112258508A
- Authority
- CN
- China
- Prior art keywords
- dimensional
- image
- matrix
- result
- segmentation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 72
- 238000000034 method Methods 0.000 title claims abstract description 59
- 230000011218 segmentation Effects 0.000 title claims abstract description 36
- 238000004458 analytical method Methods 0.000 title claims description 19
- 239000011159 matrix material Substances 0.000 claims abstract description 115
- 238000001914 filtration Methods 0.000 claims abstract description 38
- 238000007781 pre-processing Methods 0.000 claims abstract description 35
- 238000003709 image segmentation Methods 0.000 claims abstract description 22
- 238000013528 artificial neural network Methods 0.000 claims abstract description 11
- 230000006798 recombination Effects 0.000 claims abstract description 3
- 238000005215 recombination Methods 0.000 claims abstract description 3
- 238000010606 normalization Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 4
- 238000013527 convolutional neural network Methods 0.000 claims description 4
- 238000005457 optimization Methods 0.000 claims description 4
- 238000011156 evaluation Methods 0.000 claims description 3
- 239000012530 fluid Substances 0.000 abstract description 4
- 230000000694 effects Effects 0.000 description 32
- 238000010586 diagram Methods 0.000 description 18
- 239000000126 substance Substances 0.000 description 10
- 238000002595 magnetic resonance imaging Methods 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000002591 computed tomography Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 210000000038 chest Anatomy 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000005481 NMR spectroscopy Methods 0.000 description 2
- 210000000709 aorta Anatomy 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 241001300078 Vitrea Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 210000000481 breast Anatomy 0.000 description 1
- 230000000747 cardiac effect Effects 0.000 description 1
- 238000013184 cardiac magnetic resonance imaging Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003703 image analysis method Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000007917 intracranial administration Methods 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 230000002792 vascular Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Quality & Reliability (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Image Processing (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Image Analysis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明公开了一种四维流动数据的图像处理分析分割方法、系统及存储介质。先读取四维流动数据，采集并进行数据重组处理；再四维流动数据数据预处理，是滤波、反转、求值、线性运算、最大密度投影、最后运算处理，具体包括对速度分量三维图像进行滤波处理、对三维矩阵进行反转、对速度场图像求值处理、将反转矩阵进行与速度场图像的幅值结果进行线性运算、将滤波速度合并矩阵进行最大密度投影、对投影结果矩阵与速度场图像的幅值结果运算处理；最后图像分割，数据预处理结果输入到神经网络预测分割。本发明方法能够极大地凸显出流体流动区域的特征，能更快速准确进行神经网络实现分割，避免了人工操作及其引入误差，极大节省了时间。
Description
技术领域
本发明属工程技术领域的一种图像处理方法、系统及存储介质，涉及针对诸如电子计算机断层扫描影像（CT）、核磁共振影像（MRI）等的数字图像后处理分析，主要涉及针对流动的区域的数据分析，以及其中的目标区域的图像分割等。
背景技术
在四维流动数据中，其中比较典型的就是四维流动核磁共振成像技术（4DflowMRI），目前针对本技术的分析发展比较缓慢，多用于医疗分析领域，如心脏MRI、主动脉诊断、颅内血管诊断等。近年其在主动脉病变中的研究尤其突出。在其应用方面，目前市面上发展较早的同类软件有西门子公司的Vitrea工作站、加拿大Circle CardiovascularImaging公司的CVI42软件、美国Heart Flow公司等。
在传统的软件中，由于软件发展较早，具有功能数量大、界面内容多、逻辑复杂等特点，以CVI42和Heart Flow为例，在四维流动数据的图像分割方面，主要依赖与传统的半自动/手动方法，结合形态学经典算法来提取目标区域，例如手动引导的生长算法（Growing）、套索工具、二维水平集算法等。
由于发展较早，软件定位不明确，功能繁杂，在对图像分割上存在很多不足，因为四维流动数据具有分辨率低、噪音较大、受设备及环境影响较大等特点，旧的技术很难满足例如4Dflow MRI这样有难度的图像处理需求。在上述提到的软件中，针对四维流动数据的图像处理都具有这个问题。在结构上，由于软件的定位不明确，其在图像处理中，使用的是大量的经典形态学分析，以及结合大量的手动操作，包括但不限于套索、水平集、区域生长等手动或半自动算法，所以针对复杂的三维模型的提取效果并不好。
总的来说，以上现有方法处理具有流程繁琐、依赖大量人工操作以及算法效果不足的特点，在实际应用中，以上几点是目前广泛存在的问题，也是比较大的挑战。
发明内容
为了解决背景技术中存在的问题，本发明提供了一种四维流动数据的图像处理分析分割方法、系统及存储介质。
本发明所采用的技术方案是：
一、一种四维流动数据的图像处理分析分割方法，如图3所示：
具体分为依次进行的读取四维流动数据、四维流动数据的数据预处理以及图像分割的三个步骤；
读取四维流动数据，利用仪器设备采集并进行重组处理；
四维流动数据例如为四维流动核磁数据和四维CT数据。与四维CT数据不同的是，四维流动核磁数据在一个人体心动周期内拍摄了若干个瞬间/时刻，也即在单个时刻下，若干个核磁切片组成了一个三维数据(三维矩阵)，代表当前时刻下该人体部位的三维影像，所以具有时序的若干个时刻下的三维数据组成了四维流动核磁数据，四维流动核磁数据是一种四维流动数据。
四维流动数据的数据预处理，是依次进行滤波、反转、求值、线性运算、最大密度投影、最后运算处理后获得了用于后续进行图像分割的结果；
图像分割，将数据预处理的结果输入到神经网络中进行预测分割。
数据预处理的部分由多步骤处理共同组成，图像分割以数据预处理的结果为基础，利用机器学习优化方法完成图像的分割。
本发明的流动数据是指若干三维数据以时间顺序连接后形成的流动数据。若干按照时间排序的三维数据构成了四维流动数据。在流体领域内，非定常的若干个三维的瞬时的数据也即流动数据。
所述的四维流动数据包含带有时间序列的三维图像，三维图像包含速度场图像和幅值图像。所述的幅值图像和速度场图像是由二维切片图像按照空间关系重组而成。本发明处理仅涉及速度场图像，并不涉及幅值图像。
所述的速度场图像按照采集仪器下的三个不同坐标方向分为三个速度分量三维图像，三种速度分量三维图像结合幅值图像共计四类图像。
所述的四维流动数据的数据预处理，如图2所示，具体依次包括：
对速度场图像中的速度分量三维图像进行滤波处理获得三维矩阵；
对三维矩阵进行反转处理，获得反转矩阵；
对速度场图像求值处理获得速度场图像的幅值结果；
将反转矩阵与速度场图像的幅值结果进行线性运算，获得滤波速度合并矩阵；
将滤波速度合并矩阵进行最大密度投影获得投影结果矩阵；
对投影结果矩阵与速度场图像的幅值结果进行最后运算处理得出预处理优化后的三维矩阵，作为数据预处理的结果。
对速度场图像中的速度分量三维图像的每个点计算方差进行滤波处理，由各个点的滤波处理结果组成获得三维矩阵。
对三维矩阵进行反转，是将三维矩阵中的各个元素的值减去其三维矩阵所有元素中的最大值然后求取每个元素的绝对值。
对速度场图像求值处理获得速度场图像的幅值结果，具体是求取速度场图像中各个速度分量三维图像的幅值的绝对值之和。
将反转矩阵进行与速度场图像的幅值结果进行线性运算，具体是将反转矩阵进行归一化处理后，再和速度场图像的幅值结果相乘。
对投影结果矩阵与速度场图像的幅值结果进行运算处理，具体是将投影结果矩阵与速度场图像的幅值结果做乘法，然后对做乘法后获得的矩阵中的各个元素进行归一化操作，最后每个元素再乘以投影结果矩阵所有元素中的最大值。
所述的图像分割具体是将预处理优化后的三维矩阵输入到卷积神经网络中进行预测处理，输出获得目标区域的分割结果。
二、一种四维流动数据的图像处理分析分割系统，包括：
四维流动数据采集仪器设备，采集四维流动数据并输入到四维流动数据读取模块；
四维流动数据读取模块，接收四维流动数据进行重组处理成带有时间序列的三维图像，三维图像包含幅值图像和速度场图像；
数据预处理模块，对重组处理后的四维流动数据依次进行滤波、反转、求值、线性运算、最大密度投影、最后运算处理后获得了用于后续进行图像分割的结果并输入到图像分割模块；
图像分割模块，将数据预处理的结果输入到神经网络中进行预测分割，输出分割结果。
数据预处理的部分由多步骤处理共同组成，图像分割以数据预处理的结果为基础，利用机器学习优化方法完成图像的分割。
所述的数据预处理模块，对重组处理后的四维流动数据具体分为进行以下处理：
对速度场图像中的速度分量三维图像进行滤波处理获得三维矩阵；
对三维矩阵进行反转处理，获得反转矩阵；
对速度场图像求值处理获得速度场图像的幅值结果；
将反转矩阵与速度场图像的幅值结果进行线性运算，获得滤波速度合并矩阵；
将滤波速度合并矩阵进行最大密度投影获得投影结果矩阵；
对投影结果矩阵与速度场图像的幅值结果进行最后运算处理得出预处理优化后的三维矩阵，作为数据预处理的结果。
三、一种存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现上述方法。具体包括处理器和存储器，存储器用于存储在处理器上运行的程序，处理器通过运行程序以实现上述四维流动数据的图像处理分析分割方法。
四、一种存储介质，所述计算机程序为对应实现上述方法的指令。
图像预处理具体可以为：
2.1）针对每个速度分量三维图像，进行滤波处理获得三维矩阵，滤波处理中按照以下公式遍历整个速度分量三维图像的点从而得到一个三维矩阵VAR 3d ：
其中，(x,y,z)为速度分量三维图像中一点的坐标，S为点(x,y,z)的周围邻域，邻域S的大小范围为3×3×3，即26个点，f(x,y,z)为速度分量三维图像中点(x,y,z)的像素值，f̅ S 为邻域S范围内所有点的平均像素值，VAR (x,y,z) 为三维矩阵VAR 3d 中点(x,y,z)的方差值；
2.2）按照以下公式将2.1）获得的反转矩阵的三维矩阵进行反转，公式如下：
VAR flip =ABS(VAR 3d -MAX(VAR 3d ))
其中，VAR 3d 表示速度分量三维图像的三维矩阵，VAR flip 表示反转矩阵，ABS()表示求绝对值函数，即为求取其中每个元素的绝对值，MAX()表示求最大元素函数；
2.3）针对每个速度场图像，求取其中各个速度分量三维图像的幅值的绝对值之和，公式如下：
Spdall=ABS(Spd u )+ABS(Spd v ) +ABS(Spd w )
其中，Spd u 、Spd v 、Spd w 分别为速度分量u图像、速度分量v图像、速度分量w图像，Spdall为速度场图像的幅值结果；
2.4）针对每个坐标方向下的速度分量三维图像的反转矩阵，将反转矩阵进行与速度场图像的幅值结果进行线性运算，获得各自的滤波速度合并矩阵，公式如下：
Combine=normlize(VAR flip )×Spdall
其中，normlize(VAR flip )表示当前坐标方向的速度分量三维图像对应的反转矩阵进行归一化，Combine表示滤波速度合并矩阵；
2.5）将不同坐标方向的各个滤波速度合并矩阵进行最大密度投影，公式如下：
CombineMIP=MIP(Combine u ,Combine v ,Combine w )
其中，Combine u 、Combine v 、Combine w 分别为速度分量u图像、速度分量v图像、速度分量w图像的滤波速度合并矩阵，MIP表示为求三个滤波速度合并矩阵对应像素位置的最大值保留操作，CombineMIP表示投影结果矩阵；
2.6）将投影结果矩阵CombineMIP与速度场图像的幅值结果做以下一系列的最后运算处理得出预处理优化后的三维矩阵，公式如下所示：
MIPnSpd=normlize(CombineMIP×Spdall)×MAX(CombineMIP)
其中，MIPnSpd表示预处理优化后的三维矩阵。
本发明的创新主要在于图像预处理的方法改进，能使得图像处理部分更高效，效果更好，并且避免人工操作引入的误差。
本发明结合了更高效的图像分割方法，使得模型提取取得更好的效果。通过预处理的改进和高效的分割方法的引入，实现流程上的完全自动化。
本发明相对现有技术而言所具有的有益效果是：
技术的先进性；本发明针对四维流动数据中的目标区域提取和分割，提出了改进的预处理方法，并以及结合神经网络方法的应用实现了高效准确的处理。本发明的方法相对现有的技术，采用了新的预处理方法，能够极大的凸显出流体流动区域的特征，然后基于快速准确的神经网络方法实现分割，在流程上避免了人工操作引入的误差，极大节省了时间。
自动化程度；本发明方法图像的前处理以及图像分割部分均基于自动化处理，无需任何人工操作，避免了大量基于手动操作的半自动方法引入的各种误差，而现有的技术需要大量的人工操作。
计算速度；本发明方法基于自动处理的流程，计算速度可以控制在十数秒内，而传统方法基于大量的人工操作，以及二维方法等，处理时间往往以小时计，所以本发明的方法可以节省专业人员大量的宝贵时间。
附图说明
图1是本发明实施例所采用的神经网络基本结构图；
图2是本发明方法的四维流动数据的数据预处理流程图；
图3是本发明方法的图像分割流程图；
图4是本发明实施例的4Dflow MRI原始数据图像；
图4A为人体胸部核磁图像的幅值图（magnitude）的某一切片；
图4B为图4A切片在速度场图像的速度分量u对应位置的四维速度场图像；
图4C为图4A切片在速度场图像的速度分量v对应位置的四维速度场图像；
图4D为图4A切片在速度场图像的速度分量w对应位置的四维速度场图像；
图5是本发明实施例的左图为原始图像，右图为滤波后图像；
图5A是速度分量u方向速度场图像的滤波效果图；
图5B是速度分量v方向速度场图像的滤波效果图；
图5C是速度分量w方向速度场图像的滤波效果图；
图6是本发明实施例的滤波结果反转效果图，从左至右分别为速度场图像的三个分量；
图6A是速度场图像的速度分量u方向的滤波结果反转效果图；
图6B是速度场图像的速度分量v方向的滤波结果反转效果图；
图6C是速度场图像的速度分量w方向的滤波结果反转效果图；
图7是本发明实施例的速度场图像的幅值结果的效果图；
图8是本发明实施例的滤波速度合并矩阵从左至右分别为三个方向分量的效果图；
图8A是本发明实施例的滤波速度合并矩阵在速度分量u方向的效果图；
图8B是本发明实施例的滤波速度合并矩阵在速度分量v方向的效果图；
图8C是本发明实施例的滤波速度合并矩阵在速度分量w方向的效果图；
图9是本发明实施例的最大密度投影结果（投影结果矩阵）的效果图；
图10是本发明实施例的预处理优化后的三维矩阵的效果图；
图11是本发明实施例的预测模型的分割效果图；
图12是本发明实施例的三维点云及三维网格效果图；
图12A是本发明实施例的三维点云效果图；
图12B是本发明实施例的三维网格效果图。
具体实施方式
下面结合附图及具体实施例对本发明作进一步详细说明。
本发明的实施例及其实施情况如下：
具体实施以下以人体胸部四维核磁共振医疗图像4Dflow MRI为例介绍本发明的技术方案。
1、如图4所示，读取四维流动数据；
采用核磁共振仪采集人体胸部的四维流动数据，将四维流动数据读取到系统内存，通常以MRI数据为例，其基本单元通常为256*256的二维切片图像，格式为Dicom图片格式。
四维流动数据包含了均带有时间序列的由幅值图像和速度场图像构成的三维图像，其中速度场图像按照不同坐标方向分为速度分量u图像、速度分量v图像、速度分量w图像的三种速度分量三维图像，三种速度分量三维图像结合幅值图像共计四类图像；
本发明在处理之前，首先将二维切片图像重组为三维图像，若再将三维图像处理为三维矩阵数据形式，每一个三维矩阵即代表现实世界中一个三维区域的瞬时摄影。在重组后，得到T*4*N*256*256，其中T表示时刻数，N表示MRI数据的单一时刻下的二维切片图像数量，4代表共有幅值、速度分量u、速度分量v、速度分量w四类图像。
具体实施中图4中的图4A为人体胸部核磁图像的幅值图（magnitude）的某一切片，图4B、图4C、图4D为三个方向对应位置的四维速度场图像。经过读取所有的原始图像后，将其编码为按照时间顺序排列的三维图像，也即将图像从单个切片的二维形式合并成集合的三维形式。其中，该数据中的流道部分主要为主动脉区域。
2、图像预处理
首先进行基于滤波的图像预处理方式，由两个邻域滤波方法共同组合，来对原始Dicom格式进行首次处理，经过滤波后的图像，会一定程度的抑制噪声，以突出流道部分。
2.1）针对每个速度分量三维图像，进行滤波处理获得三维矩阵，滤波处理中按照以下公式遍历整个速度分量三维图像的点从而得到一个三维矩阵VAR 3d ：
其中，(x,y,z)为速度分量三维图像中一点的坐标，S为点(x,y,z)的周围邻域，邻域S的大小范围为3×3×3，即26个点，f(x,y,z)为速度分量三维图像中点(x,y,z)的像素值，f̅ S 为邻域S范围内所有点的平均像素值，VAR (x,y,z) 为三维矩阵VAR 3d 中点(x,y,z)的方差值；
滤波后的三维矩阵对应的图像效果图如图5所示，图5中的图5A、图5B、图5C三幅图表示三个方向速度场图像的滤波效果图，可以看倒其中中间区域的主动脉流道所在位置特征被放大，与周围的肺部区域和噪声区域形成强烈对比效果。
三维矩阵中的每个元素代表该速度分量三维图像对应位置点的方差，这样经过滤波后，使得原始图像的流道部分特征更清晰。
2.2）基于滤波后的图像，还不能直接的分割流道区域，再进行一系列后处理，最大化突出流道区域。
按照以下公式将2.1）获得的滤波结果的三维矩阵进行反转，这样使得图像中血管流道的区域值域提高，处于值域中较大的区域，效果如图6A、图6B、图6C所示，公式如下：
VAR flip =ABS(VAR 3d -MAX(VAR 3d ))
其中，VAR 3d 表示当前坐标方向的速度分量三维图像的三维矩阵，即滤波结果，VAR flip 表示将滤波结果减去其三维区域最大值并求绝对值，即得到反转矩阵，ABS()表示求绝对值函数，MAX()表示求最大元素函数。
如图6所示，图6A、图6B、图6C分别表示三个方向速度场图像的滤波效果反转图，可以看到其中流道区域特征更加明显，便于后续处理。
2.3）针对每个速度场图像，求取其中各个速度分量三维图像的幅值的绝对值之和，效果图如图7所示，公式如下：
Spdall=ABS(Spd u )+ABS(Spd v ) +ABS(Spd w )
其中，Spd u 、Spd v 、Spd w 分别为速度分量u图像、速度分量v图像、速度分量w图像，Spdall为速度场图像的幅值结果；
2.4）针对每个坐标方向下的速度分量三维图像的反转矩阵，将反转矩阵进行以下运算，将其与速度场图像的幅值结果进行线性运算，获得各自的滤波速度合并矩阵，效果图如图8所示，公式如下：
Combine=normlize(VAR flip )×Spdall
其中，normlize(VAR flip )表示当前坐标方向的速度分量三维图像对应的反转矩阵进行归一化，然后与速度幅值合并结果做乘，Combine表示滤波速度合并矩阵；
图8中的图8A、图8B、图8C三幅图像分别表示三个方向速度场图像与原始速度场速度的幅值结果进行相乘的效果图，可以看到流道区域特征被进一步加强。
2.5）将不同坐标方向的各个滤波速度合并矩阵进行最大密度投影（MIP，MaximalIntensity Projection），效果图如图9所示，公式如下：
CombineMIP=MIP(Combine u ,Combine v ,Combine w )
其中，Combine u 、Combine v 、Combine w 分别为速度分量u图像、速度分量v图像、速度分量w图像的滤波速度合并矩阵，MIP表示为求三个滤波速度合并矩阵对应像素位置的最大值保留操作，即结果合并为一个三维矩阵CombineMIP，CombineMIP表示投影结果矩阵；
2.6）将投影结果矩阵CombineMIP与速度场图像的幅值结果做以下一系列的最后运算处理得出预处理优化后的三维矩阵，效果图如图10所示，公式如下所示：
MIPnSpd=normlize(CombineMIP×Spdall)×MAX(CombineMIP)
其中，MIPnSpd表示预处理优化后的三维矩阵。
上述公式是将最大密度投影结果（即投影结果矩阵）与速度场图像的幅值结果做乘法，然后将结果进行归一化操作，之后乘以最大密度投影结果的最大值。
至此图像的预处理结束，在本发明的预处理后，原始图像被最大化的凸显了流体流动的部分，抑制了噪音以及其他组织区域，达到了初步的提取目标。
3、图像分割
将预处理优化后的三维矩阵MIPnSpd输入到如图1所示的卷积神经网络中进行预测处理，获得预测分割结果。图1所示的卷积神经网络主要由依次连接的输入层input layer、多个隐藏层hidden layer和输出层output layer构成。
本发明使用了预处理方法对原始三维图像进行优化，相比未优化的处理再输入到卷积神经网络中，获得二值化的三维分割矩阵，能快速准确地分割出图像的流道区域，其中神经网络的基本结构图如图1所示。
本发明经过大量的数据训练，得出预测模型，经过预测模型处理，可以完全分割出流道区域，生成三维格式数据模型。
经过预测模型处理，可以完全分割出流道区域，其效果如图11所示。提取其三维点云以及三维网格的形式，其效果如图12所示，图12中的图12A、图12B分别表示三维点云和三维网格。
本发明经过实施例的数据测试，人工操作的方法耗时平均30分钟，而本发明方法能将处理时间缩短至1分钟以内。
人工操作的方法是指对每一个二维切片图像利用手动方法划分流道区域，而后基于套索、水平集、区域生长等属于半自动算法的二维图像分析方法对划分的流道区域处理，再将各个二维切片图像合并，实现分割的方法。
因此，本发明处理效率高，极大地节省了计算时间，人工操作耗时巨大，效果很差且费时。
Claims (13)
1.一种四维流动数据的图像处理分析分割方法，其特征在于：具体分为依次进行的读取四维流动数据、四维流动数据的数据预处理以及图像分割的三个步骤；
读取四维流动数据，利用仪器设备采集并进行重组处理；
四维流动数据的数据预处理，是进行滤波、反转、求值、线性运算、最大密度投影、最后运算处理后获得了用于后续进行图像分割的结果；
图像分割，将数据预处理的结果输入到神经网络中进行预测分割。
2.根据权利要求1所述的一种四维流动数据的图像处理分析分割方法，其特征在于：所述的四维流动数据包含带有时间序列的三维图像，三维图像包含速度场图像。
3.根据权利要求2所述的一种四维流动数据的图像处理分析分割方法，其特征在于：所述的四维流动数据的数据预处理，具体依次包括：
对速度场图像中的速度分量三维图像进行滤波处理获得三维矩阵；
对三维矩阵进行反转处理，获得反转矩阵；
对速度场图像求值处理获得速度场图像的幅值结果；
将反转矩阵与速度场图像的幅值结果进行线性运算，获得滤波速度合并矩阵；
将滤波速度合并矩阵进行最大密度投影获得投影结果矩阵；
对投影结果矩阵与速度场图像的幅值结果进行最后运算处理得出预处理优化后的三维矩阵，作为数据预处理的结果。
4.根据权利要求3所述的一种四维流动数据的图像处理分析分割方法，其特征在于：对速度场图像中的速度分量三维图像的每个点计算方差进行滤波处理，由各个点的滤波处理结果组成获得三维矩阵。
5.根据权利要求3所述的一种四维流动数据的图像处理分析分割方法，其特征在于：对三维矩阵进行反转，是将三维矩阵中的各个元素的值减去三维矩阵所有元素中的最大值然后求取每个元素的绝对值。
6.根据权利要求3所述的一种四维流动数据的图像处理分析分割方法，其特征在于：对速度场图像求值处理获得速度场图像的幅值结果，具体是求取速度场图像中各个速度分量三维图像的幅值的绝对值之和。
7.根据权利要求3所述的一种四维流动数据的图像处理分析分割方法，其特征在于：将反转矩阵进行与速度场图像的幅值结果进行线性运算，具体是将反转矩阵进行归一化处理后，再和速度场图像的幅值结果相乘。
8.根据权利要求3所述的一种四维流动数据的图像处理分析分割方法，其特征在于：对投影结果矩阵与速度场图像的幅值结果进行运算处理，具体是将投影结果矩阵与速度场图像的幅值结果做乘法，然后对做乘法后获得的矩阵中的各个元素进行归一化操作，最后每个元素再乘以投影结果矩阵所有元素中的最大值。
9.根据权利要求3所述的一种四维流动数据的图像处理分析分割方法，其特征在于：所述的图像分割具体是将预处理优化后的三维矩阵输入到卷积神经网络中进行预测处理，输出获得目标区域的分割结果。
10.采用权利要求1~9任一所述方法的一种四维流动数据的图像处理分析分割系统，其特征在于包括：
四维流动数据采集仪器设备，采集四维流动数据并输入到四维流动数据读取模块；
四维流动数据读取模块，接收四维流动数据进行重组处理成带有时间序列的三维图像，三维图像包含幅值图像和速度场图像；
数据预处理模块，对重组处理后的四维流动数据进行滤波、反转、求值、线性运算、最大密度投影、最后运算处理后获得了用于后续进行图像分割的结果并输入到图像分割模块；
图像分割模块，将数据预处理的结果输入到神经网络中进行预测分割，输出分割结果。
11.根据权利要求10所述的一种四维流动数据的图像处理分析分割系统，其特征在于：所述的数据预处理模块，对重组处理后的四维流动数据具体分为进行以下处理：
对速度场图像中的速度分量三维图像进行滤波处理获得三维矩阵；
对三维矩阵进行反转处理，获得反转矩阵；
对速度场图像求值处理获得速度场图像的幅值结果；
将反转矩阵与速度场图像的幅值结果进行线性运算，获得滤波速度合并矩阵；
将滤波速度合并矩阵进行最大密度投影获得投影结果矩阵；
对投影结果矩阵与速度场图像的幅值结果进行最后运算处理得出预处理优化后的三维矩阵，作为数据预处理的结果。
12.一种存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1~9任一所述的方法。
13.根据权利要求12所述的一种存储介质，其特征在于，所述计算机程序为对应实现权利要求1~9任一所述的四维流动数据的图像处理分析分割方法的指令。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011504186.6A CN112258508B (zh) | 2020-12-18 | 2020-12-18 | 四维流动数据的图像处理分析分割方法、系统及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011504186.6A CN112258508B (zh) | 2020-12-18 | 2020-12-18 | 四维流动数据的图像处理分析分割方法、系统及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112258508A true CN112258508A (zh) | 2021-01-22 |
| CN112258508B CN112258508B (zh) | 2021-03-26 |
Family
ID=74224999
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011504186.6A Active CN112258508B (zh) | 2020-12-18 | 2020-12-18 | 四维流动数据的图像处理分析分割方法、系统及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112258508B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114820664A (zh) * | 2022-06-28 | 2022-07-29 | 浙江大学 | 图像数据处理方法、装置、图像数据处理设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106600621A (zh) * | 2016-12-08 | 2017-04-26 | 温州医科大学 | 基于婴幼儿脑瘤多模态mri图的时空协同分割方法 |
| CN106875375A (zh) * | 2016-12-28 | 2017-06-20 | 浙江工业大学 | 基于管状特征增强滤波和脊线跟踪的三维血管中轴线提取方法 |
| US20170296072A1 (en) * | 2016-04-15 | 2017-10-19 | Siemens Medical Solutions Usa, Inc. | 4D Flow Measurements Of The Hepatic Vasculatures With Two-Dimensional Excitation |
| US10134127B2 (en) * | 2013-12-12 | 2018-11-20 | The Regents Of The University Of California | Method for post-processing flow-sensitive phase contrast magnetic resonance images |
| CN110853038A (zh) * | 2019-10-15 | 2020-02-28 | 哈尔滨工程大学 | 一种用于肝脏肿瘤CT图像分割技术的DN-U-net网络方法 |
-
2020
- 2020-12-18 CN CN202011504186.6A patent/CN112258508B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10134127B2 (en) * | 2013-12-12 | 2018-11-20 | The Regents Of The University Of California | Method for post-processing flow-sensitive phase contrast magnetic resonance images |
| US20170296072A1 (en) * | 2016-04-15 | 2017-10-19 | Siemens Medical Solutions Usa, Inc. | 4D Flow Measurements Of The Hepatic Vasculatures With Two-Dimensional Excitation |
| CN106600621A (zh) * | 2016-12-08 | 2017-04-26 | 温州医科大学 | 基于婴幼儿脑瘤多模态mri图的时空协同分割方法 |
| CN106875375A (zh) * | 2016-12-28 | 2017-06-20 | 浙江工业大学 | 基于管状特征增强滤波和脊线跟踪的三维血管中轴线提取方法 |
| CN110853038A (zh) * | 2019-10-15 | 2020-02-28 | 哈尔滨工程大学 | 一种用于肝脏肿瘤CT图像分割技术的DN-U-net网络方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114820664A (zh) * | 2022-06-28 | 2022-07-29 | 浙江大学 | 图像数据处理方法、装置、图像数据处理设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112258508B (zh) | 2021-03-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Huang et al. | Coronary artery segmentation by deep learning neural networks on computed tomographic coronary angiographic images | |
| CN109272510B (zh) | 一种三维医学图像中管状结构的分割方法 | |
| CN111429474B (zh) | 基于混合卷积的乳腺dce-mri图像病灶分割模型建立及分割方法 | |
| CN108052977A (zh) | 基于轻量级神经网络的乳腺钼靶图像深度学习分类方法 | |
| Zhang et al. | LU-NET: An improved U-Net for ventricular segmentation | |
| CN111260705B (zh) | 一种基于深度卷积神经网络的前列腺mr图像多任务配准方法 | |
| JP2023550844A (ja) | 深層形状学習に基づく肝臓ｃｔ自動分割方法 | |
| WO2003041584A2 (en) | Angiography method and apparatus | |
| CN112258514B (zh) | 一种ct影像肺血管的分割方法 | |
| CN109300136B (zh) | 一种基于卷积神经网络的危及器官自动分割方法 | |
| CN113298710B (zh) | 基于外部注意力机制的光学相干层析超分辨率成像方法 | |
| CN112991346B (zh) | 用于医学图像分析的学习网络的训练方法和训练系统 | |
| CN110619635B (zh) | 基于深度学习的肝细胞癌磁共振图像分割系统和方法 | |
| CN112446862A (zh) | 一种基于人工智能的动态乳腺超声视频全病灶实时检测和分割装置、系统及图像处理方法 | |
| CN110070612B (zh) | 一种基于生成对抗网络的ct图像层间插值方法 | |
| CN111091575B (zh) | 一种基于强化学习方法的医学图像分割方法 | |
| Wang et al. | MMNet: A multi-scale deep learning network for the left ventricular segmentation of cardiac MRI images | |
| CN112258508B (zh) | 四维流动数据的图像处理分析分割方法、系统及存储介质 | |
| CN114565601A (zh) | 基于DeepLabV3+改进的肝脏CT图像分割算法 | |
| Wang et al. | Brain MR image super-resolution using 3D feature attention network | |
| Li et al. | Deep attention super-resolution of brain magnetic resonance images acquired under clinical protocols | |
| Honghan et al. | Rms-se-unet: A segmentation method for tumors in breast ultrasound images | |
| CN116664590B (zh) | 基于动态对比增强磁共振图像的自动分割方法及装置 | |
| Statkevych et al. | Human kidney tissue image segmentation by U-Net models | |
| CN114049334A (zh) | 一种以ct图像为输入的超分辨率mr成像方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |