CN114419157A - 一种基于深度学习的心脏四腔心自动定位方法 - Google Patents
一种基于深度学习的心脏四腔心自动定位方法 Download PDFInfo
- Publication number
- CN114419157A CN114419157A CN202210075798.0A CN202210075798A CN114419157A CN 114419157 A CN114419157 A CN 114419157A CN 202210075798 A CN202210075798 A CN 202210075798A CN 114419157 A CN114419157 A CN 114419157A
- Authority
- CN
- China
- Prior art keywords
- heart
- plane
- chamber
- scanning
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000013135 deep learning Methods 0.000 title claims abstract description 13
- 230000011218 segmentation Effects 0.000 claims abstract description 15
- 210000000115 thoracic cavity Anatomy 0.000 claims abstract description 8
- 230000008447 perception Effects 0.000 claims abstract description 6
- 210000005240 left ventricle Anatomy 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 8
- 210000005241 right ventricle Anatomy 0.000 claims description 5
- 230000005484 gravity Effects 0.000 claims description 3
- 210000005246 left atrium Anatomy 0.000 claims description 2
- 210000005245 right atrium Anatomy 0.000 claims 1
- 230000000747 cardiac effect Effects 0.000 description 7
- 238000012360 testing method Methods 0.000 description 5
- 210000002837 heart atrium Anatomy 0.000 description 3
- 210000004115 mitral valve Anatomy 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 208000031229 Cardiomyopathies Diseases 0.000 description 1
- 208000021908 Myocardial disease Diseases 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 230000002107 myocardial effect Effects 0.000 description 1
- 230000010016 myocardial function Effects 0.000 description 1
- 230000010412 perfusion Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000002861 ventricular Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/11—Complex mathematical operations for solving equations, e.g. nonlinear equations, general mathematical optimization problems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30048—Heart; Cardiac
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mathematical Physics (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Pure & Applied Mathematics (AREA)
- Algebra (AREA)
- Operations Research (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于深度学习的心脏四腔心自动定位方法，通过将多张胸腔MR冠状位图像叠加缩放得到3D心脏图像，输入到区域感知定位网络中，预测心脏分割图和平面热图，然后根据热图拟合四腔心平面方程，再结合心脏分割图，计算得到dicom扫描面参数，最后完成心脏四腔心平面的扫描。通过该方法，医生可以方便地手动定位两腔心和短轴位，这能减轻医生的工作负担，提高心脏定位准确度。
Description
技术领域
本发明涉及一种基于深度学习的心脏四腔心自动定位方法，属于计算机图像处理领域。
背景技术
磁共振成像心脏扫描有3个基本扫描平面：两腔心、四腔心和短轴位。两腔心平面反映了左心室和左心房，四腔心平面反映了左右心室和左右心房，短轴位平面反映了左右心室的断面。定义二尖瓣中点与左心室心尖的连线为左心室长轴，以该轴为轴线，进行心脏的矢状面、冠状面、横断面扫描，得到的扫描平面就是两腔心、四腔心和短轴位。
心脏定位完成后，患者才能进行后续的检查，例如：测量射血分数、心室体积、心脏质量；观察心脏的大体形态；进行电影序列扫描评估心肌功能；进行心肌灌注及延迟强化来诊断心肌疾病。
目前手工心脏定位的方式是先扫一个人体横断面，定位出左心室心尖与二尖瓣中点的连线(左心室长轴)。然后以此线进行扫描，得到两腔心平面(心脏矢状位)；然后在两腔心平面位，以二尖瓣中点与左心室心尖连线进行扫描，得到四腔心平面(心脏冠状位)；最后，以四腔心平面为参考平面，在左心室长轴方向连续垂直扫描，得到短轴位平面(心胜横断位)。该方法过程复杂，十分耗时，即使是受过专业训练的医生，大概需要3分钟才能完成整个扫描。并且该方法异变性高，对同一个患者进行心脏定位时，不同的操作者的结果可能会不一致，甚至同一操作者多次定位的结果也会有差异。
发明内容
本发明针对手动定位方法中存在的问题，提出了一种基于深度学习的心脏四腔心自动定位方法。在定位出四腔心平面后，医生可以方便地手动定位两腔心和短轴位(二者都与四腔心平面垂直)，这能减轻医生的工作负担，提高心脏定位准确度。
为了实现上述目的，本发明的技术方案如下：本发明提供一种基于深度学习的心脏四腔心自动定位方法，具体步骤如下：
步骤1，扫描多层胸腔MR冠状位图像，
步骤2，将步骤1中的图像叠加成3D图像，缩放至voxel spacing＝(1,1,1)。如果3D图像原始长宽高为(a,b,c)，原始voxel spacing＝(x,y,z)，那么缩放后3D图像长宽高为(ax,by,cz)，图像的缩放使用了ITK中的3D线性插值算法。
步骤3，将步骤2中的3D图像输入区域感知定位网络中，输出心脏分割图和平面热图。心脏分割图包括心脏的左右心室和左右心房，平面热图由一系列取值2为0-1点组成，点的取值表示其在平面上的概率。区域感知定位网络如图2所示，该网络由2个并行的Unet组成，一个用来分割心脏，另一个用来预测平面热图。在2个Unet的decoder部分使用了区域感知模块进行连接。区域感知模块将心脏的结构信息转成注意力分数,与平面预测Unet中的encoder部分的特征图相乘，以增加对心脏区域的注意力。
步骤4，由步骤3中得到的热图计算出四腔心平面方程。计算方法如下：已知坐标为(xi,yi,zi)的点的值为wi，设拟合出的平面方程为：z＝ax+by+c，那么
具体求解过程如下：
步骤5，根据步骤3中得到的心脏分割图和步骤4中得到的平面方程，计算得到dicom扫描参数，包括左上角坐标fov，横轴方向向量
纵轴方向向量
已知平面的方向向量为
dicom平面的边长为L，心脏分割图和四腔心平面的交面的重心为G。为了使四腔心扫描图像方向符合医生诊视的习惯，
应与dicom世界坐标系的x-z平面平行。参数计算流程如下：
步骤6，使用步骤5得到的扫描参数，扫描得到四腔心扫描面。
相对于现有技术，本发明的优点如下：(1)流程简单，该方法只需要扫描横轴位的胸腔影像，通过上述步骤的计算，即可得到四腔心扫描面；(2)计算速度快，该方法能够部署在GPU上，GPU的运算速度比CPU快很多倍；(3)准确度高，该方法采用深度学习的方法，使用很多组横轴位的胸腔影像进行训练，提高准确率，并降低过拟合的风险。
附图说明
图1为本发明的流程示意图。
图2为区域感知定位网络模型的示意图。
图3为本发明的测试结果图。
具体实施方式
下面结合具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。
实施例：参见图1、图2，本发明提供一种基于深度学习的心脏四腔心自动定位方法，具体步骤如下：
步骤1，扫描多层胸腔MR冠状位图像，
步骤2，将步骤1中的图像叠加成3D图像，缩放至voxel spacing＝(1,1,1)。如果3D图像原始长宽高为(a,b,c)，原始voxel spacing＝(x,y,z)，那么缩放后3D图像长宽高为(ax,by,cz)，图像的缩放使用了ITK中的3D线性插值算法；
步骤3，将步骤2中的3D图像输入区域感知定位网络中，输出心脏分割图和平面热图。心脏分割图包括心脏的左右心室和左右心房，平面热图由一系列取值2为0-1点组成，点的取值表示其在平面上的概率。区域感知定位网络如图2所示，该网络由2个并行的Unet组成，一个用来分割心脏，另一个用来预测平面热图。在2个Unet的decoder部分使用了区域感知模块进行连接。区域感知模块将心脏的结构信息转成注意力分数,与平面预测Unet中的encoder部分的特征图相乘，以增加对心脏区域的注意力；
步骤4，由步骤3中得到的热图计算出四腔心平面方程。计算方法如下：已知坐标为(xi,yi,zi)的点的值为wi，设拟合出的平面方程为：z＝ax+by+c，那么
具体求解过程如下：
步骤5，根据步骤3中得到的心脏分割图和步骤4中得到的平面方程，计算得到dicom扫描参数，包括左上角坐标fov，横轴方向向量
纵轴方向向量
已知平面的方向向量为
dicom平面的边长为L，心脏分割图和四腔心平面的交面的重心为G。为了使四腔心扫描图像方向符合医生诊视的习惯，
应与dicom世界坐标系的x-z平面平行。参数计算流程如下：
步骤6，使用步骤5得到的扫描参数，扫描得到四腔心扫描面。
效果评估：
本发明提出一种基于深度学习的心脏四腔心自动定位方法，该方法的测试结果如图3所示。图中展示了4组测试图像，每组测试的流程是：从三维胸腔影像中预测心脏的四腔心扫描参数，然后使用这个参数进行模拟扫描(对三维胸腔影像进行切割)。测试结果说明该方法能够快速并准确地预测出四腔心扫描参数，为医生进行心脏定位提供了一种高效的方案。
以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的包含范围之内，因此，本发明的保护范围应该以权利要求书的保护范围为准。
Claims (4)
1.一种基于深度学习的心脏四腔心自动定位方法，其特征在于，具体步骤如下：
步骤1，扫描多层连续的胸腔MR冠状位图像；
步骤2，将步骤1中的多层连续的图像叠加成3D图像并缩放；
步骤3，将步骤2中的3D图像输入区域感知定位网络中，输出心脏分割图和平面热图；
步骤4，由步骤3中得到的热图通过平面拟合算法计算出四腔心平面方程；
步骤5，根据步骤3中得到的心脏分割图和步骤4中得到的平面方程，计算得到dicom扫描参数，包括左上角坐标fov，横轴方向向量
纵轴方向向量
步骤6，使用步骤5得到的扫描参数，扫描得到四腔心扫描面。
2.根据权利要求1所述的一种基于深度学习的心脏四腔心自动定位方法，其特征在于，步骤3提到的区域感知定位网络模型，该网络模型能够同时预测心脏分割图和平面热图，心脏分割图包括心脏的左右心室和左右心房，平面热图由一系列取值为0-1的点组成，点的取值表示其在平面上的概率，区域感知定位网络由2个并行的Unet组成，一个用来分割心脏，另一个用来预测平面热图，在2个Unet的decoder部分使用了区域感知模块进行连接，区域感知模块将心脏的结构信息转成注意力分数，与平面预测Unet中的encoder部分的特征图相乘，以增加对心脏区域的注意力。
3.根据权利要求1所述的一种基于深度学习的心脏四腔心自动定位方法，其特征在于，步骤4中提到的平面拟合算法，计算方法是：已知坐标为(xi，yi，zi)的点的值为wi，设拟合出的平面方程为：z＝ax+by+c，那么
具体求解过程如下：
4.根据权利要求1所述的一种基于深度学习的心脏四腔心自动定位方法，其特征在于，步骤5中提到的计算dicom参数(左上角坐标fov，横轴方向向量
纵轴方向向量
)的方法，计算方法是：已知平面的方向向量为
dicom平面的边长为L，心脏分割图和四腔心平面的交面的重心为G，为了使四腔心扫描图像方向符合医生诊视的习惯，
应与dicom世界坐标系的x-z平面平行，那么：
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210075798.0A CN114419157A (zh) | 2022-01-23 | 2022-01-23 | 一种基于深度学习的心脏四腔心自动定位方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210075798.0A CN114419157A (zh) | 2022-01-23 | 2022-01-23 | 一种基于深度学习的心脏四腔心自动定位方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114419157A true CN114419157A (zh) | 2022-04-29 |
Family
ID=81276201
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210075798.0A Pending CN114419157A (zh) | 2022-01-23 | 2022-01-23 | 一种基于深度学习的心脏四腔心自动定位方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114419157A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114820754A (zh) * | 2022-05-24 | 2022-07-29 | 东南大学 | 一种基于模板匹配的心脏四腔心自动定位方法 |
-
2022
- 2022-01-23 CN CN202210075798.0A patent/CN114419157A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114820754A (zh) * | 2022-05-24 | 2022-07-29 | 东南大学 | 一种基于模板匹配的心脏四腔心自动定位方法 |
| CN114820754B (zh) * | 2022-05-24 | 2024-05-03 | 东南大学 | 一种基于模板匹配的心脏四腔心自动定位方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9968257B1 (en) | Volumetric quantification of cardiovascular structures from medical imaging | |
| US11664125B2 (en) | System and method for deep learning based cardiac electrophysiology model personalization | |
| CN109074639B (zh) | 医学成像系统中的图像配准系统和方法 | |
| EP2618307B1 (en) | Method and system for determining the volume of epicardial fat from volumetric images, and corresponding computer program | |
| CN111161241B (zh) | 一种肝脏图像识别方法、电子设备及存储介质 | |
| US11024404B2 (en) | System and method for medical image based cardio-embolic stroke risk prediction | |
| WO2007061931A2 (en) | Fully automatic vessel tree segmentation | |
| CN110619635B (zh) | 基于深度学习的肝细胞癌磁共振图像分割系统和方法 | |
| JP2022031825A (ja) | 画像ベース診断システム | |
| CN108961278B (zh) | 基于影像数据的腹壁肌肉分割的方法及其系统 | |
| Yang et al. | Multiview sequential learning and dilated residual learning for a fully automatic delineation of the left atrium and pulmonary veins from late gadolinium-enhanced cardiac MRI images | |
| CN111311626A (zh) | 基于ct图像的颅骨骨折自动检测方法及电子介质 | |
| US7321676B2 (en) | Automatic determination of the long axis of the left ventricle in 3D cardiac imaging | |
| CN114419157A (zh) | 一种基于深度学习的心脏四腔心自动定位方法 | |
| CN113487665B (zh) | 一种管腔缺口的测量方法、装置、设备和介质 | |
| CN115690556B (zh) | 一种基于多模态影像学特征的图像识别方法及系统 | |
| CN110739050A (zh) | 一种左心室全参数及置信度的量化方法 | |
| CN113112473B (zh) | 一种人体扩张型心肌病的自动诊断系统 | |
| Ting et al. | Multiview 3-d echocardiography image fusion with mutual information neural estimation | |
| CN114724699A (zh) | 基于相位对比磁共振图像的4D Flow肺动脉压测量及评估系统 | |
| CN113409447A (zh) | 一种基于多切片组合的冠状动脉分割方法和装置 | |
| CN113139961B (zh) | 一种冠状动脉优势型的确定方法和装置 | |
| CN111862014A (zh) | 一种基于左右侧脑室分割的alvi自动测量方法及装置 | |
| WO2008034164A1 (en) | Flow analysis | |
| Lu et al. | One-stage Multi-task Detector for 3D Cardiac MR Imaging |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |