CN113674279A - 基于深度学习的冠脉cta影像的处理方法及装置 - Google Patents
基于深度学习的冠脉cta影像的处理方法及装置 Download PDFInfo
- Publication number
- CN113674279A CN113674279A CN202111237326.2A CN202111237326A CN113674279A CN 113674279 A CN113674279 A CN 113674279A CN 202111237326 A CN202111237326 A CN 202111237326A CN 113674279 A CN113674279 A CN 113674279A
- Authority
- CN
- China
- Prior art keywords
- image
- dimensional
- cta
- blood vessel
- image sequence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013135 deep learning Methods 0.000 title claims abstract description 35
- 210000004351 coronary vessel Anatomy 0.000 title claims abstract description 30
- 238000003672 processing method Methods 0.000 title abstract description 7
- 210000004204 blood vessel Anatomy 0.000 claims abstract description 57
- 238000000034 method Methods 0.000 claims abstract description 43
- 238000012545 processing Methods 0.000 claims abstract description 31
- 210000001562 sternum Anatomy 0.000 claims abstract description 27
- 238000009877 rendering Methods 0.000 claims abstract description 17
- 238000012549 training Methods 0.000 claims description 30
- 238000010968 computed tomography angiography Methods 0.000 claims description 21
- 238000013527 convolutional neural network Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 6
- 230000002708 enhancing effect Effects 0.000 claims description 5
- 238000010276 construction Methods 0.000 claims description 2
- 238000004422 calculation algorithm Methods 0.000 description 9
- 238000003745 diagnosis Methods 0.000 description 7
- 239000011159 matrix material Substances 0.000 description 7
- 230000011218 segmentation Effects 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000002372 labelling Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 230000003902 lesion Effects 0.000 description 3
- 230000002792 vascular Effects 0.000 description 3
- 210000000988 bone and bone Anatomy 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 210000001519 tissue Anatomy 0.000 description 2
- 208000024172 Cardiovascular disease Diseases 0.000 description 1
- 208000031481 Pathologic Constriction Diseases 0.000 description 1
- 238000002583 angiography Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 239000011324 bead Substances 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000747 cardiac effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 238000002591 computed tomography Methods 0.000 description 1
- 238000004195 computer-aided diagnosis Methods 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 208000019622 heart disease Diseases 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 210000004872 soft tissue Anatomy 0.000 description 1
- 230000036262 stenosis Effects 0.000 description 1
- 208000037804 stenosis Diseases 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/03—Computed tomography [CT]
- A61B6/032—Transmission computed tomography [CT]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
- A61B6/504—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of blood vessels, e.g. by angiography
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30048—Heart; Cardiac
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Theoretical Computer Science (AREA)
- Medical Informatics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Heart & Thoracic Surgery (AREA)
- Software Systems (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Pathology (AREA)
- Optics & Photonics (AREA)
- High Energy & Nuclear Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Vascular Medicine (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Dentistry (AREA)
- Quality & Reliability (AREA)
- Pulmonology (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明涉及一种基于深度学习的冠脉CTA影像的处理方法及装置，该方法包括：将CTA图像序列转换成目标NIFTI文件；调用预先训练的掩码图像识别模型对目标NIFTI文件进行识别，将得到的带有掩码信息的NIFTI文件转换为目标掩码图像序列；根据目标掩码图像序列对CTA图像序列中的胸骨区域进行去除，得到目标图像序列；对目标图像序列进行基于体绘制的图像三维重建；从三维模型中提取血管区域，将血管区域上的每一个点投影到二维平面上，得到血管拉直后的重建图像。本发明引入深度学习方法，利用预先训练的掩码图像识别模型实现CTA图像序列中胸骨区域去除，并实现图像三维重建，大大缩短CTA影像的处理时间并取得了较高的识别精度。
Description
技术领域
本发明涉及图像处理技术领域，特别涉及一种基于深度学习的冠脉CTA影像的处理方法及装置。
背景技术
冠状动脉血管造影(CTA，CT Angiography)是心脏疾病辅助诊断的重要方法，从CTA数据中准确分割冠脉血管，不仅能提供对血管结构的定量描述，还可以观察比较血管的几何变化，对疾病的诊断和治疗具有重要意义。目前，随着影像设备分辨率的大幅提高，数据量也急剧上升，这给医生增加了很大的阅片负担。因此，借助计算机辅助诊断技术，处理分析心脏影像进而诊断心血管疾病成为目前国内外研究热点。快速、有效地处理CTA影像，实现冠状动脉的自动分割和相关参数的计算，能够给医生带来直观的结果，辅助医生进行更加准确的临床诊断，减轻医生的阅片负担，缩短医生的诊断时间。
基于此，如何快速、精确地实现CTA影像中胸骨区域自动分割并实现图像三维重建，是CTA影像处理中亟待解决的问题。
发明内容
鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的基于深度学习的冠脉CTA影像的处理方法及装置。
第一方面，本发明提供一种基于深度学习的冠脉CTA影像的处理方法，所述基于深度学习的冠脉CTA影像的处理方法包括：
将CTA图像序列转换成目标NIFTI文件；
调用预先训练得到的掩码图像识别模型，通过所述掩码图像识别模型对所述目标NIFTI文件进行识别，得到带有掩码信息的NIFTI文件；
将得到的带有掩码信息的NIFTI文件转换为目标掩码图像序列；
根据目标掩码图像序列对CTA图像序列中的胸骨区域进行去除，得到目标图像序列；
对目标图像序列进行基于体绘制的图像三维重建；
其中，所述掩码图像识别模型的构建方法为：
对训练数据集中的冠脉CTA图像序列进行基于体绘制的图像三维重建；
在重建后的三维模型中选取胸骨区域在三维空间的三维坐标点集合；
根据三维模型中的三维坐标点和冠脉CTA图像序列中的像素坐标点之间的对应关系，创建出冠脉CTA图像序列对应的掩码图像；
将CTA图像序列和相应的掩码图像分别转换为对应的NIFTI文件；
采用卷积神经网络基于得到的NIFTI文件进行训练，得到掩码图像识别模型。
进一步地，所述根据目标掩码图像序列对CTA图像序列中的胸骨区域进行去除包括：
遍历目标掩码图像序列中每一掩码图像的所有坐标点，对掩码图像的像素点为0值的坐标点，将相应CTA图像对应的坐标点的像素点设置为预设最小像素值，对掩码图像的像素点为1值的坐标点，保持相应CTA图像对应的坐标点的像素点不变。
进一步地，所述调用预先训练得到的掩码图像识别模型，通过所述掩码图像识别模型对所述目标NIFTI文件进行识别之前，所述方法还包括：
构建所述掩码图像识别模型。
进一步地，所述采用卷积神经网络基于得到的NIFTI文件进行训练，得到掩码图像识别模型包括：
采用U-Net3d卷积神经网络模型解析得到的NIFTI文件，获取CTA图像序列和相应的掩码图像的图像数据以及空间坐标参数；
将获取的图像数据以及空间坐标参数输入给模型的输入层，经过预设次数的Epoch训练周期后，得到所述得到掩码图像识别模型。
进一步地，在对目标图像序列进行基于体绘制的图像三维重建之后，所述方法还包括：
从三维模型中提取血管区域，将提取出的血管区域上的每一个点投影到二维平面上，得到血管拉直后的重建图像。
进一步地，在所述从三维模型中提取血管区域之前，所述方法还包括：
对三维模型中的冠脉血管进行增强处理，并采用闭运算对增强后的冠脉血管体数据进行填充处理。
进一步地，所述对三维模型中的冠脉血管进行增强包括：
采用多尺度融合的Hessian滤波器对三维模型中的冠脉血管进行增强。
进一步地，所述从三维模型中提取血管区域包括：
在填充处理后的三维模型中选取冠脉血管上的任意一点，获得该点的三维坐标点；
将所述三维坐标点作为初始种子进行三维空间区域生长生成血管区域；
将生成的血管区域在三维模型中对应的坐标点的像素点设置为原始灰度值，将三维模型中非血管区域对应的坐标点的像素点的像素值设为0。
进一步地，所述将三维坐标点作为初始种子进行三维空间区域生长生成血管区域包括：
以所述初始三维坐标点为初始种子，判断与所述初始种子相邻的6个邻域坐标点是否满足预设区域生长的阈值；
将满足预设区域生长的阈值的邻域坐标点划分到初始种子所在的区域内，并将当前邻域坐标点更新为初始种子再次进行三维空间区域生长，直到更新后的初始种子不存在满足预设区域生长的阈值的邻域坐标点。
第二方面，本发明提供一种基于深度学习的冠脉CTA影像的处理装置，所述基于深度学习的冠脉CTA影像的处理装置包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序；
所述计算机程序被所述处理器执行时，实现如上任一项所述的基于深度学习的冠脉CTA影像的处理方法的步骤。
本发明实施例提供的基于深度学习的冠脉CTA影像的处理方法及装置，引入深度学习方法，利用预先训练的掩码图像识别模型实现CTA图像序列中胸骨区域去除并实现图像三维重建，大大缩短CTA影像的处理时间并取得了较高的识别精度，为冠脉血管相关病变的分析和诊断提供了有力支持。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
图1是本发明实施例的基于深度学习的冠脉CTA影像的处理方法的流程图；
图2是本发明另一实施例的基于深度学习的冠脉CTA影像的处理方法的流程图；
图3是本发明实施例的基于深度学习的冠脉CTA影像的处理方法中步骤S106的具体流程图；
图4是从三维模型中提取的血管区域的图像示例；
图5是血管区域拉直后的重建图像示例。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语（包括技术术语和科学术语），具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非被特定定义，否则不会用理想化或过于正式的含义来解释。
实施例一
本发明实施例提供一种基于深度学习的冠脉CTA影像的处理方法，如图1所示，所述基于深度学习的冠脉CTA影像的处理方法包括：
S101，将CTA图像序列转换成目标NIFTI文件。
其中，CTA图像序列为冠状动脉CT血管造影图像序列，NIFTI文件是医学影像的标准格式，可以实现将序列里所有图像转换成一个文件并包含所有图像的元素信息，便于数据的共享。
具体的，可以使用开源的医学影像处理软件进行医学图像数据格式转换，将dicom序列图像转换成NIFTI文件格式。
S102，调用预先训练得到的掩码图像识别模型，通过所述掩码图像识别模型对所述目标NIFTI文件进行识别，得到带有掩码信息的NIFTI文件。
具体的，本发明实施例引入深度学习方法，采用U-Net3d卷积神经网络预先训练得到的掩码图像识别模型。加载训练模型后，将待推断的CTA序列图像先转换成NIFTI文件，所述掩码图像识别模型以NIFTI文件为输入文件，NIFTI文件输入给U-Net3d模型识别，识别后会得到带有掩码信息的NIFTI文件。
S103，将得到的带有掩码信息的NIFTI文件转换为目标掩码图像序列。
S104，根据目标掩码图像序列对CTA图像序列中的胸骨区域进行去除，得到目标图像序列。
S105，对目标图像序列进行基于体绘制的图像三维重建。
本发明实施例提供的基于深度学习的冠脉CTA影像的处理方法，引入深度学习方法，利用预先训练的掩码图像识别模型实现CTA图像序列中胸骨区域去除并实现图像三维重建，大大缩短CTA影像的处理时间并取得了较高的识别精度，为冠脉血管相关病变的分析和诊断提供了有力支持。
在本发明另一实施例中，步骤S102调用预先训练得到的掩码图像识别模型，通过所述掩码图像识别模型对所述目标NIFTI文件进行识别之前，所述方法还包括以下步骤：
对训练数据集中的冠脉CTA图像序列进行基于体绘制的图像三维重建；
在重建后的三维模型中选取胸骨区域在三维空间的三维坐标点集合；
根据三维模型中的三维坐标点和冠脉CTA图像序列中的像素坐标点之间的对应关系，创建出冠脉CTA图像序列对应的掩码图像；
将CTA图像序列和相应的掩码图像分别转换为对应的NIFTI文件；
采用卷积神经网络基于得到的NIFTI文件进行训练，得到掩码图像识别模型。进一步地，所述采用卷积神经网络基于得到的NIFTI文件进行训练，得到掩码图像识别模型包括：采用U-Net3d卷积神经网络模型解析得到的NIFTI文件，获取CTA图像序列和相应的掩码图像的图像数据以及空间坐标参数；将获取的图像数据以及空间坐标参数输入给模型的输入层，经过预设次数的Epoch训练周期后，得到所述得到掩码图像识别模型。
实际中，通过CT扫描生成的冠脉CTA中包含血管，骨骼等组织，为了更直观的三维重建显示整个心脏，需要去除胸骨对心脏诊断的干扰。传统算法计算量大，效率低，去骨效果不佳，为此本发明采用U-Net3d卷积神经网络实现心脏与胸骨的分割。
本发明实施例中，采用3D标注替代2D标注的方法实现语义分割方法的训练数据标注，生成掩码图像，即将训练数据集中CT序列里每一张图像的每个像素标记为属于类别（胸骨区域、心脏区域），可以节省繁琐的手工标注时间，而且误差小。
具体方法如下：通过对CTA图像序列三维重建后的VR体绘制进行虚拟手术刀操作，移除胸骨区域，将裁剪后的数据与原始CTA图像序列数据空间匹配，生成一张张的掩码图像，实现心脏与胸骨区域的分割。其中，CTA影像与VR体绘制的关系是：CTA影像是VR体绘制的沿着Z方向的切面图；数据空间匹配：X Y Z坐标系的匹配关系。
处理过程：先对CTA图像序列可视化成基于体绘制的三维重建（3D）模式，体绘制是将三维空间的离散数据直接转换为最后的立体图像，其中心思想是为每一个体像素指定一个不透明度,并考虑每一个体像素对光线的透射、发射和反射作用。因此体绘制能够更好的展示三维模型的空间体细节。再在3D界面下使用虚拟手术刀功能移除胸骨区域。虚拟手术刀功能是通过用鼠标在3D界面上绘制不规则曲线，在胸骨区域绘制出闭合曲线，即得到胸骨区域在三维空间的三维坐标点集合。由于3D模型下的立体坐标点和CTA图像序列里的像素坐标点是一一对应的，所以将在3D闭合曲线里的坐标集合点像素数据设置为0，其它立体坐标点的像素数据设置为1，即得到该序列的掩码图像。
利用上一步制作的训练数据，训练U-Net3d掩码图像识别模型。
U-Net3d是U-Net的一个扩展算法，应用于三维图像分割，不仅解决了CT序列将一张张图像送入模型进行训练的尴尬局面，也大幅度的提升训练效率，并且保留了FCN和U-Net本来具备的优秀特征。由于U-Net3d是三维模型，需要CTA图像序列的立体空间坐标、像素间距、层厚等信息，因此需要将CTA图像序列转换成一个NIFTI文件。
NIFTI文件是医学影像的标准格式，可以实现将序列里所有图像转换成一个文件并包含所有图像的元素信息，便于数据的共享。这里先将序列的原始图像和掩码图像分别转换成对应的NIFTI文件格式，U-Net3d模型解析NIFTI文件，获取图像数据以及空间坐标参数，图像预处理后输入给模型的输入层，经过多轮Epoch训练周期后，得到训练模型。
本发明引入深度学习方法快速准确地实现去胸骨功能，其中在标注训练集上，采用VR体绘制3D标注替代2D标注，大大提高标注训练集的效率而且误差小。
在本发明另一实施例中，步骤S104中的根据目标掩码图像序列对CTA图像序列中的胸骨区域进行去除包括：遍历目标掩码图像序列中每一掩码图像的所有坐标点，对掩码图像的像素点为0值的坐标点，将相应CTA图像对应的坐标点的像素点设置为预设最小像素值，对掩码图像的像素点为1值的坐标点，保持相应CTA图像对应的坐标点的像素点不变。
本实施例中，通过调用预先训练得到的掩码图像识别模型，得到带有掩码信息的NIFTI文件，并解码该文件得到带有掩码信息的NIFTI文件转换为目标掩码图像序列。由于掩码图像与原始图像坐标点是对应的，通过遍历所有坐标点，当掩码图像对应坐标上的像素点为0时，将原始图像对应坐标上的像素点设置为最小像素值，当掩码图像对应坐标上的像素点为1时，原始图像对应坐标上的像素点不变，得到去除胸骨的图像数据。
在本发明另一实施例中，如图2所示，在步骤S105之后，所述方法还包括步骤S106：
S106，从三维模型中提取血管区域，将提取出的血管区域上的每一个点投影到二维平面上，得到血管拉直后的重建图像。
本发明实施例提供的基于深度学习的冠脉CTA影像的处理方法，引入深度学习方法，利用预先训练的掩码图像识别模型实现CTA图像序列中胸骨区域去除，基于得到的目标图像序列进行血管提取，最后将血管区域投影到一个二维平面上，得到血管拉直后的重建图像，大大缩短CTA影像的处理时间并取得了较高的识别精度，为血管狭窄、斑块等病变的分析和诊断提供了有力支持。
在本发明实施例中，在步骤S106中的从三维模型中提取血管区域之前，对三维模型中的冠脉血管进行增强，并采用闭运算对增强后的冠脉血管体数据进行填充处理。
具体的，由于心脏部分CT图像中组织众多，在去除掉胸骨区域后，但还有其他软组织，若直接对源图像进行冠脉血管提取，很难得到准确的结果。为此，本发明实施例对去除胸骨之后的图像序列进行体绘制三维重建，并对三维模型中的冠脉血管进行增强以便于与其他结构进行较好的区分。本实施例中，采用多尺度融合的Hessian滤波器算法对三维模型中的冠脉血管进行增强，该算法的实现原理是利用血管的管状结构来提取血管，将血管增强视为一个滤波的过程，寻找三维数据集中类似管状的图像结构。
采用多尺度融合的Hessian滤波器算法对三维模型中的冠脉血管进行增强，具体包括：将血管体数据像素点计算Hessian矩阵，血管区域滤波响应值为1，非血管区域滤波响应值为0，实现血管增强。
多尺度融合的Hessian滤波器算法是基于Hessian矩阵构造出来的一种边缘检测增强滤波算法。对于图像中的某一个像素点而言，它的Hessian矩阵是一种用高阶微分提取图像特征方向的二维矩阵，有两个特征值（λ1和λ2）和对应的两个特征向量。特征值和对应的特征向量分别代表该点处沿某一方向上图形曲率大小和方向。根据图像形态学可以把图像像素分为三类：背景区域的像素值分布较均匀，任意方向上曲率都较小；孤立的像素点在任意方向上的曲率都较大；血管处圆珠形态沿径向方向λ2上的曲率始终较大，轴向方向λ1上较小。
二元Hessian矩阵定义为：
其中,Ixx是图像中像素点在x方向的二阶偏导数，Iyy是图像中像素点在y方向的二阶偏导数，Ixy和Iyx是图像中像素点在xy方向的混合偏导数。即：
Ixx=I(i+1,j)-2*I(i,j)+I(i-1,j)
Iyy=I(i,j+1)-2*I(i,j)+(i,j-1)
Ixy=I(i+1,j+1)-I(i,j+1)-I(i+1,j)+I(i,j)
其中，i是图像中像素点的横坐标，j是图像中像素点的纵坐标，图像遍历，对血管体数据上每个像素点进行上述操作，得到对应的Hessian矩阵。
根据上述图像形态学分的三类对求得的特征值进行判断，判断当前像素点是否属于血管区域。血管区域响应值为1，非血管区域响应值为0。
对冠脉血管进行增强后，再使用闭运算对体数据进行膨胀处理和和腐蚀处理，避免血管出现不连续现象导致的漏检以及去除局部噪声。
本发明的另一实施例中，如图3所示，步骤S106中的从三维模型中提取血管区域包括以下步骤：
S201，在填充处理后的三维模型中选取冠脉血管上的任意一点，获得该点的三维坐标点。本实施例中，采用界面交互定位冠脉血管点位置，具体通过在三维模型所在的3DVR界面或者MPR界面上拾取一根血管上任意一点，获得该点的三维坐标。
S202，将所述三维坐标点作为初始种子进行三维空间区域生长生成血管区域。进一步地，所述将三维坐标点作为初始种子进行三维空间区域生长生成血管区域具体包括：以所述初始三维坐标点为初始种子，判断与所述初始种子相邻的6个邻域坐标点是否满足预设区域生长的阈值；将满足预设区域生长的阈值的邻域坐标点划分到初始种子所在的区域内，并将当前邻域坐标点更新为初始种子再次进行三维空间区域生长，直到更新后的初始种子不存在满足预设区域生长的阈值的邻域坐标点。
S203，将生成的血管区域在三维模型中对应的坐标点的像素点设置为原始灰度值，将三维模型中非血管区域对应的坐标点的像素点的像素值设为0。
本发明实施例采用自适应的三维空间区域生长的方法进行血管提取，区域生长的基本思想是选定初始种子，具体将步骤S201中得到的任意血管点的三维坐标选定为初始种子；将种子周围具有相似特征的点归并到种子所在的区域内。本实施例采用三维6邻域的结构元素，预设合适的区域生长阈值δ作为区域增长的准则，凡是大于此阈值δ的像素点就归并到种子区域内。定义区域生长的准则如下：
∣I(x,y,z)- mean(x,y,z)∣＞δ
其中，I(x,y,z)为为闭运算后CT体数据坐标点(x,y,z)的灰度值，mean(x,y,z)为选定的初始种子点上下左右前后6个邻域以及种子点在内的7个像素点的平均灰度值，计算当前点的灰度值与对应均值的差值，当计算结果大于设定阈值δ的时候就认为当前点在血管区域内。区域种子生长算法提取出的血管区域会出现不连续的情况，此时可以再用膨胀算法对血管填充。将血管区域对应心脏三维模型中的图像坐标点，设置对应的像素为原始灰度值，将非血管区域在心脏三维模型中对应的坐标点的像素值设为0，得到VR体绘制上绘制的血管，如图4所示。最后通过将提取出的血管区域上的每一个点投影到一个二维平面上，得到血管拉直后的重建图像，如图5所示。
实施例二
本发明实施例提供一种基于深度学习的冠脉CTA影像的处理装置，所述基于深度学习的冠脉CTA影像的处理装置包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序；
所述计算机程序被所述处理器执行时，实现如实施例一中任一项所述的基于深度学习的冠脉CTA影像的处理方法的步骤。
实施例二在具体实现过程中，可以参阅实施例一，具有相应的技术效果。
上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。
Claims (8)
1.一种基于深度学习的冠脉CTA影像的处理方法，其特征在于，所述方法包括：
将CTA图像序列转换成目标NIFTI文件；
调用预先训练得到的掩码图像识别模型，通过所述掩码图像识别模型对所述目标NIFTI文件进行识别，得到带有掩码信息的NIFTI文件；
将得到的带有掩码信息的NIFTI文件转换为目标掩码图像序列；
根据目标掩码图像序列对CTA图像序列中的胸骨区域进行去除，得到目标图像序列；
对目标图像序列进行基于体绘制的图像三维重建；
其中，所述掩码图像识别模型的构建方法为：
对训练数据集中的冠脉CTA图像序列进行基于体绘制的图像三维重建；
在重建后的三维模型中选取胸骨区域在三维空间的三维坐标点集合；
根据三维模型中的三维坐标点和冠脉CTA图像序列中的像素坐标点之间的对应关系，创建出冠脉CTA图像序列对应的掩码图像；
将CTA图像序列和相应的掩码图像分别转换为对应的NIFTI文件；
采用卷积神经网络基于得到的NIFTI文件进行训练，得到掩码图像识别模型。
2.根据权利要求1所述的基于深度学习的冠脉CTA影像的处理方法，其特征在于，所述根据目标掩码图像序列对CTA图像序列中的胸骨区域进行去除包括：
遍历目标掩码图像序列中每一掩码图像的所有坐标点，对掩码图像的像素点为0值的坐标点，将相应CTA图像对应的坐标点的像素点设置为预设最小像素值，对掩码图像的像素点为1值的坐标点，保持相应CTA图像对应的坐标点的像素点不变。
3.根据权利要求1所述的基于深度学习的冠脉CTA影像的处理方法，其特征在于，所述采用卷积神经网络基于得到的NIFTI文件进行训练，得到掩码图像识别模型包括：
采用U-Net3d卷积神经网络模型解析得到的NIFTI文件，获取CTA图像序列和相应的掩码图像的图像数据以及空间坐标参数；
将获取的图像数据以及空间坐标参数输入给模型的输入层，经过预设次数的Epoch训练周期后，得到所述得到掩码图像识别模型。
4.根据权利要求1-3任一项所述的基于深度学习的冠脉CTA影像的处理方法，其特征在于，在对目标图像序列进行基于体绘制的图像三维重建之后，所述方法还包括：
从三维模型中提取血管区域，将提取出的血管区域上的每一个点投影到二维平面上，得到血管拉直后的重建图像。
5.根据权利要求1所述的基于深度学习的冠脉CTA影像的处理方法，其特征在于，在所述从三维模型中提取血管区域之前，所述方法还包括：
对三维模型中的冠脉血管进行增强处理，并采用闭运算对增强后的冠脉血管体数据进行填充处理。
6.根据权利要求5所述的基于深度学习的冠脉CTA影像的处理方法，其特征在于，所述从三维模型中提取血管区域包括：
在填充处理后的三维模型中选取冠脉血管上的任意一点，获得该点的三维坐标点；
将所述三维坐标点作为初始种子进行三维空间区域生长生成血管区域；
将生成的血管区域在三维模型中对应的坐标点的像素点设置为原始灰度值，将三维模型中非血管区域对应的坐标点的像素点的像素值设为0。
7.根据权利要求6所述的基于深度学习的冠脉CTA影像的处理方法，其特征在于，所述将三维坐标点作为初始种子进行三维空间区域生长生成血管区域包括：
以所述初始三维坐标点为初始种子，判断与所述初始种子相邻的6个邻域坐标点是否满足预设区域生长的阈值；
将满足预设区域生长的阈值的邻域坐标点划分到初始种子所在的区域内，并将当前邻域坐标点更新为初始种子再次进行三维空间区域生长，直到更新后的初始种子不存在满足预设区域生长的阈值的邻域坐标点。
8.一种基于深度学习的冠脉CTA影像的处理装置，其特征在于，所述基于深度学习的冠脉CTA影像的处理装置包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序；
所述计算机程序被所述处理器执行时，实现如权利要求1-7中任一项所述的基于深度学习的冠脉CTA影像的处理方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111237326.2A CN113674279B (zh) | 2021-10-25 | 2021-10-25 | 基于深度学习的冠脉cta影像的处理方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111237326.2A CN113674279B (zh) | 2021-10-25 | 2021-10-25 | 基于深度学习的冠脉cta影像的处理方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113674279A true CN113674279A (zh) | 2021-11-19 |
| CN113674279B CN113674279B (zh) | 2022-03-08 |
Family
ID=78550967
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111237326.2A Active CN113674279B (zh) | 2021-10-25 | 2021-10-25 | 基于深度学习的冠脉cta影像的处理方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113674279B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114494482A (zh) * | 2021-12-24 | 2022-05-13 | 中国人民解放军总医院第一医学中心 | 一种基于平扫ct生成ct血管成像的方法 |
| CN114972242A (zh) * | 2022-05-23 | 2022-08-30 | 北京医准智能科技有限公司 | 心肌桥检测模型的训练方法、装置及电子设备 |
| CN115272165A (zh) * | 2022-05-10 | 2022-11-01 | 推想医疗科技股份有限公司 | 图像的特征提取方法、图像分割模型的训练方法和装置 |
| CN115456950A (zh) * | 2022-08-15 | 2022-12-09 | 上海交通大学医学院附属第九人民医院 | 一种穿支血管自动识别和定位方法、设备及存储介质 |
| CN116779093A (zh) * | 2023-08-22 | 2023-09-19 | 青岛美迪康数字工程有限公司 | 一种医学影像结构化报告的生成方法、装置和计算机设备 |
| CN117079080A (zh) * | 2023-10-11 | 2023-11-17 | 青岛美迪康数字工程有限公司 | 冠脉cta智能分割模型的训练优化方法、装置和设备 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| LU91177B1 (en) * | 2005-06-08 | 2006-12-11 | European Community | Method and system for 3D scene change detection |
| CN106845138A (zh) * | 2017-02-28 | 2017-06-13 | 成都金盘电子科大多媒体技术有限公司 | 一种手术术前预演方法 |
| CN110148128A (zh) * | 2019-05-23 | 2019-08-20 | 中南大学 | 一种补全病变骨骼以获得骨骼预期参考模型的方法 |
| CN110517238A (zh) * | 2019-08-20 | 2019-11-29 | 厦门天允星途医疗科技有限公司 | Ct医学影像ai三维重建与人机交互可视化网络系统 |
| CN110648762A (zh) * | 2019-09-06 | 2020-01-03 | 苏州浪潮智能科技有限公司 | 病灶区识别模型生成方法、装置及病灶区识别方法、装置 |
| CN110755104A (zh) * | 2019-11-05 | 2020-02-07 | 四川大学华西医院 | 基于3d多通道卷积神经网络的肝硬化门脉高压无创评估方法 |
| CN111080552A (zh) * | 2019-12-16 | 2020-04-28 | 广州柏视医疗科技有限公司 | 基于深度学习神经网络的胸片虚拟双能去骨方法及系统 |
| CN111161241A (zh) * | 2019-12-27 | 2020-05-15 | 联想(北京)有限公司 | 一种肝脏图像识别方法、电子设备及存储介质 |
| CN112132917A (zh) * | 2020-08-27 | 2020-12-25 | 盐城工学院 | 一种直肠癌淋巴结转移的智能诊断方法 |
| CN112184659A (zh) * | 2020-09-24 | 2021-01-05 | 上海健康医学院 | 一种肺部图像处理方法、装置及设备 |
| CN113140035A (zh) * | 2021-04-27 | 2021-07-20 | 青岛百洋智能科技股份有限公司 | 一种基于多模态影像融合技术的人脑血管全自动重建方法、装置 |
| CN113496539A (zh) * | 2021-06-11 | 2021-10-12 | 山东大学 | 一种基于三维网格模型参数设计的纹理贴图方法及系统 |
-
2021
- 2021-10-25 CN CN202111237326.2A patent/CN113674279B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| LU91177B1 (en) * | 2005-06-08 | 2006-12-11 | European Community | Method and system for 3D scene change detection |
| CN106845138A (zh) * | 2017-02-28 | 2017-06-13 | 成都金盘电子科大多媒体技术有限公司 | 一种手术术前预演方法 |
| CN110148128A (zh) * | 2019-05-23 | 2019-08-20 | 中南大学 | 一种补全病变骨骼以获得骨骼预期参考模型的方法 |
| CN110517238A (zh) * | 2019-08-20 | 2019-11-29 | 厦门天允星途医疗科技有限公司 | Ct医学影像ai三维重建与人机交互可视化网络系统 |
| CN110648762A (zh) * | 2019-09-06 | 2020-01-03 | 苏州浪潮智能科技有限公司 | 病灶区识别模型生成方法、装置及病灶区识别方法、装置 |
| CN110755104A (zh) * | 2019-11-05 | 2020-02-07 | 四川大学华西医院 | 基于3d多通道卷积神经网络的肝硬化门脉高压无创评估方法 |
| CN111080552A (zh) * | 2019-12-16 | 2020-04-28 | 广州柏视医疗科技有限公司 | 基于深度学习神经网络的胸片虚拟双能去骨方法及系统 |
| CN111161241A (zh) * | 2019-12-27 | 2020-05-15 | 联想(北京)有限公司 | 一种肝脏图像识别方法、电子设备及存储介质 |
| CN112132917A (zh) * | 2020-08-27 | 2020-12-25 | 盐城工学院 | 一种直肠癌淋巴结转移的智能诊断方法 |
| CN112184659A (zh) * | 2020-09-24 | 2021-01-05 | 上海健康医学院 | 一种肺部图像处理方法、装置及设备 |
| CN113140035A (zh) * | 2021-04-27 | 2021-07-20 | 青岛百洋智能科技股份有限公司 | 一种基于多模态影像融合技术的人脑血管全自动重建方法、装置 |
| CN113496539A (zh) * | 2021-06-11 | 2021-10-12 | 山东大学 | 一种基于三维网格模型参数设计的纹理贴图方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| BLEEKER L ET AL: "《Semi-automatic Quantitive Measurements of Intracranial Internal Carotid Artery Stenosis and Calcification using CT Angiography》", 《SPRINGER》 * |
| 徐进: "《基于图像配准的心脏冠脉CTA模型建立方法研究》", 《中国优秀硕士学位论文全文数据库 医药卫生科技辑》 * |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114494482A (zh) * | 2021-12-24 | 2022-05-13 | 中国人民解放军总医院第一医学中心 | 一种基于平扫ct生成ct血管成像的方法 |
| CN115272165A (zh) * | 2022-05-10 | 2022-11-01 | 推想医疗科技股份有限公司 | 图像的特征提取方法、图像分割模型的训练方法和装置 |
| CN115272165B (zh) * | 2022-05-10 | 2023-09-26 | 推想医疗科技股份有限公司 | 图像的特征提取方法、图像分割模型的训练方法和装置 |
| CN114972242A (zh) * | 2022-05-23 | 2022-08-30 | 北京医准智能科技有限公司 | 心肌桥检测模型的训练方法、装置及电子设备 |
| CN115456950A (zh) * | 2022-08-15 | 2022-12-09 | 上海交通大学医学院附属第九人民医院 | 一种穿支血管自动识别和定位方法、设备及存储介质 |
| CN115456950B (zh) * | 2022-08-15 | 2023-08-11 | 上海交通大学医学院附属第九人民医院 | 一种穿支血管自动识别和定位方法、设备及存储介质 |
| CN116779093A (zh) * | 2023-08-22 | 2023-09-19 | 青岛美迪康数字工程有限公司 | 一种医学影像结构化报告的生成方法、装置和计算机设备 |
| CN116779093B (zh) * | 2023-08-22 | 2023-11-28 | 青岛美迪康数字工程有限公司 | 一种医学影像结构化报告的生成方法、装置和计算机设备 |
| CN117079080A (zh) * | 2023-10-11 | 2023-11-17 | 青岛美迪康数字工程有限公司 | 冠脉cta智能分割模型的训练优化方法、装置和设备 |
| CN117079080B (zh) * | 2023-10-11 | 2024-01-30 | 青岛美迪康数字工程有限公司 | 冠脉cta智能分割模型的训练优化方法、装置和设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113674279B (zh) | 2022-03-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113674279B (zh) | 基于深度学习的冠脉cta影像的处理方法及装置 | |
| US11568533B2 (en) | Automated classification and taxonomy of 3D teeth data using deep learning methods | |
| Fan et al. | Multichannel fully convolutional network for coronary artery segmentation in X-ray angiograms | |
| Badura et al. | Soft computing approach to 3D lung nodule segmentation in CT | |
| EP3591616A1 (en) | Automated determination of a canonical pose of a 3d dental structure and superimposition of 3d dental structures using deep learning | |
| US8805044B2 (en) | Segmenting pulmonary arteries | |
| CN109478327B (zh) | 用于在任意视场计算断层摄影血管造影（cta）中自动检测全身动脉的方法 | |
| CN110648338B (zh) | 图像分割方法、可读存储介质及图像处理装置 | |
| US20220366679A1 (en) | Methods and systems for training learning network for medical image analysis | |
| CN116503607B (zh) | 一种基于深度学习的ct图像分割方法和系统 | |
| Tan et al. | An approach for pulmonary vascular extraction from chest CT images | |
| US8050470B2 (en) | Branch extension method for airway segmentation | |
| US20220138936A1 (en) | Systems and methods for calcium-free computed tomography angiography | |
| CN113935976A (zh) | 一种增强ct图像的脏器内血管自动分割方法及系统 | |
| Lyu et al. | Dissected aorta segmentation using convolutional neural networks | |
| CN113889238B (zh) | 一种图像识别方法、装置、电子设备及存储介质 | |
| CN110992383A (zh) | 一种基于深度学习的ct图像肝脏动脉分割方法及系统 | |
| CN114419032B (zh) | 心脏左心室的心肌内膜和/或心肌外膜的分割方法和装置 | |
| CN111798468B (zh) | 图像处理方法及装置、存储介质及电子终端 | |
| JP5954846B2 (ja) | 形状データ生成プログラム、形状データ生成方法及び形状データ生成装置 | |
| CN113470042A (zh) | 肺部ct图像的支气管分割方法及相关系统和存储介质 | |
| KR20210021337A (ko) | 기계 학습 및 영상 처리 알고리즘을 이용하여 의료 영상의 혈관들을 자동으로 영역화하는 방법 및 시스템 | |
| Alom et al. | Automatic slice growing method based 3D reconstruction of liver with its vessels | |
| CN114341996A (zh) | 基于vrds 4d的病情分析方法及相关产品 | |
| CN113614788A (zh) | 计算机辅助读取和分析的深度强化学习 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |