CN110807829B - 一种基于超声成像构建三维心脏模型的方法 - Google Patents
一种基于超声成像构建三维心脏模型的方法 Download PDFInfo
- Publication number
- CN110807829B CN110807829B CN201911069586.6A CN201911069586A CN110807829B CN 110807829 B CN110807829 B CN 110807829B CN 201911069586 A CN201911069586 A CN 201911069586A CN 110807829 B CN110807829 B CN 110807829B
- Authority
- CN
- China
- Prior art keywords
- dimensional
- heart
- model
- image
- data set
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 68
- 238000003384 imaging method Methods 0.000 title claims abstract description 11
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 44
- 238000002604 ultrasonography Methods 0.000 claims abstract description 23
- 230000000747 cardiac effect Effects 0.000 claims abstract description 22
- 238000000605 extraction Methods 0.000 claims abstract description 20
- 238000013528 artificial neural network Methods 0.000 claims abstract description 18
- 238000003709 image segmentation Methods 0.000 claims abstract description 17
- 238000012800 visualization Methods 0.000 claims abstract description 15
- 230000000694 effects Effects 0.000 claims abstract description 12
- 230000008569 process Effects 0.000 claims description 37
- 230000006870 function Effects 0.000 claims description 26
- 238000012545 processing Methods 0.000 claims description 18
- 238000012549 training Methods 0.000 claims description 17
- 230000011218 segmentation Effects 0.000 claims description 12
- 238000011176 pooling Methods 0.000 claims description 10
- 238000012285 ultrasound imaging Methods 0.000 claims description 10
- 238000009795 derivation Methods 0.000 claims description 6
- 210000002569 neuron Anatomy 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 6
- 230000015572 biosynthetic process Effects 0.000 claims description 5
- 238000003062 neural network model Methods 0.000 claims description 5
- 238000003786 synthesis reaction Methods 0.000 claims description 5
- 210000000709 aorta Anatomy 0.000 claims description 4
- 210000001992 atrioventricular node Anatomy 0.000 claims description 4
- 230000003993 interaction Effects 0.000 claims description 4
- 210000001147 pulmonary artery Anatomy 0.000 claims description 4
- 210000003492 pulmonary vein Anatomy 0.000 claims description 4
- 238000009877 rendering Methods 0.000 claims description 4
- 210000001013 sinoatrial node Anatomy 0.000 claims description 4
- 239000013589 supplement Substances 0.000 claims description 4
- 238000012804 iterative process Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 230000002194 synthesizing effect Effects 0.000 claims description 3
- 230000001746 atrial effect Effects 0.000 claims 2
- 230000002861 ventricular Effects 0.000 claims 2
- 238000001514 detection method Methods 0.000 abstract description 6
- 239000010410 layer Substances 0.000 description 30
- 208000024172 Cardiovascular disease Diseases 0.000 description 4
- 210000005246 left atrium Anatomy 0.000 description 4
- 210000005240 left ventricle Anatomy 0.000 description 4
- 210000005245 right atrium Anatomy 0.000 description 4
- 210000005241 right ventricle Anatomy 0.000 description 4
- 238000010276 construction Methods 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 201000010099 disease Diseases 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 238000002679 ablation Methods 0.000 description 2
- 210000003484 anatomy Anatomy 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000008602 contraction Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 208000019622 heart disease Diseases 0.000 description 2
- 230000017531 blood circulation Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000012792 core layer Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000002001 electrophysiology Methods 0.000 description 1
- 230000007831 electrophysiology Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000000004 hemodynamic effect Effects 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000035479 physiological effects, processes and functions Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 210000001631 vena cava inferior Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30048—Heart; Cardiac
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Image Processing (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
本发明提供了一种基于超声成像构建三维心脏模型的方法。首先对超声图像进行预处理，然后采用改进的全卷积神经网络学习算法对数据集进行图像分割和边缘轮廓特征提取，以及采用PTAM算法进行心脏超声图像特征点的检测和匹配以及构建心脏的三维模型，最后实现三维心脏模型的可视化。本发明提供的方法图像分割效果精细、特征提取精度较高、模型重建速度快、所建三维心脏模型的准确率较高。本发明所构建的三维心脏超声模型可以在三维空间中任意移动、旋转、缩放，从而观察心脏各组织结构的空间位置关系，从而获得比心脏超声二维图像更多的诊断信息，具有巨大的医学应用价值。
Description
技术领域
本发明涉及超声图像的三维建模技术领域，具体涉及一种基于超声成像构建三维心脏模型的方法。
背景技术
心血管疾病是全世界发病率和死亡率最高的疾病，对生命健康构成了严重威胁。而对该疾病的早期发现以及对诊断过程中无创性的要求一直是医学界的一个难题。心脏是人体循环系统的主要器官，是集电生理学、动力学、血液流体力学等于一身的极其复杂的综合系统。
心脏疾病的诊断和仿真不断被深入研究，早期的研究主要集中于心脏逆问题上，通过已有的超声数据来分析和研究心脏疾病产生原因以及病情发展。而现在的研究重点主要集中在心脏正问题上，通过三维心脏建模将真实的心脏的生理学和物理学特性转化为一种三维数学模型，使被检查的心脏结构显示为三维效果立体图像，从而获得比二维图像更多的诊断信息。
基于超声的三维立体模型在心血管方面的应用，主要是对心脏的整体性结构和功能性结构进行检测，提供内部结构、血流变化、瓣膜显示，并且能够实时的跟踪整个心脏周期组织的变化情况等，在心血管疾病的定性和诊断方面起到了重要作用，对心血管疾病的前期预防和治疗具有很大的应用前景。
申请号为CN200610077079.3的发明专利公开了一种使用超声轮廓重建进行三维心脏成像的软件产品，主要采用手动输入在一个或多个超声图像中标记涉及解剖结构的特征的感兴趣轮廓，并基于该感兴趣轮廓和所测得的位置和方向坐标构造该解剖结构的3D模型，但是该方法需要手动轮廓提取，需要耗费大量的人力和时间，在推广上受到了一定的限制。
申请号为CN201910177198.3的发明专利中公开了一种三维模型构建方法、装置及系统，通过将消融导管介入心脏内腔，定位贴靠心脏内壁的消融导管位置，能够准确获取到心脏内部轮廓，以此构建心脏三维模型，但是该方法操作复杂，还需要消融导管的内置介入，不能满足无创性的要求。
发明内容
针对上述不足，本发明的目的在于提供一种基于超声成像构建三维心脏模型的方法。首先对超声图像进行预处理，然后采用改进的全卷积神经网络学习算法对数据集进行图像分割和边缘轮廓特征提取，以及采用PTAM算法进行心脏超声图像特征点的检测和匹配以及构建心脏的三维模型，最后实现三维心脏模型的可视化。本发明所构建的三维心脏超声模型可以在三维空间中任意移动、旋转、缩放，从而观察心脏各组织结构的空间位置关系，从而获得比心脏超声二维图像更多的诊断信息，具有巨大的应用价值。
为了实现上述发明目的，本发明提供了一种基于超声成像构建三维心脏模型的方法，包括如下步骤：
S1、超声图像预处理：导入心脏超声图像数据集，对数据集进行特征点重标定处理，然后分离心脏各个部位的数据集，针对每个数据集进行去除超声斑纹噪声处理；
S2、图像分割和边缘轮廓特征提取；
S3、心脏模型三维重建：进行心脏各部位的三维建模，然后将构建的单个心脏部位模型进行合成处理，构建完整的心脏三维模型；
S4、三维心脏模型的可视化。
优选的，在步骤S1中，所述数据集分为左心房数据集、左心室数据集、右心房数据集、右心室数据集、窦房结数据集、房室结数据集、主动脉数据集、肺动脉数据集、肺静脉数据集、上下腔静脉数据集。
优选的，在步骤S2中，采用全卷积神经网络学习算法进行心脏超声图像的分割和边缘轮廓特征提取，具体步骤为：
S1、全卷积：将心脏超声图像进行卷积处理，卷积过程使用16层的VGGNet结构，VGGNet有8个卷积段，前5个段有2到3个卷积层，每个段以最大池化层结束，用于压缩图像大小；后3段将传统的全连接层转化为卷积层；
其中，全卷积神经网络模型参数设置为：卷积核尺寸为3*3，卷积步长设定为一个像素，窗口尺寸为2*2，步长设定为2个像素，后3段卷积核尺寸为1*1，卷积步长设定为一个像素，每段卷积层内的卷积核数量相同，具体设置为：64、64、128、128、256、256、256、512、512、512、512、512、512、4096、4096、1000；
S2、反卷积：输入的心脏超声图像经过卷积与池化操作后，图像大小不断减小，其分辨率也逐渐变低；反卷积过程需要镜像16层VGGNet，将从网络中提取的特征图恢复到原始图像的大小和位置，并进行像素分类，直接输出图像分割的结果；
S3、训练迭代过程：采用跳跃结构进行迭代训练，将不同池化层的结果进行反卷积，叠加多层图像采样数据来补充图像特征细节，用以优化最终输出的图像分割结果，完成边缘特征提取。
优选的，所述步骤S3的训练迭代过程，采用反向传播链式求导法则，通过最小化损失函数对权值进行更新，得到全卷积神经网络最优的权值参数，用以优化分割结果，算法如下：
S1、设置损失函数：
其中，n为总的样本数量；Xi和
分别代表属于和不属于目标区域的样本i的像素的集合；
表示属于目标区域的像素网络模型输出值的集合；
表示不属于目标区域的像素网络模型输出值集合；ck表示第k个像素相对于属于目标区域的概率；Fk表示第k个像素对应目标区域的数量；
S2、设定全卷积神经网络训练过程，训练卷积核的权值Z和偏置b，每次的更新和迭代都按照如下过程进行：
其中，Zm,h表示某一层的第m个神经元到相邻层第h个神经元的连接参数，δ是学习率，b是偏置量，E(Z,b)代表代价函数；
S21、前向传播过程：
隐含层输入：
输出层输入：
输出层输出：
S22、反向求导过程：
S23、更新Z，b:
S24、重复步骤S21到S23，当损失函数E在误差允许的范围之内停止操作，获得最优权值参数。
优选的，在步骤S3中，所述心脏模型三维重建采用PTAM算法主要进行图像特征追踪和模型构建过程，具体步骤为先进行心脏超声图像特征点的检测和匹配；通过不断将新的关键帧中的特征点加入到初始化空间模型中，构建心脏的三维模型。
优选的，所述PTAM算法的过程包括如下步骤：
S1、采用FAST算法对图像特征点进行检测；
S2、图像特征追踪Track模型：
其中，F(x)为加权目标函数，ξ为Track模型描述向量，e为投影误差。
S3、优化的集束调整算法：
其中，eij为在第i个与第j个关键帧间匹配特征点的投影误差，pi为所生成的三维特征点坐标；
S4、建立关键帧的图像特征点匹配关系，三维空间模型构建的Map过程：
其中，c为块搜索区域大小，I1与I为待匹配块，M1，M分别为I1与I的像素均值；本算法中设定搜索块大小c＝8，通过选取极线方向上与匹配点所对应块区域具有最小D值的特征点作为最佳匹配点，并通过三角测量原理建立三维空间模型；
S5、将建立的单个心脏部位模型进行合成处理，构建完整的三维心脏模型。
优选的，在步骤S4中，为每个心脏部位设置模型渲染的颜色以提升可视化效果；基于所述三维心脏模型，采用三维交互算法，实现三维心脏模型的移动、放缩、旋转功能。
优选的，在步骤S4中，所述三维心脏模型的可视化，采用三维模型切割算法，实现三维心脏模型的剖面查看功能。
优选的，所述超声图像为彩色多普勒心脏超声图像。
有益效果
1、本发明提供的一种基于超声成像构建三维心脏模型的方法，模型重建速度快，模型精度高；本发明所构建的心脏三维超声模型可以在三维空间中任意移动、旋转、缩放，从而观察心脏各组织结构的空间位置关系，从而获得比二维图像更多的诊断信息，具有巨大的应用价值。
2、本发明提供改进的全卷积神经网络学习算法进行心脏超声图像的分割和自动边缘特征的提取，采用跳跃结构，应用到多层图像数据信息，分割效果精细，特征提取精度较高。
3、本发明提供PTAM算法进行心脏超声三维建模的方法，具有系统结构简单、高实时性等特点，适用于小尺度环境，其小尺度三维建模准确度约为毫米级，适用于狭窄的心脏三维建模，所建三维心脏模型的准确率较高。
4、本发明采用三维模型切割算法实现三维心脏模型的剖面查看功能；本发明构建的三维心脏模型，在保持原有彩色多普勒的临床检查项目外，能判断分析出不同的心脏形态和容量，得到更加准确的心脏容积和收缩功能。
5、本发明将心脏超声图像的各个部位的数据集分别进行建模，然后合成处理，构建出的三维心脏模型准确度较高，各个部位的特征匹配度较高。
附图说明
图1为本发明提供的一种基于超声成像构建三维心脏模型的方法。
图2为本发明采用的全卷积神经网络的结构图。
图3为本发明采用的全卷积神经网络算法的训练过程流程图。
图4为本发明采用的PTAM算法进行心脏三维建模的流程图。
具体实施方式
以下将结合附图对本发明各实施例的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例；基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施例，都属于本发明所保护的范围。
三维心脏建模目的是构建三维心脏模型，该模型包括心脏的完整结构(左心房、右心房、左心室、右心室、静脉血管和动脉血管等)，使被检查的心脏结构显示为三维效果立体图像，从而获得比二维图像更多的诊断信息。
请参阅图1所示，本发明提供了一种基于超声成像构建三维心脏模型的方法，包括如下步骤：
S1、超声图像预处理：导入心脏超声图像数据集，对数据集进行特征点重标定处理，然后分离心脏各个部位的数据集，针对每个数据集进行去除超声斑纹噪声处理；
S2、图像分割和边缘轮廓特征提取；
S3、心脏模型三维重建：采用PTAM算法进行心脏各部位的三维建模，然后将生成的单个心脏部位模型进行合成处理，构建完整的心脏三维模型；
S4、三维心脏模型的可视化。
下面结果实施例1-2对本发明提供的一种基于超声成像构建三维心脏模型的方法进行说明：
实施例1
一种基于超声成像构建三维心脏模型的方法，包括如下步骤：
S1、超声图像预处理：导入彩色多普勒心脏超声图像数据集，对数据集进行特征点重标定处理，然后分离心脏各个部位的数据集(分为左心房数据集、左心室数据集、右心房数据集、右心室数据集、窦房结数据集、房室结数据集、主动脉数据集、肺动脉数据集、肺静脉数据集、上下腔静脉数据集)，针对每个数据集进行去除超声斑纹噪声处理；
S2、图像分割和边缘轮廓特征提取；
S3、心脏模型三维重建：采用PTAM算法进行心脏各部位的三维建模，然后将生成的单个心脏部位模型进行合成处理，构建完整的心脏三维模型；所述PTAM算法主要进行图像特征追踪和模型构建过程，具体步骤为先进行心脏超声图像特征点的检测和匹配；通过不断将新的关键帧中的特征点加入到初始化空间模型中，构建心脏的三维模型；
S4、三维心脏模型的可视化，为每个心脏部位设置模型渲染的颜色以提升可视化效果；基于所述三维心脏模型，采用三维交互算法，实现三维心脏模型的移动、放缩、旋转功能；采用三维模型切割算法，实现三维心脏模型的剖面查看功能。
请参阅图2所示，在步骤S2中，本发明采用改进的全卷积神经网络学习算法进行心脏超声图像的分割和边缘轮廓提取，将预处理后的心脏超声图像数据集分别输入到全卷积神经网络模型中进行计算，包括如下步骤：
步骤1、全卷积：将心脏超声图像进行卷积处理，卷积过程使用16层的VGGNet结构，VGGNet有8个卷积段，前5个段有2到3个卷积层，每个段以最大池化层结束，用于压缩图像大小；后3段将传统的全连接层转化为卷积层；
其中，全卷积神经网络模型参数设置为：卷积核尺寸为3*3，卷积步长设定为一个像素，窗口尺寸为2*2，步长设定为2个像素，后3段卷积核尺寸1*1，卷积步长设定为一个像素，每段卷积层内的卷积核数量相同，具体设置为：64、64、128、128、256、256、256、512、512、512、512、512、512、4096、4096、1000；
步骤2、反卷积：输入的心脏超声图像经过卷积与池化操作后，图像大小不断减小，其分辨率也逐渐变低；反卷积过程需要镜像16层VGGNet，将从网络中提取的特征图恢复到原始图像的大小和位置，并进行像素分类，直接输出图像分割的结果；
步骤3、训练迭代过程：采用跳跃结构进行迭代训练，将不同池化层的结果进行反卷积，叠加采样结果来补充图像特征细节，用以优化最终输出的图像分割结果，完成边缘特征提取。
请参阅图3所示，所述步骤S3的训练迭代过程，采用反向传播链式求导法则，通过最小化损失函数对权值进行更新，得到全卷积神经网络最优的权值参数，用以优化分割结果，算法如下：
S1、设置损失函数：
其中，n为总的样本数量；Xi和
分别代表属于和不属于目标区域的样本i的像素的集合；
表示属于目标区域的像素网络模型输出值的集合；
表示不属于目标区域的像素网络模型输出值集合；ck表示第k个像素相对于属于目标区域的概率；Fk表示第k个像素对应目标区域的数量；
S2、设定全卷积神经网络训练过程，训练卷积核的权值Z和偏置b，每次的更新和迭代都按照如下过程进行：
其中，Zm,h表示某一层的第m个神经元到相邻层第h个神经元的连接参数，δ是学习率，b是偏置量，E(Z,b)代表代价函数；
S21、前向传播过程：
隐含层输入：
输出层输入：
输出层输出：
S22、反向求导过程：
S23、更新Z，b:
S24、重复步骤S21到S23，当损失函数E在误差允许的范围之内停止操作，获得最优权值参数。
其中，基于超声成像的三维模型构建的关键技术包括降噪预处理、图像分割、三维重建、模型可视化。图像分割和边缘轮廓提取是进行三维重建与可视化的基础，分割的效果和轮廓的精度直接影响到三维重建后模型的精确性。
本发明采用改进的全卷积神经网络学习算法进行心脏超声图像的分割和自动边缘轮廓特征的提取。其中，卷积层是卷积神经网络的核心层，用来对输入数据进行特征提取。在全卷积神经网络的卷积过程使用的是16层的VGGNet，反卷积过程对全卷积过程进行镜像处理，为了提高反卷积采用结果精度，反卷积过程使用8倍跳跃结构。同时，由于反卷积还原准确度无法完整地还原图像所具有的特征，所以需要不断向前迭代来补充图像特征细节，通过进一步叠加，提高分割准确度，实现心脏超声图像的最佳分割效果。
综上所述，本发明采用的全卷积神经网络学习算法，在迭代训练时采用跳跃结构，应用到多层图像数据信息，分割效果精细，特征提取精度较高。
实施例2
一种基于超声成像构建三维心脏模型的方法，包括如下步骤：
S1、超声图像预处理：导入彩色多普勒心脏超声图像数据集，对数据集进行特征点重标定处理，然后分离心脏各个部位的数据集(分为左心房数据集、左心室数据集、右心房数据集、右心室数据集、窦房结数据集、房室结数据集、主动脉数据集、肺动脉数据集、肺静脉数据集、上下腔静脉数据集)，针对每个数据集进行去除超声斑纹噪声处理；
S2、图像分割和边缘轮廓特征提取：采用改进的全卷积神经网络学习算法进行心脏超声图像的分割和边缘轮廓提取，将预处理后的心脏超声图像数据集分别输入到全卷积神经网络模型中进行FCN网络分割算法计算；
S3、心脏模型三维重建：采用PTAM算法进行心脏各部位的三维建模，然后将生成的单个心脏部位模型进行合成处理，构建完整的心脏三维模型；
S4、三维心脏模型的可视化，为每个心脏部位设置模型渲染的颜色以提升可视化效果；基于所述三维心脏模型，采用三维交互算法，实现三维心脏模型的移动、放缩、旋转功能；采用三维模型切割算法，实现三维心脏模型的剖面查看功能。
请参阅图4所示，在步骤S3中，所述PTAM算法主要进行图像特征追踪和模型构建过程，具体步骤为先进行心脏超声图像特征点的检测和匹配；通过不断将新的关键帧中的特征点加入到初始化空间模型中，构建心脏的三维模型，所述PTAM算法的过程包括如下步骤：
步骤1、采用FAST算法对图像特征点进行检测提取；
步骤2、图像特征追踪Track模型：
其中，F(x)为加权目标函数，ξ为Track模型描述向量，e为投影误差。
步骤3、优化的集束调整算法：
其中，eij为在第i个与第j个关键帧间匹配特征点的投影误差，pi为所生成的三维特征点坐标；
步骤4、建立关键帧的图像特征点匹配关系，三维空间模型构建的Map过程：
其中，c为块搜索区域大小，I1与I为待匹配块，M1，M分别为I1与I的像素均值；本算法中设定搜索块大小c＝8，通过选取极线方向上与匹配点所对应块区域具有最小D值的特征点作为最佳匹配点，并通过三角测量原理建立三维空间模型；
步骤5、将建立的单个心脏部位模型进行合成处理，构建完整的三维心脏模型。
其中，本发明采用基于PTAM的三维心脏建模方法实现了心脏超声图像特征追踪与心脏三维空间建模过程的并行化，可以实时的定位追踪与三维建模，也可以在虚拟平面上进行心脏部位模型的叠加。本发明采用基于PTAM的三维心脏建模方法具有系统结构简单、高实时性等特点，适用于小尺度环境，其小尺度三维建模准确度约为毫米级，适用于狭窄的心脏三维建模。
本发明将心脏超声图像的各个部位的数据集分别进行建模，然后合成处理，构建出的三维心脏模型准确度较高，各个部位的特征匹配度较高。
本发明构建的三维心脏模型，在保持原有彩色多普勒的临床检查项目外，能判断分析出不同的心脏形态和容量，得到更加准确的心脏容积和收缩功能。
综上所述，本发明提供了一种基于超声成像构建三维心脏模型的方法。首先对超声图像进行预处理，然后采用改进的全卷积神经网络学习算法对数据集进行图像分割和边缘轮廓特征提取，以及采用PTAM算法进行心脏超声图像特征点的检测和匹配以及构建心脏的三维模型，最后实现三维心脏模型的可视化。本发明将心脏超声图像的各个部位的数据集分别进行建模，然后合成处理，构建出的三维心脏模型准确度较高，各个部位的特征匹配度较高。本发明所构建的三维心脏超声模型可以在三维空间中任意移动、旋转、缩放，从而观察心脏各组织结构的空间位置关系，从而获得比心脏超声二维图像更多的诊断信息，具有巨大的应用价值。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。
Claims (6)
1.一种基于超声成像构建三维心脏模型的方法，其特征在于：包括如下步骤：
S1、超声图像预处理：导入心脏超声图像数据集，对数据集进行特征点重标定处理，然后分离心脏各个部位的数据集，针对每个数据集进行去除超声斑纹噪声处理；
S2、图像分割和边缘轮廓特征提取；
S3、心脏模型三维重建：采用PTAM算法进行心脏各部位的三维建模，然后将构建的单个心脏部位模型进行合成处理，构建完整的心脏三维模型；
S4、三维心脏模型的可视化；
在步骤S1中，所述数据集分为左心房数据集、左心室数据集、右心房数据集、右心室数据集、窦房结数据集、房室结数据集、主动脉数据集、肺动脉数据集、肺静脉数据集、上下腔静脉数据集；
在步骤S2中，采用全卷积神经网络学习算法进行心脏超声图像的分割和边缘轮廓特征提取，具体步骤为：
S21、全卷积：将心脏超声图像进行卷积和池化处理，卷积过程使用16层的VGGNet结构，VGGNet有8个卷积段，前5个段有2到3个卷积层，每个段以最大池化层结束，用于压缩图像大小；后3段将传统的全连接层转化为卷积层；
其中，全卷积神经网络模型参数设置为：前5段卷积核尺寸为3*3，卷积步长设定为一个像素，窗口尺寸为2*2，步长设定为2个像素，后3段卷积核尺寸为1*1，卷积步长设定为一个像素，每段卷积层内的卷积核数量相同，具体设置为：64、64、128、128、256、256、256、512、512、512、512、512、512、4096、4096、1000；
S22、反卷积：输入的心脏超声图像经过卷积与池化操作后，图像大小不断减小，其分辨率也逐渐变低；反卷积过程需要镜像16层VGGNet，将从网络中提取的特征图恢复到原始图像的大小和位置，并进行像素分类，直接输出图像分割的结果；
S23、训练迭代过程：采用跳跃结构进行迭代训练，将不同池化层的结果进行反卷积，叠加多层图像采样数据来补充图像特征细节，用以优化最终输出的心脏超声图像分割结果，完成边缘特征提取；
所述步骤S23的训练迭代过程，采用反向传播链式求导法则，通过最小化损失函数对权值进行更新，得到全卷积神经网络最优的权值参数，用以优化分割结果，算法如下：
S231、设置损失函数：
其中，n为总的样本数量；Xi和
分别代表属于和不属于目标区域的样本i的像素的集合；
表示属于目标区域的像素网络模型输出值的集合；
表示不属于目标区域的像素网络模型输出值集合；ck表示第k个像素相对于属于目标区域的概率；Fk表示第k个像素对应目标区域的数量；
S232、设定全卷积神经网络训练过程，训练卷积核的权值Z和偏置b，每次的更新和迭代都按照如下过程进行：
其中，Zm,h表示某一层的第m个神经元到相邻层第h个神经元的连接参数，δ是学习率，b是偏置量，E(Z,b)代表代价函数；
S2321、前向传播过程：
隐含层输入：
输出层输入：
输出层输出：
S2322、反向求导过程：
S2323、更新Z，b：
S2324、重复步骤S2321到S2323，当损失函数E在误差允许的范围之内停止操作，获得最优权值参数。
2.根据权利要求1所述的一种基于超声成像构建三维心脏模型的方法，其特征在于：在步骤S3中，所述心脏模型三维重建具体步骤为先进行心脏超声图像特征点的检测和匹配；Track过程进行图像特征追踪，通过不断将新的关键帧中的特征点加入到初始化空间模型中，构建心脏的三维模型。
3.根据权利要求2所述的一种基于超声成像构建三维心脏模型的方法，其特征在于：所述PTAM算法的过程包括如下步骤：
S41、对图像特征点进行检测；
S42、图像特征追踪Track模型：
其中，F(x)为加权目标函数，ξ为Track模型描述向量，e为投影误差；
S43、优化的集束调整算法：
其中，eij为在第i个与第j个关键帧间匹配特征点的投影误差，pi为所生成的三维特征点坐标；
S44、建立关键帧的图像特征点匹配关系，三维空间模型构建的Map过程：
其中，c为块搜索区域大小，I11与I1为待匹配块，M1，M分别为I11与I1的像素均值；本算法中设定搜索块大小c＝8，通过选取极线方向上与匹配点所对应块区域具有最小D值的特征点作为最佳匹配点，并通过三角测量原理建立三维空间模型；
S45、将建立的单个心脏部位模型进行合成处理，构建完整的三维心脏模型。
4.根据权利要求1所述的一种基于超声成像构建三维心脏模型的方法，其特征在于：在步骤S4中，为每个心脏部位设置渲染颜色以提升可视化效果；基于所述三维心脏模型，采用三维交互算法实现三维心脏模型的移动、放缩、旋转功能。
5.根据权利要求4所述的一种基于超声成像构建三维心脏模型的方法，其特征在于：在步骤S4中，所述三维心脏模型的可视化，采用三维模型切割算法实现三维心脏模型的剖面切割查看功能。
6.根据权利要求1所述的一种基于超声成像构建三维心脏模型的方法，其特征在于：所述超声图像为彩色多普勒心脏超声图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911069586.6A CN110807829B (zh) | 2019-11-05 | 2019-11-05 | 一种基于超声成像构建三维心脏模型的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911069586.6A CN110807829B (zh) | 2019-11-05 | 2019-11-05 | 一种基于超声成像构建三维心脏模型的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110807829A CN110807829A (zh) | 2020-02-18 |
| CN110807829B true CN110807829B (zh) | 2020-08-18 |
Family
ID=69501110
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911069586.6A Active CN110807829B (zh) | 2019-11-05 | 2019-11-05 | 一种基于超声成像构建三维心脏模型的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110807829B (zh) |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111311737B (zh) * | 2020-03-04 | 2023-03-10 | 中南民族大学 | 心脏图像的三维建模方法、装置、设备及存储介质 |
| CN111539926B (zh) * | 2020-04-20 | 2024-04-26 | 京东方科技集团股份有限公司 | 一种图像检测方法及装置 |
| CN111599007B (zh) * | 2020-05-26 | 2021-05-25 | 王梅莹 | 一种基于无人机航拍的智慧城市cim道路贴图方法 |
| CN111816282A (zh) * | 2020-07-01 | 2020-10-23 | 杭州脉流科技有限公司 | 基于ct影像的左心室功能学分析方法、装置、计算机设备和存储介质 |
| CN111815764B (zh) * | 2020-07-21 | 2022-07-05 | 西北工业大学 | 基于自监督3d全卷积神经网络的超声三维重建方法 |
| CN112201335B (zh) * | 2020-07-23 | 2023-05-26 | 中国人民解放军总医院 | 一种线阵超声内镜下识别腹腔内结构系统及其方法 |
| CN113274129A (zh) * | 2021-05-11 | 2021-08-20 | 温州医科大学附属第二医院（温州医科大学附属育英儿童医院） | 一种基于虚拟现实的心胸外科手术辅助控制系统 |
| CN113658332B (zh) * | 2021-08-24 | 2023-04-11 | 电子科技大学 | 一种基于超声影像的腹直肌智能分割重建方法及装置 |
| CN113838210A (zh) * | 2021-09-10 | 2021-12-24 | 西北工业大学 | 一种将超声图像转换为3d模型的方法及装置 |
| CN114372961B (zh) * | 2021-11-26 | 2023-07-11 | 南京芯谱视觉科技有限公司 | 一种人造心脏瓣膜缺陷检测方法 |
| CN114663410B (zh) * | 2022-03-31 | 2023-04-07 | 清华大学 | 一种心脏三维模型生成方法、装置、设备及存储介质 |
| CN115511703B (zh) * | 2022-10-31 | 2023-05-09 | 北京安德医智科技有限公司 | 二维心脏超声切面图像的生成方法及装置、设备、介质 |
| CN116129143B (zh) * | 2023-02-08 | 2023-09-08 | 山东省人工智能研究院 | 一种基于串并联网络特征融合的边缘阔提取方法 |
| CN116158846B (zh) * | 2023-03-13 | 2024-05-14 | 天津市鹰泰利安康医疗科技有限责任公司 | 一种用于复杂心律失常的整体心脏三维标测方法及系统 |
| CN118037994B (zh) * | 2024-04-15 | 2024-06-21 | 法琛堂(昆明)医疗科技有限公司 | 心脏三维结构重建方法及系统 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060253024A1 (en) * | 2005-04-26 | 2006-11-09 | Altmann Andres C | Software product for three-dimensional cardiac imaging using ultrasound contour reconstruction |
| US20130181975A1 (en) * | 2012-01-18 | 2013-07-18 | Standard Nine Inc. (dba Inkling) | Systems and methods for objects associated with a three-dimensional model |
| CN106999052B (zh) * | 2014-12-08 | 2021-08-24 | 皇家飞利浦有限公司 | 交互式心脏测试数据和相关联的设备、系统和方法 |
-
2019
- 2019-11-05 CN CN201911069586.6A patent/CN110807829B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN110807829A (zh) | 2020-02-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110807829B (zh) | 一种基于超声成像构建三维心脏模型的方法 | |
| US11806189B2 (en) | Three-dimensional segmentation from two-dimensional intracardiac echocardiography imaging | |
| Abdi et al. | Automatic quality assessment of echocardiograms using convolutional neural networks: feasibility on the apical four-chamber view | |
| Leclerc et al. | LU-Net: a multistage attention network to improve the robustness of segmentation of left ventricular structures in 2-D echocardiography | |
| CN105741299B (zh) | 一种冠状动脉ct血管造影图像分割方法 | |
| JP2023550844A (ja) | 深層形状学習に基づく肝臓ｃｔ自動分割方法 | |
| CN101283911A (zh) | 一种冠状动脉血管轴线的四维重建方法 | |
| Alessandrini et al. | Simulation of realistic echocardiographic sequences for ground-truth validation of motion estimation | |
| Habijan et al. | Whole heart segmentation from CT images using 3D U-net architecture | |
| CN112837306B (zh) | 基于深度学习和中智理论的冠状动脉病变功能学定量方法 | |
| CN110599499A (zh) | 基于多路卷积神经网络的mri图像心脏结构分割方法 | |
| CN113112559A (zh) | 一种超声图像的分割方法、装置、终端设备和存储介质 | |
| CN101116104B (zh) | 用于分割多维数据集中的表面的方法、系统 | |
| CN113935976A (zh) | 一种增强ct图像的脏器内血管自动分割方法及系统 | |
| Lou et al. | Whole heart auto segmentation of cardiac CT images using U-Net based GAN | |
| CN109003283A (zh) | 一种基于主动形状模型的主动脉轮廓分割算法 | |
| Laumer et al. | Weakly supervised inference of personalized heart meshes based on echocardiography videos | |
| JP5364009B2 (ja) | 画像生成装置、画像生成方法、及びそのプログラム | |
| CN112598669B (zh) | 一种基于数字人技术的肺叶分割方法 | |
| Saif et al. | Computer Vision-based Efficient Segmentation Method for Left Ventricular Epicardium and Endocardium using Deep Learning | |
| EP3869458A1 (en) | Annular structure representation | |
| CN113205496A (zh) | 一种基于卷积神经网络的腹部ct图像肝肿瘤病变分割方法 | |
| Ting et al. | Multiview 3-d echocardiography image fusion with mutual information neural estimation | |
| Leclerc et al. | Lu-net: a multi-task network to improve the robustness of segmentation of left ventriclular structures by deep learning in 2d echocardiography | |
| Geng et al. | Exploring Structural Information for Semantic Segmentation of Ultrasound Images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20200722 Address after: 311100 Room 101, 22 Block 488-1 Donghu Road, Donghu Street, Yuhang District, Hangzhou City, Zhejiang Province Applicant after: Hangzhou Caizhuo Medical Equipment Co.,Ltd. Address before: 362000 Quanzhou First Hospital, Licheng District, Licheng, Quanzhou, 250 Applicant before: Zhang Donghai |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |