CN113706684A - 三维血管图像重建方法、系统、医疗设备以及存储介质 - Google Patents
三维血管图像重建方法、系统、医疗设备以及存储介质 Download PDFInfo
- Publication number
- CN113706684A CN113706684A CN202010442552.3A CN202010442552A CN113706684A CN 113706684 A CN113706684 A CN 113706684A CN 202010442552 A CN202010442552 A CN 202010442552A CN 113706684 A CN113706684 A CN 113706684A
- Authority
- CN
- China
- Prior art keywords
- image
- blood vessel
- dimensional
- cube
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 210000004204 blood vessel Anatomy 0.000 title claims abstract description 113
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 34
- 230000011218 segmentation Effects 0.000 claims abstract description 23
- 238000003709 image segmentation Methods 0.000 claims abstract description 19
- 238000012545 processing Methods 0.000 claims abstract description 13
- 238000007781 pre-processing Methods 0.000 claims abstract description 12
- 238000002604 ultrasonography Methods 0.000 claims description 50
- 230000015654 memory Effects 0.000 claims description 21
- 239000013598 vector Substances 0.000 claims description 21
- 238000001914 filtration Methods 0.000 claims description 16
- 238000012549 training Methods 0.000 claims description 14
- 230000002792 vascular Effects 0.000 claims description 12
- 230000008602 contraction Effects 0.000 claims description 8
- 230000004913 activation Effects 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 4
- 230000002093 peripheral effect Effects 0.000 claims description 4
- 230000010339 dilation Effects 0.000 claims description 3
- 230000006870 function Effects 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 238000003745 diagnosis Methods 0.000 abstract description 5
- 238000005516 engineering process Methods 0.000 abstract description 4
- 238000004422 calculation algorithm Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 8
- 230000017531 blood circulation Effects 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 238000009499 grossing Methods 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 239000000243 solution Substances 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 206010057469 Vascular stenosis Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000002872 contrast media Substances 0.000 description 1
- 238000002607 contrast-enhanced ultrasound Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 238000011425 standardization method Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
- Image Processing (AREA)
Abstract
本申请涉及图像处理技术邻域，具体公开了一种三维血管图像重建方法、系统、医疗设备以及存储介质，该方法包括：获取与血管方向垂直、且连续的多幅血管超声图像；对血管超声图像进行预处理；利用训练好的卷积神经网络模型对预处理后的血管超声图像进行图像分割，以获得多幅二值图像；对多幅二值图像进行三维重建，得到三维血管图像。通过上述方式，本申请能够提高分割精度和效率，减少分割时间，提高诊断准确率和诊断效率。
Description
技术邻域
本申请涉及医学影像技术邻域，特别是涉及三维血管图像重建方法、系统、医疗设备以及存储介质。
背景技术
多普勒超声作为一个筛查工具，可用于间接评估血管狭窄的严重程度，但无法显示血管内膜是否增厚或斑块形成、直观展示斑块的大小。而传统的血管三维重建技术，例如，超声造影对血管的重建受限于造影剂的注入范围，且易对病人噪声二次伤害；CT存在成本高，辐射大等缺点。现有技术在定位血管的时候，需要采集血流信息和图像信息两种信息，进而通过算法来识别血管，该采集过程繁琐且难度大。
发明内容
本申请的目的在于提供一种快速、高效、准确的三维血管图像重建方法、系统、医疗设备以及存储介质，能够提高分割精度和效率，减少分割时间，提高诊断准确率和诊断效率。
一方面，本申请提供了一种三维血管图像重建方法，该方法包括：获取多幅血管超声图像；对血管超声图像进行预处理；对预处理后的血管超声图像进行图像分割，以获得多幅二值图像；对多幅二值图像进行三维重建，得到三维血管图像。
另一方面，本申请提供了一种三维血管图像重建系统，该系统包括：获取模块，用于获取多幅血管超声图像；预处理模块，用于对所述血管超声图像进行预处理；图像分割模块，用于对预处理后的所述血管超声图像进行图像分割，以获得多幅二值图像；三维重建模块，用于对多幅所述二值图像进行三维重建，得到三维血管图像。
又一方面，本申请提供了一种医疗设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行前述的任一项方法的步骤。
再一方面，本申请提供了一种计算机可读存储介质，计算机可读存储介质中存储有计算程序，当其在计算机上运行时，使得计算机执行前述的方法。
本申请的有益效果是：区别于现有技术的情况，本申请通过分割血管超声图像，得到相应的二值图像，提高了分割精度和效率，减少分割时间。同时，可以不依赖血流信息，只单纯依靠超声图像来识别和分割血管。通过对多幅二值图像进行三维重建，可以提供精确的三维血管图像，使医护人员能够更加清晰直观观测采集对象的血管形态、内径变化，打破了传统二维断层图像对某些病变部位观察不清晰的缺点，提高了诊断准确率和诊断效率。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本邻域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：
图1是本申请三维血管图像重建方法第一实施例的流程示意图；
图2是本申请三维血管图像重建方法第二实施例的流程示意图；
图3是本申请三维血管图像重建方法第三实施例的流程示意图；
图4是本申请三维血管图像重建方法第四实施例的流程示意图；
图5是本申请三维血管图像重建方法第五实施例的流程示意图；
图6是本申请三维血管图像重建方法第六实施例的流程示意图
图7是本申请三维血管图像重建系统第一实施例的结构示意图；
图8是本申请三维血管图像重建系统第二实施例的结构示意图；
图9是本申请医疗设备一实施例的结构示意图；
图10是卷积神经网络模型的结构示意图；
图11是立方体的结构示意图；
图12是立方体的若干个顶点按阈值进行分类示意图；
图13是立方体的索引信息示意图；
图14是MC算法的15种拓扑构型的结构示意图；
图15是具有两个标记点的3种拓扑构型的结构示意图；
图16是三维血管图像的最终结果。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部实施例。基于本申请中的实施例，本邻域普通技术人员在没有做出创造性的劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
参阅图1，图1是本申请三维血管图像重建方法第一实施例的流程示意图，该方法包括：
S101：获取多幅血管超声图像。
本步骤中，采用自动扫查装置采集与血管方向垂直的、连续的血管超声图像，该血管超声图像完全覆盖了病人主血管和分支血管，在三维重建后的3D模型会完整的呈现出病人血管的病症状态。
S102：对血管超声图像进行预处理。
具体地，对获得的血管超声图像进行图像滤波处理，以过滤掉多余的干扰信号，滤波处理后对血管超声图像进行增强操作，为避免在上一步去噪时干扰了正常的信息，增强之后还可以对血管超声图像进行平滑操作，将不规则的图像进一步优化，为下一步图像分割尽可能提供一个完整平滑的模型，平滑后系统对血管超声图像进行平滑检查，若不平滑则重复平滑操作。
其中，图像滤波处理可以采用例如频域滤波法、空间域中的均值滤波法以及中值滤波法等方法，在此不做限定，以提高图像质量的同时，提供图像处理中特征提取的准确度。增强操作可以采用例如全局直方图增强、局部直方图增强或者Wallis变换图像增强等方法，在此不做限定，以提升血管超声图像中血管的清晰度。在其他实施例中，可以根据具体情况采用其他的图像去噪及增强算法或者不使用图像去噪及增强算法。
进一步地，为了降低数据波动对算法的影响，加快算法的推理过程，还可以对预处理后的血管超声图像进行标准化处理，例如可以使用均值和方差对预处理后的血管超声图像进行标准化处理。但不仅限于此，也可以根据具体情况采用其他的标准化方法。
S103：对预处理后的血管超声图像进行图像分割，以获得多幅二值图像。
本步骤中，可以利用大量的训练样本(超声血管图像集)训练卷积神经网络模型，以得到最优的卷积神经网络模型。将预处理后的血管超声图像逐帧输入训练好的卷积神经网络模型中，得到血管超声图像的分割概率预测图，对此分割概率预测图进行二值化处理，得到最终的二值图像。
S104：对多幅二值图像进行三维重建，得到三维血管图像。
本步骤中，三维重建是通过对二维图像序列进行边缘提取等分割处理，重新还原出被检血管的三维图像。进一步地，将三维血管图像与正常影像学形态进行对比，可以给出辅助诊断信息，以辅助医生对疾病进行诊断，达到提高诊断准确率和诊断效率的目标。
区别于现有技术的情况，本申请实施例通过分割血管超声图像，得到相应的二值图像，提高了分割精度和效率，减少分割时间。同时，可以不依赖血流信息，只单纯依靠超声图像来识别和分割血管。通过对多幅二值图像进行三维重建，可以提供精确的三维血管图像，使医护人员能够更加清晰直观观测采集对象的血管形态、内径变化，打破了传统二维断层图像对某些病变部位观察不清晰的缺点，提高了诊断准确率和诊断效率。
参阅图2，图2是本申请三维血管图像重建方法第二实施例的流程示意图，步骤S102包括：
S21：获取多幅血管超声图像的中心像素点和以中心像素点为中心的若干个周边像素点的灰度值。
S22：对中心像素点和以中心像素点为中心的若干个周边像素点的灰度值进行均值滤波处理或中值滤波处理，以去除噪音。
本步骤中，均值滤波处理的过程具体如下：对中心像素点以及8个周边像素点的灰度值进行加权平均，获得中心像素点的3×3邻域均值，并将邻域均值赋给中心像素点。通过对中心像素点和若干个周边像素点进行加权平均，可以有效降低噪声对该像素点的影响。进一步可将当前帧图像中的像素点的邻域均值的计算结果储存在内存中，以便之后读取比较时更方便。
中值滤波是一种非线性的信号处理方法。本质上，中值滤波是一种统计排序滤波器。对原图像中的中心像素点，中值滤波以该中心像素点为中心的3×3邻域内所有像素的统计排序中值作为中心像素点的响应。本步骤中，中值滤波处理的过程具体如下：对中心像素点以及8个周边像素点的灰度值按由小到大顺序排列，然后将这列数据的中间值赋给中心像素点。相比于频域滤波和均值滤波算法，中值滤波不仅运算速度快，对孤立噪声像素具有非常好滤波效果，且处理后图像比较清晰，还能有效保留图像的有用边缘信息。
参阅图3，图3是本申请三维血管图像重建方法第三实施例的流程示意图，步骤S103包括：
S105：构建卷积神经网络模型。
其中，如图10所示，卷积神经网络模型由收缩路径(contracting path)和扩张路径(expanding path)组成。其中，收缩路径用于获取上下文信息(context)，即局部特征，扩张路径用于精确的定位(localization)，且两条路径相互对称，且网络的深度相同。卷积神经网络模型的收缩路径与扩张路径之间存在通道维度拼接融合(即图10所示的copy andcrop)。
基于均值为0的高斯分布，对卷积神经网络模型的初始参数进行初始化，得到像素大小为572×572的输入图像(即图10所示的input image tile)。
在收缩路径中，随着网络的深入，不断对输入图像的抽象表示进行编码，以提取图像丰富的特征。在扩张路径中，结合收缩路径中的高分辨率特征，以精确定位感兴趣的目标结构。其中，收缩路径与扩张路径均有五个分辨率步骤，即深度为5。
收缩路径中，每个深度均包含1个输入层以及2个内核大小为3×3的第一卷积层(即图10所示的conv)，相邻的两个深度之间设有1个步长均为2内核大小为2×2的最大池化层(即图10所示的max pool)，每个第一卷积层后面都设有相应的ReLu激活层，以增强了训练后所得卷积神经网络模型的泛化能力，从而可以进一步提高分析准确度。
扩张路径中，每个深度均包含1个输入层以及2个内核大小为3×3的反卷积层，相邻的两个深度之间设有1个步长均为2内核大小为2×2的上采样层(即图10所示的up-conv)，每个反卷积层后面都设有相应的ReLu激活层。每上采样一次，就和收缩路径对应的通道数相同尺度融合，但是融合之前要以中心某个区域进行裁剪。
在扩张路径的最后一个反卷积层的输出端与第二卷积层的输入端连接，第二卷积层的内核大小为1×1，以将输出通道的数量减少到标目标数量，并最终输出分割图像(即图10所示的output segmentation map)。
S106：将训练样本集输入到卷积神经网络模型中进行训练，得到训练好的卷积神经网络模型。
本步骤中，训练样本集包括海量的预处理后的血管超声图像，其中，预处理过程可以参阅上述实施例，在此不做赘述。
S107：利用训练好的卷积神经网络模型对预处理后的血管超声图像进行图像分割，以获得二值图像序列。
通过上述方式，通过海量的医学图像数据对卷积神经网络模型进行训练，得到稳定的卷积神经网络模型，采用优化后的卷积神经网络模型实现自动分割血管超声图像，得到相应的二值图像，提高了分割精度和效率，减少分割时间。
参阅图4，图4是本申请三维血管图像重建方法第四实施例的流程示意图，步骤S107包括：
S31：将预处理后的血管超声图像逐帧送入训练好的卷积神经网络模型中，得到预测概率图像。
S32：根据各预测概率图像的特征值计算二值化分割的最佳阈值。
S33：利用二值化分割的最佳阈值对预测概率图进行分割，得到包含血管区域的二值图像，其中，二值图像序列包括连续的多幅二值图像。
具体地，计算步骤S31得到的各预测概率图像的均值、方差和灰度值，根据各预测概率图像的均值和方差，采用Otsu算法计算二值化分割的最佳阈值，将各预测概率图像的灰度值与最佳阈值进行比较，其中，将灰度值大于或等于最佳阈值的预测概率图像中的所有像素点均标记为目标图像，同时将灰度值小于最佳阈值的预测概率图像中的所有像素点均标记为背景图像。在各个像素点均被标记完成后，二值化分割完成。
参阅图5，图5是本申请三维血管图像重建方法第五实施例的流程示意图，步骤S104包括：
S41：将每幅二值图像转化为三维数组。
本步骤中，将每幅二值图像中任意一个像素点Pk(i，j)量化为三维数组S(i，j，k)，其中k代表二值图像在二值图像序列中的编号(即帧数)，i、j代表二值图像的坐标，且i、j为整数，当前编号图像上的像素点表示为Pk(i，j)。
S42：基于三维数组构造立方体。
本步骤中，每次读取相邻两幅二值图像的三维数组，如图11所示，每一幅二值图像中的每一个圆点表示每一个层的一个像素点，由相邻两幅二值图像(第k层和第k+1层)上的各4个像素组成一个立方体的若干个顶点。依次读取相邻两幅二值图像的三维数组，逐个构造立方体。
S43：逐个比较立方体的各个顶点的灰度值与预设阈值，以得到各个顶点的标量值。
本步骤中，对每一个立方体的若干个顶点按阈值进行分类：如图12所示，如果顶点灰度值小于阈值，则该顶点在等值面外，标记为1(即为正点)，否则，该顶点在等值面内，标记为0(即为负点)。
S44：基于索引信息定义规则和各个顶点的标量值，得到立方体的索引信息。
如图13所示，将这若干个顶点编号为7～0，将这若干个顶点的标量值按从低到高的次序排列，得到由八个二进制数位组成的索引信息Index，Index的每一位可表示出对应顶点的状态(即顶点在等值面外或在等值面内)。
S45：根据索引信息查找索引表，确定与等值面有相交点的立方体的相交边。
本步骤中，索引表是基于经典Marching Cubes(MC)算法得到的。MC算法的基本假设是：沿着立方体的棱边，立方体的数据呈局部连续线性变化。基于这个基本假设，可以认为如果两个相邻像素点一个为正点，一个为负点，则它们连成的边上一定存在且仅有一个等值点。如果得到了立方体各条边上的等值点，就可以以这些点为顶点，用一系列的三角形拟合出该立方体中的等值面。因此确定立方体中等值面和立方体相交的边是MC算法的基础。由于每个立方体共有若干个顶点，且每个顶点有正负两种状态，所以等值面可能以256种方式与一个立方体相交。
考虑到互补对称性，本实施例需要将等值面的值和若干个顶点的标量值的大小关系颠倒过来，因此，对Index进行求反(即顶点在等值面外，则在求反后标记为0；顶点在等值面内，则在求反后标记为1)，这样做并不会影响该立方体的若干个顶点和等值面之间的拓扑构型，同时可以将256种方式简化成128种方式。其次，再利用旋转对称性，可将这128种方式进一步简化成如图14所示的15种拓扑构型。
通过列举出这256种情况，就能创建索引表，该索引表中包含256个索引项，每个索引项可以包含索引、图形性质、以及指向15种拓扑构型的指针。进一步地，每个索引项还可以包含八个二进制数位组成的Index。利用这一索引表，可以根据当前立方体的索引信息Index查出当前立方体的拓扑构型，确定当前立方体的顶点属于256种情况中哪一种，确定与等值面有交点的当前立方体的相交边。
S46：根据相交边的两个顶点的坐标与法向量，计算得到相交点的坐标和法向量。
本步骤中，获得和等值面有交点的当前立方体的相交边后，可获得的相交边的两顶点及其法向量。对于当前被处理立方体的某一条边，如果其两顶点的标记值不同，那么等值面一定与此棱边相交且仅有一个相交点。因此，可以根据相交边的两顶点及其法向量，通过中点选择法计算等值点坐标P和法向量N。
其中，
P＝P1+(isovalue-V1)(P2-P1)/(V2-V1)
N＝N1+(isovalue-V1)(N2-N1)(V2-V1)。
上述算式中，P代表相交点的坐标，P1、P2分别代表两个顶点的坐标，V1、V2分别代表两个顶点的灰度值，isovalue代表预设阈值，N代表相交点的法向量，N1、N2分别代表两个顶点的法向量。
S47：根据多个相交点的坐标和法向量确定三维血管图像。
本步骤中，根据顶点以及多个相交点的坐标P和法向量N，确定当前立方体内构成三角面片的等值点的组合方式，并由各立方体内的三角面片构成等值面，并拟合得到三维血管像。
进一步地，还可以检测等值面是否光滑，若不光滑则进入光滑处理步骤，完善三维血管图像。
重建之后的三维血管图像进入可视化模块显示呈现，可视化模块是基于MITK平台封装好的可视化程序用C++开发出来的，重建之后的三维血管图像可以在此清晰、立体、直观的展现在医生眼前，来帮助医生分析病情。
参阅图6，图6是本申请三维血管图像重建方法第六实施例的流程示意图，步骤S43包括：
S431：获取预设阈值。
其中，预设阈值由三维血管图像重建系统自主设置。
S432：逐个比较立方体的各个顶点的灰度值与预设阈值。
S433：若顶点的灰度值大于预设阈值，则顶点位于等值面之外，记为1，或者，若顶点的灰度值小于预设阈值，则顶点位于等值面之内，记为0。
将在以下实施例中进一步描述本文中描述的构思，本实施例不限制权利要求书中描述的本申请的范围。
当某一立方体的第3个、第5个顶点的标量值为1，其余顶点的标量值均为零时，Index＝00010100。为了消除经典MC算法中的二义性，并满足变换成15种拓扑构型的要求，本实施例中加入了限制条件(Index中的0的个数小于等于4)，得到Index＝11101011。
对Index进行求反，并将求反后的立方体变换为15种拓扑构型的一种，得到如图15所示的具有两个标记点的3种拓扑构型。此时，将上述情况旋转变换成第(3)种拓扑构型，即第0个、第6个顶点为0时的状态，记录变换方式type。接着通过查找修改后的查找索引表，得到图15所示的第(3)种拓扑构型的立方体的相交边为(0,3,4)和(6,9,10)，再根据type值查出原始条件下的连接状态，最后通过计算插值点和法向量，确定当前立方体内构成三角面片的等值点的组合方式，由各立方体内的三角面片构成等值面拟合，得到重建后的三维血管图像，三维血管图像如图16所示。
本申请上述实施例中训练好的卷积神经网络模型以及相关计算算法被编写成计算机程序，储存在计算机可读介质中，包括随机存取存储器(RAM)、只读存储器(ROM)、磁性软盘、闪速存储器以及其他类型的存储器或其组合。计算机程序的代码由中央处理单元CPU或图形处理单元GPU执行以控制和/或处理。
参阅图7，图7是本申请三维血管图像重建系统第一实施例的结构示意图，该系统10包括：获取模块101、预处理模块102、图像分割模块103以及三维重建模块104。
获取模块101用于获取多幅血管超声图像。
预处理模块102用于对血管超声图像进行预处理。
图像分割模块103用于对预处理后的血管超声图像进行图像分割，以获得多幅二值图像。
三维重建模块104用于对多幅二值图像进行三维重建，得到三维血管图像。
参阅图8，图8是本申请三维血管图像重建系统第二实施例的结构示意图，该系统10还包括：构建模块105和训练模块106。
构建模块105用于构建卷积神经网络模型。
训练模块106用于将训练样本集输入到卷积神经网络模型中进行训练，得到训练好的卷积神经网络模型。
图像分割模块103还用于：利用训练好的所述卷积神经网络模型对预处理后的所述血管超声图像进行图像分割，以获得所述二值图像序列。
其中，卷积神经网络模型包括：用于图像特征提取的收缩路径和用于恢复目标对象的扩张路径，收缩路径与扩张路径的深度相同。
其中，收缩路径中，每个深度均包含1个输入层以及2个内核大小为3×3的第一卷积层，相邻的两个深度之间设有1个步长均为2内核大小为2×2的最大池化层，每个第一卷积层后面都设有相应的ReLu激活层。
扩张路径中，每个深度均包含1个输入层以及2个内核大小为3×3的反卷积层，相邻的两个深度之间设有1个步长均为2内核大小为2×2的上采样层，每个反卷积层后面都设有相应的ReLu激活层。
在扩张路径的最后一个反卷积层的输出端与第二卷积层的输入端连接，第二卷积层的内核大小为1×1。
上述实施例中的三维重建模块104用于：将每幅二值图像转化为三维数组S(i，j，k)，其中，i、j代表二值图像的坐标，k代表二值图像的帧数。
三维重建模块104还用于：基于三维数组构造立方体，逐个比较立方体的各个顶点的灰度值与预设阈值，以得到各个顶点的标量值，并基于索引信息定义规则和各个顶点的标量值，得到立方体的索引信息。
三维重建模块104还用于：根据索引信息查找索引表，确定与等值面有相交点的立方体的相交边。根据相交边的两个顶点的坐标与法向量，计算得到相交点的坐标P和法向量N，并根据多个相交点的坐标P和法向量N确定三维血管图像。
其中，
P＝P1+(isovalue-V1)(P2-P1)/(V2-V1)
N＝N1+(isovalue-V1)(N2-N1)(V2-V1)。
上述算式中，P代表相交点的坐标，P1、P2分别代表两个顶点的坐标，V1、V2分别代表两个顶点的灰度值，isovalue代表预设阈值，N代表相交点的法向量，N1、N2分别代表两个顶点的法向量。
需要说明的是，本实施方式的三维血管图像重建系统10可以执行上述方法中的步骤，相关内容的详细说明请参见上述方法部分，在此不再赘叙。
参阅图9，图9是本申请医疗设备一实施例的结构示意图，该医疗设备20包括：至少一个处理器201以及与至少一个处理器201通信连接的存储器202。其中，存储器202存储有可被至少一个处理器201执行的指令，指令被至少一个处理器201执行，以使至少一个处理器201能够执行上述实施例中的三维血管图像重建方法的步骤。
存储器202作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的三维血管图像重建方法对应的程序指令/模块。处理器201通过运行存储在存储器202中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的三维血管图像重建方法。
存储器202可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序。存储数据区可存储根据医疗问题解答的电子设备的使用所创建的数据等。此外，存储器202可以包括高速随机存取存储器202，还可以包括非瞬时存储器202，例如至少一个磁盘存储器202件、闪存器件、或其他非瞬时固态存储器202件。在一些实施例中，存储器202可选包括相对于处理器201远程设置的存储器202，这些远程存储器202可以通过网络连接至医疗问题解答的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
需要说明的是，本实施方式的医疗设备20可以执行上述方法中的步骤，相关内容的详细说明请参见上述方法部分，在此不再赘叙。
本申请还提出一种具有存储功能的装置，装置中存储有计算程序，程序数据能够被处理器执行以实现上述实施例中的三维血管图像重建方法的步骤，相关内容的详细说明请参见上述方法部分，在此不再赘叙。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
区别于现有技术的情况，本申请通过分割血管超声图像，得到相应的二值图像，提高了分割精度和效率，减少分割时间。同时，可以不依赖血流信息，只单纯依靠超声图像来识别和分割血管。通过对多幅二值图像进行三维重建，可以提供精确的三维血管图像，使医护人员能够更加清晰直观观测采集对象的血管形态、内径变化，打破了传统二维断层图像对某些病变部位观察不清晰的缺点，提高了诊断准确率和诊断效率。
以上仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术邻域，均同理包括在本申请的专利保护范围内。
Claims (12)
1.一种三维血管图像重建方法，其特征在于，所述方法包括：
获取多幅血管超声图像；
对所述血管超声图像进行预处理；
对预处理后的所述血管超声图像进行图像分割，以获得多幅二值图像；
对多幅所述二值图像进行三维重建，得到三维血管图像。
2.根据权利要求1所述的方法，其特征在于，所述对所述血管超声图像进行预处理的步骤，包括：
获取多幅所述血管超声图像的中心像素点和以所述中心像素点为中心的若干个周边像素点的灰度值；
对所述中心像素点和以所述中心像素点为中心的若干个周边像素点的灰度值进行均值滤波处理或中值滤波处理，以去除噪音。
3.根据权利要求1所述的方法，其特征在于，所述对预处理后的所述血管超声图像进行图像分割，以获得多幅二值图像包括：
构建卷积神经网络模型；
将训练样本集输入到所述卷积神经网络模型中进行训练，得到训练好的所述卷积神经网络模型；
利用训练好的所述卷积神经网络模型对预处理后的所述血管超声图像进行图像分割，以获得所述二值图像序列。
4.根据权利要求3所述的方法，其特征在于，
所述卷积神经网络模型包括：用于图像特征提取的收缩路径和用于恢复目标对象的扩张路径，所述收缩路径与所述扩张路径的深度相同；
其中，所述收缩路径中，每个深度均包含1个输入层以及2个内核大小为3×3的第一卷积层，相邻的两个深度之间设有1个步长均为2内核大小为2×2的最大池化层，每个所述第一卷积层后面都设有相应的ReLu激活层；
所述扩张路径中，每个深度均包含1个输入层以及2个内核大小为3×3的反卷积层，相邻的两个深度之间设有1个步长均为2内核大小为2×2的上采样层，每个所述反卷积层后面都设有相应的ReLu激活层；
在所述扩张路径的最后一个反卷积层的输出端与第二卷积层的输入端连接，第二卷积层的内核大小为1×1。
5.根据权利要求3所述的方法，其特征在于，利用训练好的所述卷积神经网络模型对预处理后的所述血管超声图像进行图像分割，以获得所述二值图像序列的步骤，包括：
将预处理后的所述血管超声图像逐帧送入训练好的所述卷积神经网络模型中，得到预测概率图像；
根据各预测概率图像的特征值计算二值化分割的最佳阈值；
利用所述二值化分割的最佳阈值对所述预测概率图进行分割，得到包含血管区域的二值图像；
其中，所述二值图像序列包括连续的多幅所述二值图像。
6.根据权利要求1所述的方法，其特征在于，所述对多幅所述二值图像进行三维重建，得到三维血管图像的步骤包括：
将每幅所述二值图像转化为三维数组；
基于所述三维数组构造立方体；
逐个比较所述立方体的各个顶点的灰度值与预设阈值，以得到各个所述顶点的标量值；
基于索引信息定义规则和各个所述顶点的标量值，得到所述立方体的索引信息；
根据所述索引信息查找索引表，确定与等值面有相交点的所述立方体的相交边；
根据所述相交边的两个顶点的坐标与法向量，计算得到所述相交点的坐标和法向量；
根据多个所述相交点的坐标和法向量确定所述三维血管图像。
7.根据权利要求6所述的方法，其特征在于，所述逐个比较所述立方体的各个顶点的灰度值与预设阈值，以得到各个所述顶点的标量值的步骤包括：
获取所述预设阈值；
逐个比较所述立方体的各个顶点的灰度值与所述预设阈值；
若所述顶点的灰度值大于所述预设阈值，则所述顶点位于等值面之外，记为1，或者，若所述顶点的灰度值小于所述预设阈值，则所述顶点位于等值面之内，记为0。
8.一种三维血管图像重建系统，其特征在于，所述系统包括：
获取模块，用于获取多幅血管超声图像；
预处理模块，用于对所述血管超声图像进行预处理；
图像分割模块，用于对预处理后的所述血管超声图像进行图像分割，以获得多幅二值图像；
三维重建模块，用于对多幅所述二值图像进行三维重建，得到三维血管图像。
9.根据权利要求1所述的三维血管图像重建系统，其特征在于，所述系统还包括：
构建模块，用于构建卷积神经网络模型；
训练模块，用于将训练样本集输入到所述卷积神经网络模型中进行训练，得到训练好的所述卷积神经网络模型；
所述图像分割模块还用于：利用训练好的所述卷积神经网络模型对预处理后的所述血管超声图像进行图像分割，以获得所述二值图像序列。
10.根据权利要求1所述的三维血管图像重建系统，其特征在于，所述三维重建模块，用于：
将每幅所述二值图像转化为三维数组；
基于所述三维数组构造立方体；
逐个比较所述立方体的各个顶点的灰度值与预设阈值，以得到各个所述顶点的标量值；
基于索引信息定义规则和各个所述顶点的标量值，得到所述立方体的索引信息；
根据所述索引信息查找索引表，确定与等值面有相交点的所述立方体的相交边；
根据所述相交边的两个顶点的坐标与法向量，计算得到所述相交点的坐标和法向量；
根据多个所述相交点的坐标和法向量确定所述三维血管图像。
11.一种医疗设备，其特征在于，包括：
至少一个处理器；
以及与所述至少一个处理器通信连接的存储器；
其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7所述的任一项方法的步骤。
12.一种具有存储功能的装置，其特征在于，存储有程序数据，所述程序数据能够被处理器执行以实现如权利要求1～7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010442552.3A CN113706684A (zh) | 2020-05-22 | 2020-05-22 | 三维血管图像重建方法、系统、医疗设备以及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010442552.3A CN113706684A (zh) | 2020-05-22 | 2020-05-22 | 三维血管图像重建方法、系统、医疗设备以及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113706684A true CN113706684A (zh) | 2021-11-26 |
Family
ID=78646316
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010442552.3A Pending CN113706684A (zh) | 2020-05-22 | 2020-05-22 | 三维血管图像重建方法、系统、医疗设备以及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113706684A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114494070A (zh) * | 2022-01-28 | 2022-05-13 | 上海联影智能医疗科技有限公司 | 血管图像的增强方法、装置、设备和存储介质 |
| CN115965750A (zh) * | 2023-03-16 | 2023-04-14 | 深圳微创踪影医疗装备有限公司 | 血管重建方法、装置、计算机设备和可读存储介质 |
| CN116863146A (zh) * | 2023-06-09 | 2023-10-10 | 强联智创（北京）科技有限公司 | 用于对血管瘤特征进行提取的方法、设备及存储介质 |
| CN118379318A (zh) * | 2024-03-26 | 2024-07-23 | 海南大学 | 一种用于传统纹样图像特征提取的图像分割优化方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102800089A (zh) * | 2012-06-28 | 2012-11-28 | 华中科技大学 | 基于颈部超声图像的主颈动脉血管提取和厚度测量方法 |
| CN103413349A (zh) * | 2013-07-19 | 2013-11-27 | 东北大学 | 一种基于ios操作系统的dicom图像三维可视化方法 |
| CN109741335A (zh) * | 2018-11-28 | 2019-05-10 | 北京理工大学 | 血管oct图像中血管壁及血流区域的分割方法与装置 |
| CN111161216A (zh) * | 2019-12-09 | 2020-05-15 | 杭州脉流科技有限公司 | 基于深度学习的血管内超声图像处理方法、装置、设备和存储介质 |
-
2020
- 2020-05-22 CN CN202010442552.3A patent/CN113706684A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102800089A (zh) * | 2012-06-28 | 2012-11-28 | 华中科技大学 | 基于颈部超声图像的主颈动脉血管提取和厚度测量方法 |
| CN103413349A (zh) * | 2013-07-19 | 2013-11-27 | 东北大学 | 一种基于ios操作系统的dicom图像三维可视化方法 |
| CN109741335A (zh) * | 2018-11-28 | 2019-05-10 | 北京理工大学 | 血管oct图像中血管壁及血流区域的分割方法与装置 |
| CN111161216A (zh) * | 2019-12-09 | 2020-05-15 | 杭州脉流科技有限公司 | 基于深度学习的血管内超声图像处理方法、装置、设备和存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| 吴水才等: "《医学超声及应用》", 30 July 2012, 北京工业大学出版社, pages: 165 - 166 * |
| 白净: "《生理功能数字仿真与无创成像》", 30 April 2004, 江苏科学技术出版社, pages: 38 - 42 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114494070A (zh) * | 2022-01-28 | 2022-05-13 | 上海联影智能医疗科技有限公司 | 血管图像的增强方法、装置、设备和存储介质 |
| CN115965750A (zh) * | 2023-03-16 | 2023-04-14 | 深圳微创踪影医疗装备有限公司 | 血管重建方法、装置、计算机设备和可读存储介质 |
| WO2024187937A1 (zh) * | 2023-03-16 | 2024-09-19 | 深圳微创踪影医疗装备有限公司 | 血管重建方法、装置、计算机设备和可读存储介质 |
| CN116863146A (zh) * | 2023-06-09 | 2023-10-10 | 强联智创（北京）科技有限公司 | 用于对血管瘤特征进行提取的方法、设备及存储介质 |
| CN116863146B (zh) * | 2023-06-09 | 2024-03-08 | 强联智创（北京）科技有限公司 | 用于对血管瘤特征进行提取的方法、设备及存储介质 |
| CN118379318A (zh) * | 2024-03-26 | 2024-07-23 | 海南大学 | 一种用于传统纹样图像特征提取的图像分割优化方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110807788B (zh) | 医学图像处理方法、装置、电子设备及计算机存储介质 | |
| CN113706684A (zh) | 三维血管图像重建方法、系统、医疗设备以及存储介质 | |
| CN112258514B (zh) | 一种ct影像肺血管的分割方法 | |
| CN112862830B (zh) | 一种多模态图像分割方法、系统、终端及可读存储介质 | |
| CN112365973B (zh) | 基于对抗网络和Faster R-CNN的肺结节辅助诊断系统 | |
| CN114037714A (zh) | 一种面向前列腺系统穿刺的3d mr与trus图像分割方法 | |
| CN113223005A (zh) | 一种甲状腺结节自动分割及分级的智能系统 | |
| CN111275712A (zh) | 一种面向大尺度图像数据的残差语义网络训练方法 | |
| KR20200082660A (ko) | 머신러닝 기반 병리 진단 방법 및 장치 | |
| CN111047608A (zh) | 一种基于Distance-AttU-Net的端到端的乳腺超声图像的分割方法 | |
| CN112102259A (zh) | 一种基于边界引导深度学习的图像分割算法 | |
| Aslam et al. | A review of deep learning approaches for image analysis | |
| CN117409002A (zh) | 一种用于创伤的视觉识别检测系统及其检测方法 | |
| Farhangi et al. | Automatic lung nodule detection in thoracic CT scans using dilated slice‐wise convolutions | |
| CN113256670A (zh) | 图像处理方法及装置、网络模型的训练方法及装置 | |
| CN113724185A (zh) | 用于图像分类的模型处理方法、装置及存储介质 | |
| Jimi et al. | Automated skin lesion segmentation using vgg-unet | |
| Wang et al. | Deep learning based fetal middle cerebral artery segmentation in large-scale ultrasound images | |
| Du et al. | RESEARCH ON BIOMEDICAL IMAGE DENOISING METHOD BASED ON DEEP LEARNING | |
| CN117710317B (zh) | 检测模型的训练方法及检测方法 | |
| CN112766332A (zh) | 医学影像检测模型训练方法、医学影像检测方法及装置 | |
| CN118037685A (zh) | 一种基于深度学习的超声器官结构点定位方法和装置 | |
| CN115631194B (zh) | 颅内动脉瘤识别检测的方法、装置、设备及介质 | |
| Samudrala et al. | Semantic segmentation in medical image based on hybrid Dlinknet and UNet | |
| CN116777893A (zh) | 一种基于乳腺超声横纵切面特征结节的分割与识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information | ||
| CB03 | Change of inventor or designer information |
Inventor after: Yu Lingan Inventor after: Xu Liyun Inventor after: Zhang Maomao Inventor after: Ling Feng Inventor after: Tao Lin Inventor after: Hu Weimin Inventor before: Hu Weimin Inventor before: Yu Lingan Inventor before: Xu Liyun Inventor before: Zhang Maomao Inventor before: Ling Feng Inventor before: Tao Lin |