CN115375560B - 一种3d-dsa图像的重建方法及系统 - Google Patents
一种3d-dsa图像的重建方法及系统 Download PDFInfo
- Publication number
- CN115375560B CN115375560B CN202210868669.7A CN202210868669A CN115375560B CN 115375560 B CN115375560 B CN 115375560B CN 202210868669 A CN202210868669 A CN 202210868669A CN 115375560 B CN115375560 B CN 115375560B
- Authority
- CN
- China
- Prior art keywords
- image
- reconstruction
- dsa
- dimensional
- result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 68
- 210000004088 microvessel Anatomy 0.000 claims abstract description 9
- 238000007781 pre-processing Methods 0.000 claims abstract description 9
- 210000004204 blood vessel Anatomy 0.000 claims abstract description 8
- 238000012549 training Methods 0.000 claims description 32
- 238000013528 artificial neural network Methods 0.000 claims description 27
- 230000004927 fusion Effects 0.000 claims description 18
- 230000000007 visual effect Effects 0.000 claims description 9
- 239000002872 contrast media Substances 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 3
- 230000005855 radiation Effects 0.000 abstract description 8
- 238000003384 imaging method Methods 0.000 abstract description 5
- 230000008569 process Effects 0.000 description 11
- 230000006870 function Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 230000002490 cerebral effect Effects 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 238000002583 angiography Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 201000010099 disease Diseases 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 208000026106 cerebrovascular disease Diseases 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000002792 vascular Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000002405 diagnostic procedure Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及稀疏视图3D‑DSA成像技术领域，公开了一种3D‑DSA图像的重建方法，所述方法包括以下步骤：S1，采集基于微血管的2D‑DSA图像，对所述2D‑DSA图像进行预处理；S2，将预处理后的所述2D‑DSA图像以及对应的相机参数输入至训练好的3D‑DSA重建网络中，获得重建的3D‑DSA图像。此外，本发明还公开了一种血管3D‑DSA图像的重建系统，本发明的3D‑DSA图像的重建方法及系统，通过极少的2D图像便可以有效地重建多尺度人类脑血管系统，不仅可以确保重建图像的质量，还能够显著降低病人所承受的辐射剂量。
Description
技术领域
本发明涉及稀疏视图3D-DSA成像技术领域，特别涉及一种基于超稀疏2D投影视图重建血管3D-DSA图像的方法及系统。
背景技术
脑血管疾病是引起人类死亡的主要疾病之一，是危害人类健康和生命的常见病和多发病。在头颈部血管检查手段中，数字减影血管造影(Digital SubtractionAngiography，DSA)技术被公认为是脑血管疾病诊断的“金标准”。然而，常规的二维血管造影术(2D-DSA)显示范围有限，难以清晰显示脑部血管复杂的结构及相互关系，导致部分病变血管与周围血管的关系显示不清，甚至部分血管狭窄会被遮挡而遗漏。三维数字减影血管造影(3D-DSA)技术就是为了解决这些问题而生的，3D-DSA技术是C形臂围绕患者做两次旋转，并采集一系列连续角度的2D-DSA图像，通过专业设备完成血管三维模型重建以及综合评估。
目前临床上使用的金标准3D-DSA成像方法是基于FDK算法实现的，西门子、通用电气(GE)、飞利浦和其他医疗设备制造商对基于FDK的算法进行了修订和使用，但这种传统的3D-DSA扫描和重建方法要求患者持续暴露于辐射中，采集的2D-DSA图像越多，患者在采集过程中需要注射造影剂用量越大，遭受辐射时间越长。因此，降低3D-DSA成像的辐射剂量是具有重大临床意义的，但是迄今为止，尚未报道在确保重建图像质量的条件下，可以显著降低辐射剂量的有效方法。
深度学习(DL)是一种机器学习技术，它使用多层人工神经网络来自动分析信号或数据。卷积神经网络(CNN)是深度学习技术中最成功且广泛使用的模型之一，它擅长以2D或3D图像数据作为输入来拟合非线性函数，同时不需要使用手动设计提取图像特征。近年来已经出现一些将卷积神经网络用于医学成像领域的2D(X射线)-3D计算机断层扫描(CT)重建方法的工作，比如使用稀疏的视图进行三维重建。但由于脑血管的复杂程度较高，目前尚未出现将深度学习的算法直接应用在脑血管DSA重建中。基于此，现提出一种3D-DSA图像的重建方法及系统，通过该重建方法及系统可以在采集到极少的2D图像的基础上重建获得血管的3D-DSA图像。
发明内容
本发明的目的旨在克服现有技术的缺陷，提供一种3D-DSA图像的重建方法及系统，通过极少的2D图像便可以有效地重建多尺度人类脑血管系统，不仅可以确保重建图像的质量，还能够显著降低病人所承受的辐射剂量。
本发明的上述技术目的是通过以下技术方案得以实现的：一种3D-DSA图像的重建方法，所述方法包括以下步骤：
S1，采集基于微血管的2D-DSA图像，对所述2D-DSA图像进行预处理；
S2，将预处理后的所述2D-DSA图像以及对应的相机参数输入至训练好的3D-DSA重建网络中，获得重建的3D-DSA图像。
进一步地，所述步骤S1中的预处理具体包括去噪、去运动伪影以及去造影剂流动干扰处理，所述步骤S2中的所述相机参数包括采集所述2D-DSA图像的视角。
进一步地，所述步骤S1之前，所述方法还包括：
S10，根据预先获得的2D-DSA图像构建特征数据库，所述特征数据库中包括若干组训练集，所述训练集中包括若干个二维投影图像及其对应的视角；
S20，从所述特征数据库中选取一组所述训练集作为输入数据，所述输入数据中的所述二维投影图像为输入图像，将所述输入数据输入至深度神经网络中进行三维重建，获得三维重建结果；
S30，通过可微分投影将所述三维重建结果在与所述输入图像相同的视角下进行投影，获得二维图像，使用损失函数计算相同视角下的所述二维图像与所述输入图像之间的损失值，基于所述损失值对所述深度神经网络的网络权重进行反向传播与梯度更新，得到待优化的3D-DSA重建网络；
S40，基于所述待优化的3D-DSA重建网络循环执行所述步骤S20和所述步骤S30，获得训练好的3D-DSA重建网络。
进一步地，所述步骤S20具体包括：
S201，采用线性插值方法对所述输入图像的分辨率进行调整，获得低分辨率图像；
S202，对所述低分辨率图像进行多视角信息融合，获得融合结果；
S203，将所述融合结果输入至所述深度神经网络中进行三维重建，获得低分辨率重建结果；
S204，将所述输入图像与所述低分辨率重建结果进行级联，获得级联结果；
S205，将所述级联结果输入至所述深度神经网络中进行三维重建，获得高分辨率重建结果；
S206，使用阈值裁剪去除所述高分辨率重建结果中的显著噪声，获得所述三维重建结果。
进一步地，所述步骤S202具体包括：
不同视角的所述低分辨率图像以不同通道的形式作为输入，所述低分辨率图像沿每个视角的垂直方向被复制预设次数，在每个通道中生成3D体素数据；
对所述3D体素数据进行随机裁剪，对裁剪后的所述3D体素数据进行卷积操作并提取每个通道的特征，获得每个通道的低分辨率数据；
将每个通道的所述低分辨率数据相加，得到所述融合结果。
进一步地，所述步骤S203和所述步骤S205中的所述三维重建具体包括：使用3DU-Net对数据进行编码和解码，然后对经过编码和解码后的所述数据进行连续的调整大小和卷积操作，得到重建结果；
其中，在步骤S203中，所述数据为所述融合结果，所述重建结果为所述低分辨率重建结果，在步骤S205中，所述数据为所述级联结果，所述重建结果为所述高分辨率重建结果。
进一步地，所述步骤S20中的所述三维重建结果表示如下：
F(X1,X2...XN,θ1,θ2...θN)＝Ypred
其中，{X1,X2...XN}为若干个二维投影图像，{θ1,θ2...θN}为所述二维投影图像对应的视角，F为深度神经网络对应的映射函数，Ypred为三维重建结果。
进一步地，所述步骤S30中的所述可微分投影的算法表示如下：
Yi＝P(Ypred；θi)
其中，Yi表示Ypred在视角θi上投影的二维图像，i表示二维图像的个数。
进一步地，所述步骤S30中的损失函数定义为所述二维图像与相应的所述输入图像之间的均方误差，所述损失函数的表达式如下：
其中，N是二维投影图像的数量。
此外，本发明还提供一种血管3D-DSA图像的重建系统，所述重建系统包括：
图像采集装置，用于采集基于微血管的2D-DSA图像；
图像处理模块，用于对所述2D-DSA图像进行去噪、去运动伪影以及去造影剂流动干扰预处理；
3D-DSA重建网络训练模块，用于根据预先获得的2D-DSA图像构建特征数据库，基于所述特征数据库对深度神经网络进行训练优化，获得训练好的3D-DSA重建网络；
图像重建模块，用于将预处理后的所述2D-DSA图像以及对应的相机参数输入至训练好的3D-DSA重建网络中，获得重建的3D-DSA图像。
本发明的有益效果是：
1、本发明的3D-DSA图像的重建方法及系统，通过采集少量的基于微血管的2D-DSA图像并对图像进行预处理，将预处理后的2D-DSA图像输入训练好的3D-DSA重建网络中，即可获得3D-DSA重建图像，与传统的金标准重建结果需要采集约133张2D图像相比，本发明的重建方法仅使用8张有详细微血管的2D图像，便可以有效地重建多尺度人类脑血管系统，并且患者仅需要受到金标准成像方法期间使用辐射剂量的1/16.7，可以大幅缩减病人所承受的辐射剂量，同时实现较高的重建图像质量。
2、本发明的3D-DSA图像的重建方法，通过让深度神经网络学习血管重建的先验知识，获得训练好的3D-DSA重建网络，实现从超稀疏2D投影视图重建3D-DSA图像，在网络训练过程中，使用输入图像本身作为监督，不仅可以进行高效的稀疏重建，取得很好的重建结果，而且不需要完全对齐难以获取的3D标签，能够缓解3D图像中背景过多的问题，稳定网络的学习训练收敛过程。
3、本发明的3D-DSA图像的重建方法，对输入图像进行反投影操作以及通过卷积操作来融合不同视角的信息，并通过3D U-Net网络对齐进行多尺度的特征提取，实现3D重建，采用级联的方法，使用从粗到细的优化提升网络的感受野、增加重建的精度，还可以根据临床应用的需求，重建对应的分辨率，3D重建过程不需要放射科医生的注释，并且无需使用3D数据用作训练3D-DSA重建网络的监督。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一种3D-DSA图像的重建方法的流程示意图；
图2是本发明一种3D-DSA图像的重建方法中3D-DSA重建网络第一实施例的训练步骤示意图；
图3是本发明一种3D-DSA图像的重建方法中3D-DSA重建网络第二实施例的训练步骤示意图；
图4是本发明一种3D-DSA图像的重建方法中3D-DSA重建网络的框架示意图；
图5是采用本发明一种3D-DSA图像的重建方法获得的重建结果示意图。
具体实施方式
下面将结合具体实施例对本发明的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参见图1，本发明提供了一种3D-DSA图像的重建方法，所述重建方法包括以下步骤：
S1，采集基于微血管的2D-DSA图像，对所述2D-DSA图像进行预处理；
S2，将预处理后的所述2D-DSA图像以及对应的相机参数输入至训练好的3D-DSA重建网络中，获得重建的3D-DSA图像。
在具体实现中，通过采集极少的有详细微血管的2D-DSA图像，对2D-DSA图像进行预处理，具体包括去噪、减少运动伪影以及去造影剂流动干扰处理，有利于提高图像重建的精度和质量，将经过预处理后的2D-DSA图像输入至训练好的3D-DSA重建网络中，便可获得血管的3D-DSA重建图像。与传统的金标准重建结果需要采集约133张2D图像相比，本发明的重建方法仅使用8张有详细微血管的2D图像，便可以有效地重建多尺度人类脑血管系统，并且患者仅需要受到金标准成像方法期间使用辐射剂量的1/16.7，可以大幅缩减病人所承受的辐射剂量，同时实现较高的重建图像质量。需要说明的是，步骤S2中的所述相机参数包括采集所述2D-DSA图像的视角。
参见图2，图2为本发明一种3D-DSA图像的重建方法中3D-DSA重建网络第一实施例的训练步骤示意图，在本实施例中，所述步骤S1之前，所述重建方法还包括：
S10，根据预先获得的2D-DSA图像构建特征数据库，所述特征数据库中包括若干组训练集，所述训练集中包括若干个二维投影图像及其对应的视角；
S20，从所述特征数据库中选取一组所述训练集作为输入数据，所述输入数据中的所述二维投影图像为输入图像，将所述输入数据输入至深度神经网络中进行三维重建，获得三维重建结果；
S30，通过可微分投影将所述三维重建结果在与所述输入图像相同的视角下进行投影，获得二维图像，使用损失函数计算相同视角下的所述二维图像与所述输入图像之间的损失值，基于所述损失值对所述深度神经网络的网络权重进行反向传播与梯度更新，得到待优化的3D-DSA重建网络；
S40，基于所述待优化的3D-DSA重建网络循环执行所述步骤S20和所述步骤S30，获得训练好的3D-DSA重建网络。
本实施例通过让深度神经网络学习血管重建的先验知识，获得训练好的3D-DSA重建网络，实现从超稀疏2D投影视图重建3D-DSA图像。本实施例中的3D-DSA重建网络包含三个模块：多视角信息融合、三维重建网络和自监督模块，在多视角信息融合中，通过对输入的二维投影图像调整大小，进行反投影操作以及通过卷积操作来融合不同视角的信息，在三维重建模块中，使用包含编码和解码操作的3D U-Net实现3D重建，在自监督模块中，通过可微分投影从三维重建结果中获得二维图像，并使用损失函数来减小输入图像与相同角度投影的二维图像之间的差异，通过使用输入图像本身作为监督，不仅可以进行高效的稀疏重建，而且不需要完全对齐难以获取的3D标签，能够缓解3D图像中背景过多的问题，稳定网络的学习训练收敛过程。证明了使用输入图像本身作为监督的自监督学习方法也可以取得很好的重建结果。需要说明的是，预先获得的2D-DSA图像为本实施例根据现有病人的脑血管2D-DSA图像自行构建获取的。
参见图4，图4为本发明一种3D-DSA图像的重建方法中3D-DSA重建网络的框架示意图，当已知一系列二维投影{X1,X2...XN}及其对应的视角{θ1,θ2...θN}时，用一个深度神经网络作为映射函数F来预测相应的三维重建结果Ypred，可以采用如下表达式进行表述：
F(X1,X2...XN,θ1,θ2...θN)＝Ypred
不同视角的二维投影图像以不同通道的形式进入深度神经网络后，模型输出单个通道的三维预测结果。在此之后，三维预测结果在与输入图像相同的视角下进行可微分投影，可微分投影的计算方法可以表示如下：
Yi＝P(Ypred；θi)
其中，Yi表示Ypred在视角θi上投影的二维图像，i表示二维图像的个数。在实际的临床设定中，电子以锥形束的形式发射。为便于诊断过程，需对2D-DSA图像进行校正，并近似为平行束的投影。因此，我们采用不同角度的平行光束进行投影来模拟真实场景。每个光束的最大值被用来获得一个数字生成的投影。这可以表示如下：
Yi(rp)＝P(Ypred(r)；θi)＝max(Ypred(r))
其中r表示光束在θi角通过Ypred的位置索引，Yi是Ypred在视角θi上投影的二维图像，rp是r在θi角投影后在Yi中对应位置的指数，r与Yi所在平面正交。
进一步地，所述步骤S30中的损失函数定义为所述二维图像与相应的所述输入图像之间的均方误差，所述损失函数的表达式如下：
其中，N是二维投影图像的数量。
参见图3，图3为本发明一种3D-DSA图像的重建方法中3D-DSA重建网络第二实施例的训练步骤示意图，基于上述第一实施例，在本实施例中，所述步骤S20具体包括：
S201，采用线性插值方法对所述输入图像的分辨率进行调整，获得低分辨率图像；
S202，对所述低分辨率图像进行多视角信息融合，获得融合结果；
S203，将所述融合结果输入至所述深度神经网络中进行三维重建，获得低分辨率重建结果；
S204，将所述输入图像与所述低分辨率重建结果进行级联，获得级联结果；
S205，将所述级联结果输入至所述深度神经网络中进行三维重建，获得高分辨率重建结果；
S206，使用阈值裁剪去除所述高分辨率重建结果中的显著噪声，获得所述三维重建结果。
进一步地，所述步骤S202具体包括：
不同视角的所述低分辨率图像以不同通道的形式作为输入，所述低分辨率图像沿每个视角的垂直方向被复制预设次数，在每个通道中生成3D体素数据；
对所述3D体素数据进行随机裁剪，对裁剪后的所述3D体素数据进行卷积操作并提取每个通道的特征，获得每个通道的低分辨率数据；
将每个通道的所述低分辨率数据相加，得到所述融合结果。
进一步地，所述步骤S203和所述步骤S205中的所述三维重建具体包括：使用3D U-Net对数据进行编码和解码，然后对经过编码和解码后的所述数据进行连续的调整大小和卷积操作，得到重建结果；其中，在步骤S203中，所述数据为所述融合结果，所述重建结果为所述低分辨率重建结果，在步骤S205中，所述数据为所述级联结果，所述重建结果为所述高分辨率重建结果。
本实施例对3D-DSA重建网络的训练过程包含的两个阶段进行了说明，第一阶段使用低分辨率的图像进行3D-DSA重建，其预测结果与高分辨率图像融合作为第二阶段的输入再预测高分辨率下的3D-DSA图像。应理解的是，采集的2D-DSA图像以及训练使用的输入图像均为高分辨率图像，分辨率过高会由于硬件设备的限制导致感受野较低致重建精度下降，分辨率过低直接导致重建精度下降。因此考虑两个阶段先低分辨率获得高感受野，再高分辨率考虑更多细节，两个阶段的网络分别考虑不同分辨率的图像输入，第一阶段是低分辨率输入并重建，第二阶段是高分辨率输入并重建，高分辨率网络的重建输出即是最后的结果。
当全分辨率的3D U-Net作为3D重建任务时，由于样本的数据量很大，只能考虑较少的上下文信息。因此，我们采用级联的方法来增加高分辨率三维重建的感受野，并改进了三维重建方法的结果，如图4所示，首先对下采样数据进行3D U-Net训练，然后利用第二个全分辨率3D U-Net对低分辨率重建结果进行细化。在临床应用中，重建分辨率和级联数可根据应用需求确定。级联网络可以在数学上表示为：
F1(X1,X2...XN,θ1,θ2...θN)＝Y'pred
F2(X1,X2...XN,θ1,θ2...θN,Y'pred)＝Y”pred
其中F1表示第一级神经网络，F2表示第二级神经网络，Y'pred是第一级神经网络的预测结果，Y”pred是第二级神经网络的预测结果。如果考虑两级级联，则Y”pred为模型的最终输出。在训练和测试过程中，根据不同阶段的网络需求，采用线性插值方法对输入图像进行不同分辨率的缩放。
需要说明的是，获得高分辨率重建结果后，采用阈值裁剪对重建结果某一个切片的平均值进行计算，如果这个值大于预设阈值，则认为是背景，我们在重建实验中发现会出现这种切片的噪声，因此通过这种方式去除，这是一种后处理方式，可以进一步提高重建图像的精度和质量。
下面结合具体的数据对3D-DSA重建网络的训练过程进行详细描述：
在维度提升阶段，不同视角的二维投影图像以不同通道的方式合并作为输入。我们使用4/6/8/10/12通道(根据输入图像的数量选择)进行研究。将两个不同分辨率的数据集分别输入到低分辨率和高分辨率的网络，重建高质量多尺度的脑血管。
首先是多视角信息融合阶段，在高分辨率尺度下，图像尺寸为512×395像素。在低分辨率尺度下，每通道512×395像素被调整为每通道256×128像素。随后，在给定的两个不同尺度的条件下，图像沿每个视角的垂直方向被复制了512(256)次，导致在每个通道中生成包含512×512×395(256×256×128)的3D体素数据，并随机裁剪为512×512×32(256×256×32)。然后我们在卷积操作的过程中提取了每个通道的特征，卷积算子的大小是3×3×3×16，得到的数据是每个通道512×512×32×16(256×256×32×16)体素。再将每个通道得到的低分辨率数据相加，得到最终数据(256×256×32×16)体素，这是低分辨率重建阶段的输入数据。高分辨率数据的输入与低分辨率重建阶段的输出数据级联，得到的数据作为高分辨率重建阶段的输入。
在低分辨率重建阶段，数据用于编码和解码，然后对数据进行连续的调整大小和卷积操作。我们使用3D U-Net进行编码和解码。在编码过程中，数据经过四个循环的池化和卷积操作(卷积核大小：3×3×3)。在解码过程中，数据经过四个周期的上采样和卷积操作(卷积核大小：3×3×3)。跳跃连接的方法用于连接在编码和解码过程中获得的相同大小的数据。最后，16组数据经过1×1卷积操作整合为1组3D数据。在高分辨率重建阶段，使用相同的3DU-Net进行编码和解码，唯一的区别是输入数据的分辨率更高。在重建阶段结束后，使用阈值裁剪以去除显著的噪声。
在自监督模块，对三维重建结果进行与输入图像相同角度的投影，并与输入图像进行比较，通过损失函数计算得到损失值后再对网络权重进行反向传播与梯度更新，完成一次完整的训练过程，经过几百次对所有数据训练后，即可得到充分学习后的网络权重，从而获得训练好的3D-DSA重建网络。在需要对新的数据进行重建时只需要将采集与去噪后的二维图像输入到已训练的网络权重即可。如图5所示为采用本发明一种3D-DSA图像的重建方法获得的重建结果示意图，从图5中可以看出即使是8个视角也能较好地重建出结果。
此外，本发明还提供一种血管3D-DSA图像的重建系统，所述重建系统包括：
图像采集装置，用于采集基于微血管的2D-DSA图像；
图像处理模块，用于对所述2D-DSA图像进行去噪、去运动伪影以及去造影剂流动干扰预处理；
3D-DSA重建网络训练模块，用于根据预先获得的2D-DSA图像构建特征数据库，基于所述特征数据库对深度神经网络进行训练优化，获得训练好的3D-DSA重建网络；
图像重建模块，用于将预处理后的所述2D-DSA图像以及对应的相机参数输入至训练好的3D-DSA重建网络中，获得重建的3D-DSA图像。
本实施例的血管3D-DSA图像的重建系统，可以通过采集极少的基于微血管的2D-DSA图像有效地重建多尺度人类脑血管系统，在确保重建图像质量的同时，能够显著降低病人所承受的辐射剂量。
Claims (9)
1.一种3D-DSA图像的重建方法，其特征在于，所述方法包括以下步骤：
S1，采集基于微血管的2D-DSA图像，对所述2D-DSA图像进行预处理；
S2，将预处理后的所述2D-DSA图像以及对应的相机参数输入至训练好的3D-DSA重建网络中，获得重建的3D-DSA图像；
其中，所述步骤S1之前，所述方法还包括：
S10，根据预先获得的2D-DSA图像构建特征数据库，所述特征数据库中包括若干组训练集，所述训练集中包括若干个二维投影图像及其对应的视角；
S20，从所述特征数据库中选取一组所述训练集作为输入数据，所述输入数据中的所述二维投影图像为输入图像，将所述输入数据输入至深度神经网络中进行三维重建，获得三维重建结果；
S30，通过可微分投影将所述三维重建结果在与所述输入图像相同的视角下进行投影，获得二维图像，使用损失函数计算相同视角下的所述二维图像与所述输入图像之间的损失值，基于所述损失值对所述深度神经网络的网络权重进行反向传播与梯度更新，得到待优化的3D-DSA重建网络；
S40，基于所述待优化的3D-DSA重建网络循环执行所述步骤S20和所述步骤S30，获得训练好的3D-DSA重建网络。
2.根据权利要求1所述的3D-DSA图像的重建方法，其特征在于：所述步骤S1中的预处理具体包括去噪、去运动伪影以及去造影剂流动干扰处理，所述步骤S2中的所述相机参数包括采集所述2D-DSA图像的视角。
3.根据权利要求1所述的3D-DSA图像的重建方法，其特征在于，所述步骤S20具体包括：
S201，采用线性插值方法对所述输入图像的分辨率进行调整，获得低分辨率图像；
S202，对所述低分辨率图像进行多视角信息融合，获得融合结果；
S203，将所述融合结果输入至所述深度神经网络中进行三维重建，获得低分辨率重建结果；
S204，将所述输入图像与所述低分辨率重建结果进行级联，获得级联结果；
S205，将所述级联结果输入至所述深度神经网络中进行三维重建，获得高分辨率重建结果；
S206，使用阈值裁剪去除所述高分辨率重建结果中的显著噪声，获得所述三维重建结果。
4.根据权利要求3所述的3D-DSA图像的重建方法，其特征在于，所述步骤S202具体包括：
不同视角的所述低分辨率图像以不同通道的形式作为输入，所述低分辨率图像沿每个视角的垂直方向被复制预设次数，在每个通道中生成3D体素数据；
对所述3D体素数据进行随机裁剪，对裁剪后的所述3D体素数据进行卷积操作并提取每个通道的特征，获得每个通道的低分辨率数据；
将每个通道的所述低分辨率数据相加，得到所述融合结果。
5.根据权利要求3所述的3D-DSA图像的重建方法，其特征在于，所述步骤S203和所述步骤S205中的所述三维重建具体包括：使用3D U-Net对数据进行编码和解码，然后对经过编码和解码后的所述数据进行连续的调整大小和卷积操作，得到重建结果；
其中，在步骤S203中，所述数据为所述融合结果，所述重建结果为所述低分辨率重建结果，在步骤S205中，所述数据为所述级联结果，所述重建结果为所述高分辨率重建结果。
6.根据权利要求1所述的3D-DSA图像的重建方法，其特征在于，所述步骤S20中的所述三维重建结果表示如下：
F(X1,X2...XN,θ1,θ2...θN)＝Ypred
其中，{X1,X2...XN}为若干个二维投影图像，{θ1,θ2...θN}为所述二维投影图像对应的视角，F为深度神经网络对应的映射函数，Ypred为三维重建结果。
7.根据权利要求6所述的3D-DSA图像的重建方法，其特征在于，所述步骤S30中的所述可微分投影的算法表示如下：
Yi＝P(Ypred；θi)
其中，Yi表示Ypred在视角θi上投影的二维图像，i表示二维图像的个数。
8.根据权利要求7所述的3D-DSA图像的重建方法，其特征在于，所述步骤S30中的损失函数定义为所述二维图像与相应的所述输入图像之间的均方误差，所述损失函数的表达式如下：
其中，N是二维投影图像的数量。
9.一种血管3D-DSA图像的重建系统，其特征在于，所述重建系统包括：
图像采集装置，用于采集基于微血管的2D-DSA图像；
图像处理模块，用于对所述2D-DSA图像进行去噪、去运动伪影以及去造影剂流动干扰预处理；
3D-DSA重建网络训练模块，用于根据预先获得的2D-DSA图像构建特征数据库，所述特征数据库中包括若干组训练集，所述训练集中包括若干个二维投影图像及其对应的视角，从所述特征数据库中选取一组所述训练集作为输入数据，所述输入数据中的所述二维投影图像为输入图像，将所述输入数据输入至深度神经网络中进行三维重建，获得三维重建结果，通过可微分投影将所述三维重建结果在与所述输入图像相同的视角下进行投影，获得二维图像，使用损失函数计算相同视角下的所述二维图像与所述输入图像之间的损失值，基于所述损失值对所述深度神经网络的网络权重进行反向传播与梯度更新，得到待优化的3D-DSA重建网络，基于所述特征数据库对所述待优化的3D-DSA重建网络进行训练优化，获得训练好的3D-DSA重建网络；
图像重建模块，用于将预处理后的所述2D-DSA图像以及对应的相机参数输入至训练好的3D-DSA重建网络中，获得重建的3D-DSA图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210868669.7A CN115375560B (zh) | 2022-07-22 | 2022-07-22 | 一种3d-dsa图像的重建方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210868669.7A CN115375560B (zh) | 2022-07-22 | 2022-07-22 | 一种3d-dsa图像的重建方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115375560A CN115375560A (zh) | 2022-11-22 |
| CN115375560B true CN115375560B (zh) | 2023-04-18 |
Family
ID=84061220
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210868669.7A Active CN115375560B (zh) | 2022-07-22 | 2022-07-22 | 一种3d-dsa图像的重建方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115375560B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117726744B (zh) * | 2023-12-21 | 2024-08-20 | 强联智创（北京）科技有限公司 | 生成三维数字减影血管造影图像的方法、设备和存储介质 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109635149A (zh) * | 2018-12-17 | 2019-04-16 | 北京旷视科技有限公司 | 人物搜索方法、装置及电子设备 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101799935B (zh) * | 2009-12-31 | 2011-09-14 | 华中科技大学 | 一种单臂x射线造影图像的动态三维重建方法 |
| US11478213B2 (en) * | 2017-05-17 | 2022-10-25 | Carestream Health, Inc. | Low dose digital tomosynthesis system and method using artificial intelligence |
| US11602320B2 (en) * | 2019-05-29 | 2023-03-14 | Siemens Healthcare Gmbh | Method for creating a three-dimensional digital subtraction angiography image and a C-arm X-ray device |
| EP4052228A4 (en) * | 2019-12-03 | 2023-08-09 | Siemens Medical Solutions USA, Inc. | NETWORK DETERMINATION OF RECONSTRUCTION OF A LIMITED ANGLE |
| CN111862046B (zh) * | 2020-07-21 | 2023-11-17 | 江苏省人民医院（南京医科大学第一附属医院） | 一种心脏冠脉剪影中导管位置判别系统和方法 |
| CN112396672B (zh) * | 2020-11-20 | 2023-03-24 | 华中科技大学 | 一种基于深度学习的稀疏角度锥束ct图像重建方法 |
| CN112669401B (zh) * | 2020-12-22 | 2022-08-19 | 中北大学 | 基于卷积神经网络的ct图像重建方法及系统 |
-
2022
- 2022-07-22 CN CN202210868669.7A patent/CN115375560B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109635149A (zh) * | 2018-12-17 | 2019-04-16 | 北京旷视科技有限公司 | 人物搜索方法、装置及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115375560A (zh) | 2022-11-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Hatvani et al. | Deep learning-based super-resolution applied to dental computed tomography | |
| US20210035338A1 (en) | Unified Dual-Domain Network for Medical Image Formation, Recovery, and Analysis | |
| CN111429379B (zh) | 一种基于自监督学习的低剂量ct图像去噪方法及系统 | |
| CN111815766B (zh) | 基于2d-dsa图像重建血管三维模型处理方法及系统 | |
| CN113808106B (zh) | 一种基于深度学习的超低剂量pet图像重建系统及方法 | |
| CN115375560B (zh) | 一种3d-dsa图像的重建方法及系统 | |
| KR20110115762A (ko) | 환자 맞춤형 3차원 인체 뼈 모델 재구성 방법 | |
| CN109903356A (zh) | 基于深度多重解析网络的缺失ct投影数据估计方法 | |
| CN112562058B (zh) | 一种基于迁移学习的颅内血管模拟三维模型快速建立方法 | |
| CN114972362A (zh) | 一种基于RMAU-Net网络的医学图像自动分割方法与系统 | |
| CN113052936A (zh) | 集成fdk和深度学习的单视角ct重建方法 | |
| CN115578263B (zh) | 一种基于生成网络的ct超分辨重建方法、系统及装置 | |
| CN114187181B (zh) | 基于残差信息精炼的双路径肺部ct图像超分辨率方法 | |
| WO2022207238A1 (en) | Methods and systems for biomedical image segmentation based on a combination of arterial and portal image information | |
| CN110335327A (zh) | 一种直接解决逆问题的医学图像重建方法 | |
| CN117523204A (zh) | 面向医疗场景的肝脏肿瘤图像分割方法、装置和可读存储介质 | |
| WO2021113235A1 (en) | Medical image synthesis for motion correction using generative adversarial networks | |
| CN116934965A (zh) | 基于可控生成扩散模型的脑血管三维图像生成方法及系统 | |
| CN116245969A (zh) | 一种基于深度神经网络的低剂量pet图像重建方法 | |
| CN116596785A (zh) | 基于纹理特征引导的纹理保持低剂量ct图像去噪 | |
| CN111179288A (zh) | 一种交互式造影血管分割方法及系统 | |
| CN115410032A (zh) | 基于自监督学习的octa图像分类结构训练方法 | |
| CN116152271A (zh) | 基于边界监督和多种注意力的cbct牙齿实例分割方法 | |
| CN112258508B (zh) | 四维流动数据的图像处理分析分割方法、系统及存储介质 | |
| Zhu et al. | CT metal artifact correction assisted by the deep learning-based metal segmentation on the projection domain |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |