CN111815766B - 基于2d-dsa图像重建血管三维模型处理方法及系统 - Google Patents
基于2d-dsa图像重建血管三维模型处理方法及系统 Download PDFInfo
- Publication number
- CN111815766B CN111815766B CN202010738507.2A CN202010738507A CN111815766B CN 111815766 B CN111815766 B CN 111815766B CN 202010738507 A CN202010738507 A CN 202010738507A CN 111815766 B CN111815766 B CN 111815766B
- Authority
- CN
- China
- Prior art keywords
- point cloud
- blood vessel
- image
- reconstructed
- dsa
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 210000004204 blood vessel Anatomy 0.000 title claims abstract description 101
- 238000003672 processing method Methods 0.000 title claims abstract description 24
- 238000013135 deep learning Methods 0.000 claims abstract description 38
- 238000000034 method Methods 0.000 claims abstract description 37
- 238000012545 processing Methods 0.000 claims abstract description 37
- 230000002792 vascular Effects 0.000 claims abstract description 36
- 238000012549 training Methods 0.000 claims abstract description 13
- 238000007917 intracranial administration Methods 0.000 claims abstract description 10
- 238000007781 pre-processing Methods 0.000 claims abstract description 5
- 238000013528 artificial neural network Methods 0.000 claims description 15
- 239000011159 matrix material Substances 0.000 claims description 15
- 238000005070 sampling Methods 0.000 claims description 14
- 230000006870 function Effects 0.000 claims description 13
- 238000001914 filtration Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 7
- 230000011218 segmentation Effects 0.000 claims description 7
- 238000003384 imaging method Methods 0.000 claims description 5
- 239000013598 vector Substances 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 4
- 238000013519 translation Methods 0.000 claims description 4
- 239000011295 pitch Substances 0.000 claims description 3
- 201000008450 Intracranial aneurysm Diseases 0.000 description 6
- 238000010276 construction Methods 0.000 description 5
- 238000003745 diagnosis Methods 0.000 description 5
- 230000005855 radiation Effects 0.000 description 4
- 238000002583 angiography Methods 0.000 description 3
- 239000002872 contrast media Substances 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 230000001629 suppression Effects 0.000 description 3
- 206010002329 Aneurysm Diseases 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 239000012528 membrane Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 238000002604 ultrasonography Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000001715 carotid artery Anatomy 0.000 description 1
- 230000002490 cerebral effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 201000011066 hemangioma Diseases 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30016—Brain
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/513—Sparse representations
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明公开了一种基于2D‑DSA图像重建血管三维模型处理方法，其包括以下步骤：步骤S1：采集基于正位和侧位两个角度的2D‑DSA图像，基于所采集的2D‑DSA图像构建稀疏血管点云；步骤S2：基于构建的稀疏血管点云预处理获得点云片和标准结果，将获得的点云片和标准结果以及已知的颅内血管数据集作为训练集输入PU‑GCN深度学习网络对其进行训练，获得训练好的PU‑GCN深度学习网络；步骤S3：将待重建2D‑DSA图像基于步骤S1获得待重建稀疏点云，将待重建稀疏点云输入训练好的PU‑GCN深度学习网络中输出得到待重建稠密点云，基于待重建稠密点云获得血管三维模型。此外，本发明还公开了一种处理系统。
Description
技术领域
本发明涉及一种基于正侧位2D DSA图像重建血管三维模型的方法及系统，特别涉及一种稀疏点云预测稠密点云的PU-GCN深度学习网络。
背景技术
脑动脉瘤是脑部动脉血管管腔局限性扩张，形成异常瘤体组织的一种常见于中老年人的隐匿性病变。尽可能早而准确的预防诊断脑动脉瘤是一项保障人民健康重要工作。数字减影血管造影术(Digital Subtraction Angiography)是脑动脉瘤诊断的临床标准检查项目，也是该病变的诊断金标准。然而，常规的二维血管造影术(2D-DSA)显示范围有限，难以清晰显示脑部血管复杂的结构及相互关系，特别是罹患脑动脉瘤的患者的脑部血管结构更加复杂。在临床的各种急迫需求下，越来越多的检查手段被应用于不同程度的脑动脉瘤诊断中。3D-DSA图像生成的血管三维模型可以作为血管瘤诊断的金标准。3D-DSA技术是C形臂围绕患者做两次旋转，并采集一系列连续角度的2D-DSA图像，通过专业设备完成血管三维模型重建以及综合评估。然而，采集的2D-DSA图像越多，患者在采集过程中需要注射造影剂用量越大，遭受辐射时间越长。
因此，在保障血管三维模型质量的前提下，如何基于数量越少的2D-DSA图像进行重建成为急切需要解决的技术问题，而解决该问题不仅可以有效减少在采集中注射给患者的造影剂用量，而且降低患者遭受辐射的时长。
此外，基于少量的2D-DSA图像重建的血管三维结构还可以为诊断医生提供更多血管结构、直径、长度、截面积等相关信息，因而，对于动脉瘤的确诊工作而言，也具有极大的临床意义和研究价值。
通过对文献和专利的检索，例如：公开号为CN102800087A，公开日为2012年11月28日，名称为“超声颈动脉血管膜的自动分隔方法”的中国专利文献公开了已知超声颈动脉血管膜的自动分隔方法。在该专利文献所公开的技术方案中，提供了一种图像处理技术，但是其并未涉及如何基于2D图像重建3D图像的内容。
基于此，期望获得一种图像处理方法及系统，通过该处理方法及系统可以在采集到极少的2D图像的基础上重构获得较为准确的3D模型。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种基于2D-DSA图像重建血管三维模型处理方法及系统。
为了实现上述目的，本发明提出了一种基于2D-DSA图像重建血管三维模型的处理方法，其特征在于，包括以下步骤：
步骤S1：采集基于正位和侧位两个角度的2D-DSA图像，基于所采集的2D-DSA图像构建稀疏血管点云；
步骤S2：基于构建的稀疏血管点云预处理获得点云片和标准结果，将获得的点云片和标准结果以及已知的颅内血管数据集作为训练集输入PU-GCN深度学习网络对其进行训练，获得训练好的PU-GCN深度学习网络；
步骤S3：将待重建2D-DSA图像基于步骤S1获得待重建稀疏点云，将待重建稀疏点云输入训练好的PU-GCN深度学习网络中，训练好的PU-GCN深度学习网络输出得到待重建稠密点云，基于待重建稠密点云获得血管三维模型。
需要说明的是，本发明所述的基于2D-DSA图像重建血管三维模型的处理方法尤其适用于颈动脉血管的重建。
此外，上述的已知颅内血管数据可以通过已公开的颅内血管数据集Intra(网址为：https://github.com/intra3d2019/IntrA)获得。
优选地，在本发明所述的基于2D-DSA图像重建血管三维模型的处理方法中，在步骤S1中，还包括步骤：
步骤S11：使用多尺度Gabor滤波和Hessian矩阵结合对采集到的正位和侧位的2DDSA图像中进行分割，获得图像中的血管图像特征；
步骤S12：基于血管图像特征通过细化算法提取血管骨架特征；
步骤S13：基于血管图像特征以及血管骨架特征搭建对极几何坐标系，以获得血管骨架关键点和血管边缘关键点三维坐标，基于血管骨架关键点和血管边缘关键点三维坐标构建获得稀疏血管点云。
优选地，在本发明所述的基于2D-DSA图像重建血管三维模型的处理方法中，所述多尺度Gabor滤波器通过下式构建获得：
式中，是多尺度Gabor滤波器的数学表达，greal(x,y；λ,θ,σ,γ)表示Gabor滤波器在正交方向的实部，gimag(x,y；λ,θ,σ,γ)表示Gabor滤波器在正交方向的虚部，(x,y)表示像素坐标，λ表示波长，其代表Gabor滤波器的滤波尺度，θ表示Gabor滤波器的方向，/>表示调谐函数的相对偏移，γ表示空间纵横比，σ表示带宽，其代表Gabor滤波器的方差。
根据2D-DSA图像中血管不同尺度、不同方向进行不同通道的多尺度Gabor滤波器。例如：为有效分割出宽度为4到38像素宽度的血管，可以选取6种尺度8个不同方向的Gabor卷积核进行滤波，6种尺度的λ取值分别为3、9、15、21、27，33、39，8个不同方位的θ取值分别为0、π/8、π/4、3π/8、π/2、3π/4、5π/8，由此求解出生长方向和宽度信息。
随后通过Hessian矩阵求解血管沿矢量方向的局部极大值点。
优选地，在本发明所述的基于2D-DSA图像重建血管三维模型的处理方法中，利用非抑制极大值法对图像进行多阈值分割，对提取出的血管图像进行二值化处理，并通过细化算法进行血管骨架提取。
优选地，在本发明所述的基于2D-DSA图像重建血管三维模型的处理方法中，通过下述步骤构建对极几何坐标系：
设物理点P在世界坐标系OXYZ下的坐标为X(x,y,z)，在像素坐标系uAvA和uBvB下的坐标分别为p1(u1,v1)和p2(u2,v2)，像素坐标与世界坐标存在以下关系：
pi＝Ki[Ri|ti]X；
上式，i为像素坐标系标记，i＝1,2；Ki代表对应像素坐标系中成像仪器的内部参数矩阵，Ri和ti代表对应坐标系中的旋转矩阵和平移矢量，具体计算公式如下：
上式中，au和av分别为u和v方向像素间距，即两相邻像素中心之间的物理距离，单位为mm/pixel，uc和vc为图像主点像素坐标，SID表示发射源到像增强器之间的距离，SOD表示发射源到目标物体之间的距离，α与β分别表示C型臂旋转的主角度和次角度。
优选地，在本发明所述的基于2D-DSA图像重建血管三维模型的处理方法中，在所述步骤S2中，进行预处理时：采取泊松盘采样从稀疏血管点云中生成输入和标准结果，其中，在泊松盘采样训练时，使用最远点采样从每个3D模型中裁剪K个点云片作为网络的输入；每个点云片包含从原始模型中采样的N个输入点；使用相同的方法对每个点云片采样rN个点作为标准结果；
将点云片和标准结果输入到PU-GCN神经网络中时，经过密集特征提取器后得到特征矩阵M1，随后经过上采样器获得特征矩阵M2，最后通过坐标重建器获得最终的稠密点云，完成训练。
优选地，在本发明所述的基于2D-DSA图像重建血管三维模型的处理方法中，在所述步骤S2中，PU-GCN神经网络中使用倒角距离和加权排斥力作为损失函数。
相应地，本发明还提出了一种基于2D-DSA图像重建血管三维模型的处理方系统，所述处理系统包括：
图像采集装置，其采集基于正位和侧位两个角度的2D-DSA图像；
处理模块，所述处理模块基于采集到的2D-DSA图像处理获得稀疏血管点云，基于稀疏血管点云数据提取获得点云片和标准结果；
神经网络重构模块，所述神经网络重构模块通过输入点云片和标准结果以及已知的颅内血管数据集训练PU-GCN深度学习网络，以获得训练好的PU-GCN深度学习网络；
其中，当图像采集装置采集到待重建2D-DSA图像后，处理模块基于该待重建2D-DSA图像获得待重建稀疏点云，将待重建稀疏点云输入训练好的PU-GCN深度学习网络中，PU-GCN深度学习网络输出得到待重建稠密点云，神经网络重构模块基于待重建稠密点云获得血管三维模型。
优选地，在本发明所述的基于2D-DSA图像重建血管三维模型的处理系统中，所述处理系统中的处理模块利用非抑制极大值法对图像进行多阈值分割，对提取出的血管图像进行二值化处理，并通过细化算法进行血管骨架提取。
优选地，在本发明所述的基于2D-DSA图像重建血管三维模型的处理系统中，所述处理系统中的神经网络重构模块中使用倒角距离和加权排斥力作为损失函数。
与现有技术相比，本发明所述的基于2D-DSA图像重建血管三维模型处理方法及系统具有如下的有益效果：
1、本发明所述的基于2D-DSA图像重建血管三维模型处理方法，可以仅仅通过基于正位和侧位两个角度所采集的2D DSA图像构建稀疏血管点云，再通过稀疏血管点云预测稠密点云进而实现血管三维模型重建。
2、本发明所述的基于2D-DSA图像重建血管三维模型处理方法，较之现有的3D DSA构建血管三维模型需要进行C型臂进行两次旋转而言，本发明所述的方法在采集2D-DSA图像无需进行旋转扫描，因而，可以有效减少造影剂的用量和辐射时长，降低患者遭受辐射的时长。
3、通过本发明所述的基于2D-DSA图像重建血管三维模型处理方法所获得的可以为诊断医生提供更多血管结构、直径、长度、截面积等相关信息，对于动脉瘤的确诊工作而言，具有极大的临床意义和研究价值。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明所述的基于2D-DSA图像重建血管三维模型处理方法在一种实施方式中的工作流程图；
图2示意性地显示了本发明所述的基于2D-DSA图像重建血管三维模型处理方法在一种实施方式中进行匹配点三维重建时基于对极几何构建的三维坐标系组的建模过程；
图3示意性地显示了本发明所述的基于2D-DSA图像重建血管三维模型处理方法在一种实施方式中基于稀疏血管点云预测稠密点云的PU-GCN深度学习网络结构；
图4为本发明所述的基于于2D-DSA图像重建血管三维模型处理方法在一种实施方式中的上采样模块NodeShuffle结构图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
实施例1
为了验证本发明方案的有效性，本发明使用两个数据集进行实验。第一个数据集为本发明自行构建的2D DSA图像和已知颅内血管3D模型数据集(2D DSA and 3D Model ofCarotid Artery Dataset)进行实验，该数据集包括50例病人的正侧位2D DSA图像及其由3D DSA重建的3D血管模型。第二个数据集为Xi Yang等提出的3D颅内动脉瘤数据集Intra(https://github.com/intra3d2019/IntrA)，该数据集包括103例由2D MRA图像重建的血管3D模型。
如图1所示，具体操作步骤如下：
步骤一：对50例正位和侧位两个角度的2D DSA图像构建稀疏血管点云。
在该步骤中，使用多尺度Gabor滤波和Hessian矩阵结合完成正位和侧位的2D DSA图像中血管分割，并通过细化算法提取血管骨架。
其中，多尺度Gabor滤波器通过下式构建获得：
式中，是多尺度Gabor滤波器的数学表达，greal(x,y；λ,θ,σ,γ)表示Gabor滤波器在正交方向的实部，gimag(x,y；λ,θ,σ,γ)表示Gabor滤波器在正交方向的虚部，(x,y)表示像素坐标，λ表示波长，其代表Gabor滤波器的滤波尺度，θ表示Gabor滤波器的方向，/>表示调谐函数的相对偏移，γ表示空间纵横比，σ表示带宽，其代表Gabor滤波器的方差。
根据2D DSA图像中血管不同尺度、不同方向进行不同通道的多尺度Gabor滤波器。例如：为有效分割出宽度为4到38像素宽度的血管，可以选取6种尺度8个不同方向的Gabor卷积核进行滤波，6种尺度的λ取值分别为3、9、15、21、27，33、39，8个不同方位的θ取值分别为0、π/8、π/4、3π/8、π/2、3π/4、5π/8，由此求解出生长方向和宽度信息。
随后建对极几何坐标系，重建血管骨架关键点和血管边缘关键点，构建稀疏血管点云。
图2示意性地显示了本发明所述的基于2D-DSA图像重建血管三维模型处理方法在一种实施方式中进行匹配点三维重建时基于对极几何构建的三维坐标系组的建模过程。
如图2所示，与普通光学成像模型类似，造影系统也存在相应的坐标系群组，如图2所示，坐标系群组包括世界坐标系OXYZ，像素坐标系uAvA和uBvB，像平面物理坐标系OAxAyA和OBxByB，以及射线源坐标系AXAYAZA和BXBYBZB。
设P为空间中的一个物理点，PA和PB分别为点P在射线光源A、B下的投影点，A，B为两个射线源，OA和OB分别为射线源A、B到两个像平面的垂心。类似双目视觉原理，通过两个光源的位置，以及同一个物理点P在图像上的两个投影点PA和PB，以获取P的三维空间位置。
此时，设物理点P在世界坐标系OXYZ下的坐标为X(x,y,z)，在像素坐标系uAvA和uBvB下的坐标分别为p1(u1,v1)和p2(u2,v2)，像素坐标与世界坐标存在以下关系
pi＝Ki[Ri|ti]X
其中，i为像素坐标系标记，i＝1,2；Ki代表对应像素坐标系中成像仪器的内部参数矩阵，Ri和ti代表对应坐标系中的旋转矩阵和平移矢量，具体计算公式如下
其中，au和av分别为u和v方向像素间距(两相邻像素中心之间的物理距离)，单位为mm/pixel。uc和vc为图像主点像素坐标。，α与β分别表示C型臂旋转的主角度和次角度。SID(source to image intensifier distance)表示发射源到像增强器之间的距离,SOD(source to object distance)表示发射源到目标物体之间的距离。以上参数可以通过2DDSA图像中的属性获取。
使用SIFT算子提取正侧位血管中心线特征点并完成匹配，计算特征点三维坐标以及特征点在垂直血管方向上对应的血管壁点的三维坐标，构造出稀疏血管点云。
通过上述步骤即可以获得采集基于正位和侧位两个角度的2D-DSA图像，基于所采集的2D-DSA图像构建稀疏血管点云；
步骤二：用两组数据集中的3D模型训练深度学习网络，根据稀疏血管点云预测稠密点云，从而实现颈动脉血管三维模型构建。在此步骤中训练PU-GCN深度学习网络进行稀疏点云预测稠密点云。
在该步骤中，针对点云数据进行预处理，其处理流程可以参考图3。
图3示意性地显示了本发明所述的基于2D-DSA图像重建血管三维模型处理方法在一种实施方式中基于稀疏血管点云预测稠密点云的PU-GCN深度学习网络结构。
如图3所示，步骤具体如下所述：
首先采取泊松盘采样从原始点云数据中生成输入和标准结果。在训练中，使用最远点采样从每个3D模型中裁剪200个点云片作为网络的输入。每个点云片包含从原始模型中采样的256个输入点。使用相同的方法对每个点云片采样1024个点作为标准结果
随后，搭建PU-GCN深度学习网络，其具体步骤如下：
输入点云大小为(256,1,3)，经过第一部分密集特征扩展器模块后的数据大小为(256,1,482)，经过第一部分密集特征扩展器模块的具体情况:输入点云大小为(256,1,3)，经过第一组动态GCN块后输出数据大小为(256,1,24),随后经过密集GCN块后输出数据大小为(256,1,96)，接着经过第一组Inception DenseGCN块后输出数据大小为(256,1,289)，经过第二组Inception DenseGCN块后输出数据大小为(256,1,482)。
经过第二部分上采样器模块后的数据大小为(1024,1,128)，经过第二部分上采样器模块的具体情况:输入数据大小为(256,1,482)，经过NodeShuffle块后数据大小为(1024,1,482)，经过包含两层多层传感器(以下简称MLP)的特征压缩后的数据大小为(1024,1,128)。上采样模块NodeShuffle的结构可以参考图4。图4为本发明所述的基于于2D-DSA图像重建血管三维模型处理方法在一种实施方式中的上采样模块NodeShuffle结构图。
经过第三部分坐标重建器后的数据大小为(1024,1,3)，实现了点云四倍上采样。经过第三部分坐标重建器模块的具体情况:经过包含两层MLP的特征重建块后的数据大小为(1024,1,3)。
而当训练深度学习网络时，将稀疏血管点云数据输入到训练好的深度学习网络中进行稠密点云预测。
使用倒角距离和加权排斥力作为损失函数。使用对标准结果的倒角距离(CD)，豪斯多夫距离(HD)和点到表面距离(P2F)作为评估指标。上述评估指标越小，性能越好。在NVIDIA Tesla V100(16GB)GPU上训练PU-GCN进行100个时期，批量大小为28。使用学习率为0.0005和beta 0.9的Adam进行优化。
其中，结合图3可以看出，密集特征提取器模块具体结构为：在PU-GCN网络的开头使用1个GCN层，然后使用1个DenseGCN层，将3D坐标嵌入到潜在空间中并提取更高级别的空间信息。DenseGCN模块的输出将在几个密集连接的Inception DenseGCN块传递。第一GCN层，DenseGCN块和Inception DenseGCN块的输出被串联在一起，并传递到上采样器模块。
结合图3和图4可以看出，上采样器模块具体结构为：所述上采样器执行上采样和特征压缩两个处理，在给定输入特征N×C，使用NodeShuffle上采样模块来生成大小为rN×C的密集特征。最后使用两组MLP将特征压缩为rN×C’。
参考图3还可以看出，坐标重建器模块具体结构为：使用两组MLP将压缩特征映射为密集点云rN×3。
最终将点云片和标准结果训练深度学习网络PU-GCN，实现稀疏血管点云到稠密点云的预测。
将待重建2D-DSA图像基于步骤一获得待重建稀疏点云，将待重建稀疏点云输入训练好的PU-GCN深度学习网络中，训练好的PU-GCN深度学习网络输出得到待重建稠密点云，基于待重建稠密点云获得血管三维模型。
实施例2
在本实施例中，提供了一种基于2D-DSA图像重建血管三维模型的处理方法，其包括以下步骤：
步骤S1：采集基于正位和侧位两个角度的2D-DSA图像，基于所采集的2D-DSA图像构建稀疏血管点云；
步骤S2：基于构建的稀疏血管点云预处理获得点云片和标准结果，将获得的点云片和标准结果以及已知的颅内血管数据集作为训练集输入PU-GCN深度学习网络对其进行训练，获得训练好的PU-GCN深度学习网络；
步骤S3：将待重建2D-DSA图像基于步骤S1获得待重建稀疏点云，将待重建稀疏点云输入训练好的PU-GCN深度学习网络中，训练好的PU-GCN深度学习网络输出得到待重建稠密点云，基于待重建稠密点云获得血管三维模型。
其中，在所述步骤S1中，还包括步骤：
步骤S11：使用多尺度Gabor滤波和Hessian矩阵结合对采集到的正位和侧位的2DDSA图像中进行分割，获得图像中的血管图像特征；
步骤S12：基于血管图像特征通过细化算法提取血管骨架特征；
步骤S13：基于血管图像特征以及血管骨架特征搭建对极几何坐标系，以获得血管骨架关键点和血管边缘关键点三维坐标，基于血管骨架关键点和血管边缘关键点三维坐标构建获得稀疏血管点云。
其中，所述多尺度Gabor滤波器通过下式构建获得：
式中，是多尺度Gabor滤波器的数学表达，greal(x,y；λ,θ,σ,γ)表示Gabor滤波器在正交方向的实部，gimag(x,y；λ,θ,σ,γ)表示Gabor滤波器在正交方向的虚部，(x,y)表示像素坐标，λ表示波长，其代表Gabor滤波器的滤波尺度，θ表示Gabor滤波器的方向，/>表示调谐函数的相对偏移，γ表示空间纵横比，σ表示带宽，其代表Gabor滤波器的方差。
在步骤S11中，利用非抑制极大值法对图像进行多阈值分割，对提取出的血管图像进行二值化处理，并通过细化算法进行血管骨架提取。
在步骤S13中，通过下述步骤构建对极几何坐标系：
设物理点P在世界坐标系OXYZ下的坐标为X(x,y,z)，在像素坐标系uAvA和uBvB下的坐标分别为p1(u1,v1)和p2(u2,v2)，像素坐标与世界坐标存在以下关系：
pi＝Ki[Ri|ti]X；
上式，i为像素坐标系标记，i＝1,2；Ki代表对应像素坐标系中成像仪器的内部参数矩阵，Ri和ti代表对应坐标系中的旋转矩阵和平移矢量，具体计算公式如下：
上式中，au和av分别为u和v方向像素间距，即两相邻像素中心之间的物理距离，单位为mm/pixel，uc和vc为图像主点像素坐标，SID表示发射源到像增强器之间的距离，SOD表示发射源到目标物体之间的距离，α与β分别表示C型臂旋转的主角度和次角度。
而在步骤S2中，进行预处理时：采取泊松盘采样从稀疏血管点云中生成输入和标准结果，其中，在泊松盘采样训练时，使用最远点采样从每个3D模型中裁剪K个点云片作为网络的输入；每个点云片包含从原始模型中采样的N个输入点；使用相同的方法对每个点云片采样rN个点作为标准结果；
将预处理得到的点云片和标准结果输入到PU-GCN神经网络中时，经过密集特征提取器后得到特征矩阵M1，随后经过上采样器获得特征矩阵M2，最后通过坐标重建器获得最终的稠密点云，完成训练。
在所述步骤S2中，PU-GCN神经网络中使用倒角距离和加权排斥力作为损失函数。
另外，在实施例2中，还提出了一种基于2D-DSA图像重建血管三维模型的处理方系统，所述处理系统包括：
图像采集装置，其采集基于正位和侧位两个角度的2D-DSA图像；
处理模块，所述处理模块基于采集到的2D-DSA图像处理获得稀疏血管点云，基于稀疏血管点云数据提取获得点云片和标准结果；
神经网络重构模块，所述神经网络重构模块通过输入点云片和标准结果以及已知的颅内血管数据集训练PU-GCN深度学习网络，以获得训练好的PU-GCN深度学习网络；
其中，当图像采集装置采集到待重建2D-DSA图像后，处理模块基于该待重建2D-DSA图像获得待重建稀疏点云，将待重建稀疏点云输入训练好的PU-GCN深度学习网络中，PU-GCN深度学习网络输出得到待重建稠密点云，神经网络重构模块基于待重建稠密点云获得血管三维模型。
所述处理系统中的处理模块利用非抑制极大值法对图像进行多阈值分割，对提取出的血管图像进行二值化处理，并通过细化算法进行血管骨架提取。
所述处理系统中的神经网络重构模块中使用倒角距离和加权排斥力作为损失函数。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置、模块、单元以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置、模块、单元以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置、模块、单元可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置、模块、单元也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置、模块、单元视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
需要说明的是，本发明的保护范围中现有技术部分并不局限于本申请文件所给出的实施例，所有不与本发明的方案相矛盾的现有技术，包括但不局限于在先专利文献、在先公开出版物，在先公开使用等等，都可纳入本发明的保护范围。
此外，本案中各技术特征的组合方式并不限本案权利要求中所记载的组合方式或是具体实施例所记载的组合方式，本案记载的所有技术特征可以以任何方式进行自由组合或结合，除非相互之间产生矛盾。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。
Claims (8)
1.一种基于2D-DSA图像重建血管三维模型的处理方法，其特征在于，包括以下步骤：
步骤S1：采集基于正位和侧位两个角度的2D-DSA图像，基于所采集的2D-DSA图像构建稀疏血管点云；
步骤S2：基于构建的稀疏血管点云预处理获得点云片和标准结果，将获得的点云片和标准结果以及已知的颅内血管数据集作为训练集输入PU-GCN深度学习网络对其进行训练，获得训练好的PU-GCN深度学习网络；
步骤S3：将待重建2D-DSA图像基于步骤S1获得待重建稀疏点云，将待重建稀疏点云输入训练好的PU-GCN深度学习网络中，训练好的PU-GCN深度学习网络输出得到待重建稠密点云，基于待重建稠密点云获得血管三维模型；
在所述步骤S1中，还包括步骤：
步骤S11：使用多尺度Gabor滤波器和Hessian矩阵结合对采集到的正位和侧位的2D-DSA图像中进行分割，获得图像中的血管图像特征；
步骤S12：基于血管图像特征通过细化算法提取血管骨架特征；
步骤S13：基于血管图像特征以及血管骨架特征搭建对极几何坐标系，以获得血管骨架关键点和血管边缘关键点三维坐标，基于血管骨架关键点和血管边缘关键点三维坐标构建获得稀疏血管点云；
在所述步骤S2中，进行预处理时：采取泊松盘采样从稀疏血管点云中生成输入和标准结果，其中，在泊松盘采样训练时，使用最远点采样从每个3D模型中裁剪200个点云片作为网络的输入；每个点云片包含从原始模型中采样的256个输入点；使用相同的方法对每个点云片采样1024个点作为标准结果；
将预处理得到的点云片和标准结果输入到PU-GCN神经网络中时，经过密集特征提取器后得到特征矩阵M1，随后经过上采样器获得特征矩阵M2，最后通过坐标重建器获得最终的稠密点云，完成训练。
2.根据权利要求1所述的基于2D-DSA图像重建血管三维模型的处理方法，其特征在于，所述多尺度Gabor滤波器通过下式构建获得：
式中，是多尺度Gabor滤波器的数学表达，greal(x,y；λ,θ,σ,γ)表示Gabor滤波器在正交方向的实部，gimag(x,y；λ,θ,σ,γ)表示Gabor滤波器在正交方向的虚部，(x,y)表示像素坐标，λ表示波长，其代表Gabor滤波器的滤波尺度，θ表示Gabor滤波器的方向，/>表示调谐函数的相对偏移，γ表示空间纵横比，σ表示带宽，其代表Gabor滤波器的方差。
3.根据权利要求1所述的基于2D-DSA图像重建血管三维模型的处理方法，其特征在于，利用非抑制极大值法对图像进行多阈值分割，对提取出的血管图像进行二值化处理，并通过细化算法进行血管骨架提取。
4.根据权利要求1所述的基于2D-DSA图像重建血管三维模型的处理方法，其特征在于，通过下述步骤构建对极几何坐标系：
设物理点P在世界坐标系OXYZ下的坐标为X(x,y,z)，在像素坐标系uAvA和uBvB下的坐标分别为p1(u1,v1)和p2(u2,v2)，像素坐标与世界坐标存在以下关系：
pi＝Ki[Ri|ti]X；
上式，i为像素坐标系标记，i＝1,2；Ki代表对应像素坐标系中成像仪器的内部参数矩阵，Ri和ti代表对应坐标系中的旋转矩阵和平移矢量，具体计算公式如下：
上式中，au和av分别为u和v方向像素间距，即两相邻像素中心之间的物理距离，单位为mm/pixel，uc和vc为图像主点像素坐标，SID表示发射源到像增强器之间的距离，SOD表示发射源到目标物体之间的距离，α与β分别表示C型臂旋转的主角度和次角度。
5.根据权利要求1所述的基于2D-DSA图像重建血管三维模型的处理方法，其特征在于，在所述步骤S2中，PU-GCN神经网络中使用倒角距离和加权排斥力作为损失函数。
6.一种基于2D-DSA图像重建血管三维模型的处理系统，其特征在于，采用权利要求1-5任一项所述的基于2D-DSA图像重建血管三维模型的处理方法，
所述处理系统包括：
图像采集装置，其采集基于正位和侧位两个角度的2D-DSA图像；
处理模块，所述处理模块基于采集到的2D-DSA图像处理获得稀疏血管点云，基于稀疏血管点云数据提取获得点云片和标准结果；
神经网络重构模块，所述神经网络重构模块通过输入点云片和标准结果以及已知的颅内血管数据集训练PU-GCN深度学习网络，以获得训练好的PU-GCN深度学习网络；
其中，当图像采集装置采集到待重建2D-DSA图像后，处理模块基于该待重建2D-DSA图像获得待重建稀疏点云，将待重建稀疏点云输入训练好的PU-GCN深度学习网络中，PU-GCN深度学习网络输出得到待重建稠密点云，神经网络重构模块基于待重建稠密点云获得血管三维模型。
7.根据权利要求6所述的基于2D-DSA图像重建血管三维模型的处理系统，其特征在于，所述处理系统中的处理模块利用非抑制极大值法对图像进行多阈值分割，对提取出的血管图像进行二值化处理，并通过细化算法进行血管骨架提取。
8.根据权利要求7所述的基于2D-DSA图像重建血管三维模型的处理系统，其特征在于，所述处理系统中的神经网络重构模块中使用倒角距离和加权排斥力作为损失函数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010738507.2A CN111815766B (zh) | 2020-07-28 | 2020-07-28 | 基于2d-dsa图像重建血管三维模型处理方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010738507.2A CN111815766B (zh) | 2020-07-28 | 2020-07-28 | 基于2d-dsa图像重建血管三维模型处理方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111815766A CN111815766A (zh) | 2020-10-23 |
| CN111815766B true CN111815766B (zh) | 2024-04-30 |
Family
ID=72864027
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010738507.2A Active CN111815766B (zh) | 2020-07-28 | 2020-07-28 | 基于2d-dsa图像重建血管三维模型处理方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111815766B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112184556B (zh) * | 2020-10-28 | 2021-10-29 | 万申(北京)科技有限公司 | 一种基于口腔cbct重建点云的超分辨成像方法 |
| CN112508983B (zh) * | 2020-12-18 | 2023-06-20 | 华南理工大学 | 一种基于图像边缘检测的点云降采样方法 |
| CN112819800A (zh) * | 2021-02-10 | 2021-05-18 | 昆明同心医联科技有限公司 | Dsa影像识别方法、装置及存储介质 |
| CN114638878B (zh) * | 2022-03-18 | 2022-11-11 | 北京安德医智科技有限公司 | 基于深度学习的二维超声心动图管径检测方法及装置 |
| CN117291858A (zh) * | 2022-06-14 | 2023-12-26 | 上海联影医疗科技股份有限公司 | 一种用于确定血流特性的方法、系统、装置和存储介质 |
| CN116385497B (zh) * | 2023-05-29 | 2023-08-22 | 成都与睿创新科技有限公司 | 用于体腔内的自定义目标追踪方法及系统 |
| CN117173463A (zh) * | 2023-08-30 | 2023-12-05 | 北京长木谷医疗科技股份有限公司 | 一种基于多分类稀疏点云的骨关节模型重建方法及装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107203988A (zh) * | 2016-03-18 | 2017-09-26 | 北京大学 | 一种由二维x光图像重建三维体图像的方法及其应用 |
| CN109685842A (zh) * | 2018-12-14 | 2019-04-26 | 电子科技大学 | 一种基于多尺度网络的稀疏深度稠密化方法 |
| CN110047139A (zh) * | 2019-04-28 | 2019-07-23 | 南昌航空大学 | 一种指定目标三维重建方法及系统 |
-
2020
- 2020-07-28 CN CN202010738507.2A patent/CN111815766B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107203988A (zh) * | 2016-03-18 | 2017-09-26 | 北京大学 | 一种由二维x光图像重建三维体图像的方法及其应用 |
| CN109685842A (zh) * | 2018-12-14 | 2019-04-26 | 电子科技大学 | 一种基于多尺度网络的稀疏深度稠密化方法 |
| CN110047139A (zh) * | 2019-04-28 | 2019-07-23 | 南昌航空大学 | 一种指定目标三维重建方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| 刘潇潇 ; 曹治国 ; 李抱朴 ; 等.基于多尺度Gabor滤波的造影血管中轴线的自动提取.中国图象图形学报.2005,(12),第2页左栏第2段-第4页左栏第3段. * |
| 基于双目视觉的视网膜血管三维重建;周嘉悦;韩少峰;郑昱;吴壮志;梁庆丰;杨洋;;中国医疗器械杂志(01);第2页左栏第3段-第5页左栏第3段 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111815766A (zh) | 2020-10-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111815766B (zh) | 基于2d-dsa图像重建血管三维模型处理方法及系统 | |
| JP7169986B2 (ja) | オブジェクトグリッド増強を用いて高次元画像データから低次元画像データを合成するためのシステムおよび方法 | |
| CN113506334A (zh) | 基于深度学习的多模态医学图像融合方法及系统 | |
| CN111368849B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN109166104A (zh) | 一种病变检测方法、装置及设备 | |
| WO2023044605A1 (zh) | 极端环境下脑结构的三维重建方法、装置及可读存储介质 | |
| Raza et al. | Brain image representation and rendering: A survey | |
| CN115147404B (zh) | 一种双重特征融合mra图像的颅内动脉瘤分割方法 | |
| CN112562058B (zh) | 一种基于迁移学习的颅内血管模拟三维模型快速建立方法 | |
| CN114548238A (zh) | 图像三维重建方法、装置、电子设备及存储介质 | |
| Ilyasova | Computer systems for geometrical analysis of blood vessels diagnostic images | |
| CN110827283B (zh) | 基于卷积神经网络的头颈血管分割方法及装置 | |
| CN114581459A (zh) | 一种基于改进性3D U-Net模型的学前儿童肺部影像感兴趣区域分割方法 | |
| Mirajkar et al. | Acute ischemic stroke detection using wavelet based fusion of CT and MRI images | |
| CN113920243A (zh) | 极端环境下脑结构的三维重建方法、装置及可读存储介质 | |
| CN112508868A (zh) | 一种颅内血管综合图像生成方法 | |
| CN116402954A (zh) | 一种基于深度学习的脊柱三维结构的重建方法 | |
| WO2022163402A1 (ja) | 学習済みモデルの生成方法、機械学習システム、プログラムおよび医療画像処理装置 | |
| CN112967295A (zh) | 一种基于残差网络和注意力机制的图像处理方法及系统 | |
| CN113192035A (zh) | 一种基于U-Net网络改进的乳腺MRI分割方法 | |
| CN112508881A (zh) | 一种颅内血管图像配准方法 | |
| CN112509080A (zh) | 一种基于迁移学习的颅内血管模拟三维模型的建立方法 | |
| Shi et al. | Ultrasound image denoising autoencoder model based on lightweight attention mechanism | |
| US20240153082A1 (en) | Deep learning model for diagnosis of hepatocellular carcinoma on non-contrast computed tomography | |
| CN118470253B (zh) | 一种用于医学图像的表面网格重建方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20210225 Address after: 200131 building C, No. 888, Huanhu West 2nd Road, Lingang New District, Pudong New Area pilot Free Trade Zone, Shanghai Applicant after: Fuying (Shanghai) Medical Technology Co.,Ltd. Address before: 200040 No. 12 middle Urumqi Road, Shanghai, Jingan District Applicant before: HUASHAN HOSPITAL, FUDAN University |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |